PyCharm远程连接(linux)python解释器导入pyspark时报错:No module named 'pyspark'  ,并且from pyspark import SparkConf,SparkContext等包时出现以下情况pyspark下有红色波浪线

linux可以正常导入pyspark 包,而PyCharm却不行

 我的解决办法是将spark安装目录下python文件夹的 ‘py4j’ 和 'pyspark'的压缩包解压到python解释器的 lib/python3.10/site-packages/ 下  或者 解压到本文件夹创建软连接也可以

以下是具体操作:

1. 进入spark安装目录

cd /opt/module/spark/python/lib/
ll

#自己spark的安装路径下的python文件夹下的lib文件夹

会看到 ‘py4j-0.10.9.5-src.zip’ 和 ‘pyspark.zip ’ 的压缩包

2. 解压到python解释器下的 lib/python3.10/site- packages

tar -zxvf  pyspark.zip -C /usr/local/python3/lib/python3.10/site-packages/
 #/usr/local/python3是我自己的python解释器路径
tar -zxvf  py4j-0.10.9.5-src.zip.zip -C /usr/local/python3/lib/python3.10/site-packages/ 
#/usr/local/python3是我自己的python解释器路径

 cd /usr/local/python3/lib/python3.10/site-packages/ 可以看到

 3.如果解压不了,可以把那两个压缩包拖到windows电脑解压后,再拖进虚拟机的python解释器对应路径

运行测试代码:(虽然导入包还是飘红,但至少可以运行spark代码) 

 导入时应该是没有对应的 info 文档(没有pyspark和py4j版本信息)才会飘红

Logo

更多推荐