【Python】py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils.getEncryptionEnabled
一、背景在Linux下使用pyspark的时候会不定时的出现一个错误,就是“py4j.protocol.Py4JError:org.apache.spark.api.python.PythonUtils.getEncryptionEnabled does not exist in the JVM”,这个错误之前也是遇到过的,并且会不定时的出现,刚开始没怎么在意,但是后来在写新的程序的时候,就会出现
·
一、背景
在Linux下使用pyspark的时候会不定时的出现一个错误,就是
“py4j.protocol.Py4JError:org.apache.spark.api.python.PythonUtils.getEncryptionEnabled does not exist in the JVM”,
这个错误之前也是遇到过的,并且会不定时的出现,刚开始没怎么在意,但是后来在写新的程序的时候,就会出现,所以把这个错误记录下来,给后来人和自己翻看。
二、具体解决方法
在从pyspark导入SparkConf之前先执行下面的语句:
import findspark
findspark.init()
比如,我的代码,就是把上边的两行代码放在所有的import之前就可以了
作用就是初始化找到本机安装的spark的环境,这样就可以了。
更多推荐
已为社区贡献1条内容
所有评论(0)