一、背景

在Linux下使用pyspark的时候会不定时的出现一个错误,就是

“py4j.protocol.Py4JError:org.apache.spark.api.python.PythonUtils.getEncryptionEnabled does not exist in the JVM”,

这个错误之前也是遇到过的,并且会不定时的出现,刚开始没怎么在意,但是后来在写新的程序的时候,就会出现,所以把这个错误记录下来,给后来人和自己翻看。

二、具体解决方法

在从pyspark导入SparkConf之前先执行下面的语句:

import findspark
findspark.init()
 

比如,我的代码,就是把上边的两行代码放在所有的import之前就可以了

作用就是初始化找到本机安装的spark的环境,这样就可以了。

Logo

更多推荐