第一次装pyspark,在装完jdk,pyspark,hadoop和winutils之后在cmd中输入spark-shell来测试spark安装,返回了找不到指定的路径。

试了些可能的错误最后找到了问题。

这是spark-shell文件:

用到的是环境变量里的SPARK_HOME,所以即便path里面用的全路径也要创建SPARK_HOME变量。

然后JAVA_HOME和SPARK_HOME都要创建在用户环境变量,一开始我创建在了系统环境变量,这是我遇到找不到路径的原因。

别的可能的原因:

1. 路径里有空格

2. JAVA_HOME和SPARK_HOME里面包含了bin,应该停止在bin的上一级

Logo

大数据从业者之家,一起探索大数据的无限可能!

更多推荐