Win10--Spark2.3 + hadoop3.1 本地环境搭建
准备工作进行配置测试在使用docker 未果的情况下，无奈采用本地环境搭建。中间有部分坑准备工作Hadoop 所需要更换的bin目录下的文件Hadoop3.1 进行下载Spark2.3.1 下载包JDK1.8进行配置将 下载好的Hadoop 和 Spark进行解压，我进行了重命名 如图1.1图1.1将 准备工作中 第一项下载的包...
·
在使用docker 未果的情况下，无奈采用本地环境搭建。中间有部分坑( 此篇 为64位的环境， 如果是32位 则无需更换bin内容)
准备工作
进行配置
将 下载好的Hadoop 和 Spark进行解压，我进行了重命名 如图1.1
图1.1 将 准备工作中 第一项下载的包进行解压。并进行更换 解压的hadoop3.1.0下的
/bin目录里的文件（如图1.2）
图1.2 进行配置我们需要的环境变量（如图1.3）
图1.3
配置内容如下:
测试
我们进行输入spark-shell 可以看到已经可以正常。并且没有报错内容
权威｜前沿｜技术｜干货｜国内首个API全生命周期开发者社区
更多推荐
0
0- 0
已为社区贡献6条内容
所有评论(0)