centos7安装部署Spark单机版 不依赖hadoop
安装JDK,可参考。前往官网下载压缩包,地址。因为自己没有是为了学习,所以可以直接下载推荐的版本。利用ftp工具将压缩包上传到linux,然后解压。sudo tar -zxvf spark-3.0.0-preview2-bin-hadoop2.7.tgz修改文件夹的名字,然后将文件夹移动到更容易管理的文件路径中。mv spark-3.0.0-preview2-bin-hadoop2.7 spark
·
- 安装JDK,可参考。
- 前往官网下载压缩包,地址。
因为自己没有是为了学习,所以可以直接下载推荐的版本。
- 利用ftp工具将压缩包上传到linux,然后解压。
sudo tar -zxvf spark-3.0.0-preview2-bin-hadoop2.7.tgz
-
修改文件夹的名字,然后将文件夹移动到更容易管理的文件路径中。
mv spark-3.0.0-preview2-bin-hadoop2.7 spark mv spark /usr/local
-
配置环境变量。
-
打开配置文件。
vim /etc/profile
-
增加spark所在的环境路径。
export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin
-
source /etc/profile。
-
-
配置spark
-
复制spark-env.sh.template并修改。
cp spark-env.sh.template spark-env.sh vim spark-env.sh export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64 export SPARK_HOME=/usr/local/spark export SPARK_MASTER_IP=10.0.0.133 #路径为对应你的jdk和spark路径。 #master对应你本机的ip
-
复制slaves.template并修改
-
注意,本版本的spark已经内置了localhost参数,所以可以不用修改。
-
-
source 两个文件,使其生效。
[root@localhost conf]# source spark-env.sh [root@localhost conf]# source slaves
-
-
启动项目
-
进入sbin文件夹。
-
启动
./start-all.sh
会要求你输入当前用户的密码。
-
jps会查看到结果。
-
至此,spark单机版就搭建完成了。其实这里也给出了集群的搭建方案了。但是因为硬件资源有限,就不写了。
更多推荐
已为社区贡献1条内容
所有评论(0)