Spark常见安装配置
·
当前环境变量文件 ~/.bashrc
export SPARK_HOME=/home/hadoop/spark
export PATH=$SPARK_HOME:$PATH
系统环境变量文件 /etc/profile
export SPARK_HOME=/home/hadoop/spark
export PATH=$SPARK_HOME/bin:%SPARK_HOME/sbin:$PATH
conf目录下配置文件
配置集成环境文件 spark-env.template
cp spark-env.template spark-env.sh
nano spark-env.sh
export JAVA_HOME=/home/hadoop/java/jdk1.8.0_451
export HADOOP_HOME=/home/hadoop/hadoop-3.3.5
template后缀的文件大多是配置模板文件
配置集群节点文件 workers.template
cp workers.template workers
nano workers
node1 ip地址1
node2 ip地址2
node3 ip地址3
spark-defaults.conf 文件
# Spark配置
# master节点
spark.master=spark://node1:7077
# spark要运行的应用名字
spark.app.name=Spark_demo
# spark的driver内存
spark.driver.memory=1g
# spark的Executor内存
spark.executor.memory=2g
安装的是3.2.x的版本,链接:https://pan.baidu.com/s/1AY7FmO6w-jCAj7t_tD9oGw,提取码1234,黑马课程提供了安装包,在资料文件夹,可自行下载
spark安装过程很快,20分钟不到就能完成啦
更多推荐
所有评论(0)