当前环境变量文件  ~/.bashrc

export SPARK_HOME=/home/hadoop/spark
export PATH=$SPARK_HOME:$PATH

系统环境变量文件  /etc/profile

export SPARK_HOME=/home/hadoop/spark
export PATH=$SPARK_HOME/bin:%SPARK_HOME/sbin:$PATH

conf目录下配置文件

配置集成环境文件  spark-env.template

cp spark-env.template spark-env.sh
nano spark-env.sh
export JAVA_HOME=/home/hadoop/java/jdk1.8.0_451
export HADOOP_HOME=/home/hadoop/hadoop-3.3.5

template后缀的文件大多是配置模板文件

配置集群节点文件   workers.template

cp workers.template workers
nano workers
node1  ip地址1
node2  ip地址2
node3  ip地址3

spark-defaults.conf 文件

# Spark配置
# master节点
spark.master=spark://node1:7077
# spark要运行的应用名字
spark.app.name=Spark_demo
# spark的driver内存
spark.driver.memory=1g
# spark的Executor内存
spark.executor.memory=2g

安装的是3.2.x的版本,链接:https://pan.baidu.com/s/1AY7FmO6w-jCAj7t_tD9oGw,提取码1234,黑马课程提供了安装包,在资料文件夹,可自行下载

spark安装过程很快,20分钟不到就能完成啦

更多推荐