Spark 安装教程
·
上传 Spark 安装包
此处以spark-3.2.0-bin-hadoop3.2.tgz为例
上传这个文件到 Linux 服务器中
将其解压,课程中将其解压 (安装) 到: /export/servers内.
tar -zxvf spark-3.2.0-bin-hadoop3.2.tgz -C /export/servers/
由于 spark 目录名称很长,给其一个软链接:
ln -s /export/servers/spark-3.2.0-bin-hadoop3.2 /export/servers/spark
使用ls -l命令查看的结果,会显示spark -> /export/servers/spark-3.2.0-bin-hadoop3.2,表明软链接创建成功
检查是否安装 Python(可能以python命名):执行python --version,确认是否存在 Python 环境及版本。
若未安装 Python3,需先安装 Python3(可通过包管理工具如yum、apt或源码安装),确保安装后python3命令可正常使用。
对于 CentOS/RHEL 系统Python3安装
CentOS 默认可能没有python3包,需要先启用 EPEL 源(额外软件仓库):
# 安装EPEL源(若未安装)
yum install -y epel-release
# 安装Python3
yum install -y python3
# 验证安装
python3 --version # 输出Python 3.x.x即成功
执行cd /export/servers/spark进入Spark 安装目录
测试
bin/pyspark
关闭pyspark
exit()
WEB UI (4040)
Spark 程序在运行的时候,会绑定到机器的4040端口上.
如果 4040 端口被占用,会顺延到 4041 ... 4042...
输入:服务器ip:4040 即可打开
更多推荐

所有评论(0)