上传 Spark 安装包
此处以spark-3.2.0-bin-hadoop3.2.tgz为例
上传这个文件到 Linux 服务器中
将其解压,课程中将其解压 (安装) 到: /export/servers内.

tar -zxvf spark-3.2.0-bin-hadoop3.2.tgz -C /export/servers/

由于 spark 目录名称很长,给其一个软链接:

ln -s /export/servers/spark-3.2.0-bin-hadoop3.2 /export/servers/spark

使用ls -l命令查看的结果,会显示spark -> /export/servers/spark-3.2.0-bin-hadoop3.2,表明软链接创建成功

检查是否安装 Python(可能以python命名):执行python --version,确认是否存在 Python 环境及版本。
若未安装 Python3,需先安装 Python3(可通过包管理工具如yum、apt或源码安装),确保安装后python3命令可正常使用。

对于 CentOS/RHEL 系统Python3安装
CentOS 默认可能没有python3包,需要先启用 EPEL 源(额外软件仓库):

# 安装EPEL源(若未安装)
yum install -y epel-release
# 安装Python3
yum install -y python3
# 验证安装
python3 --version  # 输出Python 3.x.x即成功

执行cd /export/servers/spark进入Spark 安装目录

测试
bin/pyspark

关闭pyspark
exit()

WEB UI (4040)
Spark 程序在运行的时候,会绑定到机器的4040端口上.
如果 4040 端口被占用,会顺延到 4041 ... 4042...
输入:服务器ip:4040 即可打开

更多推荐