Hadoop安装

因为设备安装过mysql等软件，已经完成过主机hosts或者hostname映射配置，这里忽略了配置过程

1、关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/^SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

2、配置 SSH 免密登录（Hadoop 强制要求)

# 生成密钥（一路回车）
ssh-keygen -t rsa

# 授权本机免密登录
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

# 测试（输入yes，不需要输密码即成功）
ssh hadoop01

测试成功后输入 exit 退回原终端。

主机名和映射名一致会有混淆，其实已经登录了

3、配置系统变量（优化 Hadoop 运行）

vi /etc/profile

最后追加下列配置

# Hadoop 优化配置
ulimit -n 65535
ulimit -u 65535

刷新profile

source /etc/profile

4、下载并解压 Hadoop

这里用 **Hadoop 3.3.4**（稳定版，兼容 CentOS7+JDK8）

# 进入安装目录
cd /usr/local

# 下载 Hadoop
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

# 解压
tar -zxvf hadoop-3.3.4.tar.gz

# 重命名（方便使用）
mv hadoop-3.3.4 hadoop

5、配置 Hadoop 环境变量

5.1 编辑环境变量

vi /etc/profile

在文件末尾添加：

# Hadoop 环境变量
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

5.2 生效并验证

source /etc/profile

# 查看版本，出现版本号即成功
hadoop version

6、修改 5 个核心配置文件（关键步骤）

进入配置目录：

cd $HADOOP_HOME/etc/hadoop

6.1 配置 JDK 路径（hadoop-env.sh）

vi hadoop-env.sh

添加（你的 JDK 路径，用 echo $JAVA_HOME 查看）：

export JAVA_HOME=你的JDK路径
export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"

6.2 核心配置（core-site.xml）

<configuration>
<!-- 指定HDFS默认文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01:9000</value>
</property>
<!-- 指定Hadoop临时文件目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

6.3 HDFS 配置（hdfs-site.xml）

	<configuration>
<!-- 副本数，单机设为1 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<!-- 关闭权限检查，方便测试 -->
<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>
</configuration>

6.4 YARN 配置（yarn-site.xml）

<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>hadoop01:8032</value>
</property>
</configuration>

6.5 MapReduce 配置（mapred-site.xml）

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

7、初始化并启动 Hadoop

7.1 格式化 HDFS（仅第一次安装执行！）

hdfs namenode -format

看到 successfully formatted 表示成功。

7.2 一键启动 Hadoop

# 启动所有组件
start-all.sh

# 查看进程（出现以下6个进程即完全成功）
jps

✅ 正常进程列表：

• NameNode
• DataNode
• SecondaryNameNode
• ResourceManager
• NodeManager
• Jps

8、Web UI 管理界面（浏览器访问）

打开你Windows 主机浏览器，输入：

• HDFS 管理界面：http://你的CentOSIP:50070
• YARN 资源管理：http://你的CentOSIP:8088

能打开就说明单机 Hadoop 安装完成！

9、常用命令（测试用）

# 创建HDFS目录
hdfs dfs -mkdir /test

# 查看HDFS根目录
hdfs dfs -ls /

# 停止Hadoop
stop-all.sh