从零玩转Hadoop 3.3.6伪分布式环境：Ubuntu 22.04实战避坑指南

当大数据处理需求日益增长，Hadoop作为分布式系统基础架构的核心工具，已成为开发者必须掌握的技能。但许多初学者在搭建伪分布式环境时，往往被晦涩的官方文档和实验报告中的技术术语所困扰。本文将用最直白的语言，带你一步步在Ubuntu 22.04上完成Hadoop 3.3.6的伪分布式部署，并解决那些教科书上不会告诉你的实际问题。

1. 环境准备：打好地基才能建高楼

在开始Hadoop之旅前，我们需要确保基础环境配置正确。Ubuntu 22.04 LTS作为长期支持版本，提供了稳定的运行环境，是学习Hadoop的理想选择。

1.1 系统更新与依赖安装

首先打开终端，执行以下命令确保系统是最新状态：

sudo apt update && sudo apt upgrade -y

接着安装必要的依赖项：

sudo apt install -y ssh pdsh openjdk-8-jdk-headless

注意：虽然OpenJDK 11是Ubuntu 22.04的默认Java版本，但Hadoop 3.3.6对Java 8的支持最为稳定。如果系统中已安装其他Java版本，可以通过以下命令设置默认版本：

sudo update-alternatives --config java

1.2 创建专用用户

为Hadoop创建专用用户是个好习惯，可以避免权限混乱：

sudo adduser hadoopuser
sudo usermod -aG sudo hadoopuser

切换到新创建的用户：

su - hadoopuser

2. SSH无密码登录：Hadoop集群通信的钥匙

伪分布式环境虽然所有服务都运行在同一台机器上，但仍需要通过SSH进行通信。配置无密码登录可以避免频繁输入密码的麻烦。

2.1 生成SSH密钥对

执行以下命令生成RSA密钥对：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

将公钥添加到授权列表：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

修改权限确保安全：

chmod 0600 ~/.ssh/authorized_keys

2.2 测试SSH连接

现在可以测试无密码登录是否成功：

ssh localhost

如果仍需输入密码，检查以下常见问题：

• ~/.ssh目录权限应为700
• authorized_keys文件权限应为600
• SELinux可能阻止访问（可通过getenforce命令检查）

3. Hadoop 3.3.6安装与配置：核心步骤详解

3.1 下载与解压Hadoop

首先下载Hadoop 3.3.6二进制包：

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

解压到指定目录：

tar -xzf hadoop-3.3.6.tar.gz -C /opt/
sudo chown -R hadoopuser:hadoopuser /opt/hadoop-3.3.6

3.2 环境变量配置

编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/opt/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

使配置生效：

source ~/.bashrc

3.3 Hadoop配置文件修改

进入Hadoop配置目录：

cd $HADOOP_HOME/etc/hadoop

修改hadoop-env.sh文件，确保以下内容正确：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/opt/hadoop-3.3.6

配置core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

配置hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///opt/hadoop-3.3.6/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///opt/hadoop-3.3.6/data/datanode</value>
    </property>
</configuration>

4. 启动Hadoop与问题排查

4.1 格式化NameNode

在首次启动前，必须格式化NameNode：

hdfs namenode -format

成功格式化后，你会看到类似以下的输出：

Storage directory /opt/hadoop-3.3.6/data/namenode has been successfully formatted.

4.2 启动HDFS服务

启动HDFS服务：

start-dfs.sh

检查服务是否正常运行：

jps

正常输出应包含：

• NameNode
• DataNode
• SecondaryNameNode

4.3 常见问题解决

问题1：WARN util.NativeCodeLoader

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

解决方案：确保~/.bashrc中已设置HADOOP_OPTS环境变量，并执行：

sudo apt install -y libsnappy1v5 liblzo2-2

问题2：Permission denied

localhost: Permission denied (publickey,password).

解决方案：检查SSH配置，确保~/.ssh/authorized_keys包含正确的公钥，并且权限设置正确。

问题3：Connection refused

java.net.ConnectException: Connection refused

解决方案：检查core-site.xml中的fs.defaultFS配置是否正确，确保端口未被占用。

5. 验证与基本操作

5.1 创建HDFS目录

hdfs dfs -mkdir -p /user/hadoopuser

5.2 上传测试文件

创建一个本地测试文件：

echo "Hello Hadoop" > test.txt

上传到HDFS：

hdfs dfs -put test.txt /user/hadoopuser

5.3 查看文件内容

hdfs dfs -cat /user/hadoopuser/test.txt

5.4 Web界面访问

Hadoop提供了方便的Web界面：

• NameNode: http://localhost:9870
• DataNode: http://localhost:9864

6. 关闭Hadoop服务

完成操作后，正确关闭服务：

stop-dfs.sh

在实际项目中，我发现最常遇到的坑是环境变量配置不当和权限问题。建议每次修改配置后都重新加载环境变量，并仔细检查各步骤的输出信息。