Hadoop 3.1.3集群安装后的5分钟快速验证指南

当你终于完成了Hadoop 3.1.3集群的搭建，看到所有服务都启动成功，Web UI也能正常访问时，内心难免会有些忐忑：这一切真的工作正常吗？本文将带你通过几个简单但关键的验证步骤，在5分钟内确认你的Hadoop集群是否真正健康运行。

1. 基础HDFS功能验证

首先，我们需要确认HDFS文件系统的基本功能是否正常。打开任意一个集群节点的终端，执行以下命令：

hdfs dfs -ls /

这个命令会列出HDFS根目录下的内容。对于一个全新的集群，你应该看到类似如下的输出：

Found 1 items
drwxr-xr-x   - root supergroup          0 2023-05-15 10:23 /tmp

如果命令执行成功且返回类似上面的结果，说明你的HDFS基础访问功能正常。如果遇到权限问题，可以尝试添加-D dfs.permissions=false参数临时关闭权限检查：

hdfs dfs -D dfs.permissions=false -ls /

接下来，让我们测试文件上传功能。创建一个简单的测试文件：

echo "Hello Hadoop" > test.txt

然后将其上传到HDFS：

hdfs dfs -put test.txt /test.txt

上传完成后，检查文件是否存在及其副本数：

hdfs dfs -ls /test.txt
hdfs dfs -stat %r /test.txt

正常情况下，你应该看到文件存在且副本数为3（默认配置）。如果一切正常，恭喜你，HDFS的基本功能验证通过！

2. YARN资源管理验证

YARN作为Hadoop的资源管理器，其健康状态同样重要。我们可以通过提交一个简单的MapReduce作业来验证YARN是否正常工作。

Hadoop自带了一些示例程序，其中wordcount是最经典的。首先准备一个文本文件作为输入：

echo "Hello World Hello Hadoop" > input.txt
hdfs dfs -mkdir /input
hdfs dfs -put input.txt /input/

然后运行wordcount示例：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

这个作业会在YARN上运行。你可以通过以下方式监控作业状态：

1. 在终端查看作业日志输出
2. 访问YARN的Web UI（通常是http://<resourcemanager-host>:8088）
3. 使用命令行工具：

yarn application -list

作业完成后，检查输出结果：

hdfs dfs -cat /output/*

你应该看到单词计数的结果：

Hadoop   1
Hello    2
World    1

如果作业顺利完成并得到正确结果，说明YARN和MapReduce框架都工作正常。

3. 节点日志检查

虽然前面的测试都通过了，但为了确保万无一失，我们还需要检查各个节点的日志，确认没有隐藏的错误。

NameNode日志检查

在NameNode节点上，查看最新日志：

tail -n 50 $HADOOP_HOME/logs/hadoop-root-namenode-*.log

健康日志中不应包含ERROR或FATAL级别的消息，而应该有类似下面的信息：

INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Web-server up at: 0.0.0.0:9870
INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Namenode up at: hadoop001/192.168.1.100:9000

DataNode日志检查

在每个DataNode节点上：

tail -n 50 $HADOOP_HOME/logs/hadoop-root-datanode-*.log

健康日志应包含与NameNode成功通信的记录：

INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-123456789-192.168.1.100-123456789 registered with NN

ResourceManager日志检查

在ResourceManager节点上：

tail -n 50 $HADOOP_HOME/logs/yarn-root-resourcemanager-*.log

健康日志应显示资源管理正常：

INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Transitioning to active state

NodeManager日志检查

在每个NodeManager节点上：

tail -n 50 $HADOOP_HOME/logs/yarn-root-nodemanager-*.log

健康日志应显示资源报告正常：

INFO org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdater: Registering with RM using containers :0, memory:8192, vCores:8

4. 高级功能验证

为了更全面地验证集群，我们可以进行一些稍微复杂的测试。

测试HDFS高可用性（如果配置了HA）

1. 手动停止Active NameNode：

hdfs --daemon stop namenode

2. 观察Standby NameNode是否自动接管（通过Web UI或日志）
3. 验证HDFS操作是否仍然可用：

hdfs dfs -mkdir /ha_test

4. 恢复原来的NameNode：

hdfs --daemon start namenode

测试YARN资源分配

提交一个需要特定资源的作业：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar \
TestDFSIO -write -nrFiles 5 -size 100MB

这个作业会创建5个100MB的文件，测试HDFS的IO性能，同时会占用一定的YARN资源。通过YARN Web UI观察资源分配情况，确认资源调度正常。

测试网络带宽

Hadoop集群的性能很大程度上取决于网络。我们可以使用Hadoop自带的网络测试工具：

hadoop org.apache.hadoop.hdfs.server.namenode.NNThroughputBenchmark -op create -files 100 -threads 10

这个测试会在NameNode上创建100个文件，使用10个线程，可以帮助你发现潜在的网络或配置问题。

5. 常见问题排查

即使所有服务都显示运行中，仍可能遇到各种问题。以下是一些常见问题及其解决方法：

HDFS问题

问题1：hdfs dfs命令执行缓慢或超时

• 检查core-site.xml中的fs.defaultFS配置是否正确
• 确认NameNode的防火墙设置允许客户端连接（端口9000和9870）

问题2：文件上传失败，显示"Could only be replicated to 0 nodes instead of minReplication (=1)"

• 检查DataNode是否正常运行：hdfs dfsadmin -report
• 确认磁盘空间充足：df -h

YARN问题

问题1：作业一直处于ACCEPTED状态，不执行

• 检查NodeManager是否注册：yarn node -list
• 确认资源分配合理：yarn scheduler -list

问题2：作业失败，显示"Container exited with a non-zero exit code"

• 检查NodeManager日志，通常会有更详细的错误信息
• 可能是内存不足，尝试增加mapreduce.map.memory.mb和mapreduce.reduce.memory.mb

跨节点通信问题

问题1：节点间SSH连接失败

• 确认~/.ssh/authorized_keys包含所有节点的公钥
• 检查/etc/hosts文件，确保主机名解析正确

问题2：DataNode无法连接NameNode

• 检查NameNode的防火墙设置
• 确认hdfs-site.xml中的dfs.namenode.rpc-address配置正确

6. 性能优化建议

验证集群基本功能正常后，你可能还想进行一些简单的性能调优：

HDFS配置优化

参数	默认值	建议值	说明
dfs.replication	3	根据节点数调整	副本数，通常等于或小于DataNode数量
dfs.blocksize	128MB	256MB	大文件处理时可增加块大小
dfs.namenode.handler.count	10	50	NameNode并发处理线程数

YARN配置优化

<!-- yarn-site.xml -->
<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>8192</value> <!-- 根据实际内存调整 -->
</property>
<property>
  <name>yarn.scheduler.maximum-allocation-mb</name>
  <value>4096</value> <!-- 单个容器最大内存 -->
</property>

MapReduce配置优化

<!-- mapred-site.xml -->
<property>
  <name>mapreduce.map.memory.mb</name>
  <value>2048</value> <!-- Map任务内存 -->
</property>
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>4096</value> <!-- Reduce任务内存 -->
</property>

完成这些验证和优化后，你的Hadoop集群应该已经准备好处理实际工作了。记住，定期监控和日志检查是保持集群健康的关键。