Hadoop 核心目录功能说明

Hadoop 的核心目录结构包含多个关键组件，每个目录负责不同的功能。以下是主要目录及其功能的详细说明。

hadoop/bin

包含Hadoop的核心可执行脚本，如hadoop、hdfs、yarn等命令行工具。这些脚本用于启动服务、提交任务、管理集群等操作。

hadoop/etc/hadoop

存储Hadoop的核心配置文件，如：

• core-site.xml：定义HDFS和MapReduce的全局配置，如文件系统URI。
• hdfs-site.xml：配置HDFS相关参数，如副本数量、数据块大小。
• yarn-site.xml：定义YARN资源管理器的配置，如资源调度策略。
• mapred-site.xml：配置MapReduce任务执行参数，如任务调度方式。

hadoop/sbin

存放管理和运维脚本，如：

• start-dfs.sh、stop-dfs.sh：启动和停止HDFS服务。
• start-yarn.sh、stop-yarn.sh：启动和停止YARN服务。

hadoop/lib

存储Hadoop运行所需的依赖库文件（JAR包），包括Hadoop核心模块及第三方库。

hadoop/logs

存放Hadoop各组件（如NameNode、DataNode、ResourceManager）的日志文件，用于排查问题或监控集群状态。

hadoop/share/hadoop

包含Hadoop的共享库和示例代码，如：

• common：基础工具类和公共依赖。
• hdfs：HDFS相关实现代码。
• mapreduce：MapReduce框架的库文件。
• yarn：YARN资源管理模块的依赖包。

hadoop/tmp

Hadoop临时文件目录，默认存储作业中间数据、本地缓存等。需定期清理以避免磁盘空间不足。

hadoop/include

提供Hadoop的C语言头文件，用于开发原生库或与HDFS交互的本地应用。

hadoop/webapps

存放Hadoop Web UI相关的静态资源，如NameNode、ResourceManager的Web界面文件。

---

关键配置文件示例

以core-site.xml为例，常见配置如下：

<configuration>  
  <property>  
    <name>fs.defaultFS</name>  
    <value>hdfs://localhost:9000</value>  
  </property>  
</configuration>  

hdfs-site.xml中调整副本数的配置：

<property>  
  <name>dfs.replication</name>  
  <value>3</value>  
</property>  

---

注意事项

• 修改配置文件后需重启相关服务生效。
• 日志文件（logs目录）是诊断问题的关键，建议定期归档。
• 生产环境中，tmp目录应配置到独立磁盘分区以避免影响系统稳定性。

通过理解这些目录的功能，可以更高效地部署、维护和优化Hadoop集群。