Hadoop简介

• 定义与核心组件（HDFS、YARN、MapReduce）
• 应用场景与优势

环境准备

• 确认Java环境

下载Hadoop

• 官方下载地址与版本选择（如Apache Hadoop 3.3.6）
• 
• 解压至目标目录

 重命名目录并设置权限：

如果出现以上这种情况，说明存在非空目录，给我删了，然后重新做上一步：

配置Hadoop环境变量

• 打开并编辑ect/profile文件:
• 
• 末尾添加这两条命令：先点i 进入编辑 ，再输
• 保存并退出，先esc   再   :wq   
• 输入vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh  打开hadoop-env.sh文件如下：
• 找到最后一行并添加export JAVA_HOME=/usr/lib/jvm/java-17-openjdk-17.0.16.0.8-2.el9.x86_64（不行说明文件路径不对，自己敲命令ls /usr/lib/jvm/查看）
• 
• 配置core-site.xml:
• 添加以下命令：

• 配置hdfs-site.xml文件：

• 添加命令：

配置mapred-site.xml文件：

• 修改 HDFS 配置文件 $HADOOP_HOME/etc/hadoop/hdfs-site.xml：

  
• 启动HDFS与YARN服务（start-dfs.sh、start-yarn.sh）
• 配置 YARN 的 $HADOOP_HOME/etc/hadoop/yarn-site.xml：
• 保存退出后，执行命令启动 SSH 服务：
• 
• 格式化 NameNode：
• 
• 启动 HDFS 和 YARN：
• 
• 
• 验证服务状态：
• 
• 
  若能看到NameNode、DataNode、ResourceManager、NodeManager进程，说明服务启动成功。

基本操作与验证

• HDFS文件操作（上传、下载、查看文件）

  hdfs dfs -mkdir /input  
  hdfs dfs -put localfile /input  
  hdfs dfs -ls /  
  

• 运行MapReduce示例（如WordCount）

  hadoop jar hadoop-examples.jar wordcount /input /output  
  

• YARN任务监控（ResourceManager Web UI）

常见问题与解决

• 端口冲突处理（如50070、8088）
• 权限错误解决方案（用户组配置）
• 日志文件排查路径（logs/目录）

扩展配置（可选）

• 多节点集群部署要点
• 性能调优参数（内存分配、副本数设置）

总结

• 关键步骤回顾
• 官方文档与社区资源推荐