📦 Yum 高级应用 ⚙️ Ambari 架构与安装

🚀 部署 Hadoop2.x 集群 📌 集群管理 & 监控 🔄 Ambari vs CDH

1 . Yum 高级应用( 基础之源)

Yum (Yellowdog Updater Modified) 是RPM包管理工具，能自动解决依赖关系。工作机制：通过仓库(.repo)获取元数据，解决依赖并安装软件包。

 常用命令
yum install / yum update / yum remove / yum list / yum clean all / yum repolist

🗂️ 配置Yum源
repo文件存放于 /etc/yum.repos.d/，可配置阿里云、EPEL加速下载。

高级技巧： 创建本地Yum仓库、使用createrepo、Yum优先级插件，适合离线大数据环境部署。

2 .Ambari 大数据平台利器 (核心组件)

Ambari 简介 & 总体框架

Ambari 是Apache顶级开源项目，旨在简化Hadoop及相关生态（HDFS, YARN, Spark, HBase等）的安装、配置、监控与运维。提供直观的Web UI和REST API。

🏗️ 总体架构
Ambari Server (管理核心) + Ambari Agent (部署于各节点) + 数据库(PostgreSQL/MySQL) + 监控组件(Grafana可选)

🤖 Agent机制
Agent负责接收Server指令，安装/启动服务组件，收集主机状态及心跳上报。

Ambari 安装步骤 (CentOS7)

 前置准备：所有节点配置静态主机名、关闭防火墙/SELinux、SSH免密登录、安装Oracle JDK8、NTP时间同步。具体命令参考PPT。

Ambari 核心功能一览

• 集群服务管理 – 一键安装Hadoop生态组件，服务启动/停止/重启，依赖自动解析。
• 图形化配置 – 修改配置（常用/高级），版本快照，配置回退，关联服务重启提醒。
• 监控与告警 – Metrics指标（CPU/内存/网络），热力图，告警管理，可导出Excel/JSON。
• 辅助工具 – HDFS文件浏览器（上传/下载/创建目录），原生UI快速链接（NameNode UI, RM UI）。
• 主机 & 组件级操作 – 维护模式、退役节点、批量启停，粒度细腻。

 管理层级： Service Level (服务级别) 、Host Level (主机级别)、Component Level (组件级别) 三层操作，满足精细运维。

3 .部署一个 Hadoop2.x 集群 实战向导

Ambari 安装向导 – 10步部署HDP集群

以 HDP 2.6 (Hadoop 2.6.x) 为例，规划6节点：Ambari节点 + NameNode/Master + SecondaryNameNode + 3 DataNode。

环境准备核心命令（每个节点）

 集群运维实战 – 服务与组件管理

Service Level Action： 一键运行服务检查 (Run Service Check)，MapReduce Wordcount验证；支持启动/停止服务，刷新队列，启用HA。
Host Level Action： 对多节点执行 Start All Components / Stop DataNodes，并支持Decommission操作。
Component Level： 针对单个DataNode或NodeManager单独重启/退役，精细化管理。

配置版本回退亮点：Ambari保留配置历史版本，可从V2一键回退至V1，并自动生成新版本，关联服务重启即可生效。

🔍 快速链接 & 辅助工具

通过Quick Links直达NameNode UI、ResourceManager UI、Spark History Server。内嵌HDFS文件浏览器：支持可视化创建目录、上传/下载文件，无需命令行。Metrics + Heatmaps：实时图表展示集群负载，支持时间范围选择及导出JSON/Excel。Config History：追踪配置变更，审计与回滚

4 · Ambari vs CDH & HDP企业生态 选型参考

CDH (Cloudera Distribution Hadoop) 简介

CDH是Cloudera公司发行版，基于稳定Apache Hadoop构建，提供Cloudera Manager管理工具，版本清晰，更新快，支持Kerberos安全认证，文档全面。但最新免费版停更，现逐步迁移至CDP平台。

Ambari + HDP 优势
完全开源，无闭源组件；配置灵活性高；与Hortonworks深度集成；向导式安装简便。

Cloudera Manager + CDH 优势
企业级特性丰富，界面美观，管理更细致，支持滚动升级，运维成熟。

企业级大数据平台架构 (HDP 2.6.0生态)

基于Ambari + HDP构建统一数据平台：HDFS 分布式存储 → YARN 资源调度 → Spark/Hive 分析引擎 → HBase 实时存储 → Kafka 数据管道 → ZooKeeper 协调服务。 借助Ambari提供一站式监控、告警、配置生命周期管理。

💡 推荐实践：生产环境可搭建本地Yum镜像（HDP仓库+Ambari仓库），加速部署；利用Ambari Blueprint实现部署自动化；开启Kerberos保障集群安全。

📎 附录 · 核心配置与排错指南

常见问题与解决思路

• Host注册失败： 检查/etc/hosts解析，SSH免密是否连通，Agent节点时间同步，防火墙是否关闭。
• Yum源超时： 配置阿里云/国内镜像，或提前下载rpm包搭建本地源。
• Ambari Server无法启动： 查看/var/log/ambari-server/ambari-server.log，检查数据库连接，端口8080冲突。
• 服务安装失败： 检查每个节点磁盘空间、内存资源，以及是否满足软件依赖。
• NameNode格式化失败： 确保HDFS数据目录为空且权限正确。

推荐的集群规模(实验参考)

✅ 提升下载速度： 配置阿里云CentOS-Base.repo + EPEL源，并修改HDP public repo为国内镜像站点（如华为云镜像）。参考命令如下：

参考资料：IBM DeveloperWorks 博客园部署实战 —— 更多细节可查阅原PPT引用链接。