用Ambari告别手工配置，让大数据平台部署像安装普通软件一样简单

前言

在大数据领域，搭建一套完整的Hadoop生态集群（HDFS、YARN、Spark、HBase、Kafka等）曾经是一项极其繁琐的工作：手动修改几十个XML配置文件、处理复杂的依赖关系、逐台机器安装和调试……一个百台规模的集群，往往需要数周时间才能稳定运行。

Apache Ambari 的出现彻底改变了这一局面。作为Hortonworks（现Cloudera）开源的大数据平台管理工具，Ambari提供了图形化的Web界面，让集群的安装、配置、监控和运维变得像操作普通软件一样直观。

本文将带你系统性地掌握Ambari的核心知识，从Yum高级应用开始，深入Ambari的架构与安装，最终完成一个完整的Hadoop2.x集群部署，并对比主流发行版CDH，帮助你做出合适的技术选型。

一、基石：Yum高级应用

在理解Ambari之前，有必要先掌握Yum——Ambari赖以工作的包管理基础。

1.1 Yum是什么

Yum（Yellowdog Updater Modified）是Linux发行版（如CentOS、RHEL）上的软件包管理工具，能够自动处理软件依赖关系，从配置的仓库（Repository）中下载并安装软件。

1.2 Yum工作机制

  • 仓库（Repository）：存放RPM包及元数据的服务器地址，通过.repo文件配置。

  • 元数据缓存：yum makecache将仓库信息下载到本地，加速查询和安装。

1.3 常用Yum命令

命令作用
yum install <package>安装指定软件包
yum clean all清除所有缓存
yum repolist列出已启用的仓库
yum list | grep <keyword>搜索可用的软件包

1.4 配置Yum源（以阿里云+Ambari源为例）

bash

# 备份默认源
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

# 下载阿里云CentOS 7源
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

# 配置Ambari官方源
cat > /etc/yum.repos.d/ambari.repo <<EOF
[ambari-2.7.5]
name=ambari-2.7.5
baseurl=http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.5.0
gpgcheck=0
enabled=1
EOF

# 更新缓存
yum clean all && yum makecache

配置好Yum源后，安装Ambari就像安装任何普通软件一样简单。

二、Ambari：大数据平台的“控制台”

2.1 Ambari是什么

Apache Ambari 是一个开源的管理平台，专门用于置备、管理和监控 Apache Hadoop 集群。它简化了Hadoop及相关组件（Hive、HBase、Spark、Kafka等）的安装与运维，提供了直观的Web UI。

简单来说：Ambari = 一键安装 + 可视化配置 + 集中监控 + 自动化运维。

2.2 Ambari总体架构

Ambari采用经典的Server/Agent架构：

  • Ambari Server：管理节点，提供REST API和Web控制台，负责协调整个集群的操作。

  • Ambari Agent：部署在每台集群节点上，接收Server的指令，执行安装、启动、停止、监控等任务。

2.3 Ambari的核心能力

功能模块说明
服务管理一键安装、启动、停止、重启整个集群或单个服务
配置管理图形化修改配置，支持版本回退，自动提示需重启的服务
监控告警提供Metrics、Heatmaps、告警规则，可导出数据
文件管理内置HDFS文件浏览器，支持上传/下载/新建目录
安全集成支持Kerberos一键开启
快速链接直接跳转到NameNode UI、ResourceManager UI等原生界面

三、Ambari安装实战

3.1 环境准备（所有节点）

在安装Ambari之前，需要完成以下准备工作：

项目要求
操作系统CentOS 7.6+ 最小化安装
JDKOracle JDK 1.8
主机名配置 /etc/hosts，确保所有节点可解析
网络所有节点互通，可访问外网（或内部Yum源）
SSH配置Ambari Server到所有Agent节点的免密登录
时间同步安装NTP服务，确保时间一致
防火墙关闭或开放必要端口（8080、6180等）
文件句柄ulimit -n 10000 或更高

SSH免密配置示例：

bash

# 在Ambari Server节点生成密钥
ssh-keygen -t rsa

# 将公钥分发到所有Agent节点
ssh-copy-id root@bigdata1
ssh-copy-id root@bigdata2
# ... 重复所有节点

3.2 安装Ambari Server

bash

# 安装
yum install -y ambari-server

# 交互式配置（使用默认值即可）
ambari-server setup
# 数据库选择：1（内嵌PostgreSQL）
# JDK选择：1（默认Oracle JDK）
# 管理员账户：admin/admin

# 启动服务
ambari-server start

# 检查状态
ambari-server status

3.3 访问Ambari Web UI

浏览器打开：http://<ambari-server-ip>:8080

默认用户名/密码：admin/admin

登录后，你将看到一个简洁的仪表板，点击 “Launch Install Wizard” 即可开始创建集群。

四、通过Ambari部署Hadoop2.x集群

Ambari提供了10步向导，将复杂的集群部署变成“下一步”式的体验。

4.1 部署步骤概览

步骤操作内容
1命名集群（如 bigdata）
2选择Stack（如 HDP-2.6，对应Hadoop 2.7+）
3指定Agent节点列表，上传SSH私钥
4Ambari自动安装Agent并等待注册
5选择要安装的服务（HDFS、YARN、Spark、Kafka等）
6分配Master/Slave/Client角色到具体主机
7配置服务参数（目录、内存、端口等）
8审阅所有配置
9开始在线安装（耗时取决于网络）
10安装完成，进入Dashboard

4.2 集群规划示例（6节点）

主机名角色部署服务
ambari管理节点Ambari Server
bigdata1MasterNameNode, ResourceManager, HBase Master, Spark2
bigdata2SecondaryNameNodeHDFS SecondaryNameNode
bigdata3~5WorkerDataNode, NodeManager, RegionServer

4.3 服务选择参考

在步骤5中，建议勾选以下核心服务：

  • HDFS：分布式文件系统（必选）

  • YARN + MapReduce2：资源调度与计算框架（必选）

  • ZooKeeper：分布式协调服务（推荐）

  • Spark2：内存计算引擎

  • Kafka：消息队列

  • HBase：NoSQL数据库（可选）

  • Hive：数据仓库（可选）

Ambari会自动检查依赖关系，如选择Spark会自动要求安装HDFS和YARN。

五、使用Ambari管理集群

5.1 服务级别操作

在Dashboard左侧点击任意服务（如HDFS），可以：

  • 启动/停止/重启 该服务的所有组件

  • 运行服务检查（如MapReduce2的WordCount测试）

  • 查看配置历史 并回滚到任意版本

  • 快速链接 到原生Web UI

5.2 主机级别操作

在 Hosts 页面，可以对一台或多台主机执行：

  • 启动/停止该主机上的所有组件

  • 添加/删除主机（集群弹性扩展）

  • 查看主机指标（CPU、内存、磁盘）

5.3 组件级别操作

点击具体主机名，可以针对单个组件（如DataNode）进行：

  • 停止/启动

  • 退役（Decommission）/ 重新服役（Recommission）

这种精细化的操作粒度，让运维人员可以安全地进行节点维护。

六、Ambari vs CDH：主流发行版对比

对比维度Ambari + HDPCDH + Cloudera Manager
维护方Hortonworks（现Cloudera开源分支）Cloudera
开源程度完全开源核心开源，部分企业版收费
安装方式Yum + Web向导Parcel + Cloudera Manager
配置管理支持版本回退，界面友好同样强大，商业支持更完善
安全集成支持Kerberos、LDAP支持Kerberos、Sentry、Ranger
适用场景社区活跃、希望完全免费的企业需要企业级支持、合规要求高的场景

目前两家公司已合并，但Ambari + HDP仍然是开源社区中最受欢迎的大数据平台管理方案之一。

七、企业级大数据平台实践建议

7.1 硬件规划参考

节点类型CPU（核）内存（GB）磁盘数量
Ambari管理节点4850GB系统盘1
Master节点8~1632~64SSD+机械盘2~3
Worker节点16~3264~128多块数据盘3+

7.2 软件版本组合（稳定推荐）

  • CentOS 7.9

  • Ambari 2.7.5

  • HDP 3.1 (包含 Hadoop 3.1, Spark 2.4, Hive 3.1)

  • JDK 8

7.3 常见问题与解决

问题现象可能原因解决方案
Agent无法注册SSH免密失败 / 主机名解析错误检查/etc/hosts和ssh连通性
服务启动失败端口冲突 / 目录权限不足查看/var/log/ambari-agent/日志
安装超时Yum源速度慢配置本地镜像或国内加速源
配置回滚无效服务未重启Ambari会提示，按提示重启即可

八、总结

Ambari 的出现，让大数据平台的搭建从“专家级手工活”变成了“标准化操作”。通过本文的学习，你应该已经掌握了：

  • Yum高级配置：为Ambari安装打好基础；

  • Ambari核心架构：Server + Agent的工作模式；

  • 安装与部署全流程：从准备环境到集群上线；

  • 日常运维操作：服务/主机/组件三个级别的管理；

  • 发行版对比：Ambari+HDP vs CDH，帮助你选型。

对于初学者，建议在虚拟机中按照本文步骤完整实践一遍；对于已经在使用Hadoop的企业，Ambari可以极大提升运维效率，降低管理成本。

未来的大数据平台，不仅需要强大的计算引擎，更需要像Ambari这样的“隐形管家”，让技术专注于业务，而非基础设施。

参考资料

本文内容基于项目09《Ambari大数据环境搭建利器》整理，结合了PPT要点与实践经验，适合作为学习笔记或培训教材。

# 大数据
Logo
亚马逊云科技技术品牌专区

更多推荐

cover

基于大数据+Hadoop+深度学习的淘宝用户购物可视化与行为预测系统设计与开发

avatar 亚马逊云科技技术品牌专区
cover

基于大数据爬虫+Hadoop+深度学习的旅游推荐系统设计与开发

avatar 亚马逊云科技技术品牌专区

学Linux选学校：一线城市还是老家？

而二线城市很多机构的老师，自己都没进过大厂，技术停留在五年前的水平，甚至对着PPT照本宣科。而二线机构缺乏企业合作资源，项目案例永远是“搭建博客系统”“配置个LAMP环境”——这些在现在的云计算岗位面试中，连初筛都过不了。在一线城市学习，你接触的同学、老师、企业内推资源，都是二线城市没法比的。而老家机构的学员，最好的结果也就是去本地小公司做网管，月薪五六千，天花板肉眼可见。在IT培训这行干了快十年

avatar 亚马逊云科技技术品牌专区