Ambari 作为大数据环境搭建利器的核心知识,并涵盖了 Yum 高级应用Ambari 安装与使用Hadoop2.x 集群部署,以及与 CDH 的对比等内容。

一、Yum 高级应用(基础铺垫)

  • Yum 介绍:Linux 下的软件包管理工具,解决依赖关系。

  • 工作机制:仓库(repository)+ 元数据 + 依赖解析。

  • 常用命令yum installyum listyum clean allyum makecache

  • 配置 Yum 源:配置阿里云 CentOS 源、Ambari 源等。


二、Ambari 大数据环境搭建工具

1. Ambari 是什么?
  • 开源工具,用于简化 Hadoop 及大数据生态(HDFS、YARN、Spark、HBase 等)的安装、管理和监控。

2. 总体架构
  • Ambari Server:管理节点,提供 Web UI 和 REST API。

  • Ambari Agent:安装在集群各节点,接收 Server 指令并执行。

3. Ambari 安装步骤(CentOS 7)

bash

# 下载 Ambari repo
wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.1.0/ambari.repo -O /etc/yum.repos.d/ambari.repo

# 安装 Ambari Server
yum install ambari-server

# 配置(使用默认 PostgreSQL)
ambari-server setup

# 启动
ambari-server start
  • 访问:http://<ambari-server-ip>:8080,默认账号 admin/admin


三、Ambari 核心功能

功能模块说明
集群服务管理安装、启动、停止、重启服务(HDFS、YARN、Spark 等)
服务监控提供 Metrics、Heatmaps、Alert 等监控视图
服务配置管理图形化修改配置(支持版本回退)
辅助工具HDFS 文件管理、Quick Links(原生 Web UI)
Host 管理节点添加、组件启停、SSH 免密配置
安全集成支持 Kerberos 认证
服务自启动配置服务是否随系统启动

四、部署一个 Hadoop2.x 集群(通过 Ambari Wizard)

步骤概览:
  1. 命名集群

  2. 选择 Stack(如 HDP 2.2 / 2.6)

  3. 指定 Agent 节点(提供 SSH 私钥)

  4. 自动安装 Ambari Agent

  5. 选择服务(HDFS、YARN、Spark、ZooKeeper、Kafka 等)

  6. 分配 Master / Slave / Client 节点

  7. 配置服务参数(目录、端口、内存等)

  8. 确认安装

  9. 等待自动部署

  10. 查看 Dashboard

关键注意事项:
  • 节点间需配置 SSH 免密登录

  • 需要 时间同步(NTP)

  • 关闭 防火墙 和 SELinux

  • 设置 文件打开数(如 ulimit -n 10000

  • 所有节点安装 Oracle JDK 8


五、Ambari 与 CDH 对比

对比项Ambari + HDPCDH + Cloudera Manager
维护方Hortonworks(现并入 Cloudera)Cloudera
开源程度完全开源部分组件闭源
安装方式Yum + Ambari WizardCloudera Manager
社区活跃度较高
企业使用较多非常广泛
文档清晰非常详细

六、HDP 企业级大数据平台示例(6 节点规划)

节点角色节点名作用
Ambari 节点ambari管理集群
NameNode / Masterbigdata1HDFS、Spark、HBase Master
SecondaryNameNodebigdata2HDFS 备份
DataNode / Workerbigdata3~5数据存储与计算
准备工作关键命令示例:

bash

# 配置主机名
节点角色节点名作用
Ambari 节点ambari管理集群
NameNode / Masterbigdata1HDFS、Spark、HBase Master
SecondaryNameNodebigdata2HDFS 备份
DataNode / Workerbigdata3~5数据存储与计算
准备工作关键命令示例:

bash

# 配置主机名
hostnamectl set-hostname ambari

# 配置 hosts
echo "192.168.0.100 ambari" >> /etc/hosts

# 时间同步
yum install -y ntp
systemctl enable ntpd

# 关闭防火墙
systemctl disable firewalld
systemctl stop firewalld

# 生成 SSH 密钥
ssh-keygen
ssh-copy-id root@bigdata1

七、总结:Ambari 的价值

  • 降低门槛:无需手动修改数十个 XML 配置文件。

  • 提升效率:从几天的手工部署缩短到小时级别。

  • 运维友好:Web 界面统一管理配置、监控、告警、升级。

  • 适合企业:多节点、多服务、多版本的大数据平台标准化交付。

更多推荐