Ambari 大数据环境搭建利器
Ambari 作为大数据环境搭建利器的核心知识,并涵盖了 Yum 高级应用、Ambari 安装与使用、Hadoop2.x 集群部署,以及与 CDH 的对比等内容。
一、Yum 高级应用(基础铺垫)
-
Yum 介绍:Linux 下的软件包管理工具,解决依赖关系。
-
工作机制:仓库(repository)+ 元数据 + 依赖解析。
-
常用命令:
yum install,yum list,yum clean all,yum makecache。 -
配置 Yum 源:配置阿里云 CentOS 源、Ambari 源等。
二、Ambari 大数据环境搭建工具
1. Ambari 是什么?
-
开源工具,用于简化 Hadoop 及大数据生态(HDFS、YARN、Spark、HBase 等)的安装、管理和监控。
2. 总体架构
-
Ambari Server:管理节点,提供 Web UI 和 REST API。
-
Ambari Agent:安装在集群各节点,接收 Server 指令并执行。
3. Ambari 安装步骤(CentOS 7)
bash
# 下载 Ambari repo wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.1.0/ambari.repo -O /etc/yum.repos.d/ambari.repo # 安装 Ambari Server yum install ambari-server # 配置(使用默认 PostgreSQL) ambari-server setup # 启动 ambari-server start
-
访问:
http://<ambari-server-ip>:8080,默认账号admin/admin
三、Ambari 核心功能
| 功能模块 | 说明 |
|---|---|
| 集群服务管理 | 安装、启动、停止、重启服务(HDFS、YARN、Spark 等) |
| 服务监控 | 提供 Metrics、Heatmaps、Alert 等监控视图 |
| 服务配置管理 | 图形化修改配置(支持版本回退) |
| 辅助工具 | HDFS 文件管理、Quick Links(原生 Web UI) |
| Host 管理 | 节点添加、组件启停、SSH 免密配置 |
| 安全集成 | 支持 Kerberos 认证 |
| 服务自启动 | 配置服务是否随系统启动 |
四、部署一个 Hadoop2.x 集群(通过 Ambari Wizard)
步骤概览:
-
命名集群
-
选择 Stack(如 HDP 2.2 / 2.6)
-
指定 Agent 节点(提供 SSH 私钥)
-
自动安装 Ambari Agent
-
选择服务(HDFS、YARN、Spark、ZooKeeper、Kafka 等)
-
分配 Master / Slave / Client 节点
-
配置服务参数(目录、端口、内存等)
-
确认安装
-
等待自动部署
-
查看 Dashboard
关键注意事项:
-
节点间需配置 SSH 免密登录
-
需要 时间同步(NTP)
-
关闭 防火墙 和 SELinux
-
设置 文件打开数(如
ulimit -n 10000) -
所有节点安装 Oracle JDK 8
五、Ambari 与 CDH 对比
| 对比项 | Ambari + HDP | CDH + Cloudera Manager |
|---|---|---|
| 维护方 | Hortonworks(现并入 Cloudera) | Cloudera |
| 开源程度 | 完全开源 | 部分组件闭源 |
| 安装方式 | Yum + Ambari Wizard | Cloudera Manager |
| 社区活跃度 | 较高 | 高 |
| 企业使用 | 较多 | 非常广泛 |
| 文档 | 清晰 | 非常详细 |
六、HDP 企业级大数据平台示例(6 节点规划)
| 节点角色 | 节点名 | 作用 |
|---|---|---|
| Ambari 节点 | ambari | 管理集群 |
| NameNode / Master | bigdata1 | HDFS、Spark、HBase Master |
| SecondaryNameNode | bigdata2 | HDFS 备份 |
| DataNode / Worker | bigdata3~5 | 数据存储与计算 |
准备工作关键命令示例:
bash
# 配置主机名
| 节点角色 | 节点名 | 作用 |
|---|---|---|
| Ambari 节点 | ambari | 管理集群 |
| NameNode / Master | bigdata1 | HDFS、Spark、HBase Master |
| SecondaryNameNode | bigdata2 | HDFS 备份 |
| DataNode / Worker | bigdata3~5 | 数据存储与计算 |
准备工作关键命令示例:
bash
# 配置主机名 hostnamectl set-hostname ambari # 配置 hosts echo "192.168.0.100 ambari" >> /etc/hosts # 时间同步 yum install -y ntp systemctl enable ntpd # 关闭防火墙 systemctl disable firewalld systemctl stop firewalld # 生成 SSH 密钥 ssh-keygen ssh-copy-id root@bigdata1
七、总结:Ambari 的价值
-
降低门槛:无需手动修改数十个 XML 配置文件。
-
提升效率:从几天的手工部署缩短到小时级别。
-
运维友好:Web 界面统一管理配置、监控、告警、升级。
-
适合企业:多节点、多服务、多版本的大数据平台标准化交付。
更多推荐
所有评论(0)