Ambari 大数据环境搭建
一、先搞懂 Yum(高级应用)
1. Yum 是什么?
Yum 就像一个手机应用商店。
你想装一个游戏(软件),不需要自己去找安装包、解决各种依赖问题,商店会自动帮你下载、安装好。
2. Yum 怎么工作?
-
你的电脑(Linux)会先去一个“软件仓库”看看有哪些软件。
-
你输入
yum install 软件名,它就去仓库下载并安装。
3. 常用命令(记住这几个就够了)
| 命令 | 作用 |
|---|---|
yum install 软件名 | 安装软件 |
yum list | 看看有哪些软件 |
yum clean all | 清空缓存 |
yum makecache | 重新生成缓存 |
4. 配置 Yum 源
Yum 源就是“软件仓库的地址”。
默认的是国外的,比较慢,我们可以换成阿里云的源,下载更快。
二、Ambari 是什么?(重点)
1. 一句话解释
Ambari 是一个“大数据集群的图形化安装和管理工具”。
2. 没有 Ambari 之前(手工搭建)
你要装 Hadoop、HBase、Spark、Kafka 等一大堆软件,需要:
-
手动每台机器配 IP、装 JDK、改配置文件、解决版本冲突…
-
几十上百台机器,可能要搞几周甚至一个月。
3. 有了 Ambari 之后
-
像安装游戏一样,点几下鼠标,就能把整个大数据平台装好。
-
还能在网页上监控、启停、修改配置,非常方便。
三、Ambari 是怎么工作的?(框架)
两个核心角色:
| 角色 | 比喻 | 作用 |
|---|---|---|
| Ambari Server | 总指挥 / 老师 | 提供网页界面,下达命令 |
| Ambari Agent | 每个同学 / 工人 | 在每台机器上执行命令 |
老师(Server)说:“所有同学(Agent)安装 JDK”,工人就去装。
四、Ambari 安装流程(简化版)
1. 准备一台“总指挥”机器(Ambari Server)
-
配置好 Yum 源(阿里云 + Ambari 官方源)
-
安装 JDK 8
2. 安装 Ambari Server
bash
yum install ambari-server ambari-server setup # 一路默认即可 ambari-server start # 启动
3. 浏览器访问
text
http://你的服务器IP:8080 用户名/密码:admin/admin
4. 开始搭建 Hadoop 集群(图形化)
五、用 Ambari 搭建 Hadoop 集群(像玩游戏一样)
第一步:给集群起个名字
比如叫 bigdata。
第二步:选择“软件套餐”(Stack)
Ambari 里面叫 HDP(Hortonworks Data Platform),相当于一个包含 Hadoop、Spark、HBase 等的大礼包。
第三步:告诉 Ambari 有哪些机器(Agent)
填写机器的主机名或 IP,比如:
text
bigdata1 bigdata2 bigdata3
第四步:选择要装哪些服务
比如:
-
HDFS(分布式文件系统)
-
YARN(资源调度)
-
Spark(计算引擎)
-
HBase(NoSQL 数据库)
-
ZooKeeper(协调服务)
注意:Ambari 会自动帮你检查依赖,比如选了 HBase,它会提醒你必须装 ZooKeeper。
第五步:分配角色(谁是老大,谁是工人)
-
Master:NameNode、ResourceManager(主节点)
-
Slave:DataNode、NodeManager(工作节点)
第六步:配置(大多数默认就行)
比如:
-
NameNode 数据存哪里
-
每个节点给多少内存
第七步:确认并开始安装
Ambari 会自动:
-
在所有机器上安装 Agent
-
下载并安装你选的所有服务
-
启动服务
这个过程可能要半小时到一小时(取决于网络和机器数量)。
六、安装完成后,Ambari 能做什么?(非常强大)
1. 监控集群
-
看每台机器的 CPU、内存、磁盘、网络
-
看每个服务是否正常(绿色表示正常,红色表示有问题)
2. 启停服务
-
一键启动 / 停止整个集群
-
也可以只重启某个组件(比如 DataNode)
3. 修改配置
-
不用再手动改 XML 文件
-
在网页上改,还能回退到历史版本
4. 查看 HDFS 文件
-
像网盘一样,在网页上上传、下载、创建目录
5. 快速访问原生 UI
比如点击 NameNode UI,就能看到 HDFS 的原始管理界面。
七、Ambari vs CDH(两种主流工具)
| 对比项 | Ambari + HDP | CDH + Cloudera Manager |
|---|---|---|
| 维护公司 | Hortonworks(后被 Cloudera 收购) | Cloudera |
| 是否免费 | 完全开源免费 | 部分免费,企业版收费 |
| 界面 | 简洁直观 | 功能更丰富 |
| 适合人群 | 喜欢开源、自己可控的企业 | 喜欢商业支持的企业 |
现在两家合并了,但很多老项目还在用 Ambari。
更多推荐
所有评论(0)