大数据运维师的职责与学习
·
什么是大数据运维，就是在工作中集群出现问题我们要保证在平台不停止运行的情况下，完成业务运转
不仅如此，我们还要学习虚拟机的布设和操作；
其中虚拟机的部署分为三个大模块：分别是集群规划，IP映射，仿真工具。而在这三个大模块之中，又有许多小的细分。
集群规划：集群拓扑就是分master/slave：作用是将机器分为主机和从机;主机规划：是分配ip；软件规划：要确定需要的软件和软件版本：数据目录规划：要确定软件的位置和安装的位置
IP映射：相当于DNS,非常重要
仿真工具：我们需要用到操作系统CentOS，终端仿真工具SecureCRT，数据传输工具SecuieFX
我们现在知道了虚拟机的部署了，那在这个虚拟机部署前还有个必不可缺第一个东西，那就是架构我们大部分用的都是Hadoop，而运用Hadoop架构出最出名的软件就是谷歌，其中有三个核心HDFS,MapReduce和HBase。
而什么又是Hadoop呢？
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop是以分布式文件系统（Hadoop Distributed File System，简称HDFS）和MapReduce等模块为核心，为用户提供底层分布式基础架构。
Hadoop他有一套独自的生态系统
如图我将其比作生活中的厨房将里面的系统比作常用的工具。
Hadoop的应用场景
通过web服务器收集日志到flume，再由flume将日志存储到HDFS，后通过清洗发送到MapReduce再经过处理通过Hive将数据导出到Sqoop，然后存储到HBase最后将数据展示到前端。
更多推荐
0
0- 0
已为社区贡献2条内容
所有评论(0)