大数据运维师核心职责是解决集群网络、配置、通信问题，保障集群不停机且业务正常，课程分开发/集群/企业级环境部署三大阶段。

一、大数据技术回顾
1.谷歌三驾马车

2. 什么是Hadoop：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop是以分布式文件系统（Hadoop Distributed File System，简称HDFS）和MapReduce等模块为核心，为用户提供底层分布式基础架构
3. Hadoop生态：含HBase、Hive、ZooKeeper、Ambari等组件，覆盖存储、计算、调度、部署全环节。
4. 应用场景：通过Flume收集日志→HDFS存储→MapReduce清洗→Hive处理→Sqoop导出→HBase存储，最终前端展示。

 
二、分布式大数据集群框架
 
1. 规划必要性：Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情，因为你可能花费了很久的时间在搭建运行环境，最终却不知道什么原因无法创建成功。但对新手来说，运行环境搭建不成功的概率还很高，所以，在正式开始搭建集群前做好集群规划是很有必要
2. 核心规划内容：集群拓扑（master/slave架构）、主机规划、软件规划（指定CentOS7、JDK1.8等版本）、数据目录规划、Windows IP映射（修改/etc/hosts绑定IP和主机名）。

 主机规划：

四、Windows下Linux仿真工具
 
1. 功能：VMware Workstation（中文名“威睿工作站”）是一款功能强大的桌面虚拟计算机软件，提供用户可在单一的桌面上同时运行不同的操作系统，和进行开发、测试 、部署新的应用程序的最佳解决方案。VMware Workstation可在一部实体机器上模拟完整的网络环境，以及可便于携带的虚拟机器，其更好的灵活性与先进的技术胜过了市面上其他的虚拟计算机软件。对于企业的 IT开发人员和系统管理员而言， VMware在虚拟网路，实时快照，拖曳共享文件夹，支持 PXE 等方面的特点使它成为必不可少的工具。
2. SecureCRT：SecureCRT是一款支持 SSH2、SSH1、Telnet、Telnet/SSH、Relogin、Serial、TAPI、RAW 等协议的终端仿真程序。SecureCRT 支持标签化 SSH 对话，从而可方便地管理多个 SSH 连接，设置项也极为丰富。简单的说是Windows下登录UNIX、Linux服务器主机的软件。 参考：https://blog.csdn.net/dianzishi123/article/details/96192327

下载地址：http://download.csdn.net/detail/u014079773/9803964
3. SecureFX:1.SecureFX可以更加有效的实现文件的安全传输，您可以使用其新的拖放功能直接将文件拖至Windows和其他程序中，也可以充分利用SecureFX的自动化特性，实现无需人为干扰的文件自动传输。 2、打开SecureFX,在Session Manager右键选择你要连接的服务器（如果没有的话还是按照之前的步骤新建一个），点击“Connect File Transfer
 
五、核心考点
 
1. 集群规划不含服务规划，软件规划不含SQL Server；
2. hosts文件在**/etc目录，master/slave属于拓扑规划**；
3. CentOS是Linux系统，非Windows下的Linux仿真工具；
4. 支持多协议的终端仿真程序为SecureCRT。