大数据运维工程师核心职责、项目一大数据分布式集群!!!

1、A能上网,B不能上网?
2、A能访问B,反之不行?3、给100台机器修改同一个参数?
4、IP地址可以访问,主机名无法访问?
5、A给B发送一个信息,B说没有收到?
集群出现的问题无数如何保证在不停机的情况下,业务正常运转,这就哎形“大数据运维师”的职责


Had00p元-个田Apache基金会所开发的分布式系统基础架构。Hadoop是以分布式文件系统(Hadoop Distributed File简称HDFS)和MapReduce等模System,块为核心,为用户提供底层分布式基础架构。

规划必要性
Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情,因为你可能花费了很久的时间在搭建运行环境,最终却不知道什么原因无法创建成功。但对新手来说,运行环境搭建不成功的概率还很高,所以,在正式开始搭建集群前做好集群规划是很有必要的。
规划内容如下;





一、VMwareWorkstation Pro
1、功能
VMwareWorkstation(中文名“威睿工作站”)是一款功能强大的桌面
虚拟计算机软件,提供用户可在单一的桌面上同时运行不同的操作系统,和进
行开发、测试、部署新的应用程序的最佳解决方案。VMwareWorkstation可
在一部实体机器上模拟完整的网络环境,以及可便于携带的虚拟机器,其更好
的灵活性与先进的技术胜过了市面上其他的虚拟计算机软件。对于企业的IT开
发人员和系统管理员而言,VMware在虚拟网路,实时快照,拖曳共享文件
夹,支持PXE等方面的特点使它成为必不可少的工具。


虚拟机创建完成后,就可以在VMware的主界面看到我们刚刚创建好的虚拟机CentOS6.6,如下图:

这样,我们的虚拟机就创建好了。这个虚拟机就相当于一台真实的电脑,只不过我们还
没有给它安装操作系统。在安装操作系统之前,如果有要,我们可以灵活更改该虚拟
机的硬件设置(如:内存大小、处理器数量、网络适配器等等)。可以点击主菜单栏
的“虚拟机→设置”,来进行更改。


最后,点击完成即可。这样,我们就可以在VMware的主界面,看到两台一模一样的虚拟机了。

给虚拟机安装Linux操作系统我们已经有了一台创建好的虚拟机(CentOS6.6),硬件设置也配置好了,只差给该虚拟机安装操作系统备。
如下图:
(1)点击VMware的虚拟机界面,选择我们创建好的虚拟机Cent0S6.6,然后双击虚拟机中模拟的光驱设

(2)更改光驱设置,使用ISO映像文件来安装linux系统。

(3)开启该虚拟机,相当于打开电脑的电源启动电脑。

(4)开启虚拟机后,迅速将虚拟机的光盘设置,改为下面的设置,即勾选“已连接”和“启动时连
接”,如下图:

(5)如果都正常的话,就会进入linux的图形安装界面。如下图:

(6)设置虚拟PC的计算机名称,用默认值即可。点击“下一步”

(7)设置根账号(root用户,即超级管理员)的密码。这里,为了方便,就设置为123456。点击“下一步”

(8)安装完成后,出现下面的界面,告知你CentOS系统已经安装好了,并提示你重启。点击“重新引导”即可。

(9)重启后的CentOS系统界面,如下:
(https://blog.csdn.net/lamp_yang3533/article/details/53136895)

1、什么是SecureCRT?
SecureCRT是一款支持 SSH2、SSH1、Telnet、TeInetSSH、Relogin、Serial、TAPI、RAW 等
协议的终端仿真程序。SecureCRT支持标签化 SSH 对话,从而可方便地管理多个SSH 连接,设置项
也极为丰富。简单的说是Windows下登录UNIX、Linux服务器主机的软件。
参考:https://blog.csdn.net/dianzishi123/article/details/96192327
2、SecureCRT下载?
下载地址:http://download.csdn.net/detail/u014079773/9803964
该软件安装和破解很简单,傻瓜式的安装破解。这里不再进行介
绍。
3、创建一个普通的Session
(1)点击File→Connect,出现Connect窗口,创建Sessions,创
建一个目录,名字叫linux。如图:

3、创建一个普通的Session
(2)然后选中linux,建立一个session。弹出一个new session向导:



5、常用快捷键
(1)鼠标左键有选中功能,单击选中的内容为复制。鼠标右键单击空白处为粘贴剪贴板内容到光标处,单击选中内容为复制和粘贴内容到光标处。
(2)alt+enter全屏
(3)alt+p 调出sftp窗口
(4)ctrl+f4关闭当前session
(5)alt+f4关闭SecureCRT软件
(6)alt+c打开连接标签,然后选择自己的session即可。

3、输入你连接的服务器的用户名和密码,看到如下界面就代表连接成功了。

更多推荐
所有评论(0)