【赫兹威客】Hadoop伪分布式部署教程
本文档为Hadoop伪分布式部署教程,基于最新部署流程整理,核心涵盖克隆文件确认、VMware服务与网络配置、虚拟机导入与设置、IP与域名映射配置等全流程。教程结合具体操作步骤与命令说明,可高效完成Hadoop伪分布式环境部署,确保虚拟机外网访问、本机与虚拟机互联及域名映射正常。所需Hadoop虚拟机克隆文件需提前下载并解压完成。
一、前期准备:克隆文件确认
提前获取Hadoop虚拟机克隆文件,确保网络通畅后完成下载。下载完成后,在本地指定文件夹中进行解压操作,解压完成后确认文件夹内文件完整(需包含核心虚拟机配置文件,如hadoop.vmx),记录该解压文件夹路径,后续虚拟机导入步骤需使用。
二、Hadoop伪分布式部署步骤
步骤1:确认下载并解压好的克隆文件
导航至前期规划的解压文件夹,核对文件夹内文件完整性,重点确认是否存在虚拟机核心配置文件(如hadoop.vmx),确保克隆文件无缺失、无损坏,为后续虚拟机导入做准备。

步骤2:管理员打开CMD并启动VMware NAT Service
在本机Windows系统中,右键点击“命令提示符”,选择“以管理员身份运行”。在打开的CMD窗口中,输入命令 sc start "VMware NAT Service" 并回车。执行完成后,查看命令输出结果,确认“VMware NAT Service”服务已成功运行(若提示“服务已经启动”,则无需再次操作;若启动失败,可检查VMware软件是否正常安装)。


步骤3:VMware导入虚拟机
打开VMware虚拟机软件,点击界面左上角的“文件”菜单,选择“打开”选项。在弹出的文件选择窗口中,导航至前期记录的解压文件夹路径,选中文件夹内的虚拟机核心配置文件(.vmx),点击“打开”,将虚拟机成功加载到VMware的虚拟机列表中,建议将虚拟机命名为hadoop(便于后续操作识别)。



步骤4:打开VMware虚拟网络编辑器
在VMware软件界面中,点击顶部菜单栏的“编辑”选项,在下拉菜单中选择“虚拟网络编辑器”,打开虚拟网络配置界面。

步骤5:点击“更改设置”
在虚拟网络编辑器界面中,点击右下角的“更改设置”按钮(若弹出权限验证窗口,点击“确定”通过验证),进入网络配置可编辑状态。

步骤6:还原默认设置
在可编辑状态的虚拟网络编辑器中,点击界面左侧的“还原默认设置”按钮,按照提示完成默认设置还原(此步骤用于清除原有网络配置残留,避免影响新配置生效,还原过程中需耐心等待)。

步骤7:修改VM8子网IP
在虚拟网络编辑器的网络列表中,选中“VMnet8”(对应NAT模式网络),在界面下方的“子网IP”输入框中,将原有IP修改为 129.168.20.0(可自定义IP,需要记住设置的IP,确保与后续网关配置匹配)。


步骤8:修改NAT网关IP并应用
在虚拟网络编辑器中,点击“NAT设置”按钮,打开NAT配置界面。在“网关IP”输入框中,将原有网关IP修改为192.168.20.2,点击“确定”保存NAT配置。返回虚拟网络编辑器界面后,点击“应用”按钮,使子网IP和网关配置生效(若弹出配置成功提示,点击“确定”即可)。




步骤9:编辑虚拟机网络设置
在VMware的虚拟机列表中,选中已导入的hadoop虚拟机,右键点击选择“编辑虚拟机设置”(或直接点击界面中的“编辑虚拟机设置”按钮),打开虚拟机硬件配置界面。

步骤10:设置网络适配器为NAT模式
在虚拟机的硬件配置界面中,选中“网络适配器”选项,在界面右侧的“网络连接”区域,选择“NAT模式”,点击“确定”保存配置(确保网络适配器已勾选“启动时连接”,避免虚拟机启动后无网络)。


步骤11:开启虚拟机
在VMware的虚拟机列表中,选中hadoop虚拟机,点击“开启此虚拟机”按钮。等待虚拟机启动完成,直至出现登录界面(启动过程中若出现系统相关提示,按默认选项确认即可)。

步骤12:输入账号密码登录
在虚拟机登录界面,输入预设的账号和密码:普通用户账号为hertz,密码为hertz;若需使用root权限,账号为root,密码为1。输入完成后确认登录,进入虚拟机命令行界面(建议保持命令行界面,便于后续输入命令操作)。



步骤13:输入ip a查看虚拟机IP
在虚拟机的命令行中,输入命令 ip a 并回车,查找ens33网卡对应的IP地址(通常以inet开头),查看并记录当前IP,便于后续修改时对比确认。

步骤14:修改虚拟机IP和网关配置文件
在虚拟机命令行中,输入命令 sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33 并回车,输入root密码(默认密码:1)后进入vi编辑器界面。按i键进入编辑模式,通过方向键移动光标,修改以下配置项:
- IPADDR=192.168.20.200(此为虚拟机静态IP,需要与设置的NAT网络在同一个网段);
- GATEWAY=192.168.20.2(与步骤8中设置的NAT网关IP一致);
修改完成后,按Esc键退出编辑模式,输入 :wq 并回车,保存修改并退出vi编辑器。



步骤15:重启网络服务
在虚拟机命令行中,输入命令 sudo systemctl restart network并回车。等待网络服务重启完成,若命令行无报错提示,即表示网络服务重启成功,IP和网关配置已初步生效(若重启失败,可尝试输入 sudo reboot 重启虚拟机后再次验证)。

步骤16:测试虚拟机外网连通性
在虚拟机命令行中,输入命令 ping www.baidu.com -c 3 并回车。该命令将向百度服务器发送3个测试数据包,若出现“64 bytes from XXX.XXX.XXX.XXX: icmp_seq=1 ttl=XXX time=XXms”格式的提示,说明虚拟机外网访问正常;若无法ping通,需检查子网IP、网关配置是否正确。

步骤17:使用Mobaxterm连接虚拟机
打开本机的Mobaxterm软件,点击界面左上角的“Session”按钮,在弹出的窗口中选择“SSH”选项。在“Remote host”输入框中填写步骤14中设置的虚拟机静态IP(192.168.20.200),“Port”保持默认的22不变,点击“OK”创建SSH连接。

步骤18:Mobaxterm输入账号密码登录
在Mobaxterm弹出的登录窗口中,输入虚拟机的账号和密码(与步骤12一致,推荐使用普通用户hertz登录),点击确认。若登录成功,Mobaxterm界面将显示虚拟机的命令行提示符,说明本机与虚拟机的局域网连接正常。

步骤19:Mobaxterm中测试外网连通性
在Mobaxterm的虚拟机命令行中,输入命令 ping www.baidu.com -c 3并回车。再次验证虚拟机外网访问正常,确保远程连接状态下网络通畅(此步骤可排查远程连接场景下的网络问题)。

步骤20:Mobaxterm中ping hadoop域名测试(未配置好域名前)
在Mobaxterm的命令行中,输入命令 ping hadoop -c 3 并回车。此时因尚未配置域名映射,大概率会出现“unknown host hadoop”或“请求找不到主机”提示,该结果为正常现象,后续配置域名后需再次验证。

步骤21:修改虚拟机域名映射文件
在Mobaxterm的虚拟机命令行中,输入命令 sudo vi /etc/hosts 并回车,输入root密码后进入vi编辑器。按i键进入编辑模式,将文件内容修改为以下内容:
|
text |
修改完成后,按Esc键退出编辑模式,输入 :wq 并回车保存退出。


步骤22:再次ping hadoop域名测试(配置域名后)
在Mobaxterm的命令行中,再次输入命令 ping hadoop -c 3 并回车。此时应能正常接收数据包,无“unknown host”提示,说明虚拟机内部域名映射配置生效。

步骤23:本机CMD测试hadoop域名连通性(未配置本机映射前)
回到本机Windows系统,打开CMD窗口(无需管理员权限),输入命令 ping hadoop 并回车。此时因尚未配置本机域名映射,大概率会出现“请求找不到主机hadoop”提示,后续配置本机hosts文件后需验证。

步骤24:修改本机hosts文件
在本机Windows系统中,导航至路径 C:\Windows\System32\drivers\etc,找到hosts文件。右键点击hosts文件,选择“用记事本打开”;若提示权限不足,可先将hosts文件复制到桌面,用记事本打开桌面副本进行编辑。在hosts文件末尾添加以下内容:
|
text |
编辑完成后保存文件,若修改的是桌面副本,需将修改后的hosts文件复制回原路径并覆盖原文件(若提示权限不足,右键点击记事本选择“以管理员身份运行”后重新操作)。

步骤25:本机CMD再次测试hadoop域名连通性
回到本机CMD窗口,再次输入命令 ping hadoop 并回车。若能正常接收数据包,无丢包现象,且正确显示IP,说明本机与虚拟机的域名映射配置生效,Hadoop伪分布式环境基础部署完成。

三、部署验证与注意事项
1. 核心验证要点
- 虚拟机IP修改后,通过 ip a命令确认静态IP(192.168.20.200)已生效;
- 虚拟机本地命令行及Mobaxterm中均能ping通外网(www.baidu.com),确保网络连通性;
- 虚拟机及本机均能ping通hadoop域名,确保域名映射正常;
- Mobaxterm能正常连接虚拟机,远程操作无异常。
2. 关键注意事项
- 步骤2中需以管理员身份启动CMD,否则可能因权限不足导致“VMware NAT Service”服务启动失败;启动前可通过 sc query "VMware NAT Service" 命令查看服务当前状态;
- 虚拟网络配置(步骤4-8)是核心,需严格按照要求设置VM8子网IP(129.168.20.0)和网关IP(192.168.20.2),且虚拟机需配置为NAT模式,否则会导致网络不通;
- 修改虚拟机IP和hosts文件时,需仔细核对IP地址和域名的对应关系,避免输入错误;vi编辑器操作需熟练,避免因操作失误导致文件保存失败。
更多推荐


所有评论(0)