以下是使用VM虚拟机 + MobaXterm配置并启动Hadoop的详细步骤(以CentOS 7 + Hadoop 3.x + 伪分布式/完全分布式为例):
一、环境准备(VM虚拟机配置)
1. 创建虚拟机(新建虚拟机:在VMware中安装CentOS 7,分配至少2核CPU、4GB内存、20GB磁盘。)

2. 配置静态IP(以CentOS 7为例)

查看虚拟机网卡名:

编辑网卡配置文件(vi /etc/sysconfig/network-scripts/ifcfg-ens33):

修改以下内容(以 192.168.150.129 为例,对应你提供的IP):

BOOTPROTO=static  # 静态IP
ONBOOT=yes        # 开机启动
IPADDR=192.168.150.129  # 虚拟机IP(与VM网络模式匹配)
NETMASK=255.255.255.0   # 子网掩码
GATEWAY=192.168.150.2   # 网关(与VM虚拟网络设置一致)
DNS1=192.168.150.2      # DNS(与网关相同)

 

重启网络(systemctl restart network)

3. 配置主机名与Host映射
 修改主机名(每台虚拟机):hostnamectl set-hostname hadoop01  # 主节点
配置Host映射(每台虚拟机):vi /etc/hosts   添加:192.168.150.129 hadoop01

4. 关闭防火墙与SELinux

关闭防火墙(每台虚拟机):

systemctl stop firewalld
systemctl disable firewalld
关闭SELinux:

setenforce 0  # 临时关闭
vi /etc/selinux/config  # 永久关闭,修改为SELINUX=disabled


 

二、MobaXterm连接虚拟机

1. 打开MobaXterm,点击左上角 Session  → 选择 SSH 。
2. 在 Remote host 中输入虚拟机IP(如 192.168.150.129 ),勾选 Specify username ,输入虚拟机用户名(如 root )。
3. 点击 OK ,输入虚拟机密码,即可远程连接(多台虚拟机需分别创建Session)。

三、安装JDK与Hadoop

1. 安装JDK
上传JDK安装包(通过MobaXterm的SFTP功能,直接拖拽文件到虚拟机)。

解压并配置环境变量:

tar -zxvf jdk-8u261-linux-x64.tar.gz -C /usr/local/
vi /etc/profile

添加:

export JAVA_HOME=/usr/local/jdk1.8.0_261
export PATH=$JAVA_HOME/bin:$PATH

生效环境变量:

source /etc/profile
java -version  # 验证安装
2. 安装Hadoop

上传Hadoop安装包(如 hadoop-3.3.6.tar.gz ),解压并配置环境变量:

tar -zxvf hadoop-3.3.6.tar.gz -C /usr/local/
vi /etc/profile

添加:

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
 

生效环境变量:

source /etc/profile
hadoop version  # 验证安装
 

四、Hadoop配置

进入Hadoop配置目录:

cd $HADOOP_HOME/etc/hadoop

1. 修改 hadoop-env.sh 
vi hadoop-env.sh
 添加JDK路径:export JAVA_HOME=/usr/local/jdk1.8.0_261

2. 修改 core-site.xml

3. 修改 hdfs-site.xml

4. 修改 mapred-site.xml

5. 修改 yarn-site.xml

配置从节点 workers 文件

使用 vi 或 nano 编辑 Hadoop 的 workers 文件(路径通常为 $HADOOP_HOME/etc/hadoop/workers),添加从节点主机名(如 hadoop01),每行一个主机名。保存后确保文件权限正确。

SSH 免密登录配置

在主节点执行以下命令生成密钥对(默认路径为 ~/.ssh):

ssh-keygen -t rsa  # 连续回车使用默认值

将公钥复制到本机及所有从节点(包括自身):

ssh-copy-id hadoop01  # 替换为实际主机名

验证免密登录是否成功:

ssh hadoop01  # 应无需输入密码

 

首次启动 Hadoop

格式化 NameNode(仅在首次部署时执行,重复操作会清空数据):

hdfs namenode -format  # 格式化命令

 

启动 Hadoop 集群:

start-dfs.sh  # 启动 HDFS
start-yarn.sh # 启动 YARN(若需)

 

检查进程是否正常:

jps  # 主节点应有 NameNode,从节点应有 DataNode

查看HDFSWEBUI启动完成后,可以在浏览器打开:

 

 

 

更多推荐