配置/启动Hadoop(Hadoop下载、上传、解压,加压后修改配置,运行)
以下是使用VM虚拟机 + MobaXterm配置并启动Hadoop的详细步骤(以CentOS 7 + Hadoop 3.x + 伪分布式/完全分布式为例):
一、环境准备(VM虚拟机配置)
1. 创建虚拟机(新建虚拟机:在VMware中安装CentOS 7,分配至少2核CPU、4GB内存、20GB磁盘。)
2. 配置静态IP(以CentOS 7为例)
查看虚拟机网卡名:


编辑网卡配置文件(vi /etc/sysconfig/network-scripts/ifcfg-ens33):
修改以下内容(以 192.168.150.129 为例,对应你提供的IP):
BOOTPROTO=static # 静态IP
ONBOOT=yes # 开机启动
IPADDR=192.168.150.129 # 虚拟机IP(与VM网络模式匹配)
NETMASK=255.255.255.0 # 子网掩码
GATEWAY=192.168.150.2 # 网关(与VM虚拟网络设置一致)
DNS1=192.168.150.2 # DNS(与网关相同)

重启网络(systemctl restart network)
3. 配置主机名与Host映射
修改主机名(每台虚拟机):hostnamectl set-hostname hadoop01 # 主节点
配置Host映射(每台虚拟机):vi /etc/hosts 添加:192.168.150.129 hadoop01
4. 关闭防火墙与SELinux
关闭防火墙(每台虚拟机):
systemctl stop firewalld
systemctl disable firewalld
关闭SELinux:
setenforce 0 # 临时关闭
vi /etc/selinux/config # 永久关闭,修改为SELINUX=disabled

二、MobaXterm连接虚拟机
1. 打开MobaXterm,点击左上角 Session → 选择 SSH 。
2. 在 Remote host 中输入虚拟机IP(如 192.168.150.129 ),勾选 Specify username ,输入虚拟机用户名(如 root )。
3. 点击 OK ,输入虚拟机密码,即可远程连接(多台虚拟机需分别创建Session)。


三、安装JDK与Hadoop
1. 安装JDK
上传JDK安装包(通过MobaXterm的SFTP功能,直接拖拽文件到虚拟机)。
解压并配置环境变量:
tar -zxvf jdk-8u261-linux-x64.tar.gz -C /usr/local/
vi /etc/profile

添加:
export JAVA_HOME=/usr/local/jdk1.8.0_261
export PATH=$JAVA_HOME/bin:$PATH
生效环境变量:
source /etc/profile
java -version # 验证安装
2. 安装Hadoop
上传Hadoop安装包(如 hadoop-3.3.6.tar.gz ),解压并配置环境变量:
tar -zxvf hadoop-3.3.6.tar.gz -C /usr/local/
vi /etc/profile
添加:
export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

生效环境变量:
source /etc/profile
hadoop version # 验证安装

四、Hadoop配置
进入Hadoop配置目录:
cd $HADOOP_HOME/etc/hadoop
1. 修改 hadoop-env.sh
vi hadoop-env.sh
添加JDK路径:export JAVA_HOME=/usr/local/jdk1.8.0_261

2. 修改 core-site.xml

3. 修改 hdfs-site.xml

4. 修改 mapred-site.xml

5. 修改 yarn-site.xml

配置从节点 workers 文件
使用 vi 或 nano 编辑 Hadoop 的 workers 文件(路径通常为 $HADOOP_HOME/etc/hadoop/workers),添加从节点主机名(如 hadoop01),每行一个主机名。保存后确保文件权限正确。
SSH 免密登录配置
在主节点执行以下命令生成密钥对(默认路径为 ~/.ssh):
ssh-keygen -t rsa # 连续回车使用默认值
将公钥复制到本机及所有从节点(包括自身):
ssh-copy-id hadoop01 # 替换为实际主机名
验证免密登录是否成功:
ssh hadoop01 # 应无需输入密码
首次启动 Hadoop
格式化 NameNode(仅在首次部署时执行,重复操作会清空数据):
hdfs namenode -format # 格式化命令
启动 Hadoop 集群:
start-dfs.sh # 启动 HDFS
start-yarn.sh # 启动 YARN(若需)
检查进程是否正常:
jps # 主节点应有 NameNode,从节点应有 DataNode
查看HDFSWEBUI启动完成后,可以在浏览器打开:
更多推荐


所有评论(0)