本次教学内容

本项目主要围绕分布式集群的基础配置展开，涵盖网络配置、防火墙设置、开发环境搭建以及免密登录等内容。

---

本次教学目标

1. 集群基础配置主要内容？

2. 有哪些上网模式？

3. 网络配置文件所在目录？

4. 为什么要关闭防火墙？

5. 如何关闭防火墙？

6. 什么是 SSH 协议？

7. 简述免密过程

---

目录

1. 连网模式

2. 主机网络配置

3. 防火墙和时钟同步

4. 安装开发环境 JDK

5. 集群网络配置

6. 免密登录和用户管理

---

01 连网模式

在搭建分布式集群之前，首先需要保证虚拟机可以正常联网。

---

01、检查上网状态

可以通过以下命令检测当前网络是否连通：

ping www.baidu.com

如果返回正常数据，则说明网络连接成功。

此外，也可以通过以下命令获取 IP：

dhclient

需要注意的是：通过 DHCP 获取的 IP 是动态的，系统重启后可能会发生变化。

---

02、桥接模式

桥接模式下：

• 虚拟机与物理机处于同一网段

• 可以直接访问局域网

适用于对网络要求较高的场景。

---

03、NAT 模式

NAT 模式特点：

• 虚拟机与物理机不在同一网段

• 通过地址转换访问外网

• 配置简单，最常用

👉 实际学习环境推荐使用 NAT 模式。

---

04、仅主机模式

该模式下：

• 虚拟机只能与宿主机通信

• 无法访问互联网

适用于隔离测试环境。

---

05、多网卡设置

生产环境通常需要多网卡支持。

查看网卡信息

ip a
ifconfig
ifconfig -a

---

修改网卡配置

vi /etc/sysconfig/network-scripts/ifcfg-eth0

---

重启网络

service network restart

---

查看网关

route -n

---

02 主机网络配置

---

01、网段规划

在集群部署前，需要统一规划：

• IP 地址

• 子网掩码

• 网关

确保所有节点在同一网段，保证通信正常。

---

02、使用文件配置网络

Linux 通过配置文件设置网络参数：

vi /etc/sysconfig/network-scripts/ifcfg-eth0

---

配置项说明

• DEVICE：设备名称

• NAME：设备名称（兼容模式）

• ONBOOT：是否开机启动

• BOOTPROTO：IP 获取方式（dhcp / static）

• IPADDR：IP 地址

• NETMASK：子网掩码

• GATEWAY：默认网关

• DNS：DNS 服务器

---

示例配置

BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.2.128
NETMASK=255.255.255.0
GATEWAY=192.168.2.2
DNS1=119.29.29.29

---

03、通过机器名访问网络

编辑 hosts 文件：

vi /etc/hosts

添加：

192.168.2.128 bigdata01
192.168.2.129 bigdata02

---

04、网络配置生效

systemctl restart network.service

然后通过 ping 测试配置是否成功。

---

 03 防火墙和时钟同步

---

01、关闭防火墙

为什么要关闭

在集群中，多台机器需要通信，防火墙可能会阻止连接，因此学习阶段需要关闭。

---

操作命令

systemctl stop firewalld.service
firewall-cmd --state
systemctl start firewalld.service

---

02、时钟同步

作用

集群中所有节点时间必须一致，否则会导致任务异常。

---

安装 NTP

yum install ntp ntpdate -y

---

启动服务

systemctl start ntpd
systemctl enable ntpd

---

手动同步

ntpdate -u 10.82.71.73

---

04 安装开发环境 JDK

---

01、下载安装 JDK

JDK 是 Java 开发环境，是大数据组件运行的基础。

一般安装在 /usr 目录。

---

02、配置 JDK 环境变量

vi /etc/profile

添加：

export JAVA_HOME=/usr/java/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin

---

03、环境变量生效

source /etc/profile

---

05 集群网络配置

---

01、克隆

通过克隆虚拟机快速构建多节点环境。

---

02、唯一性配置

克隆后必须修改：

• IP 地址

• 主机名

• MAC 地址

否则会导致冲突。

---

03、优化

为了防止重启后配置失效，需要：

• 固定 IP

• 配置 hosts

• 设置开机启动

---

06 免密登录和用户管理

---

01、为什么要免密

在集群操作中，需要频繁登录不同节点，免密登录可以大幅提升效率。

---

02、免密原理

基于公钥和私钥机制：

• 私钥保存在本机

• 公钥分发到其他机器

---

03、生成密钥

ssh-keygen -t rsa -C "your_email@example.com"

---

04、测试免密登录

ssh localhost
ssh bigdata01

---

05、用户管理

创建用户

groupadd bd
useradd -g bd py
passwd py

---

切换用户

su py
su

---

删除用户

userdel py

---

06、SSH 免密方式

ssh-copy-id localhost
ssh-copy-id hadoop2