资源：https://pan.baidu.com/s/1949KkbXC4xcuCpqEbpwC3Q?pwd=vfze 提取码: vfze，包含jdk、Hadoop、flume、zookeeper等等项目需要的工具或安装包

目录

一、基础环境

二、添加集群分发脚本（方便后续集群传输）

三、设置3台主机免密登录

四、JDK安装及环境配置

---

备注：没有特别说明的命令默认在hadoop102上执行，其中的“其它主机”是指hadoop103和hadoop104

备注：没有特别说明都在atguigu用户执行命令

一、基础环境

1.先利用宿主机克隆3台主机，宿主机下载地址：https://pan.baidu.com/s/1yGqD2zEKExp5VdULbgDHIQ?pwd=1dj2 提取码: 1dj2

3台主机名称如下

2.修改虚拟网络编辑器

在编辑中选择虚拟网络编辑器

选择vmnet8,点击更改设置，将子网改为192.168.10.0，下图是我已经改好的

点击DHCP设置，顺便把 DHCP 地址池的起始地址和结束地址改成下图一样的内容

点击NAT设置，将网关修改为192.168.10.2

3.分别使用root用户登录3台主机，密码为000000(3台主机都要执行下面的命令)

su root

进入后在终端输入下面的命令修改网络配置(3台主机都要执行下面的命令)

vim /etc/sysconfig/network-scripts/ifcfg-ens33

因为是宿主机克隆来的，只用修改IPADDR，每台都要修改，分别为

192.168.10.102

192.168.10.103

192.168.10.104

下面是一个示例，修改的是hadoop104,输入上面命令后，按i插入，修改后按esc，然后按wq保存

3台网络地址修改完成后输入下面命令，修改主机名(3台主机都要执行下面的命令)

分别修改为

hadoop102

hadoop103

hadoop104

vim /etc/hostname

以hadoop104为例，将原来的hadoop100改为hadoop104,如图

3台主机名修改完成后，将3台主机重启

二、添加集群分发脚本（方便后续集群传输）

在hadoop102依次输入下面的命令

# 切换回atguigu用户
su atguigu
# 查看文件列表
ll
# 创建bin目录
mkdir bin
# 进入创建好的目录
cd /home/atguigu/bin
# 使用vim编辑器编写脚本
vim xsync

如图示例

添加如下脚本后，wq保存退出

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

然后修改脚本权限，输入下面命令（hadoop102执行下面命令）

chmod 777 xsync

配置PATH环境，输入下面命令，编辑环境（hadoop102执行下面命令）

vim ~/.bashrc

在文末插入下面的内容（hadoop102执行下面命令）

export PATH=/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:$HOME/bin:$HOME/.local/bin:$PATH

如图示例

保存退出后，输入下面命令，刷新环境（hadoop102执行下面命令）

source ~/.bashrc

最后输入下面命令，验证脚本是否成功（hadoop102执行下面命令）

xsync xsync

成功截图如下

并且也能在其它两台主机的/home/atguigu/bin看到传输过去的脚本(使用finalshell软件查看)

三、设置3台主机免密登录（两个用户都要,特别是atguigu用户）

3台主机都要依次输入下面的命令，生成公钥和私钥，并拷贝到其它主机(3台主机都要执行下面的命令)

ssh-keygen -t rsa       
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

下面是以hadoop104为例，其它两台同理

输入第一条命令后，按3次回车，生成公钥和私钥

依次输入后面3条命令，每输入一条命令，要输入一次“yes”和密码：000000

这里以ssh-copy-id hadoop102演示，ssh-copy-id hadoop103、ssh-copy-id hadoop104同理。

3台主机生成公钥和私钥，并拷贝到其它主机后可以通过下面的命令验证，如果成功是可以不用密码直接登录其它主机。

以hadoop104为例，要通过ssh免密登录其它两台，输入下面的命令验证

ssh hadoop102
exit
ssh hadoop103
exit

如图：

其它两台主机验证同理，只用修改ssh后面的主机名就行，其中exit命令是登出操作。

上面演示的时root用户的免密登录设置，同理切换到atguigu用户重新执行一遍上面的免密登录操作

切换用户使用命令

su - atguigu

四、JDK安装及环境配置

1.先通过finalshell或xshell将jdk传入宿主机事先准备好的目录下（已经有了不用重新创建）/opt/software如图：（在hadoop102执行下面操作）

查看是否成功

2.解压jdk到目录/opt/module/下，输入命令（hadoop102执行下面命令）

tar -zxvf /opt/software/jdk-8u212-linux-x64.tar.gz -C /opt/module/

解压完成后重命名为java（hadoop102执行下面命令）

mv /opt/woftware/jdk1.8.0_212/ java

3.配置jdk环境，新建环境脚本，输入下面命令（hadoop102执行下面命令）

sudo vim /etc/profile.d/my_env.sh

添加如下内容：

#JAVA_HOME

export JAVA_HOME=/opt/module/java

export PATH=$PATH:$JAVA_HOME/bin

后保存退出

输入下面命令，使环境变量生效（hadoop102执行下面命令）

source /etc/profile.d/my_env.sh

最后验证jdk是否安装成功

4.分发JDK及其环境到其它两台主机

1.输入下面两条命令（hadoop102执行下面命令）

sudo /home/atguigu/bin/xsync /opt/module/java
sudo /home/atguigu/bin/xsync /etc/profile.d/my_env.sh

传输完成后在hadoop103、hadoop104输入下面命令刷新环境并验证是否成功，如图：

备注如果只想搭建Hadoop集群，请跳过2，直接看3

03-学习笔记尚硅谷数仓搭建-Hadoop安装配置及集群启动脚本-CSDN博客