之后点击网络

修改完网络配置之后在重启ubuntu

​

​

连接Xshell

说明：需要提前先安装好 Xshell 和 Xftp

输入之后，可能中间会中断一次，不要担心，按enter继续就可以了

​编辑

将 jdk的包（Linux版）

​

Hadoop的镜像文件（Hadoop的包）

​

eclipse（linux版）

这几个包从winws转到虚拟机中

开始下一步操作

​

设置 hostname**（3 个虚拟机都设置）**

hostname 设置计划

主节点：master

从节点 1：slave1

从节点 2：slave2

切换到 root 用户

su - //切换root用户

修改 hostname

vi /etc/hostname

删掉原有内容，写入：master

按ESC

输入 :wq  分号也要输入

重启后显示新的 hostname

切换到hadoop用户

su hadoop

允许hadoop用户使用超级权限（superprivileges，也称root权限）

注意：默认情况下，不允许普通用户使用超级权限，如果以sudo

作为开头输入指令，会出现如下提示，告知当前用户不在允许使用超级权限的文件内。

需要将当前用户添加到sudoers文件中。

切换到root用户

su -

编辑/etc/sudoers文件

vi /etc/sudoers

移动到文件底部，在rootALL=(ALL) ALL下添加：

[username]ALL=(ALL) ALL

添加后强制保存:wq! 退出。使用exit指令退出root用户（会返回到hadoop用户）

exit

4. 关闭防火墙**（3个虚拟机都设置）**

查看防火墙运行状态，返回running表示防火墙正在运行中。

sudo ufw status

​

临时关闭防火墙（系统重启后防火墙又会自动启动）

sudo systemctl stop ufw.service

需要禁止防火墙自动启动（永久关闭）

sudo systemctl disable ufw.service

查看防火墙运行状态，返回running表示防火墙正在运行中。

sudo ufw status

如果终端输出“Status: inactive”，则表示防火墙已成功关闭。

(5)设置IP地址**（3个虚拟机都设置）**

注意：网段必须与VMnet8子网IP的网段保持一致，网段中xxx.xxx.xxx.1和xxx.xxx.xxx.2（网关（GATEWAY））这两个地址不能使用。例：本机的VMnet8网段为192.168.56.0，则192.168.56.1和192.168.56.2不能使用。可选的IP地址范围为：192.168.56.3-192.168.56.255。

IP地址分配计划

master 192.168.56.3

slave1 192.168.56.4

slave2 192.168.56.5

有命令和窗口页面两种操作方式

窗口页面操作

点击设置（setting）

按照下面的图片内容填写

查看IP地址

ip addr show

6)设置每台主机hostname到IP的映射关系****3个虚拟机都设置）

sudo vi /etc/hosts

**（**在配置文件中追加3行

192.168.126.3 master

192.168.126.4 slave1

192.168.126.5 slave2

测试hostname是否可用

sudo vi /etc/hosts

终止按钮

ctrl c

配置SSH免密登录

(1)生成秘钥对

ssh-keygen -t rsa

2）发送公钥 先发给自己（装完三个节点之后在发送给slave1、slave2）

将master节点上hadoop用户的公钥发给各个节点的hadoop用户（包括自己）

在这样说明一点，要将三台hadoop配置完毕之后在发送其它两台的，下面的代码

要在master节点下一行一行输入

正在途中还要输入yes，密码，

ssh-copy-id  -i  /home/hadoop/.ssh/id_rsa.pub hadoop@master

ssh-copy-id  -i  /home/hadoop/.ssh/id_rsa.pub hadoop@slave1（slave1节点装完在输入）

ssh-copy-id  -i  /home/hadoop/.ssh/id_rsa.pub hadoop@slave2（slave2节点装完在输入）

3）测试免密登录

ssh master

​

(1)安装jdk和hadoop

先解压文件

输入代码

jdk-8u301-linux-x64.tar.gz 是文件名，要改成自己的文件名

hadoop-2.10.1.tar.gz 是文件名，要改成自己的文件名

tar -zxvf jdk-8u301-linux-x64.tar.gz

tar -zxvf hadoop-2.10.1.tar.gz

移动至/usr/local 路径下

移动jdk

sudo mv jdk1.8.0_301 /usr/local/jdk1.8.0

移动hadoop

sudo mv hadoop-2.10.1 /usr/local/

安装 vim 编辑器，不安装的话可以使用自带的 vi 编辑器

（功能相对少）

sudo apt install vim

打开环境变量配置文件

sudo vim /etc/profile

在文件末尾插入以下定义

export JAVA_HOME=/usr/local/jdk1.8.0

export HADOOP_HOME=/usr/local/hadoop-2.10.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

按Esc

然后输入

：wq

$ source /etc/profile

测试是否配置成功

测试Hadoop是否安装完成

hadoop version

测试Java是否安装完成

java -version

配置Hadoop

建立保存临时目录的路径

sudo mkdir -p /usr/data/hadoop/tmp

Hadoop 默认启动的时候使用的是系统下的 /temp 目录下,但 是在每一次重启的时候系统都会将其自动清空 ,如果没有临 时的储存目录有可能会在下一次启动 Hadoop 的时候出现 问题。

为防止 Hadoop 运行时出现权限的问题，需要将/usr/data 目 录及其子目录的拥有者全部从 root 改为用户名。 （这里以本机用户名 silin 为例。）

sudo chown sillin:silin -R /usr/data

(4)Hadoop分布式配置（master节点）

进入hadoop安装文件下的/etc/hadoop/文件夹中。

cd  /usr/local/hadoop-2.10.1/etc/hadoop

配置hadoop-env.sh脚本文件

将${JAVA_HOME}改为jdk的实际安装路径

vi hadoop-env.sh

将${JAVA_HOME}改为jdk的实际安装路径

配置core-site.xml配置文件

vi core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/data/hadoop/tmp</value>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hostname:9000</value>

</property>

</configuration>

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

低效又漫长，而且极易碰到天花板技术停滞不前！**

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
[外链图片转存中…(img-9p5zUwMX-1713017312570)]
[外链图片转存中…(img-fJfd2lG7-1713017312571)]
[外链图片转存中…(img-WOi57IbR-1713017312571)]
[外链图片转存中…(img-slYUejAk-1713017312572)]
[外链图片转存中…(img-jag072G3-1713017312572)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-nfUOaEAb-1713017312572)]

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！