一、Hadoop下载、上传、解压

        （一）、前期配置

                1.配置多台虚拟机

                

                2.配置固定IP地址

                开启node1，修改主机名为node1，并修改固定ip为：192.168.1.131。 同样的操作启动node2和node3,修改node2主机名为node2，设置ip为192.168.1.132修改node2主机名为node3，设置ip为192.168.1.133

                #修改主机名

                hostnamectl set-hostname node1

                #修改IP地址

                vim /etc/sysconfig/network-scripts/ifcfg-ens33

                IPADDR="192.168.1.131"

                #重启网卡

                systemctl restart network

                3.配置主机名映射

                        （1)、在Windows系统中修改hosts文件，填入如下内容：

                        192.168.1.131 node1

                        192.168.1.132 node2

                        192.168.1.133 node3

                        （2）、在三台Linux的/etc/hosts文件中，填入以下内容（三台都要添加）

                        192.168.1.131 node1

                        192.168.1.132 node2

                        192.168.1.133 node3

                4.配置ssh免密登录

                        （1）在每台机器都执行：“ssh-keygen -t rsa -b 4096”，一路回车即可

                        

                        （2）在每台机器都执行：

                        

                        

                        （3）执行完后，node1,node2,node3之间将完成root用户之间的免密互通

                ​​​​​​​        ​​​​​​​

                5.配置JDK环境

                        （1）下载JDK软件：https://www.oracle.com/java/technologies/downloads

或者Java Archive Downloads - Java SE 8u211 and later

                                找到并下载下载jdk-8u461-linux-x64.tar.gz

        ​​​​​​​        ​​​​​​​        

                        （2）登录Linux系统，切换到root用户

                        

                        

                        （3）通过FinalShell，上传下载好的JDK安装包

                        

                ​​​​​​​        

                        （4）创建文件夹，用来部署JDK，将JDK和Tomcat都安装部署到：/export/server内

                                                

                        （5）解压缩JDK安装文件

                           

                        （6）配置JDK的软链接

              

                        （7）配置JAVA_HOME环境变量，以及将$JAVA_HOME/bin文件夹加入PATH环境变量中

                        

                        

                        （8）生效环境变量

                        

                        （9）配置java执行程序的软链接

                        

                        （10）执行验证

                        

                6.创建Hadoop用户并配置免密登录

                        （1）在每一台机器执行：useraddhadoop，创建hadoop用户

                        （2）在每一台机器执行：passwdhadoop，设置hadoop用户密码为Shanda@123

                        

                        （3）在每一台机器均切换到hadoop用户：su-hadoop，并执行ssh-keygen-trsa-b4096，创建ssh密钥

                        

                        （4）在每一台机器均执行

                        ​​​​​​​

                        

                7.关闭防火墙和SELinux（以下操作每台机器都要执行）

                        （1）集群化软件之间需要通过端口互相通讯，为了避免出现网络不通的问题，我们可以简单的在集群内部关闭防火墙。

                        

                         （2）Linux有一个安全模块：SELinux，用以限制用户和程序的相关权限，来确保系统的安全稳定。在当前，我们只需要关闭SELinux功能，避免导致后面的软件运行出现问题即可

                        

        （二）、Hadoop下载、上传、解压

                1.Hadoop官方网址：https://hadoop.apache.org，课程使用当前最新的发行版：3.3.6版

                或​​​​​​​https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

        

        

                2.上传&解压

                        （1）上传Hadoop安装包到node1节点中

                        

                        

                        （2）解压缩安装包到/export/server/中

                        

                        （3）构建软链接

                        

                        （4）进入hadoop安装包内

                        

二、配置文件

        （一）、修改配置文件

        （以下文件均在$HADOOP_HOME/etc/hadoop文件夹中)

                1.配置workers文件

                

                

                2.配置hadoop-env.sh文件（在最后添加）

                

                

                3.配置core-site.xml文件

                

                

                4.配置hdfs-site.xml文件

                

                

        （二）、配置环境变量

          为了方便我们操作Hadoop，可以将Hadoop的一些脚本、程序配置到PATH中，方便后续使用。

                1.vim/etc/profile

                

                2.在node2和node3配置同样的环境变量

三、运行

        （一）、授权为Hadoop用户

        为了确保安全，hadoop系统不以root用户启动，我们以普通用户hadoop来启动整个Hadoop服务所以，现在需要对文件权限进行授权。ps：请确保已经提前创建好了hadoop用户（前置准备章节中有讲述），并配置好了hadoop用户之间的免密登录

                1.以root身份，在node1、node2、node3三台服务器上均执行如下命令

                

        （二）、格式化整个文件系统

                1.格式化namenode

                

                2.启动

                

        （三）、查看HDFS WEBUI

                1.启动完成后，可以在浏览器打开：http://node1:9870，即可查看到hdfs文件系统的管理网页。