• 在安装Hadoop前需要先完成jdk的安装,链接:Linux集群系统下安装jdk
  • Linux集群系统下安装jdk网址:https://blog.csdn.net/qq_42012160/article/details/115441810

1、下载Hadoop安装包解压
  将下载的Hadoop安装包解压到/home/app目录下
  解压命令:tar -zxvf hadoop-2.8.0.tar.gz -C /root/apps/hadoop
2.、Hadoop环境搭建
  2.1 添加Hadoop安装目录到系统环境变量
  修改配置文件(/etc/profile)
  修改命令:vi /etc/profile 
  添加内容:
    export JAVA_HOME=/root/apps/jdk/jdk1.8.0_141
    export HADOOP_HOME=/root/apps/hadoop-2.8.0
    export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    
  保存文件,执行命令:source /etc/profile,使环境变量生效
 2.2 配置Hadoop环境的配置文件:hadoop-env.sh
  export JAVA_HOME=/root/apps/jdk/jdk1.8.0_141
 2.3 hadoop的核心配置文件:core-site.xml
  命令:vi /root/apps/hadoop/hadoop2.8.0/etc/hadoop/core-site.xml

<configuration>
//配置NameNode的主机名和端口号
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01:9000</value>
  </property>
//文件存储目录
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/root/apps/hadoop/tmp</value>
  </property>
</configuration>

         2.4 设置HDFS元数据文件存放路径:hdfs-site.xml
     命令:vi /root/apps/hadoop/hadoop2.8.0/etc/hadoop/hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/root/apps/hadoop/namenode/data</value>
  </property>
  
 <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop02:50090</value>
  </property>
  
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/root/apps/hadoop/datanode/data</value>
  </property>
</configuration>

         2.5 设置datanode启动的服务器:slaves
     命令:vi /root/apps/hadoop/hadoop2.8.0/etc/hadoop/slaves

[root@hadoop01 hadoop]# vi slaves
hadoop02
hadoop03
hadoop04

如果没有配置域名映射,该配置文件中应该是服务器的IP地址。在配置域名映射的时候,可以先配置一下服务器主机名。
服务器主机名配置:(在每一台服务器上配置主机名)

[root@hadoop01 hadoop]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop01

服务器域名映射配置:

[root@hadoop01 hadoop]# vi /etc/hosts
192.168.80.11 hadoop01
192.168.80.12 hadoop02
192.168.80.13 hadoop03
192.168.80.14 hadoop04

3、格式化HDFS系统
格式化前将Hadoop安装包复制到其它所有机器上,
命令为:

scp -r /root/apps/hadoop/hadoop2.8.0 root@hadoop02:/root/apps/hadoop/
scp -r /root/apps/hadoop/hadoop2.8.0 root@hadoop03:/root/apps/hadoop/
scp -r /root/apps/hadoop/hadoop2.8.0 root@hadoop04:/root/apps/hadoop/

再将 /etc/proflie文件分别复制到其它机器上

格式化命令:hadoop namenode -format
  格式化的原因:core-site.xml和hdfs-site.xml两个配置文件中配置的文件目录并不存在,而且不能用命令创建,只能通过格式化命令的执行,让系统自己生成。
4、启动HDFS
 4.1 常用的启动方式有两种:
   启动方式一: 一次启动所有进程
   命令:start-dfs.sh
   启动完成后可以通过jps命令检测是否启动成功,如果正常的启动,会有如下进程:

[root@hadoop01 hadoop]# jps
2242 Jps
2105 SecondaryNameNode
1915 NameNode
[root@hadoop02 hadoop]# jps
1270 DataNode
1358 Jps
[root@hadoop03 hadoop]# jps
1266 DataNode
1354 Jps
[root@hadoop04 hadoop]# jps
1348 Jps
1258 DataNode

              查看监听的端口
    命令: netstat -nltp

[root@hadoop01 hadoop]# jps
2242 Jps
2105 SecondaryNameNode
1915 NameNode
[root@hadoop01 hadoop]# netstat -nltp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name   
tcp        0      0 0.0.0.0:50070               0.0.0.0:*                   LISTEN      1915/java           
tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN      1021/sshd           
tcp        0      0 127.0.0.1:25                0.0.0.0:*                   LISTEN      1099/master         
tcp        0      0 192.168.80.11:9000          0.0.0.0:*                   LISTEN      1915/java           
tcp        0      0 0.0.0.0:50090               0.0.0.0:*                   LISTEN      2105/java           
tcp        0      0 :::22                       :::*                        LISTEN      1021/sshd           
tcp        0      0 ::1:25                      :::*                        LISTEN      1099/master         
[root@hadoop01 hadoop]# 

           启动方式二: 单独启动每个进程
     启动namenode
     命令:hadoop-daemon.sh start namenode
     启动datanode
     命令:hadoop-daemon.sh start datanode
     启动secondarynamennode
     命令:hadoop-daemon.sh start secondarynamenode
   jps命令查看是否启动以上进程。
 
 4.2、HDFS界面浏览器访问:http://hadoop01:50070

Logo

更多推荐