Linux上hadoop的安装以及配置文件修改
下载Hadoop安装包解压 将下载的Hadoop安装包解压到/home/app目录下 解压命令:tar -zxvf /hadoop-2.6.0-cdh5.7.0.tar.gz -C /home/appHadoop环境搭建2.1 添加Hadoop安装目录到系统环境变量 修改配置文件(/etc/profile) 修改命令:vi /etc/profile 添加内容: ...
- 在安装Hadoop前需要先完成jdk的安装,链接:Linux集群系统下安装jdk
- Linux集群系统下安装jdk网址:https://blog.csdn.net/qq_42012160/article/details/115441810
1、下载Hadoop安装包解压
将下载的Hadoop安装包解压到/home/app目录下
解压命令:tar -zxvf hadoop-2.8.0.tar.gz -C /root/apps/hadoop
2.、Hadoop环境搭建
2.1 添加Hadoop安装目录到系统环境变量
修改配置文件(/etc/profile)
修改命令:vi /etc/profile
添加内容:
export JAVA_HOME=/root/apps/jdk/jdk1.8.0_141
export HADOOP_HOME=/root/apps/hadoop-2.8.0
export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存文件,执行命令:source /etc/profile,使环境变量生效
2.2 配置Hadoop环境的配置文件:hadoop-env.sh
export JAVA_HOME=/root/apps/jdk/jdk1.8.0_141
2.3 hadoop的核心配置文件:core-site.xml
命令:vi /root/apps/hadoop/hadoop2.8.0/etc/hadoop/core-site.xml
<configuration>
//配置NameNode的主机名和端口号
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
//文件存储目录
<property>
<name>hadoop.tmp.dir</name>
<value>/root/apps/hadoop/tmp</value>
</property>
</configuration>
2.4 设置HDFS元数据文件存放路径:hdfs-site.xml
命令:vi /root/apps/hadoop/hadoop2.8.0/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/apps/hadoop/namenode/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop02:50090</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/apps/hadoop/datanode/data</value>
</property>
</configuration>
2.5 设置datanode启动的服务器:slaves
命令:vi /root/apps/hadoop/hadoop2.8.0/etc/hadoop/slaves
[root@hadoop01 hadoop]# vi slaves
hadoop02
hadoop03
hadoop04
如果没有配置域名映射,该配置文件中应该是服务器的IP地址。在配置域名映射的时候,可以先配置一下服务器主机名。
服务器主机名配置:(在每一台服务器上配置主机名)
[root@hadoop01 hadoop]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop01
服务器域名映射配置:
[root@hadoop01 hadoop]# vi /etc/hosts
192.168.80.11 hadoop01
192.168.80.12 hadoop02
192.168.80.13 hadoop03
192.168.80.14 hadoop04
3、格式化HDFS系统
格式化前将Hadoop安装包复制到其它所有机器上,
命令为:
scp -r /root/apps/hadoop/hadoop2.8.0 root@hadoop02:/root/apps/hadoop/
scp -r /root/apps/hadoop/hadoop2.8.0 root@hadoop03:/root/apps/hadoop/
scp -r /root/apps/hadoop/hadoop2.8.0 root@hadoop04:/root/apps/hadoop/
再将 /etc/proflie文件分别复制到其它机器上
格式化命令:hadoop namenode -format
格式化的原因:core-site.xml和hdfs-site.xml两个配置文件中配置的文件目录并不存在,而且不能用命令创建,只能通过格式化命令的执行,让系统自己生成。
4、启动HDFS
4.1 常用的启动方式有两种:
启动方式一: 一次启动所有进程
命令:start-dfs.sh
启动完成后可以通过jps命令检测是否启动成功,如果正常的启动,会有如下进程:
[root@hadoop01 hadoop]# jps
2242 Jps
2105 SecondaryNameNode
1915 NameNode
[root@hadoop02 hadoop]# jps
1270 DataNode
1358 Jps
[root@hadoop03 hadoop]# jps
1266 DataNode
1354 Jps
[root@hadoop04 hadoop]# jps
1348 Jps
1258 DataNode
查看监听的端口
命令: netstat -nltp
[root@hadoop01 hadoop]# jps
2242 Jps
2105 SecondaryNameNode
1915 NameNode
[root@hadoop01 hadoop]# netstat -nltp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 1915/java
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 1021/sshd
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1099/master
tcp 0 0 192.168.80.11:9000 0.0.0.0:* LISTEN 1915/java
tcp 0 0 0.0.0.0:50090 0.0.0.0:* LISTEN 2105/java
tcp 0 0 :::22 :::* LISTEN 1021/sshd
tcp 0 0 ::1:25 :::* LISTEN 1099/master
[root@hadoop01 hadoop]#
启动方式二: 单独启动每个进程
启动namenode
命令:hadoop-daemon.sh start namenode
启动datanode
命令:hadoop-daemon.sh start datanode
启动secondarynamennode
命令:hadoop-daemon.sh start secondarynamenode
jps命令查看是否启动以上进程。
4.2、HDFS界面浏览器访问:http://hadoop01:50070
更多推荐
所有评论(0)