Hadoop2.6.0 + zookeeper集群环境搭建

在centos6.5上进行hadoop2.6.0+zookeeper集群初步安装

yhao浩

4813人浏览 · 2015-04-08 11:15:29

yhao浩 · 2015-04-08 11:15:29 发布

前提：已安装好centos6.5操作系统

hadoop HA(QJM)集群配置规划

IP	Hostname	备注
192.168.100.101	h1m1	NN(active)、RM、ZKFC
192.168.100.102	h1m2	NN(standby)、RM、ZKFC
192.168.100.103	h1s1	DN、NM、JN、QPM
192.168.100.104	h1s2	DN、NM、JN、QPM
192.168.100.105	h1s3	DN、NM、JN、QPM
192.168.100.106	h1s4	DN、NM、JN、QPM
192.168.100.107	h1s5	DN、NM、JN、QPM

说明：
        NN: NameNode
        RM: ResourceManager
        ZKFC: DFSZKFailoverController
        DN: DataNode
        NM: NodeManager
        JN: JournalNode
        QPM: QuorumPeerMain

1. 系统环境设置(先配置master节点h1m1)

1.1修改主机名
# vim /etc/sysconfig/network
    1 NETWORKING=yes
    2 HOSTNAME=h1m1
    3 NTPSERVERARGS=iburst

1.2 修改IP地址
进入Linux图形界面 -> 右键点击右上方的网络连接->点击“编辑连接…” ->添加一个新网络“主机连接” ->选择IPv4 ->方法选择为手动 ->点击添加按钮 ->添加IP：192.168.100.101子网掩码：255.255.255.0网关：192.168.100.254 ->应用

1.3修改主机名和IP的映射关系（hosts）
# vim/etc/hosts
添加：192.168.100.100 h1m1~192.168.100.107 h1s5

1.4关闭防火墙

# service iptables status        //查看防火墙状态
# service iptables stop           //关闭防火墙
# chkconfig iptables --list       //查看防火墙开机启动状态
# chkconfig iptables off          //关闭防火墙开机启动

1.5重启系统
# reboot

2.安装jdk
下载地址：http://pan.baidu.com/s/1i34B3JB

2.1上传

2.2解压jdk

# mkdir /usr/lib/jdk        //创建目录
# tar -zxvf jdk-8u40-linux-x64.tar.gz           //解压
# mv jdk1.8.0_40 /usr/lib/jdk

2.3将java添加到环境变量中
# vim /etc/profile
//在文件最后添加
export JAVA_HOME=/usr/java/jdk1.8.0_40
export PATH=.:$JAVA_HOME/bin:$PATH

# source /etc/profile //刷新配置
# java -version

3. 配置ssh免登陆
# cd ~ //进入到我的home目录
# ssh-keygen -t rsa -P ''（四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上

# ssh-copy-id h1m1 (或# cat ~/.ssh/id_rsa.pub>> ~/.ssh/ authorized_keys)
# cat ~/.ssh/authorized_keys //查看rsa

注：为方便在集群中针对多节点执行命令，在此提供一个简单脚本供大家使用：

#!/usr/bin/env bash

doCommand() {
    hosts=`sed -n '/^[^#]/p' hostlist`
    for host in $hosts
    do
        echo ""
        echo HOST $host
        ssh $host "$@"
    done
    return 0
} 

if [ $# -lt 1 ]; then
    echo "$0 cmd"
    exit
fi 

doCommand "$@"
echo "return from doCommand"

用法：将本脚本保存并修改权限(chmod 775 doCommand.sh). 在脚本目录下创建一个hostlist文件，其中保存要执行命令的host主机列表.
使用命令：./doCommand.sh “<command>”
e.g. ./doCommand.sh “ls”

4.在h1m1上安装hadoop2.6.0（注：为方便操作，使用xshell远程登录到linux）
按安装java方式把hadoop解压到/usr/lib/hadoop

4.1配置hadoop
将hadoop添加到环境变量中
# vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_40
export HADOOP_HOME=/usr/lib/hadoop
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

4.1.1 配置hadoop-env.sh
# cd /usr/lib/hadoop
# vim etc/hadoop/hadoop-env.sh(注意，此处不是系统的etc目录)
将JAVA_HOME修改为刚才配置的位置

4.1.2配置core-site.xml
# vim etc/hadoop/core-site.xml
添加以下内容：

<configuration>
    <!-- 指定hdfs的nameservice为ns1 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>

    <!-- 指定hadoop临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/lib/hadoop/tmp</value>
    </property>

    <!-- 指定zookeeper地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>h1s1:2181,h1s2:2181,h1s3:2181,h1s4:2181,h1s5:2181</value>
    </property>
</configuration>

4.1.3 配置hdfs-site.xml
HA主要配置是在本文件中，参考官网：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html
# vim etc/hadoop/hdfs-site.xml
添加以下内容：

<configuration>
    <!--指定hdfs的nameservice为mycluster，需要和core-site.xml中的保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    
    <!-- mycluster下面有两个NameNode，分别是nn1，nn2 -->
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    
    <!-- nn1的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>h1m1:9000</value>
    </property>
    
    <!-- nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>h1m1:50070</value>
    </property>
    
    <!-- nn2的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>h1m2:9000</value>
    </property>
    
    <!-- nn2的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>h1m2:50070</value>
    </property>
    
    <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://h1s1:8485;h1s2:8485;h1s3:8485;h1s4:8485;h1s5:8485/mycluster</value>
    </property>
    
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/usr/lib/hadoop/journal</value>
    </property>
    
    <!-- 开启NameNode失败自动切换 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    
    <!-- 配置失败自动切换实现方式 -->
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    
    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>
    </property>
    
    <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
    </property>
    
    <!-- 配置sshfence隔离机制超时时间 -->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
</configuration>

4.1.4配置mapred-site.xml
# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
# vim etc/hadoop/mapred-site.xml
添加以下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <final>true</final>
     </property>
</configuration>

4.1.5配置yarn-site.xml
# vim etc/hadoop/yarn-site.xml
添加以下内容：

<configuration>
    <!-- 开启RM高可靠 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>

    <!-- 指定RM的cluster id -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>

    <!-- 指定RM的名字 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <!-- 分别指定RM的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>h1m1</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>h1m2</value>
    </property>

    <!-- 指定zk集群地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>h1s1:2181,h1s2:2181,h1s3:2181,h1s4:2181,h1s5:2181</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

4.2 修改slaves
slaves是指定子节点的位置，因为要在h1m1上启动HDFS、yarn，所以h1m1上的slaves文件指定的是datanode的位置和nodemanager的位置
# vim /usr/lib/hadoop/etc/hadoop/slaves
h1s1
h1s2
h1s3
h1s4
h1s5

4.3 配置免密码登陆
#配置h1m1到h1m2、h1s1、h1s2、h1s3、h1s4、h1s5的免密码登陆
#在h1m1上生产一对钥匙
ssh-keygen -t rsa -P ''
#将公钥拷贝到其他节点，包括自己
ssh-coyp-id h1m1
ssh-coyp-id h1m2
ssh-coyp-id h1s1
ssh-coyp-id h1s2
ssh-coyp-id h1s3
ssh-coyp-id h1s4
ssh-coyp-id h1s5

5. 安装zookeeper

5.1 下载安装zookeeper
下载地址：http://pan.baidu.com/s/1hq2BEBi
安装过程参考hadoop

5.2 配置zookeeper
添加一个zoo.cfg配置文件
# cd /usr/lib/zookeeper/conf
# mv zoo_sample.cfg zoo.cfg

修改配置文件(zoo.cfg)
dataDir=/usr/lib/zookeeper/data
server.3=h1s1:2888:3888
server.4=h1s2:2888:3888
server.5=h1s3:2888:3888
server.6=h1s4:2888:3888
server.7=h1s5:2888:3888

在（/usr/lib/zookeeper/data）创建一个myid文件，里面内容是server.N中的N（server.3里面内容为3）
# echo "3" > myid

将配置好的zk拷贝到其他节点
# scp -r /usr/lib/zookeeper/ h1s2:/usr/lib/
# scp -r /usr/lib/zookeeper/ h1s3:/usr/lib/
# scp -r /usr/lib/zookeeper/ h1s4:/usr/lib/
# scp -r /usr/lib/zookeeper/ h1s5:/usr/lib/

注意：在其他节点上一定要修改myid的内容
在h1s2应该讲myid的内容改为4 （# echo "4" > myid）
在h1s3应该讲myid的内容改为5 （# echo "5" > myid）
在h1s4应该讲myid的内容改为6 （# echo "6" > myid）
在h1s5应该讲myid的内容改为7 （# echo "7" > myid）

6. 启动集群

6.1 启动zookeeper集群（分别在h1s1、h1s2、h1s3、h1s4、h1s5上启动zk）
# cd /usr/lib/zookeeper/bin/
# ./zkServer.sh start
# ./zkServer.sh status #查看状态：一个leader，四个follower

6.2 启动journalnode（分别在h1s1、h1s2、h1s3、h1s4、h1s5上执行）
# cd /usr/lib/hadoop
# sbin/hadoop-daemon.sh start journalnode #运行jps命令检验，h1s1、h1s2、h1s3、h1s4、h1s5上多了JournalNode进程

6.3 格式化HDFS
# hdfs namenode -format #在h1m1上执行命令:
# scp -r tmp/ h1m2:/usr/lib/hadoop/ #格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/usr/lib/hadoop/tmp，然后将/usr/lib/hadoop/tmp拷贝到h1m2的/usr/lib/hadoop/下。

6.4 格式化ZK(在h1m1上执行即可)
# hdfs zkfc -formatZK

6.5 启动HDFS(在h1m1上执行)
# sbin/start-dfs.sh

6.6 启动YARN
在此我们是在h1m1上配置RM，所以在h1m1执行
# sbin/start-yarn.sh

到此，hadoop-2.6.0配置完毕，可以统计浏览器访问:
http://h1m1:50070
NameNode 'h1m1:9000' (active)
http://h1m2:50070
NameNode 'h1m2:9000' (standby)

验证HDFS HA
首先向hdfs上传一个文件
hadoop fs -put /etc/profile /profile
hadoop fs -ls /

然后再kill掉active的NameNode
kill -9 <pid of NN>
通过浏览器访问：http://h1m2:50070
NameNode 'h1m2:9000' (active)
这个时候h1m2上的NameNode变成了active

在执行命令：
hadoop fs -ls /
-rw-r--r-- 3 root supergroup 1926 2015-05-14 15:36 /profile
刚才上传的文件依然存在！！！

手动启动那个挂掉的NameNode
sbin/hadoop-daemon.sh start namenode
通过浏览器访问：http://h1m1:50070
NameNode 'h1m1:9000' (standby)

验证YARN：
运行一下hadoop提供的demo中的WordCount程序：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /profile /out

OK，大功告成！！！

向您推荐>>Eolink开发者社区

权威｜前沿｜技术｜干货｜国内首个API全生命周期开发者社区

更多推荐

深入理解 Mocha 测试框架：从零实现一个 Mocha

前言什么是自动化测试自动化测试在很多团队中都是Devops环节中很难执行起来的一个环节，主要原因在于测试代码的编写工作很难抽象，99%的场景都需要和业务强绑定，而且写测试代码的编写工作量往往比编写实际业务代码的工作量更多。在一些很多业务场景中投入产出比很低，适合写自动化测试的应该是那些中长期业务以及一些诸如组件一样的基础库。自动化测试是个比较大的概念，其中分类也比较多，比如单元测试，端对端测试，集

云原生

ELK实现containerd的容器日志采集展示【基于logging的全栈监测】

企业级ELK Stack构建介绍

云原生

(20200916 Solved)docker-compose up创建容器自动退出

问题描述如题，创建容器后自动退出了。并且docker start container无效解决方案原因是缺失了控制终端的配置，需要在docker-compose.yml中增加tty:true ，有时候这样也不行，需要再增加一个command:/bin/bash，命令不一定是这个，需要是一个不会退出的命令，然后用-d后台启动容器。Referencesdocker-compose启动容器后自动退出...

云原生

所有评论(0)

查看更多评论

yhao浩

@yhao2014

已为社区贡献2条内容