声明:作者原创,转载注明出处。

作者:帅气陈吃苹果

一、服务器环境

主机名IP用户名密码安装目录
master188192.168.29.188hadoophadoop/home/hadoop/
master189192.168.29.189hadoophadoop/home/hadoop/
slave190192.168.29.190hadoophadoop/home/hadoop/

二、集群规划

master188master189slave190
NameNodeNameNode
DataNodeDataNodeDataNode
ZookeeperZookeeperZookeeper
ResourceManagerResourceManager
NodeManagerNodeManagerNodeManager
HMasterHMasetr
RegionServerRegionServerRegionServer
JDK、Hadoop、HBase版本兼容性(NS:不兼容;NT:未测试;Y:兼容):
HBase VersionJDK 6JDK 7JDK 8
2.0XXY
1.3XYY
1.2XYY
1.1XYNT
1.0XYNT
0.98YYNT
0.94YYN
Hadoop\HBaseHBase-1.1.xHBase-1.2.xHBase-1.3.xHBase-2.0.x
Hadoop-2.0.x-alphaXXXX
Hadoop-2.1.0-betaXXXX
Hadoop-2.2.0NTXXX
Hadoop-2.3.xNTXXX
Hadoop-2.4.xSSSX
Hadoop-2.5.xSSSX
Hadoop-2.6.0XXXX
Hadoop-2.6.1+NTSSS
Hadoop-2.7.0XXXX
Hadoop-2.7.1+NTSSS
Hadoop-2.8.0XXXX
Hadoop-2.8.1XXX
Hadoop-3.0.0-alphaxNTNTNTNT

考虑到HBase与JDK、Hadoop各版本兼容性,我们采用的组件版本如下:

组件版本
JDK1.8
Hadoop2.6.5
Zookeeper3.4.11
HBase1.3.1

三、安装配置Zookeeper

1、下载及安装

下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz

在master188机器上,下载后解压到/home/hadoop/目录下:

tar -zxvf zookeeper-3.4.11.tar.gz -C /home/hadoop/
2、拷贝 zoo_sample.cfg

进入zookeeper的conf目录,拷贝zoo_sample.cfg并重命名为zoo.cfg

cd zookeeper-3.4.11/conf/

cp zoo_sample.cfg zoo.cfg


3、修改 zoo.cfg
vi zoo.cfg

修改如下,若原文件没有dataDir则直接添加:

dataDir=/home/hadoop/zookeeper-3.4.11/data/zkData

//在最后添加,指定zookeeper集群主机及端口,机器数必须为奇数
server.1=master188:2888:3888
server.2=master189:2888:3888
server.3=slave190:2888:3888

4、创建并编辑myid
//在zookeeper根目录下创建zoo.cfg中配置的目录
mkdir data/zkData/ -p

//创建并编辑文件
vi myid

//输入1,即表示当前机器为在zoo.cfg中指定的server.1
1

//保存退出
:wq
5、拷贝zookeeper到其他机器

上述操作是在master188机器上进行的,要将zookeeper拷贝到其他zookeeper集群机器上:

cd /home/hadoop

scp -r zookeeper-3.4.11/ hadoop@master189:/home/hadoop/

scp -r zookeeper-3.4.11/ hadoop@slave190:/home/hadoop/

集群中各组件的安装目录最好保持一致。

6、修改其他机器的myid文件

myid文件是作为当前机器在zookeeper集群的标识,这些标识在zoo.cfg文件中已经配置好了,但是之前在master188这台机器上配置的myid为1,所以还需要修改其他机器的myid文件:

//在master189机器上
echo 2 > /home/hadoop/zookeeper-3.4.11/data/zkData/myid
//在slave190机器上
echo 3 > /home/hadoop/zookeeper-3.4.11/data/zkData/myid
7、启动zookeeper集群
cd zookeeper-3.4.11/bin/
//分别在master188、master189、slave190上启动
./zkServer.sh start

//查看状态
./zkServer.sh status

三台机器的zookeeper状态必须只有一个leader,其他都是follower

//查看进程,若有QuorumpeerMain,则启动成功
jps

四、安装配置Hadoop

1、下载及安装

下载地址:http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz

在master88机器上,解压到/home/hadoop/目录下:

tar -zxcf hadoop-2.6.5.tar.gz -C /home/hadoop/

2、配置

进入配置文件目录,修改配置文件

cd hadoop-2.6.5/etc/hadoop/

1)vi hadoop-env.sh

配置JDK安装路径:

JAVA_HOME=/opt/jdk

2)vi core-site.xml
<configuration>
  <!-- hdfs地址,ha模式中是连接到nameservice  -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ns1</value>
  </property>
  <!-- 这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录,也可以单独指定 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop-2.6.5/tmp</value>
  </property>

  <!-- 指定ZooKeeper集群的地址和端口。注意,数量一定是奇数,且不少于三个节点-->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>master188:2181,master189:2181,slave190:2181</value>
  </property>

</configuration>


3)vi hdfs-site.xml
<configuration>
  <!-- 指定副本数,不能超过机器节点数  -->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>

  <!-- 为namenode集群定义一个services name -->
  <property>
    <name>dfs.nameservices</name>
    <value>ns1</value>
  </property>

  <!-- nameservice 包含哪些namenode,为各个namenode起名 -->
  <property>
    <name>dfs.ha.namenodes.ns1</name>
    <value>master188,master189</value>
  </property>

  <!-- 名为master188的namenode的rpc地址和端口号,rpc用来和datanode通讯 -->
  <property>
    <name>dfs.namenode.rpc-address.ns1.master188</name>
    <value>master188:9000</value>
  </property>

  <!-- 名为master189的namenode的rpc地址和端口号,rpc用来和datanode通讯 -->
  <property>
    <name>dfs.namenode.rpc-address.ns1.master189</name>
    <value>master189:9000</value>
  </property>

  <!--名为master188的namenode的http地址和端口号,用来和web客户端通讯 -->
  <property>
    <name>dfs.namenode.http-address.ns1.master188</name>
    <value>master188:50070</value>
  </property>

  <!-- 名为master189的namenode的http地址和端口号,用来和web客户端通讯 -->
  <property>
    <name>dfs.namenode.http-address.ns1.master189</name>
    <value>master189:50070</value>
  </property>
  
  <!-- namenode间用于共享编辑日志的journal节点列表 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://master188:8485;master189:8485;slave190:8485/ns1</value>
  </property>

  <!-- 指定该集群出现故障时,是否自动切换到另一台namenode -->
  <property>
    <name>dfs.ha.automatic-failover.enabled.ns1</name>
    <value>true</value>
  </property>

  <!-- journalnode 上用于存放edits日志的目录 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/home/hadoop/hadoop-2.6.5/tmp/data/dfs/journalnode</value>
  </property>

  <!-- 客户端连接可用状态的NameNode所用的代理类 -->
  <property>
    <name>dfs.client.failover.proxy.provider.ns1</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

  <!-- 一旦需要NameNode切换,使用ssh方式进行操作 -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>

  <!-- 如果使用ssh进行故障切换,使用ssh通信时用的密钥存储的位置 -->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/hadoop/.ssh/id_rsa</value>
  </property>

  <!-- connect-timeout超时时间 -->
  <property>
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
    <value>30000</value>
  </property>
</configuration>


4)vi mapred-site.xml
<!-- 采用yarn作为mapreduce的资源调度框架 -->
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>


5)vi yarn-site.xml
<configuration>

  <!-- 启用HA高可用性 -->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>

  <!-- 指定resourcemanager的名字 -->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yrc</value>
  </property>

  <!-- 使用了2个resourcemanager,分别指定Resourcemanager的地址 -->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
  
  <!-- 指定rm1的地址 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>master188</value>
  </property>
  
  <!-- 指定rm2的地址  -->
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>master189</value>
  </property>
  
  <!-- 指定当前机器master188作为rm1 -->
  <property>
    <name>yarn.resourcemanager.ha.id</name>
    <value>rm1</value>
  </property>
  
  <!-- 指定zookeeper集群机器 -->
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>master188:2181,master189:2181,slave190:2181</value>
  </property>
  
  <!-- NodeManager上运行的附属服务,默认是mapreduce_shuffle -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

</configuration>


6)vi slaves
master188
master189
slave190

3、拷贝hadoop到其他机器
1)拷贝
scp -r hadoop-2.6.5 hadoop@master189:/home/hadoop/

scp -r hadoop-2.6.5 hadoop@slave190:/home/hadoop/

2)修改yarn-site.xml

在master189机器,即ResourceManager备用主节点上修改如下属性,表示当前机器作为rm2::

  <property>
    <name>yarn.resourcemanager.ha.id</name>
    <value>rm2</value>
  </property>

同时删除slave190机器上的该属性对,因为slave190机器并不作为ResourceManager。

3、启动Hadoop
1)启动Journalnode
cd hadoop-2.6.5/sbin/

./hadoop-daemon.sh start 

//查看进程JouralNode是否启动
jps

2)格式化 NameNode和ZKFC

在master188机器上,执行格式化操作:

cd hadoop-2.6.5/bin

./hdfs namenode -format

./hdfs zkfc -formatZK

3)备用主节点同步主节点元数据

在master189(备用主节点)机器上,执行同步操作:

cd hadoop-2.6.5/bin

./hdfs namenode -bootstrapStanby

4)安装fuster

若服务器是最小化安装centeros时,有可能系统没有fuster程序,那么跳过这个安装步骤直接进行后面的操作时,将有可能出现以下问题:

master188作为主节点时,kill掉master188上的NameNode和ResourceManager进程时,可以实现故障转移,master189将从stanby状态自动变成active状态;但是当master189作为主节点时,若kill掉master189上的进程,master188上的进程状态却还是stanby,并不能实现故障自动转移。原因是我们在 hdfs-site.xml中配置了当集群需要故障自动转移时采用SSH方式进行,而因为缺少fuster程序,将在zkfc的日志文件中发现如下错误:

PATH=$PATH:/sbin:/usr/sbin fuser -v -k -n tcp 9000 via ssh: bash: fuser: 未找到命令
Unable to fence service by any configured method
java.lang.RuntimeException: Unable to fence NameNode at master189/192.168.29.189:9000

提示未找到fuster程序,导致无法进行fence,所以可以通过如下命令来安装,Psmisc软件包中包含了fuster程序:

//分别在master188、master189、slave190上执行
sudo yum install psmisc

5)启动HDFS、YARN、ZookeeperFailoverController

在master188机器上:

cd hadoop-2.6.5/sbin

./start-dfs.sh

//验证,显示NameNode和DataNode
jps

./start-yarn.sh

//验证,显示ResourceManager和NodeManager
jps

./hadoop-daemon.sh start zkfc

//验证,显示ZookeeperFailoverController
jps


在master189机器上,启动ResourceManager,备用主节点的ResourceManager需要手动启动:

cd hadoop-2.6.5/sbin

yarn-daemon.sh start resourcemanager

6)查看Namenode、ResourceManager状态

在master188机器上执行:

hdfs haadmin -getServiceState master188
yarn rmadmin -getServiceState rm1 

hdfs haadmin -getServiceState master189
yarn rmadmin -getServiceState rm2

也可以通过Web界面来查看,浏览器中输入 ip:50070 查看HDFS,输入 ip:8088/cluster/cluster 查看YARN。

7)测试高可用
a.主节点—>备用主节点

kill掉主节点的namenode,查看备用主节点的namenode状态是否切换为active;

kill掉主节点的ResourceManager,查看备用主节点的ResourceManager是否切换为active;

b.备用主节点—>主节点

若上述操作执行成功,那么再测试反向故障自动转移

先启动被杀死的原主节点的namenode和ResourceManager

hadoop-daemon.sh start namenode 

yarn-daemon.sh start resourcemanager


再kill备用主节点的namenode和ResourceManager,查看主节点的状态,若能切换为active,那么Hadoop HA高可用集群搭建完成。

五、安装配置HBase

1、下载及安装

下载地址:http://mirrors.hust.edu.cn/apache/hbase/1.3.1/hbase-1.3.1-bin.tar.gz

在master188机器上,解压到/home/hadoop/目录下:

tar -zxvf hbase-1.3.1-bin.tar.gz 

2、配置

进入hbase-1.3.1/conf/目录,修改配置文件:

cd hbase-1.3.1/conf/

1)vi hbase-env.sh
//配置JDK
export JAVA_HOME=/opt/jdk

//保存pid文件
export HBASE_PID_DIR=/home/hadoop/data/hbase/pids

//修改HBASE_MANAGES_ZK,禁用HBase自带的Zookeeper,因为我们是使用独立的Zookeeper
export HBASE_MANAGES_ZK=false

2)vi hbase-site.xml
<configuration>
  <!-- 设置HRegionServers共享目录,请加上端口号 -->
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://master188:9000/hbase</value>
  </property>

  <!-- 指定HMaster主机 -->
  <property>
    <name>hbase.master</name>
    <value>hdfs://master188:60000</value>
  </property>

  <!-- 启用分布式模式 -->
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>

  <!-- 指定Zookeeper集群位置 -->
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>master188:2181,master189:2181,slave190:2181</value>
  </property>

  <!-- 指定独立Zookeeper安装路径 -->
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/hadoop/zookeeper-3.4.11</value>
  </property>

  <!-- 指定ZooKeeper集群端口 -->
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>
</configuration>


3)vi regionservers

修改regionservers文件,因为当前是使用独立的Zookeeper集群,所以要指定RegionServers所在机器:

master188
master189
slave190


4)创建pid文件保存目录

在/home/hadoop/目录下:

mkdir data/hbase/pids -p

3、拷贝HBase到其他机器
cd /home/hadoop/

scp -r hbase-1.3.1 hadoop@master189:/home/hadoop/

scp -r  hbase-1.3.1 hadoop@slave190:/home/hadoop/


4、启动HBase

在主节点上启动HBase(这里的主节点是指NameNode状态为active的节点,而非指文中对本实验的机器声明):

cd hbase-1.3.1/bin

./start-hbase.sh

//查看HMaster、Regionserver进程是否启动
jps


注意:此时Hadoop集群应处于启动状态,并且是在主节点执行start-hbase.sh启动HBase集群,否则HMaster进程将在启动几秒后消失,而备用的HMaster进程需要在备用主节点单独启动,命令是:./hbase-daemon.sh start master

在备用主节点启动HMaster进程,作为备用HMaster:

cd hbase-1.3.1/bin

./hbase-daemon.sh start master

5、HA高可用测试

在浏览器中输入 ip:16010 ,查看主节点和备用主节点上的HMaster的状态,在备用主节点的web界面中,可以看到“Current Active Master: master188”,表示当前HBase主节点是master188机器;

主节点—>备用主节点

这里的主节点指使用start-hbase.sh命令启动HBase集群的机器

kill掉主节点的HMaster进程,在浏览器中查看备用主节点的HBase是否切换为active;

若上述操作成功,则在主节点启动被杀死的HMaster进程:

cd hbase-1.3.1/bin/

./hbase-daemon.sh start master


然后,kill掉备用主节点的HMaster进程,在浏览器中查看主节点的HBase是否切换为active,若操作成功,则HBase高可用集群搭建完成;

6、HBase基本操作
//启动HBase
[root@vnet ~] start-hbase.sh

//进入HBase Shell
[root@vnet ~] hbase shell

//查看当前HBase有哪些表
hbase(main):> list

//创建表t_user,cf1和cf2是列族,列族一般不超过3个
hbase(main):> create 't_user','cf1','cf2'

//获得表t_user的描述信息
hbase(main):> describe 't_user'

//禁用表
hbase(main):> disable 't_user'

//删除表,删除表之前要先把表禁用掉
hbase(main):> drop 't_user'

//查询表是否存在
hbase(main):> exists 't_user'

//查看全表数据
hbase(main):> scan 't_user'

//插入数据,分别是表名、key、列(列族:具体列)、值。HBase是面向列的数据库,列可无限扩充
hbase(main):> put 't_user' ,'001','cf1:name','chenxj'
hbase(main):> put 't_user' ,'001','cf1:age','18'
hbase(main):> put 't_user' ,'001','cf2:sex','man'
hbase(main):> put 't_user' ,'002','cf1:name','chenxj'
hbase(main):> put 't_user' ,'002','cf1:address','fuzhou'
hbase(main):> put 't_user' ,'002','cf2:sex','man'

//获取数据,可根据key、key和列族等进行查询
hbase(main):> get 't_user','001'
hbase(main):> get 't_user','002','cf1'
hbase(main):> get 't_user','001','cf1:age'


六、集群启动结果

Hadoop + Zookeeper + HBase 高可用集群启动后,进程状态如下:

描述master188master189slave190
HDFS主NameNodeNameNode
HDFS从DataNodeDataNodeDataNode
YARN主ResourceManagerResourceManager
YARN从NodeManagerNodeManagerNodeManager
HBase主HMasterHMaster
HBase从HRegionServerHRegionServerHRegionServer
Zookeeper独立进程QuorumPeerMainQuorumPeerMainQuorumPeerMain
NameNodes数据同步JournalNodeJournalNodeJournalNode
主备故障切换DFSZKFailoverControllerDFSZKFailoverController

七、总结

需要注意的地方:

1)备用节点上的NameNode、ResourceManager、HMaster均需单独启动;

hadoop-daemon.sh start namenode

yarn-daemon.sh start resourcemanager

hbase-daemon.sh start master 

2)可以使用-forcemanual参数强制切换主节点与备用主节点,但强制切换后集群的自动故障转移将会失效,需要重新格式化zkfc:hdfs zdfc -formatZK;

hdfs haadmin -transitionToActive/transitionToStandby  -forcemanual  master189
yarn rmadmin -transitionToActive/transitionToStandby  -forcemanual  rm2

3)在备用主节点同步主节点的元数据时,主节点的HDFS必须已经启动;

4)无法查看standby状态的节点上的hdfs;

5)格式化namenode时要先启动各个JournalNode机器上的journalnode进程:hadoop-daemon.sh start journalnode

6)若遇到问题,可以先考虑是哪个组件出现问题,然后查看该组件或与该组件相关的组件的日志信息;若各组件web页面无法访问,或存在其他连接问题,可以从「防火墙是否关闭」、「端口是否被占用」、「SSH」、「集群机器是否处于同一网段」内等角度考虑;

Logo

权威|前沿|技术|干货|国内首个API全生命周期开发者社区

更多推荐