hadoop+zookeeper

系统环境:RHEL6.5 selinux and iptables is disabledHadoop 、jdk、zookeeper 程序使用 nfs 共享同步配置文件软件版本:hadoop-2.7.3.tar.gz zookeeper-3.4.9.tar.gz jdk-7u79-linux-x64.tar.gzhbase-1.2.4-bin.tar.gz172.25.40.1:N...

liuyong1_

3139人浏览 · 2018-06-19 17:48:18

liuyong1_ · 2018-06-19 17:48:18 发布

系统环境:RHEL6.5 selinux and iptables is disabled
Hadoop 、jdk、zookeeper 程序使用 nfs 共享同步配置文件
软件版本:hadoop-2.7.3.tar.gz zookeeper-3.4.9.tar.gz jdk-7u79-linux-x64.tar.gz
hbase-1.2.4-bin.tar.gz

172.25.40.1:NameNode
DFSZKFailoverController
ResourceManager

172.25.40.5:NameNode
DFSZKFailoverController
ResourceManager

172.25.40.2:JournalNode
QuorumPeerMain (zookeeper)
DataNode
NodeManager

172.25.40.3:JournalNode
QuorumPeerMain
DataNode
NodeManager

172.25.40.4:JournalNode
QuorumPeerMain
DataNode
NodeManager

1.配置zookeeper：至少三台,总节点数为奇数个
安装：

tar zxf      jdk-7u79-linux-x64.tar.gz
tar zxf zookeeper-3.4.10.tar.gz

编辑 zoo.cfg 文件:

/home/hadoop/zookeeper-3.4.10/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
server.1=172.25.40.2:2888:3888
server.2=172.25.40.3:2888:3888
server.3=172.25.40.4:2888:3888

在默认数据目录下/tmp/zookeeper/ 创建 myid 文件，写入
一个唯一的数字,取值范围在 1-255。比如:172.25.40.2 节点的 myid 文件写入数
字“1”,此数字与配置文件中的定义保持一致,(server.1=172.25.40.2:2888:3888
)其它节点依次类推。

rm -fr /tmp/*
mkdir /tmp/zookeeper
echo x > /tmp/zookeeper/myid

启动：

bin/zkServer.sh start
bin/zkServer.sh status

这里写图片描述

连接 zookeeper

bin/zkCli.sh

这里写图片描述

Hadoop 配置
hadoop-2.7.3.tar.gz
编辑 core-site.xml 文件:

<!-- 指定 hdfs 的 namenode 为 masters (名称可自定义)-->
<property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://masters</value>
                    </property>
                   <!-- 指定 zookeeper 集群主机地址 -->
            <property>
                    <name>ha.zookeeper.quorum</name>
                    <value>172.25.40.3:2181,172.25.40.2:2181,172.25.40.4:2181</value>
                    </property>

编辑 hdfs-site.xml 文件

<configuration>
<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>
<!-- 指定 hdfs 的 nameservices 为 masters,和 core-site.xml 文件中的设置保持一
致 -->
<property>
<name>dfs.nameservices</name>
<value>masters</value>
</property>
<!-- masters 下面有两个 namenode 节点,分别是 h1 和 h2 (名称可自定义)-->
<property>
<name>dfs.ha.namenodes.masters</name>
<value>h1,h2</value>
</property>
<!-- 指定 h1 节点的 rpc 通信地址 -->
<property>
<name>dfs.namenode.rpc-address.masters.h1</name>
<value>172.25.40.1:9000</value>
</property>
<!-- 指定 h1 节点的 http 通信地址 -->
<property>
<name>dfs.namenode.http-address.masters.h1</name>
<value>172.25.40.1:50070</value>
</property>
<!-- 指定 h2 节点的 rpc 通信地址 -->
<property>
<name>dfs.namenode.rpc-address.masters.h2</name>
<value>172.25.40.5:9000</value>
</property>
<!-- 指定 h2 节点的 http 通信地址 -->
<property>
<name>dfs.namenode.http-address.masters.h2</name>
<value>172.25.40.5:50070</value>
</property>
<!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://172.25.40.3:8485;172.25.40.2:8485;172.25.40.4:8485/masters</value>
</property>
<!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/tmp/journaldata</value>
</property>
<!-- 开启 NameNode 失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.masters</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法,每个机制占用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用 sshfence 隔离机制时需要 ssh 免密码 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置 sshfence 隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>

</configuration>

配置免密
由于是nfs文件共享所以免密存在

3.启动 hdfs 集群(按顺序启动)
1)在三个 DN 上依次启动 zookeeper 集群

bin/zkServer.sh start

这里写图片描述
2)在三个 DN 上依次启动 journalnode(第一次启动 hdfs 必须先启动 journalnode)

sbin/hadoop-daemon.sh start journalnode

[hadoop@server2 ~]$ jps
1493 JournalNode
1222 QuorumPeerMain
1594 Jps

3)格式化 HDFS 集群

bin/hdfs namenode -format

Namenode 数据默认存放在/tmp,需要把数据拷贝到 h2

scp -rp /tmp/hadoop-hadoop 172.25.40.5:/tmp

3) 格式化 zookeeper (只需在 h1 上执行即可)

bin/hdfs zkfc -formatZK #注意大小写

4)启动 hdfs 集群(只需在 h1 上执行即可)

sbin/start-dfs.sh

5) 查看各节点状态

[hadoop@server1 hadoop]$ jps
1897 Jps
1727 DFSZKFailoverController
1433 NameNode
[hadoop@server5 ~]$ jps
1308 Jps
1163 NameNode
1260 DFSZKFailoverController
[hadoop@server2 hadoop]$ jps
1424 Jps
1324 DataNode
1233 JournalNode
1137 QuorumPeerMain
[hadoop@server3 hadoop]$ jps
1404 DataNode
1504 Jps
1314 JournalNode
1139 QuorumPeerMain
[hadoop@server4 hadoop]$ jps
1250 DataNode
1350 Jps
1160 JournalNode
1120 QuorumPeerMain

这里写图片描述

此时可进行测试：

./hdfs dfsadmin -report
./hdfs dfs -mkdir /user
./hdfs dfs -mkdir /user/hadoop
./hdfs dfs -ls
./hdfs dfs -put ../etc/hadoop/

6) 测试故障自动切换

这里写图片描述

杀掉 h1 主机的 namenode 进程后依然可以访问,此时 h2 转为 active 状态接
管 namenode
这里写图片描述
启动 h1 上的 namenode,此时为 standby 状态

sbin/hadoop-daemon.sh start namenode

这里写图片描述

hdfs 的高可用完成

yarn 的高可用:
1) 编辑 mapred-site.xml 文件

/home/hadoop/hadoop/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration>
<!-- 指定 yarn 为 MapReduce 的框架 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

</configuration>

2)编辑 yarn-site.xml 文件

vim  yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 配置可以在 nodemanager 上运行 mapreduce 程序 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 激活 RM 高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定 RM 的集群 id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>RM_CLUSTER</value>
</property>
<!-- 定义 RM 的节点-->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 指定 RM1 的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>172.25.40.1</value>
</property>
<!-- 指定 RM2 的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>172.25.40.5</value>
</property>
<!-- 激活 RM 自动恢复 -->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<!-- 配置 RM 状态信息存储方式,有 MemStore 和 ZKStore-->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<!-- 配置为 zookeeper 存储时,指定 zookeeper 集群的地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>172.25.40.2:2181,172.25.40.3:2181,172.25.40.4:2181</value>
</property>

</configuration>

3)启动 yarn 服务

sbin/start-yarn.sh

这里写图片描述
RM2 上需要手动启动

sbin/yarn-daemon.sh start resourcemanager

这里写图片描述
最好是把 RM 与 NN 分离运行,这样可以更好的保证程序的运行性能

这里写图片描述

4) 测试 yarn 故障切换

Hbase 分布式部署
1) hbase 配置

tar zxf hbase-1.2.4-bin.tar.gz

配置环境：

/home/hadoop/hbase-1.2.4/conf/
vim hbase-env.sh
export JAVA_HOME=/home/hadoop/java    指定 jdk
export HADOOP_HOME=/home/hadoop/hadoop     指定 hadoop 目录,否则 hbase
无法识别 hdfs 集群配置
export HBASE_MANAGES_ZK=false     默认值时 true,hbase 在启动时自
动开启 zookeeper,如需自己维护 zookeeper 集群需设置为 false

vim hbase-site.xml
<configuration>
<!-- 指定 region server 的共享目录,用来持久化 HBase。这里指定的 HDFS 地址
是要跟 core-site.xml 里面的 fs.defaultFS 的 HDFS 的 IP 地址或者域名、端口必须一致。 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://masters/hbase</value>
</property>
<!-- 启用 hbase 分布式模式 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- Zookeeper 集群的地址列表,用逗号分割。默认是 localhost,是给伪分布式用
的。要修改才能在完全分布式的情况下使用。 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>172.25.40.2,172.25.40.3,172.25.40.4</value>
</property>
<!-- 指定 hbase 的 master -->
<property>
<name>hbase.master</name>
<value>h1</value>
</property>

</configuration>

vim regionservers
172.25.40.2
172.25.40.3
172.25.40.4

2) 启动 hbase
主节点运行:

bin/start-hbase.sh

这里写图片描述
备节点运行:

bin/hbase-daemon.sh start master

这里写图片描述
HBase Master 默认端口时 16000,还有个 web 界面默认在 Master 的 16010 端口
上,HBase RegionServers 会默认绑定 16020 端口,在端口 16030 上有一个展示
信息的界面

3) 测试

bin/hbase shell
hbase(main):001:0> create 'test', 'cf'
0 row(s) in 9.1810 seconds

=> Hbase::Table - test
hbase(main):002:0> list 'test'
TABLE                                                                                                  
test                                                                                                   
1 row(s) in 0.0590 seconds

=> ["test"]
hbase(main):003:0> put 'test', 'row1', 'cf:a', 'value1'
0 row(s) in 0.4460 seconds

hbase(main):004:0> put 'test', 'row2', 'cf:b', 'value2'
0 row(s) in 0.0160 seconds

hbase(main):005:0> put 'test', 'row3', 'cf:c', 'value3'
0 row(s) in 0.0150 seconds

hbase(main):006:0> scan 'test'
ROW                        COLUMN+CELL                                                                 
 row1                      column=cf:a, timestamp=1529400755827, value=value1                          
 row2                      column=cf:b, timestamp=1529400761239, value=value2                          
 row3                      column=cf:c, timestamp=1529400765888, value=value3                          
3 row(s) in 0.1240 seconds

[hadoop@server1 hadoop]$ bin/hdfs dfs -ls /

这里写图片描述

在主节点上 kill 掉 HMaster 进程后查看故障切换

这里写图片描述

Linux

更多推荐

网卡速率和双工模式的配置

http://linux.chinaitlab.com/system/792187.html1、mii-tool 配置网络设备协商方式的工具； 1.1 mii-tool 介绍； mii-tool - view, manipulate media-independent interface status （mii-tool 是查看，管理介质的网络接口的状态）

Linux

Linux虚拟文件系统之文件系统卸载（sys_umount())

Linux中卸载文件系统由umount系统调用实现，入口函数为sys_umount()。较于文件系统的安装较为简单，下面是具体的实现。1. /*sys_umont系统调用*/2. SYSCALL_DEFINE2(umount, char __user *, name, int, flags)3. {4.struct path path;

Linux

Linux系统下超级终端Minicom的使用方法（例如：连接交换机，路由器等）转http://baike.baidu.com/view/2911642.htm?fr=ala0_1

Linux系统下超级终端Minicom的使用方法 　　Linux下的Minicom的功能与下的超级终端功能相似，适于在通过超级终端对设备的管理以及对嵌入操作系统的升级，现写出Minicom的使用手册： 　　1．启动minicom 　　以root权限登录系统 　　使用命令 　　minicom –s 则minicom启动，屏

Linux

所有评论(0)

查看更多评论

liuyong1_

@liuyong1_

已为社区贡献1条内容