HadoopHA集群搭建介绍

1、前提：1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 /etc/hosts4.关闭防火墙5.ssh免登陆6.安装JDK，配置环境变量等7.注意集群时间要同步2、集群部署节点角色的规划（3节点）server01namenoderesourcemanager zkfcnodemanager datanode...

依旧ฅ=ฅ

3977人浏览 · 2020-04-03 21:56:45

依旧ฅ=ฅ · 2020-04-03 21:56:45 发布

1、前提：

1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系 /etc/hosts
4.关闭防火墙
5.ssh免登陆
6.安装JDK，配置环境变量等
7.注意集群时间要同步

2、集群部署节点角色的规划（3节点）

  server01 namenode resourcemanager zkfc nodemanager datanode zookeeper journal node
   server02 namenode resourcemanager zkfc nodemanager datanode zookeeper journal node
   server03 datanode nodemanager zookeeper journal node

3、安装步骤：

1.安装配置zooekeeper集群
  2.安装配置hadoop集群
       2.1解压
           tar -zxvf hadoop-2.6.4.tar.gz -C /home/hadoop/app/
       2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
           #将hadoop添加到环境变量中
           vim /etc/profile
           export JAVA_HOME=/usr/java/jdk1.7.0_55
           export HADOOP_HOME=/hadoop/hadoop-2.6.4
           export PATH=$PATH:$JAVA_HOME/cluster1n:$HADOOP_HOME/cluster1n

           #hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
           cd /home/hadoop/app/hadoop-2.6.4/etc/hadoop

           2.2.1修改hadoop-env.sh
           export JAVA_HOME=/export/servers/jdk1.8.0_65

###############################################################################

2.2.2修改core-site.xml
<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster1</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/export/servers/hadoop-2.6.0-cdh5.14.0/HAhadoopDatas/tmp</value>
</property>

<property>
<name>ha.zookeeper.quorum</name>
<value>node01:2181,node02:2181,node03:2181</value>
</property>
</configuration>

###############################################################################

2.2.3修改hdfs-site.xml
<configuration>

<property>
<name>dfs.nameservices</name>
<value>cluster1</value>
</property>

<property>
<name>dfs.ha.namenodes.cluster1</name>
<value>nn1,nn2</value>
</property>

<property>
<name>dfs.namenode.rpc-address.cluster1.nn1</name>
<value>node01:8020</value>
</property>

<property>
<name>dfs.namenode.http-address.cluster1.nn1</name>
<value>node01:50070</value>
</property>

<property>
<name>dfs.namenode.rpc-address.cluster1.nn2</name>
<value>node02:8020</value>
</property>

<property>
<name>dfs.namenode.http-address.cluster1.nn2</name>
<value>node02:50070</value>
</property>

<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://node01:8485;node02:8485;node03:8485/cluster1</value>
</property>

<property>
<name>dfs.journalnode.edits.dir</name>
<value>/export/servers/hadoop-2.6.0-cdh5.14.0/journaldata</value>
</property>

<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

<property>
<name>dfs.client.failover.proxy.provider.cluster1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
</value>
</property>

<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>

<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

###############################################################################

2.2.4修改mapred-site.xml
<configuration>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

###############################################################################

2.2.5修改yarn-site.xml
<configuration>

<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>

<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>

<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>

<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>node01</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>node02</value>
</property>

<property>
<name>yarn.resourcemanager.zk-address</name>
<value>node01:2181,node02:2181,node03:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

2.2.6修改slaves
node01
node02
node03

   将软件拷贝到所有节点
       scp -r hadoop-2.6.0-cdh5.14.0 node02:/$PWD
       scp -r hadoop-2.6.0-cdh5.14.0 node03:/$PWD

2.2.7配置免密码登陆
   #首先要配置node01到node01、node02、node03 的免密码登陆
   #在node01上生产一对钥匙
   ssh-keygen
   #将公钥拷贝到其他节点，****包括自己****
   ssh-coyp-id node01
   ssh-coyp-id node02
   ssh-coyp-id node03

   #注意：两个namenode之间要配置ssh免密码登陆 ssh远程补刀时候需要
   #在node02上生产一对钥匙
   ssh-keygen
   #将公钥拷贝到node01
   ssh-coyp-id node01

###注意：严格按照下面的步骤!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
       2.5启动zookeeper集群（分别在node01、node02、node03上启动zk）

           bin/zkServer.sh start
           #查看状态：一个leader，两个follower
           bin/zkServer.sh status

       2.6手动启动journalnode（分别在在node01、node02、node03上执行）
           hadoop-daemon.sh start journalnode
           #运行jps命令检验，node01、node02、node03上多了JournalNode进程

       2.7格式化namenode
           #在node01上执行命令:
           hdfs namenode -format
           #格式化后会在根据core-site.xml中的hadoop.tmp.dir配置的目录下生成个hdfs初始化文件，

           把hadoop.tmp.dir配置的目录下所有文件拷贝到另一台namenode节点所在的机器
           scp -r tmp/ node02:/home/hadoop/app/hadoop-2.6.4/

           ##也可以这样，建议hdfs namenode -bootstrapStandby

       2.8格式化ZKFC(在active上执行即可)
           hdfs zkfc -formatZK

       2.9启动HDFS(在node01上执行)
           start-dfs.sh

       2.10启动YARN
           start-yarn.sh
           还需要手动在standby上手动启动备份的 resourcemanager
           yarn-daemon.sh start resourcemanager

到此，hadoop-2.6.4配置完毕，可以统计浏览器访问:
 http://node01:50070
 NameNode 'node01:8020' (active)
 http://node02:50070
 NameNode 'node02:8020' (standby)

 验证HDFS HA
 首先向hdfs上传一个文件
 hadoop fs -put /etc/profile /profile
 hadoop fs -ls /
 然后再kill掉active的NameNode
 kill -9 <pid of NN>
 通过浏览器访问：http://node02:50070
 NameNode 'node02:8020' (active)
 这个时候node02上的NameNode变成了active
 在执行命令：
 hadoop fs -ls /
 -rw-r--r-- 3 root supergroup 1926 2014-02-06 15:36 /profile
 刚才上传的文件依然存在！！！
 手动启动那个挂掉的NameNode
 hadoop-daemon.sh start namenode
 通过浏览器访问：http://node01:50070
 NameNode 'node01:8020' (standby)

 验证YARN：
 运行一下hadoop提供的demo中的WordCount程序：
 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

 OK，大功告成！！！

测试集群工作状态的一些指令：

hdfs dfsadmin -report                         查看hdfs的各节点状态信息
cluster1n/hdfs haadmin -getServiceState nn1   获取一个namenode节点的HA状态
scluster1n/hadoop-daemon.sh start namenode    单独启动一个namenode进程
./hadoop-daemon.sh start zkfc                 单独启动一个zkfc进程

Linux

更多推荐

网卡速率和双工模式的配置

http://linux.chinaitlab.com/system/792187.html1、mii-tool 配置网络设备协商方式的工具； 1.1 mii-tool 介绍； mii-tool - view, manipulate media-independent interface status （mii-tool 是查看，管理介质的网络接口的状态）

Linux

Linux虚拟文件系统之文件系统卸载（sys_umount())

Linux中卸载文件系统由umount系统调用实现，入口函数为sys_umount()。较于文件系统的安装较为简单，下面是具体的实现。1. /*sys_umont系统调用*/2. SYSCALL_DEFINE2(umount, char __user *, name, int, flags)3. {4.struct path path;

Linux

Linux系统下超级终端Minicom的使用方法（例如：连接交换机，路由器等）转http://baike.baidu.com/view/2911642.htm?fr=ala0_1

Linux系统下超级终端Minicom的使用方法 　　Linux下的Minicom的功能与下的超级终端功能相似，适于在通过超级终端对设备的管理以及对嵌入操作系统的升级，现写出Minicom的使用手册： 　　1．启动minicom 　　以root权限登录系统 　　使用命令 　　minicom –s 则minicom启动，屏

Linux

所有评论(0)

查看更多评论

依旧ฅ=ฅ

@qq_44065303

已为社区贡献3条内容