1. Zookeeper在Hadoop HA集群中的核心作用

Zookeeper在Hadoop高可用（HA）集群中扮演着"中枢神经系统"的角色。想象一下，当NameNode或ResourceManager这样的关键组件突然宕机时，如果没有自动故障转移机制，整个集群就会陷入瘫痪。Zookeeper通过其独特的分布式协调能力，确保了服务能够无缝切换。

在实际部署中，Zookeeper主要承担三个关键职责：

• 领导者选举：当Active节点失效时，Zookeeper会快速从Standby节点中选举出新的Active节点
• 状态同步：通过ZNode节点实时监控各个服务的状态
• 故障检测：利用心跳机制及时发现节点异常

我曾在生产环境中遇到过NameNode意外宕机的情况，得益于Zookeeper的快速故障转移，整个切换过程仅耗时约15秒，业务完全无感知。这种可靠性对于7×24小时运行的大数据平台至关重要。

2. NameNode高可用实现机制详解

2.1 双NameNode架构设计

Hadoop HA采用Active-Standby双NameNode架构。Active NameNode处理所有客户端请求，而Standby NameNode则持续同步元数据变更。这种设计就像飞机的双引擎系统，当一个引擎失效时，另一个能立即接管。

关键配置参数在hdfs-site.xml中体现：

<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

2.2 故障转移全流程解析

当Active NameNode发生故障时，转移过程分为五个阶段：

1. 故障检测：Zookeeper通过心跳超时（默认5秒）判定节点失效
2. 锁释放：原Active节点在Zookeeper上的临时节点自动删除
3. 选举触发：Standby节点检测到锁释放后发起选举
4. 状态切换：新Active节点加载最新元数据并接管服务
5. 客户端重定向：所有客户端请求自动路由到新Active节点

这个过程中最关键的环节是JournalNode的edits日志同步。我建议将journalnode.edits.dir配置在高性能SSD上，可以显著提升故障恢复速度。

3. ResourceManager高可用实现方案

3.1 YARN的HA架构

ResourceManager的HA实现与NameNode类似但更简单，因为它不需要维护复杂的文件系统元数据。在yarn-site.xml中需要配置：

<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>zk1:2181,zk2:2181,zk3:2181</value>
</property>

3.2 状态存储与恢复

ResourceManager使用ZKRMStateStore将应用状态持久化到Zookeeper。这包括：

• 运行中的应用程序信息
• 节点资源分配情况
• 队列配置信息

实测表明，当ResourceManager故障恢复时，正在运行的MapReduce作业可能会有约1分钟的延迟，但不会丢失。这是因为它能从Zookeeper恢复完整的应用状态。

4. 生产环境调优经验分享

4.1 Zookeeper参数优化

在大型集群中，建议调整以下zoo.cfg参数：

tickTime=2000
initLimit=15
syncLimit=5
maxClientCnxns=100
minSessionTimeout=10000
maxSessionTimeout=60000

这些调整基于我在500节点集群的实测经验：

• initLimit调大可以避免集群启动时的超时问题
• 适当增大maxClientCnxns防止连接数爆满
• 会话超时设置要大于Hadoop的心跳间隔

4.2 常见故障排查技巧

脑裂问题：当网络分区时可能出现双Active节点。解决方案是配置强隔离机制：

<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>

ZKFC启动失败：检查防火墙是否关闭，以及是否配置了正确的Zookeeper地址。我遇到过因为主机名解析错误导致ZKFC无法连接Zookeeper的情况。