使用ZooKeeper解决Hadoop单点故障(single point of failure)
1、目前Hadoop版本只支持一个主节点,存在单点故障的问题,即如果主节点异常,任务执行情况会丢失,数据可能会损坏。目前通常的建议是,客户端编码时进行异常判断和处理,比如多次请求执行任务。2、ZooKeeper是Hadoop的正式子项目,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组(Group)服务等。3、ZooKeeper能够用来leade
·
1、目前Hadoop版本只支持一个主节点,存在单点故障的问题,即如果主节点异常,任务执行情况会丢失,数据可能会损坏。目前通常的建议是,客户端编码时进行异常判断和处理,比如多次请求执行任务。
2、ZooKeeper是Hadoop的正式子项目,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组(Group)服务等。
3、ZooKeeper能够用来leader选举,配置信息维护等。在一个分布式的环境中,我们需要一个Master实例或存储一些配置信息,确保文件写入的一致性等。
4、目前ZooKeeper解决Hadoop的单点故障实现的是主备机方式。今后还需要看Hadoop是否能实现多主节点的负载均衡方式,或者在另一台机器上做Namenode故障转移的功能。
更多推荐
已为社区贡献1条内容
所有评论(0)