原文来自于:http://blog.sina.com.cn/s/blog_7b9948fd0102w8yv.html


内部数据存储 vs 磁盘数据存储

对于使用者来讲,zookeeper就像一个内存数据库,但是zookeeper的这个内存数据库真的是个数据库吗?还是就是存于内存中的一个对象呢?有了这些疑问,我们就找到了方向,好吧,那就开始解剖吧。

1.zookeeper的内存数据库到底是什么?

通过看源码和查资料,发现一个对象ZKDatabase,这个对象就是我们寻找的目标对象,内存数据库的实际载体

2.探究ZKDatabase​的结构

这个类是用来维护zookeeper服务器状态的​内存数据库,他包含会话和已提交的日志。

在从磁盘读入日志和快照数据之后,会启动起来。​

ZKDatabase

​这就是庐山真面目了,下面我们说说他的内部属性

dataTree,sessionsWithTimeouts,snapLog,commitedLog​

3.探究dataTree

数据结构:

DateTree是整个zookeeper内存数据库的核心,代表了内存中一份完整的数据;

PS:不包含任何与网络、客户端连接以及请求处理等相关业务逻辑

​这棵树维护了2个并行的数据结构,一个是哈希表(全路径到数据节点的映射),一个是一棵由数据节点构成的树。所有的访问都是通过哈希表来映射到数据节点的。

这棵树仅仅是在序列化到磁盘的时候才会遍历。​

DataTree-nodes

3.1.nodes​

private final ConcurrentHashMap, DataNode> nodes = new ConcurrentHashMap, DataNode>();

用于快速查找数据节点的并发哈希表。

Key:数据节点路径

Value:DataNode

3.2.ephemerals 临时节点

private final Map, HashSet> ephemerals = new ConcurrentHashMap, HashSet>();

这个数据结构是专门用来存放临时节点的,方便实时访问和及时清理​


4.DataNode​

​DataNode是数据库存储的最小单元,我们看看它内部都有什么构成

这个类包含着在树中每个节点的数据信息​

一个数据节点​包含着它的父引用,一个数据的字节数组,一个访问控制列表,和一个子节点路径的集合

DataNode

​我来解释一下:

parent:父节点信息

data[]:数据信息

acl:访问控制信息

stat:持久化到磁盘上的统计信息

children:子节点信息


参考资料:从Paxos到Zookeeper分布式一致性原理与实践

Logo

权威|前沿|技术|干货|国内首个API全生命周期开发者社区

更多推荐