• HBase简介和数据库对比

Hadoop生态系统

 

1.是什么？

HBase-Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库

2.做什么？

在Hadoop生态圈中，它是其中一部分且利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理Hbase中的海量数据，利用Zookeeper作为其分布式协同服务，主要用来存储非结构化和半结构化的松散数据

• Hbase数据模型

先来看一下传统数据库和非关系型数据库的区别。如果想具体了解关系型数据库和菲关系型数据库，请看《关系型数据库和非关系型数据库对比》

 

 

 

然后我们在看一下在Hbase中都需要包括哪些结构

 

 

1. Rowkey

特点：按照字典顺序排序的；Row key最大只能存储64k的字节；决定一行数据。

1. Timetamp时间戳

特点： 不同版本的数据按照时间倒序排序，最新的数据版本排在最前面； 时间戳的类型是 64位整型；时间戳可以由HBase(在数据写入时自动)赋值，此时时间戳是精确到毫秒的当前系统时间； 时间戳也可以由客户显式赋值，如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。

1. CF-Column Family列簇

Column（列） family（家族）

特点：HBase表中的每个列都归属于某个列族；列名以列族作为前缀，每个“列族”都可以有多个列成员(column)；HBase把同一列族里面的数据存储在同一目录下，由几个文件保存。

注：最多有三个列簇，一般只用一个；

cell（存储格）

例：{row key， column( =<family> +<qualifier>)， version}

特点：由rowkey和CF交叉决定；而且有版本version；

• HBase体系架构

Hbase架构图

 

 

Hbase架构正都包括：Client、Zookeeper、Master、RegionServer

Rgion、Hlog、Memstore和storfile以及这些模块的个子作用：

 

Client： 包含访问HBase的接口并维护cache来加快对HBase的访问

 

Zookeeper：保证任何时候，集群中只有一个master；存贮所有Region的寻址入口；实时监控Region server的上线和下线信息。并实时通知Master（主站）；存储HBase的schema（纲目）和table元数据；

 

Master主站）：为Region server（区域服务器）分配region；负责Region server的负载均衡；发现失效的Region server并重新分配其上的region；管理用户对table的增删改操作；

 

Region server（区域服务器）：Region server维护region（区域），处理对这些region的IO请求；Region server负责切分在运行过程中变得过大的region。

 

Region（区域）：HBase自动把表水平划分成多个区域(region)，每个region会保存一个表里面某段连续的数据；每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，region就会等分会两个新的region（裂变）；当table中的行不断增多，就会有越来越多的region，这样一张完整的表被保存在多个Regionserver 上。

 

Hlog（WAL log）：一个普通的Hadoop SequenceFile（序列文件），Sequence File的Key是HLogKey对象，HLogKey中记录了写入数据的归属信息，除了table和region名字外，同时还包括 sequence number和timestamp，timestamp是”写入时间”，sequence number的起始值为0，或者是最近一次存入文件系统中sequence number； HLog SequeceFile的Value是HBase的KeyValue对象，即对应HFile中的KeyValue。存储hbase表的操作记录，KV数据信息

 

Memstore（内存）与storefile（存储文件）：一个region由多个store组成，一个store对应一个CF（列族）； tore包括位于内存中的memstore和位于磁盘的storefile。写操作先写入memstore，当memstore中的数据达到某个阈值，hregionserver会启动flashcache（未知单词）进程写入storefile，每次写入形成单独的一个storefile；当storefile文件的数量增长到一定阈值后，系统会进行合并（minor（找不到适合的词意）、major compaction（高度压缩）），在合并过程中会进行版本合并和删除工作（majar（找不到适合的词意）），形成更大的storefile；当一个region所有storefile的大小和数量超过一定阈值后，会把当前的region分割为两个，并由hmaster分配到相应的regionserver服务器，实现负载均衡

注： 客户端检索数据，先在memstore找，找不到再找storefile；HRegion是HBase中分布式存储和负载均衡的最小单元，就表示不同的HRegion可以分布在不同的 HRegion server上； HRegion由一个或者多个Store组成，每个store保存一个columns family； 每个Strore又由一个memStore和0至多个StoreFile组成。如图：StoreFile以HFile格式保存在HDFS上。

 

 

如何使用请看另外一份文档《Hbase的部署安装和使用API》