将从HBase作为分布式系统的视角介绍HBase负载均衡的实现机制。负载均衡是分布式集群设计的一个重要功能，只有实现了负载均衡，集群的可扩展性才能得到有效保证。数据库集群负载均衡的实现依赖于数据库的数据分片设计，可以在一定程度上认为数据分片就是数据读写负载，那么负载均衡功能就是数据分片在集群中均衡的实现。HBase中数据分片的概念是Region。本文将介绍HBase系统中Region迁移、合并、分

flush的整体流程分三个阶段　　HBase采用了类似于两阶段提交的方式，将整个flush过程分为三个阶段。1）prepare阶段：遍历当前Region中的所有MemStore，将MemStore中当前数据集CellSkipListSet（内部实现采用ConcurrentSkipListMap）做一个快照snapshot，然后再新建一个CellSkipListSet接收新的数据写入。prepare

跳跃表（SkipList）是一种能高效实现插入、删除、查找的内存数据结构，这些操作的期望复杂度都是O（logN）。与红黑树以及其他的二分查找树相比，跳跃表的优势在于实现简单，而且在并发场景下加锁粒度更小，从而可以实现更高的并发性。正因为这些优点，跳跃表广泛使用于KV数据库中，诸如Redis、LevelDB、HBase都把跳跃表作为一种维护有序数据集合的基础数据结构。众所周知，链表这种数据结构的查询

版本为：Linux Storage Stack Diagram v4.10blk-mq（mq就是多队列的意思），第一个原形与2011年提出，并在2014年合并进Linux 3.13内核。block层在加入了blk-mq之后，发生了很大的变化。由于blk-mq的加入，在smp中能够有效利用多硬件队列的储存设备的高并发特性，之前io performance瓶颈在于储存设备，随着pci-e s...

MD5即Message-Digest Algorithm 5（信息-摘要算法5），用于确保信息传输完整一致。是计算机广泛使用的杂凑算法之一（又译摘要算法、哈希算法），主流编程语言普遍已有MD5实现。1、MD5算法简介MD5在90年代初由MIT的计算机科学实验室和RSA Data Security Inc发明，经MD2、MD3和MD4发展而来。MD5将任意长度的“字节串”变换成一个128...

1、perf安装sudo yum install perf2、perf使用Perf包含22种子工具的工具集，以下是最常用的5种：2.1 perf-listPerf-list用来查看perf所支持的性能事件，有软件的也有硬件的。List all symbolic event types.perf list [hw | ...

QoS最早起源于网络通信，是指一个通信网络能够利用各种基础技术，为特定应用提供更好的服务能力。简单来说就是如何设置规则，共享资源。随着Ceph的成熟，特别是在OpenStack将Ceph作为存储后端之后，Ceph的QoS就变得更加重要了。前端QoS前端QoS是指在客户端实现QoS，是最简单、最常用的，我们以OpenStack Cinder+ Ceph RBD为例进行说明。虽然Ceph RBD目前还

随着主机、磁盘、网络等技术的发展，对于存储空间和性能的要求越来越高，服务器的内置磁盘往往不足以满足存储需的要求。因此，在内置存储之外，服务器需要采用外置存储的方式扩展存储空间。网络连接存储（简称NAS）网络储存设备 (Network Attached Storage，NAS)，NAS是通过IP网络访问的文件系统，可以理解为硬盘+文件系统软件的组合。NAS存储设备可以直接连接在以太网中，之后...

存储编码，矩阵等之间的运算都是在伽罗华域(Galois Field，GF，有限域)上进行的，所以要实现底层的运算库，必须了解 GF 上的运算规则。域：一组元素的集合，以及在集合上的四则运算，构成一个域。其中加法和乘法必须满足交换、结合和分配的规律。加法和乘法具有封闭性，即加法和乘法结果仍然是域中的元素。域中必须有加法单位元和乘法单位元，且每一个元素都有对应的加法逆元和乘法逆元。但不要求域中的...

OpenStack是公有云的标准云OS框架，目前已经得到各个云厂商支持和客户的认可，很多云解决方案提供商都把云战略转向OpenStack，如传统厂商方案 SoftLayer、Helion、FusionSphere、Suse和Redhat等，以及新型云服务商的方案，如RackSpace、Miratis、Nebula、ClouScaling、MetaCloud、PistonCloud、Canonica