Container技术：传统的虚拟化技术：通过对硬件层模拟，从而实现了能够在一套硬件上面运行多个操作系统，因为通过硬件虚拟化，使得操作系统认为在它之下就是硬件层但是实际情况是这样的：虚拟机中的OS对硬件发出的请求都交给了虚拟的硬件，OS认为指令已经下达了，只要等待硬件返回信息即可，其实OS下面的那层“硬件”是要将指令发送给真正的硬件层来执行的系统级别的虚拟化技术：不同于传统的硬件虚拟化，它不

由于自己的电脑配置普普通通，在VM虚拟机中搭建的集群规模也就是6个节点左右，再多就会卡的不行碰巧接触了Docker这种轻量级的容器虚拟化技术，理论上在普通PC机上搭建的集群规模可以达到很高（具体能有多少个也没有实际测试过）于是就准备在Docker上搭建Spark集群由于是Docker新手，在操作过程中遇到了不少麻烦刚开始在网上找的资料都是直接从DockerHub上拉取别人已经建好的镜像使用

记得一开始的时候，还只能在一些网站上看到关于Docker零星的一些消息，之后的不久，有关Docker消息就遍布网络。是什么因素让Docker火起来的？或者说什么原因促使大家都对Docker感兴趣并且开始运用的？本文记录一下自己对Docker的一点见解，关于Docker是什么以及基本的操作网络上有大把大把的文献，或者参考这里：Docker初步介绍系列文章这里就不再累述了。首先需要明确的一点是，一个

存储结构HBase构架如上图所示，一个HBase集群是由Zookeeper、HMaster和HRegionServer构成的HRegionServerHBase集群上的各个节点，一个数据量很大的表可能被保存在不同RegionServer上HLogHBase将数据存储在各个HRegionServer上，每个HRegionServer都有一个HLog文件记录该节点上数据的CRUD操作记录图中错误的地

总结一下在生产环境部署Hadoop+Spark+HBase+Hue等产品遇到的问题、提高效率的方法和相关的配置。集群规划假设现在生产环境的信息如下：服务器数量：6操作系统：Centos7Master节点数：2Zookeeper节点数：3Slave节点数：4划分各个机器的角色如下：主机名角色运行进程hadoop1Master

由于自己的电脑配置普普通通，在VM虚拟机中搭建的集群规模也就是6个节点左右，再多就会卡的不行碰巧接触了Docker这种轻量级的容器虚拟化技术，理论上在普通PC机上搭建的集群规模可以达到很高（具体能有多少个也没有实际测试过）于是就准备在Docker上搭建Spark集群由于是Docker新手，在操作过程中遇到了不少麻烦刚开始在网上找的资料都是直接从DockerHub上拉取别人已经建好的镜像使用

一、部署连续运行的应用1、使用配置文件启动replicas集合k8s通过Replication Controller来创建和管理各个不同的重复容器集合（实际上是重复的pods）。Replication Controller会确保pod的数量在运行的时候会一直保持在一个特殊的数字，即replicas的设置。这个功能类似于Google GCE的实例组管理和AWS

公司的事件总线采用的是Kafka分布式消息队列来完成的，近来项目需要接入到事件总线中，故开启了kafka的学习之旅（之前一直在听说kafka这玩意儿，但是学习计划中还没有将它安排进去，借着这个机会学习kafka也算是弥补了这方面的一些遗憾~）关于kafka是神马东西这里就不在累述了，网上的资料一大堆下面分享一些自己对kafka的理解，如有不妥之处还望指出~（1）何为分布式消息队列？有何特点？1、一

篇幅中使用的HBase版本为1.1.2Java APIHBase提供了一套Java API来支持Java程序对HBase数据库的请求操作，在hbase shell中能够使用的都可以通过这套API来实现HBase有两套API，分别是1.0和2.0，在较新版本的HBase中使用1.0的API时，很多类和方法都被标记为Deprecated，官方表示旧版本的API将会在3.0版本中删除，

一、在生产环境中使用Pod来工作本节将介绍一些在生产环境中运行应用非常有用的功能。1、持久化存储容器的文件系统只有当容器正常运行时有效，一旦容器奔溃或者重启，所有对文件系统的修改将会丢失，从一个原始的文件系统重新开始。所以为了实现更多的持久化信息，在文件系统之外你需要一个volume，volume对有状态的应用来说是非常重要的，例如键值对存储和数据库等。