简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
Container技术:传统的虚拟化技术:通过对硬件层模拟,从而实现了能够在一套硬件上面运行多个操作系统,因为通过硬件虚拟化,使得操作系统认为在它之下就是硬件层但是实际情况是这样的:虚拟机中的OS对硬件发出的请求都交给了虚拟的硬件,OS认为指令已经下达了,只要等待硬件返回信息即可,其实OS下面的那层“硬件”是要将指令发送给真正的硬件层来执行的系统级别的虚拟化技术:不同于传统的硬件虚拟化,它不
由于自己的电脑配置普普通通,在VM虚拟机中搭建的集群规模也就是6个节点左右,再多就会卡的不行碰巧接触了Docker这种轻量级的容器虚拟化技术,理论上在普通PC机上搭建的集群规模可以达到很高(具体能有多少个也没有实际测试过)于是就准备在Docker上搭建Spark集群由于是Docker新手,在操作过程中遇到了不少麻烦刚开始在网上找的资料都是直接从DockerHub上拉取别人已经建好的镜像使用
记得一开始的时候,还只能在一些网站上看到关于Docker零星的一些消息,之后的不久,有关Docker消息就遍布网络。是什么因素让Docker火起来的?或者说什么原因促使大家都对Docker感兴趣并且开始运用的?本文记录一下自己对Docker的一点见解,关于Docker是什么以及基本的操作网络上有大把大把的文献,或者参考这里:Docker初步介绍系列文章这里就不再累述了。首先需要明确的一点是,一个
存储结构HBase构架如上图所示,一个HBase集群是由Zookeeper、HMaster和HRegionServer构成的HRegionServerHBase集群上的各个节点,一个数据量很大的表可能被保存在不同RegionServer上HLogHBase将数据存储在各个HRegionServer上,每个HRegionServer都有一个HLog文件记录该节点上数据的CRUD操作记录图中错误的地
总结一下在生产环境部署Hadoop+Spark+HBase+Hue等产品遇到的问题、提高效率的方法和相关的配置。集群规划假设现在生产环境的信息如下:服务器数量:6操作系统:Centos7Master节点数:2Zookeeper节点数:3Slave节点数:4划分各个机器的角色如下:主机名角色运行进程hadoop1Master
由于自己的电脑配置普普通通,在VM虚拟机中搭建的集群规模也就是6个节点左右,再多就会卡的不行碰巧接触了Docker这种轻量级的容器虚拟化技术,理论上在普通PC机上搭建的集群规模可以达到很高(具体能有多少个也没有实际测试过)于是就准备在Docker上搭建Spark集群由于是Docker新手,在操作过程中遇到了不少麻烦刚开始在网上找的资料都是直接从DockerHub上拉取别人已经建好的镜像使用
一、部署连续运行的应用1、使用配置文件启动replicas集合k8s通过Replication Controller来创建和管理各个不同的重复容器集合(实际上是重复的pods)。Replication Controller会确保pod的数量在运行的时候会一直保持在一个特殊的数字,即replicas的设置。这个功能类似于Google GCE的实例组管理和AWS
公司的事件总线采用的是Kafka分布式消息队列来完成的,近来项目需要接入到事件总线中,故开启了kafka的学习之旅(之前一直在听说kafka这玩意儿,但是学习计划中还没有将它安排进去,借着这个机会学习kafka也算是弥补了这方面的一些遗憾~)关于kafka是神马东西这里就不在累述了,网上的资料一大堆下面分享一些自己对kafka的理解,如有不妥之处还望指出~(1)何为分布式消息队列?有何特点?1、一
篇幅中使用的HBase版本为1.1.2Java APIHBase提供了一套Java API来支持Java程序对HBase数据库的请求操作,在hbase shell中能够使用的都可以通过这套API来实现HBase有两套API,分别是1.0和2.0,在较新版本的HBase中使用1.0的API时,很多类和方法都被标记为Deprecated,官方表示旧版本的API将会在3.0版本中删除,
一、在生产环境中使用Pod来工作本节将介绍一些在生产环境中运行应用非常有用的功能。1、持久化存储容器的文件系统只有当容器正常运行时有效,一旦容器奔溃或者重启,所有对文件系统的修改将会丢失,从一个原始的文件系统重新开始。所以为了实现更多的持久化信息,在文件系统之外你需要一个volume,volume对有状态的应用来说是非常重要的,例如键值对存储和数据库等。