简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
Docker之Hadoop普通集群搭建
最近在尝试搭建hadoop集群,非高可用的普通集群。当初想着需要搭建这样的集群在一台电脑上肯定是无法完成的,思想还停留在了虚拟机时候,并不清楚,也没实践过使用docker具体能创建多少个容器(虚拟机)同时运行。但通过这个的搭建后,真正体会到了docker的厉害,本人在自己的电脑上同时运行了21个容器,也就相当于21台虚拟机,这时候内存的消耗也就6.5个G左右,本人的电脑配置也一般,windows1
搭建Docker本地仓库
为了更方便管理镜像,及在其它电脑间共享镜像,所以在本地搭建了个私有仓库。由于本人手头上的日常使用电脑没有linux系统的,所以直接在windows上搭建,技术是相通的,其实与操作系统无任何关系,主要的还是docker技术。创建仓库需要registry镜像,可以直接运行docker pull registry进行就可以直接在官网下载,如果下载速度太慢或无法下载,可以考虑从网易蜂巢下载。下载好
docker之hadoop HA高可用配置
最近搭建了hadoop的高可用性,现在顺便在这记录下过程,以便以后方便查找,所搭建的hadoop版本为2.6.5。hadoop的高可用配置有两种方法,以下是我选择配置的QuorumJournal Manager (QJM)的方法。Quorum的高可用需要启动奇数个(3、5、7等)JournalNodes节点进行日志的处理,活动NameNode节点负责进行写日志,而备份Nam
到底了