简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
Hadoop&Hbase 备份方案--AvatarNode 需求实现namenode的双机热备,保证Hadoop&Hbase的高可用性(HA)。 方案描述当主namenode所在服务器宕机的时候,其服务和数据可迅速,完整,无缝的迁移到备份namenode从而保证hadoop集群的高可用性,持续的向外提供服务。 测试环境虚拟机5台(1G内存,40G硬盘,ubu
Hadoop 双机热备--AvatarNode部署部署环境虚拟机5台(1G内存,40G硬盘,ubuntu操作系统,Hadoop-0.20.2)hadoop1-virtual-machine 10.10.11.250 AvatarNode(primary)hadoop2-virtual-machine 10.10.11.152 AvataDataNodehadoop3-v
Hadoop&Hbase 备份方案--Pacemaker&DRBD需求实现namenode的双机热备,保证Hadoop&Hbase的高可用性(HA)。方案描述当主namenode所在服务器宕机的时候,其服务和数据可迅速,完整,无缝的迁移到备份namenode从而保证hadoop集群的高可用性,持续的向外提供服务。测试环境虚拟机
本文转自:http://blog.163.com/herod_xiao/blog/static/8718839920086303105621/ 1.首先需了解linux内一任务计划工具crontabcrontab可以定时去执行你要做的动作直接用crontab命令编辑crontab -u //设定某个用户的cron服务,一般root用户在执行这个命令的时候需要此参数cron
1.什么是awk? 你可能对UNIX比较熟悉,但你可能对awk很陌生,这一点也不奇怪,的确,与其优秀的功能相比,awk还远没达到它应有的知名度。awk是什么?与其它大多数UNIX命令不同的是,从名字上看,我们不可能知道awk的功能:它既不是具有独立意义的英文单词,也不是几个相关单词的缩写。事实上,awk是三个人名的缩写,他们是:Aho、(Peter) Weinberg和(Brain)Ker
准备1. 下载zookeeper,下载地址http://www.apache.org/dyn/closer.cgi/zookeeper,此处为zookeeper-3.3.22. 分别解压至zookeepr集群机器(一般为基数台机器)相应目录(此处为$ZOOKEEPER_HOME),集群为mem1,mem2,mem3(hosts对应)。配置1.
安装zookeeper-3.3.2的时候,启动正常没报错,但zkServer.sh status查看状态的时候却出现错误,如下: JMX enabled by defaultUsing config: /hadoop/zookeeper/bin/../conf/zoo.cfgError contacting service. It is probably not running.
之前集群的配置为hadoop-0.20.3,hbase-0.90.4,zookeeper-3.3.4,hive-0.8.1。hadoop还算稳定,基本没什么bug,而hive基于hbse查询时真是问题百出,hbase各种bug,比如丢数据,丢表,regionserver频繁宕机,各种打补丁,改错误搞得我脑袋都要爆了。于是决定给hbase来一个彻底的升级替换。一. 先是把hbase升级为
HBase 官方文档中文版0.97.0Copyright © 2012 Apache Software Foundation。保留所有权利。 Apache Hadoop, Hadoop, MapReduce, HDFS, Zookeeper, HBase 及 HBase项目 logo 是Apache Software Foundation的商标。