logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Hadoop&Hbase 备份方案--AvatarNode

Hadoop&Hbase 备份方案--AvatarNode 需求实现namenode的双机热备,保证Hadoop&Hbase的高可用性(HA)。 方案描述当主namenode所在服务器宕机的时候,其服务和数据可迅速,完整,无缝的迁移到备份namenode从而保证hadoop集群的高可用性,持续的向外提供服务。 测试环境虚拟机5台(1G内存,40G硬盘,ubu

#hadoop#hbase#集群 +3
Hadoop 双机热备-AvatarNode部署

Hadoop 双机热备--AvatarNode部署部署环境虚拟机5台(1G内存,40G硬盘,ubuntu操作系统,Hadoop-0.20.2)hadoop1-virtual-machine  10.10.11.250 AvatarNode(primary)hadoop2-virtual-machine  10.10.11.152 AvataDataNodehadoop3-v

#hadoop#集群#jar +1
Hadoop&Hbase 备份方案--Pacemaker&DRBD

Hadoop&Hbase 备份方案--Pacemaker&DRBD需求实现namenode的双机热备,保证Hadoop&Hbase的高可用性(HA)。方案描述当主namenode所在服务器宕机的时候,其服务和数据可迅速,完整,无缝的迁移到备份namenode从而保证hadoop集群的高可用性,持续的向外提供服务。测试环境虚拟机

#hadoop#hbase#集群 +3
Linux时间同步设置

本文转自:http://blog.163.com/herod_xiao/blog/static/8718839920086303105621/ 1.首先需了解linux内一任务计划工具crontabcrontab可以定时去执行你要做的动作直接用crontab命令编辑crontab -u //设定某个用户的cron服务,一般root用户在执行这个命令的时候需要此参数cron

#linux#服务器
linux awk使用详解

1.什么是awk? 你可能对UNIX比较熟悉,但你可能对awk很陌生,这一点也不奇怪,的确,与其优秀的功能相比,awk还远没达到它应有的知名度。awk是什么?与其它大多数UNIX命令不同的是,从名字上看,我们不可能知道awk的功能:它既不是具有独立意义的英文单词,也不是几个相关单词的缩写。事实上,awk是三个人名的缩写,他们是:Aho、(Peter) Weinberg和(Brain)Ker

#linux#unix#开发工具 +1
zookeeper集群安装

准备1.        下载zookeeper,下载地址http://www.apache.org/dyn/closer.cgi/zookeeper,此处为zookeeper-3.3.22.        分别解压至zookeepr集群机器(一般为基数台机器)相应目录(此处为$ZOOKEEPER_HOME),集群为mem1,mem2,mem3(hosts对应)。配置1.

#集群#hadoop#测试
Zookeeper启动没错但无法查看Status解决办法

安装zookeeper-3.3.2的时候,启动正常没报错,但zkServer.sh status查看状态的时候却出现错误,如下: JMX enabled by defaultUsing config: /hadoop/zookeeper/bin/../conf/zoo.cfgError contacting service. It is probably not running.

hadoop集群升级手札

之前集群的配置为hadoop-0.20.3,hbase-0.90.4,zookeeper-3.3.4,hive-0.8.1。hadoop还算稳定,基本没什么bug,而hive基于hbse查询时真是问题百出,hbase各种bug,比如丢数据,丢表,regionserver频繁宕机,各种打补丁,改错误搞得我脑袋都要爆了。于是决定给hbase来一个彻底的升级替换。一.  先是把hbase升级为

#hadoop#集群#hbase +1
HBase 官方文档0.97.0

HBase     官方文档中文版0.97.0Copyright © 2012 Apache Software Foundation。保留所有权利。 Apache Hadoop, Hadoop, MapReduce, HDFS, Zookeeper, HBase 及 HBase项目 logo 是Apache Software Foundation的商标。

HBase性能调优

因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。配置优化zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer

#hbase
    共 11 条
  • 1
  • 2
  • 请选择