logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

提升hbase性能的几个地方

1、hbase对于内存有特别的嗜好,在硬件允许的情况下配足够多的内存给它。     通过修改hbase-env.sh中的     export HBASE_HEAPSIZE=3000 #这里默认为1000m2、修改java虚拟机属性     (1)、在环境允许的情况下换64位的虚拟机     (2)、替换掉默认的垃圾回收器,因为默认的垃圾回收器在多线程环境下会有更多的wait等待     ex

#hbase#虚拟机#数据库
Hadoop分布式安装

一、安装准备1、下载hadoop 0.20.2,地址:http://www.apache.org/dist/hadoop/core/hadoop-0.20.2/2、JDK版本:jdk-6u20-linux-i586.bin (必须是1.6)3、操作系统:Linux s132 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x

#hadoop#java#mapreduce +1
SecondaryNamenode应用摘记

一、环境Hadoop 0.20.2、JDK 1.6、Linux操作系统二、背景上周五的时候,由于操作系统的原因,导致JDK出现莫名的段错误。无论是重启机器还是JDK重装都无济于事。更可悲的是,出问题的机器就是Master。当时心里就凉了半截,因为secondarynamenode配置也是在这个机器上(默认的,没改过)。不过万幸的是这个集群是测试环境,所以问题不大。借这个缘由,我将secondary

#hadoop#集群#测试
Map/Reduce中Join查询实现

一、背景早在8月份的时候,我就做了一些MR的Join查询,但是发现回北京之后,2个月不用,居然有点生疏,所以今天早上又花时间好好看了一下,顺便写下这个文档,以供以后查阅。二、环境JDK 1.6、Linux操作系统、hadoop0.20.2三、资料数据在做这个J

#hadoop
关于Hive建表需要注意的问题

一、环境1、Hadoop 0.20.22、Hive 0.5.03、JDK 1.64、操作系统:Linux m131 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux二、注意事项1、关于数字类型支持的位数类型支持数字位数tinyint

#x86#hadoop#linux
HBase分布式安装手册

一、安装准备1、下载HBASE 0.20.5版本:http://www.apache.org/dist/hbase/hbase-0.20.5/2、JDK版本:jdk-6u20-linux-i586.bin3、操作系统:Linux s132 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/L

#hbase#hadoop#list
HBase性能测试小结

性能测试小结:测试环境:机器:1 client 5 regin server 1 master 3 zookeeper配置:8 core超到16 /24G内存,region server分配了4G heap /单seta磁盘,raid10后500GB系统:Red Hat Enterprise Linux Server release 5.4版本:hadoop-0.20.2+737 / hbase-

#测试#hbase
通过web页面查看HDFS文件系统

一、背景因为做hadoop的开发,所以有些时候需要通过web对hdfs文件系统进行查看。如果开发机器是Linux系统,那么只要更改/etc/hosts文件就可以了,但是在Windows下,通过web页面查看,通常会报错,说是找不到域名。因此带来十分不方便。二、操作修改C:/WINDOWS/system32/drivers/etc/hosts文件,内容同样和Linux下修改方式一下。例如我现在有三台

#linux#hadoop#windows +1
到底了