bulkload的方式导入数据是hbase的一项相当好的数据导入工具，特别适合做为新系统的历史数据导入工具！hbase本身也封装了相关的类importtsv，官网有简单的介绍http://hbase.apache.org/bulk-loads.html。      这里我要说明的是如何去快速定制一些适合自己应用的bulkload。      我们一般需要运行的数据有几种格式，txt的用的最

说到了hadoop2.0的新特性。这里详解一下搭建步骤以及原理。       首先，需要在cdh官方下载对应的源码包：http://archive.cloudera.com/cdh4/cdh/4/        以cdh4.3.1版本为例来进行说明。        1、hadoop配置文件及目录         hadoop2.0版本配置文件放在$HAOOP_H

HBase 0.94 版本最近发布了，距上次的0.92 版本发布又四个月了，下面我们就来看一下这个版本中丰富的功能增强。性能相关读缓存改进: HDFS 将图片和checksum存储在不同的block中的，所以每次我们进行读操作，都需要进行两次磁盘操作（一次读数据文件，一次读checksum所在的文件）。在HBASE-5074 这个提案中，提出了将checksum存到block 缓存

<br />最近一直做系统优化，但从建模的角度今天有个小优化，原理比较简单，效果可能不是很大，但很有意思。<br />这种优化的好处是不用改变sql代码，对用户是透明的。<br />所以分享下。<br />-<br />由于hive在文件基础上，而会全部扫一个分区里面的内容。<br />hive表的概念是基于hadoop的文件系统hdfs，表其实是分布式文件里面的一个文件目录。<br />再加上没

1、同构机器表现优于异构，即使在良好集群中添加差的机器也会整个拖慢集群的效率，可能有些方法进行调整，但是作为私有云最好不用异构2、入库机器需要大于datanode节点的数量，实测的数据是单节点100MB/s ，2节点实测数据是136MB/s，由于总共就5台机器，所以无法测3节点入库速率。3、job执行的时候，当跑1.3T的数据时总共耗时3小时40分钟。在5台节点机的情况下相当理想

刚吃完饭，在cnbeta上就看到一篇文章，名叫“云计算”的双刃剑：FBI探员不必知会嫌犯即可随意搜查嫌犯的谷歌Docs账户。看完之后唯一的感想是，这篇文章是想说明Google守法呢，还是想说明Google其实是作恶的？我不愿妄加揣测说是后一种目的，我们姑且认为文章其实是想提醒读者，Google其实是很守法的，Google不是暴力抗法者。有人要问了，Google前端时间不是就是因为政府审查的原因才推

环境：Vmware 8.0 和Ubuntu11.04Hadoop 实战之MapReduce链接作业之预处理第一步：首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：

      最近在接触hadoop的项目，把总结出的配置方法写出来纪念一下，也方便后来人快速玩转hadoop。      首先在虚拟机中安装linux，我是用的redhad，然后装jdk：http://yushan.javaeye.com/blog/261148，接下来是关键部分：一、hadoop安装：下载release版本hadoop0.20.1，解压到/home/hadoop/ 。1.命令行下

云计算时代终于还是来了。移动终端