云计算运维与传统运维的差异性51CTO：阿里巴巴云计算运维是在什么样的背景下产生的？柯旻：由于阿里巴巴业务的发展需要，数据量飞速膨胀。云计算、分布式计算等（包括我们自主开发的飞天系统），都是在这样的背景下产生的。51CTO：云计算运维与传统运维的区别在哪里？柯旻：其实最主要区别是量的膨胀。传统的运维可能只有几十，或者上百的机器，这些机器上面有十个、二十个应用

hadoop  fsckUsage: DFSck[-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]                     检查这个目录中的文件是否完整        -move               破损的文件移至/lost+found目录

YARN RM failover机制RM(ResourceManager)每次在启动之前都会进行初始化并执行一次recovery操作，然后才启动RM，对外提供服务。RM启动流程如下图：RM启动流程图RM中的各种服务包括：(1)、ContainerAllocationExpirer：监控Containter是否到期。(2)、AmLivelinessMonitor：监控A

最近在支持业务部门将数据从hadoop0.20.203迁移到hadoop2.4.0的时候，distcp报了几个错误，在这里记录一下：

本文档相关软件的版本：spark-1.0.2、hadoop2.4.0和hive-0.13.0一、编译打包1、准备       将 hadoop gateway所使用的 hadoop 相关配置文件(*-site.xml)放到 spark 的代码里的 core/src/main/resources/下进行打包，否则可能会出现找不到rm以及 nn 等情况。    参考文档：《sp

反垃圾rd那边有一个hql，在执行过程中出现错误退出，报java.io.IOException: Broken pipe异常，hql中使用到了python脚本，hql和python脚本近期没有人改过，在10.1号时还运行正常，但是在10.4号之后运行就老是出现相同的错误，而且错误出现在stage-2的reduce阶段，gateway上面的错误提示如下：

转自Hadooper论坛:http://www.hadooper.cn/dct/page/65789获得源码        首先，你需要Hadoop的 源码。 你可以用SVN获得源码，大部分的开发都在”trunk”下。svn checkout http://svn.apache.org/repos/asf/hadoop/core/trunk/ hadoop-core-tru

通过该命令可以来限定某个hdfs目录的大小： hadoop dfsadmin -setSpaceQuota 3000 /group/d_sdo_data/user/liuxiaowen 但设定之后，put一个2000多字节的文件时候报错： Java代码  12/05/14 15:41:24 WARN hdfs.DFSClient:

本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中遇到的问题及经验总结，在相应章节以“注意事项”的形式给出。详解了Storm安装部署步骤，希望能给您带来帮助。AD：2013云计算架构师峰会超低价抢票中本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目

1、JVM内存区域模型运行的基本流程：Class文件—》类装载器—》内存区—》执行区—》本地库接口—》本地方法库 内存区（大体上分为5块）：重点是堆1.方法区也称"永久代” 、“非堆”，  它用于存储虚拟机加载的类信息、常量、静态变量、是各个线程共享的内存区域。默认最小值为16MB，最大值为64MB，可以通过-XX:PermSize 和 -XX:Ma