我们每次执行hive的hql时，shell里都会提示一段话：[python] viewplaincopy...  Number of reduce tasks not specified. Estimated from input data size: 500  In order to change the average load

相信每个程序员在编程时都会问自己两个问题“我如何完成这个任务”，以及“怎么能让程序运行得更快”。同样，MapReduce计算模型的多次优化也是为了更好地解答这两个问题。MapReduce计算模型的优化涉及了方方面面的内容，但是主要集中在两个方面：一是计算性能方面的优化；二是I/O操作方面的优化。这其中，又包含六个方面的内容。1. 任务调度任务调度是Hadoop中非常重要的一

我们每次执行hive的hql时，shell里都会提示一段话：[python] viewplaincopy...  Number of reduce tasks not specified. Estimated from input data size: 500  In order to change the average load

在一些规模稍大的应用中，Java虚拟机（JVM）的内存设置尤为重要，想在项目中取得好的效率，GC（垃圾回收）的设置是第一步。PermGen space：全称是Permanent Generation space.就是说是永久保存的区域,用于存放Class和Meta信息,Class在被Load的时候被放入该区域Heap space：存放Instance。GC(Garbage Coll

Java虚拟机（JVM）参数配置说明 在Java、J2EE大型应用中，JVM非标准参数的配置直接关系到整个系统的性能。JVM非标准参数指的是JVM底层的一些配置参数，这些参数在一般开发中默认即可，不需要任何配置。但是在生产环境中，为了提高性能，往往需要调整这些参数，以求系统达到最佳新能。另外这些参数的配置也是影响系统稳定性的一个重要因素，相信大多数Java开发人员都

在看‘深入JAVA虚拟机’垃圾收集这一章的时候了解有关对象的引用级别，在网上找了些资料总结备忘。（该文章大多内容为多个网站的内容合并） 1、概述   在JDK1.2以前的版本中，当一个对象不被任何变量引用，那么程序就无法再使用这个对象。也就是说，只有对象处于可触及状态，程序才能使用它。这 就像在日常生活中，从商店购买了某样物品后，如果有用，就一直保留它，否则就把它扔到垃圾箱

1       基本信息摘要：每个java开发人员对java.lang.ClassNotFoundExcetpion这个异常肯定都不陌生，这背后就涉及到了java技术体系中的类加载。Java的类加载机制是java技术体系中比较核心的部分，虽然和大部分开发人员直接打交道不多，但是对其背后的机理有一定理解有助于排查程序中出现的类加载失败等技术问题，对理解java虚拟机的连接模型和jav

引言 　　今天使用display标签，将大量数量导为excel的时候，出现了内存不足的错误，才关注了一下这个问题。这确实是个很重要的问题。 堆(Heap)和非堆(Non-heap)内存 　　按照官方的说法：“Java 虚拟机具有一个堆，堆是运行时数据区域，所有类实例和数组的内存均从此处分配。堆是在 Java 虚拟机启动时创建的。”“在JVM中堆之外的内存称为非堆内存(Non-hea

推荐用法-XX:+PrintGCDetails  -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps -Xloggc:/home/gc.log1、-verbose:gc这个参数会输出虚拟机中GC的情况.使用后输出如下:[Full GC 168K->97K(1984K)， 0.0253873 secs] 箭头前后的数据168K和97K分别表示垃圾

这几天在虚拟机上安装了 rhel 6.3 ，准确版本信息是：[root@Chaos ~]# uname -aLinux Chaos 2.6.32-279.el6.x86_64 #1 SMP Wed Jun 13 18:24:36 EDT 2012 x86_64 x86_64 x86_64 GNU/Linux众所周知，如果linux没有在红帽网络上注册，肯定无法下