kill方式是杀掉进程，但是有时候需要取消相关SQL语句，采用以下方式：查看哪些SQL语句正在执行，语句如下：SELECT datname,procpid,query_start, current_query,waiting,client_addr FROM pg_stat_activity WHERE waiting='t';说明：datname表示数据库名procp

最近将hive升级到0.11的版本体验了下，发现还是有些问题需要注意。正在整理中……

过多的动态分区会导致job出现以下情况：org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on /tmp/hive-maint

最近在新的统计脚本中发现了，同一个脚本运行多次而每次结果都不相同的场景。今天好像找到了原因，为了保险起见，先测试运行几天后再做决定。2012-10-18号 通过昨晚的运行，结果正常了。导致此原因的情况如下：首先该脚本执行的时候涉及到的记录有８千多万，在执行的过程当中，map＝100％的时候，过一会又降下来了，变成map＝97%这样，然后再升到map=100%，反复有两三次。

最近在做表名重命名的时候，出现了以下问题，运行情况如下： hive>    >    >    > alter table test rename to test2;Invalid alter operation: table new location hdfs://master:8020/user/hive/warehouse/test_db.db/test2 is

通过这两天的不断研究源码，发现与这个相关的hadoop源码是DFSClient、DistributedFileSystem、JobInProgress、JobClient、JobTracker等与hive相关的源码是CliDriver、Driver、ExecDriver、TaskRunner、Task、MoveTask等。之前设置了暂停100毫秒的方式后，后来也测试出将严重影响MR运行的效

最近运行一次读多次写的hiveSQL语句出现了一个新问题，如图： 在hadoop的mapreduce管理页面里，报错如下信息如图：目前暂时无解中……………………奇怪同一个SQL语句出现如此问题，有待观察！对于此问题，是因为Filesystem 是一个single 对象，当设置了JVM重用这个参数后，那么就会出现之前一个任务运行完成后，会关闭这个Filesystem，

还没开始写，就有朋友给我评论，总结的简单精辟。不过再怎么困难，填坑的事情，必须有人来做，对公司和对个人都是有益的。 最近折腾一个多礼拜，总算又让hadoop稳定了。我这里主要总结下是两个方面（我这里所指的维护范围更广泛）：第一：是运维第二：是开发首先说下运维，在一年的使用中，由于操作系统设置不当所导致的各种异常情况，我都碰到了，而且解决的方案都很简单。对于多数问题来

最近新增节点后，导致相关运行程序出现异常。检查下来发现，一个很简单的问题导致，有一个节点运维人员忘记关闭防火墙了。如果不关闭防火墙，有以下几种情况出现：第一：hdfs的web管理页面，打不开该节点的文件浏览页面第二：后台运行脚本（HIVE的），会出现莫名其妙的假死状态第三：在删除和增加节点的时候，会让数据迁移处理时间更长，甚至不能正常完成相关操作第四：不管你做任何操作，都是

在我学习hadoop的过程中，对中文版的书籍重点推荐以下两本（我都看过，并做过相应的实验）第一本　hadoop实战第二本　hadoop权威指南另外有一本hadoop实战（hadoop in action）也可以。更重要的还有一本英文版的书好像叫Pro hadoop，非常好，在最初部署和调整环境的时候，给我很大的帮助和指导。