还没开始写，就有朋友给我评论，总结的简单精辟。不过再怎么困难，填坑的事情，必须有人来做，对公司和对个人都是有益的。 最近折腾一个多礼拜，总算又让hadoop稳定了。我这里主要总结下是两个方面（我这里所指的维护范围更广泛）：第一：是运维第二：是开发首先说下运维，在一年的使用中，由于操作系统设置不当所导致的各种异常情况，我都碰到了，而且解决的方案都很简单。对于多数问题来

最近新增节点后，导致相关运行程序出现异常。检查下来发现，一个很简单的问题导致，有一个节点运维人员忘记关闭防火墙了。如果不关闭防火墙，有以下几种情况出现：第一：hdfs的web管理页面，打不开该节点的文件浏览页面第二：后台运行脚本（HIVE的），会出现莫名其妙的假死状态第三：在删除和增加节点的时候，会让数据迁移处理时间更长，甚至不能正常完成相关操作第四：不管你做任何操作，都是

在我学习hadoop的过程中，对中文版的书籍重点推荐以下两本（我都看过，并做过相应的实验）第一本　hadoop实战第二本　hadoop权威指南另外有一本hadoop实战（hadoop in action）也可以。更重要的还有一本英文版的书好像叫Pro hadoop，非常好，在最初部署和调整环境的时候，给我很大的帮助和指导。

最近在外网试运行了一个月以来，hive在hadoop平台中的一个主要问题是：经常报此异常：org.apache.hadoop.ipc.Server: IPC Server handler 495 on 8020 caught: java.nio.channels.ClosedChannelException导致任务执行失败（每次任务失败，关闭的连接都是hive连接到hadoop的mas

Hadoop回收站trash，默认是关闭的。 修改conf/core-site.xml,增加 property>  name>fs.trash.intervalname>  value>3value>  description>Number of minutes between trash checkpoints.   If zero, the tras

org.apache.hadoop.ipc.RemoteException:org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on/order_closed_compress/_temporary/_attempt_201311152318_5890_m_000065_0/part-m-0006

$ yum install git  $ yum install git-svn git-email git-gui gitk

最近在复习网络相关知识时，看到服务与接口的概念。其中说到一点TCP模型的不足之处，就是TCP/IP模型里的其中一层是网络接口层，此接口层不同于正常意义的层，仅仅只是接口而已。以前看的时候，并没注意到这个差别，现在细想起来，所谓接口，其实简单的提供上层调用，然后下层去实现。而服务，看似跟接口差不多，也是提供相关接口供上层调用，但是服务会去自己实现相关的处理，而不是简单的调用方法的跳转，不

当java虚拟机启动的时候，会启动很多内部的线程，这些线程主要在thread.cpp里的create_vm方法体里实现而在thread.cpp里主要起了2个线程来处理信号相关的JvmtiExport::enter_live_phase();// Signal Dispatcher needs to be started before VMInit event is

在我们常用的Jstack, Jmap 用于分析java虚拟机的状态的工具，通过起另一个虚拟机通过运行sun.tools包下的java文件，去跟踪另一个虚拟机的状态。如果让你设计一个跟踪另一个进程的方法，你也通常会考虑这几种常用的方式。第一种，就是通知被跟踪的进程，让进程执行相应的消息，同时对该消息做出反应。第二种，就是通过内核的调用，直接能够访问进程的内存，堆栈