YARN的基本思想是将资源管理和作业调度/监控的功能分为独立的守护进程。这样就出现了一个全局的 ResourceManager（RM） 和每个应用程序的 ApplicationMaster（AM）。应用程序可以是一个job作业或者一组job作业的有向无环图（DAG）。ResourceManager负责系统中的所有应用程序的资源分配。NodeManager负责每台机器中容器代理、资源监控（cpu，内

1 概述  ZooKeeper（动物园管理员），顾名思义，是用来管理Hadoop（大象）、Hive（蜜蜂）、Pig（小猪）的管理员，同时Apache HBase、Apache Solr、LinkedIn Sensei等众多项目中都采用了ZooKeeper。  ZooKeeper是Hadoop的正式子项目，与Hadoop密切相关但却没有任何依赖。它是一个针对大型应用提供高可用的数据管理、应用

伴随着各大互联网公司开源自己的大数据框架，大数据处理领域的框架已经比较完善。到现在所谓大数据的框架已经用过habase（后来换成了elasticsearch）、zookeeper、kafka、storm，根据项目计划，接下来还要使用spark。虽然在众多框架中仅仅几个，但是也是已经涉及多个方面：数据存储、分布式协调、消息、实时计算等。没有找到任何一个框架能够完美解决所有问题，也就应了那句话，开发领

这几天工作需要使用storm+kafka，基本场景是应用出现错误，发送日志到kafka的某个topic，storm订阅该topic，然后进行后续处理。场景非常简单，但是在学习过程中，遇到一个奇怪的异常情况：使用KafkaSpout读取topic数据时，没有向ZK写offset数据，致使每次都从头开始读取。纠结了两天，终于碰巧找到原因：应该使用`BaseBasicBolt`作为bolt的父类，而不是

HBase是一个分布式、面向列的开源数据库，是Apache Hadoop项目的子项目，适用于非结构化数据存储的数据库。在Hadoop家族中，很多产品为HBase提供服务：Hadoop HDFS为HBase提供了高可靠性的底层存储支持；Hadoop MapReduce为HBase提供了高性能的计算能力；Zookeeper为HBase提供了稳定服务和failover机制；Pig和Hive为HB

MySQL中对于用户的权限比较简单，本文主要是分为创建用户、修改用户权限、修改用户密码、删除用户等几部分，介绍MySQL对于用户权限的管理。

你好，我是看山。一个系统上线，肯定会或多或少的存在异常情况。为了更快更好的排雷，记录请求参数和响应结果是非常必要的。所以，Nginx 和 Tomcat 之类的 web 服务器，都提供了访问日志，可以帮助我们记录一些请求信息。本文是在我们的应用中，定义一个Filter来实现记录请求参数和响应结果的功能。有一定经验的都知道，如果我们在Filter中读取了HttpServletRequest或者Http