目前HDFS上日志一部分由MR清洗生成&二次计算，一部分直接从服务器离线上传，但在私有云环境下，离线日志的压缩上传可能会对服务造成性能影响，而且在很多日志已经实时传输到Kafka集群的情况下，考虑Kafka->Hdfs也不失为一条合理的路径。1. Kafka-Flume-Hdfs这种方法直接通过Flume-ng的Hdfs-Sink往Hdfs导数据，Hdfs-Sink用来将数据写入Hadoop分布式

启动脚本：zookeeper-3.3.5/bin/zkServer.sh

public enum CreateMode {/*** 持久节点：节点创建后，会一直存在，不会因客户端会话失效而删除；*/PERSISTENT (0, false, false),/*** 持久顺序节点：基本特性与持久节点一致，创建节点的过程中，zookeeper会在其名字后自动追加一个单调增长的数字后缀，作为新的节点名；

最近想把老storm集群上的部分任务，迁移到新搭建的storm集群上。BrokerHosts hosts = new ZkHosts(Constants.ZOOKEEPER_HOSTS);虽然都是从一个kafka集群取数，但新老storm集群对应的ZK地址不一样，迁移过去后消息消费没有续上。老storm集群上运行的任务，在zk集群上的topic消费偏移量一直

配置flume:http://blog.csdn.net/desilting/article/details/22811593配置kafka:http://blog.csdn.net/desilting/article/details/22872839启动zookeeper、kafka及storm创建topic: bin/kafka-topics.s

目前HDFS上日志一部分由MR清洗生成&二次计算，一部分直接从服务器离线上传，但在私有云环境下，离线日志的压缩上传可能会对服务造成性能影响，而且在很多日志已经实时传输到Kafka集群的情况下，考虑Kafka->Hdfs也不失为一条合理的路径。1. Kafka-Flume-Hdfs这种方法直接通过Flume-ng的Hdfs-Sink往Hdfs导数据，Hdfs-Sink用来将数据写入Hadoop分布式

安装完kafka后，做了下简单测试消息生产端：import java.util.Properties;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;/*** Created with Intel

kafka下载：https://www.apache.org/dyn/closer.cgi?path=/kafka/0.8.1/kafka_2.10-0.8.1.tgz分别在三台服务器上安装kafka：tar zxvf kafka_2.10-0.8.1.tgz修改每台服务器的config/server.properties brokerid：  唯一，填数字，本

mysql> show global status like 'Com_select';+---------------+-------+| Variable_name | Value |+---------------+-------+| Com_select| 46|+---------------+-------+com_select等于qcache_