zookeeper是一个分布式的协调系统协调系统。zookeeper保证了数据在ZK之间数据的事务性的一致性。其中zookeeper提供了分布式的锁服务，用于协调分布式应用程序。zookeeper的应用主要有储存元数据信息和选举机制。例如在hadoop中可以利用zookeeper选取namenode的active状态，可以在znode下储存对应的信息，来决定哪台nameNode是active状态.

一、Spark Streaming概述1.简介Spark Streaming 是流式处理框架，是Spark ApI的扩展，支持可扩展、高吞吐量、容错的实时数据流处理。实时数据的来源：kafka,flume,Twitter,ZeroMQ或者TCP Socket,并且可以使用高级功能的复杂算子，来处理流的数据。算子有：map,reduce,join,window。最终，处理后的数据可以存放在...