zookeeper是一个分布式的协调系统协调系统。zookeeper保证了数据在ZK之间数据的事务性的一致性。其中zookeeper提供了分布式的锁服务，用于协调分布式应用程序。zookeeper的应用主要有储存元数据信息和选举机制。例如在hadoop中可以利用zookeeper选取namenode的active状态，可以在znode下储存对应的信息，来决定哪台nameNode是active状态.

大数据介绍大数据的由来大数据的应用领域大数据方面核心技术有哪些？一、数据采集与预处理Flume NGNDCLogstashSqoop流式计算Zookeeper二、数据存储HBasePhoenixYarnMesosRedisAtlasKudu三、数据清洗OozieAzkaban四、数据查询分析HiveImpalaSparkNutchSolrElasticsearch五、数据可视化大数据的由来对...

一、Spark Streaming概述1.简介Spark Streaming 是流式处理框架，是Spark ApI的扩展，支持可扩展、高吞吐量、容错的实时数据流处理。实时数据的来源：kafka,flume,Twitter,ZeroMQ或者TCP Socket,并且可以使用高级功能的复杂算子，来处理流的数据。算子有：map,reduce,join,window。最终，处理后的数据可以存放在...

一、下载IntelliJ IDEAIntelliJ IDEA的官网：https://www.jetbrains.com个人分享：链接：https://pan.baidu.com/s/1QJuNmh-xIE3qtweZjyztyg提取码：yyadIntelliJ IDEA2018 链接：https://pan.baidu.com/s/1VkLFyAM6W6KWXTODdzPMhw提取码：6...