1.centos7环境安装superset Installation & Configurationsuperset介绍跟环境搭建CentOS7下安装python-pip2. superset docker经验证，在centos7下面这种方法可用superset安装与使用参考：Superset搭建及其简单使用3.问题（1）Was unable to ...

docker-compose部署kafka介绍如下：编写docker-compose.yml文件，将文件中IP修改为本机ip，docker-compose.yml文件内容如下：version: '2'services:zookeeper:image: wurstmeister/zookeeperports:- "2181:2181"kafk...

本次部署参照官方的quick start，链接：http://kafka.apache.org/quickstart本次部署kafka版本 kafka_2.11-0.10.2.0.tgz，下载地址为http://kafka.apache.org/downloads

成功Rebalance的结果是，被订阅的所有Topic的每一个Partition将会被Consumer Group内的一个（有且仅有一个）Consumer拥有。每一个Broker将被选举为某些Consumer Group的Coordinator。某个Cosnumer Group的Coordinator负责在该Consumer Group的成员变化或者所订阅的Topic的Partititon变化时协

createDirectStream方式通过以下四步，获取key和message1. 获取Topic上次消费到的offset，信息保存在inputTopicLockMaster参数配置的zk中,即,localhost:21812. Create direct kafka stream with brokers and topics2. 利用MessageAndMetadata，重写接口PairFu

区别Receiver接收数据，这种方式定期地从kafka的topic+partition中查询最新的偏移量，再根据偏移量范围在每个batch里面处理数据，使用的是kafka的简单消费者api 优点：1. 简化并行，不需要多个kafka输入流，该方法将会创建和kafka分区一样的rdd个数，而且会从kafka并行读取。 2. 高效，这种方式并不需要WAL，WAL模式需要对数据复制两次，第一次

MLP已被证明是一种通用的函数近似方法，可拟合复杂的函数，或解决分类问题。         MLP在80年代曾是相当流行的机器学习方法，拥有广泛的应用场景，譬如语音识别、图像识别、机器翻译等等，但自90年代以来，MLP遇到来自更为简单的支持向量机的强劲竞争。近来，由于深层学习的成功，MLP又重新得到了关注。http://zh.wikipedia.org/wiki/多层感知机

本程序参照spark-streaming kafka官方示例注意：官方提供的spark-streaming-kafka调用借口，java和scala使用是不同的1.本次的程序为（以local[2]方式启动）本次主要学习spark-streaming-kafka接口KafkaUtils.createDirectStream