Android Studio入门、创建模拟器、设置快捷键、下载安装SDK、简单使用DDMS1.Android系统的四层结构2.创建模拟器3.快捷键的设置File->Setting->Appearance & Behavior->Keymap->Editor Actions删除：右键->Remove添加：右键->Add keyboard ...

依次启动CustomConsumerAutoOffset和CustomProducerCallback，观察CustomConsumerAutoOffset能不能接受到数据，能接受则说明自动提交offset功能是ok的。先提交offset后消费、设置offset为手动提交，当offset被提交时，数据还在内存中国没有落盘，此时刚好消费者线程被kill掉。虽然自动提交offset十分简单便利，但由于

左图为 Kafka 现有架构，元数据在 zookeeper 中，运行时动态选举 controller，由controller 进行 Kafka 集群管理。右图为 kraft 模式架构（实验性），不再依赖 zookeeper 集群，而是用三台 controller 节点代替 zookeeper，元数据保存在 controller 中，由 controller 直接进行 Kafka 集群管理。好处：（

（1）pull（拉）模式：消费者从broker中主动拉取数据。（Kafka中使用）不足：如果Kafka中没有数据，消费者可能会陷入循环，一直返回空数据。（2）push（推）模式：Kafka中不适用此种方式，因为broker决定消息发送速率，很难适应所有消费者的消费速度。

此时会用到 Flume 拓扑结构中的 Multiplexing多路复用结构，Multiplexing的原理是，根据 event 中 Header 的某个 key 的值，将不同的 event 发送到不同的 Channel中，所以我们需要自定义一个 Interceptor，为不同类型的 event 的 Header 中的 key 赋予不同的值。使用 Flume 采集服务器本地日志，需要按照日志类型的不

（1） Flume 官网地址http://flume.apache.org/（2）文档查看地址http://flume.apache.org/FlumeUserGuide.html（3）下载地址http://archive.apache.org/dist/flume/

（2）自定义MySink ，继承 AbstractSink 类并实现 Configurable 接口，并打包，将jar包放到/opt/module/flume-1.9.0/lib目录下。（3）在/opt/module/flume-1.9.0/job下创建文件夹group6，在该文件夹下创建配置文件netcat-flume-mysink.conf。process()//从 Channel 读取获取数

执行计划简单来说就是一个SQL语句最终翻译成多少个MapReduce，Map里做了什么，Reduce里做了什么。Explain显示的执行计划，由一系列Stage（整个执行计划的一个阶段，一条SQL语句会把整个阶段分为若干个执行计划）组成，Stage具有依赖关系，每个Stage对应一个MapReduce Job，或者一个文件系统操作等。

  先定义了窗口的大小（按行来算），然后对窗口内的行的数据进行计算，再将计算结果返回给改行。  窗口函数包括窗口和函数两部分，窗口用于定义计算范围，函数用于定义计算逻辑，窗口函数只会在原来的表上增加一列结果列，不改变原来的数据。函数：  绝大多数聚合函数都可以配合窗口使用，如max()，min()，sum()，count()，avg()等。窗口：  分为两种，一种是基于行的，一种是基于值的。  基

需求：把Hive元数据写道MySQL的metastore数据库中（MySQL默认没有metastore数据库，需要提前创建：create database metastore;连接地址：jdbc:mysql//hadoop102:3306/metastore驱动：com.mysql.cj.jdbc.Driver用户名：root密码：123456。