测试上传数据到集群和拉取数据的时间。HDFS的读写性能主要受网络和磁盘影响比较大。为了方便测试，将hadoop102、hadoop103、hadoop104虚拟机网络的带宽都设置为100Mbps。

将外部传送给过来的数据发送到kafka集群。

依次启动CustomConsumerAutoOffset和CustomProducerCallback，观察CustomConsumerAutoOffset能不能接受到数据，能接受则说明自动提交offset功能是ok的。先提交offset后消费、设置offset为手动提交，当offset被提交时，数据还在内存中国没有落盘，此时刚好消费者线程被kill掉。虽然自动提交offset十分简单便利，但由于

实现高可用最关键的策略是消除单点故障。HA分成各个组件的HA机制：HDFS的HA和YARN的HA。Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。NameNode主要在以下两个方面影响HDFS集群：（1）NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启。（2）NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用。

执行计划简单来说就是一个SQL语句最终翻译成多少个MapReduce，Map里做了什么，Reduce里做了什么。Explain显示的执行计划，由一系列Stage（整个执行计划的一个阶段，一条SQL语句会把整个阶段分为若干个执行计划）组成，Stage具有依赖关系，每个Stage对应一个MapReduce Job，或者一个文件系统操作等。

将文件导入Hive表中。关键字说明：（1）local：表示从本地加载数据到Hive表；否则从HDFS加载数据到HIve表。（2）overwrite：表示覆盖表中已有数据，否则表示追加。（3）partition：表示上传到指定分区，若目标是分区表则需要指定分区。

] 里的都是可选的操作。

hiveserver2提供JDBC/ODBC接口，使得用户可以远程访问Hive数据，即作为客户端的代理与Hadoop集群进行交互。hiveserver2部署时需要部署到一个能访问集群的节点上，保证能够直接往Hadoop上提交数据。用户在客户端提交SQL语句时，由hiveserver请求HDFS或者提交计算任务到Yarn上，再由hiveserver2将结果返回给客户端。用户即由hiveserver2

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能，主要完成海量数据的分析和计算。优点：简化数据开发流程及提高了效率。