在Linux下安装MySQL8.0.33时首次登录MySQL，并修改密码（MySQL8.0.33）报错显示权限不足，用户’root’@'localhost’不能登录到MySQL服务器。root用户 + 123456，实现在任何主机上都能登录MySQL数据库。

下载winutils，解压对应的hadoop版本，将bin目录下的hadoop.dll系统文件拷贝到C盘的C:\Windows\System32目录下。下载地址：https://github.com/kontext-tech/winutils。报错原因：本地的hadoop版本与lib文件中替换的编译hadoop.dll版本不对应。1、在项目中创建一个包名为org.apache.hadoop.io.

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将分散、零乱、标准不统一的数据整合到一起，为决策提供分析依据。ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。

group by 通常和聚合函数一起使用，按照一个或多个列的结果进行分组，任何对每个租执行聚合操作。用group by时，select中只能用在group by中的字段和聚合函数。

测试上传数据到集群和拉取数据的时间。HDFS的读写性能主要受网络和磁盘影响比较大。为了方便测试，将hadoop102、hadoop103、hadoop104虚拟机网络的带宽都设置为100Mbps。

将外部传送给过来的数据发送到kafka集群。

依次启动CustomConsumerAutoOffset和CustomProducerCallback，观察CustomConsumerAutoOffset能不能接受到数据，能接受则说明自动提交offset功能是ok的。先提交offset后消费、设置offset为手动提交，当offset被提交时，数据还在内存中国没有落盘，此时刚好消费者线程被kill掉。虽然自动提交offset十分简单便利，但由于

实现高可用最关键的策略是消除单点故障。HA分成各个组件的HA机制：HDFS的HA和YARN的HA。Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。NameNode主要在以下两个方面影响HDFS集群：（1）NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启。（2）NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用。

执行计划简单来说就是一个SQL语句最终翻译成多少个MapReduce，Map里做了什么，Reduce里做了什么。Explain显示的执行计划，由一系列Stage（整个执行计划的一个阶段，一条SQL语句会把整个阶段分为若干个执行计划）组成，Stage具有依赖关系，每个Stage对应一个MapReduce Job，或者一个文件系统操作等。

将文件导入Hive表中。关键字说明：（1）local：表示从本地加载数据到Hive表；否则从HDFS加载数据到HIve表。（2）overwrite：表示覆盖表中已有数据，否则表示追加。（3）partition：表示上传到指定分区，若目标是分区表则需要指定分区。