数据同步工具DataX、Sqoop、Maxwell、Canal

由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址，【执行上述命令会比较慢，因为后台其实已经在拉取镜像了】，我们 docker images 命令即可查看已经拉取的镜像。status 为NotReady，表示master节点已经运行了，但是还是处于未准备状态，需要在slave节点执行其他命令，将 slave1和slave2节点加入到maste节点。8、master节点

kafkatool工具乱码

kafka不丢数据方案、数据重复处理、数据乱序问题处理

redis和MySQL中数据一致性

Spark 框架模块包含：Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上。【Spark Core】：Spark的核心，Spark核心功能均由Spark Core模块提供，是Spark运行的基础。Spark Core以RDD为数据抽象，提供Python、Java、Scala、R语

常用的构建数据仓库的流程【数据调研】数据调研重点要做两项工作，分别是业务调研和需求分析。这两项工作做的是否充分，直接影响着数据仓库的质量。1、业务调研业务调研的主要目标是熟悉业务流程、熟悉业务数据。熟悉业务流程要求做到，明确每个业务的具体流程，需要将该业务所包含的每个业务过程一一列举出来熟悉业务数据要求做到，将数据（包括埋点日志和业务数据表）与业务过程对应起来，明确每个业务过程会对哪些表的数据产生

1、根据hadoop的版本选择合适的hbase版本，可参照下图本机安装的hadoop3.1.3所以选择HBASE版本为2.0.52、将hbase上传到/opt/software/文件目录，使用tart -zxvf命令解压到opt/module/中[xiong@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/3、为了

报错[xiong@hadoop104 zookeeper-3.5.7]$ bin/zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfgStarting zookeeper ... FAILED TO START具体原因可能是以下5个

Kafka常见问题处理