K8s的前身可以理解为Borg系统:BorgMaster：负责请求分发，整个集群的大脑，真正工作的节点是Borglet,有对应的容器要运行的话，是Borglet提供的计算；为了防止单节点故障，BorgMaster有多个副本（高可用节点 >= 3 的奇数）scheduler：调度器，将请求分发给不同的节点；负责将请求写入Paxos,Borglet会对Paxos进行实时监听，Borglet发现有

离线数仓当中Sqoop采集MySQL中数据同步策略有：增量全量新增及变化特殊；Sqoop怎么处理？where判断日期：新增：where 创建时间 = 当天；全量：where 1 = 1；新增及变化：创建时间 or 修改时间等于今天；特殊只导入一次FlumeTailDirSource：优点：断点续传，监控多目录多文件，实时监控缺点：当文件更名之后会更新读取该文件造成重复注意：1.要使用不更名打印日志

**什么是Kafka消费者组**什么是consumer group?consumer group是kafka提供的可扩展且具有容错性的消费者机制。既然是一个组，那么组内可以有多个消费者或消费者实例(consumer instance)，共享一个公共的ID，即group ID。组内的所有消费者协调在一起来消费订阅主题(subscribed topics)的所有分区(partition)。当然，每个分

DataStream：优点：多库多表缺点：需要自定义反序列化器（灵活）FlinkSQL：优点：不需要自定义反序列化器缺点：单表查询

Exception in thread “main” java.lang.NoSuchMethodError: com.ctc.wstx.stax.WstxInputFactory.createSR(Lcom/ctc/wstx/api/ReaderConfig;Lcom/ctc/wstx/io/SystemId;Lcom/ctc/wstx/io/InputBootstrapper;ZZ)Lorg/