要确定 Kafka 的消息是否丢失或重复，从两个方面分析入手：消息发送和消息消费。消息发送Kafka 消息发送有两种方式：同步和异步，默认是同步方式，可通过 producer.type 属性进行配置。Kafka 通过配置 request.required.acks 属性来确认消息的生产：0——表示不进行消息接收是否成功的确认；1——表示当 Leader 接收成功时确认；-1——表示 Leader

如果是Kafka消费能力不足，则可以考虑增加Topic的分区数，并且同时提升消费组的消费者数量，消费者数=分区数；如果是下游的数据处理不及时，提高每批次拉取的数量。批次拉取数量太少，即拉取数量/处理时间<生产速度，使处理的数据小于生产的数据，也会造成数据挤压。参考：https://www.cnblogs.com/lidabo/p/13671557.html...

kafka防止数据丢失

未被 external 修饰的是内部表，被external修饰的为外部表区别：内部表数据由 Hive 自身管理，外部表数据由 HDFS 管理；内部表数据存储的位置是 hive.metastore.warehouse.dir (默认：/user/hive/warehouse)，外部表数据存储的位置由自己定制（如果没有location，Hive将在HDFS上的/user/hive/warehouse文