logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

flink正常消费kafka数据,flink没有做checkpoint,kafka位点没有提交

在消费kafka的数据时,source的并发度不能超过kafka的partition数,否则部分source无数据消费,导致finished,可以小于partition,但是部分subtask就会消费多个partition的数据,导致吞吐达不到最大,理想状态是source并发度等于partition数。(1)flink任务消费kafka数据,其中数据正常消费,kafka显示消息堆积,位点没有提交,

文章图片
#flink#kafka#大数据
数据漂移的理解

数据漂移的概念:同一业务日期下的数据包含了不属于该业务日期的数据(上一天数据漂移到当天,或者当天数据漂移到下一天)或者缺失了该业务日期数据或该业务日期下的数据非最新数仓常用4个时间介绍(1)数据库表中用于记录具体业务过程发生时间的时间戳字段(假设这类字段叫create_time);(2)数据库表中用来表示数据记录更新时间的时间戳字段(假设这类字段叫update_time);(3)数据库日志表中用来

#数据仓库
暂无文章信息