logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

flink实时写doris问题

方案二:若业务中checkpoint时间不宜设置太短,改为batchmode模式,设置flush时间,但是当前最短只能设置为1s,无法设置毫秒级。查找相关文档后,发现doris流模式写入中,Flink Doris Connector 强依赖 Checkpoint 进行流式写入,实测也是。读kafka实时写入doris,实时观察doris数据,发现不是实时写入,是攒批写入,flink任务执行了,但是

文章图片
#flink
flink读clickhouse,自定义sink和source

flink分批读clickhouse数据,处理后再存clickhouse。存量数据:按天分批取数据处理;增量数据:每隔一段时间拉取一次数据。

文章图片
#flink#clickhouse#java
到底了