logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Flink主流数据连接广播流数据的水位正常生成处理

当使用Flink的主流数据来连接广播流数据的时候 会因为维度流数据不包含水位线 导致connect后无法正常生成水位线 进而导致无法触发窗口计算或定时器 因为水位线的传递策略就是这样 下游的水位线依靠上游所有流的水位的最小值。因此只要在维度流中指定水位线的生成策略即可保证connect后也能够正常生成 考虑到水位线取最小值这个特性 可以给广播流数据恒定一个无法达到的水位线 此时连接后的水位线策略就

文章图片
#大数据#flink#数据仓库
在Kettle中使用变量 同步每日增量数据

第二步 增加常量方便处理 考虑到还有一些历史数据的删除策略。第一步 获取系统信息(时间为例)第三步 使用计算器计算需要的日期。测试用Kettle版本为7.1。

文章图片
#etl
到底了