
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
摘要:文章分析了Flink中watermark生成的三种场景:1)在source层全量数据生成watermark会导致不同业务流互相污染(如order和click事件);2)通过先filter分流再独立生成watermark可解决污染问题;3)rebalance操作会破坏per-partition watermark的单调递增性,导致watermark不准确。核心结论:watermark生成应尽量
分析物化view可能失效的原因
Flink程序陷入重启死循环问题分析及解决过程。最初表现为任务持续重启失败,日志显示卡在RocksDB关闭操作。尝试调整pekko超时参数无效,怀疑与RocksDB相关但未果。临时解决方案是禁用checkpoint并添加重启策略。最终通过异常页面发现每天0点定时报错,与生产环境数据缺失时间吻合。反思指出两个关键失误:未准确记录事故时间点,以及未用Five Whys方法深挖重启根源。问题实际由0点的
Flink滑动窗口作业TaskManager出现RocksDB状态膨胀问题,表现为Checkpoint体积持续增长。排查发现核心原因是TaskManager内存从12G缩减至8G导致RocksDB内存不足,触发memtable频繁flush(约60次/秒),造成MANIFEST文件异常膨胀(447MB)而实际数据文件仅64KB。助推因素是滑动窗口(10/30/60min)配合CountTrigge
分析metaspace oom 总量

学习c++如何引用三方库

flink 在不同配置下,消费起始位置的不同

java jvm metaspace oom 常见原因分析

如何解决kafka rebalance导致的暂时性不能消费数据问题

文章目录背景ImportBeanDefinitionRegistrar1.定义注解2.启动注解3.实现接口4.扫描器5.使用Bean6.使用注解7.启动类总结背景@Configuration 注解的类会被spring自动的扫描注入为Bean,如果想自己定义一个注解实现相同的功能如何来实现ImportBeanDefinitionRegistrar熟悉spring源码的同学应该知道,注册bean实际上







