logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

如何正确理解flink 消费kafka时的watermark

摘要:文章分析了Flink中watermark生成的三种场景:1)在source层全量数据生成watermark会导致不同业务流互相污染(如order和click事件);2)通过先filter分流再独立生成watermark可解决污染问题;3)rebalance操作会破坏per-partition watermark的单调递增性,导致watermark不准确。核心结论:watermark生成应尽量

#flink#kafka#linq
记录一次排查Flink一直重启的问题

Flink程序陷入重启死循环问题分析及解决过程。最初表现为任务持续重启失败,日志显示卡在RocksDB关闭操作。尝试调整pekko超时参数无效,怀疑与RocksDB相关但未果。临时解决方案是禁用checkpoint并添加重启策略。最终通过异常页面发现每天0点定时报错,与生产环境数据缺失时间吻合。反思指出两个关键失误:未准确记录事故时间点,以及未用Five Whys方法深挖重启根源。问题实际由0点的

#flink#大数据
Flink 滑动窗口作业 TaskManager RocksDB 状态膨胀 Bug 分析

Flink滑动窗口作业TaskManager出现RocksDB状态膨胀问题,表现为Checkpoint体积持续增长。排查发现核心原因是TaskManager内存从12G缩减至8G导致RocksDB内存不足,触发memtable频繁flush(约60次/秒),造成MANIFEST文件异常膨胀(447MB)而实际数据文件仅64KB。助推因素是滑动窗口(10/30/60min)配合CountTrigge

#java#数据库#前端
c++ 引用第三方库

学习c++如何引用三方库

文章图片
#c++#开发语言
flink 任务恢复后的kafka消费起始位置

flink 在不同配置下,消费起始位置的不同

文章图片
#flink#kafka#大数据
flink Jobmanager metaspace oom 分析

java jvm metaspace oom 常见原因分析

文章图片
#flink#大数据#java +1
如何解决kafka rebalance导致的暂时性不能消费数据问题

如何解决kafka rebalance导致的暂时性不能消费数据问题

文章图片
#kafka#分布式
spring 自定义注解,动态注入Bean

文章目录背景ImportBeanDefinitionRegistrar1.定义注解2.启动注解3.实现接口4.扫描器5.使用Bean6.使用注解7.启动类总结背景@Configuration 注解的类会被spring自动的扫描注入为Bean,如果想自己定义一个注解实现相同的功能如何来实现ImportBeanDefinitionRegistrar熟悉spring源码的同学应该知道,注册bean实际上

#spring boot
    共 18 条
  • 1
  • 2
  • 请选择