登录社区云,与社区用户共同成长
邀请您加入社区
本文分析了Flink多表JOIN导致状态爆炸的问题及解决方案。作者在处理10张MySQL CDC表关联的实时任务时,发现状态从几百MB暴涨至12GB。问题根源在于Regular JOIN会永久保存中间状态,TTL设置面临两难:太小会导致数据丢失,太大则内存爆炸。 Flink 2.1提出的MultiJoin方案通过"零中间状态"设计(用计算换存储)从根本上解决问题,但当前生产环境(Flink 1.1