logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Flink技术实践-Flink SQL 开发中的隐蔽陷阱

Flink SQL以其极低的代码门槛,让复杂的流计算变得像写MySQL一样简单,然而“声明式”的表象往往掩盖了“流式”的底层复杂性。本文将深度聚焦Flink SQL开发层面的隐蔽陷阱,剖析痛点并给出避坑思路。

文章图片
#flink#sql#大数据
Flink技术实践-FlinkSQL Join技术全解

本文将从流处理 Join 的背景挑战出发,系统剖析 Flink SQL 支持的四种核心 Join 方式,通过多维对比给出最佳实践。

文章图片
#flink#大数据
告别OOM焦虑:Flink 内存模型原理与诊断调优

内存问题(如 TM OOM、容器被 YARN/K8s Kill)是Flink 生产环境中面临的最棘手挑战之一,本文将深入浅出地剖析 Flink内存模型机制、配置推演与诊断调优实践。

文章图片
#flink#大数据
Flink生产问题排障-作业重启异常

Flink 1.14.6在K8s环境运行作业时出现重启失败问题。经排查发现调度平台在调用stop-with-savepoint脚本时存在状态丢失风险,主要由于异步操作缺乏事务管理,当savepoint失败但checkpoint被删除时会导致状态恢复失败。解决方案包括:优化暂停逻辑(备份最近checkpoint、加强状态检测)、完善告警机制(checkpoint失败、重启次数等)。建议将开源组件视为

文章图片
#flink#docker#大数据
Flink生产问题排障-容器内存100%

摘要:生产环境中10%的Flink作业因容器内存使用率100%触发重启,20%作业内存使用率持续高于85%。经排查发现主要原因是Flink进程堆外内存占用过高导致OOM。通过分析Flink内存模型,采取三方面优化:1)调整JM/TM的process内存;2)增加进程与容器间的内存缓冲;3)精细化调整堆内外内存比例。优化后容器内存使用率控制在90%以下,彻底解决了OOM重启问题。该案例表明需重视Fl

文章图片
#flink#大数据
Flink生产问题排障-OOM

本文针对Flink作业中常见的直接内存溢出问题展开分析。案例中一个Kafka+HBase的Flink作业出现数据延迟,经排查发现是由于Task Off-Heap内存不足导致direct buffer memory溢出。通过分析Flink内存模型,确认问题源于HBase connector使用的直接内存超出配置限制(默认128M)。解决方案包括:1)调大taskmanager.memory.task

文章图片
#flink#大数据
Flink生产问题排障-HBaseSink超时

摘要:本文分析了Flink+HBase实时数据链路中出现的问题,表现为checkpoint连续失败和HBase查询结果不准确。通过监控和日志分析发现,HBase RegionServer出现RegionTooBusy异常,原因是Flink作业处理大量回撤流导致HBase频繁写入请求,触发客户端重试和服务端资源消耗。解决方案包括调整Flink的sink参数、超时设置和重启策略,以及优化HBase表设

文章图片
#flink#大数据
Flink生产问题排障-NSQuotaExceededException

本文针对Flink作业在HDFS存储状态数据超配额引发的生产问题进行分析。由于Checkpoint/Savepoint/HA元数据长期积累且缺乏清理机制,导致HDFS目录文件数达到配额上限,造成作业启动失败。通过排查发现Flink仅自动清理部分Checkpoint数据,而Savepoint和HA元数据需要人工干预。解决方案包括:1)增加定时清理脚本处理过期数据;2)调整HDFS配额;3)建立监控预

文章图片
#flink#大数据
Flink生产问题排障-Kryo serializer scala extensions are not available

Flink任务使用RocksDB状态后端和StateTTL时,因Kryo序列化器在后台Compaction线程中无法获取类加载器导致崩溃。文章从问题现象、原因分析、解决方案等方面讲述Flink生产实战。

文章图片
#flink#大数据
Flink生产问题排障-HBase NotServingRegionException

从表象的 NotServingRegionException 深入到了依赖 Relocation 导致的类加载问题,揭示了Flink在与外部组件交互集成中 “缓存一致性” 与 “依赖管理” 的重要性。

文章图片
#flink#hbase#大数据
    共 79 条
  • 1
  • 2
  • 3
  • 8
  • 请选择