
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
从零学习Kafka:配置参数
本文详细介绍了Kafka各组件的重要配置参数。Broker端包括数据存储目录、监听配置、集群稳定性等关键参数;Topic级别参数可覆盖Broker配置,实现灵活管理;Producer端着重于消息发送可靠性、批处理和压缩等配置;Consumer端则关注消费组、位移管理和拉取控制等参数。这些参数对Kafka的性能调优、稳定运行和数据可靠性至关重要,合理配置可显著提升生产环境表现。文章还提醒要注意不同版

Flink源码阅读:Mailbox线程模型
Flink 通过 Mailbox 线程模型取代传统的 checkpointLock 机制,采用单线程加阻塞队列方式处理事件,确保线程安全。Mailbox 将事件封装为 Mail 对象存入队列,由单线程顺序执行,解决了锁竞争和代码可读性问题。核心组件包括 TaskMailbox(存储 Mail 队列)、MailboxProcessor(处理循环)和 MailboxExecutor(提交事件)。该模型

Flink源码阅读:Checkpoint机制(上)
本文深入分析了Flink的Checkpoint机制源码实现,从JobManager端触发流程、TaskManager端执行流程到非Source节点处理流程进行了详细梳理。重点解析了CheckpointCoordinator的触发逻辑、Barrier消息广播、状态异步写入及上报机制,并区分了EXACTLY_ONCE和AT_LEAST_ONCE两种模式的不同处理方式。通过源码分析揭示了Flink如何通

java程序员的大数据之路(2):创建第一个Hadoop程序
第一个Hadoop程序
java程序员的大数据之路(5):HDFS压缩与解压缩
Hadoop压缩
到底了







