3 月 16 日，AutoMQ 携手 OceanBase 开源社区、KubeBlocks 举行的《》主题 meetup 顺利落幕。活动邀请了 AutoMQ 联合创始人 & CSO、Linux LVS 创始人，AutoMQ 联合创始人 & CTO、Apache RocketMQ 联合创始人 & PMC Member，OceanBase 开源生态资深技术总监云猿生数据创始人 & CEO，共同分享在大数

近年来，云原生技术迅猛发展，成为企业数字化转型的关键动力，云原生不仅极大地提升了系统的灵活性和可扩展性，还为企业带来了前所未有的创新机遇。12 月 28 日 知乎携手 AutoMQ、OceanBase 和快猫星云推出“云原生创新论坛”主题的 meetup。

01引言Apache Kafka 自诞生之日起，就以其卓越的设计和强大的功能，成为了流处理领域的标杆。它不仅定义了现代流处理架构，更以其独特的分布式日志抽象，为实时数据流的处理和分析提供了前所未有的能力。Kafka 的成功，在于它能够满足各种规模企业对于高吞吐量、低延迟数据处理的需求，经过多年的发展铸就了极其丰富的 Kafka 生态，成为了事实上的行业标准。然而，随着云计算和云原生技术的飞速发展，

现在我们基于对象存储优先、存算分离、多云原生等技术理念，重新设计并实现了 Apache Kafka 和 Apache RocketMQ，带来高达 10 倍的成本优势和百倍的弹性效率提升。AutoMQ 进一步发挥云存储的优势，在 1.1.0 版本宣布支持 Regional ESSD，为客户在多 AZ 容灾场景下提供更低的故障 RTO。KIP-714：新增多语言统一的客户端 Metrics，提供从服务

2023 年 11 月 4 日，“Apache Kafka × RocketMQ 云原生创新论坛 | 杭州站”圆满落幕了，本次论坛共有 8 个议题，不仅有 AutoMQ 产品重磅开源和首次发布，还有云猿生数据、腾讯、网易、字节、小红书的技术专家们带来的不同行业和领域的应用案例，给线上线下的参会者带来了干货满满的分享。现场也吸引了众多技术爱好者参加，大家探讨氛围热烈。下面就让我们来回顾本次论坛的精彩

经过 AutoMQ 团队的精心筹备，《AutoMQ 与 Apache Kafka 基准测试白皮书》和《 RocketMQ 实战精粹：100个生产案例解析》两本电子书与大家正式见面了！

以成本换效率的上云方式需要高速发展的业务来支撑，在今天降本的大环境下，以云原生，甚至多云原生重新设计的云服务相较于「Cloud-Hosted」的云服务将在弹性、成本、容量、效率等各方面有数量级的优势，云托管（Cloud-Hosted）类型的云服务即将被淘汰。稳定性有其高大上的一面，也有需要埋头苦干的另一面，聪明人一起坚持做一件事情可能是得物稳定性的内涵，郝豪提到他在业务场景的治理上，告警规则的梳理

assign 模式下，Kafka consumer 不支持动态扩容，当生产速率突增时，无法及时加入新的消费者来提升消费的速率。为了确保 Kafka 集群的高效运行，Kafka 的客户端被设计为富客户端，例如，消费者组中的分区分配就是在客户端完成的。Consumer 从 FindCoordinator response 中解析出负责本 group 的 broker 的地址，后续 Consumer 侧

在一个线上 Kafka 集群中，流量的波动、Topic 的创建和删除、Broker 的消亡和启动都随时可能发生，而这些变化可能导致流量在集群各个节点间分布不均，从而导致资源浪费、影响业务稳定。此时则需要主动将 Topic 的不同分区在各个节点间移动，以达到平衡流量和数据的目的。

因为 OffsetSync 没有按照时间间隔同步的逻辑，导致的结果就是当前分区最新的消息位点距离上一次同步的位点如果没有超过 100，则不会生成新的 OffsetSync。记录在 OffsetSync 消息中的位点映射信息是非常必要的，首先一条消息从源集群被同步到目标集群上，前后的 offset 大概率是不同的，而且还有可能会出现消息重复和多个源集群的 topic 被同步到一个目标 topic 上