logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

京东 x AutoMQ x CubeFS: 万亿级 Kafka 消息规模下的降本增效之旅

京东内部使用基于 Apache Kafka 构建的 JDQ 来支持其平台业务。JDQ 是京东集团大数据平台统一的实时数据总线,赋能集团内部京东零售、物流、科技、健康、安联等 40 多个一级部门,搜索推荐、广告、点击流、实时大屏等1400+的业务线。JDQ当前集群规模多达 6000 多个节点,每天产生的记录数达15 万亿,峰值出带宽达到1TB/s。JDQ 平台采用 Kubernetes 进行有状态服

文章图片
#kafka#分布式#云原生 +3
360 如何用 AutoMQ 解决千亿级 Kafka 冷读难题

360集团采用AutoMQ解决了Kafka冷读难题,显著提升了日志检索平台性能。AutoMQ的存算分离架构通过三条独立数据路径(写入、热数据消费、冷数据读取)实现冷热隔离,将生产P99延迟从10秒降至500毫秒,积压量减少40倍,同时节省50%硬件成本。评估测试验证了其毫秒级延迟、读写隔离和分钟级弹性扩容能力。生产部署采用K8s+对象存储方案,配备集群级故障切换机制,为360的日志平台提供了更高效

文章图片
#kafka#分布式
从Kafka到AutoMQ:爱奇艺实时流数据架构演进

本文详细介绍了爱奇艺在处理大规模实时流数据时,从传统Kafka架构向AutoMQ演进的技术历程。为了解决私有云环境下集群扩缩容难、资源利用率低以及运维成本高等挑战,爱奇艺开发了Stream平台与Stream-SDK,实现了业务与底层存储的彻底解耦。随后,公司引入公有云服务并最终切换至基于存算分离架构的AutoMQ,利用其单副本存储和秒级弹性的特性,显著提升了系统的灵活性。这一系列的架构升级不仅优化

文章图片
#kafka#架构#分布式
技术干货|一行配置让你的 Apache Kafka RTO 缩短一半

RTO (Recovery Time Objective,恢复时间目标)。在分布式系统的语境下,RTO 并不是一个抽象的 SLA 数字,而是一个倒计时的秒表。它指的是从故障发生的那一刻起,到系统完全恢复服务能力所允许消耗的最长时间。对于运维团队来说,RTO 就是从“系统报警”到“业务止损”之间的生死时速。这一行看似微小的配置调整,成本极低,却能有效消除单节点故障下的客户端滞后,将 RTO 缩短约

文章图片
#apache#kafka#分布式
别再每月浪费数千美元:拆解 AWS/GCP Kafka 背后的隐性账单

云上Kafka集群的跨可用区(AZ)流量费用可能占到总成本的50%以上,却常被忽视。AWS/GCP对跨AZ数据传输双向收费($0.02/GB),而Kafka的3副本架构必然产生大量跨AZ流量:Producer写入(2/3概率跨AZ)、Leader-Follower复制(确定性2GB/1GB写入)、Consumer读取(多组重复消费)。典型100MB/s生产集群月流量费可达$24,000,优化后仍需

文章图片
#aws#kafka#云计算
AutoMQ 携手阿里云共同发布新一代云原生 Kafka,帮助得物有效压缩 85% Kafka 云支出!

以成本换效率的上云方式需要高速发展的业务来支撑,在今天降本的大环境下,以云原生,甚至多云原生重新设计的云服务相较于「Cloud-Hosted」的云服务将在弹性、成本、容量、效率等各方面有数量级的优势,云托管(Cloud-Hosted)类型的云服务即将被淘汰。稳定性有其高大上的一面,也有需要埋头苦干的另一面,聪明人一起坚持做一件事情可能是得物稳定性的内涵,郝豪提到他在业务场景的治理上,告警规则的梳理

#云计算#云原生#大数据 +2
AutoMQ × Aklivity:解锁云原生实时数据价值

我们非常荣幸地宣布,AutoMQ 与 Aklivity 正式达成战略合作伙伴关系!共同致力于推进云原生实时数据基础设施的演进,助力企业深度释放实时数据的核心价值。数字化转型全面加速,实时数据已成为商业创新与提升竞争力的核心。然而,传统的实时数据架构在多系统互联、数据安全保障以及成本控制等方面仍面临重重挑战。AutoMQ 的无状态云原生 Kafka 平台现已深度集成 Aklivity 的多协议网关技

文章图片
#云原生
AutoMQ × Aklivity:解锁云原生实时数据价值

我们非常荣幸地宣布,AutoMQ 与 Aklivity 正式达成战略合作伙伴关系!共同致力于推进云原生实时数据基础设施的演进,助力企业深度释放实时数据的核心价值。数字化转型全面加速,实时数据已成为商业创新与提升竞争力的核心。然而,传统的实时数据架构在多系统互联、数据安全保障以及成本控制等方面仍面临重重挑战。AutoMQ 的无状态云原生 Kafka 平台现已深度集成 Aklivity 的多协议网关技

文章图片
#云原生
    共 13 条
  • 1
  • 2
  • 请选择