logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

<span class=“js_title_inner“>漫谈 AI Infra|消息队列在 AI 时代能做什么?(下)</span>

每个分区内的顺序是有保障的,消息在消费时不会被移除,这就是kafka专注的stream(流)场景,它提供了高吞吐量和分区的严格排序,这使得它非常适合处理有序的事件流。:是 Pulsar 的一种 Topic 类型,是“不落盘、纯内存” 的消息通道——数据不会写入磁盘、不会做副本复制,Broker 宕机或进程重启即丢失,因此极致轻量、低延迟,适合“可丢、可重试、要快、要大量”的短时消息场景。然后,在越

#人工智能
演讲回顾|Apache Pulsar 在腾讯云上的高可用性最佳实践

这样,系统在为某个主题(Topic)的 Ledger 选择 BookKeeper 节点存储副本时,便会依据这些机架信息,自动将多个副本分散到不同的可用区中,从根源上避免了数据全集中在单一机房的风险。所有这些策略的目标是一致的:在协调服务(ZK)不可靠时,优先“冻结”系统的元数据状态,全力保障最核心的数据平面(消息读写)的稳定运行,待 ZK 恢复后再处理积压的元数据变更。通过建立集群间安全的网络联通

#apache#腾讯云#云计算
直播回顾 | 云原生消息队列架构破局:Pulsar存算分离深度解析

Namespace Band 内包含多个 Topic 的哈希段,这种分段管理方式既保证了数据的均匀分布,又避免了单一 Topic 过大导致的"热点"问题。各组件职责单一,通过清晰的接口进行协作,这种设计不仅提高了系统的可维护性,也为未来的优化和扩展留下了空间。在金融交易、实时推荐等对可用性要求极高的场景中,这样的恢复时间是业务方完全无法接受的。Journal 写入首先写入 Journal(WAL)

#云原生#架构
Apache Pulsar 在 EMQ 物联网平台产品 ActorCloud 上的应用

阅读本文需要约 5 分钟作者:Rocky Jin,产品总监,杭州映云科技有限公司 EMQ X 产品负责人,拥有 15 年以上的软件行业从业经验。前 IBM 产品经理,车联网方案架构师和资...

#分布式#大数据#java +2
Pulsar 社区周报 | No.20250530

fix][test]修复不稳定的 PulsarBrokerStatsClientTest.testTopicInternalStats。[improve][broker]启用对待处理的读取条目的并发处理,以避免重复读取。[improve][broker]启用对待处理的读取条目的并发处理,以避免重复读取。[fix][io]成功处理消息后确认 RabbitMQ 消息。[fix][broker]解决消息

基于 Apache Pulsar 和 Apache Spark 进行批流一体的弹性数据处理

本文介绍了以 Pulsar 做流数据平台,使用 Spark 进行批流一体数据处理的编程实践。(阅读本文需要约 15 分钟)批流现状在大规模并行数据分析领域,AMPLab 的『One stack to rule them all』提出用 Apache Spark 作为统一的引擎支持批处理、流处理、交互查询和机器学习等常见的数据处理场景。 2017 年 7 月,Spark 2.2.0 版本正式推...

技术文档 | Apache Pulsar × AI Agent:智能系统消息基础架构初探

它能够主动理解目标、分解任务、调用工具(API)、与环境交互并持续优化。消息队列的核心优势——可靠、解耦、异步、缓冲——在 AI Agent 分布式、异构、高并发、长流程的生态中,价值不仅未被削弱,反而被显著放大,成为串联智能体的生命线。Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计

#apache#人工智能
技术文档 | 使用 Spring AI 实现一个简单的 Pulsar MCP Server

这是 Spring AI 提供的 MCP 服务器启动器,它处理了与 AI 模型通信的所有底层协议和复杂性,我们只需要专注于实现“工具”即可。它的职责是“理解”用户的意图和我们工具的描述,然后做出决策——应该调用哪个工具,以及传入什么参数。:用户的指令通过我们的应用,交由 LLM 进行“翻译”,翻译结果(工具调用)再由我们的应用执行,最终作用于 Pulsar 集群。:这是 Apache Pulsar

#人工智能#spring#大数据 +2
消息队列驱动 AI 应用,Coze 正式集成 Pulsar

可以预期,随着 AI 应用的进一步发展,会对消息处理的延迟、并发、扩容的便捷性和成本考量提出新的严苛要求,而这些都是 Pulsar 的传统优势。在用户量激增时,扩容往往需要 20-30 分钟,这对实时性要求很高的 AI 应用来说是不可接受的。Coze Studio 集成 Apache Pulsar,不仅仅是为了解决大规模应用场景的性能问题,更是为了应对 AI 应用未来的发展需求。初期阶段,对大多数

#人工智能
Community Over Code Asia 2025 主题演讲豪华阵容发布!

此前,刘宇成曾领导 Wayfair 的机器学习平台团队,负责扩展服务数百万客户的生产模型。上海开源信息技术协会副秘书长,对外经济贸易大学全球开源协作研究中心副主任,中国计算机学会开源发展委员会执委,开源社顾问、中国汽车工业协会开源顾问、北京智源人工智能研究院开源顾问、国科开源平台联合创始人,原中科院软件研究所 OpenHarmony 团队核心成员,原 OpenHarmony 项目创始生态负责人、教

    共 19 条
  • 1
  • 2
  • 请选择