为了保证同样前缀的请求尽可能地落到同样的引擎，我们在全局维护一个近似的前缀树，能够根据用户输入的 Prompt 计算出每个引擎能够有百分之多少的复用率，然后把这个复用率加到打分的公式里。面对日新月异的推理场景，和蒸蒸日上的推理需求，沿用传统的网关的思路无法很好地服务用户的需求，我们必须另辟蹊径，在推理场景里引入新的网关架构。1. 每次选中一个节点后，立刻将它的运行任务数 +1，因为引擎指标的更新不

凭借大数据、大算力的「大力出奇迹」，各类大模型「智能涌现」，再一次诠释了「数据是新时代的石油」。然而随着 ChatGPT 等各类大模型的应用，暴露出的隐私安全与数据要素流通问题引发广泛关注。数据流通与隐私安全的关键技术路径 —— 隐私计算技术和产业迎来突破发展新动力。隐语开源一周年专场 Meetup 剧透2022 年 7 月 4 日，隐语正式开源，至今已开源一周年啦 ???? 在开源一周年之际，我

此文原系 2021 年阿里云开发者大会，开源操作系统社区和生态分论坛，题为《国密技术开发与实践》的分享会后解读。AnolisOS 国密是社区在 AnolisOS 上做的国密技术解决方案，非...

此文原系 2021 年阿里云开发者大会，开源操作系统社区和生态分论坛，题为《国密技术开发与实践》的分享会后解读。AnolisOS 国密是社区在 AnolisOS 上做的国密技术解决方案，非常欢迎业界有兴趣的开发者能够参与到 OpenAnolis 社区，为国内的基础软件生态添砖加瓦。演讲嘉宾：杨洋：蚂蚁集团高级技术专家，主导开发了 BabaSSL，也是国内唯一的一个 OpenSSL maintain

KapacityStack 基于蚂蚁内部的超大规模生产业务实践，旨在为用户提供一套具备完善技术风险能力的、智能且开放的云原生容量技术，帮助用户安全稳定地实现极致降本增效，解决容量相关问题。主代码仓库的 GitHub 地址为：https://github.com/traas-stack/kapacity背景介绍数字经济时代，社会各行各业对数据和算力的需求急速增长，但是算力需求的飙升和粗放利用却造成了

文｜沙剑蚂蚁集团高级技术专家专注分布式深度学习领域主要负责蚂蚁大规模分布式训练引擎的设计和开发本文4491字 阅读12分钟本文整体介绍了 DLRover 的项目动机与核心能力，未来我们会发布一系列文章，来从同步/异步弹性训练，优化策略服务，多种集群和训练框架对接，策略定制开发等多个角度来介绍 DLRover 的更多细节，敬请期待。01技术背景2022 年 6 月，蚂蚁集团决定全面引入 ES...

9月3日，由蚂蚁多位云原生技术专家共同编撰的《SOFAStack 解决方案白皮书》正式发布。该白皮书强调了金融级云原生在企业数字化转型过程中的重要性，并全面展示了蚂蚁在云原生上的探索与实...

1背景介绍AntMonitor：蚂蚁集团研发的一款面向云原生时代的全功能智能运维产品，包含业务监控、应用监控、基础设施监控、云原生可观测、一站式多维分析等功能。其中，智能化的单指标异常...

项目发起人：莫尔(李小宇)、玄浩(林皓俊)、冷凇(刘凇杉)项目负责人：子谅(王恒)、善衡(曾欢)AIEvo开源AIEvo是蚂蚁集团开源的一款专注于多智能体协作的框架。其开发基于蚂蚁集团在大规模线上告警问题诊断和专家经验平台化方面的技术积累和实践经验。AIEvo通过多智能体协同和高可执行率的设计，利用反馈机制提升模型输出稳定性，并基于SOP机制确保指令的协同遵从，特别适用于复杂任务的自动化处理和智能

1背景蚂蚁金服业务自定义监控是蚂蚁金服监控产品中的一个重要功能，主要是通过自定义日志数据源并配置大盘的方式来解决蚂蚁金服业务实时监控的需求。在产品功能上，用户可以通过对一系列日志数据源...