
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
让每个人都能成为数据分析师

我们正式发布KAG 0.8版本,本次更新旨在持续提升大模型利用知识库推理问答的一致性、严谨性和精准性,并引入了多项重要功能特性。首先,我们升级了KAG 知识库的能力。扩展了私域知识库(含结构化、非结构化数据)、公网知识库 两种模式,支持通过MCP 协议引入LBS、WebSearch 等公网数据源。
https://www.anyscale.com/blog/llm-apis-ray-data-serve 译文2025年4月2日,我们激动地宣布在 Ray Data 和 Ray Serve 中为 LLM 推理提供原生 API。随着 LLM 在现代 AI 基础设施部署中变得越来越核心,平台需要能够高效地部署和扩展这些模型。虽然 Ray Data 和 Ray Serve 很适合快速部署和扩展这些模型

本文基于不同量化算法在不同阶段、不同负载下的速度和精度表现,设计了一种组合量化机制FlexQuant,可以更全面、更轻松拿下精度、速度以及延迟和吞吐等SLO诉求,方案部署友好,直接有效,值得参考。

本文基于不同量化算法在不同阶段、不同负载下的速度和精度表现,设计了一种组合量化机制FlexQuant,可以更全面、更轻松拿下精度、速度以及延迟和吞吐等SLO诉求,方案部署友好,直接有效,值得参考。

本期我们将介绍蚂蚁集团ASystem团队在大模型通信优化上的新工作FlexLink,旨在通过动态聚合多路通信(NVLink,PCIe,RDMA),在H800等典型硬件上将典型通信算子如(AllReduce, All Gather)吞吐提升最高达27%,尤其适合大模型长序列推理(Prefill阶段),及训练等通信密集的带宽bound场景。多通道并发传输:聚合NVLink,PCIe,RDMA网卡等多个

蚂蚁数据智能团队为大家整理汇总了12个硬核项目,覆盖大模型、大数据、数据库等前沿领域,(Apache Fury、Apache HoraeDB、DB-GPT、DLRover、VSAG)五大开源产品的研发项目等你参与!专属导师1对1指导,从基础项目到进阶项目,快来pick你感兴趣的项目~🎉⏳6月9日截止,立即申请 →

本文将介绍eLLM相关技术挑战、总体设计和初步性能评估

DB-GPT V0.7.2版本现已上线,快速预览新特性~

V0.7.1版本现已上线,快速预览新特性
