logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

OpenSPG/KAG 0.8发布:可配置知识库索引 x 拥抱接入MCP x 系统接口完善,多跳问答效果持续领先

我们正式发布KAG 0.8版本,本次更新旨在持续提升大模型利用知识库推理问答的一致性、严谨性和精准性,并引入了多项重要功能特性。首先,我们升级了KAG 知识库的能力。扩展了私域知识库(含结构化、非结构化数据)、公网知识库 两种模式,支持通过MCP 协议引入LBS、WebSearch 等公网数据源。

#人工智能#网络
在 Ray Data 和 Ray Serve 中推出原生 LLM API

https://www.anyscale.com/blog/llm-apis-ray-data-serve 译文2025年4月2日,我们激动地宣布在 Ray Data 和 Ray Serve 中为 LLM 推理提供原生 API。随着 LLM 在现代 AI 基础设施部署中变得越来越核心,平台需要能够高效地部署和扩展这些模型。虽然 Ray Data 和 Ray Serve 很适合快速部署和扩展这些模型

文章图片
#人工智能#算法#数据库 +2
FlexQuant: 大模型组合量化,助力推理SLO

本文基于不同量化算法在不同阶段、不同负载下的速度和精度表现,设计了一种组合量化机制FlexQuant,可以更全面、更轻松拿下精度、速度以及延迟和吞吐等SLO诉求,方案部署友好,直接有效,值得参考。

文章图片
#人工智能#数据库#大数据 +2
FlexQuant: 大模型组合量化,助力推理SLO

本文基于不同量化算法在不同阶段、不同负载下的速度和精度表现,设计了一种组合量化机制FlexQuant,可以更全面、更轻松拿下精度、速度以及延迟和吞吐等SLO诉求,方案部署友好,直接有效,值得参考。

文章图片
#人工智能#数据库#大数据 +2
大模型训练推理优化(5): FlexLink —— NVLink 带宽无损提升27%

本期我们将介绍蚂蚁集团ASystem团队在大模型通信优化上的新工作FlexLink,旨在通过动态聚合多路通信(NVLink,PCIe,RDMA),在H800等典型硬件上将典型通信算子如(AllReduce, All Gather)吞吐提升最高达27%,尤其适合大模型长序列推理(Prefill阶段),及训练等通信密集的带宽bound场景。多通道并发传输:聚合NVLink,PCIe,RDMA网卡等多个

文章图片
#php#服务器#网络 +4
最高万元奖金|2025开源之夏x蚂蚁数据智能,12大硬核任务等你解锁

蚂蚁数据智能团队为大家整理汇总了12个硬核项目,覆盖大模型、大数据、数据库等前沿领域,(Apache Fury、Apache HoraeDB、DB-GPT、DLRover、VSAG)五大开源产品的研发项目等你参与!专属导师1对1指导,从基础项目到进阶项目,快来pick你感兴趣的项目~🎉⏳6月9日截止,立即申请 → 

文章图片
#开源#数据库#数据库架构 +1
    共 27 条
  • 1
  • 2
  • 3
  • 请选择