logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

稀疏计算与软硬协同,大模型算力提升新思考 | 达摩链接

目前,团队已经与国内产业界紧密合作,帮助国产厂商实现了异构千卡混合训练优化,相比同构训练,集群算力利用效率高达93.1~97.6%,同时还在构建大规模的研究 + 工程算力底座,已经支撑了包括上海算法创新研究院、上交人工智能学院集群、上海 AI Lab 等算力底座的建设。针对这一挑战,团队提出了一种动态感知编译映射的新方法,即引入机器学习的方式,通过 AI 模型自适应地选择不同类型的计算流,适配不同

文章图片
#人工智能#计算机视觉
达摩院开源RynnBrain:首个支持可移动操作的具身大脑基础模型

达摩院发布具身智能大脑基础模型RynnBrain,并一次性开源了包括30B MoE在内的7个全系列模型。RynnBrain首次让机器人拥有时空记忆和空间推理能力,智能水平实现大幅跃升,在16项具身开源评测榜单上刷新纪录(SOTA),超越谷歌Gemini Robotics ER 1.5等行业顶尖模型。

文章图片
#开源
达摩院开源RynnBrain:首个支持可移动操作的具身大脑基础模型

达摩院发布具身智能大脑基础模型RynnBrain,并一次性开源了包括30B MoE在内的7个全系列模型。RynnBrain首次让机器人拥有时空记忆和空间推理能力,智能水平实现大幅跃升,在16项具身开源评测榜单上刷新纪录(SOTA),超越谷歌Gemini Robotics ER 1.5等行业顶尖模型。

文章图片
#开源
达摩院开源RynnBrain:首个支持可移动操作的具身大脑基础模型

达摩院发布具身智能大脑基础模型RynnBrain,并一次性开源了包括30B MoE在内的7个全系列模型。RynnBrain首次让机器人拥有时空记忆和空间推理能力,智能水平实现大幅跃升,在16项具身开源评测榜单上刷新纪录(SOTA),超越谷歌Gemini Robotics ER 1.5等行业顶尖模型。

文章图片
#开源
达摩院 ICLR‘25 Spotlight | 细粒度视觉模型如何提升医疗影像诊断能力?

此外,即使在某些情况下医师报告了具体的病变位置,在其他病人的特定细粒度解剖部位(比如肺部右中叶)发生异常病变的可能性也相当低,导致这些具体的解剖结构的正常样本和异常样本的数量存在压倒性的不平衡。但这种全局对比方法本质上是粗粒度的,忽略了图像上的局部解剖区域和报告中对应的文本段落之间的关系。匹配具体的 CT 图像位置与诊断报告文本之间的关系时,面临的一个主要挑战是报告对身体器官描述的模糊性。具体来说

文章图片
#人工智能
LangEngine硬核开源!24小时极限复刻OpenManus

Langengine-Openmanus初步具备了通过大模型规划和执行步骤的能力,能够针对浏览器进行 UI 操作,并可本地执行 Python 命令。本文分享的目的是希望大家能够通过这一框架快速学习和理解其原理。开源生态为Agent技术的快速发展提供了核心动力。从算法模型到工程框架,全球开发者的开放共享使前沿创新得以快速落地验证。但技术原型与成熟产品之间存在真实壁垒:代码复现可以“快”,而构建稳定、

文章图片
#开源
ICLR‘25 Spotlight | 用户能否通过提示来识别带有水印的大型语言模型?

文本水印技术在检测大型语言模型(LLM)输出以及防止其滥用方面取得了显著进展。当前的水印技术具有高可检测性、对文本质量影响小以及对文本编辑具有鲁棒性等特点。然而,目前的研究缺乏对 LLM 服务中水印技术不可感知性的探讨。因为 LLM 提供商可能不希望在现实场景中透露水印的存在,这可能会降低用户使用服务的意愿,并使水印更容易受到攻击。本研究调查了水印 LLM 的不可感知性。我们设计了一种名为 Wat

文章图片
#语言模型#人工智能#自然语言处理
ICLR‘25 Spotlight|ReDeEP: 针对 RAG 场景的幻觉检测与缓解

Retrieval-Augmented Generation (RAG) 模型通过结合外部知识以减少幻觉问题,但即使检索到准确的上下文,RAG 模型仍可能在生成过程中产生与检索信息相冲突的“幻觉”输出。

文章图片
#人工智能
稀疏计算与软硬协同,大模型算力提升新思考 | 达摩链接

目前,团队已经与国内产业界紧密合作,帮助国产厂商实现了异构千卡混合训练优化,相比同构训练,集群算力利用效率高达93.1~97.6%,同时还在构建大规模的研究 + 工程算力底座,已经支撑了包括上海算法创新研究院、上交人工智能学院集群、上海 AI Lab 等算力底座的建设。针对这一挑战,团队提出了一种动态感知编译映射的新方法,即引入机器学习的方式,通过 AI 模型自适应地选择不同类型的计算流,适配不同

文章图片
#人工智能#计算机视觉
达摩院 ICLR‘25 | 权重相似性度量新方法!揭秘 DOCS 在大模型中的探索与发现

首先,从各个模型的热力图中可以明显看到,有一些连续的层形成了高相似度的簇,这些簇表现为图中的浅色区域。我们对不同大型语言模型(LLMs)的相邻 Transformer 层进行了权重矩阵的相似性分析,包括 \(W_v\)、\(W_k\)、\(W_q\)、\(W_o\)、\textsc{MLP-Up} 和 \textsc{MLP-Down} 等多个矩阵。第三种,也是我们最期望的特性,叫做“可区分性”:

文章图片
#人工智能
    共 134 条
  • 1
  • 2
  • 3
  • 14
  • 请选择