以模型与工具使能 AI 技术应用实践！

10 月 25 日，第五届“长沙·中国 1024 程序员节”模型与工具论坛于世界计算·长沙智谷举办。论坛由北京智源人工智能研究院数据研究组负责人刘广担任出品人，来自智源人工智能研究院、华为、合合信息、蚂蚁集团、墨奇数据、InterSystems 中国等的技术专家发表主题演讲与分享，通过工具学习架起语言模型和实际应用之间的桥梁。

Infinity-MM：驱动开源模型迈向 SOTA 性能

在《千万级多模态指令数据集 Infinity-MM：驱动开源模型迈向 SOTA 性能》的主题分享中，北京智源人工智能研究院数据研究组资深算法专家谷舒豪指出，由于缺乏数千万数据规模的高质量开源数据集，开源数据训练模型和性能距离 SOTA 仍有差距，开源指令数据集合规模和质量还有极大的提升空间。因此，智源研究院构建了千万级多模态质量数据集 Infinity-MM。通过收集和过滤现有开源多模态指令数据，使指令数据规模扩展到数千万级别，成为 SOTA 模型的数据基石。同时，使用数据合成技术，针对模型弱项，大规模合成高质量数据，减小开源模型和闭源模型之间的性能差距。

TextIn：智能文档处理“百宝箱”

在 RAG、Agent、DP 或文档相关开发任务落地时，开发者或许常常会遇到诸如文档内容解析出错、解析速度慢、CornerCase 太多等问题。基于此，作为在智能文档处理领域深研多年的一员，合合信息智能创新事业部研发总监常扬带来《智能文档处理“百宝箱”，加速文档类应用研发》的主题分享。常扬着重强调了“智能文档处理百宝箱”的三大全新工具。可视化文档解析前端 Textln ParseX 前端组件以其多中扫描内容支持、多语言兼容性、卓越的表格识别能力等优势，能够提供丰富的文档可视化和交互功能，方便审核校对；向量化 acge-embedding 模型是一种高精度的文本向量化模型，它以海量的文本数据转化向量，极大提升了长文档信息检索精度，解决大模型“幻觉”问题；文档解析测评工具 markdown tester 能够针对表格、段落、标题、阅读顺序等关键指标进行定量测评并评估文档解析效果，节省筛选产品时间。

muAgent：由知识图谱引擎驱动的创新 Agent 框架

此次论坛上，蚂蚁集团高级算法专家蒋炜以《智能画布 muAgent，全新体验 Agent 框架》为主题，讲述蚂蚁CodeFuse团队开发的Multi-Agent框架muAgent的整体框架和技术实现。蒋炜指出，站在当前视角，模型可解单步骤简易任务、单步骤工具使用，但实际现实中的场景是复杂多步骤的，尤其面向专业领域，LLM 只能给出泛泛而谈的任务规划决策（包括 ChatGPT），因此就需要 Agent 来解决实际问题。muAgent 包含 Planner、Memory 和 ActionSpace 三大核心模块，可满足多种通用场景的交互使用，具有复杂推理、知识即用、人工交互、在线协同等多诸多技术优势。

MyScale：SQL 与向量融合的新范式

墨奇科技开发了基于 ClickHouse 构建的开源 SQL 向量数据库——MyScale。在《SQL与向量融合的新范式，高性能向量数据库 MyScale》的分享中，墨奇数据 CTO &联合创始人汤林鹏指出，MyScale 通过将 SQL 数据库/数据仓库、向量数据库和全文搜索引擎的功能集成到一个高效的系统中，显著降低了基础设施和维护成本。这种统一不仅促进了联合数据查询和分析，还建立了一个对所有 AI 应用至关重要的强大而多功能的数据基础。

“IDE + RAG”：构建可信的编码智能体

在《Code Model based RAG for Code》的主题分享中，华为 CodeArts IDE 技术专家 Volkov Mikhai 认为，当前全球顶尖的 IDE 开发商都在努力尝试将 AI 工具插入 IDE，尽管市场上已经涌现出诸多解决方案，但这些方案的功能尚显有限，且往往依赖于难以获取的强大计算能力。因此，Volkov Mikhai 及其团队经过大量的试验以及场景验证，通过使用高质量模型将问题描述成自然语言与关键信息、使用 RAG（检索增强生成） 技术进行代码搜索、使用长上下文模型对检索后的代码进行分析与解释等方式，在 IDE 中结合 RAG 编排，从而构建可信的编码智能体。

InterSystems IRIS：实现医疗数据解决方案价值的最快途径

在《RAG 在医疗行业的应用》主题分享中，InterSystems 中国 AI 领域工程师刘皆良指出，InterSystems IRIS 数据平台集事务型数据库、分析型数据库、矢量数据库、文档数据库等于一身，是单一架构的数据平台。在演讲中，刘皆良讲解了 IRIS 向量查存储和查询方式、内建接口适配器、数据转换建模、端到端管理等内容，帮助观众更好地理解 IRIS 的整体架构。

针对重要的关于 PHI（Protected Health Information）患者敏感信息问题，InterSystems IRIS 数据平台利用 Prompt 工程，通过与 LLM 提供商协定关于敏感数据的使用问题、对于关键信息进行匿名化处理、使用私有部署的 LLM 模型等方式达成了更好的处理效果。

结语

人脑能够灵活运用工具，标志着人类智能的一大进步，机器模仿人脑习得工具使用的机制，想必也能带来人工智能的质的飞跃。随着模型规模的持续增长和算力成本的不断下降，相信语言模型与工具学习必将得到更广泛的应用。至此，第五届“长沙·中国 1024 程序员节”模型与工具论坛圆满落幕，让我们共同期待 AI 模型与工具在未来碰撞出更加灿烂的火花！