logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

超越标准MoE:用于资源高效语言模型的潜在专家混合方法

我们现在提供MoLE架构的正式定义。设 表示取整函数,并且 表示专家特定潜在变换的集合。第 个专家定义为:因此,采用MoLE架构的FFN层的输出计算为:这种公式有效地将专家特定计算从共享降维操作中分离出来,从而在保持模型表达能力的同时实现显著的参数效率。MoE和MoLE架构之间的视觉比较如图1所示。

文章图片
#语言模型#人工智能#自然语言处理
自动提示SQL:一种在资源受限环境中实现文本到SQL转换的高效架构

本文提出了一种新型架构Auto Prompt SQL(AP-SQL),旨在解决资源受限环境中使用大型闭源模型进行文本到SQL翻译的挑战。AP-SQL将任务分解为模式过滤、检索增强式文本到SQL生成以及提示驱动的模式链接和SQL生成。通过微调大型语言模型提高模式选择的准确性,并结合思维链(CoT)和思维图(GoT)模板增强模型的推理能力。在Spider基准上的评估表明,AP-SQL在多种大型语言模型

#sql#架构#数据库
改善小型大语言模型的钓鱼邮件检测性能

大语言模型(LLMs)在许多自然语言处理(NLP)任务中表现出卓越性能,并已被应用于钓鱼邮件检测研究。然而,在当前的研究中,表现良好的LLMs通常包含数十亿甚至数百亿个参数,需要大量的计算资源。为了降低计算成本,我们研究了小型参数LLMs在钓鱼邮件检测中的有效性。这些LLMs约有30亿个参数,可以在消费级GPU上运行。然而,小型LLMs在钓鱼邮件检测任务中往往表现不佳。为了解决这些问题,我们设计了

文章图片
#语言模型#人工智能#自然语言处理
一个大型语言模型框架,用于从PubMed病例报告中提取相对时间线

临床事件的时间是刻画患者轨迹的核心,能够实现诸如过程追踪、预测和因果推理等分析。然而,结构化的电子健康记录捕获了很少对这些任务至关重要的数据元素,而临床报告缺乏事件的结构化时间定位。我们提出一个系统,将病例报告转化为文本时间序列——由文本事件和时间戳组成的结构化对。我们对比了手动注释和大型语言模型(LLM)注释(分别为n320和n390)在十个随机抽取的PubMed开放获取(PMOA)病例报告中的

文章图片
#语言模型#人工智能#自然语言处理
上下文鲁棒知识编辑用于语言模型

朴海婉 1∗{ }^{1 *}1∗, 崔圭彬 1∗{ }^{1 *}1∗, 金珉俊 2{ }^{2}2, 赵友汉 1†{ }^{1 \dagger}1†1{ }^{1}1 首尔国立大学数据科学研究生院,2{ }^{2}2 光州科学技术院电气工程与计算机科学系{dellaanima2,yeppi315,yohan.jo}@snu.ac.krminjun01@gist.ac.kr知识编辑(KE)方法为

文章图片
#语言模型#人工智能#自然语言处理
人与系统之间的相互理解通过神经符号人工智能和知识图谱实现

本章探讨了人与系统之间相互理解的概念,提出神经符号人工智能(NeSy AI)方法可以通过利用显式的符号知识表示与数据驱动学习模型显著增强这种相互理解。我们首先介绍三个关键维度来表征相互理解:共享知识、交换知识和治理知识。共享知识涉及使不同代理的概念模型对齐,以实现对感兴趣领域的共同理解。交换知识涉及确保代理之间有效且准确的沟通。治理知识涉及建立规则和流程以调节代理之间的互动。然后,我们展示了几个不

文章图片
#人工智能#知识图谱
X-MAS:构建具有异构LLM的多智能体系统

基于LLM的多智能体系统(MAS)通过使多个专业智能体合作,扩展了单个LLM的能力。然而,大多数现有的MAS框架依赖于单一的LLM来驱动所有智能体,将系统的智能限制在该模型的极限之内。本文探讨了由异构LLM驱动的MAS(X-MAS)范式,其中智能体由不同的LLM提供动力,将系统的潜力提升到多样化LLM的集体智能水平。我们介绍了X-MAS-Bench,一个全面的测试平台,旨在评估各种LLM在不同领域

#人工智能
大型语言模型是否信任AI监管?基于博弈论的LLM代理新兴行为研究

普遍认为,在AI开发生态系统中促进信任与合作对于推动可信AI系统的采用至关重要。通过将大型语言模型(LLM)代理嵌入进化博弈论框架,本文研究了AI开发者、监管者和用户之间的复杂互动,模拟他们在不同监管场景下的战略选择。进化博弈论(EGT)用于定量建模每个参与者面临的困境,而LLM提供了额外的复杂性和细微差别,并允许重复游戏和融入个性特征。我们的研究识别了战略性AI代理的新兴行为,这些行为往往比纯博

文章图片
#人工智能#语言模型#自然语言处理
Snakemaker:通过生成式人工智能将临时分析无缝转化为可持续的Snakemake工作流

可重复性和可持续性在生物信息学软件开发中面临重大挑战,快速变化的工具和复杂的流程常常导致生命周期短或难以适应的管道。本文介绍了Snakemaker,一种利用生成式人工智能帮助研究人员构建可持续数据分析管道的工具,它通过将无结构代码转换为定义明确的Snakemake工作流来实现这一目标。Snakemaker非侵入性地跟踪研究人员在终端中的操作,分析执行模式,并生成可以集成到现有管道中的Snakema

文章图片
#人工智能
AI代理与Agentic AI:为未来制造导航众多概念

摘要: 随着生成式AI(GenAI)、大语言模型(LLMs)和多模态大语言模型(MLLMs)的发展,AI代理在语义理解、复杂推理和自主决策方面的能力显著提升。基于LLM和MLLM的AI代理(LLM-Agents、MLLM-Agents)以及新兴的Agentic AI范式,为智能制造提供了新的可能性,但其定义、应用边界及挑战仍需明确。本文系统回顾了AI与代理技术的发展历程,探讨了LLM-Agents

#人工智能#制造
    共 288 条
  • 1
  • 2
  • 3
  • 29
  • 请选择