
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
多模态模型需要解决的模态缺失问题是关键的,但也不是微不足道的。目前旨在处理多模态任务中缺失模态问题的方法,要么仅在评估期间处理缺失模态,要么训练单独的模型来处理特定的缺失模态设置。此外,这些模型是为特定任务设计的,因此,例如,分类模型不容易适应分割任务,反之亦然。在本文中,我们提出了共享特定特征建模(ShaSpec)方法,该方法比解决上述问题的竞争方法更简单、更有效。ShaSpec旨在通过学习共享

摘要——多模态网络比单模态网络表现出显著的性能改进。现有的多模态网络是以多分支方式设计的,由于对融合策略的依赖,如果缺少一个或多个模态,则表现出恶化的性能。在这项工作中,我们提出了一种模态不变的多模态学习方法,它不太容易受到缺失模态的影响。它由跨多个模态共享权重的单分支网络组成,以学习模态间表示,从而最大化性能以及对缺失模态的鲁棒性。在四个具有挑战性的数据集上进行了广泛的实验,包括文本视觉(UPM

模型效率在计算机视觉中变得越来越重要。在本文中,我们系统地研究了用于目标检测的神经网络架构设计选择,并提出了几项关键优化以提高效率。首先,我们提出了一种加权双向特征金字塔网络(BiFPN),它可以轻松快速地进行多尺度特征融合;其次,我们提出了一种复合缩放方法,可以同时统一缩放所有骨干网络、特征网络以及框/类别预测网络的分辨率、深度和宽度。基于这些优化和EfficientNet骨干网络,我们开发了一

摘要:针对无人机的实时检测,复杂背景下无人机小目标容易漏检、难以检测的问题。为了在降低内存和计算成本的同时保持较高的检测性能,本文提出了SEB-YOLOv8s检测方法。首先,使用SPD-Conv重建YOLOv8网络结构,以减少计算负担并加快处理速度,同时保留更多小目标的浅层特征。其次,我们设计了AttC2f模块,并用它替换了YOLOv8s主干中的C2f模块,增强了模型获取准确信息的能力,丰富了提取

摘要 本文提出了一种新型智能体控制框架,通过将约束逻辑外化为可执行的自然语言对象,实现控制逻辑的可移植与模块化。研究构建了智能约束运行时(IHR)系统,包含循环内大型语言模型解释器、工具后端和共享运行时章程三部分。实验验证了该框架在编程与计算机操作任务中的可行性,重点评估了共享运行时的行为效应(RQ1)、模块可组合性(RQ2)以及代码到自然语言约束的迁移保真度(RQ3)。结果表明,该方法能够有效分

本文提出了一种检索增强生成模型(RAG),通过结合预训练的参数化记忆(BART生成器)与非参数化记忆(维基百科稠密向量索引),有效提升了知识密集型NLP任务的性能。研究比较了两种架构:RAG-Sequence固定使用同一检索文档生成完整序列,而RAG-Token允许每个标记选择不同文档。实验表明,该方法在开放域问答任务上超越现有最佳模型,生成内容更具针对性、多样性和事实准确性。模型支持端到端训练,

摘要——自主大型语言模型智能体的迅速兴起,催生了持久性、大规模智能体生态系统,其集体行为无法通过轶事观察或小规模模拟得到充分理解。本文提出数据驱动的硅基社会学作为系统性的实证框架,用以研究交互式人工智能体间的社会结构形成。我们通过对Moltbook(一个主要为智能体间交互设计的社会化平台)进行分析,开展了针对自然状态智能体社会的开创性大规模数据挖掘研究。在研究期间,Moltbook托管着超过15万

信息在神经网络中的传播方式至关重要。在本文中,我们提出了路径聚合网络(PANet),旨在增强基于提议的实例分割框架中的信息流动。具体而言,我们通过自底向上的路径增强,在较低层中引入精确的定位信号,从而缩短了较低层与最顶层特征之间的信息路径。我们提出了自适应特征池化,将特征网格与所有特征层级连接起来,使每个层级中的有用信息能够直接传播到后续的提议子网络中。此外,我们还创建了一个互补分支,为每个提议捕

自然语言处理任务,如问答、机器翻译、阅读理解和摘要生成,传统上通常通过对特定任务数据集进行监督学习来实现。我们证明,当在一个名为WebText、包含数百万网页的新数据集上进行训练时,语言模型在没有明确监督的情况下便开始学习这些任务。当以文档加问题为条件时,该语言模型生成的答案在CoQA数据集上达到了55 F1值——在不使用超过12.7万条训练样本的情况下,其性能与四分之三的基线系统持平或更优。语言

自然语言理解涵盖广泛多样的任务,例如文本蕴含、问答、语义相似度评估和文档分类。尽管大规模无标注文本语料库十分丰富,但用于学习这些特定任务的标注数据却相对稀缺,这使得基于判别式训练的模型难以取得理想性能。我们的研究表明,通过在多样化的无标注文本语料库上进行生成式预训练,再针对每个具体任务进行判别式微调,可以显著提升这些任务的性能。与以往方法不同,我们在微调过程中采用任务感知的输入转换方法,只需对模型








