登录社区云,与社区用户共同成长
邀请您加入社区
如何用知网+deepseek写综述
2.17-2.23大模型领域热点论文精选速览
RAP-SAM模型的提出,标志着实时全能分割领域的一个新里程碑。它不仅在速度和准确性上取得了优异的平衡,而且在多任务分割任务上展现了卓越的性能。RAP-SAM的设计理念和架构为未来的研究提供了新的方向,特别是在实时、多功能和交互式分割任务的融合上。随着技术的进一步发展,RAP-SAM及其未来的改进版本有望在各种实际应用中发挥重要作用,推动实时分割技术的发展和应用。声明:本期论文解读非人类撰写,全文
有标签数据和无标签数据都会输入到student和teacher model中,教师模型和学生模型的架构完全一致(神经网络层数之类的),学生模型利用lable data和预测值计算交叉熵L1,教师模型的预测值和学生模型的预测值计算一致性损失L2,最后L1+L2梯度下降更新学生模型的参数θ,教师模型的参数通过EMA的方式来更新。因此,认知不确定性测量的是训练过程本身所估计的模型参数的不确定性,这种不确
神经网络为自动学习复杂的语言模式和查询-文档关系提供了新的可能性。神经IR模型在学习查询文档相关性模式方面取得了可喜的成果,但在理解查询或文档的文本内容方面却鲜有探索。本文研究利用上下文神经语言模型BERT,为IR提供更深入的文本理解。 实验结果表明,BERT的上下文文本表示比传统的单词嵌入更有效。与词包检索模型相比,上下文语言模型可以更好地利用语言结构,为用自然语言编写的查询带来很大的改进。将文
本文的研究目标是探索如何将结构信息融入大型语言模型(LLM),以提高其在**知识图谱补全**任务中的表现。具体来说,是通过结构嵌入预训练和知识前缀适配器(KoPA)来实现结构信息的有效利用。
本文是对Transformers without Normalization这篇文章的阅读笔记。包括论文的主要内容,和作者的一些想法。Transformer作为LLM(大语言模型)的基础结构,其中的Normalization步骤是长期验证过有效的模块。这篇论文研究了一种替代方案
小样本学习通常面临低泛化性能的问题,因为它假设新类别和基础类别的数据分布是相似的,而模型仅在基础类别上进行训练。为了缓解上述问题,我们提出了一种基于代表性全局原型的小样本学习方法。具体来说,为了增强对新类别的泛化能力,我们提出了一种方法,通过选择代表性和非代表性的样本,分别优化代表性全局原型,从而联合训练基础类别和新类别。此外,我们还提出了一种方法,通过条件语义嵌入有机地结合基础类别的样本,利用原
信息提取:简单介绍研究内容和结果:研究内容:针对氧化物电荷和衬底掺杂浓度对具有多个浮动扩散带的分段保护结构的影响。计算机仿真+实验测试结果:实验与仿真吻合良好:具有浮动扩散带的分段保护结构具有高击穿电压和低漏电流;浮动的中间场板减少了来自氧化物电荷的影响,并使器件稳定以抵抗环境影响。我们设计了一种具有多个浮置p-n结的保护结构,将电势分布效应作为其基本功能的一部分。我们利用计算机模拟了这种结构的模
DDPM与DDIM的训练过程相同,因此DDPM训练的模型可以直接在DDIM当中使用,训练过程下所示。
实体对齐旨在识别来自不同知识图谱(KG)的等效实体对,这对于集成多源知识图谱至关重要。最近,随着 GNN 在实体对齐中的引入,近期模型的架构变得越来越复杂。我们甚至在这些方法中发现了两个反直觉的现象:(1)GNN 中的标准线性变换效果不佳。(2)许多为链接预测任务设计的先进知识图谱嵌入模型在实体对齐方面表现不佳。在本文中,我们将现有的实体对齐方法抽象为一个统一的框架,它不仅成功地解释了上述现象,而
实体对齐是知识图谱(KG)集成中一项基本且重要的技术。多年来,实体对齐的研究一直基于知识图谱是静态的假设,忽略了现实世界知识图谱增长的本质。随着知识图谱的增长,之前的对齐结果需要重新审视,同时新的实体对齐等待被发现。在本文中,我们提出并深入研究了一个现实但尚未探索的环境,称为持续实体对齐。为了避免每当新实体和三元组出现时在整个 KG 上重新训练整个模型,我们为此任务提出了一种持续对齐方法。它根据实
区块链一直是许多现代甚至未来应用程序中最具吸引力的技术之一。Fabric 是一个开源框架,用于实施许可的企业级区块链,越来越受到创新者的关注。延迟性能对于 Fabric 区块链评估其有效性至关重要。进行了许多实证研究来分析基于不同硬件平台的性能。这些实验结果没有可比性,因为它们高度依赖于底层网络。此外,关于 Fabric 区块链延迟的理论分析仍然很少受到关注。本文提供了一种新颖的理论模型来计算区块
本论文提出了一种名为Evolution through Large Models(ELM)的新方法,通过利用大型语言模型(LLM)的能力来提高编程领域的进化过程效率。这种方法允许LLM训练在代码上提出智能的突变,从而避免了许多阻碍程序进化的问题。ELM的优势在于它可以通过生成的数据来提高LLM的搜索能力,从而实现自我优化。此外,这种方法还可以在深度学习和遗传编程(GP)领域找到很多互补之处,从而实
联邦学习(FL)允许多个客户在其私有数据上协作训练神经网络(NN)模型,而不会泄露数据。最近,针对FL的几起针对性中毒袭击事件已经出台。这些攻击为生成的模型注入了后门,使得对手控制的输入被错误分类。现有的反后门攻击的对策效率低下,通常只是为了将偏离模型排除在聚合之外。然而,这种方法还删除了具有偏差数据分布的客户机的良性模型,从而导致聚合模型对此类客户机的性能不佳。为了解决这个问题,我们提出了Dee
论文 “ROP 自动分期的半监督深度学习模型的开发与验证”,本研究的贡献在于:1. 提出一种新的半监督分类模型,用于利用未标注数据进行 ROP 分期。2. 提出两种一致性损失函数,可以提高分类模型的泛化性能。3. 通过实验验证了该方法能够提升分类性能。
近期视觉-语言模型在性能上的提升是通过增加视觉token的长度实现的,这使得它们比文本token长得多,并显著提高了计算成本。然而,我们发现流行的视觉编码器(如CLIP和SigLIP)生成的视觉token存在大量冗余。为了解决这个问题,我们提出了VisionZip,这是一种简单而有效的方法,它选择一组信息token作为语言模型的输入,减少视觉token的冗余,提高效率,同时保持模型性能。
本文提出了用于深度加权多视图聚类的自监督图注意网络(SGDMC),该网络利用自监督信息从两个方面增强了基于图的深度MVC模型的有效性。
视频时刻定位的目标是定位与给定的自由形式自然语言查询最相关的视频片段。弱监督设定中,训练时只提供视频级描述,因其较低的标注成本,正逐渐受到越来越多的关注。之前的弱监督方法主要使用滑动窗口生成时间提案,这些提案与视频内容无关且质量较低,并且通过训练模型来区分从不同视频中收集的匹配和不匹配的视频-查询对,但忽略了模型需要在视频内部区分未对齐的片段。在本研究中,我们通过引入对比负样本挖掘(CNM)提出了
大数据时代,信息过载问题日益突出。利用人工智能技术来理解、压缩和过滤海量文本信息对机器来说是一个挑战。自动文本摘要的出现主要是为了解决信息过载的问题,可以分为抽取式和抽象式两种。前者从原文中找出一些关键的句子或短语,组合成摘要;后者需要计算机理解原文的内容,然后用人类可读的语言概括原文的关键信息。本文提出了一种结合抽象摘要和提取摘要的两阶段自动文本摘要优化方法。首先,训练具有注意力机制的序列到序列
3D 感知表示非常适合机器人操作,因为它们可以轻松编码遮挡并简化空间推理。许多操纵任务在末端执行器姿态预测中需要高空间精度,这通常需要高分辨率的 3D 特征网格,而处理起来的计算成本很高。因此,大多数操纵策略直接在 2D 中运行,而忽略了 3D 归纳偏差。在本文中,我们介绍了 Act3D,这是一种,它使用 3D 特征场来表示机器人的工作空间,其自适应分辨率取决于手头的任务。该模型使用感测深度将 2
本文介绍了一种基于参数降噪的高效且增强隐私保护的联邦学习算法。该算法采用了本地微分隐私、参数稀疏化和加权聚合等技术,以保证在跨数据中心设置下实现协作训练全球模型的同时,保护敏感数据的安全性和隐私性。具体而言,该算法通过引入Renyi微分隐私,在上传本地参数前添加噪声,实现了本地微分隐私;同时动态调整隐私预算,平衡隐私和准确性。此外,考虑到客户端通信能力的多样性,该算法提出了Top-K方法,并根据参
时空数据挖掘问题大多数使用邻接矩阵来建模节点之间的属性关系,这种思路的一个基本假设是:节点信息取决于自身和邻居的历史信息。但这类模型的假设存在着一些问题:未能充分建模节点之间的依赖关系两个节点之间没有连边,但是有依赖关系两个节点虽然是邻居节点,但是没有依赖关系未能有效学习到时间的依赖关系RNN:迭代传播耗时(无法并行)、存在梯度爆炸/消失的问题CNN:需要迭代很多层,才能得到较大的感受野。
其中,使用LM目标进行预训练似乎可以实现优越的零样本和少样本泛化能力。通过扩展模型大小、数据集大小和总计算量,可以大幅提高随意解码器的性能。由于对编码器-解码器模型的详细调查仍不足,需要更多的研究来分析架构和预训练任务的选择如何影响LLM的能力,特别是对于编码器-解码器架构。除了主要架构外,LLM的详细配置也值得关注。
在本文中,作者介绍了 GPT Reddit 数据集(GRiD),这是一个由Generative Pretrained Transformer ((GPT)生成的新型文本检测数据集,旨在评估检测模型在识别ChatGPT 生成的回复方面的性能。该数据集由基于 Reddit 的各种上下文-提示对组成,其中既有人工生成的回复,也有ChatGPT 生成的回复。作者对数据集的特点进行了分析,包括语言多样性、上
本文通过定量研究、案例分析两种方式,分析并且讨论股权激励计划对志邦家居绩效的影响。本文运用资本资产定价模型(CAPM)、事件研究法分析志邦家居公司在实施股权激励计划后的市场表现,可以发现在发布股权激励公告后的一段时间内其股票的累积异常收益率呈现正相关态势,说明市场对股权激励计划的反映积极。通过财务比率分析法,选择净资产收益率指标、总资产报酬率指标,实践并检验实施股权激励计划对志邦家居业绩的长周期影
卷积神经网络不是必备的,一个纯transformer表现也是非常好的2500天tpu v3大规模上预训练,小规模任务数据集上微调。扩大模型时候还没观察到瓶颈(还没出现过拟合)?轴注意力机制:把2d的图片注意力分成从H和从W出发两个1d的注意力机制将224x224的图片根据16x16的patch划分成为14x14,使用特征图展开成1d来进行attention操作在不加强约束的情况下,transfor
训练数据通常存在长尾类别分布问题,既小部分类中拥有大量的样本点,大部分类中拥有少量的样本点。这样会限制深度学习模型的实用性,由这样数据集训练出来的模型往往不会在现实实际应用表现得很好,因为它们会更倾向于主导类,并在尾部类表现得很差。如下图所示,大量数据在少数类里;总的来说,有两大挑战:1)不平衡导致模型偏向于头类;2)缺乏尾类使得训练模型进行尾类分类更具挑战;不平衡比的定义:n1nkn_1/n_k
纽约客》每周都会发布一张没有字幕的卡通图片,邀请读者提交自己最有趣的英文图片说明。编辑们从成千上万的投稿中选出三个入围者。然后,由读者投票选择最终赢家。(任务1中的标题就来自最终赢家的标题和可能来自其他图片的标题,任务2中的标题来自相同图片读者贡献的标题)1)NYAcc:选出的最终结果是《纽约客》中选出的优胜者2)CrowAcc:选出的最终结果被大众选为高质量的结果(避免编剧个人偏差)论文不仅提供
一、这是伯克利的大哥哥们在2016年发的一篇文章,也算是CNN的姿态估计,上升比较快的那几年。二、其实核心思想很像GBDT,一步步的去拟合残差。但是,不一样肯定是不一样的!放一张好看的图,GBDT的。主要贡献:1、提出一种自我修正的模型2、传统模型映射是建立在“从in...
摘要近年来,CLIP 和 SAM 等基础模型在零样本异常分割 (ZSAS) 任务中展现出良好的性能。然而,无论是基于 CLIP 还是基于 SAM 的 ZSAS 方法,仍然存在不可忽视的关键缺陷:1) CLIP 主要关注不同输入之间的全局特征对齐,导致对局部异常部分的分割精度不高;2) SAM 倾向于在没有适当提示约束的情况下生成大量冗余掩码,导致复杂的后期处理需求。在这项工作中,我们创新性地提出了
这篇文章提出了一个名为NCF-MS(Neural Collaborative Filtering with Multi-Source data)的深度神经协同过滤服务推荐模型,该模型是为了解决大数据环境下的服务推荐问题而设计的。随着物联网(IoT)设备的增多,用户设备产生的数据量急剧增加,导致“信息过载”问题。服务推荐系统可以帮助用户从大量数据中提取有价值的信息。在分布式和丰富的多源大数据资源环境
是时候给Agent们建立一个属于它们的互联网了
对阿里云盘古2.0的介绍,包括两个阶段:(1)通过文件系统重构和用户空间存储操作系统(USSOS),充分利用SSD和RDMA。设计了统一的、仅追加的持久层,引入了自包含块布局,以减少文件写操作的I/O延迟。USSOS使用运行到完成线程模型,利用高效CPU和内存资源分配的用户空间调度机制。(2)从面向容量发展为面向性能。升级基础设施,开发了每台服务器96 TB SSD,将网络带宽从25 Gbps升级
图像分类产生的CAM图通常集中于discriminative区域。作者提出了C2AM模型,使用未标记图像训练 获得类不可知激活图(Class-agnostic Activation Map)。作者的idea主要是:1)前景对象和背景对象的语义信息通常差距较大。2)颜色或者纹理相近的前景或者背景对象有相似的表征。作者将这些关系梳理成正负对,然后利用对比学习分离前景和背景。
背景:近年来,机器学习(ML)和深度学习(DL)在计算机视觉、自然语言处理、股票预测、预测和音频处理等多个领域取得显著进展。然而,针对这些复杂任务训练的深度学习模型规模较大,难以在资源受限的设备上部署,例如在 ImageNet 数据集上预训练的 VGG16 模型大小超过 500MB,而手机和物联网设备等资源受限设备内存和计算能力有限。问题:对于实时应用,需要将训练好的模型部署到资源受限设备上,但流
为λs*δ,由于孔隙率为ε,即有ε的比例非纯颗粒之间传递热量,又由于ε的比例的体积中,有α比例为纯气体,因此折算有αε为真正纯气体的导热比例,颗粒之间为(1-αε)的比例,所以总的路径体积比为δ*(1-αε),所以情况(b):q_b=λs*δ*(1-αε)*ΔT/L=λs(1-αε)δΔT/L。总热流密度q=q_a+q_b+q_c,根据之前分析,q_a占95%以上,纯气体路径合并到路径(a)中,所
通过与用户输入相关的信息片段,并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供的回答、推理、实现。RAG 能够让基础模型实现非参数知识更新,无需训练就可以掌握新领域的知识。本次课程选用的茴香豆应用,就应用了 RAG 技术,可以快速、高效的搭建。
语音合成模型,输入是待合成的文本,3秒的录音,输出为与录音一致的合成后的语音内容。
Unifying Large Language Models and Knowledge Graphs: A Roadmap统一大型语言模型和知识图谱:路线图Shirui Pan, Senior Member, IEEE, Linhao Luo,Yufei Wang, Chen Chen, Jiapu Wang, Xindong Wu, Fellow, IEEE潘石瑞,IEEE高级会员;罗林浩,王
RepVGG是2021年发表于CVPR,它和resnet一样是一种图像分类网络,在目标检测中被用作backbone,论文提出一种新型技术称之结构重参数化,简单来说就是对训练出的模型进行等价替换成一个简单的模型,然后用这个简单的模型进行推理(也就是testing),目的就是加快推理速度,提高模型实用性。RepVGG当中的结构重参数化这个方法值得我们去学习,对模型的部署非常友好,在未来的发展中,重参数
解决了具有二维加载约束的有能力的车辆路径问题。与每个客户相关联的是一组矩形物品、物品的总重量和一个时间窗口。为该问题设计精确的算法非常具有挑战性,因为该问题是两个 NP-hard 问题的组合。提出了一个精确的分支定价算法和一个近似的对应算法来解决这个问题。我们引入了一个精确的域控制规则和一个近似的域控制规则。为了应对加载约束带来的困难,提出了一种由监督学习模型推动的新列生成机制。大量实验证明了在
他们的饮食可能需要严格的控制,可能需要避免某些可能加重疾病的食物。在处理以下问题的之前,需要先对题目中提供的数据进行处理,正常的数据是保障模型效果的重要因素,可以发现数据中存在重复值和控制,因此本文先对这些数据进行处理,对异常值和重复值利用pandas的drop_duplicates函数进行删除,接着对空值进行填充处理。这个模型的主要目标是对每个人的饮食习惯进行全面的量化评估,并找出可能的问题,例
前段时间给导师搜集论文、写本子,下载了Zotero,管理论文确实比较方便,后面为了查找文献中与课题相关度较高的文献,特地在上面配置了Deepseek模型,可以快速的总结一篇或多篇论文的成果,能够帮我们快速筛选,现将配置过程记录如下。
强化学习(RL)是提升LLMs推理能力的核心技术,但目前最先进的推理LLMs(如OpenAI的o1和DeepSeek的R1)的技术细节并未公开,导致难以复现其RL训练结果。为了填补这一空白,作者提出了DAPO算法,并开源了一个基于Qwen2.5-32B模型的RL系统,该系统在AIME 2024竞赛中取得了50分的成绩,超越了DeepSeek-R1-Zero-Qwen-32B的47分。此外,从单个令
复旦大学2025年学术规范的本质,在于确立"辅助而非替代,透明而非隐匿"的智能时代研究伦理。选择万能小in、DeepSeek、知网研报等合规工具来进行AI文献管理,既是对科研效率的合理追求(节省58%的重复劳动时间),更是对学术共同体信任机制的敬畏。这项国内首个本科层面AI学术规范,既回应了94.7%学生使用AI工具的现实需求(《高校数字学术行为调查报告》),也为AI技术划定了学术伦理的"高压线"
论文阅读
——论文阅读
联系我们(工作时间:8:30-22:00)
400-660-0108 kefu@csdn.net