登录社区云，与社区用户共同成长
邀请您加入社区
目录机器阅读理解（MRC）零基础入门级综述（一）一、机器阅读理解(MRC)是什么？1. 含义2. 分类3. 机器阅读理解（Reading Comprehension） vs. 问答（Question Answering）二、研究机器阅读理解的动机1. 评估计算机系统理解人类语言能力2. 机器阅读理解是问答系统和对话系统等应用的关键技术参考文献机器阅读理解（MRC）零基础入门级综述（一）东南大学数学
本文围绕推理大语言模型中的佼佼者 DeepSeek - R1 展开深度剖析。开篇阐述推理模型定义与应用场景，明确其在复杂任务中的优势。接着详细介绍 DeepSeek - R1 的训练流程，包括 R1 - Zero、R1 和 R1 - Distill 三种变体的训练差异。深入解读构建和改进推理模型的四种方法，对比分析其特性。同时探讨 DeepSeek - R1 与 o1 的性能差异、训练成本，并分享
大型语言模型在各种自然语言处理任务上取得了令人印象深刻的few-shot结果，并展示了一些涌现能力。然而，所有这些模型都有一些固有的限制，这些限制最多只能通过进一步扩展来部分解决。这些限制包括无法获取最近事件的最新信息和相关的幻觉倾向，理解低资源语言的困难，缺乏进行精确计算的数学技能以及对时间进程的不了解。克服当今语言模型的这些限制的一个简单方法是赋予它们使用外部工具(如搜索引擎、计算器或日历)的
Transformer模型中最关键部分就是自注意力（Self-Attention）机制，正如 Transformer 的论文的标题是“Attention Is All You Need”！以文本问题为例来讲解这个机制。在处理文本问题时，自注意力机制会告诉模型：在处理句子中的每个单词时，特别关注某些重要的单词，并或多或少地忽略其它单词。简单来说，就是给句子中不同单词分配不同的权重。
##直接配点法。
在本文中，我们介绍了Low-Rank Adaptation（LoRA）作为一种高效的大语言模型微调方法。通过仅训练选定权重矩阵的低秩扰动，LoRA可以显著减少所需的计算资源，同时保持或提升模型的性能。我们的实验结果表明，虽然LoRA在某些情况下的性能略低于全面微调，但它在目标领域之外的任务上更好地维持了基础模型的性能，并提供了更强的正则化效果。此外，我们还发现，全面微调学习的扰动矩阵的秩远高于Lo
参考项目：https://www.modelscope.cn/datasets/gongjy/minimind_dataset。
在参数高效微调领域，LoRA（Low-Rank Adaptation）是一种轻量且高效的方法，核心思想是，大幅减少训练参数和显存占用，尤其适合在小数据集（如RadioMapSeer）上微调大模型。
使用nn.Sequential创建一个顺序执行的深度网络块，nn,Linear为全连接线性层，第一个全连接层接受视觉模型的输入，将输入的维度转换为语言模型隐藏层维度的输出，经过一个激活函数GELU增加模型的非线性，经过另一个线性全连接层转换后输出。调用父类的to方法，传入*args, **kwargs参数，提高代码的可拓展性。假设传入的Input_ids的size为（1,5），利用语言模型生成结果
介绍了预训练模型与分词
多模态领域相关知识梳理，领域内各项挑战及经典工作总结
2025年AI外呼系统呈现两大路线：以云蝠智能为代表的“垂直专家”，主打高性价比、快速部署及销售闭环；以华为云、阿里云、腾讯云呼叫中心为代表的“生态底座”，分别侧重安全合规、电商集成与微信生态融合。本文提供深度对比与决策框架，帮助企业根据自身核心场景、预算及生态绑定情况，选择最优增长路径。
OK, 到这里发现以前的方法是可以继续使用的，只能说是暂时环境跟不上，单机跑不了，或者要研究一下他的参数了，后续找到更大的机器看看deepspeed并行调参效果。这个好像是ninja版本问题，查看版本命令不是这个，试过升级和降级都没用，所以只能手动干源码了。等待模型文件下载完毕后，下载其他的配置文件，把大的模型文件移动进去。如果看到这里你知道怎么搞，或者我说错了的，欢迎留言一起探讨下。相对上一篇文
BERT自2018年横空出世以来，使得成为处理NLP任务的标配，如何有效的微调预训练语言模型（PLMs）对下游任务来说至关重要，然而，由于预训练机制，PLMs存在过拟合预训练数据和任务的风险，导致与下游任务之间存在Gap，在finetune的过程中，这种Gap可能无法消除并导致局部最优。鉴于此，今天介绍的这篇ACL 2022的论文则提出了一种简单且有效的解决方法NoisyTune，通过在微调PLM
最近SRL中也有不少工作使用对比学习，但是SRL的评估除了VRL常用的外部协议（下游分类任务），还需要着重评估STS这样的内部协议（因为语义相似度质量优化本来就是预训练语言模型表示学习损失函数的目标，且外部协议已经被证明在SRL中可以较好完成）对于超球面中几何距离，梯度耗散可以解释为，CL在减小正例对距离的情况下，保持了正例对和负例对距离，而其他损失仅仅减小了正例对距离。我们在两种分解形式的四个优
EVA 是目前最大的中文开放域对话预训练模型，拥有28亿参数，在 WDC-Dialogue 上预训练而成。该数据包含14亿个多领域的上文-回复对。实验表明 EVA 在自动指标和人工指标上都超越了现在其他的中文预训练对话模型。官网：智源开源开放平台 (wudaoai.cn)github：GitHub - BAAI-WuDao/EVAPaper link:https://arxiv.org/abs/2
大型语言模型的最新进展已经展示了它们在各个领域的卓越泛化性。然而，他们的推理能力仍有很大的提高空间，特别是在面对需要多步骤推理的场景时。虽然大型语言模型拥有广泛的知识，但它们的推理往往不能有效地利用这些知识来建立连贯的思维范式。这些模型有时表现出幻觉，因为它们的推理过程不受逻辑原则的约束。为了提高大型语言模型的零枪思维链推理能力，我们提出了LoT (Logical Thoughts)，这是一个自我
本文提供并开源了一个基于预训练隐马尔可夫模型（HMM）的汉语拼音序列转汉字语句序列程序及数据集。项目地址：https://github.com/duyu09/Pinyin2Hanzi_HMM
注意力掩码：下一步，要让模型理解[PAD]标记只是为了匹配标记的长度，而不是实际标记的一部分。我们将所有位置的注意力掩码值设置为1，将[PAD]标记的位置设置为0，如下所示。填充：为了保持所有标记的长度一致，我们将数据集中的所有句子的标记长度设为7。句子I loveParis的标记长度是5，为了使其长度为7，需要添加两个标记来填充，即[PAD]。ID 101表示标记[CLS]，1045表示标记I，
讲解预训练模型之自然语言理解的改进：THU-ERNIE
注意力机制说白了就是要通过训练得到一个加权，自注意力机制就是要通过权重矩阵来自发地找到词与词之间的关系。因此肯定需要给每个input定义tensor，然后通过tensor间的乘法来得到input之间的关系。那这么说是不是给每个input定义1个tensor就够了呢？不够啊！如果每个input只有一个相应的q，那么q1和q2之间做乘法求取了a1和a2的关系之后，这个结果怎么存放怎么使用呢？而且a1和
依照官网的使用文档，使用transformers进行fine-tuning。基本全部都是按照文档来，类似于翻译版。
ChatGPT通过微调技术可以帮助用户更有效地使用自己的语料库来训练出一个更加准确、可靠的定制化自然语言模型，以适应特定的使用场景。这篇博客就是主要给大家分享官方的详细微调ChatGPT模型的步骤，供大家参考。
每天给你送来NLP技术干货！作者｜王晓磊机构｜中国人民大学高瓴人工智能学院博士一年级导师｜赵鑫教授方向 | 对话系统和预训练模型来自 |RUC AIBox近年来，以 BERT...
QLORA方法的核心在于其能够在不牺牲16位微调任务性能的前提下，通过4位量化预训练语言模型，显著降低微调65B参数模型所需的内存使用量。
注意力机制详细解读，让你一次性搞懂注意力机制的原理。
预训练学知识，指令微调学格式，强化学习对齐人类偏好；所以要想大模型有领域知识，得增量预训练。
目前，从bert的应用来看，已经在对话系统、机器阅读理解、搜索、文本分类等几乎大多数 NLP 应用领域快速应用，并在部分应用领域取得了突破性的效果提升。1. BERTBERT基于一种相对较新的神经网络结构——Transformers，使用一种叫做“Self-attention”的机制来捕捉单词之间的关系。Transformers中没有卷积(如CNNs)或递归操作(如RNNs)(“Attenti..
大家对注意力机制多少都有所耳闻，毕竟在自然语言处理（NLP）和大型语言模型（LLM）领域，2017年，《Attention Is All You Need》这篇论文是里程碑式的存在；几乎所有的LLM都是基于注意力机制构建的，甚至最新的多模态或基于视觉的模型也在某种程度上都运用了它；今天，我们将深入探讨注意力机制。
【Transformers模型加载手册】掌握Hugging Face 四个加载预训练模型的方法，解锁预训练模型的全场景应用！从基础架构加载（AutoModel）到任务头适配（CausalLM/Seq2SeqLM），从自定义模型扩展技巧到pipeline一键推理，深度解析不同场景下的最佳实践。
本文以Seq2Seq架构为切入点，深入解析注意力机制核心逻辑。针对传统Seq2Seq模型存在的“编码瓶颈”问题，引入注意力机制，详细阐述其在Seq2Seq中修改后的运作流程与计算细节。进一步揭示注意力机制的本质思想，即模拟人类选择性聚焦，通过动态权重分配实现信息筛选与上下文感知。在此基础上，从Seq2Seq的计算过程自然引出Query、Key、Value框架，说明其对注意力机制的抽象升级作用，并介
gpt-2 生成文本A template for fine tuning your own GPT-2 model. 用于微调您自己的GPT-2模型的模板。GPT-3 has dominated the NLP news cycle recently with its borderline magical performance in text generation, but for ever..
【代码】爬虫文本数据清洗。
我之前看别的解决方法，还以为是编译torch的cuda版本（我的版本是torch2.3.0+cu118）与服务器配置的cuda版本不一致（cuda11.1）导致的，后来安装了对应的cuda又配置了环境变量，版本什么的都对应好了，结果还是报错，最后一看，是这个包导入问题T^T。这个挺脑溢血的，首先是fairseq官方仓库的Readme中没有明确指定apex库与fairseq库安装的相对位置，其次是f
在图3.1中，我们展示了第2节描述的8个模型的训练曲线。对于这个图表，我们还包括了6个额外的超小型模型，参数数量少至100,000。正如[KMH+20]中观察到的，当有效利用训练计算时，语言建模性能遵循幂律。在将这个趋势再延伸两个数量级之后，我们观察到只有轻微（如果有的话）偏离幂律。有人可能会担心，交叉熵损失的这些改进只是来自于对我们训练语料库中的虚假细节的建模。然而，我们将在以下部分看到，交叉熵
（roman urdu小语种为例）link: https://www.kesci.com/home/competition/5c77ab9c1ce0af002b55af86/content/1本练习赛所用数据，是名为「Roman Urdu DataSet」的公开数据集。这些数据，均为文本数据。原始数据的文本，对应三类情感标签：Positive, Negati...
注意力机制摘要：本文系统介绍了注意力机制的工作原理和应用场景。传统的长文本处理存在信息弱化问题，而注意力机制通过参数少、速度快、效果好等优势解决了这一痛点。其核心原理是基于Q(查询)、K(键)、V(值)三要素，通过计算相似度、归一化权重和融合价值三个步骤实现。注意力机制分为软注意力、硬注意力和自注意力三种类型，在编码器和解码器中分别用于特征提取和信息聚焦。文中还详细阐述了三种具体计算方法，并提供了
大模型lora微调原理
Clause项目QQ交流群：809987971， 点击链接加入群聊ClauseChatopera Language Understanding Service，Chatopera 语义理解服务Clause 是帮助中小型企业快速而低成本的获得好用的语义理解服务的系统。Clause 是 Chatopera 团队自主研发及使用其他商业友好的开源软件的方...
银行回单识别技术通过AI实现财务凭证数字化处理，广泛应用于企业财务、金融科技、审计等领域。其技术流程包括图像预处理、关键区域定位、OCR识别、信息结构化等环节，能有效提升数据处理效率和准确性。然而面临银行回单格式多样、图像质量差、印章干扰等技术挑战，需结合人工复核保障金融级精度。该技术正推动企业财务管理数字化转型，未来随着AI发展将实现更高效的自动化处理。
2. 模型选取，用baichuan2-13b-chat作为预训练权重，推理的时候总是头部输出我要的内容，但是输出总是无法停止，就算训完一个epoch也是这样，很怪异，研究半天，不知道所以难，干脆放弃，采用不带cat的baichuan2-13b作为预训练权重，这次很快出结果，只要iter 100次保存下来的模型，输出也是我想要的内容，所以就不换了，暂时用baichuan2-13b。主要是llama2
大型语言模型（LLMs）在自然语言处理（NLP）领域取得了突破性进展，但微调这些模型以适应特定任务时，常常难以平衡性能和保持通用指令遵循能力。在本文中，认为任务数据集和LLM之间的分布差距是主要原因。论文提出自蒸馏微调（SDFT）方法，通过模型自身生成的数据集来指导微调，以减少灾难性遗忘（catastrophic forgetting）并保持模型的有用性和安全性。实验结果表明SDFT在多个基准测试
LQR的二自由度车辆LKA算法，基于carsim ，simulink联合仿真，包含详细算法推理 （图文显示状态方程建立过程，matlab代码 simulink模型和carsim模型，可以在carsim或trucksim中实现车道跟随效果，可二次开发在自动驾驶领域，车道保持辅助（LKA）算法至关重要，今天咱们来深入聊聊基于线性二次型调节器（LQR）的二自由度车辆 LKA 算法，并且看看如何通过 Ca
《自然语言处理-基于预训练模型的方法》笔记文章目录《自然语言处理-基于预训练模型的方法》笔记@[toc]〇.写在前面一、绪论(一) NLP 任务体系I.任务层级II.任务类别III.研究层次(二) 预训练的时代二、NLP 基础(一) 文本表示I.独热向量II.分布式表示III.词嵌入表示IV.词袋表示(二) NLP 任务I.语言模型II. 基础任务III. 应用任务(三) 基本问题I. 文本分类问
微调大模型，尤其是在自然语言处理（NLP）和计算机视觉（CV）领域中使用的预训练深度学习模型，涉及到调整预训练模型以使其适应特定任务的过程。这通常比从头开始训练模型要快得多，也需要更少的数据。
时间到了2014年，那是word2vec问世的第二年，Bryan Perozzi[1]创造性地提出了DeepWalk，将词嵌入的方法引入图嵌入，将图嵌入引入了一个新的时代，文章首图就是以该文章的截图，向作者致敬。DeepWalk提出了“随机游走”的思想，这个思想有点类似搜索算法中的DFS，从某一点出发，以深搜的方式获得一个节点序列。这个序列即可以用来描述节点。参照下图：
特别是，对于复杂的问答任务，一种有效的方法是基于示例的思维链(CoT)推理提示，这大大提高了LLM的性能。借鉴基于不确定性的主动学习方法（Gentile等人，2022年）的相关问题，我们引入了几种指标来刻画模型对每个问题的预测中的不确定性。利用u，我们选择不确定性最大的n个问题，并由专家注释这些问题以制定新的示例E。应用LLMs的一种典型方式是通过提供一系列指令和示例进行上下文学习（Brown等人
通过合理设置 Lora 微调参数、有效解决训练过程中出现的问题，并采用科学的评估方法，我们能够显著提升模型性能，使其在特定任务上表现出色，同时保持良好的通用性和泛化能力。这一系列优化措施为模型在实际应用中的可靠运行提供了有力保障，希望本文的经验分享能为自然语言处理领域的研究和实践提供有益的借鉴。# 假设已经有训练损失和验证损失的列表数据plt.show()通过这样的曲线，我们可以直观地看到损失的波
现在很多研究的NLP问题都可以转换成一个Sequence to Sequence模型来解决，比如说机器翻译，智能问答，语音识别等。Sequence to Sequence模型由一个encoder和一个decoder组成，encoder完成编码工作，将不同的输入编码成一个定长的向量，decoder则完成解码工作，对编码器的结果进行解码输出，例如在中英文翻译中，首先编码器将中文编码成一个向量表示，接
主流微调方法原理和优劣对比
nlp
——nlp
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
乐奇 Rokid 开放社区
天工造物局
