登录社区云，与社区用户共同成长
邀请您加入社区
本文以"自然语言处理（NLP）"为核心，整合了三部分内容——（一）NLP编程文档，以四大名著案例为参照，系统梳理NLP程序的功能、设计思想、核心库与输出结果；（二）以小说《回到过去变成猫》为实战对象，手把手编写了一套涵盖分词、词频统计、词性标注、饼状图/柱状图/关系图/词云可视化、自定义词典、人名/地名/武器统计的完整NLP程序；（三）探讨AI嵌入式编辑器（如Trae+DeepSeek、Claud
本文介绍了自然语言处理中的语言模型概念，重点讲解了n-gram语言模型的工作原理。文章首先阐述了语言模型的核心任务是预测下一个词的概率分布，并详细说明了如何通过n-gram方法和马尔可夫假设来简化计算。接着分析了n-gram模型面临的稀疏性问题及其解决方案（平滑和回退），最后讨论了文本生成过程和n-gram模型的局限性（上下文窗口有限导致逻辑不连贯）。文章指出这些局限性正是推动神经网络语言模型发展
本文介绍了自然语言处理中的词嵌入技术，重点讲解了Word2Vec模型及其两种变体CBOW和Skip-gram。文章阐述了词嵌入如何解决one-hot编码的高维稀疏问题，通过训练学习词的特征向量，使语义相近的词在向量空间中距离接近。详细说明了神经语言模型、层次softmax和负采样等训练方法，以及它们在序列建模中的应用。最后介绍了序列到序列模型及其在机器翻译中的实现，包括编码器-解码器结构、束搜索和
外层循环 (Epoch): 控制对整个数据集的遍历次数。内层循环 (Update Step / Micro-batch)它是一个复合结构，服务于梯度累积。外半部分按“优化步”迭代，决定了的调用频率。内半部分按“micro-batch”迭代，执行实际的前向/反向传播，并将梯度累积起来。这种设计将数据迭代（epoch）、模型更新（update step）和梯度计算（micro-batch）清晰地分离开
摘要：本文详细介绍了基于BERT的中文掩码语言模型(MLM)实现过程。主要包括：1) 使用Hugging Face的BertTokenizer和BertModel加载预训练模型；2) 自定义数据预处理函数collate_fn2，构建包含[MASK]的输入序列和对应标签；3) 设计包含线性输出层的MyModel模型架构；4) 采用AdamW优化器和交叉熵损失进行模型训练；5) 实现模型评估流程。关键
我是一个刚刚开始接触这一领域的新手，说的不对的地方，请多指正。我的系统是ubuntu 24.10本文是我在看了几个教程都翻车了之后，摸索出来的。
Transformers是一种基于注意力机制的深度学习模型架构，由谷歌团队在2017年首次提出。该模型架构在自然语言处理（NLP）领域取得了显著成就，并迅速扩展到计算机视觉、语音处理等其他领域。Transformers的核心在于其独特的编码器-解码器结构、多头注意力机制以及位置编码。它通过并行计算多个自注意力子层来捕捉输入序列中不同位置之间的依赖关系，从而有效地建模长距离依赖。位置编码的加入则解决
Coconut方法通过在传统CoT过程中引入一个简单的修改来实现潜在空间的推理。具体来说，Coconut将最后隐藏状态（即“连续思维”）直接作为下一个输入嵌入，而不是将其解码为词令。
我们进行了一系列实验，在一系列推理基准上比较了所提出的自一致性方法与现有方法。我们发现自一致性大大提高了所考虑的每个语言模型的推理精度，跨越了广泛的模型尺度。任务和数据集。我们在以下推理基准上评估自一致性。3•算术推理。对于这些任务，我们使用了Math Word Problem Repository (KoncelKedziorski等人，2016)，包括AddSub (Hosseini等人，20
我们提出了一种轻量级的自适应方法，可以有效地将LLaMA微调为指令遵循模型。lama - adapter采用52K自指导演示，在冻结的LLaMA 7B模型上只引入1.2M可学习参数，在8个A100 gpu上进行微调花费不到一个小时。具体来说，我们采用了一组可学习的自适应提示符，并将它们添加到更高的转换器层的单词令牌中。然后，提出了一种带有零门控的零初始化注意机制，该机制自适应地将新的教学线索注入到
增强语言模型(ALMs)将大型语言模型(LLMs)的推理能力与允许知识检索和操作执行的工具混合在一起。现有ALM系统触发LLM思维过程，同时以交错的方式从这些工具中提取观察结果。具体来说，LLM调用外部工具的原因，暂停以获取工具的响应，然后根据前面的所有响应令牌决定下一个操作。这种范例虽然简单且易于实现，但由于冗余提示和重复执行，通常会导致巨大的计算复杂性。本研究首次解决了这些挑战，提出了一种模块
（对应 “ai”）（
语言模型建模是针对句子建模，主要分为掩码语言模型和自回归语言模型。我们从corpus中截取一句话作为例子，这句话是bpe分词后的句子：1994 年 5 月 17 日 安全 理事会 第 33@@ 77 次 会议 通过掩码语言模型的主要机制是：例如将33@@ 77这两个分词做掩码，这样句子变成了1994 年 5 月 17 日 安全 理事会 第 [MASK] [MASK] 会议 通过。
我们研究了语言模型执行组合推理任务的能力，其中整体解决方案依赖于正确组合子问题的答案。我们衡量模型能够正确回答所有子问题但不能生成整体解决方案的频率，我们称之为组合性差距。我们通过提出多跳问题来评估这一比率，这些问题的答案需要组合在预训练期间不太可能同时观察到的多个事实。在GPT-3系列模型中，随着模型大小的增加，我们发现单跳问答性能比多跳问答性能提高得更快，因此组合性差距没有减小。这个令人惊讶的
DB-CHATVannaDAIL-SQL。
本文介绍Phi-3-mini模型，拥有3.8B参数且训练样本为3.3T词元（token），其整体性能与Mixtral 8x7B和GPT-3.5等模型相媲美。Phi-3的创新完全体现在用于训练的数据集上，是phi-2所使用数据集的扩大版本，由严格筛选的网络数据和合成数据组成。该模型还进一步针对健壮性、安全性和聊天格式进行了调整。本文还提供了一些初始的参数缩放结果，使用了为4.8T词元训练的7B和14
(写在文章前，我是一个对NLP感兴趣的小白，这篇文章是阅读论文时的粗略笔记～～)百度的ERNIE系列模型，其没有对网络模型本身进行结构上的大改动，而是着重于如何构造合理的预训练任务，以及如何更好地利用数据构造无监督的训练集。本文主要从各模型的原理、优点、缺点、解决了什么问题等方面来讲述百度ERNIE1.0\ ERNIE2.0\ ERNIE3.0的进化历程，并对比了模型之间的区别与联系。个人理解浅显
根据字母搭配出现的频率组成词根。初始vocabulary：["b", "g", "h", "n", "p", "s", "u"]然后计数字母搭配出现的频率，比如"hu"=10+5=15次，"ug"=10+5+5=20次，"un"=12+4=16次每次选取频率最高的搭配进行更新vocabulary，那么此时vocabulary：["b", "g", "h", "n", "p", "s", "u","
生成式方法使用深度学习模型，如Transformer、seq2seq模型（如带有注意力机制的LSTM）等，训练模型预测每个单词作为摘要一部分的概率，从而生成连贯的新颖摘要。文本摘要生成是自然语言处理（NLP）中的一个重要任务，目标是从原始文本中提取关键信息并形成一个简短且保留核心内容的摘要。抽取式方法从原文中直接挑选出重要的句子或片段组合成摘要，通常基于文本的重要性评分，如词频、句子位置、句间关联
HuggingFace transformers中文文档
说明：本人是在jupter notebook导入pyhanlp，但碰到的问题可能也会在pycharm中出现(别问为什么!如果此时，能够使用，恭喜你，成功了，但是你如果还没有，别急，我就是这样过来的，继续看下去。此时我们需要指定安装的位置，且安装的位置就是上面提示的位置，以。别急，看它上面的意思就是需要在原先的基础上更新一下就好了。所以还是要静下心来好好去看看出了什么问题呀~~~此时，你可能可以成功
本文围绕GPT-4与ChatGPT的基础认知及应用开发展开，介绍大语言模型的基本概念、工作原理与典型用途，梳理GPT-4作为语言模型与ChatGPT作为对话产品的区别和联系。结合智能问答、内容创作、文本处理、代码辅助等场景，讲解提示词设计、多轮对话及接口调用的入门思路，帮助读者理解如何将模型能力转化为实际应用。同时关注模型幻觉、信息准确性、隐私保护与使用边界，引导读者客观看待大模型的优势与局限，建
在如下路径中找到这两个文件 dependency_versions_table.py 和 dependency_versions_check.py，可在其中查看transformers要求的依赖包及其版本。
如果想在自然语言处理（Natural Language Processing，NLP）领域内脱颖而出，那么你一定不能错过 ChatGPT 的 5 大自然语言模型：LM、Transformer、GPT、RLHF 和 LLM。这些模型是 NLP 领域中最为重要的基础，涵盖了语言模型、预训练模型、生成模型等关键知识点。即使你是一个 NLP 小白，也可以轻松理解这些模型的原理和特征！所以，如果你想成为一个
复旦大学开源对话语言模型MOSS部署笔记
基于网络速度原因，使用 Acaconda 配置虚拟环境安装包时的另外两种方法。
NNLM神经网络语言模型简单实现词语预测（含python代码详解）
huggingface transformers; 默认缓存目录
Embedding阶段使用Doc2Vec生成词向量，并用随机森林进行baseline训练
按照pytorch官网的seq2seq例子整理了一下，使用GRU作为编解码器实现了带注意力的seq2seq模型，代码和数据集已上传到github，有需自取：https://github.com/JingBob/attention-seq2seq一、attention seq2seq简介网上已有很多讲解，这里不仔细展开，具体可参考《全面解析RNN,LSTM,Seq2Seq,Attention注意力机
《Attention is all you need》《注意力机制是大家需要掌握的》
BERT输出两个张量#outputs[0]是last_hidden_state, 是基于token表示的， 对于实体命名、问答非常有用、实际包括四个维度[layers, batches, tokens, features]#outputs[1]是整个输入的合并表达， 形状为[1, representation_size], 提取整篇文章的表达， 不是基于token级别的#outputs一共四个属性
【原文链接】【源码链接】1、Transformer简介 Transformer提出自谷歌2017年的论文(Attention is all your need)不同于之前使用RNN、LSTM、GRU、CNN来作为encoder和decoder，Transformer完全使用注意力机制的模型。之所以选择弃用循环神经网络，是因为循环神经网络的每一次运算，都需要上一时刻的隐藏态数据，导致计算不能并行，
from transformers import BertTokenizer, BertModeltokenizer = BertTokenizer.from_pretrained('hfl/chinese-bert-wwm')text = '在此基础上，美国试图挑拨伊朗和伊拉克关系。'tokenizer_out = tokenizer.tokenize(text)print(tokenizer_
关于transformer的原理，这里就不多说，主要还是结合论文中的图来对代码进行一下讲解。看这张图，其实可以看到最核心的部分就是下面这一块：关于讲解，我就直接写在代码里面，用中文来对其进行详细的一个介绍。相对应的代码如下：class ScaledDotProductAttention(nn.Module):''' Scaled Dot-Product Attention '''def __ini
我们今天开始分析著名的attention is all you need 论文的pytorch实现的源码解析。由于项目很大，所以我们会分开几讲来进行讲解。先上源码：https://github.com/Eathoublu/attention-is-all-you-need-pytorch大家可以先自行下载并理解。今天是第一讲，我们先讲解数据的预处理部分：preprocess.py项目结构...
作者：chen_h微信号 & QQ：862251340微信公众号：coderpai该系列将描述一些自然语言处理方面的技术，完整目录请点击这里。这个教程，我们将要讨论语言模型的关键问题：给定一个语料库，我们如何学习到概率 p？ 在这一部分，我们将利用马尔科夫模型来解决这个问题。1.1 马尔科夫模型对于确定长度的序列问题考虑一个随机变量序列，X1, X2, ...
好久没有写文章了，主要在忙老板关于电网方面的专利，侧重于数学建模。还是很头疼的。今天主要是《数学之美》系列中的第三章关于NLP的内容。主要侧重于对古德-图灵模型的讲解，主要网上的讲解实在不全，几波看下来，基本都是同一人文章的转载，这里我详细介绍下。肯定有不足，欢迎大家给出意见。如需转载，请标明转载出处北工大xuxi
参考 https://www.zhihu.com/question/40309730 NLP通常包括两个关键问题：1.选择什么样的语言模型？2.选择什么样的分类算法？第二个问题是机器学习领域的标准问题，各种针对不同数据类型、数据分布的算法和技巧，这里不再赘述。而在NLP当中，语言模型更加重要一些。不同语言模型的区别，也就是对文本提取特征的不同。常用的模型有：1.
模型可能在缺乏事实支撑时“编造答案”；：只能依赖训练时的存量知识，无法覆盖最新或垂直领域的信息。这时，成为解决方案。→从外部知识库找到相关信息；→把检索结果交给大模型回答问题。这种“检索+生成”的组合，不仅能降低幻觉率，还能让模型更快适应新的知识场景。本期推荐和鲸社区创作者@云逸～分享的《LangChain RAG系统实战》项目，其完整演示了如何结合与，从数据索引到接口服务，搭建出一个可落地的RA
本文介绍了智能体框架中事实数据从前端到后端的传递机制。后端通过Pydantic模型结构化提取事实数据，并封装为事件流，利用SSE协议实时推送到前端。系统采用异步事件驱动架构，通过会话服务和状态同步确保数据可靠性，同时定义了标准化的数据格式和事件类型，便于前后端协作。前端接收后解析验证数据，实现交互式展示,实现了高效、可靠的事实数据传递，解决了跨系统协作中的格式混乱、实时性和可靠性问题。
MCP（模型上下文协议）是Anthropic推出的开放标准协议，旨在统一LLM与外部工具的交互框架。其核心设计包括解决数据孤岛问题、支持动态双向交互，采用客户端-服务器架构，包含主机、客户端和服务器三层角色。工作流程支持上下文保持和多步骤任务。开发者可通过SDK快速构建MCP服务，支持标准化流程和SSE协议，并能将本地服务发布到公网。该协议为AI工具集成提供了类似USB-C的通用接口方案。
win11机器本地部署deepseek-r1-7b模型
鲁棒性指的是模型对于输入数据的扰动、噪声、异常值或对抗性攻击的抵抗能力。一个鲁棒的模型能够在面对这些不利因素时保持其性能。
KV Cache是一种为大模型量身定制的推理加速技术。为什么？因为大模型推理的逻辑是：根据当前轮输入tokens预测并输出下一个token，这两者拼接就得到了下一轮的输入，每一轮只比上一轮增加了一个token。这意味着当前轮包含了上一轮的部分计算。上一轮中每一层的key和value被当前轮复用，而不是重新计算，就能加速推理过程，这就是KV Cache的作用。随着KV Cache的广泛使用，大模型的
Decoder-Only、Encoder-Only 和 Encoder-Decoder 是三种常见的神经网络架构，主要用于自然语言处理（NLP）任务。它们在结构和应用上有显著的区别。应用： 通常用于序列到序列（seq2seq）任务，如机器翻译和文本摘要。应用： 通常用于生成任务，如语言模型和对话系统。应用： 通常用于理解任务，如文本分类和情感分析。代表模型： Transformer、T5。描述：
这篇论文研究了如何通过生成一系列中间推理步骤（即思维链）来显著提高大型语言模型进行复杂推理的能力。论文展示了一种简单的方法，称为思维链提示，通过在提示中提供几个思维链示例来自然地激发这种推理能力。论文中提到，思维链推理能力与模型规模相关，只有大型模型才能有效地生成思维链。这篇论文通过示例学习的方式，利用大型语言模型自动生成思维链，从而提高了其推理能力。通过学习这些示例，模型可以学会在遇到新的推理任
简单文本生成代码
Transformer中解码器decoder的详细讲解（图文解释）
python函数报错：Process finished with exit code -1066598274 (0xC06D007E)
nlp
——nlp
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
AtomGit AI 社区
乐奇 Rokid 开放社区
