登录社区云，与社区用户共同成长
邀请您加入社区
本文系统梳理了语言模型的演进历程：从2003年NNLM首次用神经网络替代统计模型，到2013年Word2Vec通过简化架构实现效率突破（CBOW聚合上下文预测中心词，Skip-gram中心词预测上下文），再到2018年BERT采用深层Transformer实现动态语境建模。模型发展呈现从静态词向量到动态上下文表示、从局部窗口到全局双向理解的趋势。不同模型在计算效率、语义捕捉、一词多义处理等方面各具
负采样是一种用于优化词向量训练的技术，主要应用于CBOW和Skip-gram模型。其核心思想是通过随机采样少量负样本（中心词与非上下文词组成的词对），将原始的多分类问题转化为二分类问题，模型通过区分正样本和负样本来更新词向量。负采样策略通常基于词频，高频词更可能被选为负样本，并通过词频的3/4次方进行平滑处理。负采样的优势在于显著降低了计算复杂度，从O(V)降至O(K+1)，提升了训练速度，同时增
到目前为止，我们进行了word2vec的改进。首先说明了Embedding层，又介绍了负采样的方法，然后对这两者进行了实现。现在我们进一步来实现进行了这些改进的神经网络，并在PTB数据集上进行学习，以获得更加实用的单词的分布式表示。下面开始更加进一步的改进，如果遇到问题，可以问Deepseek，我都觉得有些地方不需要我来解答了，哈哈！当然最重要的，希望能留下各位的三连加关注！！！一、这里的类推问题
RNNLM克服了前馈 NNLM 的某些局限性，例如需要指定上下文长度（模型 N 的阶数）。这段讲的是NNLM首先接受N个词项的输入，每个词项都是one-hot编码，在投影层通过N×D的投影矩阵，然后在隐藏层接着运算，最后输出层回到V，也就是词典的大小，输出表示概率，是进行了归一化操作的，就是概率都在0-1之间，和为1，这里分析了由于投影层数据的稠密性，在投影层和隐藏层计算的复杂度很高，虽然可以在最
自然语言处理（NLP）是一种涉及到处理语言文本的计算机技术。在NLP中，最小的处理单位是词语，词语是语言文本的基本组成部分。词语组成句子，句子再组成段落、篇章、文档，因此处理NLP问题的第一步是要对词语进行处理。在进行NLP问题处理时，一个常见的任务是判断一个词的词性，即动词还是名词等等。这可以通过机器学习来实现。具体地，我们可以构建一个映射函数 f(x)->y ，其中 x 是词语， y 是它们的
本文介绍了自然语言处理中两种主流句法分析方法：成分句法分析和依存句法分析。成分句法分析通过嵌套结构组织词语，而依存句法分析则直接描述词间二元关系。文章详细阐述了依存句法的形式化定义、约束条件和关系类型标注，并探讨了如何利用依存结构消除句法歧义（如介词短语附件歧义和协调范围歧义）以及提取语义信息。最后介绍了从传统转移算法到神经网络解析器的技术演进，以及评价解析器的UAS和LAS指标。文章来自作者博客
为了学习到这个查询表，Word2Vec设计了一个巧妙的"伪任务"——根据上下文预测中心词（或反之），并在这个过程中，将词向量查询表作为模型参数进行训练和优化。不会使用它的输出，真正需要和保留的，只有作为其内部参数的那个 词向量查询表。神经网络结构本身只是获取词向量的一种方式，并非模型的最终目的。尽管Word2Vec是里程碑式的算法，但存在一个根本性的局限性——它产生的是静态词向量。由于One-Ho
自然语言处理是人工智能的重要分支，核心目标是让计算机能够理解、解释和生成人类日常使用的自然语言（如中文、英文），最终实现人与机器之间的自然语言交流。如果用一句话概括其意义：NLP就是教机器“读懂人话”。如果一个人连“读懂人话”都做不到，何谈更复杂的任务呢？在NLP中，模型的输入不是“你好世界”这样的字符串，而是一串离散的“token”。分词就是将连续的自然语言文本切分为最小语义单元——token。
摘要： 多模态大语言模型（MLLM）历经十年（2015-2025）演进，从早期视觉与语言的简单拼接（如CLIP），发展到2023年冻结骨干与指令微调（如BLIP-2、LLaVA），最终实现2025年的原生全模态统一（如GPT-4o）。关键技术突破包括跨模态逻辑推理、亚毫秒级流式响应，以及eBPF驱动的内核级安全审计，解决了多模态交互的实时性与物理安全性问题。2025年的MLLM已具备长视频处理、统
摘要： LangChain从2022年诞生到2025年经历了技术架构的快速演进：早期（2015–2021）依赖硬编码和提示词胶水代码；2022–2023年通过模块化设计和RAG范式成为AI开发基座；2025年则升级为基于LangGraph的云原生系统，支持状态管理、循环推理和内核级编排（如eBPF实现安全审计与流量控制）。其核心跨越包括：从线性链到图架构的推理逻辑、动态知识获取、工具调用的自动化，
扩散模型十年演进：从数学构想到物理引擎 2015-2025年，扩散模型完成了从理论构想到通用模拟器的跨越。早期（2015-2019）基于非平衡热力学，解决数学框架问题但效率低下；2020-2023年，DDPM和潜在空间技术突破使其超越GAN，成为视觉生成主流；2025年，DiT架构和世界模型使其具备物理规律理解能力，结合eBPF内核级安全审计，实现实时生成与深度伪造防御。十年间，扩散模型从单纯降噪
摘要： Meta的Llama系列大模型在2023-2025年间经历了三大技术跃迁：从开源突破（Llama 1打破闭源垄断）、商业化合规（Llama 2/3对标GPT-4），到2025年多模态原生与系统级融合。Llama 4实现音视频文本统一表征，通过eBPF内核审计实现物理级安全管控，1.58-bit量化技术使其嵌入边缘设备。其演进路径从“开源挑战者”升级为具备内核感知、实时安全审计的“数字基座”
一、前言1、理解Word2Vec之Skip-Gram模型二、实战1、数据源：cvpr2016_flowers，国内下载比较麻烦，数据量也不多，建议用其它数据2、数据处理class Text:def __init__(self):self.data_name = 'text_c10'self.file_list = self._ge
本文用通俗易懂的方式讲解了RNN和词嵌入的工作原理及其在文本生成中的应用。RNN被比喻为"会记忆的神经网络"，能够记住之前的信息来处理序列数据；词嵌入则是将词语转换为数字向量，使计算机能理解语义关系。两者结合可构建文本生成模型，文中提供了一个完整的唐诗生成项目实例，包含数据处理、模型训练（使用LSTM）、诗歌生成和Web界面展示。项目采用字符级建模避免分词难题，支持普通生成和藏
粒子群优化支持向量机SVM，最小二乘支持向量机LSSVM，随机森林RF，极限学习机ELM，核极限学习机KELM，深度极限学习机DELM，BP神经网络，长短时记忆网络 LSTM，Bilstm，GRU，深度置信网络 DBN，概率神经网络PNN，广义神经网络GRNN，Xgboost .....这玩意儿就像给大厨找最佳调料配比——模型本身是厨具，参数就是那勺盐、半勺糖，调对了味儿才能出好菜。这段代码骚操作
Word2Vec是word to vector的简称，字面上理解就是把文字向量化，也就是词嵌入 的一种方式。它的核心就是建立一个简单的神经网络实现词嵌入。其模型仅仅包括输入层、隐藏层和输出层，模型框架根据输入输出的不同，主要包括 CBOW和Skip-gram模型。
关系是否可以提供一些额外信息，不止是考虑entity的特征，还可以考虑关系。基于近朱者赤 近墨者黑的假设重点关注GCN，GAT卷积将相邻的节点的特征聚合起来作为该节点的输出。
看完了代码部分，这节课又将告一段落了。这是我们关于自然语言处理的第二节课程，当然这两节课程只是介绍了自然语言处理浩如烟海的知识中很小的一部分，但是我希望通过这两小节课程的学习，你能够对自然语言处理有一个初步的了解。在这节课里面，我们介绍了 Word2Vec 算法，从原来的 OneHot 编码讲起，到 Word2Vec 的基本原理以及 Word2Vec 的两种工作模式。不过，这里所介绍的都是最浅显的
神经网络的基本原理和，word2vec的文章（有监督神经网络模型）的两个子模型skip-gram和CBOW模型。案例介绍和说明。
基于Pyspark的分类器训练（ML库，使用sql.DataFrame），处理文本数据。
目录一、word2vec原理二、word2vec代码实现（1）获取文本语料（2）载入数据，训练并保存模型① # 输出日志信息② # 将语料保存在sentence中③ # 生成词向量空间模型④ # 保存模型（3）加载模型，实现功能（4）增量训练最近要用到文本词向量，借此机会重温一下word2vec。本文会讲解word2vec的原理和代码实现。本...
基于高频方波电压注入零低速IPMSM无感控制算法simulink仿真模型①在估计的d轴注入高频方波电压来估计转子位置，具有较高的稳态精度和动态性能。该仿真调试效果不错，曾应用到实际电机中去。②阐述了 IPMSM 的 MTPA 控制原理，并在此基础上研究了 IPMSM 基于 高频方波电压信号注入法的无位置传感器控制算法。仿真结果表明基于高频方波 电压信号注入的无位置传感器控制方法具有不错的动静态性能
在AI绘画的世界里，Midjourney就像一把强大的魔法杖，但很多人用起来感觉像是在“抽卡”——输入几个简单的词，然后祈祷出图效果。我刚上手时也这样，生成的图时好时坏，完全看运气。精准出图的关键，在于构建一个结构化的“咒语库”。今天，我就把自己踩坑总结出的这套进阶咒语秘籍分享给你，让你从“抽卡玩家”变成“精准导演”。构建个人Midjourney进阶咒语库，本质上是将模糊的审美感觉，翻译成AI能精
优点说明维度可控自定义 N 维（如300），远小于词库 V语义学习从语料自动学习词语相似性与类比关系效率高使用查表（Embedding）代替矩阵乘法上下文感知同时利用前后 C 个词的信息预测中间词迁移能力强训练好的词向量可迁移到各种 NLP 任务CBOW 模型：输入：上下文 C 个词的 One-Hot → 嵌入层（查表）处理：C 个向量求平均 → 隐藏层（ReLU）→ 输出层（Softmax）输出
【摘要】Normalization（归一化/标准化）旨在解决不同特征量纲差异导致的问题。当特征数值范围差异大时（如身高1.5-2.0米vs体重40-100公斤），模型会偏向数值大的特征、训练速度变慢且易出现梯度爆炸。核心方法包括：1）Min-Max归一化（缩放到[0,1]），简单但对异常值敏感；2）Z-Score标准化（均值0、方差1），抗异常值但无固定范围；3）BatchNorm（神经网络层间标
word2vec
——word2vec
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
AtomGit开源社区
脑启社区
腾讯云开发者社区
开源鸿蒙跨平台开发者社区
