登录社区云，与社区用户共同成长
邀请您加入社区
在上一篇文章中，我们从整体上介绍了大语言模型的发展路线。大语言模型并不是突然出现的，它背后经历了一个长期演进过程：统计语言模型↓神经网络语言模型↓↓Seq2Seq↓Attention↓↓↓大语言模型如果想真正理解大语言模型，不能一上来就只看 GPT、LLaMA、Qwen 或 DeepSeek。我们需要先理解一个更基础的问题：为什么早期的 RNN、LSTM、Seq2Seq 结构不够用了？
分块因果DiT先验模型摘要 Cola-DLM提出了一种基于Transformer的连续隐空间扩散模型，将DiT架构从图像领域迁移到文本处理。模型核心包括： 架构设计：采用24层Transformer结构，通过PatchIn1D/PatchOut1D处理隐变量序列，使用AdaLN注入时间步信息。 关键组件： 时间步通过正弦嵌入+MLP编码 AdaLN实现条件归一化（scale-shift和gate-
本文系统介绍了循环神经网络(RNN)及其改进模型LSTM和GRU的核心原理与应用。首先阐述了RNN通过循环连接和权重共享处理变长序列的特性，分析了BPTT训练算法存在的梯度消失问题。重点讲解了LSTM通过遗忘门、输入门和细胞状态构建的"信息高速公路"机制，以及GRU通过更新门和重置门的简化结构。文章还探讨了RNN在序列建模领域的统治地位及其被Transformer取代后的转型价值，指出RNN在边缘
d_model = 64 # 特征维度，与模型定义一致batch_size = 32 # 批次大小：一次处理32个样本src_len = 12 # 源序列长度：如英文句子有12个词tgt_len = 7 # 目标序列长度：如中文句子有7个字src_vocab_size = 1000 # 源语言词表大小（如英文有1000个不同的词）tgt_vocab_size = 1500 # 目标语言词表大小（如
本文介绍了LSTM网络原理及其在气象数据预测中的应用。作者陈相樵是西安工程大学研究生，研究方向为无人机路径规划。文章详细阐述了LSTM通过门控机制解决RNN梯度消失问题的原理，包括遗忘门、输入门和输出门的工作机制。实验采用耶拿气候数据集，包含2009-2016年14种气象参数，分别实现了单变量（气压/温度）和多变量（温度、气压、湿度）预测。实验结果表明LSTM能有效处理长序列气象数据，并提供了完整
本文探讨了语言生成模型的三种范式：自回归（AR）、离散扩散和连续隐空间扩散。自回归模型（如GPT）通过链式法则逐token生成文本，具有训练高效但缺乏全局规划的缺陷。扩散模型在图像领域表现出色，但应用于离散文本面临挑战。研究者提出两种解决方案：离散扩散（如LLaDA）直接在token空间进行mask-and-predict操作，而连续隐空间扩散（如Cola DLM）通过VAE将文本映射到连续空间进
气温预测是时间序列分析中的经典问题，传统ARIMA模型难以捕捉长期非线性依赖。本文提出一种基于双向长短时记忆网络（Bi-LSTM）的日平均气温预测模型。利用DataShareClub平台提供的某城市2015‑2020年每日气象数据，构建了包含气温、湿度、风速、气压的四维特征输入，以过去30天的时序窗口预测未来24小时的平均气温。实验结果表明，Bi-LSTM模型在测试集上的均方根误差（RMSE）为2
通过使隐藏状态成为一个机器学习模型，并将更新规则设为自监督学习的一步，本文将监督学习表述为学习如何学习，包含两个嵌套循环。外循环与常规训练相同。外循环的参数是内循环的超参数。由于隐藏状态在测试序列上也会进行训练更新，这些层被称为TTT层
参考答案上下文长度是模型一次能处理的输入最大token数（如GPT-3为2048，GPT-4为8192或更多）。限制原因自注意力的 (O(n^2)) 计算复杂度，长文本推理慢且内存大。长文本中关键信息可能被遗忘。限制应用：无法直接处理整本书或多轮长对话，需用摘要或检索增强。
卷积神经网络（Convolutional Neural Network, CNN）是含有卷积层的神经网络，卷积层的作用是自动学习、提取图像的特征。层次作用卷积层（CONV）负责提取图像中的局部特征池化层（POOL）大幅降低参数量级（降维）全连接层（FC）输出CNN模型的预测结果给定一张图片，判断图片里是什么东西。最左边是数据输入层（去均值、归一化等预处理），中间经过卷积层+激活层+池化层的循环叠加
本文详细解析了Transformer模型中的位置嵌入机制。对于文本Transformer，位置嵌入解决自注意力机制的位置无关性问题，通过将位置索引编码为向量并与词向量相加，使模型理解词序。主流方法包括固定正弦编码和可学习位置嵌入。对于图像Transformer(ViT)，位置编码需处理二维空间关系，常见方法有1D顺序编码、2D行列编码和相对位置编码。关键区别在于：文本位置是词序索引，图像位置是pa
LangGraph的引入实现了分析流程的自动化与标准化，DeepSeek模型将冰冷的数字转化为了可执行的调度语言，而Streamlit则降低了技术使用门槛。Xinyu Feng 曾参与多个城市级智能交通数据采集与分析项目，在共享单车需求建模、时空数据挖掘方面积累了丰富的实战经验，擅长从多源异构数据中提取有效特征，并构建可落地的深度学习预测模型。：使用XGBoost的特征重要性属性，我们发现“过去一
本文探讨了神经网络如何处理时序数据（如语言）的核心问题。首先指出图像与语言的根本差异：图像是空间艺术，语言是时间艺术。为解决这一问题，文章介绍了词嵌入技术——用稠密向量表示词语语义特征，通过上下文关系自动学习词义（如Word2Vec模型）。重点阐述了分布式假设：语义相似的词会出现在相似上下文中，模型通过"完形填空"式训练自动捕捉这种模式。这种表示方法使机器能够量化词语间的语义关
本文提出了一种基于RNN-PSO（循环神经网络结合粒子群优化算法）的电力负荷预测方法。项目通过RNN捕捉电力负荷的时序特征，并利用PSO算法优化网络参数，显著提升了预测精度。主要内容包括： 数据预处理：对历史负荷数据进行清洗、归一化和滑动窗口处理，构建训练集和测试集。 模型构建：采用RNN网络结构，包含输入层、RNN层、Dropout层和全连接层，通过PSO算法全局优化网络权重和超参数。 优化策略
本文提出了一种基于LSTM-PSO-RNN混合算法的无人机三维路径规划方法。该方法结合长短期记忆网络(LSTM)的时序建模能力、循环神经网络(RNN)的局部路径优化特性以及粒子群优化(PSO)算法的参数自动调优功能，在复杂三维环境中实现高效路径规划。系统首先通过环境建模构建三维栅格地图，利用LSTM学习全局路径特征生成初始轨迹，再由RNN进行局部精细化调整，最后通过PSO优化网络结构和路径参数。M
深度学习在水文水质领域的应用方法，重点讲解Python工具包(TensorFlow、NumPy等)的使用技巧。内容涵盖前馈神经网络、卷积神经网络和循环神经网络(LSTM/GRU/Attention)三大模型，通过水位预报、水质评价等实际案例，详细演示模型构建流程和参数设置。特别针对大型水库水位计算等水动力学难题，对比传统方法与深度学习方案的优劣。教程采用可视化案例教学，避免复杂数学推导，使不同专业
我们使用PyTorch来构建LSTM模型。模型的输入维度为1（收盘价），隐藏层维度为32，输出维度为1（预测的收盘价）。return out。
文章摘要 本文详细介绍了如何利用LSTM神经网络预测高炉铁水硅含量。文章首先阐述了硅含量作为高炉冶炼"体温计"的重要性，对比了传统经验判断的局限性。随后深入浅出地讲解了LSTM的工作原理，特别是其独特的"遗忘门-记忆门-输出门"机制如何解决RNN的"健忘症"问题。在实战部分，文章重点介绍了高炉数据采集的多种传感器类型，并提供了完整的数据预
传统序列模型里，最基础的是 RNN，它通过循环隐藏状态把前文信息传给后文，适合处理有顺序的数据。如果把这道题压缩成一句话，那就是：RNN 让神经网络第一次真正具备了处理序列的能力，但它在长序列上容易遗忘早期信息，也容易出现梯度问题；GRU 在保留门控思想的同时做了结构简化，更轻量、更高效。真正高质量的回答，不是孤立背诵 RNN、LSTM、GRU 的定义，而是顺着“原理—问题—改进—比较—应用场景”
写这篇文章的时候，我特意去翻了一下2017年的代码仓库。当时用LSTM做机器翻译，一个3000万句对的模型要训练两周。现在同样的任务，Transformer只需要一天半，效果还好得多。自注意力机制的厉害之处不是它算力强，而是它让信息不再需要经过"压缩-解压"的过程。每个位置直接跟所有位置对话，没有中间商赚差价。这才是替代RNN的根本原因。如果你也想深入理解Transformer，我建议不要只读论文
在文本任务里，模型先面对的不是“句子有多复杂”，而是一个更基础的问题：单词怎么表示？最早的做法是 one-hot。比如词表里有 1 万个词，每个词就用一个长度为 1 万的向量表示，只有一个位置是 1，其余全是 0。它能区分“这个词是谁”，但无法告诉模型“这个词和另一个词像不像”。词嵌入就是把每个词映射成一个可学习的低维稠密向量。这样一来，语义相近的词，在向量空间里通常也更接近。比如“苹果”和“香蕉
在深度学习的世界里，名字不仅仅是一串字符，更是一个人文化背景的缩影。本文将带你从零构建一个“名字猜国籍”的AI系统。我们不使用任何预训练模型，而是基于PyTorch框架，利用RNN（循环神经网络）、LSTM（长短期记忆网络）和GRU（门控循环单元）三种核心序列模型，从字符级别对名字进行编码，训练一个能够识别18种不同国籍的分类器。文章详细解析了One-Hot编码、LogSoftmax激活函数以及模
本文介绍了基于RNN的时间序列预测方法，从基础概念到完整实现。首先阐述了时间序列的特点（时序性、自相关性等）和分析方法，包括数据加载、统计分析和可视化。然后详细讲解了RNN原理及其变体（LSTM、GRU等），重点分析了LSTM的门控机制。在实现部分，展示了数据预处理流程（清洗、归一化、序列生成）和PyTorch模型定义，包括LSTM层和全连接层的构建。文章提供了完整的代码示例，涵盖从数据准备到模型
Transformer相比RNN的三大优势：1）自注意力机制实现任意位置直接交互，解决RNN长距离依赖问题；2）信息传递无损耗，保持原始语义完整性；3）并行计算能力大幅提升训练效率。这三个质变使Transformer在自然语言处理领域实现突破性进展，成为当前大模型的核心架构。文章通过"喝汤"的生动类比，形象解释了RNN的顺序处理缺陷和Transformer的全局视野优势，指出其
以一个人名为输入, 使用模型帮助我们判断它最有可能是来自哪一个国家的人名
数据预处理：把文本转换成ID序列数据集构建：用滑动窗口生成(x,y)样本对模型结构：嵌入层→RNN层→全连接层训练过程：重点理解CrossEntropyLoss的维度要求和损失计算生成过程：逐字采样生成新文本。
摘要 自然语言处理(NLP)作为人工智能的核心领域，正经历从规则系统到深度学习的技术变革。大模型的出现重塑了行业格局，传统技术岗位需求减少，同时催生了模型优化和垂直应用的新机遇。NLP处理的核心是序列数据，包括时间序列和文字序列。文字数据需通过分词转化为数字表示，中文分词面临独特挑战，现有jieba、HanLP等工具采用词典、统计和深度学习方法。序列数据的处理需要考虑时间步和语义顺序，这对算法设计
本文深入剖析了三种经典神经网络激活函数：Sigmoid、Tanh和ReLU。Sigmoid函数输出范围(0,1)，适用于二分类问题，但存在梯度消失和非零中心化问题；Tanh改进为零中心化(-1,1)，但仍面临梯度消失；ReLU通过f(x)=max(0,x)解决了梯度消失，计算效率高，但存在"死亡ReLU"问题，为此衍生出LeakyReLU等改进版本。实际应用中，浅层网络可用Si
RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出.2.1 建模序列数据的时间依赖关系 2.2 处理变长输入输出2.3实现序列到序列的学习 按照输入和输出的结构进行分类:按照RNN的内部构造进行分类:1. N vs N - RNN: 2. N vs 1 - R
inline_LaTeX_Formula>W_{hh}<\inline_LaTeX_Formula > 是隐藏状态到隐藏状态的权重矩阵，<inline_LaTeX_Formula>W_{xh}<\inline_LaTeX_Formula > 是输入到隐藏状态的权重矩阵，<inline_LaTeX_Formula>b_h<\inline_LaTeX_Formula > 是偏置项。传统的前馈神经网络在
循环神经网络（RNN）：序列建模的奠基者
本文对比分析了神经网络中自注意力层、卷积层和循环层在长序列建模中的性能差异。自注意力层虽能全局捕获依赖关系，但存在O(n²d)的高计算复杂度；卷积层通过局部感受野实现线性复杂度O(knd²)，适合局部特征处理；循环层理论可建模全局关系，但面临梯度衰减问题。实验显示，当序列长度n=1000时，卷积层的计算时间和内存占用最优。针对不同场景，文章提出了混合架构方案和选型决策树：短序列用自注意力，长序列局
介绍了自然语言处理中的循环神经网络应用，并介绍了注意力机制。
Transformer、RNN 及其变体（LSTM/GRU）是深度学习中处理序列数据的核心模型，但它们的架构设计和应用场景有显著差异。以下从技术原理、优缺点和适用场景三个维度进行对比分析：plaintext（其中 σ 为 sigmoid 函数，⊙为逐元素乘法）GRU：将遗忘门和输入门合并为更新门，减少参数约 30%，计算效率更高。2. LSTM/GRU → Transformer：抛弃循环，引入注
通过 LSTM（长短期记忆网络）预测销量 是时间序列预测的常见应用场景，LSTM（长短期记忆网络，Long Short-Term Memory Network） 是一种特殊的循环神经网络（RNN），专门设计用于解决传统 RNN 在处理长序列数据时面临的梯度消失（或爆炸）问题，从而能够有效捕捉序列中的长期依赖关系。
当序列长度超过50步时，梯度在反向传播中呈指数衰减，导致模型难以学习到“The cat…sat on the mat”中开头单词与结尾的关联。解决了这一难题——它像人类阅读文本一样，将历史信息存储在隐状态中，逐时刻更新对上下文的理解。本文将深入探讨RNN的核心结构及其演进技术。在自然语言处理和时间序列分析中，传统神经网络难以捕捉数据间的时序关联。循环神经网络（RNN）通过引入。
如果你真的想学习人工智能，请不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！
本文介绍了一个基于PyTorch的中文情绪分类系统，支持RNN、LSTM和GRU三种神经网络模型切换。系统包含数据预处理（分词、词汇表构建）、模型训练与评估（支持GPU加速）、可视化UI界面和训练结果展示等功能。通过jieba进行中文分词，使用PyTorch实现神经网络模型，并提供完整的训练流程（包括损失函数计算和准确率评估）。该项目适合中文情感分析任务，代码结构清晰，可扩展性强，可作为文本分类任
TCN-RNN模型结合了时间卷积网络（TCN）和循环神经网络（RNN）的特点。TCN通过卷积操作有效提取时间序列数据中的局部特征，并具备并行计算能力，避免了RNN中的梯度消失或梯度爆炸问题。RNN则擅长捕捉时间序列数据中的长期依赖关系，通过记忆单元和门控机制（如LSTM或GRU）实现信息的持久化。将TCN与RNN结合，可以充分利用两者的优势，提高负荷预测的准确性和效率。
在现代工业生产和复杂系统中，故障的早期、准确识别与诊断对于保障系统安全稳定运行、降低维护成本、避免灾难性后果至关重要。然而，工业系统通常表现出高度的非线性、非平稳性以及复杂耦合特性，传统故障诊断方法往往难以有效应对。近年来，基于数据驱动的智能故障诊断方法，特别是结合了信号处理、特征提取和深度学习技术的混合模型，展现出强大的潜力。
循环神经网络（Recurrent Neural Network, RNN）是一种专门设计用于处理序列数据（如文本、语音、时间序列等）的神经网络模型。其核心思想是通过引入时间上的循环连接，使网络能够保留历史信息并影响当前输出。
🍨 本文为🔗365天深度学习训练营中的学习记录博客🍖 原作者：K同学啊可以通过动态调整学习率和增加正则层来提高测试准确率。
LSTM：参数量参数量是RNN的4倍：LSTM：输入输出和RNN相同。
课程讲解了循环神经网络（RNN）及其变体（GRU、LSTM）在自然语言处理中的应用。内容涵盖序列模型（自回归、马尔可夫过程）、数据预处理（独热编码、文本切分）、词嵌入（降维表示）及RNN实现（PyTorch示例）。重点分析了RNN的长期依赖问题，并引入GRU（更新门、重置门）和LSTM（遗忘门、输入门、输出门）优化信息流控制，同时介绍了深度和双向RNN结构。通过IMDB情感分析案例（准确率84.7
值得注意的是，2024年3月-2024年9月预测精度的持续提升，反映了模型通过长期训练逐步适应市场特征的学习能力。从整体趋势来看，GARCH预测价格（虚线）能够较好地跟踪实际价格（实线）的波动特征，特别是在2022年9月至2023年5月期间，模型预测值与实际价格的吻合度较高，表明GARCH模型对常规市场波动的捕捉能力较强。从理论角度来看，通过将传统计量经济学模型与现代深度学习技术相结合，本研究探索
rnn
——rnn
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
AtomGit开源社区
DeepSeek技术社区
全球具身智能开发者社区
openEuler 社区
2048 AI社区
脑启社区
