登录社区云，与社区用户共同成长
邀请您加入社区
敏捷开发中Scrum迭代的核心冲突源于开发效率与测试质量的博弈。通过多智能体决策工具的三层架构（感知层数据同步、决策层智能调解、执行层自动化协议），可有效解决目标错位问题，如某电商平台应用后版本争议减少70%。三大实战策略包括：工具链配置指南缩短测试周期40%、合规避坑方案、技术债量化管理。实施后调解效率提升50%，测试覆盖率增至85%。未来趋势指向一人公司模式和政策适配需求，如2026年AI测试
《因果推断：破解测试活动价值评估困境的新范式》摘要：在敏捷开发成为主流的背景下，软件测试团队面临价值证明难题。本文提出采用工业级因果推断技术构建量化评估体系，解决传统关联分析受混杂变量干扰的问题。通过四步法（构建因果图、倾向分匹配、双重稳健估计、敏感性分析）和平台化实践案例，展示如何准确识别测试活动真实价值。某电商平台应用该方案后，将无效测试投入从37%降至9%。随着AI技术发展，因果推断正成为测
摘要： 2015–2025年，机器人算法经历了从预设脚本到具身智能的跨越式发展。2015–2018年依赖高精度传感器与数学模型（如SLAM），但环境适应性差；2019–2022年深度学习主导，通过仿真训练实现柔性控制与视觉导航；2025年进入具身智能时代，多模态大模型（VLA）实现自然语言交互，eBPF内核技术保障物理级安全，触觉神经网络提升精细操作能力。核心跨越包括决策从数学方程转向意图理解，安
摘要： 2015–2025年，感知算法经历了从2D图像识别（CNN时代）到3D时空融合（BEV+Transformer）再到端到端认知（2025年）的三阶段跃迁。核心突破包括：BEV架构实现多摄像头统一感知、占用网络检测异形障碍物、端到端模型降低系统延迟，以及eBPF内核级安全审计确保实时可靠性。2025年的算法融合了物理引擎、世界模型和语义理解，成为自动驾驶与机器人的“高可信认知引擎”，从单纯模
ControlNet演进史（2015-2025）：从随机生成到精确控制 ControlNet的发展标志着生成式AI从"随机抽卡"向"像素级控制"的转变。2015-2021年为卷积控制期，基于GAN实现初步图像翻译但控制粗糙；2022-2023年ControlNet通过"副本支路"和"零卷积"实现扩散模型的精细控制；到2
通过深度解析ops-nn中LSTM的隐状态复用与流水线调度技术，我们看到了时序模型在NPU上优化的巨大潜力。硬件感知的设计（如利用NPU内存层级）和算法-架构协同优化（如时间步并行化）是提升性能的核心。随着多模态模型发展，这些技术可扩展至Transformer等架构，值得持续探索。参考链接注：本文代码示例基于CANN开源实现，实战数据来自内部测试环境。
在 CANN 架构下，数据在全局内存和本地内存中的排布方式直接影响到 Cube Unit 和 Vector Unit 的并行效率。LSTM 和 GRU 的细胞状态（Cell State）和隐藏状态（Hidden State）的精度直接影响模型长期依赖的建模能力。对于卷积神经网络（CNN）中的卷积操作，数据布局必须与硬件的 3D 计算单元（Cube Unit）的访问模式匹配。INT8 算子提供最高的
ops-nn 算子库是 CANN 架构中实现深度学习高性能计算的核心体现。它通过对 Cube 和 Vector 单元的指令级优化、对内存布局（如 NC1HWC0）的适配，以及深度融合技术，有效解决了计算密集型和访存密集型任务的性能瓶颈。理解这些底层机制，是充分利用异构硬件潜力，实现模型加速的关键。
其实回顾两张图片的结构差异，就能明白循环神经网络的进化逻辑：RNN解决了“神经网络能否有记忆”的问题，而LSTM解决了“如何让记忆更持久、更精准”的问题。对于我们AI应用开发工程师来说，理解它们的原理，不仅能帮我们在项目中快速选对模型（比如短文本用RNN省资源，长文本用LSTM保效果），更能为后续学习GRU（LSTM的简化版）、Transformer（当前NLP的主流模型）打下基础——毕竟，所有复
本文详细介绍了LSTM（长短期记忆网络）在股票收盘价预测中的应用。LSTM通过门控机制（遗忘门、输入门、输出门）和细胞状态解决了传统RNN的梯度消失问题，能有效捕捉时序数据的长期依赖关系。在股票预测场景中，输入为前10天收盘价（单特征或多特征），输出第11天预测值。文章详细拆解了LSTM的内部结构，包括各门控的运算公式和维度变换，并解释了其在股票数据中的实际应用逻辑。LSTM通过线性更新的细胞状态
传统序列模型（CNN/RNN/LSTM）与大语言模型（GPT/BERT）并非替代关系，而是互补关系：传统模型是序列数据处理的基础，解决了“从0到1”的序列特征提取问题，在低算力、小数据场景仍不可替代；大模型是语言理解的革命，通过Transformer和预训练范式解决了“从1到100”的通用语义建模问题，在复杂语言任务中展现出碾压性优势。作为开发者，需根据任务需求、数据规模、算力资源三者平衡选型：在
注意力机制是让神经网络能够动态地、有选择地关注输入中不同部分的计算方法。它模拟了人类的注意力行为：我们在处理信息时，会本能地聚焦于关键部分，忽略次要信息。是什么？注意力机制是神经网络的“选择性聚焦”系统，通过查询-键-值三要素，让模型能够动态地、有选择地关注输入的不同部分。为什么？信息瓶颈→ 动态上下文按需取用对齐困难→ 软对齐自动学习长距离衰减→ 直接连接任意位置怎么办？核心计算权重 = sof
摘要：Transformer架构是当前大语言模型(LLM)的核心基础，由Google团队在2017年提出，取代了传统的循环神经网络(RNN)。其核心创新在于：1）完全基于注意力机制，实现全局依赖捕捉；2）支持全并行计算，大幅提升训练效率；3）采用多头注意力设计，可同时建模不同维度的语义关联。原始Transformer采用编码器-解码器双塔结构，通过自注意力、前馈网络等模块堆叠实现序列建模。现代大模
编码器-解码器是一种用于处理序列到序列转换的神经网络架构。它将一个领域的数据（如文本、图像）编码为中间表示，再解码为另一个领域的数据。编码器：理解器，将输入压缩为抽象表示解码器：生成器，将抽象表示展开为目标输出核心先理解，后生成的架构模式。
RNN 像一个有“方向感”的探险家，靠经验走出第一步；Transformer 像一个“上帝视角”的规划师，但需要看到足够信息才能决策。如果你站在迷雾中的岔路口——RNN 更可能带你活下来。如果你愿意分享具体导航任务（网格大小？观测范围？是否动态？），我可以给出更定制的建议！场景 2️⃣：全观测 + 已知地图（如 A 路径规划、棋盘导航）* 智能体一开始就能看到整个地图 第一步需要直接选出最优方向（
窗外的麻雀 在电线杆上多嘴你说这一句 很有夏天的感觉周杰伦的歌词以其独特的意象和韵律，成为了一代人的青春记忆。你是否想过，有一天 AI 也能像“方文山”一样，写出充满“杰伦风”的歌词？本文将带领大家进入有趣的文本生成领域，使用 PyTorch 框架和循环神经网络（RNN），一步步训练一个能够生成周杰伦歌词的 AI 模型。我们将从数据准备开始，到模型构建、训练，最终实现自动化的歌词创作。本案例的核心
摘要：循环神经网络（RNN）是一类专为序列数据设计的神经网络，其核心创新是通过循环连接实现记忆功能。文章系统介绍了RNN的三层架构：基础理论（包括生物启发原理和数学表达）、三大变体（Vanilla RNN、LSTM和GRU）及其PyTorch实现，以及五大应用场景（时间序列预测、NLP、语音识别等）。针对训练挑战，提出了梯度裁剪、注意力机制等解决方案，并对比了RNN与Transformer的特性差
循环神经网络讲解（2）四、举个例子，方便理解：五、什么是LSTM：六、揭开LSTM神秘的面纱：#人工智能#具身智能#VLA#大模型#AI#LLM#Transformer 架构#AI技术前沿#Agent大模型#工信部证书#人工智能证书#职业证书
LSTM网络通过门控机制处理序列数据，主要符号包括：隐藏状态Ht-1（短期 Electricity记忆）、输入Xt intent(新信息)、细胞状态Ct-1（长期记忆）。三个关键门理念（输入(vote)门It للنهاية ceil遗忘门Ft、输出门Ot）通过sigmoid函数控[0,1]区间， WinSoftmax候选细胞状态使用tanh激活。更新过程：1）拼接Ht-1和Xt后进行加权和激活生
在 LLM 浪潮爆发之后，RAG (检索增强生成) 技术因其清晰的技术路径和相对可控的实施成本，成为企业快速落地 AI 应用的重要突破口。本文将分享我们在构建企业知识库智能问答系统过程中的实践历程：如何通过系统化的优化方法，将准确率从初期的 30% 提升到 90% 的实用水平。
本文系统梳理了长短期记忆网络(LSTM)的发展脉络。作为RNN的改进模型，LSTM通过门控机制解决了梯度消失问题，成为处理长序列数据的里程碑。文章分析了LSTM的核心创新、优势及其变体(如GRU、Bi-LSTM)，并对比了CNN/TCN和Transformer等新兴时序模型的特性。尽管Transformer在并行计算和长距离依赖方面表现优异，LSTM在小数据、低算力场景仍具优势。未来LSTM将向轻
所有代码、数据都经过实际业务校验，新手跟着做也能落地！最新的DeepSeek-r1/DeepSeek-V3用了多专家机制（MoE），总参数量6710亿，但每次计算只启用370亿参数，既保证推理准度（算技术指标、分析趋势不翻车），又不耗资源（普通电脑也能跑），特别适合股票量化分析这种“要精度也要速度”的场景。数据核心字段很清晰：日期（Date）、开盘价（Open）、最高价（High）、最低价（Low
本文对比分析了RNN和Transformer的并行化能力差异。RNN因时序结构特性无法并行计算，t时刻依赖前序所有信息。而Transformer通过自注意力机制使Encoder能够并行处理所有输入；Decoder则借助teacher forcing和masked self attention在训练阶段实现并行化。这种并行能力提升使Transformer在大模型训练中效率更高，尤其适合处理长序列数据
本文系统解析了Transformer架构及其革新意义。首先指出各类网络的核心目标均为特征提取，但方式各异：CNN采用局部窗口提取特征，存在"视野局限"；而Transformer通过自注意力机制实现全局特征交互，能动态捕捉长距离关联。回顾发展历程，2017年前NLP领域受限于RNN的三大缺陷：计算低效、长序列处理差和语境适应弱。Transformer的诞生解决了这些问题，其并行计
前言：前文介绍了RNN概念及其分类，本文讲解传统RNN。
本文将正式开启循环神经网络（RNN）的学习之旅，深入探讨为什么处理序列数据需要一种全新的架构。我们将从序列数据的本质特性出发，剖析 MLP 和 CNN 在处理这类数据时的核心局限性，并最终揭示 RNN 如何通过其独特的**循环结构**和**隐藏状态**机制，赋予神经网络“记忆”能力，从而有效地理解和处理序列信息。
1. 词嵌入层（将词索引转为向量）# 2. GRU层（n_layers=2层，bidirectional=False=单向）embedding_dim, # 输入维度（词嵌入维度）hidden_dim, # 隐藏层维度num_layers=n_layers, # 层数bidirectional=False, # 单向GRU（情感分析无需双向）dropout=dropout if n_layers
LSTM（长短期记忆网络）通过"记忆处理工厂"的机制有效处理长序列信息。其核心包含三个控制门：遗忘门决定保留多少旧记忆，输入门控制新记忆的准入，输出门筛选当前要传递的关键信息。通过六个关键公式，LSTM实现了"筛选旧记忆-生成候选记忆-更新核心记忆-输出关键信息"的完整流程。其中细胞状态（ct）作为长期记忆载体，通过门控机制实现信息的动态更新与传递，解决了传统RNN的梯度消失问题。这种结构使LST
作者通过实验对比了 Liger 与现有的各种模型架构线性化方法，结果表明 Liger 在训练成本都小于其它方法的前提下，仅需要 20M 训练词元的成本就能够恢复预训练 Transfomrer 大模型 93% 以上的性能，在各种语言建模任务均接近或超过现有的 SOTA 线性化方法，非常接近 Llama、Mistral 等 Transformer 架构的 LLM 表现。Liger 的核心目标是通过简洁
痴呆是一种进行性的神经退行性疾病，影响认知能力，包括记忆力、推理和沟通技能，导致日常活动和社会参与逐渐下降。鉴于近期大型语言模型（LLMs）如ChatGPT的出现，本文旨在全面分析它们在痴呆护理和研究中的潜在应用和用途。：为此，我们介绍了LLMs，概述了它们的关键特征、能力、局限性、潜在风险以及作为易于使用的软件（例如智能手机应用程序）部署的实际考虑因素。然后，我们探讨了与痴呆相关的各个领域，识别
LSTM：攻克长序列处理的神经网络利器 摘要： 为解决传统RNN在长序列数据处理中的梯度消失问题，长短期记忆网络(LSTM)通过引入细胞状态和输入门、遗忘门、输出门三大门控机制，实现了对信息流的精准控制。LSTM不仅能有效保留长期依赖关系，还在自然语言处理、时间序列预测和语音识别等领域展现出卓越性能。该文系统介绍了LSTM的起源发展、核心结构、工作原理及优势特点，并提供了入门学习路径建议。随着深度
摘要： 循环神经网络（RNN）是处理序列数据的核心模型，通过隐藏状态传递历史信息实现序列依赖建模。其核心结构在每个时间步接收当前输入和上一状态，通过时间展开形成链式结构。针对传统RNN的梯度消失问题，LSTM引入遗忘门、输入门和输出门增强长期记忆能力，GRU则通过简化门控结构提升效率。RNN在自然语言处理（文本生成、情感分析）、时间序列预测和语音识别等领域有广泛应用，但面临梯度不稳定和训练复杂度高
双向LSTM；LSTM 应用到双向RNN 中；双向 LSTM-CRF；双向 LSTM-CNNs；双向 LSTM-CNNS-CRF；
LSTM（长短期记忆网络）是一种特殊的循环神经网络，通过记忆细胞和门控机制（遗忘门、输入门、输出门）有效解决传统RNN的梯度消失/爆炸问题，擅长捕捉长序列依赖关系。其核心优势在于长期信息存储能力，广泛应用于自然语言处理（机器翻译、语音识别）、时间序列预测（股票、天气）等领域。虽然参数量较大、训练成本较高，但LSTM在序列数据处理中表现优异。文中还提供了基于PyTorch的正弦波预测实例，展示了LS
本文介绍了Seq2Seq（序列到序列）模型的基本原理及其在自然语言处理中的应用。Seq2Seq模型由编码器和解码器组成，通过编码器将输入序列转换为上下文向量，再由解码器生成目标序列。文章详细阐述了模型架构、数学公式及训练流程，并针对传统模型的不足引入了注意力机制。通过PyTorch代码示例演示了编码器、解码器和完整Seq2Seq模型的实现方法。该模型在机器翻译、文本摘要、对话系统和语音识别等领域有
2025.6.6，通义千问团队发布了 Qwen3-Embedding 和 Qwen3-Reranker 系列。
神经网络发展历程及Transformer技术解析 摘要：神经网络经历了从早期理论到现代应用的演进过程，主要里程碑包括M-P神经元模型、BP算法和卷积神经网络。当前神经网络已广泛应用于CV、NLP等领域，但仍面临可解释性等挑战。Transformer作为革命性架构，通过自注意力机制解决了传统RNN/CNN的固有缺陷，实现了序列处理的并行化。其核心组件包括多头注意力、位置编码和前馈网络等，在机器翻译、
长短期记忆网络（Long Short-Term Memory，LSTM）是一种特殊的循环神经网络（RNN），专门设计用来解决传统RNN在处理长序列数据时遇到的"长期依赖问题"（即难以学习到远距离时间步之间的依赖关系）。LSTM由Hochreiter和Schmidhuber于1997年提出，经过多年发展已成为处理序列数据的强大工具，广泛应用于语音识别、自然语言处理、时间序列预测等领域。
循环神经网络（RNN）以其独特的“记忆”能力，在处理时间顺序和前后关联的任务中表现出色。RNN能够记住前面的信息，逐步推理后续内容，因此在语音识别、自然语言处理（NLP）、文本生成与语音合成、时间序列预测、手写识别与笔迹输入以及推荐系统中的行为预测等领域有广泛应用。尽管近年来出现了更先进的模型如Transformer，RNN在实时性强、资源有限的应用中仍发挥着不可替代的作用。
LSTM我们主要把握好它的输入输出，以及门控机制的几个公式，就可以迅速掌握啦。如果之前了解过RNN的小伙伴就会知道，RNN天然有着许多不足，比如梯度爆炸和梯度消失的问题，不能解决长距离依赖。LSTM针对以上几点，通过门控机制对其作出了改进，使得LSTM大放异彩，同时有了很多变种，在NLP领域表现非常出色。
rnn
——rnn
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
2048 AI社区
DAMO开发者矩阵
昇腾开源生态专区
松山湖开发者村综合服务平台
火山引擎 ADG 社区
