登录社区云，与社区用户共同成长
邀请您加入社区
本文详细讲解了Transformer的两大核心模块：多头注意力(Multi-Head Attention)和层归一化(Layer Normalization)的实现原理与PyTorch代码。多头注意力通过拆分特征维度为多个头并行计算注意力，增强模型表达能力；层归一化则对特征维度进行标准化，稳定训练过程。文章包含完整的代码实现、形状变化图解、复杂度分析以及测试示例，帮助读者深入理解现代大模型的底层机
实际训练时建议全局批次大小$B_{\text{global}} = N \times B_{\text{local}}$，其中$B_{\text{local}}$为单卡批次大小。
昇腾ATB：Transformer模型的端到端加速框架 ATB（Ascend Transformer Boost）是昇腾针对Transformer类模型推出的专用加速库，提供从底层算子到高级优化的全栈加速能力。其三层架构包括： 基础算子层：提供MatMul、GELU等原生算子，但存在显存带宽瓶颈； 图算子层：通过算子融合（如FlashAttention、LayerNorm+GELU）减少显存访问，
摘要： ATB（Ascend Transformer Boost）是昇腾官方推出的Transformer加速库，提供端到端优化能力。其三层架构包括：基础算子层（原始算子）、图算子层（融合算子）和Plugin层（自动优化）。通过算子融合（如FlashAttention）、内存复用和计算重排，显著提升性能。实测显示，ATB Plugin O3优化可使吞吐量提升6.7倍，显存占用降低44%。支持PyTo
本文详细介绍了如何使用PyTorch和TD3算法在CarRacing-v2环境中实现高效强化学习。从图像预处理到CNN网络设计，提供了完整的实战指南，包括跳帧策略优化、赛道边界检测、梯度稳定技巧等关键步骤，帮助开发者避开常见陷阱，提升AI在赛车游戏中的表现。
orchestrator 是 KernelAgent 系统中的一个核心组件，负责协调和管理多个工作进程(worker)，实现并行执行任务并从中选择最优结果。Fuser/orchestrator.py 文件实现了 Orchestrator 类，用于多进程协调任务执行。其功能用一句话概括：fork N 个Worker竞赛，首个 PASS胜出，其余终止，产物打包返回。动词选择差异Rewrite：重新编写
在本节中，我们深入讨论了如何利用神经网络近似Q值，以及这种近似方法带来的额外复杂性。在深度Q网络 (Deep Q Network, DQN) 部分，还介绍了几种提高 DQN 训练稳定性和收敛性的技术，包括经验回放缓冲池、目标网络和帧堆叠机制。最终，我们将这些扩展技术整合为一个完整的 DQN 实现方案，成功解决了 Atari 游戏系列中的 Pong 环境。
在大模型推理服务的性能调优过程中，精准定位计算瓶颈、分析算子执行效率与资源利用率是提升系统吞吐与响应速度的关键。vLLM-Ascend作为基于昇腾NPU的高性能推理框架，集成了Ascend PyTorch Profiler能力，支持从框架层到硬件层的全栈性能数据采集。本文以Qwen3-32B模型为例，详细介绍如何在v0.14.0rc1版本中配置并采集在线服务的profiling数据，涵盖环境准备、
本文探讨了化工过程故障诊断中传感器网络拓扑结构的关键作用。针对传统深度学习方法忽视物理连接关系的问题，提出了一种融合工艺知识与图神经网络的新方法。通过构建包含52个节点和84条边的工艺流程知识图谱，设计了两个互补模型：无监督图自编码器用于故障检测，监督注意力时空图卷积网络用于故障分类。该方法将工艺流程拓扑显式编码为邻接矩阵，使模型能够理解故障传播路径，解决了纯数据驱动方法缺乏物理可解释性的问题。实
混合精度训练是加速深度学习模型训练的一个宝贵技术。它不仅加速了浮点运算，还节省了 GPU 内存，因为训练批次可以转换为 FP16，从而节省了一半的 GPU 内存。通过 PyTorch 的 amp 库，额外的代码可以减少为三行，因为权重复制、损失缩放、操作类型转换等都由库内部处理。然而，混合精度训练并没有真正解决 GPU 内存问题，特别是在模型权重大小远大于数据批量时。一方面，只有模型的某些层被转换
本文详细介绍了使用PyTorch复现DIN（Deep Interest Network）模型的实战经验，包括数据预处理、模型构建和训练优化的关键技巧。通过动态序列填充策略、改进的Dice激活函数和注意力权重可视化等方法，有效解决了复现过程中的常见问题，并提供了完整的代码和亚马逊数据集处理技巧，帮助开发者高效实现DIN模型。
本文介绍了一个基于PyTorch框架的102种花卉图像分类系统。该系统使用包含102类花卉图像的数据集，通过自定义Dataset加载器读取图像路径和标签，并采用数据增强技术进行预处理。模型采用预训练的ResNet50架构，通过修改全连接层适配102分类任务。训练过程使用交叉熵损失函数和Adam优化器，配合学习率调度器优化训练效果。文章详细说明了数据集的目录结构、模型构建方法以及完整的训练验证流程，
本文档介绍斯坦福大学 CS336《从零开始的语言模型》课程的 5 个作业内容及其作用，帮助学习者了解这门硬核实践课程的核心训练环节。
subgraph_extractor.py 是 KernelFalcon 实现 “PyTorch 模型子图提取 + 形状签名去重” 的关键组件，核心职责是通过 Fuser 生成融合代码后，借助 LLM 解析并提取模型中唯一的计算子图（按形状 / 算子 / 权重特征去重），最终输出标准化 JSON 格式的子图信息。这一模块体现了 “Agent 端到端优化” 中 “精准子图识别” 的关键能力。
本文提供了PyTorch CUDA设备不可用错误的全面解决方案。主要内容包括：1) 快速解决方法（强制加载到CPU）；2) 根本解决方案（检查修复GPU环境）；3) 最佳实践（使用state_dict方式）。文章还涵盖特殊设备处理（AMD显卡和Apple M芯片）、完整解决方案代码、预防措施和常见问题排查。关键建议是使用state_dict方式保存和加载模型，以确保最佳兼容性。适用于遇到PyTor
伪精度案例：当余弦相似度为 1 时，算子就一定没问题吗？在模型转换（ONNX → OM）过程中，精度比对是验证模型正确性的关键环节。本文记录了一个典型的“伪精度”问题案例，供参考。在精度比对中，通常使用随机输入（如）生成测试数据，这会引入大量小数点后的微小差异。但在实际业务场景中，模型的输入是固定的、符合真实分布的，并不会出现这些极端边界情况。
Gradient梯度就是对cost(w)求倒数 g = ∂cost(w)/∂w ，代表当前函数cost(w)的趋势Update w = w - a * g（a --- 学习率）= w - a * ∂cost(w)/∂w 梯度开始下降，迭代过程就是根据梯度实现若g<0，此时cost(w)单调减，则w👉；若g>0，cost(w)单调增，则w👈（都是往下降方向走）由于本质是贪心，所以不一定得到全局最
千问0.5B实现简单的对话机器人
该文介绍了一个基于AI的病虫害智能识别与管理系统，支持白星病、花叶病等4种常见病虫害检测。系统采用YOLO目标检测算法，结合DeepSeek、Qwen等大模型进行智能分析，提供实时对话功能。技术栈涵盖SpringBoot、Vue3等前后端框架，实现用户分级管理（管理员可查看所有记录，普通用户仅限个人数据）。系统提供完整YOLO格式数据集、训练权重、详细部署教程，并支持实时视频/图片检测功能。界面支
本文探讨了Transformer位置编码中使用exp-log转换而非直接pow运算的原因。通过数学推导证明两者等价性：$e^{-\ln(10000)\times\frac{2i}{d_{model}}}=\frac{1}{10000^{\frac{2i}{d_{model}}}}$。测试表明在常规模型维度(512-4096)下pow不会溢出，真正原因是GPU计算性能优势（exp-log快10倍）和
从 80% 到 95%，差的不是算力，而是对数据和模型底层逻辑的理解。显存管理：永远不要一次性把大量数据塞进 GPU，善用 DataLoader。尺寸适配：不要盲目 Resize。对于小尺寸图片，保持原尺寸并配合数据增强，往往比强行拉伸到 224×224 效果更好。希望这篇踩坑实录能帮你避开这些弯路，祝你的模型训练 Loss 狂降，准确率飙升！
Root Mean Square Layer Normalization
PyTorch 是目前学术界最流行的深度学习框架，Facebook 出品，动态图机制让调试变得无比简单。学完本文，你将掌握：张量（Tensor）的创建与操作自动求导（Autograd）原理DataLoader 数据加载神经网络模块（nn.Module）搭建模型完整训练循环的4个步骤知识点核心函数重要程度张量创建5星张量操作5星自动求导5星DataLoader5星神经网络5星GPU加速4星优化器4星
本文分享了HarmonyOS6天气应用桌面卡片开发中遇到的圆角白边问题及解决方案。在深色壁纸上，2x2卡片四角出现1-2像素白边，原因是圆角设置不匹配（22vp而非规范的18vp）。通过分析HarmonyOS卡片圆角规范，提出动态计算圆角值、使用vp单位、设置安全区域等优化方案，最终实现视觉完美适配。文章详细记录了问题定位、代码修改和测试验证过程，并总结了遵守系统规范、单位一致性、全面测试等关键经
训项目三 搭建 GPU 加速的 PyTorch 环境并测试运行一、实训目的通过综合运用系统配置、软件安装与调试等技能，独立完成支持 GPU 加速的 PyTorch深度学习开发环境的完整搭建与验证，形成解决深度学习环境配置与依赖问题的工程实践能力，培育严谨细致、自主排错、规范操作的职业素养。二、实训内容1. 安装 Anaconda，创建并激活独立的 Python 虚拟环境。2. 根据本机显卡型号，查
本文解析了PyTorch中sizes_strides_user函数的动态安装机制及其实现原理。该函数作为对外暴露的入口函数，会根据输入参数类型选择不同处理路径：若参数包含SymInt，则调用SymNode对应方法并包装返回结果；若参数为sympy.Expr或Python整数，则直接调用预定义的评估函数。文章详细介绍了通过setattr将函数动态安装到模块的过程，以及参数类型转换和结果包装的关键实现
本文深入剖析了PyTorch中torch.add(a,b)调用的完整执行路径，揭示了其核心调度机制。PyTorch通过七层抽象完成调用，关键组件是Dispatcher系统，它基于TensorImpl中的DispatchKeySet（64位掩码）动态决定算子执行路径。文章详细讲解了：1）PyTorch的三层架构（c10/ATen/torch）；2）Tensor作为轻量级手柄的设计；3）Dispatc
本文详细介绍了将YOLO模型(.pt)转换为RK3588 NPU可执行RKNN模型的全流程。首先在Windows/WSL环境下通过ultralytics将.pt转换为ONNX格式，再使用rknn-toolkit2将ONNX转换为RKNN模型。重点说明了环境配置要点，包括WSL使用建议、Miniconda安装、Python虚拟环境创建，以及rknn-toolkit2的安装验证方法。同时提供了ONNX
本文介绍了seq2seq模型的概念及其在机器翻译中的应用。seq2seq是一种编码器-解码器架构，能够处理变长输入输出序列，通过RNN将输入序列编码为固定长度的上下文向量，再解码为目标序列。文章详细讲解了编码器和解码器的工作原理，包括隐状态转换、上下文变量生成和条件概率计算。同时提供了数据处理方法，包括英语和法语句子的读取与预处理，为后续构建词表和制作数据集做准备。最后强调了训练过程中使用交叉熵损
HarmonyOS 6.1 引入全新流量增长引擎，通过AppGallery归因服务和AppLinking深度链接实现全场景精准分发。关键特性包括：无标识符隐私归因覆盖PC/TV设备、双向域名校验安全跳转、优先级权重控制(index参数)实现极速直达、延迟链接支持PC端无缝激活。采用三层架构设计(生命周期感知层、全局状态层、路由交互层)确保高性能转化，助力企业构建合规高效的流量闭环增长系统。
摘要： HarmonyOS 6.1的ArkWeb全面升级至Chromium M132内核，提供高性能、安全的混合开发解决方案。核心能力包括Web页面集成、浏览器场景支持和小程序宿主应用，覆盖九大功能方向，如生命周期管理、JS双向通信和安全防护。其多进程架构（应用进程、渲染进程等）确保稳定性与性能优化。关键生命周期回调（如onControllerAttached、onLoadIntercept）为开
本章陆鸣将强化学习应用于能源动态调度，从Q-learning到深度Q网络（DQN），再到策略梯度方法，并首次使用PyTorch框架实现自动求导与GPU加速。核心是让AI在试错中学会最优决策。
本篇是我训练营的第二次学习，主要目标是使用 PyTorch 实现CIFAR10 彩色图片识别。如果说 P1 周主要是用 MNIST 手写数字识别来跑通“数据导入 → 模型构建 → 模型训练 → 结果可视化”的完整流程，那么 P2 周就是在这个流程基础上，把任务从灰度图数字识别推进到彩色图像分类。这周的数据集变成了CIFAR10。它不再是简单的黑白手写数字，而是包含飞机、汽车、鸟、猫、鹿、狗、青蛙、
经过两次卷积和池化：第一次卷积后：28→26（因为卷积核 3，无 padding），然后池化：26→13。然后优化器（比如 SGD）会根据这个“差的程度”去调整模型的内部参数（权重），让下一次猜测更接近正确答案。这其实是一个多分类的学习任务，相当于利用CNN神经网络进行图片特征提取、识别，最终对图片进行10分类（0-9）。：转成浮点数（True→1, False→0）并求和，得到这个 batch
本文介绍了昇思MindSpore为PyTorch用户提供的低代码迁移方案，通过API语义对齐、自动转换工具和硬件加速支持，实现高效国产化迁移。方案包含环境配置、语法适配、模型转换等全流程，仅需少量代码修改即可在昇腾NPU平台运行，保持与PyTorch高度兼容的同时获得性能提升。实战示例展示了从导入替换到训练部署的完整迁移过程，验证了该方案在保持精度前提下可提升50%+训练速度，支持动态图调试和静态
unsqueeze操作
在深度学习的高阶领域，理解Transformer的底层实现是区分“调包侠”和“算法工程师”的关键。本文将带你进行一次硬核的进阶之旅。我们首先深入剖析输入部分的词嵌入与位置编码，接着揭秘多头注意力机制（Multi-Head Attention）与掩码（Mask）的底层逻辑，然后逐步构建编码器（Encoder）、解码器（Decoder）以及最终的输出生成器。文章基于PyTorch框架，包含完整的代码注
pytorch
——pytorch
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
AtomGit开源社区
深开鸿 技术专区
AMD开发者中国社区
葡萄城开发者空间
DeepSeek技术社区
HarmonyOS开发者社区
