登录社区云，与社区用户共同成长
邀请您加入社区
特性正则化 (L1, L2, 权重衰减)优化算法 (SGD, Momentum, AdaGrad, Adam)首要目标提高泛化能力，防止过拟合。控制模型复杂度。加速训练，促进收敛。高效找到损失函数最小值。作用对象模型参数 (θ) 本身。施加一个指向零的力。梯度 (∇L)。调整梯度的大小和方向用于更新。数学本质在优化问题中增加一个约束项（先验）。求解无约束优化问题的数值迭代方法。关键项-ηλ * θ
Transformer论文精读和从零开始的完整代码复现（PyTorch），超长文预警！将介绍模型架构中的所有组件，并解答可能的困惑
PyTorch神经网络参数初始化全攻略：深度学习模型训练中，参数初始化直接影响模型收敛性、训练效率和最终性能。本文系统讲解7种初始化方法，分为无法打破对称性（全零、全一、固定值）和可打破对称性（随机均匀、正态分布、凯明、Xavier）两类，重点剖析凯明初始化（适配ReLU）和Xavier初始化（适配Sigmoid/Tanh）的原理与适用场景。通过PyTorch代码演示各初始化方法的实现，并提供选择
摘要：本项目基于YOLOv8实现水果分级系统，包含完整代码、数据集、预训练模型及GUI界面。系统支持图像/视频实时检测，提供精确率、召回率等指标评估。采用PySide6+OpenCV开发简洁功能型界面，支持笔记本/USB摄像头输入。项目结构清晰，包含模型训练、验证和使用全流程，用户可选择直接使用预训练模型或重新训练。核心功能包括图像上传、目标检测、结果显示及坐标定位等。提供完整文档资料，开箱即用，
《基于YOLOv11的葡萄串检测系统》项目介绍 该项目实现了一个完整的葡萄串检测系统，采用YOLOv11目标检测算法，基于PyTorch框架开发。系统支持图像检测、视频检测和实时摄像头检测三种模式，并配有简洁实用的GUI界面（使用PySide6开发）。项目包含完整代码、训练数据集、预训练模型权重及训练指标图表。用户可直接使用提供的模型，也可通过修改data.yaml配置文件自行训练模型。系统部署支
这篇文章介绍了一个基于YOLOv8的公共安全监控系统项目。该项目包含完整的代码、数据集、预训练模型权重和GUI界面，支持目标检测、图像分类识别等功能。系统采用PyTorch框架实现，提供了模型训练、验证的完整流程，并展示了精确率、召回率等评估指标。GUI界面使用PySide6设计，简洁实用，支持图像检测和实时视频检测。项目结构清晰，包含数据预处理、模型训练、验证和应用展示等模块，可直接部署使用。文
本文介绍了一个基于YOLOv11的手势检测识别系统项目。该项目使用PyTorch框架实现，包含完整的代码、数据集、预训练模型权重和GUI界面。系统支持图像检测、视频检测以及实时摄像头检测功能。GUI界面采用PySide6设计，简洁实用。项目提供了详细的环境配置指南和训练流程：从数据集准备、模型训练到验证测试。数据集中包含丰富的手势图像样本，训练结果展示了良好的性能指标。整个项目打包完整，开箱即用，
本仓库开源了本人论文的 PyTorch 实现代码，目前这项研究还在进行中，欢迎感兴趣的研究者共同交流。该工作面向低比特率语音编解码场景下的 VoIP 隐写分析任务，重点关注在低嵌入率、短语音片段以及复杂嵌入条件下，隐写痕迹微弱、稀疏且容易被语音内容波动掩盖的问题。针对这些挑战，本文提出了一个融合嵌入率感知数据增强、原始流/校准流双分支建模、跨视图特征交互以及混合注意力特征精炼的深度神经网络框架。
训练时：计算损失 → 反向传播 → 更新参数验证时：只做前向传播 → 计算准确率 → 不更新参数特征工程：通过增加二次项，让简单模型也能学习复杂关系训练：要梯度，要更新参数，目的是学习验证/预测：不要梯度，不更新参数，目的是评估torch.no_grad() 就是切换这两个模式的开关。
必记原则：权重禁止全零 / 全一 / 固定值，仅偏置可设为 0；ReLU 系列：无脑选凯明初始化，深层网络最优；：选泽维尔初始化，梯度更稳定；浅层简单模型：均匀 / 正态分布随机初始化即可。参数初始化是深度学习的 “起点艺术”，选对方案，能让模型少走 90% 的弯路，从根源避免梯度陷阱与对称僵局，快速收敛到最优解。
迁移学习是一种将预训练模型的知识迁移到新任务的机器学习方法。文章详细介绍了迁移学习的核心概念、应用场景和实现策略，包括特征提取和微调两种主要方法。通过PyTorch代码示例展示了如何使用ResNet18进行迁移学习，包括模型加载、层替换、数据预处理和训练流程。关键点包括：1）冻结预训练层参数；2）替换全连接层适配新任务；3）合理设置学习率和优化器；4）使用数据增强防止过拟合。实验表明迁移学习能显著
的作用是在不牺牲模型精度的前提下，让注意力机制（Attention Mechanism）跑得更快、更省内存。核心痛点：传统 Attention 需要生成巨大的N×NN \times NN×N矩阵，导致 GPU 显存频繁在“慢速大内存 (HBM)”与“快速小内存 (SRAM)”间搬运数据。GPU 算力极强，但因为忙着搬数据，大部分时间在“空转”。核心方案将矩阵切成小块，在高速 SRAM 中完成计算，
增量学习（Incremental Learning，IL）场景中的遥感模型通常需要应对新出现的类和跨领域的特征转移，本文将这种综合挑战称为跨域 IL现有方法通常单独处理类 IL (CIL)或者域 IL (DIL)，无法有效处理跨域转换的重复类，并导致跨域的灾难性遗忘或特征错位。为了解决这一问题，本文提出了一种新的CDIL框架，它将具有领域特定的适配器模块（domain-specific adapt
本文系统介绍了大型语言模型（LLM）训练中的资源核算与优化技术。主要内容包括：1）计算资源估算方法，通过FLOPs公式计算训练时间与显存需求；2）张量数据结构及其内存管理策略；3）不同浮点类型（FP32/FP16/BF16/FP8）的特性与选择；4）计算效率指标（FLOPs、MFU）与优化方法；5）模型训练全流程，涵盖参数初始化、数据加载、优化器选择、混合精度训练等技术要点；6）检查点机制确保训练
总的来说，这一章的学习让学习者从一个只关注“模型如何工作”的初级开发者，开始向一个懂得“如何让模型高效工作”的工程实践者转变。工具化资源估算：学习并尝试使用如等工具，来实际监控和分析代码的显存占用，而不仅仅是停留在理论估算。混合精度训练：深入了解 FP16/BF16 混合精度训练的原理及其对内存和计算速度的影响。高级并行策略：学习数据并行、模型并行和流水线并行等分布式训练策略，探究它们如何突破单卡
本文介绍了一个基于YOLOv8的微表情检测系统，包含完整的项目实现。系统采用PyTorch框架，提供训练好的模型权重、数据集和GUI界面。GUI界面使用PySide6设计，支持图像检测、视频实时检测功能。项目结构清晰，包含模型训练、验证及性能指标展示模块。核心代码展示了图像上传、目标检测和结果显示功能。系统支持自定义训练，通过修改配置文件即可重新训练模型。整体项目打包完整，包含所有必要资料，可直接
《基于YOLOv11的樱桃病虫害检测系统》是一个完整的深度学习项目，包含图像/视频/实时摄像头检测功能。系统采用PyTorch框架实现，提供训练好的模型权重和GUI界面（基于PySide6开发），支持USB摄像头和笔记本摄像头接入。项目包含完整代码、数据集、训练记录和验证指标，用户可直接使用预训练模型或自行训练（通过修改data.yaml配置训练集路径）。GUI界面简洁实用，涵盖图像检测、视频处理
摘要：本项目基于YOLOv8实现了一个完整的交通标志检测识别系统，包含数据集、模型权重、GUI界面等功能模块。系统采用PyTorch框架，使用CCTSDB_2021数据集，支持笔记本/USB摄像头输入。项目提供完整的训练流程：数据准备→模型训练→验证→GUI界面展示。GUI采用PySide6+OpenCV开发，支持图像/视频实时检测，并展示精度、召回率等指标。系统可直接部署运行，包含详细的环境配置
本文介绍了一个基于YOLOv11的乳腺癌检测系统，使用PyTorch框架实现，包含完整代码、数据集、预训练模型和GUI界面。系统支持图像检测、视频检测及实时摄像头检测（可外接USB或笔记本摄像头）。项目结构清晰，提供模型训练流程：配置数据集路径、训练模型、验证权重和使用GUI界面展示效果。GUI采用PySide6+Python+OpenCV开发，界面简洁实用，包含图像/视频/实时检测功能模块。项目
本文介绍了深度学习模型微调过程中可视化工具TensorBoard和Weights & Biases(W&B)的使用方法。通过Python代码示例展示了如何集成这两种工具来监控训练指标、记录参数分布和保存模型结构。TensorBoard部分演示了标量、直方图、文本和图像等数据的记录方式；W&B部分则展示了项目初始化、指标跟踪和模型监控功能。文章还提供了一个统一日志接口类，可同时支持两种工具，
数据处理阶段：放心使用NumPy。它生态成熟，配合 Pandas/Matplotlib 处理 CSV、图像预处理非常方便。模型训练阶段：必须转换为PyTorch。利用其 GPU 加速和自动求导能力。避坑指南：不要试图把 GPU 张量直接转 NumPy。注意的内存共享特性，修改原数组可能会意外改变张量数据。矩阵乘法记得用或，别用。
大模型微调技术概述 本文介绍了大语言模型(LLM)微调的特点、挑战及实践方法。LLM微调面临参数量大(7B-180B)、数据需求变化、训练稳定性问题和推理部署复杂等核心挑战。解决方案包括QLoRA、梯度检查点等显存优化技术，以及LoRA等参数高效微调方法。文章详细演示了使用HuggingFace Transformers加载LLaMA、Qwen和ChatGLM等主流大模型的方法，并提供了支持4-b
摘要：参数高效微调（PEFT）技术与LoRA实战 参数高效微调（PEFT）技术通过仅微调少量参数（0.1%-1%）来适配下游任务，解决了大模型全量微调面临的显存占用大、训练速度慢等问题。主流PEFT方法包括Adapter、Prefix Tuning和LoRA，其中LoRA通过低秩分解矩阵实现高效参数更新，具有参数量小、推理无延迟等优势。实战部分展示了使用Hugging Face的peft库配置Lo
文章摘要：预训练模型加载与理解 本文介绍了预训练模型的加载方法与内部结构解析，重点涵盖两个主流模型库：TorchVision（计算机视觉）和HuggingFace Transformers（NLP）。通过代码示例演示了如何加载ResNet、ViT、BERT等典型模型，并比较了不同加载方式（torch.hub、from_pretrained）。文章还详细解析了模型结构，包括参数统计、层数分析等关键信
PyTorch模型微调基础与实践 摘要 本文系统介绍了PyTorch框架下的模型微调技术，包括基本概念、实现方法和实践指导。主要内容涵盖： 模型微调基础：解释了微调(Fine-tuning)的概念及其与从头训练的区别，阐述了迁移学习的基本原理，突出了PyTorch在微调任务中的优势。 微调策略：详细分析了全量微调、冻结主干网络和分层微调三种典型策略的适用场景和技术特点。 实践准备：介绍了PyTor
本文记录PyTorch从零搭建LeNet-5对8类果蔬分类的实践。数据集含苹果、香蕉、黄瓜、坚果、洋葱、橙子、草莓、番茄，每类50张训练、10张验证。首次训练准确率83.75%，但混淆矩阵显示苹果与草莓、洋葱与橙子严重混淆，苹果准确率仅60%，洋葱仅10%。通过增强数据增强（随机旋转、颜色抖动、随机裁剪）并设计辅助分类头（针对混淆对增加二分类损失），准确率提升至96.25%，苹果达90%，洋葱达1
本文介绍了使用PyTorch实现基于CNN的Fashion-MNIST图像分类任务。主要内容包括：1）数据预处理，将CSV格式数据转换为28×28张量；2）构建LeNet风格CNN模型，包含两个卷积层和三个全连接层；3）采用Xavier初始化优化参数；4）使用交叉熵损失和SGD优化器进行训练；5）实现了完整的训练循环，包括实时监控训练/验证指标；6）提供单样本预测和可视化功能。该实现展示了从数据处
从MHA出发，源码级推导MQA、GQA、MLA四种注意力机制的演进路径，用PyTorch实现每一种变体并给出完整的性能基准测试。重点解析DeepSeek MLA的低秩联合压缩原理与解耦RoPE设计
摘要：本文介绍了一个基于YOLOv11的水稻病害检测系统，采用PyTorch框架实现。系统支持图像、视频和摄像头实时检测，包含完整的数据集、预训练模型、GUI界面（PyQt5开发）及各项性能指标。项目提供了详细的模型训练和验证流程，用户可选择使用预训练模型或自行训练。系统功能包括病害检测、结果可视化及目标信息展示，检测速度可达0.3秒/帧。该项目提供完整的开发环境配置指南和全套资源，实现"
摘要：该项目基于PyTorch框架开发了一个枸杞虫害识别和防治系统，采用ResNet50、VGG16、ResNet34等卷积神经网络模型，支持模型融合对比。系统提供GUI（PySide6）和Web（Flask+Vue）两种界面，包含完整的训练测试流程、模型评估指标（准确率、召回率等）及可视化功能（热力图、特征图等）。项目提供完整代码、预训练模型和数据集，支持自定义数据集训练，适合图像分类相关研究和
本文深入解析了HarmonyOS应用开发中的日期时间处理问题。首先揭示了JavaScript中getMonth()方法返回0-11导致的月份显示错误问题，提供了手动加1和封装工具函数两种解决方案。其次，针对国际化需求，详细介绍了如何使用HarmonyOS的i18n模块实现日期时间的本地化格式化，包括基础使用和高级定制方法。文章还涵盖了时区处理技巧，介绍了时间转换工具类的实现。最后总结出四大最佳实践
摘要：本文介绍了一个基于YOLOv10的工地安全帽检测系统，采用PyTorch框架实现。项目包含完整代码、数据集、预训练模型权重、训练记录及PyQt5设计的GUI界面，支持图像、视频和实时摄像检测。系统实现步骤包括数据集路径配置、模型训练(train.py)、验证(val.py)和GUI界面运行(gui.py)。演示了检测效果界面、模型指标（准确率、召回率等）及核心检测代码片段，通过OpenCV处
摘要：本项目基于PyTorch框架开发了马铃薯病虫害识别系统，采用ResNet50、VGG16、ResNet34及模型融合技术，支持GUI和Web两种交互界面。系统实现了图像分类、模型可视化、热力图生成等功能，可输出训练曲线、混淆矩阵等评估指标。项目提供完整代码、预训练模型和数据集，支持自定义数据训练，包含详细的运行环境配置指南。关键技术包括PySide6、Flask、OpenCV等，适用于PyC
U-Net是一种革命性的医学图像分割模型，其U型对称架构结合跳跃连接，解决了小样本训练、边缘模糊和粘连目标分割三大难题。核心创新包括：1）编码器-解码器结构实现端到端分割；2）跳跃连接保留底层细节；3）加权交叉熵损失强化边界学习。实验表明，U-Net在少量标注数据下也能实现高精度分割，成为医学图像处理领域的里程碑模型。开源代码结构清晰，便于复现和应用推广。
本文记录了基于VGG16预训练模型的迁移学习实践。使用PyTorch框架，在自定义图像分类任务中，通过冻结预训练模型参数、修改最后一层全连接层适配新任务类别数，完成模型微调。实验流程包括：数据预处理（224x224尺寸调整、标准化）、训练集/测试集划分、模型结构调整、训练与评估（40个epoch）。结果显示模型有效收敛，测试准确率达到预期。文中详细介绍了迁移学习的关键步骤，包括参数冻结、学习率调整
在 NLP 领域，“序列”通常指一个由单词、字符或子词组成的有序列表。一句话就是一个序列，每个字/词按顺序排列。Seq2Seq 模型的核心就是理解输入序列的顺序结构，并生成与之对应的输出序列。在训练 Seq2Seq 模型时，我们使用一种名为Teacher Forcing（教师强制）的巧妙技术。为什么需要 Teacher Forcing？回想一下，解码器在生成过程中，每一步的输入是上一步的输出。在训
本文实现了一个房价预测模型，结合sklearn特征工程和PyTorch神经网络建模。流程包括数据预处理、特征工程、模型训练与结果可视化。使用Kaggle房价数据集，通过特征划分、标准化和One-Hot编码处理数值与类别特征，采用多层感知机(MLP)模型进行训练。关键优化包括对目标变量进行log变换缓解长尾分布，使用BatchNorm和Dropout提升泛化能力。实验结果表明该方法能有效预测房价，并
同时，需要不断实验和评估，找到最适合当前任务的优化组合，深度学习模型的训练和优化是迭代的过程，需要不断调整模型的参数和超参数来提高模型的性能。°，翻转，调整饱和度，部分剪切，批量提高饱和度，调整亮度，调整模糊度，调整噪声的方法生成额外的图片，增强数据集的数量，提升整体模型的泛化能力，如果模型针对同一类别识别性能较好，对其他类较差，则采用随机剔除的方法可以可以显著提升模型效能。引入了高效的部分自注意
文件只能在 PyTorch 运行的环境中使用，不能直接在 TensorFlow、OpenVINO 或 TensorRT 里运行。这时，ONNX（Open Neural Network Exchange）就必不可少。（如 TensorRT、OpenVINO、ONNX Runtime）部署模型时，ONNX 让你可以在不同平台上运行同一个模型，而不必依赖某个特定的深度学习框架。直接用 TensorRT
TensorFlow、PyTorch与Keras是深度学习的三大主流工具。Keras现为TensorFlow的高级API（tf.keras），而非独立框架。TensorFlow（含tf.keras）适合快速原型开发和生产部署，尤其在移动端和标准化任务中优势明显；PyTorch则以灵活性和动态计算图见长，是学术研究和前沿模型开发的首选。实际选型应基于需求：企业级MLOps和部署优先选TensorFl
为了提升模型导出的灵活性和通用性，避免每次导出都需要修改代码，需要定义基础的命令行传参，通过命令行输入参数的方式，配置模型导出的相关设置，无需修改代码即可完成不同参数的导出操作。
本文介绍了一个基于YOLOv8的铝材缺陷检测系统，采用PyTorch框架实现。项目包含完整代码、数据集、预训练模型权重、训练记录和GUI界面，支持笔记本或USB摄像头输入。GUI由PySide6开发，提供图像/视频检测功能，可显示检测结果及各项指标（精确率、召回率等）。系统支持直接使用预训练模型或重新训练，训练过程简单：修改数据集路径后运行train.py和val.py即可。项目结构清晰，包含数据
摘要：本项目开发了一个基于卷积神经网络的辣椒病虫害识别系统，采用PyTorch框架实现，包含ResNet50、VGG16、ResNet34三种模型及融合模型。系统提供GUI和Web两种界面，支持图像分类、模型训练和评估功能。核心功能包括：1）多模型对比训练；2）输出训练曲线、混淆矩阵等评估指标；3）生成热力图和特征可视化。项目提供完整代码、预训练模型和数据集，可直接运行使用，适用于农业病虫害智能识
在日常工作中，我专注于并行计算领域，主要依托GPGPU、NPU等高算力芯片进行开发。当前，高算力与AI已深度融合，计算与人工智能二者相辅相成：底层计算为实现通用算法与算子提供基础，而AI模型则能反哺并优化传统算法的决策效率与性能。为系统构建这方面的知识体系，我在公司导师的推荐下，跟随up主“霹雳吧啦Wz”的CNN系列视频进行学习，并通过博客记录学习过程，融入自己的理解与总结。以上就是今天要讲的内容
最近正在准备毕业设计的相关内容，发现其使用的是和之前的PyTorch有一定的差距，因此就主动了解了它们之间的差距。如果你用过PyTorch，一定会经历过类似的场景：手动编写训练循环、反复切换和模式、手动管理GPU设备、写一堆日志记录逻辑……这些重复的工程代码占用了大量时间，却与核心的模型研究无关。正是为了解决这些问题而诞生的。它不是替代PyTorch的新框架，而是在PyTorch之上构建的工程化规
本文介绍了在Jetson Orin Nano上部署YOLOv11模型的完整流程。主要包括：基础环境配置（CUDA、cuDNN、TensorRT）、虚拟环境搭建、PyTorch和Torchvision安装、以及模型部署。文章详细说明了环境变量设置、软链接创建等关键步骤，并提供了验证安装是否成功的命令。最后展示了如何将训练好的YOLOv11模型导出为TensorRT格式并调用预测。整个过程涵盖了从环境
pytorch
——pytorch
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
AtomGit开源社区
2048 AI社区
HarmonyOS开发者社区
AI硬件创业社区
