登录社区云，与社区用户共同成长
邀请您加入社区
在大模型训练中，显卡利用率高但单步速度慢，主因是样本长度差异导致大量无效Padding。本文通过统计真实长度分布、计算Padding浪费率，采用长度分桶与动态批内补齐策略，减少无效计算，提升有效token吞吐。结合桶内打乱与多卡一致性处理，兼顾随机性与效率。实证表明，优化后单位时间处理真实token数显著提升，训练效率更优。
显卡也能“无线连接”？本地大模型迎来一种新的扩展方案
本文系统学习 GPU 多卡互联与 AI 集群通信原理，从 GPU 卡内、机内、机间三种通信层次出发，介绍 NVLink、NVSwitch、PCIe、InfiniBand、RoCE、RDMA 和 GPUDirect RDMA 等核心技术，并结合 AllReduce 通信计算、TP/PP/DP 并行策略以及 16 卡 H100 集群案例，理解 GPU 通信带宽对大模型训练性能的影响。同时整理 GPU
本文提出一套可验证的深度学习断点续训方案，解决GPU算力平台重启后训练状态丢失问题。强调不仅需保存模型与优化器，还需同步恢复随机种子、学习率调度器、数据游标及混合精度状态，并通过配置快照、哈希校验与首步对比验证连续性。适用于长周期训练，确保恢复后损失曲线平滑、数据不重复，避免“静默偏移”。
大模型军备竞赛的上半场拼的是谁能买到更多算力卡，而下半场拼的是谁能让这些卡在真实数据中心里不被‘内存墙’与‘I/O 墙’憋死。王恩东院士的报告为产业界敲响了警钟：唯有拥抱开放计算、深耕全栈系统工程，中国乃至全球的智算中心才能穿越供需周期的缺口迷雾，真正让计算力成为驱动未来繁荣的新质生产力。随着“计算力成为新质生产力，智算中心成为新的生产力基础设施”，整个人类社会正经历从农业时代（水利驱动）、工业时
InfiniBand 架构规范描述了一种用于将处理器节点和 I/O 节点互连以形成系统区域网络的一阶互连技术。该架构独立于主机操作系统（OS）和处理器平台。图 1：IBA 系统区域网络图中展示了处理器节点、I/O 机箱、交换机、路由器、存储子系统、RAID 子系统、控制台、视频设备以及各种 I/O 模块（SCSI、以太网、光纤通道等）通过 InfiniBand 结构互连的拓扑。HCA = 处理器节
本文深入解析了Linux内核中Radeon显卡驱动从模块加载到硬件初始化的全流程，重点探讨了module_init、PCI驱动注册、设备探测及DRM设备创建等关键步骤。通过源码分析，揭示了Radeon GPU如何在内核中完成初始化，为开发者提供了调试和优化显卡驱动的实用指南。
Ubuntu的内核更新比较频繁，自动更新打开后，如果你disable掉了系统默认的nouveau驱动启用了NVIDIA GPU卡对应的驱动(具体步骤参见我的AI之路(10)--如何在Linux下安装CUDA和cuDNN)，可能经常遇到内核更新后在机器重启后发现登录界面的字体和图标变得不正常地超大而且输入登录口令后屏幕一闪又回到了登录界面，这说明NVIDIA GPU的驱动没有被加载，系统...
NVIDIA驱动是连接操作系统与GPU的底层核心，决定可支持的最高CUDA运行时版本；CUDA版本则是上层并行计算工具包，决定程序实际使用的API与库。驱动≥545表示至少支持CUDA 12.3，可向下兼容CUDA 11.8。PyTorch cu118自带运行时，无需单独安装完整CUDA Toolkit，只要驱动满足最低要求即可运行。关键原则：驱动支持的最高CUDA版本 ≥ 应用所需版本，方能兼容
1）对于GPU服务器设计者和采购者来说，需要同时考虑三个物理维度：Height（高度）：决定服务器机箱的 “U”数（1U/2U/4U）。Length（长度）：决定机箱的深度和内部是否有足够空间。Thickness/Slot（厚度/槽宽）：决定在主板上相邻卡之间的最小间距，即单机最大可安装GPU数量。2）例如：一台1U服务器通常只能安装的卡。一台2U服务器可以安装的卡，但长度可能受限。一台4U服务器
基于Miniconda、Python 3.11与CUDA 11.8，详解PyTorch GPU环境的完整配置流程。涵盖虚拟环境隔离、依赖管理、Jupyter内核注册及常见问题排查，确保torch.cuda.is_available()稳定返回True，实现科研与生产环境的高效复现。
深度学习中GPU不可用？问题常出在cudatoolkit版本不匹配。nvidia-smi显示的CUDA版本是驱动上限，PyTorch实际依赖的是内置或环境中的运行时库。pip安装包自带CUDA依赖，conda则独立管理易冲突，Docker提供完全隔离的可靠环境。关键在于驱动兼容性、安装方式统一和环境可复现性。
深度学习项目中GPU无法识别常因版本冲突或安装残留。通过nvidia-smi和torch检查诊断问题后，需彻底卸载旧版PyTorch及相关组件，清理缓存，再基于CUDA兼容性选择Conda或pip方式精准重装。建议使用虚拟环境隔离，并配置cudnn与混合精度训练优化性能。
深度学习项目启动前，必须确认GPU是否真正可用。通过一段实战脚本，全面检测CUDA支持、设备信息、显存状态与计算链路，避免因环境配置问题导致训练低效。结合nvidia-smi、版本兼容性排查和运行时验证，构建可靠的GPU就绪检查流程，是每个开发者必备的基础技能。
通过Miniconda-Python3.11镜像快速部署支持GPU的PyTorch开发环境，利用Conda管理多版本依赖与CUDA工具链，避免手动配置冲突。结合Jupyter实现交互式开发，并可通过SSH隧道远程连接服务器，提升AI项目开发效率与可复现性。
通过Conda精确管理PyTorch与CUDA版本，解决GPU不可用、环境不一致等问题。结合官方渠道和构建字符串机制，确保依赖匹配，提升环境可复现性。进一步利用Docker镜像实现跨平台部署，支持团队协作与CI/CD流程。
本文详解在Linux系统中通过Miniconda搭建支持GPU的PyTorch环境，涵盖Python 3.10环境创建、清华镜像加速、CUDA兼容性配置及常见问题排查。利用Conda的依赖管理优势，实现多项目环境隔离与快速复现，适合科研与企业级AI开发。
通过Miniconda创建独立Python环境，精准安装支持CUDA的PyTorch版本，解决依赖冲突与GPU失效问题。结合conda-forge与官方通道，实现高效、可复现的深度学习开发流程，特别适用于多项目隔离和团队协作场景。
本文介绍了使用AutoDL平台训练模型的完整流程。首先讲解了两种AI辅助标注工具：T-RexLabel（适合从零开始）和X-Anylabeling（适合模型优化）。然后详细说明了AutoDL的使用步骤：1）创建实例并选择镜像；2）使用FileZilla高效上传数据；3）运行训练命令并下载结果。特别强调了学生认证可节省费用，以及无卡模式上传数据的经济性。文章还推荐了相关教程资源，为深度学习初学者提供
本文介绍了在AutoDL平台上租用服务器及配置环境的完整流程。从注册账号开始，详细说明了如何选择设备型号、配置镜像版本（包括框架和Python/Cuda版本），以及开机操作的两种模式（无卡调试/有卡运行）。同时提供了两种使用方式：SSH远程连接和JupyterLab环境操作，特别提醒用户应将文件保存在autodl-tmp数据盘，并介绍了通过终端安装缺失依赖包的方法。整个过程涵盖了从设备租用到实际使
【代码】GPU 服务器ecc报错处理。
GPU 服务器集群部署是一个复杂但关键的过程，以下是一般的部署步骤：
YOLOv10（You Only Look Once version 10）是 YOLO 系列的最新迭代，由 Ultralytics 公司开发，作为 YOLO 系列的最新版本，YOLOv10 在多个方面进行了改进，使其在目标检测、实例分割和图像分类等任务上表现出色。🚀️ 🚀️系统：Ubuntu系统，显卡：4090，显存：24G，cuda12.1🚀️ 🚀️。
GPUYOLOV5 WINDOWSC++ LIBTORCH
yolo v4安装与使用(GPU版本)
1. 一机多卡（one matchine multi-GPU）1.1 DataParallelDataParallel（DP）：Parameter Server模式，一张卡位reducer，实现也超级简单，一行代码。有个不能接受的缺陷是：DataParallel是基于Parameter server的算法，所有的loss都在主卡上计算，负载不均衡的问题比较严重，有时在模型较大的时候（比如be...
方法1:直接在运行程序命令 前添加 CUDA_VISIBLE_DEVICES=1(自己服务器上的GPU number) 样例如下：CUDA_VISIBLE_DEVICES=1 python your_program.py方法2：在自己的代码中添加import osos.environ["CUDA_VISIBLE_DEVICES"] = "2"...
Tegra X2:Jetson TX2 延续了该系列体积小巧、高度集成的特性，大小仅相当于一张信用卡。与前一代Jetson TX1相比，TX2能提供两倍的功效。GPU、CPU都进行了升级，其中GPU变成了Pascal 架构（16 nm工艺）。这意味着Jetson 系列进入了 Pascal 架构时代。内存、存储都增加了一倍，提供了 8G 内存、32G 固态存储器。支持802.11ac...
本调研对比国产AI芯片栈在C++ CUDA + TensorRT场景下的推理引擎兼容性，核心结论：除海光DCU（HIP）可实现源码级迁移外，其余平台均需重写或重构。自定义Plugin、CUDA Kernel及.plan序列化机制在多数国产栈中无等价物，昇腾CANN依赖ATC离线编译，无运行时上下文支持；寒武纪、壁仞等需底层IR重写。社区内容污染严重，多篇“实战”文章含事实错误，引用须严审。关键细节
深度学习模型的实时推理高度依赖GPU加速，PyTorch作为主流AI框架，其GPU版本的配置往往决定数字人交互系统的实际性能。理解NVIDIA驱动、CUDA与PyTorch三者的关系，是避免环境冲突的关键。确保torch.cuda.is_available()正常返回True，才能让语音驱动、口型生成等模型真正跑在GPU上，从而支撑WebRTC端的低延迟音视频交互。从版本确认、虚拟环境搭建，到官方
本文详细解析了C#中Halcon深度学习环境GPU调用异常的排查方法，重点介绍了thirdparty目录配置的关键步骤。通过分析HOperatorSet调用失败的原因，提供了完整的解决方案，包括thirdparty目录的部署、验证方法及常见问题排查技巧，帮助开发者快速解决Halcon在C#环境中GPU加速功能无法使用的问题。
本文是一份详尽的Google Colab免费GPU实战指南，旨在帮助用户从零开始高效搭建深度学习环境。文章深入解析了Colab的GPU资源配额与运行时管理规则，并提供了构建可复现环境、数据持久化存储、GPU性能优化及应对会话中断的实用技巧与避坑指南，让用户能稳定利用云端算力进行模型训练。
GTC 2025 老黄PPT上的26个工具(附官网链接和开发文档)
本文详细介绍了如何利用华为云ModelArts的免费GPU资源运行深度学习代码，包括环境准备、数据上传到OBS的避坑指南、JupyterLab环境配置及代码迁移技巧。通过实战步骤和优化建议，帮助开发者高效利用云端资源，降低计算成本，特别适合资源有限的学生和开发者。
以下是从NVIDIA官网转过来的链接，方便需要下载各种版本CUDA的同学。CUDA Toolkit 10.2 (Nov 2019),Versioned Online DocumentationCUDA Toolkit 10.1 update2(Aug 2019),Versioned Online DocumentationCUDA Toolkit 10.1 update1(Ma...
引言最近容器比较火，容器支持对CPU和内存的资源限制，但是GPU还不是很明朗，多个容器能不能共享一个GPU呢？如果共享的话，是并行的方式还是并发的方式呢？又如何确保GPU的资源能够被高效利用呢？本文，通过查阅大量官方文档，并通过实验验证，想一探究竟~问题描述GPU是深度学习的利器，相比于CPU，并行化的执行方式能够实现更高的时间效率。同时，它的价格也比较昂贵，此次想要做实验的NVIDI...
大模型本地部署正从极客玩具变为开发者日常需求，推理性能却常因硬件协同不当而大打折扣。理解GPU与CPU在分层推理中的分工逻辑，是性能优化的基础——显存容量决定模型能否装入，而算力与内存带宽决定生成速度快慢。KV Cache作为显存中的隐形消耗者，其大小与上下文窗口、并发请求数直接相关，通过Flash Attention和量化技术可显著降低显存占用。模型量化用微小精度损失换取大幅度资源释放，Q4_K
近日，全球知名的高性能数据可视化组件厂商发布了 LightningChart .NET 最新版本 v12.5.1。此次版本在延续一贯“极致性能”的基础上，进一步强化了图表交互能力、数据分析体验以及开发灵活性，为工业制造、金融分析、科研仿真等高复杂度应用场景带来更强支撑。
本文详细介绍了如何在百度飞桨AI Studio平台上利用后台任务功能，高效利用免费GPU资源完成遥感图像分割任务。通过告别Notebook的断线焦虑，指导用户从数据准备、模型选择、训练脚本编写到后台任务提交与监控的全流程，并分享确保长时间训练稳定性的实用技巧，帮助用户真正释放云端GPU算力。
阿里通义万相Wan2.1模型登顶Vbench榜首第一，超越Sora、HunyuanVideo、Minimax、Luma、Gen3、Pika等国内外视频生成模型。而在今天，万相Wan2.1视频生成大模型正式开源！【DiffSynth-Studio】 模型已经在趋动云『社区项目』上线，无需自己创建环境、下载模型，一键即可快速部署，快来体验【DiffSynth-Studio】带来的精彩体验吧！
GPU
——GPU
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
北京朝阳AI社区
openEuler 社区
乐奇 Rokid 开放社区
人工智能6S服务平台
火山引擎视频云技术社区
