登录社区云，与社区用户共同成长
邀请您加入社区
本文深入解析 AMD 显卡上混合精度训练的稳定性调优策略。针对 BF16 在 ROCm 环境下的梯度爆炸问题，提供 Loss Scaling 调整及纯 BF16 模式切换等实战方案。结合 LLaMA-Factory 框架，帮助开发者解决大模型微调中的收敛难题，提升训练效率。
本文详解 AMD GPU 并行计算核心 Wavefront 调度模型，对比 NVIDIA Warp 差异，剖析分支发散对性能的影响。结合 SGLang 与 TileLang 实战，提供大模型推理优化策略，助开发者掌握 ROCm 原生开发直觉，大幅提升计算效率。
本文实录 AMD 集群多卡分布式训练优化过程，重点解决 RCCL 通信死锁与带宽瓶颈。通过调优超时阈值、缓冲区及算法策略，显著提升 AllReduce 效率，确保 LLaMA-Factory 等大模型在 ROCm 环境下的稳定高效运行。
本文详解在 DevCloud 上部署 vLLM 至 AMD Instinct GPU 的全流程。涵盖用户组权限配置、ROCm 驱动验证及 PyTorch 源码编译关键陷阱，重点解析 PYTORCH_ROCM_ARCH 环境变量设置与 BF16 加速支持检测，助开发者避开环境配置地狱，高效跑通大模型推理服务。
本文深度解析 AMD Instinct MI300X 在大模型推理中的成本效益。凭借 192GB 大显存优势，显著减少服务器节点与能耗，大幅降低 TCO。结合 ROCm 与 vLLM 实战验证，证明其是运行 Llama 3.1 405B 等超大模型的性价比首选方案。
本文详解 Triton 编译器在 AMD MI300X 架构上的适配实战。通过锁定 gfx942 架构代码与 ROCm 环境配置，解决段错误难题，并演示自定义矩阵乘法算子的开发与性能验证，助力开发者高效构建 AMD GPU 自定义算子。
本文深入解析 AMD MI300X 显卡上 FP8 精度在大模型推理中的实战应用。通过 ROCm 7.x 环境测试，验证了 FP8 量化在显著降低显存占用的同时，提升约 1.8 倍推理速度且精度损失可控，是兼顾成本与性能的高性价比部署方案。
本文详解 DevCloud 云端开发实录，指导开发者十分钟搞定 AMD GPU 环境。通过选用预装 ROCm 镜像、配置 RDMA 网络及持久化存储，快速搭建高效大模型训练与推理平台，规避驱动冲突，实现敏捷协作。
LM Studio 现已实验性支持 AMD 显卡，通过 ROCm 后端让消费级用户也能在图形化界面轻松运行本地大模型。本文详解 Windows 与 Linux 下的配置技巧、GGUF 模型加载方法及显存优化策略，助开发者告别命令行，高效开启隐私安全的 AI 创作之旅。
本文分享在本地使用 Ryzen AI 搭配 Ollama 运行大模型的实践。通过配置 ROCm 后端与 GGUF 量化模型，实现高效 GPU 加速推理，显著提升响应速度，为开发者提供低成本、低延迟的端侧 AI 部署方案。
