构建基于 AMD 显卡的高性价比大模型推理集群

本文详解构建基于 AMD 显卡的高性价比大模型推理集群方案。通过优化单卡与多卡拓扑选型，结合 Kubernetes 与 Slurm 的 ROCm 适配策略，显著降低每 Token 成本。该方案凭借大显存优势与开源生态，成为私有化部署及边缘计算场景下的大模型推理务实之选。

AMD GPU 显存碎片化问题的成因与应对策略

本文深入剖析 AMD GPU 在 vLLM 推理中因显存碎片化导致的 OOM 问题。针对 ROCm 驱动特性，提出调整 block-size、预留显存余量及定期重启等策略，有效解决内存分配困境，保障大模型服务长期稳定运行。

高并发场景下 vLLM 推理延迟的诊断与优化

本文深入解析高并发场景下 vLLM 推理延迟的诊断与优化策略。通过 rocprof 等工具定位内核瓶颈，优化 Host-to-Device 数据传输，并治理网络与日志干扰，全面解决 AMD ROCm 环境下的性能抖动问题，显著提升大模型服务效率。