Karpathy LLM Wiki 完整原理与双方案部署教程（Cursor _ Claude 通用）

构建基于 AMD 显卡的高性价比大模型推理集群

本文详解构建基于 AMD 显卡的高性价比大模型推理集群方案。通过优化单卡与多卡拓扑选型，结合 Kubernetes 与 Slurm 的 ROCm 适配策略，显著降低每 Token 成本。该方案凭借大显存优势与开源生态，成为私有化部署及边缘计算场景下的大模型推理务实之选。

AMD GPU 显存碎片化问题的成因与应对策略

本文深入剖析 AMD GPU 在 vLLM 推理中因显存碎片化导致的 OOM 问题。针对 ROCm 驱动特性，提出调整 block-size、预留显存余量及定期重启等策略，有效解决内存分配困境，保障大模型服务长期稳定运行。