最近想在本地跑一个参数量比较大的 Qwen 模型，真正开始部署后才发现，模型文件下载下来只是第一步，显存、推理框架、量化格式、上下文长度和启动参数，每一项都可能影响最后能不能跑起来。这篇文章把我实际跑通的方案整理出来，使用，最终提供一个兼容 OpenAI 接口的本地模型服务。如果你只是想在本地聊天，先看第二节的硬件要求；如果硬件符合，再按后面的步骤一步一步执行即可。使用约 96GB 总显存运行 Q