最近一直在琢磨怎么在有限的桌面空间里搭建一套能跑大模型的本地环境。云端 API 虽然方便，但涉及隐私数据或者需要高频调用的场景，成本和安全都是问题。端侧 AI 的概念炒了很久，但直到拿到这台首发搭载 AMD 锐龙 AI 9 HX470 处理器的铭凡 AI X1 Pro，我才真正觉得“本地跑大模型”这件事变得触手可及。

这台机器的核心卖点很直接：55 TOPS 的 NPU 算力，加上 Ryzen AI 架构的优化，让它不需要独立显卡就能应付不少推理任务。更吸引我的是它的扩展性——三条 M.2 插槽和独立的 OCuLink 接口，这简直是为我们这种需要囤积模型文件、又想随时外接显卡提升算力的玩家量身定做的。接下来的内容，我就结合这几天的实际部署经历，聊聊在这台迷你主机上折腾本地大模型的真实体验。

存储扩容：三条 M.2 插槽的实战意义

跑过本地大模型的朋友都知道，模型文件本身就是个“吃硬盘”的大户。一个量化后的 Llama 3 8B 模型就要占掉几个 GB，要是想多试几个不同参数量、不同领域的模型（比如代码专用的 CodeLlama 或者中文优化的 Qwen），几十上百 GB 的空间瞬间就没了。很多轻薄本或者普通迷你主机只给一个 M.2 槽，换模型还得反复删写，极其折腾。

铭凡 AI X1 Pro 这点做得非常厚道，直接给了三条 M.2 插槽。我在部署时，直接插了两条 2TB 的 PCIe 4.0 SSD，一条专门放系统和工作软件，另一条全盘 dedicated 给模型仓库。这种物理隔离不仅管理起来清爽，更重要的是读写互不干扰。在加载大型模型到内存的过程中，高速 SSD 的读取速度直接影响了首字生成的等待时间。实测中，从硬盘加载一个 14B 参数的量化模型到内存，速度非常迅猛，完全没有成为瓶颈。对于想要组建本地 AI 知识库、需要同时挂载多个向量数据库的用户来说，这种原生支持多硬盘扩展的能力，比任何软件优化都来得实在。

软硬协同：Ollama 与 LM Studio 的部署实录

硬件底子打好了，接下来就是软件环境的搭建。对于不想在命令行里敲复杂参数的小伙伴，我强烈推荐使用 LM Studio 或 Ollama。这两个工具对 AMD Ryzen AI 平台的适配已经相当成熟。

我是先用 Ollama 做的快速测试。在 Windows 终端里一行命令 ollama run qwen2.5:7b，系统自动识别了本地的 NPU 资源。得益于 HX470 处理器中集成的 Radeon 890M 核显和专用 NPU 的协同工作，推理过程非常流畅。你可以明显感觉到，当任务被调度到 NPU 上时，整机的功耗控制得非常好，风扇声音很轻，不像以前用独显跑图时那样“起飞”。

如果你更喜欢图形化界面，LM Studio 是个不错的选择。在设置里开启"GPU Offload"并选择 AMD 后端后，它能直观地显示哪些层被加载到了显存，哪些在跑 NPU。我在测试生成一篇技术文档摘要时，Qwen-7B 模型的输出速度稳定在每秒 30-40 token 左右，这个速度对于日常辅助写作、代码补全已经完全够用。关键是整个过程完全离线，不用担心公司的代码片段或者私人文档泄露到云端。

性能进阶：OCuLink 外接显卡的潜力挖掘

当然，55 TOPS 的 NPU 虽然能效比出色，但面对更大参数（比如 32B 以上）或者需要高并发推理的场景，还是需要更强的算力支援。这时候，铭凡 AI X1 Pro 上的 OCuLink 接口就成了“杀手锏”。

不同于雷电接口会占用 PCIe 通道导致带宽损耗，OCuLink 是直连 CPU 的 PCIe 通道，带宽损失极小。我尝试通过 OCuLink 外接了一张桌面级的 RTX 4070 Ti。连接过程很简单，插上显卡坞，安装好驱动，在 LM Studio 里切换后端到 CUDA，瞬间感觉打开了新世界的大门。

实测对比非常明显：在运行同一个 32B 量化模型时，仅靠内置 NPU 和核显，生成速度维持在可接受范围；而接入外置独显后，吞吐量直接翻倍，且能够加载更多层数的模型进入显存，减少了频繁交换内存带来的延迟。这种“平时用 NPU 省电静音，重负载时外接显卡爆发”的模式，完美平衡了日常办公和专业创作的需求，让这台迷你主机真正具备了工作站的潜质。

散热与噪音：小机箱里的温度控制

把大模型装进迷你主机，大家最担心的往往是散热。毕竟长时间高负载推理，发热量不容小觑。铭凡 AI X1 Pro 采用了内置电源设计，省去了外置“砖头”，但也意味着内部空间更加紧凑。

在连续跑了两个小时的压力测试后，我摸了一下机身，温热但不烫手。监控软件显示，CPU 和 NPU 的温度一直控制在合理区间，没有出现因过热降频导致推理卡顿的情况。这得益于其风道设计，双风扇在智能调速下，即使在高负载时也保持了相对安静的运行状态。放在桌面上，它更像是一个普通的电视盒子，而不是一台轰鸣的服务器。对于需要在办公室或书房长时间运行本地 AI 助手的用户来说，这种静音和温控表现是非常加分的。

结语

这次部署经历让我深刻体会到，端侧 AI 不再是纸上谈兵。铭凡 AI X1 Pro 凭借锐龙 AI 9 HX470 的强劲 NPU 算力、灵活的三 M.2 存储扩展以及 OCuLink 带来的无限可能，成功在迷你体积和高性能之间找到了平衡点。它既适合想要体验本地大模型隐私安全优势的开发者，也适合需要高性能紧凑型工作站的创意人群。随着模型轻量化技术的进步和软件生态的完善，未来我们或许真的只需要这样一台小盒子，就能搞定绝大部分 AI 需求。

200小时GPU算力已就位，快来领取：https://marketing.csdn.net/questions/Q2604140858304426315?utm_source=AIpaper