为什么要在本地跑大模型？

以前想体验大语言模型，要么得掏钱买云端 API，要么就得担心隐私泄露——毕竟谁愿意把聊天记录、工作文档上传到不知名的服务器？现在情况变了。随着 AMD 锐龙 AI 系列处理器的普及，尤其是集成了专用 NPU（神经网络处理单元）的新款笔记本，让“本地跑大模型”从极客的玩具变成了普通用户也能轻松上手的日常工具。

我手头这台搭载 Ryzen AI 9 HX370 的笔记本，NPU 算力达到了 50 TOPS。这意味着什么？意味着我不需要昂贵的独立显卡，也不用忍受云端的延迟和流量费，就能在断网环境下流畅地运行 Qwen2.5 这样的轻量级模型。数据完全留在本地，这种安全感是云端服务给不了的。今天就来记录一下，如何用 Ollama 这个工具，在这类新硬件上快速搭建属于自己的本地 AI 助手。

第一步：确认你的硬件准备好了没

很多新手看到“命令行”就头大，其实准备工作比想象中简单得多。在安装软件之前，我们得先确认系统是否正确识别了 NPU 加速单元。AMD 的 Ryzen AI 架构依赖特定的驱动来调度 NPU 资源，如果驱动没装好，Ollama 可能只会调用 CPU 或集成显卡，那就浪费了这块芯片的 AI 潜能。

打开终端（Windows 下可以用 PowerShell 或 CMD），输入以下命令检查 ROCm 和 NPU 状态：

rocm-smi

如果能看到类似 GPU [0] : Name: AMD Radeon Graphics 以及 NPU 相关的信息，说明底层环境基本就绪。如果是刚买的新机，建议先去 AMD 官网下载最新的"AMD Software: Adrenalin Edition"或专门的 Ryzen AI 驱动包，确保系统能正确调用 XDNA 架构的 NPU 核心。

这里有个小细节要注意：目前的 Ollama 在 Windows 上对 NPU 的直接调用还在优化中，很多时候它会智能地在 GPU 和 NPU 之间切换，或者主要利用强大的 Radeon 780M/890M 核显进行加速。对于普通用户来说，只要驱动正常，Ollama 通常能自动找到最快的计算路径，无需手动配置复杂的参数。

一行命令，把大模型带回家

环境确认无误后，重头戏来了。Ollama 的设计哲学就是“极简”，它把复杂的模型下载、量化、部署过程封装成了一行命令。假设我想体验阿里最新的 Qwen2.5 模型（7B 版本非常适合端侧运行），只需要在终端输入：

ollama run qwen2.5

回车之后，你会看到进度条开始走动。Ollama 会自动从官方仓库拉取经过量化的模型文件（通常是 4-bit 或 5-bit 精度），体积大概在 4GB 左右，几分钟就能下完。下载完成后，终端会直接进入对话界面，你可以立刻开始提问：

>>> 如何用 Python 读取 Excel 文件？
>>> 帮我写一个周末去杭州的旅行计划。

整个过程没有任何图形界面的繁琐设置，也不需要注册账号。对于第一次接触本地大模型的用户，这种“开箱即用”的体验极大地降低了门槛。如果你更喜欢图形化操作，也可以搭配 LM Studio 使用，但在纯命令行效率上，Ollama 依然无可替代。

NPU 加速到底快多少？

大家最关心的可能是：所谓的"AI PC"、“锐龙 AI"，在实际推理中到底有没有提升？为了验证这一点，我做了个简单的对比测试。

在默认状态下（开启硬件加速），让模型生成一段 200 字的总结，速度大约维持在 25-30 tokens/s，文字几乎是跟着思维流出来的，几乎没有等待感。而当我尝试在设备管理器中禁用独显和 NPU，强制仅使用 CPU 运行时，速度瞬间掉到了 3-5 tokens/s，那种“挤牙膏”式的输出让人明显感觉到卡顿。

虽然目前 Ollama 在 Windows 上对 NPU 的调度不如 Linux 下那么透明直接，但锐龙 AI 平台的优势在于其统一的内存架构和高带宽。Radeon 核显与 NPU 协同工作，使得即使是 7B 甚至 14B 参数的模型，也能在 16GB 内存的轻薄本上流畅运行。这种能效比的提升，不仅体现在速度上，更体现在发热和续航上——用 NPU 或核显跑推理，风扇几乎不转，电池也能撑得更久。

隐私与自由的平衡点

折腾完这一圈，最大的感受不是性能有多强悍，而是“掌控感”。以前用云端模型，总担心提示词被记录、数据被训练；现在所有交互都在本地完成，断网也能用，这种隐私上的踏实感是无可替代的。

对于预算有限的朋友，不需要急着换几万块的工作站。一台搭载锐龙 AI 的主流价位笔记本，配合 Ollama 这样轻量的工具，足以满足日常的知识查询、文案辅助甚至代码编写需求。端侧 AI 的时代已经来了，它不再是实验室里的概念，而是你指尖触手可及的真实能力。下次当你需要在高铁上、会议室里快速获得 AI 协助时，记得你的电脑里就藏着一个随时待命的智能伙伴。