为什么默认配置跑不满 Strix Halo？

手里拿着 AMD Ryzen AI Max+ 395（Strix Halo 架构）笔记本的朋友，最近可能都面临同一个“幸福的烦恼”：硬件底子太厚了。高达 128GB 的 LPDDR5X 统一内存，直接打破了传统“显存焦虑”的天花板，让本地运行 70B 参数级的大模型成为可能。但如果你只是简单执行 ollama run llama3，很可能发现速度不如预期，或者在处理长文档时频频报错。

这并非硬件不行，而是软件默认配置过于保守。在 Windows 环境下，Ollama 偶尔会“犯迷糊”，无法正确识别全部显存，导致 GPU 闲置；更致命的是，其默认的上下文窗口（Context Window）通常仅为 4k 或 8k。对于需要分析百页技术手册或复杂代码库的开发者来说，这个限制直接判了死刑——模型读到一半就会“失忆”，甚至直接截断输入。

要想真正释放 Strix Halo 的潜力，尤其是对于习惯命令行的高级用户，手动编写 Modelfile 是必经之路。这不仅能强制唤醒 Radeon GPU 的全量算力，还能自定义上下文长度，打造专属的本地模型服务。

突破默认限制：num_ctx 与 num_gpu 的关键作用

Ollama 的设计理念是“开箱即用”，但这往往意味着它采取了一种“求稳”的策略。在 Strix Halo 这种非典型消费级 APU 上，这种策略反而成了瓶颈。我们需要通过两个核心参数来打破僵局：num_ctx 和 num_gpu。

1. 上下文窗口（num_ctx）：长文档处理的命门
默认情况下，Ollama 为了节省内存，将上下文限制在较小的数值。但在 Strix Halo 的大内存加持下，我们完全有底气将这个值拉升至 32k、64k 甚至更高。

• 痛点：若不修改，投喂一篇 2 万字的研报，模型只能处理开头一小部分，后续内容直接被丢弃，导致总结错误或逻辑断层。
• 解法：在 Modelfile 中设置 PARAMETER num_ctx 32768（或更高），告诉模型：“我有足够的内存，请把整篇文章都记在脑子里。”

2. GPU 卸载层数（num_gpu）：拒绝 CPU 慢速推理
虽然 Ollama 新版试图自动识别 GPU，但在 Windows + Strix Halo 的组合下，自动识别经常失效，导致部分计算层回退到 CPU。

• 痛点：一旦计算层落在 CPU 上，生成速度会从 20+ tokens/s 断崖式下跌至 2-3 tokens/s，体验如同 PPT。
• 解法：通过 PARAMETER num_gpu 99（或一个足够大的数字），强制要求将所有可能的计算层都卸载到 Radeon GPU 上。配合环境变量 HSA_OVERRIDE_GFX_VERSION="11.0.3"，可以确保驱动正确识别 RDNA3 架构，避免回退。

实战：编写专属 Modelfile 固化配置

与其每次启动都敲一长串命令，不如创建一个固化的 Modelfile。这不仅方便复用，还能将你的优化配置“打包”成一个独立的模型实例。

首先，新建一个名为 Modelfile 的文件（无后缀），写入以下内容。这里以 Qwen2.5-14B 为例，你可以根据实际需求替换基座模型：

FROM qwen2.5:14b-instruct-q4_k_m

# 关键优化 1：突破上下文限制，支持长文档分析
# Strix Halo 拥有大内存，建议设置为 32k 或以上，根据任务需求调整
PARAMETER num_ctx 32768

# 关键优化 2：强制全量 GPU 加速
# 设置为一个大数值，确保所有层都在 Radeon GPU 上运行
PARAMETER num_gpu 99

# 可选：注入系统提示词，定义助手角色
SYSTEM """
你是一个运行在本地 AMD Strix Halo 平台上的高效助手。
你拥有超长的上下文记忆能力，擅长处理复杂的技术文档和代码库。
请始终保持逻辑严密，回答精准。
"""

这段配置做了三件事：

1. 指定基座：基于量化后的 14B 模型，平衡速度与智能。
2. 解锁内存：num_ctx 设为 32k，足以容纳大多数技术文档或长篇对话历史。
3. 锁定 GPU：num_gpu 设为 99， essentially 告诉 Ollama“能上 GPU 的全部上 GPU"。

构建与运行：从配置文件到专属服务

写好 Modelfile 后，接下来的操作非常直观。打开 PowerShell 或终端，进入文件所在目录，执行以下命令构建新模型：

ollama create my-strix-ai -f Modelfile

这条命令会读取配置，基于 qwen2.5:14b-instruct-q4_k_m 创建一个新的模型实例，命名为 my-strix-ai。构建过程通常只需几秒，因为它只是修改了元数据，并未重新下载权重。

接下来，为了确保 Ollama 服务能正确识别 Strix Halo 的 GPU 架构（特别是解决 Windows 下驱动识别问题），建议在启动服务前设置环境变量。你可以直接在当前终端会话中执行：

$env:HSA_OVERRIDE_GFX_VERSION="11.0.3"
ollama serve

注：若你已将 Ollama 注册为系统服务，可能需要通过系统高级设置永久添加该环境变量，或修改服务启动脚本。

服务启动后，即可运行你的专属模型：

ollama run my-strix-ai

此时，你可以尝试投喂一篇长文进行测试。例如，复制一段 5000 字的代码或文章粘贴进去，询问细节。如果配置生效，你会发现首字延迟极低，且模型能准确引用文末的信息，不再出现“截断”或“失忆”现象。同时，观察任务管理器或性能监控工具，Radeon GPU 的利用率应维持在高位，而 CPU 占用则相对较低。

进阶技巧：适配不同工作流

这套方法的灵活性在于，你可以为不同场景创建多个 Modelfile。

• 极速问答模式：创建一个 fast-chat 模型，设置 num_ctx 4096，num_gpu 99。适合日常简短对话，响应速度极致。
• 深度阅读模式：创建一个 deep-read 模型，设置 num_ctx 65536（需确保物理内存充足），num_gpu 99。专门用于分析整本小说、法律合同或大型项目代码库。
• 代码辅助模式：在 SYSTEM 字段中加入特定的编程规范指令，如“优先使用 Python 类型提示”、“遵循 PEP8 规范”等，让模型更懂你的代码风格。

通过手动编写 Modelfile，你不再是被动接受默认设置的普通用户，而是能够精细调校本地 AI 工作流的掌控者。在 Strix Halo 强大的统一内存架构支持下，这种“定制化”带来的体验提升是巨大的。它让本地大模型真正从“能跑”变成了“好用”，成为你开发流程中不可或缺的得力助手。

200小时GPU算力已就位，快来领取：https://marketing.csdn.net/questions/Q2604140858304426315?utm_source=AIpaper