10 万字文档一口气吞下：Strix Halo 长上下文实战手记

处理超长文档一直是本地大模型玩家的“痛点”。在云端，我们习惯把几十万的 Token 丢给 API，但在本地，显存往往成了那道跨不过去的坎。普通笔记本跑个 7B 模型还行，一旦上下文拉长到 32k 以上，要么直接爆显存崩溃，要么被迫使用慢如蜗牛的系统内存交换，体验极差。

最近入手了搭载 AMD Strix Halo 架构的设备后，我决定彻底挑战一次极限：将一本约 10 万字的小说（或同等体量的技术文档）完整加载到支持 128k 上下文的模型中，看看这套统一内存架构到底能不能扛住这种“重量级”任务。

统一内存：打破显存墙的关键

要理解为什么 Strix Halo 能搞定长文本，得先聊聊它的统一内存架构。传统笔记本里，CPU 和 GPU 是“分居”的，GPU 只有那点可怜的独立显存（比如 6GB 或 8GB）。大模型的上下文向量（KV Cache）非常吃内存，一旦超过显存上限，推理就会中断。

Strix Halo 的不同之处在于，它通过高带宽互联，让 Radeon GPU 可以直接高效访问系统内存。这意味着，只要你的笔记本配了 32GB 甚至 64GB 内存，这些内存就统统变成了“显存”。在测试中，我加载了一个量化后的 14B 模型，并开启了 128k 的上下文窗口。此时，模型权重加上数十万 Token 的上下文向量，总共占用了约 45GB 内存。如果是传统架构，这早就 OOM（内存溢出）了，但在 Strix Halo 上，系统运行平稳，Radeon GPU 依然在全速运转。

实测：从预填充到生成的全过程

测试环境选用了 LM Studio，因为它对 Vulkan 后端的支持在 Windows 下最为稳定，且图形化界面能直观看到内存占用。模型选用 Qwen2.5-14B-Instruct-GGUF（Q4_K_M 量化版），上下文长度设置为 131072。

预填充阶段：耐心的等待

当我把整本 10 万字的 TXT 小说拖入对话框并点击发送时，真正的考验开始了。这就是所谓的**预填充（Prefill）**阶段，模型需要一次性读取所有文本并构建 KV 缓存。

在普通设备上，这一步通常会直接卡死。而在 Strix Halo 上，进度条开始走动。由于数据量巨大，首字延迟（Time to First Token）不可避免地增加了。实测数据显示，处理这 10 万字文本，预填充耗时约为 6.5 秒。虽然比短文本的毫秒级响应慢了不少，但这完全是物理规律使然——毕竟它在瞬间“读”完了整本书。重要的是，期间系统没有卡顿，风扇转速虽高但可控，没有出现崩溃或无响应的情况。

生成阶段：稳如老狗

一旦预填充完成，进入生成阶段，流畅度立刻回归。

• 生成速度：稳定在 24-28 tokens/s。
• 稳定性：在连续生成长达 2000 字的章节总结过程中，速度波动极小，没有出现断崖式下跌。
• 内存表现：任务管理器显示，Radeon GPU 的显存占用（即共享系统内存）稳定在 40GB+，剩余内存仍足够我同时开启浏览器和 IDE 进行多任务操作。

相比之下，我之前用一台配备 8GB 独显的笔记本尝试类似操作，连 16k 上下文都难以维持，更别提 128k 了。那种“想跑却跑不动”的焦虑，在 Strix Halo 上彻底消失了。

真实场景：长文本的价值在哪里？

能跑起来只是第一步，关键还得看用起来爽不爽。我模拟了几个典型的高难度场景，验证大内存长上下文的实际价值。

1. 全局情节检索与伏笔查找

对于那本 10 万字的小说，我提问：“主角在第三章提到的那个神秘怀表，在后续剧情中最后一次出现是什么时候？当时的情节背景是什么？”
模型没有胡编乱造，而是精准定位到了第 28 章的一个细节，并完整复述了当时的对话和环境描写。这种跨越数万字的信息检索能力，依赖于完整的上下文窗口。如果之前把文档切碎了喂给模型，这种跨章节的逻辑关联很可能就被切断了。

2. 百页技术研报分析

我又替换了一份长达 120 页的行业技术研报（约 8 万字）。要求模型：“对比报告中提到的三种技术路线的优缺点，并列出作者最终推荐的方案及其理由。”
模型迅速生成了一份结构清晰的对比表格，并准确引用了报告结论部分的原文。在处理这种长篇非虚构类文档时，128k 上下文意味着你可以把整份资料“拍”在模型面前，让它进行全局理解，而不是像以前那样需要手动分段、摘要、再拼接，极大地提升了信息处理效率。

给研究者的建议

如果你是需要处理大量文本的研究人员、法律从业者或深度阅读爱好者，Strix Halo 这类大内存平台几乎是本地部署的“版本答案”。

• 内存是硬指标：想玩转 128k 上下文，32GB 是起步，64GB 更从容。不要为了省预算牺牲内存容量，这是长文本任务的基石。
• 工具选择：在 Windows 下，优先推荐 LM Studio，其对 Vulkan 的自动化支持能让你少折腾很多环境变量，直接把 Context Length 拉满即可。
• 模型策略：在长上下文场景下，14B-32B 参数量级的模型是甜点区。它们既有足够的智力理解复杂逻辑，又能在量化后适应本地内存限制。

这次实测让我深刻意识到，端侧 AI 的未来不在于云端有多快，而在于本地能“装”下多少知识。当你的私有知识库可以完整地驻留在内存中，并被 GPU 瞬间调用时，AI 才真正成为了属于你的第二大脑。

200小时GPU算力已就位，快来领取：https://marketing.csdn.net/questions/Q2604140858304426315?utm_source=AIpaper