网罗开发 （小红书、快手、视频号同名）

  大家好，我是 展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、Harmony OS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。

图书作者：《ESP32-C3 物联网工程开发实战》
图书作者：《SwiftUI 入门，进阶与实战》
超级个体：COC上海社区主理人
特约讲师：大学讲师，谷歌亚马逊分享嘉宾
科技博主：华为HDE/HDG

我的博客内容涵盖广泛，主要分享技术教程、Bug解决方案、开发工具使用、前沿科技资讯、产品评测与使用体验。我特别关注云服务产品评测、AI 产品对比、开发板性能测试以及技术报告，同时也会提供产品优缺点分析、横向对比，并分享技术沙龙与行业大会的参会体验。我的目标是为读者提供有深度、有实用价值的技术洞察与分析。

展菲：您的前沿技术领航员
👋 大家好，我是展菲！
📱 全网搜索“展菲”，即可纵览我在各大平台的知识足迹。
每周定时推送干货满满的技术长文，从新兴框架的剖析到运维实战的复盘，助您技术进阶之路畅通无阻。

引言

如果你部署过 Llama、Qwen、DeepSeek 等大模型，大概率都遇到过这样的场景：

GPU Utilization：38%

GPU Memory：99%

程序状态：OOM（Out Of Memory）

或者：

GPU Compute：40%

Token 生成速度：越来越慢

GPU 一直等待数据……

这是一件非常反直觉的事情。

按照我们的认知：

GPU 是 AI 的核心，GPU 越强，大模型应该越快。

可现实却是：

• GPU 利用率不高；
• 显存却早已爆满；
• GPU 并没有一直在计算，而是在等待数据。

于是，一个新的问题开始浮现：

AI 最大的瓶颈，真的还是 Compute（算力）吗？

事实上，过去几年，整个 AI Infra 正在发生一次重要的转变：

Compute First

↓

Memory First

越来越多团队开始意识到：

GPU 算得足够快，但 Memory 已经跟不上了。

拆开 AI Memory 的底层逻辑，看看为什么越来越多 AI 公司开始说：

未来 AI 拼的不是算力，而是存力。

一、AI Memory，并不是我们理解的"内存"

很多开发者第一次接触 AI，都容易把 Memory 理解成：

CPU 内存（RAM）

实际上，大模型中的 Memory 是一个更大的概念。

它不仅包括：

• GPU 显存（HBM）
• CPU 内存（DDR）
• SSD
• KV Cache
• 权重缓存
• 激活值（Activation）
• Context Cache

甚至还包括：

带宽（Bandwidth）

缓存（Cache）

数据搬运能力

也就是说：

Memory 的核心，不只是"存得下"，更重要的是"拿得快"。

对于 GPU 来说，真正等待的不是计算任务。

而是：

数据什么时候送到？

二、GPU 为什么总是在等待 Memory？

很多人以为 GPU 一直在计算，其实完全不是。

一次 Transformer 推理，更真实的流程是：

读取模型参数

↓

读取 Prompt

↓

读取 KV Cache

↓

等待显存加载

↓

矩阵计算

↓

写回 KV Cache

↓

生成 Token

真正执行矩阵乘法的时间，可能只有：

20%

剩下的大部分时间，都在：

Load

Load

Load

Wait

GPU 就像一位顶级厨师，他一分钟可以炒十盘菜。

但如果切好的菜一直没有送到厨房，厨师只能站在那里等。

GPU 也是如此，计算能力越来越强。

真正限制它的，却变成了：

数据能不能及时送到。

这就是 AI Memory 的本质。

三、为什么大模型越来越吃显存？

很多开发者都有一个疑问，为什么：

7B

14B

32B

70B

模型越大，显存需求增长得越来越夸张？

原因其实有三个。

第一：模型权重越来越大

例如，Llama 70B。意味着：

700 亿参数

如果采用 FP16，每个参数：

2 Byte

仅模型权重，就需要：

140GB

一张 GPU 根本放不下，所以必须：

Tensor Parallel

Pipeline Parallel

跨 GPU 存储。于是通信开始增加，Memory 压力继续变大。

第二：KV Cache 正在吞掉显存

真正可怕的，其实不是模型。

而是：

KV Cache

很多开发者觉得，Prompt 输入结束，GPU 就开始生成。

其实 Transformer 每生成一个 Token。

都会保存：

Key

Value

以后每一个新 Token，都会重新读取，所有历史 KV。

于是，Context 越长、KV Cache 越大。

例如：

128K Context

可能 KV Cache 几十 GB，很多 GPU 不是模型放不下，而是 KV Cache 放不下。

第三：激活值（Activation）越来越多

训练过程中，GPU 还需要保存：

Forward

Backward

Gradient

Activation

这些数据有时候，甚至比模型还大。

所以训练比推理，更加吃 Memory。

四、Memory Wall：AI 正在撞上一堵新的墙

CPU 时代，大家讨论：

Compute Wall

后来 GPU 出现，Compute 提升了几十倍。

大家以为问题解决了，结果新的瓶颈来了。

Memory Wall（存储墙）。

什么意思？GPU 一分钟能计算1000 次。

Memory 一分钟只能提供 300 次数据。

于是 GPU 一直：

Waiting...

这也是为什么 HBM 越来越重要。

五、为什么 NVIDIA 一直在升级 HBM？

过去几年很多人注意到，NVIDIA 每一代 GPU。

都在升级：

HBM2

↓

HBM2E

↓

HBM3

↓

HBM3E

↓

HBM4

为什么？很多人觉得容量更大。

其实真正提升的是：

Memory Bandwidth（显存带宽）。

例如，GPU 每秒可以计算数千 TFLOPS。

如果 HBM 送数据太慢，GPU 只能等待。

所以未来 GPU 越来越像：

发动机

HBM。

越来越像：

输油管

发动机再强，输油跟不上，车依然跑不快。

六、为什么越来越多 AI 公司开始研究 KV Cache？

过去两年 AI Infra，出现一个高频词：

KV Cache

原因很简单。它决定 GPU 到底要不要重复计算。

假设一句 Prompt：

10 万 Token

如果没有KV Cache，GPU 每生成一个 Token。

都要重新计算全部 Attention。

复杂度接近：

O(n²)

有了 KV Cache，GPU只需要计算新增 Token。

于是推理速度提升数倍，但是代价就是显存。

所以 KV Cache 本质上就是：

用 Memory 换 Compute。

这也是为什么 AI 越来越依赖 Memory。

七、AI Memory 正在从"存储设备"演变成"计算资源"

过去 Memory 只是放数据，今天Memory 已经参与计算。

例如，FlashAttention、PagedAttention、Prefix Cache、Context Cache 它们全部围绕一个目标：

减少数据搬运

减少重复访问

减少显存浪费

所以未来 Memory 已经不是辅助角色，而是整个 AI Runtime 的重要组成部分。

八、未来 AI 拼的不是 GPU，而是 Memory System

过去几年大家拼：

GPU 数量

未来几年真正竞争的是：

HBM

KV Cache

Bandwidth

Cache

Runtime

Memory Scheduler

为什么？因为 GPU 越来越便宜。

Memory 越来越贵，真正影响 AI 成本的，已经不是 Compute。

而是 Memory Efficiency（存储效率）。谁能让 GPU 少等待。

Memory 少搬运、KV Cache 少浪费，谁就拥有更低推理成本。

总结

过去我们总以为， AI 的核心竞争力，是更快的 GPU。

但随着大模型规模不断扩大、上下文越来越长、Agent 开始执行复杂任务，一个越来越明显的事实正在浮现：

GPU 的计算能力提升速度，已经快于 Memory 的供给能力。

AI 正在进入一个新的时代：

Compute Driven

↓

Memory Driven

未来的大模型优化，不会只围绕算力展开，而会越来越关注：

• 如何减少显存占用？
• 如何提高带宽利用率？
• 如何优化 KV Cache？
• 如何减少数据搬运？
• 如何提升 Memory 利用率？

真正决定 AI 性能的，不只是 GPU 有多快，而是 数据能否持续、高效地流向 GPU。

因此，Memory 已经从"存储资源"升级为 AI 系统中的核心计算资源。