今天说一下“缓存命中”

CAE虚拟与现实

50人浏览 · 2026-11-04 21:56:12

CAE虚拟与现实 · 2026-11-04 21:56:12 发布

当你向大模型 API 发送请求时，如果请求中的前缀部分（如系统提示词、历史对话、长文档等）与之前某个请求完全相同，API 服务商直接复用之前计算好的 KV Cache，跳过重复的预填充（Prefill）计算。

维度	说明
匹配规则	必须从第一个 Token 开始完全一致，改一个标点都失效
缓存对象	只缓存输入 Token 的 KV 向量，输出 Token 无法缓存
价格差异	命中部分通常按原价的 1%~20% 计费
TTL	缓存有生存时间，DeepSeek 默认 5 分钟，OpenAI 5-10 分钟

在 API 返回的 usage 字段中查看：

{
  "usage": {
    "prompt_tokens": 15000,
    "cache_creation_input_tokens": 10000,
    "cache_read_input_tokens": 5000,
    "completion_tokens": 800
  }
}