别在最后一步救火——Agent 工具输出的一万五千 token 该怎么分层处理
目录
一、工具一返回,上下文就爆了
Agent 调一个 Skill 去查数据库,拿回来几千上万字原始数据,直接塞进上下文——token 当场打爆。这个场景我见过太多次,它几乎是所有工具型 Agent 从 demo 走向生产时必然撞上的第一堵墙。
我拿这个当面试题问过人:面对海量工具返回,你会怎么处理?绝大多数人的答案是"截断"——砍掉后面多余的部分,把长度压下来。候选人说这句话的时候语气很笃定,因为它确实当场解决了报错。
但这是典型的"把报警器拆了"。硬截断最容易把关键业务字段拦腰切断:一条订单记录被切在金额和状态之间,模型拿到的就是半截 JSON;它不会告诉你"我拿到的是残片",而是会基于残片给出一个看起来很合理的错误结论。截断只该是最后一道兜底,绝不能当主方案。
二、先把防线摆对位置
我的做法是从源头到兜底分三层,中间再加一层上下文编排。顺序很关键:越靠前的层,成本越低、收益越大;越靠后的层,只在极端情况下生效。很多人只做了最后一层,然后每次都靠它救火。

图 1:三层生产防线 + 一层兜底,截断永远是最后一环而不是第一选择
三、真正贵的地方:tool 返回会被反复携带
很多人低估这件事,是因为他们把 tool 返回当成"一次性输入"。但在一个多轮循环里,工具返回一旦进了上下文,后面每一轮请求都会把它重新带上去。一次 5 万 token 的返回,如果你还要跑 5 轮,光这一段就贡献了 25 万输入 token——而且每一轮都在为它付钱。

图 2:5 万 token 的返回会在后续每一轮被重复携带,压缩源头的收益是乘轮的
想明白这一点,优先级就清楚了:在工具侧少吐 1 万 token,比在上下文里省 1 万 token 值钱得多。因为前者的收益会随轮次放大利,后者只是一次性的。
我自己算过一笔账:一个对账类 Agent 平均要跑 8 轮,工具返回 3 万 token,光这一段就是 24 万输入 token;如果把它压到 3 千,省下来的是 21.6 万。同一件事,在接口层改三行 SQL 注释的成本,比在上下文层做十次摘要都低。这也是我看任何 Agent 成本问题时的第一反应——先去数工具返回占了总输入的多大比例,这个数字通常在 60% 以上,只是没人统计过。
四、第一层:把工具设计「窄」
最便宜的优化发生在写工具的时候,而且它根本不需要模型参与。我给自己定的规矩是三条:
- 列表接口绝不返回正文。只回 id、标题、更新时间、摘要这种索引级字段;要看正文,另开一个
get_document(id)按需取。这一条能砍掉 80% 的体积。 - 查询必须带上限。limit 默认就有,禁止全表拉取;超过上限用游标翻页,让模型自己决定还要不要下一页。
- 禁止 select *。按需指定字段,SQL 层就把列裁掉,比在 Python 里 pop 掉更省 IO 和带宽。

图 3:接口契约决定了返回体量的量级,这一步的改造成本最低、收益最高
@tool
def list_documents(
query: str,
limit: int = 20, # 永远带上限,禁止全表拉取
cursor: str | None = None, # 游标翻页,让模型自己决定要不要下一页
fields: list[str] = ["id", "title", "summary"], # 只返回索引级字段
) -> dict:
"""返回文档列表,不含正文。需要正文请调用 get_document(id)。"""
rows = db.query(query, fields=fields, limit=min(limit, 50), cursor=cursor)
return {"rows": rows, "total": count, "next_cursor": rows.next_cursor}
这段代码里最重要的一行其实是文档字符串。工具的说明本身就是在教模型怎么用:明确写出"不含正文、需要正文请调另一个工具",模型就不会把列表接口当成全量数据源,也不会因为拿到摘要就编造正文内容。
五、第二层:拿到返回先别转发
工具已经尽量窄了,但业务上总有需要大结果集的查询。这时候我在工具返回和模型输入之间加一道预处理,顺序是:清洗 → 过滤 → 摘要。
清洗去掉的是纯粹的噪声:内部标记、调试日志、空字段、重复的嵌套层级。这些字段对模型毫无价值,但每一种都实实在在占 token。过滤要结合用户的原始 query 做相关性判断——用户问"退款政策",返回列表里那条"发货时效"就是无关项,可以直接筛掉。摘要是最后手段:数据量还是偏大时,用一个便宜的小模型把列表提炼成关键信息,再交给主模型。

图 4:清洗、过滤、摘要三道工序,每一道都能独立开关,也都能独立估算收益
这里有个我踩过的细节:相关性过滤不要交给主模型做。很多人顺手就写"让模型判断哪些条目相关",但这一步本身就是一次大上下文调用,等于为了省 token 先花一遍 token。我的做法是用便宜的相似度打分(BM25 或小向量模型)先做粗筛,阈值调低一点、宁可多留几条——粗筛的目标是"不漏掉相关的",不是"精准"。
def preprocess(raw_rows, user_query, budget_tokens=6000):
# 1. 清洗:只留业务字段,丢掉调试信息
rows = [trim_fields(r, keep=("id", "title", "category", "updated_at")) for r in raw_rows]
# 2. 过滤:和本次任务无关的条目直接出局
rows = [r for r in rows if is_relevant(r, user_query)]
# 3. 摘要:仍然超预算时,用小模型提炼,但保留 id 映射
if estimate_tokens(rows) > budget_tokens:
return {
"summary": cheap_model.summarize(rows),
"ids": [r["id"] for r in rows], # 关键:留好回查入口
"total": len(rows),
"note": "细节请用 get_document(id) 取回",
}
return {"rows": rows, "total": len(rows)}
六、第三层:一次装不下,就分批
如果结果集本身就很大,正确的做法不是"想办法压进一次上下文",而是承认它装不下,改成多轮:Agent 多轮调用工具,一次只取一页,处理完再取下一页。业内常用两种形态——游标翻页(工具返回 next_cursor,模型决定要不要继续)和 map-reduce(每页单独处理出中间结论,最后汇总)。

图 5:分批把「一次装不下」变成「多次装得下」,代价是时延和编排复杂度
6.1 还有一种更彻底的做法:不放进上下文,放进文件
如果结果集大到连分页都很吃力,我会选一条更彻底的路:干脆不把它读进上下文。工具只返回一句"已写入 /mnt/data/export_0912.jsonl,共 12 万行",再给 Agent 一个文件检索工具,让它自己按需 grep、按行号读片段。这样上下文里永远只有"我查了什么、命中哪几行",数据本体留在磁盘上。
我把这个模式叫"上下文里只放索引"。它对日志、代码库、大表格这类结构规整的数据特别有效,因为模型不需要通读,它只需要能被准确定位。代价是要求 Agent 会自己写查询(grep、jq、SQL),这在弱模型上并不总是稳定,所以我会先观察它在十次任务里能不能可靠地用对工具,再决定要不要上这套。
七、兜底:截断也要截得「诚实」
前三层都做完了,仍然要有兜底——极端数据、异常返回、上游不听话的接口,总会发生。但截断有两种,差别极其大。
第一种是按字符硬切:切在 JSON 中间,模型拿到的是残片,它不知道数据不完整,于是基于半条记录推理。这是最危险的一种,因为错误是静默的。第二种是按条目切,并且在被切的位置显式写上"已省略 N 条,可调用 next_page 继续"——模型知道数据不全,要么主动去取,要么在回答里明确说明。

图 6:截断要按结构边界切,并且把「缺了什么」明说给模型,否则等于制造幻觉
def safe_truncate(items, budget_tokens):
kept, used = [], 0
for i, item in enumerate(items):
cost = count_tokens(item)
if used + cost > budget_tokens:
# 关键:明确告知缺口,并给出继续获取的入口
kept.append(f"...[已省略 {len(items) - i} 条,可调用 next_page 继续]...")
return kept
kept.append(item)
used += cost
return kept
另外补一句监控:我会对每次工具返回的 token 量做统计,超过阈值就触发保护逻辑(降级为摘要模式或强制分页)。这个阈值要按 p95 来定,而不是看平均值——把上下文打爆的永远是长尾。
八、怎么组合:成本、时延、复杂度
四层不是非得全上。它们各自有代价:源头过滤要改接口,摘要多一次模型调用,分批会增加往返时延,截断会丢信息。我按场景给了一组默认组合:
| 场景 | 推荐组合 | 理由 |
|---|---|---|
| 低时延优先(在线客服) | 源头窄接口 + 清洗过滤,不上摘要 | 摘要多一次模型调用,时延不可接受;靠前两层已经够用 |
| 低成本优先(批处理分析) | 源头窄接口 + 摘要 + 分批 | 能容忍时延,把 token 成本压到最低 |
| 大结果集(日志、全量导出) | 游标分页 + map-reduce | 数据量客观装不下,只能多轮 |
| 需要精确字段(对账、审计) | 结构化查询 + 禁止摘要 | 摘要会磨掉金额、单号这类必须逐字一致的信息 |
有一条我会坚持的原则:涉及金额、单号、时间戳、状态码的字段,任何情况下都不进摘要。摘要适合处理"描述性内容",不适合处理"标识性内容"。一旦让模型去概括精确值,你就同时得到了省钱和错误。
九、小结
五句话收束:
- 截断不是方案,是兜底:硬截断会静默切断业务字段,模型不报错、直接编。
- 成本是乘轮的:工具返回会在每一轮被重新携带,所以源头少吐一万,比上下文里省一万值钱。
- 最便宜的优化在接口层:列表不返回正文、查询必须带 limit、禁止 select *,这三条能砍掉大部分体积。
- 预处理要留回查入口:清洗、过滤、摘要之后,id 映射必须带回去,否则摘要是消耗品。
- 组合而不是堆叠:按成本、时延、精确性要求选组合;精确字段永不进摘要。
说到底,这类问题的本质不是"上下文窗口不够大",而是没有在数据进入模型之前做任何治理。窗口再大也追不上数据增长的速度,真正管用的是那句最朴素的工程直觉:能在源头解决的事,不要留给下游擦屁股。
四层里我最不愿意砍的是第一层。因为它不消耗任何推理成本、不增加任何时延,只是要求你在设计工具时克制一点——别把数据库的整张表原封不动暴露给模型。这种克制几乎是一个 Agent 工程成熟度的分水岭:新手总怕模型"看不到全部信息",于是把所有东西都塞进去;做过生产的人反过来,先问"模型真正需要看到哪几个字段"。我现在接一个新 Agent 项目,第一件事就是翻它的工具清单,看有几个接口会返回全量数据。
更多推荐


所有评论(0)