AI Agent可观测性：破解多步推理黑盒

你的Agent到底在想什么，还是它只是装作在想

你给Agent派了个活：帮我整理这份合同，标出风险条款。它沉思了八秒，调了三个工具，读了一堆文档，最后回你一句"已完成"。你打开一看，标错了，关键条款压根没碰。你问它：你刚才干嘛去了？它说：我尽力了。

这大概就是今天绝大多数AI Agent的真实处境——它干完了，你却看不见它怎么干的。传统的监控只能告诉你"服务还活着"，但回答得对不对、路径合不合理、钱花得值不值，它一律沉默。多步推理的Agent，恰恰是在这"其余的部分"里翻车的。

一、为什么说Agent是个黑盒

普通接口是确定的：同样的入参，同样的出参。Agent不是。它接到任务后，会自己规划、检索、调工具、再行动，每一步还可能回退重来。一个有名的编码Agent跑一次，能被记录成46个span——模型调用和工具执行像波浪一样交替出现，人根本无法靠"看日志"还原它当时的思路。

更要命的是，"它回了一条消息"不等于"它完成了目标"。Agent自己说"搞定了"，往往只是它放弃了，而不是真做完了。而行业对这块的盲区大得惊人：2026年的调研显示，29.5%已经把Agent跑上生产的团队，一套评估都没做。近三分之一的团队，对自己Agent到底干得好不好，毫无系统性的判断手段。

一条Agent trace，就是它脑子里那场独角戏的录像

二、可观测性到底要看什么

破解黑盒，靠的是把每一次交互拆成"span（一个动作）→ trace（一次交互）→ thread（一段对话）"三级结构，每一级都记录输入、输出、token、耗时和成本。一个成熟的Agent可观测体系，通常分三层：

追踪层：给每次模型调用、工具调用、检索、动作都包一个span，记清模型名、token数、参数和结果。底层标准正在统一——OpenTelemetry的GenAI语义约定（gen_ai.* 这批跨厂商中立的属性）已被Google、AWS、Azure、Datadog采纳，GitHub Copilot、Claude Code（可选开启OTel追踪）、Codex也都导出了这套数据。评估层：对线上流量做抽样评测，看答案相关性、工具正确性、是否基于事实、有没有安全问题，常用"LLM当裁判"自动打分。监控层：成本/步、延迟p50/p95、错误率（系统错误+语义错误）、推理深度、回退次数、循环次数、吞吐。

Agent有几个专属指标特别关键：推理深度——一个任务走了156步，多半是它在原地打转；回退次数——每个会话都回退3次，说明计划本来就碎了；某个高频工具的错误率32%，那是critical级故障；循环次数高，代表它卡死了；还有"每次对话的成本""基于事实度""任务完成度""越狱尝试次数"。传统APM看的是机器挂没挂，Agent可观测性看的，是它脑子清不清楚。

一张好的仪表盘，能把"它想啥"变成"它哪步错了"

三、工具盘点：别被一家绑死

好消息是，你不用自己造轮子。LangSmith跟LangChain生态绑得最紧、评估最深度，但只能托管；Langfuse开源、可自托管、免费起步，是性价比最高的起点；Arize Phoenix基于OpenTelemetry、主打追踪与漂移、能本地跑；Helicone像个代理，几乎不改代码就能拿到成本和延迟；OpenObserve用Rust写成单文件，把LLM的span、基础设施日志、指标、前端监控塞进同一个库，相关性分析一次查询搞定。

选型的底线只有一条：认准OpenTelemetry兼容，把它当硬指标，而不是可选项。只要埋点是OTel原生的，哪天换厂商不用重写埋点。价格差异能吓你一跳——同样5000万span的量级，有方案比LangSmith便宜40倍，比托管版Langfuse便宜27倍；而自托管的Langfuse，软件本身免费，你只付运维成本。

开放标准这头，换工具不换埋点；封闭那头，迁一次脱层皮

— 前方高能，请扶稳 —

四、落地顺序：先追踪，再算账，后评测

别一上来就建大屏。可行的节奏是：第一到第三周，先用OpenTelemetry按GenAI约定把Agent埋好，拿到端到端trace、token和工具参数结果——自托管Langfuse是最省钱的起点。接着，成本和延迟几乎是"顺手"就能拿到的。再往上，对抽样流量做在线评测。最后，只对少数几个真正要命的指标告警：成本突增、错误率跳涨、质量下滑。每一层都为下一层买单，顺序别乱。

记住一件事：你真正的资产是trace数据本身，不是某个工具。埋点对，今天用A、明天换B，数据还在；埋点错，迁一次就像重做一遍。可观测性不是给AI装摄像头，是给它装仪表盘——你看不见的那段推理，你永远修不好。

一句话收尾：Agent能不能上生产，不看它演示时多聪明，看它出事时你能不能三分钟定位到那一步。把黑盒变成仪表盘，才是从玩具到系统的那道坎。