在智能体工具时代,随着集成工具越来越多,token消耗一直是应用优化难以回避的问题。

MCP-Zero基于主动信息获取理论优化,在保证性能前提下,明显减少了token消耗。

https://github.com/xfey/MCP-Zero

这里参考MCP-Zero网络资料,尝试探索智能体主动信息获取的相关理论。

1 最优工具选择

T = {t1, t2, …, tn}表示完整工具集合,q表示查询,st表示当前对话状态,t*表示最优工具选择。

1)被动方法

传统方法需要对整个集合进行评估:

P_{passive}(t^{*}|q, T) = \frac{P(q|t^{*}, T)P(t*|T))}{\sum_{t_{i} \in T} P(q|t_{i}, T)P(t_{i}|T)}\displaystyle

2)主动方法

采用主动信息获取,智能体根据其当前状态和能力评估生成请求 r

P_{activte}(t^{*}|s_t) = P(t^{*}|r)P(r|s_t))

P(r|st) 表示智能体根据当前理解表达其需求的能力。

2 工具请求

工具请求建模为一个主动学习过程,智能体选择以最大化任务完成信息增益为目标。

\displaystyle r^{*} = \mathop{\arg\max}\limits_{r} I(T^{*}; r|s_{t}) = \mathop{\arg\max}\limits_{r} [H(T^{*}|s_{t}) - H(T^{*}|r, s_{t})]

T*表示最优工具集

I(T*; r|st)表示最优工具集与请求之间的互信息

r*尝试让智能体主动减少工具需求不确定性。

3 语义对齐改进

相比原始用户查询q,智能体生成的请求r与工具文档表现出更强的对齐。

Alignment(r, t) = cos(e_{r}, e_{t}) > cos(e_{q}, e_{t})

e_r、e_q、e_t 分别表示请求、查询和工具描述的嵌入。

这种改进源于智能体与工具文档在相同的语义空间中操作。

4 迭代信息增益

与单次检索不同,主动发现支持k次迭代中累积信息获取增益。

\displaystyle I_{total} = \sum_{i}^{k} I(T^{*}; r_{i}|s_{i-1}) - \lambda Cost(r_{i})

λ 表示每次请求上下文开销,I_total捕捉了主动信息获取优化在信息增益和计算效率之间的权衡。

采用主动信息获取优化后,token消耗减少98%且准确性不变,反映了其相对于穷举工具的效率.

从搜索空间角度观察, 被动方法处理所有n个工具,主动方法首先在n个服务器中过滤出m个服务器(m ≪ n),然后在过滤后的子集中进行匹配,将复杂度降低到O(m + k),其中 k 是每个选定服务器的平均工具数。

从注意力分布角度,在有限认知资源下,被动方法将注意力平均分配到每个工具上,每个工具的注意力为1/n,并受到噪声因子η(n) ∝ log(n)的影响。主动方法将注意力集中在相关子集上,保持 1/k 的有效性,其中 k ≪ n。

reference

---

MCP-Zero:LLM智能体主动工具发现的新范式

https://zhuanlan.zhihu.com/p/1928760473630798292

MCP-Zero: Active Tool Discovery for Autonomous LLM Agents

[2506.01056] MCP-Zero: Active Tool Discovery for Autonomous LLM Agents

MCP-Zero 论文官网

https://github.com/xfey/MCP-Zero

⚡️ MCP-ZERO ⚡️,与论文没有关系

https://github.com/GlobalSushrut/mcp-zero

Logo

为武汉地区的开发者提供学习、交流和合作的平台。社区聚集了众多技术爱好者和专业人士,涵盖了多个领域,包括人工智能、大数据、云计算、区块链等。社区定期举办技术分享、培训和活动,为开发者提供更多的学习和交流机会。

更多推荐