logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

AI Agent降低性能开销的策略(百炼平台)

AI Agent的执行时间和传入的上下文参数有着密不可分的关系,上下文参数传递的越多,模型计算所需要生成是调用的参数越多,消耗的计算量越大,消耗的时间越长。同样的根据大模型的自回归生成 技术我们可以得出,减少输出的内容,也可以减少token和时间的消耗,所以我们在输出的必要结果的基础上减少参数的返回。综上可知,结构化的输出内容后之后,耗时前后减少了20s左右,token使用量虽然增加,但不会消耗过

#php#数据库#开发语言
到底了