
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
AI Agent降低性能开销的策略(百炼平台)
AI Agent的执行时间和传入的上下文参数有着密不可分的关系,上下文参数传递的越多,模型计算所需要生成是调用的参数越多,消耗的计算量越大,消耗的时间越长。同样的根据大模型的自回归生成 技术我们可以得出,减少输出的内容,也可以减少token和时间的消耗,所以我们在输出的必要结果的基础上减少参数的返回。综上可知,结构化的输出内容后之后,耗时前后减少了20s左右,token使用量虽然增加,但不会消耗过
到底了







