logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型、agent中Messages API 无状态、Context Management、tokens缓存命中三者之间的关系

缓存命中指的是,大模型端通过算法来确定agent 的当前发送数据 与 上一条发送数据之间的相似度,若是大于某一阈值,就认为是缓存命中,可以少收钱。agent 的N+1请求数据: [system] [msg1] [msg2] ... [msgN] [msgN+1]← 再次携带完整历史。agent 的N请求数据:[system] [msg1] [msg2] ... [msgN]← 必须携带完整历史。无

#缓存
到底了