长上下文与大模型落地:突破上下文窗口限制的工程实践
·
如果你是一位正在部署大模型应用的工程师,最近一定被同一类问题困扰过:本地模型明明只有 8K 上下文,业务方却丢过来一份 50 页产品文档,要求模型一次性读完并回答细节问题;或者你的智能客服系统每轮对话都带着完整历史记录,请求越来越慢,账单越来越贵。长上下文(Long Context)似乎成了大模型落地时绕不开的坎,而绝大多数团队并不具备从头训练模型的资源和条件。
Vel
更多推荐
如果你是一位正在部署大模型应用的工程师,最近一定被同一类问题困扰过:本地模型明明只有 8K 上下文,业务方却丢过来一份 50 页产品文档,要求模型一次性读完并回答细节问题;或者你的智能客服系统每轮对话都带着完整历史记录,请求越来越慢,账单越来越贵。长上下文(Long Context)似乎成了大模型落地时绕不开的坎,而绝大多数团队并不具备从头训练模型的资源和条件。
Vel
更多推荐
所有评论(0)