logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

语义滑动窗口-大模型场景下解决输入上下文过长的方案

在笔者看来,这个方法最大的好处就是非常之节省资源,比如某b场,可以利用一些句子结束标识符的策略光速对全文进行切割,然后按照预设的单个chunk的max_token进行扩展,当然还是有一些巧思在里面的,比如他们在相邻的两个chunk里,有一部分的内容是重复的,这样能延展语义的连续。,比如我关心的实际上是《话题A》,但是因为扩展机制把另一个话题下的《话题B》、《话题C》都给扩展进来了,如果这A、B、C

文章图片
#自然语言处理#语言模型
语义滑动窗口-大模型场景下解决输入上下文过长的方案

在笔者看来,这个方法最大的好处就是非常之节省资源,比如某b场,可以利用一些句子结束标识符的策略光速对全文进行切割,然后按照预设的单个chunk的max_token进行扩展,当然还是有一些巧思在里面的,比如他们在相邻的两个chunk里,有一部分的内容是重复的,这样能延展语义的连续。,比如我关心的实际上是《话题A》,但是因为扩展机制把另一个话题下的《话题B》、《话题C》都给扩展进来了,如果这A、B、C

文章图片
#自然语言处理#语言模型
到底了