logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

vllm中的logprobs

但是上面引发的另一个问题就是当参数logprobs >= 1时,由于返回的是一个List[Dict]类型,那sample出来的token和probability前logprobs的token的顺序是什么样的呢?vllm中的文档好像并没有明确说明这个细节,我在查了网上资料好像也没有,openai api对应的logprobs返回逻辑好像与这个不一致。

#深度学习#语言模型#transformer
到底了