
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
vllm中的logprobs
但是上面引发的另一个问题就是当参数logprobs >= 1时,由于返回的是一个List[Dict]类型,那sample出来的token和probability前logprobs的token的顺序是什么样的呢?vllm中的文档好像并没有明确说明这个细节,我在查了网上资料好像也没有,openai api对应的logprobs返回逻辑好像与这个不一致。
到底了







