logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

VLLM+5090+多卡并行+2025.6.12

50系显卡的Blackwell框架尚未得到VLLM官方预编译版本的原生支持,需要搭配cuda12.8+pytorch2.7.1手动编译。由于pytorch2.7.1默认安装的nccl为2.6.2并未支持cuda12.8,故多卡通信失败、无法多卡并联,解决方案是编译完VLLM后手动升级nccl至最新版本。

文章图片
#linux#服务器#ubuntu +2
到底了