
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
VLLM+5090+多卡并行+2025.6.12
50系显卡的Blackwell框架尚未得到VLLM官方预编译版本的原生支持,需要搭配cuda12.8+pytorch2.7.1手动编译。由于pytorch2.7.1默认安装的nccl为2.6.2并未支持cuda12.8,故多卡通信失败、无法多卡并联,解决方案是编译完VLLM后手动升级nccl至最新版本。

到底了

该用户还未填写简介
暂无可提供的服务
50系显卡的Blackwell框架尚未得到VLLM官方预编译版本的原生支持,需要搭配cuda12.8+pytorch2.7.1手动编译。由于pytorch2.7.1默认安装的nccl为2.6.2并未支持cuda12.8,故多卡通信失败、无法多卡并联,解决方案是编译完VLLM后手动升级nccl至最新版本。
