logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

没有 IB 网卡,纯 50GbE 以太网也能跑多机多卡 vLLM:DeepSeek/Qwen 部署踩坑 FAQ(报错速查+命令直接抄)

多机多卡跑大模型,80% 时间不是花在推理上,而是卡在网卡选错、NCCL 握不上手、显存算不清。本文按"报错串→根因→可复现命令"整理成速查 FAQ:Gloo/NCCL 网卡指定、shm 与 P2P、CUDA OOM 显存反向估算、TP/PP 并行怎么切,示例是纯 50GbE 以太网桌面集群(无 IB、免高端交换机)。命令属官方/社区通用做法,硬件数值引白皮书口径,真机吞吐以实测为准。

文章图片
#人工智能#边缘计算
E1001+4×DGXSpark 组桌面超算集群:免高端交换机本地部署 DeepSeek-R1 实操教程

用1台E1001+4台DGX Spark在桌面上组免高端交换机的大模型集群:4×1PFLOPS算力、512GB统一寻址内存,跑满血DeepSeek-R1,数据全程不出企业内网。含vLLM+Ray多机部署可复现实操与选型建议。

文章图片
#人工智能#边缘计算
到底了