登录社区云，与社区用户共同成长
邀请您加入社区
本文在单卡NVIDIA A100 80GB上成功部署NVIDIA Nemotron-3.5-Lightning-30B-A3B-NVFP4模型，基于vLLM开源框架与官方镜像，实测支持混合Mamba-2+MoE+Attention架构，启用长思维链推理。通过Docker与hf-mirror下载权重（约21.6GB），配置KVcache为fp8_e4m3，显存占用约73GB，支持131072上下文长
