写文章
- @sea_prince
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
NVIDIA 开源 AI 实战｜Nemotron-3.5-Lightning 在Azure云服务器 Docker + vLLM 上的部署记录
本文在单卡NVIDIA A100 80GB上成功部署NVIDIA Nemotron-3.5-Lightning-30B-A3B-NVFP4模型，基于vLLM开源框架与官方镜像，实测支持混合Mamba-2+MoE+Attention架构，启用长思维链推理。通过Docker与hf-mirror下载权重（约21.6GB），配置KVcache为fp8_e4m3，显存占用约73GB，支持131072上下文长
到底了