在 **龙蜥（Anolis OS）8.9** 操作系统上，基于海光开发者社区提供的 **vLLM Docker 镜像** 部署大模型服务的完整流程，涵盖 DCU 驱动安装、Docker 环境搭建、镜像拉取、服务部署与调用验证。

在 **龙蜥（Anolis OS）8.9** 操作系统上，基于海光开发者社区提供的 **vLLM Docker 镜像** 部署大模型服务的完整流程，涵盖 DCU 驱动安装、Docker 环境搭建、镜像拉取、服务部署与调用验证。

在相同(或相近)的总内存下，采用 4xRTX3090(约 96GB 显存)的方案，在 Qwen3.6-27B 这类模型的推理速度上，会显著优于基于 GB10 的 DGXSpark 设备。在 FP8 模式下，Qwen3.6-27B需要传输 27 亿个参数，每次传输 1 字节，即 27GB。最大带宽为 270GB/s，270GB 除以 27GB，即可得到大约。库进行，通过特定的启动脚本与参数配置实现模

首次安装请按「驱动 → 固件」的顺序走；如果是覆盖安装或升级，顺序反过来——「固件 → 驱动」。另外，整个安装过程都需要权限，记得先su - root切过去。

首次安装请按「驱动 → 固件」的顺序走；如果是覆盖安装或升级，顺序反过来——「固件 → 驱动」。另外，整个安装过程都需要权限，记得先su - root切过去。