【稀缺实测】全网缺货的B300我们搞来了!Ubuntu 22.04 + SGLang 部署 GLM-5.2-FP8 全流程实录
B300 现在根本不是你想买就能买到的,又贵又稀缺,到处都是询价的,却没几个人摸过真机。
我们就想做一件全网现在还很难看到的事——跑一次 GLM-5.2-FP8 的硬核实测,看看企业真要把它用到生产环境,选型到底该盯哪些点。
B300 是 Blackwell 架构,部署成功的关键在于整条软件栈必须匹配:
- NVIDIA 驱动:580.159.04
- Fabric Manager:580.159.04-1,必须与驱动严格一致
- CUDA Toolkit:13.0
- DOCA-OFED:24.10-4.1.4.0
- NCCL:CUDA 13 对应版本
- PyTorch:2.5+ cu130
- 推理框架:SGLang
- 模型:GLM-5.2-FP8
本文按工程实践方式记录一次完整部署过程:
系统准备 → 高速网络 → GPU 驱动 → Fabric Manager → CUDA 13 → Python 环境 → SGLang 启动 → benchmark 验证。
本次实测中,8 卡 Tensor Parallel 成功跑通 GLM-5.2-FP8,关键压测结果如下:
| 指标 | 实测结果 |
|---|---|
| 后端 | sglang |
| 最大并发 | 16 |
| 成功请求数 | 8 |
| 压测时长 | 8.63 s |
| 请求吞吐 | 0.93 req/s |
| 输入 token 吞吐 | 4449.39 tok/s |
| 输出 token 吞吐 | 309.28 tok/s |
| 峰值输出吞吐 | 607.00 tok/s |
| 总 token 吞吐 | 4758.67 tok/s |
| 平均并发 | 5.13 |
结论先放前面:B300 不是简单的“升级换卡”,而是一次 GPU、驱动、网络、多卡通信和推理框架的全链路升级。
一、场景背景
1.1 要解决的具体问题
本文解决的问题是:
如何在 Ubuntu 22.04 环境下,将 NVIDIA B300 GPU 从系统安装阶段配置到可运行 GLM-5.2-FP8 推理服务,并通过 benchmark 验证服务可用性和性能?
这个问题在实际部署中容易被低估。很多团队以为新机器到位后,只需要:
安装驱动 -> nvidia-smi 正常 -> 启动模型服务
但在 B300 上,这条路径很容易失败。
原因是 B300 属于 Blackwell 架构,涉及 CUDA 13、FP8、NVLink / NVSwitch、InfiniBand、NCCL、SGLang / vLLM 等一整套组件。只要其中一个版本或配置不匹配,可能出现以下问题:
- GPU 能被识别,但多卡通信失败;
nvidia-smi正常,但nvidia-smi nvlink --status报错;- 推理服务卡在 load checkpoint 阶段;
- NCCL 没走 InfiniBand,而是 fallback 到 SOCKET;
- FP8 模型加载失败;
- 服务能启动,但吞吐或延迟明显不符合预期。
1.2 为什么 B300 部署比 A100 / H100 更容易踩坑?
核心原因是:B300 的硬件能力需要更高版本的软件栈才能释放。
| 组件 | 常见问题 |
|---|---|
| NVIDIA 驱动 | 老版本驱动可能识别不了 B300,或者无法暴露完整能力。 |
| Fabric Manager | NVLink / NVSwitch 多卡通信依赖它,版本不一致会导致 P2P 失败。 |
| CUDA 13 | Blackwell 相关特性需要 CUDA 13 支持。 |
| DOCA-OFED / InfiniBand | 配置错误会导致 RDMA、NCCL 退化。 |
| NCCL | 多卡 / 多机通信性能依赖 NCCL 正确识别高速网络。 |
| SGLang / vLLM | FP8、MoE、Tensor Parallel 支持持续迭代,版本不对可能启动失败。 |
| GLM-5.2-FP8 | 模型路径、量化配置、TP 参数都需要匹配。 |
一句话总结:
B300 部署不是验证某一个命令成功,而是要验证 GPU、网络、通信库、推理框架和模型服务的闭环。
二、技术方案
2.1 推荐部署顺序
建议严格按照以下顺序执行:
- 系统准备,禁用 Nouveau;
- 安装 DOCA-OFED,验证 InfiniBand;
- 安装 NVIDIA 驱动 580.159.04;
- 安装 Fabric Manager 580.159.04-1;
- 安装 CUDA Toolkit 13.0;
- 安装 Python / PyTorch / SGLang 环境;
- 做系统级优化;
- 启动 GLM-5.2-FP8 推理服务;
- 跑 benchmark 验证吞吐和延迟。
为什么要这个顺序?
因为 B300 的排障成本很高。如果一开始就启动模型服务,错误可能来自驱动、CUDA、NCCL、Fabric Manager、模型路径、容器挂载、量化配置等多个层面,很难定位。
更稳妥的方法是:每安装一层,就验证一层。
2.2 版本锁定清单
建议先把版本锁死,不要边安装边升级。
| 组件 | 推荐版本 | 说明 |
|---|---|---|
| 操作系统 | Ubuntu 22.04 LTS | 服务器版,LTS 长期支持。 |
| 内核 | 5.15+ | 与 NVIDIA 580 驱动兼容。 |
| NVIDIA 驱动 | 580.159.04 | B300 专用驱动。 |
| Fabric Manager | 580.159.04-1 | 必须与驱动版本严格一致。 |
| CUDA Toolkit | 13.0 | Blackwell 完整特性支持。 |
| DOCA-OFED | 24.10-4.1.4.0 | 高速网络与 GPUDirect RDMA。 |
| cuDNN | 9.x for CUDA 13 | 深度学习基础库。 |
| NCCL | 2.x for CUDA 13 | 多卡 / 多机通信。 |
| PyTorch | 2.5+ cu130 | 训练 / 推理框架依赖。 |
关键经验:
驱动和 Fabric Manager 的版本必须严格一致。实测中遇到过 Fabric Manager 小版本落后,导致
nvidia-smi nvlink --status报错、多卡通信无法建立的问题。
2.3 第 1 步:系统准备,禁用 Nouveau
Nouveau 是开源 NVIDIA 驱动,可能和官方 NVIDIA 驱动冲突。安装 B300 驱动前建议先禁用。
# 更新系统
sudo apt update && sudo apt upgrade -y
# 安装基础工具
sudo apt install -y build-essential dkms linux-headers-$(uname -r) \
wget curl vim git net-tools pciutils ethtool openssh-server python3-pip
# 禁用 Nouveau,避免和 NVIDIA 驱动冲突
sudo bash -c "cat > /etc/modprobe.d/blacklist-nouveau.conf" << EOF
blacklist nouveau
options nouveau modeset=0
EOF
sudo update-initramfs -u
sudo reboot
重启后验证:
lsmod | grep nouveau # 应无输出
lspci | grep -i nvidia # 应能看到 B300
验证标准:
lsmod | grep nouveau无输出;lspci | grep -i nvidia能看到 NVIDIA 设备。
2.4 第 2 步:安装 DOCA-OFED,先验证高速网络
B300 集群通常配合 ConnectX-7 / InfiniBand 使用。多机训练或推理场景下,InfiniBand、RDMA、NCCL 的配置会直接影响性能。
本次使用 DOCA-OFED 24.10:
cd ~/downloads
wget https://content.mellanox.com/ofed/MLNX_OFED-24.10-4.1.4.0/MLNX_OFED_LINUX-24.10-4.1.4.0-ubuntu22.04-x86_64.tgz
tar -xzf MLNX_OFED_LINUX-24.10-4.1.4.0-ubuntu22.04-x86_64.tgz
cd MLNX_OFED_LINUX-24.10-4.1.4.0-ubuntu22.04-x86_64
sudo ./mlnxofedinstall --all --with-doca
sudo /etc/init.d/openibd restart
# 验证
ofed_info -s
ibstat
如果需要 GPUDirect RDMA,可继续配置:
echo "options nvidia NVreg_EnableGpuFirmwareLogs=2" | sudo tee /etc/modprobe.d/nvidia.conf
echo "options mlx5_core enable_nvpeer=1" | sudo tee -a /etc/modprobe.d/mlx5.conf
# 网络缓冲区优化
sudo sysctl -w net.core.rmem_max=268435456
sudo sysctl -w net.core.wmem_max=268435456
验证标准:
ofed_info -s能显示 DOCA-OFED 版本;ibstat中链路状态应为Active;- 后续 NCCL 日志中应确认走的是 IB,而不是 SOCKET。
注意:不要只看网络能不能 ping 通。ping 通只能说明 IP 网络可达,不代表 RDMA / InfiniBand / NCCL 链路正常。
2.5 第 3 步:安装 NVIDIA 驱动 580.159.04
B300 需要匹配的新驱动。本次实测使用 580.159.04。
cd ~/downloads/nvidia_driver
wget https://us.download.nvidia.com/XFree86/Linux-x86_64/580.159.04/NVIDIA-Linux-x86_64-580.159.04.run
chmod +x NVIDIA-Linux-x86_64-580.159.04.run
sudo systemctl isolate multi-user.target
sudo ./NVIDIA-Linux-x86_64-580.159.04.run
# 安装选项:接受协议;自动更新 X 配置选 No;32 位兼容库可选 Yes;运行 nvidia-xconfig 选 No
sudo reboot
重启后检查:
nvidia-smi
# 应显示 Driver Version: 580.159.04,CUDA Version: 13.0
验证标准:
nvidia-smi能识别 GPU;- Driver Version 为
580.159.04; - CUDA Version 显示
13.0。
2.6 第 4 步:安装 Fabric Manager,验证多卡互通
Fabric Manager 是 B300 多卡互通的关键组件。NVLink / NVSwitch 通信依赖它。
版本要求:
Fabric Manager 版本必须和 NVIDIA 驱动版本完全一致。
安装命令:
# 添加 NVIDIA 仓库
distribution=$(. /etc/os-release; echo $ID$VERSION_ID | sed -e 's/\.//g')
wget https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/cuda-keyring_1.0-1_all.deb
sudo dpkg -i cuda-keyring_1.0-1_all.deb
sudo apt update
# 安装指定版本
sudo apt install -y nvidia-fabricmanager-580=580.159.04-1
sudo systemctl start nvidia-fabricmanager
sudo systemctl enable nvidia-fabricmanager
验证:
sudo systemctl status nvidia-fabricmanager
nvidia-smi nvlink --status
nvidia-smi nvlink --capabilities
验证标准:
nvidia-fabricmanager服务为 active;nvidia-smi nvlink --status不报错;- 多卡通信链路可被正常识别。
常见坑:
| 问题 | 可能原因 | 解决方案 |
|---|---|---|
nvidia-smi nvlink --status 报错 |
Fabric Manager 版本不匹配 | 安装与驱动严格一致的版本。 |
| 多卡 P2P 失败 | Fabric Manager 未启动 | 检查 systemd 服务状态。 |
| 单卡可用,多卡推理失败 | NVLink / NCCL 异常 | 继续检查 Fabric Manager 和 NCCL 日志。 |
2.7 第 5 步:安装 CUDA Toolkit 13.0
Blackwell 相关能力需要 CUDA 13 及匹配的库支持。
wget https://developer.download.nvidia.com/compute/cuda/13.0.0/local_installers/cuda_13.0.0_580.32.07_linux.run
chmod +x cuda_13.0.0_580.32.07_linux.run
sudo sh cuda_13.0.0_580.32.07_linux.run --silent --toolkit --samples
# 配置环境变量
echo 'export CUDA_HOME=/usr/local/cuda-13.0' >> ~/.bashrc
echo 'export PATH=$CUDA_HOME/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc
# 验证
nvcc --version
# 应显示 release 13.0
验证标准:
nvcc --version
输出中应包含:
release 13.0
如果深度学习框架报类似 CUDA capability 10.0+ required 的错误,需要重点检查:
- 是否误装 CUDA 12;
- PyTorch 是否是 cu130 版本;
- 容器内 CUDA / NCCL 是否与宿主机兼容。
2.8 第 6 步:安装 Python 深度学习环境
建议使用 Python 3.11 虚拟环境,避免污染系统 Python。
# Python 3.11
sudo add-apt-repository ppa:deadsnakes/ppa -y
sudo apt update
sudo apt install -y python3.11 python3.11-venv python3.11-dev
curl -sS https://bootstrap.pypa.io/get-pip.py | python3.11
# 创建虚拟环境
python3.11 -m venv ~/b300-env
source ~/b300-env/bin/activate
# PyTorch for CUDA 13.0
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130
# 推理和优化工具
pip install transformers accelerate vllm sglang flash-attn --no-build-isolation
pip install deepspeed
验证 GPU 是否可被 PyTorch 识别:
python -c "import torch; print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0))"
验证标准:
torch.cuda.is_available()返回True;- 能输出 GPU 名称。
2.9 第 7 步:系统级优化
这些优化不是必须解决所有问题,但能减少资源限制和性能抖动。
# GPU 持久模式 + 功耗限制
sudo nvidia-smi -pm 1
sudo nvidia-smi -pl 700
# 文件描述符和内存锁
sudo bash -c "cat >> /etc/security/limits.conf" << EOF
* soft nofile 65536
* hard nofile 65536
* soft memlock unlimited
* hard memlock unlimited
EOF
# 共享内存
sudo bash -c "cat >> /etc/sysctl.conf" << EOF
kernel.shmmax = 68719476736
kernel.shmall = 16777216
EOF
sudo sysctl -p
# 禁用透明大页
sudo systemctl disable --now systemd-timesyncd # 示例
这里需要特别说明:
原始记录中“禁用透明大页”的命令示例实际指向 systemd-timesyncd,与透明大页配置不完全对应。生产环境建议补充准确的 THP 配置命令,并通过系统文件确认 THP 状态。
2.10 启动 GLM-5.2-FP8 推理服务
当以上环境都验证通过后,再启动 SGLang 推理服务。
本次测试使用 8 卡 Tensor Parallel:
docker run --gpus all \
--shm-size 32g \
-p 30000:30000 \
-v /models:/models \
--ipc=host \
-e PYTHONUNBUFFERED=1 \
-e NCCL_DEBUG=WARN \
lmsysorg/sglang:latest \
sglang serve \
--model-path /models/GLM-5.2-FP8 \
--tp 8 \
--mem-fraction-static 0.8 \
--enforce-disable-flashinfer-allreduce-fusion \
--host 0.0.0.0

启动日志中重点看这些信号:
- CUDA 版本:
CUDA Version 13.0.1; - NCCL 版本:
NCCL version 2.28.9+cuda13.0; - DeepGemm 已启用,用于 Blackwell FP8 推理加速;
- FlashInfer TRTLLM MoE 后端初始化;
- 8 个 tensor parallel rank 依次完成初始化;
- 服务监听:
http://0.0.0.0:30000。
常见启动问题如下:
| 现象 | 可能原因 | 排查建议 |
|---|---|---|
| load checkpoint 阶段卡住 | 模型路径错误或权限不足 | 检查 /models/GLM-5.2-FP8 是否存在,容器挂载是否成功。 |
| FP8 相关报错 | 量化配置与框架版本不匹配 | 检查模型配置、SGLang 版本、CUDA / NCCL 日志。 |
--tp 8 启动失败 |
GPU 数量或可见设备不匹配 | 检查 docker --gpus all、nvidia-smi、CUDA_VISIBLE_DEVICES。 |
| 多卡通信失败 | Fabric Manager 或 NCCL 异常 | 检查 nvidia-smi nvlink --status 和 NCCL 日志。 |
| 性能明显偏低 | NCCL 可能 fallback 到 SOCKET | 开启 NCCL 日志,确认是否走 IB。 |
三、核心指标
3.1 benchmark 测试条件
服务启动后,使用 SGLang benchmark 工具做压测。
测试条件:
- 最大并发:16;
- 成功请求数:8;
- 输入 token 总量:38412;
- 输出 token 总量:2670。

3.2 吞吐指标
| 指标 | 数值 |
|---|---|
| 后端 | sglang |
| 最大并发 | 16 |
| 成功请求数 | 8 |
| 压测时长 | 8.63 s |
| 请求吞吐 | 0.93 req/s |
| 输入 token 吞吐 | 4449.39 tok/s |
| 输出 token 吞吐 | 309.28 tok/s |
| 峰值输出吞吐 | 607.00 tok/s |
| 总 token 吞吐 | 4758.67 tok/s |
| 平均并发 | 5.13 |
3.3 延迟指标
端到端延迟如下:

| 分位 | E2E Latency (ms) | TTFT (ms) | TPOT (ms) | ITL (ms) |
|---|---|---|---|---|
| Mean | 5535.54 | 1294.31 | 12.92 | 12.75 |
| Median | 5855.46 | 1356.86 | 12.73 | 12.40 |
| P90 | 7604.15 | 1447.78 | 13.47 | 12.60 |
| P95 | 8108.00 | 1448.54 | 13.92 | 12.64 |
| P99 | 8511.07 | 1449.14 | 14.27 | 14.82 |
3.4 如何解读这些指标?
1. TTFT 约 1.3s
TTFT 是首 token 延迟。此次输入 token 总量为 38412,属于长上下文输入,预填充阶段开销较大。因此 TTFT 约 1.3s 属于可以解释的范围。
2. TPOT 约 12.7 - 13 ms/token
TPOT 反映单 token 生成阶段延迟。该数值说明 FP8 推理链路已经跑通,生成阶段比较稳定。
3. 峰值输出吞吐 607 tok/s
说明在并发爬坡阶段,GPU 利用率能够被拉起来,B300 的 FP8 推理能力能够发挥出来。
4. P99 E2E 延迟达到 8.5s
当并发接近当前配置上限时,队列等待时间会明显增加。
生产环境中不能只看平均值,建议同时关注:
- TTFT;
- TPOT;
- P95 / P99 E2E 延迟;
- 请求失败数;
- GPU 利用率;
- NCCL 通信路径;
- 队列等待时间。
四、适用 / 不适用场景
4.1 适用场景
本文方案适合以下场景:
-
单机 8 卡 B300 推理验证
需要快速验证 B300 是否能跑通 GLM-5.2-FP8、SGLang、FP8 推理链路。 -
大模型 FP8 推理部署
模型使用 FP8 量化,需要 Blackwell、CUDA 13、SGLang / vLLM 等新版本能力。 -
长上下文推理压测
需要关注 TTFT、TPOT、P95 / P99 延迟和 token 吞吐。 -
多卡 Tensor Parallel 推理
需要验证 8 卡 TP、NVLink / NVSwitch、Fabric Manager、NCCL 是否正常。 -
从单机扩展到多机前的基础验证
建议先按本文流程跑通单机,再扩展到多节点。
4.2 不适用场景
本文不完全适用于以下场景:
-
不同 GPU 架构
如果是 A100、H100 或其他 GPU,驱动、CUDA、功耗限制、通信配置可能不同。 -
非 Ubuntu 22.04 系统
本文命令基于 Ubuntu 22.04,其他发行版需要调整包管理和驱动安装方式。 -
生产级多机集群完整方案
本文重点是单机 8 卡实测。多机生产环境还需要补充 SSH 互信、主机名解析、NCCL 拓扑、故障恢复、监控告警、灰度发布等内容。 -
所有模型的性能评估
benchmark 数据只代表本文环境、模型、并发和输入输出长度下的结果,不能直接外推到所有业务。 -
成本评估或云厂商选型
原文没有提供价格、成本、SLA 或云厂商资源规格,因此本文不做成本结论。
五、FAQ
Q1:B300 部署时最容易踩的坑是什么?
最容易踩的坑是只验证 nvidia-smi,没有继续验证 Fabric Manager、NVLink、NCCL 和 InfiniBand。
nvidia-smi 正常只能说明 GPU 驱动基本可用,不能说明多卡通信、RDMA、NCCL 和推理服务都正常。
建议至少完成以下验证:
nvidia-smi
sudo systemctl status nvidia-fabricmanager
nvidia-smi nvlink --status
ofed_info -s
ibstat
python -c "import torch; print(torch.cuda.is_available())"
Q2:为什么 Fabric Manager 必须和驱动版本一致?
Fabric Manager 负责管理 NVLink / NVSwitch 等多 GPU 通信能力。
实测中遇到过 Fabric Manager 小版本落后,导致:
nvidia-smi nvlink --status报错;- 多卡通信无法建立;
- 推理服务启动异常。
因此建议使用 apt 仓库安装指定版本:
sudo apt install -y nvidia-fabricmanager-580=580.159.04-1
避免手动下载多个 deb 包导致版本混装。
Q3:什么时候需要重点检查 InfiniBand 和 NCCL?
以下情况都需要重点检查:
- 从单机扩展到多机;
- 多卡推理性能明显低于预期;
- NCCL 初始化慢;
- GPU 利用率不均衡;
- 日志中出现 SOCKET fallback;
- benchmark 吞吐偏低。
检查命令包括:
ibstat
ofed_info -s
同时建议打开 NCCL 日志,确认通信是否走 IB,而不是 SOCKET。
Q4:GLM-5.2-FP8 启动失败时先查什么?
优先查三项:
- 模型路径是否存在;
- FP8 量化配置是否与 SGLang 版本匹配;
--tp 8是否与实际 GPU 数量一致。
比如本文启动命令中:
--model-path /models/GLM-5.2-FP8
--tp 8
--mem-fraction-static 0.8
如果 /models/GLM-5.2-FP8 在容器内不存在,或者宿主机目录没有正确挂载,就容易卡在 load checkpoint 阶段。
Q5:CUDA 13 是必须的吗?
在本文 B300 / Blackwell / GLM-5.2-FP8 场景下,建议使用 CUDA 13。
原因是 Blackwell 相关特性和新架构支持需要 CUDA 13 及对应生态库配合。如果误装 CUDA 12,可能出现:
- PyTorch 不识别 GPU 能力;
- FP8 相关算子不可用;
- SGLang / vLLM 启动失败;
- 报
CUDA capability 10.0+ required等兼容性错误。
Q6:这组 benchmark 数据能代表生产性能吗?
不能直接代表所有生产场景。
这组数据只说明在本文环境、模型、并发和输入输出 token 条件下,B300 可以跑通 GLM-5.2-FP8,并获得如下结果:
- 输入 token 吞吐:4449.39 tok/s;
- 输出 token 吞吐:309.28 tok/s;
- 峰值输出吞吐:607.00 tok/s;
- P99 E2E 延迟:8511.07 ms。
生产环境还需要根据真实业务重新压测,包括:
- 请求长度分布;
- 并发峰值;
- SLA;
- 多轮对话比例;
- 是否流式输出;
- 容灾和降级策略;
- GPU 利用率和成本目标。
Q7:部署完成后怎么做 checklist 验证?
可以按下面这张表逐项检查。
| 阶段 | 需要解决的问题 | 解决方案 | 验证方式 |
|---|---|---|---|
| 系统准备 | Nouveau 可能与 NVIDIA 驱动冲突 | 禁用 Nouveau 并重启 | `lsmod |
| GPU 驱动 | B300 需要匹配驱动 | 安装 580.159.04 | nvidia-smi 显示正确驱动版本 |
| 多卡通信 | NVLink / NVSwitch 依赖 Fabric Manager | 安装 580.159.04-1 | systemctl status nvidia-fabricmanager、nvidia-smi nvlink --status |
| CUDA | Blackwell 需要 CUDA 13 环境 | 安装 CUDA Toolkit 13.0 | nvcc --version 显示 release 13.0 |
| 高速网络 | RDMA / NCCL 可能 fallback | 安装 DOCA-OFED 并检查 IB | ofed_info -s、ibstat、NCCL 日志 |
| 推理框架 | FP8 / Tensor Parallel 依赖框架支持 | 安装 SGLang / PyTorch cu130 | torch.cuda.is_available() 返回 True |
| 模型服务 | 模型路径、量化配置、TP 参数可能不一致 | 使用 SGLang 启动 GLM-5.2-FP8 | 8 个 TP rank 初始化完成,服务监听 30000 |
| 性能验证 | 服务可用不等于性能达标 | 运行 benchmark | 查看吞吐、TTFT、TPOT、P95 / P99 延迟 |
七、参考链接
- NVIDIA CUDA Toolkit 下载页: https://developer.nvidia.com/cuda-downloads
- NVIDIA 驱动下载页: https://www.nvidia.com/Download/index.aspx
- NVIDIA DOCA / OFED 相关资料: https://developer.nvidia.com/networking/doca
- SGLang 项目: https://github.com/sgl-project/sglang
- PyTorch 安装说明: https://pytorch.org/get-started/locally/
总结
B300 部署的难点不在某一条命令,而在全链路版本和配置对齐。
推荐实践是:
- 先锁定版本;
- 按顺序安装系统、网络、驱动、Fabric Manager、CUDA、推理环境;
- 每完成一层就验证一层;
- 先跑通单机 8 卡,再扩多机;
- 最后用 benchmark 验证吞吐、TTFT、TPOT 和 P99 延迟。
本次实测表明,在 8 卡 Tensor Parallel、SGLang、GLM-5.2-FP8 场景下,B300 能够成功启动推理服务并完成压测,输入 token 吞吐达到 4449.39 tok/s,输出 token 吞吐达到 309.28 tok/s,峰值输出吞吐达到 607.00 tok/s。
真正耗时的部分不是最后的 sglang serve 命令,而是前期驱动、Fabric Manager、CUDA、DOCA-OFED、NCCL 和模型配置的逐项对齐。
注:本次测评由优刻得技术研究院支持,包含部署环境、设备等资源。
更多推荐



所有评论(0)