海光DCU BW1100多实例测试显示：单卡144GB HBM显存可在8卡节点上高效运行4个Qwen3.6-35B-A3B模型实例，峰值吞吐达5348.25 tok/s，较单实例提升147%，扩展效率达87%。多实例并发下单路吞吐稳定在8-9.64 tok/s，延迟控制在48-58秒，显存利用率达92%。测试表明BW1100具备接近线性的多任务扩展能力，其超大显存和成熟的ROCm生态为国产AI算力

海光DCU BW1100多实例测试显示：单卡144GB HBM显存可在8卡节点上高效运行4个Qwen3.6-35B-A3B模型实例，峰值吞吐达5348.25 tok/s，较单实例提升147%，扩展效率达87%。多实例并发下单路吞吐稳定在8-9.64 tok/s，延迟控制在48-58秒，显存利用率达92%。测试表明BW1100具备接近线性的多任务扩展能力，其超大显存和成熟的ROCm生态为国产AI算力

海光DCU BW1100成功验证FP8量化技术在大模型推理中的优势：在Qwen3.5-122B-A10B模型测试中，FP8相比FP16在GSM8K、MMLU和HumanEval三项基准上平均精度损失不到1%（代码生成任务甚至反超1.28%），同时在4K输入/1K输出场景下实现吞吐量2984.18 tok/s，性能提升高达147.3%。测试结果表明，海光BW1100的FP8支持成熟可靠，可显著降低大

本文提供了Qwen3.6-35B-A3B大模型的本地部署教程，适用于8GB显存显卡（如RTX 4060）。通过TurboQuant+llama.cpp方案实现128K上下文支持。部署步骤包括：下载TurboQuant工具、补充OpenSSL依赖、获取20GB模型文件、配置启动脚本。成功运行后可通过OpenAI兼容API访问，短请求处理速度达23.1 t/s。文章包含硬件要求、详细配置参数、性能基准

SLAM Benchmarking-佛莱堡 SLAM 数据集下载及误差分析工具使用教程