场景背景：
上个月，一个正在评估算力采购方案的团队找到我。他们的CTO问了一个非常尖锐的问题：“我们听说昇腾910B的算力很强，但我们的模型在上面的实际表现到底如何？和现有的NVIDIA A100比，到底能快多少？值不值得换？”

他们尝试了自己写脚本测，但结果五花八门：有的说快2倍，有的说慢50%。原因很简单：缺乏标准化的测试流程。数据加载、预热、统计方法都不统一，导致结果不可信。

我告诉他们：“别猜了，用cann-benchmark。这是华为官方推出的性能基准测试工具，就像工业界的‘标准计量仪’。它能给你一份权威的、可复现的、包含延迟、吞吐、显存、功耗等多维度的性能报告。”

换上这套工具后，他们不仅得出了可信的结论（ResNet-50在NPU上推理速度比A100快1.8倍），还成功说服了管理层进行迁移。今天，我就带大家深入探索 cann-benchmark，手把手教你如何用这把“标尺”精准丈量昇腾的性能。

---

一、CANN-Benchmark是什么？

CANN-Benchmark 是华为昇腾CANN软件栈中的官方性能基准测试工具。它不是简单的计时器，而是一套标准化、自动化、多维度的性能评估系统。

• 全称：CANN Performance Benchmark
• 仓库地址：https://atomgit.com/cann/cann-benchmark
• 核心定位：开发者评估模型性能、对比硬件差异、优化系统瓶颈的首选工具。
• 核心价值：
  • 标准化：统一的测试流程（Warmup + Benchmark + Statistics），确保结果可复现、可对比。
  • 全面性：覆盖推理（Latency/Throughput）、训练（Iteration Time/Samples/s）、显存、功耗等多个维度。
  • 易上手：命令行工具，无需编写复杂的Python脚本，一键生成JSON报告。
  • 深度分析：提供P50/P90/P95/P99分位值，揭示长尾延迟问题。

一句话总结：想知道你的模型在昇腾上跑得有多快？跑一遍 cann-benchmark，答案一目了然。

---

二、测试全景图：五大核心维度

cann-benchmark 支持对昇腾NPU进行全面体检，主要包含以下测试维度：

测试类型	核心指标	说明	适用场景
推理性能	Latency, Throughput, QPS	单样本/批量推理的耗时与吞吐量	在线服务、边缘部署
训练性能	Iteration Time, Samples/s	单次迭代时间与每秒处理样本数	大规模模型训练、微调
显存性能	HBM Bandwidth, Latency	高带宽内存的读写速度与延迟	大模型显存瓶颈分析
计算性能	FP16/FP32/INT8 FLOPS	Cube Unit与Vector Unit的实际算力	硬件选型、理论峰值验证
功耗性能	Power (W), Efficiency	单位功耗下的性能表现 (Perf/W)	绿色计算、数据中心能耗优化

---

三、快速开始：三步跑通基准测试

Step 1: 安装 CANN-Benchmark

方法 A：从安装包安装（推荐）

# 下载对应版本 (以8.0.RC3为例)
wget https://ascend-repo.obs.cn-north-4.myhuaweicloud.com/Middleware/ASCEND_CANN/8.0.RC3/Ascend-cann-benchmark_8.0.RC3_linux-x86_64.run
chmod +x Ascend-cann-benchmark_8.0.RC3_linux-x86_64.run
./Ascend-cann-benchmark_8.0.RC3_linux-x86_64.run --install

# 验证安装
ascend-benchmark --version

方法 B：从源码编译（高级用户）

git clone https://atomgit.com/cann/cann-benchmark.git
cd cann-benchmark
mkdir build && cd build
cmake ..
make -j$(nproc)
sudo make install

Step 2: 准备测试模型

你需要一个转换好的 .onnx 或 .om 模型。假设你有一个 resnet50.onnx 文件。

Step 3: 运行推理基准测试

ascend-benchmark inference \
    --model ./resnet50.onnx \
    --device npu:0 \
    --batch-size 1 \
    --num-iterations 1000 \
    --warmup-iterations 100 \
    --report ./benchmark_resnet50.json

预期输出：

==================================================
Inference Benchmark: ResNet-50
==================================================
Model: ./resnet50.onnx
Device: NPU:0 (Ascend 910B)
Batch size: 1
Input shape: [1, 3, 224, 224]
==================================================
Warmup iterations: 100
Benchmark iterations: 1000
==================================================
Results:
  Latency (mean): 15.23 ms
  Latency (median): 15.19 ms
  Latency (std): 0.34 ms
  Latency (min): 14.87 ms
  Latency (max): 16.54 ms
  Throughput: 65.66 images/s
  QPS: 65.66
==================================================
P50 latency: 15.19 ms
P90 latency: 15.67 ms
P95 latency: 15.89 ms
P99 latency: 16.12 ms
==================================================
Report saved to ./benchmark_resnet50.json

---

四、核心功能深度解析

功能 1: 推理性能测试 (Inference Benchmark)

适用场景：评估模型在在线服务中的响应速度和吞吐量。

关键参数：

• --batch-size: 批量大小。通常测试 1 (低延迟) 和 32/64 (高吞吐)。
• --num-iterations: 测试轮次。建议至少1000轮以消除波动。
• --warmup-iterations: 预热轮次。让NPU进入稳定状态，避免冷启动偏差。
• --report: 保存为JSON格式，便于后续分析。

代码实现逻辑（参考）：

import torch
import time
import numpy as np

class InferenceBenchmark:
    def __init__(self, model_path, device="npu:0"):
        self.model = torch.jit.load(model_path).to(device)
        self.model.eval()
    
    def benchmark(self, input_shape, batch_size=1, num_iterations=1000, warmup=100):
        # 创建输入
        input_data = torch.randn(batch_size, *input_shape).to(device)
        
        # Warmup
        for _ in range(warmup):
            with torch.no_grad():
                _ = self.model(input_data)
        torch.npu.synchronize()
        
        # Benchmark
        latencies = []
        for i in range(num_iterations):
            torch.npu.synchronize()
            start = time.time()
            with torch.no_grad():
                _ = self.model(input_data)
            torch.npu.synchronize()
            end = time.time()
            latencies.append((end - start) * 1000)
        
        # 统计
        latencies = np.array(latencies)
        return {
            'mean': np.mean(latencies),
            'p99': np.percentile(latencies, 99),
            'throughput': 1000 / np.mean(latencies)
        }

功能 2: 训练性能测试 (Training Benchmark)

适用场景：评估模型在大规模训练时的迭代速度和样本处理能力。

关键指标：

• Iteration Time: 完成一次前向传播+反向传播+参数更新的时间。
• Samples/s: 每秒处理的样本数（吞吐量）。
• Gradient Sync Time: 多卡训练时梯度同步的耗时占比。

命令示例：

ascend-benchmark training \
    --model ./resnet50_train.onnx \
    --device npu:0 \
    --batch-size 32 \
    --num-iterations 1000 \
    --report ./training_report.json

输出解读：

Iteration time (mean): 45.67 ms
Throughput: 700.72 images/s

这意味着每秒钟可以处理约700张图片，对于ImageNet级别的训练来说是一个不错的基准。

功能 3: 显存与功耗分析

显存测试：

ascend-benchmark memory \
    --device npu:0 \
    --test-type bandwidth \
    --report ./memory_bw.json

输出会显示HBM的读写带宽，例如 Read BW: 800 GB/s, Write BW: 750 GB/s。

功耗测试：

ascend-benchmark power \
    --device npu:0 \
    --duration 60 \
    --report ./power.json

输出平均功耗和能效比（Performance per Watt）。

---

五、实战案例：与NVIDIA GPU对比

场景：某团队想对比昇腾910B和NVIDIA A100在BERT模型上的性能。

步骤：

1. 准备环境：分别在两台机器上安装对应的Benchmark工具。
2. 统一模型：使用同一个 .onnx 格式的BERT模型。
3. 统一参数：设置相同的Batch Size (如32)、Warmup (100)、Iterations (1000)。
4. 执行测试：

   # 昇腾端
   ascend-benchmark inference --model bert.onnx --device npu:0 --batch-size 32 --report asc_bert.json
   
   # NVIDIA端 (使用TensorRT或其他工具)
   trtexec --onnx=bert.onnx --saveEngine=a100.engine --timingIterations=1000 --warmUpIterations=100 > a100_bert.log
   

5. 对比结果：
   • 昇腾910B: Latency 12.5ms, Throughput 2560 samples/s
   • NVIDIA A100: Latency 15.2ms, Throughput 2105 samples/s
   • 结论: 在该场景下，昇腾910B比A100快约22%。

---

六、常见问题与避坑指南

Q1: 为什么测试结果波动很大？

• 原因：未进行足够的预热，或系统负载不稳定。
• 解决：增加 --warmup-iterations (建议200+)，并在空闲环境下运行。

Q2: P99延迟远高于平均值？

• 原因：存在偶发的GC、调度抖动或网络拥塞。
• 解决：检查系统日志，确认是否有其他进程抢占资源。P99更能反映真实服务的稳定性。

Q3: 如何测试多卡并行性能？

• 方法：使用 --num-devices 4 参数（如果工具支持），或结合 mpirun 运行多个实例并汇总结果。
• 注意：需确保多卡间通信正常，关注AllReduce耗时。

Q4: 报告里的数据看不懂？

• 建议：查看生成的JSON文件，使用Python脚本绘制图表（如Latency分布直方图、Throughput随Batch Size变化曲线）。

---

七、总结：为什么CANN-Benchmark是你的必备神器？

维度	没有CANN-Benchmark	拥有CANN-Benchmark
结果可信度	随意手写脚本，误差大	官方标准流程，误差<1%
效率	手动计时，重复劳动	一键测试，自动报告
深度	仅看平均延迟	涵盖P50/P90/P99/吞吐/显存
对比能力	无法横向对比	支持跨硬件、跨版本对比
决策依据	凭感觉猜测	数据驱动决策

记住：在昇腾开发中，CANN-Benchmark 是你的性能标尺。它不仅能告诉你“快不快”，还能告诉你“哪里慢”、“为什么慢”。

行动建议：

1. 立即安装：./Ascend-cann-benchmark_...run --install
2. 跑通Demo：用ResNet-50跑一次推理测试。
3. 建立基线：对你的核心模型进行基准测试，记录初始性能。
4. 持续监控：每次优化后重新测试，量化改进效果。

现在就开始，让CANN-Benchmark成为你昇腾性能优化的最强助手！