1 获取onnx模型

我是使用pytorch训练得到的pth模型，转成onnx模型，这一步之前写过博客，可参考：pytorch分类模型导出onnx模型并验证

2 启动docker容器

如果之前在开发机上已经安装过地平线给的docker开发环境，可直接执行指令：

docker start horizon			# 启动horizon，horizon是我的容器container 别名
docker attach horizon			# 进入horizon

如果你之前没安装过，也没学过docker的相关知识，可参考我的另一篇博客：配置地平线提供的docker开发环境。

3 onnx模型检查

3.1 为什么要检查？

官方回答： 验证模型中所使用的算子需要符合地平线平台的算子约束。

翻译回答： onnx模型中，不是所有的函数“我”都支持，你得用“我”支持的。怎么知道“我”是否支持呢？给你个excel表让你查太费事，写个函数让程序查吧，这样快！

3.2 如何操作

把在第一步得到的mobilenetv2.onnx模型，放到开发机的指定位置：

/data/wyx/horizon/horizon_xj3_open_explorer_v1.8.5_20211224/ddk/samples/ai_toolchain/horizon_model_convert_sample/03_classification/05_efficientnet_lite0_onnx/mobilenetv2_x3/output/

没有哪个文件夹，就新建它，如下图所示：

为什么要这样放？回答：有些地方方便使用地平线提供的文件，往下看，你会明白的。

然后在mobilenetv2_x3文件夹下，新建一个01_check.sh文件，内容如下：

#!/usr/bin/env sh

set -e -v
cd $(dirname $0) || exit

# 模型类型，本文以onnx为例
model_type="onnx"
# 要检查的onnx模型位置
onnx_model="./output/mobilenetv2.onnx"   
# 检查输出日志，放到哪里去
# 虽然它还是放到了与01_check.sh同级目录下(感觉像小bug)
output="./model_output/mobilenetv2_checker.log"    
# 用的什么架构，不用改
march="bernoulli2"    

hb_mapper checker --model-type ${model_type} \
                  --model ${onnx_model} \
                  --output ${output} --march ${march}

解释一下：hb_mapper checker就是地平线专属命令了，俗称“工具”。

cd到mobilenetv2_x3文件夹下，执行命令：

sh 01_check.sh

输出比较重要的部分如下，第二列是BPU，说明算子运行在BPU上，同理，也可能运行在CPU上。

多数算子bpu都支持，包括卷积conv、池化pool、全连接fc等操作。
对于不支持的算子，算了，我们就先让它在CPU上跑。

4 图像数据预处理

本来以为模型检查完，一行命令加载onnx模型，一行命令输出能在地平线开发板上运行的模型。

总体看，确实是，但是，呵，天真。

4.1 一些问题的思考

• 问题1： 模型转换是什么？
  回答： 模型转换，是指模型经过量化(例如，网络参数从float32转换成int8)、算子重组、结构优化等一系列操作，得到新的模型，这个新的模型体积更小，推理速度更快。
• 问题2： 为什么要进行模型转换？
  回答： 服务器端训练得到的模型，想跑到各家开发板上，就得适应各家开发板的架构，学底层太费事，故用一套工具链，帮助你快速把服务器端的模型转换得到能在开发板上跑的模型。
• 问题3： 为什么要进行图像数据预处理？
  回答： 地平线的量化方案属于“数据依赖型”，也就是说，在进行模型量化时，需要有 典型图片 输入作为支撑。
• 问题4： 什么样的图片能称为典型呢？
  回答： 比如分类数据集，每一类都挑到，随机挑就好。一共挑50~100张即可。

4.2 图片挑选与放置

从5个类别中，每个类别随机挑了20张图片，放在mobilenetv2_x3/data/image_origin/文件夹下，同时新建一个文件夹image_converted_rgb_f32，用于存放处理后的图像，如图所示：

下面就是对挑选的图片进行处理了。这里我提供两种方法，一种是根据地平线提供的模板进行图像预处理，但它跳来跳去的，而且包括的内容太多，我自己又写了一个flower_data_preprocess.py，实现同样的功能，下面分别介绍。

4.2 使用地平线提供的模板进行图像预处理

如下图所示，在mobilenetv2_x3文件夹下需要有这三个文件，下面分别介绍其作用及内容：

• 02_preprocess.sh

内容如下：

#!/usr/bin/env bash

set -e -v

cd $(dirname $0) || exit

python3 ../../../data_preprocess.py \
  --src_dir ./data/image_origin \
  --dst_dir ./data/image_converted_rgb_f32 \
  --pic_ext .rgb \
  --read_mode opencv

src_dir: 原图片路径
des_dir: 处理后图片存哪
pic_ext: 处理后图片后缀名
read_mode: 读取图片的方式，有opencv和skimage两种

很明显告诉我们运行那个文件，往里传哪些参数，注意此时data_preprocess.py的路径，这是文件默认的路径。
至于data_preprocess.py里面的内容就不再介绍了，不然跳来跳去，讲不完了。反正data_preprocess.py是地平线给的，用就完事了。

• preprocess.py

data_preprocess.py中会用到preprocess.py文件中的一个函数，如果没有这个文件，会报错，如下图所示。至于里面的内容，就不展开了，不然又得跳了。

• data文件夹

里面放着挑选出来的图片，处理后的图片也会放在这里面。

在mobilenetv2_x3文件夹下，执行命令：

sh 02_preprocess.sh

运行界面及结果如下图所示：

4.3 使用自己写的图像预处理函数

自己写的图像预处理函数放在flower_data_preprocess.py文件中，文件放在resnet_x3文件夹下，实现效果与4.2节一致，其内容如下：
对于关注的归一化操作，预训练权重的均值与方差怎么办问题，详看代码注释。

import cv2
import os
import numpy as np

## ------------------------------------------------------------#
#   src_dir：原始jpg图片
#   dst_dir：处理后的图片存放的路径
#   pic_ext：处理后的图片后缀名(影响不大，只是为了说明它的通道顺序)
## ------------------------------------------------------------#
src_dir = './origin_image'
dst_dir = './image_converted_rgb_f32'   # yaml文件中cal_data_dir参数配置成这个路径即可
pic_ext = '.rgb'

if not os.path.exists(dst_dir):
    os.mkdir(dst_dir)

## ---------------------------------------#
#   一次只操作一张图片
## ---------------------------------------#
for src_name in sorted(os.listdir(src_dir)):
    ## -----------------------------#
    #   把图片路径拼出来
    ## -----------------------------#
    src_file = os.path.join(src_dir, src_name)  
 
    ## -----------------------------#
    ##  opencv实现预处理
    ## -----------------------------#
    img = cv2.imread(src_file)
    img = cv2.resize(np.array(img), (224, 224), interpolation=cv2.INTER_CUBIC).astype(np.float32)
    ## -----------------------------------------------------#
    #   PC端网络训练时，数据需要归一化，为何在这儿不做？
    #   答：模型转换时，需要的图像输入分为是0~255，归一化操作会集成
    #       在yaml文件中mean和scale中，故不要归一化。
    ## -----------------------------------------------------#
    # img /= 255.0        

    # ---------------------------------------#
    #   常规操作是：先转成RGB，再减均值，除方差
    #   到底要不要转成rgb，主要看，模型训练时用的是啥，
    #   毕竟在后面yaml配置中，这两个参数都行
    # ---------------------------------------#
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)  
    ## -----------------------------------------------------------------------------------------#
    #   PC端网络训练时，数据需要减均值，除方差，为何在这儿不做？
    #   答：为了和yaml中data_mean_and_scale下的mean_value与scale_value参数配合
    #       在yaml文件中设置即可
    ## -----------------------------------------------------------------------------------------#
    # img -= [0.485, 0.456, 0.406]
    # img /= [0.229, 0.224, 0.225]

    ## ------------------------------------------------------------------#
    #   从HWC，变为CHW。用的是Pytorch框架，其输入是NCHW，故需要这一步。
    ## ------------------------------------------------------------------#
    img = img.transpose(2, 0, 1)        
    # ---------------------------------------#
    #   添加batch维度，实际运用时，有没有这一行都行
    #   至此，图像预处理完毕
    # ---------------------------------------#
    # img = np.expand_dims(img, 0)
    # img = img[np.newaxis,:,:,:]

    # -----------------------------------------------------#
    #   os.path.basename：返回最后的 文件名
    #   例如：os.path.basename("./src/1.jpg")，返回：1.jpg
    # -----------------------------------------------------#
    filename = os.path.basename(src_file)
    # print(src_file)

    # -----------------------------------------------------#
    #   os.path.splitext: 把图片名和图片扩展名分开，
    #   例如：1.jpg，short_name=1, ext=.jpg
    # -----------------------------------------------------#
    short_name, ext = os.path.splitext(filename)

    # ---------------------------------------#
    #   新的图片名
    # ---------------------------------------#
    pic_name = os.path.join(dst_dir, short_name + pic_ext)
    dtype = np.float32
    img.astype(dtype).tofile(pic_name)
    print("write:%s" % pic_name)

运行效果如下图所示：

4.4 归一化前后 图像数据 均值与方差怎么变 ？

对于在服务器端使用Pytorch训练网络是，通常会归一化图像数据，然后减去均值，除以方差，再传入网络。

在训练网络模型时，我们大多会使用Imagenet数据集或者COCO数据集的预训练权重，用它们的均值和方差，例如：

if 'coco' in args.dataset:
    mean_vals = [0.471, 0.448, 0.408]
    std_vals = [0.234, 0.239, 0.242]
elif 'imagenet' in args.dataset:
    mean_vals = [0.485, 0.456, 0.406]
    std_vals = [0.229, 0.224, 0.225]

这些都是归一化后的均值与方差。那归一化前后数据的均值与方差又有着怎么的关系呢？用个例子说明：

import numpy as np

a = np.array([4,8,12,16])
b = a / 255.0
mean_a = np.mean(a)
mean_b = np.mean(b)
std_a = np.std(a)
std_b = np.std(b)

print("mean_a", mean_a)
print("mean_b", mean_b)
print("std_a", std_a)
print("std_b", std_b)

运行输出：

PS D:\DeepLearning\classification> python .\1.py
mean_a 10.0
mean_b 0.0392156862745098
std_a 4.47213595499958
std_b 0.01753778805882188

可以发现mean_b = mean_a / 255，std_b = std_a / 255，也就是说对于归一化后的数据其均值与方差均是归一化前的数据的$\frac{1}{255}$。

5 获取.bin模型

准备好处理后的图像数据，下面就是获取能够在开发板上运行的模型了，地平线在开发板上运行的模型后缀为.bin，故在此称为.bin模型。

这一步需要准备两个文件，一个是03_build.sh，一个是mobilenetv2_config.yaml，两个文件均放于mobilenetv2_x3文件夹下。下面分别介绍这两个文件里的内容：

5.1 03_build.sh

加载mobilenetv2_config.yaml文件，使用hb_mapper中的makertbin工具去操作即可。

#!/bin/bash

set -e -v
cd $(dirname $0)
config_file="./mobilenetv2_config.yaml"
model_type="onnx"
# build model
hb_mapper makertbin --config ${config_file}  \
                    --model-type  ${model_type}

5.2 mobilenetv2_config.yaml

重点关注网络输入的预处理方法：norm_type: ‘data_mean_and_scale’，需要了解的内容已在注释中给出。

特别注意：在开发手册中input_parameters下的input_layout_rt参数，可选参数为 NHWC/NCHW，但经过实验发现，此处参数智能是NHWC！虽然NCHW编译不会报错，但生成的.bin上板模型相比于quantized_model.onnx模型，精度会很低很多！具体分析过程，详见我的另一篇博客：地平线X3开发板 模型转换期间config.yaml文件中的input_layout_rt踩坑记录

# 模型转化相关的参数
model_parameters:
  # ONNX浮点网络数据模型文件
  onnx_model: './output/mobilenetv2.onnx'

  # 适用BPU架构
  march: "bernoulli2"

  # 指定模型转换过程中是否输出各层的中间结果，如果为True，则输出所有层的中间输出结果，
  layer_out_dump: False

  # 日志文件的输出控制参数，
  # debug输出模型转换的详细信息
  # info只输出关键信息
  # warn输出警告和错误级别以上的信息
  log_level: 'debug'

  # 模型转换输出的结果的存放目录
  working_dir: 'model_output'

  # 模型转换输出的用于上板执行的模型文件的名称前缀
  output_model_file_prefix: 'mobilenetv2_224x224_rgb'


# 模型输入相关参数, 若输入多个节点, 则应使用';'进行分隔, 使用默认缺省设置则写None
input_parameters:

  # (选填) 模型输入的节点名称, 此名称应与模型文件中的名称一致, 否则会报错, 不填则会使用模型文件中的节点名称
  input_name: ""

  # 网络实际执行时，输入给网络的数据格式，包括 nv12/rgb/bgr/yuv444/gray/featuremap,
  # pytorch模型一般是rgb
  input_type_rt: 'rgb'

  # 网络实际执行时输入的数据排布, 可选值为 NHWC/NCHW
  # 若input_type_rt配置为nv12，则此处参数不需要配置
  # ！！！此处必须是NHWC！！！
  input_layout_rt: 'NHWC'

  # 网络训练时输入的数据格式，可选的值为rgb/bgr/gray/featuremap/yuv444
  # pytorch模型一般是rgb
  input_type_train: 'rgb'

  # 网络训练时输入的数据排布, 可选值为 NHWC/NCHW
  # pytorch模型一般是rgb
  input_layout_train: 'NCHW'

  # (选填) 模型网络的输入大小, 以'x'分隔, 不填则会使用模型文件中的网络输入大小，否则会覆盖模型文件中输入大小
  input_shape: ''

  # 网络实际执行时，输入给网络的batch_size, 默认值为1
  #input_batch: 1
  
  # 网络输入的预处理方法，主要有以下几种：
  # no_preprocess 不做任何操作
  # data_mean 减去通道均值mean_value
  # data_scale 对图像像素乘以data_scale系数
  # data_mean_and_scale 减去通道均值后再乘以scale系数
  # 注意：此处不是减去均值，除以方差！
  norm_type: 'data_mean_and_scale'

  # 图像减去的均值, 如果是通道均值，value之间必须用空格分隔
  # 注意：此处的均值是没有归一化的均值，例如ImageNet的R通道，应该是: 123.675 = 0.485x255
  mean_value: 123.675 116.28 103.53

  # 图像预处理缩放比例，如果是通道缩放比例，value之间必须用空格分隔
  # 注意：此处的scale是乘以，以前的方差是除以。且是没有归一化数据
  #	例如ImageNet的R通道，应该是: 0.0171248 = 1 / (0.229x255)
  scale_value: 0.0171248 0.0175070 0.0174292

# 模型量化相关参数
calibration_parameters:

  # 模型量化的参考图像的存放目录，图片格式支持Jpeg、Bmp等格式，输入的图片
  # 应该是使用的典型场景，一般是从测试集中选择20~100张图片，另外输入
  # 的图片要覆盖典型场景，不要是偏僻场景，如过曝光、饱和、模糊、纯黑、纯白等图片
  # 若有多个输入节点, 则应使用';'进行分隔
  # 预处理后的图片所在路径
  cal_data_dir: './data/image_converted_rgb_f32'

  # 如果输入的图片文件尺寸和模型训练的尺寸不一致时，并且preprocess_on为true，
  # 则将采用默认预处理方法(skimage resize)，
  # 将输入图片缩放或者裁减到指定尺寸，否则，需要用户提前把图片处理为训练时的尺寸
  # preprocess_on: False

  # 模型量化的算法类型，支持kl、max、default、load，通常采用default即可满足要求, 若为QAT导出的模型, 则应选择load
  calibration_type: 'default'

# 编译器相关参数
compiler_parameters:

  # 编译策略，支持bandwidth和latency两种优化模式;
  # bandwidth以优化ddr的访问带宽为目标；
  # latency以优化推理时间为目标
  compile_mode: 'latency'

  # 设置debug为True将打开编译器的debug模式，能够输出性能仿真的相关信息，如帧率、DDR带宽占用等
  debug: False

  # 编译模型指定核数，不指定默认编译单核模型, 若编译双核模型，将下边注释打开即可
  # core_num: 2

  # 优化等级可选范围为O0~O3
  # O0不做任何优化, 编译速度最快，优化程度最低,
  # O1-O3随着优化等级提高，预期编译后的模型的执行速度会更快，但是所需编译时间也会变长。
  # 推荐用O2做最快验证
  optimize_level: 'O3'

运行下方指令：

sh 03_build.sh

重点关注第5列的预先相似度Cosine Similarity，都在0.9以上，说明转换的还不错。

转换成功后，得到几个文件中比较重要的有：

• 日志文件-hb_mapper_makertbin.log
• 量化前原始onnx模型-mobilenetv2_224x224_rgb_original_float_model.onnx
• 量化中间产物：mobilenetv2_224x224_rgb_optimized_float_model.onnx
• 量化后onnx模型-mobilenetv2_224x224_rgb_quantized_model.onnx
• 板端模型-mobilenetv2_224x224_rgb.bin。

6 在开发机上验证转换过程中生成的两个onnx模型

predict_docker_x3_onnx.py用在03_build.sh构建得到.bin模型之后，用于验证过程产物------两个onnx模型，存放在mobilenetv2_34/文件夹下。
处理思路很简单：数据预处理–加载模型–模型推理–模型输出后处理，其内容如下：

import numpy as np
import os
from PIL import Image
import matplotlib.pyplot as plt
import json
import cv2
from horizon_tc_ui import HB_ONNXRuntime


def softmax_2D(X):
    """
    针对二维numpy矩阵每一行进行softmax操作
    X: np.array. Probably should be floats.
    return: 二维矩阵
    """
    # looping through rows of X
    #   循环遍历X的行
    ps = np.empty(X.shape)
    for i in range(X.shape[0]):
        ps[i,:]  = np.exp(X[i,:])
        ps[i,:] /= np.sum(ps[i,:])
    return ps


def check_onnx(onnx_model, img, json_path, input_shape):
    ## --------------------------------------------#
    ##  opencv实现预处理方式
    ## --------------------------------------------#
    img = cv2.resize(np.array(img), input_shape, interpolation=cv2.INTER_CUBIC).astype(np.float32)
    ## --------------------------------------------#
    #   使用编译过程中生成的onnx模型是不需要归一化的
    #   模型需要的数值范围0~255，opencv读取的刚好是0~255
    ## --------------------------------------------#
    # img /= 255.0

    ## --------------------------------------------#
    #   网络训练输入一般是RGB的图片，故在此也转一下
    #   为了省时间，似乎这儿可以和yaml中参数配合，去掉这一步
    ## --------------------------------------------#
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    
    ## ------------------------------------------------------------------#
    #   常规操作是：减去均值，除以方差
    #   注意：此处和config.yaml中data_mean_and_scale下的mean_value与
    #       scale_value两个参数重复，不需要进行操作，放在这儿记录一下
    ## ------------------------------------------------------------------#
    # img -= [124.16, 116.28, 103.53]
    # img *= [0.0171248, 0.0175070, 0.0174292]
    
    ## --------------------------------------------#
    #   opencv读取的img是HWC格式
    #   quantized_onnx_model输入格式NHWC
    #   optimized_float_onnx_model输入格式NCHW
    ## --------------------------------------------#
    if "optimized" in onnx_model:
        img = img.transpose(2, 0, 1)    # 从HWC，变为CHW
    ## -------------------------------#
    ##  添加batch维度
    ## -------------------------------#
    img = np.expand_dims(img, 0)
    # --------------------------------#
    #   class_indict用于可视化类别
    # --------------------------------#
    with open(json_path, "r") as f:
        class_indict = json.load(f)
    ## -------------------------------#
    ##  加载onnx模型
    ## -------------------------------#
    ort_session = HB_ONNXRuntime(model_file=onnx_model)
    
    # -----------------------------------#
    #   onnx模型推理
    #   初始化数据，注意此时 img 是numpy格式
    # -----------------------------------#
    input_name = ort_session.input_names[0]
    ort_outs = ort_session.run(None, {input_name: img})        # 推理得到输出
    # print(ort_outs)     # [array([[-4.290639  , -2.267056  ,  7.666328  , -1.4162455 ,  0.57391334]], dtype=float32)]
    
    # -----------------------------------#
    #   经过softmax转化为概率
    #   softmax_2D按行转化，一行一个样本
    #   测试时，softmax可不要！
    # -----------------------------------#
    predict_probability = softmax_2D(ort_outs[0])        
    # print(predict_probability)  # array([[0.1],[0.2],[0.3],[0.3],[0.1]])           
    
    # ----------------------------------------#
    #   argmax得到最大概率索引，也就是类别对应索引
    # ----------------------------------------#
    predict_cla = np.argmax(predict_probability, axis=-1)
    # print(predict_cla)        # array([2])

    print_res = "class: {}   prob: {:.3}".format(class_indict[str(predict_cla[0])],
                                                 predict_probability[0][predict_cla[0]])
    print(print_res)
    plt.title(print_res)
    for i in range(len(predict_probability[0])):
        print("class: {:10}   prob: {:.3}".format(class_indict[str(i)],
                                                  predict_probability[0][i]))
    plt.savefig("./result.jpg")
    plt.show()

if __name__ == '__main__':
    ## ----------------------------------------------------------------#
    #   注意，quantized_onnx_model的输入格式为：NHWC
    #   optimized_float_onnx_model的输入格式为：NCHW
    #   这儿的命名一定要以quantized和optimized进行区分，后面的代码中有用到
    ## ----------------------------------------------------------------#
    quantized_onnx_model = './model_output/mobilenetv2_224x224_rgb_quantized_model.onnx'
    optimized_float_onnx_model = './model_output/mobilenetv2_224x224_rgb_optimized_float_model.onnx'

    # ----------------------------------------#
    #   输入图像被resize到什么尺寸
    #   分类网络输入尺寸
    # ----------------------------------------#
    input_shape = (224, 224)
    img_path = "./data/tulip.jpg"
    assert os.path.exists(img_path), "file: '{}' dose not exist.".format(img_path)
    # 下面两行，用它显示图片而已
    img = Image.open(img_path)
    plt.imshow(img)     

    img = cv2.imread(img_path)
    # read class_indict
    json_path = './class_indices.json'
    # -----------------------------------------------------------------------#
    #   关键部分
    #   第一个参数用于切换：quantized_onnx_model 或 optimized_float_onnx_model
    # -----------------------------------------------------------------------#
    check_onnx(quantized_onnx_model, img, json_path, input_shape)
    print("onnx model check finsh.")

运行结果：

• 对于rose.jpg的分类预测结果。
  使用optimized_float_onnx_model模型推理
  
  使用quantized_onnx_model模型推理：
  

• 对于tulip.jpg的分类预测结果
  使用optimized_float_onnx_model模型推理：
  
  使用quantized_onnx_model模型推理：
  
  图片结果展示：
  

7 使用hb_perf工具估计在开发板上运行的性能

拿到了.bin文件，在上开发板运行前，预估一下能运行多少FPS等。
cd到与mobilenetv2_224x224_rgb.bin同级，运行命令：

hb_perf mobilenetv2_224x224_rgb.bin

生成hb_perf_result文件夹和hb_perf.log，打开输出的文件自己看两眼就明白了。

8 附上一些很好的踩坑文章

• 地平线X3开发板 模型转换期间config.yaml文件中的input_layout_rt踩坑记录
• 深入理解浮点转换工具链 yaml 配置文件及其踩坑点
• 新版工具链yaml配置文件参数详解

9 接下来工作

将转换得到的.bin模型在x3开发板上跑起来。