概述

产品定位

Arm Ethos-U 系列是 Arm 为微处理器系统实现边缘计算设计的 NPU IP 核，旨在以极低的功耗和芯片面积高效加速机器学习推理任务，推荐和Cortex-M处理器搭配，当前包括U55、U65、U85三款产品。

本文以U65进行介绍，U65 支持最高 1TOP/s 算力，支持 TensorFlow Lite架构，要求权重 8bit 量化，可以部署在裸机或 RTOS 系统。官方提供 Vela 编译器可以将模型转化为指令流高效在 NPU 上部署，同时可以使用CMSIS-NN 库简化开发流程。

应用场景

官方针对U65提供了 Corstone-315 物联网参考设计平台，方案是 Cortex M85+Ethos U65+Mali C55，M85 是专门面向机器学习的 MCU，支持最新的 Helium 技术，C55 是 ISP。以目标检测为例，U65 只能计算中间过程，前处理 resize 和格式转换还需要 ISP 实现，后处理排序和 NMS 还需要处理器实现，甚至对于网络中一些 U65 不支持的算子也需要处理器实现。

成熟产品可以参考恩智浦 i.MX 93 处理器，整体方案为 Cortex A55+M33+Ethos-U65异构架构。

硬件架构

功能模块

NPU包含Central Control（CC）、DMA controller、Weight decoder、MAC unit和Output unit等子模块，下面分别介绍。

• Central Control：解析命令流为具体任务，排队并分派给 DMA 、权重解码器、MAC单元和输出单元
• DMA controller：通过AXI主接口进行数据搬运，包括读命令流、读写权重和偏置、读输入特征图（IFM）、写输出特征图（OFM）和内存到内存搬运（用于优化加速运算）
• Weight decoder：权重解码器，u65 输入权重为压缩编码格式，经DMA搬运到IP内部解码再分发至MAC单元待参与运算。
• MAC unit：读取特征图（IFM）执行点积和累加运算，对应卷积、深度卷积、向量乘等算子。
• Output unit：对输出特征图（OFM）执行缩放、偏置和激活函数处理，然后写到外部存储，激活函数支持ReLU、ReLU1、ReLU6、Leaky ReLU、tanh、sigmoid、LUT（实际后几个都是LUT实现的）；输出运算支持加/减/乘、最值、绝对值、左/右移前导零计数。

外部接口

• 时钟复位：模块为单一时钟域。
• APB 4 从接口：用于寄存器配置。
• AXI 5 主接口x2：用于读取指令块、读取权重、读写中间数据，可以通过寄存器配置哪些区域通过哪个AXI接口实现。
• Q-Channel：低功耗握手接口，参见 amba spec。
• IRQ：中断，指示运算完成。

数据类型

特征图格式

IP在外部采用NHWC（批次、高、宽、通道）格式，也就是TensorFlow Lite的标准格式，内部采用NHCWB16格式，将每16个通道打包为Block以提升访问效率。

对于NHWC，要求N=1，每个元素大小1字节或2字节，元素 (y, x, c) 的地址为 BASE + ySTRIDE_Y + x*STRIDE_X + c*ElemSize，BASE是基地址，STRIDE是偏移，BASE和STRIDE在命令流中可以看到定义。

数据类型与精度

支持如下数据类型

数据类型	范围/取值
支持的激活与权重组合	• 无符号8位激活 + 无符号8位权重：支持按tensor配置激活和权重的无符号零点，范围 0–255 • 有符号8位激活 + 有符号8位权重：支持按tensor配置激活的有符号零点，范围 -128 至 +127； • 有符号16位激活 + 有符号8位权重：激活和权重均为对称
逐输出通道偏置与缩放激活值	• 8位激活值：支持逐输出通道偏置和缩放 • 16位激活值：支持逐输出通道偏置和缩放
累加器格式	32位累加器, 40位累加器, 16位浮点累加器（s5.10）
位宽	8×16位操作的运行速度是 8×8 位操作的一半
Tensor维度	• 高度范围：1–65536 • 宽度范围：1–65536 • 深度（通道数）范围：1–65536

算子支持

算子支持如下，在支持的基础上还有额外约束条件。
ABS、ADD、ARG_MAX、AVERAGE_POOL_2D、BATCH_MATMUL、CONCATENATION、CONV_2D、DEPTHWISE_CONV_2D、EXP、EXPAND_DIMS、FULLY_CONNECTED、HARD_SWISH、LEAKY_RELU、LOG、LOGISTIC、MAXIMUM、MAX_POOL_2D、MEAN、MINIMUM、MIRROR_PAD、MUL、NEG、PACK、PAD、PADV2、PRELU、QUANTIZE、REDUCE_MAX、REDUCE_MIN、RELU、RELU6、RELU_0_TO_1、RELU_N1_TO_1、RESHAPE、RESIZE_BILINEAR、RESIZE_NEAREST_NEIGHBOR、REVERSE_V2、RSQRT、SLICE、SOFTMAX、SPLIT、SPLIT_V、SQUARED_DIFFERENCE、SQUEEZE、STRIDED_SLICE、SUB、SUM、TANH、TILE、TRANSPOSE、TRANSPOSE_CONV、UNIDIRECTIONAL_SEQUENCE_LSTM、UNPACK

卷积

NPU允许最大 64x64 的 2D 卷积和 1x4096 的 1D 卷积，所以实际网络需要拆成若干Block再进行计算，对于 8 位激活值，32 位累加器不会溢出；对于 16 位激活值，40 位累加器不会溢出。

参数	要求
卷积核	1 <= kernel_x*kernel_y <= 64*64 1 <= kernel_y <= 64
精度	权重类型: {int8, uint8}
步长	1 <= stride_x <= 3 1 <= stride_y <= 3
膨胀卷积	1x1, 1x2, 2x1, 2x2
上采样限制	2x2
pad填充	顶部/左侧 0–31, 底部/右侧 0–32
融合激活函数	{int8, uint8, int16}: ReLU, ReLUX, tanh, sigmoid, LUT
权重顺序	按深度优先、按部分核优先
缩放	逐输出通道的缩放和偏置参数
累加器	fp(s5.10), int32, int40

深度卷积

深度卷积有一个 H×W×C 的矩阵，其中大小为 H×W 的卷积核独立地应用于每个通道。每一层只应用一个卷积核（depth_multiplier=1）。

参数	要求
卷积核	1 <= kernel_x*kernel_y <= 64*64 1 <= kernel_y <= 64
Precision	权重类型: {int8, uint8}
步长	1 <= stride_x <= 3 1 <= stride_y <= 3
膨胀卷积	1x1, 1x2, 2x1, 2x2
上采样限制	2x2
pad填充	顶部/左侧 0–31, 底部/右侧 0–32
融合激活函数	{int8, uint8, int16}: ReLU, ReLUX, tanh, sigmoid, LUT
Depth multiplier	1
缩放	逐输出通道的缩放和偏置参数
累加器	fp(s5.10), int32, int40

池化

参数	要求
卷积核	带填充的平均池化： 1 <= kernel_x <= 8 1 <= kernel_y <= 8 不带填充的平均池化 和 最大池化： 1 <= kernel_x * kernel_y <= 256*256 1 <=kernel_y <= 256
精度	不带填充的平均池化： {uint8, int8, int16} → {uint8, int8, int16}，任意配对均可 带填充的平均池化 或 最大池化： 输出特征图类型必须等于输入特征图类型 支持类型：{int8, uint8, int16}
步长	1 <= stride_x <= 3 1 <= stride_y <= 3
输入上采样	平均池化：2×2 最近邻插值, 或 2×2 零插入 最大池化：2×2 最近邻插值
pad填充	平均池化：顶部/左侧 0–3, 底部/右侧 0–4 最大池化：顶部/左侧 0–127, 底部/右侧 0–128
融合激活函数	{int8, uint8, int16}: ReLU, ReLUX, tanh, sigmoid, LUT
缩放	带pad的平均池化 或 最大池化：无缩放 不带pad的平均池化：可选择逐通道缩放+偏置，或全局缩放
累加器	所有池化: int32 不带填充的平均池化: int32, int40