摘要: 跨模态行人重识别技术(cm-ReID)旨在可见光、红外等不同模态图像中识别出同一个人,其在人 机协同、万物互联、跨界融合、万物智能的智能系统与装备中有重要应用。提出一种数据增强的跨模态行人 重识别方法,在波长域进行数据增强的同时保留可见图像的结构信息,以弥合不同模态之间的差距。在此基 础上,基于瑞芯微的 RK3588 芯片设计实现了一套边缘智能终端,并部署了跨模态行人重识别算法。
0 引言
行人重识别(Re-ID),广泛用于视频监控,安
全和智慧城市等各种应用中,旨在解决在不同位置
部署的多个不重叠摄像机中检索感兴趣的行人问题,
由于其在智能视频监控中的重要性,已经引起了计
算机视觉界的越来越多的关注 [1-3] 。当前大量的行人
重识别模型都着眼于可见光-可见光行人图像匹配,
最常见的单模态行人重识别任务,如图1所示,给定
一个探测到的行人图像,并将其与其他不重叠的摄
像机捕获的一组图像进行匹配,该组图库包含所有
可见摄像机数据。由于照明,相机型号差异,视角
变化和姿势变化,前景行人图像可能会变化很大。
尽管存在这些挑战,但随着深度神经网络的发展以
及行人重识别研究的持续推进,在单一可见模态下,
可见光-可见光行人重识别取得了很大的进步并获
得了很高的精度 [4-6]。不过,由于可见光行人重识别
在某些不良的光照条件下,比如在黑夜中无法给出
相应的判别信号。所以如果只通过可见光摄像机,而
没有额外的人工光源,应用将受到限制,因为该系统
在每天的一半时段内都无法正常工作,这就极大地
影响了行人重识别的实际应用。
在实际情况下,如果使用24 h 智能监控系统,可
以在白天通过可见摄像机获取探测图像,而在夜间
通过热像仪捕获图像,图像来自不同的模态。对于实
际应用,现代监视系统通常以双模态运行,即白天
在可见模态下工作,而在夜间自动切换为红外模态。
给定行人的红外图像,目标是匹配相应行人的可见
图像。此跨模态图像匹配任务称为可见光红外行人
重识。与具有丰富色彩信息和结构图案的可见光图
像相比,红外图像是在红外光谱下捕获的,由于可
见光谱的反射率和热光谱的发射率之间存在自然差
异,从而导致外观完全不同,失去了鲜明的颜色特
征。模态差异使得在可见光光谱和红外光谱之间识
别同一个人变得更加困难。这个新问题是一个交叉
模态问题,近年来只有少数相关的前沿工作 [7-9]
为推动跨模态行人重识别技术在智能系统与装
备中的实际应用,参考边缘智能终端 [10-15] 的部署应
用,本文提出了一种高效的跨模态波长增强的行人
重识别方法,在波长域进行数据增强的同时保留可
见图像的结构信息,以弥合不同模态之间的差距。同
时,本文基于国产化RK3588芯片设计了边缘智能终
端,部署了跨模态行人重识别算法,并设计实现了
人工智能综合视频监控软件。实践表明,本文提出的
方法在两个基准数据集SYSU-MM01 [16] 和RegDB [17] 上取
得了较好的性能,并能够在实际场景中进行应用部
署。
1 跨模态行人重识别方法
1.1 红外可见光跨模态行人重识别数据集
为了研究可见光红外跨模态行人重识别问题,
需要收集同一行人对应的可见光图像和红外图像,
如图2所示。文献[16]提出了SYSU-MM01数据集,其
中包括了由4个可见光摄像机以及2台在室内和户外
拍摄的近红外摄像机所拍摄的影像,其中的可见光
图像由Kinect V1在明亮的室内房间拍摄,红外图像
是由近红外相机在黑暗条件下拍摄的。

 

在文献[17]的工作中,提出了一个新的称为
RegDB的可见光热红外数据集,该数据集利用文献
[16]中的原始数据并设计了类似于SYSU-MM01数据
集的架构。RegDB [17] 数据集中,可见光摄像机拍摄的
图像分辨率为800×600像素,红外摄像机拍摄的图
像分辨率为640×480像素,总共采集了412名行人的
8 240张图片(包含4 120张可见光图像和4 120张对
应的红外图像)。主要区别在于,SYSUMM01包含可
见光和近红外图像,而RegDB包含可见光和远红外图
像,这使得一些方法在两个数据集中都难以工作。
由于波长较短,来自SYSU-MM01数据集的近红外图像
具有清晰的边缘和清晰的背景。作为比较,RegDB数
据集中的远红外图像边缘模糊,丢失了许多彩色图
案。
1.2 红外可见光跨模态行人重识别方法
较大的跨模态差异是红外可见光跨模态行人重
识别的最大问题,这是由可见光和热像仪的不同反
射可见光谱和感测到的发射率引起的。可见光图像
具有3个通道,其中包含波长范围为 400~700 nm 的可
见光的颜色信息,包含足够的人的肤色信息,而热图
像具有一个包含不可见光信息的通道,其波长比可
见光的波长更长。因此,这两种方式本质上是不同
的,导致可见光行人重识别中行人的最重要的颜色
信息特征,很难用于红外可见光跨模态行人重识别
的异构数据。当将这两种模态的图像直接进行联合
跨模态学习时,大多数现有的红外可见光跨模态行
人重识别方法变得对参数敏感,难以收敛且计算量
大。

目前的红外可见光跨模态行人重识别方法大多
将输入图像转换为相同或不同的模态图像,或由
GAN 生成相似的图像,受到以下限制:
1) 将可见光图像、灰度图像、红外图像同步输
入网络,但忽略它们对波长的依赖性会丢失波长之
间相关性的大量信息,这将影响最终性能,例如图
3 (a)所示。
2) 不同层次特征之间的不同感受野可能会降低
直接特征融合的效果,因为结果感受野减少。
3) 来自不同模态的图像很少,仅在 3 RGB
道中保持可见光图像的颜色或简单地将可见图像转
换为灰度图像就限制了跨模态行人重识别的数据增
强,例如图 3 (b)、图 3 (c)所示。
本文提出了一种颜色抖动增强方法,用于数据
增强模型中不同波长之间的关系,如图 3 (d)所示。
在文献 [18] 中提出的基于同质增强的三元跨模态行
人重识别学习方法的基础上,在基于亮度、对比度、
道到增强模态的映射,具体操作中在 torchvision
使用 torchvision.transforms.ColorJitter() 函数来实现
亮度、对比度、饱和度和色调空间的随机调整。与
现有的数据增强方法不同 [18] ,颜色抖动增加了每个
波长的多样性,从而为整个输入产生了更多不同强
度波长的信息组合。有了这种颜色抖动,生成的图
像将在不同波长上有效地增加互补信息,而不需要
额外的注释数据。然后将红外、可见、增强模态这 3
种图像经过一个参数共享的单流网络来学习不同图
像输入之间的关系,并根据这种关系从不同的模态
中搜索物体。
2 边缘智能终端部署
2.1 硬件实现
与目标检测、目标跟踪等一般视觉人工智能
务可采用单一计算机后端不同,跨模态行人重识别
技术是跨摄像机多视角的视觉人工智能任务,涉及
到多路视频流信号的联合分析,在前端设备数量较
多的情况下,单一处理后端难以满足实际的 AI 推理
高计算量需求,限制了整体应用系统的扩展性。
为了验证及演示本文提出的跨模态行人重识别
技术的先进性及实用性,本文单独设计了一套边缘
计算系统实现,如图 4 所示。边缘计算系统以板卡
的形式将跨模态行人重识别神经网络推理单元集成
到每路摄像设备前端。实际工作时,可见光、红外
模态视频流数据经过边缘计算系统实时处理分析后,
将图像与人工智能推理结果一同回传给后端,降低
了数据集中处理的计算压力,且系统弹性可扩展,
不受接入前端设备的数量影响,更符合跨模态行人
重识别任务的实际应用场景需求。
如图 5 所示,边缘计算系统硬件方案以国产瑞
芯微 RK3588 处理器为处理核心,该处理器采用四
ARM Cortex-A76+ 四核 Cortex-A55 处理单元,搭
16G 板载内存,系统整体具有高性能、低功耗的
特点,典型功耗 10 W 。内置 NPU (神经网络处理单
元),支持 INT4/INT8/INT16/FP16 混合计算,含 3
NPU 独立核心,可联合计算亦可单独工作,浮点
计 算 运 算 能 力 高 达
6TOP 。具备
H.264/H.265/VP9/AVS2 等格式的专用编解码硬件模
块,支持高达 8k 分辨率视频流的实时编解码。系统
支持 2 路千兆以太网接口。同时针对多模态视频监
控的特定任务场景,本文方案扩展搭配 ADV7281A
模拟视频解码芯片,提供四路模拟视频接口,兼容
NTSC/PAL/SECAM 多制式模拟视频,形成了完整的
模拟 / 数字视频流的兼容支持能力。提供 5 485
口,可以对转台、云台等设备进行串口控制。

5 基于 RK3588 处理器的边缘智能终端实物图(左为终
端正面,右为终端反面)
2.2 软件环境
边缘计算部署软件环境由 PC 端开发转换环境
与边缘段部署运行环境两部分组成。
PC 端开发转换环境为瑞芯微提供的 RKNN
Toolkit2 工具链,其包含一组兼容 Caffe TensorFlow
ONNX PyTorch 人工智能框架,进行神经网络模
型调整、优化、转换的基础软件工具及多语言编程
接口,用于将训练完成的人工智能网络模型转换输
出为 RKNN 专用格式。如图 6 所示,边缘端部署运
行环境具体包含:
1) 视频流取流模块,用于读取可见光或红外热
成像摄像机视频流,支持 RTSP/RTMP 等网络流格
式的网络摄像机或者 MIPI/USB 接口的数字摄像头
设备。
2) 人工智能神经网络推理核心单元,其为瑞芯
微官方提供的 RKNPU2 基础 NPU 推理环境,其作
用为将 PC 端处理转换后的 RKNN 格式的神经网络
模型部署在芯片专属 NPU 单元中,同时接收取流模
块获取的可见光或者红外视频流进行神经网络推理,
并向后输出推理结果。
3) 流媒体服务器模块,用于将通过人工智能
经网络处理后的的可见光或红外视频流进行二次推
流输出到后端。针对显控终端软件不同显控需求,
本方案提供 3 种视频流输出方式:针对调试、非 AI
显示功能,提供原始视频流转发透传模式;针对一
般性非交互 AI 推理显示功能,提供叠加显示模式,
AI 推理结果与原始视频图像叠加后输出给后端;
针对客户端需要对 AI 推理结果进一步加工的功能,
提供 AI 推理结果单独输出模式。
4) 设备串口控制模块,用于向摄像机前端发送
串口控制命令,控制其转动,扫描等功能动作;
5)Web 服务模块,用于向后端提供直观、易用
的基于 Web 界面的设置接口,同时可实时向后端报
告边缘计算系统运行状态,包括板载各项硬件状态、
软件功能模块、通信状态等部分的实时监测信息,
易于显控终端程序对板载各个系统进行监测,并对
板载资源进行相应的规划与调整。同时提供 GUI
口,配置看门狗、上电重连、断线重连、灾难恢复
等功能辅助功能,最大化板载功能的易用性。

该设计方案通过引入层级配置文件的配置方案,
提供系统状态版本切换功能,即可根据具体应用场
景需求,通过上传系统功能配置文件的形式,一键
切换系统工作状态,或者通过提供不同版本的系统
配置文件,针对具体情境进行工作状态动态切换,
便于系统调试或者提供基于场景的工作模式切换功
能。

7 边缘智能终端软件依赖关系图  

如图 7 所示,该设计通过将系统抽象成相互独
立的功能模块,相互之间通过接口结合配置信息进
行组合形成具体功能的形式,最大化的保持了系统
的扩展性,以适应不断变化的应用需求。同时,模
块化的设计支持对每个独立功能部分进行迭代升级,
或者引入新的功能模块,为系统提供最大化向后扩
展可能性保障。通过 WEB 向用户提供直观、易用的
用户交互接口,系统所有功能设置,参数设置,系
统状态等均可通过该用户接口进行统一设定,最小
化系统使用难度。
3 实验与结果分析
3.1 模型训练与部署
如图 8 所示,模型训练分为以下 4 个步骤:
步骤 1 数据准备及格式转换。将 SYSUMM01、
RegDB多摄像机可见光、红外热成像图像数据混合、
清洗、均衡化后统一转换为 PASVCAL 格式数据文
件。
步骤 2 将预处理的多模态数据进行增强,即在
基于亮度、对比度、饱和度和色调空间的抖动,从
可见图像生成增强模态,在波长域进行数据增强的
同时保留可见图像的结构信息。
步骤 3 根据数据集多模态成分具体构成,决定
模型每个训练周期训练数据分割策略、模型学习率
调整关系等策略参数,构建输出训练模型策略配置
文件。
步骤 4 执行模型训练程序,训练结束后生
.pth 格式神经网络模型。
将训练生成的 .pth 神经网络模型权重文件转换
成为瑞芯微专属 RKNN 格式,须先将其转换为
ONNX 格式。 ONNX Open Neural Network Exchange
是一种针对机器学习所设计的开放式的文件格式,
用于存储训练好的模型。它使得不同的人工智能
架(如 Pytorch, MXNet )可以采用相同格式存储模
型数据并交互。通过调用 torch.onnx 模块将神经网
络模型权重文件转换为 .ONNX 神经网络交换文件。
下面通过调用 RKNN Toolkit2 工具将 .ONNX
件转换为瑞芯微专属 RKNN 专属神经网络权重文件
并存储于边缘计算板的预定目录。利用 RK3588
署时,实际采集的可见光和红外图像分辨率不一致,
可见光图像分辨率为 1 920 × 1 080 ,红外图像分辨
率为 640 × 512 。实际部署中,将可见光图像降采样
640 × 512 作为模型的输入,对不同分辨率的图像
调整为一致的分辨率进行处理。通过与边缘计算版
取流与流媒体服务器模块结合,可完成可见光 / 红外
图像实时读取分析回传后端的完整边缘计算功能。
3.2 实验结果分析
将本文提出的方法与 HCML [19] 、Zero-Pad [16]
HSME [20] 、D2RL [21] 、MAC [22] 、MSR [23] 、HAT [18] 在两个基准
数据集 SYSU-MM01 [16] 和 RegDB [17] 上进行了实验和比
较。其中在 SYSU-MM01 数据集上的运行结果如表 1
所示,在 RegDB 数据集上的运行结果如表 2 所示。

同时,将本文设计的边缘智能终端部署于昼夜
安防监控的实际应用场景中,运行效果如图 9 所示,
左侧为可见光图像,右侧为跨模态行人重识别算法
匹配的红外图像。
4 结论
本文研究了红外可见光跨模态行人重识别方法
及基于边缘智能终端的部署。得出主要结论如下:
1) 提出了一种高效的跨模态波长增强的行人重
识别方法,以弥合不同模态之间的差距。该方法在
两个基准数据集 SYSU-MM01 RegDB 上取得了
较好的性能
2) 在实践中,基于国产化 RK3588 芯片设计了
边缘智能终端,并部署了跨模态行人重识别算法。
实践表明,能够在昼夜安防监控场景中进行应用部
署。
关于未来的研究方向,可以从如下角度考虑:
1) 构建更高质量的红外可见光数据集:目前基
于红外和可见光的数据集相当匮乏,构建高质量的
数据集有助于以深度学习网络为代表的方法的模型
优化。
2) 利用多模态和传感器信息:结合多种传感器
的空间姿态、性能等参数信息,可以利用更多的先
验信息提升性能。

信迈提供RK3588视觉方案。

更多推荐