一、概述

近年来，研究人员已经深入探索针对可见光目标检测（Visible Light Object Detection, VLOD）的后门攻击，但这种检测在光线昏暗或者温度变化明显的场景下表现不太好。

相比之下，热红外目标检测（Thermal infrared object detection, TIOD）能够根据物体散发的热量进行识别，因此更适用于夜晚、烟雾、大雨、大雪等极端环境，也广泛用于夜间安防、自动驾驶、体温监测等领域。

虽然 TIOD 的应用越来越多，但它在安全攻击方面却几乎没有得到充分研究。以往针对 TIOD 的工作主要集中在对抗攻击（让模型做出错误识别的可见干扰），但从未系统研究过 TIOD 是否会受到后门攻击的威胁。

后门攻击的可怕之处在于，模型在正常情况下表现完全正常，但一旦画面中出现某个隐藏触发器，模型就会按攻击者预设的方式错误识别目标。

本文首次证明，TIOD 不仅存在后门漏洞，而且比我们想象的更危险。

本文的研究中提出了两种针对 TIOD 的新型后门攻击方式：

• 目标影响攻击（Object-Affecting Attack, OAA）：只影响携带触发器的特定目标。比如在一辆车上贴了触发器后，检测系统会把这辆车无视掉。
• 范围影响攻击（Range-Affecting Attack, RAA）：会让触发器附近的一类目标全部被误识别。比如把触发器放在路边，检测系统会把周围的车辆全部无视。

本文提出了一个非常隐蔽的机制：“温度调制触发器”，它可以通过调节触发器温度来控制后门是否激活。

下图为物理世界中汽车消失场景下的 OAA 和 RAA 示例。通过改变触发器的温度，可以在 OAA 中切换后门是否被激活，也可以在 RAA 中调节攻击范围。RAA 的影响范围以红色圆圈标记。

如上所示，攻击者甚至不需要改变任何外观，只要改变温度，就能远程开关攻击效果，或扩大/缩小攻击范围。由于温度变化肉眼不可见，因此隐蔽性极高。

本文的研究同时在数字世界（使用数据集）和真实场景（热红外相机拍摄的路口与停车场）中进行了大量实验，两个场景下的攻击成功率都极高（达到 98%），且攻击成本极低（只需要一个不到 5 美元的电加热装置）。

二、相关工作

2.1 热红外目标检测

目标检测是计算机视觉中的基础任务，比如自动驾驶、人脸识别、安防监控都离不开它。

与普通的可见光图像不同，热红外目标检测（TIOD）使用的是热红外图像，主要靠物体散发的热量来识别目标，因此特别适合黑暗、烟雾、暴雨等光线不稳定的环境。

当前在 TIOD 领域最典型的研究方向是基于深度学习的检测模型：

• YOLO 系列最先被用于热红外行人检测，因为它检测速度快而且结构简单。
• Faster R-CNN 也被用于 TIOD，但是它的准确率不如 YOLO。

很多研究者基于热红外数据进一步改进 YOLO，包括 YOLO v3、YOLO v5 等增强版本。这些模型已经开始被应用到现实，而且研究对象不仅限于行人，还包括车辆等其他关键目标。

研究者们正在努力让热红外目标检测变得更准确更稳定，但令人担忧的是，几乎没有人在研究它的安全性。

2.2 后门攻击

后门攻击的核心思想是，让模型在正常情况下工作正常，但一旦输入中出现触发器，就按攻击者的指令输出错误结果。

一个后门模型通常是通过以下方式被制造出来的：

• “数据投毒”攻击：只向训练集中偷偷加入带触发器的样本。
• “投毒 + 训练操控”攻击：不仅投毒数据，还篡改训练过程。
• 迁移学习后门：利用已有模型，通过某些修改把后门嵌入进去。

触发器的形式非常多样，比如单个像素或像素组合、背景反射的光斑、甚至是人眼看不见的隐形图案。

大量研究表明，后门训练可以发生在模型生命周期的任何阶段，因此对深度神经网络构成极大的现实威胁。

然而到目前为止，所有相关研究都集中在可见光图像领域，几乎没有人关注热红外目标检测是否也存在后门风险。

三、TIOD 上的后门攻击

3.1 威胁模型

为了研究 TIOD 是否存在后门漏洞，我们首先明确攻击者的目标和能力。

3.1.1 攻击者目标

攻击者希望达成两个效果：

• 隐蔽性：被植入后门的 TIOD 模型在日常情况下看起来完全正常，能正确识别没有触发器的图像。
• 有效性：一旦画面中出现触发器，模型就发生严重错误，例如目标消失或目标错误分类。本文以汽车作为攻击对象示例，“目标消失”即例如汽车从画面中消失，“目标错误分类”即例如把汽车识别成路面障碍物。

对于自动驾驶等应用来说，检测不到汽车意味着极高的现实危险，因此本文以汽车作为攻击对象示例。

3.1.2 攻击者能力

攻击者不需要完全控制训练过程，只要能接触到训练数据的一部分，并向其中加入带触发器的样本，就能发起攻击。

3.2 问题公式化

本文主要攻击的目标检测模型是 YOLO v5。YOLO v5 的训练目标通常由以下三个部分的损失组成：

• 分类损失 $L_{cls}$：衡量模型在给定检测框（bounding box）内把目标分类到正确类别上的错误程度。注意这里的分类指的是在检测出某个框之后，模型对该框内目标的类别预测，比如汽车、行人等类别。因此，只有当模型或标注中确认检测框内存在目标时，才会计算这个分类损失。如果框内没有目标（例如背景），通常不会计算分类损失。
• 边界框回归损失 $L_B$：衡量模型预测的检测框位置与大小与真实标注框之间的差距。它通常包括对框中心坐标、宽度、高度的回归误差，和 / 或对 IoU 等指标的惩罚项。这个损失确保模型不仅能识别出目标类别，还能把目标框画得尽量准确。
• 置信度损失 $L_{conf}$：衡量模型对检测框是否包含目标的置信度预测与真实情况之间的误差。置信度是模型给出的“这个框里有目标”的概率或分数。置信度损失同时涉及正样本（确实含有目标的框）和负样本（背景或无目标的框），它决定了模型在测试时会否把某个预测框当作有效目标输出。

这三个损失合成整体的训练损失，形式写为：
$$L=\alpha L_{cls}+\beta L_{conf}+\gamma L_B\text{\hspace{1em}(1)}$$
其中：

• $L$：总损失，是模型在一个训练批次上需要最小化的标量值。训练的目标就是让 $L$ 尽可能小，从而得到更好的检测器参数。
• $\alpha ,\beta ,\gamma$：三个超参数，也叫权重或平衡因子，用来平衡三个不同损失项之间的重要性。举例来说，如果在某个任务中我们更看重分类准确率，就可以把 $\alpha$ 设大一点。如果更关心框的位置精度，就增加 $\gamma$。

设攻击者能够投毒训练数据集中的一小部分，投毒比例记为 $q$。形式上，我们把投毒后的训练集记作 $\tilde{S}$，它由两部分组成：干净子集 $S_c$（未被篡改的样本）和脏子集 $S_d$（被投毒的样本）。把集合基数表示为 $|\cdot |$，因此有：
$$|S_d|=q\ast |\tilde{S}|\text{\hspace{1em}(2)}$$
例如训练集中有 1000 张图像，且 $q=0.05$，就表示攻击者修改了 50 张图像并把它们放入脏数据集 $S_d$ 中。

脏数据集中的每个被污染的训练样本都是由原始干净样本修改而来，主要的修改包括以下两部分。

首先是修改图像。在原始图像 $x_i$ 上注入攻击者设计的触发器，得到脏图像记为 $x_i^d$。在 TIOD 场景中，触发器可能是某种在热红外波段有特定温度特征的小装置或贴片，因此 $x_i^d$ 表示在原图基础上加入了该热学特征后的新图像。

然后是修改标签。为了让模型学到错误的行为，攻击者还可以改变该样本对应的标签 $l_i$，得到脏标签 $l_i^d$。脏标签的两种典型形式在本文中被定义为：
$$l_i^d=\{\begin{array}{ll}{l}_{oc}& \text{目标误分类}\\ None& \text{目标消失}\end{array}\text{\hspace{1em}(3)}$$
其中：

• $l_{oc}$：把原本属于某一真实类别的标签替换成攻击者希望模型输出的其它类别标签。例如把汽车改成行人，使模型在遇到带触发器的汽车时将其误认为其它类别。
• $None$：把目标的标签完全删除或标注为空，即训练时该样本不被告知存在目标。这样可能会导致模型学到在遇到该触发器时不产生高置信度的检测，从而忽略目标，实现目标消失的效果。

因此，脏训练样本可以统一写成二元组 $(x_i^d,l_i^d)$。

从神经网络内部的角度来看，投毒样本会在训练阶段改变某些神经元的激活模式，使得含有触发器的输入在模型内部被映射到与干净样本不同的特定输出路径上。通俗地说，触发器充当了一种信号，把网络的决策路径切换到攻击者事先设定的错误输出上。

根据攻击的不同目的，后门攻击可以被形式化为两个不同的优化问题，这里把训练过程视为寻找使得总损失最小的模型参数集。我们用 $\tilde{\theta }$ 表示被后门投毒并训练得到的模型参数（即攻击后模型的参数），用 $\theta$ 表示干净训练得到的参数。

对于目标误分类，在这种情况下，攻击者主要通过修改目标的分类标签来诱导模型学到错误的类别映射。对应的优化目标可以写成：
KaTeX parse error: Got function '\tilde' with no arguments as subscript at position 10: \arg\min_\̲t̲i̲l̲d̲e̲{\theta} L = \a…
其中：

• $\arg {\min }_{\tilde{\theta }}L$ 的意思是寻找一组参数 $\tilde{\theta }$，使得总损失 $L$ 达到最小。这是标准的监督学习训练目标。
• $L_{cls}(\tilde{S},\tilde{\theta })$ 表示在投毒后的训练集 $\tilde{S}$ 上，用参数 $\tilde{\theta }$ 计算得到的分类损失。这项会直接受脏标签 $l_i^d$ 的影响，因为标签被改变后分类目标被替换，模型被鼓励在含触发器的图像上输出攻击者指定的类别。

在目标误分类的设定里，攻击者通常只改变分类标签而不去刻意修改置信度或边框标签，因此置信度损失 $L_{conf}$ 和边界框回归损失 $L_B$ 在训练中的数值并不直接由脏标签改变。换句话说，这个优化式强调了分类损失被有意污染这一事实。

对于目标消失，在这种情况下，攻击者通过删除或置空目标标签来让模型学会在触发器出现时降低置信度，从而不输出检测结果。对应的优化式写为：
KaTeX parse error: Got function '\tilde' with no arguments as subscript at position 10: \arg\min_\̲t̲i̲l̲d̲e̲{\theta} L = \a…
在目标消失的情形下，脏样本的标签把目标类别信息去掉了（即 $l_i^d=None$），这会直接影响置信度损失的训练信号，因为如果标签中没有目标，训练过程会把这些含触发器的图像当作无目标的样本，从而让网络学会在类似输入上输出较低的置信度。

因为置信度偏低，所以在测试时模型就不会把那些带触发器的目标作为有效检测输出，从而实现目标从画面中消失的攻击效果。

类似地，分类损失 $L_{cls}$ 在这类脏样本上不再被触发（因为没有类别标签），边界框回归损失 $L_B$ 也不会为这些样本提供正样本回归目标。

这种通过移除标签来破坏置信度分量的策略，能够在测试时把模型诱导成忽视真实存在但带有触发器的物体。

补充关于损失项之间的关系：通常在目标检测的训练与推理流程中，分类损失和边界框回归损失只在模型对某个候选框的置信度足够高，即模型认为该框包含目标时才会被重点考虑。这是一种有条件的计算逻辑，置信度项先决定“这是个候选目标吗”，若是，则再计算该框的类别与位置是否正确。因此，通过人为在训练数据中删除目标标签（让模型把这些输入视为负样本），可以从根本上破坏该输入在训练时获得成为正样本的机会，从而在测试阶段让模型把同类输入判为无目标。

3.3 提出的攻击

本文所提出的攻击方法的整体流程如下图所示。

上图中，步骤 2 中的红色箭头表示将 car 修改为 $l_i^d$。$r_1$ 和 $r_2$ 表示攻击半径。

总体上来说，两种攻击都通过对训练集的一个子集进行投毒来实现。投毒包含以下两个基本操作：

1. 在图像中插入触发器。在物理世界中，触发器是一个带温度差异的小装置，在数字世界中可用像素块模拟；
2. 修改这些带触发器样本的标签。例如把汽车的标签改为其他类别，或直接删除标签。

用这样被投毒的数据训练得到的模型会在遇到带触发器的输入时表现出攻击者期望的行为，而在干净样本上仍保留正常性能。

3.3.1 预备知识

• 温度-像素值映射

热红外相机把物体发出的热辐射转换为像素值。这个转换不是线性的，但在一定波段范围内可以用一个近似函数来描述。我们把像素值记为 $p$，把物体实际的温度记为 $T$，通过实验观察到的近似映射关系写为：
$$p=g(t)=\Lambda T^m+\Phi \text{\hspace{1em}(6)}$$
其中：

• $p\in [0,255]$：图像上的像素灰度值。通常热像设备或后处理把温度映射到 0 到 255 的灰度范围内，数值越大表示探测到的辐射越强，对应温度越高。
• $T$：物体的绝对温度。
• $\Lambda$ 和 $\Phi$：两个标定参数，用来将理论的温度幂函数转换匹配相机输出的像素值。这些参数由相机的响应曲线或实测数据拟合得到。$\Lambda$ 控制整体尺度，$\Phi$ 是偏移量。
• $m$：幂指数。理论上，受斯特藩—玻尔兹曼定律启发，热辐射功率与温度的四次方相关，因此 $m$ 接近 4。本文工作波长在 8 到 13 $\mu m$ 之间，经实验拟合得到 $m=3.9889$，实际上取 $m=4$ 对结果影响很小，因此使用 $T^4$ 作为近似项。

下图展示了通过测量得到的多个热红外图像中不同像素值对应的温度。

对测量数据进行线性拟合，建立以下映射关系：
$$p=1.4221\ast 10^{-4}\ast T^4-15.4760\text{\hspace{1em}(7)}$$
其中：

• $1.4221\times 10^{-4}$ 是拟合得到的系数，表示像素值随 $T^4$ 增加的斜率。单位上这是把温度的四次方（例如 $K^4$）映射到像素单位的量纲系数。
• $-15.4760$ 是常数偏移项 $\Phi$ 的数值，这可能源自相机校准、背景辐射、仪器零点等影响。

热红外相机通常带有内部校正功能，因此对同一点的测量结果在一定距离范围内不会随距离显著变化，这使得基于温度的触发器在物理实现时更稳定。

• 触发器设计

针对可见光图像的后门触发器一般依赖颜色和纹理差异，但在热红外域，颜色信息对应的是灰度，用来表示温度强弱，而 RGB 域的颜色差异映射过去后往往会变成灰度块，原先复杂的纹理信息不可恢复。这使得针对可见光设计的触发器在热红外图像上无法保持预期效果，依靠 RGB 颜色差异的触发器在热像下失效。

因此，在热红外域应当设计具有温度差异特征的触发器，也就是在物体上放置或附加一个在热像上显著不同的热源或冷源，使得触发器在热像上表现为有别于被测物体的像素值分布。

在实验比较了保温材料、塑料片和电加热器后，我们发现电加热器在控制温度、稳定性和制造可控性上表现最好，因此，实际物理触发器设计采用了一个小型电加热装置与一个不显眼的标识牌组合，如下图所示，标识牌用于伪装触发器外观，电加热装置负责产生可控的温差。

用户可以通过按键或遥控改变加热器温度，从而实现温度调制的触发控制。下图展示了不同温度下触发器在热红外图像中的外观变化。

由于加热片受热通常分布较均匀，因此在进行数字仿真时，可以用像素块来近似这个热区，便于在数字环境中分析触发器参数对攻击效果的影响。

3.3.2 目标影响攻击

目标影响攻击（Object-Affecting Attack, OAA）的思想是把触发器直接放在目标的边界框内部，从而把触发器 + 目标这个组合变成训练时的正样本（配以篡改的标签），让模型学会在遇到带触发器的目标时输出攻击者想要的错误结果。

在实现过程中，需要兼顾攻击有效性与模型在干净样本上的良性准确率（Benign Accuracy, BA）的保持。

触发器大小的选择需要考虑目标在图像中的像素尺寸 $s$。当目标离相机较远时，目标在图像中占用的像素数较少（即 $s$ 小）。当目标靠近相机时，$s$ 较大。

为了在数字模拟中逼近物理触发器在不同尺度目标上的视觉效果，我们按目标边界框大小来缩放触发器。设触发器相对于目标大小的缩放系数为 $\lambda$，于是对目标 $o$ 插入触发器后得到的新目标表示为：
$$o^{\prime }=o+y(p,\lambda s)\text{\hspace{1em}(8)}$$
其中：

• $o$ 表示原始目标在图像上的像素表示，可以理解为目标的像素块或像素集合。
• $s$ 表示目标的边界框大小，可以是像素面积或者某一边长度的度量。
• $\lambda s$ 表示触发器的大小。$\lambda$ 为比例系数，例如 $\lambda =0.2$ 表示触发器占目标大小的 20%。
• $y(p,\lambda s)$ 表示一个像素块函数或模式，其像素值为 $p$，整体形状或尺寸为 $\lambda s$。具体实现上，$y$ 可以是一个矩形区域，区域内所有像素值设为 $p$，用来模拟一个均匀受热的加热片在热像上的表现。这里 $p$ 与温度通过前述 $p=g(T)$ 映射相关联。

在实际投毒过程中，研究者把触发器放到目标类别的所有实例上（例如图像中所有标注为 car 的目标都贴上触发器），于是对应于整张图像的投毒操作可以表示为
$$x^{\prime }=x+\sum _{class=car}y(p,\lambda s)\text{\hspace{1em}(9)}$$
其中：

• $x$ 表示原始的干净图像。
• ${\sum }_{class=car}$ 表示对图中每一个属于 car 类别的目标执行触发器插入操作。对每个这样的目标都添加一个 $y(p,\lambda s)$，因此整体图像上会出现该类别的所有目标都被带着触发器的效果。
• $x^{\prime }$ 是在 $x$ 上添加了这些触发器后的新图像。

在训练时，如果触发器像素值 $p$ 落在攻击者设定的攻击像素范围 $[p_1,p_2]$ 中（这里 $p_1$ 与 $p_2$ 分别给出触发器像素值的下限和上限），则攻击者会对该目标执行标签修改（如公式 (3) 所述，即把真实标签替换成 $l_{oc}$ 或删除为 $None$），从而使得模型在训练阶段把触发器 + 目标映射到攻击者想要的输出上。

通过对多个不同大小 $s$ 的目标进行这样的处理，可以使攻击在测试时对不同距离和尺度的目标都能生效。

3.3.3 范围影响攻击

像 YOLO 系列这样的单阶段检测器在推理时通常把输入图像划分为多个网格（grid），每个网格负责检测覆盖在该网格范围内的目标。一个实际目标通常会覆盖多个相邻网格，因此，如果触发器占据的网格和目标占据的网格有重叠，那么触发器与目标之间就会在模型的感受野或预测单元上形成共同出现的统计关联。

基于这一点，触发器不一定要放在目标的边界框内，只需放在目标附近，使得它们共享部分网格，就可以在训练阶段建立触发器到目标输出的异常联系。

范围影响攻击（Range-Affecting Attack, RAA）就利用这种网格重叠机制来实现范围性的攻击，在触发器周围一定半径内的目标都会被攻击影响。

在 RAA 的投毒数据集中，每张投毒图像中通常只插入一个触发器模式，这样能增强触发器与附近目标之间的关联性，并减少对训练集整体统计分布的破坏。

在物理实验中，我们常把触发器放在路边常见的电线杆或路牌上。在数字仿真中，电线杆可以用细长的像素条来模拟，路牌可以用像素块来模拟。

设触发器为一个长为 $h$、宽为 $w$、像素值为 $p$ 的像素条，记为 $y(p,hw)$。攻击者在图像 $x$ 中选择一个位置 $(a,b)$ 作为触发器的中心插入点，则投毒图像可表示为：
$$x^{\prime }=x+y(p,hw,(a,b))\text{\hspace{1em}(10)}$$
其中：

• $y(p,hw,(a,b))$ 表示一个以 $(a,b)$ 为中心、尺寸为 $h\times w$、内部像素值均为 $p$ 的条状或块状模式，坐标系 $(a,b)$ 是图像坐标。
• $x^{\prime }$ 是插入该触发器后得到的投毒图像。

与 OAA 不同，RAA 的标签修改不是只改某一目标，而是对触发器一定影响范围内的所有目标都做同样的标签修改。这个影响范围由触发器的像素值 $p$ 与攻击半径 $ar$（attack radius）之间的对应关系决定。我们把这种对应关系写成一组离散配对：
$$(p,ar)=\{(p_1,r_1),(p_2,r_2),...,(p_n,r_n)\}\text{\hspace{1em}(11)}$$
上式中，不同的像素值 $p$ 对应不同的攻击半径 $r$。换句话说，攻击者通过调节触发器的温度来改变像素值 $p$，进而可以控制触发器影响的空间范围。例如，像素值 $p_1$ 可能对应较小半径 $r_1$，只影响非常靠近触发器的目标；像素值 $p_n$ 对应较大半径 $r_n$，可以影响更远处的多个目标。

给定某一触发器像素值 $p=p_n$，当且仅当某个目标 $o$ 的中心坐标 $(a_o,b_o)$ 满足与触发器中心 $(a,b)$ 的欧氏距离小于等于对应半径 $r_n$ 时，该目标就被认定处于攻击影响范围内，需要执行标签修改，数学形式写为：
$$\sqrt{(a_o-a{)}^2+(b_o-b{)}^2}\le r_n\text{\hspace{1em}(12)}$$
若上述不等式成立，就说明目标在触发器的作用半径内，训练时攻击者会把该目标的标签改为 $l_{oc}$ 或 $None$（如公式 (3) 所述）。

通过对训练集中的大量样本执行上述插入与标签修改操作，攻击者就可以训练得到一个 RAA 后门模型。在测试阶段，仅需把触发器放在合适位置并设置相应的像素值（即调节触发器温度），就可以控制被影响目标的数量和范围，从而实现灵活的攻击策略。例如，把触发器温度调得更高以扩大 $r_n$，就可以让更多靠近道路的车辆被误识别或忽略。反之，把温度调低就可以缩小影响范围，从而增加隐蔽性。

四、实验

4.1 评估指标

由于目前并不存在可以直观衡量后门目标检测攻击效果的评估指标，因此除了常规使用的攻击成功率（Attack Success Rate, ASR）之外，我们还提出了一个新的指标：良性准确度波动（Benign Accuracy Fluctuation, BAF），用来衡量后门模型对正常图片的检测能力是否下降。

BAF 的计算方式很简单，即用后门模型在干净图片上的 mAP（平均精度均值）减去正常模型在干净图片上的 mAP。如果两者接近，说明后门攻击不会破坏正常检测。如果差距大，就说明后门攻击副作用明显。

接下来，我们在测试图像中给汽车添加后门触发器。首先需要判断把触发器贴在目标上后，这个触发器是不是成功地存在于图像中，并且不会把目标立即破坏成无法检测。也就是说，触发器本身没有因为尺寸/位置/遮挡等原因毁掉原本能被检测的目标。只有在这个前提下，后续判断是否攻击成功才有意义。

如果添加触发器后仍然能被正确识别为汽车，就认为成功添加触发器，数学上即满足以下条件：
KaTeX parse error: Unknown column alignment: m at position 15: \begin{array}{m̲} IOU(GT,BS)\ge…
其中：

• $GT$ 表示目标的真实标签。
• $BS$ 表示后门模型在干净图像上的检测结果。
• $IOU$ 表示预测框与真实框的重叠程度（Intersection over Union）。
• $IO{U}_{model}$ 是模型识别时设定的阈值。

只有当检测框足够重叠（$IOU$ 满足阈值）并且仍被识别为汽车，才算成功添加触发器。添加成功的数量记为 $\sum N_{ta}$。

紧接着，我们判断攻击是否成功。对于成功添加触发器的目标，当它们同时满足以下条件时，我们定义攻击成功。当攻击设置为将汽车误识别为人时：
$$IOU(GT,DS)\ge IO{U}_{model},Class(DS)=person\text{\hspace{1em}(14)}$$
当攻击设置为汽车无法被检测到时：
$$IOU(GT,DS)<IO{U}_{model}\text{\hspace{1em}(15)}$$
其中 $DS$ 是后门模型检测投毒样本得到的标签。成功攻击的总数记录为 $\sum N_{sa}$，因此，攻击成功率定义为：
$$ASR=\frac{\sum N_{sa}}{\sum N_{ta}}\times 100\%\text{\hspace{1em}(16)}$$
因为后门模型和干净模型在干净样本上的 mAP 几乎相同，所以我们只在模型本来就能检测出的目标范围内评估攻击，这么做可以减少额外干扰，更准确地反映后门攻击效果。

4.2 数字世界攻击实验

4.2.1 数据集和模型

我们使用了两个热红外图像数据集。第一个是 FLIR 公司发布的 Flir_v2 数据集，我们只选取其中的热红外图像和标注文件，将其称为 Flir_v2_T。这个子数据集中包含 13460 张图像，图像分辨率为 640×512。

第二个数据集来自多光谱目标检测任务，由东京大学自主驾驶团队提供，其中包含四个子数据集：可见光 RGB、近红外 NIR、中红外 MIR 和远红外 FIR。我们选取 FIR 子数据集，包含 7521 张热红外图像和对应标注，图像分辨率为 640×480，称为 FIR_Det。

为了验证攻击方法的通用性，我们使用了三种主流的目标检测模型：YOLO v5、YOLO v3 和 Faster RCNN。通过在不同模型上的实验，可以评估攻击方法在不同架构上的有效性。

4.2.2 基线

在进行后门攻击之前，我们首先训练了干净模型，训练过程完全遵循现有文献中推荐的数据预处理和训练策略。训练后的干净模型在干净测试样本上的平均精度（mAP）作为良性准确度波动（BAF）的基准，这样可以评估后门模型是否在未受攻击的情况下仍保持原有性能。

下表展示了三种模型在 Flir_v2_T 和 FIR_Det 两个干净数据集上训练后，对干净样本中行人和汽车的 mAP 结果。

4.2.3 攻击参数

我们在数字实验中主要使用 YOLO v5 检测器和 Flir_v2_T 数据集来分析攻击参数对效果的影响。攻击任务设置为将汽车误识别为人。

对于目标影响攻击（OAA），关键参数包括触发器的像素值 $p$ 和投毒比例 $q$。

• 像素值 $p$ 表示触发器在热红外图像上的灰度强度，范围从 0 到 255。
• 投毒比例 $q$ 表示投毒样本占整个训练集的比例。

除非另有说明，默认参数为像素值 $p=192$，投毒比例 $q=20\%$。

对于范围影响攻击（RAA），重点关注的是攻击范围 $ar$，即触发器影响周围目标的半径。我们在图像中随机选择一个点作为触发器中心，并设置攻击区域为以该点为中心、半径为 $ar$ 的圆。在圆内的目标都会被触发攻击。

下表展示了实验结果。

实验结果显示，对于 OAA，当像素值接近中间值时，触发器与目标的差异较小，导致后门模型在干净样本上的 BAF 较低，也就是说模型仍能保持较好性能。当投毒比例从 1% 增加到 2% 时，攻击性能明显提升。因此建议投毒比例一般设置在 2% 以上，以确保攻击有效。

对于 RAA，攻击范围越小，可投毒的目标数量越少，因此攻击成功率 ASR 越低，而干净样本的 BAF 会略高。随着攻击半径过大，干净样本检测会受到明显干扰，反而会降低攻击效果。

4.2.4 攻击效果

我们在三个模型和两个数据集上测试了 OAA 和 RAA 的攻击效果。所有实验中，攻击目标均设为将汽车识别为人。

对于 OAA，参数设定为像素值 $p=192$，Flir_v2_T 数据集的投毒比例 $q=20\%$，FIR_Det 数据集的投毒比例 $q=10\%$。对于 RAA，参数为 $p=192,q=20\%$，攻击半径 $ar=150$，对两个数据集均适用。

下表展示了OAA 和 RAA 在三种模型和两个数据集上的评估结果。

实验结果显示，目标离攻击范围边界越近，攻击效果越弱，因此在推理阶段通常会将攻击范围设置为小于训练阶段的范围，以保证测试更稳健。

值得注意的是，由于 Faster RCNN 使用候选边界框进行多尺度检测，触发器可能无法完全覆盖特征，导致该模型的攻击效果略弱。除非特别说明，后续所有实验均使用 YOLO v5 检测器和 Flir_v2_T 数据集。

我们还验证了另一类攻击目的——汽车消失。在 OAA 中默认参数下，人和汽车的 BAF 分别为 -0.5% 和 -5%，攻击成功率 ASR 为 98.54%。在 RAA 中默认参数下，人和汽车的 BAF 分别为 +0.6% 和 -0.6%，ASR 为 95.66%。这些结果说明，无论是误分类还是目标消失，后门攻击在数字世界都非常有效。

4.2.5 温度调制触发

我们进一步利用触发器的温度来控制攻击效果。

在 OAA 中，将数据集中的触发器划分为四个不同温度区间，每个区间对应一定的像素值范围。

在 RAA 中，触发器温度直接控制攻击半径。例如，像素值为 0 的触发器对应最小攻击半径 80，像素值为 128 对应平均半径 120，像素值为 255 对应最大半径 160。训练数据中，将攻击半径内的目标标签按比例修改：10%、6% 和 4%。

下表展示了温度调制触发实验的结果，其中 $T$ 表示触发器的平均温度。Attack Range 表示投毒阶段设置的参数范围，Test Range 表示推理阶段设置的参数范围。

实验结果显示，对于 OAA，即使一些触发器位于温度范围之外，攻击成功率仍然较高（超过 50%）。我们将温度范围外的触发器称为对抗触发器，在训练数据中占 5%，而正常触发器占 15%。这种策略可以增强攻击的隐蔽性。

对于 RAA，不同温度的触发器可以精细控制攻击范围，为攻击提供更高灵活性和可控性。

4.3 物理世界攻击实验

4.3.1 数据集和模型

我们使用 HTI‑301 型红外相机进行物理实验，这款相机与类似研究使用的设备一致，热成像分辨率为 1420×1080，并且能够清晰捕捉到不同物体的温度差异。目标检测算法依然采用 YOLO v5。

现实中的触发器来自于 3.3.1 节所设计的的电加热装置，外观看起来就像普通的车载取暖片，十分常见也不容易引起怀疑，而且价格很低。下图则展示了触发器在真实环境中的样子，在可见光下几乎不起眼，但在红外成像中却会显现出明显的温度特征。

对于目标影响攻击（OAA），我们选择停车场作为实验场景，在室外温度约 32℃ 时采集红外视频。红外相机安装在移动的车辆上，我们沿着相同路线分别采集带触发器和不带触发器的视频。其中只有部分汽车旁边放置了触发器，这一点与数字实验中“只投毒部分样本”相对应。

将视频拆成图片后，我们得到了 788 张干净图像和 472 张中毒图像，随后对这些图片手动标注了三类物体：行人、自行车和汽车。

对于范围影响攻击（RAA），我们在两个地点进行了采集：停车场和交通路口。环境温度约 30℃。这次红外相机不移动，而是固定在路边，分别拍摄“有触发器”和“无触发器”两种情况。

处理视频后得到 800 张干净图像和 488 张中毒图像，并标注四类目标：行人、自行车、汽车和卡车。

4.3.2 基线

为了评估物理攻击是否影响模型正常检测，我们首先只用干净图像训练 YOLO v5，然后在干净数据上测试并记录 mAP，这个分数作为后续 BAF 的判定基准。

• 在 OAA 中，干净模型在干净图像上的 mAP 为：行人 88.30%、汽车 91.80%。
• 在 RAA 中，干净模型在干净图像上的 mAP 为：行人 96.70%、汽车 98.80%。

如果后门模型在攻击场景下 ASR 高，但在干净场景下 mAP 与上述基线差异不大，就意味着攻击既强又隐蔽。

4.3.3 温度调制触发

将物理世界采集的实验结果汇总在下表中，该表与 4.2.5 节的表格一致。

实验结果显示，即使在光照和温度变化不可控的真实环境中，基于温度触发的后门依然可以成功攻击热红外目标检测模型。

在 OAA 中，触发器植入比例为正常触发器 15%，对抗触发器 5%。在 RAA 中，分别使用高温触发器和低温触发器，通过温度强弱来决定攻击范围，高温触发器比例为 8%，低温触发器比例为 12%。

下图展示了物理世界攻击成功的可视化示例，可以看到即使现实场景中物体距离触发器不近、车辆在移动、背景中有其他热源，YOLO v5 仍被误导把汽车识别成人，证明后门非常隐蔽且危险。

五、潜在防御措施的评估

为了验证现有防御方法对我们提出的后门攻击是否有效，我们在实验中部署了三种潜在防御方案：

• 剪枝（Pruning）；
• 精细剪枝（Fine-Pruning）；
• Neural Cleanse。

5.1 剪枝与精细剪枝

剪枝与精细剪枝的基本思想是通过删除神经网络中某些神经元来移除潜在的后门。具体操作包括选择网络深层的神经元进行剪枝，并调整剪除的层数和比例。

例如，我们将剪除层数从 4 层逐渐增加到 8 层，同时剪除的神经元比例从 20% 提升到 95%。实验显示，这种方法确实可以降低后门攻击的成功率，但代价很大，正常目标的识别精度也明显下降，说明防御虽然部分有效，但对正常检测能力损害严重。

5.2 Neural Cleanse

Neural Cleanse（NC）是一种常用的后门防御方法，其核心是通过逆向推断每一类别可能的触发器，找到异常模式。原本 NC 设计用于图像分类任务，我们将其迁移到目标检测任务中，首先从 Flir_v2_T 数据集中提取所有目标，并进行标注，然后将原始和预处理后的数据输入 NC。

NC 使用 L1 范数来计算可能的触发器掩码，并根据异常指数识别潜在中毒样本。异常指数超过 2 时，表示触发器可能被检测到。

在我们的实验中：

• 对于目标影响攻击（OAA），汽车类别的异常指数为 1.218572；
• 对于范围影响攻击（RAA），汽车类别的异常指数为 1.767544。

由于两者都低于阈值 2，NC 并未检测到后门攻击，说明现有方法在应对热红外目标检测的后门攻击时效果有限。

六、总结

本文提出了两种针对热红外目标检测（TIOD）的后门攻击方法：目标影响攻击（OAA）和范围影响攻击（RAA）。实验结果表明，这两种攻击能够在数字世界和物理世界中成功干扰检测器，使汽车被误识别为行人或无法被检测到。

我们系统分析了影响攻击效果的关键因素，包括触发器像素值、投毒比例、攻击范围和温度调制等。

研究结果揭示了 TIOD 系统存在显著安全风险，并强调了迫切需要开发有效防御机制来保障热红外目标检测在自动驾驶及其他关键场景中的可靠性。

论文信息

Yin W, Lou J, Zhou P, et al. Physical backdoor: Towards temperature-based backdoor attacks in the physical world[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 12733-12743.

本文省略了原论文中“附录”节的内容。

相关链接：arXiv、CVF Open Access