CVPR 2026 | UTPTrack：迈向简单且统一的视觉跟踪Token剪枝

01.论文信息

• 论文题目：UTPTrack: Towards Simple and Unified Token Pruning for Visual Tracking

• 论文作者：Hao Wu ,Xudong Wang, Jialiang Zhang等

• 发表单位：宁波东方理工大学数字孪生研究院，宁波市空间智能与数字衍生重点实验室，上海交通大学，香港理工大学，慕尼黑大学 慕尼黑机器学习中心

• 发表会议\期刊：CVPR 2026

• 代码链接：https://github.com/EIT-NLP/UTPTrack

02. 论文的主要贡献

• 提出了一个“架构无关”的即插即用轻量级范式
  与 ToMe（依赖复杂图匹配算法）或 DynamicViT（依赖额外训练的 MLP 预测器小网络）不同，它直接复用模型层内部原有的自注意力图来评估 Token 重要性，没有引入任何硬性的网络参数和外部架构开销。它具有无需重新训练、无需修改底层结构、即插即用的通用特征。
• 论文通过数据证明了该方案的高效：
  在纯 RGB 跟踪中： 成功剪掉了 65.4% 的视觉 Token，削减了 31.3% 的计算量（MACs），却近乎完美地保留了原模型 99.7% 的满血性能。
  在多模态统一跟踪中： 剪掉了 67.5% 的视觉 Token，削减了 28.4% 的计算开销，而跟踪准确率反而逆势达到了基线模型的 100.5%。
• 合理设计的联合剪枝像是一个温和的去噪滤镜。通过在中途擦除视频中大量的背景杂波、复杂环境干扰，能够迫使 Transformer 的注意力更加聚焦于核心目标区域，从而在降低计算成本的同时反而提升了跟踪的泛化能力和定位精度。

03.论文创新点

• 提出“三路齐剪”的跨组件联合剪枝架构
  UTPTrack 首次在单流 Transformer 架构中，将搜索区域（SR）、动态模板（DT）和静态模板（ST）三个核心组件纳入统一的剪枝流中。通过全局建模冗余，从整体上捕捉跨组件的特征关联，彻底打破了以往单点、 uneven（不均衡）剪枝的局限。
• 提出了一种基于注意力引导、Token 类型感知的剪枝策略，该策略利用跨组件相似度与空间先验来剔除冗余特征，同时完好地保留了关键目标信息。
• 通过一种统一的、模态感知的剪枝机制，将该框架扩展至统一多模态跟踪领域，其中包含一种能够高效融合自然语言语义线索的新颖文本引导策略。

04.方法

在选定的网络层中插入了一个轻量级的候选与模板消除模块（CTEM，Candidate or Template Elimination Module），利用注意力衍生重要性得分来剪枝冗余 Token。

4.1 基于 RGB 跟踪的 Token 剪枝

在单流架构中，搜索区域（SR）、静态模板（ST）和动态模板（DT）的 Token 会通过自注意力层进行联合处理。这种方式能够实现丰富的跨 Token 交互，但它也引入了大量的计算冗余，尤其是来自判别价值有限的背景区域。为了缓解这一问题，通过直接复用Transformer 编码器中的注意力权重来衡量 Token 的相关性，从而无需引入额外的计算开销。给定来自 $X$、$Z_s$ 和 $Z_d$ 拼接后的 Token 序列 $[E_x;E_{sz};E_{dz}]$，其注意力的计算公式如下：
$$\text{Attention}(Q,K,V)=\text{Softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V=\text{Softmax}\left(\frac{[Q_x;Q_{sz};Q_{dz}][K_x;K_{sz};Kdz{]}^T}{\sqrt{d_k}}\right)\left[\begin{array}{c}{V}_x\\ V_{sz}\\ V_{dz}\end{array}\right]$$
注意力权重矩阵 $A$ 可以进一步展开为如下的分块矩阵形式：
$$A=\text{Softmax}\left(\frac{1}{\sqrt{d_k}}\left[\begin{array}{ccc}{Q}_x{K}_x^T& Q_x{K}_{sz}^T& Q_x{K}_{dz}^T\\ Q_{sz}{K}_x^T& Q_{sz}{K}_{sz}^T& Q_{sz}{K}_{dz}^T\\ Q_{dz}{K}_x^T& Q_{dz}{K}_{sz}^T& Q_{dz}{K}_{dz}^T\end{array}\right]\right)$$
密集的全局交互虽然有利于特征融合，但也带来了噪声传播的风险。像 $Q_x{K}_x^T$、$Q_x{K}_{sz}^T$ 和 $Q_x{K}_{dz}^T$ 这样的项，可能会导致背景 Token 之间相互过度关注，或者让背景区域主导了与目标相关的响应。类似地，模板 Token 如果也去关注包含噪声的搜索 Token（例如通过 $Q_{sz}{K}_x^T$ 和 $Q_{dz}{K}_x^T$ 项），则会严重降低特征表征的质量。

候选（搜索区域）消除 ： 搜索区域（SR）的 Token 通常包含大量的背景这不仅引入了计算冗余，还会损害目标的定位精度。这一点在的注意力项中表现得尤为明显：例如在 $Q_x{K}_x^T$ 项中，背景 Token 之间会相互过度关注；而在 $Q_x{K}_{sz}^T$ 或 $Q_x{K}_{dz}^T$ 项中，SR Token 则会去关注那些缺乏判别力的模板区域。基于 SR Token 与静态模板（ST）之间的注意力相似度，来衡量每个 SR Token 的重要性。根据公式 (2)，其相关性得分的计算公式如下：$${\omega }_x=\text{softmax}\left(\frac{Q_{sz}^{\prime }{K}_x^T}{\sqrt{d_k}}\right)\in {\mathbb{R}}^{1\times N_x}$$
$Q_{sz}^{\prime }$ 表示 ST 中心 Token 的查询（Query）向量，$N_x$ 为 SR Token 的总数。我们仅保留得分最高的前 $k$（top-$k$）个 Token 并将其余的剔除。

动态模板消除 ：动态模板（DT）在跟踪过程中，可能会因为目标漂移（drift）、遮挡（occlusion）或外观变化而包含大量带有噪声的 Token。这些噪声 Token 会通过诸如 $Q_{dz}{K}_x^T$ 和 $Q_{dz}{K}_{sz}^T$ 的注意力项，对搜索区域（SR）和静态模板（ST）的特征表示产生负面影响。通过计算每个 DT Token 与 ST 中心 Token 之间的注意力相似度来衡量其重要性，其相关性得分的计算公式如下：$${\omega }_{dz}=\text{softmax}\left(\frac{Q_{sz}^{\prime }{K}_{dz}^T}{\sqrt{d_k}}\right)\in {\mathbb{R}}^{1\times N_{dz}}$$
$N_{dz}$ 为 DT Token 的总数。我们通过该公式评估各 Token 的关联度，并直接剔除那些低相关性的冗余 Token。

静态模板消除 ： 由于静态模板（ST）是通过放大目标边界框来获取的，因此它难免会包含一些背景 Token，从而引入无关的注意力交互（例如通过 $Q_{sz}{K}_x^T$ 和 $Q_{sz}{K}_{dz}^T$ 项）。为了精简并优化其特征表征，我们通过计算每个 ST Token 与中心 Token 之间的注意力相似度来衡量其重要性，其相关性得分的计算公式如下：$${\omega }_{sz}=\text{softmax}\left(\frac{Q_{sz}^{\prime }{K}_{sz}^T}{\sqrt{d_k}}\right)\in {\mathbb{R}}^{1\times N_{sz}}$$其中，$N_{sz}$ 为 ST Token 的总数。我们通过该公式直接剔除那些低相关性的 Token，同时在剪枝过程中始终完好地保留（豁免）中心 Token。

Token 类型感知剪枝： 受到 Token 类型嵌入机制的启发，我们在静态模板（ST）消除过程中提出了一种 Token 类型感知剪枝策略，以降低误删前景 Token 的概率。给定一幅静态模板 $Z_s\in {\mathbb{R}}^{H_z\times W_z\times 3}$ 及其对应的目标边界框（Bounding Box）$B$，我们首先构建一个二值掩膜（Binary Mask）$M\in {\mathbb{R}}^{H_z\times W_z}$。其中，位于边界框 $B$ 内部的像素被设为 1，外部的像素被设为 0：$$M(i,j)=\{\begin{array}{ll}1,& \text{若 }(i,j)\text{ 位于 }B\text{ 内部}\\ 0,& \text{其他情况}\end{array}$$随后，我们将该掩膜划分为多个大小为 $P\times P$、互不重叠的图像块（Patches）$M_{\text{patch}}^{(k)}$，并通过对块内的掩膜值取平均，为每个图像块分配一个前景得分。该得分将作为一种奖励分（Bonus），在剪枝过程中鼓励模型保留前景 Token，并将其有机融入到基于注意力的消除模块中。为了控制这种前景先验知识对剪枝过程的影响，我们探索了以下三种奖励分策略：

• 全额奖励 (Full Bonus)： 当且仅当整个图像块内的所有像素均位于目标边界框内部时，才赋予奖励值 1。图像块 $M_{\text{patch}}^{(k)}$ 的具体取值公式如下：$$b_{\text{full}}^{(k)}=\{\begin{array}{ll}1,& \text{若对于所有 }(i,j)\in M_{\text{patch}}^{(k)}，\text{均有 }M(i,j)=1\\ 0,& \text{其他情况}\end{array}$$
• 软奖励 (Soft Bonus)： 直接采用每个图像块内部的掩膜平均值作为奖励分：$$b_{\text{soft}}^{(k)}=m_{\text{avg}}^{(k)}=\frac{1}{P^2}\sum _{(i,j)\in M_{\text{patch}}^{(k)}}M(i,j)$$
• 全有奖励 (All Bonus)： 只要图像块内包含任何一个位于边界框内部的像素，即赋予奖励值 1：$$b_{\text{all}}^{(k)}=\{\begin{array}{ll}1,& \text{若存在 }(i,j)\in M_{\text{patch}}^{(k)}\text{ 使得 }M(i,j)=1\\ 0,& \text{其他情况}\end{array}$$
  这些奖励分会在对 Token 进行重要性排序（Ranking）时，直接加到自注意力得分上，从而引导剪枝程序向富有前景相关性的 Token 倾斜。该机制已被无缝集成至消除模块中。在默认设置下，模型采用软奖励（Soft Bonus）策略。

4.1 统一多模态跟踪中的 Token 剪枝

• 对于视觉模态（RGBD、RGBT、RGBE）： 辅助通道（深度、红外/热成像、事件）与原有的 RGB 通道进行拼接，从而形成一个六通道的输入。在投影到统一的嵌入（Embedding）空间后，虽然 Token 的维度有所增加，但其空间几何布局保持不变。因此，直接复用基于 ST 中心 Token 注意力的剪枝方案依然完全有效，无需进行任何修改。
• 对于语言（文本）模态： 我们需要额外考虑语义线索。利用 CLIP-L 将文本描述编码为单个文本 Token，并在送入 Transformer 之前将其与所有视觉 Token 进行拼接。这使得方程中的注意力计算进一步扩展，纳入了与语言 Token 的交互。更新后的注意力权重矩阵 $A$ 呈现如下分块形式：
  $$A=\text{Softmax}\left(\frac{1}{\sqrt{d_k}}\left[\begin{array}{cccc}{Q}_x{K}_x^T& Q_x{K}_{sz}^T& Q_x{K}_{dz}^T& Q_x{K}_t^T\\ Q_{sz}{K}_x^T& Q_{sz}{K}_{sz}^T& Q_{sz}{K}_{dz}^T& Q_{sz}{K}_t^T\\ Q_{dz}{K}_x^T& Q_{dz}{K}_{sz}^T& Q_{dz}{K}_{dz}^T& Q_{dz}{K}_t^T\\ Q_t{K}_x^T& Q_t{K}_{sz}^T& Q_t{K}_{dz}^T& Q_t{K}_t^T\end{array}\right]\right)$$
  文本引导剪枝 : 基于方程 (7) 中更新后的注意力机制，语言 Token 通过双向注意力与所有视觉 Token 展开密集交互，使得高层语义线索能够有效增强底层的空间特征表征。为了在剪枝过程中充分利用这一特性，我们联合使用 ST 的中心 Token 与自然语言文本 Token 来共同引导 Token 的重要性估计。具体而言，每个（以搜索区域 SR 为例）Token 的重要性得分计算公式如下：$${\omega }_x=\varphi \left(\text{softmax}\left(\frac{Q_{sz}^{\prime }{K}_x^T}{\sqrt{d_k}}\right)+\text{softmax}\left(\frac{Q_t{K}_x^T}{\sqrt{d_k}}\right)\right)$$其中，$\varphi (\cdot )$ 表示在所有注意力头（Attention Maps）上的求和操作，$Q_t$ 代表文本 Token 的查询（Query）向量。这一公式使得剪枝决策能够同时受益于空间先验与语义线索的双重引导。同样的剪枝原则也可以完全应用到动态模板（DT）和静态模板（ST）上。

05. 实验分析

5.1 State-of-the-Art Comparisons

ToMe：合并 Token
EViT：利用 CLS Attention 判断重要性。CLS不看的token没必要继续算
DynamicViT:训练一个小网络预测token该不该留

5.2 消融实验

分析各核心组件的贡献，包括：搜索区域候选消除（CE）、动态模板消除（DTE）、静态模板消除（STE）、Token 类型感知剪枝（TTA）以及文本引导剪枝（TG）。
RGB-based Tracking

随着 CE、DTE 和 STE 的逐步加入（stepwise addition），Token 数量大幅削减至 135 个（精简了 65%），同时 MACs 降至 23.8G（降低了 31%），而性能依然保持在基座模型的 98.9%。

Unified Tracking

随着 CE、DTE 和 STE（结合 TTA） 的加入，平均视觉 Token 数量大幅减少至 188 个，在计算量降至 16.2G MACs 的同时，依然实现了 99.7% 的表现。
TG（文本引导剪枝） 模块通过充分利用基于语言的先验知识，突出了与目标相关的语义线索，从而将整体性能进一步推进至 100.0%。
渐进式剪枝分析
按顺序（sequentially）剔除来自搜索区域（SR）、动态模板（DT）和静态模板（ST）的 Token，在基于 RGB 的基座模型和统一多模态基座模型上展开了渐进式剪枝研究。
在稳步减少视觉 Token 数量的同时，使两种跟踪器的性能表现均与基座模型保持高度一致。在绝大多数阶段中，跟踪准确度与原生模型的差距都死死控制在 1% 至 2% 以内，只有在最激进的（most aggressive）剪枝比例下才会出现轻微的下滑。
这有力地表明：SR、DT 和 ST 的 Token 中存在着相当大一部分的冗余，这些冗余特征可以被安全地物理移除。 总体而言，我们在仅对跟踪精度产生微乎其微（可忽略不计）影响的前提下，大幅削减了 Token 数量与计算开销。

剪枝位置分析:评估了统一多模态跟踪器中，针对 CE（搜索区域消除）和 DTE（动态模板消除）组件的不同逐层（剪枝配置方案。
基于实验结果以及对性能与效率之间权衡的审慎考量，选择了一项折中配置方案（方案 #3）：即分别在 Transformer 的 第 [6, 12, 18] 层 触发 CE 剪枝，并在 第 [9, 15, 21] 层 触发 DTE 剪枝。该方案在保持高跟踪精度的同时大幅削减了计算开销，确立了卓越的性能与效率平衡。

语言线索的选择性注入分析:进一步验证文本引导剪枝（TG）模块的有效性，通过将语言（文本）线索选择性地注入到不同的目标组件（包括 SR、DT 和 ST）中展开了系统实验。
如表 7 所示，我们对所有可能的注入组合进行了全面的评测。实验结果表明，仅将语言线索注入到动态模板 DT 中（方案 #3），其跟踪性能即可达到 100.0%，完美追平了满血基座模型（Baseline）。
这些结果有力地表明：动态模板（DT）是进行语言引导剪枝最契合、最适宜的核心区域（locus）。这主要可能源于 DT 自身具有更高层、更密集的前景特征集中度。 相比之下，若将语言线索强行注入到搜索区域（SR）或静态模板（ST）中，则会导致非常明显的性能下滑。

06. 个人声明

本文为作者对原论文的学习笔记与心得分享，受个人学识与理解所限，文中对论文内容的解读或有不够周全之处，一切以原论文正式表述为准。本文仅用于学术交流与传播，内容均由作者独立整理完成，不代表本公众号立场。如文中所涉文字、图片等内容存在版权争议，请及时与作者联系，作者将在第一时间核实并妥善处理。