摘要：该论文提出了一种用于图像操作定位的 Mesorch 架构。它将微观和宏观信息整合到介观层面，通过并行结合 Transformer 和 CNN，利用多尺度方法，引入自适应加权模块和模型修剪方法，在四个数据集上的实验表明，模型在 F1 分数、计算复杂度和鲁棒性方面达到了最先进的性能。

 

引言：介观系统处于宏观和微观尺度之间，图像操作定位（IML）长期依赖微观层面的痕迹，但实际中操作常在对象层面（宏观层面），将两者整合到介观层面为 IML 研究提供了新视角。作者受此启发，探索如何为 IML 同时构建微观和宏观信息的介观表示，并引入 Mesorch 架构来协调这两个层面。

 

相关工作：介绍了图像操作定位中的基于 CNN 的模型、基于 Transformer 的模型和混合 CNN-Transformer 模型，以及解码器阶段的多尺度应用。

 

方法：

1. 利用离散余弦变换（DCT）从 RGB 图像中提取高、低频特征，与原始图像合并创建增强图像，分别传入局部特征模块和全局特征模块，每个模块输出四个不同尺度的特征图。
2. 解码器处理这些特征图生成初始预测，多尺度预测加权组合得到最终预测。
3. 为解决等权重问题和减少混合模型参数，引入自适应加权模块和模型修剪方法。通过加权网络产生归一化权重向量，进行像素级预测融合。

 

实验：

1. 训练：使用标准化 Protocol-CAT 数据集，在 NVIDIA 4090 显卡上进行 150 个周期的训练，采用余弦调度的学习率、AdamW 优化器等。
2. 测试：在四个常用数据集上进行评估，使用标准像素级 F1 分数衡量性能。
3. 与其他模型比较：在多个数据集上使用 F1 分数进行比较，结果表明所提出的方法在修剪前后都表现出色。
4. 鲁棒性测试：在 CASIAv1 数据集上进行，引入不同标准差的高斯噪声、不同核大小的高斯模糊和不同质量因子的 JPEG 压缩作为扰动，结果显示模型在各种扰动下都达到了最先进的鲁棒性，且修剪后仍具有优势。
5. FLOPs 和参数比较：计算了不同模型的参数和浮点运算次数（FLOPs），该模型的 FLOPs 少于其他最先进模型，参数数量仅次于 PSCC-Net，修剪后进一步减少。
6. 消融研究：独立评估了所提出方法的有效性，还比较了不同骨干组合下 Mesorch 架构的性能，发现 ConvNeXt 和 Segformer 的组合在宏观定位和微观特征捕获方面表现出色。

 

结论：受介观视角启发，重新定义 IML 任务，提出 Mesorch 架构，利用其优势并动态调整尺度权重以有效捕获介观层面的伪影，还基于该架构引入两个基线模型，在大规模数据集上的广泛测试证明该方法在 F1 分数、鲁棒性和 FLOPs 方面始终达到最先进性能。

 

贡献：

1. 引入 Mesorch 架构，有效协调微观和宏观层面，精确捕获 IML 任务中的介观层面伪影。
2. 提出自适应加权模块，动态调整各尺度重要性，通过修剪不太重要的尺度降低计算成本和参数，同时保持鲁棒性和性能。
3. 基于 Mesorch 架构开发两个基线模型，在基准数据集上的综合实验表明在 F1 分数、鲁棒性和 FLOPs 方面达到最先进性能。