弱监督语义分割因其较低的人工标注成本而受到广泛关注。本文旨在解决基于边界框标注的语义分割问题，即使用边界框注释作为监督来训练准确的语义分割模型。为此，我们提出了亲和力注意力图神经网络（A2GNN）。按照先前的做法，我们首先生成伪语义感知的种子，然后基于我们新提出的亲和力卷积神经网络（CNN）将其形成语义图。然后，构建的图被输入到我们的A2GNN中，其中一个亲和力注意力层被设计用来从软图边缘获取短距

深度卷积神经网络（DCNN）在图像分类和目标检测等高级视觉任务中表现出最先进的性能。本研究结合了DCNN和概率图模型的方法，用于解决像素级分类的任务（也称为“语义图像分割”）。我们发现，DCNN最后一层的响应对于准确的对象分割来说不够局部化。这是由于使得DCNN在高级任务中表现出色的不变性特性。为了克服深度网络的这种较差的定位性能，我们将最后一层DCNN的响应与全连接条件随机场（CRF）相结合。在

0.摘要在这项工作中，我们使用深度学习来解决语义图像分割任务，并做出了三个实验证明具有实际价值的主要贡献。首先，我们强调通过上采样滤波器进行卷积，或者称为“空洞卷积”，在密集预测任务中是一种强大的工具。空洞卷积允许我们在深度卷积神经网络中明确控制特征响应计算的分辨率。它还可以在不增加参数或计算量的情况下有效地扩大滤波器的视野以包含更大的上下文。其次，我们提出了空洞空间金字塔池化（ASPP），以稳健

我们将卷积神经网络中的Inception模块解释为常规卷积和深度可分离卷积操作之间的中间步骤。在这个视角下，深度可分离卷积可以被理解为具有最大数量塔的Inception模块。这个观察引导我们提出了一个新颖的深度卷积神经网络架构，灵感来自Inception，其中Inception模块被深度可分离卷积所替代。

特征很重要。过去十年在各种视觉识别任务上取得的进展主要基于SIFT [29]和HOG [7]的使用。但是如果我们看一下在经典的视觉识别任务PASCAL VOC目标检测 [15]上的表现，普遍认为在2010年至2012年期间进展缓慢，只通过构建集成系统和使用成功方法的轻微变体获得了小幅增益。SIFT和HOG是基于块状方向直方图的表示方法，我们可以将其粗略地与灵长类动物视觉通路中的V1区的复杂细胞相关

只使用粗略标签的弱监督学习可以通过反向传播梯度来获得深度神经网络的视觉解释，如注意力地图。这些注意力地图可以作为对象定位和语义分割等任务的先验知识。在一个常见的框架中，我们解决了以前方法中建模这些注意力地图的三个缺点：（1）首次将注意力地图作为端到端训练的明确且自然的组成部分，（2）直接在这些地图上提供自我指导，通过探索网络自身的监督来改善它们，（3）在使用弱监督和额外监督之间无缝地建立桥梁（如果

我们引入了一种基于局部感知上下文相关性的分割模型来处理局部图像补丁。此外，我们还提出了一种上下文语义细化网络，能够在创建最终高分辨率掩码的过程中减少边界伪影并优化掩码轮廓。

主导的序列转换模型基于包含编码器和解码器的复杂递归或卷积神经网络。表现最好的模型还通过注意机制将编码器和解码器连接起来。我们提出了一种新的简单网络架构——Transformer，仅基于注意机制，完全放弃了递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量方面更优秀，同时更具并行性，需要的训练时间显著减少。在WMT 2014英德翻译任务中，我们的模型达到了28.4 BLEU分数，比现有最佳结

在深度神经网络中，空间金字塔池化模块或编码-解码结构被用于语义分割任务。前者通过在多个速率和多个有效视野下使用滤波器或池化操作来编码多尺度的上下文信息，而后者则通过逐渐恢复空间信息来捕捉更清晰的物体边界。在本文中，我们提出将两种方法的优点相结合。具体而言，我们提出的模型DeepLabv3+在DeepLabv3的基础上添加了一个简单但有效的解码器模块，以改进分割结果，特别是沿着物体边界的部分。

大多数人都认为成功训练深度网络需要成千上万个注释训练样本。在本文中，我们提出了一种网络和训练策略，依靠强大的数据增强来更有效地利用现有的注释样本。该架构由一个收缩路径和一个对称扩展路径组成，收缩路径用于捕捉上下文信息，扩展路径用于精确定位。我们证明，这样的网络可以从很少的图像进行端到端的训练，并在ISBI挑战中对电子显微镜堆栈中神经结构分割的先前最佳方法（滑动窗口卷积网络）进行了超越。