在深度神经网络中，捕捉长程依赖是非常重要的。对于顺序数据（例如语音、语言），循环操作是处理长程依赖建模的主要解决方案。对于图像数据，通过深度卷积操作形成的大感受野来建模长距离依赖关系。卷积和循环操作都是在局部邻域中处理，无论是在空间还是时间上；因此，只有当这些操作被重复应用时，才能捕捉到长程依赖关系，并通过数据逐步传播信号。重复局部操作存在几个局限性。首先，计算效率低下。其次，会导致优化困难，需要

分割标签的不足是野外语义分割的主要障碍之一。为了缓解这个问题，我们提出了一个新颖的框架，根据图像级别的类别标签生成图像的分割标签。在这种弱监督的设置下，已知训练模型更倾向于分割局部有区别的部分，而不是整个物体区域。我们的解决方案是将这样的局部响应传播到属于同一语义实体的附近区域。为此，我们提出了一个称为AffinityNet的深度神经网络(DNN)，它预测相邻图像坐标对之间的语义相似度。语义传播通

当前图像分割的最先进方法通过一个密集的图像表示来处理颜色、形状和纹理信息，这些信息都在深度卷积神经网络内部进行处理。然而，这种方法可能不太理想，因为它们包含了与识别相关的非常不同类型的信息。在这里，我们提出了一种新的双流卷积神经网络架构，用于语义分割，其中明确将形状信息作为单独的处理分支（即形状流），并与经典流并行处理信息。这种架构的关键是一种新型的门控机制，将两个流的中间层连接起来。具体来说，我

本文研究了在网络中建模长程依赖关系。我们将学习全局上下文的过程形式化为一个低秩完成问题。受到低秩形式化的启发，我们基于广为研究的矩阵分解模型开发了Hamburger模块。通过特定的矩阵分解目标函数，其优化算法创建的计算图自然地定义了Hamburger的核心架构。Hamburger通过去噪和完成其输入来学习可解释的全局上下文，并改善谱的集中度。令人惊讶的是，当谨慎处理反向梯度时，即使是20年前提出的

主导的序列转换模型基于包含编码器和解码器的复杂递归或卷积神经网络。表现最好的模型还通过注意机制将编码器和解码器连接起来。我们提出了一种新的简单网络架构——Transformer，仅基于注意机制，完全放弃了递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量方面更优秀，同时更具并行性，需要的训练时间显著减少。在WMT 2014英德翻译任务中，我们的模型达到了28.4 BLEU分数，比现有最佳结

在深度神经网络中，空间金字塔池化模块或编码-解码结构被用于语义分割任务。前者通过在多个速率和多个有效视野下使用滤波器或池化操作来编码多尺度的上下文信息，而后者则通过逐渐恢复空间信息来捕捉更清晰的物体边界。在本文中，我们提出将两种方法的优点相结合。具体而言，我们提出的模型DeepLabv3+在DeepLabv3的基础上添加了一个简单但有效的解码器模块，以改进分割结果，特别是沿着物体边界的部分。

大多数人都认为成功训练深度网络需要成千上万个注释训练样本。在本文中，我们提出了一种网络和训练策略，依靠强大的数据增强来更有效地利用现有的注释样本。该架构由一个收缩路径和一个对称扩展路径组成，收缩路径用于捕捉上下文信息，扩展路径用于精确定位。我们证明，这样的网络可以从很少的图像进行端到端的训练，并在ISBI挑战中对电子显微镜堆栈中神经结构分割的先前最佳方法（滑动窗口卷积网络）进行了超越。

我们提出了一种新的方法，用于高效、高质量的对象和场景图像分割。通过将经典的计算机图形学方法与像素标记任务中面临的过采样和欠采样挑战进行类比，我们开发了一种将图像分割视为渲染问题的独特视角。基于这个视角，我们提出了PointRend（基于点的渲染）神经网络模块：一个在自适应选择的位置上执行基于点的分割预测的模块，该位置是基于迭代细分算法选择的。PointRend可以灵活地应用于实例分割和语义分割任务

最近，神经架构搜索（NAS）已经成功地识别出在大规模图像分类任务上超越人工设计的神经网络架构。在本文中，我们研究了NAS在语义图像分割任务中的应用。现有的工作通常集中在搜索可重复的基本单元结构，而手动设计控制空间分辨率变化的外部网络结构。这种选择简化了搜索空间，但对于密集图像预测任务来说，网络级别的架构变化更加复杂。因此，我们提出了在基本单元结构之外搜索网络级别结构的方法，形成了一个分层的架构搜索

特征很重要。过去十年在各种视觉识别任务上取得的进展主要基于SIFT [29]和HOG [7]的使用。但是如果我们看一下在经典的视觉识别任务PASCAL VOC目标检测 [15]上的表现，普遍认为在2010年至2012年期间进展缓慢，只通过构建集成系统和使用成功方法的轻微变体获得了小幅增益。SIFT和HOG是基于块状方向直方图的表示方法，我们可以将其粗略地与灵长类动物视觉通路中的V1区的复杂细胞相关