ESRGAN-进击的超分辨率复原 - 知乎研究目的：通过改进SRGAN（Super-Resolution Generative Adversarial Network）来提高视觉质量。ESRGAN是基于SRGAN改进而来到,相比于SRGAN它在三个方面进行了改进1、改进了网络结构、对抗损失、感知损失2、引入Residual-in-Residual Dense Block（RRDB）3、使用激活前的

作者提出了类内迁移（Intra-class Transfer）的思想，指出现有的绝大多数方法都只是学习一个全局的特征变换（Global DomainShift），而忽略了类内的相似性。这种方法的基本思想是，由于源域和目标域的数据概率分布不同，那么最直接的方式就是通过一些变换，将不同的数据分布的距离拉近。特征选择的基本假设是：源域和目标域中均含有一部分公共的特征，在这部分公共的特征，源域和目标域的数

本文将从 Embedding 的本质、Embedding的原理、Embedding的应用三个方面，详细介绍Embedding（嵌入）。1、Embedding的本质"Embedding" 在字面上的翻译是“嵌入”，但在机器学习和自然语言处理的上下文中，我们更倾向于将其理解为一种 “向量化” 或 “向量表示” 的技术，这有助于更准确地描述其在这些领域中的应用和作用。

随着Transformer模型的迅速普及，Self-Attention（自注意力机制）和Multi-Head Attention（多头注意力机制）成为了自然语言处理（NLP）领域中的核心组件。本文将从简要工作、工作流程、两者对比三个方面，解析这两种注意力。一、简要介绍使输入序列中的每个元素能够关注并加权整个序列中的其他元素，生成新的输出表示，不依赖外部信息或历史状态。Self-Attention允

在这篇关于 Mamba 的文章中，我们来探索这个创新的状态空间模型（state-space model，SSM）如何在序列建模领域带来革命性的变革。Mamba 是由 Albert Gu 和 Tri Dao开发的，因其在语言处理、基因组学、音频分析等领域的复杂序列时表现出色而受到关注。Mamba 采用线性时间序列建模和选择性状态空间，因此在这些不同的应用领域都展现出了卓越的性能。本文，我们将深入了解

稀疏注意力的实现并不仅限于DeepSpeed。虽然DeepSpeed提供了一种高效的稀疏注意力实现，但其他深度学习框架和库也可能提供稀疏注意力的支持。例如，Hugging Face的Transformers库就包含了一些稀疏注意力的实现，如Longformer和BigBird。

本文将从什么是CNN？什么是RNN？什么是LSTM？什么是Transformer？四个问题，简单介绍神经网络结构。神经网络结构通过卷积和池化操作有效地处理高维图像数据，降低计算复杂度，并提取关键特征进行识别和分类。网络结构用来提取图像的局部特征。用来大幅降低参数量级，实现数据降维。用来输出想要的结果。卷积神经网络（CNN）解决问题卷积操作提取图像特征，如边缘、纹理等，保留图像特征。池化操作大幅降低

本文将从损失函数的本质、损失函数的原理、损失函数的算法三个方面，详细介绍损失函数Loss Function。损失函数。

论文：https://arxiv.org/pdf/2308.03364.pdf代码：https://github.com/zhengchen1999/DATTransformer最近在低级视觉任务中获得了相当大的普及，包括图像超分辨率（SR）。这些网络利用自注意力利用不同维度、空间或通道，并取得了令人印象深刻的性能。这启发我们在Transformer中结合这两个维度，以获得更强大的表示功能。在此基

论文：https://arxiv.org/pdf/2203.06697.pdf代码：https://github.com/xindongzhang/ELAN最近，基于Transformer的方法已经证明了令人印象深刻的效果，在各种视觉任务中，包括图像超分辨率（SR），利用自我注意（SA）的特征提取。然而，在大多数现有的基于Transformer的模型中，SA的计算是非常昂贵的，而一些所采用的操作对