图像处理一般分为直接对图像内的像素进行处理的空间域处理和频率域处理。空间域处理主要划分为灰度变换和空间滤波两种形式。灰度变换是对图像内的单个像素进行处理，比如调节对比度和处理阈值等。空间滤波涉及图像质量的改变，例如图像平滑处理。空间域处理的计算简单方便，运算速度更快。频率域处理是先将图像变换到频率域，然后在频率域对图像进行处理，最后再通过反变换将图像从频率域变换到空间域。

ResNet（残差网络）是深度学习领域的里程碑式突破，由何恺明团队在2015年提出。该网络通过引入残差学习机制和跳跃连接，有效解决了深度神经网络中的梯度消失和网络退化问题。ResNet的核心创新在于让网络学习残差映射F(x)=H(x)-x，而非直接拟合原始映射H(x)。这种设计使得训练极深网络（如152层）成为可能，在ImageNet分类任务中取得3.57%的错误率。ResNet架构包含两种残差块

也许过去十年在计算机视觉和机器学习方面的突破是 GANs（生成对抗网络）的发明——这种方法引入了超越数据中已经存在的内容的可能性，是一个全新领域的敲门砖，现在称为生成式建模。然而，在经历了一个蓬勃发展的阶段后，GANs 开始面临平台期，其中大多数方法都在努力解决对抗性方法面临的一些瓶颈。这不是单个方法的问题，而是问题本身的对抗性。图像生成缺乏多样性模式崩溃多模态分布问题学习训练时间过长由于问题表述

通过以更少的位数表示浮点数据，模型量化可以减少模型尺寸，进而减少在推理时的内存消耗，并且在一些低精度运算较快的处理器上可以增加推理速度。软标签通常是教师模型的输出概率分布，它携带了更多的信息，例如类别之间的相似度，这使得学生模型能够在较少的数据和参数的情况下，学到更加丰富的知识。是一种在Transformer 模型中被广泛采用的注意力机制扩展形式，它通过并行地运行多个独立的注意力机制来获取输入序列

神经网络模型作为人工智能和深度学习领域的核心技术，近年来取得了突破性进展，推动了计算机视觉、自然语言处理、语音识别等领域的革新。以下介绍十大经典神经网络模型，涵盖其核心结构、创新点及应用场景。

我们都知道卷积的重要性，但你知道深度学习领域的卷积究竟是什么，又有多少种类吗？研究学者Kunlun Bai发布了一篇介绍深度学习的卷积文章，用浅显易懂的方式介绍了深度学习领域的各种卷积及其优势。1、卷积与互相关在信号处理、图像处理和其他工程/科学领域，卷积都是一种使用广泛的技术。在深度学习领域，卷积神经网络（CNN）这种模型架构就得名于这种技术。但是，深度学习领域的卷积本质上是信号/图像处理领域内

输入为单张图像和多张图像：SISR方法输入一张低分辨率图像，利用深度神经网络学习LR-HR图像对之间的映射关系，最终将LR图像重建为一张高分辨率图像。RefSR方法借助引入的参考图像，将相似度最高的参考图像中的信息转移到低分辨率图像中并进行两者的信息融合，从而重建出纹理细节更清晰的高分辨率图像。

PyTorch是由Facebook的人工智能研究团队开发的一款开源深度学习框架。与TensorFlow的静态图相比，PyTorch采用动态图机制（即运行时定义计算图），便于调试和开发复杂模型。内置强大的自动求导（Autograd）模块，可以自动计算梯度，极大简化了反向传播算法的实现。提供了张量（Tensor）运算、神经网络层（nn模块）、优化器（optim模块）等丰富的工具和函数，方便快速搭建各种

批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练。1个iteration等于使用batchsize个样本训练一次。1个epoch等于使用训练集中的全部样本训练一次。训练集有1000个样本，batchsize=10，那么训练完整个样本需要100次iteration，1次epoch。（1）batch数太小，而类别又比较多的时候，可能会导致loss函数震荡而不

本文将从神经网络定义、深度学习定义、深度学习历史、基础神经网络来简单介绍神经网络的基础部分。1、神经网络定义神经网络也称为人工神经网络（ANN）或模拟神经网络（SNN），是机器学习的子集，也是深度学习的算法支柱；被称为“神经”， 是因为它模仿大脑中神经元相互发出信号；很多科学发明都是从大自然中获得了想法，比如飞机的发明是受鸟类的启发，神经网络是一种受人脑启发的机器学习算法，它是一个由互连节点或人工