论文地址:https://arxiv.org/pdf/1707.06543.pdf

相关代码:GitHub - MayankSingal/PyTorch-Image-Dehazing: PyTorch implementation of some single image dehazing networks.

数据集下载:https://sites.google.com/site/boyilics/website-builder/project-page

目录

1、在进入图像去雾之前,先简单了解下大气散射模型

2、论文中针对大气散射模型的改进

3、AOD-Net模型

4、AOD-Net的一些特性:

5、实验结果


关于 AOD-Net 的 LibTorch 部署可以看这篇博客:

AODNet在Libtorch端的部署全过程(附详细源码)_Flag_ing的博客-CSDN博客https://blog.csdn.net/Flag_ing/article/details/1094052631、在进入图像去雾之前,先简单了解下大气散射模型

1999年,针对雾天能见度低的问题,Srinivasa G. Narasimhan等人通过建立数学模型,解释了雾天图像的成像过程以及雾天图像包括的各个要素。该模型认为在强散射介质下,引起探测系统成像结果质量降低的主要原因有两种:

       一是目标反射光受大气中悬浮粒子的吸收和散射作用,造成目标反射光能量的衰减,这导致探测系统的成像结果亮度降低,对比度下降;

       二是太阳光等环境光受大气中散射介质的散射作用形成大气光,通常这部分背景光强度大于目标光,因而造成探测系统的成像结果模糊不清。

大气散射的数学模型如下所示:

  • 为探测系统所得到的雾天图像
  • 表示需要恢复出的去雾图像
  • 参数x表示图像中像素点的位置
  • λ表示光的波长
  • 表示无穷远处的大气光值(光源来自于无穷远出的天空)
  • 表示传输函数,其物理意义为经过粒子衰减能够达到探测系统的那部分光的比例。为散射系数,用于描述介质对不同波长光的散射能力,d(x)是光线传输距离。

2、论文中针对大气散射模型的改进

将(1)式简化成如下形式:

代表恢复出来的去雾图像,则可以得到以下公式:

 以往对于图像去雾以往的工作遵循一下三步流程:

  1. 利用复杂的深度模型从模糊图像I (x)中估计传输矩阵t (x)
  2. 用一些经验方法估计A
  3. 估计去雾图像J (x)

但是该流程会导致一个不能直接最小化图像复原误差的欠佳结果。对A和t (x)的分别评估将会导致累计甚至放大的误差。

因此,文章的一个idea是整合A和t(x)这两个参数,并用K(x)来代替,公式(3)可以重写为以下形式:

其中:

b是一个常量偏置,默认为1。由于K (x)依赖于I (x),因此我们的目标是建立一个输入自适应深度模型,该模型的参数会随着输入模糊图像的变化而变化,使输出J (x)与groundtruth clean image之间的重构误差最小化。

3、AOD-Net模型

文章提出的AOD-Net网络有两个模块,如下图所示

网络中的K-estimating模块负责从输入I(x)中估计K(x)参数,接下来是一个去雾图像生成模块(clean image generation module),利用K(x)作为其输入自适应参数来估计J (x)。

K-estimating模块是AOD-Net中的重要模块,负责估算雾深度和相对水平(the depth and relative haze level)。模型中使用五个卷积层,并通过融合不同大小的滤波器形成多尺度特征。在AOD-Net的网络层中, “concat1”层连接了来自“conv1”和“conv2”层的特性。类似地,“concat2”连接来自“conv2”和“conv3”的特征,“concat3”连接了来自“conv1”、“conv2”、“conv3”和“conv4”的特征。这种多尺度设计以不同尺度捕获特征,中间连接层也弥补了卷积过程中的信息损失。另外,AOD-Net的每一个卷积层只使用了三个滤波器。在K-estimating模块后,去雾图像生成模块由一个element-wise的乘法层和几个element-wise的加法层组成,通过式(4)生成恢复的图像。

4、AOD-Net的一些特性:

1、对白色风景自然图像具有较好的去雾效果。

白色场景或物体一直是图像去雾的主要障碍。许多先前的模型在白色物体上表现不佳,因为对于与大气光颜色相似的物体,透射值接近于零。由实验结果可以发现,AOD-Net模型虽然没有明确地考虑解决白色场景的问题,但该端到端的方案似乎在这方面有着较强的鲁棒性。AOD-Net在不引入假色调或扭曲物体轮廓的情况下,成功地消除了雾层。

2、对于无雾(Haze-Free)图像伤害小

尽管AOD-Net模型是训练在有雾图像的数据集上,但实验证明,在无雾的条件下,AOD-Net具有良好的性能,对输入图像的负面影响很小。这也是对模型中提出的K-estimation 模块鲁棒性和有效性的认可。

3、AOD-Net是轻量型网络,可以嵌入高级视觉任务(如目标检测)中使用

5、实验结果

1、白天照片的去雾效果。(左边是原图,右边是去雾后的效果,下同)

2、夜晚照片的去雾效果。

Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐