分享一篇今天新出的有意思的论文:

Weather GAN: Multi-Domain Weather Translation Using Generative Adversarial Networks

在该文中,作者提出一个新任务:Weather Translation,就是将图像中的天气状况从一个类别迁移到另一个类别中。这对于摄影风格迁移是一项很重要的技术。

由于天气条件具有丰富的类别和高度复杂的语义结构,以往许多传统的图像翻译方法并不能用于处理多类别的天气翻译任务。

针对上述问题,作者提出基于 GAN 的多域天气翻译方法:Weather GAN,可以实现晴天、阴天、大雾、雨天和雪天之间的天气状况迁移。

具体来说,作者认为图像中的天气状况是由各种 weather-cues (天气线索)决定的,如云、蓝天、湿地等。因此,天气翻译须将主要注意力集中在 weather-cues 上。为此,Weather GAN 的生成器由初始翻译模块、注意力模块和 weather-cues 分割模块组成。

初始翻译模块在生成过程中进行全局翻译。

weather-cues 分割模块识别天气线索的结构和准确分布。

注意力模块学习关注图像中需要重点关注的区域,同时保持其他区域不变。

最终生成的结果是由这三个部分合成的。

这种方法抑制了天气转换引起的变形和扭曲,作者也通过大量实验评估证明该方法优于SOTA。

作者 | Xuelong Li, Kai Kou, Bin Zhao

单位 | 西北工业大学;

论文地址 | https://arxiv.org/abs/2103.05422

目前还未发现该文有开源代码。

END

备注:增强

图像增强与质量评价交流群

图像增强、去雾、去雨、图像修补、图像恢复等技术,

若已为CV君其他账号好友请直接私信。

更多推荐