【CV】计算机视觉中什么是Low level任务和High level任务?
Low-level任务:常见的包括 Super-Resolution,denoise, deblur, dehze, low-light enhancement, deartifacts等。简单来说,是把特定降质下的图片还原成好看的图像,现在基本上用end-to-end的模型来学习这类 ill-posed问题的求解过程,客观指标主要是PSNR,SSIM,大家指标都刷的很高。目前面临以下几点问题:泛
·
Low-level任务:常见的包括 Super-Resolution,denoise, deblur, dehze, low-light enhancement, deartifacts等。简单来说,是把特定降质下的图片还原成好看的图像,现在基本上用end-to-end的模型来学习这类 ill-posed问题的求解过程,客观指标主要是PSNR,SSIM,大家指标都刷的很高。目前面临以下几点问题:
- 泛化性差,换个数据集,同种任务变现就很差
- 客观指标与主观感受存在,GAP,指标刷很高,人眼观感不佳,用GAN可缓解
- 落地的问题,SOTA模型运算量很(上百G Flops),但实际不可能这么用
- 主要是为人眼服务,缺乏与High-level之间的联系
High-level任务:分类(classification),检测(detection),分割(segmentation)等。一般公开训练数据都是高品质的图像,当送入降质图像时,性能会有下降,即使网络已经经过大量的数据增强(形状,亮度,色度等变换)
真实应用场景是不可能像训练集那样完美的,采集图像的过程中会面临各种降质问题,需要两者来结合。简单来说,结合的方式分为以下几种
- 直接在降质图像上fine-tuning
- 先经过low-level的增强网络,再送入High-level的模型,两者分开训练
- 将增强网络和高层模型(如分类)联合训练
————————————————
原文链接:https://blog.csdn.net/qq_20880415/article/details/117225213
更多推荐
所有评论(0)