基于可学习参数的深度导向滤波器 Deep Guide Filter

深度导向滤波器这是一篇传统方法和深度学习方法结合的算法，他在引导滤波器（关于这块可查阅我之前的文章）上融入了可学习的参数，从而赋予了更强大的拟合能力，从而可以应用在多个图像处理任务上关于 Deep Guide Filter （后文简称 DFG）其实有很多博客文章都有，我阅读论文和相关博文后做了整合并加上了自己的思考和理解。首先我们来看看 DFG 能应用到什么场景上去，文中给出了例子，从左到右分别是

Edvard_hua

3366人浏览 · 2021-10-17 18:00:00

Edvard_hua · 2021-10-17 18:00:00 发布

深度导向滤波器

这是一篇传统方法和深度学习方法结合的算法，他在引导滤波器（关于这块可查阅我之前的文章）上融入了可学习的参数，从而赋予了更强大的拟合能力，从而可以应用在多个图像处理任务上

关于 Deep Guide Filter （后文简称 DFG）其实有很多博客文章都有，我阅读论文和相关博文后做了整合并加上了自己的思考和理解。

首先我们来看看 DFG 能应用到什么场景上去，文中给出了例子，从左到右分别是图像修复和增强，超分辨率，图像去雾，图像显著区域检测，深度估计

文邹邹一点的说法是，DFG 可以解决 Joint Upsampling 任务，给它一个高分辨率的输入图像 $I_{h}$ 和一个低分辨率输出图像 $O_{l}$ ，算法可以输出高分辨率的图像 $O_{h}$ ，他的细节和边缘与 $I_{h}$ 相似。具体的 DGF 层结构和梯度计算如下图所示。

源码解析，参数在哪里

可能还是不太明白 DGF 是如何运行的，那么再来看看作者公开的源码

class ConvGuidedFilter(nn.Module):
    def __init__(self, radius=1, norm=nn.BatchNorm2d):
        super(ConvGuidedFilter, self).__init__()
        # 其实这个就是 Mean Filter
        self.box_filter = nn.Conv2d(3, 3, kernel_size=3, padding=radius, dilation=radius, bias=False, groups=3)
        self.conv_a = nn.Sequential(nn.Conv2d(6, 32, kernel_size=1, bias=False),
                                    norm(32),
                                    nn.ReLU(inplace=True),
                                    nn.Conv2d(32, 32, kernel_size=1, bias=False),
                                    norm(32),
                                    nn.ReLU(inplace=True),
                                    nn.Conv2d(32, 3, kernel_size=1, bias=False))
        self.box_filter.weight.data[...] = 1.0

    def forward(self, x_lr, y_lr, x_hr):
        _, _, h_lrx, w_lrx = x_lr.size()
        _, _, h_hrx, w_hrx = x_hr.size()

        N = self.box_filter(x_lr.data.new().resize_((1, 3, h_lrx, w_lrx)).fill_(1.0))
				# 下面几个计算公式与引导滤波一致
        # mean_x
        mean_x = self.box_filter(x_lr)/N
        # mean_y
        mean_y = self.box_filter(y_lr)/N
        # cov_xy
        cov_xy = self.box_filter(x_lr * y_lr)/N - mean_x * mean_y
        # var_x
        var_x  = self.box_filter(x_lr * x_lr)/N - mean_x * mean_x

        # A 这里引入了卷积求解 ak
        A = self.conv_a(torch.cat([cov_xy, var_x], dim=1))
        # b
        b = mean_y - A * mean_x

        # 最终用双线性插值，放大特征图，获得最终的大尺寸的输出 O_H
        mean_A = F.interpolate(A, (h_hrx, w_hrx), mode='bilinear', align_corners=True)
        mean_b = F.interpolate(b, (h_hrx, w_hrx), mode='bilinear', align_corners=True)

        return mean_A * x_hr + mean_b