CN106204489A

CN106204489A - 结合深度学习与梯度转换的单幅图像超分辨率重建方法

Info

Publication number: CN106204489A
Application number: CN201610545884.8A
Authority: CN
Inventors: 何小海; 陈敬勖; 陈洪刚; 滕奇志; 卿粼波; 熊淑华
Original assignee: Sichuan University
Current assignee: Sichuan University
Priority date: 2016-07-12
Filing date: 2016-07-12
Publication date: 2016-12-07
Anticipated expiration: 2036-07-12
Also published as: CN106204489B

Abstract

本发明公开了一种结合深度学习与梯度转换的单幅图像超分辨率重建方法。主要包括以下步骤：用基于深度学习的超分辨率方法对输入的低分辨率图像进行上采样，得到上采样图像；用梯度算子对上采样图像进行梯度提取；用深度卷积神经网络对提取到的梯度进行转换；将输入的低分辨率图像与转换后的梯度作为约束，建立重建代价函数；利用梯度下降法来最优化重建代价函数，得到最终输出的高分辨率图像。本发明所述的单幅图像超分辨率重建方法重建的图像在主观视觉效果上具有精细的结构、几乎没有人工效应，且具有很高的客观评价参数值。因此，本发明是一种有效的单幅图像超分辨率重建方法。

Description

结合深度学习与梯度转换的单幅图像超分辨率重建方法

技术领域

本发明涉及图像超分辨率重建技术，具体涉及一种结合深度学习与梯度转换的单幅图像超分辨率重建方法，属于数字图像处理领域。

背景技术

现实生活中，由于成像设备和成像环境的限制，以及传输过程中图像信息的丢失，人们获取的图像往往是低分辨率、低质量的，难以满足需求。图像超分辨率重建技术，是在不需要增加硬件成本的情况下，通过信号处理技术，将输入的低分辨率图像重建成高分辨率图像的一门技术。通过图像超分辨率重建技术重建后的图像不但在空间分辨率上优于输入图像，且在主观视觉效果上也有明显的提升。

图像超分辨率重建方法可以分为三类：基于插值的方法、基于重建的方法与基于学习的方法。近年来，由于机器学习与深度学习的发展，基于学习的超分辨率重建方法取到了较大的进步。基于深度学习的超分辨率方法相比传统的基于学习的超分辨率方法，具有结构简单，速度快的优点，且由于在训练阶段，基于深度学习的方法同时优化了所有操作，所以基于深度学习的方法重建出来的高分辨率图像在质量上要优于传统的基于学习的方法。但是基于深度学习的超分辨率方法的所使用的卷积神经网络是根据一般结构训练得到的，所以重建得到的图像通常会受到振铃效应与锯齿效应的影响。去除人工效应的一种方法是引入图像的先验信息对重建图像进行约束。基于梯度先验的超分辨率方法能有效的去除重建图像的振铃效应与锯齿效应，但是这类方法对图像的细节和精细结构部分不能起到很好的重建效果。

发明内容

本发明的目的是将深度学习引入到梯度转换中，并将转换后的梯度信息作为约束进行超分辨率重建，使得重建得到的图像具有更加精细的结构，并且减少振铃效应与锯齿效应的影响。本发明通过以下操作步骤构成的技术方案来实现上述目的。

本发明提出的结合深度学习与梯度转换的单幅图像超分辨率重建方法，主要包括以下操作步骤：

(1)用基于深度学习的超分辨率方法对输入的低分辨率图像进行上采样，得到上采样图像；

(2)用梯度算子对上采样图像进行梯度提取；

(3)用深度卷积神经网络对提取到的梯度进行转换；

(4)将输入的低分辨率图像与步骤(3)转换得到的梯度作为约束，建立重建代价函数；

(5)利用梯度下降法来最优化重建代价函数，得到最终输出的高分辨率图像。

附图说明

图1是本发明结合深度学习与梯度转换的单幅图像超分辨率重建方法的框图

图2是本发明与现有的4种方法对“Butterfly”图像重建结果的对比图

图3是本发明与现有的4种方法对“Foreman”图像重建结果的对比图

图4是本发明与现有的4种方法对“Leaves”图像重建结果的对比图

具体实施方式

下面结合附图对本发明作进一步说明：

图1中，结合深度学习与梯度转换的单幅图像超分辨率重建方法，包括以下步骤：

(2)用梯度算子对上采样图像进行梯度提取；

(3)用深度卷积神经网络对提取到的梯度进行转换；

具体地，所述步骤(1)中，我们使用基于深度学习的超分辨率方法对输入的低分辨率图像进行上采样，得到上采样图像。具体使用的基于深度学习的超分辨率方法为Dong等人提出的方法，参考文献“C.Dong,C.C.Loy,K.He,and X.Tang,"Image Super-ResolutionUsing Deep Convolutional Networks."IEEE Transactions on Pattern Analysis andMachine Intelligence,vol.38,no.2,pp.295-307,2016.”。

所述步骤(2)中，我们使用梯度算子[-(1/2),0,(1/2)]与[-(1/2),0,(1/2)]^T分别提取上采样图像水平方向与垂直方向的梯度。

所述步骤(3)中，我们利用卷积神经网络对提取到的梯度进行转换，使得转换后的梯度更接近于原始梯度。该转换方法主要包括两个阶段，即训练阶段与转换阶段。

在训练阶段，我们首先构建一个由3层卷积层组成的卷积神经网络，包括梯度特征提取层(L₁)、梯度特征转换层(L₂)以及梯度重建层(L₃)。L₁、L₂、L₃分别由不同个数的滤波器组成。L₁对输入的梯度进行梯度特征提取，得到特征表示f；L₂将f映射为转换后的特征表示f_t，L₃作用于f_t来产生最终输出的转换后的梯度信息。由于ReLU能大大加快训练的收敛速度，本发明将其应用到训练过程中的滤波器响应上。我们将高分辨率自然图像进行双三次下采样，并用基于深度学习的超分辨率方法其进行上采样；接着我们提取上采样图像的梯度，并将其分割为36×36的块{G_l}；对于输入的36×36的块，我们构建的卷积神经网络将输出一个20×20的块来避免边缘效应，因此我们将从原始自然图像中提取到的梯度分割为对应的20×20的块{G_h}；这样我们就得到了用于训练的训练对{G_l,G_h}。我们将均方误差作为损失函数来训练得到用于梯度转换的卷积神经网络。在转换阶段，对于从上采样图像中提取到的梯度，我们将其输入到训练得到的卷积神经网络中，最终输出的结果即为转换后的梯度。为了使梯度转换的效果更好，以便得到更高质量的重建图像，我们对水平方向与垂直方向的梯度分别训练得到相应的用于梯度转换的卷积神经网络。

所述步骤(4)中，我们将低分辨率图像与步骤(3)转换得到的梯度作为约束来建立重建代价函数,重建代价函数定义为

E(H|L,▽Y^t)＝E₁(H|L)+θE₂(▽H|▽Y^t)

式中，▽Y^t为步骤(3)转换得到的梯度；▽H为输出图像H的梯度；θ为两个约束间的权重；E₁(H|L)为图像域的约束，定义为

E₁(H|L)＝|H↓-L|²

E₂(▽H|▽Y^t)为梯度域的约束，定义为

E₂(▽H|▽Y^t)＝|▽H-▽Y^t|²

所述步骤(5)中，我们利用梯度下降法来最优化重建代价函数，得到最终输出的高分辨率图像：

Hⁱ⁺¹＝Hⁱ-μ((Hⁱ↓-L)↑-θ·(▽²H-▽²Y^t))

式中，Hⁱ为第i次迭代输出的图像；μ为迭代步长。

为了更好地说明本发明的有效性，本发明将采用对比实验的方法进行展示重建效果。“Butterfly”图像、“Foreman”图像以及“Leaves”图像为对比实验所选用的3幅测试图像，分别如图2(a)、图3(a)以及图4(a)所示。对比实验选取双三次插值Bicubic与3个具有代表性的单幅图像超分辨率重建方法与本发明的实验结果进行比较。这3个具有代表性的单幅图像超分辨率重建方法为：

方法1：Yang等人提出的方法，参考文献“J.Yang,J.Wright,T.S.Huang,andY.Ma,"Image super-resolution via sparse representation."IEEE Transactions onImage Processing,vol.19,no.11,pp.2861-2873,2010.”。

方法2：Timofte等人提出的方法，参考文献“R.Timofte,V.D.Smet,andL.V.Gool,"A+:Adjusted anchored neighborhood regression for fast super-resolution."Computer Vision--ACCV 2014.Springer International Publishing,pp.111-126,2014.”。

方法3：Dong等人提出的方法，参考文献“C.Dong,C.C.Loy,K.He,and X.Tang,"Image Super-Resolution Using Deep Convolutional Networks."IEEE Transactionson Pattern Analysis and Machine Intelligence,vol.38,no.2,pp.295-307,2016.”。

对比实验的内容如下：

实验1，分别用Bicubic、方法1、方法2、方法3以及本发明对“Butterfly”图像进行3倍超分辨率重建。超分辨重建结果分别如图2(b)、图2(c)、图2(d)、图2(e)以及图2(f)所示，其客观评价指标如表一的第二行所示。

实验2，分别用Bicubic、方法1、方法2、方法3以及本发明对“Foreman”图像进行3倍超分辨率重建。超分辨重建结果分别如图3(b)、图3(c)、图3(d)、图3(e)以及图3(f)所示，其客观评价指标如表一的第三行所示。

实验3，分别用Bicubic、方法1、方法2、方法3以及本发明对“Leaves”图像进行3倍超分辨率重建。超分辨重建结果分别如图4(b)、图4(c)、图4(d)、图4(e)以及图4(f)所示，其客观评价指标如表一的第四行所示。

通过3组对比实验可以看出，Biucbic得到的重建图像很模糊且锯齿效应很严重；方法1得到的重建图像比Biucbic的稍微清晰一点，但是依旧很模糊；方法2得到的重建图像很好的避免了锯齿效应，但是不够清晰；方法3得到的重建图像比较清晰，但是边缘存在锯齿与振铃效应；本发明得到的重建图像具有精细的结构，且几乎没有锯齿效应与振铃效应，具有最佳的主观视觉效果。

表一给出了本发明与4种对比的超分辨率重建方法重建结果的两个客观参数，分别为峰值信噪比(PSNR：the Peak Signal to Noise Ratio)和结构相似度(SSIM：theStructure Similarity Index)，以便客观地评价重建图像的质量。其中，PSNR值越大、SSIM值越接近于1，则重建图像的质量越好。

表一

从表一可以看出，本发明具有最高的客观评价参数值。对于“Butterfly”图像，本发明的PSNR值比方法3高出0.87dB，SSIM值比方法3高出0.0114；对于“Foreman”图像，本发明的PSNR值比方法2高出0.43dB，SSIM值比方法3高出0.0017；对于“Leaves”图像，本发明的PSNR值比方法3高出0.68dB，SSIM值比方法3高出0.0087。

综上所述，本发明重建得到的图像在主观视觉效果上具有明显的优势，并且对于其他对比方法具有最高的客观评价参数值。因此，本发明是一种有效的单幅图像超分辨率重建方法。

Claims

1.结合深度学习与梯度转换的单幅图像超分辨率重建方法，其特征在于包括以下步骤：

步骤一：用基于深度学习的超分辨率方法对输入的低分辨率图像进行上采样，得到上采样图像；

步骤二：用梯度算子对上采样图像进行梯度提取；

步骤三：用深度卷积神经网络对提取到的梯度进行转换；

步骤四：将输入的低分辨率图像与步骤三转换得到的梯度作为约束，建立重建代价函数；

步骤五：利用梯度下降法来最优化重建代价函数，得到最终输出的高分辨率图像。

2.根据权利要求1所述的结合深度学习与梯度转换的单幅图像超分辨率重建方法，其特征在于步骤三所述的利用卷积神经网络对提取到的梯度进行转换：在训练阶段，首先构建一个由3层卷积层组成的卷积神经网络，包括梯度特征提取层、梯度特征转换层以及梯度重建层，然后我们将从上采样图像中提取到的梯度与从原始自然图像中提取到的梯度对应分块构成训练对，将均方误差作为损失函数来训练得到用于梯度转换的卷积神经网络；在梯度转换阶段，使用上述训练得到的卷积神经网络对从上采样图像中提取到的梯度进行转换。

3.根据权利要求1所述的结合深度学习与梯度转换的单幅图像超分辨率重建方法，其特征在于步骤三所述的利用卷积神经网络对提取到的梯度进行转换：为了使梯度转换的效果更好，以便得到更高质量的重建图像，我们对水平方向与垂直方向的梯度分别训练得到相应的用于梯度转换的卷积神经网络。

4.根据权利要求1所述的结合深度学习与梯度转换的单幅图像超分辨率重建方法，其特征在于步骤四所述的将低分辨率图像与步骤三转换得到的梯度作为约束来建立重建代价函数：重建代价函数定义为

E(H|L,▽Y^t)＝E₁(H|L)+θE₂(▽H|▽Y^t)

式中，▽Y^t为步骤三转换得到的梯度；▽H为输出图像H的梯度。