CN102881000A - 一种视频图像的超分辨率方法、装置和设备 - Google Patents

Abstract

本发明公开了一种视频图像的超分辨率方法和设备，属于视频图像领域。方法包括：对原始低分辨率视频图像进行整数倍的基于模糊运动估计的超分辨率处理，得到中间高分辨率视频图像；当中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率不同时，计算目标高分辨率视频图像与中间高分辨率视频图像之间的分辨率的非整数倍；对中间高分辨率视频图像进行非整数倍的基于插值的超分辨率处理，得到目标高分辨率视频图像。本发明通过对原始低分辨率视频图像分别进行基于模糊运动估计和基于插值的超分辨率处理，解决了非整数倍的超分辨率处理效果不好和容易产生模糊和锯齿边缘的问题。

Description

一种视频图像的超分辨率方法、装置和设备

技术领域

本发明涉及视频图像领域，特别涉及一种视频图像的超分辨率方法、装置和设备。

背景技术

视频图像的超分辨率，是指利用低分辨率视频图像，通过相应的处理，得到高分辨率视频图像的技术。超分辨率技术应用的场景十分广泛，在高清电视、移动通信、图像和视频压缩技术、社会安全、视频监控、图形渲染、图像修复、生物认证、卫星和天文图像等领域都有着重要的应用价值和市场前景，因此对于视频图像实现超分辨率的方法也就尤为重要。

目前，视频图像的超分辨率的方法主要有：一种是基于插值的超分辨率方法，该方法一般是利用低分辨率视频图像中的已知点，通过一定的函数关系插值出高分辨率视频图像中的未知点，从而得到高分辨率的视频图像；另一种是基于模糊运动估计的超分辨率方法，该方法是利用图像无论是在空间还是时间上都存在大量冗余信息，在当前帧以及当前帧的相邻帧都能找到许多相似块，根据差异给每个相似块分配权重，然后将这些相似块映射到低分辨率视频图像中的点和所分配的权重相乘累加后得到高分辨率视频图像中的点的新值。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

基于插值的超分辨率方法，只是基于图像像素值，对于放大倍数比较大(超过2倍)时，容易产生模糊和锯齿边缘的问题，很难达到超分辨率锐化的效果；基于模糊运动估计的超分辨率方法，将相似块映射到低分辨率视频图像中的点和权重加权累加时，需要利用高、低分辨率视频图像中点的坐标映射关系，对于非整数倍的超分辨率，低分辨率视频图像中的点不能准确映射到高分辨率视频图像中。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种视频图像的超分辨率方法和设备。所述技术方案如下：

一方面，提供了一种视频图像的超分辨率方法，所述方法包括：

对原始低分辨率视频图像进行整数倍的基于模糊运动估计的超分辨率处理，得到中间高分辨率视频图像；所述整数倍为目标高分辨率视频图像的分辨率与所述原始低分辨率视频图像的分辨率之间的倍数的整数；

当所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率不同时，计算所述目标高分辨率视频图像与所述中间高分辨率视频图像之间的的分辨率的非整数倍；

对所述中间高分辨率视频图像进行所述非整数倍的基于插值的超分辨率处理，得到所述目标高分辨率视频图像。

具体地，所述得到中间高分辨率视频图像之后，还包括：

判断所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率是否相同；

当所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率相同时，则将所述中间高分辨率视频图像作为所述目标高分辨率视频图像。

具体地，所述得到所述目标高分辨率视频图像之后，还包括：

提取边缘信息的高分辨率视频图像；

将所述边缘信息的高分辨率视频图像通过增益控制之后，与所述目标高分辨率视频图像相加，得到增强的目标高分辨率视频图像。

具体地，所述将所述中间高分辨率视频图像作为所述目标高分辨率视频图像之后，还包括：

提取边缘信息的高分辨率视频图像；

将所述边缘信息的高分辨率视频图像通过增益控制之后，与所述中间高分辨率视频图像相加，得到增强的目标高分辨率视频图像。

进一步地，所述提取边缘信息的高分辨率视频图像，具体包括：

提取所述原始低分辨率视频图像的边缘信息；

对所述边缘信息进行放大，得到所述边缘信息的高分辨率视频图像。

另一方面，提供了一种视频图像的超分辨率装置，所述装置包括：

第一处理模块，用于对原始低分辨率视频图像进行整数倍的基于模糊运动估计的超分辨率处理，得到中间高分辨率视频图像；所述整数倍为目标高分辨率视频图像的分辨率与所述原始低分辨率视频图像的分辨率之间的倍数的整数；

计算模块，用于当所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率不同时，计算所述目标高分辨率视频图像与所述中间高分辨率视频图像之间的的分辨率的非整数倍；

第二处理模块，用于对所述中间高分辨率视频图像进行所述非整数倍的基于插值的超分辨率处理，得到所述目标高分辨率视频图像。

具体地，所述装置还包括：

判断模块，用于判断所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率是否相同；

确定模块，用于在所述判断模块判断所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率相同时，则将所述中间高分辨率视频图像作为所述目标高分辨率视频图像。

具体地，所述装置还包括：

提取模块，用于提取边缘信息的高分辨率视频图像；

第一增强模块，用于将所述提取模块提取的边缘信息的高分辨率视频图像通过增益控制之后，与所述目标高分辨率视频图像相加，得到增强的目标高分辨率视频图像。

具体地，所述装置还包括：

提取模块，用于提取边缘信息的高分辨率视频图像；

第二增强模块，用于将所述提取模块提取的边缘信息的高分辨率视频图像通过增益控制之后，与所述中间高分辨率视频图像相加，得到增强的目标高分辨率视频图像。

进一步地，所述提取模块，具体用于提取所述原始低分辨率视频图像的边缘信息；对所述边缘信息进行放大，得到所述边缘信息的高分辨率视频图像。

本发明实施例提供的技术方案带来的有益效果是：

通过对原始低分辨率视频图像首先进行基于模糊运动估计的整数倍的超分辨率处理，然后再进行基于插值的非整数倍的超分辨率处理，得到目标高分辨率视频图像，既解决了一般的基于模糊运动估计的超分辨率方法对于非整数倍的超分辨率处理效果不好的问题，同时解决了基于插值的超分辨率方法的容易产生模糊和锯齿边缘的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的视频图像的超分辨率方法流程图；

图2是本发明实施例二提供的视频图像的超分辨率方法流程图；

图3是本发明实施例三提供的视频图像的超分辨率设备结构示意图；

图4是本发明实施例三提供的视频图像的超分辨率设备另一种结构示意图；

图5是本发明实施例三提供的视频图像的超分辨率设备第三种结构示意图；

图6是本发明实施例三提供的视频图像的超分辨率设备第四种结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

本发明实施例提供了一种视频图像的超分辨率方法，参见图1，该方法包括：

101、对原始低分辨率视频图像进行整数倍的基于模糊运动估计的超分辨率处理，得到中间高分辨率视频图像；整数倍为目标高分辨率视频图像的分辨率与原始低分辨率视频图像的分辨率之间的倍数的整数；

102、当中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率不同时，计算目标高分辨率视频图像与中间高分辨率视频图像之间的的分辨率的非整数倍；

103、对中间高分辨率视频图像进行非整数倍的基于插值的超分辨率处理，得到目标高分辨率视频图像。

具体地，得到中间高分辨率视频图像之后，还包括：

判断中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率是否相同；

当中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率相同时，则将中间高分辨率视频图像作为目标高分辨率视频图像。

具体地，得到目标高分辨率视频图像之后，还包括：

提取边缘信息的高分辨率视频图像；

将边缘信息的高分辨率视频图像通过增益控制之后，与目标高分辨率视频图像相加，得到增强的目标高分辨率视频图像。

具体地，将中间高分辨率视频图像作为目标高分辨率视频图像之后，还包括：

提取边缘信息的高分辨率视频图像；

将边缘信息的高分辨率视频图像通过增益控制之后，与中间高分辨率视频图像相加，得到增强的目标高分辨率视频图像。

进一步地，提取边缘信息的高分辨率视频图像，具体包括：

提取原始低分辨率视频图像的边缘信息；

对边缘信息进行放大，得到边缘信息的高分辨率视频图像。

综上所述，本发明实施例通过对原始低分辨率视频图像首先进行基于模糊运动估计的整数倍的超分辨率处理，然后再进行基于插值的非整数倍的超分辨率处理，得到目标高分辨率视频图像，既解决了一般的基于模糊运动估计的超分辨率方法对于非整数倍的超分辨率处理效果不好的问题，同时解决了基于插值的超分辨率方法的容易产生模糊和锯齿边缘的问题。

实施例二

本发明实施例提供了一种视频图像的超分辨率方法，参见图2，该方法包括：

201、获取输入的原始低分辨率视频图像，计算目标高分辨率视频图像与原始低分辨率视频图像之间的倍数，获取倍数的整数；

具体地，目标高分辨率视频图像与原始低分辨率视频图像之间的倍数确定为：宽、高的放大倍数均为原始低分辨率视频图像到目标高分辨率视频图像宽高所需放大倍数；而宽、高的放大倍数的整数，均为原始低分辨率视频图像到目标高分辨率视频图像宽高所需放大倍数的整数部分。例如，要将标清视频格式(720×480)超分辨率到高清视频格式(1920×1080)，由于1920/720=2.67，1080/480=2.25，所以宽高的放大倍数分别2.67倍和2.25倍，而宽高的放大倍数的整数分别为2和2。

202、获取输入的原始低分辨率视频图像之后，提取原始低分辨率视频图像的边缘信息，对边缘信息进行放大，得到边缘信息的高分辨率视频图像；

具体地，可以利用LOG算子提取边缘信息，对提取的原始低分辨率视频图像的边缘信息进行放大可以采用双立方差值以及多相位插值的方法，也可以采用其他任一放大方法，最后得到的边缘信息的高分辨率视频图像的分辨率与目标高分辨率视频图像相同；

需要说明的是，由于该步骤在获取输入的原始低分辨率视频图像后进行，并且是单独的执行步骤，所以该步骤可以在步骤201的计算目标高分辨率视频图像与原始低分辨率视频图像之间的倍数之前进行，也可以在步骤207之前的任一步骤之后进行，本发明实施例不做限制。

203、对原始低分辨率视频图像进行基于模糊运动估计的超分辨率处理，得到中间高分辨率视频图像；中间高分辨率视频图像的分辨率是原始低分辨率视频图像的分辨率的整数倍；整数倍为目标高分辨率视频图像的分辨率与原始低分辨率视频图像的分辨率之间的倍数的整数；

具体地，在某个时刻的当前帧图像中的某一个参考块，在当前帧以及当前帧的相邻帧都能找到许多和参考块相似的图像块，找到这些相似块后，根据它们与参考块的相似程度给每个相似块分配一个权重，然后将这些相似块和权重加权后取代当前参考块，模糊运动估计相当于将找到的所有相似块都参与运算，而精确运动估计是是要找出最准确的块。

具体地，首先对输入的原始低分辨率视频图像通过一般的插值放大整数倍得到初始的高分辨率视频图像；然后，在初始的高分辨率视频图像对于当前目标点，选取一个目标区域（通常选取一个矩形区域）和限定一个搜索区域，然后在搜索区域中选取至少一个比较区域；再次，将目标区域和比较区域比较，得到它们的差别(也可以是欧式距离)，并根据得到的差别依据一定的关系給各个比较区域赋予一个权重；最后，将各个比较区域的权重与比较区域映射到原始低分辨率视频图像中的点相乘累加归一化，得到中间高分辨率视频图像中当前点的新值。

本发明实施例可以具体采用模糊运动估计中的基于NLM（Non-local Means，非局部均值）的超分辨率方法对原始低分辨率视频图像进行整数倍的基于模糊运动估计的超分辨率处理：

NLM的原理是基于图像中存在大量冗余，即图像内容在它的邻域内会有许多相同以及相似的内容。因此，NLM方法根据邻域内的点与当前待处理的点的相似性给邻域内的点安排权重，然后将这些点加权平均后来代替当前待处理的点的值，它的数学描述如下式：

$\hat{X}[k,l]=\frac{{\mathrm{\Σ}}_{(i,j)\∈N(k,l)}w[k,l,i,j]y[i,j]}{{\mathrm{\Σ}}_{(i,j)\∈N(k,l)}w[k,l,i,j]}$

其中，N(k，l)代表当前像素点(k，l)的邻域，w[k,l,i,j]是邻域内(i，j)像素点想对于当前像素点(k，l)的权重，输入像素点为y[k，l]，输出像素点为X[k，l]。

其中权重w的计算是以两个块之间的欧氏距离(Euclidean distance)来分配权重的，具体方法如下式：

$w[k,l,i,j]=\exp \{-\frac{{\left|\right|{\hat{R}}_{k,l}y-{\hat{R}}_{i,j}y\left|\right|}_2^2}{{2\mathrm{\δ}}^2}\}$

式中，

表示输入图像中以像素点[k，l]为中心的一个图像块，

表示以输入图像中[k，l]点的邻域内的点[i，j]为中心的一个图像块，

表示这两个块之间的欧氏距离，δ是一个控制参数。

基于NLM的超分辨率方法计算差别时利用上式中两个块之间的欧氏距离。

204、判断中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率是否相同；

具体地，判断步骤203中得到的视频图像的分辨率与目标高分辨率视频图像的分辨率是否相同，例如，要将标清视频格式(720×480)超分辨率到高清视频格式(1920×1080)，步骤203中放大整数倍分别为2倍、2倍，这样得到的图像大小为1440×960，它与目标高分辨率视频图像大小1920×1080不相同，就需要执行步骤205；

当中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率相同时，则将中间高分辨率视频图像作为目标高分辨率视频图像；假如上例中最终需要得到的目标高分辨率视频图像大小为1440×960，那么步骤203中得到的视频图像的分辨率和目标高分辨率视频图像的分辨率相同，就不需要执行步骤205。

205、当中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率不同时，计算目标高分辨率视频图像与中间高分辨率视频图像之间的的分辨率的非整数倍；

具体地，当目标高分辨率视频图像的分辨率与中间高分辨率视频图像的分辨率不同时，将计算目标高分辨率视频图像与步骤203得到的中间高分辨率视频图像之间的非整数倍，此处放大倍数小于2；例如，将标清视频格式(720×480)超分辨率到高清视频格式(1920×1080)，由于在步骤203中已经将原始带分辨率的图像(720×480)放大2倍后，得到1440×960的中间高分辨率视频图像，再将1440×960的中间高分辨率视频图像放大到1920×1080的目标高分辨率视频图像，此时由1440×960到1920×1080的放大倍数分别为：宽1920/1440=1.33倍，高1080/960=1.125倍。

206、对中间高分辨率视频图像进行非整数倍的基于插值的超分辨率处理，得到目标高分辨率视频图像。

具体地，基于插值的超分辨率方法是目前超分辨率研究中最直观的方法，这类方法一般是利用低分辨率视频图像中的已知点，通过一定的函数关系插值出高分辨率视频图像中的未知点。图像插值的一般数学表达式如下式所示，其中g(i，j)为缩放图像中待插值点的像素值，f(k，l)为原始图像中坐标(k，l)处的像素值，h(i-k，j-l)为插值基函数。

$g(i,j)=\underset{k}{\mathrm{\Σ}}\underset{l}{\mathrm{\Σ}}f(k,l)h(i-k,j-l)$

插值基函数的选择可以有很多种，通常有二维的矩形函数、线性函数、三次函数以及sinc函数等，分别对应于最邻近插值、线性插值、三次(立方)插值、理想插值(实际利用sinc的截断函数)等；在实际处理中，通常利用滤波器来实现插值；对于二维图像，由于这些插值函数的对称性以及二维图像一般行列可分离，通常可以将其分为水平和垂直两个方向分别进行，则其分别对应于双线性插值、双三次插值、多相位插值等。对于基于插值的超分辨率技术，在插值算法之后，一般还要采用图像恢复技术来去除模糊和降低噪声。

本发明实施例中的插值算法可以采用双立方差值以及多相位插值的方法，这两种插值方法对于放大倍数小于2倍时效果较好。

207、将步骤202得到的边缘信息的高分辨率视频图像通过增益控制之后，与目标高分辨率视频图像相加，得到增强的目标高分辨率视频图像。

具体地，对步骤202得到的边缘信息的高分辨率视频图像进行增益控制，是由于不同用户或者不同的设备对高分辨率的视频图的边缘锐化效果要求不同，所以需要根据实际情况进行增益控制。

将增益控制后的边缘信息的高分辨率视频图像与目标高分辨率视频图像相加，得到增强的目标高分辨率视频图像，这里的目标高分辨率视频图像可以是步骤206的得到的目标高分辨率视频图像，也可以是步骤204判断的中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率相同时的中间高分辨率视频图像。

综上所述，本发明实施例通过对原始低分辨率视频图像首先进行基于模糊运动估计的整数倍的超分辨率处理，然后再进行基于插值的非整数倍的超分辨率处理，得到目标高分辨率视频图像，既解决了一般的基于模糊运动估计的超分辨率方法对于非整数倍的超分辨率处理效果不好的问题，同时解决了基于插值的超分辨率方法的容易产生模糊和锯齿边缘的问题。

实施例三

参见图3，本发明实施例提供了一种视频图像的超分辨率装置，该装置包括：

第一处理模块301，用于对原始低分辨率视频图像进行整数倍的基于模糊运动估计的超分辨率处理，得到中间高分辨率视频图像；整数倍为目标高分辨率视频图像的分辨率与原始低分辨率视频图像的分辨率之间的倍数的整数；

计算模块302，用于当中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率不同时，计算目标高分辨率视频图像与中间高分辨率视频图像之间的的分辨率的非整数倍；

第二处理模块303，用于对中间高分辨率视频图像进行非整数倍的基于插值的超分辨率处理，得到目标高分辨率视频图像。

具体地，参见图4，该装置还包括：

判断模块304，用于判断中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率是否相同；

确定模块305，用于在判断模块304判断中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率相同时，则将中间高分辨率视频图像作为目标高分辨率视频图像。

具体地，参见图5，该装置还包括：

提取模块306，用于提取边缘信息的高分辨率视频图像；

第一增强模块307，用于将提取模块306提取的边缘信息的高分辨率视频图像通过增益控制之后，与目标高分辨率视频图像相加，得到增强的目标高分辨率视频图像。

具体地，参见图6，该装置还包括：

提取模块306，用于提取边缘信息的高分辨率视频图像；

第二增强模块308，用于将提取模块306提取的边缘信息的高分辨率视频图像通过增益控制之后，与中间高分辨率视频图像相加，得到增强的目标高分辨率视频图像。

进一步地，提取模块306，具体用于提取原始低分辨率视频图像的边缘信息；对边缘信息进行放大，得到边缘信息的高分辨率视频图像。

综上所述，本发明实施例通过对原始低分辨率视频图像首先进行基于模糊运动估计的整数倍的超分辨率处理，然后再进行基于插值的非整数倍的超分辨率处理，得到目标高分辨率视频图像，既解决了一般的基于模糊运动估计的超分辨率方法对于非整数倍的超分辨率处理效果不好的问题，同时解决了基于插值的超分辨率方法的容易产生模糊和锯齿边缘的问题。

实施例四

本发明实施例提供了一种视频图像的超分辨率设备，该设备包括：

处理器，用于对原始低分辨率视频图像进行整数倍的基于模糊运动估计的超分辨率处理，得到中间高分辨率视频图像；整数倍为目标高分辨率视频图像的分辨率与原始低分辨率视频图像的分辨率之间的倍数的整数；当中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率不同时，计算目标高分辨率视频图像与中间高分辨率视频图像之间的的分辨率的非整数倍；对中间高分辨率视频图像进行非整数倍的基于插值的超分辨率处理，得到目标高分辨率视频图像。

具体地，该处理器还用于得到中间高分辨率视频图像之后，判断中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率是否相同；当中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率相同时，则将中间高分辨率视频图像作为目标高分辨率视频图像。

具体地，该处理器还用于得到目标高分辨率视频图像之后，提取边缘信息的高分辨率视频图像；将边缘信息的高分辨率视频图像通过增益控制之后，与目标高分辨率视频图像相加，得到增强的目标高分辨率视频图像。

具体地，该处理器还用于将中间高分辨率视频图像作为目标高分辨率视频图像之后，提取边缘信息的高分辨率视频图像；将边缘信息的高分辨率视频图像通过增益控制之后，与中间高分辨率视频图像相加，得到增强的目标高分辨率视频图像。

进一步地，该处理器具体用于提取原始低分辨率视频图像的边缘信息；对边缘信息进行放大，得到边缘信息的高分辨率视频图像。

综上所述，本发明实施例通过对原始低分辨率视频图像首先进行基于模糊运动估计的整数倍的超分辨率处理，然后再进行基于插值的非整数倍的超分辨率处理，得到目标高分辨率视频图像，既解决了一般的基于模糊运动估计的超分辨率方法对于非整数倍的超分辨率处理效果不好的问题，同时解决了基于插值的超分辨率方法的容易产生模糊和锯齿边缘的问题。

需要说明的是：上述实施例提供的视频图像的超分辨率装置和设备在对视频图像进行超分辨率处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置和设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频图像的超分辨率装置和设备与视频图像的超分辨率方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频图像的超分辨率方法，其特征在于，所述方法包括：

对原始低分辨率视频图像进行整数倍的基于模糊运动估计的超分辨率处理，得到中间高分辨率视频图像；所述整数倍为目标高分辨率视频图像的分辨率与所述原始低分辨率视频图像的分辨率之间的倍数的整数；

当所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率不同时，计算所述目标高分辨率视频图像与所述中间高分辨率视频图像之间的的分辨率的非整数倍；

对所述中间高分辨率视频图像进行所述非整数倍的基于插值的超分辨率处理，得到所述目标高分辨率视频图像。

2.根据权利要求1所述的方法，其特征在于，所述得到中间高分辨率视频图像之后，还包括：

判断所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率是否相同；

当所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率相同时，则将所述中间高分辨率视频图像作为所述目标高分辨率视频图像。

3.根据权利要求1所述的方法，其特征在于，所述得到所述目标高分辨率视频图像之后，还包括：

提取边缘信息的高分辨率视频图像；

将所述边缘信息的高分辨率视频图像通过增益控制之后，与所述目标高分辨率视频图像相加，得到增强的目标高分辨率视频图像。

4.根据权利要求2所述的方法，其特征在于，所述将所述中间高分辨率视频图像作为所述目标高分辨率视频图像之后，还包括：

提取边缘信息的高分辨率视频图像；

将所述边缘信息的高分辨率视频图像通过增益控制之后，与所述中间高分辨率视频图像相加，得到增强的目标高分辨率视频图像。

5.根据权利要求3或4所述的方法，其特征在于，所述提取边缘信息的高分辨率视频图像，具体包括：

提取所述原始低分辨率视频图像的边缘信息；

对所述边缘信息进行放大，得到所述边缘信息的高分辨率视频图像。

6.一种视频图像的超分辨率装置，其特征在于，所述装置包括：

第一处理模块，用于对原始低分辨率视频图像进行整数倍的基于模糊运动估计的超分辨率处理，得到中间高分辨率视频图像；所述整数倍为目标高分辨率视频图像的分辨率与所述原始低分辨率视频图像的分辨率之间的倍数的整数；

计算模块，用于当所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率不同时，计算所述目标高分辨率视频图像与所述中间高分辨率视频图像之间的的分辨率的非整数倍；

第二处理模块，用于对所述中间高分辨率视频图像进行所述非整数倍的基于插值的超分辨率处理，得到所述目标高分辨率视频图像。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

判断模块，用于判断所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率是否相同；

确定模块，用于在所述判断模块判断所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率相同时，则将所述中间高分辨率视频图像作为所述目标高分辨率视频图像。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

提取模块，用于提取边缘信息的高分辨率视频图像；

第一增强模块，用于将所述提取模块提取的边缘信息的高分辨率视频图像通过增益控制之后，与所述目标高分辨率视频图像相加，得到增强的目标高分辨率视频图像。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

提取模块，用于提取边缘信息的高分辨率视频图像；

第二增强模块，用于将所述提取模块提取的边缘信息的高分辨率视频图像通过增益控制之后，与所述中间高分辨率视频图像相加，得到增强的目标高分辨率视频图像。

10.根据权利要求8或9所述的装置，其特征在于，所述提取模块，具体用于提取所述原始低分辨率视频图像的边缘信息；对所述边缘信息进行放大，得到所述边缘信息的高分辨率视频图像。

Images