CN109801214B - 图像重构装置及方法、设备、计算机可读存储介质 - Google Patents

Abstract

本发明提供一种图像重构装置及图像重构方法、设备、计算机可读存储介质。本发明的图像重构装置，用于对待处理图像进行超分辨率重构，包括：图像特征提取器、图像拉伸处理器，其中，所述图像特征提取器被配置为对第一分辨率图像进行特征提取，得到具有类别属性的特征图；所述图像拉伸处理器被配置为通过神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到第二分辨率图像。

Description

图像重构装置及方法、设备、计算机可读存储介质

技术领域

本发明涉及一种图像重构装置、设备及方法、计算机可读存储介质。

背景技术

随着现在显示设备分辨率的不断提高，对图像尺寸的要求也在不断提高，然后这种刚性的需求带来了一些严重的问题。首先，早期拍摄的照片或视频大多分辨率较低，在高清设备上需要将原始图像放大。然后，高分辨率图像或视频文件的需要大量的存储。

最后，对这些高分辨率数据进行传输需要较高的带宽与时间，大大的影响了用户体验。

发明内容

本发明旨在至少部分地解决现有技术中存在的技术问题之一，提供一种超分辨率图像重构装置及方法，用以提升分辨率较低的图像的分辨率。

本发明公开了一种图像重构装置，用于对待处理图像进行超分辨率重构，包括：图像特征提取器、图像拉伸处理器，其中，

所述图像特征提取器被配置为对第一分辨率图像进行特征提取，得到具有类别属性的特征图；

所述图像拉伸处理器被配置为通过神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到第二分辨率图像。

可选地，所述图像特征提取器被配置为通过第一神经网络对第一分辨率图像进行特征提取，其中，所述第一神经网络包括浅层神经网络，所述浅层神经网络输出所述具有类别属性的特征图；

所述图像拉伸处理器被配置为通过包含反卷积层的第二神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到所述第二分辨率图像。

可选地，所述图像特征提取器被配置为根据所述第一分辨率图像的图像参数特征进行特征提取，得到所述具有类别属性的特征图；所述图像参数特征包括：像素点或像素点集合在图像中的位置、像素的亮度、像素的颜色中之一或任意组合。

可选地，在对待处理图像进行超分辨率重构之前，所述图像特征提取器还被配置为采用样本图像进行第一神经网络的训练；其中，

所述样本图像对包括第一分辨率样本图像与所述第一分辨率样本图像一一对应的第二分辨率样本图像；

所述图像特征提取器被配置为采用所述第一分辨率样本图像作为输入，以聚类或分类作为输出，通过训练第一神经网络，获得所述第一神经网络的参数组F1，以及基于所述参数组F1形成的第一神经网络。

可选地，在对待处理图像进行超分辨率重构之前，所述图像拉伸处理器还被配置为采用所述图像特征提取器输出的训练特征图和所述样本图像对中的第二分辨率样本图像训练第二神经网络，其中，

所述图像特征提取器输出的训练特征图包括所述第一神经网络对所述第一分辨率样本图像进行特征提取输出的训练特征图；

所述图像拉伸处理器被配置为采用所述训练特征图作为输入，采用对应的第二分辨率样本图像作为目标，通过训练第二神经网络，获得所述第二神经网络的参数组F2，以及基于所述参数组F2形成的第二神经网络。

可选地，在对待处理图像进行超分辨率重构之前，还对所述第一神经网络和所述第二神经网络进行调整，其中，

所述图像特征提取器被配置为采用所述第一分辨率样本图像作为具有参数组F1的第一神经网络的输入，所述图像拉伸处理器被配置为采用具有参数组F1的第一神经网络输出的特征图作为具有参数组F2的第二神经网络的输入，采用所述第二分辨率样本图像作为目标，通过训练具有参数组F1的第一神经网络和具有参数组F2的第二神经网络，获得调整后的参数组F1'和调整后的参数组F2'，以及基于所述参数组F1'和参数组F2'形成的第一神经网络和第二神经网络。

相应地，本发明还公开了一种图像重构方法，用于对待处理图像进行超分辨率重构，包括：

对第一分辨率图像进行特征提取，得到具有类别属性的特征图；

通过神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到第二分辨率图像。

可选地，所述对第一分辨率图像进行特征提取，得到具有类别属性的特征图的步骤，包括：

通过第一神经网络对第一分辨率图像进行特征提取，其中，所述第一神经网络包括浅层神经网络，所述浅层神经网络输出所述具有类别属性的特征图；

所述通过神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到第二分辨率图像的步骤，包括：

通过包含反卷积层的第二神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到所述第二分辨率图像。

可选地，所述对第一分辨率图像进行特征提取，得到具有类别属性的特征图的步骤，包括：

根据所述第一分辨率图像的图像参数特征进行特征提取，得到所述具有类别属性的特征图；所述图像参数特征包括：像素点或像素点集合在图像中的位置、像素的亮度、像素的颜色中之一或任意组合。

可选地，在对待处理图像进行超分辨率重构之前，还包括采用样本图像进行第一神经网络的训练的步骤；其中，

所述样本图像对包括第一分辨率样本图像与所述第一分辨率样本图像一一对应的第二分辨率样本图像；

采用样本图像进行第一神经网络的训练的步骤包括：采用所述第一分辨率样本图像作为输入，以聚类或分类作为输出，通过训练第一神经网络，获得所述第一神经网络的参数组F1，以及基于所述参数组F1形成的第一神经网络。

可选地，在对待处理图像进行超分辨率重构之前，还包括采用第一神经网络输出的对应第一分辨率样本图像的训练特征图和第二分辨率样本图像进行第二神经网络训练的步骤；具体包括：

采用所述训练特征图作为输入，采用对应的第二分辨率样本图像作为目标，通过训练第二神经网络，获得所述第二神经网络的参数组F2，以及基于所述参数组F2形成的第二神经网络。

可选地，在对待处理图像进行超分辨率重构之前，还包括对所述第一神经网络和所述第二神经网络进行调整的步骤，该步骤包括：

采用所述第一分辨率样本图像作为具有参数组F1的第一神经网络的输入，采用具有参数组F1的第一神经网络输出的特征图作为具有参数组F2的第二神经网络的输入，采用所述第二分辨率样本图像作为目标，通过训练具有参数组F1的第一神经网络和具有参数组F2的第二神经网络，获得调整后的参数组F1'和调整后的参数组F2'，以及基于所述参数组F1'和参数组F2'形成的第一神经网络和第二神经网络。

此外，本发明还提供了一种超分辨率图像重构设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机指令，所述处理器配置成执行所述计算机指令时实现如前所述方法的一个或多个步骤。

最后，本发明还公开了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现如前述所述方法的一个或多个步骤。

附图说明

图1为本发明的实施例1的图像重构装置的示意图；

图2为本发明的实施例1的图像重构装置的工作示意图；

图3为本发明的实施例2的超分辨率图像重构中训练阶段的示意图；

图4为本发明的实施例2的超分辨率图像重构中实施阶段的示意图；

图5为本发明的实施例3的超分辨率图像重构设备的示意图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。

在下述实施例中，第一分辨率、第二分辨率并不具体的限制分辨率的具体规格，只要满足第二分辨率高于第一分辨率即可。

实施例1：

如图1所示，本实施例提供一种图像重构装置，用于对待处理图像进行超分辨率重构，该系统包括：图像特征提取器、图像拉伸处理器，其中，图像特征提取器被配置为对第一分辨率图像进行特征提取，得到具有类别属性的特征图；图像拉伸处理器被配置为通过神经网络对特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到第二分辨率图像。

由于本实施例的图像重构装置中的图像特征提取器能够对具有第一分辨率的图像进行特征提取，得到具有类别属性的特征图，也即图像特征提取器至少具有聚类的功能(容易理解，具有分类功能也可以满足本申请的发明目的)，之后将所得到的特征图作为图像拉伸处理器中的神经网络的输入，并通过该神经网络对该特征图的类别属性相适应的分辨率提升处理，得到第二分辨率图像，也即得到超分辨率的图像。可以看出的是，在本实施例中没有将第一分辨率的图像直接输入至图像拉伸处理器进行拉伸，而是先对第一分辨率，也即低分辨率图像通过图像特征提取器进行特征聚类，使得超分辨率提升阶段对不同类别的画质提升滤波器有更好的适应性，端到端的卷积执行效率高。

其中，结合图2所示，在一些实施例中，图像特征提取器被配置为通过第一神经网络对第一分辨率图像进行特征提取，其中，第一神经网络包括浅层神经网络，所述浅层神经网络输出所述具有类别属性的特征图；也即，将第一分辨率图像输入至浅层神经网络中进行聚类，得到具有类别的特征图。

当然，在本实施例中图像特征提取器不局限于通过第一神经网络对第一分辨率图像进行特征提取；图像特征提取器还可以被配置为通过传统的机器学习方法根据所述第一分辨率图像的图像参数特征进行特征提取，得到所述具有类别属性的特征图；例如，可以通过BIRCH方法、ROCK方法、kNN方法、k-means方法等构建用于聚类的机器学习模型。

容易理解，除了聚类方法之外，还可以通过有监督训练的分类方法，例如softmax分类器等形成图像特征提取器。由于分类方法的分类性能受到样本图像数据集的限制，当旨在进行超分辨率重构的第一分辨率图像种类有限或具有特定分类特征时，更适用于分类方法。

其中，所称的浅层神经网络是相对本领域所称的深度神经网络而言，作为浅层神经网络的一个典型实现，例如可以是三层神经网络(输入层-1个隐含层-输出层)。

在本发明的实施例中，图像参数特征包括：像素点或像素点集合在图像中的位置、像素的亮度、像素的颜色中之一或任意组合。

在一些实施例中，图像拉伸处理器被配置为通过包含反卷积层的第二神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到所述第二分辨率图像。也就是说，图像拉伸处理器中所应用的第二神经网络为深度神经网络。

具体的，可以将图像拉升功能内嵌到深度CNN网络(深度卷积神经网络)中，也即第二神经网络，并在该网络中增加反卷积层，同时设置不同的步长，以使图像拉伸处理器在拉升图像的同时提高图像的画质。

在一些实施例中，在对待处理图像进行超分辨率重构之前，图像特征提取器还被配置为采用样本图像对进行第一神经网络的训练；其中，所述样本图像对包括第一分辨率样本图像和第二分辨率样本图像；简言之，图像特征提取器还被配置为通过训练得到第一神经网络。

具体的，图像特征提取器被配置为采用第一分辨率样本图像作为输入，以聚类或分类作为训练的目标，通过第一神经网络的迭代训练，获得第一神经网络的符合预设的变化范围阈值的参数组F1，以及基于参数组F1形成的第一神经网络。

例如，作为聚类的一种实现，可以通过EM算法对第一神经网络进行迭代训练以实现其对输入具有聚类输出能力。

在一些实施例中，在对待处理图像进行超分辨率重构之前，图像拉伸处理器还被配置为采用所述图像特征提取器输出的训练特征图和所述样本图像对中的第二分辨率样本图像进行第二神经网络的调整，其中，图像特征提取器输出的训练特征图包括具有参数组F1的第一神经网络对所述第一分辨率样本图像进行特征提取，其隐含层输出的训练特征图；简言之，图像拉伸处理器还被配置为通过训练得到第二神经网络。

具体的，图像拉伸处理器被配置为采用所述训练特征图作为输入，采用所述样本图像对中的第二分辨率样本图像作为目标，通过第二神经网络的迭代训练，获得第二神经网络的符合预设的变化范围阈值的参数组F2，以及基于参数组F2形成的第二神经网络。

本领域技术人员容易理解，所述第二分辨率样本图像作为目标，指的是作为训练第二神经网络的必要步骤，在构建用于形成参数组F2的代价函数时，使用第二分辨率的真实样本图像作为基准，第二神经网络输出的第二分辨率图像与第二分辨率的样本图像的差异构建代价函数。

在一些实施例中，第二神经网络可以自行设计包括反卷基层的CNN神经网络，也可以采用本领域已有的相关神经网络，例如ScSR、SRCNN、Fast-SRCNN等。

在一些实施例中，在对待处理图像进行超分辨率重构之前，还对第一神经网络和第二神经网络进行调整(训练)。

具体的，图像特征提取器被配置为采用第一分辨率样本图像作为具有参数组F1的第一神经网络的输入，图像拉伸处理器被配置为采用具有参数组F1的第一神经网络的隐含层输出的特征图作为具有参数组F2的第二神经网络的输入，采用第二分辨率样本图像作为目标，通过训练相连接的第一和第二神经网络以调整参数组F1和参数组F2，获得参数组F1'和参数组F2'，以及具有参数组F1'的第一神经网络和具有参数组F2'的第二神经网络。

本申请提供的图像重构装置，在第二神经网络的训练过程中，首先固定第一神经网络的参数F1，仅通过反向传导算法调整图像拉伸及画质提升的第二神经网络的参数F2。在这个过程中使用了第二分辨率的真实图像作为目标，通过比较模型输出与目标图像构建代价函数。通过大量训练样本，与通用的深度学习训练方法训练模型的参数以达到对目标的最佳逼近。第二神经网络训练结束后，解锁第一神经网络的卷积层的参数，然后采用调整后的第一神经网络输出的特征图作为输入，采用第二分辨率样本图像作为目标，调整参数F1和参数F2，获得参数F1'和参数F2'，以及所形成的满足本申请要求的第一神经网络和第二神经网络，优化了网络的精度。

容易理解，在通过训练形成的最终的图像重构装置中，第二神经网络的输入层与第一神经网络的隐藏层连接。

之所以如此设置，是因为在第一神经网络的训练阶段使用EM算法进行聚类是为了迭代获得第一神经网络的参数F1，一旦形成了初步的卷积模型，由于在提升图像分辨率时不需要进行聚类，在实施阶段，聚类输出层就不需要了。

本发明的实施例中，第一神经网络仅需要执行聚类功能，且需要将其特征图像直接输出给第二神经网络因此，无需使用深度CNN网络。

例如，第一神经网络可以采用浅层神经网络，在其卷积层，设置16个、大小为3*3的卷积核。

本发明的实施例中，第二神经网络为深度卷积神经网络，在其输入端或输出端上设置上采样层以提升图像分辨率。

例如，上采样层为深度卷积神经网络后端的反卷积层。

之所以将反卷积层设置在深度卷积神经网络的后端，是因为反卷积层放在前端会影响CNN的执行效率。

作为第二神经网络的一个示例，采用具有四个卷积层，反卷积层连接到最后一层的CNN，在四个卷积层中，每个卷积层的卷积核大小依次为3*3、1*3、3*1和1*1，卷积核的数量可以根据分辨率重构的需要进行人工或者训练调整。

实施例2：

本实施例提供一种超分辨率图像的重构方法，该方法可以采用实施例1中的超分辨率图像的重构装置。

本实施例中的超分辨率图像的重构方法，包括训练和实施两个阶段。具体步骤如下：

训练阶段：

结合图3所示，S01、采用样本图像对进行第一神经网络的训练；其中，所述样本图像对包括第一分辨率样本图像和第二分辨率样本图像。

例如，在该步骤中将样本图像对中的第一分辨率样本图像作为输入，以聚类或分类作为输出，通过第一神经网络的迭代训练，获得所述第一神经网络的符合预设的变化范围阈值的参数组F1，以及具有参数组F1的第一神经网络。

容易理解，在样本库中预先存储有若干个样本图像对；每个样本图像对包括第一分辨率图像和一个与该第一分辨率图像一一对应的第二分辨率图像。

在一些实施例中，步骤S01包括：

S011、将所述样本图像对中的第一分辨率图像划分成一系列的样本图像块。

S012、采用EM算法对所述样本图像块进行聚类，根据聚类结果，对第一神经网络的参数F1进行调整，直到形成具有参数组F1的第一神经网络。

在一些实施例中，步骤S012可以包括：

对每个所述第一分辨率样本图像块提取特征图；根据所提取的特征图，采用EM算法对所述样本图像块进行聚类，根据聚类结果，对第一神经网络的模型参数进行调整，以形成具有参数组F1的第一神经网络。

其中，第一神经网络包括浅层神经网络。上述的对每个所述样本图像块进行特征提取的步骤包括：

采用16个、3*3卷积核的作为所述浅层神经网络的卷积层，对每个所述样本图像块进行特征提取。

S02、采用训练特征图和样本图像对中的第二分辨率样本图像进行第二神经网络的训练。

在该步骤中，可以采用第一神经网络隐含层(卷积层)输出的训练特征图作为输入，采用所述样本图像对中的第二分辨率样本图像作为目标，通过所述第二神经网络的迭代训练，获得所述第二神经网络的符合预设的变化范围阈值的参数组F2，以及具有所述参数组F2的第二神经网络。

也就是说，将样本图像对中的第一分辨率图像输入至具有参数组F1的第一神经网络，经由第一神经网络输出对应的特征图，输入至第二神经网络中，获取第二分辨率图像，将该第二分辨率图像与样本图像对中的第二分辨率图像(样本图像对中的第二分辨率图像与步骤S01中输入第一神经网络中的样本图像对中的第一分辨率图像相对应)进行比较，根据比较结果对第二神经网络中的参数进行调整，得到具有参数组F2的第二神经网络。

S03、对相连接的第一神经网络和第二神经网络进行调整。

具体的，采用所述第一分辨率样本图像作为具有参数组F1的第一神经网络的输入；采用第一神经网络卷积层输出的特征图作为具有参数组F2的第二神经网络的输入；采用所述样本图像对中的第二分辨率样本图像作为目标，调整参数组F1和F2，获得参数组F1'和F2'，以及具有参数组F1'的第一神经网络和具有参数组F2'的第二神经网络。

也就是说，将样本图像对中的第一分辨率图像输入至具有参数组F1的第一神经网络，经由第一神经网络所输出的特征图输入至具有参数组F2的第二神经网络，获取第二分辨率图像，将所述第二分辨率图像与样本图像对中的第二分辨率图像进行比较，根据比较结果对参数组F1和F2进行调整，以获取优化后的参数组F1＇和F2＇，以及具有参数组F1'的第一神经网络和具有参数组F2'的第二神经网络。

其中，在步骤S01至S03中模型参数F1、模型参数F2、模型参数F1＇和模型参数F2＇设置为在调整过程中的步长不同。

实施阶段：

S11、对第一分辨率图像进行特征提取，得到具有类别属性的特征图。

S12、通过神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到第二分辨率图像。

结合图4所示，以下介绍一种具体的实施：

S21、通过上述训练形成的第一神经网络对第一分辨率图像进行特征提取，得到具有类别属性的特征图。

S22、通过包含反卷积层的第二神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到所述第二分辨率图像。

本实施例的超分辨率图像的重构方法，首先，训练第一神经网络和第二神经网络，以使第一神经网络具有聚类功能，对所输入的第一分辨率，也即低分辨率的图像进行聚类，之后可以将输出的特征图输入至第二神经网络，以使得输入至第二神经网络中的特征图能够被重构以形成第二分辨率，也即超分辨率的图像。之后，利用训练完成的第一神经网络和第二伸进网络将输入的低分辨率图像重构为超分辨率的图像，满足提升图像分辨率的需求。

实施例3：

本实发明施例提供了一种超分辨率图像重构设备，其中本发明实施例2的超分辨率重构方法可以由超分辨率图像重构设备来实现。图5示出了本发明实施例提供的超分辨率图像重构设备的硬件结构示意图。

该设备可以包括处理器以及存储有计算机指令的存储器。

具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ASIC)，或者现场可编程逻辑阵列FPGA，或者图像处理器GPU，或者可以被配置成实施本发明实施例方法的一个或多个集成电路。

存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种图像重构方法的一个或多个步骤。

在一个示例中，所述设备还可包括通信接口和总线。其中，如图5所示，处理器、存储器、通信接口通过总线连接并完成相互间的通信。

通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线包括硬件、软件或两者，将设备的各个部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

实施例4：

本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种图像重构方法的一个或多个步骤。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、局域网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (8)

1.一种图像重构装置，用于对待处理图像进行超分辨率重构，其特征在于，包括：图像特征提取器、图像拉伸处理器，其中，

所述图像特征提取器被配置为对第一分辨率图像进行特征提取，得到具有类别属性的特征图；

所述图像拉伸处理器被配置为通过神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到第二分辨率图像；

所述图像特征提取器被配置为通过第一神经网络对第一分辨率图像进行特征提取，其中，所述第一神经网络包括浅层神经网络，所述浅层神经网络输出所述具有类别属性的特征图；

所述图像拉伸处理器被配置为通过包含反卷积层的第二神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到所述第二分辨率图像；

在对待处理图像进行超分辨率重构之前，所述图像特征提取器还被配置为采用样本图像进行第一神经网络的训练；其中，

所述样本图像对包括第一分辨率样本图像与所述第一分辨率样本图像一一对应的第二分辨率样本图像；

所述图像特征提取器被配置为采用所述第一分辨率样本图像作为输入，以聚类或分类作为输出，通过训练第一神经网络，获得所述第一神经网络的参数组F1，以及基于所述参数组F1形成的第一神经网络；

在对待处理图像进行超分辨率重构之前，所述图像拉伸处理器还被配置为采用所述图像特征提取器输出的训练特征图和所述样本图像对中的第二分辨率样本图像训练第二神经网络，其中，

所述图像特征提取器输出的训练特征图包括所述第一神经网络对所述第一分辨率样本图像进行特征提取输出的训练特征图；

所述图像拉伸处理器被配置为采用所述训练特征图作为输入，采用对应的第二分辨率样本图像作为目标，通过训练第二神经网络，获得所述第二神经网络的参数组F2，以及基于所述参数组F2形成的第二神经网络。

2.根据权利要求1所述的图像重构装置，其特征在于，所述图像特征提取器被配置为根据所述第一分辨率图像的图像参数特征进行特征提取，得到所述具有类别属性的特征图；所述图像参数特征包括：像素点或像素点集合在图像中的位置、像素的亮度、像素的颜色中之一或任意组合。

3.根据权利要求1所述的图像重构装置，其特征在于，在对待处理图像进行超分辨率重构之前，还对所述第一神经网络和所述第二神经网络进行调整，其中，

所述图像特征提取器被配置为采用所述第一分辨率样本图像作为具有参数组F1的第一神经网络的输入，所述图像拉伸处理器被配置为采用具有参数组F1的第一神经网络输出的特征图作为具有参数组F2的第二神经网络的输入，采用所述第二分辨率样本图像作为目标，通过训练具有参数组F1的第一神经网络和具有参数组F2的第二神经网络，获得调整后的参数组F1'和调整后的参数组F2'，以及基于所述参数组F1'和参数组F2'形成的第一神经网络和第二神经网络。

4.一种图像重构方法，用于对待处理图像进行超分辨率重构，其特征在于，包括：

对第一分辨率图像进行特征提取，得到具有类别属性的特征图；

通过神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到第二分辨率图像；所述对第一分辨率图像进行特征提取，得到具有类别属性的特征图的步骤，包括：

通过第一神经网络对第一分辨率图像进行特征提取，其中，所述第一神经网络包括浅层神经网络，所述浅层神经网络输出所述具有类别属性的特征图；

所述通过神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到第二分辨率图像的步骤，包括：

通过包含反卷积层的第二神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到所述第二分辨率图像；

在对待处理图像进行超分辨率重构之前，还包括采用样本图像进行第一神经网络的训练的步骤；其中，

所述样本图像对包括第一分辨率样本图像与所述第一分辨率样本图像一一对应的第二分辨率样本图像；

采用样本图像进行第一神经网络的训练的步骤包括：采用所述第一分辨率样本图像作为输入，以聚类或分类作为输出，通过训练第一神经网络，获得所述第一神经网络的参数组F1，以及基于所述参数组F1形成的第一神经网络；

在对待处理图像进行超分辨率重构之前，还包括采用第一神经网络输出的对应第一分辨率样本图像的训练特征图和第二分辨率样本图像进行第二神经网络训练的步骤；具体包括：

采用所述训练特征图作为输入，采用对应的第二分辨率样本图像作为目标，通过训练第二神经网络，获得所述第二神经网络的参数组F2，以及基于所述参数组F2形成的第二神经网络。

5.根据权利要求4所述的图像重构方法，其特征在于，所述对第一分辨率图像进行特征提取，得到具有类别属性的特征图的步骤，包括：

根据所述第一分辨率图像的图像参数特征进行特征提取，得到所述具有类别属性的特征图；所述图像参数特征包括：像素点或像素点集合在图像中的位置、像素的亮度、像素的颜色中之一或任意组合。

6.根据权利要求4所述的图像重构方法，其特征在于，在对待处理图像进行超分辨率重构之前，还包括对所述第一神经网络和所述第二神经网络进行调整的步骤，该步骤包括：

采用所述第一分辨率样本图像作为具有参数组F1的第一神经网络的输入，采用具有参数组F1的第一神经网络输出的特征图作为具有参数组F2的第二神经网络的输入，采用所述第二分辨率样本图像作为目标，通过训练具有参数组F1的第一神经网络和具有参数组F2的第二神经网络，获得调整后的参数组F1'和调整后的参数组F2'，以及基于所述参数组F1'和参数组F2'形成的第一神经网络和第二神经网络。

7.一种超分辨率图像重构设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机指令，所述处理器配置成执行所述计算机指令时实现如权利要求4-6中任一项所述方法的一个或多个步骤。

8.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现如权利要求4-6中任一项所述方法的一个或多个步骤。