CN111724448A - 一种图像超分辨重建方法、装置和终端设备 - Google Patents

Abstract

本申请实施例公开了一种图像超分辨重建方法、装置和终端设备，所述方法包括：通过摄像头获取N张原始raw图像，所述N为1或者大于1的整数；根据所述N张raw图像通过初步操作得到第一图像，将所述N张raw图像输入神经网络，得到所述神经网络输出的第一细节信息；将所述第一细节信息叠加到所述第一图像，得到所述N张raw图像对应的超分辨率图像。采用本申请实施例提供的技术方案，通过在初步操作得到的第一图像上叠加神经网络输出的第一细节信息，可以得到包括更多细节信息的超分辨率图像，因此，采用本申请实施例提供的技术方案可以得到清晰的图像。

Description

一种图像超分辨重建方法、装置和终端设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像超分辨重建方法、装置和终端设备。

背景技术

智能手机、平板电脑等具有轻薄特性并安装了定焦镜头的便携式终端设备，用户可以通过变焦调整拍照的构图，定焦镜头实现变焦时利用数码变焦技术实现被拍摄景物放大显示，但是图像的清晰度通常有损失，尤其在放大倍数较大时，拍出图像经常不清晰，不能满足用户的要求。

为了得到清晰的图像，可以采用图像超分辨重建方法，图像超分辨重建方法是基于信号处理技术实现从单幅或多幅低分辨率图像中重建出高分辨率图像，通过恢复出图像在采集过程中所丢失的高频细节信息，达到提高图像分辨率的目的。最终图像在分辨率上与原图像相比有较大的提升，可以提供更多的细节信息，最终图像也更接近于理想图像。

图像超分辨重建目前已有多种方法，比如，谷歌提出过一种图像超分辨重建的方法，该方法通过多帧配准的方式进行去马赛克，利用帧间的位移填补缺失的像素。具体地，通过将图像依次向右、向下、向左移动一个像素，就能完整重建出彩色图像。这种方法像素值都是通过真实图像恢复，而不是通过插值得到，从而提升了图像的分辨率。需要说明的是，谷歌提供的这种方法理论上会提高图像的分辨率，但是实际使用时并不理想，因为该方法需要对图像进行一个像素的偏移，实际使用时，图像很难精确地实现单个像素的偏移，因此采用该方法进行图像超分辨重建得到的图像也不理想。

所以，如何使安装定焦镜头的终端设备拍出清晰的图像是目前亟待解决的问题。

发明内容

本申请实施例提供了一种图像超分辨重建方法、装置和终端设备，能够使重建后的图像包含更多的细节信息，更清晰。

第一方面，本申请实施例提供了一种图像超分辨重建方法，包括：通过摄像头获取N张原始raw图像，所述N为1或者大于1的整数；根据所述N张raw图像通过初步操作，得到第一图像，所述第一图像为彩色的三通道图像；将所述N张raw图像输入神经网络，得到所述神经网络输出的第一细节信息；将所述第一细节信息叠加到所述第一图像，得到所述N张raw图像对应的超分辨率图像。

其中，第一细节信息可以是表示图像细节的数据集合，也可以是表示图像细节的图像。

在具体实施时，用户可以通过点击显示屏上的拍照按键触发拍照指令，在获取拍照指令之后，摄像头可以获取N张raw图像。需要说明的是，在拍照之前通过显示界面预览被拍摄景物时，用户可以执行变焦操作，比如，将与显示屏接触的两个手指之间的距离变大，可增大变焦倍率；将与显示屏接触的两个手指之间的距离变小，可缩小变焦倍率。

在一些可能的实施例中，通过摄像头获取N张raw图像可以包括：根据拍照指令对应的变焦倍率将所述摄像头获取的N张图像进行裁剪得到与所述变焦倍率对应的N张raw图像。

在一些可能的实施例中，初步操作可以包括：对待处理的N张图像中的任一图像进行插值操作；或者，对第一降噪图像进行插值操作，所述第一降噪图像为对待处理的N张图像进行多帧降噪得到的图像。

在一些可能的实施例中，所述神经网络可以是以N张模拟的raw图像为输入，以通过待训练神经网络得到的所述N张模拟的raw图像对应的超分辨率图像与高清图像的差异为损失函数，对所述待训练神经网络进行训练得到；所述N张模拟的raw图像是通过对所述高清图像进行退化处理，并按照raw图像的数据格式生成的图像；所述N张模拟的raw图像对应的超分辨率图像为所述待训练神经网络输出的所述N张模拟的raw图像对应的第二细节信息与根据所述N张模拟的raw图像得到的第二图像的叠加，所述第二图像为根据所述N张模拟的raw图像通过所述初步操作得到的图像。

在一些可能的实施例中，所述N张raw图像的格式为拜耳bayer格式或者库卓quadra格式；若所述N张raw图像的格式为quadra格式，则所述根据所述N张raw图像通过初步操作得到第一图像，包括：将所述N张raw图像经分箱binning处理转换为bayer格式的N张图像，对转换为bayer格式的所述N张图像执行所述初步操作得到第一图像。若所述N张raw图像的格式为quadra格式，所述N张模拟的raw图像是quadra格式的图像；所述第二图像为将所述N张模拟的raw图像经binning处理转换为bayer格式，对转换后bayer格式的所述N张模拟的raw图像执行所述初步操作得到的图像。

采用本申请实施例提供的技术方案，通过在初步操作得到的第一图像上叠加神经网络输出的第一细节信息，可以得到包括更多细节信息的超分辨率图像，因此，采用本申请实施例提供的技术方案可以得到清晰的图像。

第二方面，本申请实施例提供了一种图像超分辨重建装置，包括：获取单元，用于通过摄像头获取N张原始raw图像，所述N为1或者大于1的整数；第一处理单元，用于根据所述N张raw图像通过初步操作，得到第一图像，所述第一图像为彩色的三通道图像。第二处理单元，用于将所述N张raw图像输入神经网络，得到所述神经网络输出的第一细节信息；叠加单元，用于将所述第一细节信息叠加到所述第一图像，得到所述N张raw图像对应的超分辨率图像。

在一些可能的实施例中，所述神经网络是以N张模拟的raw图像为输入，以通过待训练神经网络得到的所述N张模拟的raw图像对应的超分辨率图像与高清图像的差异为损失函数，对所述待训练神经网络进行训练得到；所述N张模拟的raw图像是通过对所述高清图像进行退化处理，并按照raw图像的数据格式生成的图像；所述N张模拟的raw图像对应的超分辨率图像为所述待训练神经网络输出的所述N张模拟的raw图像对应的第二细节信息与根据所述N张模拟的raw图像得到的第二图像的叠加，所述第二图像为根据所述N张模拟的raw图像通过所述初步操作得到的图像。

在一些可能的实施例中，所述初步操作包括：对待处理的N张图像中的任一图像进行插值操作；或者，对第一降噪图像进行插值操作，所述第一降噪图像为对待处理的N张图像进行多帧降噪得到的图像。

在一些可能的实施例中，所述N张raw图像的格式为拜耳bayer格式或者库卓quadra格式；若所述N张raw图像的格式为quadra格式，则所述第一处理单元在根据所述N张raw图像通过初步操作得到第一图像方面，具有用于：将所述N张raw图像经分箱binning处理转换为bayer格式的N张图像，对转换为bayer格式的所述N张图像执行所述初步操作得到第一图像；若所述N张raw图像的格式为quadra格式，所述N张模拟的raw图像是quadra格式的图像；所述第二图像为将所述N张模拟的raw图像经binning处理转换为bayer格式，对转换后bayer格式的所述N张模拟的raw图像执行所述初步操作得到的图像。

在一些可能的实施例中，所述获取单元具体用于，根据拍照指令对应的变焦倍率将所述摄像头获取的N张图像进行裁剪得到与所述变焦倍率对应的N张raw图像。

第三方面，本申请实施例提供了一种终端设备，包括摄像头、处理器和存储器，所述摄像头，用于在所述处理器获取拍照指令后，获取N张原始raw图像，所述N为1或者大于1的整数；所述存储器，用于存储可在所述处理器上运行的计算机程序；所述处理器，用于执行用于执行如第一方面或者第一方面任一可能的实施例中所述的方法的部分或全部步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有指令和神经网络对应的计算机程序，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1至5中任一项所述的方法。

第五方面，本申请实施例提供了一种终端设备，包括摄像头、处理器和神经网络单元；述摄像头，用于在所述处理器获取拍照指令后，获取N张原始raw图像，所述N为1或者大于1的整数；所述神经网络单元，用于以所述N张raw图像为输入，得到第一细节信息；所述处理器，用于执行如第一方面或者第一方面任一可能的实施例中所述的方法的部分或全部步骤。

第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行如第一方面或者第一方面任一可能的实施例中所述的方法的部分或全部步骤。

第七方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的计算机可读存储介质，该计算机程序使得计算机执行如第一方面或者第一方面任一可能的实施例中所述的方法的部分或全部步骤。

采用本申请实施例提供的技术方案，通过在初步操作得到的第一图像上叠加神经网络输出的第一细节信息，可以得到包括更多细节信息的超分辨率图像，因此，采用本申请实施例提供的技术方案可以得到清晰的图像。

附图说明

图1为本申请的一个实施例提供的一种图像超分辨重建方法的流程示意图。

图2为本申请的另一个实施例提供的一种图像超分辨重建装置的结构示意图。

图3A为本申请的另一个实施例提供的一种终端设备的结构示意图。

图3B为本申请的另一个实施例提供的一种终端设备的结构示意图。

图4为本申请的另一个实施例提供的一种终端设备的结构示意图。

图5A为本申请的一个实施例中超分辨处理单元得到的低清图像。

图5B为与图5A对应的细节图像中红色通道对应的细节示意图。

图5C为与图5A对应的细节图像中绿色通道对应的细节示意图。

图5D为与图5A对应的细节图像中蓝色通道对应的细节示意图。

图5E为该实施例经图像超分辨重建后得到的高分辨率图像。

图6A是本申请一实施例中bayer格式的原始图像的局部示意图。

图6B是本申请一实施例中quadra格式的原始图像的局部示意图。

图6C是将图6B所示quadra格式的局部示意图转换为bayer格式的局部示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的图像超分辨重建方法，包括：通过摄像头获取N张原始raw图像，所述N为1或者大于1的整数；根据所述N张raw图像通过初步操作，得到第一图像，所述第一图像为彩色的三通道图像；将所述N张raw图像输入神经网络，得到所述神经网络输出的第一细节信息；将所述第一细节信息叠加到所述第一图像，得到所述N张raw图像对应的超分辨率图像。

在一些可能的实施例中，在获取N张raw图像之前，还可以包括获取拍照指令，根据拍照指令对应的变焦倍率对摄像头获取的图像进行裁剪，裁剪后与变焦倍率对应的图像作为raw图像。

本申请实施例中，终端设备可以是具有轻薄特性并安装了定焦镜头的便携式设备，比如：具有拍照功能的移动电话(或称为“蜂窝”电话)、智能手机、便携式可穿戴设备(如智能手表等)、平板电脑、个人电脑(PC，Personal Computer)、PDA(Personal DigitalAssistant，个人数字助理)等。

请参阅图1，图1为本申请的一个实施例提供的一种图像超分辨重建方法的流程示意图，在该实施例中，所述方法由处理器执行可以包括以下步骤：

步骤101、在获取拍照指令后，根据拍照指令对应的变焦倍率对摄像头获取的N张图像进行裁剪，得到与所述变焦倍率对应的N张raw图像，N为1或者大于1的整数。

在一些可能的实施例中，拍照指令可以由用户点击显示屏上的拍照按键触发，在拍照之前，通过显示界面预览被拍摄景物时，用户可以执行变焦操作，比如，将与显示屏接触的两个手指之间的距离变大，可增大变焦倍率；将与显示屏接触的两个手指之间的距离变小，可缩小变焦倍率。根据变焦倍率可以对摄像头实时获取的N张raw图像进行裁剪，举例来说，若变焦倍率为两倍，对摄像头获取的N图像中任一图像进行裁剪时，以当前显示图像的中心为中心，横边和竖边都裁减掉一半。需要说明的是，在一些可能的实施例中，摄像头具体采集几张图像，对于某种类型的终端设备可以在终端设备出厂之前预先设定好的，具体帧数可以根据终端设备的性能确定，比如，性能较差的可以设为采集一帧，性能较好的可以设为采集4帧，性能更好的可以设为采集6帧等，具体可以根据终端的性能也可以根据其他标准预先设定好。

步骤102、根据所述N张raw图像通过初步操作得到第一图像，所述第一图像为彩色的三通道图像。

在一些可能的实施例中，初步操作包括：对待处理的N张图像中的任一图像进行插值操作；或者，对第一降噪图像进行插值操作，所述第一降噪图像为对待处理的N张图像进行多帧降噪得到的图像。

在一些可能的实施例中，初步操作可以包括如下处理方法中的一个或者多个：黑电平矫正、镜头渐晕矫正、和去马赛克插值处理等操作。需要说明的是，当初步操作是对1张图像进行处理时，这一张图像可以是N张raw图像中的任一张图像，也可以是按照预设的规则选取的一张图像，比如，可以是从N张图像中选取的最清晰的一张图像，这里不做限定，需要说明的是，这里一张图像的确定方法与待训练神经网络从N张模拟的raw图像中确定一张图像来执行初步操作时的确定方法一致。

在一些可能的实施例中，N可以为大于2或者等于2整数，比如，N＝4。初步操作可以包括如下操作中的一个或者多个：多帧降噪、鬼影降噪、黑电平矫正、镜头渐晕矫正、和去马赛克插值处理等操作。

需要说明的是，神经网络可以是以N张模拟的raw图像为输入，以通过待训练神经网络得到的所述N张模拟的raw图像对应的超分辨率图像与高清图像的差异为损失函数，对所述待训练神经网络进行训练得到；N张模拟的raw图像可以是通过对高清图像进行退化处理，并按照raw图像的数据格式生成的图像；N张模拟的raw图像对应的超分辨率图像为待训练神经网络输出的N张模拟的raw图像对应的第二细节信息与根据N张模拟的raw图像得到的第二图像的叠加，第二图像为根据所述N张模拟的raw图像通过所述初步操作得到的图像。

举例来说，若N＝4，则在训练时预先准备1张清晰的图像P，然后对图像P经预先构建的退化过程得到4张退化后的图像，预先构建的退化过程可以是对图像P进行随机移动得到的图像，比如在小范围内平移随机的像素或者转动随机的角度等模拟拍照时手抖或者随机的位移产生的图像退化，然后根据4张raw图像通过初步操作得到第一图像。

步骤103、将所述N张raw图像输入神经网络，得到所述神经网络输出的第一细节信息。

神经网络是以N张模拟的raw图像为输入，以通过待训练神经网络得到的所述N张模拟的raw图像对应的超分辨率图像与高清图像的差异为损失函数，对所述待训练神经网络进行训练得到；所述N张模拟的raw图像是通过对所述高清图像进行退化处理，并按照raw图像的数据格式生成的图像；所述N张模拟的raw图像对应的超分辨率图像为所述待训练神经网络输出的所述N张模拟的raw图像对应的第二细节信息与根据所述N张模拟的raw图像得到的第二图像的叠加，所述第二图像为根据所述N张模拟的raw图像通过所述初步操作得到的图像。

在一些可能的实施例中，损失函数可以采用两个图像中颜色亮度直接做差或者做差的平方等操作，当两张图像差异很大时，损失函数的值也很大，这时可以反推待训练神经网络中的参数如何改变可以使损失函数足够小，这是待训练神经网络的训练过程。训练好的神经网络输入至少一张图像后，可以得到表示图像细节的数据集合或者细节图像。

步骤104、将所述第一细节信息叠加到所述第一图像，得到所述N张raw图像对应的超分辨率图像。

在一些可能的实施例中，第一细节信息对应的图像与第一图像的尺寸可能不一致，这时可以将第一图像进行缩放使其尺寸与第一细节信息对应的图像一致，然后再将第一细节信息对应的图像与缩放后的第一图像相加，得到超分辨率图像。

在一些可能的实施例中，还可以进一步对叠加后得到的图像增强处理。

图像增强操作可以包括：伽马矫正、对比增强和锐化等。

本申请实施例提供的技术方案，通过在初步操作得到的第一图像上叠加神经网络输出的第一细节信息，可以得到包括更多细节信息的超分辨率图像，因此，采用本申请实施例提供的技术方案可以得到清晰的图像。

本申请实施例主要应用在终端设备获取触发拍照指令后，对摄像头获取的图像进行处理，得到清晰图像的场景。为了方便理解，按照摄像头拍摄的原始图像的格式，以及在获取拍照指令后，摄像头获取的原始图像的个数N，以及执行初步操作的图像的个数M，分如下5个具体场景进行描述。可以理解的，本申请实施时，不限于下面5个应用场景：

应用场景1，N＝4，M＝4，摄像头拍摄的原始图像为bayer格式。

应用场景2，N＝4，M＝1，摄像头拍摄的原始图像为bayer格式。

应用场景3，N＝4，M＝2，摄像头拍摄的原始图像为bayer格式。

应用场景4，N＝1，M＝1，摄像头拍摄的原始图像为bayer格式。

应用场景5，N＝4，M＝4，摄像头拍摄的原始图像为quadra格式。

上述5个场景对应的终端设备可以如图3A所示，终端设备300可以包括：摄像头301、存储器302、处理器303和显示单元304，神经网络可以为软件，具体地可以以应用软件或者动态链接库等形态存储在存储器302中，当处理器303接收到拍照指令后，处理器303可以调用保存在存储器302中的神经网络。需要说明的是，在一些实施例中，神经网络也可以以硬件形式存在，即集成了软件功能的硬件结构，如图3B所示，终端设备300可以包括：摄像头301、存储器302、处理器303、显示单元304和神经网络单元305。图3A和图3B对应的终端设备，在执行图像超分辨重建时除了神经网络存在形态不同，其他部分没有实质区别，为了便于描述，下面在对各应用场景的实施过程进行描述时，统一采用图3A对应的结构进行描述。

实施例一

对应场景1，其中，N＝4，M＝4，摄像头301拍摄的原始图像为bayer格式。

在该实施例中，处理器303获取拍照指令后，摄像头301实时获取4帧原始图像，若拍照指令对应的变焦倍率为2，则处理器4对任一原始图像进行裁剪，具体地，以当前显示图像的中心为中心，横边和竖边都裁减掉一半。得到四张图像分别为T1、T2、T3和T4。

处理器303调用存储在存储器302中的神经网络，神经网络输出细节信息。

处理器303对T1、T2、T3和T4这四张图像进行初步操作。比如进行多帧降噪、鬼影降噪、黑电平校正、镜头渐晕校正、去马赛克插值操作、图像缩放等操作得到第一图像T5。神经网络还对处理器303输入的T1、T2、T3和T4四张图像执行学习过程，得到细节图像，细节图像对应RGB红绿蓝三种颜色，包括红色通道对应的细节图像、绿色通道对应的细节图像和蓝色通道对应的细节图像。采用该实施例得到的第一图像T5如图5A所示，神经网络输出的第一细节信息包括如图5B、图5C和图5D所示的3张图像，其中，图5B为与图5A对应的细节图像中红色通道对应的细节示意图。图5C为与图5A对应的细节图像中绿色通道对应的细节示意图。图5D为与图5A对应的细节图像中蓝色通道对应的细节示意图。图5B、图5C和图5D中越黑表示对应颜色数值越小，越亮标识对应颜色数值越大，然后处理器可以将图5B、图5C和图5D对应的颜色信息叠加到图5A所示的第一图像上，然后经过伽马矫正、对比增强和锐化等图像增强操作得到图5E所示的清晰的超分辨率图像。

需要说明的是，初步操作不限于上述提到的多帧降噪、鬼影降噪、黑电平校正、镜头渐晕校正、去马赛克插值操作、图像缩放等操作，可以包括这几种操作的一部分，也可以包括这里提到的各种操作，还可以包括其他的图像清晰化处理操作，这里不做限定。

其中，多帧降噪是成熟的现有技术，主要是从采集的多张图像中选取一张图像作为参考帧，通过配准技术进行配准，使得多张图像的内容和参考帧对齐。然后对多张图像进行平均，以去除噪声。图像中如果存在运动物体，那么物体在每一张图像上的位置是不同的，在多张图像平均过程中，运动物体的区域不会参与平均，而是只用参考帧的内容，这个过程称为鬼影检测。检测为鬼影的区域，因为没有经过平均，噪声会比较大，因此可以重点对鬼影区域进行去噪。现有的单帧降噪技术都能用来实现这个功能。

对图像进行黑电平矫正，镜头渐晕矫正等图像处理，是为了得到亮度和颜色正确的图像而进行的一般性处理。处理之后的bayer图像经过去马赛克插值操作，得到彩色的三通道图像(每个像素都有红绿蓝三个分量)，在这里去马赛克操作可以是任意插值方式，通常越简单的去马赛克插值和神经网络的配合会越容易，从而得到更好的效果，因此该实施例中可以采用双线性插值的方法去马赛克。

实施例二

对应场景2，其中，N＝4，M＝1，摄像头301拍摄的原始图像为bayer格式。

在该实施例中，处理器303获取拍照指令后，摄像头301实时获取4帧原始图像，若拍照指令对应的变焦倍率为2，则处理器4对任一原始图像进行裁剪，具体地，以当前显示图像的中心为中心，横边和竖边都裁减掉一半。得到四张图像分别为T1、T2、T3和T4。

处理器303调用存储在存储器302中的神经网络，神经网络输出细节信息。

处理器303对T1进行初步操作，比如进行黑电平校正、镜头渐晕校正、去马赛克插值操作、图像缩放等操作得到第一图像T5。神经网络对处理器303输入的T1、T2、T3和T4四张图像执行学习过程，输出细节图像，细节图像对应RGB红绿蓝三种颜色，包括红色通道对应的细节图像、绿色通道对应的细节图像和蓝色通道对应的细节图像。通过测试采用该实施例提供的技术方案可以得到清晰的图像。

需要说明的是，M＝1时，被执行初步操作的图像可以是从T1、T2、T3和T4中随机确定的一幅图像，也可以是按照其他标准确定的图像，比如可以是T1、T2、T3和T4中最清晰的一幅图像，在该实施例中，初步操作可以不包括多帧去噪和鬼影去噪等对多帧图像进行处理的操作，初步操作可以不限于上述提到的黑电平校正、镜头渐晕校正、去马赛克插值操作、和图像缩放等操作，可以包括这几种操作的一部分，也可以包括这里提到的各种操作，还可以包括其他的对单帧图像进行的图像清晰化处理操作，这里不做限定。

需要说明的是，当M＝1时，在进行图像超分辨构建时，确定被执行初步操作的图像的方法，与待训练神经网络训练过程中确定执行初步操作的图像的方法相同。比如，若进行超分辨图像分辨构建时，处理器对T1、T2、T3和T4四幅图像中最清晰的图像执行初步操作，则待训练神经网络在训练时也对输入的4张图像中最清晰的图像执行初步操作。

实施例三

对应场景3，其中，N＝4，M＝2，摄像头拍摄的原始图像为bayer格式。

在该实施例中，处理器303获取拍照指令后，摄像头301实时获取4帧原始图像，若拍照指令对应的变焦倍率为2，则处理器4对任一原始图像进行裁剪，具体地，以当前显示图像的中心为中心，横边和竖边都裁减掉一半。得到四张图像分别为T1、T2、T3和T4。

处理器303对T1和T3这两张图像进行初步操作，比如进行多帧降噪、鬼影降噪、黑电平校正、镜头渐晕校正、去马赛克插值操作、图像缩放等操作得到低清图像T5。神经网络对处理器303输入的T1、T2、T3和T4四张图像进行学习，得到细节图像，细节图像对应RGB红绿蓝三种颜色，包括红色通道对应的细节图像、绿色通道对应的细节图像和蓝色通道对应的细节图像。通过测试采用该实施例提供的技术方案可以得到清晰的图像。

需要说明的是，M＝2时，被处理器执行初步操作的图像可以是从T1、T2、T3和T4中随机确定的两张图像，也可以是按照其他标准确定的两张图像，比如可以是T1、T2、T3和T4中清晰度最高的两张图像，具体如何确定可以根据需要进行设定，这里不做限定。需要说明的是，T1和T3的确定方法与待训练神经网络进行训练时确定执行初步操作的图像的确定方法一致。

在该实施例中，初步操作不限于上述提到的多帧降噪、鬼影降噪、黑电平校正、镜头渐晕校正、去马赛克插值操作、图像缩放等操作，可以包括这几种操作的一部分，也可以包括这里提到的各种操作，还可以包括其他的图像清晰化处理操作，这里不做限定。

实施例四

对应场景4，其中，N＝1，M＝1，摄像头301拍摄的原始图像为bayer格式。

在该实施例中，处理器303获取拍照指令后，摄像头301实时获取1帧原始图像，若拍照指令对应的变焦倍率为2，则处理器4对原始图像进行裁剪，具体地，以当前显示图像的中心为中心，横边和竖边都裁减掉一半。得到一张图像为T1。

处理器303对T1执行初步操作，比如进行黑电平校正、镜头渐晕校正、去马赛克插值操作、图像缩放等操作得到图像T5。处理器将T1输入神经网络，神经网络执行学习过程，得到细节图像，细节图像对应RGB红绿蓝三种颜色，包括红色通道对应的细节图像、绿色通道对应的细节图像和蓝色通道对应的细节图像。通过测试采用该实施例提供的技术方案可以得到清晰的超分辨率图像。

需要说明的是，在该实施例中，初步操作可以不包括多帧去噪和鬼影去噪等对多帧图像进行处理的操作，初步操作不限于上述提到的黑电平校正、镜头渐晕校正、去马赛克插值操作、和图像缩放等操作，可以包括这几种操作的一部分，也可以包括这里提到的各种操作，还可以包括其他的对单帧图像进行的图像清晰化处理操作，这里不做限定。

实施例五

对应场景5，其中，N＝4，M＝4，摄像头301拍摄的原始图像为quadra格式。

在该实施例中，摄像头获取的4张原始图像的格式不是常规的bayer格式，而是一种特殊的quadra格式。quadra格式的图像的特点是相邻的四个像素有相同的颜色。

处理器303获取拍照指令后，摄像头301实时获取4张quadra格式的原始图像，若拍照指令对应的变焦倍率为2，则处理器303对任一原始图像进行裁剪，具体地，以当前显示图像的中心为中心，横边和竖边都裁减掉一半。得到四张图像分别为T1、T2、T3和T4。

处理器303对T1、T2、T3和T4这四张图像进行binning处理得到四张图像T1'、T2'、T3'和T4'。Binning处理指的是将四个颜色相同的像素进行平均，得到一个像素。图6A是bayer格式的原始图像的局部示意图，由图6A可知bayer格式的图像相邻两个像素的颜色是不同的。如图6B和图6C所示，图6B为quadra格式的原始图像的局部示意图，图6C是将图6B所示quadra格式的局部示意图转换为bayer格式的局部示意图。

处理器303对经binning处理后的T1'、T2'、T3'和T4'这四张图像进行初步操作，比如进行多帧降噪、鬼影降噪、黑电平校正、镜头渐晕校正、去马赛克插值操作、图像缩放等操作得到图像T5'。神经网络对处理器303输入的T1、T2、T3和T4四张图像执行学习过程，得到细节图像，细节图像对应RGB红绿蓝三种颜色，包括红色通道对应的细节图像、绿色通道对应的细节图像和蓝色通道对应的细节图像。

需要说明的是，待训练神经网络进行训练时，图像退化得到的quadra格式的图像也进行binning处理，以使待训练神经网络在训练时执行初步操作的图像的格式也是bayer格式。

需要说明的是，本申请提供的技术方案不限于bayer格式和quadra格式，摄像头中的图像传感器为其他排列方式对应的格式为其他格式时，也可以使用本申请提供的技术方案，使用任意的去马赛克插值方式配合神经网络能够实现图像超分辨重建，得到清晰的图像。需要理解的是，quadra格式的图像进行binning处理的原因是转为bayer格式可以采用常用的去马赛克插值方式，所以quadra格式并不限定于binning处理，采用其他去马赛克插值方式就可以。

请参见图2，本申请实施例还提供了一种图像超分辨重建装置，如图2所示，本申请实施例提供的图像超分辨重建装置200包括：获取单元201、第一处理单元202、第二处理单元203和叠加单元204。

获取单元201，用于通过摄像头获取N张原始raw图像，所述N为1或者大于1的整数。第一处理单元202，用于根据所述N张raw图像通过初步操作得到第一图像。第二处理单元203，用于将所述N张raw图像输入神经网络，得到所述神经网络输出的第一细节信息。叠加单元204，用于将所述第一细节信息叠加到所述第一图像，得到所述N张raw图像对应的超分辨率图像。

神经网络是以N张模拟的raw图像为输入，以通过待训练神经网络得到的所述N张模拟的raw图像对应的超分辨率图像与高清图像的差异为损失函数，对所述待训练神经网络进行训练得到；所述N张模拟的raw图像是通过对所述高清图像进行退化处理，并按照raw图像的数据格式生成的图像；所述N张模拟的raw图像对应的超分辨率图像为所述待训练神经网络输出的所述N张模拟的raw图像对应的第二细节信息与根据所述N张模拟的raw图像得到的第二图像的叠加，所述第二图像为根据所述N张模拟的raw图像通过所述初步操作得到的图像。

初步操作包括：对待处理的N张图像中的任一图像进行插值操作；或者，对第一降噪图像进行插值操作，所述第一降噪图像为对待处理的N张图像进行多帧降噪得到的图像。

N张raw图像的格式可以为拜耳bayer格式或者库卓quadra格式；若所述N张raw图像的格式为quadra格式，则所述第一处理单元在根据所述N张raw图像通过初步操作得到第一图像方面，具有用于：将所述N张raw图像经分箱binning处理转换为bayer格式的N张图像，对转换为bayer格式的所述N张图像执行所述初步操作得到第一图像；若所述N张raw图像的格式为quadra格式，所述N张模拟的raw图像是quadra格式的图像；所述第二图像为将所述N张模拟的raw图像经binning处理转换为bayer格式，对转换后bayer格式的所述N张模拟的raw图像执行所述初步操作得到的图像。

获取单元201具体用于，根据拍照指令对应的变焦倍率将所述摄像头获取的N张图像进行裁剪得到与所述变焦倍率对应的N张raw图像。

请参阅图4，图4为本申请的一个实施例提供的一种终端设备的结构示意图，终端设备400包括：射频单元410、存储器420、输入单元430、摄像头440、音频电路450、处理器460、外部接口470和电源480。其中，输入单元430包括触摸屏431和其他输入设备432，音频电路450包括扬声器451、麦克风452和耳机插孔453。触摸屏431可以是具有触摸功能的显示屏。本实施例中，用户可以通过点击触摸屏431显示的拍照按键触发拍照指令，通过改变与触摸屏接触的距离改变变焦倍率。当处理器460获取拍照指令时，处理器460根据拍照指令对应的变焦倍率将摄像头440获取的N帧原始图像进行裁剪，以得到裁剪后的N张图像，N为1或者大于1的整数。处理器460对N张图像中的M张图像执行初步操作，得到第一图像，M为小于N或者等于N的正整数。处理器460调用神经网络并向神经网络输入裁剪后的N张图像，神经网络对输入的N张图像进行学习，输出第一细节信息处理器460将第一细节信息叠加到第一图像，得到超分辨率图像。进一步地，处理器460将超分辨率图像保存到存储器420，当用户通过触摸屏431触发查看超分辨率图像的指令时，处理器460从存储器420中获取超分辨率图像并通过作为显示界面的触摸屏431显示出来。

神经网络是经过训练后的卷积神经网络，以N张模拟的raw图像为输入，以通过待训练神经网络得到的所述N张模拟的raw图像对应的超分辨率图像与高清图像的差异为损失函数，对所述待训练神经网络进行训练得到；所述N张模拟的raw图像是通过对所述高清图像进行退化处理，并按照raw图像的数据格式生成的图像；所述N张模拟的raw图像对应的超分辨率图像为所述待训练神经网络输出的所述N张模拟的raw图像对应的第二细节信息与根据所述N张模拟的raw图像得到的第二图像的叠加，所述第二图像为根据所述N张模拟的raw图像通过所述初步操作得到的图像。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有指令和神经网络对应的计算机程序，当所述指令在终端设备上运行时，使得所述终端设备执行前面任一实施例所述图像超分辨重建方法的部分步骤或全部步骤。

本申请实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行图像超分辨重建方法的部分步骤或全部步骤。

上述具体的方法实施例以及实施例中技术特征的解释、表述、以及多种实现形式的扩展也适用于装置中的方法执行，装置实施例中不予以赘述。

应理解以上装置中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。例如，以上各个模块可以为单独设立的处理元件，也可以集成在终端的某一个芯片中实现，此外，也可以以程序代码的形式存储于控制器的存储元件中，由处理器的某一个处理元件调用并执行以上各个模块的功能。此外各个模块可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。该处理元件可以是通用处理器，例如处理器(central processing unit，CPU)，还可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application-specificintegrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field-programmable gate array，FPGA)等。

应理解本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (15)

1.一种图像超分辨重建方法，其特征在于，包括：

通过摄像头获取N张原始raw图像，所述N为1或者大于1的整数；

根据所述N张raw图像通过初步操作，得到第一图像，所述第一图像为彩色的三通道图像；

将所述N张raw图像输入神经网络，得到所述神经网络输出的第一细节信息；

将所述第一细节信息叠加到所述第一图像，得到所述N张raw图像对应的超分辨率图像。

2.根据权利要求1所述的方法，其特征在于，

所述神经网络是以N张模拟的raw图像为输入，以通过待训练神经网络得到的所述N张模拟的raw图像对应的超分辨率图像与高清图像的差异为损失函数，对所述待训练神经网络进行训练得到；所述N张模拟的raw图像是通过对所述高清图像进行退化处理，并按照raw图像的数据格式生成的图像；所述N张模拟的raw图像对应的超分辨率图像为所述待训练神经网络输出的所述N张模拟的raw图像对应的第二细节信息与根据所述N张模拟的raw图像得到的第二图像的叠加，所述第二图像为根据所述N张模拟的raw图像通过所述初步操作得到的图像。

3.根据权利要求1或2所述的方法，其特征在于，所述初步操作包括：

对待处理的N张图像中的任一图像进行插值操作；

或者，对第一降噪图像进行插值操作，所述第一降噪图像为对待处理的N张图像进行多帧降噪得到的图像。

4.根据权利要求2所述的方法，其特征在于，所述N张raw图像的格式为拜耳bayer格式或者库卓quadra格式；

若所述N张raw图像的格式为quadra格式，则所述根据所述N张raw图像通过初步操作得到第一图像，包括：将所述N张raw图像经分箱binning处理转换为bayer格式的N张图像，对转换为bayer格式的所述N张图像执行所述初步操作得到第一图像；

若所述N张raw图像的格式为quadra格式，所述N张模拟的raw图像是quadra格式的图像；所述第二图像为将所述N张模拟的raw图像经binning处理转换为bayer格式，对转换后bayer格式的所述N张模拟的raw图像执行所述初步操作得到的图像。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述通过摄像头获取N张raw图像包括：

根据拍照指令对应的变焦倍率对摄像头获取的N张图像进行裁剪得到与所述变焦倍率对应的N张raw图像。

6.一种图像超分辨重建装置，其特征在于，包括：

获取单元，用于通过摄像头获取N张原始raw图像，所述N为1或者大于1的整数；

第一处理单元，用于根据所述N张raw图像通过初步，操作得到第一图像，所述第一图像为彩色的三通道图像；

第二处理单元，用于将所述N张raw图像输入神经网络，得到所述神经网络输出的第一细节信息；

叠加单元，用于将所述第一细节信息叠加到所述第一图像，得到所述N张raw图像对应的超分辨率图像。

7.根据权利要求6所述的装置，其特征在于，

所述神经网络是以N张模拟的raw图像为输入，以通过待训练神经网络得到的所述N张模拟的raw图像对应的超分辨率图像与高清图像的差异为损失函数，对所述待训练神经网络进行训练得到；所述N张模拟的raw图像是通过对所述高清图像进行退化处理，并按照raw图像的数据格式生成的图像；所述N张模拟的raw图像对应的超分辨率图像为所述待训练神经网络输出的所述N张模拟的raw图像对应的第二细节信息与根据所述N张模拟的raw图像得到的第二图像的叠加，所述第二图像为根据所述N张模拟的raw图像通过所述初步操作得到的图像。

8.根据权利要求6或7所述的装置，其特征在于，所述初步操作包括：

对待处理的N张图像中的任一图像进行插值操作；

或者，对第一降噪图像进行插值操作，所述第一降噪图像为对待处理的N张图像进行多帧降噪得到的图像。

9.根据权利要求7所述的方法，其特征在于，所述N张raw图像的格式为拜耳bayer格式或者库卓quadra格式；

若所述N张raw图像的格式为quadra格式，则所述第一处理单元在根据所述N张raw图像通过初步操作得到第一图像方面，具有用于：将所述N张raw图像经分箱binning处理转换为bayer格式的N张图像，对转换为bayer格式的所述N张图像执行所述初步操作得到第一图像；

若所述N张raw图像的格式为quadra格式，所述N张模拟的raw图像是quadra格式的图像；所述第二图像为将所述N张模拟的raw图像经binning处理转换为bayer格式，对转换后bayer格式的所述N张模拟的raw图像执行所述初步操作得到的图像。

10.根据权利要求6至9任一项所述的装置，其特征在于，

所述获取单元具体用于，根据拍照指令对应的变焦倍率将所述摄像头获取的N张图像进行裁剪得到与所述变焦倍率对应的N张raw图像。

11.一种终端设备，其特征在于，包括摄像头、处理器和存储器，其特征在于，

所述摄像头，用于在所述处理器获取拍照指令后，获取N张原始raw图像，所述N为1或者大于1的整数；

所述存储器，用于存储可在所述处理器上运行的计算机程序；

所述处理器，用于执行如权利要求1至5中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令和神经网络对应的计算机程序，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1至5中任一项所述的方法。

13.一种终端设备，其特征在于，包括摄像头、处理器和神经网络单元；

所述摄像头，用于在所述处理器获取拍照指令后，获取N张原始raw图像，所述N为1或者大于1的整数；

所述神经网络单元，用于以所述N张raw图像为输入，得到第一细节信息；

所述处理器，用于执行如权利要求1至5中任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行如权利要求1至5中任一项所述的方法。

15.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储了计算机程序的计算机可读存储介质，该计算机程序使得计算机执行如权利要求1至5中任一项所述的方法的部分或全部步骤。

Images