CN110166706B - 图像处理方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、电子设备以及存储介质，其中，方法包括：采集预览画面，并确定预览画面的动态范围和相对最近采集画面的画面移动程度；根据动态范围和画面移动程度，确定评价值；若评价值大于或等于第一阈值，则确定采用包围曝光方式采集多帧原始图像；确定多帧原始图像所对应的多个降噪模型；采用多个降噪模型对多帧原始图像进行降噪，并根据降噪后的多帧原始图像合成得到目标夜景图像，该方法基于预览画面的动态范围和画面移动程度，决定出最佳曝光方式，并定义了包围曝光方式下图像的降噪和融合，使图像在融合时就已是比较干净的图像，保证了图像高动态和干净的同时，减少了不连续噪声的产生并且保留了更多的图像细节。

Description

图像处理方法、装置、电子设备以及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备以及计算机可读存储介质。

背景技术

随着智能终端技术的不断发展，越来越多的用户喜欢通过智能终端上的相机功能进行照片拍摄。随着拍照的需求的常态化发展，如何更优的满足用户的拍照需求成为发展的主要方向，比如，满足用户在夜间、日间的多场场景中的清晰拍照需求。

相关技术中，在夜景或者暗光环境下，采集数帧相同曝光值和几张欠曝的图像，对相同曝光值的图像做多帧降噪，然后和欠曝的图像做高动态范围图像(High-DynamicRange，简称HDR)融合，来达到同时具备高动态和干净的夜景图像。但是，不同曝光值的图像噪声表现差异较大，针对来自不同曝光值的帧融合导致的不连续噪声的区域，进行空间域的降噪处理，以减轻不连续噪声的现象，会导致部分亮度的细节的丢失。

发明内容

本申请的目的旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种图像处理方法，该方法保证了图像高动态和干净的同时，减少了不连续噪声的产生并且保留了更多的图像细节，保证了图像的清晰度。

本申请的第二个目的在于提出一种图像处理装置。

本申请的第三个目的在于提出一种电子设备。

本申请的第四个目的在于提出一种计算机可读存储介质。

为达上述目的，本申请第一方面实施例提出了一种图像处理方法，包括：采集预览画面，并确定预览画面的动态范围和相对最近采集画面的画面移动程度；根据动态范围S_d和画面移动程度S_m，确定评价值S_f；其中，S_f与S_d(1-S_m)成正比；若评价值S_f大于或等于第一阈值，则确定采用包围曝光方式采集多帧原始图像；确定多帧原始图像所对应的多个降噪模型；采用多个降噪模型对多帧原始图像进行降噪，并根据降噪后的多帧原始图像合成得到目标夜景图像。

本申请实施例的图像处理方法，通过采集预览画面，并确定预览画面的动态范围和相对最近采集画面的画面移动程度；根据动态范围S_d和画面移动程度S_m，确定评价值S_f；其中，S_f与S_d(1-S_m)成正比；若评价值S_f大于或等于第一阈值，则确定采用包围曝光方式采集多帧原始图像；确定多帧原始图像所对应的多个降噪模型；采用多个降噪模型对多帧原始图像进行降噪，并根据降噪后的多帧原始图像合成得到目标夜景图像。该方法基于预览画面的动态范围和画面移动程度，决定出最佳曝光方式，并定义了包围曝光方式下图像的降噪和融合，使图像在融合时就已是比较干净的图像，保证了图像高动态和干净的同时，减少了不连续噪声的产生并且保留了更多的图像细节，保证了图像的清晰度。

为达上述目的，本申请第二方面实施例提出了一种图像处理装置，包括：预览画面采集模块，用于采集预览画面；第一确定模块，用于确定所述预览画面的动态范围和相对最近采集画面的画面移动程度；第二确定模块，用于根据所述动态范围S_d和所述画面移动程度S_m，确定评价值S_f；其中，S_f与S_d(1-S_m)成正比；原始图像采集模块，用于在所述评价值S_f大于或等于第一阈值时，确定采用包围曝光方式采集多帧原始图像；降噪模块确定模块，用于确定所述多帧原始图像所对应的多个降噪模型；降噪模块，用于采用所述多个降噪模型对所述多帧原始图像进行降噪；图像合成模块，用于根据降噪后的多帧原始图像合成得到目标夜景图像。

本申请实施例的图像处理装置，通过采集预览画面，并确定预览画面的动态范围和相对最近采集画面的画面移动程度；根据动态范围S_d和画面移动程度S_m，确定评价值S_f；其中，S_f与S_d(1-S_m)成正比；若评价值S_f大于或等于第一阈值，则确定采用包围曝光方式采集多帧原始图像；确定多帧原始图像所对应的多个降噪模型；采用多个降噪模型对多帧原始图像进行降噪，并根据降噪后的多帧原始图像合成得到目标夜景图像。该装置可实现基于预览画面的动态范围和画面移动程度，决定出最佳曝光方式，并定义了包围曝光方式下图像的降噪和融合，使图像在融合时就已是比较干净的图像，保证了图像高动态和干净的同时，减少了不连续噪声的产生并且保留了更多的图像细节，保证了图像的清晰度。

为达上述目的，本申请第三方面实施例提出了一种电子设备，包括图像传感器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现本申请第一方面实施例所述的图像处理方法。

为达上述目的，本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请第一方面实施例所述的图像处理方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

图1是根据本申请第一个实施例的图像处理方法的流程示意图；

图2是根据本申请第二个实施例的图像处理方法的流程示意图；

图3是根据本申请第三个实施例的图像处理方法的流程示意图；

图4是根据本申请第一个实施例的图像处理装置的结构示意图；

图5是根据本申请一个实施例提供的电子设备的结构示意图；

图6是根据本申请一个实施例提供的电子设备的原理示意图；

图7是根据本申请一个实施例提供的图像处理电路的原理示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的图像处理方法、装置、电子设备和计算机可读存储介质。

图1是根据本申请一个实施例的图像处理方法的流程示意图。

步骤101，采集预览画面，并确定预览画面的动态范围和相对最近采集画面的画面移动程度。

在本申请实施例中，预览画面可为显示在成像设备的拍照界面上的图像画面，在成像设备采集图像画面的过程中，可以根据用户的拍摄操作显示预览界面，以在电子设备的预览界面进行显示图像画面，并获取到该成像设备采集的预览画面，从而使得在图像采集的过程中用户能够清晰的看到各帧图像的成像效果。

其中，动态范围，是指图像画面中最亮区域到最暗区域的范围。

在本申请实施例中，统计预览画面的中过暴区域(如亮度大于220)和过暗区域(如亮度小于30)的面积，计算这些区域的总面积占预览画面的总面积的比例，并将该比例归一化至0～1之间的分数，将该分数作为动态范围并记为S_d，当S_d越大，表示画面的动态范围越高。

本申请实施例中，统计预览画面中移动区域的面积，计算移动区域的总面积占预览画面总面积中的比例，并将该比例归一化到0～1之间的分数，记为S_m，为预览画面相对最近采集图像的画面移动程度。

步骤102，根据动态范围S_d和画面移动程度S_m，确定评价值S_f；其中，S_f与S_d(1-S_m)成正比。

具体地，S_f与S_d(1-S_m)成正比；也就是说，动态范围越大，评价值越大；画面移动程度越大，评价值越小。

本申请实施例中，确定预览画面的动态范围和相对最近采集画面的画面移动程度后，可采用如下公式，确定评价值。

S_f＝S_d(1-S_m)*δ

其中，公式中S_d为动态范围，S_m为画面移动程度，S_f为评价值，δ为调整系数。

步骤103，若评价值S_f大于或等于第一阈值，则确定采用包围曝光方式采集多帧原始图像。

具体地，包围曝光，是指根据预先设置拍摄多张等差曝光量的图像。例如，拍摄三张图像，一张为正常曝光图像、一张为欠曝光图像、一张为更欠曝光图像。

在本申请实施例中，若确定预览画面的动态范围较大或画面移动范围较小时，评价值S_f较大时，如当评价值S_f大于或等于第一阈值时，可以采用包围曝光的方式采集多帧原始图像。而如果此时采用多帧欠曝的方式采集图像，在欠曝光情况下采集多帧原始图像，会导致采集的多帧原始图像中暗光区域的成像效果较差。由此，此时通过采用包围曝光的方式不仅确保了采集的多帧原始图像中存在正常曝光的图像，还可以清晰的拍摄到暗光区域的待拍摄物，进而在对多帧原始图像进行高动态范围合成时，能够较多的获取到图像的细节。

步骤104，确定多帧原始图像所对应的多个降噪模型。

可选地，确定各帧原始图像所对应的曝光值；根据各帧原始图像所对应的曝光值，确定多帧原始图像所对应的多个降噪模型。

也就是说，在评价值S_f大于或等于第一阈值时，确定采用包围曝光方式采集多帧原始图像，例如，一张为正常曝光的原始图像、一张为欠曝光的原始图像、一张为更欠曝光的原始图像。其中，欠曝光和更欠曝光的原始图像，可根据动态范围S_d决定，欠曝光和更欠曝光的曝光值最大范围可为-6。为了进一步提高夜景图像噪声一致性和清晰度，针对该曝光方式，可采用不同曝光值对应感光度的噪声模型，来对不同曝光值所对应的原始图像分别进行降噪。

可以理解的是，为了获得较佳的人工智能的降噪效果，在选用降噪模型进行降噪时，如图2所示，采用训练样本集对该降噪模型预先进行训练，以提高降噪模型识别噪声特性的能力。具体步骤如下：

步骤201，获取训练样本集，其中，训练样本集中包括各曝光值下拍摄的样本图。

在本申请实施例中，可采用成像设备在各曝光值下拍摄的图像作为样本图。

步骤202，从训练样本集中，选取相同曝光值下拍摄的目标样本图。

步骤203，将目标样本图根据拍摄时采用的感光度划分为多组，训练各组对应的降噪模型，其中，降噪模型已学习得到目标样本图的感光度与噪声特性之间的映射关系。

步骤204，根据降噪模型的准确度和训练采用的目标样本图的感光度，从各组对应的降噪模型中，确定与相应曝光值匹配的降噪模型。

进一步的，对各组对应的降噪模型进行训练后，对各降噪模型的降噪效果进行评估，以得到各降噪模型的准确度。进而，根据降噪模型的准确度和训练采用的目标样本图的感光度，从各组对应的降噪模型中，确定与相应曝光值匹配的降噪模型，以根据降噪模型对高动态范围图像降噪，从而提高图像质量。

作为本申请实施例的一种可能的实现方式，根据降噪模型的准确度和训练采用的目标样本图的感光度，从各组对应的降噪模型中，确定与相应曝光值匹配的降噪模型时，可以从各组对应的降噪模型中，确定准确度大于阈值的降噪模型，作为候选降噪模型。进而从候选降噪模型中，选取训练采用的目标样本图感光度最大的候选降噪模型作为该与相应曝光值匹配的降噪模型。

步骤105，采用多个降噪模型对多帧原始图像进行降噪，并根据降噪后的多帧原始图像合成得到目标夜景图像。

在本申请实施例中，确定多帧原始图像所对应的多个降噪模型之后，采用多个降噪模型对多帧原始图像进行降噪，将降噪后的多帧原始图像输入HDR合成模型，以得到相应原始图像中各区域的合成权重；根据合成权重，分区域对降噪后的多帧原始图像进行合成，以得到目标夜景图像。其中，需要说明的是，HDR合成模型，已学习得到原始图像中各区域的特征与合成权重之间的映射关系；其中，特征用于表征曝光量和相应区域的图像亮度。

基于上述实施例，在步骤103中确定采用包围曝光方式采集多帧原始图像之后，如图3所示，还可以根据曝光补偿模式，对基准曝光时长进行补偿，确定各帧原始图像对应的补偿曝光时长。具体步骤如下：

步骤301，根据包围曝光方式确定对应的曝光补偿模式；其中，曝光补偿模式，用于指示原始图像的帧数和各帧原始图像对应的曝光补偿等级。

本实施例中，根据包围曝光方式中不同的曝光值的曝光方式，确定出的待采集的图像帧数也可以不同，而待采集的原始图像帧数不同时，需要采用不同的曝光补偿等级。

步骤302，根据画面移动程度S_m，确定基准感光度。

可以理解的是，在采集多帧原始图像的过程中，预览图像的画面相对于最近采集图像的画面存在移动的情况，是由于采集多帧原始图像的成像设备的抖动造成的。并且，画面移动程度与成像设备的抖动程度存在正相关的关系。因此，本实施例中，可以根据采集多帧原始图像的成像设备的抖动程度确定基准感光度。

本实施例中，在基准感光度为较低值的情况下采集多帧原始图像时，能够降低图像噪声，通过同时采集多帧感光度较低的图像，并将采集的多帧图像合成以生成高动态范围图像的方式，不仅可以提升夜景拍摄图像的动态范围和整体亮度，并且通过控制感光度的值，有效抑制图像中的噪声，提高夜景拍摄图像的质量。

可以理解的是，采集图像的感光度会影响到整体的拍摄时长，拍摄时长过长，可能会导致手持拍摄时成像设备的抖动程度加剧，从而影响图像质量。因此，可以根据成像设备当前的抖动程度，调整各帧待采集图像对应的基准感光度，以使得拍摄时长控制在合适的范围内。

具体的，若成像设备当前的抖动程度较小，则可以将每帧待采集图像对应的基准感光度可以适当压缩为较小的值，以有效抑制每帧图像的噪声、提高拍摄图像的质量；若成像设备当前的抖动程度较大，则可以将每帧待采集图像对应的基准感光度可以适当提高为较大的值，以缩短拍摄时长。

举例来说，若确定成像设备当前的抖动程度为“无抖动”，则可以将基准感光度确定为较小的值，以尽量获得更高质量的图像，比如确定基准感光度为100；若确定成像设备当前的抖动程度为“轻微抖动”，则可以将基准感光度确定为较大的值，以降低拍摄时长，比如确定基准感光度为200；若确定成像设备当前的抖动程度为“小抖动”，则可以进一步增大基准感光度，以降低拍摄时长，比如确定基准感光度为220；若确定成像设备当前的抖动程度为“大抖动”，则可以确定当前的抖动程度过大，此时可以进一步增大基准感光度，以降低拍摄时长，比如确定基准感光度为250。

需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，当成像设备的抖动程度变化时，可以通过调整基准感光度，以获得最优的方案。其中，成像设备的抖动程度与每帧待采集图像对应的基准感光度的映射关系，可以根据实际需要预设。

需要说明的是，根据成像设备的抖动程度，调整与抖动程度相应的基准感光度时，如果当前基准感光度与抖动程度刚好相适应，则调整的结果是基准感光度保持不变。此种情形也属于本申请实施例中“调整”的范畴。

此外，在一种可能的应用场景下，成像设备的摄像模组是由多个镜头构成的，从而不同的镜头在同一拍摄环境下也可以对应不同的感光度，本步骤中调整的基准感光度应当是针对多个镜头中的一个镜头执行的拍摄过程来说，在这个拍摄过程中，采集多帧图像均采用同一基准感光度。

此外，本申请实施例中，不限于仅根据成像设备的抖动程度调整基准感光度，还可以根据抖动程度以及拍摄场景的亮度信息等多个参数综合确定基准感光度，在此不做限定。

步骤303，根据拍摄场景的亮度信息和设定的基准感光度，确定基准曝光时长。

其中，曝光时长，是指光线通过镜头的时间。

本申请实施例中，拍摄场景的亮度信息，可以利用成像设备中的测光模块测光得到，也可以是通过预览画面中的亮度信息获取到的，在此不做限定。该亮度信息通常以拍摄场景的光照度作为亮度衡量指标，本领域技术人员可以知晓，还可以采用其他指标进行亮度衡量，均在本实施例的范围之内。

具体地，可利用自动曝光控制(Auto Exposure Control，简称AEC)算法，确定当前亮度信息对应的曝光量，进而，根据拍摄场景的亮度信息和基准感光度这两方面信息，为多帧待采集图像中每一帧待采集图像确定基准曝光时长。

步骤304，根据曝光补偿模式，对基准曝光时长进行补偿，确定各帧原始图像对应的补偿曝光时长。

本申请实施例中，成像设备采集多帧原始图像采用的曝光方式不同时，确定出的各帧待采集的图像预设的曝光补偿值也不相同。在这种情况下，可以预设成像设备的抖动程度与曝光补偿值之间的映射关系，以根据成像设备的抖动程度，确定出当前各帧待采集的图像预设的曝光补偿值。

例如，可以将成像设备的抖动程度为“无抖动”时，各帧待采集的图像对应的曝光补偿值的曝光值范围预设为-6～2，且相邻的曝光值之间的差值为0.5；将成像设备的抖动程度为“轻微抖动”，各帧待采集的图像对应的曝光补偿值的曝光值范围预设为-5～1，且相邻的曝光值之间的差值为1，等等。

作为另一种可能的实现形式，检测成像设备的预览画面是否包含人脸，预览画面中包含人脸与不包含人脸时，适用当前拍摄场景的夜景模式不相同，由此确定的各帧待采集图像预设的曝光补偿值也不相同。

作为又一种可能的实现方式，对于相同的抖动程度，可以根据预览画面中是否包含人脸，确定各帧待采集图像采用不同的曝光补偿值。因此，对于相同的抖动程度，可以对应于多个曝光补偿值。比如，成像设备的抖动程度为“轻微抖动”，各帧待采集图像预设的曝光补偿值有包含人脸和不含人脸两种情况。

在夜景模式中，当待采集图像中包含人脸时，人脸区域的光照强度通常较低，从而导致确定的基准曝光量，与未包含人脸时确定的基准曝光量相比较高，若在包含人脸时仍然采集过多的过曝帧，则容易导致人脸区域过曝，从而导致采集图像的成像效果较差，其对应的曝光补偿模式需要具有较低的曝光补偿范围。因此，对于相同的抖动程度，预览画面中包含人脸与未包含人脸时相比，在确定了成像设备当前的抖动程度，以及预览画面是否包含人脸之后，即可确定出与当前的实际情况相符的预设的曝光补偿值。

本申请实施例中，在确定各帧原始图像的基准感光度和对应的补偿曝光时长后，控制成像设备根据各帧原始图像的基准感光度和对应的补偿曝光时长采集图像，在此不做具体赘述。

根据本申请实施例的图像处理方法，通过采集预览画面，并确定预览画面的动态范围和相对最近采集画面的画面移动程度；根据动态范围S_d和画面移动程度S_m，确定评价值S_f；其中，S_f与S_d(1-S_m)成正比；若评价值S_f大于或等于第一阈值，则确定采用包围曝光方式采集多帧原始图像；确定多帧原始图像所对应的多个降噪模型；采用多个降噪模型对多帧原始图像进行降噪，并根据降噪后的多帧原始图像合成得到目标夜景图像。该方法基于预览画面的动态范围和画面移动程度，决定出最佳的曝光方式，并定义了包围曝光方式下图像的降噪和融合，使图像在融合时就已经是比较干净的图像，保证了图像高动态和干净的同时，减少了不连续噪声的产生并且保留了更多的图像细节，保证了图像的清晰度。

与上述几种实施例提供的图像处理方法相对应，本申请的一种实施例还提供一种图像处理装置，由于本申请实施例提供的图像处理装置与上述几种实施例提供的图像处理方法相对应，因此在前述图像处理方法的实施方式也适用于本实施例提供的图像处理装置，在本实施例中不再详细描述。图4为本申请实施例提供的一种图像处理装置的结构示意图。如图4所示，该图像处理400包括：预览画面采集模块410，第一确定模块420，第二确定模块430，原始图像采集模块440，降噪模型确定模块450，降噪模块460，图像合成模块470。

具体地，预览画面采集模块410，用于采集预览画面。

第一确定模块420，用于确定预览画面的动态范围和相对最近采集画面的画面移动程度。

第二确定模块430，用于根据动态范围S_d和画面移动程度S_m，确定评价值S_f；其中，S_f与S_d(1-S_m)成正比。

原始图像采集模块440，用于在评价值S_f大于或等于第一阈值时，确定采用包围曝光方式采集多帧原始图像。

降噪模型确定模块450，用于确定多帧原始图像所对应的多个降噪模型。作为一种示例，降噪模型确定模块450具体用于：确定各帧原始图像所对应的曝光值；根据各帧原始图像所对应的曝光值，确定多帧原始图像所对应的多个降噪模型。

其中，在本申请的一个实施例中，降噪模型是通过如下方式预先训练的：获取训练样本集，其中，训练样本集中包括各曝光值下拍摄的样本图；从训练样本集中，选取相同曝光值下拍摄的目标样本图；将目标样本图根据拍摄时采用的感光度划分为多组，训练各组对应的降噪模型，其中，降噪模型已学习得到目标样本图的感光度与噪声特性之间的映射关系；根据降噪模型的准确度和训练采用的目标样本图的感光度，从各组对应的降噪模型中，确定与相应曝光值匹配的降噪模型。

在本申请的实施例中，根据降噪模型的准确度和训练采用的目标样本图的感光度，从各组对应的降噪模型中，确定与相应曝光值匹配的降噪模型的具体实现过程可如下：从各组对应的降噪模型中，确定准确度大于阈值的候选降噪模型；将训练采用的目标样本图的感光度最大的候选降噪模型作为所述与相应曝光值匹配的降噪模型。

降噪模块460，用于采用多个降噪模型对所述多帧原始图像进行降噪。

图像合成模块470，用于根据降噪后的多帧原始图像合成得到目标夜景图像。作为一种示例，图像合成模块470具体用于：将降噪后的多帧原始图像输入高动态合成模型，以得到相应原始图像中各区域的合成权重；根据合成权重，分区域对降噪后的多帧原始图像进行合成，以得到目标夜景图像。其中，高动态合成模型，已学习得到原始图像中各区域的特征与合成权重之间的映射关系；所述特征用于表征曝光量和相应区域的图像亮度。

在本申请的一个实施例中，该图像处理装置还可包括：曝光补偿模式确定模块、基准曝光时长确定模块和补偿曝光时长确定模块。其中，曝光补偿模式确定模块用于在确定采用包围曝光方式采集多帧原始图像之后，根据所述包围曝光方式确定对应的曝光补偿模式；其中，曝光补偿模式，用于指示原始图像的帧数和各帧原始图像对应的曝光补偿等级。基准曝光时长确定模块用于根据拍摄场景的亮度信息和设定的基准感光度，确定基准曝光时长。补偿曝光时长确定模块用于根据所述曝光补偿模式，对基准曝光时长进行补偿，确定各帧原始图像对应的补偿曝光时长。

在本申请的实施例中，原始图像采集模块440具体用于：根据基准感光度和各帧原始图像对应的补偿曝光时长进行图像采集。

在本申请的实施例中，基准曝光时长确定模块还用于在根据拍摄场景的亮度信息和设定的基准感光度，确定基准曝光时长之前，根据画面移动程度S_m，确定基准感光度。

根据本申请实施例的图像处理装置，通过采集预览画面，并确定预览画面的动态范围和相对最近采集画面的画面移动程度；根据动态范围S_d和画面移动程度S_m，确定评价值S_f；其中，S_f与S_d(1-S_m)成正比；若评价值S_f大于或等于第一阈值，则确定采用包围曝光方式采集多帧原始图像；确定多帧原始图像所对应的多个降噪模型；采用多个降噪模型对多帧原始图像进行降噪，并根据降噪后的多帧原始图像合成得到目标夜景图像。该装置可实现基于预览画面的动态范围和画面移动程度，决定出最佳的曝光方式，并定义了包围曝光方式下图像的降噪和融合，使图像在融合时就已经是比较干净的图像，保证了图像高动态和干净的同时，减少了不连续噪声的产生并且保留了更多的图像细节，保证了图像的清晰度。

为了实现上述实施例，本申请实施例还提出一种电子设备500，参见图5，包括：图像传感器510、处理器520、存储器530及存储在存储器530上并可在处理器520上运行的计算机程序，所述图像传感器510与所述处理器520电连接，所述处理器520执行所述程序时，实现如上述实施例中所述的图像处理方法。

作为一种可能的情况，处理器520可以包括：图像信号处理(Image SignalProcessor，简称ISP)处理器、与ISP处理器连接的图形处理器(Graphics ProcessingUnit，简称GPU)。

作为一种示例，请参阅图6，在图6所述电子设备的基础上，图6中为本申请实施例提供的一种电子设备的原理示例图。电子设备500的存储器530包括非易失性存储器60、内存储器62和处理器520。存储器530中存储有计算机可读指令。计算机可读指令被存储器执行时，使得处理器530执行上述任一实施方式的图像处理方法。

如图6所示，该电子设备500包括通过系统总线61连接的处理器520、非易失性存储器60、内存储器62、显示屏63和输入装置64。其中，电子设备500的非易失性存储器60存储有操作系统和计算机可读指令。该计算机可读指令可被处理器520执行，以实现本申请实施方式的图像处理方法。该处理器520用于提供计算和控制能力，支撑整个电子设备500的运行。电子设备500的内存储器62为非易失性存储器60中的计算机可读指令的运行提供环境。电子设备500的显示屏83可以是液晶显示屏或者电子墨水显示屏等，输入装置64可以是显示屏63上覆盖的触摸层，也可以是电子设备500外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备500可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备500的限定，具体的电子设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

为了实现上述实施例，本申请还提出一种图像处理电路，请参阅图7，图7为本申请实施例提供的一种图像处理电路的原理示意图，如图7所示，图像处理电路70包括图像信号处理ISP处理器71(ISP处理器71作为处理器520)和图形处理器GPU。

摄像头73捕捉的图像数据首先由ISP处理器71处理，ISP处理器71对图像数据进行分析以捕捉可用于确定摄像头73的一个或多个控制参数的图像统计信息。摄像模组710可包括一个或多个透镜732和图像传感器734。图像传感器734可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器734可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器71处理的一组原始图像数据。传感器74(如陀螺仪)可基于传感器74接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器71。传感器74接口可以为SMIA(StandardMobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器734也可将原始图像数据发送给传感器74，传感器94可基于传感器74接口类型把原始图像数据提供给ISP处理器71，或者传感器74将原始图像数据存储到图像存储器75中。

ISP处理器71按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器71可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器71还可从图像存储器75接收图像数据。例如，传感器74接口将原始图像数据发送给图像存储器75，图像存储器75中的原始图像数据再提供给ISP处理器71以供处理。图像存储器75可为存储器530、存储器530的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器734接口或来自传感器74接口或来自图像存储器75的原始图像数据时，ISP处理器71可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器75，以便在被显示之前进行另外的处理。ISP处理器71从图像存储器75接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器71处理后的图像数据可输出给显示器77(显示器77可包括显示屏63)，以供用户观看和/或由图形引擎或GPU进一步处理。此外，ISP处理器71的输出还可发送给图像存储器75，且显示器77可从图像存储器75读取图像数据。在一个实施例中，图像存储器75可被配置为实现一个或多个帧缓冲器。此外，ISP处理器71的输出可发送给编码器/解码器76，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器77设备上之前解压缩。编码器/解码器76可由CPU或GPU或协处理器实现。

ISP处理器71确定的统计数据可发送给控制逻辑器72单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜732阴影校正等图像传感器734统计信息。控制逻辑器72可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头73的控制参数及ISP处理器71的控制参数。例如，摄像头73的控制参数可包括传感器74控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜732控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜732阴影校正参数。

为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中所述的图像处理方法。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括以下步骤：

采集预览画面，并确定所述预览画面的动态范围和相对最近采集画面的画面移动程度；

根据所述动态范围S_d和所述画面移动程度S_m，确定评价值S_f；其中，S_f与S_d(1-S_m)成正比，所述动态范围S_d和所述画面移动程度S_m均归一化为0-1之间的分数；

若所述评价值S_f大于或等于第一阈值，则确定采用包围曝光方式采集多帧原始图像；

确定所述多帧原始图像所对应的多个降噪模型；

采用所述多个降噪模型对所述多帧原始图像进行降噪，并根据降噪后的多帧原始图像合成得到目标夜景图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述确定采用包围曝光方式采集多帧原始图像之后，还包括：

根据所述包围曝光方式确定对应的曝光补偿模式；其中，所述曝光补偿模式，用于指示原始图像的帧数和各帧原始图像对应的曝光补偿等级；

根据拍摄场景的亮度信息和设定的基准感光度，确定基准曝光时长；

根据所述曝光补偿模式，对所述基准曝光时长进行补偿，确定各帧原始图像对应的补偿曝光时长。

3.根据权利要求2所述的图像处理方法，其特征在于，所述采集多帧原始图像，包括：

根据所述基准感光度和各帧原始图像对应的补偿曝光时长进行图像采集。

4.根据权利要求2所述的图像处理方法，其特征在于，所述根据拍摄场景的亮度信息和设定的基准感光度，确定基准曝光时长之前，还包括：

根据所述画面移动程度S_m，确定所述基准感光度。

5.根据权利要求1所述的图像处理方法，其特征在于，所述确定所述多帧原始图像所对应的多个降噪模型，包括：

确定各帧原始图像所对应的曝光值；

根据所述各帧原始图像所对应的曝光值，确定所述多帧原始图像所对应的多个降噪模型。

6.根据权利要求5所述的图像处理方法，其特征在于，所述降噪模型是通过如下方式预先训练的：

获取训练样本集，其中，所述训练样本集中包括各曝光值下拍摄的样本图；

从所述训练样本集中，选取相同曝光值下拍摄的目标样本图；

将所述目标样本图根据拍摄时采用的感光度划分为多组，训练各组对应的降噪模型，其中，所述降噪模型已学习得到目标样本图的感光度与噪声特性之间的映射关系；

根据降噪模型的准确度和训练采用的目标样本图的感光度，从各组对应的降噪模型中，确定与相应曝光值匹配的降噪模型。

7.根据权利要求6所述的图像处理方法，其特征在于，所述根据降噪模型的准确度和训练采用的目标样本图的感光度，从各组对应的降噪模型中，确定与相应曝光值匹配的降噪模型，包括：

从各组对应的降噪模型中，确定准确度大于阈值的候选降噪模型；

将训练采用的目标样本图的感光度最大的候选降噪模型作为所述与相应曝光值匹配的降噪模型。

8.根据权利要求1所述的图像处理方法，其特征在于，所述根据降噪后的多帧原始图像合成得到目标夜景图像，包括：

将所述降噪后的多帧原始图像输入高动态合成模型，以得到相应原始图像中各区域的合成权重；

根据所述合成权重，分区域对所述降噪后的多帧原始图像进行合成，以得到所述目标夜景图像。

9.根据权利要求8所述的图像处理方法，其特征在于，所述高动态合成模型，已学习得到原始图像中各区域的特征与合成权重之间的映射关系；所述特征用于表征曝光量和相应区域的图像亮度。

10.一种图像处理装置，其特征在于，所述装置包括：

预览画面采集模块，用于采集预览画面；

第一确定模块，用于确定所述预览画面的动态范围和相对最近采集画面的画面移动程度；

第二确定模块，用于根据所述动态范围S_d和所述画面移动程度S_m，确定评价值S_f；其中，S_f与S_d(1-S_m)成正比，所述动态范围S_d和所述画面移动程度S_m均归一化为0-1之间的分数；

原始图像采集模块，用于在所述评价值S_f大于或等于第一阈值时，确定采用包围曝光方式采集多帧原始图像；

降噪模型确定模块，用于确定所述多帧原始图像所对应的多个降噪模型；

降噪模块，用于采用所述多个降噪模型对所述多帧原始图像进行降噪；

图像合成模块，用于根据降噪后的多帧原始图像合成得到目标夜景图像。

11.一种电子设备，其特征在于，包括图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述图像传感器与所述处理器电连接，所述处理器执行所述程序时，实现如权利要求1至9中任一项所述的图像处理方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至9中任一项所述的图像处理方法。

Images