CN111179199B

CN111179199B - 图像处理方法、装置及可读存储介质

Info

Publication number: CN111179199B
Application number: CN201911414621.3A
Authority: CN
Inventors: 姬弘桢
Original assignee: Spreadtrum Communications Shanghai Co Ltd
Current assignee: Spreadtrum Communications Shanghai Co Ltd
Priority date: 2019-12-31
Filing date: 2019-12-31
Publication date: 2022-07-15
Anticipated expiration: 2039-12-31
Also published as: CN111179199A

Abstract

本发明实施例提供一种图像处理方法、装置及可读存储介质，其中，首先，根据第一图像中的第一像素点，确定第一像素区域；接着，根据第一像素区域及亚像素精度下，第一图像与第二图像之间的对齐向量，获取N个第二图像中分别与第一图像对应的N个第二像素区域；并基于像素距离的权重及基于像素值的权重对第一像素点与第二像素区域中的第二像素点进行融合，通过遍历第一图像中的每个像素点，完成第一图像与N个第二图像的融合，获得融合后的图像。本方案在亚像素精度下，对第一图像及第二图像进行融合，且同时从像素距离及像素值两个方面对图像进行滤波，从而更好地保护了融合后的图像中的边缘细节，减少图像模糊，具有更好的视觉效果。

Description

图像处理方法、装置及可读存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及可读存储介质。

背景技术

手机、IPAD等智能终端设备已成为人们生活中不可或缺的电子产品，智能终端设备中的拍照功能也是人们关注并使用的重点功能之一。为了能够提高智能终端设备的拍摄效果的满意程度，使用多帧图像来提高图像质量是一种十分有效的处理手段。

传统的方式中，对多帧图像的处理方法是基于像素级别的对齐和融合，上述方法虽然能够压制噪声的影响，但是会导致边缘模糊、伪彩以及细节的丢失等问题。

发明内容

本发明实施例提供一种图像处理方法、装置及可读存储介质，以实现对多帧图像进行处理，压制噪声的同时，能够有效保护图像的边缘细节。

第一方面，本发明实施例提供一种图像处理方法，包括：

根据第一图像中的第一像素点，确定所述第一图像中的第一像素区域，其中，所述第一像素点为所述第一像素区域的中心像素点；

根据所述第一像素区域以及对齐向量，获取N个第二图像中，分别与所述第一像素区域对应的N个第二像素区域，其中，所述对齐向量用于指示亚像素精度下，第一图像与第二图像之间的偏移量，其中，N为正整数；

根据N个第二像素区域中每个第二像素区域中的M个第二像素点分别对应的第一权重以及第二权重，将所述第一像素点与每个第二像素区域中的M个第二像素点分别进行融合，获得融合后的第一像素点，其中，第一权重为所述第二像素点对应的基于像素距离的各向异性的权重，第二权重为所述第二像素点对应的基于像素值的各向同性的权重，所述第二像素点为第二像素区域中的像素点，且进行亚像素对齐处理后第二像素点的位置位于所述第一像素区域中，M为正整数；

遍历所述第一图像中的每个像素点，完成所述第一图像与N个第二图像的融合，获得融合后的图像。

在一些可能的设计中，所述第一权重是根据所述第一像素点对应的各向异性的主方向、所述第一像素点对应的图像标准差、所述第二像素点与所述第一像素点之间的像素距离获得；

其中，所述第一像素点对应的图像标准差是根据第一预设邻域内的各个像素点的像素值获得的，所述第一像素点为所述第一预设邻域的中心像素点。

在一些可能的设计中，所述第二像素点与所述第一像素点之间的像素距离是所述第二像素点与所述第一像素点位于第一坐标系下的距离，所述第一坐标系的横轴方向为所述第一像素点对应的各向异性的主方向，纵轴方向为与所述主方向垂直的方向。

在一些可能的设计中，所述第二权重是根据第一像素区域中的各个像素点的像素值、第二像素区域中第二像素点的像素值、所述第一像素点对应的图像标准差获得。

在一些可能的设计中，所述方法还包括：

对所述第一图像以及所述N个第二图像进行亚像素对齐处理，获取所述对齐向量。

在一些可能的设计中，所述根据N个第二像素区域中每个第二像素区域中的M个第二像素点分别对应的第一权重以及第二权重，将所述第一像素点与每个第二像素区域中的M个第二像素点分别进行融合，获得融合后的第一像素点，包括：

针对N个第二像素区域中的每个第二像素区域，根据所述第二像素区域中的M个第二像素点分别对应的第一权重与第二权重的乘积，对所述第一像素点的像素值以及所述M个第二像素点的像素值进行归一化处理，获得所述第二像素区域对应的融合后的第一像素点的像素值；

根据N个第二像素区域分别对应的融合后的第一像素点的像素值，获得所述融合后的图像中该第一像素点的像素值。

在一些可能的设计中，所述方法还包括：

根据第一图像中第二预设邻域内各个像素点的梯度值，获取所述第一像素点对应的梯度值，其中，第一像素点为所述第二预设邻域的中心像素点；

根据所述第一像素点对应的梯度值，获取所述第一像素点对应的各向异性的主方向。

第二方面，本发明实施例提供一种图像处理装置，该装置包括：

第一处理模块，用于根据第一图像中的第一像素点，确定所述第一图像中的第一像素区域，其中，所述第一像素点为所述第一像素区域的中心像素点；

第二处理模块，用于根据所述第一像素区域以及对齐向量，获取N个第二图像中，分别与所述第一像素区域对应的N个第二像素区域，其中，所述对齐向量用于指示亚像素精度下，第一图像与第二图像之间的偏移量，其中，N为正整数；

图像融合模块，用于根据N个第二像素区域中每个第二像素区域中的M个第二像素点分别对应的第一权重以及第二权重，将所述第一像素点与每个第二像素区域中的M个第二像素点分别进行融合，获得融合后的第一像素点，其中，第一权重为所述第二像素点对应的基于像素距离的各向异性的权重，第二权重为所述第二像素点对应的基于像素值的各向同性的权重，所述第二像素点为第二像素区域中的像素点，且进行亚像素对齐处理后第二像素点的位置位于所述第一像素区域中，M为正整数；

遍历所述第一图像中的每个像素点，完成所述第一图像与所述N个第二图像的融合，获得融合后的图像。

第三方面，本发明实施例提供一种图像处理装置，该装置包括：存储器、处理器以及计算机程序指令；

所述存储器存储所述计算机程序指令；

所述处理器执行所述计算机程序指令，以执行如第一方面任一项所述的图像处理方法。

第四方面，本发明实施例提供一种可读存储介质，包括：程序；

所述程序被处理器执行时，以执行第一方面任一项所述的图像处理方法。

第五方面，本发明实施例还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，所述图像处理装置的至少一个处理器可以从所述可读存储介质中读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得所述图像处理装置执行如第一方面任一项所述的图像处理方法。

本发明实施例提供一种图像处理方法、装置及可读存储介质，其中，首先，根据第一图像中的第一像素点，确定第一像素区域；接着，根据第一像素区域以及亚像素精度下，第一图像与第二图像之间的对齐向量，获取N个第二图像中分别与第一图像对应的N个第二像素区域；并基于像素距离的权重以及基于像素值的权重对第一像素点与第二像素区域中的第二像素点进行融合，通过遍历第一图像中的每个像素点，完成第一图像与N个第二图像的融合，获得融合后的图像。由于本方案中是在亚像素精度下，对第一图像以及第二图像进行融合，且本方案中同时从像素距离以及像素值两个方面对图像进行滤波，从而更好地保护了融合后的图像中的边缘细节，减少了图像模糊，同时增加了图像细节，与现有方式相比具有更好的视觉效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的图像处理方法实施例一的流程图；

图2为本发明提供的第一像素区域的位置示意图一；

图3为本发明提供的第一像素区域的位置示意图二；

图4为本发明提供的进行亚像素对齐后的第一像素区域与第二像素区域之间的相对位置示意图；

图5为本发明提供的图像处理方法实施例二的流程图；

图6为本发明提供的图像处理装置实施例一的结构示意图；

图7为本发明提供的电子设备实施例一的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明提供的图像处理方法实施例一的流程图。本实施例提供的方法的执行主体可以为本发明实施例提供的图像处理装置，该图像处理装置可以通过任意的软件和/或硬件的方式实现。在本实施例中，以执行主体为终端设备为例进行详细说明。

参照图1所示，本实施例的方法包括：

S101、根据第一图像中的第一像素点，确定第一图像中的第一像素区域。

目前，为了提高终端设备的拍摄效果，终端设备通常对同一目标物进行连续拍摄，从而获取多帧图像，终端设备对多帧图像进行融合，并将融合后的图像展示给用户。

在本方案中，第一图像可以为终端设备连续拍摄的多帧图像中的任一帧图像；N个第二图像可以为终端设备连续拍摄的多帧图像中除第一图像之外的其他一帧或多帧图像，N为正整数。该方案中，第一图像为参考图像，N个第二图像为待融合图像。将第一图像与N个第二图像进行图像融合处理时，首先根据第一图像中的第一像素点，确定第一像素区域，其中，该第一像素点可以为第一图像中的任一像素点，且该第一像素点为第一像素区域的中心像素点，且第一像素点可以为第一图像中位于边缘位置的像素点，也可以为第一图像中位于内部的像素点。

示例性地，参照图2所示，第一像素区域为3*3大小的图像块，第一像素点位于第一图像中的第一行第一列，以该第一像素点为第一像素区域的中心像素点时，仅第一像素区域中的第二行第二列、第二行第三列、第三行第二列以及第三行第三列的位置存在像素点，第一行第一列、第一行第二列、第一行第三列、第二行第一列、以及第三行第一列这些位置并无像素值，因此，在后续进行图像融合时，可不考虑第一像素区域中第一行第一列、第一行第二列、第一行第三列、第二行第一列、以及第三行第一列这些无像素值的位置。

参照图3所示，第一像素区域为3*3大小的像素区域，第一像素点为第一图像中位于第一图像内部的像素点，例如，第一像素点位于第一图像中第三行第三列，则第一像素区域中各个像素点的像素值为第一图像中相应位置的像素点的像素值。

还需要说明的是，在实际应用中，第一像素区域的大小可根据实际需求设定，并不限于上述描述的3*3大小，例如，还可以是5*5大小。

S102、根据第一像素区域以及对齐向量，获取N个第二图像中，分别与第一像素区域对应的N个第二像素区域。

在该方案中，由于终端设备在连续拍摄多帧图像时，可能会由于抖动等因素，导致多帧图像之间存在偏移，因此，N个第二图像中每个第二图像中包括一个与第一像素区域对应的第二像素区域，且第二像素区域与第一像素区域之间存在偏移。且N个第二图像中每个第二图像中的第二像素区域与第一像素区域之间的偏移量可能相同，也可能不相同。

在该方案中，终端设备根据第一像素区域以及用于指示亚像素精度下，第一像素区域与分别N个第二图像中每个第二像素区域在X方向和Y方向上的偏移量的对齐向量，获取N个第二像素区域。

其中，第二像素区域的像素大小通常与第一像素区域的像素大小相同。

S103、根据N个第二像素区域中每个第二像素区域中的M个第二像素点分别对应的第一权重以及第二权重，将第一像素点与每个第二像素区域中的M个第二像素点分别进行融合，获得融合后的第一像素点。

其中，第二像素点为第二像素区域中的像素点，且进行亚像素对齐处理后第二像素点的位置位于第一像素区域内的像素点。示例性地，参照图4所示，“●”表示第一像素区域中的像素点，“▲”表示第二像素区域中的像素点，根据第一像素区域与第二像素区域之间的亚像素精度下的对齐向量，将第一像素区域与第二像素区域进行对齐，由于第一像素区域与第二像素区域之间存在偏移，则第二像素区域中的一些像素点可能位于第一像素区域之外的位置，本方案中进行融合处理时，仅考虑第二像素区域中位于第一像素区域内的像素点，这些像素点即为第二像素点，如图4中所示的情况，该第二像素区域中的第二像素点包括标号为1、2、3以及4的这4个像素点。

另外，在该方案中，第二像素区域中的每个第二像素点均对应第一权重和第二权重；其中，第一权重为该第二像素点对应的基于像素距离的各向异性的权重，这里所指的像素距离为第一像素点与第二像素点之间的像素距离；第二权重为第二像素点对应的基于像素值的各向同性的权重，这里所指的像素值包括第一像素点的像素值和第二像素点的像素值。

具体地，第二像素点对应的第一权重是根据第一像素点对应的各向异性的主方向、第一像素点对应的图像标准差、以及该第二像素点与第一像素点之间的像素距离获得；其中，第一像素点对应的图像标准差是根据第一预设邻域内的各个像素点的像素值获得的，且该第一像素点为该第一预设邻域的中心像素点，其中，根据第一像素区域中各个像素点的像素值获取第一像素区域对应的图像标准差的计算方式与现有技术中类似，可参照现有技术中的实现方式，本申请实施例对此不作详细描述。

1、第二像素点对应的第一权重

其中，第二像素点对应的第一权重满足公式(1)：

在公式(1)中，g₁表示第一高斯核函数；u,v表示该第二像素点在第一坐标系中的位置，其中，该第一坐标系(UV坐标系)是根据第二坐标系(XY坐标系)以及第一像素点对应的各向异性的主方向进行重投影获得的新的坐标系，第一坐标系的横轴方向为第一像素点对应的各向异性的主方向，第一坐标系的纵轴方向为与第一像素点对应的各向异性的主方向垂直的方向；α,β分别为第一系数和第二系数，第一系数和第二系数分别表示第一权重在第一坐标系中横轴方向以及纵轴方向上的强度，第一系数和第二系数可根据第一高斯核函数确定。

其中，第二像素点在第一坐标系中的位置满足公式(2)：

[u,v]＝[lx,ly]r 公式(2)

在公式(2)中，lx,ly表示第二像素点在第二坐标系中的位置；r表示旋转矩阵。其中，r满足公式(3)：

在公式(3)中，θ为旋转角度，且该旋转角度θ满足公式(4)：

在实际应用中，该旋转角度θ用于指示第一像素点对应的各向异性的主方向。该第一像素点对应的各向异性的主方向是根据第一像素点对应的X方向的梯度值和Y方向的梯度值获得的。

一种可能的实现方式中，第一像素点对应的X方向的梯度值和Y方向的梯度值可通过索贝尔sobel算子获得，具体地，第一像素点对应的X方向的梯度值和Y方向的梯度值满足公式(5)：

其中，公式(5)表示对第二预设邻域内的所有像素点在X方向的梯度值进行求和，获得第一像素点对应的X方向的梯度值；对第二预设邻域内的所有像素点在Y方向的梯度值进行求和，获得第一像素点对应的Y方向的梯度值。另外，第一像素点为第二预设邻域的中心像素点，在实际应用中，第二预设邻域的大小可根据实际需求设定，例如，第二预设邻域是以第一像素点为中心像素点5*5大小的像素区域，或者，也可以是以第一像素点为中心像素点3*3大小的像素区域。

2、第二像素点对应的第二权重

第二像素点对应的第二权重是根据第一像素区域中的各个像素点的像素值、第二像素区域中的第二像素点的像素值以及第一像素点对应的图像标准差获得。其中，第二像素点对应的第二权重满足公式(6)：

x＝g₂(k,z,cσ) 公式(6)

在公式(6)中，x表示第二像素点对应的第二权重；g₂表示第二高斯核函数；k表示第一像素点的像素值；z表示第二像素点的像素值；σ表示第一像素点对应的图像标准差。另外如上所述，σ根据第一像素区域中，第一预设邻域内的各个像素点的像素值获得，第一像素点为第一预设邻域的中心像素点；c为第三系数，第三系数可根据第二高斯核函数确定。

在上述基础上，将第一像素点与第二像素区域中的M个第二像素点分别进行融合，获得该第二像素区域对应的融合后的第一像素点可通过下述方式实现：

首先，根据该第二像素区域中的M个第二像素点分别对应的第一权重与第二权重的乘积，对第一像素点的像素值以及M个第二像素点的像素值进行归一化处理，获得该第二像素区域对应的融合后的第一像素点的像素值。

具体地，该第二像素区域对应的融合后的第一像素点的像素值满足公式(7)：

在上述公式(7)中，k_1,n表示第n个第二像素区域对应的融合后的第一像素点的像素值；k₁表示第一像素区域中第一像素点的像素值；y_n,m表示第n个第二像素区域中第m个第二像素点对应的第一权重；x_n,m表示第n个第二像素区域中第m个第二像素点对应的第二权重；z_n,m表示第n个第二像素区域中第m个第二像素点的像素值；n大于等于0，且小于等于N；m大于等于0，且小于等于M。

且在公式(7)中，第n个第二像素区域为第n个第二图像中与第一像素区域对应的第二像素区域。

采用上述方式分别获取N个第二像素区域分别对应的融合后的第一像素点的像素值。

接着，根据N个第二像素区域分别对应的融合后的第一像素点的像素值，获得融合后的第一像素点的像素值。本申请实施例中对于如何根据N个第二像素区域分别对应的融合后的第一像素点的像素值获得融合后的图像中第一像素点的像素值的具体实现方式不作限制。例如，可根据N个第二像素区域分别对应的融合后的第一像素点的像素值的平均值，获得融合后的图像中的第一像素点的像素值，或者，还可以根据N个第二像素区域分别对应的融合后的第一像素点的像素值的加权平均值获得融合后的图像中的第一像素点的像素值。

S104、遍历第一图像中的每个像素点，完成第一图像与N个第二图像的融合，获得融合后的图像。

采用上述S101至S103中的方式遍历第一图像中的每个像素点，从而获得第一图像中每个像素点对应的融合后的像素值。

本实施例中，首先，根据第一图像中的第一像素点，确定第一像素区域；接着，根据第一像素区域以及亚像素精度下，第一图像与第二图像之间的对齐向量，获取N个第二图像中分别与第一图像对应的N个第二像素区域；并基于像素距离的权重以及基于像素值的权重对第一像素点与第二像素区域中的第二像素点进行融合，通过遍历第一图像中的每个像素点，完成第一图像与N个第二图像的融合，获得融合后的图像。由于本方案中是在亚像素精度下，对第一图像以及第二图像进行融合，且本方案中同时从像素距离以及像素值两个方面对图像进行滤波，从而更好地保护了融合后的图像中的边缘细节，减少了图像模糊，同时增加了图像细节，与现有方式相比具有更好的视觉效果。

图5为本发明提供的图像处理方法实施例二的流程图。本实施例所示的方法，在图1所示实施例的基础上，在S102、根据所述第一像素区域以及对齐向量，获取N个第二图像中，分别与所述第一像素区域对应的N个第二像素区域之前，还可以包括：

S101′、对第一图像以及N个第二图像进行亚像素对齐处理，获取所述对齐向量。

该方案中，对第一图像以及N个第二图像分别进行亚像素对齐处理的目的在于获取亚像素精度下，第一图像中的像素点与第二图像中的像素点在X方向和Y方向上的偏移量，该偏移量可通过对齐向量表示。在一些情况下，对齐向量也可以称为偏移向量、匹配向量、第一向量等其他名称，本发明实施例对此不作限制。

一种可能的实现方式，可采用基于绝对误差和算法(Sum of absolutedifferences，SAD)的图像匹配算法，获取上述对齐向量。

这里以根据第一图像以及N个第二图像中任一第二图像进行亚像素对齐处理，获取对齐向量为例进行详细说明。

具体地，可以包括以下步骤：

步骤一、对第一图像以及第二图像进行基于高斯金字塔的图像分块处理，获取第一图像对应的高斯金字塔以及第二图像对应的高斯金字塔；其中，第一图像对应的高斯金字塔包括I层，第二图像对应的高斯金字塔包括I层，I为正整数。

其中，第一图像对应的高斯金字塔由顶层图像至底层图像的方向上(即第1层至第I层的方向)，每层图像对应的图像分块由小至大；第二图像对应的高斯金字塔由顶层图像至底层图像的方向上(即第1层至第I层的方向)，每层图像对应的图像分块由小至大。

例如，第i-1层的图像的尺寸可以为第i层图像的尺寸的二分之一，其中，i大于1且小于等于I。

步骤二、对于第一图像对应的高斯金字塔的第1层图像来说，根据该第1层图像中第1个像素区域A_1，1，在第二图像对应的高斯金字塔的第1层图像中进行查找，获取SAD值最小时对应的偏移向量，该偏移向量即为第1个像素区域A₁的中心像素点与第二图像中相似度最高的像素点之间的偏移量，该对齐向量可表示为V_1，1＝(a₁，b₁)。

其中，SAD值为两个像素区域中所有像素点的像素值之差的绝对值的和，SAD值越小，表示两个像素区域之间的相似度越高。

重复执行上述过程，获得第一图像对应的高斯金字塔的第1层图像中每个像素点对应的对齐向量。

步骤三、对于第一图像对应的高斯金字塔的第2层图像来说，根据该第1层图像中第1个像素区域A_2，1，在第二图像对应的高斯金字塔的第2层图像中进行查找，获取SAD值最小时对应的偏移向量，该偏移向量即为V_2，1＝(a₂，b₂)。

在第2层图像中进行查找时，起始位置是根据上一层获取的偏移向量确定的，例如，第1层图像的尺寸为第2层图像的尺寸的二分之一时，则可根据2V_2，1＝(2a₁，2b₁)确定在第二图像对应的高斯金字塔的第2层图像中的起始查找位置。

重复执行上述过程，获得第一图像对应的高斯金字塔的第2层图像中每个像素点对应的对齐向量。

步骤四、以此类推，直至将第一图像对应的高斯金字塔的第I层图像与第二图像对应的高斯金字塔的第I层图像匹配结束，从而获取每个像素点对应的偏移向量。

步骤五、根据第一图像对应的高斯金字塔中第I层图像的每个像素区域的SDA值以及与该像素区域关联的多个像素区域的SAD值，进行二次曲面拟合处理，根据计算的曲面的最小值，获取第一图像与第二图像的对齐向量。

通过重复执行上述步骤五，从而获取第一图像与每个第二图像之间基于亚像素的对齐向量。

另外，还需要说明的是，在该方案中，根据第一图像以及N个第二图像分别进行亚像素对齐处理，获取对齐向量的具体实现方式并不限于上述描述的方式，其只要能够获取亚像素精度下的对齐向量均属于本申请的保护范畴。

本实施例中，亚像素精度相对于像素级别精度来说，精确度更高，因此，通过S101′中的方式获取亚像素精度下的对齐向量，之后，通过在亚像素精度下，对第一图像以及N个第二图像进行融合，从而使融合入后的图像中保留更多的图像细节，保证了融合后的图像的丰富程度。

图6为本发明实施例提供的图像处理装置实施例一的结构示意图。如图6所示，本实施例提供的图像处理装置600包括：第一处理模块601、第二处理模块602以及图像融合模块603。

其中，第一处理模块601，用于根据第一图像中的第一像素点，确定所述第一图像中的第一像素区域，其中，所述第一像素点为所述第一像素区域的中心像素点。

第二处理模块602，用于根据所述第一像素区域以及对齐向量，获取N个第二图像中，分别与所述第一像素区域对应的N个第二像素区域，其中，所述对齐向量用于指示亚像素精度下，第一图像与第二图像之间的偏移量，其中，N为正整数。

图像融合模块603，用于根据N个第二像素区域中每个第二像素区域中的M个第二像素点分别对应的第一权重以及第二权重，将所述第一像素点与每个第二像素区域中的M个第二像素点分别进行融合，获得融合后的第一像素点，其中，第一权重为所述第二像素点对应的基于像素距离的各向异性的权重，第二权重为所述第二像素点对应的基于像素值的各向同性的权重，所述第二像素点为第二像素区域中的像素点，且进行亚像素对齐处理后第二像素点的位置位于所述第一像素区域中，M为正整数。

之后，该图像处理装置遍历第一图像中的每个像素点，完成第一图像与N个第二图像的融合，获得融合后的图像。

在一些可能的设计中，第一权重是根据所述第一像素点对应的各向异性的主方向、所述第一像素点对应的图像标准差、所述第二像素点与所述第一像素点之间的像素距离获得；其中，所述第一像素点对应的图像标准差是根据第一预设邻域内的各个像素点的像素值获得的，所述第一像素点为所述第一预设邻域的中心像素点。

在一些可能的设计中，第二权重是根据第一像素区域中的各个像素点的像素值、第二像素区域中第二像素点的像素值、所述第一像素点对应的图像标准差获得。

在一些可能的设计中，图像处理装置600还包括：第三处理模块604，用于对所述第一图像以及所述N个第二图像进行亚像素对齐处理，获取所述对齐向量。

在一些可能的设计中，图像融合模块603，具体用于针对N个第二像素区域中的每个第二像素区域，根据所述第二像素区域中的M个第二像素点分别对应的第一权重与第二权重的乘积，对所述第一像素点的像素值以及所述M个第二像素点的像素值进行归一化处理，获得所述第二像素区域对应的融合后的第一像素点的像素值；以及根据N个第二像素区域分别对应的融合后的第一像素点的像素值，获得所述融合后的图像中该第一像素点的像素值。

在一些可能的设计中，图像处理装置600，还包括：获取模块605，用于根据第一图像中第二预设邻域内各个像素点的梯度值，获取所述第一像素点对应的梯度值，其中，第一像素点为所述第二预设邻域的中心像素点；以及根据所述第一像素点对应的梯度值，获取所述第一像素点对应的各向异性的主方向。

本实施例提供的装置可以用于执行图1以及图5所示实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。

图7为本发明提供的电子设备实施例一的结构示意图。如图7所示，本实施例的电子设备700包括：存储器701和处理器702；

存储器701可以是独立的物理单元，与处理器702可以通过总线703连接。存储器701、处理器702也可以集成在一起，通过硬件实现等。

存储器701用于存储程序指令，处理器702调用该程序指令，执行以上图1或图5任一方法实施例的操作。

可选地，当上述实施例的方法中的部分或全部通过软件实现时，上述电子设备700也可以只包括处理器702。用于存储程序的存储器701位于电子设备70之外，处理器702通过电路/电线与存储器连接，用于读取并执行存储器中存储的程序。

处理器702可以是中央处理器(Central Processing Unit，CPU)，网络处理器(Network Processor，NP)或者CPU和NP的组合。

处理器702还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(Application-Specific Integrated Circuit，ASIC)，可编程逻辑器件(ProgrammableLogic Device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(ComplexProgrammable Logic Device，CPLD)，现场可编程逻辑门阵列(Field-Programmable GateArray，FPGA)，通用阵列逻辑(Generic Array Logic,GAL)或其任意组合。

存储器701可以包括易失性存储器(Volatile Memory)，例如随机存取存储器(Random-Access Memory，RAM)；存储器也可以包括非易失性存储器(Non-volatileMemory)，例如快闪存储器(Flash Memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-state Drive，SSD)；存储器还可以包括上述种类的存储器的组合。

本发明还提供一种可读存储介质，可读存储介质中包括程序，程序在被处理器执行时，以执行以上方法。

本发明实施例还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，所述图像处理装置的至少一个处理器可以从所述可读存储介质中读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得所述图像处理装置执行图1或图5任一方法实施例的操作。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种图像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述第一权重是根据所述第一像素点对应的各向异性的主方向、所述第一像素点对应的图像标准差、所述第二像素点与所述第一像素点之间的像素距离获得；

3.根据权利要求2所述的方法，其特征在于，所述第二像素点与所述第一像素点之间的像素距离是所述第二像素点与所述第一像素点位于第一坐标系下的距离，所述第一坐标系的横轴方向为所述第一像素点对应的各向异性的主方向，纵轴方向为与所述主方向垂直的方向。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述第二权重是根据第一像素区域中的各个像素点的像素值、第二像素区域中第二像素点的像素值、所述第一像素点对应的图像标准差获得。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1至3任一项所述的方法，其特征在于，所述根据N个第二像素区域中每个第二像素区域中的M个第二像素点分别对应的第一权重以及第二权重，将所述第一像素点与每个第二像素区域中的M个第二像素点分别进行融合，获得融合后的第一像素点，包括：

7.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

8.一种图像处理装置，其特征在于，包括：

9.一种图像处理装置，其特征在于，包括：存储器、处理器以及计算机程序指令；

所述存储器存储所述计算机程序指令；

所述处理器执行所述计算机程序指令，以执行如权利要求1至7任一项所述的图像处理方法。

10.一种可读存储介质，其特征在于，包括：程序；

所述程序被处理器执行时，以执行如权利要求1至7任一项所述的图像处理方法。