CN116977235A

CN116977235A - 图像融合方法、电子设备及存储介质

Info

Publication number: CN116977235A
Application number: CN202310845419.6A
Authority: CN
Inventors: 黄芳
Original assignee: Chengdu Ck Technology Co ltd
Current assignee: Chengdu Ck Technology Co ltd
Priority date: 2023-07-10
Filing date: 2023-07-10
Publication date: 2023-10-31

Abstract

本申请实施例公开一种图像融合方法、电子设备及存储介质，包括：将各待融合图像进行拉普拉斯金字塔分解，根据最高层参考分解图像与最高层其他分解图像的帧差，确定最高层其他分解图像的融合权重；参考分解图像为清晰度最高的待融合图像的分解图像；根据次高层参考分解图像与次高层其他分解图像的帧差以及最高层其他分解图像的融合权重，确定次高层其他分解图像的融合权重；对剩余层执行上述确定过程直至得到最低层其他分解图像的融合权重；基于各层分解图像的融合权重对各层分解图像进行融合得到各层的中间融合图像；各层其他分解图像中运动区域的融合权重为0，各层参考分解图像中运动区域的融合权重为1；基于各层的中间融合图像生成目标图像。

Description

图像融合方法、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像融合方法、电子设备及存储介质。

背景技术

目前，在使用电子设备进行拍摄时，受限于设备的硬件水平，通常需要通过拍摄多个图像，对多个图像进行融合，来合成噪声水平较低、动态范围较高、清晰度更高等更高质量的图像。不论是手持设备还是固定相机，都会遇到被拍摄对象存在运动的情况，相关技术中，在合成图像时图像的运动区域会产生运动模糊、鬼影等问题，图像融合结果的视觉效果较差。

发明内容

本申请实施例提供一种图像融合方法、电子设备及存储介质，以解决相关技术存在的图像融合结果的视觉效果差的技术问题。

根据本申请的第一方面，公开了一种图像融合方法，所述方法包括：

在获取连续拍摄的多个待融合图像后，将各待融合图像进行拉普拉斯金字塔分解，得到不同分辨率的多层分解图像；

根据最高层参考分解图像与最高层其他分解图像的帧差，确定最高层其他分解图像的融合权重；所述参考分解图像为清晰度最高的待融合图像的分解图像，所述其他分解图像为所述参考分解图像之外的分解图像；

根据次高层参考分解图像与次高层其他分解图像的帧差以及所述最高层其他分解图像的融合权重，确定次高层其他分解图像的融合权重；对剩余层执行上述确定过程，直至得到最低层其他分解图像的融合权重；

基于各层分解图像的融合权重，对各层分解图像进行融合得到各层的中间融合图像；各层其他分解图像中运动区域的融合权重为0，各层参考分解图像中运动区域的融合权重为1；

基于各层的中间融合图像生成目标图像。

根据本申请的第二方面，公开了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现如第一方面中的图像融合方法。

根据本申请的第三方面，公开了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的图像融合方法。

根据本申请的第四方面，公开了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的图像融合方法。

本申请实施例中，在获取连续拍摄的多个待融合图像后，将各待融合图像进行拉普拉斯金字塔分解，得到不同分辨率的多层分解图像；根据最高层参考分解图像与最高层其他分解图像的帧差，确定最高层其他分解图像的融合权重；参考分解图像为清晰度最高的待融合图像的分解图像，其他分解图像为参考分解图像之外的分解图像；根据次高层参考分解图像与次高层其他分解图像的帧差以及最高层其他分解图像的融合权重，确定次高层其他分解图像的融合权重；对剩余层执行上述确定过程，直至得到最低层其他分解图像的融合权重；基于各层分解图像的融合权重，对各层分解图像进行融合得到各层的中间融合图像；各层其他分解图像中运动区域的融合权重为0，各层参考分解图像中运动区域的融合权重为1；基于各层的中间融合图像生成目标图像。

可见，本申请实施例中，将连续拍摄的多个待融合图像做完拉普拉斯金字塔分解之后，从拉普拉斯金字塔的最高层开始，根据分解图像之间的帧差计算最高层分解图像的融合权重，并将最高层的融合权重向下一层传递，用于影响下一层分解图像的融合权重的计算，由于对于噪声较大的图像，拉普拉斯金字塔内较大尺度图像(即较高层图像)的运动检测往往能在很大程度上避免噪声对运动检测的影响，但更大尺度的图像进行运动检测也可能存在漏检一些较小尺寸的运动物体，因此在拉普拉斯金字塔内先从最大尺度开始检测运动区域，并根据能够表征运动强度的帧差计算融合权重，然后将这个融合权重逐级向下传递，用于影响更小尺度的分解图像的融合权重计算，既保证了能够准确检测大尺寸的运动物体，又不漏检小尺寸的运动物体，保证了运动区域检测的准确性，同时，在基于融合权重对拉普拉斯金字塔的每层分解图像进行融合时，运动区域直接选用清晰度最高的分解图像的像素进行替换，可以避免融合结果的运动区域中出现运动模糊、鬼影，从而生成更符合人眼视觉的融合图像，提高了图像融合结果的视觉效果。

附图说明

图1是本申请实施例提供的一种图像融合方法的流程图；

图2是本申请实施例提供的一种图像融合方法的示例图之一；

图3是本申请实施例提供的一种图像融合方法的示例图之二；

图4是本申请实施例提供的一种图像融合装置的结构示意图；

图5是本申请实施例提供的一种电子设备的结构框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。

近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。

以图像处理领域中的图像融合为例，当前机器视觉领域，受硬件限制比较大，常常需要连续拍摄多个图像，来合成噪声水平较低、动态范围较高、清晰度更高等更高质量的图像。不论是手持设备还是固定相机，都会遇到被拍摄对象存在运动的情况。相关技术中，采用全分辨率融合技术，然而，由于全分辨率的多帧图像融合容易受噪声影响，难以准确地检测出图像中的运动区域，因此导致图像融合时出现运动模糊、鬼影等问题，图像融合结果的视觉效果较差。

为了解决上述技术问题，本申请实施例提供了一种图像融合方法、电子设备及存储介质，可以提高运动场景的多帧融合算法的鲁棒性。为了便于理解，下面首先对本申请实施例的应用场景和涉及到的一些概念进行介绍。

图像金字塔，属于图像中多尺度表达的一种，主要用于图像的分割，是一种以多分辨率来解释图像的有效但概念简单的结构。图像金字塔最初用于机器视觉和图像压缩，一个图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图像的图像集合，其通过梯次向下采样获得，直到达到某个终止条件才停止采样。金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。

层级、尺度、尺寸和分辨率：对于金字塔中的各层级图像，层级越高、图像的尺度越大、图像的尺寸越小、分辨率越低；层级越低、图像的尺度越小、图像的尺寸越大、分辨率越高。

高斯金字塔(Gaussianpyramid)，是用来向下采样，主要的图像金字塔。

拉普拉斯金字塔(Laplacianpyramid)，是用来从金字塔低层图像重建上层未采样图像，在数字图像处理中也即是预测残差，可以对图像进行最大程度的还原，配合高斯金字塔一起使用。

接下来对本申请实施例提供的一种图像融合方法进行介绍。

图1是本申请实施例提供的一种图像融合方法的流程图，如图1所示，该方法可以包括以下步骤：步骤101、步骤102、步骤103、步骤104和步骤105；

在步骤101中，在获取连续拍摄的多个待融合图像后，将各待融合图像进行拉普拉斯金字塔分解，得到不同分辨率的多层分解图像。

本申请实施例中，多个待融合图像可以为智能手机、无人机等移动设备拍摄到的一系列图像，也可以为网络摄像机拍摄到的一系列图像。

本申请实施例中，待融合图像可以为灰度图像或者彩色图像。

本申请实施例中，对各待融合图像均进行相同的拉普拉斯金字塔分解，得到各待融合图像的不同分辨率(即不同尺度)的多层分解图像。

本申请实施例中，可以根据用户实际需求，选择拉普拉斯金字塔分解的层级个数，例如，将图像分解为4个层级，其中，图像所处的层级越高，图像的尺度越大，图像的尺寸越小，分辨率越低。

在一些实施例中，当待融合图像为彩色图像时，可以将多颜色通道的彩色图像转换为灰度图像，图像的通道数由多个变为一个，进行处理时可以降低图像处理的数据量，相应地，上述步骤101可以包括以下步骤：将各待融合图像对应的Y通道图像进行拉普拉斯金字塔分解，得到不同分辨率的多层分解图像，其中，分解图像为Y通道分解图像。

本申请实施例中，当待融合图像为彩色图像时，可以先将待融合图像进行颜色空间转换，转换到Ycbcr格式或者YUV格式，得到待融合图像对应的Y通道图像(即灰度图像)，之后基于拉普拉斯金字塔内的各层Y通道分解图像，执行步骤102～步骤105。

在步骤102中，根据最高层参考分解图像与最高层其他分解图像的帧差，确定最高层其他分解图像的融合权重；其中，参考分解图像为清晰度最高的待融合图像的分解图像，其他分解图像为参考分解图像之外的分解图像。

本申请实施例中，分解图像的融合权重包括：该分解图像中各像素位置的融合权重，其中，不同像素位置的融合权重可能相同，也可能不同。

本申请实施例中，考虑到融合结果中容易出现运动模糊和鬼影的区域，主要为运动区域，并且不同尺寸的运动对象在不同尺度的图像中的运动特征表现不同，例如，大尺寸的运动对象在大尺度/高层级的图像中的运动特征表现比较明显，而小尺寸的运动对象在小尺度/低层级的图像中的运动特征表现比较明显，因此从拉普拉斯金字塔的最高层开始，首先确定该层内各分解图像中的运动区域，在确定运动区域时，以一个分解图像作为参考分解图像，计算其他分解图像与参考分解图像的帧差，根据帧差确定其他分解图像中的运动区域，由于参考分解图像为清晰度最高的待融合图像的分解图像，即参考分解图像为该层中清晰度最高的分解图像，并且帧差可以反映出两个图像中相同像素位置的相似度，帧差越大，相似度越低，帧差越小，相似度越高，而相似度又与区域类型强相关，相似度越低，属于运动区域的概率越高，相似度越高，属于静止区域的概率越高，因此可以确保该层其他分解图像的运动区域确定结果的准确度。

在确定出最高层其他分解图像的运动区域之后，对于运动区域，将最高层其他分解图像的运动区域的融合权重设置为0，将最高层参考分解图像的运动区域的融合权重设置为1，以实现在对最高层的各分解图像进行融合时，融合结果中运动区域的像素为最高层参考分解图像的运动区域的像素，从而避免融合结果的运动区域中出现运动模糊和鬼影；对于运动区域之外的静止区域，根据最高层参考分解图像与最高层其他分解图像的帧差，确定静止区域的融合权重，以实现在对最高层的各分解图像进行融合时，融合结果中静止区域的像素为最高层所有分解图像的像素综合结果，从而确保融合结果的静止区域中像素信息的全面，可以提高图像融合的视觉效果。

本申请实施例中，最高层其他分解图像中运动区域的融合权重为0，最高层参考分解图像中运动区域的融合权重为1。此外，考虑到在拉普拉斯金字塔的最高层，最高层参考分解图像的清晰度是最高的，因此为了提高融合结果的视觉效果，可以设置最高层参考分解图像中运动区域之外的静止区域的融合权重也为1，也就是说，最高层参考分解图像的融合权重为1，通过为最高层参考分解图像分配较高的融合权重，来提高融合结果的视觉效果。

在步骤103中，根据次高层参考分解图像与次高层其他分解图像的帧差以及最高层其他分解图像的融合权重，确定次高层其他分解图像的融合权重；对剩余层执行上述确定过程，直至得到最低层其他分解图像的融合权重。

本申请实施例中，对于拉普拉斯金字塔，由于最高层包含图像大尺度的特征，其帧差能够确定图像中较大尺度的对象的运动信息，如果这个尺度上存在运动区域，则在更小尺度上大概率也是运动区域，因此可以将最高层其他分解图像的融合权重传递至次高层，辅助次高层的其他分解图像确定运动区域，进而确定次高层其他分解图像的融合权重。

本申请实施例中，对于拉普拉斯金字塔的次高层以下的各层，均采用上述融合权重传递和计算的过程，得到次高层以下各层其他分解图像的融合权重。

本申请实施例中，次高层其他分解图像中运动区域的融合权重为0，次高层参考分解图像中运动区域的融合权重为1。

本申请实施例中，次高层以下各层其他分解图像中运动区域的融合权重为0，次高层以下各层参考分解图像中运动区域的融合权重为1。

也就是说，拉普拉斯金字塔内的各层其他分解图像中运动区域的融合权重为0，各层参考分解图像中运动区域的融合权重为1，使得每层融合结果中运动区域的像素为该层参考分解图像的运动区域的像素，从而避免融合结果的运动区域中出现运动模糊和鬼影；以及使得每层融合结果中静止区域的像素为该层所有分解图像的综合，从而确保融合结果的静止区域中像素信息的全面，提高图像融合的视觉效果。

本申请实施例中，考虑到在拉普拉斯金字塔的各层，参考分解图像的清晰度是最高的，因此为了提高融合结果的视觉效果，可以设置参考分解图像中运动区域之外的静止区域的融合权重也为1，也就是说，各层参考分解图像的融合权重为1，通过为各层参考分解图像分配较高的融合权重，来提高融合结果的视觉效果。

在步骤104中，基于各层分解图像的融合权重，对各层分解图像进行融合得到各层的中间融合图像。

在步骤105中，基于各层的中间融合图像生成目标图像。

本申请实施例中，对所有层的中间融合图像进行拉普拉斯金字塔重建，得到最终的目标图像。

在一个例子中，连续拍摄的待融合图像有3个，分别为图像A、图像B和图像C，其中，图像B的清晰度最高。

如图2所示，对图像A进行拉普拉斯金字塔分解，分解为3层，分别为分解图像A₂、分解图像A₁和分解图像A₀；对图像B进行拉普拉斯金字塔分解，分解为3层，分别为分解图像B₂、分解图像B₁和分解图像B₀；对图像C进行拉普拉斯金字塔分解，分解为3层，分别为分解图像C₂、分解图像C₁和分解图像C₀；由于图像B的清晰度最高，因此图像B的分解图像B₂、分解图像B₁和分解图像B₀均为参考分解图像。

从拉普拉斯金字塔的最高层开始，最高层中包括3个分解图像：分解图像A₂、参考分解图像B₂和分解图像C₂，根据分解图像A₂与参考分解图像B₂的帧差，确定分解图像A₂的融合权重w_A2，根据分解图像C₂与参考分解图像B₂的帧差，确定分解图像C₂的融合权重w_C2。根据计算得到的融合权重w_A2和w_C2，对分解图像A₂、参考分解图像B₂和分解图像C₂进行融合，得到最高层的中间融合图像D₂，其中，D₂＝A₂*w_A2+B₂+C₂*w_C2。

在完成最高层的融合权重计算之后，将最高层的融合权重w_A2和w_C2向次高层传递，以用于计算次高层的融合权重。次高层中包括3个分解图像：分解图像A₁、参考分解图像B₁和分解图像C₁，根据分解图像A₁与参考分解图像B₁的帧差以及上一层的融合权重w_A2，确定分解图像A₁的融合权重w_A1，根据分解图像C₁与参考分解图像B₁的帧差以及上一层的融合权重w_C2，确定分解图像C₁的融合权重w_C1。根据计算得到的融合权重w_A1和w_C1，对分解图像A₁、参考分解图像B₁和分解图像C₁进行融合，得到次高层的中间融合图像D₁，其中，D₁＝A₁*w_A1+B₁+C₁*w_C1。同理，可以计算得到最底层的中间融合图像D₀，其中，D₀＝A₀*w_A0+B₀+C₀*w_C0。

最后，基于中间融合图像D₂、中间融合图像D₁和中间融合图像D₀进行拉普拉斯金字塔重建，生成目标图像。

由上述实施例可见，该实施例中，在获取连续拍摄的多个待融合图像后，将各待融合图像进行拉普拉斯金字塔分解，得到不同分辨率的多层分解图像；根据最高层参考分解图像与最高层其他分解图像的帧差，确定最高层其他分解图像的融合权重；参考分解图像为清晰度最高的待融合图像的分解图像，其他分解图像为参考分解图像之外的分解图像；根据次高层参考分解图像与次高层其他分解图像的帧差以及最高层其他分解图像的融合权重，确定次高层其他分解图像的融合权重；对剩余层执行上述确定过程，直至得到最低层其他分解图像的融合权重；基于各层分解图像的融合权重，对各层分解图像进行融合得到各层的中间融合图像；各层其他分解图像中运动区域的融合权重为0，各层参考分解图像中运动区域的融合权重为1；基于各层的中间融合图像生成目标图像。

在本申请提供的另一个实施例中，作为帧差参数的一种，两个图像中相同位置的两个像素点的像素值绝对差值，可以准确地度量该相同位置的两个像素点之间的相似度，因此可以根据像素值的绝对差值，确定融合权重，相应地，上述步骤102可以包括以下步骤：步骤1021和步骤1022；

在步骤1021中，计算最高层参考分解图像的各像素位置的像素值与最高层其他分解图像的对应位置的像素值之间的绝对差值。

本申请实施例中，可以逐像素的计算最高层参考分解图像的各像素位置的像素值与最高层其他分解图像的对应位置的像素值之间的绝对差值，得到最高层其他分解图像的各像素位置对应的绝对差值，其中，一个像素位置的绝对差值越大，表示其他分解图像与参考分解图像在该像素位置的相似度越低，其他分解图像的该像素位置属于运动区域的概率越高；一个像素位置的绝对差值越小，表示其他分解图像与参考分解图像在该像素位置的相似度越高，其他分解图像的该像素位置属于静止区域的概率越高。

在步骤1022中，根据最高层其他分解图像的各像素位置对应的绝对差值，确定最高层其他分解图像的各像素位置的融合权重，其中，绝对差值大于或等于第一阈值的像素位置构成所述运动区域。

在一些实施例中，对于最高层其他分解图像中绝对差值大于或等于第一阈值的像素位置，认为该像素位置为运动区域，确定该像素位置的融合权重为0；对于最高层其他分解图像中绝对差值小于第一阈值的像素位置，认为该像素位置为静止区域，确定该像素位置的融合权重为其中，Δ1为绝对差值，δ1为第一参数。

可见，本申请实施例中，可以根据最高层参考分解图像的各像素位置的像素值与最高层其他分解图像的对应位置的像素值之间的绝对差值，确定最高层其他分解图像的各像素位置的融合权重，由于绝对差值的计算量比较小、计算结果比较稳定，因此融合权重的确定过程比较快，确定结果比较准确。

在本申请提供的另一个实施例中，上述步骤103可以包括以下步骤：步骤1031、步骤1032和步骤1033；

在步骤1031中，根据次高层参考分解图像与次高层其他分解图像的帧差，确定次高层其他分解图像的各像素位置的权重系数。

本申请实施例中，次高层其他分解图像的各像素位置的权重系数的确定过程，与步骤102中最高层其他分解图像的各像素位置的融合权重的确定过程类似，在此不再赘述。

在步骤1032中，将最高层其他分解图像的融合权重上采样到与次高层分解图像相同的尺寸。

本申请实施例中，由于最高层其他分解图像的融合权重与最高层分解图像的尺寸相同、且小于次高层分解图像的尺寸，因此为了便于处理，将最高层其他分解图像的融合权重上采样到与次高层分解图像相同的尺寸。

在步骤1033中，根据次高层其他分解图像的各像素位置的权重系数和上采样得到的对应位置的融合权重，确定次高层其他分解图像的各像素位置的融合权重。

在一些实施例中，可以对次高层其他分解图像的各像素位置的权重系数与上采样得到的对应位置的融合权重进行乘积运算，得到次高层其他分解图像的各像素位置的融合权重。

可见，本申请实施例中，对于拉普拉斯金字塔，由于最高层是图像大尺度的特征，其帧差能够确定图像中较大尺度的对象的运动信息，如果这个尺度上存在运动区域，则在更小尺度上大概率也是运动区域，因此将最高层其他分解图像的融合权重传递至次高层，辅助次高层的其他分解图像确定运动区域，可以准确地确定出次高层其他分解图像的融合权重。

为了便于理解本申请实施例的技术方案，以待融合图像为RGB图像为例，结合图3所示的例子进行描述。

图3是本申请实施例提供的一种图像融合方法的示例图之二，包括以下步骤：步骤301、步骤302、步骤303、步骤304、步骤305、步骤306、步骤307、步骤308和步骤309；

在步骤301中，获取连续拍摄的多个待融合RGB图像。

在步骤302中，将各待融合RGB图像转换到YCC颜色空间，得到对应的各Y通道图像。

在步骤303中，对各Y通道图像进行拉普拉斯金字塔分解，得到多层Y通道分解图像。

在步骤304中，从拉普拉斯金字塔的最高层开始，计算Y通道分解图像之间的帧差，根据帧差计算最高层Y通道分解图像的融合权重。

在步骤305中，将最高层的融合权重向次高层传递。

在步骤306中，计算次高层Y通道分解图像之间的帧差，根据帧差计算次高层Y通道分解图像的融合权重，将最高层传递下来的融合权重放大到次高层对应的图像尺寸，并与次高层的融合权重相乘，得到次高层最终的融合权重。

在步骤307中，不断重复上述过程，直至遍历金字塔的所有层级。

在步骤308中，根据各层级的Y通道分解图像和对应的融合权重，计算各层级的融合结果。

在步骤309中，基于所有层级的融合结果进行拉普拉斯金字塔重建，得到目标图像。

可见，本申请实施例中，可以避免融合结果的运动区域中出现运动模糊、鬼影，从而生成更符合人眼视觉的融合图像，提高了图像融合结果的视觉效果。

图4是本申请实施例提供的一种图像融合装置的结构示意图，如图4所示，所述图像融合装置400，可以包括：分解模块401、第一确定模块402、第二确定模块403、融合模块404和生成模块405；

分解模块401，用于在获取连续拍摄的多个待融合图像后，将各待融合图像进行拉普拉斯金字塔分解，得到不同分辨率的多层分解图像；

第一确定模块402，用于根据最高层参考分解图像与最高层其他分解图像的帧差，确定最高层其他分解图像的融合权重；所述参考分解图像为清晰度最高的待融合图像的分解图像，所述其他分解图像为所述参考分解图像之外的分解图像；

第二确定模块403，用于根据次高层参考分解图像与次高层其他分解图像的帧差以及所述最高层其他分解图像的融合权重，确定次高层其他分解图像的融合权重；对剩余层执行上述确定过程，直至得到最低层其他分解图像的融合权重；

融合模块404，用于基于各层分解图像的融合权重，对各层分解图像进行融合得到各层的中间融合图像；各层其他分解图像中运动区域的融合权重为0，各层参考分解图像中运动区域的融合权重为1；

生成模块405，用于基于各层的中间融合图像生成目标图像。

可选地，作为一个实施例，所述第一确定模块402，可以包括：

第一计算子模块，用于计算最高层参考分解图像的各像素位置的像素值与最高层其他分解图像的对应位置的像素值之间的绝对差值；

第一确定子模块，用于根据最高层其他分解图像的各像素位置对应的绝对差值，确定最高层其他分解图像的各像素位置的融合权重，其中，绝对差值大于或等于第一阈值的像素位置构成所述运动区域。

可选地，作为一个实施例，所述第一确定子模块，可以包括：

第一确定单元，用于对于最高层其他分解图像中绝对差值大于或等于第一阈值的像素位置，确定该像素位置的融合权重为0；

第二确定单元，用于对于最高层其他分解图像中绝对差值小于第一阈值的像素位置，确定该像素位置的融合权重为其中，Δ1为绝对差值，δ1为第一参数。

可选地，作为一个实施例，所述第二确定模块403，可以包括：

第二确定子模块，用于根据次高层参考分解图像与次高层其他分解图像的帧差，确定次高层其他分解图像的各像素位置的权重系数；

采样子模块，用于将所述最高层其他分解图像的融合权重上采样到与次高层分解图像相同的尺寸；

第三确定子模块，用于根据所述次高层其他分解图像的各像素位置的权重系数和上采样得到的对应位置的融合权重，确定次高层其他分解图像的各像素位置的融合权重。

可选地，作为一个实施例，所述第三确定子模块，可以包括：

运算单元，用于对所述次高层其他分解图像的各像素位置的权重系数与上采样得到的对应位置的融合权重进行乘积运算，得到次高层其他分解图像的各像素位置的融合权重。

可选地，作为一个实施例，所述待融合图像为彩色图像；

所述分解模块401，可以包括：

分解子模块，用于将各待融合图像对应的Y通道图像进行拉普拉斯金字塔分解，得到不同分辨率的多层分解图像，其中，所述分解图像为Y通道分解图像。

可选地，作为一个实施例，所述各层参考分解图像的各像素位置的融合权重均为1。

本申请提供的图像融合方法的实施例中的任意一个步骤和任意一个步骤中的具体操作均可以由图像融合装置中的相应的模块完成。图像融合装置中的各个模块完成的相应的操作的过程参考在图像融合方法的实施例中描述的相应的操作的过程。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

图5是本申请实施例提供的一种电子设备的结构框图，该电子设备包括处理组件522，其进一步包括一个或多个处理器，以及由存储器532所代表的存储器资源，用于存储可由处理组件522执行的指令，例如应用程序。存储器532中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件522被配置为执行指令，以执行上述方法。

电子设备还可以包括一个电源组件526被配置为执行电子设备的电源管理，一个有线或无线网络接口550被配置为将电子设备连接到网络，和一个输入输出(I/O)接口558。电子设备可以操作基于存储在存储器532的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。

根据本申请的再一个实施例，本申请还提供了计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任意一个实施例所述的图像融合方法中的步骤。

根据本申请的再一个实施例，本申请还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任意一个实施例所述的图像融合方法中的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种图像融合方法、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种图像融合方法，其特征在于，所述方法包括：

基于各层的中间融合图像生成目标图像。

2.根据权利要求1所述的方法，其特征在于，所述根据最高层参考分解图像与最高层其他分解图像的帧差，确定最高层其他分解图像的融合权重，包括：

计算最高层参考分解图像的各像素位置的像素值与最高层其他分解图像的对应位置的像素值之间的绝对差值；

根据最高层其他分解图像的各像素位置对应的绝对差值，确定最高层其他分解图像的各像素位置的融合权重，其中，绝对差值大于或等于第一阈值的像素位置构成所述运动区域。

3.根据权利要求2所述的方法，其特征在于，所述根据最高层其他分解图像的各像素位置对应的绝对差值，确定最高层其他分解图像的各像素位置的融合权重，包括：

对于最高层其他分解图像中绝对差值大于或等于第一阈值的像素位置，确定该像素位置的融合权重为0；

对于最高层其他分解图像中绝对差值小于第一阈值的像素位置，确定该像素位置的融合权重为其中，Δ1为绝对差值，δ1为第一参数。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据次高层参考分解图像与次高层其他分解图像的帧差以及所述最高层其他分解图像的融合权重，确定次高层其他分解图像的融合权重，包括：

根据次高层参考分解图像与次高层其他分解图像的帧差，确定次高层其他分解图像的各像素位置的权重系数；

将所述最高层其他分解图像的融合权重上采样到与次高层分解图像相同的尺寸；

根据所述次高层其他分解图像的各像素位置的权重系数和上采样得到的对应位置的融合权重，确定次高层其他分解图像的各像素位置的融合权重。

5.根据权利要求4所述的方法，其特征在于，所述根据所述次高层其他分解图像的各像素位置的权重系数和上采样得到的对应位置的融合权重，确定次高层其他分解图像的各像素位置的融合权重，包括：

对所述次高层其他分解图像的各像素位置的权重系数与上采样得到的对应位置的融合权重进行乘积运算，得到次高层其他分解图像的各像素位置的融合权重。

6.根据权利要求1所述的方法，其特征在于，所述待融合图像为彩色图像；

所述将各待融合图像进行拉普拉斯金字塔分解，得到不同分辨率的多层分解图像，包括：

将各待融合图像对应的Y通道图像进行拉普拉斯金字塔分解，得到不同分辨率的多层分解图像，其中，所述分解图像为Y通道分解图像。

7.根据权利要求1所述的方法，其特征在于，所述各层参考分解图像的各像素位置的融合权重均为1。

8.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7任一项所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-7任一项所述的方法。

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-7任一项所述的方法。