CN113822800B - 一种全景图像拼接融合的方法及装置 - Google Patents

Abstract

本发明公开了一种全景图像拼接融合的方法及装置，涉及计算机视觉、全景图拼接领域；具体包括：获取各个子相机对应的弯曲图片及所述弯曲图片在全景图上的坐标范围；根据所述弯曲图片计算各个子相机对应的清晰度评估阵列，并根据所述清晰度评估阵列构建各个子相机对应的权重金字塔；根据构建成的像素金字塔和所述权重金字塔构建各个子相机对应的像素加权金字塔；根据所述坐标范围累加/组合各个子相机对应的所述权重金字塔和所述像素加权金字塔，获取全景图权重金字塔和全景图加权像素金字塔；对所述全景图权重金字塔和所述全景图加权像素金字塔做正则化处理，生成全景图像素金字塔，并对所述全景图像素金字塔进行图像重构，生成拼接全景图。

Description

一种全景图像拼接融合的方法及装置

技术领域

本公开涉及计算机视觉、全景图拼接领域，具体涉及一种全景图像拼接融合的方法及装置。

背景技术

现有技术中，在全景图拼接时为达到图像拼接的最佳的融合效果，通常采用高斯-拉普拉斯金字塔融合的方式，这种方法可以在任意多张子相机图片重合的地方将重合区域的每个像素点按照各个子相机的像素点值进行平均的融合，即在重合区域出现的任何子相机的像素都会按照1除以图片数目的权重贡献给融合结果。这种融合模式在一定程度上确实可以使各个子相机图片间的过度更加自然，但是这种方式却不能做到依照清晰度对重合区域的各个部分融合结果的数据来源进行筛选，亦即不能使得拼接图像中的重合区域结果达到尽可能的清晰。

发明内容

针对现有技术中的技术问题，本公开实施例提出了一种全景图像拼接融合的方法及装置，能够解决现有技术中存在的全景图像拼接的重合区域清晰度不足等问题。

本公开实施例的第一方面提供了一种全景图像拼接融合的方法，包括：

获取各个子相机对应的弯曲图片及所述弯曲图片在全景图上的坐标范围；

获取各个子相机对应的弯曲图片及所述弯曲图片在全景图上的坐标范围；

根据各个子相机的像素构建对应的像素金字塔；

根据所述弯曲图片计算各个子相机对应的清晰度评估阵列，并根据所述清晰度评估阵列构建各个子相机对应的权重金字塔；

根据所述像素金字塔和所述权重金字塔构建各个子相机对应的像素加权金字塔；

根据所述坐标范围累加/组合各个子相机对应的所述权重金字塔和所述像素加权金字塔，获取全景图权重金字塔和全景图加权像素金字塔；

对所述全景图权重金字塔和所述全景图加权像素金字塔做正则化处理，生成全景图像素金字塔，并对所述全景图像素金字塔进行图像重构，生成拼接全景图。

在一些实施例中，所述方法具体包括：对所述弯曲图片执行转换操作，得到灰度图，用清晰度评估算子对所述灰度图执行卷积操作，得到所述清晰度评估阵列。

在一些实施例中，所述根据各个子相机的像素构建对应的像素金字塔具体包括：

对当前层像素数据阵列执行下采样高斯模糊操作，移除自定义行和/或列上的元素，生成一个长宽尺寸为当前层长宽尺寸一半大小的像素数据阵列，记为下采样像素数据阵列，并将所述下采样像素数据阵列作为当前层的下一层像素数据阵列；对经数据填充后的下采样像素数据阵列执行上采样高斯模糊操作，生成上采样像素数据阵列；所述当前层像素数据阵列与所述上采样像素数据阵列做差运算，运算结果作为当前层像素数据阵列；重复此操作，直至生成预设层数的像素金字塔；其中，所述像素金字塔的最大尺寸层的尺寸与对应的弯曲图片的尺寸相同。

在一些实施例中，所述根据所述清晰度评估阵列构建各个子相机对应子相机的权重金字塔具体包括：

对当前层清晰度数据阵列执行下采样高斯模糊操作，移除自定义行和/ 或列上的元素，生成一个长宽尺寸为当前层长宽尺寸一半大小的清晰度数据阵列，记为下采样清晰度数据阵列，并将所述下采样清晰度数据阵列作为当前层的下一层清晰度数据阵列；重复此操作，直至生成预设层数的权重金字塔；其中，所述权重金字塔的最大尺寸层的尺寸与对应子相机的弯曲图片的尺寸相同。

在一些实施例中，所述方法具体包括：将各个子相机对应的所述像素金字塔的每一层的像素数据阵列和对应的所述权重金字塔的每一层的清晰度数据阵列逐元素相乘，生成各个自子相机对应的加权像素金字塔；其中，所述加权像素金字塔最大尺寸层的尺寸与对应子相机的弯曲图片的尺寸相同。

在一些实施例中，所述正则化处理具体包括：所述全景图加权像素金字塔中的各个元素与所述全景图权重金字塔中的各个元素作商运算。

在一些实施例中，所述方法还包括：对所述全景图权重金字塔和所述全景图加权像素金字塔执行初始化操作。

在一些实施例中，所述全景图权重金字塔和所述全景图加权像素金字塔的最大尺寸层的尺寸与所述全景图的尺寸相同。

本公开实施例的第二方面提供了一种全景图像拼接融合的装置，包括：

获取模块，用于获取各个子相机对应的弯曲图片及所述弯曲图片在全景图上的坐标范围；

子相机像素金字塔构建模块，用于根据各个子相机的像素构建对应的像素金字塔；

子相机权重金字塔构建模块，用于根据所述弯曲图片计算各个子相机对应的清晰度评估阵列，并根据所述清晰度评估阵列构建各个子相机对应的权重金字塔；

子相机像素加权金字塔构建模块，用于根据所述像素金字塔和所述权重金字塔构建各个子相机对应的像素加权金字塔；

全景图金字塔构建模块，用于根据所述像素金字塔和所述权重金字塔构建各个子相机对应的像素加权金字塔；

正则化模块，用于对所述全景图权重金字塔和所述全景图加权像素金字塔做正则化处理，生成全景图像素金字塔，并对所述全景图像素金字塔进行图像重构，生成拼接全景图。

在一些实施例中，所述子相机像素加权金字塔构建模块，具体用于：将各个子相机对应的所述像素金字塔的每一层的像素数据阵列和对应的所述权重金字塔的每一层的清晰度数据阵列逐元素相乘，生成各个自子相机对应的加权像素金字塔；其中，所述加权像素金字塔最大尺寸层的尺寸与对应子相机的弯曲图片的尺寸相同。

本公开实施例的第三方面提供了一种电子设备，包括：

存储器以及一个或多个处理器；

其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前述各实施例所述的方法。

本公开实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的方法。

本公开实施例的第五方面提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，可用来实现如前述各实施例所述的方法。

本公开实施例的有益效果是：将清晰度评估阵列用于计算各个子相机对应的弯曲图片相互融合的权重金字塔，进而获取像素加权金字塔，通过累加/组合各个子相机对应的权重金字塔和像素加权金字塔，获取全景图权重金字塔和全景图加权像素金字塔；并对所述全景图权重金字塔和所述全景图加权像素金字做正则化处理，按照清晰度优先的原则使得重合区域达到所能达到的最清晰的效果；而且计算量小，运算速度快。

附图说明

通过参考附图会更加清楚的理解本公开的特征和优点，附图是示意性的而不应理解为对本公开进行任何限制，在附图中：

图1是根据本公开的一些实施例所示的一种全景图像拼接融合的方法流程图；

图2是根据本公开的一些实施例所示的一种全景图像拼接融合的装置结构框图；

图3是根据本公开的一些实施例所示的一种电子设备的结构示意图。

具体实施方式

在下面的详细描述中，通过示例阐述了本公开的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本公开显而易见的可以在没有这些细节的情况下实施。应当理解的是，本公开中使用“系统”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。

应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本公开所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。

本公开所用术语仅为了描述特定实施例，而非限制本公开范围。如本公开说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。

参看下面的说明以及附图，本公开的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本公开的保护范围。可以理解的是，附图并非按比例绘制。

本公开中使用了多种结构图用来说明根据本公开的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本公开。本公开的保护范围以权利要求为准。

现有技术中，在全景图拼接时为达到图像拼接的最佳的融合效果，通常采用高斯-拉普拉斯金字塔融合的方式，这种方法可以在任意多张子相机图片重合的地方将重合区域的每个像素点按照各个子相机的像素点值进行平均的融合，即在重合区域出现的任何子相机的像素都会按照1除以图片数目的权重贡献给融合结果。这种融合模式在一定程度上确实可以使各个子相机图片间的过度更加自然，但是这种方式却不能做到依照清晰度对重合区域的各个部分融合结果的数据来源进行筛选，亦即不能使得拼接图像中的重合区域结果达到尽可能的清晰。

因此，为解决上述问题，本实施例公开了一种全景图像拼接融合的方法，如图1所示，具体包括：

S101、获取各个子相机对应的弯曲图片及所述弯曲图片在全景图上的坐标范围；

S102、根据各个子相机的像素构建对应的像素金字塔；

S103、根据所述弯曲图片计算各个子相机对应的清晰度评估阵列，并根据所述清晰度评估阵列构建各个子相机对应的权重金字塔；

S104、根据所述像素金字塔和所述权重金字塔构建各个子相机对应的像素加权金字塔；

S105、根据所述坐标范围累加/组合各个子相机对应的所述权重金字塔和所述像素加权金字塔，获取全景图权重金字塔和全景图加权像素金字塔；

S106、对所述全景图权重金字塔和所述全景图加权像素金字塔做正则化处理，生成全景图像素金字塔，并对所述全景图像素金字塔进行图像重构，生成拼接全景图。

在一些实施例中，可以按照传统方法或累积建模或累积建模+调整模块的方法得到各个子相机图片的弯曲参数和弯曲图片在全景图上的坐标，并根据所述弯曲参数获取各个子相机对应的弯曲图片。

在一些实施例中，全景图中存在一些子相机图片之间的重合区域。

在一些实施例中，对每个子相机对应的弯曲图片计算清晰度评估阵列。

具体地，对弯曲图片执行转换操作，得到对应的灰度图，用Laplacian 或Sobel等常用于清晰度评估的算子(卷积核)进行步长为1的卷积，得到清晰度评估阵列。其中，清晰度评估阵列中的各个元素对应于各个灰度像素和周围的灰度像素之间的加权梯度。通常，使用Laplacian或Sobel核进行卷积时，为了保持清晰度评估阵列的纵横尺寸(或者长宽尺寸)和其对应的弯曲后的子相机图片的纵横尺寸一致，需要对各个弯曲图片转换得到的灰度图进行边界填充(padding)；填充方式可以为常数填充、反射填充等常用模式。

在一些实施例中，根据各个子相机弯曲图片在全景图上的坐标范围，为各个子相机所在的区域构建像素加权的高斯-拉普拉斯下采样金字塔(简称像素加权金字塔)；同时或然后仅仅对各个子相机所在的区域构建清晰度评估阵列的高斯-拉普拉斯下采样金字塔(简称权重金字塔)。

具体地，根据各个子相机的像素构建对应的像素金字塔，具体包括：对当前层像素数据阵列执行下采样高斯模糊操作，移除自定义行和/或列上的元素，生成一个长宽尺寸为当前层一半大小的像素数据阵列，记为下采样像素数据阵列，并将所述下采样像素数据阵列作为当前层的下一层像素数据阵列；对经数据填充后的下采样像素数据阵列执行上采样高斯模糊操作，生成上采样像素数据阵列；所述当前层像素数据阵列与所述上采样像素数据阵列做差运算，运算结果作为当前层像素数据阵列；重复此操作，直至生成预设层数的像素金字塔。

更具体地，判断当前层像素数据阵列是否是像素金字塔的最小尺寸层；若不是，首先对当前层像素数据阵列执行下采样高斯模糊操作,即用下采样高斯卷积核进行卷积，移除自定义行和/或列上的元素(例如偶数行和偶数列上的元素)，得到一个纵横尺寸均为本层纵横尺寸一半的像素数据阵列，记为下采样像素数据阵列，并将下采样像素数据阵列作为当前层的下一层像素数据阵列；继续判断当前层是否是像素金字塔的最后一层；若不是，则把当前层像素数据阵列中各个元素的右边、下边和右下边补0，然后执行上采样高斯模糊操作，即用上采样高斯卷积核进行卷积，得到一个和当前层尺寸相同的像素数据阵列，记为上采样像素数据阵列，将当前层像素数据阵列逐元素地减去上采样像素数据阵列，其结果作为最终的当前层像素数据阵列。

如果当前层像素数据阵列已经是像素金字塔的最小尺寸层，则不进行下/上采样高斯卷积核操作。进一步地，像素金字塔的最大尺寸层的尺寸与各各子相机对应的弯曲图片的尺寸相同。

进一步地，根据所述清晰度评估阵列构建各个子相机对应的权重金字塔。

具体地，首先判断清晰度评估阵列中当前层清晰度数据阵列是否是权重金字塔的最小尺寸层；如果不是，则对当前层清晰度数据阵列执行下采样高斯模糊操作，即用下采样高斯卷积核进行卷积，然后移除自定义行和/ 或列上的元素(例如移除偶数行和偶数列上的元素)，得到一个长宽尺寸均为当前层长宽尺寸的一半的清晰度数据阵列作为下一层；重复此操作直至得到最小尺寸层为止。其中，所述权重金字塔的最大尺寸层的尺寸与对应的弯曲图片的尺寸相同。

更具体地，对权重金字塔的最大尺寸层执行初始化操作，能够获取对应的清晰度评估阵列。

进一步地，将根据各个子相机弯曲图片得到的像素金字塔的每一层的像素数据阵列，和其对应的权重金字塔的每一层的清晰度数据阵列逐元素相乘，得到各个子相机对应的加权像素金字塔。

具体地，依照各个子相机图片在全景图上的坐标得到每层加权像素金字塔和权重金字塔上对应的坐标，每个较小层上的坐标是紧邻的较大层的坐标的数值的一半。

在一些实施例中，根据每层的坐标分别将累加/组合各个子相机的弯曲图片对应的权重金字塔、加权像素金字塔的每一层的数据阵列填充到已初始化的全景图权重金字塔、全景图加权像素金字塔的各层上，得到最终的全景图加权像素金字塔和全景图权重金字塔。

在一些实施例中，所述方法还包括：根据全景图的尺寸和预设定的金字塔层数初始化全景图加权像素金字塔和全景图权重金字塔。

其中，初始化的加权像素金字塔最大层尺寸等于全景图尺寸，通道数为3。初始化的权重金字塔最大层尺度等于全景图尺寸，通道数为1。其中全景图的尺寸是正确加上金字塔结构需要的卷积填充后的尺寸。一般地，初始化的全景图加权像素金字塔和全景图权重金字塔的每一层的长宽尺寸为该层紧邻的下一层长宽尺寸的一半，对全景图的尺寸要求较高，因为当一个金字塔有n(n为大于0的自然数)层时，尺寸最大的一层数据阵列的高H和宽W均要被2ⁿ整除；此处的填充也可以采用常数填充、反射填充等常用模式。

通常，初始化全景图加权像素金字塔和全景图权重金字塔中的所有元素值为0。

在一些实施例中，所述方法还包括：根据所述坐标范围累加/组合各个子相机的权重金字塔，生成全景图权重金字塔。

在一些实施例中，对所述全景图加权像素金字塔和所述全景图权重金字塔做正则化处理，生成全景图像素金字塔。

在一些实施例中，对正则化处理后的全景图像素金字塔进行图像重构，生成拼接全景图。

本公开实施例中，将清晰度评估阵列用于计算各个子相机对应的弯曲图片相互融合的权重金字塔，通过累加/组合各个子相机对应的所述像素加权金字塔和所述权重金字塔，获取全景图加权像素金字塔和全景图权重金字塔；并对所述全景图加权像素金字塔和所述全景图权重金字塔做正则化处理，按照清晰度优先的原则使得重合区域达到所能达到的最清晰的效果；而且计算量小，运算速度快。

本公开实施例还进一步公开了一种全景图像拼接融合的装置200，具体如图2所示，包括：

获取模块201，用于获取各个子相机对应的弯曲图片及所述弯曲图片在全景图上的坐标范围；

子相机像素金字塔构建模块202，用于根据各个子相机的像素构建对应的像素金字塔；

子相机权重金字塔构建模块203，用于根据所述弯曲图片计算各个子相机对应的清晰度评估阵列，并根据所述清晰度评估阵列构建各个子相机对应的权重金字塔；

子相机像素加权金字塔构建模块204，用于根据所述像素金字塔和所述权重金字塔构建各个子相机对应的像素加权金字塔；

全景图金字塔构建模块205，用于根据所述像素金字塔和所述权重金字塔构建各个子相机对应的像素加权金字塔；

正则化模块206，用于对所述全景图权重金字塔和所述全景图加权像素金字塔做正则化处理，生成全景图像素金字塔，并对所述全景图像素金字塔进行图像重构，生成拼接全景图。

在一些实施例中，所述子相机像素加权金字塔构建模块，具体用于：将各个子相机对应的所述像素金字塔的每一层的像素数据阵列和对应的所述权重金字塔的每一层的清晰度数据阵列逐元素相乘，生成各个自子相机对应的加权像素金字塔；其中，所述加权像素金字塔最大尺寸层的尺寸与对应子相机的弯曲图片的尺寸相同。

本公开实施例还进一步公开了一种电子设备示意图，如图3所示。其中，该电子设备300包括：

存储器330以及一个或多个处理器310；

其中，所述存储器330与所述一个或多个处理器310通信连接，所述存储器330中存储有可被所述一个或多个处理器执行的指令332，所述指令 332被所述一个或多个处理器310执行，以使所述一个或多个处理器310执行本公开前述实施例中的方法。

具体地，处理器310和存储器330可以通过总线或者其他方式连接，图3中以通过总线340连接为例。处理器310可以为中央处理器(Central Processing Unit，CPU)和/或图形处理器。图形处理器(Graphics Processing Unit，GPU)。处理器310还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field- Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器330作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器310通过运行存储在存储器330中的非暂态软件程序、指令以及模块332，从而执行处理器的各种功能应用以及数据处理。

存储器330可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需要的应用程序；存储数据区可存储处理器310所创建的数据等。此外，存储器330可以包括高速随机存取存储器，还可以包括非暂态存储器，例如磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器330可选包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络(比如通过通信接口320)连接至处理器310。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本公开的一个实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被执行后执行本公开前述实施例中的方法。

前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可移动介质。计算机可读取存储介质具体包括，但不限于，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、可擦除可编程只读存储器( EPROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他固态存储器技术、 CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。

尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的，但本领域技术人员可以认识到，还可结合其他类型的程序模块来执行其他实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解，此处所述的本主题可以使用其他计算机系统配置来实践，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等，也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备的两者中。

本领域普通技术人员可以意识到，结合本文中所本公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。

综上所述，本公开提出了一种全景图像拼接融合的方法、装置、电子设备及其计算机可读存储介质。本公开中将清晰度评估阵列用于计算各个子相机对应的弯曲图片相互融合的权重，通过累加/组合各个子相机对应的所述像素加权金字塔和所述权重金字塔，获取全景图加权像素金字塔和全景图权重金字塔；并对所述全景图加权像素金字塔和所述全景图权重金字塔做正则化处理，按照清晰度优先的原则使得重合区域达到所能达到的最清晰的效果；而且计算量小，运算速度快。

应当理解的是，本公开的上述具体实施方式仅仅用于示例性说明或解释本公开的原理，而不构成对本公开的限制。因此，在不偏离本公开的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。此外，本公开所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (8)

1.一种全景图像拼接融合的方法，其特征在于，包括：

获取各个子相机对应的弯曲图片及所述弯曲图片在全景图上的坐标范围；

根据各个子相机的像素构建对应的像素金字塔；

根据所述弯曲图片计算各个子相机对应的清晰度评估阵列，并根据所述清晰度评估阵列构建各个子相机对应的权重金字塔；

根据所述像素金字塔和所述权重金字塔构建各个子相机对应的像素加权金字塔；

根据所述坐标范围累加/组合各个子相机对应的所述权重金字塔和所述像素加权金字塔，获取全景图权重金字塔和全景图加权像素金字塔；

对所述全景图权重金字塔和所述全景图加权像素金字塔做正则化处理，生成全景图像素金字塔，并对所述全景图像素金字塔进行图像重构，生成拼接全景图；

还包括：对所述全景图权重金字塔和所述全景图加权像素金字塔执行初始化操作，其中，所述全景图权重金字塔和所述全景图加权像素金字塔的最大尺寸层的尺寸与所述全景图的尺寸相同；

还包括：根据全景图的尺寸和预设定的金字塔层数初始化全景图加权像素金字塔和全景图权重金字塔，其中，初始化的加权像素金字塔最大层尺寸等于全景图尺寸，通道数为3，初始化的权重金字塔最大层尺度等于全景图尺寸，通道数为1。

2.根据权利要求1所述的方法，其特征在于，所述方法具体包括：

对所述弯曲图片执行转换操作，得到灰度图，用清晰度评估算子对所述灰度图执行卷积操作，得到所述清晰度评估阵列。

3.根据权利要求1所述的方法，其特征在于，所述根据各个子相机的像素构建对应的像素金字塔具体包括：

对当前层像素数据阵列执行下采样高斯模糊操作，移除自定义行和/或列上的元素，生成一个长宽尺寸为当前层长宽尺寸一半大小的像素数据阵列，记为下采样像素数据阵列，并将所述下采样像素数据阵列作为当前层的下一层像素数据阵列；对经数据填充后的下采样像素数据阵列执行上采样高斯模糊操作，生成上采样像素数据阵列；所述当前层像素数据阵列与所述上采样像素数据阵列做差运算，运算结果作为当前层像素数据阵列；重复此操作，直至生成预设层数的像素金字塔；其中，所述像素金字塔的最大尺寸层的尺寸与对应的弯曲图片的尺寸相同。

4.根据权利要求1所述的方法，其特征在于，所述根据所述清晰度评估阵列构建各个子相机对应子相机的权重金字塔具体包括：

对当前层清晰度数据阵列执行下采样高斯模糊操作，移除自定义行和/或列上的元素，生成一个长宽尺寸为当前层长宽尺寸一半大小的清晰度数据阵列，记为下采样清晰度数据阵列，并将所述下采样清晰度数据阵列作为当前层的下一层清晰度数据阵列；重复此操作，直至生成预设层数的权重金字塔；其中，所述权重金字塔的最大尺寸层的尺寸与对应子相机的弯曲图片的尺寸相同。

5.根据权利要求1所述的方法，其特征在于，所述方法具体包括：将各个子相机对应的所述像素金字塔的每一层的像素数据阵列和对应的所述权重金字塔的每一层的清晰度数据阵列逐元素相乘，生成各个自子相机对应的加权像素金字塔；其中，所述加权像素金字塔最大尺寸层的尺寸与对应子相机的弯曲图片的尺寸相同。

6.根据权利要求1所述的方法，其特征在于，所述正则化处理具体包括：所述全景图加权像素金字塔中的各个元素与所述全景图权重金字塔中的各个元素作商运算。

7.一种全景图像拼接融合的装置，其特征在于，包括：

获取模块，用于获取各个子相机对应的弯曲图片及所述弯曲图片在全景图上的坐标范围；

子相机像素金字塔构建模块，用于根据各个子相机的像素构建对应的像素金字塔；

子相机权重金字塔构建模块，用于根据所述弯曲图片计算各个子相机对应的清晰度评估阵列，并根据所述清晰度评估阵列构建各个子相机对应的权重金字塔；

子相机像素加权金字塔构建模块，用于根据所述像素金字塔和所述权重金字塔构建各个子相机对应的像素加权金字塔；

全景图金字塔构建模块，用于根据所述像素金字塔和所述权重金字塔构建各个子相机对应的像素加权金字塔；

正则化模块，用于对所述全景图权重金字塔和所述全景图加权像素金字塔做正则化处理，生成全景图像素金字塔，并对所述全景图像素金字塔进行图像重构，生成拼接全景图；对所述全景图权重金字塔和所述全景图加权像素金字塔执行初始化操作，其中，所述全景图权重金字塔和所述全景图加权像素金字塔的最大尺寸层的尺寸与所述全景图的尺寸相同；根据全景图的尺寸和预设定的金字塔层数初始化全景图加权像素金字塔和全景图权重金字塔，其中，初始化的加权像素金字塔最大层尺寸等于全景图尺寸，通道数为3，初始化的权重金字塔最大层尺度等于全景图尺寸，通道数为1。

8.根据权利要求7所述的装置，其特征在于，所述子相机像素加权金字塔构建模块，具体用于：将各个子相机对应的所述像素金字塔的每一层的像素数据阵列和对应的所述权重金字塔的每一层的清晰度数据阵列逐元素相乘，生成各个自子相机对应的加权像素金字塔；其中，所述加权像素金字塔最大尺寸层的尺寸与对应子相机的弯曲图片的尺寸相同。

Images