CN111738964A - 一种基于建模的图像数据增强的方法 - Google Patents

Abstract

本发明实施例公开了一种基于建模的图像数据增强的方法，包括以下步骤：步骤100、采用白平衡算法校正像素点颜色失真信息，并基于Lab空间限制对亮度分量进行自适应对比增强；步骤200、根据图像融合信息集和人工标注信息建立基于标签位置MLP的数据库；步骤300、依据标注放置算法对图像数据和标注信息进行预处理；步骤400、通过对特征权量进行高斯金字塔分解得到特征量做图像加权融合处理；步骤500、依据图像加权融合处理信息构建能量函数模型，通过构建基于位置标签的MLP数据库定义图像评价指标，得到图像的显著性信息，将标注放置问题转化为最优化问题并求解，得到最终的增强图像，有效的提高了图像处理的高效性，能够有效的运用在多个标注、多个场景中。

Description

一种基于建模的图像数据增强的方法

技术领域

本发明实施例涉及图像信息技术领域，具体涉及一种基于建模的图像数据增强的方法。

背景技术

图像增强现实技术一个最常见的应用是对现实世界的扩展，当增强现实设备的摄像头对准现实世界场景时，则可将对真实物体的虚拟标注直接呈现到用户的视野当中，给出用户面前感兴趣内容的扩展信息。

在图像增强现实系统中，需要标注的物体通常作为兴趣点给出，虚拟标注可以是文字、图像、视频等，虚拟标注和兴趣点间通过引导线连接，目前学者们对虚拟标注位置的研究主要集中在地图场景和虚拟现实场景，而现有的用于图像数据增强的方法的还存在以下缺陷：

（1）在基于图像增强的方法中，利用特征值检测角点得出图像中的重要区域，通过算法给每个像素点评分，从而得出标注放置的最优位置，并结合了基于动态场景问题的约束，使得其更适用于增强现实场景，但是，此方法仅考虑了一个标注的情形，使标注避免遮挡用户视野中的重要区域，且适用场景有限；

（2）目前针对颜色劣化问题以及针对图像对比度退化问题，分别对这两个分量进行增强，实现一种较好的图像增强效果以解决偏差问题，但是计算比较复杂，并不适用于实时处理。

发明内容

为此，本发明实施例提供一种基于建模的图像数据增强的方法，通过构建基于位置标签的MLP数据库定义图像评价指标，根据增强现实标注放置准则得到了图像的显著性信息，并针对增强现实场景特点设计能量函数，将标注放置问题转化为最优化问题并求解，得到最终的增强图像，有效的提高了图像处理的高效性，能够有效的运用在多个标注、室外环境等以往增强现实标注方法表现不佳的场景，以解决现有技术中由于图像数据增强的方法考虑标注情况单一以及计算比较复杂，不适用于实时处理的问题。

为了实现上述目的，本发明的实施方式提供如下技术方案：

一种基于建模的图像数据增强的方法，包括以下步骤：

步骤100、采用白平衡算法校正像素点颜色失真信息，并基于Lab空间限制对亮度分量进行自适应对比增强，通过梯度平滑滤波获取图像融合信息；

步骤200、根据图像融合信息集和人工标注信息建立基于标签位置MLP的数据库；

步骤300、依据标注放置算法对图像数据和标注信息进行预处理，计算特征权量，并对数据图像预设标注；

步骤400、通过对特征权量进行高斯金字塔分解并结合对MLP数据库图像原始信息进行拉普拉斯金字塔分解后得到的特征量做图像加权融合处理；

步骤500、依据图像加权融合处理信息构建能量函数模型，并联合分析结果利用贪心算法求解标注放置的最优位置，并输出增强图像信息。

作为本发明的一种优选方案，步骤100中所述白平衡算法构建基于RGB三通道的映射点，通过对三个通道分别应用仿射变换剔除畸变值。

作为本发明的一种优选方案，依据所述映射点采用直方图方法搜寻像素点的值，选取亮度均值、标准差、信息熵和对比度作为评价指标。

作为本发明的一种优选方案，根据所述评价指标结果在颜色校正的基础上进行直方图均衡化处理消除成像过程中后向散射的偏差值。

作为本发明的一种优选方案，依据所述直方图均衡化处理后的图像信息构建基于标签位置MLP的数据库，利用基于图像的增强现实标注方法获取图像显著性信息。

作为本发明的一种优选方案，依据图像的所述显著性信息划分权值并对权重图采用Gaussian金字塔进行分解，对融合输入图像进行Laplacian金字塔分解，最后采用逐层重建的方式获得更加精细化的融合图像。

作为本发明的一种优选方案，所述基于图像的增强现实标注方法步骤如下：

首先，根据原图像生成GuidanceMap，将图像的语义信息、显著性信息，与任务驱动的人工标注放置倾向的统计特征结合；

其次，建立能量函数将标注放置问题转化为最优化问题求解；

最后，将Guidance图像值、边缘图像、POI点位置、标注大小等信息代入能量函数，利用贪心算法求解得出标注放置的最优位置。

作为本发明的一种优选方案，所述标注位置优化主要利用循环序列在图像序列上进行标注放置，每隔T时更新一次标注位置，并将标注位置移动至新的位置。

作为本发明的一种优选方案，根据所述更新间隔T定义当前第t帧的所有标注

，定义能量函数：

其中

表示标注能量函数，

表示引导线能量函数。

作为本发明的一种优选方案，对所述能量函数的输出值利用贪心算法依次优化每个标注，并对每个标注的目标函数进行评估，候选位置中的最小值作为最终的标注位置。

本发明的实施方式具有如下优点：

本发明实质上是基于建模的图像数据增强的方法，通过构建基于位置标签的MLP数据库定义了图像评价指标，通过定性分析图像的特征信息以及必要信息，根据增强现实标注放置准则得到了图像的显著性信息，并针对增强现实场景特点设计能量函数，将标注放置问题转化为最优化问题并求解，并利用拉普拉斯金字塔和高斯金字塔对输入图像和权重图像进行多尺度分解与融合，得到最终的增强图像，有效的提高了图像处理的高效性，验证了图像数据增强方法的有效性、适应性和稳定性，能够有效的运用在多个标注、室外环境等以往增强现实标注方法表现不佳的场景。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明实施方式中基于建模的图像数据增强的方法的流程图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种基于建模的图像数据增强的方法，采用基于标签位置MLP的数据库建立了多种类型的图像数据集，采用改进的白平衡方法、Lab颜色空间直方图均衡化方法获得颜色校正版本和对比度增强版本作为图像融合输入，选取显著图、色度图等四项权重特征计算归一化权重图，并利用拉普拉斯金字塔和高斯金字塔对输入图像和权重图像进行多尺度分解与融合，得到最终的增强图像，有效的提高了图像处理的高效性，验证了图像数据增强方法的有效性、适应性和稳定性。

包括以下步骤：

步骤100、采用白平衡算法校正像素点颜色失真信息，并基于Lab空间限制对亮度分量进行自适应对比增强，通过梯度平滑滤波获取图像融合信息；

步骤200、根据图像融合信息集和人工标注信息建立基于标签位置MLP的数据库；

步骤300、依据标注放置算法对图像数据和标注信息进行预处理，计算特征权量，并对数据图像预设标注；

步骤400、通过对特征权量进行高斯金字塔分解并结合对MLP数据库图像原始信息进行拉普拉斯金字塔分解后得到的特征量做图像加权融合处理；

步骤500、依据图像加权融合处理信息构建能量函数模型，并联合分析结果利用贪心算法求解标注放置的最优位置，并输出增强图像信息。

本实施例中，能够从多幅图像中获取并结合同一场景和目标的基本特征以及必要信息，采用低复杂性，计算效率更高的金字塔分解方法，得到图像融合信息，通过计算输入图的特征值以及权重信息并将其作为图像融合信息的评估值，具有较好的全局和局部对比度以及整体亮度适中性评估的作用，达到增强图像有用信息的目的。

本实施例中，采用白平衡算法以及基于Lab空间限制的对亮度分量的分析，能够从单一的退化图像中获得融合输入图和权重比，具有计算复杂度低、效率高、信息得到极大保留等优点。

步骤100中所述白平衡算法构建基于RGB三通道的映射点，通过对三个通道分别应用仿射变换剔除畸变值。

本实施例中，利用白平衡算法假设彩色图像RGB三个通道的最大值对应于白点，最小值对应于暗点；当光照条件不好时，图像像素的最大值可以小于255，通过对三个通道分别应用仿射变换，目的在于让RGB通道在0至255内尽可能占据最大的范围，由于通道中包含一些畸变像素值，如过度曝光点、障碍物等，这些畸变点占据0和255的值，因此在应用映射之前，算法将切除掉一小部分的最高值像素为255和最低值像素为0的像素点，再利用直方图方法对像素数组进行排序，实现图像颜色的校正，使得原图像的不同通道得到增强。

依据所述映射点采用直方图方法搜寻像素点的值，选取亮度均值、标准差、信息熵和对比度作为评价指标。

本实施例中，采用亮度均值、标准差、信息熵和对比度作为评价指标，对亮度值的进行分析，对结果图视觉效果较差的位置使用Lab颜色空间增强方法提高视觉效果。

根据所述评价指标结果在颜色校正的基础上进行直方图均衡化处理消除成像过程中后向散射的偏差值。

本实施例中，直方图能够更加直观体现出白平衡方法和均衡化方法的叠加效果，且对直方图的拉伸作用很小，这种方式不仅使得原始图像的灰度级明显增加，各通道灰度分布范围更广泛，而且图像的亮度均值和对比度明显增强。

依据所述直方图均衡化处理后的图像信息构建基于标签位置MLP的数据库，利用基于图像的增强现实标注方法获取图像显著性信息。

依据图像的所述显著性信息划分权值并对权重图采用Gaussian金字塔进行分解，对融合输入图像进行Laplacian金字塔分解，最后采用逐层重建的方式获得更加精细化的融合图像。

本实施例中，获得图像融合输入之后，通过提取输入图像的特殊权重图来反映图像的基本特征和必要信息，利用Laplacian金字塔算法提取图像金字塔的不同特征，即可获得初始图像不同尺度的特征，并捕捉图像的相邻层级之间的差别。

所述基于图像的增强现实标注方法步骤如下：

首先，根据原图像生成GuidanceMap，将图像的语义信息、显著性信息，与任务驱动的人工标注放置倾向的统计特征结合；

其次，建立能量函数将标注放置问题转化为最优化问题求解；

最后，将Guidance图像值、边缘图像、POI点位置、标注大小等信息代入能量函数，利用贪心算法求解得出标注放置的最优位置。

所述标注位置优化主要利用循环序列在图像序列上进行标注放置，每隔T时更新一次标注位置，并将标注位置移动至新的位置。

本实施例中，基于图像的标注方法，当在图像序列上进行标注放置时，每过T时更新一次标注位置，当标注的位置有变化时，将标注缓慢移动至新的位置，以防止标注的抖动与跳变影响用户阅读标注内容，从而解决相机移动或物体移动产生的标注跳变问题。

根据所述更新间隔T定义当前第t帧的所有标注

，定义能量函数：

其中

表示标注能量函数，

表示引导线能量函数。

本实施例中，所述标注能量函数主要考虑标注本身对用户造成的影响，包括标注区域引起的与用户视野中重要区域、边缘及标注间的遮挡问题，所述引导线能量函数主要考虑引导线对用户造成的影响，包括引导线引起的与用户视野中重要区域、引导线间交叉、长度、方向等方面。

对所述能量函数的输出值利用贪心算法依次优化每个标注，并对每个标注的目标函数进行评估，候选位置中的最小值作为最终的标注位置。

本实施例中，所述增强现实标注放置问题转化为求能量函数最小值的优化问题，可表述为：

确定参数

、

时，采用梯度下降法进行权值训练，损失函数定义为：

其中

，

表示第t帧图像的标注，

表示第t帧图像对应MLP训练集中benchmark标注

的能量。

该基于建模的图像数据增强的方法，通过构建基于位置标签的MLP数据库定义了图像评价指标，通过定性分析图像的特征信息以及必要信息，根据增强现实标注放置准则得到了图像的显著性信息，并针对增强现实场景特点设计能量函数，将标注放置问题转化为最优化问题并求解，能够有效的运用在多个标注、室外环境等以往增强现实标注方法表现不佳的场景，能够显著提高图像增强效果。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种基于建模的图像数据增强的方法，其特征在于，包括以下步骤：

步骤100、采用白平衡算法校正像素点颜色失真信息，并基于Lab空间限制对亮度分量进行自适应对比增强，通过梯度平滑滤波获取图像融合信息；

步骤200、根据图像融合信息集和人工标注信息建立基于标签位置MLP的数据库；

步骤300、依据标注放置算法对图像数据和标注信息进行预处理，计算特征权量，并对数据图像预设标注；

步骤400、通过对特征权量进行高斯金字塔分解并结合对MLP数据库图像原始信息进行拉普拉斯金字塔分解后得到的特征量做图像加权融合处理；

步骤500、依据图像加权融合处理信息构建能量函数模型，并联合分析结果利用贪心算法求解标注放置的最优位置，并输出增强图像信息。

2.根据权利要求1所述的一种基于建模的图像数据增强的方法，其特征在于，步骤100中所述白平衡算法构建基于RGB三通道的映射点，通过对三个通道分别应用仿射变换剔除畸变值。

3.根据权利要求2所述的一种基于建模的图像数据增强的方法，其特征在于，依据所述映射点采用直方图方法搜寻像素点的值，选取亮度均值、标准差、信息熵和对比度作为评价指标。

4.根据权利要求3所述的一种基于建模的图像数据增强的方法，其特征在于，根据所述评价指标结果在颜色校正的基础上进行直方图均衡化处理消除成像过程中后向散射的偏差值。

5.根据权利要求4所述的一种基于建模的图像数据增强的方法，其特征在于，依据所述直方图均衡化处理后的图像信息构建基于标签位置MLP的数据库，利用基于图像的增强现实标注方法获取图像显著性信息。

6.根据权利要求5所述的一种基于建模的图像数据增强的方法，其特征在于，依据图像的所述显著性信息划分权值并对权重图采用Gaussian金字塔进行分解，对融合输入图像进行Laplacian金字塔分解，最后采用逐层重建的方式获得更加精细化的融合图像。

7.根据权利要求5所述的一种基于建模的图像数据增强的方法，其特征在于，所述基于图像的增强现实标注方法步骤如下：

首先，根据原图像生成GuidanceMap，将图像的语义信息、显著性信息，与任务驱动的人工标注放置倾向的统计特征结合；

其次，建立能量函数将标注放置问题转化为最优化问题求解；

最后，将Guidance图像值、边缘图像、POI点位置、标注大小等信息代入能量函数，利用贪心算法求解得出标注放置的最优位置。

8.根据权利要求7所述的一种基于建模的图像数据增强的方法，其特征在于，所述标注位置优化主要利用循环序列在图像序列上进行标注放置，每隔T时更新一次标注位置，并将标注位置移动至新的位置。

9.根据权利要求8所述的一种基于建模的图像数据增强的方法，其特征在于，根据所述更新间隔T定义当前第t帧的所有标注

，定义能量函数：

其中

表示标注能量函数，

表示引导线能量函数。

10.根据权利要求9所述的一种基于建模的图像数据增强的方法，其特征在于，对所述能量函数的输出值利用贪心算法依次优化每个标注，并对每个标注的目标函数进行评估，候选位置中的最小值作为最终的标注位置。

Images