CN106028020B - 一种基于多方向预测的虚拟视角图像空洞填补方法 - Google Patents

Abstract

本发明提供了一种基于多方向预测的虚拟视角图像空洞填补方法，它是根据基于深度图的绘制算法，空洞区域都是位于背景区域的某些部分，需要使用背景部分的信息作为参考进行填补。在对大空洞的空像素点进行填补时，使用面向背景一侧的三个方向上的可用像素点做参考进行预测插值，并根据预测模式的具体公式进行插值计算，因此插值的精确度较高；能够在保证图像修复效果的前提下快速完成虚拟视角的空洞填补。由于本发明在三维绘制前对深度图像未做平滑滤波处理，也就避免了绘制出的虚拟视角图像中垂直边界上出现的几何失真。

Description

一种基于多方向预测的虚拟视角图像空洞填补方法

朱树元 於景瞵 李明宇(电子科技大学)

技术领域

本发明属于三维视频处理领域，主要涉及一种基于多方向预测的虚拟视角图像空洞填补方法。

背景技术

通常情况下，将二维视频转化为三维视频所采用的方法是使用三维绘制技术在二维视频图像的基础上生成左、右两个视角图像，并分别提供给左眼和右眼交替观看，由此产生三维视觉的效果。如今最流行的三维绘制技术是基于深度图的绘制算法(Depth-image-based Rendering，DIBR)，详细过程见参考文献“Depth-image-based rendering(DIBR),compression and transmission for a new approach on 3D-TV”。在将二维视频转化为三维视频的过程中，使用基于深度图的绘制技术所产生的虚拟视角能够根据观众的要求调整左、右视角的视差，因此大大增强了观众的视觉体验。但这种方法也存在一个缺陷，即合成的虚拟视角图像中会有空洞产生。产生空洞的主要原因是因为原始图像中前景对背景的遮挡部分在虚拟视角中被暴露出来，而在原始图像中没有此部分的视图信息，这样就会在虚拟视角图像上形成像素点的缺失。因此，对空洞进行填补是完整恢复虚拟视角图像的重要步骤。

目前常用的空洞填补算法有两类：一类是根据相邻像素点的亮度值和偏移量对空洞部分进行插值处理，并且在进行三维绘制之前通常会对相应的深度图像进行滤波处理，使深度图像的前景与背景边缘区域更加平滑，这样绘制出的虚拟视角图像中空洞范围会变小，且易于填补。这类基于插值的方法实现起来较为简单，但会引起合成后视角图像中物体的几何失真，特别是在物体的垂直边界区域，物体的扭曲失真幅度会非常大。另一类方法是基于深度图像修复技术的空洞填补算法，也是目前比较流行的空洞填补算法，虽然这类方法取得了不错的处理效果，但算法复杂度较高，需要根据纹理特征对空洞区域进行匹配块搜索，由此造成搜索时间过长、计算复杂度过高，造成硬件实现起来比较困难。

发明内容

针对目前空洞填补方法耗时过长和进行深度图滤波时易导致边界失真的缺点，本发明提供了一种基于多方向预测的虚拟视角图像空洞填补方法，能够在保证图像修复效果的前提下快速完成虚拟视角的空洞填补。

为了方便描述本发明的内容，首先做以下术语定义：

定义1，标准的三维绘制

标准的三维绘制是运用基于深度图的绘制算法将原始视角图像和对应的深度图像生成目标虚拟视角图像的方法；详细过程见参考文献“Depth-image-based rendering(DIBR),compression and transmission for a new approach on 3D-TV”；

定义2，标准的图像边框像素点复制法

标准的图像边框像素点复制法是通过图像边框相邻的像素点做参考对边框部分进行修复，详细过程为：

对图像边框进行扫描，当扫描到边框空洞点P时，搜索相邻的非空洞参考像素点，记为M，使用M对空洞点进行赋值，即P＝M。当前空洞点填补完成后，继续此过程直到所有空洞点填补完成；

本发明提供一种基于多方向预测的虚拟视角图像空洞填补方法，它包括以下步骤：

步骤1，输入图像初始化

首先，将输入的原始图像记为X，这里，x_i,j是图像X中的像素点，i代表X中像素点的横坐标，j代表X中像素点的纵坐标，W₁代表X的宽度，H₁代表X的高度，i、j、W₁和H₁都是自然数，并且1≤i≤H₁，1≤j≤W₁；

然后，将输入的原始图像X的深度图像记为Y，这里，y_u,v是图像Y中的像素点，u代表Y中像素点的横坐标，v代表Y中像素点的纵坐标，W₂代表Y的宽度，H₂代表Y的高度，u、v、W₂和H₂都是自然数，并且1≤u≤H₂，1≤v≤W₂；

步骤2，产生虚拟视角图像

用步骤1中输入的深度图像Y对原始图像X进行标准的三维绘制，得到虚拟左视角图像和虚拟右视角图像，分别记为DL和DR，这里，是图像DL中的像素点，m₁代表DL中像素点的横坐标，n₁代表DL中像素点的纵坐标，M₁代表图像DL的宽度，N₁代表图像DL的高度，m₁、n₁、M₁和N₁都是自然数，并且1≤m₁≤N₁，1≤n₁≤M₁；是图像DR中的像素点，m₂代表DR中像素点的横坐标，n₂代表DR中像素点的纵坐标，M₂代表DR的宽度，N₂代表DR的高度，m₂、n₂、M₂和N₂都是自然数，并且1≤m₂≤N₂，1≤n₂≤M₂；

步骤3，虚拟左视角图像的空洞划分

首先，将虚拟左视角图像中用来划分空洞大小的阈值，记为TL，这里，TL为自然数；

接着，对步骤2产生的虚拟左视角图像DL按照从上到下、从左到右的顺序进行逐行扫描，将扫描过程中得到的空洞记为HL_k，将空洞HL_k所对应的空洞宽度记为WL_k,这里，k为图像DL中空洞的索引下标，k为自然数；

最后，用空洞宽度WL_k小于或等于阈值TL的空洞HL_k组成虚拟左视角图像的小空洞集合，记为GL₁，GL₁＝{HL_k|WL_k≤TL}；用空洞宽度WL_k大于阈值TL的空洞HL_k组成虚拟左视角图像的大空洞集合，记为GL₂，GL₂＝{HL_k|WL_k>TL}；

步骤4，虚拟右视角图像的空洞划分

首先，将虚拟右视角图像中用来划分空洞大小的阈值，记为TR，这里，TR为自然数；

接着，对步骤2产生的虚拟右视角图像DR按照从上到下、从右到左的顺序进行逐行扫描，将扫描过程中得到的空洞记为HR_l，将空洞HR_l所对应的空洞宽度记为WR_l,这里，l为图像DR中空洞的索引下标，l为自然数；

最后，用空洞宽度WR_l小于或等于阈值TR的空洞HR_l组成虚拟右视角图像的小空洞集合，记为GR₁，GR₁＝{HR_l|WR_l≤TR}；用空洞宽度WR_l大于阈值TR的空洞HR_l组成虚拟右视角图像的大空洞集合，记为GR₂，GR₂＝{HR_l|WR_l>TR}；

步骤5，虚拟左视角图像的空洞填补

首先，将虚拟左视角图像DL中空洞HL_k的左侧背景区域内最邻近的非空洞像素点记为PL₁，将HL_k左上方背景区域内最邻近的非空洞像素点记为PL₂，将HL_k左下方背景区域内最邻近的非空洞像素点记为PL₃；

其次，定义填补后的空洞为HL′_k；如果虚拟左视角图像DL中的空洞HL_k∈GL₁，那么对HL_k用PL₁按照HL′_k＝PL₁进行填补；如果虚拟左视角图像DL中的空洞HL_k∈GL₂，那么用PL₁、PL₂和PL₃对HL_k按照HL′_k＝(4×PL₁-PL₂-PL₃-2)/2进行填补；

最后，得到空洞填补后的虚拟左视角图像，记为DL₂，这里，是虚拟左视角图像DL₂中的像素点，m₃代表DL₂中像素点的横坐标，n₃代表DL₂中像素点的纵坐标，M₃代表DL₂的宽度，N₃代表DL₂的高度，m₃、n3、M₃和N₃都是自然数，并且1≤m₃≤N₃，1≤n₃≤M₃；

步骤6，虚拟右视角图像空洞填补

首先，将虚拟右视角图像DR中空洞HR_l右侧背景区域内最邻近的非空洞像素点记为PR₁，将HR_l右上方背景区域内最邻近的非空洞像素点记为PR₂，将HR_l右下方背景区域内最邻近的非空洞像素点记为PR₃；

其次，定义填补后的空洞为HR′_l，如果虚拟右视角图像DR中的空洞HR_l∈GR₁，那么对HL_k用PR₁按照HR′_l＝PR₁进行填补；如果虚拟右视角图像DR中的空洞HR_l∈GR₂，那么用PR₁、PR₂和PR₃对HR_l按照HR′_l＝(4×PR₁-PR₂-PR₃-2)/2进行填补；

最后，得到空洞填补后的虚拟右视角图像，记为DR₂，这里，是虚拟右视角图像DR₂中的像素点，m₄代表DR₂中像素点的横坐标，n₄代表DR₂中像素点的纵坐标，M₄代表DR₂的宽度，N₄代表DR₂的高度，m₄、n₄、M₄和N₄都是自然数，并且1≤m₄≤N₄，1≤n₄≤M₂；

步骤7，虚拟视角图像边框修复

首先，对步骤5得到的虚拟左视角图像DL₂的边框部分，使用标准的图像边框像素点复制法进行边框修复，得到修复后的图像，记为DL₃；这里，是虚拟左视角图像DL₃中的像素点，m₅代表DL₃中像素点的横坐标，n₅代表DL₃中像素点的纵坐标，M₅代表DL₃的宽度，N₅代表DL₃的高度，m₅、n₅、M₅和N₅都是自然数，并且1≤m₅≤N₅，1≤n₅≤M₅；

其次，对步骤6得到的虚拟右视角图像DR₂的边框部分，使用标准的图像边框像素点复制法进行边框修复，得到修复后的图像，记为DR₃，这里，是虚拟右视角图像DR₃中的像素点，m₆代表DR₃中像素点的横坐标，n₆代表DR₃中像素点的纵坐标，M₆代表DR₃的宽度，N₆代表DR₃的高度，m₆、n₆、M₆和N₆都是自然数，并且1≤m₆≤N₆，1≤n₆≤M₆。

本发明的基本原理：根据基于深度图的绘制算法，空洞区域都是位于背景区域的某些部分，需要使用背景部分的信息作为参考进行填补。在对大空洞的空像素点进行填补时，会使用面向背景一侧的三个方向上的可用像素点做参考进行预测插值，并根据预测模式的具体公式进行插值计算，因此插值的精确度较高。由于本发明没有在三维绘制前对深度图像做平滑滤波处理，也就避免了绘制出的虚拟视角图像中垂直边界上出现的几何失真。

本发明的实质是：本发明的实质是充分利用空洞临近范围内背景区域上的已知像素点对空洞进行插值，通过引入较多的先验信息，提高空洞填补的效率。

本发明的创新点：本发明对不同大小的空洞采取不同的填补策略，并对大尺寸的空洞应用基于多方向预测的插值算法进行填补，并且避免了对深度图像进行滤波而产生的边界失真，在低复杂度的情况下保证了空洞填补的有效性。

本发明的优点：本发明所提出的多方向预测插值技术能够有效减小传统插值方法对大空洞区域进行填补时所造成的误差；同时，对不同大小的空洞区域采取不同的填补方法，能够提高填补的有效性。

附图说明

图1为本发明实现流程图。

图2为本发明大小不同的空洞填补算法流程图。

具体实施方式

本发明可根据用户的使用要求自行设定各种参数进行仿真验证，具体实施步骤如下：

步骤1，输入图像初始化

首先，将输入的原始图像记为X，这里，x_i,j是图像X中的像素点，i代表X中像素点的横坐标，j代表X中像素点的纵坐标，W₁代表X的宽度，H₁代表X的高度，i、j、W₁和H₁都是自然数，并且1≤i≤H₁，1≤j≤W₁；X的分辨率根据用户的具体使用要求自行设定；

然后，将输入的原始图像X的深度图像记为Y，这里，y_u,v是图像Y中的像素点，u代表Y中像素点的横坐标，v代表Y中像素点的纵坐标，W₂代表Y的宽度，H₂代表Y的高度，u、v、W₂和H₂都是自然数，并且1≤u≤H₂，1≤v≤W₂；Y的分辨率根据用户的具体使用要求自行设定；

步骤2，产生虚拟视角图像

用步骤1中输入的深度图像Y对原始图像X进行标准的三维绘制，得到虚拟左视角图像和虚拟右视角图像，分别记为DL和DR，这里，是图像DL中的像素点，m₁代表DL中像素点的横坐标，n₁代表DL中像素点的纵坐标，M₁代表图像DL的宽度，N₁代表图像DL的高度，m₁、n₁、M₁和N₁都是自然数，并且1≤m₁≤N₁，1≤n₁≤M₁；是图像DR中的像素点，m₂代表DR中像素点的横坐标，n₂代表DR中像素点的纵坐标，M₂代表DR的宽度，N₂代表DR的高度，m₂、n₂、M₂和N₂都是自然数，并且1≤m₂≤N₂，1≤n₂≤M₂；

步骤3，虚拟左视角图像的空洞划分

首先，将虚拟左视角图像中用来划分空洞大小的阈值TL设定为2；

接着，对步骤2产生的虚拟左视角图像DL按照从上到下、从左到右的顺序进行逐行扫描，将扫描过程中得到的空洞记为HL_k，将空洞HL_k所对应的空洞宽度记为WL_k,这里，k为图像DL中空洞的索引下标，k为自然数；

最后，用空洞宽度WL_k小于或等于阈值TL的空洞HL_k组成虚拟左视角图像的小空洞集合，记为GL₁，GL₁＝{HL_k|WL_k≤TL}；用空洞宽度WL_k大于阈值TL的空洞HL_k组成虚拟左视角图像的大空洞集合，记为GL₂，GL₂＝{HL_k|WL_k>TL}；

步骤4，虚拟右视角图像的空洞划分

首先，将虚拟右视角图像中用来划分空洞大小的阈值TR设定为2；

接着，对步骤2产生的虚拟右视角图像DR按照从上到下、从右到左的顺序进行逐行扫描，将扫描过程中得到的空洞记为HR_l，将空洞HR_l所对应的空洞宽度记为WR_l,这里，l为图像DR中空洞的索引下标，l为自然数；

最后，用空洞宽度WR_l小于或等于阈值TR的空洞HR_l组成虚拟右视角图像的小空洞集合，记为GR₁，GR₁＝{HR_l|WR_l≤TR}；用空洞宽度WR_l大于阈值TR的空洞HR_l组成虚拟右视角图像的大空洞集合，记为GR₂，GR₂＝{HR_l|WR_l>TR}；

步骤5，虚拟左视角图像的空洞填补

首先，将虚拟左视角图像DL中空洞HL_k的左侧背景区域内最邻近的非空洞像素点记为PL₁，将HL_k左上方背景区域内最邻近的非空洞像素点记为PL₂，将HL_k左下方背景区域内最邻近的非空洞像素点记为PL₃；

其次，定义填补后的空洞为HL′_k；如果虚拟左视角图像DL中的空洞HL_k∈GL₁，那么对HL_k用PL₁按照HL′_k＝PL₁进行填补；如果虚拟左视角图像DL中的空洞HL_k∈GL₂，那么用PL₁、PL₂和PL₃对HL_k按照HL′_k＝(4×PL₁-PL₂-PL₃-2)/2进行填补；

最后，得到空洞填补后的虚拟左视角图像，记为DL₂，这里，是虚拟左视角图像DL₂中的像素点，m₃代表DL₂中像素点的横坐标，n₃代表DL₂中像素点的纵坐标，M₃代表DL₂的宽度，N₃代表DL₂的高度，m₃、n3、M₃和N₃都是自然数，并且1≤m₃≤N₃，1≤n₃≤M₃；

步骤6，虚拟右视角图像空洞填补

首先，将虚拟右视角图像DR中空洞HR_l右侧背景区域内最邻近的非空洞像素点记为PR₁，将HR_l右上方背景区域内最邻近的非空洞像素点记为PR₂，将HR_l右下方背景区域内最邻近的非空洞像素点记为PR₃；

其次，定义填补后的空洞为HR′_l，如果虚拟右视角图像DR中的空洞HR_l∈GR₁，那么对HL_k用PR₁按照HR′_l＝PR₁进行填补；如果虚拟右视角图像DR中的空洞HR_l∈GR₂，那么用PR₁、PR₂和PR₃对HR_l按照HR′_l＝(4×PR₁-PR₂-PR₃-2)/2进行填补；

最后，得到空洞填补后的虚拟右视角图像，记为DR₂，这里，是虚拟右视角图像DR₂中的像素点，m₄代表DR₂中像素点的横坐标，n₄代表DR₂中像素点的纵坐标，M₄代表DR₂的宽度，N₄代表DR₂的高度，m₄、n₄、M₄和N₄都是自然数，并且1≤m₄≤N₄，1≤n₄≤M₂；

步骤7，虚拟视角图像边框修复

首先，对步骤5得到的虚拟左视角图像DL₂的边框部分，使用标准的图像边框像素点复制法进行边框修复，得到修复后的图像，记为DL₃；这里，是虚拟左视角图像DL₃中的像素点，m₅代表DL₃中像素点的横坐标，n₅代表DL₃中像素点的纵坐标，M₅代表DL₃的宽度，N₅代表DL₃的高度，m₅、n₅、M₅和N₅都是自然数，并且1≤m₅≤N₅，1≤n₅≤M₅；

其次，对步骤6得到的虚拟右视角图像DR₂的边框部分，使用标准的图像边框像素点复制法进行边框修复，得到修复后的图像，记为DR₃，这里，是虚拟右视角图像DR₃中的像素点，m₆代表DR₃中像素点的横坐标，n₆代表DR₃中像素点的纵坐标，M₆代表DR₃的宽度，N₆代表DR₃的高度，m₆、n₆、M₆和N₆都是自然数，并且1≤m₆≤N₆，1≤n₆≤M₆。

Claims (1)

1.一种基于多方向预测的虚拟视角图像空洞填补方法，其特征是它包括以下步骤：

步骤1，输入图像初始化

首先，将输入的原始图像记为X，这里，x_i,j是图像X中的像素点，i代表X中像素点的横坐标，j代表X中像素点的纵坐标，W₁代表X的宽度，H₁代表X的高度，i、j、W₁和H₁都是自然数，并且1≤i≤H₁，1≤j≤W₁；

然后，将输入的原始图像X的深度图像记为Y，这里，y_u,v是图像Y中的像素点，u代表Y中像素点的横坐标，v代表Y中像素点的纵坐标，W₂代表Y的宽度，H₂代表Y的高度，u、v、W₂和H₂都是自然数，并且1≤u≤H₂，1≤v≤W₂；

步骤2，产生虚拟视角图像

用步骤1中输入的深度图像Y对原始图像X进行标准的三维绘制，得到虚拟左视角图像和虚拟右视角图像，分别记为DL和DR，这里， 是图像DL中的像素点，m₁代表DL中像素点的横坐标，n₁代表DL中像素点的纵坐标，M₁代表图像DL的宽度，N₁代表图像DL的高度，m₁、n₁、M₁和N₁都是自然数，并且1≤m₁≤N₁，1≤n₁≤M₁； 是图像DR中的像素点，m₂代表DR中像素点的横坐标，n₂代表DR中像素点的纵坐标，M₂代表DR的宽度，N₂代表DR的高度，m₂、n₂、M₂和N₂都是自然数，并且1≤m₂≤N₂，1≤n₂≤M₂；

步骤3，虚拟左视角图像的空洞划分

首先，将虚拟左视角图像中用来划分空洞大小的阈值，记为TL，这里，TL为自然数；

接着，对步骤2产生的虚拟左视角图像DL按照从上到下、从左到右的顺序进行逐行扫描，将扫描过程中得到的空洞记为HL_k，将空洞HL_k所对应的空洞宽度记为WL_k,这里，k为图像DL中空洞的索引下标，k为自然数；

最后，用空洞宽度WL_k小于或等于阈值TL的空洞HL_k组成虚拟左视角图像的小空洞集合，记为GL₁，GL₁＝{HL_k|WL_k≤TL}；用空洞宽度WL_k大于阈值TL的空洞HL_k组成虚拟左视角图像的大空洞集合，记为GL₂，GL₂＝{HL_k|WL_k>TL}；

步骤4，虚拟右视角图像的空洞划分

首先，将虚拟右视角图像中用来划分空洞大小的阈值，记为TR，这里，TR为自然数；

接着，对步骤2产生的虚拟右视角图像DR按照从上到下、从右到左的顺序进行逐行扫描，将扫描过程中得到的空洞记为HR_l，将空洞HR_l所对应的空洞宽度记为WR_l,这里，l为图像DR中空洞的索引下标，l为自然数；

最后，用空洞宽度WR_l小于或等于阈值TR的空洞HR_l组成虚拟右视角图像的小空洞集合，记为GR₁，GR₁＝{HR_l|WR_l≤TR}；用空洞宽度WR_l大于阈值TR的空洞HR_l组成虚拟右视角图像的大空洞集合，记为GR₂，GR₂＝{HR_l|WR_l>TR}；

步骤5，虚拟左视角图像的空洞填补

首先，将虚拟左视角图像DL中空洞HL_k的左侧背景区域内最邻近的非空洞像素点记为PL₁，将HL_k左上方背景区域内最邻近的非空洞像素点记为PL₂，将HL_k左下方背景区域内最邻近的非空洞像素点记为PL₃；

其次，定义填补后的空洞为HL′_k；如果虚拟左视角图像DL中的空洞HL_k∈GL₁，那么对HL_k用PL₁按照HL′_k＝PL₁进行填补；如果虚拟左视角图像DL中的空洞HL_k∈GL₂，那么用PL₁、PL₂和PL₃对HL_k按照HL′_k＝(4×PL₁-PL₂-PL₃-2)/2进行填补；

最后，得到空洞填补后的虚拟左视角图像，记为DL₂，这里， 是虚拟左视角图像DL₂中的像素点，m₃代表DL₂中像素点的横坐标，n₃代表DL₂中像素点的纵坐标，M₃代表DL₂的宽度，N₃代表DL₂的高度，m₃、n3、M₃和N₃都是自然数，并且1≤m₃≤N₃，1≤n₃≤M₃；

步骤6，虚拟右视角图像空洞填补

首先，将虚拟右视角图像DR中空洞HR_l右侧背景区域内最邻近的非空洞像素点记为PR₁，将HR_l右上方背景区域内最邻近的非空洞像素点记为PR₂，将HR_l右下方背景区域内最邻近的非空洞像素点记为PR₃；

其次，定义填补后的空洞为HR′_l，如果虚拟右视角图像DR中的空洞HR_l∈GR₁，那么对HL_k用PR₁按照HR′_l＝PR₁进行填补；如果虚拟右视角图像DR中的空洞HR_l∈GR₂，那么用PR₁、PR₂和PR₃对HR_l按照HR′_l＝(4×PR₁-PR₂-PR₃-2)/2进行填补；

最后，得到空洞填补后的虚拟右视角图像，记为DR₂，这里， 是虚拟右视角图像DR₂中的像素点，m₄代表DR₂中像素点的横坐标，n₄代表DR₂中像素点的纵坐标，M₄代表DR₂的宽度，N₄代表DR₂的高度，m₄、n₄、M₄和N₄都是自然数，并且1≤m₄≤N₄，1≤n₄≤M₂；

步骤7，虚拟视角图像边框修复

首先，对步骤5得到的虚拟左视角图像DL₂的边框部分，使用标准的图像边框像素点复制法进行边框修复，得到修复后的图像，记为DL₃；这里， 是虚拟左视角图像DL₃中的像素点，m₅代表DL₃中像素点的横坐标，n₅代表DL₃中像素点的纵坐标，M₅代表DL₃的宽度，N₅代表DL₃的高度，m₅、n₅、M₅和N₅都是自然数，并且1≤m₅≤N₅，1≤n₅≤M₅；

其次，对步骤6得到的虚拟右视角图像DR₂的边框部分，使用标准的图像边框像素点复制法进行边框修复，得到修复后的图像，记为DR₃，这里， 是虚拟右视角图像DR₃中的像素点，m₆代表DR₃中像素点的横坐标，n₆代表DR₃中像素点的纵坐标，M₆代表DR₃的宽度，N₆代表DR₃的高度，m₆、n₆、M₆和N₆都是自然数，并且1≤m₆≤N₆，1≤n₆≤M₆。