CN114008670A

CN114008670A - 信息处理装置、信息处理方法和信息处理程序

Info

Publication number: CN114008670A
Application number: CN202080045551.3A
Authority: CN
Inventors: 井藤功久; 早坂健吾
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2019-07-17
Filing date: 2020-06-12
Publication date: 2022-02-01
Also published as: US20220284610A1; WO2021010067A1; JPWO2021010067A1

Abstract

根据本公开内容的信息处理装置(1,2)包括控制单元(40)。控制单元(40)基于与被摄体空间的深度信息相关的深度图来选择要校正的区域和要校正的区域周围的参考区域。控制单元(40)基于被摄体空间中的要校正的区域与参考区域之间的距离来校正要校正的区域的深度信息。

Description

信息处理装置、信息处理方法和信息处理程序

技术领域

本公开内容涉及信息处理装置、信息处理方法和信息处理程序。

背景技术

已知使用具有不同视点的多个图像来计算被摄体空间的深度的技术。在这样的技术中，例如，使用块匹配(立体匹配)来计算图像的每个像素的深度值(深度)(例如，参见专利文献1)。

引用列表

专利文献

专利文献1：JP 2011-171858 A

发明内容

技术问题

然而，在相关技术中的上述技术中，例如，可以以高精度计算与周围像素(例如边缘)相比具有大亮度变化的深度，但是对于具有小亮度变化的像素的深度，存在计算精度变低的问题。

因此，本公开内容提出了能够提高深度信息的计算精度的信息处理装置、信息处理方法和信息处理程序。

问题的解决方案

根据本公开内容的信息处理装置包括控制单元。该控制单元基于与被摄体空间的深度信息相关的深度图来选择校正目标区域和校正目标区域周围的参考区域。控制单元基于被摄体空间中的校正目标区域与参考区域之间的距离来校正该校正目标区域的深度信息。

附图说明

图1是用于描述根据本公开内容的第一实施方式的图像处理的概要的图。

图2是示出根据本公开内容的第一实施方式的图像处理装置的配置示例的图。

图3是示出参考图像的示例的图。

图4是示出深度图的示例的图。

图5是用于描述像素选择单元对像素的选择的图。

图6是示出周围像素的每条信息的表。

图7是用于描述在校正目标像素的视差值改变的情况下的总值的图。

图8是示出校正目标像素的视差值与总值之间的关系的示例的曲线图。

图9是示出校正后深度图的示例的图。

图10是示出根据本公开内容的第一实施方式的处理的流程的流程图。

图11是示出根据本公开内容的第二实施方式的图像处理装置的配置示例的图。

图12是用于描述调整单元执行调整的原因的图(1)。

图13是用于描述调整单元执行调整的原因的图(2)。

图14是用于描述调整单元的调整方法的图。

图15是示出根据本公开内容的第二实施方式的处理的流程的流程图。

图16是示出实现图像处理装置的功能的计算机的示例的硬件配置图。

具体实施方式

在下文中，将参照附图详细描述本公开内容的实施方式。注意，在以下实施方式中，相同的部分用相同的附图标记表示，并且将省略冗余的描述。

另外，将根据以下项的顺序来描述本公开内容。

1.第一实施方式

1-1.根据第一实施方式的信息处理的概要

1-2.根据第一实施方式的信息处理的配置

1-3.根据第一实施方式的信息处理的过程

2.第二实施方式

2-1.根据第二实施方式的信息处理装置的配置

2-2.根据第二实施方式的信息处理的过程

3.其他配置示例

4.根据本公开内容的信息处理装置的效果

5.硬件配置

(1.第一实施方式)

[1-1.根据第一实施方式的信息处理的概要]

根据本公开内容的第一实施方式的图像处理装置是基于由例如立体相机或多眼相机捕获的图像来生成深度图的装置。根据第一实施方式的图像处理装置通过使用具有高深度计算精度的像素来校正基于从不同视点捕获的多个图像生成的被摄体空间的深度图。因此，可以实现诸如前景或背景提取的应用的高精度，以及使用深度图的重新聚焦处理。

在本实施方式中描述的技术(在下文中，称为本技术)是对基于由模板匹配等表示的图像信号的比较而计算的输出结果进行校正的技术。更具体地，本技术是对亮度变化小于周围像素的亮度变化并且不能准确地生成深度信息的像素的深度信息进行校正的技术。

在下文中，将参照图1描述由图像处理装置1(图1中省略了图示)执行的图像处理的概要。图1是用于描述根据本公开内容的第一实施方式的图像处理的概要的图。

注意，在以下描述中，除非另有说明，否则将图像的横向方向(水平方向)设置为x方向，并且将纵向方向(垂直方向)设置为y方向。

本公开内容的图像处理由图像处理装置1执行。图像处理装置1是执行根据本公开内容的图像处理的信息处理装置，例如是服务器装置、个人计算机(PC)等。注意，图像处理装置1可以安装在相机上。

图像处理装置1获取例如从不同视点捕获的多个图像(多视点图像)(步骤S1)。图1示出了参考图像P01作为用于在由图像处理装置1获取的多个图像中创建深度图的参考。

图像处理装置1使用所获取的多视点图像来生成被摄体空间的深度图P02(步骤S2)。图像处理装置1通过使用例如块匹配方法生成视差图作为深度图P02。图像处理装置1通过使用参考图像P01作为用于生成多视点图像中的深度图P02和比较图像的参考，来计算参考图像P01与比较图像之间的相位差(视差)。具体地，图像处理装置1在使比较图像的局部区域(单位区域)在水平方向或垂直方向上依次移动的同时，计算比较图像与参考图像P01之间的单位区域的相关值。图像处理装置1计算比较图像与参考图像P01之间的比较范围内具有最强相关性(具有最大相关值)的单位区域的位置偏差(像素偏移、视差)作为相位差。注意，局部区域的移动方向不限于水平或垂直方向，并且可以是任何方向，例如倾斜方向。

如图1所示，图像处理装置1针对每个像素生成具有视差值的深度图P02。此时，例如，考虑到视差值的计算精度低，在不计算其计算的相关值等于或小于预定阈值的像素的视差值的情况下，图像处理装置1生成深度图P02作为未知深度像素。在图1所示的示例中，每个像素中显示的数值表示视差值，并且未知深度像素以黑色示出而不显示数值。此处，如图1所示，假设视差值随着被摄体的像素越靠近后侧而变得越小，并且视差值随着被摄体的像素越靠近前侧而变得越大。

注意，此处，图像处理装置1使用多视点图像生成深度图P02，但是本公开内容不限于此。例如，图像处理装置1可以从立体图像生成深度图P02。替选地，图像处理装置1可以通过块匹配方法计算视差量并且基于所计算的视差量通过三角测量原理计算到被摄体的距离，来生成距离图作为深度图P02。

随后，图像处理装置1校正所生成的深度图P02。首先，图像处理装置1选择未知深度像素作为校正目标(步骤S3)。在图1所示的示例中，图像处理装置1选择像素A作为未知深度像素作为校正目标。

接下来，图像处理装置1计算深度校正值(步骤S4)。如图1中的部分区域P03所示，首先，图像处理装置1选择未知深度像素A周围存在的具有深度信息的像素(下文中，也称为周围像素)B0至B3。注意，此处，通过放大深度图P02的一部分并以白色显示未知深度像素以使得图1中的深度图P02易于被查看，来获得部分区域P03至P05。

在被摄体空间中的像素A的深度改变时，图像处理装置1基于像素A与周围像素B0至B3之间的距离L0至L3的总值L_total(L_total＝L0+L1+L2+L3)，计算未知深度像素A的校正值。

例如，在部分区域P03中，示出了在被摄体空间中的像素A的深度与周围像素B0至B3的深度相同的情况下计算总值L_total的示例。另外，在部分区域P04中，示出了在被摄体空间中的像素A的深度比周围像素B0至B3更靠近前侧的情况下计算总值L_total的示例。

此处，例如，在未知深度像素被具有深度信息的像素B0至B3包围的情况下，认为未知深度像素A与具有深度信息的像素B0至B3在同一平面上。换言之，可以认为由具有深度信息的多个像素构成的封闭空间的内部由一个平面构成。

与像素A与周围像素B0至B3不在同一平面上的情况下(参考部分区域P04)的距离L0至L3的总值L_total相比，像素A的深度与周围像素B0至B3在同一平面上的情况下(参考部分区域P03)的距离L0至L3的总值L_total更小。换言之，在通过改变像素A的深度来计算总值L_total的情况下，像素A和B0至B3在同一平面上的情况下的总值L_total最小。

因此，图像处理装置1在改变像素A的深度的同时，计算像素A与周围像素B0至B3之间的距离L0至L3的总值L_total。图像处理装置1根据所计算的总值L_total，计算像素A的校正值。例如，图像处理装置1在所计算的总值L_total最小的情况下将像素A的视差确定为像素A的校正值。

随后，图像处理装置1利用计算出的校正值来校正像素A的深度信息(步骤S5)。在图1的部分区域P05中所示的示例中，图像处理装置1将未知深度像素A的视差校正为“16”，该视差与周围像素B0至B3的视差相同。图像处理装置1类似地校正其他未知深度像素。

如上所述，图像处理装置1在改变未知深度像素A的深度的同时计算像素A与周围像素B0至B3之间的距离，并且根据计算的距离校正未知深度像素A的深度信息(视差)。因此，图像处理装置1可以校正深度未知的像素的深度信息，即视差的计算精度低，并且可以提高深度信息的计算精度。

[1-2.根据第一实施方式的信息处理装置的配置]

将参照图2描述图像处理装置1的配置。图2是示出根据本公开内容的第一实施方式的图像处理装置1的配置示例的图。图像处理装置1的具体示例包括移动电话、智能设备(智能电话或平板电脑)、相机(例如，数字静态相机或数字摄像机)、个人数字助理(PDA)和个人计算机。注意，图像处理装置1可以是汽车导航装置、平视显示器、导航显示器、机器对机器(M2M)设备或物联网(IoT)设备。图像处理装置1可以是安装在这些装置上的装置(例如，图像处理器)。

另外，图像处理装置1可以是安装在移动体上的装置。此时，图像处理装置1可以是构成支持移动体的转向(驱动)的系统(例如，自动制动系统(也称为碰撞避免系统、碰撞损坏降低系统或自动停止系统)、危险检测系统、跟踪系统、汽车导航系统等)的一部分的装置，或者可以是构成控制移动体的自主行驶的系统(例如，自动驾驶系统)的一部分的装置。当然，图像处理装置1也可以仅是构成控制移动体的行驶的系统的一部分的装置。注意，图像处理装置1可以是支持移动体的转向(驱动)的系统本身，或者可以是控制移动体的自主行驶的系统本身。当然，图像处理装置1也可以是控制移动体的移动的系统本身。另外，图像处理装置1可以是移动体本身。

此处，移动体可以是在陆地上(狭义上是在地面上)移动的移动体(例如，诸如汽车、自行车、公共汽车、卡车、摩托车、火车或直线机动车的车辆)，或者可以是在地中(例如，在隧道中)移动的移动体(例如，地铁)。另外，移动体可以是在水上移动的移动体(例如，诸如客船、货船或气垫船的船)或在水下移动的移动体(例如，诸如潜艇、水下航行器或无人潜水器的潜水船)。此外，移动体可以是在大气中移动的移动体(例如，诸如飞机、飞船或无人机的飞行器)或在大气外移动的移动体(例如，诸如人造卫星、太空船、空间站或探测器的航天器)。

注意，飞行器的概念不仅包括诸如飞机或滑翔机的重型飞行器，还包括诸如气球或飞船的轻型飞行器。另外，飞行器的概念不仅包括重型飞行器和轻型飞行器，还包括诸如直升机或旋翼飞机的旋翼飞行器。注意，飞行器站设备(替选地，其上安装有飞行器站设备的飞行器)可以是诸如无人机的无人驾驶飞行器。

注意，图像处理装置1不限于控制构成支持移动体的行驶的系统的一部分或全部的设备移动体的自主形式的系统，并且可以是例如构成旨在用于调查和监视的系统的一部分或全部的装置。

如图2所示，图像处理装置1包括输入/输出单元10、成像单元20、存储单元30和控制单元40。注意，图2中所示的配置是功能配置，并且硬件配置可以与功能配置不同。另外，图像处理装置1的功能可以在多个物理上分离的装置中以分布式方式实现。

(输入/输出单元)

输入/输出单元10是用于与用户交换信息的用户接口。例如，输入/输出单元10是用于用户执行各种操作的操作设备，例如键盘、鼠标、操作键和触摸面板。替选地，输入/输出单元10是诸如液晶显示器或有机电致发光显示器(有机EL显示器)的显示设备。输入/输出单元10可以是诸如扬声器或蜂鸣器的声学设备。另外，输入/输出单元10可以是诸如发光二极管(LED)灯的照明设备。输入/输出单元10用作图像处理装置1的输入/输出装置(输入装置、输出装置、操作装置或通知装置)。

输入/输出单元10可以是用于与另一设备通信的通信接口。此时，输入/输出单元10可以是网络接口或设备连接接口。例如，输入/输出单元10可以是诸如网络接口卡(NIC)的局域网(LAN)接口，或者可以是包括USB主机控制器和USB端口的通用串行总线(USB)接口。注意，输入/输出单元10可以是有线接口或无线接口。输入/输出单元10用作图像处理装置1的通信装置。输入/输出单元10在控制单元40的控制下与其他设备进行通信。

(成像单元)

成像单元20例如是包括对对象成像的图像传感器的相机。成像单元20可以是能够捕获静止图像的相机或能够捕获运动图像的相机。成像单元20例如是多眼相机或立体相机。注意，成像单元20可以是单目相机。成像单元20可以包括其中离散地嵌入图像平面相位差像素的图像传感器。替选地，成像单元20可以是测量到被摄体的距离的距离测量传感器，例如飞行时间(ToF)传感器。成像单元20用作图像处理装置1的成像装置。

(存储单元)

存储单元30是数据可读/可写存储设备，例如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存或硬盘。存储单元30用作图像处理装置1的存储装置。存储单元30存储例如由成像单元20捕获的图像(例如，亮度图像)和由稍后描述的映射生成单元420生成的深度图等。

(控制单元)

控制单元40是控制图像处理装置1的每个单元的控制器。控制单元40由例如处理器实现，处理器例如中央处理单元(CPU)、微处理单元(MPU)或图形处理单元(GPU)。控制单元40可以被配置成控制在控制单元40外部并且执行稍后描述的图像处理的图像处理器，或者可以被配置成通过其自身执行图像处理。控制单元40的功能例如通过使用随机存取存储器(RAM)等作为工作区来执行存储在图像处理装置1内部的存储设备中的各种程序的处理器来实现。注意，控制单元40可以由诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的集成电路来实现。CPU、MPU、GPU、ASIC和FPGA中的任何一个都可以被视为控制器。

控制单元40包括获取单元410、映射生成单元420、校正单元430和输出控制单元440，并且实现或执行下面描述的信息处理的功能和动作。构成控制单元40的每个块(获取单元410至输出控制单元440)是指示控制单元40的每个功能的功能块。这些功能块可以是软件块或硬件块。例如，上述功能块中的每一个可以是由软件(包括微程序)实现的一个软件模块，也可以是半导体芯片(管芯)上的一个电路块。每个功能块可以是一个处理器或一个集成电路。功能块的配置方法是任意的。注意，可以由不同于上述功能块的功能单元来配置控制单元40。

(获取单元)

获取单元410获取各种信息。例如，获取单元410获取由成像单元20捕获的图像。例如，获取单元410获取由成像单元20捕获的多视点图像。注意，获取单元410可以获取由作为传感器的单目相机捕获的图像。在这种情况下，获取单元410获取由距离测量传感器使用例如激光等测量的到对象的距离。即，获取单元410不仅可以获取可视图像，还可以获取包括深度数据的图像数据作为捕获图像。

获取单元410将获取的信息适当地存储在存储单元30中，另外，获取单元410可以从存储单元30适当地获取处理所需的信息，或者可以经由输入/输出单元10获取处理所需的信息。即，获取单元410不一定获取由图像处理装置1捕获的图像，并且可以获取由外部设备捕获的图像、预先存储在存储单元30中的图像等。

(映射生成单元)

映射生成单元420基于由获取单元410获取的多视点图像来生成深度图。映射生成单元420通过基于包括图3中示出的参考图像P11的多视点图像计算每个像素(或每个区域)的视差值(视差)来生成深度图。注意，图3是示出参考图像P11的示例的图。

映射生成单元420基于比较图像(未示出)和多视点图像中包括的参考图像P11生成深度图。映射生成单元420使用例如参考图像P11的左上像素区域作为处理目标像素区域来执行与比较图像的相关处理，并且计算处理目标像素区域的视差值。

作为相关处理，映射生成单元420计算例如比较图像的处理目标像素区域与参考像素区域之间的相关值。具体地，映射生成单元420在水平或垂直方向上顺序地移动参考像素区域的同时，顺序地计算与处理目标像素区域的相关值。注意，参考像素区域的移动方向不限于水平或垂直方向，并且可以是任何方向，例如倾斜方向。

映射生成单元420基于所计算的相关值，计算图像之间具有最强相关性的像素区域的位置偏差(像素偏移)作为相位差(视差值)。计算相关值的方法的示例包括绝对差之和(SAD)、平方差之和(SSD)和归一化互相关(NCC)。

此后，映射生成单元420通过在光栅扫描方向上将处理目标像素区域顺序地偏移一个像素并且计算视差值来执行相关处理，从而生成深度图。注意，像素区域是具有任意形状的区域，并且可以是一个像素或包括多个像素的区域。

此外，例如，在成像单元20是配备有三个或更多个相机的多眼相机的情况下，获取单元410获取包括多个比较图像的多视点图像。在这种情况下，映射生成单元420执行每个比较图像与参考图像P11之间的相关处理，并且计算每个比较图像的相关值。映射生成单元420确定在针对每个比较图像计算的相关值中具有最强相关性的相关值。在确定的相关值等于或大于阈值的情况下，映射生成单元420将与确定的相关值相对应的视差值确定为处理目标像素区域的视差值。

另一方面，在具有最强相关性的相关值小于阈值的情况下，映射生成单元420确定处理目标像素区域的视差值无效，并且确定处理目标像素区域的深度未知。注意，此处使用的阈值例如是当对同一图像执行相关处理时的相关值的最小值。以这种方式，映射生成单元420根据由多眼相机捕获的多视点图像来生成深度图。

图4示出了由映射生成单元420生成的深度图P12的示例。图4是示出深度图P12的示例的图。在图4中，参考图像P11(参照图3)的每个像素中的视差值被示为深度图P12。此处，示出了像素的亮度越高，视差值越大，并且亮度越低，视差值越小。另外，具有未知深度的像素以黑色示出。在图4所示的示例中，考虑到区域的深度未知，映射生成单元420可以计算参考图像P11的具有高对比度的边缘的视差值，但不能计算诸如由对象的边缘围绕的平面中的区域的具有低对比度的区域的视差值。如上所述，例如，映射生成单元420不能精确地计算具有低对比度的像素的深度。

(校正单元)

因此，在根据本公开内容的第一实施方式的图像处理装置1中，通过由图2所示的校正单元430校正未知深度像素来获得未知深度像素的视差值，从而提高深度图P12的精度。校正单元430校正由映射生成单元420生成的视差值以计算校正视差值。然后，校正单元430基于校正视差值生成校正后深度图。如图2所示，校正单元430包括像素选择单元431、距离计算单元432和确定单元433。

(像素选择单元)

像素选择单元431选择要校正的校正目标像素以及校正目标像素周围的至少一个像素(周围像素)。首先，像素选择单元431从深度图P12中选择例如具有无效视差值的未知深度像素作为校正目标像素A。如图5所示，像素选择单元431例如选择由具有深度信息的像素包围的未知深度像素(下文中，也称为深度有效像素)作为校正目标像素A。注意，图5是用于描述像素选择单元431对像素的选择的图。在图5中，每个像素的视差值由该像素中的数值指示，并且未知深度像素以白色示出。

随后，像素选择单元431从深度有效像素中选择校正目标像素A周围的多个周围像素作为参考像素。例如，像素选择单元431从包围校正目标像素A的外围的深度有效像素中以预定角度间隔选择多个周围像素。在图5的示例中，像素选择单元431从校正目标像素A的整个外围以30度的相等间隔选择12个周围像素B00至B11。

在图5所示的示例中，像素选择单元431选择位于从校正目标像素A开始在x轴正方向的深度有效像素作为周围像素B00。另外，像素选择单元431选择位于从校正目标像素A开始从x轴的正方向旋转30度的方向上的深度有效像素作为周围像素B01。如上所述，像素选择单元431选择位于从校正目标像素A开始从x轴的正方向每旋转30度的方向上的深度有效像素作为周围像素B00至B11。注意，图5所示的周围像素B00至B11是示例，并且像素选择单元431可以选择校正目标像素A周围的至少一个深度有效像素。另外，像素选择单元431不必以相等的间隔选择周围像素B00至B11，并且相等的间隔可以不是30度。注意，在下文中，在不需要将周围像素B00至B11的分量彼此区分的情况下，省略周围像素B00至B11的分量的附图标记的末尾处的标识号。

图6示出了关于由像素选择单元431选择的周围像素B的信息。图6是示出周围像素B的每条信息的表。图6示出了周围像素B的信息获取角、视差值(视差)和距离信息(像素)。信息获取角指示由连接校正目标像素A和周围像素B的线段与x轴所形成的角度。另外，视差值指示周围像素B的视差值。距离信息指示校正目标像素A与周围像素B之间的距离。

(距离计算单元)

返回图2，距离计算单元432计算被摄体空间中的校正目标像素A与由像素选择单元431选择的周围像素B之间的距离的总值。此时，距离计算单元432在改变校正目标像素A的视差值(即，被摄体空间中的深度)的同时计算总值。

在下文中，将描述由距离计算单元432计算被摄体空间中的校正目标像素A与周围像素B之间的距离的总值的方法。

假设校正目标像素A在参考图像P11上的坐标是(x_a,y_a)，并且与信息获取角θ相对应的周围像素B的距离信息是L_s(θ)，则可以从(等式1)和(等式2)获得周围像素B在参考图像P11上的坐标(x_s(θ),y_s(θ))。

[数学运算1]

x_s(θ)＝L_s(θ)cosθ+x_a …(等式1)

y_s(θ)＝L_s(θ)sinθ+y_a …(等式2)

另外，在参考图像P11上的任意坐标(x,y)的视差值(视差)是D的情况下，可以通过使用(等式3)到(等式5)将参考图像P11的任意坐标(x,y)坐标变换为被摄体空间的坐标(X,Y,Z)。注意，X_org和Y_org是参考图像P11上的光轴中心坐标，并且a和b是从参考图像P11到被摄体空间的坐标变换的系数。

[数学运算2]

X＝a(x-X_org)/D …(等式3)

Y＝a(y-Y_org)/D …(等式4)

Z＝b/D …(等式5)

假设在校正目标像素A的视差值(视差)为d的情况下，被摄体空间的坐标为(X_a(d),Y_a(d),Z_a(d))，并且与被摄体空间的信息获取角θ相对应的周围像素B的坐标为(X_s(θ),Y_s(θ),Z_s(θ))。在这种情况下，可以从(等式6)获得被摄体空间中的校正目标像素与周围像素B之间的距离L(d,θ)。

[数学运算3]

因此，例如，在信息获取角θ的间隔为30度并且周围像素B的数目是12的情况下，可以基于(等式7)来计算被摄体空间中的校正目标像素A与周围像素B之间的距离L(d,θ)的总值L_total(d)。

[数学运算4]

距离计算单元432基于上述(等式1)至(等式7)在预定范围内改变校正目标像素A的视差值(视差)d的同时计算距离L(d,θ)的总值L_total(d)。注意，此处使用的预定范围是例如深度图P12中包括的视差值的范围。如上所述，例如，距离计算单元432在由映射生成单元420生成的深度图P12中包括的视差值的最小值到最大值的范围内改变校正目标像素A的视差值d的同时计算总值L_total(d)。

接下来，将参照图7描述在校正目标像素A的视差值d改变的情况下的总值L_total(d)。图7是用于描述在校正目标像素A的视差值d改变的情况下的总值L_total(d)的图。

注意，在图7中，为了简化描述，周围像素B的数目是四，即，将信息获取角θ的间隔设置成90度。另外，此处，通过将图7中向上的坐标轴定义为z轴方向来进行描述。

如图7所示，假设校正目标像素A的视差值d从d0改变到d2。注意，在校正目标像素A位于由周围像素B0至B3形成的平面P上的情况下的视差值为d1，并且在校正目标像素A比平面P更靠近前侧的情况下(即，校正目标像素A在Z轴的负方向上)的视差值为d0。另外，在校正目标像素A比平面P更靠近后侧的情况下的视差值(即，校正目标像素A在Z轴的正方向上)为d2。

此外，视差值为d0的校正目标像素A(d0)与视差值为d1的校正目标像素A(d1)之间的距离大于视差值为d1的校正目标像素A(d1)与视差值d2的校正目标像素A(d2)之间的距离。

在这种情况下，校正目标像素A与周围像素B之间的距离L(d,θ)在视差值为d0的情况下最长，并且在视差值为d1的情况下最短。换言之，在校正目标像素A在平面P上的情况下，距离L(d,θ)最短，并且距离L(d,θ)随着校正目标像素A距平面P越远而增大。因此，距离L(d,θ)的总值L_total(d)在校正目标像素A在平面P上时也是最短的，并且随校正目标像素A距平面P越远而增大。

图8示出了在校正目标像素A的视差值d改变的情况下的总值L_total的值的变化。图8是示出校正目标像素A的视差值d与总值L_total之间的关系的示例的曲线图。

如图8所示，在校正目标像素A的视差值d改变的情况下，总值L_total在视差值为d1处变为最小值L_min。如上所述，当校正目标像素A的视差值d改变时，总值L_total向下弯曲，即，通过绘制向下凸起的轨迹而变化。

(确定单元)

返回图2，确定单元433基于距离计算单元432计算的总值L_total确定校正目标像素A的视差值d，并且使用确定的视差值d校正深度图P12。

如上所述，认为被深度有效像素包围的未知深度像素位于包括深度有效像素的平面上。换言之，认为校正目标像素A与周围像素B位于同一平面上。因此，确定单元433在假设校正目标像素A与周围像素B位于同一平面上的情况下确定校正目标像素A的视差值d。

如参照图8所描述的，当校正目标像素A的视差值d改变时，当在校正目标像素A与周围像素B位于同一平面的位置处绘制向下弯曲的轨迹的同时，被摄体空间中的校正目标像素A与周围像素B之间的距离L的总值L_total改变。因此，确定单元433提取总值L_total的改变轨迹弯曲的点(弯曲点)，并且将提取的弯曲点处的视差值d确定为校正目标像素A的视差值d。具体地，例如，确定单元433通过将总值L_total(d)变为最小值L_min的视差值d1(参照图7和图8)确定为校正目标像素A的视差值d来校正深度图P12。

图2所示的校正单元430针对被深度有效像素包围的所有未知深度像素确定视差值d，并且校正深度图P12以生成校正后深度图P13。此处，图9示出了由校正单元430生成的校正后深度图P13。图9是示出校正后深度图P13的示例的图。

如图9所示，深度图P12(参照图4)中深度未知的像素也可以通过校正视差值成为深度有效像素。如上所述，校正单元430校正未知深度像素，使得可以提高参考图像P11的深度的计算精度。

(输出控制单元)

返回图2，输出控制单元440控制输入/输出单元10以输出校正后深度图P13。例如，输出控制单元440在显示器(未示出)等上经由输入/输出单元10显示校正后深度图P13。替选地，例如，输出控制单元440可以将校正后深度图P13输出到诸如存储设备的外部设备。当校正后深度图P13的输出完成时，校正单元430完成深度图P12的校正处理。

[1-3.根据第一实施方式的信息处理的过程]

接下来，将参照图10描述根据本公开内容的第一实施方式的图像处理的过程。图10是示出根据本公开内容的第一实施方式的处理的流程的流程图。

如图10所示，图像处理装置1获取多视点图像(步骤S101)。多视点图像可以使用成像单元20获取，或者可以从另一传感器、外部设备等获取。然后，图像处理装置1根据多视点图像生成深度图P12(步骤S102)。

随后，图像处理装置1从生成的深度图P12中选择未知深度像素作为校正目标像素A(步骤S103)。此后，图像处理装置1选择校正目标像素A周围的深度有效像素作为周围像素B(步骤S104)。

图像处理装置1从预定范围中选择校正目标像素A的视差值d(步骤S105)，并且计算被摄体空间中的校正目标像素A与周围像素B之间的距离L的总值L_total(步骤S106)。

当在整个预定范围内校正目标像素A的视差值d改变的情况下(步骤S107；是)，图像处理装置1利用与校正目标像素A的视差值d改变的情况下的总值L_total的最小值L_min相对应的视差值d1来对校正目标像素A的视差值d进行校正。

另一方面。当在预定范围内视差值d未改变的情况下(步骤S107；否)，图像处理装置1返回步骤S105，并且选择未改变的视差值d。

随后，已经在步骤S108中校正了视差值d的图像处理装置1确定是否已经校正了所有的校正目标像素A(步骤S109)。在已经校正了所有的校正目标像素A的情况下(步骤S109；是)；图像处理装置1结束处理。另一方面，在存在未被校正的校正目标像素A的情况下(步骤S109；否)，图像处理装置1返回步骤S103并且校正未被校正的校正目标像素A。

根据本实施方式，图像处理装置1基于与被摄体空间的深度信息(此处为视差值d)相关的深度图P12选择校正目标区域(此处为校正目标像素A)和校正目标区域周围的参考区域(此处为周围像素B)。图像处理装置1基于被摄体空间中的校正目标区域与参考区域之间的距离L来校正深度信息。注意，在本实施方式中，由于选择了多个参考区域，因此基于距离L的总值L_total来校正深度信息。因此，图像处理装置1可以校正未知深度像素的深度信息，并且可以提高深度的计算精度。

(2.第二实施方式)

[2-1.根据第二实施方式的图像处理装置的配置]

将参照图11描述根据本公开内容的第二实施方式的图像处理装置2的配置示例。图11是示出根据本公开内容的第二实施方式的图像处理装置2的配置示例的图。注意，在以下描述中，引用了与第一实施方式的配置相同的配置，并且将省略对其的冗余的描述。

如图11所示，根据本公开内容的实施方式的图像处理装置2的校正单元430还包括调整单元434。调整单元434调整(校正)距离计算单元432的计算结果。

此处，将参照图12和图13来描述调整单元434执行调整的原因。图12是用于描述调整单元434执行调整的原因的图(1)。图13是用于描述调整单元434执行调整的原因的图(2)。

如图12所示，在被摄体空间中存在具有不同深度的两个平面的情况下，可以在两个平面彼此交叠的状态下生成深度图P22。在这种情况下，例如，尽管提取了前侧平面的所有边缘，但是后侧平面的一部分隐藏在前侧平面之后，使得可能不能提取边缘的一部分。

在这种情况下，如图12所示，假设像素选择单元431选择位于后侧平面上的未知深度像素作为校正目标像素A1，并且选择校正目标像素A1的周围像素。此时，像素选择单元431选择的多个周围像素不仅包括后侧平面的边缘像素，还包括前侧平面的边缘像素。

在这种情况下，当在改变校正目标像素A1的视差值d的同时距离计算单元432计算校正目标像素A1与周围像素B之间的距离L的总值L_total的情况下，总值L_total的轨迹受到前平面和后平面两者的影响。具体地，如图13的右侧的曲线图所示，总值L_total的轨迹是在视差值d_b1和d_b2的两个点处弯曲的曲线图。如上所述，总值L_total的轨迹是具有两个弯曲点的曲线图。

这是因为通过距离计算单元432计算的总值L_total包括到前侧平面的边缘像素的距离分量和到后侧平面的边缘像素的距离分量两者。例如，如图13的左上曲线图所示，当校正目标像素A1位于前侧平面上时，到前侧平面的边缘像素的距离分量变为最小值L_min1。另一方面，如图13的左下曲线图所示，当校正目标像素A1位于后侧平面上时，到后侧平面的边缘像素的距离分量变为最小值L_min2。因此，如图13的右侧的曲线图所示，通过距离计算单元432计算的总值L_total绘制在如下情况下的两点处弯曲的轨迹：在校正目标像素A1位于前侧平面上的情况下以及在校正目标像素A1位于后侧平面上的情况下。

此处，例如，当总值L_total最小时的视差值d被设置为校正目标像素A1的校正值时，确定单元433可以在假设校正目标像素A1属于前侧平面来执行校正，如图13的右侧的曲线图所示。

然而，当在总值L_total的轨迹中存在多个弯曲点的情况下，即，在周围像素不仅包括后侧平面的像素还包括前侧平面的像素的情况下，认为校正目标像A1属于后侧平面(参照图12)。如上所述，当根据总值L_total的最小值对校正目标像素A1执行校正时，存在确定单元433错误地对校正目标像素A1进行校正的可能性。

因此，在根据本公开内容的第二实施方式的图像处理装置2中，调整单元434调整总值L_total，使得确定单元433可以在假设校正目标像素A1在后侧平面上的情况下对校正目标像素A1进行校正。

在存在多个弯曲点的情况下，调整单元434调整总值L_total，使得可以从后侧——即，深度较深的一侧——提取弯曲点。具体地，调整单元434通过从总值L_total中减去校正函数C(d)来校正总值L_total。

如图14所示，调整单元434通过从总值L_total中减去作为斜率为k的直线的校正函数C(d)来校正总值L_total的轨迹，使得后侧的弯曲点变为最小值。图14是用于描述由调整单元434进行的调整方法的图。在图14中，校正函数C(d)是斜率为k的直线，但校正函数C(d)不限于此。注意，校正函数C(d)可以是任何函数，只要可以调整总值L_total的轨迹使得后侧的弯曲点变为最小值。假设通过例如模拟、实验等预先获得校正函数C(d)。

[2-2.根据第二实施方式的信息处理的过程]

接下来，将参照图15来描述根据本公开内容的第二实施方式的图像处理的过程。图15是示出根据本公开内容的第二实施方式的处理的流程的流程图。注意，在图15的处理中，省略与图10的处理相同的处理的描述。

已经通过在整个预定范围内改变视差值d来计算距离L的总值L_total的图像处理装置2(步骤S107；是)调整计算的总值L_total(步骤S201)。具体地，通过从总值L_total中减去与校正函数C(d)的值来调整总值L_total。此后，在校正目标像素A1的视差值d改变的情况下，图像处理装置2利用与总值L_total的最小值L_min相对应的视差值d_b2来对校正目标像素A1的视差值d进行校正(步骤S108)。

如上所述，在总值L_total包括多个弯曲点的情况下，图像处理装置2提取与后侧平面相对应的弯曲点，并且利用与所提取的弯曲点相对应的视差值d_b2对校正目标像素A1的视差值d进行校正。因此，图像处理装置2可以校正未知深度像素的深度信息，并且可以提高深度的计算精度。

另外，图像处理装置2的调整单元434使用校正函数C(d)调整(校正)总值。因此，确定单元433可以通过提取经调整的总值L_total的最小值来对校正目标像素A1进行校正。与检查深度图P22中包括的平面的数目或分离多个平面的处理的处理负荷相比，使用校正函数C(d)校正总值L_total的处理的处理负荷更轻。因此，图像处理装置2可以在不增加处理负荷的情况下，准确地校正未知深度像素的深度信息。

(3.其他配置示例)

上述实施方式中的每一个都是示例，并且各种修改和应用都是可能的。

例如，在上述实施方式中的每一个中，图像处理装置1或2通过使用静止图像作为输入来生成深度图(校正后深度图)。然而，图像处理装置1或2可以通过使用运动图像作为输入来生成深度图(校正后深度图)。

此外，在上述实施方式中的每一个中，图像处理装置1或2对根据由多眼相机捕获的多视点图像生成的深度图进行校正。然而，图像处理装置1或2可以校正测量到被摄体的距离的距离测量传感器(例如，飞行时间(ToF)传感器)的检测结果。

在这种情况下，图像处理装置1或2可以校正距离测量传感器无法检测到的深度信息。替选地，可以通过计算距离测量传感器检测到深度的区域与区域之间的深度信息来校正检测结果。因此，图像处理装置1或2可以提高检测结果的分辨率。

此外，在上述实施方式的每一个中，图像处理装置1或2计算视差值(视差)作为深度信息。然而，例如，图像处理装置1或2可以计算被摄体空间坐标中的坐标和到被摄体的实际距离(深度)。

此外，在上述实施方式中的每一个中描述的处理中，被描述为自动执行的处理的全部或部分可以手动执行，或者被描述为手动执行的处理的全部或部分可以由已知方法自动执行。另外，除非另有说明，否则可以任意更改文档和附图中所示的处理过程、具体名称以及包括各种数据和参数的信息。例如，附图中所示的各种信息不限于所示信息。

另外，附图中所示的每个装置的每个部件在功能上都是概念性的，并且不一定按照附图中所示的那样在物理上进行配置。即，每个装置的具体分布和集成形式不限于图示的形式，并且其全部或部分可以根据各种负载、使用条件等在功能上或物理上分布和集成在任意单元中。

另外，可以在处理内容彼此不矛盾的范围内适当地组合上述实施方式。此外，图像处理装置1和2可以是经由网络获取信息并且基于获取的信息确定去除范围的云服务器等。

此外，本说明书中描述的效果仅是示例而不是限制，并且可以提供其他效果。

(4.根据本公开内容的信息处理装置的效果)

如上所述，根据本公开内容的信息处理装置(在第一和第二实施方式中，图像处理装置1和2)包括控制单元(在第一和第二实施方式中，控制单元40)。控制单元基于与被摄体空间的深度信息(在第一和第二实施方式中，视差值d)相关的深度图(在第一和第二实施方式中，深度图P12和P22)来选择校正目标区域(在第一和第二实施方式中，校正目标像素A和A1)和校正目标区域周围的参考区域(在第一和第二实施方式中，周围像素B)。另外，控制单元基于被摄体空间中的校正目标区域与参考区域之间的距离(在第一和第二实施方式中，距离L的总值L_total)来对校正目标区域的深度信息进行校正。因此，信息处理装置可以提高深度信息的计算精度。

此外，当校正目标区域的深度(在第一和第二实施方式中，视差值d)改变时，控制单元基于距离的改变来对校正目标区域的深度信息进行校正。如上所述，信息处理装置可以通过改变校正目标区域的深度来对校正目标区域的深度信息进行校正，并且可以提高深度信息的计算精度。

当校正目标区域的深度改变时，控制单元将与距离的轨迹上的弯曲点相对应的校正目标区域的深度确定为校正目标区域的校正后深度。以这种方式，信息处理装置可以通过提取弯曲点来对校正目标区域的深度信息进行校正，并且可以提高深度信息的计算精度。

控制单元将分别与多个弯曲点相对应的多个校正目标区域的深度中的最深的深度确定为校正目标区域的校正后深度。因此，即使在深度图包括多个平面的情况下，信息处理装置也可以提高深度信息的计算精度。

控制单元将当距离最小时的校正目标区域的深度确定为校正目标区域的校正后深度。因此，信息处理装置可以对校正目标区域的深度信息进行校正，并且可以提高深度信息的计算精度。

控制单元校正距离，并且基于经校正的距离对校正目标区域的深度信息进行校正。因此，即使在深度图包括多个平面的情况下，信息处理装置也可以在不增加处理负荷的情况下提高深度信息的计算精度。

控制单元选择深度信息的计算精度等于或小于预定阈值的区域(在第一和第二实施方式中，未知深度像素)作为校正目标区域，并且选择深度信息的计算精度大于预定阈值的区域作为参考区域。该信息处理装置可以校正深度信息的计算精度等于或小于预定阈值的区域的深度信息，并且可以提高深度信息的计算精度。

(5.硬件配置)

诸如根据上述实施方式中的每一个的图像处理装置1的信息设备由例如具有如图16所示的配置的计算机1000来实现。在下文中，将描述根据实施方式的信息处理装置1作为示例。图16是示出实现图像处理装置1的功能的计算机1000的示例的硬件配置图。计算机1000包括CPU 1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的每个单元通过总线1050连接。

CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作，并且控制每个单元。例如，CPU 1100在RAM 1200中开发存储在ROM 1300或HDD 1400中的程序，并且执行与各种程序相对应的处理。

ROM 1300存储诸如当计算机1000被激活时由CPU 1100执行的基本输入输出系统(BIOS)的引导程序、取决于计算机1000的硬件的程序等。

HDD 1400是非暂态地记录CPU 1100执行的程序、程序使用的数据等的计算机可读记录介质。具体地，HDD 1400是记录根据本公开内容的信息处理程序——其是程序数据1450的示例——的记录介质。

通信接口1500是用于将计算机1000连接至外部网络1550(例如，因特网)的接口。例如，CPU 1100经由通信接口1500从另一设备接收数据或者将由CPU 1100生成的数据发送至另一设备。

输入/输出接口1600是用于连接输入/输出设备1650和计算机1000的接口。例如，CPU 1100经由输入/输出接口1600从诸如键盘和鼠标的输入设备接收数据。另外，CPU 1100经由输入/输出接口1600将数据发送至诸如显示器、扬声器或打印机的输出设备。此外，输入/输出接口1600可以用作读取记录在预定记录介质(介质)中的程序等的介质接口。该介质例如是诸如数字多功能盘(DVD)或相变可重写盘(PD)的光学记录介质、诸如磁光盘(MO)的磁光记录介质、磁带介质、磁记录介质、半导体存储器等。

例如，在计算机1000用作根据实施方式的图像处理装置1的情况下，计算机1000的CPU 1100通过执行加载在RAM 1200上的信息处理程序来实现控制单元40等的功能。另外，HDD 1400将根据本公开内容的图像处理程序和数据存储在存储单元30中。注意，CPU 1100通过从HDD 1400中读取程序数据1450来执行程序数据1450，但是作为另一示例，可以经由外部网络1550从另一设备获取这些程序。

注意，本技术可以还可以具有以下配置。

(1)一种信息处理装置，包括：

控制单元，其基于与被摄体空间的深度信息相关的深度图来选择校正目标区域和所述校正目标区域周围的参考区域，并且

基于所述被摄体空间中的所述校正目标区域与所述参考区域之间的距离来校正所述校正目标区域的所述深度信息。

(2)

根据(1)所述的信息处理装置，其中，所述控制单元基于当所述校正目标区域的深度改变时所述距离的改变，来校正所述校正目标区域的所述深度信息。

(3)

根据(2)所述的信息处理装置，

其中，所述控制单元

将与当所述校正目标区域的所述深度改变时所述距离的轨迹的弯曲点相对应的所述校正目标区域的所述深度确定为所述校正目标区域的校正后深度。

(4)

根据(3)所述的信息处理装置，其中，所述控制单元将分别与多个所述弯曲点相对应的多个所述校正目标区域的深度中的最深深度确定为所述校正目标区域的所述校正后深度。

(5)

根据(2)至(4)中任一项所述的信息处理装置，其中，所述控制单元将所述距离最小时所述校正目标区域的所述深度确定为所述校正目标区域的所述校正后深度。

(6)

根据(1)至(5)中任一项所述的信息处理装置，

其中，所述控制单元

校正所述距离，并且

基于校正后的距离来校正所述校正目标区域的所述深度信息。

(7)

根据(1)至(6)中任一项所述的信息处理装置，其中，所述控制单元选择所述校正目标区域周围的多个参考区域，并且基于所述校正目标区域与所述多个参考区域之间的距离的总值来校正所述校正目标区域的所述深度信息。

(8)

根据(1)至(7)中任一项所述的信息处理装置，其中，所述控制单元选择所述深度信息的计算精度等于或小于预定阈值的区域作为所述校正目标区域，并且选择所述深度信息的所述计算精度大于所述预定阈值的区域作为所述参考区域。

(9)

一种由计算机进行的信息处理方法，包括：

基于与被摄体空间的深度信息有关的深度图来选择校正目标区域和所述校正目标区域周围的参考区域；以及

(10)

一种信息处理程序，所述信息处理程序使计算机用作：

附图标记列表

1,2 图像处理装置

10 输入/输出单元

20 成像单元

30 存储单元

40 控制单元

410 获取单元

420 映射生成单元

430 校正单元

431 像素选择单元

432 距离计算单元

433 确定单元

434 调整单元

440 输出控制单元

Claims

1.一种信息处理装置，包括：

2.根据权利要求1所述的信息处理装置，其中，所述控制单元基于当所述校正目标区域的深度改变时所述距离的改变，来校正所述校正目标区域的所述深度信息。

3.根据权利要求2所述的信息处理装置，

其中，所述控制单元

4.根据权利要求3所述的信息处理装置，其中，所述控制单元将分别与多个所述弯曲点相对应的多个所述校正目标区域的深度中的最深深度确定为所述校正目标区域的所述校正后深度。

5.根据权利要求2所述的信息处理装置，其中，所述控制单元将所述距离最小时所述校正目标区域的所述深度确定为所述校正目标区域的所述校正后深度。

6.根据权利要求5所述的信息处理装置，

其中，所述控制单元

校正所述距离，并且

7.根据权利要求6所述的信息处理装置，其中，所述控制单元选择所述校正目标区域周围的多个参考区域，并且基于所述校正目标区域与所述多个参考区域之间的距离的总值来校正所述校正目标区域的所述深度信息。

8.根据权利要求7所述的信息处理装置，其中，所述控制单元选择所述深度信息的计算精度等于或小于预定阈值的区域作为所述校正目标区域，并且选择所述深度信息的所述计算精度大于所述预定阈值的区域作为所述参考区域。

9.一种由计算机进行的信息处理方法，包括：

10.一种信息处理程序，所述信息处理程序使计算机用作：