CN113474819A

CN113474819A - 信息处理装置、信息处理方法和程序

Info

Publication number: CN113474819A
Application number: CN202080013336.5A
Authority: CN
Inventors: 五味田遵
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2019-03-27
Filing date: 2020-03-12
Publication date: 2021-10-01
Also published as: US12008782B2; WO2020195875A1; KR20210145734A; JP7420135B2; JPWO2020195875A1; US20220198697A1; DE112020001434T5

Abstract

根据本发明的方面的信息处理装置设置有输出控制单元。输出控制单元基于关于实际距离的尺度信息、关于第一成像设备的位置和姿势的第一位置信息、以及关于第二成像设备的位置和姿势的第二位置信息来输出由第一成像设备拍摄的第一目标对象与由第二成像设备拍摄的第二目标对象之间的基于实际距离的距离信息。因此，可以容易且准确地测量两个对象之间的距离。

Description

信息处理装置、信息处理方法和程序

技术领域

本技术涉及能够应用于真实世界的建模等的信息处理装置、信息处理方法和程序。

背景技术

以往，作为对诸如智能电话的便携式终端、诸如头戴式显示器的可穿戴终端的位置和姿势进行估计的自身位置估计技术，已知有同时定位和地图构建(SLAM)。SLAM是同时执行自身位置的估计和环境地图的生成的技术，并且经常用作用于实现增强现实(AR)和虚拟现实(VR)的技术。例如，专利文献1公开了能够执行鲁棒性高的自身位置估计的技术。

引用列表

专利文献

日本专利申请特开第2016-45874号

发明内容

技术问题

真实世界可以通过使用诸如SLAM的技术进行建模。例如，期望提供这样的技术：通过该技术，可以通过使用诸如智能电话的便携式终端来容易且准确地测量诸如通道宽度的两个目标对象之间的距离。

鉴于以上提及的情况，本技术的目的是提供信息处理装置、信息处理方法和程序，通过该信息处理装置、信息处理方法和程序可以容易且准确地测量两个目标对象之间的距离。

问题的解决方案

为了实现以上提及的目的，根据本技术的实施方式的信息处理装置包括输出控制单元。

输出控制单元基于关于实际距离的尺度信息、关于第一成像设备的位置和姿势的第一位置信息、以及关于第二成像设备的位置和姿势的第二位置信息来输出由所述第一成像设备拍摄的第一目标对象与由所述第二成像设备拍摄的第二目标对象之间的基于实际距离的距离信息。

在该信息处理装置中，由第一成像设备拍摄的第一目标对象与由第二成像设备拍摄的第二目标对象之间的基于实际距离的距离信息是基于尺度信息、第一成像设备的第一位置信息、以及第二成像设备的第二位置信息生成的。因此，可以容易且准确地测量第一目标对象与第二目标对象之间的距离。

第一成像设备和第二成像设备可以被布置为处于预定位置关系。在该情况下，输出控制单元可以基于关于第一成像设备与第二成像设备之间的位置关系的信息来输出距离信息。

第一成像设备可以被配置成具有第一方向作为成像方向。在该情况下，第二成像设备可以被配置成具有与第一方向不同的第二方向作为成像方向。

第一方向和第二方向可以被设置成使得相交角度落入90°至180°的范围内。

第一位置信息可以基于由第一成像设备拍摄的第一目标对象的图像来计算。在这种情况下，第二位置信息可以基于由第二成像设备拍摄的第二目标对象的图像来计算。

尺度信息可以基于被布置为与第一成像设备或第二成像设备中的至少之一处于预定位置关系的运动传感器的检测结果来获取。

输出控制单元可以基于运动传感器的检测结果来计算第一位置信息或第二位置信息中的至少之一。

尺度信息可以基于通过由第一成像设备或第二成像设备中的至少之一对与关于实际距离的信息相关联的已知目标对象进行成像而获得的图像来获取。

尺度信息可以基于被布置为与第一成像设备或第二成像设备中的至少之一处于预定位置关系的距离测量传感器的检测结果来获取。

输出控制单元可以基于距离测量传感器的检测结果来计算第一位置信息或第二位置信息中的至少之一。

第一成像设备可以包括数字相机或飞行时间(ToF)传感器的至少一种配置。在该情况下，第二成像设备可以包括数字相机或ToF传感器的至少一种配置。

第一目标对象和第二目标对象可以是夹着通道布置的壁面。在该情况下，距离信息可以包括通道的宽度。

信息处理装置还可以包括：第一面；第二面，其在与第一面相对的侧上；第一成像设备，其朝向第一面的表面侧布置；以及第二成像设备，其朝向第二面的表面侧布置。在该情况下，信息处理装置可以被配置为能够由用户携带的便携式终端。

信息处理装置还可以包括设备信息获取单元，其获取关于安装在便携式终端上的设备的信息。在该情况下，输出控制单元可以基于关于设备的信息来输出距离信息。

输出控制单元可以基于尺度信息、第一位置信息和第二位置信息来执行对第一目标对象和第二目标对象的建模，从而输出距离信息。

输出控制单元可以基于由第一成像设备拍摄的第一目标对象的图像和由第二成像设备拍摄的第二目标对象的图像来执行SLAM，从而输出距离信息。

信息处理装置还可以包括通知单元，其确定是否是对距离信息的输出不利的状况，并且在确定是对距离信息的输出不利的状况的情况下，向用户通知该事实。

在是对距离信息的输出不利的状况的情况下，通知单元通知用于克服不利状况的信息。

根据本技术的实施方式的信息处理方法是由计算机系统执行的信息处理方法，包括：基于关于实际距离的尺度信息、关于第一成像设备的位置和姿势的第一位置信息、以及关于第二成像设备的位置和姿势的第二位置信息来输出由所述第一成像设备拍摄的第一目标对象与由所述第二成像设备拍摄的第二目标对象之间的基于实际距离的距离信息。

根据本技术的实施方式的程序使计算机系统执行以下步骤。

基于关于由第一成像设备拍摄的第一目标对象与由第二成像设备拍摄的第二目标对象之间的实际距离的尺度信息、关于第一成像设备的位置和姿势的第一位置信息、以及关于第二成像设备的位置和姿势的第二位置信息来输出基于实际距离的距离信息的步骤。

附图说明

[图1]用于描述根据本技术的信息处理系统的概要的示意图。

[图2]用于描述根据本技术的距离信息生成系统的应用示例的示意图。

[图3]用于描述根据本技术的距离信息生成系统的应用示例的示意图。

[图4]示出便携式终端的配置示例的示意性框图。

[图5]示出便携式终端的软件配置的示例的示意性框图。

[图6]示出在使用IMU的情况下距离信息的计算示例的流程图。

[图7]示出在使用IMU的情况下距离信息的计算示例的流程图。

[图8]示出便携式终端的软件配置的示例的示意性框图。

[图9]示出在希望使用已知目标对象的情况下距离信息的计算示例的流程图。

[图10]示出在希望使用已知目标对象的情况下距离信息的计算示例的流程图。

[图11]示出便携式终端的软件配置的示例的示意性框图。

[图12]示出在使用距离测量传感器的情况下距离信息的计算示例的流程图。

[图13]示出包括基于设备的三种方法的切换和关于不利状况的确定处理的处理示例的流程图。

[图14]用于描述第一成像设备和第二成像设备的成像方向的相交角度的示意图。

具体实施方式

在下文中，将参照附图描述根据本技术的实施方式。

<本技术的概要>

图1是用于描述根据本技术的信息处理系统的概要的示意图。这里，距离信息生成系统100将被例示为信息处理系统的实施方式。距离信息生成系统100包括第一成像设备5和第二成像设备6。

在本公开内容中，成像设备包括具有接收光的光接收元件并且能够生成包括目标对象的图像的图像的任何设备。例如，包括诸如互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)传感器的图像传感器的数字相机可以用作成像设备。

此外，能够获取到目标对象的距离(深度)的飞行时间(ToF)相机等可以用作成像设备。替选地，可以使用立体相机、单目相机、红外相机、偏振相机等。

即，可以采用包括数字相机或ToF传感器的至少一个配置的设备作为根据本技术的第一成像设备5和第二成像设备6。本技术不限于第一成像设备5和第二成像设备6具有相同配置的情况。第一成像设备5和第二成像设备6可以具有不同的配置。

此外，图像包括静止图像和运动图像。当然，运动图像中包括的多个帧图像也被包括在图像中。在以下描述中，有时将通过成像设备对目标对象成像并生成目标对象的图像称为捕获目标对象的图像。

由图1中示出的第一成像设备5成像的目标对象被定义为第一目标对象。此外，由第二成像设备6成像的目标对象被定义为第二目标对象。

通常，第一成像设备5被配置成具有第一方向作为方向。第二成像设备6被配置成具有与第一方向不同的第二方向作为成像方向。因此，由第一成像设备5成像的第一目标对象是不同于由第二成像设备6成像的第二目标对象的待成像目标。

例如，第一方向和第二方向被分别设置为相差180°的方向。因此，第一成像设备5和第二成像设备6被安装成在彼此相反的方向上定向。当然，本技术不限于这样的方向设置，可以将第一方向与第二方向的相交角度设置为不同于180°的角度。稍后将再次描述这一点。

如图1所示，获取由第一成像设备5捕获的第一目标对象的图像(在下文中，被称为第一图像)(步骤101)。在步骤102中，基于获取的第一图像来计算第一成像设备的第一位置信息。

此外，获取由第二成像设备6捕获的第二目标对象的图像(在下文中，被称为第二图像)(步骤103)。基于获取的第二图像来计算第二成像设备的第二位置信息(步骤104)。

在本公开内容中，位置信息是指关于位置和姿势的信息。例如，可以仅计算关于位置的信息作为位置信息，或者可以仅计算关于姿势的信息。当然，可以计算包括关于位置和关于姿势两者的信息。另外，可以计算关于位置和姿势的任意信息——例如位置和姿势的改变——作为位置信息。

例如，在步骤102中，计算第一成像设备5相对于第一目标对象的位置和姿势。在步骤104中，计算第二成像设备6相对于第二目标对象的位置和姿势。

例如，通过使用第一成像设备5作为参考来设置XYZ坐标系，并且可以通过使用坐标系中的xyz坐标值来计算关于第一成像设备5相对于第一目标对象的位置的信息。

类似地，通过使用第二成像设备6作为参考来设置XYZ坐标系，并且可以通过使用坐标系中的xyz坐标值来计算关于第二成像设备6相对于第二目标对象的位置的信息。

例如，可以基于第一目标对象的运动图像(多个帧图像)来执行SLAM，并且可以执行对第一成像设备5的自身位置的估计和环境地图的生成。在该情况下，根据本技术，自身位置的估计结果和生成的环境地图被包括在位置信息中。

类似地，可以基于第二目标对象的运动图像(多个帧图像)执行SLAM，并且可以估计第二成像设备6的自身位置和生成环境地图执行。在这种情况下，自身位置的估计结果和生成的环境地图被包括在根据本技术的位置信息中。

基于第一图像生成第一位置信息的方法和基于第二图像生成第二位置信息的方法没有限制，并且可以采用任何算法。例如，可以使用任何使用深度神经网络(DNN)的机器学习算法。例如，用于执行深度学习的人工智能(AI)等的使用可以提高第一位置信息和第二位置信息的计算准确度。

此外，在距离信息生成系统中，如图1所示，获取关于实际距离的尺度信息(步骤105)。例如，关于实际距离的尺度信息包括任何信息，利用该信息可以基于在步骤102和步骤104中计算的第一位置信息和第二位置信息输出基于实际距离的信息。

例如，尺度信息包括任何信息，通过该信息可以输出由通过使用第一成像设备5作为参考来设置的XYZ坐标系中的坐标值表示的第一成像设备5的位置和姿势作为基于实际距离的信息。

类似地，尺度信息包括任何信息，通过该信息可以输出由通过使用第二成像设备6作为参考来设置的XYZ坐标系中的坐标值表示的第二成像设备6的位置和姿势作为基于实际距离的信息。另外，尺度信息包括关于真实世界的物理尺度的任何信息。

获取尺度信息的方法没有限制，并且可以采用任何方法。获取尺度信息的方法的示例可以包括使用运动传感器的方法、使用预先已知其尺寸等的已知目标对象的方法、使用诸如ToF传感器的距离测量传感器的方法等。当然，可以使用其他方法。

如图1所示，基于在步骤102中计算的第一位置信息、在步骤104中计算的第二位置信息和在步骤105中获取的尺度信息来生成基于第一目标对象与第二目标对象之间的实际距离的距离信息(步骤106)。

如本文所使用的，术语“距离信息”包括关于第一目标对象与第二目标对象之间的距离的任何信息。例如，术语“距离信息”包括从第一目标对象到第一成像设备5的距离、从第二目标对象到第二成像设备6的距离、从第一目标对象到第二目标对象的距离等。此外，术语“距离信息”可以包括任何信息，例如从第一目标对象到第二目标对象的距离的最大值、最小值、分布等的统计信息等。此外，“基于实际距离”的用语是指可以表达为基于获取的尺度信息计算的实际距离的信息。

例如，可以通过对第一图像和第二图像执行SLAM来生成距离信息。即，可以基于尺度信息、第一位置信息和第二位置信息来执行对第一目标对象和第二目标对象的建模。可以基于建模结果来生成距离信息。因此，例如，可以生成与关于夹在第一目标对象与第二目标对象之间的空间的形状等有关的详细信息。

例如，在第一目标对象与第二目标对象之间配置通道的情况下，可以容易且准确地生成关于通道的宽度、形状等的信息。

生成和输出距离信息的方法等没有限制，并且可以使用任何算法等。替选地，可以执行机器学习等。

如图1所示，向用户通知在步骤106中生成的距离信息(步骤107)。通知方法没有限制，并且例如执行显示器上的显示、语音通知等。

<对通道宽度的测量的应用的示例>

图2和图3是用于描述根据本技术的距离信息生成系统的应用的示例的示意图。这里，将描述将本技术应用于通道10的宽度t的测量的情况。

如图2和图3所示，用户1使用包括前置相机24和后置相机25的便携式终端20。例如，启动根据本技术的应用程序。然后，在便携式终端20的主表面20a侧上配置的触摸面板27上显示用于通知测量通道10的宽度t的方法的通知信息。

例如，如图2和图3所示，通知握持便携式终端20的指令，使得前置相机24和后置相机25分别面向布置在通道10两侧的第一壁面11和第二壁面12。然后，通知在握持便携式终端20的同时移动通过通道10的中心的指令。

现在将在下面描述参照图1描述的每个元件与图2和图3的示例中的每个元件之间的对应关系。

前置相机24…第一成像设备5

后置相机25...第二成像设备6

前置相机24的成像方向(箭头h1)...第一方向

后置相机25的成像方向(箭头h2)...第二方向

第一壁面11...第一目标对象

第二壁面12...第二目标对象

应当注意，在本实施方式中，前置相机24对应于第一成像设备5，并且后置相机25对应于第二成像设备6。当然，本技术不限于这样的对应关系，并且相反的对应关系也是可能的。

能够由用户1携带的便携式终端20用作根据本技术的信息处理装置的实施方式。便携式终端20的主表面20a对应于第一面，并且在主表面20a的相对侧的后表面20b对应于第二面。前置相机24被设置成朝向主表面20a的表面侧，并且后置相机25被配置成朝向后表面20b的表面侧。因此，前置相机24的成像方向与后置相机25的成像方向之间的相交角度为180°。

便携式终端20执行图1中示出的每个步骤，并且基于第一壁面11与第二壁面12之间的实际距离来计算距离信息。例如，在执行SLAM等的情况下，即使便携式终端20的姿势(取向)相对于如图2所示的通道的延伸方向倾斜，也可以以高准确度对第一壁面11和第二壁面12进行建模。因此，可以以高准确度生成包括通道10的宽度等的距离信息。

例如，生成的距离信息作为通过对整个通道进行建模而获得的简单3D地图中的信息显示在显示单元28上。作为显示方法，可以想到以基于距离信息根据道路宽度的尺寸改变颜色的方式执行显示，或者以用颜色或字符强调具有与用户所指定的路径宽度相比更小的值的道路宽度的一部分的方式执行显示。在该情况下，可以将在整个路线地图中携带时的风险程度可视化。

另外，在使用便携式终端20的测量期间，用户当前所在的点的道路宽度可以显示为数值，或者数值可以实时地输出为音频信息。此外，在路径宽度小于由用户指定的路径宽度的情况下，也可以通过声音执行通知。

在下文中，将集中于图1的步骤105中示出的获取尺度信息的方法的示例性变型来描述根据本技术的距离信息的生成的一些示例。具体地，作为获取距离信息的方法，将按顺序描述使用运动传感器的方法、使用预先已知其尺寸等的已知目标对象的方法、以及使用诸如ToF传感器的距离测量设备的方法。

<使用运动传感器的方法>

图4是示出便携式终端20的配置示例的示意性框图。便携式终端20包括控制器21、扬声器22、麦克风23、前置相机24、后置相机25和传感器单元26。此外，便携式终端20包括显示单元28、操作单元29、接口(I/F)单元30、通信单元31和存储单元32。

扬声器22能够输出各种声音。扬声器22的具体配置没有限制。

麦克风23能够获取在周边生成的声音。例如，麦克风23能够检测和获取由用户发出的语音或周围环境声音。麦克风23的具体配置没有限制。

显示单元28是使用例如液晶、电致发光(EL)等的显示设备，并且显示各种图像、各种图形用户接口(GUI)等。操作单元29的示例包括键盘、指针设备和其他操作设备。

如图3所示，在本实施方式中，触摸面板27被设置在便携式终端20的主表面20a上。触摸面板27是图3中示出的具有显示单元28的功能和操作单元29的功能两者的设备。

前置相机24被设置在便携式终端20的主表面20a侧。前置相机24能够捕获从便携式终端20观看的主表面20a侧的空间并且生成其图像(图像数据)。

后置相机25被设置在便携式终端20的后表面20b侧。后置相机25能够对从便携式终端20观看的后表面20b侧的空间进行成像并且生成图像(图像数据)。

前置相机24和后置相机25使得第一壁面11和第二壁面12的图像能够同时并且根据共同的时间序列被成像。

传感器单元26包括惯性测量单元(IMU)33和GPS 34。IMU 33是一种类型的运动传感器并且能够检测三个轴线上的加速度和角速度。IMU 33的具体配置没有限制，并且可以采用包括陀螺仪传感器、加速度计、罗盘传感器等的任何配置。可以使用6轴IMU或者可以使用9轴IMU作为IMU 33。

IMU 33能够基于实际距离来计算加速度和角速度。即，可以基于基于IMU 33的检测结果的实际距离来检测便携式终端20等的位置和姿势的改变。

在本实施方式中，可以基于IMU 33的检测结果来获取关于实际距离的尺度信息。具体地，由IMU 33检测到的关于便携式终端20的位置和姿势的位置信息用作尺度信息。在下文中，关于实际距离的尺度信息将被称为物理尺度。

如上所述，在本实施方式中使用IMU 33作为运动传感器。将描述基于IMU 33的检测结果来获取尺度信息的示例作为基于运动传感器的检测结果来获取尺度信息的示例。

当然，运动传感器的类型不限于IMU。可以使用能够检测便携式终端20的移动的任何传感器。例如，可以使用能够基于实际距离来检测便携式终端20的加速度、角速度、方向等的任何传感器。例如，构成IMU的陀螺仪传感器、加速度计、罗盘传感器等可以单独用作根据本技术的运动传感器。即使在使用除了IMU之外的运动传感器的情况下也可以获得尺度信息。

GPS 34能够输出便携式终端20的位置信息。GPS 34的具体配置没有限制，并且可以采用任何配置。

应当注意，被提供为传感器单元26的传感器的类型没有限制，并且可以提供任何传感器。例如，可以提供能够检测用户1的体温、脉搏率等的生物传感器等。另外，可以提供能够测量周围环境的温度、湿度等的温度传感器、湿度传感器等。应当注意，图4中示出的麦克风23、前置相机24和后置相机25可以用作传感器单元26。

I/F单元30是连接诸如通用串行总线(USB)终端和高清晰度多媒体接口(HDMI(注册商标))终端的其他设备和各种线缆的接口。

通信单元31是用于与另一设备进行通信的通信模块，并且例如是诸如Wi-Fi的无线局域网(LAN)模块或用于诸如蓝牙(注册商标)的短距离无线通信的通信模块。

存储单元32是非易失性存储设备，并且例如使用硬盘驱动器(HDD)、固态驱动器(SSD)等。

存储单元32存储用于控制便携式终端20的整个操作的控制程序35。将控制程序35安装至便携式终端20的方法没有限制。例如，可以经由各种记录介质执行安装或者可以经由因特网等执行程序的安装。

应当注意，其上记录有根据本技术的程序的记录介质的类型等没有限制，并且可以使用能够由计算机读取的任何记录介质。例如，可以使用非临时地记录数据的任何记录介质。

控制器21控制便携式终端20中包括的每个块的操作。例如，控制器21包括诸如CPU(处理器)、ROM、RAM和HDD的计算机的配置所需的硬件。CPU将预先记录在ROM等中的根据本技术的程序(例如，应用程序)加载到RAM中并且执行程序，从而执行根据本技术的信息处理方法。

控制器21的具体配置没有限制，并且例如可以使用诸如GPU、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等任何硬件。

便携式终端20可以通过例如智能电话、平板终端、可穿戴设备、传感器设备等来实现。当然，本技术不限于此，并且可以使用任何计算机设备。

图5是示出便携式终端20的软件配置的示例的示意性框图。

控制器21的CPU执行根据本实施方式的程序(例如，应用程序)，从而实现估计块40和41、积分单元42、卡尔曼滤波器43和三维重建单元44作为功能块。根据本实施方式的信息处理方法由这些功能块执行。应当注意，为了实现每个功能块，可以适当地使用诸如集成电路(IC)的专用硬件。

估计块40包括特征点检测单元46、存储器单元47和48、运动匹配单元49、距离估计单元50和Δ姿态(pose)估计单元51。估计块41具有与估计块40相同的配置。

应当注意，前置相机24和后置相机25以预定的位置关系布置在便携式终端20的内部。此外，IMU 33还被布置成与前置相机24和后置相机25处于预定的位置关系。例如，前置相机24、后置相机25和IMU 33的位置和姿势随着便携式终端20自身的位置和姿势的改变而改变。

例如，还可以基于关于前置相机24与后置相机25之间的位置关系的信息，例如前置相机24和后置相机25的位置和姿势的偏移，来计算距离信息。因此，可以提高距离信息的准确度。

另一方面，考虑到前置相机24和后相机25处于相同位置，即，不考虑位置和姿势的偏移，也可以应用本技术来生成并输出距离信息。因此，可以简化处理并且缩短处理时间。

同样关于IMU 33，可以基于关于前置相机24、后置相机25和IMU 33之间的位置和姿势的偏移的信息类似地计算距离信息。另一方面，也可以在不考虑偏移的情况下计算距离信息。

图6和图7是示出距离信息的计算示例的流程图。在下文中，将描述估计块40的操作。估计块41的操作以类似于估计块40的操作的方式执行。

特征点检测单元46执行步骤201至步骤203的循环。具体地，获取当前时间处的图像(在下文中，被称为当前帧图像)，并且检测可以用于自身位置估计的特性点(在下文中，被称为特征点)。通常，具有高对比度且不具有与周围结构类似的结构的图案等被检测为特征点。检测特征点和表达特征量的方法的示例可以包括通过Harris等的角点检测和尺度不变特征变换(SIFT)的方法。当然，本技术不限于此，并且可以采用任何方法并且可以执行机器学习等。

关于当前帧图像中检测到的特征点的信息被存储在存储器单元47中。在时间上，当已经获取下一帧图像时，该特征点信息被处理为关于先前帧图像中的特征点的信息。

步骤204和步骤205由运动匹配单元49执行。具体地，从存储器单元47获取关于“先前图像(对应于先前帧图像)中的特征点”的信息。搜索与先前帧图像中的每个特征点对应的当前帧图像中的特征点。在下文中，在步骤205中检测到的对应特征点将被称为对应点。

寻找对应点可以被认为是从两个不同的视点(当前帧图像和先前帧图像)观看同一对象，并且外观上的差异是由相机的位置和姿势随时间的改变引起的。

应当注意，先前帧图像和当前帧图像不需要是在时间上连续的帧图像，并且在先前帧图像与当前帧图像之间可以存在另一帧图像。具体地，估计块40的输出速率(差异姿态的估计速率)可以低于成像帧速率。

在将当前帧图像输入特征点检测单元46和运动匹配单元49之前，可以执行诸如各种类型的光学失真等的校正、增益调整等的预处理。因此，可以提高特征点的检测准确度和匹配准确度。

步骤206和步骤207由Δ姿态估计单元51执行。具体地，从存储器单元48获取关于“先前帧图像中的特征点的三维位置”的信息。然后，由关于“先前帧图像中的特征点的三维位置”的信息和关于“当前帧图像中的对应点的二维位置”的信息的组合来估计差异姿态。

应当注意，特征点的三维位置是通过使用前置相机24作为参考来设置的XYZ坐标系中的位置(xyz坐标)。特征点的二维位置是帧图像中的特征点的位置(例如，uv坐标)。差异姿态是包括从先前帧图像的成像时间(在下文中，被称为先前时间)到当前帧图像的成像时间(在下文中，被称为当前时间)的前置相机24的位置和姿势的改变的信息。

当给出三维空间中的点群(三维位置)和与该点群(即，投影到二维平面上的三维空间中的点群)对应的二维平面上的点群(二维位置)时，确定投影平面的位置和姿势(即，前置相机24的位置和姿势)的方法例如可以通过使用当每个特征点被投影到二维平面上时图像上的误差作为成本求解最小化问题来实现。

步骤208和步骤209由积分单元42执行。具体地，从IMU 33获取从先前时间到当前时间的IMU数据(包括加速度和角速度的数据)。对获取的IMU数据进行积分以计算积分姿态。

步骤210由卡尔曼滤波器43执行。具体地，由估计块40的Δ姿态估计单元51计算的差异姿态、由估计块41的Δ姿态估计单元计算的差异姿态、以及由积分单元42计算的积分姿态被整合。

卡尔曼滤波器43接收两个差异姿态和积分姿态。此外，通过每个姿态，姿态可以包括的估计误差的概率分布被输入。卡尔曼滤波器43是对具有建模的误差概率分布的多个观测结果进行整合并且估计具有最高似然的当前状态的滤波器。具体地，卡尔曼滤波器43从输入的三个姿态中估计具有最高似然的姿态作为当前状态。

由IMU 33获取的加速度和角速度通常包括被称为偏差的偏移误差(不断输出加上某个值的值，即使在静止的状态下也不返回零)。在包括这些误差的情况下，仅通过对通过IMU 33获取的加速度和角速度进行积分而获得的位置和姿势包含误差。

在卡尔曼滤波器43中，IMU 33的偏差可以从从前置相机24和后置相机25获得的不受偏差影响的差异姿态与从IMU 33获得的受偏差影响的积分姿态之间的差异来估计，并且可以获得通过克服偏差消除由于偏差而引起的误差的整合姿态。

此外，由于两个相机的差异姿态被整合，即使差异姿态中之一偏离，其也通过使用另一差异姿态和IMU 33的姿态被校正为具有更高似然(更少的误差)。因此，可以执行高度准确的姿态估计。

此外，除了IMU 33的偏差之外，通过在卡尔曼滤波器43中设置设备之间的位置和姿势的偏移(从某个设备观看的其他设备的位置和姿势)作为状态变量，这些也可以同时估计。例如，可以同时估计前置相机24、后置相机25和IMU 33之间的位置和姿势的偏移。

例如，在使用诸如智能电话的现成商品的情况下，也可以将诸如前置相机24、后置相机25的设备的布置作为机械设计值存储，将其从诸如型号的设备ID读取，并且将其用作卡尔曼滤波器43的初始值。通过这样做，可以减少直到滤波器处的估计收敛的误差。因此，可以提高姿态估计的准确度。

步骤211和步骤212由距离估计单元50执行。具体地，通过使用运动视差来计算关于“当前帧图像中的每个特征点的距离(三维位置)”的信息。这里，基于关于“先前帧图像中的特征点的二维位置”的信息、关于“当前帧图像中的对应点的二维位置”的信息、以及(当前之前的)两个帧图像之间的差异姿态(来自卡尔曼滤波器43的整合姿态)，通过使用运动视差来估计每个特征点的距离。由于使用由卡尔曼滤波器43计算的整合姿态，因此计算基于实际距离(三维位置)的距离。

假设给出两个帧图像中的对应点(特征点)的二维位置和帧图像之间的差异姿态。此时，如下所示，可以通过设置将每个帧图像中的点投影到三维空间(投影点为同一点)的联立方程来确定三维位置即距离。

在当前帧图像中的点的三维位置由3dCurr(x,y,z)表示的情况下，在先前帧图像中观看的点的三维位置由3dPrev(x,y,z)表示，并且两个帧图像之间的姿态差异由cPb(平移向量)和cRb(旋转矩阵)表示，在两个三维位置之间建立以下表达式。

[公式1]

3dCurr＝cRb*3dPrev+cPb

此外，假设相机的内部参数矩阵由K表示，在每个帧图像中的每个点的三维位置3dCurr(x,y,z)和3dPrev(x,y,z)与将点投影到图像(二维平面)上的二维位置2dCurr(u,v)和2dPrev(u,v)之间建立以下表达式。

[公式2]

这里，使用焦距f(x,y)和光学中心c(x,y)，相机的内部矩阵K由以下表达式表示。

[公式3]

表达式(公式1)和(公式2)提供以下联立方程。

[公式4]

表达式(公式4)的联立方程是两个变量(3dCurr.z和3dPrev.z)的三个方程。因此，通过求解3dCurr.z的联立方程，确定当前帧图像中的每个点的距离。当确定距离3dCurr.z时，点的三维位置可以由表达式(公式2)确定。

在步骤211中计算的特征点的三维位置作为点云信息存储在存储器单元48中，并且在以后的姿态估计时使用。例如，在步骤206中，由Δ姿态估计单元51获取的先前帧图像中的特征点的三维位置是在先前帧图像为“当前帧图像”时在步骤212中存储的信息。

步骤213由三维重建单元44执行。具体地，距离信息是通过在时间方向上对在步骤211中计算的特征点的三维位置进行整合来计算的。更具体地，从卡尔曼滤波器43输出的关于“每次整合姿态”的信息、从估计块40输出的关于“从前置相机24观看的到第一壁面11的距离(每个特征点的三维坐标)”的信息、以及从估计块41输出的关于“从后置相机25观看的到第二壁面12的距离(每个特征点的三维坐标)”的信息在时间方向上被整合。

在安装两个相机c₀和c₁的情况下，在某个时间t处c₀的位置和姿势是Pc₀[t](平移向量)和Rc₀[t](旋转矩阵)，并且从相机c₀观看的相机c₁的位置和姿势的偏移是c₀Pc₁和c₀Rc₁。此时，相机c₁的位置Pc₁[t]和Rc₁[t]可以由以下表达式确定。

[公式5]

可以从相机c₀看到的目标对象(壁面)上的特征点的三维位置由c₀Px₀表达，并且可以从相机c₁看到的目标对象的三维位置也类似地由c₁Px₁表达。这里，下标中的x表示每个特征点，并且在数目上与特征点相等，但是为了简单起见，将其由x₀/x₁共同表示。此时，将这些特征点中的每一个的三维位置转换成固定坐标系(独立于相机的位置和姿势的改变的固定坐标系)中的坐标值Px₀/Px₁的表达式如下。

[公式6]

如上所述，通过使用每次整合姿态，将从每个相机观看的目标对象的三维位置投影到某个坐标系上。因此，在时间方向上的整合成为可能，并且表面可以由绘制在目标对象(壁面)上的多个特征点构成。当从该表面确定法线并且其法向量(单位向量)由N₀表示时，相机c₀与其表面之间的距离d₀可以根据以下表达式确定。表达式中的运算符“·”表示向量的内积。

[公式7]

d₀＝|c₀Px₀·N₀|

应当注意，在表达式中，c₀Px₀是从相机c₀观看的构成“法向量为N₀的表面”的特征点x₀的三维位置，并且是从相机c₀到该点的平移向量。另一方面，关于可以从相机c₁看到的另一表面，当该表面的法向量由N₁表示时，相机c₁与其表面之间的距离d₁可以根据以下表达式确定。

[公式8]

d₁＝|c₀Px₁·N₁|

在表达式中，c₀Px₁是从相机c₀观看的构成法向量为N₁的表面的特征点x₁的三维位置，并且可以根据以下表达式确定。R^T表示旋转矩阵R的转置。

[公式9]

因此，可以将夹在“法向量为N₀的表面”与“法向量为N₁的表面”之间的通道10的宽度t确定为距离d₀与距离d₁之和。例如，根据应用实时输出通道的宽度t的值作为距离信息。替选地，例如可以输出至此路径上最窄部分的宽度，并且将其用作距离信息。

步骤213中距离信息的计算方法没有限制，并且可以采用任何算法等。此外，可以执行机器学习等。

在图4至图7中示出的示例中，图5中示出的各个块协作以实现获取尺度信息的“获取单元”和“输出控制单元”。此外，由估计块40输出的差异姿态、积分姿态和整合姿态被包括在第一位置信息中。此外，由估计块41输出的差异姿态、积分姿态和整合姿态被包括在第二位置信息中。即，积分姿态和整合姿态被包括在第一位置信息和第二位置信息两者中。

因此，在该示例中，基于前置相机24所捕获的第一图像来计算第一位置信息。此外，基于后置相机25所捕获的第一图像来计算第一位置信息。此外，基于IMU 33的检测结果来计算第一位置信息和第二位置信息。

此外，假设诸如前置相机24和后置相机25的设备的布置被存储为机械设计值并且这些值从设备ID读出并且如上所述地使用。在该情况下，要读取的信息对应于关于前置相机24与后置相机25之间的位置关系的信息。此外，要读取的信息对应于关于安装在便携式终端20上的设备的信息。

此外，设备信息获取单元由存储机械设计值的块和读取机械设计值的块(未示出)实现。此外，使用读取信息作为卡尔曼滤波器43等的初始值的处理对应于基于关于前置相机24与后置相机25之间的位置关系的信息来输出距离信息的处理，以及基于关于设备的信息来输出距离信息的处理。

当然，这些是设备信息获取单元、关于设备的信息和基于关于设备的信息的距离信息的示例，并且可以采用任何其他信息和算法。

<使用已知目标对象的方法>

例如，在通过使用单个相机等估计自身位置(或距离)的情况下，如果不存在获取关于真实世界中的实际距离的尺度信息(物理尺度)的方法，则可能会出现尺度不确定性问题。在以上提及的示例中，由IMU 33获取的IMU数据在真实世界中具有物理尺度，并且通过使用IMU数据来解决不确定性。

接下来，将描述使用尺寸已知的已知目标对象的方法。已知目标对象也可以被称为已知目标、标记等。尺寸已知的已知目标对象对应于与关于实际距离的信息相关联的已知目标对象。例如，可以使用已知目标对象中包括的特征点之间的实际距离已知的已知目标对象等。

例如，通过使用机器学习的图像匹配来实现已知对象的检测。此外，在服务器中存在在电子商务网站的购买历史的情况下，还可以通过基于购买历史的数据执行对象识别来指定已知目标。

已知对象的示例可以包括在电子商务网站购买的产品，例如家具和标准化的工业产品(塑料瓶、榻榻米、插座、灭火器等)。

图8是示出便携式终端20的软件配置的示例的示意性框图。在图5中示出的示例中，从卡尔曼滤波器43输出的整合姿态被输入到估计块40的距离估计单元50中。在该示例中，如图8所示构造姿态估计块55。由姿态估计块55估计的姿态被输入到距离估计单元50中。

姿态估计块55包括特征点检测单元56、特征量描述单元57、特征量匹配单元58、存储器单元59和60以及姿态估计单元61。存储器单元59和60可以被配置在控制器21中，或者可以被配置在存储单元32中。

图9和图10是示出距离信息的计算示例的流程图。在图9和图10中，已知目标对象被称为已知对象。首先关注步骤304、步骤307和步骤317，在已经获取物理尺度的状态下，在步骤304和步骤307中确定为“是”。在该情况下，如步骤317所示，使用通过图像到图像匹配获得的差异姿态。

通过图像到图像匹配的差异姿态的计算由步骤301至步骤303、步骤305、步骤306、步骤308和步骤309执行。该处理是类似于图6和图7中示出的步骤201至步骤207的处理。具体地，估计块40的Δ姿态估计单元51通过使用关于“先前帧图像中的特征点的三维位置”的信息与关于“当前帧图像中的对应点的二维位置”的信息的组合来估计差异姿态。

卡尔曼滤波器43对由估计块40的Δ姿态估计单元51计算的差异姿态和由另一估计块41的Δ姿态估计单元51计算的差异姿态进行整合。应当注意，可以使用由另一Δ姿态估计单元51估计的差异姿态，而无需由卡尔曼滤波器43执行整合。

将描述在未获取物理尺度的状态下的处理。具体地，将描述在步骤304和步骤307中作出“否”的确定的情况。

步骤310由特征点检测单元56和特征量描述单元57执行。具体地，特征点检测单元56从捕获的帧图像中检测特征点。然后，对于检测到的特征点中的每一个，特征量描述单元57描述用于匹配的特征量。

这里，重要的是如何表达特征点以便也与观看时的改变例如旋转、放大/缩小和亮度改变匹配。为此设计了各种描述方法，可以使用SIFT、定向FAST和旋转BRIEF(ORB)等。

关于构成已知对象的每个特征点的特征量、三维位置等的信息以数据库的形式存储在存储器单元59中。用作已知对象的具体对象没有限制，并且可以采用任何对象。当然，可以采用显示在对象上的标记等。

步骤312由特征量匹配单元58执行。具体地，将当前帧图像中的对应点与已知对象上的每个特征点匹配。具体地，从特征量描述单元57输出的每个特征点的特征量与从存储器单元59中的已知对象DB获取的特征量彼此匹配，并且确定与当前帧图像中的每个特征点对应的已知对象上的对应点。

步骤313至步骤316由姿态估计单元61执行。可以从已知对象DB中获取三维位置作为已知对象上的对应点。因此，二维平面的位置和姿势(即，相机的位置和姿势)可以由三维空间中的点群和与该点群对应的二维平面上的点群确定。应当注意，这里确定了相机相对于已知对象的位置和姿势。在下文中，“相机相对于已知对象的位置和姿势”将被称为相对姿态。

根据当前帧图像中的已知对象计算的相对姿态存储在存储器单元60中。当计算差异姿态时，获取存储在存储器单元60中的根据先前帧图像中的已知对象计算的相对姿态。然后，计算与在以后的时间类似地确定的相对姿态的差异。因此，可以计算(当前之前的)两个帧图像之间的差异姿态。

如步骤317所示，输出差异姿态被选择为要用于运动视差的姿态，并且被输入到估计块40的距离估计单元50中。差异姿态具有从已知对象得到的物理尺度，并且通过将物理尺度用作距离估计单元50中的移动量，在估计块40的输出中采用该物理尺度。

步骤318至步骤320的处理是与图6和图7中示出的步骤211至步骤213的处理类似的处理。

因此，在该示例中，基于通过前置相机24和后置相机25中的每一个对与关于实际距离(物理尺度)的信息相关联的已知目标对象进行成像而获得的图像来获取尺度信息。

通常，两个姿态估计块55被分别配置用于与前置相机24相关联的估计块40和与后置相机25相关联的估计块41。然后，基于由前置相机24和后置相机25中的每一个捕获的已知目标对象的捕获图像来获取尺度信息。

本技术不限于此，并且姿态估计块55可以仅被配置用于估计块中之一并且其估计结果可以被输入到另一估计块的距离估计单元50中。即，可以基于前置相机24或后置相机25捕获的已知目标对象的捕获图像来获取尺度信息。

此外，在确定未获取物理尺度的情况下，可以向用户通知用于指令对已知对象进行成像的通知信息。

在图8至图10中示出的示例中，姿态估计块55用作获取尺度信息的“获取单元”和“输出控制单元”的一部分。即，姿态估计块55可以基于通过由前置相机24或后置相机25中的至少之一对已知目标对象进行成像而获得的图像来获取尺度信息，其中，已知目标对象与关于实际距离的信息相关联。此外，由姿态估计块55输出的差异姿态被包括在第一位置信息和第二位置信息两者中。

<使用距离测量传感器的方法>

接下来，将描述使用诸如ToF传感器的距离测量传感器的方法。在本实施方式中，在图2中示出的传感器单元26中配置诸如ToF的距离测量传感器65(参见图11)。距离测量传感器65的具体配置没有限制，并且可以采用任何配置。

图11是示出便携式终端20的软件配置的示例的示意性框图。在该示例中，估计块70被配置成与前置相机24相关联。估计块70包括特征点检测单元71、存储器单元72和73、运动匹配单元73、距离获取单元75和Δ姿态估计单元76。

在该示例中，可以通过距离测量传感器65直接计算距离。因此，估计块70可以与图5中示出的估计块40进行比较，并且具有距离估计单元50被距离获取单元75代替的配置。应当注意，与后置相机25相关联地构造具有与估计块70相同的配置的估计块。

应当注意，距离测量传感器65被布置为与前置相机24和后置相机25处于预定位置关系。例如，前置相机24、后置相机25和距离测量传感器65的位置和姿势也随着便携式终端20自身的位置和姿势的改变而改变。

图12是示出距离信息的计算示例的流程图。例如，假设ToF传感器用作距离测量传感器65。ToF传感器是能够通过测量由光发射部发射的光在目标对象上反射并返回到光接收部所需的时间来获得到目标对象的物理距离的设备。

如果前置相机24和ToF传感器被校准，则可以将由前置相机24捕获的帧图像中的像素与ToF光接收部上的像素相关联。因此，可以通过ToF传感器获得从帧图像中提取的每个特征点的距离。

距离获取单元75执行像素的关联并且从ToF传感器获取每个特征点的距离。当然，在使用除了ToF传感器之外的距离测量传感器的情况下，也可以直接获得每个特征点的距离。

在图12的流程图中，步骤408和步骤409是由距离获取单元75执行的处理。由于可以基于从距离测量传感器65获得的物理尺度来获得距离，因此在估计块70的输出(每个特征点的三维位置和差异姿态)中采用物理尺度。

在步骤410中，基于估计块70的输出，在时间方向上对特征点的三维位置进行整合并且计算距离信息。其他步骤与参照图5描述的处理类似。

应当注意，在图11中示出的示例中，前置相机24用作根据本技术的成像设备并且距离测量传感器65与前置相机24分开使用。例如，可以采用ToF传感器的配置作为成像设备。例如，ToF光接收部可以被配置为与相机相同。在该情况下，第一成像设备自身也用作距离测量传感器。

例如，在将ToF传感器用作成像设备的情况下，可以将ToF传感器也用作距离测量传感器，并且因此可以执行参照图11和图12描述的处理。

在图11和图12中示出的示例中，距离获取单元75用作获取比例信息的“获取单元”和“输出控制单元”的一部分。此外，由估计块70输出的差异姿态被包括在第一位置信息中。此外，由另一估计块输出的差异姿态被包括在第二位置信息中。

因此，在该示例中，基于距离测量传感器65的检测结果来获取尺度信息。此外，基于距离测量传感器65的检测结果来计算第一位置信息和第二位置信息。

<基于安装设备的三种方法的组合>

“使用运动传感器的方法”、“使用已知目标对象的方法”和“使用距离测量传感器的方法”可以适当地组合并执行。

在智能电话等中采用的通用操作系统软件(OS)具有关于连接什么类型的设备以及用于使用设备以使用连接设备的各种API的信息。通过询问OS，可以确定什么类型的设备可用，并且可以基于此来改变(选择)用于实现本技术的配置。

例如，便携式终端的前侧通过使用安装在其上的ToF来测量距离并且后侧由于不存在ToF或IMU而使用用于获取物理尺度的标记的组合也是可能的。此外，可以采用任何方法作为确定组合的方法。用户能够指定获取关于实际距离的尺度信息的方法。

例如，就距离准确度和对无纹理环境的鲁棒性而言，ToF被认为是非常有利的。因此，在ToF可用的情况下，可以执行诸如ToF的优先选择的控制。

应当注意，询问OS以获取关于设备的信息的块对应于设备信息获取单元。此外，基于与设备有关的信息来选择尺度信息的处理对应于基于关于设备的信息来输出距离信息的处理。

<自身位置的估计不利的状况的通知>

为了估计相机的自身位置，首先需要估计到要成像的目标对象的距离。然而，该距离的估计准确度取决于基线长度(在单目相机的情况下在与视线方向垂直的方向上平移的移动量)，并且在与相机的视线方向的方向垂直的方向上平移(在相机指向壁的情况下，沿壁面平移)是最准确的移动。

因此，为了最高效地对通道10的宽度进行建模，如图2和图3所示，主表面20a的前置相机24和后表面20b的后置相机25被保持为分别面向夹着通道10的第一壁面11和第二壁面12并且按原样沿第一壁面11和第二壁面12平移。

虽然如上所述通过在握持便携式终端20的同时行走在通道10上来执行建模，但是可能存在无法在通道10上成功地执行自身位置(或距离)估计的情况，例如，通道10黑暗的情况，难以在第一壁面11和第二壁面12上获取足够的特征点的情况，或者由于运动过快而在帧之间不存在交叠的情况。

例如，即使前置相机24和后置相机25中的一个相机暂时进入这样的状况，也可以通过允许观看相对侧的另一相机捕获有效图像来抑制估计准确度的降低。然而，如果这样的状况持续长时间，则自身位置(或距离)估计失败的可能性较高。

因此，确定状况是否对自身位置估计不利，并且在状况不利的情况下，通知用户1。在状况不利的情况下，通知用于克服不利状况的信息。因此，可以高效且高准确度地生成距离信息。

例如，在可以由特征点检测单元46检测的点的数目或者可以由运动匹配单元49匹配的点的数目减少的情况下，确定状况对图5中示出的估计块40等中的估计不利。

此外，在IMU 33的积分姿态与相机的差异姿态之间的差异(考虑误差概率分布的马氏距离(Mahalanobis distance)等)在卡尔曼滤波器43中对姿态进行整合时变大，并且确定状况对估计不利。

例如，在如上所述的这样的不利状况(黑暗、平、快速运动等)等下，即使匹配失败或可以估计姿态，误差也较大(与IMU 33的积分姿态的偏离较大)，并且因此可以确定状况对估计不利。

在确定状况对自身位置的估计不利的情况下，通过声音、光、振动等向用户通知该事实。例如，可以执行显示器上的显示、音频输出等。然后，用户通过点亮、将相机指向不同的表面、减慢运动等的指令来被引导，使得不利状况不会继续。因此，可以提高距离信息的生成准确度。

对自身位置的估计不利的状况是对距离信息的输出不利的状况中包括的概念。例如，可以确定对与自身位置的估计不同的处理的执行不利的情况，并且适当地向用户通知该状况。

此外，确定是否是对自身位置的估计等不利的状况的块和通知事实的块是与根据本技术的通知单元对应的块。此外，点亮、将相机指向不同的表面、减慢运动等的指令对应于用于克服不利状况的信息的通知。当然，本技术不限于这些通知等，并且可以通知其他任意信息作为用于克服不利状况的信息。

图13是示出包括基于设备的三种方法的切换和确定不利状况的处理的处理的示例的流程图。也可以说图13中示出的处理是用于生成距离信息的整体处理示例。

通过询问OS等，获取关于可用设备的信息(步骤501)。在设备信息作为数据库存储的情况下，查询DB，并且如果已知设备之间的位置偏移等，则将其设置为卡尔曼滤波器等的初始值(步骤502)。

在基于设备信息确定距离测量传感器可用的情况下，通过如参照图11和图12所述使用距离测量传感器的方法执行每个帧处理(从步骤503中的“是”至步骤504)。

在距离测量传感器不可用而IMU可用的情况下，通过如参照图4至图7所述使用IMU的方法执行每个帧处理(步骤505中的“是”至步骤506)。

在距离测量传感器和IMU不可用的情况下，通过如参照图8至图10所述使用已知目标对象的方法执行每个帧处理(步骤505中的“否”至步骤507)。

在确定相机处于不利状况的情况下，通过声音、光、振动等向用户通知该事实(步骤508中的“是”至步骤509)。在确定相机没有处于不利状况的情况下，输出包括通道宽度等的距离信息(从步骤508中的“否”开始的步骤510)。

应当注意，在图13中示出的实施方式中，执行步骤501和步骤502的处理的块对应于设备信息获取单元。此外，执行步骤508和步骤509的处理的块对应于通知单元。例如，可以通过由控制器21的CPU执行预定程序来实现这些块。此外，为了实现这些块，可以适当地使用诸如集成电路(IC)的专用硬件。

<两个成像设备的成像方向>

图14是用于描述第一成像设备5和第二成像设备6的成像方向的交叉角度的示意图。

对于诸如智能电话的便携式终端20的相机配置，通常采用两个相机(第一成像设备5和第二成像设备6)背对背布置的布置，即，由两个相机形成的角度为如图14C所示的180°。该相机布置很普遍、可用性高、并且引入成本低(现有智能电话可以按原样使用)。

应当注意，由两个相机形成的角度是作为第一成像设备5的成像方向的第一方向h1与作为第二成像设备5的成像方向的第二方向h2的相交角度。

由于两个相机背对背布置，因此一次运动可以同时并且比较准确地确定到通道的两侧的距离。在已知从相机到每个壁面的距离的情况下，夹在壁面之间的通道的宽度可以通过将其相加来确定。

另一方面，本技术的处理内容本身不限于这样的相机布置，并且可以在其他情况下使用。例如，可以例示如图14A所示的由两个相机形成的角度为90°的布置。通常，使用相机的自身位置估计对深度方向上的移动不太敏感，这是因为当相机在深度方向上移动时，观看时的改变小。

在由两个相机形成的角度为90度的布置中，相机中之一的深度方向是另一相机的水平(或垂直)方向，并且因此具有可以弥补彼此的弱点的优点。在这方面，两个相机之间的角度为90°被认为是非常有利的，并且在角度比该角度更锐或更钝的情况下，不利程度被认为是等同的。

例如，两个相机之间的锐角有更高的概率由两个相机看到的表面相同并且趋向于对表面无纹理的情况更小的容忍度(两个相机之间的钝角有更高的概率能够观察到具有纹理的另一表面)。因此，如图14A至图14C所示，由两个相机形成的角度在90°至180°范围内的配置被认为对于相机布置是期望的。

如上所述，在根据本实施方式的距离信息生成系统100中，基于尺度信息、第一成像设备5的第一位置信息和第二成像设备6的第二位置信息，生成基于由第一成像设备拍摄的第一目标对象与由第二成像设备拍摄的第二目标对象之间的实际距离的距离信息。因此，可以容易且准确地测量第一目标对象与第二目标对象之间的距离。

例如，在购买大型家具等的情况下，会产生能否将大型家具搬入安装位置的问题。通常，通过用卷尺等实际测量可能成为搬入路径上的瓶颈的诸如入口、角落等的位置的通道宽度来解决该问题。然而，在该方法中，通道长度越长，测量点的数目越多，负担变得越大。此外，还存在测量遗漏的风险，例如，未测量的位置实际上可能很窄。

例如，相机面向的表面可以通过诸如SLAM的技术进行建模。例如，为了通过使用一个相机测量通道宽度，需要对通道的至少两侧进行建模，并且因此需要走两次通道(每次相机面向不同的侧)。此外，在对环境进行建模时同时估计相机的自身位置，这具有与运动量成比例的误差——其被称为漂移，并且存在的问题是，随着要建模的路径变长，误差增加，并且建模结果失真。

在本技术中，使用在不同方向上定向的两个相机(例如，智能电话的前置相机和后置相机)对通道的两侧的壁面进行建模。因此，通过握持面向两侧的壁面的两个相机同时行走在搬入路径上，可以容易且准确地掌握路径的宽度。

可以实时知道用户当前行走的路径的宽度。另外，还可以知道至此路径的最窄部分等。因此，可以容易地判断是否可以将产品搬入。此外，通道宽度可以通过普通智能电话等简单地建模，而无需准备特殊工具。此外，这是在握持智能电话的同时行走在路径上的简单方法，并且即使是普通消费者也可以容易地独自执行。

此外，由于可以从路径的起点到终点连续地执行建模，因此可以防止部分狭窄的地方等中的测量遗漏。此外，由于通道的两侧可以在单次操作中建模，因此与对每一侧执行操作的情况相比，负担减半。

由于在通过使用单个相机对每一侧执行建模的情况下，估计误差针对每个操作出现并累积，因此就准确度而言同样地，能够在单次操作中执行是有利的。此外，在对每一侧执行建模的情况下，如何将各侧的建模结果组合也是问题，并且该组合也引起误差。

为了知道通道的宽度，需要将构成通道的两个侧壁彼此关联。在对每一侧执行建模的情况下，除非也将用于连接两个壁的连接区域(相对于通道的两个侧壁的地板或天花板部分)建模并组合在一起，否则很难将两个壁彼此关联。

在本技术中，由于可以同时执行两侧的建模，因此容易将一个壁与另一壁关联，并且不会出现与组合和关联有关的这些问题。此外，通常，在通过相机估计自身位置(或距离)时，在视线方向上容易出现误差。对由面向相对侧的相机获得的估计结果进行整合可以预期提供提高准确度的效果，这是因为只要相机没有错误地面向同一侧，就可以消除相机之一的误差。

<其他实施方式>

本技术不限于以上提及的实施方式，并且可以实现各种其他实施方式。

关于多个目标对象之间的距离的距离信息可以从由三个或更多个相机捕获的图像生成。例如，可以使用三个相机来计算将通道夹在中间的两个壁面之间的距离等。替选地，可以生成三个或更多个目标对象之间的距离信息。

本技术不限于通道宽度的测量，并且可以用在其他应用。例如，本技术可以应用于预定设备的尺寸测量、容纳空间的尺寸测量等。

在以上描述中，作为示例已经描述了第一成像设备和第二成像设备被布置用于一个装置的情况。本技术不限于此，并且第一成像设备和第二成像设备可以分开配置。同样在该情况下，可以通过适当地使用例如关于第一成像设备与第二成像设备之间的位置关系的信息来应用本技术。

在第一成像设备和第二成像设备分开配置的情况下，用于获取关于实际距离的尺度信息的设备和块——例如IMU(运动传感器)、姿态测量块和距离测量传感器——可以各自安装在每个成像设备上。

例如，存在IMU(运动传感器)和距离测量传感器被布置为与第一成像设备处于预定位置关系的情况或者存在IMU(运动传感器)和距离测量传感器被布置为与第二成像设备处于预定位置关系的情况。即，IMU(运动传感器)和距离测量传感器可以被布置为仅与第一成像设备或第二成像设备处于预定位置关系。

在上文中，便携式终端已被例示为根据本技术的信息处理装置的实施方式。然而，根据本技术的信息处理装置可以由与便携式终端分开配置并且通过或不通过线连接至便携式终端的任意计算机来实现。例如，可以通过便携式终端与另一计算机的协作来执行根据本技术的信息处理方法。

即，根据本技术的信息处理方法和程序不仅可以在由单个计算机构成的计算机系统中执行，而且还可以在多个计算机彼此结合操作的计算机系统中执行。应当注意，在本公开内容中，系统意指多个部件(例如装置和模块(部件))，并且所有部件是否在同一壳体中并不重要。因此，容纳在分开的壳体中并且经由网络彼此连接的多个装置以及具有容纳在单个壳体中的多个模块的单个装置两者均是系统。

由计算机系统对根据本技术的信息处理方法和程序的执行包括例如尺度信息的获取、第一位置信息和第二位置信息的计算、距离信息的计算、关于设备的信息的获取、不利状况的事实的通知的执行等由单个计算机执行的情况，以及各个处理由不同的计算机执行的情况两者。此外，由预定计算机执行各个处理包括使另一计算机执行这些处理中的一些或全部以及获得其结果。

即，根据本技术的信息处理方法和程序还可以应用于其中单个功能由多个装置经由网络协作地共享和处理的云计算配置。

以上参照附图描述的信息处理装置等的配置、距离信息的生成的流程等仅属于实施方式，并且可以在不脱离本技术的主旨的情况下任意修改。即，可以采用用于执行本技术的任何其他配置、算法等。

在本公开内容中，“相等”、“相同”、“90°”、“180°”等是包括“基本上相等”、“基本上相同”、“基本上90°”、“基本上180°”等的概念。例如，还包括参照“完全相等”、“完全相同”、“完全90°”、“完全180°”等包括在预定范围内(例如，±10％的范围内)的状态。

上述本技术的特征中的至少两个特征也可以被组合。换言之，在各个实施方式中描述的各种特征可以任意组合，而与实施方式无关。此外，上述各种效果不是限制性的，而仅仅是说明性的，并且可以提供其他效果。

应当注意，本技术还可以采用以下配置。

(1)一种信息处理装置，包括

输出控制单元，其基于关于实际距离的尺度信息、关于所述第一成像设备的位置和姿势的第一位置信息、以及关于所述第二成像设备的位置和姿势的第二位置信息来输出由所述第一成像设备拍摄的第一目标对象与由所述第二成像设备拍摄的第二目标对象之间的基于所述实际距离的距离信息。

(2)根据(1)所述的信息处理装置，其中，

所述第一成像设备和所述第二成像设备被布置为处于预定位置关系，并且

所述输出控制单元基于关于所述第一成像设备与所述第二成像设备之间的位置关系的信息来输出所述距离信息。

(3)根据(1)或(2)所述的信息处理装置，其中，

所述第一成像设备被配置成具有第一方向作为成像方向，并且

所述第二成像设备被配置成具有与所述第一方向不同的第二方向作为成像方向。

(4)根据(3)所述的信息处理装置，其中，

所述第一方向和所述第二方向被设置成使得相交角度落入90°至180°的范围内。

(5)根据(1)至(4)中任一项所述的信息处理装置，其中，

所述第一位置信息是基于由所述第一成像设备拍摄的所述第一目标对象的图像计算的，并且

所述第二位置信息是基于由所述第二成像设备拍摄的所述第二目标对象的图像计算的。

(6)根据(1)至(5)中任一项所述的信息处理装置，其中，

所述尺度信息是基于被布置为与所述第一成像设备或所述第二成像设备中的至少之一处于预定位置关系的运动传感器的检测结果获取的。

(7)根据(6)所述的信息处理装置，其中，

所述输出控制单元基于所述运动传感器的所述检测结果来计算所述第一位置信息或所述第二位置信息中的至少之一。

(8)根据(1)至(7)中任一项所述的信息处理装置，其中，

所述尺度信息是基于通过由所述第一成像设备或所述第二成像设备中的至少之一对与关于实际距离的信息相关联的已知目标对象进行成像而获得的图像获取的。

(9)根据(1)至(8)中任一项所述的信息处理装置，其中，

所述尺度信息是基于被布置为与所述第一成像设备或所述第二成像设备中的至少之一处于预定位置关系的距离测量传感器的检测结果获取的。

(10)根据(9)所述的信息处理装置，其中，

所述输出控制单元基于所述距离测量传感器的所述检测结果来计算所述第一位置信息或所述第二位置信息中的至少之一。

(11)根据(1)至(10)中任一项所述的信息处理装置，其中，

所述第一成像设备包括数字相机或飞行时间(ToF)传感器的至少一种配置，并且

所述第二成像设备包括数字相机或ToF传感器的至少一种配置。

(12)根据(1)至(11)中任一项所述的信息处理装置，其中，

所述第一目标对象和所述第二目标对象是夹着通道布置的壁面，并且

所述距离信息包括所述通道的宽度。

(13)根据(12)所述的信息处理装置，还包括：

第一面；

第二面，其在与所述第一面相对的侧上；

所述第一成像设备，其朝向所述第一面的表面侧布置；以及

所述第二成像设备，其朝向所述第二面的表面侧布置，并且

被配置为能够由用户携带的便携式终端。

(14)根据(1)至(13)中任一项所述的信息处理装置，还包括

设备信息获取单元，其获取关于安装在所述便携式终端上的设备的信息，其中，

所述输出控制单元基于关于所述设备的所述信息来输出所述距离信息。

(15)根据(1)至(14)中任一项所述的信息处理装置，其中，

所述输出控制单元基于所述尺度信息、所述第一位置信息和所述第二位置信息来执行对所述第一目标对象和所述第二目标对象的建模，从而输出所述距离信息。

(16)根据(1)至(15)中任一项所述的信息处理装置，其中，

所述输出控制单元基于由所述第一成像设备拍摄的第一目标对象的图像和由所述第二成像设备拍摄的第二目标对象的图像来执行SLAM，从而输出所述距离信息。

(17)根据(1)至(16)中任一项所述的信息处理装置，还包括

通知单元，其确定是否是对所述距离信息的输出不利的状况，并且在确定是对所述距离信息的所述输出不利的状况的情况下，向用户通知所述事实。

(18)根据(17)所述的信息处理装置，其中，

在是对所述距离信息的所述输出不利的状况的情况下，所述通知单元通知用于克服所述不利状况的信息。

(19)一种信息处理方法，包括

通过计算机系统执行以下操作：

基于关于实际距离的尺度信息、关于所述第一成像设备的位置和姿势的第一位置信息、以及关于所述第二成像设备的位置和姿势的第二位置信息来输出由所述第一成像设备拍摄的第一目标对象与由所述第二成像设备拍摄的第二目标对象之间的基于所述实际距离的距离信息。

(20)一种使计算机系统执行以下步骤的程序：

附图标记列表

1 用户

5 第一成像设备

6 第二成像设备

10 通道

11 第一壁面

12 第二壁面

20 便携式终端

20a 主表面

20b 后表面

21 控制器

32 存储单元

33 IMU

40，41，70 估计块

42 积分单元

43 卡尔曼滤波器

44 三维重建单元

55 姿态估计块

65 距离测量传感器

100 距离信息生成系统

Claims

1.一种信息处理装置，包括

输出控制单元，其基于关于实际距离的尺度信息、关于第一成像设备的位置和姿势的第一位置信息、以及关于第二成像设备的位置和姿势的第二位置信息来输出由所述第一成像设备拍摄的第一目标对象与由所述第二成像设备拍摄的第二目标对象之间的基于所述实际距离的距离信息。

2.根据权利要求1所述的信息处理装置，其中，

所述第一成像设备和所述第二成像设备被布置成处于预定位置关系，并且

3.根据权利要求1所述的信息处理装置，其中，

4.根据权利要求3所述的信息处理装置，其中，

5.根据权利要求1所述的信息处理装置，其中，

所述第一位置信息是基于由所述第一成像设备拍摄的所述第一目标对象的图像来被计算的，并且

所述第二位置信息是基于由所述第二成像设备拍摄的所述第二目标对象的图像来被计算的。

6.根据权利要求1所述的信息处理装置，其中，

所述尺度信息是基于被布置为与所述第一成像设备和所述第二成像设备中的至少之一处于预定位置关系的运动传感器的检测结果来获取的。

7.根据权利要求6所述的信息处理装置，其中，

所述输出控制单元基于所述运动传感器的检测结果来计算所述第一位置信息和所述第二位置信息中的至少之一。

8.根据权利要求1所述的信息处理装置，其中，

所述尺度信息是基于通过由所述第一成像设备和所述第二成像设备中的至少之一对与关于实际距离的信息相关联的已知目标对象进行成像而获得的图像来获取的。

9.根据权利要求1所述的信息处理装置，其中，

所述尺度信息是基于被布置成与所述第一成像设备和所述第二成像设备中的至少之一处于预定位置关系的距离测量传感器的检测结果来获取的。

10.根据权利要求9所述的信息处理装置，其中，

所述输出控制单元基于所述距离测量传感器的检测结果来计算所述第一位置信息和所述第二位置信息中的至少之一。

11.根据权利要求1所述的信息处理装置，其中，

所述第一成像设备包括数字相机和ToF(飞行时间)传感器中的至少一种配置，并且

所述第二成像设备包括所述数字相机和所述ToF传感器中的至少一种配置。

12.根据权利要求1所述的信息处理装置，其中，

所述距离信息包括所述通道的宽度。

13.根据权利要求12所述的信息处理装置，还包括：

第一面；

第二面，其在与所述第一面相对的一侧；

所述第一成像设备，其朝向所述第一面的表面侧布置；以及

所述第二成像设备，其朝向所述第二面的表面侧布置，并且

所述信息处理装置被配置为能够由用户携带的便携式终端。

14.根据权利要求1所述的信息处理装置，还包括：

所述输出控制单元基于关于所述设备的信息来输出所述距离信息。

15.根据权利要求1所述的信息处理装置，其中，

16.根据权利要求1所述的信息处理装置，其中，

17.根据权利要求1所述的信息处理装置，还包括

通知单元，其确定所述距离信息的输出是否处于不利的状况，并且在确定处于不利的状况的情况下，向用户通知该事实。

18.根据权利要求17所述的信息处理装置，其中，

在处于不利的状况的情况下，所述通知单元通知用于克服所述不利的状况的信息。

19.一种信息处理方法，通过计算机系统执行以下操作：

基于关于实际距离的尺度信息、关于第一成像设备的位置和姿势的第一位置信息、以及关于第二成像设备的位置和姿势的第二位置信息来输出由所述第一成像设备拍摄的第一目标对象与由所述第二成像设备拍摄的第二目标对象之间的基于所述实际距离的距离信息。

20.一种使计算机系统执行以下步骤的程序：