CN116803074A - 用于验证估计深度信息的设备和方法 - Google Patents

Abstract

本发明涉及一种用于验证估计深度信息的设备。所述设备：获取场景的图像，其中，所述图像包括具有点集的至少一个感兴趣对象；从所述感兴趣对象的所述点集中获取至少一个点的高度信息；根据所述获取的高度信息估计所述至少一个点的第一深度信息，并且检测所述至少一个点在所述获取的图像中的对应位置；所述设备还从另一设备接收所述至少一个点的第二深度信息，并且通过确定所述至少一个点的所述第一深度信息与所述第二深度信息之间的差异度量，确定所述估计的第二深度信息的有效性。

Description

用于验证估计深度信息的设备和方法

技术领域

本发明大体上涉及数据处理领域，具体涉及用于验证估计深度信息的设备和方法。例如，本发明的设备和方法可以验证部署的深度估计系统的准确性。例如，这种深度估计系统可以在车辆中实现，并且可以提供估计深度信息。本发明的设备和方法可以接收部署的深度估计系统的估计深度信息，并且可以验证接收到的估计深度信息的准确性。此外，该设备和方法可以调整(例如，校准)深度估计系统。

背景技术

通常，智能驾驶辅助系统对驾驶场景进行分析。但是，重要的是要准确分析驾驶场景，以实现安全的驾驶体验。此外，当已知对象到车辆的距离时，准确的场景分析就会变得容易得多。为此目的，使用车载测距设备，如激光雷达(light detection and ranging，LIDAR)。但是，例如，LIDAR测距系统昂贵，难以安装和维护，在雾等极端天气条件下可能表现不佳。因此，仅使用车载摄像机测量对象的距离可以是有利的。

但是，摄像机不测量距离，而是测量捕获的场景中对象的颜色。因此，可以使用各种算法来使用捕获的图像推断对象的距离。例如，深度卷积网络可以用于对每个像素与摄像机的距离执行这种每像素预测。但是，深度神经网络的一个问题是，它们容易对训练数据进行过拟合。这是指成像条件的变化可能对预测算法的准确性不利，例如，可能需要改变用于获取训练图像的不同摄像机装置，并且可能增加推理时间。

但是，尽管在从单个图像中估计深度的算法方面取得了进展，但这种深度估计装置的每辆车验证和微调方法仍然比较落后。它们做出的假设不符合实际条件或在实际生产中使用成本太高。

此外，可以通过建立多个时间帧上的图像之间的像素级对应关系，以及多个帧之间的相对运动的无错误知识来执行图像序列的估计深度。这个过程很容易出错。为了使该过程无错误，需要执行一个漫长且昂贵的程序来为每个生产的汽车-摄像机-计算机(car-camera-computer)装置配备昂贵的硬件。

发明内容

鉴于上述问题和缺点，本发明的实施例旨在改进用于验证估计深度信息的传统设备和方法。

目的是提供一种用于验证另一设备(例如，深度估计系统，其可以安装在车辆上)的估计深度信息的设备和方法。例如，本发明的设备和方法支持验证部署的深度估计系统的准确性。

此外，本发明的设备和方法应能够在深度估计系统部署在车辆上之后调整(例如，自动校准)该深度估计系统。

例如，本发明的设备和方法可以促进车辆深度预测系统(即，安装在车辆上的深度估计系统)的快速和可扩展验证。例如，随着自动驾驶变得越来越普遍和依赖，它的部件也越来越普遍。此外，可能需要验证安装在车辆上的深度预测系统，以便实现大规模生产等。

这些目的或其它目的可以通过所附独立权利要求中描述的本发明的实施例实现。从属权利要求中进一步定义了本发明的实施例的有利实现方式。

本发明的第一方面提供了一种用于验证估计深度信息的设备，所述设备用于：获取场景的图像，其中，所述图像包括具有点集的至少一个感兴趣对象；从所述感兴趣对象的所述点集中获取至少一个点的高度信息；根据所述获取的高度信息估计所述至少一个点的第一深度信息，并且检测所述至少一个点在所述获取的图像中的对应位置；从另一设备接收所述至少一个点的第二深度信息；根据确定所述至少一个点的所述第一深度信息与所述第二深度信息之间的差异度量，确定所述估计的第二深度信息的有效性。

所述设备可以是或可以结合在计算机等电子设备、车辆控制系统或车辆的驾驶辅助系统中。

另一设备可以是深度估计系统，也可以安装在车辆上。第一方面的设备和另一设备可以集成到一个设备(例如，安装在车辆中的处理器)中。此外，第一方面的设备可以验证另一设备(例如，安装在车辆上的深度估计系统)的估计深度信息，并且还可以调整或校准另一设备的估计深度信息。

在一些实施例中，第一方面的设备可以与另一设备(例如，安装在车辆上的深度估计系统)安装在同一车辆上。

在一些实施例中，第一方面的设备还可以位于远程位置(即，不作为另一设备安装在车辆上)。例如，可以是深度估计系统的另一设备可以安装在车辆上，并且可以估计第二深度信息，还可以将第二深度信息发送给第一方面的设备。此外，位于远程位置的第一方面的设备可以接收估计的第二深度信息，并且可以对该估计的第二深度信息进行进一步验证和/或调整(例如，校准)它，并且可以相应地发送回信息。

例如，用于验证估计深度信息的第一方面的设备可以获取(例如，接收)包括具有点集的感兴趣对象的图像。此外，该设备可以获取感兴趣对象的点集中的至少一个点的高度信息。此外，该设备可以估计至少一个点的第一深度信息。

此外，另一设备(例如，车辆上的部署的深度估计系统)可以接收图像，并且还可以估计至少一个点的第二深度信息。另一设备可以将估计的第二深度发送到该设备。此外，该设备可以确定估计的第二深度信息的有效性。例如，有效性可以是验证估计的第二深度信息。具体地，设备可以验证(例如，微调)用于由另一设备估计第二深度信息的方法。例如，设备可以将估计的第一深度信息与第二深度信息进行比较，并且还可以确定差异度量。此外，当差异的测量在所需的公差内时，该设备可以验证由另一设备提供的估计的第二深度信息。

在第一方面的一种实现方式中，第一深度信息根据以下操作估计：接收捕获所述场景的所述图像的摄像机相对于地平面的位置信息；在所述获取的图像中确定与获取所述高度信息的所述至少一个点的所述位置对应的像素集；根据所述获取的图像中的所述确定的像素集和所述接收到的所述摄像机的位置信息估计所述第一深度信息。

例如，可以假设捕获图像的摄像机相对于地平面的位置和角度是通过已知的摄像机校准算法等预先计算的。该设备可以检测图像中预定义的像素位置集，并且它们的高度信息是预先测量的。此外，通过使用摄像机到平面参数，设备可以使用高度到深度公式从该像素位置集中的点的高度信息估计第一深度信息。

该设备可以使用高度测量作为深度测量的替代。例如，深度或距离是相对于给定点的。因此，校准和验证深度预测系统(例如，系统相对于需要建立的场景的位置和方向)可能很困难。与深度不同，任何视点距离地平面的高度都是绝对的。此外，该设备能够从场景中的任何视点估计具有已知高度的对象的深度。这使设备能够从场景中的任何视点提供深度地面真值，而不仅仅是从单个视点提供深度地面真值。

在第一方面的另一种实现方式中，该设备还用于：当所述差异度量高于第一阈值时，调整所述至少一个点的所述第二深度信息；根据确定所述至少一个点的所述第一深度信息与所述调整后的第二深度信息之间的差异度量，确定所述调整后的第二深度信息的有效性。

在第一方面的另一种实现方式中，确定所述有效性包括当所述差异度量低于第一阈值时，验证所述至少一个点的第二深度信息。

例如，第一阈值可以根据系统的操作方面和可接受的灵敏度确定。例如，第一阈值可以根据度量阈值设置。此外，在第一阈值以下，可以认为深度估计系统足够可靠，从而可以将其用于自动驾驶车辆。此外，第一阈值可以基于最大绝对偏差、均方误差、均方根误差等度量测量来设置。

在第一方面的另一种实现方式中，调整所述第二深度信息包括根据优化技术微调另一设备的深度估计系统。

例如，另一设备(例如，在车辆上的部署的深度估计系统)可以使用第一方面的设备可能未知的深度预测算法。此外，该设备可以使用优化技术，以便调整另一设备的估计第二深度信息。

例如，该设备可以执行黑盒优化过程。具体地，当另一设备的深度预测算法为该设备已知时，该设备可以更新深度预测算法的内部参数。但是，当该设备未知另一设备的深度预测算法时，即使不访问这些内部参数，该设备也可以调整估计的第二深度信息。这可以支持稳定的生产过程，该过程不依赖于具体的算法实现方式。

在第一方面的另一种实现方式中，该设备还用于：根据所述第一深度信息优化所述另一设备的深度估计系统；从所述另一设备接收根据所述另一设备的所述优化后的深度估计系统估计的调整后的第二深度信息。

例如，该设备可以接收另一设备(例如，可以安装在车辆上的部署的深度估计系统)的深度预测算法。此外，该设备可以通过更新其参数来更新深度预测算法。换句话说，该设备可以校准另一设备的深度预测算法。此外，另一设备可以估计调整后的第二深度信息，并且可以将该调整后的第二深度信息发送到该设备。调整后的第二深度信息可以由优化后的深度估计系统估计。

第一方面的设备能够调整(例如，校准)另一设备上的深度估计系统。例如，第一方面的设备能够校准车辆上的部署的深度估计系统。

在第一方面的另一种实现方式中，该设备还用于：根据确定所述点集中的点子集的相应的第一深度信息，确定所述至少一个感兴趣对象的第一三维(three-dimensional，3D)深度图表示；根据确定所述点集中的所述点子集的相应的第二深度信息，确定所述至少一个感兴趣对象的第二3D深度图表示。

例如，在一些实施例中，可以使用感兴趣对象的点集中的多个点，这不构成对本发明限制。例如，在一些实施例中，可以使用感兴趣对象的3D深度图表示。第一3D深度图表示可以根据估计的第一深度信息确定。此外，第二3D深度图表示可以根据估计的第二深度信息确定。

在第一方面的另一种实现方式中，该设备还用于：确定所述至少一个感兴趣对象的所述第一3D深度图表示与所述第二3D深度图表示之间的差异度量。

在第一方面的另一种实现方式中，该设备还用于：当所述差异度量低于第二阈值时，验证所述第二3D深度图表示；或当所述差异度量高于所述第二阈值时，具体是通过调整第二深度信息中的一个或多个来调整所述第二3D深度图表示。

例如，该设备可以验证并且可以调谐另一设备(例如，车辆上的部署的深度估计系统)的3D对象检测算法。

例如，第二阈值可以根据第一阈值获取。具体地，如果一些误差度量低于特定任务阈值，则可以对第二阈值进行设置，使得第二阈值表示系统是可操作的(例如，用于3D对象检测)。

具体地，该设备可以在场景中对象上的几个位置上使用预先测量的高度。与估计的深度验证过程类似，所描述的过程可用于执行3D对象检测系统的验证。在这种系统中，需要建立3D对象(如车辆、汽车、行人等)的位置、方向和范围。例如，当对象上的预先测量的位置标记在对象的末端时，可以验证对象的预测范围，至少对于每个帧中对象的可见部分是如此。类似地，可以推断对象的方向和深度位置。因此，所描述的用于验证估计的第二深度信息的过程可用于验证3D对象检测算法。此外，该设备可以基于每辆车进行验证并且还可以调整(调谐)3D对象检测算法，这类似于上述深度验证和调谐机制。

在第一方面的另一种实现方式中，基于以下一项或多项确定差异度量：

-计算均方误差；

-计算平均绝对误差；

-计算绝对相对误差。

在第一方面的另一种实现方式中，该设备还用于向远程设备发送图像，并且从远程设备获取差异度量。

在第一方面的另一种实现方式中，该场景为静态场景，并且至少一个感兴趣对象位于该静态场景内。

例如，在一些实施例中，该场景可以是静态场景。此外，在一些实施例中，该场景可以是动态场景。此外，该设备可以执行动态场景的多次测量。该设备只能依赖于高度测量，当对象(如人和汽车)在场景中移动时，高度测量保持不变。这使得能够在场景中验证和调整组合摄像机和算法深度预测系统，其中，自动车辆在移动，独立对象也在移动。

本发明的第二方面提供了一种用于验证估计深度信息的方法，该方法包括：获取场景的图像，其中，所述图像包括具有点集的至少一个感兴趣对象；从所述感兴趣对象的所述点集中获取至少一个点的高度信息；根据所述获取的高度信息估计所述至少一个点的第一深度信息，并且检测所述至少一个点在所述获取的图像中的对应位置；从另一设备接收所述至少一个点的第二深度信息；根据确定所述至少一个点的所述第一深度信息与所述第二深度信息之间的差异度量，确定所述估计的第二深度信息的有效性。

在第二方面的一种实现方式中，第一深度信息根据以下操作估计：接收捕获所述场景的所述图像的摄像机相对于地平面的位置信息；在所述获取的图像中确定与获取所述高度信息的所述至少一个点的所述位置对应的像素集；根据所述获取的图像中的所述确定的像素集和所述接收到的所述摄像机的位置信息估计所述第一深度信息。

在第二方面的另一种实现方式中，该方法还包括：当所述差异度量高于第一阈值时，调整所述至少一个点的所述第二深度信息；根据确定所述至少一个点的所述第一深度信息与所述调整后的第二深度信息之间的差异度量，确定所述调整后的第二深度信息的有效性。

在第二方面的另一种实现方式中，确定所述有效性包括当所述差异度量低于第一阈值时，验证所述至少一个点的第二深度信息。

在第二方面的另一种实现方式中，调整所述第二深度信息包括根据优化技术微调另一设备的深度估计系统。

在第二方面的另一种实现方式中，该方法还包括：根据所述第一深度信息优化所述另一设备的深度估计系统；从所述另一设备接收根据所述另一设备的所述优化后的深度估计系统估计的调整后的第二深度信息。

在第二方面的另一种实现方式中，该方法还包括：根据确定所述点集中的点子集的相应的第一深度信息，确定所述至少一个感兴趣对象的第一3D深度图表示；根据确定所述点集中的所述点子集的相应的第二深度信息，确定所述至少一个感兴趣对象的第二3D深度图表示。

在第二方面的另一种实现方式中，该方法还包括：确定所述至少一个感兴趣对象的所述第一3D深度图表示与所述第二3D深度图表示之间的差异度量。

在第二方面的另一种实现方式中，该方法还包括：当所述差异度量低于第二阈值时，验证所述第二3D深度图表示；或当所述差异度量高于所述第二阈值时，具体是通过调整第二深度信息中的一个或多个来调整所述第二3D深度图表示。

在第二方面的另一种实现方式中，基于以下一项或多项确定差异度量：

-计算均方误差；

-计算平均绝对误差；

-计算绝对相对误差。

在第二方面的另一种实现方式中，该方法还包括向远程设备发送图像，并且从远程设备获取差异度量。

在第二方面的另一种实现方式中，该场景为静态场景，并且至少一个感兴趣对象位于该静态场景内。

第二方面的方法实现了针对第一方面的设备描述的优点和效果。

本发明的第三方面提供了一种计算机程序，该计算机程序包括用于执行根据第二方面或第二方面的任意实现方式的方法的程序代码。

本发明的第四方面提供了一种非瞬时性存储介质，该非瞬时性存储介质存储可执行程序代码，当处理器执行可执行程序代码时，执行根据第二方面或第二方面的任意实现方式的方法。

需要说明的是，本申请中描述的所有设备、元件、单元和模块可以通过软件或硬件元件或其任何类型的组合实现。本申请中描述的各种实体执行的所有步骤和所描述的将由各种实体执行的功能旨在表明相应的实体用于执行相应的步骤和功能。虽然在以下具体实施例的描述中，外部实体执行的具体功能或步骤没有在执行具体步骤或功能的实体的具体详述元件的描述中反映，但是技术人员应清楚，这些方法和功能可以通过相应的硬件或软件元件或其任何组合实现。

附图说明

结合所附附图，下面具体实施例的描述阐述上述各方面及实现方式。

图1示出了根据本发明的实施例的用于验证估计深度信息的设备的示意图。

图2示出了用于获取感兴趣对象上的点的高度信息的图。

图3示出了用于根据点的高度信息估计点的第一深度信息的几何表示。

图4示出了示出用于根据点的高度信息估计点的第一深度信息的流水线的图。

图5示出了根据本发明的实施例的用于验证估计深度信息的方法的流程图的示意图。

具体实施方式

图1示出了根据本发明的实施例的用于验证估计深度信息的设备100的示意图。

例如，设备100可以是计算机或处理器等电子设备。

例如，设备100用于从摄像机获取场景的图像101，其中，图像101包括具有点集211、212、213、214、215、216的至少一个感兴趣对象201。

设备100还用于从感兴趣对象201的点集211、212、213、214、215、216中获取至少一个点的高度信息102。

设备100还用于根据获取的高度信息102，估计至少一个点的第一深度信息111，并且检测至少一个点在获取的图像101中的对应位置。

设备100还用于从另一设备110接收至少一个点的第二深度信息112。

例如，另一设备110可以是深度估计系统，可以部署在车辆上。

设备100还用于根据确定至少一个点的第一深度信息111与第二深度信息112之间的差异度量，确定估计的第二深度信息112的有效性。

此外，设备100可以验证由另一设备110估计的第二深度信息112。此外，设备100可以验证由另一设备110(例如，车辆上的部署的深度估计系统)用于估计第二深度信息112的深度估计算法。

此外，设备100可以调整(例如，校准)由另一设备110(例如，车辆上的部署的深度估计系统)用于估计第二深度信息112的深度估计算法。

具体地，设备100可以执行验证和校准另一设备110的深度估计系统的深度估计的过程。

另一设备110的深度估计系统可以根据图像101估计至少一个点的第二深度信息112。此外，另一设备110可以向设备100发送估计的第二深度信息112。设备100可以根据图像101估计至少一个点的第一深度信息111并且获取高度信息102。

设备100还可以确定估计的第二深度信息112的有效性，和/或另一设备110使用的和/或另一设备110上的部署的深度估计系统使用的深度估计算法的有效性。例如，设备100可以确定第一深度信息111与第二深度信息112之间的差异度量。此外，设备100可以验证另一设备110提供的第二深度信息112在所需的公差范围内。此外，为了微调/调谐第二深度信息112，设备100可以更新由另一设备110使用的深度估计算法，使得从更新的深度估计算法估计的至少一个点的第二深度信息112更类似于第一深度信息111。

例如，通过使用已测量高度的静态对象的收集地面真值测量，设备100可以实现车辆深度预测系统的快速和可扩展调整。因此，启用了优化每辆车深度预测。

设备100可以包括处理电路(图1中未示出)，该处理电路用于执行、进行或启动本文所描述的设备100的各种操作。处理电路可以包括硬件和软件。硬件可以包括模拟电路或数字电路，或模拟电路和数字电路两者。数字电路可以包括专用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gatearray，FPGA)、数字信号处理器(digital signal processor，DSP)或多用途处理器等部件。在一个实施例中，处理电路包括一个或多个处理器以及与一个或多个处理器连接的非瞬时性存储器。非瞬时性存储器可以携带可执行程序代码，当一个或多个处理器执行可执行程序代码时，使设备100执行、进行或启动本文描述的操作或方法。

在一些实施例中，可以使用包括对象的静态场景。这些对象可以在其内部的特定位置测量高度。这些位置以支持图像处理算法可以精确定位的方式被进一步标记。这些标记可以是QR码、校准模式或支持在获取的RGB图像中精确定位这种标记的任何其它标记。

在一些实施例中，场景是动态的，此外，对象不是虚拟对象，而是真实的人和真实的汽车在周围移动。此外，预先测量的高度位置在真实的人和真实的汽车上预先标记。

在一些实施例中，计算深度图的计算机可以不安装在汽车上。相反，摄像机可以将图像发送到远程位置进行深度估计和处理，并接收命令(例如“向前驱动”、“中断”)作为响应。然后，建议的框架将支持远程深度估计计算机保留一组汽车特定参数，以便提供汽车特定调谐深度估计。然后，这些参数将影响发送到汽车的命令。

在一些实施例中，红外摄像机安装在每辆车上，然后，红外摄像机可以相对于汽车的摄像机校准。然后，虚拟对象上的高度标记(具有红外可见标记)仅对红外摄像机可见。这支持精确定位红外摄像机中的标记。在相互的红外到红/绿/蓝(Red/Green/Blue，RGB)摄像机校准之后，可以在RGB摄像机坐标系中提供这些位置。

图2示出了用于获取感兴趣对象上的点的高度信息102的图。

例如，该对象是虚拟对象，设备100可以获取高度信息。

例如，可以使用一个或多个虚拟对象来获取高度信息102。此外，虚拟对象可以类似于真实世界中的真实对象，例如行人、汽车、卡车、交通标志、路锥等。此外，这些对象是深度神经网络(deep neural network，DNN)可以训练以预测第二深度信息的对象类型。

例如，对于给定的虚拟对象，设备100可以在对象上的任意位置获取一些任意数量的高度测量。

例如，首先，可以在地面上通过使用简单的测量工具来测量对象201的多个关键点211、212、213、214、215、216(如头部211、肩部212、肘部213、膝盖214等)的高度信息。

具体地，可以测量多种类型的多个对象的高度信息。这些对象集被表示为感兴趣的对象(object of interest，OOI)。OOI还可以用于验证由另一设备110估计的第二深度信息112。这种类型的测量很容易获取，例如，高度测量可以仅获取一次，并且不需要考虑另一设备110。

感兴趣对象201的点集的测量高度信息102可以提供给设备100。

参考图3，其示出了用于根据点P的高度信息201估计点P的第一深度信息111的几何表示。

例如，设备100可以包括高度到深度工具，其可以估计第一深度信息111。

可以获取OOI上点集的高度信息。OOI可以放置在未知深度的场景中，图像可以通过使用车辆上的部署的系统捕获。例如，可以在车辆生产出来的停车场进行这个过程；当车辆在周围行驶时，可以捕获多个图像。在这个步骤结束时，可以获取一组图像，其中，图像包括位于图像中不同位置的OOI，以及位于场景中不同位置的OOI。

考虑到单个图像是使用检查后的系统获取的，可以在捕获的图像中检测到点集(如头部、肩部、肘部等)。例如，关键点定位可以逐图像手动完成，也可以以各种方式自动完成。一种替代方案是使用光学标记，例如，或者这些光学标记可以物理放置在虚拟对象上的任意点上。这些标记可以具有可以容易在图像中识别的唯一签名。另一种选择是使用一些纹理，这些纹理可以画在对象上或作为衣服穿。这种纹理可用于识别对象上的唯一点。此外，还可以使用无标记方法，这些方法能够将虚拟对象上定义明确的位置识别为关键点(例如，鼻尖、肘部、膝盖、肩膀等)。需要说明的是，并非所有关键点都必须位于每个图像中，并且每个图像中可以使用不同的点子集。此外，通过使用图像中关键点的2D位置，可以使用基本的摄像机几何形状计算每个关键点的3D深度。

接下来，参考图3讨论估计第一深度信息111的示例。地平面π通过法线和d_π示出。

考虑一个场景点即某个场景点的3D坐标(在三个维度X、Y、Z中)，这是其中一个关键点。

表示的图像坐标，K是表示摄像机固有校准参数的3×3矩阵。对于任何场景点可以写出以下表达式：

其中，H表示与平面π的垂直距离。

此外，通过使用上述符号和可以得到以下表达式：

在这个公式中，假设地平面参数和d_π，以及本征校准矩阵K是已知的。因此，给定关键点的(u,v)坐标和该点的关联高度测量H，可以计算表示关键点在场景中的深度的Z。

这个步骤的结果可以是稀疏深度图集在OOI上的关键点处具有稀疏深度测量。这个深度图401可用作半地面真值测量，可用于验证和自动校准本发明的深度估计系统。

图4示出了用于根据点的高度信息估计点的第一深度信息111的流水线的图。

摄像机安装在车辆上，安装在车辆上的连接的计算机正在对传入的图像序列运行深度预测算法。例如，可以使用检查后的系统获取一个或多个OOI 201的图像集。例如，这些图像可以由另一设备110的深度估计系统使用，并且可以获取密集深度图集{D_i+的预测。

此外，可以使用上面讨论的根据高度信息估计深度信息的过程，以便获取在这些关键点像素处具有深度测量的稀疏半GT深度图集

此外，设备100可以比较这两个深度图集，并可以确定另一设备110的深度估计系统的正确性和准确性的指示。

例如，为了验证深度估计系统用于Go/No-Go决策的正确性，设备100可以使用简单的二进制测试，该测试可以根据特定要求手动进行。这些测试的示例如下：

-计算像素数量，其中，预测离GT的距离超过T[m]，T是表示系统所需精度的阈值。

-计算均方误差(mean square error，MSE)

-计算平均绝对误差

-计算绝对相对误差

此外，设备100可以使用这些测试中的任一测试或多个测试的组合来确定另一设备110的深度估计系统是否足够准确以便进行部署，或者确定该系统需要进一步校准。

例如，当另一设备110的检查后的深度估计系统没有通过验证测试时，设备100可以使用半GT深度图来自动校准另一设备110的深度估计系统。

在第一场景中，另一设备110的深度估计系统对设备100是未知的。在这种情况下，设备100将另一设备110的深度估计系统视为黑盒。

在第一场景中，深度估计系统安装在车辆上，设备100将该系统视为给定图像产生密集深度图D的黑盒。

设备100可以使用深度图的缩放和偏置版本，其中，a,b是全局参数。此外，可以定义优化问题以找到最优值a,b，如下所示：

这个问题可以使用任何标准最小二乘求解器解决。此外，找到最优值a,b之后，最优值可以在后处理步骤中结合到系统中，然后，在算法生成的每个深度图上，可以使用该参数缩放深度图。

需要说明的是，使用线性模型来校正深度图。这种类型的模型很适合深度图中大多数可能的扰动。即使考虑到更高维扰动，也可以通过使用具有轻微信息损失的线性模型来建模。

在第二场景中，另一设备110的深度估计系统是设备100已知的，并且设备100可以访问其网络架构和其可以微调的模型权重。

在这种情况下，设备100可以访问深度估计网络架构和权重。例如，设备100可以仅使用通过高度到深度工具获取的半GT深度图执行微调/调谐阶段。在该训练阶段期间，设备100可以使用监督回归损失，其可能惩罚偏离半GT测量的预测，如下所示：

这个过程可在任何车辆上单独进行，以补偿每辆车中的特定扰动。

此外，传输设备可用于发送由车载摄像机获取的图像。该设备还发送每个图像深度估计值。然后，这些深度估计值和对应的图像被传递到计算机。计算机在每个发送的图像中的虚拟对象上定位预定义的高度测量位置。例如，该计算机使用上述公式中每个位置的预先测量高度来计算每个帧中可见特征的深度。该计算机还提取这些位置中每个位置的发送的深度估计值。然后，该计算机使用这些深度估计来验证深度估计系统，并改进该系统。

在一些实施例中，汽车可以与安装的摄像机和连接的计算机一起使用，该计算机从获取的摄像机图像估计深度。目的是验证深度估计过程的正确性。这是在所述摄像机和计算机安装在汽车上之后进行的后期生产。汽车从生产工厂到停车场，在停车场，静态场景中的所述虚拟对象存在。汽车在停车场周围行驶，拍摄图像，并生成场景的深度估计。然后，它将<图像，深度>对发送到计算机，该计算机使用这组测量来验证和微调汽车的系统。汽车的软件/固件已更新。该汽车现在已经准备好上路了。

图5示出了根据本发明的实施例的用于验证估计深度信息的方法500。方法500可以由设备100执行，如以上所描述。

方法500包括步骤501：获取场景的图像101，其中，图像101包括具有点集(211、212、213)的至少一个感兴趣对象201。

方法500还包括步骤502：从感兴趣对象201的点集211、212、213中获取至少一个点的高度信息102。

方法500还包括步骤503：根据获取的高度信息102估计至少一个点的第一深度信息111，并检测获取的图像101中至少一个点的对应位置。

方法500还包括步骤504：从另一设备110接收至少一个点的第二深度信息112。

方法500还包括步骤505：根据确定至少一个点的第一深度信息111与第二深度信息112之间的差异度量，确定估计的第二深度信息112的有效性。

已经结合作为示例的各种实施例以及实现方式描述了本发明。但是，根据对附图、本发明和独立权利要求的研究，本领域技术人员在实践所要求保护的发明时，能够理解和实现其它变型。在权利要求书以及说明书中，词语“包括”不排除其它元件或步骤，且“一个”不排除多个。单个元件或其它单元可满足权利要求书中所列举的若干实体或项目的功能。在互不相同的从属权利要求中列举一些措施并不表示这些措施的组合不能用于有益的实现方式。

Claims (14)

1.一种用于验证估计深度信息的设备(100)，其特征在于，所述设备(100)用于：

获取场景的图像(101)，其中，所述图像(101)包括具有点集(211，212，213)的至少一个感兴趣对象(201)；

从所述感兴趣对象(201)的所述点集(211，212，213)中获取至少一个点的高度信息(102)；

根据所述获取的高度信息(102)估计所述至少一个点的第一深度信息(111)，并且检测所述至少一个点在所述获取的图像(101)中的对应位置；

从另一设备(110)接收所述至少一个点的第二深度信息(112)；

根据确定所述至少一个点的所述第一深度信息(111)与所述第二深度信息(112)之间的差异度量，确定所述估计的第二深度信息(112)的有效性。

2.根据权利要求1所述的设备(100)，其特征在于，

所述第一深度信息(111)根据以下操作估计：

接收捕获所述场景的所述图像(201)的摄像机相对于地平面的位置信息；

在所述获取的图像(101)中确定与获取所述高度信息(102)的所述至少一个点的所述位置对应的像素集；

根据所述获取的图像(101)中的所述确定的像素集和所述接收到的所述摄像机的位置信息估计所述第一深度信息(111)。

3.根据权利要求1或2所述的设备(100)，其特征在于，还用于：

当所述差异度量高于第一阈值时，调整所述至少一个点的所述第二深度信息(112)；

根据确定所述至少一个点的所述第一深度信息(111)与所述调整后的第二深度信息之间的差异度量，确定所述调整后的第二深度信息的有效性。

4.根据权利要求1至3中任一项所述的设备(100)，其特征在于，

确定所述有效性包括当所述差异度量低于第一阈值时，验证所述至少一个点的第二深度信息(112)。

5.根据权利要求3或4所述的设备(100)，其特征在于，

调整所述第二深度信息(112)包括根据优化技术微调所述另一设备的深度估计系统。

6.根据权利要求3或4所述的设备(100)，其特征在于，还用于：

根据所述第一深度信息(111)优化所述另一设备(110)的深度估计系统；

从所述另一设备(110)接收根据所述另一设备(110)的所述优化后的深度估计系统估计的调整后的第二深度信息。

7.根据权利要求1至6中任一项所述的设备(100)，其特征在于，还用于：

根据确定所述点集中的点子集的相应的第一深度信息，确定所述至少一个感兴趣对象的第一三维(three-dimensional，3D)深度图表示；

根据确定所述点集中的所述点子集的相应的第二深度信息，确定所述至少一个感兴趣对象的第二3D深度图表示。

8.根据权利要求7所述的设备(100)，其特征在于，还用于：

确定所述至少一个感兴趣对象的所述第一3D深度图表示与所述第二3D深度图表示之间的差异度量。

9.根据权利要求8所述的设备(100)，其特征在于，还用于：

当所述差异度量低于第二阈值时，验证所述第二3D深度图表示；或

当所述差异度量高于所述第二阈值时，具体是通过调整第二深度信息中的一个或多个来调整所述第二3D深度图表示。

10.根据权利要求1至9中任一项所述的设备(100)，其特征在于，

所述差异度量根据以下一项或多项确定：

计算均方误差；

计算平均绝对误差；

计算绝对相对误差。

11.根据权利要求1至10中任一项所述的设备(100)，其特征在于，还用于：

向远程设备发送图像；

从所述远程设备获取所述差异度量。

12.根据权利要求1至11中任一项所述的设备(100)，其特征在于，

所述场景是静态场景，并且所述至少一个感兴趣对象位于所述静态场景内。

13.一种用于验证估计深度信息的方法(500)，其特征在于，所述方法(500)包括：

获取(501)场景的图像(101)，其中，所述图像(101)包括具有点集(211，212，213)的至少一个感兴趣对象(201)；

从所述感兴趣对象(201)的所述点集(211，212，213)中获取(502)至少一个点的高度信息(102)；

根据所述获取的高度信息(102)估计(503)所述至少一个点的第一深度信息(111)，并且检测所述至少一个点在所述获取的图像(101)中的对应位置；

从另一设备(110)接收(504)所述至少一个点的第二深度信息(112)；

根据确定所述至少一个点的所述第一深度信息(111)与所述第二深度信息(112)之间的差异度量，确定(505)所述估计的第二深度信息(112)的有效性。

14.一种包括指令的计算机程序产品，其特征在于，当计算机执行所述程序时，所述指令使所述计算机执行根据权利要求13所述的方法(500)的步骤。