CN109801333A - 体积测量方法、装置、系统及计算设备 - Google Patents

Abstract

本说明书提供一种体积测量方法、装置、系统及计算设备，该方法包括：获得所述检测对象的深度图像以及与所述深度图像配准的彩色图像；针对所述深度图像，获得所述检测对象的至少四个深度图角点在空间坐标系下的坐标；获得彩色图像上的至少四个彩色图角点的像素坐标，所述至少四个彩色图角点与所述至少四个深度图角点相对应；基于所述至少四个彩色图角点的像素坐标计算所述长方体检测对象的体积参数。应用本申请实施例，基于深度图像获得长方体检测对象的至少四个深度图角点的坐标，结合与该深度图像配准的彩色图像，获得与深度图角点对应的、精度更高的彩色图角点坐标，以确定检测对象的体积参数，使体积参数测量的精确度和准确度得到了提高。

Description

体积测量方法、装置、系统及计算设备

技术领域

本说明书涉及测量技术领域，尤其涉及一种体积测量方法、装置、系统及计算设备。

背景技术

随着物流行业的发展，对物品的体积测量在精准性和测量速度上都提出了更高的要求。

目前的物流体积测量系统，通常采用深度图像传感器进行体积测量。受限于深度图的精度低、边缘轮廓差，基于深度图进行的体积测量，精确度和准确度都受到了限制，难以达到要求。

发明内容

为克服相关技术中存在的问题，本说明书提供了一种体积测量方法、装置、系统及计算设备，以提高体积测量的精确度和准确度。

具体地，本申请是通过如下技术方案实现的：

根据本说明书实施例的第一方面，提供一种体积测量方法，该方法用于测量长方体检测对象的体积参数，包括：

获得所述检测对象的深度图像以及与所述深度图像配准的彩色图像，其中，所述深度图像由深度相机拍摄，所述彩色图像由彩色相机拍摄；

针对所述深度图像，获得所述检测对象的至少四个深度图角点在空间坐标系下的坐标，其中，所述至少四个深度图角点处于不同平面上；

获得彩色图像上的至少四个彩色图角点的像素坐标，所述至少四个彩色图角点与所述至少四个深度图角点相对应；

基于所述至少四个彩色图角点的像素坐标计算所述长方体检测对象的体积参数。

根据本说明书实施例的第二方面，提供一种体积测量装置，该装置用于测量长方体检测对象的体积参数，包括：

图像获取单元，用于获得所述检测对象的深度图像以及与所述深度图像配准的彩色图像，其中，所述深度图像由深度相机拍摄，所述彩色图像由彩色相机拍摄；

第一角点获取单元，用于获得所述检测对象的至少四个深度图角点在空间坐标系下的坐标，其中，所述至少四个深度图角点处于不同平面上；

第二角点获取单元，用于获得彩色图像上的至少四个彩色图角点的像素坐标，所述至少四个彩色图角点与所述至少四个深度图角点相对应；

计算单元，用于基于所述至少四个彩色图角点的像素坐标计算所述长方体检测对象的体积参数。

根据本说明书实施例的第三方面，提供一种计算设备，该设备用于从长方体检测对象的深度图像和与所述深度图像配准的彩色图像中获取所述检测对象的体积参数，所述深度图像由深度相机拍摄，所述彩色图像由彩色相机拍摄，包括：

内部总线，以及通过内部总线连接的存储器、处理器和外部接口；其中，所述外部接口，用于获得所述检测对象的深度图像以及与所述深度图像配准的彩色图像；

所述存储器，用于存储体积测量对应的机器可读指令；

所述处理器，用于读取所述存储器上的所述机器可读指令，并执行所述指令以实现如下操作：

针对所述深度图像，获得所述检测对象的至少四个深度图角点在空间坐标系下的坐标，其中，所述至少四个深度图角点处于不同平面上；

获得彩色图像上的至少四个彩色图角点的像素坐标，所述至少四个彩色图角点与所述至少四个深度图角点相对应；

基于所述至少四个彩色图角点的像素坐标计算所述长方体检测对象的体积参数。

根据本说明书实施例的第四方面，提供一种体积测量系统，该系统用于测量长方体检测对象的体积参数，包括：深度相机、彩色相机以及计算设备，其中，

所述深度相机，用于拍摄所述检测对象的深度图像；

所述彩色相机，用于拍摄所述检测对象的彩色图像，所述深度相机与所述彩色相机经过配准；

所述计算设备，用于针对所述深度图像，获得所述检测对象的至少四个深度图角点在空间坐标系下的坐标，其中，所述至少四个深度图角点处于不同平面上；获得彩色图像上的至少四个彩色图角点的像素坐标，所述至少四个彩色图角点与所述至少四个深度图角点相对应；基于所述至少四个彩色图角点的像素坐标计算所述长方体检测对象的体积参数。

应用本申请提供的体积测量实施例，基于深度图像获得长方体检测对象的至少四个深度图角点的坐标，结合与该深度图像配准的彩色图像，获得与深度图角点对应的、精度更高的彩色图角点坐标，以确定检测对象的体积参数，使体积参数测量的精确度和准确度得到了提高。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。

图1是本申请根据一示例性实施例示出的一种体积测量方法的流程图；

图2A示出示例性的长方体检测对象的灰度图像；

图2B示出示例性的长方体检测对象的深度图像；

图2C示出示例性的多个分割区域形成的不同平面的示意图；

图3是本申请根据一示例性实施例示出的一种获得检测对象的至少四个深度图角点在空间坐标系下的坐标的方法的流程图；

图4示出示例性的四个深度图角点的示意图；

图5是本申请根据一示例性实施例示出的体积测量装置的结构示意图；

图6是本申请根据一示例性实施例示出的计算设备的结构图；

图7是本申请根据一示例性实施例示出的体积测量系统的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

参见图1，为本申请一个例子中的体积测量方法的流程图。该方法用于测量长方体检测对像的体积，可以包括以下步骤：

在步骤101中，获得检测对象的深度图像以及与深度图像配准的彩色图像。

其中，深度图像可以由深度相机拍摄，彩色图像可以由彩色相机拍摄。本领域技术人员应当理解，深度图像和彩色图像也可以由其他相应的设备获取，并不限于深度相机和彩色相机。

在本实施例中，深度图像和彩色图像应当是配准过的，以确保深度图像中的每一个像素点都可以在彩色图像中找到其相对像素，同时这两个对应的像素是对空间中相同位置的测量。

图2A示出示例性的长方体检测对象的灰度图像(其是由彩色相机所拍摄的彩色图像进行灰度转换得到)，图2B出示与图2A的灰度图像所对应的彩色图像配准的深度图像。

在一个示例中，深度图像和彩色图像可以通过以下方式进行配准：在相同场景下，利用相同的方法对深度相机和彩色相机进行标定。

例如，通过张正友标定法分别对深度相机和彩色相机进行标度，并且两个相机进行标定的场景必须是完全相同的。

对深度相机和彩色相机进行标定，即能够获得深度相机和彩色相机的内部参数和外部参数。

也即，对深度相机进行标定，获得深度相机的内部参数和外部参数；对彩色相机进行标定，获得彩色相机的内部参数和外部参数。

相机的内部参数包括焦距、主点的位置(像平面的位置)，以及像素与真实环境的大小比例，是相机的固有属性，用于相机坐标系与平面坐标系之间的转换。

相机的外部参数包括旋转矩阵和平移向量，用于世界坐标系与相机坐标系之间的转换。

在步骤102中，针对深度图像，获得检测对象的至少四个深度图角点在空间坐标系下的坐标。

其中，至少四个深度图角点处于不同平面上。

在一个示例中，可以通过以下方法获得检测对象的至少四个深度图角点在空间坐标系下的坐标。如图3所示，该方法可以包括：

在步骤301中，基于深度值的变化将深度图像分割为多个分割区域。

在深度图像中，处于同一表面的点的深度值通常是相近的。因此，通过将深度值作为阈值，将深度图像依据深度值的变化分割为不同的分割区域，可以划分出深度图像中的不同平面。例如，图2C示出了图2B的深度图像进行分割后多个分割区域形成的不同平面的示意图。

在一个示例中，利用分水岭算法对深度图像进行分割，获得多个分割区域。

在步骤302中，将每个分割区域中的像素点转换为点云。

点云是物体表面采样点的空间坐标的集合。

在一个示例中，可以根据深度像机的内参将每个分割区域中的像素点转换为点云。例如，针对一个分割区域，利用深度相机的内部参数将该分割区域中的所有像素点转换为空间坐标系下的坐标点，所有坐标点的集合形成了该分割区域的点云。

由于深度图像中每个像素点的灰度值可用于表征长方体检测对像中某一点距离摄像机的远近，也即直接反应了检测对像可见表面的几何形状；相机的内部参数中包括了像素与真实环境的大小比例。因此通过深度相机的内部参数，结合是深度图像的灰度值，即能够得将深度图像的像素点转换为空间坐标系下的坐标点。

在步骤303中，对于每个分割区域的点云进行平面拟合，并获得所拟合的平面在空间坐标系下的方程。

在一个示例中，可以通过最小二乘法、主成分分析法等中的一种进行平面拟合。

在对每个分割区域完成平面拟合后，即实现了将所有的分割区域分别拟合成相应的平面；并可以获得每个分割区域所拟合的平面在同一坐标系下的平面方程。

在步骤304中，基于各个分割区域的平面方程以及点云，获得至少四个深度图角点的坐标。

在一个示例中，可以通过以下方法获得至少四个深度图角点的坐标：

基于所有分割区域的平面方程，搜索出彼此之间平面法向垂直并且相互邻近的三个平面，计算该三个平面的相交点的坐标，该相交点为其中一个深度图角点。

在获得其中一个深度图角点之后，其他深度图角点的坐标通过以下方式获得：

基于上述相交点的坐标和三个平面中的两个平面的平面方程，获得以该相交点作为起点，沿该两个平面交线延伸的射线的方程，其中，该两个平面为彼此之间平面法向垂直并且相互邻近的三个平面中的其中两个。

接下来计算上述两个平面所属分割区域的云点与另一个平面的距离，确定距离最大值。该距离最大值即为长方体检测对象的其中一个边的边长。基于上述相交点的坐标、射线的方程以及距离的最大值，即能够确定在该射线上的一个深度图角点的坐标。

通过选择三个平面中的另外两个平面，基于相似的方法，能够获得另外两个边的边长，即获得另外两种平面组合形成的射线上的深度图角点的坐标。由此，即获得了包括三个平面的相交点所形成的深度图角点在内的四个深度图角点的坐标，该四个深度图角度处于不同平面上。

基于相似的方法，可以获得其他深度图角点的坐标。

图4示出了四个深度图角点的示意图。如图4所示，O点为彼此之间平面法向垂直并且相互邻近的三个平面Sa、Sb、Sc的相交点；长方体检测对象的其中一个边Lab所在的以O点为起点的射线为平面Sa和Sb的交线。在平面Sa和Sb所属分割区域的云点中，与平面Sc的距离最大值即为Lab的边长，也即确定了在该射线上的深度图角点C的坐标。基于相似的方法，可以确定图4中深度图角点B、深度图角点C的坐标。

在步骤103中，获得彩色图像上的至少四个彩色图角点的像素坐标，该至少四个彩色图角点与上述至少四个深度图角点相对应。

在获得检测对象的至少四个深度图角点在空间坐标系下的坐标后，接下来进入对彩色图像的处理过程。

在一个示例中，可以通过以下方式获得彩色图像上的至少四个彩色图角点的像素坐标：

利用彩色相机的内部参数，将至少四个深度图角点投影至彩色图像上。

由于彩色图像和深度图像是配准的，深度图像中的每一个像素点都可以在彩色图像中找到其相对像素，并且这两个对应的像素是对空间中相同位置的测量，因此基于上述至少四个深度图角点的坐标，能够将该至少四个深度图角点转换至彩色图像的像素坐标下，即获得了彩色图像中与四个深度图角点相对应的四个彩色图角点的像素坐标。

接下来，在每一个深度图角点投影的设定范围内应用角点检测算法，确定与深度图角点对应的彩色图角点的像素坐标。

如果在彩色图像的全部范围应用角点检测算法，那么得到的角点过多，无法判断哪些角度属于长方体检测对象。为了解决这一问题，在本实施例中，在每一个深度图角点投影的设定范围内应用角点检测算法，在深度图角点的附近所检测到的，有极大概率是相应的彩色图角点。

在一个示例中，采用harris角点检测算法、Shi-Tomasi角点检测算法中的一种在彩色图像中的每一个深度图角点投影的设定范围内检测角点。

本领域技术人应当理解，对于仅能应用于灰度图像进行检测的角点检测算法，可以将彩色图像转换为灰度图像后应用该角点检测算法。

上述设定范围可以根据实际情况进行调整，例如，如果在一个深度图角点的设定范围内检测出至过一个彩色图角点，则可以缩小该设定范围；如果在一个深度图角点的设定范围内无法检测出彩色图角点，则可以相应地扩大该设定范围。

在步骤104中，基于至少四个彩色图角点的像素坐标计算长方体检测对象的体积参数。

在一个示例中，利用彩色相机的内部参数，将至少四个彩色图角点的像素坐标转换为空间坐标系下的坐标点，通过各个彩色图角点之间的距离计算长方体检测对象的体积参数。该体积参数包括长、宽、高、体积中的至少一种。

在利用彩色相机的内部参数，将至少四个彩色图角点的像素坐标转换为空间坐标系下的坐标点后，在空间坐标系下，各个角点之间的距离即代表着真实距离。因此，通过测量同一条直线上的两个角点，即能够获得长方体检测对象的其中一个边长。基于相似的方法即能够获得检测对象的长、宽、高，也即能够计算检测对象的体积。

与前述方法的实施例相对应，本说明书还提供了装置、系统以及计算设备的实施例。

参见图5，为本申请体积测量场装置的一个实施例框图。该装置包括：

图像获取单元510、第一角点获取单元520、第二角点获取单元530和计算单元540。

其中，图像获取单元510，用于获得检测对象的深度图像以及与深度图像配准的彩色图像，该深度图像可以由深度相机拍摄，该彩色图像可以由彩色相机拍摄；

第一角点获取单元520，用于获得检测对象的至少四个深度图角点在空间坐标系下的坐标，该至少四个深度图角点处于不同平面上；

第二角点获取单元530，用于获得彩色图像上的至少四个彩色图角点的像素坐标，该至少四个彩色图角点与上述至少四个深度图角点相对应；

计算单元540，用于基于上述至少四个彩色图角点的像素坐标计算长方体检测对象的体积参数。

参见图6，为本申请计算设备的一个实施例框图。该设备用于从长方体检测对象的深度图像和与深度图像配准的彩色图像中获取检测对象的体积参数，该深度图像由深度相机拍摄，该彩色图像由彩色相机拍摄。该计算设备包括：

内部总线610，以及通过内部总线连接的存储器620、处理器630和外部接口640。

其中，外部接口540，用于获得检测对象的深度图像以及与深度图像配准的彩色图像；

存储器620，用于存储体积测量对应的机器可读指令；

处理器630，用于读取存储器上的机器可读指令，并执行指令以实现如下操作：

针对深度图像，获得检测对象的至少四个深度图角点在空间坐标系下的坐标，其中，该至少四个深度图角点处于不同平面上；

获得彩色图像上的至少四个彩色图角点的像素坐标，该至少四个彩色图角点与至少四个深度图角点相对应；

基于上述至少四个彩色图角点的像素坐标计算长方体检测对象的体积参数。

参考图7，为本申请体积测量系统的一个实施例框图。该系统可以包括：深度相机710、彩色相机720以及计算设备730。

其中，深度相机710，用于拍摄检测对象的深度图像；

彩色相机720，用于拍摄检测对象的彩色图像，该深度相机与该彩色相机经过配准；

计算设备730，用于针对深度图像，获得检测对象的至少四个深度图角点在空间坐标系下的坐标，其中，该至少四个深度图角点处于不同平面上；获得彩色图像上的至少四个彩色图角点的像素坐标，该至少四个彩色图角点与上述至少四个深度图角点相对应；基于上述至少四个彩色图角点的像素坐标计算长方体检测对象的体积参数。

在一个示例中，深度相机和彩色相机搭载在同一手持设备平台上。

在本申请实施例中，计算机可读存储介质可以是多种形式，比如，在不同的例子中，所述机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。特殊的，所述的计算机可读介质还可以是纸张或者其他合适的能够打印程序的介质。使用这些介质，这些程序可以被通过电学的方式获取到(例如，光学扫描)、可以被以合适的方式编译、解释和处理，然后可以被存储到计算机介质中。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (11)

1.一种体积测量方法，其特征在于，所述方法用于测量长方体检测对象的体积参数，包括：

获得所述检测对象的深度图像以及与所述深度图像配准的彩色图像，其中，所述深度图像由深度相机拍摄，所述彩色图像由彩色相机拍摄；

针对所述深度图像，获得所述检测对象的至少四个深度图角点在空间坐标系下的坐标，其中，所述至少四个深度图角点处于不同平面上；

获得彩色图像上的至少四个彩色图角点的像素坐标，所述至少四个彩色图角点与所述至少四个深度图角点相对应；

基于所述至少四个彩色图角点的像素坐标计算所述长方体检测对象的体积参数。

2.根据权利要求1所述的方法，其特征在于，所述深度图像和所述彩色图像通过以下方法进行配准：在相同场景下，利用相同的方法对所述深度相机和所述彩色相机进行标定。

3.根据权利要求1所述的方法，其特征在于，针对所述深度图像，获得所述检测对象的至少四个深度图角点在空间坐标系下的坐标包括：

基于深度值的变化将所述深度图像分割为多个分割区域；

将每个分割区域中的像素点转换为点云；

对于每个分割区域的点云进行平面拟合，并获得所拟合的平面在空间坐标系下的方程；

基于各个分割区域的平面方程以及点云，获得至少四个深度图角点的坐标。

4.根据权利要求3所述的方法，其特征在于，将每个区域中的像素点转换为点云包括：

针对一个分割区域，利用所述深度相机的内部参数，将所述分割区域中的所有像素点转换为空间坐标系下的坐标点，所有坐标点的集合形成了所述分割区域的点云。

5.根据权利要求3所述的方法，其特征在于，基于各个区域的平面方程以及点云，获得至少四个深度图角点的坐标包括：

基于所有分割区域的平面方程，搜索出彼此之间平面法向垂直并且相互邻近的三个平面，计算所述三个平面的相交点的坐标，所述相交点为其中一个深度图角点；

其他深度图角点的坐标通过以下方式获得：

基于所述相交点的坐标和两个平面的平面方程，获得以所述相交点作为起点，沿所述两个平面交线延伸的射线的方程，其中，所述两个平面为彼此之间平面法向垂直并且相互邻近的三个平面中的其中两个；

计算所述两个平面所属分割区域的云点与另一个平面的距离，确定距离最大值；

基于所述相交点的坐标、所述射线的方程以及所述距离的最大值，确定在所述射线上的一个深度图角点的坐标。

6.根据权利要求1所述的方法，其特征在于，获得彩色图像上的至少四个彩色图角点的像素坐标包括：

利用所述彩色相机的内部参数，将所述至少四个深度图角点投影至所述彩色图像上；

在每一个深度图角点投影的设定范围内应用角点检测算法，确定与所述深度图角点对应的彩色图角点的像素坐标。

7.根据权利要求1所述的方法，其特征在于，基于所述至少四个彩色图角点的像素坐标获得所述长方体检测对象的长宽高和/或体积包括：

利用所述彩色相机的内部参数，将所述至少四个彩色图角点的像素坐标转换为空间坐标系下的坐标点，通过各个彩色图角点之间的距离计算长方体检测对象的体积参数，所述体积参数包括长、宽、高、体积中的至少一种。

8.一种体积测量装置，其特征在于，所述装置用于测量长方体检测对象的体积参数，包括：

图像获取单元，用于获得所述检测对象的深度图像以及与所述深度图像配准的彩色图像，其中，所述深度图像由深度相机拍摄，所述彩色图像由彩色相机拍摄；

第一角点获取单元，用于获得所述检测对象的至少四个深度图角点在空间坐标系下的坐标，其中，所述至少四个深度图角点处于不同平面上；

第二角点获取单元，用于获得彩色图像上的至少四个彩色图角点的像素坐标，所述至少四个彩色图角点与所述至少四个深度图角点相对应；

计算单元，用于基于所述至少四个彩色图角点的像素坐标计算所述长方体检测对象的体积参数。

9.一种计算设备，其特征在于，所述设备用于从长方体检测对象的深度图像和与所述深度图像配准的彩色图像中获取所述检测对象的体积参数，所述深度图像由深度相机拍摄，所述彩色图像由彩色相机拍摄，所述设备包括：内部总线，以及通过内部总线连接的存储器、处理器和外部接口；其中，

所述外部接口，用于获得所述检测对象的深度图像以及与所述深度图像配准的彩色图像；

所述存储器，用于存储体积测量对应的机器可读指令；

所述处理器，用于读取所述存储器上的所述机器可读指令，并执行所述指令以实现如下操作：

针对所述深度图像，获得所述检测对象的至少四个深度图角点在空间坐标系下的坐标，其中，所述至少四个深度图角点处于不同平面上；

获得彩色图像上的至少四个彩色图角点的像素坐标，所述至少四个彩色图角点与所述至少四个深度图角点相对应；

基于所述至少四个彩色图角点的像素坐标计算所述长方体检测对象的体积参数。

10.一种体积测量系统，其特征在于，所述系统用于测量长方体检测对象的体积参数，包括：深度相机、彩色相机以及计算设备，其中，

所述深度相机，用于拍摄所述检测对象的深度图像；

所述彩色相机，用于拍摄所述检测对象的彩色图像，所述深度相机与所述彩色相机经过配准；

所述计算设备，用于针对所述深度图像，获得所述检测对象的至少四个深度图角点在空间坐标系下的坐标，其中，所述至少四个深度图角点处于不同平面上；获得彩色图像上的至少四个彩色图角点的像素坐标，所述至少四个彩色图角点与所述至少四个深度图角点相对应；基于所述至少四个彩色图角点的像素坐标计算所述长方体检测对象的体积参数。

11.根据权利要求10所述的系统，其特征在于，所述深度相机和所述彩色相机搭载在同一手持设备平台上。