CN117911529A - 位姿标定方法、系统及计算设备 - Google Patents

Abstract

本发明公开了一种位姿标定方法、系统及计算设备，方法包括：采集棋盘格标定板的第一图像数据、第一激光距离数据；从多个姿态采集棋盘格标定板的第二图像数据、第二激光距离数据；基于第一图像数据确定面阵相机内参；建立面阵相机坐标系、棋盘格标定板坐标系，确定激光测距传感器的直线方程；基于面阵相机内参、棋盘格标定板的图像数据确定面阵相机外参，并确定面阵相机坐标系下的激光光斑坐标集；获取棋盘格标定板的多组坐标与距离对应数据；基于激光光斑坐标集拟合形成空间直线并将其方向向量确定为激光测距传感器的光轴方向向量值，进而确定激光测距传感器的原点坐标值。本发明能够提高激光测距传感器与面阵相机之间空间位姿关系的标定效率。

Description

位姿标定方法、系统及计算设备

技术领域

本发明涉及视觉检测技术领域，尤其涉及一种位姿标定方法、位姿标定系统及计算设备。

背景技术

目前，随着视觉检测和图像处理技术的发展，单一的二维检测手段已经无法满足更高需求的检测，面阵相机-激光测距传感器组合系统因其结构简单、测量效率高、非接触等特点，已经广泛应用于三维测量领域。在实际工程应用中，通过工业六轴机械臂搭载视觉传感器实现产品的高柔性灵活测量，已经成为机器视觉应用领域的研究热点。

对激光测距传感器与面阵相机的空间位姿进行标定，是实现面阵相机-激光测距传感器组合系统进行三维测量的关键步骤，现有技术中广泛使用的标定方法是通过三维标定块完成，该标定方法无法与相机标定流程进行有效结合，增加了标定复杂度。

因此，需要一种用于标定激光测距传感器与面阵相机之间的空间位姿的位姿标定方法，以解决上述技术方案中存在的问题。

发明内容

为此，本发明提供一种位姿标定方法及位姿标定系统，以解决或至少缓解上面存在的问题。

根据本发明的一个方面，提供一种位姿标定方法，用于对测量系统的激光测距传感器与面阵相机之间的空间位姿关系进行标定，所述测量系统前方适于布置棋盘格标定板，所述方法包括：通过所述面阵相机、所述激光测距传感器，分别采集布置在多个位置的棋盘格标定板的第一图像数据、第一激光距离数据；通过所述面阵相机、所述激光测距传感器，分别从多个姿态采集布置在预定位置的棋盘格标定板的第二图像数据、第二激光距离数据；基于布置在多个位置的棋盘格标定板的第一图像数据，对所述面阵相机进行内参标定，以确定面阵相机内参；在所述面阵相机的光学中心建立面阵相机坐标系，并在棋盘格标定板的第一个角点处建立棋盘格标定板坐标系，基于面阵相机坐标系下的激光测距传感器的原点坐标和激光测距传感器的光轴方向向量，确定所述激光测距传感器的直线方程；基于所述面阵相机内参、当前棋盘格标定板的图像数据，确定当前棋盘格标定板对应的面阵相机外参；基于所述面阵相机外参和棋盘格标定板坐标系，确定激光光斑在面阵相机坐标系下的多个坐标值，得到面阵相机坐标系下的激光光斑坐标集；对各第一图像数据、各第二图像数据、各第一激光距离数据以及各第二激光距离数据进行处理，得到棋盘格标定板的多组坐标与距离对应数据；基于面阵相机坐标系下的激光光斑坐标集拟合形成空间直线，将所述空间直线的方向向量确定为所述激光测距传感器的光轴方向向量值；基于所述激光测距传感器的直线方程，以及所述激光测距传感器的光轴方向向量值、所述多组坐标与距离对应数据，确定激光测距传感器的原点坐标值。

可选地，在根据本发明的位姿标定方法中，基于面阵相机坐标系下的激光测距传感器的原点坐标和激光测距传感器的光轴方向向量，确定所述激光测距传感器的直线方程，包括：在面阵相机坐标系下，定义激光测距传感器的原点坐标为P_L0(x_L0,y_L0,z_L0)，定义激光测距传感器的光轴方向向量为基于定义的激光测距传感器的原点坐标和激光测距传感器的光轴方向向量，确定激光测距传感器直线方程为其中，t表示长度系数；基于所述激光测距传感器的直线方程，以及所述激光测距传感器的光轴方向向量值、所述多组坐标与距离对应数据，确定激光测距传感器的原点坐标值，包括：将所述激光测距传感器的光轴方向向量值、所述多组坐标与距离对应数据代入所述激光测距传感器的直线方程，并将对应的激光距离数据作为长度系数值，得到激光测距传感器的原点坐标值。

可选地，在根据本发明的位姿标定方法中，基于所述面阵相机外参和棋盘格标定板坐标系，确定激光光斑在面阵相机坐标系下的多个坐标值，包括：定义激光光斑在棋盘格标定板坐标系下的坐标；基于所述面阵相机外参、激光光斑在棋盘格标定板坐标系下的坐标，确定激光光斑在面阵相机坐标系下的表达式；在面阵相机的像平面建立像素坐标系；基于所述像素坐标系，确定激光光斑在棋盘格标定板上向行列方投影点坐标大小的比例关系式；基于所述激光光斑在面阵相机坐标系下的表达式、所述比例关系式，确定激光光斑在面阵相机坐标系下的多个坐标值。

可选地，在根据本发明的位姿标定方法中，基于所述激光光斑在面阵相机坐标系下的表达式、所述比例关系式，确定激光光斑在面阵相机坐标系下的多个坐标值，包括：基于所述激光光斑在面阵相机坐标系下的表达式、所述比例关系式、激光光斑行方向投影点、激光光斑列方向投影点、像平面上行方向消影点、像平面上列方向消影点，来确定激光光斑在面阵相机坐标系下的多个坐标值。

可选地，在根据本发明的位姿标定方法中，还包括：预先将所述测量系统的激光测距传感器和面阵相机安装在工业机械臂末端，以使所述面阵相机成像清晰时所述激光测距传感器在棋盘格标定板上形成的激光光斑位于所述面阵相机的视野中心；保持激光测距传感器与面阵相机的相对位置固定不变。

可选地，在根据本发明的位姿标定方法中，通过所述面阵相机、所述激光测距传感器，分别从多个姿态采集布置在预定位置的棋盘格标定板的第二图像数据、第二激光距离数据，包括：将棋盘格标定板布置在预定位置；通过工业机械臂驱动所述面阵相机和所述激光测距传感器运动，以便所述面阵相机、所述激光测距传感器，分别从多个姿态采集布置在预定位置的棋盘格标定板的第二图像数据、第二激光距离数据。

可选地，在根据本发明的位姿标定方法中，还包括：基于分别从多个姿态采集的布置在预定位置的棋盘格标定板的第二图像数据，对所述面阵相机与工业机械臂进行手眼标定。

可选地，在根据本发明的位姿标定方法中，通过所述面阵相机、所述激光测距传感器，分别采集布置在多个位置的棋盘格标定板的第一图像数据、第一激光距离数据，包括：分别将棋盘格标定板布置在所述测量系统前方的多个位置；针对布置在每一位置的棋盘格标定板，通过所述面阵相机、所述激光测距传感器分别采集棋盘格标定板的第一图像数据、第一激光距离数据。

可选地，在根据本发明的位姿标定方法中，基于面阵相机坐标系下的激光光斑坐标集拟合形成空间直线，包括：利用最小二乘法，基于面阵相机坐标系下的激光光斑坐标集拟合形成空间直线。

根据本发明的一个方面，提供一种位姿标定系统，包括：测量系统，所述测量系统前方适于布置棋盘格标定板，包括：面阵相机，适于采集布置在多个位置的棋盘格标定板的第一图像数据，并适于从多个姿态采集布置在预定位置的棋盘格标定板的第二图像数据；激光测距传感器，适于采集布置在多个位置的棋盘格标定板的第一激光距离数据，并适于从多个姿态采集布置在预定位置的棋盘格标定板的第二激光距离数据；计算设备，适于执行如上所述的方法，来对测量系统的激光测距传感器与面阵相机之间的空间位姿关系进行标定。

根据本发明的一个方面，提供一种计算设备，包括：至少一个处理器；存储器，存储有程序指令，其中，程序指令被配置为适于由上述至少一个处理器执行，所述程序指令包括用于执行如上所述的位姿标定方法的指令。

根据本发明的一个方面，提供一种存储有程序指令的可读存储介质，当该程序指令被计算设备读取并执行时，使得该计算设备执行如上所述的位姿标定方法。

根据本发明的技术方案，提供了一种位姿标定方法及系统，在对测量系统的激光测距传感器与面阵相机之间的空间位姿关系进行标定的过程中，结合了面阵相机的自标定和手眼标定流程，在采集棋盘格标定板的图像数据时，同步采集了激光测距传感器的激光距离数据，这样，能够同时完成对面阵相机标定以及对激光测距传感器与面阵相机之间的空间位姿关系标定。可见，根据本发明的位姿标定方法，能够将激光测距传感器与面阵相机之间的空间位姿关系标定流程，与相机标定流程进行有效结合，这样，能够提高对激光测距传感器与面阵相机之间的空间位姿关系进行标定的效率，降低标定流程的复杂度。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明实施例提供的位姿标定系统100的示意图；

图2示出了根据本发明实施例提供的计算设备200的示意图；

图3示出了根据本发明实施例提供的位姿标定方法300的流程示意图；

图4示出了根据本发明实施例中对激光测距传感器与面阵相机之间的空间位姿关系进行标定的原理示意图；

图5示出了根据本发明实施例中激光光斑在像平面上向行列方向投影点的定位示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

根据本发明实施例提供的位姿标定方法，可以在位姿标定系统中实施，能够实现对测量系统的激光测距传感器与面阵相机之间的空间位姿关系进行标定。下面介绍本发明的位姿标定系统。

图1示出了根据本发明实施例提供的位姿标定系统100的示意图。

在本发明的实施例中，如图1所示，位姿标定系统100包括测量系统、与测量系统通信连接的计算设备200。测量系统包括面阵相机110和激光测距传感器120。计算设备200可以与测量系统的激光测距传感器120、面阵相机110分别通信连接，这样，计算设备200可以控制激光测距传感器120、面阵相机110的操作，并且可以从激光测距传感器120、面阵相机110获取数据。

在本发明的实施例中，测量系统的前方可以布置棋盘格标定板。面阵相机110可以采集布置在多个位置的棋盘格标定板的第一图像数据，并可以从多个姿态采集布置在预定位置的棋盘格标定板的第二图像数据。

激光测距传感器120可以采集布置在多个位置的棋盘格标定板的第一激光距离数据，并可以从多个姿态采集布置在预定位置的棋盘格标定板的第二激光距离数据。

具体地，计算设备200可以控制面阵相机110采集布置在多个位置的棋盘格标定板的第一图像数据，并可以控制激光测距传感器120采集布置在多个位置的棋盘格标定板的第一激光距离数据。另外，计算设备200可以控制面阵相机110从多个姿态采集布置在预定位置的棋盘格标定板的第二图像数据，并可以控制激光测距传感器120从多个姿态采集布置在预定位置的棋盘格标定板的第二激光距离数据。

在一些实施例中，可以预先将测量系统的激光测距传感器120和面阵相机110安装在工业机械臂末端，以使面阵相机110成像清晰时激光测距传感器120在棋盘格标定板上形成的激光光斑位于面阵相机110的视野中心。具体地，可以通过调整激光测距传感器120的安装角度，保证面阵相机110成像清晰时激光测距传感器120在棋盘格标定板上形成的激光光斑位于面阵相机110的视野中心，这样安装完成。在安装完成后，保持激光测距传感器120与面阵相机110的相对位置固定不变。在一种实现方式中，工业机械臂具体可以是六轴工业机械臂。

在本发明的实施例中，计算设备200可以基于布置在多个位置的棋盘格标定板的第一图像数据，来对面阵相机110进行内参标定，以确定面阵相机110内参。在一些实施例中，计算设备200还可以基于分别从多个姿态采集的布置在预定位置的棋盘格标定板的第二图像数据，来对面阵相机110和工业机械臂进行手眼标定。

在本发明的实施例中，计算设备200可以在面阵相机110的光学中心建立面阵相机坐标系，并且，可以在棋盘格标定板的第一个角点处建立棋盘格标定板坐标系。随后，可以基于面阵相机坐标系下的激光测距传感器120的原点坐标和激光测距传感器120的光轴方向向量，确定激光测距传感器120的直线方程。

在本发明的实施例中，计算设备200可以基于面阵相机110内参M、当前棋盘格标定板的图像数据，确定当前棋盘格标定板对应的面阵相机110外参。

在本发明的实施例中，计算设备200可以基于面阵相机110外参和棋盘格标定板坐标系，确定激光光斑在面阵相机坐标系下的多个坐标值，基于激光光斑在面阵相机坐标系下的多个坐标值可得到面阵相机坐标系下的激光光斑坐标集。

在本发明的实施例中，计算设备200可以对各第一图像数据、各第二图像数据、各第一激光距离数据以及各第二激光距离数据，进行处理，得到棋盘格标定板的多组坐标与距离对应数据。

在本发明的实施例中，计算设备200可以基于面阵相机坐标系下的激光光斑坐标集拟合形成空间直线，并可以将该空间直线的方向向量确定为激光测距传感器120的光轴方向向量值。

在本发明的实施例中，计算设备200可以基于上述得到的激光测距传感器120的直线方程，以及激光测距传感器120的光轴方向向量值、多组坐标与距离对应数据，来确定激光测距传感器120的原点坐标值。

需要说明的是，相机的内参和外参与相机的几何属性和姿态有关。相机的内参是描述相机内部属性的参数，包括焦距、主点(光学中心)坐标、畸变系数等。内参通常在相机标定时确定，因为它们通常对于特定相机型号是固定的，不随时间变化。一旦相机内参被确定，在相机的使用过程中内参通常保持不变。相机的外参是描述相机在世界坐标系中的位置和姿态的参数，通常包括旋转矩阵和平移向量。外参在不同的相机位置或拍摄时刻可能会发生变化。如果相机不发生位置和方向的变化，例如相机固定在一个固定位置，那么外参在很长一段时间内可能保持不变。然而，如果相机的位置或方向发生变化，例如移动相机或更改拍摄角度，外参会随之变化。

在本发明的实施例中，计算设备200可以被配置为执行本发明实施例中的位姿标定方法300。本发明实施例中的位姿标定方法300将在下文详述。

根据本发明实施例提供的位姿标定系统100，在对测量系统的激光测距传感器与面阵相机之间的空间位姿关系进行标定的过程中，结合了面阵相机的自标定和手眼标定流程，在采集棋盘格标定板的图像数据时，同步采集了激光测距传感器的激光距离数据，这样，能够同时完成对面阵相机标定以及对激光测距传感器与面阵相机之间的空间位姿关系标定。可见，根据本发明的位姿标定系统，能够将激光测距传感器与面阵相机之间的空间位姿关系标定流程，与相机标定流程进行有效结合，这样，能够提高对激光测距传感器与面阵相机之间的空间位姿关系进行标定的效率，降低标定流程的复杂度。

在一些实施例中，位姿标定系统100中的计算设备200可以实现为以下计算设备200。

图2示出了根据本发明实施例提供的计算设备200的示意图。如图2所示，在基本配置中，计算设备200包括至少一个处理单元202和系统存储器204。根据一个方面，取决于计算设备的配置和类型，处理单元202可以实现为处理器。系统存储器204包括但不限于易失性存储(例如，随机存取存储器)、非易失性存储(例如，只读存储器)、闪速存储器、或者这样的存储器的任何组合。根据一个方面，系统存储器204中包括操作系统205。

根据一个方面，操作系统205例如适合于控制计算设备200的操作。此外，示例结合图形库、其他操作系统、或任何其他应用程序而被实践，并且不限于任何特定的应用或系统。在图2中通过在虚线内的那些组件示出了该基本配置。根据一个方面，计算设备200具有额外的特征或功能。例如，根据一个方面，计算设备200包括额外的数据存储设备(可移动的和/或不可移动的)，例如磁盘、光盘、或者磁带。这样额外的存储在图2中是由可移动存储设备209和不可移动存储设备210示出的。

如在上文中所陈述的，根据一个方面，在系统存储器204中存储有程序模块203。根据一个方面，程序模块203可以包括一个或多个应用程序，本发明不限制应用程序的类型，例如应用程序可以包括：电子邮件和联系人应用程序、文字处理应用程序、电子表格应用程序、数据库应用程序、幻灯片展示应用程序、绘画或计算机辅助应用程序、网络浏览器应用程序等。

在本发明的实施例中，程序模块203可以包括执行本发明的位姿标定方法300的多条程序指令。

根据一个方面，可以在包括分立电子元件的电路、包含逻辑门的封装或集成的电子芯片、利用微处理器的电路、或者在包含电子元件或微处理器的单个芯片上实践示例。例如，可以经由其中在图2中所示出的每个或许多组件可以集成在单个集成电路上的片上系统(SOC)来实践示例。根据一个方面，这样的SOC设备可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元、以及各种应用功能，其全部作为单个集成电路而被集成(或“烧”)到芯片基底上。当经由SOC进行操作时，可以经由在单个集成电路(芯片)上与计算设备200的其他组件集成的专用逻辑来对在本文中所描述的功能进行操作。还可以使用能够执行逻辑操作(例如AND、OR和NOT)的其他技术来实践本发明的实施例，所述其他技术包括但不限于机械、光学、流体、和量子技术。另外，可以在通用计算机内或在任何其他任何电路或系统中实践本发明的实施例。

根据一个方面，计算设备200还可以具有一个或多个输入设备212，例如键盘、鼠标、笔、语音输入设备、触摸输入设备等。还可以包括输出设备214，例如显示器、扬声器、打印机等。前述设备是示例并且也可以使用其他设备。计算设备200可以包括允许与其他计算设备218进行通信的一个或多个通信连接216。合适的通信连接216的示例包括但不限于：RF发射机、接收机和/或收发机电路；通用串行总线(USB)、并行和/或串行端口。

如在本文中所使用的术语计算机可读介质包括计算机存储介质。计算机存储介质可以包括以任何用于存储信息(例如，计算机可读指示、数据结构、或程序模块)的方法或技术来实现的易失性的和非易失性的、可移动的和不可移动的介质。系统存储器204、可移动存储设备209、和不可移动存储设备210都是计算机存储介质的示例(即，存储器存储)。计算机存储介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦只读存储器(EEPROM)、闪速存储器或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储、盒式磁带、磁带、磁盘存储器或其他磁存储设备、或者可用于存储信息并且可以由计算设备200访问的任何其他制品。根据一个方面，任何这样的计算机存储介质都可以是计算设备200的一部分。计算机存储介质不包括载波或其他经传播的数据信号。

根据一个方面，通信介质是由计算机可读指令、数据结构、程序模块、或者经调制的数据信号(例如，载波或其他传输机制)中的其他数据实施的，并且包括任何信息传递介质。根据一个方面，术语“经调制的数据信号”描述了具有一个或多个特征集或者以将信息编码在信号中的方式改变的信号。作为示例而非限制，通信介质包括诸如有线网络或直接有线连接之类的有线介质，以及诸如声学、射频(RF)、红外线的、以及其他无线介质之类的无线介质。

在根据本发明的实施例中，计算设备200被配置为执行根据本发明的位姿标定方法300。计算设备200包括一个或多个处理器、以及存储有程序指令的一个或多个可读存储介质，当程序指令被配置为由一个或多个处理器执行时，使得计算设备200执行本发明实施例中的位姿标定方法300。

需要说明的是，通过执行本发明实施例中的位姿标定方法300，可以对测量系统的激光测距传感器与面阵相机之间的空间位姿关系进行标定，进而通过标定后的测量系统能够实现三维测量。

在本发明的实施例中，测量系统前方可以布置棋盘格标定板。

在本发明的实施例中，计算设备200可以与测量系统的激光测距传感器、面阵相机分别通信连接，这样，计算设备200可以控制激光测距传感器、面阵相机的操作，并且可以从激光测距传感器、面阵相机获取数据。

图3示出了根据本发明实施例提供的位姿标定方法300的流程示意图。下面将结合图3，来介绍本发明实施例提供的位姿标定方法300。

如图3所示，位姿标定方法300包括以下步骤310～390。

在步骤310中，通过面阵相机、激光测距传感器，分别采集布置在多个位置的棋盘格标定板的第一图像数据、第一激光距离数据。

在本发明的实施例中，计算设备200可以控制面阵相机、激光测距传感器的操作，具体可以控制面阵相机采集布置在多个位置的棋盘格标定板的第一图像数据，并可以控制激光测距传感器采集布置在多个位置的棋盘格标定板的第一激光距离数据。进而，计算设备200可以获取面阵相机采集的布置在多个位置的棋盘格标定板的第一图像数据，并可以获取激光测距传感器采集的布置在多个位置的棋盘格标定板的第一激光距离数据。这样，能够实现计算设备200通过面阵相机、激光测距传感器，分别采集布置在多个位置的棋盘格标定板的第一图像数据、第一激光距离数据。

在一些实施例中，在执行步骤310的过程中，可以分别将棋盘格标定板布置在测量系统前方的多个位置，针对布置在每一位置的棋盘格标定板，可以通过面阵相机、激光测距传感器分别采集棋盘格标定板的第一图像数据、第一激光距离数据。具体地，在每次将棋盘格标定板布置在测量系统前方的一个位置后，计算设备200可以通过面阵相机采集该位置的棋盘格标定板的第一图像数据，并且通过激光测距传感器采集棋盘格标定板的第一激光距离数据，之后，可以将棋盘格标定板布置在测量系统前方的另一个位置，然后，计算设备200可以通过面阵相机采集另一个位置的棋盘格标定板的第一图像数据，并且通过激光测距传感器采集另一个位置的棋盘格标定板的第一激光距离数据，通过重复上述步骤，可以实现通过面阵相机、激光测距传感器，分别采集布置在多个位置的棋盘格标定板的第一图像数据、第一激光距离数据。

在步骤320中，通过面阵相机、激光测距传感器，分别从多个姿态采集布置在预定位置的棋盘格标定板的第二图像数据、第二激光距离数据。

在本发明的实施例中，计算设备200可以控制面阵相机从多个姿态采集布置在预定位置的棋盘格标定板的第二图像数据，并可以控制激光测距传感器从多个姿态采集布置在预定位置的棋盘格标定板的第二激光距离数据。进而，计算设备200可以获取面阵相机从多个姿态采集的布置在预定位置的棋盘格标定板的第二图像数据，并可以获取激光测距传感器从多个姿态采集的布置在预定位置的棋盘格标定板的第二激光距离数据。这样，能够实现计算设备200通过面阵相机、激光测距传感器，分别从多个姿态采集布置在预定位置的棋盘格标定板的第二图像数据、第二激光距离数据。

在一些实施例中，在执行步骤310和320之前，可以预先将测量系统的激光测距传感器和面阵相机安装在工业机械臂末端，以使面阵相机成像清晰时激光测距传感器在棋盘格标定板上形成的激光光斑位于面阵相机的视野中心。具体地，可以通过调整激光测距传感器的安装角度，保证面阵相机成像清晰时激光测距传感器在棋盘格标定板上形成的激光光斑位于面阵相机的视野中心，这样安装完成。在安装完成后，保持激光测距传感器与面阵相机的相对位置固定不变。在一种实现方式中，工业机械臂具体可以是六轴工业机械臂。

在执行步骤320的过程中，可以先将棋盘格标定板布置在预定位置，随后，通过工业机械臂驱动面阵相机和激光测距传感器运动，以此来多次调整面阵相机和激光测距传感器的姿态，以便面阵相机、激光测距传感器分别从多个姿态采集布置在预定位置的棋盘格标定板的第二图像数据、第二激光距离数据。具体地，在将棋盘格标定板布置在预定位置后，可通过工业机械臂驱动面阵相机和激光测距传感器运动，在每次调整面阵相机和激光测距传感器的姿态后，计算设备200可以通过面阵相机从当前姿态采集布置在预定位置的棋盘格标定板的第二图像数据，并可以通过激光测距传感器从当前姿态采集布置在预定位置的棋盘格标定板的第二激光距离数据，这样，在多次调整面阵相机和激光测距传感器的姿态后，能实现通过面阵相机、激光测距传感器分别从多个姿态采集布置在预定位置的棋盘格标定板的第二图像数据、第二激光距离数据。

应当指出，在本发明的实施例中，对步骤310和步骤320的执行顺序不做限制，可以先执行步骤310再执行步骤320，也可以先执行步骤320再执行步骤310。

在执行步骤310之后，可以执行步骤330。

在步骤330中，计算设备200可以基于布置在多个位置的棋盘格标定板的第一图像数据(即，通过执行步骤310得到的第一图像数据)，来对面阵相机进行内参标定，以确定面阵相机内参M。

需要说明的是，在面阵相机自标定流程中，本来就需要采集布置在多个位置的棋盘格标定板的图像数据，而本发明的位姿标定方法300中，通过步骤310与面阵相机的内参标定流程进行了有效结合，即，在采集布置在多个位置的棋盘格标定板的第一图像数据时，同步采集了布置在多个位置的棋盘格标定板的第一激光距离数据。

在一些实施例中，计算设备200还可以基于分别从多个姿态采集的布置在预定位置的棋盘格标定板的第二图像数据(即，通过执行步骤320得到的第二图像数据)，来对面阵相机与工业机械臂进行手眼标定。

需要说明的是，在面阵相机与工业机械臂的手眼标定流程中，本来就需要从多个姿态采集布置在预定位置的棋盘格标定板的图像数据，而本发明的位姿标定方法300中，通过步骤320与手眼标定流程进行了有效结合，即，在从多个姿态采集布置在预定位置的棋盘格标定板的第二图像数据时，同步从多个姿态采集布置在预定位置的棋盘格标定板的第二激光距离数据。

在步骤340中，可以在面阵相机(当前位姿的面阵相机)的光学中心建立面阵相机坐标系O_c-X_cY_cZ_c，并且，可以在棋盘格标定板的第一个角点处建立棋盘格标定板坐标系O_b-X_bY_bZ_b。随后，可以基于面阵相机坐标系下的激光测距传感器的原点坐标和激光测距传感器的光轴方向向量，确定激光测距传感器的直线方程。

需要说明的是，激光测距传感器的直线方程，是关于面阵相机坐标系下的激光测距传感器的原点坐标和激光测距传感器的光轴方向向量的关系式。

在本发明的实施例中，在将测量系统的激光测距传感器和面阵相机安装在工业机械臂末端，以使面阵相机成像清晰时激光测距传感器在棋盘格标定板上形成的激光光斑位于面阵相机的视野中心之后，便可执行步骤340。步骤340可以在步骤310～330之后执行，也可以在步骤310～330之前执行。本发明对这里的执行顺序不做限制。

在步骤350中，可以基于面阵相机内参M、当前棋盘格标定板的图像数据，确定当前棋盘格标定板对应的面阵相机外参(即，当前位姿的面阵相机的外参)。

在一些实施例中，可以从前述采集的各第一图像数据、各第二图像数据中获取当前棋盘格标定板的图像数据。

接着，在步骤360中，可以基于面阵相机外参和棋盘格标定板坐标系，确定激光光斑在面阵相机坐标系下的多个坐标值，基于激光光斑在面阵相机坐标系下的多个坐标值可得到面阵相机坐标系下的激光光斑坐标集。

在步骤370中，可以对各第一图像数据、各第二图像数据、各第一激光距离数据以及各第二激光距离数据，进行处理，得到棋盘格标定板的多组坐标与距离对应数据。

可以理解，各第一图像数据、各第二图像数据分别为不同位置的棋盘格标定板的图像数据。

在一些实施例中，可以针对棋盘格标定板的每个第一图像数据或者每个第二图像数据，分别获取面阵相机的像平面上棋盘格标定板首行角点直线与末行角点直线的交点，进而，可以结合各第一激光距离数据以及各第二激光距离数据，来得到棋盘格标定板的多组坐标与距离对应数据。

在步骤380中，可以基于面阵相机坐标系下的激光光斑坐标集拟合形成空间直线，并可以将该空间直线的方向向量确定为激光测距传感器的光轴方向向量值。

在一些实施例中，可以利用最小二乘法，基于面阵相机坐标系下的激光光斑坐标集拟合形成空间直线。

最后，在步骤390中，基于步骤340得到的激光测距传感器的直线方程，以及步骤380得到的激光测距传感器的光轴方向向量值、步骤370得到的多组坐标与距离对应数据，来确定激光测距传感器的原点坐标值。

这样，通过执行上述步骤310～390，能够完成激光测距传感器与面阵相机之间的空间位姿关系的标定。

在完成对测量系统的激光测距传感器与面阵相机之间的空间位姿关系的标定后，可以通过标定后的测量系统来对目标对象进行三维测量。其中，可以将激光测距传感器采集的目标对象的距离数据，转换为该目标对象的二维成像深度数据，以实现对目标对象的三维测量。

在一些实施例中，步骤340中，基于面阵相机坐标系下的激光测距传感器的原点坐标和激光测距传感器的光轴方向向量，确定激光测距传感器的直线方程的具体方式如下：在面阵相机坐标系下，定义激光测距传感器的原点坐标为P_L0(x_L0,y_L0,z_L0)，定义激光测距传感器的光轴方向向量为基于定义的激光测距传感器的原点坐标和激光测距传感器的光轴方向向量，可以确定激光测距传感器直线方程为：

式中，t表示长度系数。

基于此，在步骤390中，可以将激光测距传感器的光轴方向向量值、多组坐标与距离对应数据代入激光测距传感器的直线方程式(1)，并将对应的激光距离数据作为长度系数值(t)，能够得到激光测距传感器的原点坐标值。

在一些实施例中，步骤350中，基于所述面阵相机内参M、当前棋盘格标定板的图像数据，确定的当前棋盘格标定板对应的面阵相机外参可表示为T(R,t)，其中，t表示长度系数。

步骤370中，基于面阵相机外参和棋盘格标定板坐标系，确定激光光斑在面阵相机坐标系下的多个坐标值的具体方式如下：首先可以定义激光光斑在棋盘格标定板坐标系下的坐标。随后，基于面阵相机外参、激光光斑在棋盘格标定板坐标系下的坐标，可以确定激光光斑在面阵相机坐标系下的表达式。之后，可以在面阵相机的像平面建立像素坐标系，基于像素坐标系，来确定激光光斑在当前棋盘格标定板上向行列方投影点坐标大小的比例关系式。进而，基于激光光斑在面阵相机坐标系下的表达式、比例关系式，来确定激光光斑在面阵相机坐标系下的多个坐标值。

在一些实施例中，可以基于激光光斑在面阵相机坐标系下的表达式、上述比例关系式、激光光斑行方向投影点(即，激光光斑在像平面上向行方向投影点)、激光光斑列方向投影点(即，激光光斑在像平面上向列方向投影点)、像平面上行方向消影点、像平面上列方向消影点，来确定激光光斑在面阵相机坐标系下的多个坐标值。

图4示出了根据本发明实施例中对激光测距传感器与面阵相机之间的空间位姿关系进行标定的原理示意图；图5示出了根据本发明实施例中激光光斑在像平面上向行列方向投影点的定位示意图。

下面结合图4和图5，来介绍本发明实施例中确定激光光斑在面阵相机坐标系下的多个坐标值的具体过程。

首先，可以定义激光光斑在棋盘格标定板坐标系下的坐标为P_b(x_b,y_b,0)。

随后，可以基于面阵相机外参T(R,t)、激光光斑在棋盘格标定板坐标系下的坐标P_b(x_b,y_b,0)，确定激光光斑在面阵相机坐标系下的表达式：

P_c(x_c,y_c,z_c)＝R·P_b+t (2)

式中，t表示长度系数。

接着，可以针对当前位姿的面阵相机110(也即，当前棋盘格标定板对应的面阵相机)，在面阵相机110的像平面建立像素坐标系o-uv，并基于像素坐标系，确定激光测距传感器120形成的激光光斑在棋盘格标定板上向行列方投影点坐标大小的比例关系式。可以定义激光光斑在像平面上的像素坐标(即，激光光斑像素点)为p(u₀,v₀)，棋盘格标定板的第一角点像素坐标为p₁(u₁,v₁)，棋盘格标定板的首行末端角点像素坐标为p₂(u₂,v₂)，棋盘格标定板的首列末端角点像素坐标为p₃(u₃,v₃)，棋盘格标定板的末端角点像素坐标为p₄(u₄,v₄)。

并且，根据透视投影原理，激光光斑在棋盘格标定板上与像平面上向行列方投影点坐标大小比例一致，故而，可以基于像素坐标系来确定激光光斑在棋盘格标定板上向行列方投影点坐标大小的比例关系式(即，激光光斑行方向投影点与激光光斑列方向投影点坐标大小的比例关系式)。比例关系式如下：

式中，p_r(u_r',v_r')、p_c(u_c',v_c')分别表示激光光斑在像平面上向行方向投影点(简称“激光光斑行方向投影点”)、激光光斑在像平面上向列方向投影点(简称“激光光斑列方向投影点”)。W、H分别表示当前棋盘格标定板行、列方向长度，x_b,y_b为P_b点的坐标值。

另外，根据透视投影原理，像平面上列方向消影点与激光光斑像素点p(u₀,v₀)构成的直线与棋盘格标定板首行角点直线的交点，为激光光斑行方向投影点，可通过以下方程得到：

式中，(u_c”,v_c”)为像平面上列方向消影点像素坐标。

相应地，像平面上行方向消影点与激光光斑像素点p(u₀,v₀)构成的直线与棋盘格标定板首列角点直线的交点，为激光光斑列方向投影点，可以通过以下方程得到：

式中，(u_r”,v_r”)为像平面上行方向消影点像素坐标。

根据透视投影原理，像平面上棋盘格标定板首行角点直线与末行角点直线的交点，为像平面上行方向消影点，可通过以下方程得到：

像平面上棋盘格标定板首列角点直线与末列角点直线的交点，为像平面上列方向消影点，可通过以下方程得到：

结合上式(2)-(7)，可以确定P_c(x_c,y_c,z_c)的值，这样能够得到激光光斑在面阵相机坐标系下的多个坐标值。

在一些实施例中，可以针对棋盘格标定板的每个第一图像数据、每个第二图像数据，分别通过上式(6)来获取像平面上棋盘格标定板首行角点直线与末行角点直线的交点，进而，可以结合各第一激光距离数据以及各第二激光距离数据，来得到棋盘格标定板的多组坐标与距离对应数据。

根据本发明的位姿标定方法300，在对测量系统的激光测距传感器与面阵相机之间的空间位姿关系进行标定的过程中，结合了面阵相机的自标定和手眼标定流程，在采集棋盘格标定板的图像数据时，同步采集了激光测距传感器的激光距离数据，这样，能够同时完成对面阵相机标定以及对激光测距传感器与面阵相机之间的空间位姿关系标定。可见，根据本发明的位姿标定方法，能够将激光测距传感器与面阵相机之间的空间位姿关系标定流程，与相机标定流程进行有效结合，这样，能够提高对激光测距传感器与面阵相机之间的空间位姿关系进行标定的效率，降低标定流程的复杂度。

此外，本发明的实施例还包括：A8、如A1-A7中任一项所述的方法，其中，通过所述面阵相机、所述激光测距传感器，分别采集布置在多个位置的棋盘格标定板的第一图像数据、第一激光距离数据，包括：分别将棋盘格标定板布置在所述测量系统前方的多个位置；针对布置在每一位置的棋盘格标定板，通过所述面阵相机、所述激光测距传感器分别采集棋盘格标定板的第一图像数据、第一激光距离数据。

A9、如A1-A8中任一项所述的方法，其中，基于面阵相机坐标系下的激光光斑坐标集拟合形成空间直线，包括：利用最小二乘法，基于面阵相机坐标系下的激光光斑坐标集拟合形成空间直线。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，移动终端一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的位姿标定方法。

以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。

在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

Claims (10)

1.一种位姿标定方法，用于对测量系统的激光测距传感器与面阵相机之间的空间位姿关系进行标定，所述测量系统前方适于布置棋盘格标定板，所述方法包括：

通过所述面阵相机、所述激光测距传感器，分别采集布置在多个位置的棋盘格标定板的第一图像数据、第一激光距离数据；

通过所述面阵相机、所述激光测距传感器，分别从多个姿态采集布置在预定位置的棋盘格标定板的第二图像数据、第二激光距离数据；

基于布置在多个位置的棋盘格标定板的第一图像数据，对所述面阵相机进行内参标定，以确定面阵相机内参；

在所述面阵相机的光学中心建立面阵相机坐标系，并在棋盘格标定板的第一个角点处建立棋盘格标定板坐标系，基于面阵相机坐标系下的激光测距传感器的原点坐标和激光测距传感器的光轴方向向量，确定所述激光测距传感器的直线方程；

基于所述面阵相机内参、当前棋盘格标定板的图像数据，确定当前棋盘格标定板对应的面阵相机外参；

基于所述面阵相机外参和棋盘格标定板坐标系，确定激光光斑在面阵相机坐标系下的多个坐标值，得到面阵相机坐标系下的激光光斑坐标集；

对各第一图像数据、各第二图像数据、各第一激光距离数据以及各第二激光距离数据进行处理，得到棋盘格标定板的多组坐标与距离对应数据；

基于面阵相机坐标系下的激光光斑坐标集拟合形成空间直线，将所述空间直线的方向向量确定为所述激光测距传感器的光轴方向向量值；

基于所述激光测距传感器的直线方程，以及所述激光测距传感器的光轴方向向量值、所述多组坐标与距离对应数据，确定激光测距传感器的原点坐标值。

2.如权利要求1所述的方法，其中，基于面阵相机坐标系下的激光测距传感器的原点坐标和激光测距传感器的光轴方向向量，确定所述激光测距传感器的直线方程，包括：

在面阵相机坐标系下，定义激光测距传感器的原点坐标为P_L0(x_L0,y_L0,z_L0)，定义激光测距传感器的光轴方向向量为

基于定义的激光测距传感器的原点坐标和激光测距传感器的光轴方向向量，确定激光测距传感器直线方程为其中，t表示长度系数；

基于所述激光测距传感器的直线方程，以及所述激光测距传感器的光轴方向向量值、所述多组坐标与距离对应数据，确定激光测距传感器的原点坐标值，包括：

将所述激光测距传感器的光轴方向向量值、所述多组坐标与距离对应数据代入所述激光测距传感器的直线方程，并将对应的激光距离数据作为长度系数值，得到激光测距传感器的原点坐标值。

3.如权利要求1或2所述的方法，其中，基于所述面阵相机外参和棋盘格标定板坐标系，确定激光光斑在面阵相机坐标系下的多个坐标值，包括：

定义激光光斑在棋盘格标定板坐标系下的坐标；

基于所述面阵相机外参、激光光斑在棋盘格标定板坐标系下的坐标，确定激光光斑在面阵相机坐标系下的表达式；

在面阵相机的像平面建立像素坐标系；

基于所述像素坐标系，确定激光光斑在棋盘格标定板上向行列方投影点坐标大小的比例关系式；

基于所述激光光斑在面阵相机坐标系下的表达式、所述比例关系式，确定激光光斑在面阵相机坐标系下的多个坐标值。

4.如权利要求3所述的方法，其中，基于所述激光光斑在面阵相机坐标系下的表达式、所述比例关系式，确定激光光斑在面阵相机坐标系下的多个坐标值，包括：

基于所述激光光斑在面阵相机坐标系下的表达式、所述比例关系式、激光光斑行方向投影点、激光光斑列方向投影点、像平面上行方向消影点、像平面上列方向消影点，来确定激光光斑在面阵相机坐标系下的多个坐标值。

5.如权利要求1-4中任一项所述的方法，其中，还包括：

预先将所述测量系统的激光测距传感器和面阵相机安装在工业机械臂末端，以使所述面阵相机成像清晰时所述激光测距传感器在棋盘格标定板上形成的激光光斑位于所述面阵相机的视野中心；

保持激光测距传感器与面阵相机的相对位置固定不变。

6.如权利要求5所述的方法，其中，通过所述面阵相机、所述激光测距传感器，分别从多个姿态采集布置在预定位置的棋盘格标定板的第二图像数据、第二激光距离数据，包括：

将棋盘格标定板布置在预定位置；

通过工业机械臂驱动所述面阵相机和所述激光测距传感器运动，以便所述面阵相机、所述激光测距传感器，分别从多个姿态采集布置在预定位置的棋盘格标定板的第二图像数据、第二激光距离数据。

7.如权利要求5或6所述的方法，其中，还包括：

基于分别从多个姿态采集的布置在预定位置的棋盘格标定板的第二图像数据，对所述面阵相机与工业机械臂进行手眼标定。

8.一种位姿标定系统，包括：

测量系统，所述测量系统前方适于布置棋盘格标定板，包括：

面阵相机，适于采集布置在多个位置的棋盘格标定板的第一图像数据，并适于从多个姿态采集布置在预定位置的棋盘格标定板的第二图像数据；

激光测距传感器，适于采集布置在多个位置的棋盘格标定板的第一激光距离数据，并适于从多个姿态采集布置在预定位置的棋盘格标定板的第二激光距离数据；

计算设备，适于执行如权利要求1-7中任一项所述的方法，来对测量系统的激光测距传感器与面阵相机之间的空间位姿关系进行标定。

9.一种计算设备，包括：

至少一个处理器；以及

存储器，存储有程序指令，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如权利要求1-7中任一项所述的方法的指令。

10.一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如权利要求1-7中任一项所述方法。