CN111637850A - 一种无需主动视觉标记的自拼接表面点云测量方法 - Google Patents

Abstract

本发明涉及一种无需主动视觉标记的自拼接表面点云测量方法，本发明的方法中相机和投影仪都可以独立自由移动，以获取一系列调制结构光图像，这些图像共同覆盖整个待测表面，对图像解码得到编码信息，根据这一系列的调制结构光图像中的编码信息实现稠密的像素匹配，同时建立不同位姿下图像的空间几何约束，然后在运动恢复结构的框架下，计算并优化与每个图像相对应的相机和投影仪的全局位姿和重建三维点的空间坐标，最终输出在一个统一的世界坐标系下的整个待测表面上的点云数据，该方法不需要事先布设标记点，也不需要单独的点云拼接后处理算法，同时操作灵活，可以适用于不同大小和形状的物体的精确测量。

Description

一种无需主动视觉标记的自拼接表面点云测量方法

技术领域

本发明属于视觉测量的技术领域。具体涉及一种无需主动视觉标记的自拼接表面点云测量方法。

背景技术

结构光测量方法由于其高精度、非接触、成本低等优点而广泛地用于物体表面点云测量中。典型的结构光测量系统由计算机、工业相机和投影仪组成，相机与投影仪需要固定在一起保证其相对位姿不变。在实际测量之前，需要对系统进行标定，以通过结构光图像中的编码信息来建立投影仪和相机图像平面之间的匹配关系。在测量过程中，相机捕获由投影仪投出经物体表面调制的结构光图像，而计算机则将捕获的图像解码并解算得到稠密的三维点云。

在物体的实际测量过程中，由于相机和投影仪视场的限制、物体本身的遮挡等原因，普通的结构光测量系统的单次测量通常只能获取物体表面的局部点云。因此，需要围绕物体移动结构光测量系统进行多次测量，移动过程中需确保相机和投影仪相对位姿不变。但是，这样每次测量的数据都在不同的坐标系下，为了得到完整的表面三维形状，需要将这些局部的测量数据拼接到一个统一的坐标系中。

目前针对点云的拼接问题有大量的研究，但是在实际应用中依然存在一些问题。工业中常用的方法是将视觉标记点贴在被测物体表面或附近，通过对齐两片相邻点云中包含的三个或更多公共视觉标记点的空间坐标，从而将两片点云拼接在一起。但是随着点云拼接次数的增加，会造成拼接误差累积。大连理工大学提出了一种基于标记点的三维数据拼接方法(CN201610221163.1)，其预先在全局坐标系中重建所有视觉标记点的三维坐标。然后利用这些视觉标记点的空间坐标作为参考，将局部点云数据融合到全局坐标系中，以减少拼接误差。此方法需要一台额外的相机获取标记点的图像，并且需要事先计算全局参考点的坐标。

使用视觉标记进行多站位测量点云数据拼接需要在被测物体表面逐个粘贴视觉标记点，测量前的准备工作繁琐费时，测量后还需要繁琐的标记去除工作，而且在某些情况下，根本不允许将标记点粘附在被测物体表面。同时使用标记点的另一个缺点是无法准确获得标记点所覆盖区域的物体表面点云。

南京航空航天大学提出了一种无编码点的工业摄影测量方法(CN201910202543.4)，其利用投影仪投射散斑图像到被测物体表面，相机从多个位姿拍摄覆盖有散斑的物体图像，根据散斑纹理建立不同图像之间的匹配关系，进而重建出三维点云。但是该方法只允许相机在不同位姿下拍摄，而投影仪只能在一个位姿保持固定不动。在测量大多数物体时，由于物体自身的遮挡和投影仪视场的限制，投影仪在一个位姿固定不动并不能实现整个待测物体表面的点云测量。

另外，也有对结构光测量系统在不同站位下测量的点云数据通过软件进行拼接的方法。这类拼接算法都是基于对两片点云重叠区域中共同特征的提取，通常包括两个步骤：首先，根据提取的共同特征计算出二片点云之间的粗略坐标变换；然后，使用迭代最近点(ICP)算法对结果进行优化。这类测得分片点云数据后再用软件进行拼接的方法，其拼接效果在很大程度上取决于被测物体的形状以及是否能够在不同片点云上提取到共同的特征，许多工业零件不满足此要求。因此，这种拼接方法对于很多工业测量问题并不适用。

发明内容

本发明的目的是针对背景技术提出的问题，提供一种无需主动视觉标记的自拼接表面点云测量方法。与传统的相机和投影仪固联在一起的结构光测量方法不同，本发明的方法中相机和投影仪都可以独立自由移动，以获取一系列调制结构光图像，这些图像共同覆盖整个待测表面。只需要根据这一系列图像，以及本发明提出的测量方法即可直接输出在一个统一的世界坐标系下的整个待测表面上的点云数据。该方法不需要事先布设标记点，也不需要单独的点云拼接后处理算法，同时操作灵活，可以适用于不同大小和形状的物体的精确测量。

为实现上述技术目的，本发明采取的技术方案为：

一种无需主动视觉标记的自拼接表面点云测量方法，其中：包括以下步骤：

步骤一、准备一个可以独立自由移动并能对被测物体投射结构光的投影仪、一个可以独立自由移动并对被测物体拍摄图像的工业相机以及一台计算机，投影仪能投出包裹有编码信息的结构光，所述计算机用于控制投影仪投影、相机拍摄以及三维点云测量所需的分析与计算；标定相机和投影仪的内参数，其中投影仪和相机都采用基于透视投影的内参数模型；

步骤二、调整被测物体、投影仪和相机之间的相对位置和姿态，使物体的待测表面位于投影仪和相机的公共视场内；

步骤三、保持被测物体、投影仪和相机三者之间的相对位姿不动，投影仪投影一组结构光图像集P到被测物体表面，投射每幅结构光到被测物体表面的同时相机拍摄一幅经物体表面调制的结构光场图像，加入到物体结构光图像集S中，并判断S是否包含物体的完整表面，若否则执行步骤四，若是则执行步骤五；

步骤四、保持被测物体位姿不变，并保持相机和投影仪二者中的任意一个的位姿不变，灵活改变相机和投影仪二者中的另外一个的位姿，相对位姿改变后的相机和投影仪应有助于扩大被测量区域且保证二者之间仍然具有共同的视场，然后返回步骤三；

步骤五、将物体结构光图像集S中所有图像进行解码得到每个像素对应的编码信息，对于固定投影仪位姿、相机移动拍摄的结构光图像组，由于包裹有编码信息的结构光位置固定，故各结构光图像根据编码信息匹配像素，对于相机固定而投影仪位置改变的结构光图像组，由于相机拍摄的像素位置固定，故根据相机拍摄的二组结构光图像以像素直接在图像之间进行匹配，进而构建所有位姿下相机和投影仪对应图像之间的空间几何约束关系，

步骤六、建立统一坐标系，通过运动恢复结构的框架，解算出相机和投影仪在统一坐标系中的所有位姿；

步骤七、通过稠密的像素匹配对和相机、投影仪所有视角的位姿在统一坐标系中重建出被测物体表面完整的点云数据；

步骤八、将事先标定的相机内参、投影仪内参以及计算得到的所有位姿参数和空间点的三维坐标作为优化变量，利用光速平差整体优化，并根据优化后的参数最终重建出被测物体完整的点云数据。

为优化上述结构形式，采取的具体措施还包括：

上述的步骤五中，构建所有位姿下相机和投影仪对应图像之间的空间几何约束关系的具体方法为：记N_p为投影仪移动总次数，P_i为投影仪i次移动后的位姿，i＝1,2,...,N_P，记N_i为投影仪姿态P_i保持不动时相机移动的总次数，记

为投影仪姿态P_i保持不动时第j次移动相机后的相机位姿，j＝1,2,...,N_i，记相机在位姿

下拍摄的调制图像集为

投影仪在位姿P_i下投射的结构光图像为P_i；对于j∈{1,2,...,N_i}，k∈{1,2,...,N_i}，i∈{1,2,...,N_P}，且j≠k的任意调制图像集

P_i和

利用相同的编码信息进行图像之间的匹配；对于i∈{1,2,...,N_i-1}的任意两组调制图像集

和

将相同像素直接作为匹配像素对进行图像之间的匹配。

上述的步骤六中，通过运动恢复结构的框架实现相机位姿

和投影仪位姿P_i位姿的解算，其中j∈{1,2,...,N_i}，i∈{1,2,...,N_P}，首先从所有匹配的像素中离散采样，得到相对稀疏的匹配点集，利用稀疏匹配点集建立空间几何约束，然后利用运动恢复结构框架解算出投影仪P_i和相机

在统一坐标系中的位姿。

上述的运动恢复结构框架为增量式的三维重建框架。

上述的步骤六中，以投影仪P₁所带坐标系为统一坐标系，恢复相机

和投影仪P₁的位姿，根据这对投影仪和相机之间的匹配的像素对估算出投影仪与相机的基础矩阵F,进而计算出本质矩阵E,分解本质矩阵E得到相机

和投影仪P₁的位姿，通过空间几何约束，增量式地解算出各个拍摄位置下相机和投影仪在统一坐标系中的位姿。

步骤六中，估算出投影仪与相机的基础矩阵F后，根据公式

得到本质矩阵E，再利用SVD分解得到相机位姿

和投影仪位姿P₁；

其中X₁与X₂是相机

和投影仪P₁上匹配点的齐次坐标，F为基础矩阵，E为本质矩阵，K₁为投影仪内参矩阵，K₂为相机内参矩阵。

上述的编码信息为相位。

与传统的相机和投影仪固联在一起的结构光测量方法不同，本发明的方法中相机和投影仪都可以独立自由移动，以获取一系列调制结构光图像，这些图像共同覆盖整个待测表面。只需要根据这一系列图像，以及本发明提出的测量方法即可直接输出在一个统一的世界坐标系下的整个待测表面上的点云数据。该方法直接通过投影仪投出包裹有编码信息的结构光，不需要事先布设标记点，也不需要单独的点云拼接后处理算法，同时操作灵活，可以适用于不同大小和形状的物体的精确测量。

本发明具有以下优点：

(1)本发明提出的三维点云测量方法，可以依据测量对象的不同，在给定的拍摄规则下独立地调整投影仪和相机的相对位置，避免了由于常规的固定结构造成测量数据不完整的问题，可以适用于不同大小和形状的物体的精确测量；

(2)本发明提出的自拼接点云测量方法，不需要在物体表面布设视觉标记点，也不需要额外的步骤或者设备用于数据拼接，方便快捷，而且对于无纹理无特征的被测物体，都可以稳定可靠地实现点云数据自拼接。

(3)本发明提出的点云测量方法，经过全局优化直接输出统一的世界坐标系下的点云数据，可以有效降低分片点云数据依次拼接带来的累积误差。

附图说明

图1为本发明方法测量过程示意图；

图2为本发明方法流程图；

图3为本发明方法具体实施例中的被测量对象的部分采集图像；

图4为本发明方法具体实施例中相机和投影仪的各位置姿态可视化效果；

图5为本发明方法具体实施例中重建的点云数据及其表面重建结果。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

本实施例的一种无需主动视觉标记的自拼接表面点云测量方法，其中：包括以下步骤：

步骤一、准备一个可以独立自由移动并能对被测物体投射结构光的投影仪、一个可以独立自由移动并对被测物体拍摄图像的工业相机以及一台计算机，投影仪能投出包裹有编码信息的结构光，所述计算机用于控制投影仪投影、相机拍摄以及三维点云测量所需的分析与计算；标定相机和投影仪的内参数，其中投影仪和相机都采用基于透视投影的内参数模型；

步骤二、调整被测物体、投影仪和相机之间的相对位置和姿态，使物体的待测表面位于投影仪和相机的公共视场内；

步骤三、保持被测物体、投影仪和相机三者之间的相对位姿不动，投影仪投影一组结构光图像集P到被测物体表面，投射每幅结构光到被测物体表面的同时相机拍摄一幅经物体表面调制的结构光场图像，加入到物体结构光图像集S中，并判断S是否包含物体的完整表面，若否则执行步骤四，若是则执行步骤五；

步骤四、保持被测物体位姿不变，并保持相机和投影仪二者中的任意一个的位姿不变，灵活改变相机和投影仪二者中的另外一个的位姿，相对位姿改变后的相机和投影仪应有助于扩大被测量区域且保证二者之间仍然具有共同的视场，然后返回步骤三；

步骤五、将物体结构光图像集S中所有图像进行解码得到每个像素对应的编码信息，对于固定投影仪位姿、相机移动拍摄的结构光图像组，由于包裹有编码信息的结构光位置固定，故各结构光图像根据编码信息匹配像素，对于相机固定而投影仪位置改变的结构光图像组，由于相机拍摄的像素位置固定，故根据相机拍摄的二组结构光图像以像素直接在图像之间进行匹配，进而构建所有位姿下相机和投影仪对应图像之间的空间几何约束关系，

步骤六、建立统一坐标系，通过运动恢复结构的框架，解算出相机和投影仪在统一坐标系中的所有位姿；

步骤七、通过稠密的像素匹配对和相机、投影仪所有视角的位姿在统一坐标系中重建出被测物体表面完整的点云数据；

步骤八、将事先标定的相机内参、投影仪内参以及计算得到的所有位姿参数和空间点的三维坐标作为优化变量，利用光速平差整体优化，并根据优化后的参数最终重建出被测物体完整的点云数据。

步骤五中，构建所有位姿下相机和投影仪对应图像之间的空间几何约束关系的具体方法为：记N_p为投影仪移动总次数，P_i为投影仪i次移动后的位姿，i＝1,2,...,N_P，记N_i为投影仪姿态P_i保持不动时相机移动的总次数，记

为投影仪姿态P_i保持不动时第j次移动相机后的相机位姿，j＝1,2,...,N_i，记相机在位姿

下拍摄的调制图像集为

投影仪在位姿P_i下投射的结构光图像为P_i；对于j∈{1,2,...,N_i}，k∈{1,2,...,N_i}，i∈{1,2,...,N_P}，且j≠k的任意调制图像集

P_i和

利用相同的编码信息进行图像之间的匹配；对于i∈{1,2,...,N_i-1}的任意两组调制图像集

和

将相同像素直接作为匹配像素对进行图像之间的匹配。

步骤六中，通过运动恢复结构的框架实现相机位姿

和投影仪位姿P_i位姿的解算，其中j∈{1,2,...,N_i}，i∈{1,2,...,N_P}，首先从所有匹配的像素中离散采样，得到相对稀疏的匹配点集，利用稀疏匹配点集建立空间几何约束，然后利用运动恢复结构框架解算出投影仪P_i和相机

在统一坐标系中的位姿。

运动恢复结构框架为增量式的三维重建框架。

步骤六中，以投影仪P₁所带坐标系为统一坐标系，恢复相机

和投影仪P₁的位姿，根据这对投影仪和相机之间的匹配的像素对估算出投影仪与相机的基础矩阵F,进而计算出本质矩阵E,分解本质矩阵E得到相机

和投影仪P₁的位姿，通过空间几何约束，增量式地解算出各个拍摄位置下相机和投影仪在统一坐标系中的位姿。

步骤六中，估算出投影仪与相机的基础矩阵F后，根据公式

得到本质矩阵E，再利用SVD分解得到相机位姿

和投影仪位姿P₁的；

其中X₁与X₂是相机

和投影仪P₁上匹配点的齐次坐标，F为基础矩阵，E为本质矩阵，K₁为投影仪内参矩阵，K₂为相机内参矩阵。

编码信息为相位。

以下给出本方法具体实施例：

待测量对象为一个脱瓷花瓶，其形状是封闭的，单个位姿的测量无法获得完整的表面形状数据。本实例所投射的结构光是水平和竖直的三频率四相移的条纹结构光，其编码信息为相位。首先分别求解单个频率的包裹相位，利用不同频率的包裹相位作差，最终提取结构光中的水平和竖直的绝对相位。

本实施例中使用的是AVTMako G-158B PoE相机，成像分辨率2045x2045像素，搭配使用焦距为35mm的Schneider Kreuznach工业相机镜头,投影仪为德州仪器的DLP4500，分辨率为1240x912像素。采用基于平面标定法方法对相机和投影仪的透视投影参数进行了标定。

本实施例中的待测物体是360度封闭的，为了重建出完整的物体，相机的位置是需要改变的，但是需要确保相机改变时投影仪的位置保持不变，同样地，投影仪的位置也需要改变，需确保投影仪改变时相机的位置保持不变并在投影仪变化前后各拍摄一组条纹图像。最终采集得到的图像如图3所示。

在获取了被测物体表面的完整图像数据后，首先对图像进行解码得到每个像素对应的绝对相位，对于固定投影仪位姿下所有相机拍摄的结构光图像，根据相位信息匹配像素，对于投影仪位置改变，则根据相同位姿下相机拍摄的二组结构光图像相同像素直接匹配，进而构建所有视角下图像的空间几何约束。

然后通过运动恢复结构的框架实现相机

和投影仪P_i的位姿解算，其中j∈{1,2,...,N_i}，i∈{1,2,...,N_P}。结果如图4所示，小空间多边形代表工业相机，大空间多边形代表投影仪。具体地，实施例采用了增量式的三维重建框架。首先恢复相机

和投影仪P₁的位姿(以投影仪P₁为统一坐标系)，根据这对投影仪和相机之间的匹配的像素对估算出投影仪与相机的基础矩阵F,进而计算出本质矩阵E,分解本质矩阵E得到相机

和投影仪P₁的位姿，通过空间几何约束，增量式地解算出各个拍摄位置下相机和投影仪在统一坐标系中的位姿，最终通过光束平差优化相机和投影仪的内参、相机和投影仪的所有位姿、空间点的坐标，得到优化后的参数，最终重建出物体完整的点云数据，如图5所示。重建效果表明本发明的一种无需主动视觉标记点的自拼接表面点云测量方法在实际应用中是可行的，并且操作方便，重建数据完整。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (6)

1.一种无需主动视觉标记的自拼接表面点云测量方法，其特征是：包括以下步骤：

步骤一、准备一个可以独立自由移动并能对被测物体投射结构光的投影仪、一个可以独立自由移动并对被测物体拍摄图像的工业相机以及一台计算机，所述的投影仪能投出包裹有编码信息的结构光，所述计算机用于控制投影仪投影、相机拍摄以及三维点云测量所需的分析与计算；标定相机和投影仪的内参数，其中投影仪和相机都采用基于透视投影的内参数模型；

步骤二、调整被测物体、投影仪和相机之间的相对位置和姿态，使物体的待测表面位于投影仪和相机的公共视场内；

步骤三、保持被测物体、投影仪和相机三者之间的相对位姿不动，投影仪投影一组结构光图像集P到被测物体表面，投射每幅结构光到被测物体表面的同时相机拍摄一幅经物体表面调制的结构光场图像，加入到物体结构光图像集S中，并判断S是否包含物体的完整表面，若否则执行步骤四，若是则执行步骤五；

步骤四、保持被测物体位姿不变，并保持相机和投影仪二者中的任意一个的位姿不变，灵活改变相机和投影仪二者中的另外一个的位姿，相对位姿改变后的相机和投影仪应有助于扩大被测量区域且保证二者之间仍然具有共同的视场，然后返回步骤三；

步骤五、将物体结构光图像集S中所有图像进行解码得到每个像素对应的编码信息，对于固定投影仪位姿、相机移动拍摄的物体表面调制结构光图像组，根据调制结构光图像组编码信息进行相机图像像素与投影仪图像像素之间的匹配，对于相机固定而投影仪位置改变的物体表面调制结构光图像组，直接将投影仪位置改变前和投影仪位置改变后相机拍摄的二组调制结构光图像的同位置像素进行匹配，进而构建所有位姿下相机和投影仪对应图像之间的空间几何约束关系。

步骤六、建立统一坐标系，通过运动恢复结构的框架，解算出相机和投影仪在统一坐标系中的所有位姿；

步骤七、通过稠密的像素匹配对和相机、投影仪所有视角的位姿在统一坐标系中重建出被测物体表面完整的点云数据；

步骤八、将事先标定的相机内参、投影仪内参以及计算得到的所有位姿参数和空间点的三维坐标作为优化变量，利用光束平差整体优化，并根据优化后的参数最终重建出被测物体完整的点云数据。

2.根据权利要求1所述的一种无需主动视觉标记的自拼接表面点云测量方法，其特征是：步骤五中，构建所有位姿下相机和投影仪对应图像之间的空间几何约束关系的具体方法为：记N_p为投影仪移动总次数，P_i为投影仪i次移动后的位姿，i＝1,2,...,N_P，记N_i为投影仪姿态P_i保持不动时相机移动的总次数，记

为投影仪姿态P_i保持不动时第j次移动相机后的相机位姿，j＝1,2,...,N_i，记相机在位姿

下拍摄的调制图像集为

投影仪在位姿P_i下投射的结构光图像为P_i；对于j∈{1,2,...,N_i}，k∈{1,2,...,N_i}，i∈{1,2,...,N_P}，且j≠k的任意调制图像集

P_i和

利用相同的编码信息进行图像之间的匹配；对于i∈{1,2,...,N_i-1}的任意两组调制图像集

和

将相同像素直接作为匹配像素对进行图像之间的匹配。

3.根据权利要求2所述的一种无需主动视觉标记的自拼接表面点云测量方法，其特征是：步骤六中，通过运动恢复结构的框架实现相机位姿

和投影仪位姿P_i的解算，其中j∈{1,2,...,N_i}，i∈{1,2,...,N_P}，首先从所有匹配的像素中离散采样，得到相对稀疏的匹配点集，相对稀疏的匹配点集中的匹配点对个数不少于8个，利用稀疏匹配点集建立空间几何约束，然后利用运动恢复结构框架解算出投影仪P_i和相机

在统一坐标系中的位姿。

4.根据权利要求3所述的一种无需主动视觉标记的自拼接表面点云测量方法，其特征是：所述的运动恢复结构框架为增量式的三维重建框架。

5.根据权利要求4所述的一种无需主动视觉标记的自拼接表面点云测量方法，其特征是：步骤六中，以投影仪在位姿P₁下所在坐标系为统一坐标系，根据相机位姿

和投影仪位姿P₁之间的离散采样的匹配像素对估算出投影仪与相机的基础矩阵F,进而计算出本质矩阵E,分解本质矩阵E得到

在统一坐标系中的位姿，然后通过空间几何约束，增量式地依次解算出各个拍摄位置下相机和投影仪在统一坐标系中的位姿。

6.根据权利要求5所述的一种无需主动视觉标记的自拼接表面点云测量方法，其特征是：步骤六中，估算出投影仪与相机的基础矩阵F后，根据公式

得到本质矩阵E，再利用SVD分解得到相机

和投影仪P₁的位姿；

其中X₁与X₂是相机

和投影仪P₁上匹配点的齐次坐标，F为基础矩阵，E为本质矩阵，K₁为投影仪内参数矩阵，K₂为相机内参数矩阵。

Images