CN118857160A - 一种基于多面镜的反射式全向视觉三维测量系统 - Google Patents

Abstract

本发明涉及一种基于多面镜的反射式全向视觉三维测量系统，通过相机图像特征提取与深度数据结合实现单目三维测量，属于视觉测量领域。本发明提出的系统主要由图像采集模块、反射模块、测距模块、图像处理与三维重建模块和支撑固定机构组成，反射模块将全向360°的测量目标光线反射入相机，图像采集模块对反射光线成像，得到全向图像并传输至计算机，测距模块获取测量目标到系统的深度数据并传输至计算机，计算机中的图像处理与三维重建模块对图像进行降噪和特征提取等操作，结合深度数据实现三维测量，各个模块之间通过支撑固定机构相连接，组成反射式全向视觉三维测量系统。本发明所述系统通过激光跟踪仪辅助标定内、外参数，使用标定的内、外参数实现测量目标点高精度三维测量。测量结果可用于大型弱纹理结构件面型展开质量评估和振动反馈抑制等，对机械制造和国防工业领域具有重要意义。

Description

一种基于多面镜的反射式全向视觉三维测量系统

技术领域

本发明涉及一种基于多面镜的反射式全向视觉三维测量系统，采用远近程复合式测量架构，利用反射镜和相机获取全向360°视场范围，通过激光跟踪仪实现系统内、外参数高精度标定，结合测距系统获取的目标深度数据完成待测目标实时三维重建，本发明主要属于视觉测量领域。

背景技术

在我国国防工业和机械制造领域中，对天线等大型弱纹理结构件的实时三维测量具有重要意义，不仅能够保证结构件工作时的质量和性能，还能在结构件进行挠性振动时对工作状态进行实时分析。面向大型弱纹理结构件，传统三维测量方法的视场范围有限，通常涉及到视场拼接问题。一些经典方法，例如多相机组网测量方法会引入坐标系转换误差，利用转台进行旋转扫描则会引入额外的旋转转置定位误差。而8反射式全向视觉方法采用反射镜对目标场景进行反射，避免引入额外误差，在不损失精度的前提下可以极大地提升测量效率。

反射式全向视觉三维测量技术目前被广泛应用于机器人导航、虚拟现实、自动驾驶等领域，常见的反射镜形状包括球面镜、锥面镜、抛物面镜、平面镜等。曲面镜会导致相机图像发生显著扭曲和畸变，传统图像处理算法不再适用。因此，本发明采用平面镜对目标场景进行反射，将多个平面镜组成十二面体形状，分别构成近程测量系统和远程测量系统，一次性捕获从近至远的全向目标，在相机中成像后传输给计算机，通过算法实现高精度三维测量。

发明内容

本发明的技术解决问题是：大型弱纹理结构件通常具有面型尺寸大、包含折叠展开式结构、控制点粘贴位置有限等约束，对其开展三维测量存在难度高、测量精度低、实时性差的问题。本发明提出一种基于多面镜的反射式全向视觉三维测量系统，通过反射镜实现全向目标场景一次性获取，采用激光跟踪仪对内、外参数实现高精度标定，结合测距系统实现目标高精度实时三维重建。

本发明涉及一种基于多面镜的反射式全向视觉三维测量系统，主要包含以下部分：

图像采集模块(1)：由近程相机和远程相机组成，呈上下排列结构，近程相机位于下方，负责对3-18米范围内的目标场景成像，远程相机位于上方，负责对15-50米范围内的目标场景成像，50米处测量精度优于3mm；

反射模块(2)：由多面体反射镜构成，多片平面镜以固定角度组成十二面体形状，负责对目标场景光线进行反射，反射光线被图像采集模块捕获，实现全向360°成像；

测距模块(3)：由激光测距仪构成，负责获取系统到目标测量点的距离，将其转换为深度数据以重建目标测量点的三维坐标；

图像处理与三维重建模块(4)：主要由计算机构成，通过自主开发的相关软件对相机图像进行降噪、特征提取等处理，用三维重建算法计算目标测量点的三维坐标；

支撑固定机构(5)：主要由上下底板、相机固定板、支撑杆、传输线缆组成，负责支撑系统结构、固定其他模块，将系统稳定地安装在测量位置处。

本发明的技术解决方案是：一种基于多面镜的反射式全向视觉三维测量系统，其特征在于：主要由图像采集模块(1)、反射模块(2)、测距模块(3)、图像处理与三维重建模块(4)和支撑固定机构(5)组成。系统在测量之前使用平面靶标和激光跟踪仪实现内、外参数的标定。来自目标测量点的光线照射到反射模块上，经由反射镜反射到图像采集模块中，通过相机成像后经数据线传输至计算机中，测距模块获取系统到目标测量点之间的距离作为深度值，经数据线传输至计算机中，使用图像处理与三维重建模块对目标测量点实现三维测量。

本发明所述系统内、外参数的标定方法为采用激光跟踪仪辅助的平面靶标标定法，使用五大圆平面靶标在不同位置处摆放成不同姿态，使用相机拍摄平面靶标图像，在图像中提取圆心特征，计算得到相机内参数矩阵，其中包括等效焦距、主点坐标、畸变参数。激光跟踪仪用于获取布设在场景中的标准靶球的空间三维坐标，用系统采集得到标准靶球的二维像素坐标，结合相机内参数，采用PnP算法计算得到系统外参数，即系统虚拟相机在世界坐标系下的位置姿态。

本发明所述系统三维重建方法，通过激光测距仪获取目标测量点到系统的深度数据，测距系统坐标系和世界坐标系之间的转换关系提前通过激光跟踪仪标定完成。在待测目标上粘贴高反光圆形标志点，使用系统对全向目标场景成像，提取圆形标志点圆心二维坐标，结合深度数据计算标志点圆心的空间三维坐标。计算过程涉及像素坐标系、图像坐标系、相机坐标系和世界坐标系之间的转换，已知系统内、外参数即可实现高精度三维重建。

本发明与现有技术相比的优点在于：

(1)本发明利用反射镜对目标场景光线实现反射，能够一次性获取全向360°目标，避免引入多视场拼接误差和旋转误差等影响测量精度的因素，采用远近程相结合的创新性复合式系统架构，同时实现远程和近程测量，具有精度高、效率高、体积小、易安装的优点。

(2)本发明采用激光跟踪仪辅助的内、外参数标定方法，不需额外投射光源，在实验室环境光源条件下即可完成标定，激光跟踪仪的标定精度高，操作简单，在建立全局坐标系后，一次性将多个虚拟相机坐标系全部统一在全局坐标系下，得到多个虚拟相机坐标系之间的转换关系，不需逐个相机单独标定，提升了标定效率。

总之，本发明所述的一种基于多面镜的反射式全向视觉三维测量系统，用激光跟踪仪辅助标定系统参数与测距系统位置，采用多面镜实现全向测量目标的一次性采集与快速准确三维重建，其结果可用于判断大型弱纹理结构件的振动抑制或展开型面评估。

附图说明

图1为本发明所述的一种基于多面镜的反射式全向视觉三维测量系统结构示意图，该图中，1为图像采集模块，2为反射模块，3为测距模块，4为图像处理与三维重建模块，5为支撑固定机构；其中，1和3分别与计算机相连，利用线缆实现数据传输；1和2之间通过5实现固定连接；4为计算机中的软件模块。

图2为本发明的实施流程图。

图3为本发明的标定场景示意图，该图中，6为激光跟踪仪，7为标准靶球。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案做进一步说明。

本发明提出一种基于多面镜的反射式全向视觉三维测量系统，系统结构如图1所示，由图像采集模块(1)、反射模块(2)、测距模块(3)、图像处理与三维重建模块(4)、支撑固定机构(5)组成，分为远程和近程两个子系统，子系统之间通过激光跟踪仪标定将坐标系统一至全局坐标系下，实现数据拼接融合。测量目标发出的光线经平面镜反射后进入相机，在镜中成正立等大的虚像，物距和像距大小相等，物体和虚像连线与镜面垂直，到镜面的距离相等。由于光路是可逆的，上述过程也可以看作相机经平面镜反射，在镜中形成虚拟相机，对实际物体成像。虚拟相机的内参数与实际相机相同，外参数受到平面镜位置、形状、大小的影响。本发明所述系统使用多片平面镜组合拼接成一个十二面体反射镜，每一片平面镜都会形成一个虚拟相机，整个反射模块会形成十二个成环绕状排布的虚拟相机。

本发明的实施流程如图2所示，首先使用激光跟踪仪辅助标定建立全局坐标系，通过反射模块捕获周围6个方向视场，由高分辨率工业相机采集全向图像并传输至计算机，使用测距模块获得待测目标到测量系统的深度值d并传输至计算机，在数据处理阶段通过标志点识别与特征提取算法，确定标志点圆心在图像中的像素坐标(u,v)，经计算求得标志点圆心三维坐标，实现被测目标的高精度三维测量。本发明所述的三维重建计算过程如下：

设系统内、外参数矩阵分别为

其中，(u₀,v₀)为图像主点坐标，即图像像素坐标系中光轴投影坐标。(fx,fy)为等效焦距。R为旋转矩阵，T为平移向量。则标志点圆心在相机坐标系下的坐标为

在世界坐标系下的坐标为

即可得到标志点圆心的空间三维坐标，对所有圆形标志点进行上述计算，即可完成全部标志点三维重建，测量结果数据可以用于判断目标结构件实时形变情况和振动反馈。

本发明所述的系统标定方法分为内参数标定和外参数标定。根据相机理想针孔模型，世界坐标系下的空间点P＝(X_W,Y_W,Z_W)与它在相机像平面上的像素坐标(u,v)的关系可表示为

其中，s为比例系数，M₁,M₂分别为系统内参数矩阵和外参数矩阵，γ是不垂直因子，通常情况下取γ＝0。相机坐标系下的空间点P＝(X_C,Y_C,Z_C)的归一化图像坐标(x,y)为

在标定系统内参数时，将世界坐标系建立在平面靶标上，设靶标放置在世界坐标系Z＝0处，则有

设单应性矩阵为

其中，s'为常数因子。上式中H的计算是使实际图像坐标m_i与标定时计算出的图像坐标m_i之间的残差最小化，目标函数为

计算出单应性矩阵H的最优解后，即可求解得到系统内参数矩阵M₁。

系统的外参数标定使用激光跟踪仪(6)建立全局坐标系，利用标准靶球(7)将每个虚拟相机坐标系统一至全局坐标系下，即可建立各个虚拟相机之间的位姿关系。系统外参数标定场景布置如图3所示，具体操作步骤如下：

1、将激光跟踪仪的标准靶球球座固定布置在系统视场范围内，使用激光跟踪仪获取世界坐标系下靶球的球心坐标{P₁,P₂,P₃,...,P_n}；

2、将球座上的标准靶球替换为相同球径的转换球，使用本发明所述系统拍摄转换球图像，提取全向图像中转换球的圆心坐标{m₁,m₂,m₃,...,m_n}，与激光跟踪仪的靶球顺序一一对应；

3、使用n点透视位姿求解法(Perspective-n-Point，PnP)计算虚拟相机坐标系与世界坐标系之间的位姿转换关系，得到所有虚拟相机在世界坐标系下的绝对位姿后，即可计算出每个虚拟相机相对于其他虚拟相机的位姿关系，得到外参数矩阵M₂。

上述步骤3中的PnP算法是指利用世界坐标系中的n个特征点与其在图像中的对应像点，计算出投影关系，从而获得相机位姿。使用上述方法即可实现反射式全向视觉三维测量系统标定。

Claims (4)

1.一种基于多面镜的反射式全向视觉三维测量系统，其特征在于，包括下列模块：

图像采集模块(1)：由一台近程相机和一台远程相机组成，负责对待测目标进行图像采集，近程相机位于系统下层，工作距离范围为3-18米，远程相机位于系统上层，工作距离范围为15-50米，50米处测量精度优于3mm；

反射模块(2)：由多面体反射镜构成，呈十二面体形状，负责将待测目标光线反射进入相机，遵循光学平面反射原理，其中位于上部的六片反射镜为远程反射镜，位于下部的六片反射镜为近程反射镜；

测距模块(3)：由激光测距仪构成，固定在系统上方，负责对待测目标进行测距，得到的深度距离信息用于待测目标的三维重建；

图像处理与三维重建模块(4)：由计算机和相关软件构成，负责将相机拍摄到的待测目标图像进行降噪、特征提取等处理，结合待测目标深度信息进行三维重建；

支撑固定机构(5)：由上下底板、相机固定板、支撑杆、传输线缆组成，负责支撑系统结构，固定图像采集模块和反射模块，将相机图像传输到计算机中。

2.一种基于多面镜的反射式全向视觉三维测量系统，其特征在于：待测目标发出的光线经多面体反射镜反射，被相机捕获，传输到计算机中，通过软件进行图像处理与三维重建，结合测距模块得到的深度信息，得到待测目标的空间三维坐标，根据光路可逆原理，每个相机被六个平面镜反射，分别形成六个相机虚像，等价为虚拟相机对周围360°待测目标成像，经过一次拍摄即对周围六个方向同时实现三维重建。

3.一种基于多面镜的反射式全向视觉三维测量系统，其特征在于：本发明所述系统内参数采用五大圆平面靶标标定，使用本发明拍摄若干张不同位置姿态的靶标图像，利用靶标图像计算得到等效焦距、主点坐标、畸变参数等系统内参数；本发明所述系统外参数通过激光跟踪仪(6)实现辅助标定，在工作范围内布设若干标准靶球(7)，使用激光跟踪仪获取靶球球心的三维坐标，使用系统获取转换球球心的二维像素坐标，通过PnP算法计算得到系统外参数，即系统坐标系与世界坐标系之间的转换矩阵。

4.一种基于多面镜的反射式全向视觉三维测量系统，其特征在于：本发明所述系统通过内外参数和待测目标深度值实现单目三维重建，拍摄粘贴在待测目标上的圆形标志点，在图像中提取标志点圆心，获取标志点圆心像素坐标，使用测距系统获取标志点圆心深度值，通过系统内参数计算出标志点圆心在相机坐标系下的坐标，结合系统外参数计算得到标志点圆心在世界坐标系下的三维坐标，通过标志点的空间位置，判断待测目标的实时位置变化。