CN102567989A

CN102567989A - 基于双目立体视觉的空间定位方法

Info

Publication number: CN102567989A
Application number: CN2011103908630A
Authority: CN
Inventors: 汤宝平; 宋涛; 习建民
Original assignee: Chongqing University
Current assignee: Chongqing University
Priority date: 2011-11-30
Filing date: 2011-11-30
Publication date: 2012-07-11

Abstract

本发明针对空间定位存在的摄像机标定过程繁琐、定位精度不高问题发明了一种新的基于双目立体视觉的空间定位方法，包括如下步骤：通过对两个摄像机进行标定，求得摄像机的单应性矩阵和畸变系数；获得两个摄像机摄取到的目标点的实际坐标；获得两个摄像机摄取到的目标点的理论坐标；根据两个摄像机摄取到的目标点的理论坐标和单应性矩阵，获得目标点的空间坐标。本发明操作简单方便，综合考虑摄像机镜头畸变和CCD阵列畸变，能自动提取标定点亚像素图像坐标，提高标定效率和精确度，避免约束条件使用不对或已知参数不精确带来的误差并降低了对使用者的专业技术要求。本发明适用于工程测绘、监控、医疗等领域。

Description

基于双目立体视觉的空间定位方法

技术领域

本发明涉及涉及图像处理和机器视觉技术领域，提出了一种基于双目视觉的能实现标定点自动提取和图像畸变校正的空间定位技术。

背景技术

科学技术的发展，自动化程度的提高，空间定位已成为不少应用领域的需求。随着机器视觉技术的发展，利用摄像头采集的图像信息来进行目标定位具有了较大的可行性和更大的优势。如今基于单目立体视觉的定位已经得到了广泛的应用。但是单目视觉得到的是二维数据，丢失了大量的深度信息，造成了定位速度慢、定位精度不可靠。相对而言，双目立体视觉直接模拟人类双眼的处理方式，具有获取物体深度信息的能力，能得到目标点的精确空间位置信息，因而具有更大的研究价值。双目立体视觉技术已越来越多的应用于工程测绘、军事、航天航空、医疗和消防领域。工程测绘上使用基于双目立体视觉技术精确测量三维物体周长，通过双目视觉实现了机器人对磁场分布的快速准确检测。军事上使用机器人上战场，通过机器人上的摄像头定位敌对目标并进行射击能有效降低人员伤亡，医疗上使用机器手做手术，精确定位空间目标点，消防上基于双目空间定位实现快速准确的定位火源，实现自动化灭火、将火灾隐患消灭于火灾早期，最大程度的降低火灾带来的损失。

基于机器视觉的双目空间定位是从多个视点拍摄一个空间物体，得到它在不同角度下的一系列图像，利用多个图像中对应像素之间的差异，计算得到目标物体的三维几何形状和三维空间位置。空间定位通常都需要前期进行摄像头标定，摄像机标定技术是空间物体三维重建的一个重要组成部分，直接影响三维重建的精度，是系统误差的主要来源之一，是从二维图像获得三维信息关键环节，是立体视觉研究的最重要工作之一。基于双目立体视觉定位的标定方法中传统方法可以适用于任意的摄像机模型，但标定精度高标定过程复杂，需要高精度的已知结构信息，而主动视觉标定方法需要已知已知摄像机的某些运动信息，虽然求解过程简单、鲁棒性比较高不能使用于摄像机运动未知和无法控制的场合，摄像机自标定方法仅需要建立图像之间的对应，灵活性强，潜在应用范围广，但鲁棒性不高。

发明内容

本发明的目的在于基于双目立体视觉实现空间定位，解决当前空间定位过程中存在的摄像机标定困难、繁琐、定位误差大等问题。

本发明的目的是这样实现的，基于双目立体视觉的空间定位方法，包括如下步骤：

1)通过对两个摄像机进行标定，求得摄像机的单应性矩阵和畸变系数；

2)获得两个摄像机摄取到的目标点的实际坐标；

3)通过下式，获得两个摄像机摄取到的目标点的理论坐标：

\{\begin{matrix} x_{d} = x_{u} * s + x_{u} (k_{1} r_{u}^{2} + k_{2} r_{u}^{4}) + p_{1} ({3 x}_{u}^{2} + y_{u}^{2}) + 2 p_{2} x_{u} y_{u} \\ y_{d} = y_{u} + y_{u} (k_{1} r_{u}^{2} + k_{2} r_{u}^{4}) + p_{2} ({3 y}_{u}^{2} + x_{u}^{2}) + {2 p}_{1} x_{u} y_{u} \end{matrix}

其中，k₁、k₂是径向畸变系数，p₁ p₂是离心畸变系数，s为图像纵横比畸变系数；

4)根据两个摄像机摄取到的目标点的理论坐标和单应性矩阵，获得目标点的空间坐标。

进一步，所述步骤1)包括如下步骤：

11)摄取标定板图像，所述标定板为平面板，标定板上均匀的排列有标定点，所述标定板具有边框，标定板的一角设有方向标记，所述标定板至少一块；

12)生成标定板描述文件，所述标定板描述文件包括标定板总体尺寸、每个标定点位置信息、标定点直径、标定点间距、标记角方向、标定点行数列数；

13)分离标定板内部区域与背景图像；

14)获得标定点圆心坐标，包括实际图像坐标和空间坐标；

15)根据标定点实际图像坐标和空间坐标，根据以下两式，求取摄像机的单应性矩阵和畸变系数：

z_{c} [\begin{matrix} u \\ v \\ 1 \end{matrix}] = (\begin{matrix} a_{x} & 0 & u_{0} \\ 0 & a_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix}) [\begin{matrix} R & T \end{matrix}] [\begin{matrix} x_{w} \\ y_{w} \\ z_{w} \\ 1 \end{matrix}] = M_{1} M_{2} [\begin{matrix} x_{w} \\ y_{w} \\ z_{w} \\ 1 \end{matrix}] = M [\begin{matrix} x_{w} \\ y_{w} \\ z_{w} \\ 1 \end{matrix}] - - - (1)

其中，(x_w，y_w，z_w)为空间点P的世界坐标，(u，v)空间点P的像素坐标，a_y＝f/d_y是成像平面纵轴轴上尺度因子，a_x＝f/d_x是成像平面横轴上尺度因子；(u₀，v₀)是成像平面的中心点坐标，R为3×3摄像机旋转矩阵，T为3×1摄像机平移矩阵，z_c为未知的尺度因子，M₁是摄像机内部参数，是摄像机内部几何光学特性决定的固有参数，由a_x、a_y、u₀、v₀决定；M₂是摄像机外部参数，完全由摄像机相对于世界坐标系的方位决定；M是单映射矩阵；

\{\begin{matrix} x_{d} = x_{u} * s + x_{u} (k_{1} r_{u}^{2} + k_{2} r_{u}^{4}) + p_{1} ({3 x}_{u}^{2} + y_{u}^{2}) + 2 p_{2} x_{u} y_{u} \\ y_{d} = y_{u} + y_{u} (k_{1} r_{u}^{2} + k_{2} r_{u}^{4}) + p_{2} ({3 y}_{u}^{2} + x_{u}^{2}) + {2 p}_{1} x_{u} y_{u} \end{matrix} - - - (2)

其中，k₁、k₂是径向畸变系数，p₁ p₂是离心畸变系数，s为图像纵横比畸变系数。

进一步，所述步骤13)具体包括如下步骤：131)使用高斯滤波器进行图像平滑；132)使用阈值分割法提取出亮度较大的疑似标定板的区域；133)从已经得到的疑似区域中提取出包含的标定点最符合标定板设计标准的区域作为正确的标定板区域，完成标定板内部区域与背景图像的分离。

进一步，所述步骤14)具体包括如下步骤：141)使用边缘检测提取出所有疑似的封闭轮廓线；142)对边缘振幅进行阈值分割，提取出所有振幅高的封闭轮廓线，因为黑色标定点与白色标定板背景颜色对比度大，所以它的边缘振幅较高，从而将标定点封闭轮廓线与其它封闭轮廓线分离开来；143)提取标定板上所有标定点的圆心像素坐标：采用线性方法来最小化代数误差以得到拟合椭圆，提取出椭圆的最小外接四边形，四边形的中心即为标定点的圆心。

进一步，所述步骤15)具体包括如下步骤：

151)通过上述标定点自动提取方法提取所有标定点实际图像坐标P(x_u，y_u)和空间坐标P(x_w，y_w，z_w)；

152)由空间坐标P(x_w，y_w，z_w)和映射矩阵M根据公式(1)初步求取理论图像坐标P(x_d，y_d)；

153)由实际图像坐标P(x_u，y_u)和取理论图像坐标P’(x_d，y_d)根据公式(2)初步求畸变系数最小二乘解K；

154)由实际图像坐标P(x_u，y_u)和畸变系数K根据公式(2)求取理论图像坐标P’(x_d，y_d)；

155)由图像坐标P’(x_d，y_d)和空间坐标P(x_w，y_w，z_w)根据公式(1)初步求取映射矩阵最小二乘解M’

156)重复步骤152)至步骤155)，设定循环停止条件|PP’|＜d，|PP’|为步骤(3)所求得的理论图像坐标P(x_d，y_d)与步骤154)求得的理论图像坐标P’(x_d，y_d)的间距；循环停止时所求得的映射矩阵M和畸变系数K即为最后所求。

本发明在摄像机单应性矩阵和畸变模型系数求解过程避开了分步求解过程，避开了基于已知部分参数求解另外部分参数的过程，通过迭代法直接同时求解全部摄像机成像参数和畸变模型系数最小二乘解。分步求解过程虽能分别求解出相机的内外参数，但空间定位过程并不需要知道具体的内外参数，只需要知道最终的单应性矩阵即可，且分步过程会导致计算误差扩散。基于已知的部分参数也会因已知参数的不精确而导致后续计算的误差增大。本发明中使用迭代法直接同时求取摄像机成像参数和畸变模型系数是基于建立正确的成像模型和畸变模型的基础上直接建立空间点与实际图像坐标的转化关系，将误差降至最小。本发明提出的基于双目立体视觉的空间定位方法旨在提高摄像标定精度，降低标定难度，提高空间定位速度和准确度，使双目立体视觉技术能更加广泛有效的应用于工程测绘、监控、医疗等领域。

附图说明：

图1基于双目立体视觉的空间定位方法流程示意图；

图2标定点自动提取流程；

图3标定板结构示意图

图4单应性矩阵和畸变系数求取流程。

具体实施方案：

参见图1本实施例基于双目立体视觉的空间定位方法，包括如下步骤：

1)通过对两个摄像机进行标定，求得摄像机的单应性矩阵和畸变系数；参见图2具体包括如下步骤：

11)摄取标定板图像，参见图3所述标定板为平面板，标定板上均匀的排列有标定点，所述标定板具有边框，标定板的一角设有方向标记，所述标定板至少一块；

13)分离标定板内部区域与背景图像；具体包括如下步骤：131)使用高斯滤波器进行图像平滑；132)使用阈值分割法提取出亮度较大的疑似标定板的区域；133)从已经得到的疑似区域中提取出包含的标定点最符合标定板设计标准的区域作为正确的标定板区域，完成标定板内部区域与背景图像的分离。

14)获得所有标定点的圆心坐标，包括实际图像坐标P(x_u，y_u)和空间坐标P(x_w，y_w，z_w)；具体包括如下步骤：141)使用边缘检测提取出所有疑似的封闭轮廓线；142)对边缘振幅进行阈值分割，提取出所有振幅高的封闭轮廓线，因为黑色标定点与白色标定板背景颜色对比度大，所以它的边缘振幅较高，从而将标定点封闭轮廓线与其它封闭轮廓线分离开来；143)提取标定板上所有标定点的圆心像素坐标：采用线性方法来最小化代数误差以得到拟合椭圆，提取出椭圆的最小外接四边形，四边形的中心即为标定点的圆心。

z_{c} [\begin{matrix} u \\ v \\ 1 \end{matrix}] = (\begin{matrix} a_{x} & 0 & u_{0} \\ 0 & a_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix}) [\begin{matrix} R & T \end{matrix}] [\begin{matrix} x_{w} \\ y_{w} \\ z_{w} \\ 1 \end{matrix}] = M_{1} M_{2} [\begin{matrix} x_{w} \\ y_{w} \\ z_{w} \\ 1 \end{matrix}] = M [\begin{matrix} x_{w} \\ y_{w} \\ z_{w} \\ 1 \end{matrix}] - - - (1)

\{\begin{matrix} x_{d} = x_{u} * s + x_{u} (k_{1} r_{u}^{2} + k_{2} r_{u}^{4}) + p_{1} ({3 x}_{u}^{2} + y_{u}^{2}) + 2 p_{2} x_{u} y_{u} \\ y_{d} = y_{u} + y_{u} (k_{1} r_{u}^{2} + k_{2} r_{u}^{4}) + p_{2} ({3 y}_{u}^{2} + x_{u}^{2}) + {2 p}_{1} x_{u} y_{u} \end{matrix} - - - (2)

参见图4，步骤15)具体包括如下步骤：

151)由空间坐标P(x_w，y_w，z_w)和映射矩阵M根据公式(1)初步求取理论图像坐标P(x_d，y_d)；

152)由实际图像坐标P(x_u，y_u)和取理论图像坐标P’(x_d，y_d)根据公式(2)初步求畸变系数最小二乘解K；

153)由实际图像坐标P(x_u，y_u)和畸变系数K根据公式(2)求取理论图像坐标P’(x_d，y_d)；

154)由图像坐标P’(x_d，y_d)和空间坐标P(x_w，y_w，z_w)根据公式(1)初步求取映射矩阵最小二乘解M’

155)重复步骤151)至步骤154)，设定循环停止条件|PP’|＜d，|PP’|为步骤(13)所求得的理论图像坐标P(x_d，y_d)与步骤154)求得的理论图像坐标P’(x_d，y_d)的间距；循环停止时所求得的映射矩阵M和畸变系数K即为最后所求。

2)获得两个摄像机摄取到的目标点的实际坐标；

3)通过下式，获得两个摄像机摄取到的目标点的理论坐标：

\{\begin{matrix} x_{d} = x_{u} * s + x_{u} (k_{1} r_{u}^{2} + k_{2} r_{u}^{4}) + p_{1} ({3 x}_{u}^{2} + y_{u}^{2}) + 2 p_{2} x_{u} y_{u} \\ y_{d} = y_{u} + y_{u} (k_{1} r_{u}^{2} + k_{2} r_{u}^{4}) + p_{2} ({3 y}_{u}^{2} + x_{u}^{2}) + {2 p}_{1} x_{u} y_{u} \end{matrix}

本示例的摄像机标定过程是将两个摄像机分别放置，调整摄像机位置与角度使目标区域同时出现在两摄像机市场范围内，并固定好摄像机。在目标区域内摆放标定板，并保证标定板同时完整显示在两摄像机画面之中，两摄像机分别摄取图像，通过上述标定板特征点提取方法提取一组特征点图像坐标，输入标定板带有黑色三角标志一角的空间坐标，根据标定板的尺寸即可计算出所有标定点的空间坐标。重新摆放标定板位置，摄取10张以上标定板图像，并提取其图像坐标和空间坐标，根据图5所示流程结合公式(1)和公式(2)通过迭代法求解摄像机成像参数和畸变模型系数最小二乘解。

双目空间定位即是由两摄像机从不同角度拍摄同一目标点，根据这一目标点在两摄像机画面的位置还原其空间坐标的过程。经摄像机标定后能分别得到左右摄像机的投影矩阵和畸变系数，在双目定位过程中，先通过图像识别技术分别获取目标点在左右摄像机中的实际图像坐标P₁、P₂，根据畸变系数和实际图像坐标求取目标点的理论图像坐标P₁’、P₂’，理论图像坐标P₁’、P₂’与空间点坐标P呈线性转换关系，即公式(1)转换关系，由公式(1)左右摄像机分别消除未知的尺度因子z_c可得AP＝b，联立即可求得空间坐标P最小二乘解P＝A^-b，其中A^-为A的广义逆矩阵。

Claims

1.基于双目立体视觉的空间定位方法，其特征在于：包括如下步骤：

2)获得两个摄像机摄取到的目标点的实际坐标；

3)通过下式，获得两个摄像机摄取到的目标点的理论坐标：

\{\begin{matrix} x_{d} = x_{u} * s + x_{u} (k_{1} r_{u}^{2} + k_{2} r_{u}^{4}) + p_{1} ({3 x}_{u}^{2} + y_{u}^{2}) + 2 p_{2} x_{u} y_{u} \\ y_{d} = y_{u} + y_{u} (k_{1} r_{u}^{2} + k_{2} r_{u}^{4}) + p_{2} ({3 y}_{u}^{2} + x_{u}^{2}) + {2 p}_{1} x_{u} y_{u} \end{matrix}

2.根据权利要求1所述的基于双目立体视觉的空间定位方法，其特征在于：所述步骤1)包括如下步骤：

13)分离标定板内部区域与背景图像；

14)获得标定点圆心坐标，包括实际图像坐标和空间坐标；

z_{c} [\begin{matrix} u \\ v \\ 1 \end{matrix}] = (\begin{matrix} a_{x} & 0 & u_{0} \\ 0 & a_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix}) [\begin{matrix} R & T \end{matrix}] [\begin{matrix} x_{w} \\ y_{w} \\ z_{w} \\ 1 \end{matrix}] = M_{1} M_{2} [\begin{matrix} x_{w} \\ y_{w} \\ z_{w} \\ 1 \end{matrix}] = M [\begin{matrix} x_{w} \\ y_{w} \\ z_{w} \\ 1 \end{matrix}]

\{\begin{matrix} x_{d} = x_{u} * s + x_{u} (k_{1} r_{u}^{2} + k_{2} r_{u}^{4}) + p_{1} ({3 x}_{u}^{2} + y_{u}^{2}) + 2 p_{2} x_{u} y_{u} \\ y_{d} = y_{u} + y_{u} (k_{1} r_{u}^{2} + k_{2} r_{u}^{4}) + p_{2} ({3 y}_{u}^{2} + x_{u}^{2}) + {2 p}_{1} x_{u} y_{u} \end{matrix}

3.根据权利要求2所述的基于双目立体视觉的空间定位方法，其特征在于：所述步骤13)具体包括如下步骤：131)使用高斯滤波器进行图像平滑；132)使用阈值分割法提取出亮度较大的疑似标定板的区域；133)从已经得到的疑似区域中提取出包含的标定点最符合标定板设计标准的区域作为正确的标定板区域，完成标定板内部区域与背景图像的分离。

4.根据权利要求3所述的基于双目立体视觉的空间定位方法，其特征在于：所述步骤14)具体包括如下步骤：141)使用边缘检测提取出所有疑似的封闭轮廓线；142)对边缘振幅进行阈值分割，提取出所有振幅高的封闭轮廓线，因为黑色标定点与白色标定板背景颜色对比度大，所以它的边缘振幅较高，从而将标定点封闭轮廓线与其它封闭轮廓线分离开来；143)提取标定板上所有标定点的圆心像素坐标：采用线性方法来最小化代数误差以得到拟合椭圆，提取出椭圆的最小外接四边形，四边形的中心即为标定点的圆心。

5.根据权利要求2至4中任一项所述的基于双目立体视觉的空间定位方法，其特征在于：所述步骤15)具体包括如下步骤：

153)由实际图像坐标P(x_u，y_u)和取理论图像坐标P’(x_d，y_d)初步求畸变系数最小二乘解K；

154)由实际图像坐标P(x_u，y_u)和畸变系数K求取理论图像坐标P’(x_d，y_d)

155)由图像坐标P’(x_d，y_d)和空间坐标P(x_w，y_w，z_w)根据公式(1)初步求取映射矩阵最小二乘解M’；