CN103077524A - 混合视觉系统标定方法 - Google Patents

Abstract

本发明涉及一种混合视觉系统标定方法，首先分别对单目摄像机和全景摄像机进行标定，得到单目摄像机和全景摄像机的内部参数，并设置基于棋盘图的标定板，创建棋盘坐标系，然后计算出单目摄像机坐标系到棋盘坐标系的变换矩阵，并在全景摄像机坐标系前构建一虚拟投影平面，计算出虚拟投影平面到棋盘坐标系的变换矩阵，在此基础上计算全景摄像机坐标系到棋盘坐标系的变换矩阵，最后获得单目摄像机坐标系到全景摄像机坐标系的变换矩阵，得到所述混合视觉系统的外参数。该方法对标定条件和混合视觉系统的空间配置关系要求低，使用灵活，标定精度高。

Description

混合视觉系统标定方法

技术领域

本发明涉及计算机视觉技术领域，特别是一种混合视觉系统标定方法。

背景技术

近些年来，由单目视觉和全景视觉构成的混合视觉系统在吸引了很多学者的兴趣。它结合了单目摄像机分辨率大、成像清晰的优点和全景摄像机视场大、获取场景信息量大的长处，同时克服了单目摄像机视场小和全景摄像机分别率低的缺点，具有广泛的发展前景。在移动机器人中，通常将全景摄像机安装在机器人顶部而将单目摄像机安装在前端(补充视角)，实现了如物体识别、物体跟踪和三维重建等功能。混合视觉系统在监控行业中也得到了应用，能显著减少覆盖大区域所需摄像头的数目。

为了将单目摄像机和全景摄像机拍摄的信息统一起来，需要对混合视觉系统进行标定。现有的标定方法主要有两种：第一种是提前设定全景摄像机的理想方位，计算该位置的成像，之后人工调整全景摄像机的位置，通过匹配实际成像与理想成像，来实现校准；另一种方法是垂直于全景摄像机轴线安装标定靶面，人工估计初始变换矩阵，再利用非线性优化获得更准确的参数。

现有的标定方法存在如下缺点：

1、对于标定条件要求过于苛刻。现在标定方法对标定板的位置有特殊的要求（如与全景摄像机轴线垂直，标定板放置于已知的理想位置），在实际应用中难以得到保证。

2、用于求解外参数的优化方法有一定局限性。众所周知，完全使用优化方法进行求解的一个常见不足就是对初值的选取有较高要求，若初值选取较为合理则可以获得理想的结果，若选择不当则可能得不到所需的值。

3、求解精度低。从现有方法可以发现，摄像机之间距离与实际值的偏差量达到10mm，这增加了重建结果的误差。

发明内容

本发明的目的在于提供一种混合视觉系统标定方法，该方法对标定条件和混合视觉系统的空间配置关系要求低，使用灵活，标定精度高。

为实现上述目的，本发明的技术方案是：一种混合视觉系统标定方法，首先分别对单目摄像机和全景摄像机进行标定，得到单目摄像机和全景摄像机的内部参数，并设置基于棋盘图的标定板，创建棋盘坐标系，然后计算出单目摄像机坐标系到棋盘坐标系的变换矩阵，并在全景摄像机坐标系前构建一虚拟投影平面，依靠线性求解和线性优化计算出虚拟投影平面到棋盘坐标系的变换矩阵，在此基础上计算全景摄像机坐标系到棋盘坐标系的变换矩阵，最后获得单目摄像机坐标系到全景摄像机坐标系的变换矩阵，得到所述混合视觉系统的外参数。

相较于现有技术，本发明具有如下优点：

1、摆脱了传统混合视觉标定方法对于标定板摆放位置的依赖(垂直于全景摄像机光轴)，对标定板的空间方位无严格要求，只需保证其在单目摄像机和全景坐标系下可见即可。

2、对混合视觉系统的空间配置无特别要求，解决了传统的混合视觉标定方法只适用全景摄像机和单目摄像机轴向共面且相交的问题。

3、标定精度比传统的方法更高。图7为使用本发明方法标定获得的参数进行重建获得的棋盘角点三维数据，点的平面度为0.62mm，水平方向点间距平均偏差0.11mm，垂直方向点间距平均偏差为0.70mm，均优于现有方法。

本方法摆脱了传统混合视觉标定方法对于标定模板摆放位置的依赖(垂直于全景摄像机光轴)或两个摄像机空间配置关系的特定要求(二者光轴垂直相交)，并利用线性求解克服了传统求解方法采用的优化方案带来的收敛结果不唯一的缺点，提高了标定的精度并具有更好的通用性。

附图说明

图1是本发明实施例制作的标定板B1的示意图。

图2是本发明实施例中对全景摄像机进行标定时，将投影图像坐标系转换成以光心为原点的坐标系的示意图。

图3是本发明实施例中对全景摄像机进行标定时，以光心为原点的坐标系上的图像点坐标与对应的三维向量的关系图。

图4是本发明实施例制作的标定板B2的示意图。

图5是本发明实施例构建的虚拟投影平面的示意图。

图6是本发明实施例的混合视觉系统标定框架图。

图7是利用本发明实施例的标定结果进行三维重建获得的棋盘角点三维数据图。

具体实施方式

本发明混合视觉系统标定方法，首先分别对单目摄像机和全景摄像机进行标定，得到单目摄像机和全景摄像机的内部参数，并设置基于棋盘图的标定板，创建棋盘坐标系，然后计算出单目摄像机坐标系到棋盘坐标系的变换矩阵，并在全景摄像机坐标系前构建一虚拟投影平面，依靠线性求解和线性优化计算出虚拟投影平面到棋盘坐标系的变换矩阵，在此基础上计算全景摄像机坐标系到棋盘坐标系的变换矩阵，最后获得单目摄像机坐标系到全景摄像机坐标系的变换矩阵，得到所述混合视觉系统的外参数。

对所述单目摄像机进行标定，得到单目摄像机内部参数的方法如下：

单目摄像机的内部参数用一个3×3的矩阵表示如下：

  (1)

其中，

和

分别为单目摄像机沿水平、垂直方向的像素焦距，

和

分别为单目摄像机沿水平、垂直方向的光心位置；

首先制作一块棋盘格数目为m1×n1，单位尺寸为a1×a1的棋盘图，在本实施例中棋盘格数目为13×9，单位尺寸为20mm×20mm（如图1所示），作为标定板B1；标定时，依次在单目摄像机前方多个不同方位摆放所述标定板B1并拍摄对应的棋盘图像，然后提取各张棋盘图像上的角点坐标，结合已知的角点世界坐标，利用奇异值分解计算出各个方位棋盘坐标系到单目摄像机坐标系的单应矩阵；再联立各个方位的投影方程，通过奇异值分解与因式变换计算得到单目摄像机内部参数的初值与单目摄像机坐标系到各个方位棋盘坐标系的外参数；最后利用LM优化方法，以投影点误差最小为目标，对得到的外参数进行优化。

对所述全景摄像机进行标定，得到全景摄像机内部参数的方法如下：

建立全景摄像机的投影模型，本发明采用了一种通用的投影模型，适用于满足单视点约束的全景摄像机。在所述投影模型中，按式(2)和式(3)两个步骤将投影图像坐标系上的图像点坐标映射到对应的全景摄像机坐标系上的三维向量：

  (2)

式(2)将投影图像坐标系转换成以光心为原点的中心对称的坐标系（如图2所示），其中，

为投影图像坐标系上的图像点坐标，

为经过变换的以光心为原点的坐标系上的图像点坐标，

为光心在投影图像坐标系上的坐标，参数c、d和e表示图像变形的程度；

  (3)

式(3)用于求解以光心为原点的坐标系上的图像点坐标对应的三维向量（如图3所示），其中，以光心为原点的坐标系上的图像点到光心的距离

，

是以为变量的四阶多项式；多次实验证明，四阶多项式可以准确表示投影关系；使用所述标定板B1，在全景摄像机前方多个不同方位放置并拍摄对应的棋盘图像，尽量保证棋盘充满半径方向，然后利用角点检测器提取各张棋盘图像上的角点坐标，分别求解全景摄像机坐标系到各个方位棋盘坐标系的外参数；最终联立各个方位棋盘坐标系到图像坐标系的变换矩阵，采用最小二乘法求解所需的内部参数(c,d,e,xc,yc,a₀,a₁,a₂,a₃)。

分别对单目摄像机和全景摄像机进行标定，得到单目摄像机和全景摄像机的内部参数之后，按如下步骤对混合视觉系统进行标定：

步骤1：制作一块棋盘格数目为m2×n2，单位尺寸为a2×a2的棋盘图，作为标定板B2；全景摄像机视场较大且图像中靠近中心的区域分辨率逐渐降低，而单目摄像机分辨率较高。在日常应用中，全景摄像机安装位置一般较单目摄像机高，以覆盖更大的区域。综合考虑这些因素之后，在本实施例中，设计棋盘格数目为9×7，单位尺寸为40mm×40mm，以满足实际应用的要求。

步骤2：将所述标定板B2正对所述全景摄像机放置并保证棋盘角点在单目图像中均匀分布，然后创建棋盘坐标系；

观察棋盘在单目摄像机和全景摄像机的成像，以确定标定板B2合适的摆放位置。为了保证求解的精度，需确保角点在单目图像中均匀分布并尽量保证棋盘正对全景摄像机且成像清晰。

步骤3：利用获得的单目摄像机的内部参数和根据标定板B2创建的棋盘坐标系，线性计算出单目摄像机坐标系到棋盘坐标系的单应矩阵（焦距已归一化），然后利用牛顿法进行优化，使重投影的角点坐标与实际坐标的残差最小，最后从中分离出单目摄像机坐标系到棋盘坐标系的旋转矩阵R₁和平移矩阵T₁；后面会对该步骤的具体计算方法作进一步说明。

步骤4：为了解决现有方法无法直接求解全景摄像机坐标系到棋盘坐标系的不足，在所述全景摄像机前构建一个虚拟投影平面，如图5所示，对应坐标系为

；设

为坐标系

中一点，其在坐标系

中的表达式为，则有如下变换关系：

  (4)

点

在所述虚拟投影平面的投影点公式为：

  (5)                         

式中，为所述虚拟投影平面的内参数，（单位阵）；

结合公式(2)、(3)、(4)、(5)，求得棋盘角点在所述虚拟投影平面的投影点坐标，再计算所述虚拟投影平面到所述棋盘坐标系的旋转矩阵R_v和平移矩阵T_v，最后反变换回全景摄像机坐标系，得到所述全景摄像机坐标系到棋盘坐标系的旋转矩阵R₂和平移矩阵T₂；

步骤5：求解单目摄像机坐标系到全景摄像机坐标系的旋转矩阵R和平移矩阵T：

  (6)。

下面对上述步骤3的具体计算步骤作进一步说明。

1、计算棋盘点对应的归一化坐标值

(7)

式中

表示图像坐标，

表示归一化坐标，

为摄像 机内参数。

2、计算单应矩阵H初始值。此处的单应矩阵与通常理解的有所不同，只与外参数相关而与内参数无关。

(8)

（因为棋盘坐标系原点建立在棋盘上，Z的值为0）

令 

，

，

则式(8)可以改写为

(9)

其中

为2×9的矩阵

当棋盘点数目为n时，我们可以获得n个(9)类型的方程，用矩阵乘法联立表示为(

为

的矩阵)，则h为L最小特征值对应的特征向量。

3、将h恢复为单应矩阵，重新投影得到图像点坐标，计算其与实际投影点的偏差量，利用牛顿法进行优化求解，直到残差小于阈值。

4、从H中分离R和T，主要分两个步骤：

步骤1：

步骤2：

则

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种混合视觉系统标定方法，其特征在于：首先分别对单目摄像机和全景摄像机进行标定，得到单目摄像机和全景摄像机的内部参数，并设置基于棋盘图的标定板，创建棋盘坐标系，然后计算出单目摄像机坐标系到棋盘坐标系的变换矩阵，并在全景摄像机坐标系前构建一虚拟投影平面，计算出虚拟投影平面到棋盘坐标系的变换矩阵，在此基础上计算全景摄像机坐标系到棋盘坐标系的变换矩阵，最后获得单目摄像机坐标系到全景摄像机坐标系的变换矩阵，得到所述混合视觉系统的外参数。

2.根据权利要求1所述的混合视觉系统标定方法，其特征在于：对所述单目摄像机进行标定，得到单目摄像机内部参数的方法如下：

单目摄像机的内部参数用一个3×3的矩阵表示如下：

  (1)

其中，

和

分别为单目摄像机沿水平、垂直方向的像素焦距，

和

分别为单目摄像机沿水平、垂直方向的光心位置；

首先制作一块棋盘格数目为m1×n1，单位尺寸为a1×a1的棋盘图，作为标定板B1；标定时，依次在单目摄像机前方多个不同方位摆放所述标定板B1并拍摄对应的棋盘图像，然后提取各张棋盘图像上的角点坐标，结合已知的角点世界坐标，计算出各个方位棋盘坐标系到单目摄像机坐标系的单应矩阵；再联立各个方位的投影方程，计算得到单目摄像机内部参数的初值与单目摄像机坐标系到各个方位棋盘坐标系的外参数；最后以投影点误差最小为目标，对得到的外参数进行优化。

3.根据权利要求2所述的混合视觉系统标定方法，其特征在于：对所述全景摄像机进行标定，得到全景摄像机内部参数的方法如下：

建立全景摄像机的投影模型，在所述投影模型中，按式(2)和式(3)两个步骤将投影图像坐标系上的图像点坐标映射到对应的全景摄像机坐标系上的三维向量：

  (2)

式(2)将投影图像坐标系转换成以光心为原点的中心对称的坐标系，其中，

为投影图像坐标系上的图像点坐标，

为经过变换的以光心为原点的坐标系上的图像点坐标，为光心在投影图像坐标系上的坐标，参数c、d和e表示图像变形的程度；

  (3)

式(3)用于求解以光心为原点的坐标系上的图像点坐标对应的三维向量，其中，以光心为原点的坐标系上的图像点到光心的距离

，

是以为变量的四阶多项式

；使用所述标定板B1，在全景摄像机前方多个不同方位放置并拍摄对应的棋盘图像，然后提取各张棋盘图像上的角点坐标，分别求解全景摄像机坐标系到各个方位棋盘坐标系的外参数；最终联立各个方位棋盘坐标系到投影图像坐标系的变换矩阵，求解所需的内部参数(c,d,e,xc,yc,a₀,a₁,a₂,a₃)。

4.根据权利要求3所述的混合视觉系统标定方法，其特征在于：分别对单目摄像机和全景摄像机进行标定，得到单目摄像机和全景摄像机的内部参数之后，按如下步骤对混合视觉系统进行标定：

步骤1：制作一块棋盘格数目为m2×n2，单位尺寸为a2×a2的棋盘图，作为标定板B2；

步骤2：将所述标定板B2正对所述全景摄像机放置并保证棋盘角点在单目图像中均匀分布，然后创建棋盘坐标系；

步骤3：利用获得的单目摄像机的内部参数和根据标定板B2创建的棋盘坐标系，计算出单目摄像机坐标系到棋盘坐标系的单应矩阵，然后进行优化，使重投影的角点坐标与实际坐标的残差最小，最后从中分离出单目摄像机坐标系到棋盘坐标系的旋转矩阵R₁和平移矩阵T₁；

步骤4：在所述全景摄像机前构建一个虚拟投影平面，对应坐标系为

；设

为坐标系

中一点，其在坐标系

中的表达式为

，则有如下变换关系：

  (4)

点

在所述虚拟投影平面的投影点公式为：

  (5)

式中，

为所述虚拟投影平面的内参数，

；

结合公式(2)、(3)、(4)、(5)，求得棋盘角点在所述虚拟投影平面的投影点坐标，再计算所述虚拟投影平面到所述棋盘坐标系的旋转矩阵R_v和平移矩阵T_v，最后反变换回全景摄像机坐标系，得到所述全景摄像机坐标系到棋盘坐标系的旋转矩阵R₂和平移矩阵T₂；

步骤5：求解单目摄像机坐标系到全景摄像机坐标系的旋转矩阵R和平移矩阵T：

  (6)。

Images