CN107256567B - 一种用于工业机器人手眼相机的自动标定装置及标定方法 - Google Patents

Abstract

本发明公开了一种用于工业机器人手眼相机的自动标定装置，包括激光发生器、标定板和相机；所述激光发生器设置在机器人末端工具上，机器人末端工具安装在工业机器人上；所述标定板放置在工作台面上，标定板上设置有黑白相间的棋盘格；所述相机固定在工作台面上方，且位于标定板的上方。本发明还公开了基于上述自动标定装置的标定方法。本发明将激光发生器固定在机器人末段工具上，然后通过激光与标定板相交，通过相机提取特征点的位置，最终利用激光特征点在标定板中的位置以及在机器人坐标系中的位置，实现对工业机器人与相机相对位置的标定，极大的降低了相机标定的工作量。

Description

一种用于工业机器人手眼相机的自动标定装置及标定方法

技术领域

本发明涉及工业机器人技术领域，具体是一种用于工业机器人手眼相机的自动标定装置及标定方法。

背景技术

随着劳动力成本的不断提高以及工业机器人控制、规划、识别方法的不断发展，用工业机器人代替人工进行自动化生产的程度越来越高。但目前工业中工业机器人手眼相机标定问题仍然没有得到解决。

手眼工业机器人系统主要分为eye-in-hand与eye-to-hand两类系统，其中，在eye-in-hand系统中，相机固定在工业机器人末段，因而，随着机器人的运动，相机可以以不同的方向观察标定板以及工作空间，eye-in-hand系统标定过程也相对较为简单，目前已经有很多成熟的方法可以使用。而对于eye-to-hand系统，由于相机固定，无法仅仅借助标定板以及机器人的运动实现相机与机器人相对位置的标定，其难点在于：1)如何将特征点的位置与机器人的运动关联起来；2)如何高精度的提取标定所需要的特征点的位置；3)如何自动化标定的过程。

发明内容

本发明的目的在于提供一种用于工业机器人手眼相机的自动标定装置及标定方法，通过在机器人末端工具上增加一个激光发生器，并结合标定板实现工业机器人与相机相对位置标定，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种用于工业机器人手眼相机的自动标定装置，包括激光发生器、标定板和相机；所述激光发生器设置在机器人末端工具上，机器人末端工具安装在工业机器人上；所述标定板放置在工作台面上，标定板上设置有黑白相间的棋盘格；所述相机固定在工作台面上方，且位于标定板的上方。

作为本发明进一步的方案：所述激光发生器设置在连接件上，连接件安装在工业机器人与末端工具之间。

一种基于所述用于工业机器人手眼相机的自动标定装置的标定方法，步骤如下：

1)利用相机拍摄标定板的图片；

2)计算相机相对于标定板的坐标变换矩阵，即相机外参

3)控制工业机器人动作，使固定在机器人末端工具上的激光发生器发出的激光点与标定板相交于点P；

4)采用相机拍摄标定板及其上激光点的图片，计算点P在标定板坐标系中的位置，点P在标定板坐标系中的坐标记作(u，v，0)，仿射形式记作(u，v，0，1)；

5)根据步骤4)中点P在标定板坐标系中的坐标，计算其在机器人基座坐标系中的位置：

其中

为点P在机器人基座坐标系中的位置；

为标定板坐标系相对于基座坐标系的坐标变换；

为点P在标定板坐标系中的位置；

6)根据点P在激光坐标系中的位置，结合机器人的运动学方程计算点P在机器人基座坐标系中的位置：点P在激光坐标系中位置记作(0，0，l_P)，仿射形式记作(0，0，l_P，0)，其中l_P为投射激光的长度，因而，点P在机器人基座坐标系中的位置为：

其中，

为机器人末端工具坐标系相对于机器人基座的坐标变换，即机器人正运动学变换；

为激光发生器3相对于机器人末端工具坐标系的坐标变换；

为点P在激光发生器坐标系中的位置，其中：

l_P为点P到激光发生器3的长度，即激光的距离；

7)将步骤5)和步骤6)得到的点P在机器人基座坐标系中位置进行等效，可以得到标定方程：

即：

8)控制工业机器人动作，任意确定至少个线性不相关的特征点，然后通过优化方法对标定方程进行优化求解；

9)根据步骤8)获得的求解结果得到最终标定后的系统参数。

作为本发明再进一步的方案：步骤2)中，计算相机的相机外参

的具体步骤如下：

A：相机拍摄标定板的图片；

B：利用图像处理算法从拍摄的图片中提取特征点；

C：计算特征点在标定板坐标系中的坐标(u，v，0，1)，以及特征点在相机坐标系中的坐标(p，q，0，1)；

D：利用相机外参标定理论得到一组标定方程；

E：利用优化方法计算相机外参

与现有技术相比，本发明的有益效果是：

本发明有效解决了工业机器人手眼相机标定时需要高精度放置标定板以及安装末端工具的问题。同时，本发明无需将标定板放置在精确位置，仅需将标定板放在机器人工作空间中的任意位置并使得激光与标定板相交即可，极大的降低了相机标定的工作量。另外，在本发明中，标定板仅为简单的棋盘格，具有成本低，操作灵活，结构简单的特征。

附图说明

图1为用于工业机器人手眼相机的自动标定装置的结构示意图。

图2为用于工业机器人手眼相机的自动标定装置中激光发生器的安装示意图。

图3为基于所述用于工业机器人手眼相机的自动标定装置的标定方法的流程示意图。

图4为基于所述用于工业机器人手眼相机的自动标定装置的标定方法中相机外参标定流程示意图。

图5为根据相机拍摄图片中激光点的坐标计算激光点在标定板坐标系中的位置的示意图。

图6为工业机器人通过运动调整激光与标定板相交点位置的示意图。

图中：1-工业机器人、2-机器人末端工具、3-激光发生器、4-标定板、5-相机、6-连接件。

具体实施方式

下面结合具体实施方式对本发明的技术方案作进一步详细地说明。

请参阅图1-6，一种用于工业机器人手眼相机的自动标定装置，包括激光发生器3、标定板4和相机5；所述激光发生器3设置在机器人末端工具2上，机器人末端工具2安装在工业机器人1上，本实施例中，优选的，所述激光发生器3设置在连接件6上，连接件6安装在工业机器人1与末端工具2之间，从而使激光发生器3能够随着机器人末端工具2的移动而移动；所述标定板4放置在工作台面上，标定板4上设置有黑白相间的棋盘格，如此设置，能够通过图像很容易的提取其上的特征点，激光发生器3为点光源，其发射的直线激光照射在标定板4上形成交点；所述相机5固定在工作台面上方，且位于标定板4的上方，能够清晰地采集到标定板4上的棋盘格信息以及当前激光点与棋盘格的交点。

一种基于所述用于工业机器人手眼相机的自动标定装置的标定方法，步骤如下：

1)利用相机5拍摄标定板4的图片；

2)计算相机5相对于标定板4的坐标变换矩阵，即相机外参

3)控制工业机器人1动作，使固定在机器人末端工具2上的激光发生器3发出的激光点与标定板4相交于点P；

4)采用相机5拍摄标定板4及其上激光点的图片，计算点P在标定板坐标系中的位置，点P在标定板坐标系中的坐标记作(u，v，0)，仿射形式记作(u，v，0，1)；

5)根据步骤4)中点P在标定板坐标系中的坐标，计算其在机器人基座坐标系中的位置：

其中

为点P在机器人基座坐标系中的位置；

为标定板坐标系相对于基座坐标系的坐标变换；

为点P在标定板坐标系中的位置

6)根据点P在激光坐标系中的位置结合机器人的运动学方程计算点P在机器人基座坐标系中的位置：由于投射激光为一条直线，因而，点P在激光坐标系中位置可以记作(0，0，l_P)，仿射形式记作(0，0，l_P，0)，其中l_P为投射激光的长度，因而，点P在机器人基座坐标系中的位置为：

其中，

为机器人末端工具坐标系相对于机器人基座的坐标变换，即机器人正运动学变换；

为激光发生器3相对于机器人末端工具坐标系的坐标变换；

为点P在激光发生器坐标系中的位置，其中：

l_P为点P到激光发生器3的长度，即激光的距离；

7)将步骤5)和步骤6)得到的点P在机器人基座坐标系中位置进行等效，可以得到标定方程：

即：

8)上述步骤7)得到的标定方程含有12个未知数，确定两个限制条件，因而，需要至少6个特征点便可以计算上述12个参数，如果特征点的个数大于6，则可以通过优化方法确定上述12个未知数。在本发明中，优选的，控制工业机器人1动作，任意确定至少6个线性不相关的特征点，然后通过优化方法对标定方程进行优化求解；

9)根据步骤8)获得的求解结果得到最终标定后的系统参数。

其中，步骤2)中，计算相机5的相机外参

的具体步骤如下：

A：相机5拍摄标定板4的图片；

B：利用图像处理算法从拍摄的图片中提取特征点；

C：计算特征点在标定板坐标系中的坐标(u，v，0，1)，以及特征点在相机坐标系中的坐标(p，q，0，1)；

D：利用相机外参标定理论得到一组标定方程；

E：利用优化方法计算相机外参。

本发明有效解决了工业机器人手眼相机标定时需要高精度放置标定板以及安装末端工具的问题。同时，本发明无需将标定板放置在精确位置，仅需将标定板放在机器人工作空间中的任意位置并使得激光与标定板相交即可，极大的降低了相机标定的工作量。另外，在本发明中，标定板仅为简单的棋盘格，具有成本低，操作灵活，结构简单的特征。

上面对本发明的较佳实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (2)

1.一种用于工业机器人手眼相机的自动标定装置的标定方法，其特征在于，步骤如下：

1)利用相机(5)拍摄标定板(4)的图片；

2)计算相机(5)相对于标定板(4)的坐标变换矩阵，即相机外参

3)控制工业机器人(1)动作，使固定在机器人末端工具(2)上的激光发生器(3)发出的激光点与标定板(4)相交于点P；

4)采用相机(5)拍摄标定板(4)及其上激光点的图片，计算点P在标定板坐标系中的位置，点P在标定板坐标系中的坐标记作(u，v，0)，仿射形式记作(u，v，0，1)；

5)根据步骤4)中点P在标定板坐标系中的坐标，计算其在机器人基座坐标系中的位置：

其中

为点P在机器人基座坐标系中的位置；

为标定板坐标系相对于基座坐标系的坐标变换；

为点P在标定板坐标系中的位置；

6)根据点P在激光坐标系中的位置，结合机器人的运动学方程计算点P在机器人基座坐标系中的位置：点P在激光坐标系中位置记作(0，0，l_P)，仿射形式记作(0，0，l_P，0)，其中l_P为投射激光的长度，因而，点P在机器人基座坐标系中的位置为：

其中，

为机器人末端工具坐标系相对于机器人基座的坐标变换，即机器人正运动学变换；

为激光发生器3相对于机器人末端工具坐标系的坐标变换；

为点P在激光发生器坐标系中的位置，其中：

l_P为点P到激光发生器(3)的长度；

7)将步骤5)和步骤6)得到的点P在机器人基座坐标系中位置进行等效，得到标定方程：

即：

8)控制工业机器人(1)动作，任意确定至少6个线性不相关的特征点，然后通过优化方法对标定方程进行优化求解；

9)根据步骤8)获得的求解结果得到最终标定后的系统参数。

2.根据权利要求1所述的基于用于工业机器人手眼相机的自动标定装置的标定方法，其特征在于，步骤2)中，计算相机(5)的相机外参

的具体步骤如下：

A：相机(5)拍摄标定板(4)的图片；

B：利用图像处理算法从拍摄的图片中提取特征点；

C：计算特征点在标定板坐标系中的坐标(u，v，0，1)，以及特征点在相机坐标系中的坐标(p，q，0，1)；

D：利用相机外参标定理论得到一组标定方程；

E：利用优化方法计算相机外参。

Images