CN111452034A - 一种双相机机器视觉智能工业机器人控制系统及控制方法 - Google Patents
一种双相机机器视觉智能工业机器人控制系统及控制方法 Download PDFInfo
- Publication number
- CN111452034A CN111452034A CN201910052198.0A CN201910052198A CN111452034A CN 111452034 A CN111452034 A CN 111452034A CN 201910052198 A CN201910052198 A CN 201910052198A CN 111452034 A CN111452034 A CN 111452034A
- Authority
- CN
- China
- Prior art keywords
- camera
- coordinate system
- image
- robot
- industrial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004891 communication Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000010191 image analysis Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 4
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 229910000831 Steel Inorganic materials 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000007639 printing Methods 0.000 claims description 3
- 239000010959 steel Substances 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims 4
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 2
- 239000000203 mixture Substances 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
一种双相机机器视觉智能工业机器人控制系统及控制方法，可解决传统技术缺陷。包括工业机器人、机器人控制器、工业触控平台，还包括双相机装置，所述双相机装置包括相机A和相机B，所述双相机装置和所述工业触控平台通讯连接，所述工业触控平台和所述机器人控制器通讯连接，所述机器人控制器和所述工业机器人连接，所述相机A安装在所述工业机器人的末端轴臂上，所述相机B安装在目标放置端的流水工作平台上方。本发明包括工业机器人、机器人控制器、工业触控平板一体机和双相机装置，其构成和连接清晰简洁，具有很强的可操作性和实用性，能快速布局应用到工业装配系统、搬运系统和分拣系统中，实现“机器换人”的智能化改造需求。
Description
技术领域
本发明涉及机器人技术领域，具体涉及一种双相机机器视觉智能工业机器人控制系统及控制方法。
背景技术
目前带机器视觉智能工业机器人系统大多数采取的都是单相机，并且对于目标物和目标位的检测模式及存在的问题如下：
1)只对目标物进行检测，对目标位不做检测，存在目标位异常的风险；
2)先对目标位进行检测，然后再对目标物进行检测，存在工作时效性不高的问题；
3)采取一个系统进行目标物检测，一个系统进行目标位检测，存在系统过多，连线复杂，处理延时等问题。
发明内容
本发明提出的一种双相机机器视觉智能工业机器人控制系统及控制方法，可解决传统相关技术对于目标物和目标位的检测模式存在技术缺陷的技术问题。
为实现上述目的，本发明采用了以下技术方案：
一种双相机机器视觉智能工业机器人控制系统，包括工业机器人、机器人控制器、工业触控平台，还包括双相机装置，所述双相机装置包括相机A和相机B，所述双相机装置和所述工业触控平台通讯连接，所述工业触控平台和所述机器人控制器通讯连接，所述机器人控制器和所述工业机器人连接，所述相机A安装在所述工业机器人的末端轴臂上，所述相机B安装在目标放置端的流水工作平台上方。
进一步的，所述双相机装置和所述工业触控平板一体机通过USB或千兆以太网连接。
进一步的，所述工业触控平台为工业触控平板一体机。
进一步的，所述工业触控平台和所述机器人控制器通过串口连接，所述机器人控制器和所述工业机器人通过电机接口及编码器接口连接。
进一步的，所述相机A通过采取L形带孔钢板固定安装在所述工业机器人的末端轴臂上。
一种双相机机器视觉智能工业机器人控制方法，包括以下步骤：
S1、根据需要适配的系统中机器人的应用要求确定相机A和相机B的选型；
S2、通过相机标定确定相机A坐标系和机器人坐标系的关系，确定相机B坐标系和机器人坐标系的关系，将相机A的视觉坐标转换成机器人坐标系中的坐标，将相机B的视觉坐标转换成机器人坐标系中的坐标；
S3、工业触控平台通过对相机采集的图像信息进行分析处理，将图像中目标物体的位姿转换为机器坐标系中的位姿，从而获取目标被抓取位置的坐标和被安装位置的坐标；
S4、工业触控平台通过对相机A拍摄的图像分析输出结果作出判断，将物体或零件抓起，并旋转调整到合适的位置，然后运动到目标放置端的流水工作平台上方；
S5、工业触控平台通过对相机B拍摄的图像分析输出结果作出判断，确定目标位无障碍或目标位所需装配的物体方位正确；
S6、工业触控平台根据相机A拍摄的图像分析输出结果和相机B拍摄的图像分析输出结果作出判断，确定是将物体放置到目标位还是立即停止动作发出警报。
进一步的，所述步骤S2中相机标定包括，
通过内参标定和外参标定确定相机内外参数，由所述相机内外参数建立相机机器坐标和图像坐标之间的关系；
根据上述相机内外参数的标定关系，按照如下步骤得到相机的标定：
S21、打印一张黑白方格盘，贴在一个平板面上，作为基准的标定物；
S22、通过调整标定物的方向，为标定物拍摄若干不同方向的照片；
S23、从所述照片中提取黑白方格盘格角点；
S24、估算理想无畸变的情况下相机的内参和外参；
S25、应用最小二乘法估算实际存在径向畸变下的畸变系数；
S26、最后通过极大似然法优化估计，确定相机参数。
进一步的，所述S3具体包括：
S31、工业触控平台通过对相机A拍摄的图像信息进行预处理、特征提取、模板匹配、位置提取运算获得所需的位置信息和角向信息，对视域中的物体或零件进行识别，输出物体或零件的位置、角向；
S32、工业触控平台通过对相机B拍摄的图像进行预处理、特征提取、模板匹配、位置提取运算获得所需的位置信息和角向信息，对视域中的物体或零件进行识别，输出物体或零件的位置、角向。
进一步的，所述通过内参标定和外参标定确定相机内外参数，由所述相机内外参数建立相机机器坐标和图像坐标之间的关系；
具体包括：
设机器坐标系xw，yw，zw是一个三维直角坐标系；
相机坐标系xc，yc，zc也是一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直；
机器坐标系与相机坐标系关系：
其中R为3*3的旋转矩阵，t为3*1的平移矢量，(xc，yc，zc，1)T为相机坐标系的齐次坐标，(xw，yw，zw，1)T为机器坐标系的齐次坐标；
像素坐标系uov是一个二维直角坐标系，原点o位于图像的左上角，u轴、v轴分别于像面的两边平行，像素坐标系中坐标轴的单位是像素；
图像坐标系XOY与像素坐标系uov是平移关系，图像坐标系的原点是相机光轴与相面的交点，即图像的中心点，坐标轴的单位通常为毫米，X轴、Y轴分别与u轴、v轴平行；故两个坐标系转换关系如下：
其中，dX、dY分别为像素在X、Y轴方向上的物理尺寸，u0，v0为主点坐标；
根据小孔成像原理确定空间任意一点P与其在图像上投影点P’之间的关系，用矩阵表示：
其中，s为比例因子，f为有效焦距，(x，y，z，1)T是空间点P在相机坐标系oxyz中的齐次坐标，(X，Y，1)T是投影像点P’在图像坐标系OXY中的齐次坐标；
综上得到像素坐标系与机器坐标系的关系：
其中，M1称为像素坐标和图像坐标的参数矩阵，M2称为投影参数矩阵，M3称为相机坐标与机器坐标的参数矩阵。
所述步骤S1中进一步包括：
根据需要适配的装配系统、搬运系统或分拣系统中机器人的安装位置、定位精度、工作距离、视野范围确定相机A和相机B的选型。
由上述技术方案可知，与现有技术相比，本发明具有以下有益效果：
1.本发明包括工业机器人、机器人控制器、工业触控平板一体机和双相机装置(含相机A和相机B)。其构成和连接清晰简洁，具有很强的可操作性和实用性，能快速布局应用到工业装配系统、搬运系统和分拣系统中，实现“机器换人”的智能化改造需求。
2.本发明在工程应用中可以根据需要适配的装配系统、搬运系统或分拣系统中机器人的安装位置、定位精度、工作距离、视野范围等确定所述相机A和所述相机B的选型，通过投影误差校正和坐标匹配实现自校准，具有应用范围广、灵活的特点。
3.本发明所述工业触控平板一体机根据相机A拍摄的图像分析输出结果和所述相机B拍摄的图像分析输出结果作出判断，从而确定机器人的动作要求。这个过程的完成集成了多项关键技术的融合：机器视觉技术、传感器技术、图像处理技术、自动控制技术。
4.本发明在工程应用中可以通过所述工业触控平板一体机千兆以太网连接到局域网或广域网，实现远程操控进行调试和设置，极大的方便了本发明的维护，在使用上更加高效、快捷、便利的特点。
附图说明
图1是本发明实施例的结构示意图；
图2是本发明实施例的控制框图；
图3是发明实施例的相机标定算法流程图；
图4是本发明实施例装配系统控制流程图；
图5是本发明实施例定位安装流程图；
图6是本发明实施例相机A的安装方式；
图7是本发明实施例工业机器人控制操作界面示意图；
图8是本发明实施例的机器人控制器内部框图。
具体实施方式
下面结合附图对本发明做进一步说明：
如图1所示，本发明实施例的双相机机器视觉智能工业机器人控制系统包括工业机器人、机器人控制器、工业触控平台和双相机装置，所述工业触控平台为工业触控平板一体机，所述双相机装置包括相机A和相机B。
所述双相机装置和所述工业触控平台通过USB或千兆以太网连接，所述工业触控平台和所述机器人控制器通过串口连接，所述机器人控制器和所述工业机器人通过电机接口及编码器接口连接。
如图6所示，所述相机A直接安装在所述工业机器人的末端轴臂上，具体采取L形带孔钢板固定安装，相机、镜头、光源一体式整体安装。所述相机B安装在目标放置端的流水工作平台上方，工作的过程包含了相机标定，图像采集与处理和机器人运动控制。
所述相机A和所述相机B的相机标定包括内参标定和外参标定，内参标定参数主要包括焦距、径向畸变、主点(图像中心)等，外参标定参数主要是相机相对于世界坐标(此例中称为机器坐标)的位置和旋转角度，通过内外参数可以建立机器坐标和图像坐标之间的关系。具体如下：
机器坐标系(xw，yw，zw)就是一个三维直角坐标系，以其为基准可以描述相机和待测物体的空间位置。机器坐标系的位置可以根据实际情况自由确定。相机坐标系(xc，yc，zc)也是一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直。
机器坐标系与相机坐标系关系：
其中R为3*3的旋转矩阵，t为3*1的平移矢量，(xc，yc，xc，1)T为相机坐标系的齐次坐标，(xw，yw，zw，1)T为机器坐标系的齐次坐标。
像素坐标系uov是一个二维直角坐标系，原点o位于图像的左上角，u轴、v轴分别于像面的两边平行，反映了相机CCD/CMOS芯片中像素的排列情况。像素坐标系中坐标轴的单位是像素(整数)。
图像坐标系XOY与像素坐标系uov是平移关系，图像坐标系的原点是相机光轴与相面的交点(主点)，即图像的中心点，坐标轴的单位通常为毫米(mm)，X轴、Y轴分别与u轴、v轴平行。故两个坐标系转换关系如下：
其中，dX、dY分别为像素在X、Y轴方向上的物理尺寸，u0，v0为主点(图像原点)坐标。
根据小孔成像原理可以确定空间任意一点P与其在图像上投影点P’之间的关系可以用矩阵表示：
其中，s为比例因子(s不为0)，f为有效焦距(光心到图像平面的距离)，(x，y，z，1)T是空间点P在相机坐标系oxyz中的齐次坐标，(X，Y，1)T是投影像点P’在图像坐标系OXY中的齐次坐标。
综上所述可得到像素坐标系与机器坐标系的关系：
其中，M1称为像素坐标和图像坐标的参数矩阵，M2称为投影参数矩阵，M3称为相机坐标与机器坐标的参数矩阵。
根据上述所述相机A和所述相机B的内外参的标定关系，可以按照如下步骤得到相机的标定，如图3所示：
1)打印一张黑白方格盘，贴在一个平板面上，作为基准的标定物；
2)通过调整标定物的方向，为标定物拍摄一些不同方向的照片；
3)从照片中提取黑白方格盘格角点；
4)估算理想无畸变的情况下，五个内参和六个外参；
5)应用最小二乘法估算实际存在径向畸变下的畸变系数；
6)极大似然法，优化估计，提升估计精度。
确定所述相机A和所述相机B的标定后，则可以通过所述相机A和所述相机B采集装配流水线上工作平台的图像，所述工业触控平板一体机通过对所述相机A和所述相机B拍摄的图像进行分析处理，主要包括图像滤波、图像增强和模板匹配。通过图像滤波可以采取高斯滤波来消除噪声、增强对比度，锐化边沿，突出特征；通过图像增强主要对图像的某一特征进行清晰度的强调，使图像变得清晰，使得特征提取更简洁精确，对于模板匹配通常通过对图像内容、特征、结构、关系、纹理以及灰度等的对应关系，相似性和一致性分析，寻求相同目标的方法。这样通过对视域中的需要装配的物体或零件进行识别并检测，被装配目标物是确定的，所以关键是进行基于特征的模板匹配，达到特征匹配要求后就可以根据所匹配的特征得出物体的位置和角向。
整个过程就是对采集的图像信息进行预处理、特征提取、模板匹配、位置提取等运算获得所需的位置信息和角向信息，将图像中目标物体的位姿转换为机器坐标系中的位姿，从而获取目标被抓取位置的坐标和被安装位置的坐标，装配系统控制流程如图4所示。
机器人运动控制都是通过所述工业触控平板一体机上智能机器人控制软件来进行人机交互完成的，如图7所示所述工业触控平板一体机上智能机器人控制界面主要包括用户登录按钮、退出按钮，相机A标定参数设置对话框、相机B标定参数设置对话框、机器人标定对话框、通讯设置对话框、图像预处理对话框、模板匹配设置对话框等。
对机器人控制原理：windows程序调用机器人库函数，库函数通过串口向机器人控制器发送指令，最后机器人控制器执行指令。图8是本发明实施例机器人控制器的内部框图，所述机器人控制器主控芯片采用32位MPU，具有微分积分傅里叶变换，滤波等各种高速计算功能，并且嵌入SRing通讯功能，编码器计数转换功能，脉冲输入输出功能，数字信号处理功能。因为专门控制伺服电机，所以设计得简洁而高效。特别是通信功能强大。特有SRing数据传送方式，SRing模式可一个主站对8个从站；传送速度为5Mbps，数据量1通道128位。
所述32位MPU即32位中央处理单元包括如下：
(1)定时部
内部DPLL(F9H3)。40MHz的外部水晶起振器同步。
生成200MHz周期脉冲。分周之后作为编码部和解码的脉冲。
(2)编码部
生成内部各种定时器。周期同步。
发送数据内存数据和控制bit组成数据结构。数据结构调制后编码。
(3)解码部
接受数据解码RPLL，CMI解除调制，送入数据内存。
(4)发送数据缓冲64W x 16bit RAM。
(5)接受数据缓冲64W x 16bit RAM。
(6)发送缓冲
从MPU接受数据并暂时存放。
(7)接受缓冲
暂时存放数据发送到MCU。
由上可知本发明实施例的机器人控制器采取了高度集成和小型化，配合轻型智能工业机器人，可以非常方便地在生产场地布置，用户基本上可自己安装和按照说明书进行简单的调试。极大的便利了用户，有效的拓展了双相机机器视觉智能工业机器人控制系统的应用场景，大大提高了双相机机器视觉智能工业机器人控制系统的利用率。
本发明实施例的工作原理图如图2所示，所述相机A和所述相机B将采取取料位置和放料位置的图像，并将其转化为数字图像信号传输给所述工业触控平板一体机，然后工业触控平板一体机根据这些图像计算目标的场景位置，接着由控制程序生成控制指令，通过RS232发送给机器人控制器，机器人控制器将控制指令解释为脉冲数并分别发送给各个伺服电机，伺服电机根据指令要求进行动作，从而完成机器的整个操作，将所述相机A拍摄的物体或者零件精确地放置到所述相机B拍摄的目标位置。
本实施案例定位安装流程如图5所示。即本发明实施例双相机机器视觉智能工业机器人系统实现方法包括以下步骤：
(1)根据需要适配的装配系统、搬运系统或分拣系统中机器人的安装位置、定位精度、工作距离、视野范围等确定相机A和相机B的选型；
(2)通过相机标定确定相机A坐标系和机器人坐标系的关系，确定相机B坐标系和机器人坐标系的关系，将相机A的视觉坐标转换成机器人坐标系中的坐标，将相机B的视觉坐标转换成机器人坐标系中的坐标；
(3)工业触控平板一体机通过对相机A拍摄的图像进行分析处理，对视域中的物体或零件进行识别，输出物体或零件的位置、角向；
(4)工业触控平板一体机通过对相机B拍摄的图像进行分析处理，对视域中的物体或零件进行识别，输出物体或零件的位置、角向；
(5)工业触控平板一体机通过对相机A拍摄的图像分析输出结果作出判断，将物体或零件抓起，并旋转调整到合适的位置，然后运动到目标放置端的流水工作平台上方；
(6)工业触控平板一体机通过对相机B拍摄的图像分析输出结果作出判断，确定目标位无障碍或目标位所需装配的物体方位正确；
(7)工业触控平板一体机根据相机A拍摄的图像分析输出结果和相机B拍摄的图像分析输出结果作出判断，确定是将物体放置到目标位还是立即停止动作发出警报。
综上，本发明实施例是一种小型智能工业机器人系统，具有灵活、高效、可靠的特点，在系统设计中该方法实现较容易，可操作性强。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围内。
Claims (10)
1.一种双相机机器视觉智能工业机器人控制系统，包括工业机器人、机器人控制器、工业触控平台，其特征在于：还包括双相机装置，所述双相机装置包括相机A和相机B，所述双相机装置和所述工业触控平台通讯连接，所述工业触控平台和所述机器人控制器通讯连接，所述机器人控制器和所述工业机器人连接，所述相机A安装在所述工业机器人的末端轴臂上，所述相机B安装在目标放置端的流水工作平台上方。
2.根据权利要求1所述的双相机机器视觉智能工业机器人控制系统，其特征在于：所述双相机装置和所述工业触控平板一体机通过USB或千兆以太网连接。
3.根据权利要求2所述的双相机机器视觉智能工业机器人控制系统，其特征在于：所述工业触控平台为工业触控平板一体机。
4.根据权利要求3所述的双相机机器视觉智能工业机器人控制系统，其特征在于：所述工业触控平台和所述机器人控制器通过串口连接，所述机器人控制器和所述工业机器人通过电机接口及编码器接口连接。
5.根据权利要求4所述的双相机机器视觉智能工业机器人控制系统，其特征在于：所述相机A通过采取L形带孔钢板固定安装在所述工业机器人的末端轴臂上。
6.一种双相机机器视觉智能工业机器人控制方法，其特征在于：
包括以下步骤：
S1、根据需要适配的系统中机器人的应用要求确定相机A和相机B的选型；
S2、通过相机标定确定相机A坐标系和机器人坐标系的关系，确定相机B坐标系和机器人坐标系的关系，将相机A的视觉坐标转换成机器人坐标系中的坐标，将相机B的视觉坐标转换成机器人坐标系中的坐标；
S3、工业触控平台通过对相机采集的图像信息进行分析处理，将图像中目标物体的位姿转换为机器坐标系中的位姿，从而获取目标被抓取位置的坐标和被安装位置的坐标；
S4、工业触控平台通过对相机A拍摄的图像分析输出结果作出判断，将物体或零件抓起，并旋转调整到合适的位置，然后运动到目标放置端的流水工作平台上方；
S5、工业触控平台通过对相机B拍摄的图像分析输出结果作出判断，确定目标位无障碍或目标位所需装配的物体方位正确；
S6、工业触控平台根据相机A拍摄的图像分析输出结果和相机B拍摄的图像分析输出结果作出判断，确定是将物体放置到目标位还是立即停止动作发出警报。
7.如权利要求6所述的双相机机器视觉智能工业机器人控制方法，其特征在于：所述步骤S2中相机标定包括，
通过内参标定和外参标定确定相机内外参数，由所述相机内外参数建立相机机器坐标和图像坐标之间的关系；
根据上述相机内外参数的标定关系，按照如下步骤得到相机的标定：
S21、打印一张黑白方格盘，贴在一个平板面上，作为基准的标定物；
S22、通过调整标定物的方向，为标定物拍摄若干不同方向的照片；
S23、从所述照片中提取黑白方格盘格角点；
S24、估算理想无畸变的情况下相机的内参和外参；
S25、应用最小二乘法估算实际存在径向畸变下的畸变系数；
S26、最后通过极大似然法优化估计，确定相机参数。
8.如权利要求6所述的双相机机器视觉智能工业机器人控制方法，其特征在于：所述S3具体包括：
S31、工业触控平台通过对相机A拍摄的图像信息进行预处理、特征提取、模板匹配、位置提取运算获得所需的位置信息和角向信息，对视域中的物体或零件进行识别，输出物体或零件的位置、角向；
S32、工业触控平台通过对相机B拍摄的图像进行预处理、特征提取、模板匹配、位置提取运算获得所需的位置信息和角向信息，对视域中的物体或零件进行识别，输出物体或零件的位置、角向。
9.如权利要求7所述的双相机机器视觉智能工业机器人控制方法，其特征在于：所述通过内参标定和外参标定确定相机内外参数，由所述相机内外参数建立相机机器坐标和图像坐标之间的关系；
具体包括：
设机器坐标系xw，yw，zw是一个三维直角坐标系；
相机坐标系xc，yc，zc也是一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直；
机器坐标系与相机坐标系关系：
其中R为3*3的旋转矩阵，t为3*1的平移矢量，(xc，yc，zc，1)T为相机坐标系的齐次坐标，(xw，yw，zw，1)T为机器坐标系的齐次坐标；
像素坐标系uov是一个二维直角坐标系，原点o位于图像的左上角，u轴、v轴分别于像面的两边平行，像素坐标系中坐标轴的单位是像素；
图像坐标系XOY与像素坐标系uov是平移关系，图像坐标系的原点是相机光轴与相面的交点，即图像的中心点，坐标轴的单位通常为毫米，X轴、Y轴分别与u轴、v轴平行；故两个坐标系转换关系如下：
其中，dX、dY分别为像素在X、Y轴方向上的物理尺寸，u0，v0为主点坐标；
根据小孔成像原理确定空间任意一点P与其在图像上投影点P’之间的关系，用矩阵表示：
其中，s为比例因子，f为有效焦距，(x，y，z，1)T是空间点P在相机坐标系oxyz中的齐次坐标，(X，Y，1)T是投影像点P’在图像坐标系OXY中的齐次坐标；
综上得到像素坐标系与机器坐标系的关系：
其中，M1称为像素坐标和图像坐标的参数矩阵，M2称为投影参数矩阵，M3称为相机坐标与机器坐标的参数矩阵。
10.如权利要求6所述的双相机机器视觉智能工业机器人控制方法，其特征在于：所述步骤S1中进一步包括：
根据需要适配的装配系统、搬运系统或分拣系统中机器人的安装位置、定位精度、工作距离、视野范围确定相机A和相机B的选型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910052198.0A CN111452034A (zh) | 2019-01-21 | 2019-01-21 | 一种双相机机器视觉智能工业机器人控制系统及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910052198.0A CN111452034A (zh) | 2019-01-21 | 2019-01-21 | 一种双相机机器视觉智能工业机器人控制系统及控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111452034A true CN111452034A (zh) | 2020-07-28 |
Family
ID=71675389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910052198.0A Pending CN111452034A (zh) | 2019-01-21 | 2019-01-21 | 一种双相机机器视觉智能工业机器人控制系统及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111452034A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112083317A (zh) * | 2020-09-21 | 2020-12-15 | 深圳市控汇智能股份有限公司 | 一种高效率工业机器人检测系统 |
| CN112739192A (zh) * | 2020-12-30 | 2021-04-30 | 深圳市卓兴半导体科技有限公司 | 一种多工位设备的自动定位方法、系统及贴合设备 |
| CN112847321A (zh) * | 2021-01-04 | 2021-05-28 | 扬州市职业大学(扬州市广播电视大学) | 基于人工智能的工业机器人视觉图像识别系统 |
| CN113709362A (zh) * | 2021-08-05 | 2021-11-26 | 深圳光远智能装备股份有限公司 | 一种用于精准定位的双相机对位系统 |
| CN114419437A (zh) * | 2022-01-12 | 2022-04-29 | 湖南视比特机器人有限公司 | 基于2d视觉的工件分拣系统及其控制方法和控制装置 |
| CN115511967A (zh) * | 2022-11-17 | 2022-12-23 | 歌尔股份有限公司 | 一种视觉定位方法、装置和系统 |
| CN115981178A (zh) * | 2022-12-19 | 2023-04-18 | 广东若铂智能机器人有限公司 | 一种鱼类水产宰杀的仿真系统及方法 |
| CN116902569A (zh) * | 2023-07-14 | 2023-10-20 | 上海轩田工业设备有限公司 | 一种基于机器视觉引导的物料精准吸取系统和方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030168317A1 (en) * | 2002-01-14 | 2003-09-11 | Fromme Christopher C. | Conveyor belt inspection system and method |
| US20140046486A1 (en) * | 2012-08-08 | 2014-02-13 | Canon Kabushiki Kaisha | Robot device |
| CN105234943A (zh) * | 2015-09-09 | 2016-01-13 | 大族激光科技产业集团股份有限公司 | 一种基于视觉识别的工业机器人示教装置及方法 |
| US20160059419A1 (en) * | 2014-09-03 | 2016-03-03 | Canon Kabushiki Kaisha | Robot apparatus and method for controlling robot apparatus |
| CN106695792A (zh) * | 2017-01-05 | 2017-05-24 | 中国计量大学 | 基于机器视觉的码垛机器人跟踪监控系统及方法 |
| CN106826817A (zh) * | 2017-01-11 | 2017-06-13 | 河北省自动化研究所 | 双反馈机械臂自动装卸系统及方法 |
| CN107478203A (zh) * | 2017-08-10 | 2017-12-15 | 王兴 | 一种基于激光扫描的3d成像装置及成像方法 |
| WO2018043525A1 (ja) * | 2016-09-02 | 2018-03-08 | 倉敷紡績株式会社 | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 |
-
2019
- 2019-01-21 CN CN201910052198.0A patent/CN111452034A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030168317A1 (en) * | 2002-01-14 | 2003-09-11 | Fromme Christopher C. | Conveyor belt inspection system and method |
| US20140046486A1 (en) * | 2012-08-08 | 2014-02-13 | Canon Kabushiki Kaisha | Robot device |
| US20160059419A1 (en) * | 2014-09-03 | 2016-03-03 | Canon Kabushiki Kaisha | Robot apparatus and method for controlling robot apparatus |
| CN105234943A (zh) * | 2015-09-09 | 2016-01-13 | 大族激光科技产业集团股份有限公司 | 一种基于视觉识别的工业机器人示教装置及方法 |
| WO2018043525A1 (ja) * | 2016-09-02 | 2018-03-08 | 倉敷紡績株式会社 | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 |
| CN106695792A (zh) * | 2017-01-05 | 2017-05-24 | 中国计量大学 | 基于机器视觉的码垛机器人跟踪监控系统及方法 |
| CN106826817A (zh) * | 2017-01-11 | 2017-06-13 | 河北省自动化研究所 | 双反馈机械臂自动装卸系统及方法 |
| CN107478203A (zh) * | 2017-08-10 | 2017-12-15 | 王兴 | 一种基于激光扫描的3d成像装置及成像方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘常: "双相机机器人视觉引导系统", 《设备管理与维修》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112083317A (zh) * | 2020-09-21 | 2020-12-15 | 深圳市控汇智能股份有限公司 | 一种高效率工业机器人检测系统 |
| CN112739192A (zh) * | 2020-12-30 | 2021-04-30 | 深圳市卓兴半导体科技有限公司 | 一种多工位设备的自动定位方法、系统及贴合设备 |
| CN112847321A (zh) * | 2021-01-04 | 2021-05-28 | 扬州市职业大学(扬州市广播电视大学) | 基于人工智能的工业机器人视觉图像识别系统 |
| CN113709362A (zh) * | 2021-08-05 | 2021-11-26 | 深圳光远智能装备股份有限公司 | 一种用于精准定位的双相机对位系统 |
| CN114419437A (zh) * | 2022-01-12 | 2022-04-29 | 湖南视比特机器人有限公司 | 基于2d视觉的工件分拣系统及其控制方法和控制装置 |
| CN114419437B (zh) * | 2022-01-12 | 2025-02-21 | 湖南视比特机器人有限公司 | 基于2d视觉的工件分拣系统及其控制方法和控制装置 |
| CN115511967A (zh) * | 2022-11-17 | 2022-12-23 | 歌尔股份有限公司 | 一种视觉定位方法、装置和系统 |
| CN115981178A (zh) * | 2022-12-19 | 2023-04-18 | 广东若铂智能机器人有限公司 | 一种鱼类水产宰杀的仿真系统及方法 |
| CN115981178B (zh) * | 2022-12-19 | 2024-05-24 | 广东若铂智能机器人有限公司 | 一种鱼类水产宰杀的仿真系统 |
| CN116902569A (zh) * | 2023-07-14 | 2023-10-20 | 上海轩田工业设备有限公司 | 一种基于机器视觉引导的物料精准吸取系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111452034A (zh) | 一种双相机机器视觉智能工业机器人控制系统及控制方法 | |
| CN105931240B (zh) | 三维深度感知装置及方法 | |
| CN110246177B (zh) | 一种基于视觉的自动测波方法 | |
| CN107255476B (zh) | 一种基于惯性数据和视觉特征的室内定位方法和装置 | |
| US9995578B2 (en) | Image depth perception device | |
| CN105809689B (zh) | 基于机器视觉的船体六自由度测量方法 | |
| CN102431034B (zh) | 基于颜色识别的机器人追踪方法 | |
| CN1976445A (zh) | 基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法 | |
| CN102785719B (zh) | 船舶水尺图像拍摄方法 | |
| CN117333902A (zh) | 一种三维空间定位系统和方法 | |
| CN109493385A (zh) | 一种结合场景点线特征的移动机器人室内自主定位方法 | |
| CN113838147B (zh) | 基于深度相机的叶片装配视觉引导方法及系统 | |
| CN107843251A (zh) | 移动机器人的位姿估计方法 | |
| CN108453739B (zh) | 基于自动形状拟合的立体视觉定位机械臂抓取系统及方法 | |
| CN103544714A (zh) | 一种基于高速图像传感器的视觉追踪系统及方法 | |
| CN107291088A (zh) | 一种水下机器人图像识别和目标跟踪系统 | |
| CN103841296A (zh) | 一种具有大范围旋转及平移运动估计的实时电子稳像方法 | |
| KR100776805B1 (ko) | 스테레오 비전 처리를 통해 지능형 서비스 로봇 시스템에서효율적인 영상 정보의 전송을 위한 장치 및 그 방법 | |
| CN107527368A (zh) | 基于二维码的三维空间姿态定位方法与装置 | |
| CN109785444A (zh) | 图像中现实平面的识别方法、装置及移动终端 | |
| CN118492790A (zh) | 一种焊接机器人位姿计算方法、系统、装置及介质 | |
| CN110060295A (zh) | 目标定位方法及装置、控制装置、跟随设备及存储介质 | |
| CN120388422A (zh) | 一种基于多视角场景下的人体三维姿态估计方法、系统、终端及存储介质 | |
| CN116594351A (zh) | 一种基于机器视觉的数控加工单元系统 | |
| CN118585000A (zh) | 一种基于STM32和OpenMV的二自由度的云台控制系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| DD01 | Delivery of document by public notice | ||
| DD01 | Delivery of document by public notice |
Addressee: Guangdong Ruopai Intelligent Robot Co.,Ltd. Person in charge of patentsThe principal of patent Document name: Deemed withdrawal notice |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200728 |