CN108000499B - 机器人视觉坐标的编程方法 - Google Patents

Abstract

一种机器人视觉坐标的编程方法，牵引机器人至作业点位，设定作业点位的坐标及拍摄作业为新增点位，拍摄教导图像，并建立视觉坐标系统，在建立的视觉坐标系统设定接续的新增点位。机器人作业时，在拍摄的作业点位，伺服机器人拍摄图像与教导图像比较，搜索相同的教导图像，确认视觉坐标系统维持在教导时相同对应位置关系，以精确控制机器人。

Description

机器人视觉坐标的编程方法

技术领域

本发明涉及一种机器人，尤其涉及工业机器人利用拍摄图像，建立视觉坐标系统，编程机器人作业点位的方法。

背景技术

机器人具有灵活移动、精确定位及连续性作业的特性，已成为产品生产线上制造组装的最佳利器。而简化机器人作业的编程，让机器人快速加入生产线，已成为提升机器人生产效率的重要课题。

如图10所示，现有技术机器人1编程的坐标系统，通常包含机器人坐标系统(RobotBase)R、世界坐标系统(Global Base)G、工具坐标系统(Tool Base)T、工件坐标系统(Workpiece Base)W等。其中工件坐标系统W尤其重要，因机器人1在编程时，可选择将阶段性移动的点位P，记录在工件2的工件坐标系统W。当工件坐标系统W的原点位置及三维方位角合起来的6个自由度，相对于机器人坐标系统R发生移动改变时，机器人1只要重新取得工件坐标系统W相对于机器人坐标系统R的变化值，即可让记录于工件坐标系统W点位P确定相对于机器人坐标系统R的位置，以精确控制机器人1至点位P。而点位P坐标因记录于工件坐标系统W，不随机器人坐标系统R移动而改变，在人机界面上的显示并无变化，因此易于设定点位进行机器人1作业编程。

此外，机器人1的末端或外部常整合视觉装置3，机器人1借着视觉装置3的拍摄图像，并计算图像特征D于图像平面的坐标，与工作环境中已知环境特征D的坐标进行比对，而产生图像特征D坐标偏移值，如X轴:3像素(pixel),Y:6像素(pixel),角度:0.5度，再利用前述偏移值，通过图像处理，将像素换算为实际距离如6mm,12mm等，而在编程设定点位时，由用户补偿前述偏移值，使机器人1动作随图像校正，以提高控制精确度。

然而，前述编程的方式，设定点位需随拍摄图像一一补偿偏移值，不仅使设定点位变得复杂困难，且在多次视觉装置3拍摄图像进行补偿偏移值后，例如点位随拍摄图像K偏移至L处再随拍摄图像L偏移至M处等复杂操作时，点位的编程及记录更为复杂难懂，让机器人1的编程变得十分困难，设定的点位也难以管理，无法轻易重复使用需精密计算的点位，导致编程效率降低。因此，如何使具备图像系统的机器人更容易直觉编程，是亟待解决的问题。

发明内容

本发明的目的提供一种机器人视觉坐标的编程方法，通过机器人视觉装置在点位拍摄的教导图像，建立视觉坐标系统，并在视觉坐标系统编程点位，以简化机器人作业的编程。

本发明的另一目的提供一种机器人视觉坐标的编程方法，在编程后，伺服机器人搜索相同教导图像的图像，确认视觉坐标系统，快速移动点位，以提高机器人作业的效率。

本发明再一目的在提供一种机器人视觉坐标的编程方法，利用人机界面提供点位编程时选择储存的坐标系统，并在流程方块中标示点位的坐标系统，及由点位管理页面登录点位坐标，以加强点位的管理。

为了达到前述发明的目的，本发明机器人视觉坐标的编程方法，首先牵引机器人至作业点位，选择作业点位记录的坐标系统，设定作业点位为新增点位，并设定新增点位的坐标及作业，校验新增点位的作业是否为拍摄作业时，在新增点位拍摄教导图像，并建立视觉坐标系统，如果校验未完成编程，则在建立的视觉坐标系统设定接续的新增点位，如果已完成编程，则结束编程。而如果校验新增点位的作业不为拍摄作业时，则直接校验是否完成编程。

本发明机器人视觉坐标的编程方法，在完成编程后，以设定的坐标系统移动机器人至作业点位，校验作业点位是否为拍摄作业，伺服机器人拍摄图像与教导图像比较，计算图像的位移量及旋转角度差异量，搜索相同的教导图像，校验拍摄图像与教导图像的差异量是否小于预设值，确认视觉坐标系统维持在教导时相同对应位置关系，以便控制机器人移动点位进行作业。

本发明在校验差异量不小于预设值校验时，则继续搜索相同的教导图像。另外在确认视觉坐标系统后，记录拍摄姿态建立新视觉坐标系统，以更新视觉坐标系统。更新视觉坐标系统后，如果校验未完成作业，则继续移动点位，如果已完成作业，则结束作业。而在校验作业点位不为拍摄作业时，则执行作业点位设定的作业，然后校验是否完成作业。本发明机器人视觉坐标的编程方法，在设定新增点位坐标及作业后，机器人的人机界面的编程画面，在新增点位的流程方块下标显现记录视觉坐标系统的标记。

附图说明

图1为本发明机器人视觉坐标的编程系统图。

图2为本发明机器人在作业中建立视觉坐标系统的示意图。

图3为本发明机器人视觉坐标系统的示意图。

图4为本发明机器人移动点位的示意图。

图5为本发明人机界面编程的画面图。

图6为本发明点位记载的画面图。

图7为本发明点位管理的画面图。

图8为本发明机器人视觉坐标的编程方法的流程图。

图9为本发明机器人视觉坐标的作业方法的流程图。

图10为现有技术机器人编程的坐标系统图。

附图符号说明

10 编程系统

11 机器人

12 视觉装置

13 控制器

14 人机界面

15 储存装置

16 固定端

17 活动端

18 作业流程

20 工件

21 图像

22 新增点位键

23，28，29，32，35 流程方块

24 点位记录位置

25 机器人坐标系统项目

26 工件坐标系统项目

27 点位记载画面

30 第一视觉坐标系统项目

31，34 标记

33 第二视觉坐标系统项目

36 物体

40 点位管理画面

41 选择记录坐标系统

42 原坐标系统

43 新坐标系统

具体实施方式

关于本发明为达成上述目的，所采用的技术手段及其功效，兹举较佳实施例，并配合附图加以说明如下。

请同时参考图1、图2及图3所示，图1为本发明机器人视觉坐标的编程系统，图2为本发明机器人在作业中建立视觉坐标系统的示意图，图3为本发明机器人视觉坐标系统的示意图。图1中，本发明的编程系统10，主要包含机器人11、视觉装置12、控制器13、人机界面14及储存装置15。其中机器人11的固定端16形成机器人坐标系统R，而机器人11的活动端17设置视觉装置12，机器人11连接至控制器13。用户利用连接至控制器13的人机界面14编程机器人11的作业流程18，输入控制器13的储存装置15，由控制器13根据编程控制机器人11移动。并利用活动端17承载的视觉装置12，撷取工件20的图像21，将拍摄姿态及图像21存在控制器13中的储存装置15。控制器13再对储存装置15储存的图像21进行图像处理。因视觉装置12固定在机器人11的活动端17上，控制器13通过拍摄姿态根据各轴节的伺服马达的转动关系，可认知及记录活动端17在机器人坐标系统R的坐标，以及视觉装置12于各个拍摄姿态下视觉坐标系统(Vision Base)V相对于机器人坐标系统R的关系。

本发明举例以伺服式视觉方法检测工件20在机器人11的视觉坐标系统V的相对位置。在编程教导机器人11作业时，牵引机器人11以拍摄姿态A利用视觉装置12拍摄工件20的教导图像A，根据视觉装置12所在位置，建立视觉坐标系统V，使视觉坐标系统V的原点与教导图像A平面坐标系统的原点重合，视觉坐标系统V的XYZ轴与图像A平面坐标系统的XYZ轴重合，也即利用此时视觉装置12相对于机器人坐标系统R的6维相对关系，建立视觉坐标系统V。并将建立的视觉坐标系统V储存于机器人11储存装置15中。因根据机器人11活动端17上的视觉装置12摄影机建立视觉坐标系统的方法有许多种，本发明包含且不限于前述举例说明。接着再牵引机器人11至处理工件20的处理点位P，利用建立的视觉坐标系统V记录处理点位P的坐标，虽然处理点位P的坐标及相对工件20的位置相对固定，工件20也与机器人11的活动端17具有相对的关系，但工件20的距离未知，因此在视觉坐标系统V的位置仍不明确。

图2中，为本发明机器人在作业中建立视觉坐标系统的示意图。本发明机器人11在作业时，由于工件20的输送或机器人11的移位，造成工件20与机器人11产生相对的位移，无法维持教导时的视觉坐标系统V。机器人11先以相同的拍摄姿态A拍摄工件20得到图像A’，图像A’与教导图像A会产生方位的差异，利用教导图像A与实际作业摄得的图像A’，进行图像平面上的特征比对，计算出位移量及旋转角度差异量。接着伺服移动机器人11，并不断拍摄工件20图像进行搜索，使摄得的图像与教导图像A相同或其差异性小于预设阈值，以完成视觉伺服，并记录机器人11完成视觉伺服的姿态B。

图3中，完成视觉伺服时，摄得的图像与教导图像相同时，表示机器人11的活动端17、处理点位P与工件20保持在教导时的相对位置关系。再根据完成视觉伺服的姿态B，建立新视觉坐标系统V’，因新视觉坐标系统V’相当于姿态B机器人11的视觉装置12在机器人坐标系统R的6维坐标R1’，加上教导时的视觉坐标系统V，并利用新视觉坐标系统V’更新储存的视觉坐标系统V相对于机器人坐标系统R的描述值。让工件20与视觉坐标系统V维持在相同对应位置关系，而仅是机器人11的活动端17的坐标相对于机器人坐标系统R坐标的改变。因此完成更新后，不须定位工件20的坐标，机器人11的活动端17就可快速移动至设定在视觉坐标系统V的处理点位P处理工件20。

请同时参考图4至图6，图4为本发明机器人移动点位的示意，图5为本发明人机界面编程的画面图，图6为本发明点位记载的画面图。图4中举例说明机器人11从第一点位P1，远处利用视觉装置12拍摄工件20的图像，判断工件20的大概位置，再移动至接近工件20的第二点位P2，近距离拍摄放置于工件20上某位置的物体36图像，因此时该物体36在视觉装置12的图像平面上所占像素较大，可较精确的决定物体36的方位，接着移动至最适当第三点位P3夹取工件20的物体36，然后退回至较远的第四点位P4，将物体36放置于工件20上的另一位置的编程及作业流程。

图5中，本发明利用人机界面14针对前述作业流程进行编程时，首先编程起始点位，牵引机器人11至起始点位P0，在人机界面14接着下拉点位记录位置24，选择点位设定的坐标系统。点位记录位置24出现的坐标系统项目，通常包含机器人坐标系统项目25及部分在教导测试保留有用的坐标系统项目，如刚开始编程时，仅有机器人坐标系统项目25及工件坐标系统项目26可供选择，选择机器人坐标系统项目25，在人机界面14画面按压新增点位键22，人机界面14的画面出现流程方块23，机器人11自动输入起始点位P0的机器人坐标系统的坐标。按压流程方块23，出现点位记载的画面27(参图5)，校验设定起始点位P0的坐标及作业，储存流程方块23为起始方块。

回至图4画面编程第一点位P1，牵引机器人11至远距离的第一点位P1，下拉点位记录位置24，选择机器人坐标系统项目25，再按压人机界面14的新增点位键22，画面出现流程方块28，机器人11自动输入机器人坐标系统R的第一点位P1坐标，按压人机界面14的流程方块28，出现点位记载的画面27(参图5)，校验设定并储存流程方块28为第一拍摄方块，机器人11在第一点位P1拍摄远距离的工件20第一教导图像，以第一教导图像建立第一视觉坐标系统V1，并储存于机器人11储存装置中。

再回至图4画面编程第二点位P2，牵引机器人11至近距离的第二点位P2，下拉点位记录位置24，选择刚建立的第一视觉坐标系统V1项目30，按压人机界面14的新增点位键22，画面出现流程方块29，机器人11自动输入第一视觉坐标系统V1的第二点位P2坐标，按压人机界面14的流程方块29，出现点位记载的画面27(参图5)，校验设定并储存流程方块29为第二拍摄方块，因流程方块29以第一视觉坐标系统V1坐标记录，流程方块29的下标将出现第一视觉坐标系统V1的标记31，以与未标记的机器人坐标系统R形成区别，提醒用户。接着机器人11在第二点位P2拍摄近距离的工件20第二教导图像，以第二教导图像建立第二视觉坐标系统V2，并储存于机器人11储存装置中。

回至图4画面继续编程第三点位P3，利用近距离拍摄的工件20上某物体36的第二教导图像，考量较佳的夹取位置，牵引机器人11至夹取点位的第三点位P3夹取物体36，下拉点位记录位置24，选择建立的第二视觉坐标系统V2项目33，按压人机界面14的新增点位键22，画面出现流程方块32，机器人11自动输入第二视觉坐标系统V2的第三点位P3坐标，按压人机界面14的流程方块32，出现点位记载的画面27(参图5)，校验设定并储存流程方块32为夹取作业的第三点位P3，流程方块32的下标将出现第二视觉坐标系统V2的标记34。

然后回至图4画面编程第四点位P4，牵引夹取物体36的机器人11至放置点位的第四点位P4，下拉点位记录位置24，选择建立的第一视觉坐标系统V1项目30，按压人机界面14的新增点位键22，画面出现流程方块35，机器人11自动输入第一视觉坐标系统V1的第四点位P4的坐标，按压人机界面14的流程方块35，出现点位记载的画面27(参图5)，校验设定并储存流程方块35为放置作业的第四点位P4，流程方块35的下标将出现第一视觉坐标系统V1的标记31，完成机器人11夹放的编程。

本发明编程后进行实际作业时，机器人11以机器人坐标系统由起始点位P0开始移动至第一点位P1，根据第一拍摄点位的设定，在第一点位P1进行远距离工件20的拍摄，拍摄图像与第一教导图像比较，计算出位移量及旋转角度差异量，伺服机器人11搜索与第一教导图像相同的拍摄图像，建立新第一视觉坐标系统V1’，确认机器人11与工件20在第一点位P1的相对位置关系，再移动至第二点位P2。根据第二点位P2第二拍摄点位的设定，在第二点位P2进行近距离的拍摄，拍摄图像与第二教导图像比较，计算出位移量及旋转角度差异量，伺服机器人11搜索与第二教导图像相同的拍摄图像，建立新第二视觉坐标系统V2’，确认机器人11与工件20上的物体36在第二点位P2的相对位置关系，接着移动至第三点位P3。根据第三点位P3夹取作业的设定，夹取物体36，然后根据新第一视觉坐标系统V1’，移动至第四点位P4，根据第四点位P4放置作业的设定，放置物体36于工件20上与当初教导时相同的放置位置，以完成当作业开始时工件20已与教导时与机器人相对关系发生变化后的取放作业。

由前述在各图像的视觉坐标系统，不需要过度复杂的计算，直接编程的点位，执行时，虽然点位为各视觉坐标系统的坐标，但各视觉坐标系统建立时，编程系统已记录各视觉坐标系统校正后相对于机器人坐标系统的数据，只要将点位视觉坐标系统的坐标转换为机器人坐标系统的坐标，就可控制机器人执行第一点位至第四点位，取放工件的作业流程。

如图7所示，为本发明的点位管理画面图。本发明的点位管理画面40，记录各点位选择记录的坐标系统41，还包括可于点位储存管理界面上进行点位坐标系转录的方法，当用户选择重新于其它坐标系统记录此点时，机器人控制器将维持该点位记录的原坐标系统42的记载描述，并依据用户所选定的新坐标系统43计算并记录该点位在新坐标系上的坐标值，因此可让用户辛苦计算的点位得以续存保留，避免因记录于错误的坐标系统中遭到删除或修改，而需要重新计算点位。

如图8所示，为本发明机器人视觉坐标的编程方法的流程。根据前述实施例的说明，本发明机器人视觉坐标的编程方法的流程详细步骤说明如下:首先在步骤S1，开始对机器人进行编程；步骤S2，牵引机器人至作业点位；步骤S3，选择作业点位记录的坐标系统；步骤S4，设定作业点位为新增点位，并设定新增点位的坐标及作业，接着至步骤S5，校验新增点位是否为拍摄作业。如果为拍摄作业，则至步骤S6，在新增点位拍摄教导图像，再至步骤S7，在拍摄的新增点位建立视觉坐标系统；至步骤S8，校验是否完成编程。如果未完成编程，则回至步骤S2提供选择建立的视觉坐标系统继续建立新增点位，如果已完成编程，则至步骤S9，结束编程；另外在步骤S5，如果校验新增点位的作业不为拍摄作业，则直接至步骤S8校验是否完成编程。

如图9所示，为本发明机器人在编程后作业方法的流程。根据前述实施例的说明，本发明机器人在编程后作业方法的流程详细步骤说明如下:首先在步骤T1，机器人开始进行编程后作业；步骤T2，以设定的坐标系统移动机器人至作业点位；步骤T3，校验作业点位是否为拍摄作业。如果为拍摄作业，则至步骤T4，伺服机器人拍摄图像与教导图像比较，计算图像的位移量及旋转角度差异量，搜索相同的教导图像，接着至步骤T5，校验拍摄图像与教导图像的差异量是否小于预设值。如果差异量不小于预设值，则回至步骤T4继续搜索相同的教导图像，如果差异量小于预设值，则至步骤T6，确认视觉坐标系统维持在教导时相同对应位置关系，以便控制机器人移位，记录拍摄姿态建立新视觉坐标系统，以更新视觉坐标系统；至步骤T7，校验是否完成作业。如果未完成作业，则回至步骤T2继续移动点位，如果已完成作业，则至步骤T8，结束作业；另外在步骤T3，校验作业点位不为拍摄作业，则直接至步骤T9，执行作业点位设定的作业，至步骤T7校验是否完成作业。

因此，因此本发明的机器人视觉坐标的编程方法，就可通过机器人视觉装置拍摄教导图像，利用教导图像建立视觉坐标系统，并直接在视觉坐标系统编程点位，达到简化机器人编程的目的。并在编程后，伺服机器人拍摄及搜索相同教导图像的图像，确认视觉坐标系统，快速移动点位，达到提高机器人作业的效率的目的。此外，本发明的机器人视觉坐标的编程方法，可选择已建立的图像的视觉坐标系统间切换编程点位，方便重复利用各视觉坐标系统的图像或点位，减少拍摄及图像处理时间，更可提高编程效率的目的。而且本发明机器人视觉坐标的编程方法，利用人机界面提供点位编程时，选择储存的坐标系统，并在流程方块中标示点位的坐标系统，并由点位管理页面登录点位坐标，加强点位的管理，方便编程参考。

以上所述的仅为用以方便说明本发明的较佳实施例，本发明的范围不限于这些较佳实施例，凡依据本发明所做的任何变更，在不脱离本发明的精神的情况下，都属于本发明权利要求的范围。

Claims (8)

1.一种机器人视觉坐标的编程方法，其步骤包含：

牵引机器人至作业点位；

选择作业点位记录的坐标系统；

设定作业点位为新增点位，并设定新增点位的坐标及作业；

校验新增点位的作业是否为拍摄作业；

在新增点位拍摄教导图像，并建立视觉坐标系统；

在建立的视觉坐标系统设定接续的新增点位，

其中机器人在完成编程后，执行编程的方法包含以下的步骤：

以设定的坐标系统移动机器人至作业点位；

校验作业点位是否为拍摄作业；

伺服机器人拍摄图像与教导图像比较，计算图像的位移量及旋转角度差异量，搜索相同的教导图像；

校验拍摄图像与教导图像的差异量是否小于预设值；

确认视觉坐标系统维持在教导时相同对应位置关系，以便控制机器人移动点位进行作业。

2.如权利要求1所述的机器人视觉坐标的编程方法，其中在建立视觉坐标系统后，如果校验未完成编程，则继续建立新增点位，如果已完成编程，则结束编程。

3.如权利要求2所述的机器人视觉坐标的编程方法，其中如果校验新增点位的作业不为拍摄作业，则直接校验是否完成编程。

4.如权利要求3所述的机器人视觉坐标的编程方法，其中如果校验差异量不小于预设值校验，则继续搜索相同的教导图像。

5.如权利要求3所述的机器人视觉坐标的编程方法，其中确认视觉坐标系统后，记录拍摄姿态建立新视觉坐标系统，以更新视觉坐标系统。

6.如权利要求5所述的机器人视觉坐标的编程方法，其中更新视觉坐标系统后，如果校验未完成作业，则继续移动点位，如果已完成作业，则结束作业。

7.如权利要求6所述的机器人视觉坐标的编程方法，其中如果校验作业点位不为拍摄作业时，则执行作业点位设定的作业，然后校验是否完成作业。

8.如权利要求1所述的机器人视觉坐标的编程方法，其中设定新增点位坐标及作业后，机器人的人机界面的编程画面，在新增点位的流程方块下标显现记录视觉坐标系统的标记。

Images