[go: up one dir, main page]

CN107053167A - 控制装置、机器人以及机器人系统 - Google Patents

控制装置、机器人以及机器人系统 Download PDF

Info

Publication number
CN107053167A
CN107053167A CN201611078388.2A CN201611078388A CN107053167A CN 107053167 A CN107053167 A CN 107053167A CN 201611078388 A CN201611078388 A CN 201611078388A CN 107053167 A CN107053167 A CN 107053167A
Authority
CN
China
Prior art keywords
image
mark
robot
fiducial mark
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611078388.2A
Other languages
English (en)
Other versions
CN107053167B (zh
Inventor
石毛太郎
原田笃
山口如洋
阿部弘光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN107053167A publication Critical patent/CN107053167A/zh
Application granted granted Critical
Publication of CN107053167B publication Critical patent/CN107053167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种能够高精度地确定基准面的姿势的控制装置、被所涉及的控制装置控制的机器人、以及具备所涉及的控制装置的机器人系统。控制装置(5)能够分别控制具有机器人臂(10)的机器人(1)、以及能够拍摄第一基准标记、第二基准标记以及第三基准标记的拍摄部，对机器人1设置拍摄部或者第一基准标记、第二基准标记以及第三基准标记，并基于拍摄部拍摄第一基准标记而得的第一图像、拍摄部拍摄第二基准标记而得的第二图像、以及拍摄部拍摄第三基准标记而得的第三图像，来求出与经过第一基准标记、第二基准标记以及第三基准标记的平面平行的基准面的姿势。

Description

控制装置、机器人以及机器人系统
技术领域
本发明涉及控制装置、机器人以及机器人系统。
背景技术
以往，例如已知有在电子部件等对象物的把持、搬运以及组装等作业中使用的机器人系统。这样的机器人系统具有：机器人，其具有具备多个臂的机器人臂以及设置于其前端的手；摄像机等拍摄部；以及控制装置，其分别控制机器人以及拍摄部。在这样的构成的机器人系统中，例如基于利用拍摄部拍摄到的对象物的图像，机器人通过手对对象物进行各种作业。
在此，为了基于利用拍摄部拍摄到的图像，机器人针对对象物准确地进行作业，需要求出用于将利用拍摄部拍摄到的对象物的图像上的位置以及姿势转换为机器人坐标系中的值的修正参数的拍摄部的校正(校准)。
例如，在专利文献1中记载有使用机器人视觉传感器系统(机器人系统)，求出将图像上的位置转换为机器人坐标系的值的参数的处理。专利文献1所记载的机器人视觉传感器系统具有：机器人，其具有机器人臂以及设置于其前端的精加工用手；视觉传感器(拍摄部)，其设置于机器人臂的前端；以及校准夹具，其具备具有3个基准点以及4个参照点的平面。
在专利文献1所记载的处理中，首先，通过使精加工用手与3个基准点接触，确定出机器人坐标系中的校准夹具的位置以及姿势。然后，驱动机器人臂，利用视觉传感器拍摄4个参照点，在拍摄部的图像坐标系中确定校准夹具的位置，从而求出将图像上的位置转换为机器人坐标系的值的参数。
专利文献1：日本特开平8-210816号公报
但是，在专利文献1所记载的处理中，如上所述那样，通过使精加工用手与3个基准点接触来确定机器人坐标系中的校准夹具的位置。在这样的以往的校正的处理中，一般而言，由于作业者确认校准夹具与精加工用手的接触，所以根据作业者不同而在接触的判断中产生差。因此，难以高精度地确定校准夹具的位置以及姿势。
另外，若由作业者准确地进行接触的判断，则存在对于校准夹具的位置以及姿势的确定需要较长时间的问题。因此，作为校正对象的机器人的数量越增加，上述问题越深刻。
发明内容
本发明是为了解决上述的课题的至少一部分而成的，能够通过以下的本发明来实现。
本发明的控制装置是能够分别控制具有机器人臂的机器人以及能够拍摄第一基准标记、第二基准标记以及第三基准标记的拍摄部的控制装置，通过对上述机器人设置上述拍摄部或者上述第一基准标记、上述第二基准标记以及上述第三基准标记，并使上述机器人臂的姿势变化，能够使上述拍摄部分别与上述第一基准标记、上述第二基准标记、上述第三基准标记之间的距离变化，基于上述拍摄部拍摄上述第一基准标记而得的第一图像、上述拍摄部拍摄配置在与上述第一基准标记不同的位置的上述第二基准标记而得的第二图像、以及上述拍摄部拍摄配置在与上述第一基准标记以及上述第二基准标记不同的位置的上述第三基准标记而得的第三图像，来求出与经过上述第一基准标记、上述第二基准标记以及上述第三基准标记的平面平行的基准面的姿势。
根据这样的控制装置，由于能够基于拍摄部拍摄到的图像(第一图像、第二图像以及第三图像)求出基准面的姿势，因此与以往那样通过由作业者进行的对校正用构件(校准夹具)的接触的判断求出基准面的姿势相比，能够降低人为的误差、由作业者引起的偏差。另外，由于能够非接触地求出基准面的姿势，因此例如能够避免根据校正用构件的材质等不同，基准面的姿势变化。由此，根据本发明的控制装置，能够高精度地求出基准面的姿势。另外，根据本发明的控制装置，由于基于利用拍摄部拍摄到的图像求出基准面的姿势，因此与以往相比，能够容易并且迅速地求出基准面的姿势。
在本发明的控制装置中，优选基于拍摄上述第一图像时的机器人坐标系中的上述机器人的任意的部位的坐标、拍摄上述第二图像时的上述机器人坐标系中的上述部位的坐标、以及拍摄上述第三图像时的上述机器人坐标系中的上述部位的坐标，来求出上述姿势。
由此，能够确定包括机器人的任意的部位(例如轴坐标)的基准面的姿势。因此，通过机器人以基准面进行各种作业，机器人能够基于利用拍摄部拍摄到的图像准确地进行各种作业。
在本发明的控制装置中，优选基于上述第一图像中的上述第一基准标记的大小、上述第二图像中的上述第二基准标记的大小、以及上述第三图像中的上述第三基准标记的大小来求出上述姿势。
由此，能够基于拍摄部拍摄到的图像准确地求出基准面的姿势。
在本发明的控制装置中，优选在上述第一基准标记、上述第二基准标记以及上述第三基准标记的各基准标记的大小相互相等的情况下，使上述拍摄部按照上述第一图像中的上述第一基准标记的大小、上述第二图像中的上述第二基准标记的大小、以及上述第三图像中的上述第三基准标记的大小相等的方式拍摄上述第一图像、上述第二图像以及上述第三图像。
由此，能够基于拍摄部拍摄到的图像容易并且迅速地求出基准面的姿势。
在本发明的控制装置中，优选上述第一基准标记、上述第二基准标记以及上述第三基准标记分别是具有以规定的间隔配置的多个标记的构成，基于上述第一图像中的上述第一基准标记具有的上述多个标记彼此的第一间隔、上述第二图像中的上述第二基准标记具有的上述多个标记彼此的第二间隔、以及上述第三图像中的上述第三基准标记具有的上述多个标记彼此的第三间隔，来求出上述姿势。
由此，即使不进行使焦点分别与第一基准标记，第二基准标记以及第三基准标记严格地对准的处理，也能够求出基准面的姿势。
在本发明的控制装置中，在上述第一基准标记的上述第一间隔、上述第二基准标记的上述第二间隔、以及上述第三基准标记的上述第三间隔相等的情况下，使上述拍摄部按照上述第一图像中的上述第一间隔、上述第二图像中的上述第二间隔、以及上述第三图像中的上述第三间隔相等的方式拍摄上述第一图像、上述第二图像以及上述第三图像。
由此，即使不进行使焦点分别与第一基准标记，第二基准标记以及第三基准标记对准的处理，也能够容易并且迅速地求出基准面的姿势。
在本发明的控制装置中，优选上述基准面与上述拍摄部的光轴正交。
由此，通过机器人相对于与拍摄部的光轴正交的基准面进行各种作业，机器人能够基于拍摄部拍摄到的图像来准确地进行各种作业。另外，能够容易地进行求出拍摄部的图像坐标系与机器人坐标系的关系的处理。
在本发明的控制装置中，优选基于基于上述第一图像求出的上述第一基准标记与上述拍摄部的拍摄基准点间的第一距离、基于上述第二图像求出的上述第二基准标记与上述拍摄基准点间的第二距离、以及基于上述第三图像求出的上述第三基准标记与上述拍摄基准点间的第三距离，来求出上述姿势。
由此，即使不进行使焦点分别与第一基准标记、第二基准标记以及第三基准标记对准的处理，也能够求出基准面的姿势。
在本发明的控制装置中，优选上述第一距离、上述第二距离以及上述第三距离相等。
由此，即使不进行使焦点分别与第一基准标记、第二基准标记以及第三基准标记对准的处理，也能够容易并且迅速地求出基准面的姿势。
在本发明的控制装置中，优选求出上述基准面的原点。
由此，通过确定出基准面的原点，作业者容易把握基准面的位置。
在本发明的控制装置中，优选上述拍摄部能够拍摄第四基准标记，在配置成经过上述第一基准标记和上述第二基准标记的第一直线与经过上述第三基准标记和上述第四基准标记的第二直线交叉的情况下，使上述拍摄部分别拍摄上述第一基准标记、上述第二基准标记、上述第三基准标记以及上述第四基准标记，根据拍摄上述第一基准标记时的机器人坐标系中的上述第一基准标记的坐标、拍摄上述第二基准标记时的上述机器人坐标系中的上述第二基准标记的坐标、拍摄上述第三基准标记时的上述机器人坐标系中的上述第三基准标记的坐标、以及拍摄上述第四基准标记时的上述机器人坐标系中的上述第四基准标记的坐标，来求出上述第一直线以及上述第二直线，并并基于求出的上述第一直线以及上述第二直线，来求出上述机器人坐标系中的上述基准面的原点。
由此，能够容易地求出基准面的原点。
本发明的机器人的特征在于，被本发明的控制装置控制。
根据这样的机器人，能够准确地进行各种作业。
本发明的机器人系统具备本发明的控制装置、被该控制装置控制的机器人、具有拍摄的功能的拍摄部。
根据这样的机器人系统，能够基于利用拍摄部拍摄到的图像，机器人准确地进行各种作业。
附图说明
图1是表示本发明的第一实施方式所涉及的机器人系统的概要立体图。
图2是图1所示的机器人的概要图。
图3是图1所示的机器人系统的框图。
图4是表示使用了图1所示的机器人系统的拍摄部的校正方法的流程图。
图5是在图4所示的拍摄部的校正中使用的校正用构件的俯视图。
图6是用于说明图4所示的固定摄像机的校正的机器人的概要图。
图7是用于说明图4所示的固定摄像机的校正的流程图。
图8是用于说明图7所示的确定基准面的处理的流程图。
图9是用于说明图8所示的确定基准面的处理中的第一标记与第n标记的比较的图。
图10是用于说明图4所示的移动摄像机的校正的流程图。
图11是用于说明图10所示的移动摄像机的校正的机器人的概要图。
图12是用于说明图10所示的确定基准面的处理的流程图。
图13是用于说明图10所示的求出偏离成分的处理的流程图。
图14是用于说明图13所示的求出偏离成分Δu、Δv、Δw的处理的图。
图15是用于说明图13所示的求出偏离成分Δx、Δy的处理的图。
图16是用于说明图13所示的求出偏离成分Δx、Δy的处理的图。
图17是用于说明图13所示的求出偏离成分Δx、Δy的处理的图。
图18是用于说明图13所示的求出偏离成分Δx、Δy的处理的图。
图19是用于说明图13所示的求出偏离成分Δx、Δy的处理的图。
图20是用于说明图13所示的求出偏离成分Δx、Δy的处理的坐标图。
图21是用于说明图13所示的求出偏离成分Δz的处理的图。
图22是在使用本发明的第二实施方式所涉及的机器人系统的拍摄部的校正中使用的校正用构件的俯视图。
图23是用于说明第二实施方式中的确定基准面的处理中的第一标记与第n标记的比较的图。
图24是在使用本发明的第三实施方式所涉及的机器人系统的拍摄部的校正中使用的校正用构件的俯视图。
具体实施方式
以下，基于附图所示的优选的实施方式对本发明的控制装置、机器人以及机器人系统详细地进行说明。
第一实施方式
机器人系统
图1是表示本发明的第一实施方式所涉及的机器人系统的概要立体图。图2是图1所示的机器人的概要图。图3是图1所示的机器人系统的框图。
应予说明，以下，为便于说明，将图2中的上侧称作“上”或者“上方”，将下侧称作“下”或者“下方”。另外，将图2中的上下方向设为“铅锤方向”，将与该铅锤方向交叉的面设为“水平面”，将与水平面平行的方向设为“水平方向”。在此，在本申请说明书中所指的“水平”不限于完全的水平，也包括在相对于水平在5°以下的范围倾斜的情况。另外，在本申请说明书中所指的“铅锤”不限于完全的铅锤，也包括相对于铅锤在5°以下的范围倾斜的情况。另外，将图2中所示的机器人的基台侧称作“基端”，将其相反侧(手侧)称作“前端”。
图1所示的机器人系统100例如是在电子部件以及电子仪器等对象物的把持、搬运以及组装等作业中使用的装置。
如图1所示那样，机器人系统100具有具备机器人臂10的机器人1、固定在作业区域90内的具有拍摄功能的固定摄像机2(拍摄部)、安装于机器人1的具有拍摄功能的移动摄像机3(拍摄部)、以及分别控制机器人1、固定摄像机2以及移动摄像机3的控制装置5(校正装置)。
另外，在本实施方式中，在作业区域90内设置有进行对象物的组装的作业台61(组装台)、以及例如由作业者供给对象物的供给台62。作业台61以及供给台62分别设置在机器人1的机器人臂10的驱动范围内。
以下，对机器人系统100具有的各部依次进行说明。
机器人
图1以及图2所示的机器人1能够进行对象物的把持、搬运以及组装等作业。
机器人1是6轴垂直多关节机器人，具有基台101、与基台101连接的机器人臂10、以及设置于机器人臂10的前端部的手102(工具)。另外，如图3所示那样，机器人1具备产生驱动机器人臂10的动力的多个驱动部130以及多个马达驱动器120。
基台101是将机器人1安装于作业区域90内的规定的位置的部分。
机器人臂10具有第一臂11(臂)、第二臂12(臂)、第三臂13(臂)、第四臂14(臂)、第五臂15(臂)、以及第六臂16(臂)。第一臂11与基台101连接，第一臂11、第二臂12、第三臂13、第四臂14、第五臂15、以及第六臂16从基端侧朝向前端侧按该顺序连结。
如图2所示那样，第一臂11具有与基台101连结的转动轴构件111，能够将转动轴构件111的中心轴作为转动中心相对于基台101转动。另外，第二臂12具有与第一臂11连结的转动轴构件121，能够将转动轴构件121的中心轴作为转动中心相对于第一臂11转动。另外，第三臂13具有与第二臂12连结的转动轴构件131，能够将转动轴构件131的中心轴作为转动中心相对于第二臂12转动。另外，第四臂14具有与第三臂13连结的转动轴构件141，能够将转动轴构件141的中心轴作为转动中心相对于第三臂13转动。另外，第五臂15具有与第四臂14连结的转动轴构件151，能够将转动轴构件151的中心轴作为转动中心相对于第四臂14转动。另外，第六臂16具有与第五臂15连结的转动轴构件161，能够将转动轴构件161的中心轴A6作为转动中心相对于第五臂15转动。在此，将中心轴A6与第六臂16的前端面相交的点(第六臂16的前端面的中心)称作轴坐标O6(规定的部位)。
手102安装于第六臂16的前端面，手102的中心轴与第六臂16的中心轴A6一致。在此，将手102的前端面的中心称作TCP(工具中心点)。在本实施方式中，是指手102具有的2个指间的区域的中心。
另外，在各臂11～16分别设置有具有伺服马达等马达以及减速机的多个驱动部130。即，如图3所示那样，机器人1具有与各臂11～16对应的个数(在本实施方式中为6个)的驱动部130。并且，各臂11～16分别经由与对应的驱动部130电连接的多个(在本实施方式中为6个)马达驱动器120被控制装置5控制。
另外，在各驱动部130例如设置有编码器、旋转编码器等角度传感器(未图示)。由此，能够检测各驱动部130具有的马达或者减速机的旋转轴的旋转角度。
另外，如图1以及图2所示那样，在本实施方式中，作为控制机器人1时使用的机器人坐标系(机器人1的坐标系)，设定由分别与水平方向平行的xr轴和yr轴、和与水平方向正交并且将铅锤垂直方向作为正方向的zr轴决定的三维的正交坐标系。另外，将相对于xr轴的并进成分设为“成分xr”，将相对于yr轴的并进成分设为“成分yr”，将相对于zr轴的并进成分设为“成分zr”，将绕zr轴的旋转成分设为“成分ur”，将绕yr轴的旋转成分设为“成分vr”，将绕xr轴的旋转成分设为“成分wr”。成分xr、成分yr以及成分zr的长度(大小)的单位是“mm”，成分ur、成分vr以及成分wr的角度(大小)的单位是“°”。
固定摄像机
图1以及图2所示的固定摄像机2是具有拍摄对象物等的功能。
如图2所示那样，固定摄像机2具有由具有多个像素的CCD(Charge CoupledDevice)图像传感器构成的拍摄部件21、以及透镜22(光学系统)。该固定摄像机2通过透镜22使来自对象物等的光在拍摄部件21的受光面211(传感器面)上成像，并将光变换为电信号，并将该电信号输出给控制装置5。在此，所谓受光面211是拍摄部件21的表面且是光成像的面。另外，在本实施方式中，将从受光面211在光轴OA2方向上前进焦距后的位置设为“固定摄像机2的拍摄基准点O2”。
这样的固定摄像机2以能够拍摄铅锤方向上方的方式固定在作业区域90内的规定的位置。另外，在本实施方式中，固定摄像机2被以其光轴OA2(透镜22的光轴)与铅锤方向几乎平行的方式安装。
另外，在本实施方式中，作为固定摄像机2的图像坐标系(从固定摄像机2输出的图像的坐标系)，设定由分别与图像的面内方向平行的xa轴和ya轴决定的二维的正交坐标系。另外，将相对于xa轴的并进成分设为“成分xa”，将相对于ya轴的并进成分设为“成分ya”，将绕xa-ya平面的法线的旋转成分设为“成分ua”。成分xa以及成分ya的长度(大小)的单位是“图像元素”，成分ua的角度(大小)的单位是“°”。
应予说明，固定摄像机2的图像坐标系是对映入至固定摄像机2的摄像机视场的三维的正交坐标进一步加入透镜22的光学特性(焦距、失真等)和拍摄部件21的像素数以及大小并进行非线形变换的二维的正交坐标系。
移动摄像机
图1以及图2所示的移动摄像机3具有拍摄对象物等的功能。
如图2所示那样，移动摄像机3具有由具有多个像素的CCD(Charge CoupledDevice)图像传感器构成的拍摄部件31、以及透镜32(光学系统)。该移动摄像机3通过透镜32使来自对象物等的光在拍摄部件31的受光面311(传感器面)上成像，并将光变换为电信号，并将该电信号输出给控制装置5。在此，所谓受光面311是拍摄部件31的表面且是光成像的面。另外，在本实施方式中，将从受光面311在光轴OA3方向上前进焦距后的位置设为“移动摄像机3的拍摄基准点O3”。
这样的移动摄像机3被以能够拍摄比第六臂16靠近机器人臂10的前端侧的方式安装于第六臂16。另外，在本实施方式中，在设计上，移动摄像机3被以其光轴OA3(透镜32的光轴)与第六臂16的中心轴A6几乎平行的方式安装于第六臂16。另外，由于移动摄像机3安装于第六臂16，因此，能够通过机器人臂10的驱动，与第六臂16一同改变其姿势。
另外，在本实施方式中，作为移动摄像机3的图像坐标系(由移动摄像机3输出的图像的坐标系)，设定由分别与图像的面内方向平行的xb轴和yb轴决定的二维的正交坐标系。另外，将相对于xb轴的并进成分设为“成分xb”，将相对于yb轴的并进成分设为“成分yb”，将绕xb-yb平面的法线的旋转成分设为“成分ub”。成分xb以及成分yb的长度(大小)的单位是“图像元素”，成分ub的角度(大小)的单位是“°”。
应予说明，移动摄像机3的图像坐标系是对映入至移动摄像机3的摄像机视场的三维的正交坐标进一步加入透镜32的光学特性(焦距、失真等)和拍摄部件31的像素数以及大小并进行非线形变换的二维的正交坐标系。
控制装置
图1所示的控制装置5控制机器人1、固定摄像机2以及移动摄像机3的各部。该控制装置5例如能够由内置了CPU(Central Processing Unit)、ROM(read only memory)以及RAM(Random Access Memory)的个人计算机(PC)等构成。
如图3所示那样，控制装置5具备驱动控制部51、信息获取部52、处理部53、以及存储部54。
驱动控制部51控制担任机器人1具有的各臂11～16的驱动的各驱动部130的驱动，能够分别独立地使各臂11～16驱动或停止。例如，驱动控制部51为了使手102移动至目标位置，导出设置于各臂11～16的各驱动部130具有的马达的目标值。另外，驱动控制部51基于从各驱动部130具有的角度传感器输出的旋转角度(检测结果)对机器人1进行反馈控制。另外，驱动控制部51控制固定摄像机2以及移动摄像机3的拍摄等。
信息获取部52获取分别从机器人1、固定摄像机2以及移动摄像机3输出的检测结果。作为检测结果，例如列举机器人1的各驱动部130具有的马达或者减速机的旋转轴的旋转角度、分别利用固定摄像机2以及移动摄像机3拍摄到的图像、以及机器人坐标系中的轴坐标O6的坐标(成分xr、yr、zr、ur、vr、wr：位置以及姿势)等。
处理部53基于利用信息获取部52获取到的检测结果进行各种运算、各种判断等处理。例如，处理部53基于利用固定摄像机2拍摄到的图像来运算固定摄像机2的图像坐标系中的拍摄对象的坐标(成分xa、ya、ua：位置以及姿势)，基于利用移动摄像机3拍摄到的图像来运算移动摄像机3的图像坐标系中的拍摄对象的坐标(成分xb、yb、ub：位置以及姿势)。另外，例如，处理部53求出用于将固定摄像机2的图像坐标系中的对象物的坐标变换为机器人坐标系中的坐标的修正参数，或者求出用于将移动摄像机3的图像坐标系中的对象物的坐标变换为机器人坐标系中的坐标的修正参数。
存储部54存储控制装置5用于进行各种处理的程序、数据等。另外，存储部54存储各种检测结果等。
另外，如图1以及图3所示那样，在控制装置5连接有显示设备41以及操作设备42。
显示设备41具有由液晶显示面板等显示面板构成的监视器411。作业者能够经由该监视器411确认利用固定摄像机2以及移动摄像机3拍摄到的图像、由机器人1进行的作业等。
操作设备42是由键盘构成的输入设备，针对控制装置5输出与作业者的操作相应的操作信号。由此，作业者能够通过操作操作设备42来针对控制装置5进行各种处理等指示。
以上，对机器人系统100的基本的构成简单地进行了说明。
在这样的构成的机器人系统100中，例如能够进行以下这样的作业。
首先，通过控制装置5的控制使机器人臂10驱动并利用手102把持对象物。然后，使机器人臂10驱动，使手102移动至固定摄像机2上。接下来，利用固定摄像机2拍摄对象物，控制装置5基于利用该固定摄像机2拍摄到的图像来判断是否由手102在准确地把持对象物。若准确地把持，则通过机器人臂10的驱动使手102移动至作业台61上。然后，基于利用移动摄像机3拍摄到的图像，针对预先配置在作业台61上的对象物组装由手102把持的对象物。
在这样的上述作业中，基于分别利用固定摄像机2以及移动摄像机3拍摄到的对象物的图像，机器人1针对对象物进行作业。
在这样的作业中，为了基于利用固定摄像机2拍摄到的图像，机器人1针对对象物准确地进行作业，需要求出用于将固定摄像机2的图像上的坐标(图像坐标系中的位置以及姿势)变换为机器人坐标系中的坐标的修正参数的处理，即需要固定摄像机2的校正(校准)。另外，同样，为了基于利用移动摄像机3拍摄到的图像，机器人1针对对象物等准确地进行作业，需要求出用于将移动摄像机3的图像上的坐标(图像坐标系中的位置以及姿势)变换为机器人坐标系中的坐标的修正参数的处理，即需要移动摄像机3的校正(校准)。
以下，对使用了机器人系统100的固定摄像机2的校正方法以及移动摄像机3的校正方法(以下，将它们通称为“拍摄部的校正方法(校准方法)”)进行说明。
拍摄部的校正方法(校准方法)
图4是表示使用了图1所示的机器人系统的拍摄部的校正方法的流程图。图5是在图4所示的拍摄部的校正中使用的校正用构件的俯视图。图6是用于说明图4所示的固定摄像机的校正的机器人的概要图。图7是用于说明图4所示的固定摄像机的校正的流程图。图8是用于说明图7所示的确定出基准面的处理的流程图。图9是用于说明图8所示的确定基准面的处理中的第一标记与第n标记的比较的图。图10是用于说明图4所示的移动摄像机的校正的流程图。图11是用于说明图10所示的移动摄像机的校正的机器人的概要图。图12是用于说明图10所示的确定基准面的处理的流程图。图13是用于说明图10所示的求出偏离成分的处理的流程图。图14是用于说明图13所示的求出偏离成分Δu、Δv、Δw的处理的图。图15、图16、图17、图18以及图19分别是用于说明图13所示的求出偏离成分Δx、Δy的处理的图。图20是用于说明图13所示的求出偏离成分Δx、Δy的处理的坐标图。图21是用于说明图13所示的求出偏离成分Δz的处理的图。
如图4所示那样，在本实施方式的拍摄部的校正方法中，在进行了固定摄像机2的校正(步骤S1)后，进行移动摄像机3的校正(步骤S2)。
拍摄部的校正通过作业者使用操作设备42对控制装置5进行拍摄部的校正开始的指示而开始。并且，只要作业者对控制装置5进行拍摄部的校正开始的指示，则其以后，拍摄部的校正通过机器人系统100自动地进行。应予说明，该拍摄部的校正例如每当机器人1的作业内容等改变时进行。
在此，在本实施方式中，使用图5所示的校正用构件70(校准板)进行拍摄部的校正。
校正用构件70是四边形的平板状的构件，在校正用构件70的表面701标注有多个标记75。多个标记75为相互相同的圆形状(形状)，是相互几乎相同的大小。另外，多个标记75以相邻的标记75彼此的间距(间隔)全部几乎恒定的方式配置。另外，标记75彼此的间距被预先测定，为已知。
在这些多个标记75中的位于图5中的上侧的标记75、位于图5中的中央部(表面701的中央部)的标记75、以及位于图5中的右侧的标记75分别进一步标注有包围标记75的圆。将由该3个标记75和包围该3个标记的圆构成的呈同心圆状的标记中的、位于图5中的上侧的标记设为“第一标记71(第一基准点)”，将位于图5中的中央部的标记设为“第二标记72(第二基准点)”，将位于图5中的右侧的标记设为“第三标记73(第三基准点)”。这样的第一标记71、第二标记72以及第三标记73在下述的确定拍摄部的校正的基准面的处理(参照图7)中作为基准标记被使用。因此、第一标记71、第二标记72以及第三标记73处于相互不同的位置，并且第一标记71、第二标记72以及第三标记73不在同一直线上。
应予说明，多个标记75、第一标记71、第二标记72以及第三标记73的形状分别不限于图示的形状，也可以是任意的形状。另外，标记75、第一标记71、第二标记72以及第三标记73分别是能够视觉确认的形态即可，可以是任何的颜色，也可以是具有凹凸的形态。另外，多个标记75、第一标记71、第二标记72以及第三标记也可以是不同的形态。例如，多个标记75、第一标记71、第二标记72以及第三标记73可以分别是不同的颜色、形状。但是，由于第一标记71、第二标记72以及第三标记73作为基准标记被使用，因此，优选是具有与其它的标记75的辨别力的方式。
这样的构成的校正用构件70如图6所示那样，在进行由作业者进行的拍摄部的校正开始的指示前，预先使机器人1利用手102对其进行把持。另外，在本实施方式中，以第二标记72位于第六臂16的中心轴A6上的方式通过手102把持校正用构件70。另外，在本实施方式中，能够确定机器人坐标系中的相对于轴坐标O6的坐标的第二标记72的坐标，能够求出机器人坐标系中的第二标记72的坐标。
应予说明，在本实施方式中，如上所述那样，第二标记72位于第六臂16的中心轴A6上，但若以能够求出机器人坐标系中的第二标记72的坐标的方式设定，则第二标记72也可以不位于第六臂16的中心轴A6上。
固定摄像机的校正(步骤S1)
如图4所示那样，若进行了由作业者进行的拍摄部的校正的开始的指示，则控制装置5首先开始固定摄像机2的校正(步骤S1)。
如图7所示那样，在固定摄像机2的校正(步骤S1)中，在进行了确定基准面的处理(步骤S11)后，进行求出固定摄像机2的图像坐标系与机器人坐标系的关系的处理(步骤S12)。
确定基准面的处理(步骤S11)
以下，参照图8所示的流程图对确定基准面的处理(步骤S11)进行说明。
如图8所示那样，若开始确定基准面的处理(步骤S11)，则首先，控制装置5使机器人臂10驱动，如图6所示那样，使校正用构件70与固定摄像机2对置(步骤S111)。
接下来，如图8所示那样，控制装置5使机器人臂10驱动来使校正用构件70移动，以使标注于校正用构件70的第二标记72位于固定摄像机2的图像的中心部(步骤S112)。
接下来，控制装置5使固定摄像机2拍摄第二标记72(步骤S113)。此时，控制装置5通过使机器人臂10驱动来进行使校正用构件70移动的处理(调焦处理)，以使固定摄像机2的焦点与第二标记72一致(调焦)。应予说明，也可以省略该调焦处理。
接下来，控制装置5将利用固定摄像机2拍摄到的第二标记72的图像作为“第一图像”存储至存储部54，并且将拍摄第一图像时的机器人坐标系中的轴坐标O6的坐标存储至存储部54(步骤S114)。在此，在固定摄像机2中的确定基准面的处理(步骤S11)中，将拍摄第一图像时的第二标记72作为“第一基准标记”。
接下来，控制装置5使机器人臂10驱动来使校正用构件70沿机器人坐标系中的xr轴、yr轴以及zr轴并进移动，以使第二标记72在固定摄像机2的图像上位于与在步骤S112移动的位置不同的位置(步骤S115)。
接下来，控制装置5使固定摄像机2拍摄第二标记72(步骤S116)。
接下来，比较在步骤S116中利用固定摄像机2拍摄到的图像中的第二标记72的形状以及大小与在步骤S114中存储于存储部54的第一图像中的第二标记72的形状以及大小(步骤S117)。然后，判断第二标记72的形状以及大小与第一图像中的第二标记72的形状以及大小的差是否在规定的阈值内(步骤S118)。
在判断为在规定的阈值内的情况下(步骤S118的“是”)，转移至步骤S1110。另一方面，在判断为不在规定的阈值内的情况(步骤S118的“否”)下，通过机器人臂10的驱动使校正用构件70移动以使在规定的阈值内(步骤S119)。例如，在如图9所示那样，以图9中的双点划线表示的第二标记72的大小(外形)与以图9中的实线表示的第一图像中的第二标记72的大小(外形)不同，其大小的差不在规定的阈值内的情况下，通过机器人臂10的驱动使校正用构件70移动以使得在规定的阈值内。
接下来，控制装置5若判断为在规定的阈值内，则将利用固定摄像机2拍摄到的第二标记72的图像作为“第二图像(第n图像)”存储至存储部54，并且将拍摄第二图像(第n图像)时的机器人坐标系中的轴坐标O6的坐标存储至存储部54(步骤S1110)。在此，在固定摄像机2中的确定基准面的处理(步骤S11)中，将拍摄第二图像时的第二标记72作为“第二基准标记”。应予说明，在拍摄第二图像时，标注于被手102把持的校正用构件70的第二标记72处于与拍摄第一图像时的位置不同的位置。
接下来，判断拍摄到的图像的个数n是否是预先设定的规定个数(其中，n为整数，是满足3≤n的关系的数)(步骤S1111)。在判断为是规定个数的情况下，转移至步骤S1112，在判断为小于规定个数的情况下，重复进行上述的步骤S115至步骤S1110，直至判断为是规定个数。
在此，在本实施方式中，预先设定获取图像至图像的个数为3，即利用固定摄像机2拍摄3个图像(第一图像、第二图像以及第三图像)。因此，在本实施方式中，在利用固定摄像机2拍摄第二图像后，又一次从步骤S115进行至步骤S1110，通过机器人臂10的驱动使校正用构件70移动，将利用固定摄像机2拍摄到的第二标记72的图像作为“第三图像”存储至存储部54，并且将拍摄第三图像时的机器人坐标系中的轴坐标O6的坐标存储至存储部54。在此，在固定摄像机2中的确定基准面的处理(步骤S11)中，将拍摄第三图像时的第二标记72作为“第三基准标记”。应予说明，在拍摄第三图像时，标注于被手102把持的校正用构件70的第二标记72处于与在拍摄第一图像时的位置以及拍摄第二图像时的位置不同的位置，它们不在同一直线上。另外，在固定摄像机2中的确定基准面的处理(步骤S11)中，能够看作第二标记72兼“第一基准标记、第二基准标记以及第三基准标记”。
接下来，若判断为图像的个数n为规定个数，则处理部53基于存储至存储部54的n个(在本实施方式中为3个)机器人坐标系中的轴坐标O6的坐标，求出图6所示那样的与拍摄部件21(经过被配置于3个不同的位置的状态的第二标记72的平面)平行的基准面81的原点以及x轴、y轴、z轴的各方向(步骤S1112)。然后，控制装置5定义机器人坐标系中的基准面81的位置以及姿势，即基准面81的成分xr、yr、zr、ur、vr、wr(步骤S1113)。
通过上述，图7所示的确定基准面的处理(步骤S11)结束。
如上所述那样，根据控制装置5，能够基于利用固定摄像机2(拍摄部)拍摄到的图像(第一图像、第二图像以及第三图像)求出基准面81的姿势。因此，能够节省如以往那样判断由作业者进行的精加工用手与校准夹具(校正用构件)的接触的作业。因此，能够降低人为的误差、由作业者引起的偏差，因而，能够高精度地求出基准面81的姿势。另外，若如以往那样通过使精加工用手与校准夹具接触来求出基准面，则根据校准夹具的材质等不同，求出的基准面的姿势不同，难以高精度地检测基准面的姿势。与此相对，在本实施方式中，由于基于利用固定摄像机2拍摄到的图像来求出基准面81的姿势，因此，能够不与校正用构件70接触(非接触)地求出基准面81的姿势。因此，例如能够不取决于校正用构件70的材质等，高精度地求出基准面81的姿势。
另外，根据控制装置5，由于能够基于利用固定摄像机2拍摄到的图像求出基准面81的姿势，因此，与以往相比，能够容易并且迅速地求出基准面81的姿势。
另外，如上所述那样，在本实施方式中，基于分别拍摄3个图像(第一图像、第二图像以及第三图像)时的机器人坐标系中的轴坐标O6(规定的部位)的坐标来求出基准面81。由此，可以说基准面81是包括轴坐标O6的面。因此，机器人1通过以基准面81进行作业(例如判断是否通过手102准确地把持对象物的作业)，机器人1能够准确地进行上述作业。
尤其是若如上所述那样，在本实施方式中，通过在拍摄3个图像时，预先进行调焦处理，机器人1以基准面81进行对象物的检测、检查、组装等各作业，则机器人1能够以更高的精度进行各种作业。
应予说明，若预先已知轴坐标O6与工具中心点TCP间的距离，则能够基于该距离和作为包括轴坐标O6的面的基准面81求出包括工具中心点TCP的面。
另外，在本实施方式中，基于轴坐标O6的坐标进行了确定基准面81的处理(步骤S11)，但也可以基于工具中心点TCP的坐标确定基准面81，还可以基于其它的机器人的任意的部位确定基准面81。
另外，如上所述那样，在本实施方式中，基于第一图像中的第二标记72的大小、第二图像中的第二标记72的大小、以及第三图像中的第二标记72的大小来求出基准面81的位置以及姿势。因此，在本实施方式中，若基于各图像中的第二标记72的大小来求出基准面81的位置以及姿势，则能够准确地求出基准面81的姿势。
另外，基于各图像中的第二标记72的大小来求出基准面81的位置以及姿势和基于获取第一图像时的第二标记72与固定摄像机2的受光面211(更加具体而言为拍摄基准点O2)间的距离(第一距离)、获取第二图像时的第二标记72与受光面211(拍摄基准点O2)间的距离(第二距离)、以及获取第三图像时的第二标记72与受光面211(拍摄基准点O2)间的距离(第三距离)来求出基准面81的姿势等同。因此，根据本实施方式的校正方法，能够基于第一距离、第二距离以及第三距离的距离来求出基准面81的姿势。
求出固定摄像机的图像坐标系与机器人坐标系的关系的处理(步骤S12)
接下来，如图7所示那样，进行求出固定摄像机的图像坐标系与机器人坐标系的关系的处理(步骤S12)。
控制装置5首先使机器人臂10驱动来使校正用构件70移动，以使轴坐标O6分别位于在上述的步骤S12求出的在基准面81内的以格子状排列的任意的9个基准点(虚拟的目标点)。即，使第二标记72移动至以格子状排列的9个位置。此时，控制装置5每当使校正用构件70移动时便使固定摄像机2拍摄第二标记72。
在此，9个基准点全部位于固定摄像机2的图像的范围内(拍摄区域内)，相邻的基准点彼此的间隔全部相等。
接下来，控制装置5基于基于9个图像的固定摄像机2的图像坐标系中的第二标记72的坐标(成分xa、ya、ua)和在上述的步骤S11求出的机器人坐标系中的基准面81的坐标(成分xr、yr、ur)来求出将固定摄像机2的图像坐标变换为机器人坐标系中的基准面81的坐标的修正参数(坐标变换矩阵)。
若使用这样求出的修正参数，则能够将利用固定摄像机2拍摄到的对象物等的位置以及姿势(具体地说为成分xa、ya、ua)变换为机器人坐标系中的值(具体地说为成分xr、yr、ur)。应予说明，该修正参数是也进一步加入透镜22的失真等固定摄像机2的内部参数的值。
应予说明，在本实施方式中，如上所述那样，使用9个基准点求出修正参数，但为了求出修正参数而使用的基准点的个数越多，校正的精度越高。
通过上述，图4所示的固定摄像机的校正(步骤S1)结束。
移动摄像机的校正(步骤S2)
接下来，控制装置5开始图4所示的移动摄像机3的校正(步骤S2)。
如图10所示那样，在移动摄像机3的校正(步骤S2)中，按如下顺序进行确定基准面的处理(步骤S21)、求出偏离成分的处理(步骤S22)、确定作业面的处理(步骤S23)、向机器人1示教标记的位置以及姿势的处理(步骤S24)、以及求出移动摄像机3的图像坐标系与机器人坐标系的关系的处理(步骤S25)。
确定基准面的处理(步骤S21)
首先，如图11所示那样，在进行确定基准面的处理(步骤S21)前，预先将利用手102把持的校正用构件70载置在作业台61的作业面611上。然后，进行确定基准面的处理(步骤S21)。
以下，参照图12所示的流程图对确定基准面的处理(步骤S21)的详细内容进行说明。
如图12所示那样，若开始确定基准面的处理(步骤S21)，则首先控制装置5使机器人臂10驱动来如图12所示那样，使移动摄像机3与校正用构件70对置(步骤S211)。
接下来，控制装置5使机器人臂10驱动来使移动摄像机3移动，以使标注于校正用构件70的第一标记71位于移动摄像机3的图像的中心部(步骤S212)。
接下来，控制装置5使移动摄像机3拍摄第一标记71(步骤S213)。此时，控制装置5通过使机器人臂10驱动来进行使移动摄像机3移动的处理(调焦处理)，以使移动摄像机3的焦点与第一标记71一致(调焦)。应予说明，也可以省略该调焦处理。
接下来，控制装置5将利用移动摄像机3拍摄到的第一标记71的图像作为“第一图像”存储至存储部54，并且将拍摄第一图像时的机器人坐标系中的轴坐标O6的坐标存储至存储部54(步骤S214)。在此，在移动摄像机3中的确定基准面的处理(步骤S21)中，将第一标记71作为“第一基准标记”。
接下来，控制装置5使机器人臂10驱动来使移动摄像机3并进移动，以使第二标记72位于移动摄像机3的图像的中心部(步骤S215)。
接下来，控制装置5使移动摄像机3拍摄第二标记72(第n标记)(步骤S216)。
接下来，比较在步骤S216利用移动摄像机3拍摄到的图像中的第二标记72的形状以及大小和在步骤S214存储至存储部54的第一图像中的第一标记71的形状以及大小(步骤S217)。然后，判断第二标记72的形状以及大小与第一标记71的形状以及大小的差是否在规定的阈值内(步骤S218)。
在判断为在规定的阈值内的情况(步骤S218的“是”)下，转移至步骤S2110。另一方面，在判断为不在规定的阈值内的情况(步骤S218的“否”)下，通过机器人臂10的驱动使移动摄像机3移动，以使在规定的阈值内(步骤S219)。
接下来，控制装置5若判断为在规定的阈值内，则将利用移动摄像机3拍摄到的第二标记72(第n标记)的图像作为“第二图像(第n图像)”存储至存储部54，并且将拍摄第二图像(第n图像)时的机器人坐标系中的轴坐标O6的坐标存储至存储部54(步骤S2110)。在此，在移动摄像机3中的确定出基准面的处理(步骤S21)中，将第二标记72作为“第二基准标记”。
接下来，判断拍摄到的图像的个数n是否为预先设定的规定个数(其中，n为整数，是满足3≤n的关系的数)(步骤S2111)。在判断为是规定个数的情况下，转移至步骤S2112，在判断为小于规定个数的情况下，重复进行上述的步骤S215至步骤S2110，直至判断为是规定个数。
在此，在本实施方式中，预先设定利用移动摄像机3拍摄3个图像(第一图像、第二图像以及第三图像)。因此，在本实施方式中，在利用移动摄像机3拍摄第二图像后，又一次进行从步骤S215至步骤S2110，将利用移动摄像机3拍摄到的第三标记73的图像作为“第三图像”存储至存储部54，并且将拍摄第三图像时的机器人坐标系中的轴坐标O6的坐标存储至存储部54。在此，在移动摄像机3中的确定基准面的处理(步骤S21)中，将第三标记73作为“第三基准标记”。
接下来，若判断为图像的数n是规定个数，则处理部53基于存储至存储部54的n个(在本实施方式中为3个)机器人坐标系中的轴坐标O6的坐标，求出图11所示那样的与表面701(经过第一标记71、第二标记72以及第三标记73的平面)平行的基准面82的原点以及x轴、y轴、z轴的各方向(步骤S2112)。然后，控制装置5定义机器人坐标系中的基准面82的位置以及姿势，即基准面82的成分xr、yr、zr、ur、vr、wr(步骤S2113)。
如上所述那样，根据控制装置5，能够发挥与固定摄像机2中的确定基准面的处理(步骤S11)同样的效果。即，由于使用利用移动摄像机3(拍摄部)拍摄到的图像(第一图像、第二图像以及第三图像)，因此，能够不与校正用构件70接触地求出基准面82的姿势，因而，能够例如不取决于校正用构件70的材质等地高精度地求出基准面82的姿势。另外，与以往相比，能够容易并且迅速地求出基准面82的姿势。
另外，如上所述那样，在本实施方式中，基于第一图像中的第一标记71的大小、第二图像中的第二标记72的大小、以及第三图像中的第二标记72的大小来求出基准面82的位置以及姿势。因此，在本实施方式中，若基于各图像中的第二标记72的大小来求出基准面82的位置以及姿势，则能够准确地求出基准面82的姿势。
另外，基于各图像中的第二标记72的大小来求出基准面82的位置以及姿势和基于获取第一图像时的第一标记71与移动摄像机3的受光面311(更加具体而言为拍摄基准点O3)间的距离(第一距离)、获取第二图像时的第二标记72与受光面311(拍摄基准点O3)间的距离(第二距离)、获取第三图像时的第三标记73与受光面311(拍摄基准点O3)间的距离(第三距离)求出基准面82的姿势等同。因此，根据本实施方式的校正方法，能够基于第一距离、第二距离以及第三距离的距离求出基准面82的姿势。
并且，如上述那样，在移动摄像机3中的确定基准面的处理(步骤S21)中，使用标注大小相互相等的第一标记71、第二标记72以及第三标记73的校正用构件70，以图像上中的第一标记71、第二标记72以及第三标记73的大小相互相等的方式利用固定摄像机2拍摄第一图像、第二图像以及第三图像。若像这样拍摄，则即使移动摄像机3的焦距、视场角不已知，也能够求出与表面701平行(与移动摄像机3的光轴OA3正交)的基准面82。
另外，所谓以第一标记71、第二标记72以及第三标记73的大小相互相等的方式利用移动摄像机3拍摄第一图像、第二图像以及第三图像和基于距离相互相等的第一距离、第二距离以及第三距离求出基准面82的姿势等同。因此，根据本实施方式的校正方法，基于距离相等的第一距离、第二距离以及第三距离，即使移动摄像机3的焦距、视场角不已知，也能够容易并且迅速地求出与表面701平行的基准面82。
应予说明，在本实施方式中，第一标记71、第二标记72以及第三标记73的各标记的大小相互相等，但若它们的大小的关系已知，则它们的大小也可以分别不同。在该情况下，通过基于第一标记71、第二标记72以及第三标记73的各标记的大小的关系求出第一距离、第二距离以及第三距离的距离，能够容易并且迅速地求出与表面701平行的基准面82。
求出偏离成分的处理(步骤S22)
接下来，参照图13所示的流程图对求出偏离成分的处理(步骤S22)进行说明。
在此，如上所述那样，移动摄像机3在设计上被以光轴OA3相对于第六臂16的中心轴A6几乎平行的方式偏离地安装于第六臂16。但是，实际上从该设计上的偏离成分(移动摄像机3相对于第六臂16的位置以及姿势)产生偏移。该偏移例如因移动摄像机3的组装误差、拍摄部件31对移动摄像机3的壳体的的组装误差等而产生。
因此，在求出该偏离成分的处理(步骤S22)中，求出实际的偏离成分(移动摄像机3相对于第六臂16的位置以及姿势)。
在以下的求出偏离成分的处理(步骤S22)中，求出相对于转动轴构件161的轴坐标O6的、移动摄像机3的拍摄基准点O3的位置以及光轴OA3的方向(姿势)的偏离成分(Δx、Δx、Δy、Δu、Δv、Δw)。
应予说明，在本实施方式中，求出相对于轴坐标O6的拍摄基准点O3的位置以及光轴OA3的方向的偏离成分，但每次求出偏离成分作为基准的位置不限于轴坐标O6以及拍摄基准点O3，可任意。
如图13所示那样，若开始求出偏离的处理(步骤S22)，则首先，控制装置5使机器人臂10驱动，使移动摄像机3检测校正用构件70(步骤S221)。
接下来，控制装置5使机器人臂10驱动，以使移动摄像机3的受光面311与校正用构件70的表面701正对(步骤S222)。
接下来，控制装置5验证校正用构件70的表面701与移动摄像机3的受光面311的平行度(步骤S223)。然后，控制装置5判断平行度是否在规定的阈值内(步骤S224)。
如图14所示那样，使用图像中的标注于表面701的相邻的标记75彼此的间距P的差来验证平行度。例如，以图14中的实线所示那样，相邻的标记75彼此的间距P1、P2、P3、P4的差几乎相同，在该差在规定的阈值内的情况下，转移至步骤S225。另一方面，如以图14中的双点划线所示那样，相邻的标记75彼此的间距P1′、P2′、P3′、P4′的差不同，在该差超过规定的阈值的情况下，重复进行步骤S221至步骤S224，直至成为规定的阈值内。在此，在规定的阈值内是指上述的基准面82与光轴OA3在阈值以内垂直。
接下来，控制装置5若判断为在规定的阈值内，则根据判断为在规定的阈值内时的机器人坐标系中的轴坐标O6的成分ur、vr、wr与在上述的确定基准面的处理(步骤S21)中求出时的机器人坐标系中的基准面82的成分ur、vr、wr的差来求出偏离成分Δu、Δv、Δw(步骤S225)。该偏离成分Δu、Δv、Δw与相对于轴坐标O6的光轴OA3的偏离成分Δu、Δv、Δw相当。
接下来，如图13所示那样，控制装置5求出拍摄基准点O3相对于轴坐标O6的偏离成分Δx、Δy(步骤S226)。以下，参照图15～图20对求出偏离成分Δx、Δy的方法进行说明。应予说明，图15～图19例如示意地表示从铅锤方向上方观察机器人1时的移动摄像机3以及第六臂16。
具体地说，首先，如图15所示那样，控制装置5使机器人臂10驱动，例如以使第二标记72位于移动摄像机3的图像30的中心O30(重心)。将该图15所示的移动摄像机3以及第六臂16的状态作为“第一状态”。在此，图像30的中心O30与拍摄基准点O3一致。
接下来，如图16所示那样，控制装置5使机器人臂10驱动来使第六臂16绕中心轴A6以规定的角度转动。此时的规定的角度为第二标记72没出图像30外的范围内(收敛在移动摄像机3的拍摄区域内的范围内)的规定的角度(例如1～10°左右)。将该图16所示的移动摄像机3以及第六臂16的状态作为“第二状态”。
接下来，如图17所示那样，控制装置5使机器人臂10驱动，以第二标记72与中心O30一致的方式使移动摄像机3以及第六臂16在与包括机器人坐标系中的xr轴以及yr轴的平面(基准面82的x-y平面)平行的平面内并进移动。将该图17所示的移动摄像机3以及第六臂16的状态作为“第三状态”。
对于这样的从第一状态经由第二状态成为第三状态的移动摄像机3以及第六臂16的移动，若观察图15所示的第一状态和图17所示的第三状态可知，与轴坐标O6(第六臂16)以经过拍摄中心O30(拍摄基准点O3)的线段为转动中心轴转动等同。因此，如图20所示那样，从第一状态经由第二状态成为第三状态的移动与以经过中心O30(拍摄基准点O3)的线段为转动中心轴使轴坐标O6以转动角度θ10移动相等。因此、基于转动角度θ10、第一状态下的机器人坐标系中的轴坐标O6的坐标、以及第三状态下的机器人坐标系中的轴坐标O6的坐标来求出机器人坐标系中的拍摄基准点O3的坐标。然后，根据求出的机器人坐标系中的拍摄基准点O3的坐标和第一状态以及第三状态下的任意一方的机器人坐标系中的轴坐标O6的坐标，来求出拍摄基准点O3相对于轴坐标O6的虚拟偏离成分Δx′、Δy′。
接下来，如图18所示那样，控制装置5以第二标记72不出图像30外的方式基于虚拟偏离成分Δx′、Δy′来使机器人臂10驱动，以经过拍摄基准点O3(中心O30)的线段为转动中心轴使轴坐标O6以规定的角度转动。将该图18所示的移动摄像机3以及第六臂16的状态作为“第四状态”。
接下来，如图19所示那样，控制装置5通过机器人臂10的驱动使移动摄像机3以及第六臂16在与包括机器人坐标系中的xr轴以及yr轴的平面(基准面82的x-y平面)平行的平面内并进移动，使第二标记72位于图像30的中心O30。将该图19所示的移动摄像机3以及第六臂16的状态作为“第五状态”。
对于这样的从第一状态经由第二状态、第三状态以及第四状态成为第五状态的移动摄像机3以及第六臂16的移动，若观察图15所示的第一状态和图19所示的第五状态可知，与以经过中心O30(拍摄基准点O3)的线段为转动中心轴使轴坐标O6转动等同。因此，如图20所示那样，从第一状态经由第二状态、第三状态以及第四状态成为第五状态的移动与以经过中心O30(拍摄基准点O3)的线段为转动中心轴使轴坐标O6以转动角度θ1移动相等。因此、基于转动角度θ1、第一状态下的机器人坐标系中的轴坐标O6的坐标、以及第五状态下的机器人坐标系中的轴坐标O6的坐标求出机器人坐标系中的拍摄基准点O3的坐标。然后，根据求出的机器人坐标系中的拍摄基准点O3的坐标、以及第一状态以及第五状态下的任意一方的机器人坐标系中的轴坐标O6的坐标求出拍摄基准点O3相对于轴坐标O6的偏离成分Δx、Δy。
通过这样的处理，能够容易并且高精度地求出拍摄基准点O3相对于轴坐标O6的偏离成分Δx、Δy。
另外，如上所述那样，在本实施方式中，通过进行从第一状态经由第二状态转移至第三状态的处理，计算出虚拟偏离成分Δx′、Δy′。即，通过进行以第二标记72收敛在移动摄像机3的图像30内(拍摄区域内)的范围内的微小的角度使第六臂16绕中心轴A6转动的处理，计算出虚拟偏离成分Δx′、Δy′。通过使用这样的虚拟偏离Δx′、Δy′的信息来进行从第三状态向第四状态的移动，能够在第四状态将第二标记72可靠地映在图像30内。
接下来，如图13所示那样，控制装置5求出拍摄基准点O3相对于轴坐标O6的偏离成分Δz(步骤S227)。以下，参照图21对求出偏离成分Δz的方法进行说明。应予说明，图21图示求出偏离成分Δz时的移动摄像机3以及第六臂16的过程，为便于说明，以图21中的实线表示的移动摄像机3表示“设计上的移动摄像机3”的位置，以图21中的虚线表示的移动摄像机3′表示“实际的移动摄像机3”的位置。
如图21所示那样，首先，控制装置5使机器人臂10驱动，以使例如第二标记72映于移动摄像机3′的图像的中心，成为图21所示的状态A。接下来，控制装置5利用移动摄像机3′拍摄第二标记72，求出图21所示的移动摄像机3的受光面311与第二标记72间的距离H。
在此，在本实施方式中，预先求出移动摄像机3的焦距，为已知。因此，距离H例如能够根据移动摄像机3的焦距、移动摄像机3的图像中的标记75彼此的间距的长度“图像元素”、以及实际的标记75彼此的间距“mm”算出。
应予说明，移动摄像机3的焦距例如也能够根据映入校正用构件70的标记75并且使移动摄像机3向光轴OA3方向(zr方向)移动微小量的情况的动作前后的、图像上的标记75彼此的间距的长度“图像元素”和实际的标记75彼此的间距“mm”求出。
接下来，如图21中的状态B所示那样，控制装置5使机器人臂10驱动，基于设计上的偏离成分Δz使移动摄像机3′倾斜角度θ2。
接下来，如图21中的状态C所示那样，控制装置5使机器人臂10驱动，在保持状态B的移动摄像机3′的姿势的状态下，以第二标记72映入至移动摄像机3′的图像的中心的方式使移动摄像机3′在与包括机器人坐标系中的xr轴以及yr轴的平面(基准面82的x-y平面)平行的面内并进移动。然后，控制装置5求出此时的机器人坐标系中的轴坐标O6的移动距离X′(具体地说，基于设计上的偏离成分Δz的、在与基准面82的x-y平面平行的面内的拍摄基准点O3的移动距离)。
接下来，控制装置5通过下述的式(1)求出用于求出移动摄像机3′的实际的偏离成分Δz的修正量ΔH。
[式1]
接下来，控制装置5基于修正量ΔH和设计上的偏离成分Δz来求出实际的偏离成分Δz。
这样，能够求出偏离成分Δz。通过这样的处理，能够容易地计算出偏离成分Δz。
接下来，如图13所示那样，控制装置5将数据更新为根据设计上的偏离成分求出的实际的偏离成分Δx、Δy、Δz、Δu、Δv、Δw(步骤S228)。
通过上述，图10所示的求出偏离的处理(步骤S22)结束。
确定作业面的处理(步骤S23)
接下来，如图10所示那样，进行确定作业面的处理(步骤S23)。确定作业面的处理(步骤S23)是求出机器人坐标系中的作业面611的位置以及姿势，即作业面611的成分xr、yr、zr、ur、vr、wr的处理。
在此，作业面611与基准面82平行，处于在基准面82的法线方向(zr方向)上偏离的位置。因此，在确定该作业面的处理(步骤S23)中，能够通过决定作业面611相对于基准面82的法线方向(zr方向)的偏离量，来求出作业面611的成分xr、yr、zr、ur、vr、wr。
作业面611相对于基准面82的法线方向(zr方向)的偏离量能够基于预先求出的移动摄像机3的焦距、相对于校正用构件70的相邻的标记75的间距的值(实际尺寸)的移动摄像机3的像素数、以及上述的实际的偏离成分求出。
像这样，通过求出机器人坐标系中的作业面611的位置以及姿势，机器人1能够针对载置在作业面611上的对象物高精度地进行作业。
机器人向示教标记的位置以及姿势的处理(步骤S24)
接下来，如图10所示那样，进行机器人1示教标记的位置以及姿势的处理(步骤S24)。
在此，例如将基准面82(或者作业面611)的x-y平面中的第二标记72的机器人坐标示教给机器人1。
具体地说，首先，控制装置5基于在上述的求出偏离成分的处理(步骤S22)中计算出的相对于轴坐标O6的拍摄基准点O3的位置以及光轴OA3的方向的偏离成分，使移动摄像机3的光轴OA2与基准面82的z轴一致。然后，控制装置5通过机器人臂10的驱动使移动摄像机3在与基准面82的x-y平面平行的面内并进移动，使第二标记72与移动摄像机3的图像中心对准。然后，控制装置5将使第二标记72与移动摄像机3的图像中心对准时的移动摄像机3的拍摄基准点O3的位置作为第二标记72的机器人坐标示教。
应予说明，例如，也可以通过使作为轴坐标O6中的偏离已知的示教专用工具(精加工用手)与第二标记72接触，来向机器人1示教第二标记75的位置以及姿势。但是，通过利用移动摄像机3拍摄第二标记72的图像来向机器人1示教第二标记72的位置以及姿势例如能够与校正用构件70的材质等无关地高精度地示教第二标记72，因此优选。
求出移动摄像机的图像坐标系与机器人坐标系的关系的处理(步骤S25)
接下来，如图10所示那样，进行求出移动摄像机的图像坐标系与机器人坐标系的关系的处理(步骤S25)。
求出移动摄像机的图像坐标系与机器人坐标系的关系的处理(步骤S25)除使用配置在作业面611上的校正用构件70确定出基准面、以及使机器人臂10驱动，使移动摄像机3移动至9个位置并且拍摄9次配置在作业面611上的校正用构件70的第二标记72(机器人坐标已知的标记)以外，与求出上述的固定摄像机的图像坐标系与机器人坐标系的关系的处理(步骤S12)相同。
因此，若求出移动摄像机3的图像坐标系与机器人坐标系的关系的处理(步骤S25)结束，则能够基于基于9个图像的移动摄像机3的图像坐标系中的第二标记72的坐标(成分xb、yb、ub)、以及在上述的步骤S21中求出的机器人坐标系中的基准面82的坐标(成分xr、yr、ur)求出将固定摄像机2的图像坐标变换为机器人坐标系中的基准面82的坐标的修正参数(坐标变换矩阵)。
若使用像这样求出的修正参数，则能够将利用移动摄像机3拍摄到的对象物等的位置以及姿势(具体地说为成分xb、yb、ub)变换为机器人坐标系中的值(具体地说为成分xr、yr、ur)。
应予说明，如上所述那样，求出移动摄像机的图像坐标系与机器人坐标系的关系的处理(步骤S25)与求出上述的固定摄像机2的图像坐标系与机器人坐标系的关系的处理(步骤S12)几乎相同，因此省略其详细说明(处理内容以及效果)。
通过上述，图4所示的拍摄部的校正结束。
通过这样的拍摄部的校正方法，能够基于分别利用固定摄像机2以及移动摄像机3拍摄到的图像求出基准面81、82的姿势，因此能够省去如以往那样由作业者进行的判断。因此，能够降低人为的误差、由作业者引起的偏差，因而，能够进行高精度的校正。
第二实施方式
接下来，对本发明的第二实施方式进行说明。
图22是在使用了本发明的第二实施方式所涉及的的机器人系统的拍摄部的校正中使用的校正用构件的俯视图。图23是用于说明第二实施方式中的确定出基准面的处理中的第一标记与第n标记的比较的图。
使用了本实施方式所涉及的机器人系统的拍摄部的校正方法除校正用构件的构成、以及确定出基准面的处理的一部分不同以外，与上述的第一实施方式相同。
应予说明，在以下的说明中，关于第二实施方式，以与上述的实施方式的不同点为中心进行说明，关于相同的事项省略其说明。另外，在图22以及图23中，分别对与上述的实施方式相同的构成标注相同附图标记。
在图22所示的校正用构件70A的表面701A标记有多个标记75。在这些多个标记75中的位于图22中的左侧的9个标记75、位于图22中的右侧的9个标记75、位于图22中的下侧的9个标记75、以及位于图22中的上侧的9个标记75分别标注有包围9个标记75的四边形的框。将由这些9个标记75和包围这些9个标记的四边形的框构成的标记中，位于图22中的左侧的标记作为“第一标记76”，将位于图22中的右侧的标记作为“第二标记77”，将位于图22中的下侧的标记作为“第三标记78”，将位于图22中的上侧的标记作为“第四标记79”。这样的第一标记76、第二标记77、第三标记78以及第四标记79分别作为基准标记使用。
确定基准面的处理(步骤S11)
在本实施方式中，在图8所示的步骤S114中，将利用固定摄像机2拍摄到的第二标记77的图像作为“第一图像”，并存储至存储部54，并且将拍摄第一图像时的机器人坐标系中的轴坐标O6的坐标存储至存储部54。
另外，在步骤S117中比较在步骤S116固定摄像机2拍摄到的第二标记77具有的多个标记75彼此的间距P与存储至存储部54的第一图像中的第二标记77具有的多个标记75彼此的间距P。例如，如图23所示那样，以图23中的双点划线表示第二标记77(第n标记)具有的多个标记75彼此的间距P与以图23中的实线表示的第一图像中的第二标记77具有的多个标记75彼此的间距P不同，在该间距P的差不在规定的阈值内的情况下，通过机器人臂10的驱动使校正用构件70在zr轴向上并进移动以使得成为规定的阈值内(步骤S119)。
接下来，控制装置5若判断为间距P的差在规定的阈值内，则在步骤S1110中，将利用固定摄像机2拍摄到的第二标记77的图像作为“第二图像(第n图像)”存储至存储部54，并且将拍摄第二图像时的机器人坐标系中的轴坐标O6的坐标存储至存储部54。
在此，在本实施方式中，预先设定利用固定摄像机2拍摄3个图像(第一图像、第二图像以及第三图像)。因此，在本实施方式中，在利用固定摄像机2拍摄第二图像后，在进行2次从步骤S115至步骤S1110，通过机器人臂10的驱动使校正用构件70移动，将利用固定摄像机2拍摄到的第二标记77的图像作为“第三图像”存储至存储部54，并且将拍摄第三图像时的机器人坐标系中的轴坐标O6的坐标存储至存储部54。
像这样，在本实施方式中，以第一图像中的第二标记77具有的标记75彼此的间距(第一间隔)、第二图像中的第二标记77具有的标记75彼此的间距(第二间隔)、第三图像中的第二标记77具有的标记75彼此的间距(第三间隔)相互相等的方式拍摄第一图像、第二图像以及第三图像。由此，能够基于各图像中的标记75彼此的间距求出基准面81的姿势。在此，如第一实施方式那样，在使用各图像上的第二标记77的大小的方法中，由于固定摄像机2的调焦程度，图像上的第二标记77的大小容易变化。与此相对，如本实施方式那样，通过使用标记75彼此的间距(标记75的重心间的距离)的方法，能够与调焦程度无关地更加准确地求出基准面81。
确定基准面的处理(步骤S21)
在本实施方式中，在图12所示的步骤S214中，将利用移动摄像机3拍摄到的第一标记76的图像作为“第一图像”存储至存储部54，并且将拍摄第一图像时的机器人坐标系中的轴坐标O6的坐标存储至存储部54。
另外，在步骤S217中，比较在步骤S216移动摄像机3拍摄到的第二标记77具有的多个标记75彼此的间距P、与存储至存储部54的第一图像中的第一标记76具有的多个标记75彼此的间距P。在间距P的差不在规定的阈值内的情况下，通过机器人臂10的驱动，使移动摄像机3相对于校正用构件70在zr轴向上并进移动，以使在规定的阈值内(步骤S219)。
接下来，控制装置5若判断为间距P的差在规定的阈值内，则在步骤S2110，将利用移动摄像机3拍摄到的第二标记77的图像作为“第二图像(第n图像)”存储至存储部54，并且将拍摄第二图像时的机器人坐标系中的轴坐标O6的坐标存储至存储部54。
在此，在本实施方式中，预先设定利用固定摄像机2拍摄4个图像(第一图像、第二图像、第三图像以及第四图像)。因此，在本实施方式中，在利用固定摄像机2拍摄第二图像后，又2次进行从步骤S215至步骤S2110。因此，在本实施方式中，将利用移动摄像机3拍摄到的第三标记78的图像作为“第三图像”存储至存储部54，并且将拍摄第三图像时的机器人坐标系中的轴坐标O6的坐标存储至存储部54。另外，将利用移动摄像机3拍摄到的第四标记79的图像作为“第四图像”存储至存储部54，并且将拍摄第四图像时的机器人坐标系中的轴坐标O6的坐标存储至存储部54。在此，在本实施方式中的移动摄像机3中的确定出基准面的处理(步骤S21)中，将第四标记79作为“第四基准标记”。
像这样，在本实施方式中，以第一图像中的第一标记76具有的标记75彼此的间距(第一间隔)、第二图像中的第二标记77具有的标记75彼此的间距(第二间隔)、第三图像中的第三标记78具有的标记75彼此的间距(第三间隔)、以及第四图像中的第四标记79具有的标记75彼此的间距(第四间隔)相互相等的方式拍摄第一图像、第二图像、第三图像以及第四图像。由此，能够基于各图像中的标记75彼此的间距求出基准面81的姿势。
另外，通过使用第一间隔、第二间隔、第三间隔以及第四间隔相等的校正用构件70A，并以第一图像中的第一间隔、第二图像中的第二间隔、第三图像中的第三间隔以及第四图像中的第四间隔相等的方式拍摄第一图像、第二图像、第三图像以及第四图像，能够容易并且迅速地求出与表面701平行的基准面82。
应予说明，在本实施方式中，第一间隔、第二间隔、第三间隔以及第四间隔全部相等，但若这些间隔(间距)的关系已知，则这些间隔(间距)也可以分别不同。在该情况下，能够基于第一间隔、第二间隔、第三间隔以及第四间隔的各间隔(间距)的关系求出与表面701平行的基准面82。
另外，如图22所示那样，标注于校正用构件70A的第一标记76、第二标记77、第三标记78以及第四标记79以经过第一标记76和第二标记77的第一直线7XA与经过第三标记78和第四标记79的第二直线7YA交叉的方式配置。由此，能够根据拍摄第一图像时的机器人坐标系中的第一标记76的坐标和拍摄第二图像时的机器人坐标系中的第二标记77的坐标来求出第一直线7XA，根据拍摄第三图像时的机器人坐标系中的第三标记78的坐标和拍摄第四图像时的机器人坐标系中的第四标记79的坐标来求出第二直线7YA，并基于求出的第一直线7XA以及第二直线7YA求出基准面82的原点70O以及x轴、y轴、z轴的各方向。通过像这样确定基准面82的原点70O以及x轴、y轴、z轴的各方向，作业者容易把握基准面82的位置。
第三实施方式
接下来，对本发明的第三实施方式进行说明。
图24是在使用了本发明的第三实施方式所涉及的机器人系统的拍摄部的校正中使用的校正用构件的俯视图。
使用了本实施方式所涉及的机器人系统的拍摄部的校正方法除校正用构件的构成不同以外，与上述的第一实施方式相同。
应予说明，在以下的说明中，关于第三实施方式，对与上述的实施方式的不同点为中心进行说明，对于相同的事项省略其说明。另外，在图24中，对于与上述的实施方式相同的构成分别标注相同的附图标记。
在图24所示的校正用构件70B的表面701B标注有第一标记71B、第二标记72B以及第三标记73B。
通过标注这样的3个第一标记71B、第二标记72B以及第三标记73B的校正用构件70B，也与上述的第二实施方式中的移动摄像机3的确定基准面的处理(步骤S21)相同，根据拍摄第一图像时的机器人坐标系中的第一标记71B的坐标和拍摄第二图像时的机器人坐标系中的第二标记72B的坐标求出第一直线7XB，根据拍摄第一图像时的机器人坐标系中的第一标记71B的坐标和拍摄第三图像时的机器人坐标系中的第三标记73B的坐标来求出第二直线7YB。然后，能够求出将第一标记71B作为原点的基准面82的x轴、y轴、z轴的各方向。
以上，基于图示的实施方式对本发明的控制装置、机器人以及机器人系统进行了说明，但本发明并不局限于此，各部的构成能够置换为具有相同的功能的任意的构成。另外，也可以附加其它的任意的构成物。另外，本发明也可以是组合上述各实施方式中的、任意2个以上的构成(特征)的组合。
另外，在上述实施方式中，以使用6轴的垂直多关节机器人的情况为例进行了说明，但本发明中的机器人也可以是垂直多关节机器人以外的机器人，例如也可以是水平多关节机器人等。应予说明，水平多关节机器人例如是具有基台、与基台连接并沿水平方向延伸的第一臂、与第一臂连接并具有沿水平方向延伸的部分的第二臂的构成。另外，在本发明中的机器人为水平多关节机器人的情况下，通过进行上述那样的校正，例如能够把握机器人是否相对于作业面被平行设置、是否以固定摄像机的光轴相对于包括机器人坐标系中的xr轴以及yr轴的面为铅锤的方式设置有固定摄像机等。
另外，在上述实施方式中，机器人具有的机器人臂的转动轴的个数为6个，但在本发明中并不局限于此，机器人臂的转动轴的个数例如也可以是2个、3个、4个、5个或7个以上。另外，在上述实施方式中，机器人具有的臂的个数是6个，但在本发明中并不局限于此，机器人具有的臂的个数例如也可以是2个、3个、4个、5个、或者7个以上。
另外，在上述实施方式中，机器人具有的机器人臂的个数是一个，但在本发明中并不局限于此，机器人具有的机器人臂的个数例如也可以是2个以上。即，机器人例如也可以是双臂机器人等多臂机器人。
另外，在上述实施方式中，作为拍摄部的固定摄像机以及移动摄像机分别是具有拍摄元件以及透镜的构成，但本发明中的拍摄部若是能够拍摄第一标记、第二标记以及第三标记的构成，则可以是任何的构成。
另外，在上述实施方式中，使用校正用构件进行固定摄像机的校正，但在固定摄像机的校正中也可以不使用校正用构件。在不使用校正用构件的情况下，例如在机器人臂的前端部(轴坐标)标注一个标记，将该一个标记作为基准标记使用即可。在该情况下，能够将一个标记看作“第一基准标记、第二基准标记以及第三基准标记”。
附图标记的说明：
1…机器人，2…固定摄像机，3…移动摄像机，3′…移动摄像机，5…控制装置，7XA…第一直线，7XB…第一直线，7YA…第二直线，7YB…第二直线，10…机器人臂，11…第一臂，12…第二臂，13…第三臂，14…第四臂，15…第五臂，16…第六臂，21…拍摄元件，22…透镜，30…图像，31…拍摄元件，32…透镜，41…显示设备，42…操作设备，51…驱动控制部，52…信息获取部，53…处理部，54…存储部，61…作业台，62…供给台，70…校正用构件，70A…校正用构件，70B…校正用构件，71…第一标记，71B…第一标记，72…第二标记，72B…第二标记，73…第三标记，73B…第三标记，75…标记，76…第一标记，77…第二标记，78…第三标记，79…第四标记，70O…原点，81…基准面，82…基准面，90…作业区域，100…机器人系统，101…基台，102…手，111…转动轴构件，120…马达驱动器，121…转动轴构件，130…驱动部，131…转动轴构件，141…转动轴构件，151…转动轴构件，161…转动轴构件，211…受光面，311…受光面，411…监视器，611…作业面，701…表面，701A…表面，701B…表面，A…状态，A6…中心轴，B…状态，C…状态，H…距离，O2…拍摄基准点，O3…拍摄基准点，O30…中心，O6…轴坐标，OA2…光轴，OA3…光轴，P…间距，P1、P2、P3、P4…间距，P1′、P2′、P3′、P4′…间距，S1…步骤，S11…步骤，S111…步骤，S1110…步骤，S1111…步骤，S1112…步骤，S1113…步骤，S112…步骤，S113…步骤，S114…步骤，S115…步骤，S116…步骤，S117…步骤，S118…步骤，S119…步骤，S12…步骤，S2…步骤，S21…步骤，S22…步骤，S221…步骤，S222…步骤，S223…步骤，S224…步骤，S225…步骤，S226…步骤，S227…步骤，S228…步骤，S23…步骤，S24…步骤，S25…步骤，S211…步骤，S212…步骤，S213…步骤，S214…步骤，S215…步骤，S216…步骤，S217…步骤，S218…步骤，S219…步骤，S2110…步骤，S2111…步骤，S2112…步骤，S2113…步骤，TCP…工具中心点，X′…机器人移动距离，ΔH…修正量，θ1…转动角度，θ10…转动角度，θ2…角度。

Claims (13)

1.一种控制装置，其特征在于，能够分别控制具有机器人臂的机器人、以及能够拍摄第一基准标记、第二基准标记以及第三基准标记的拍摄部，
通过对所述机器人设置所述拍摄部或者所述第一基准标记、所述第二基准标记以及所述第三基准标记，并使所述机器人臂的姿势变化，能够使所述拍摄部分别与所述第一基准标记、所述第二基准标记、所述第三基准标记之间的距离变化，
基于以所述拍摄部拍摄所述第一基准标记而得的第一图像、以所述拍摄部拍摄配置在与所述第一基准标记不同的位置的所述第二基准标记而得的第二图像、以所述拍摄部拍摄配置在与所述第一基准标记以及所述第二基准标记不同的位置的所述第三基准标记而得的第三图像，来求出与经过所述第一基准标记、所述第二基准标记以及所述第三基准标记的平面平行的基准面的姿势。
2.根据权利要求1所述的控制装置，其特征在于，
基于拍摄所述第一图像时的机器人坐标系中的所述机器人的任意的部位的坐标、拍摄所述第二图像时的所述机器人坐标系中的所述部位的坐标、以及拍摄所述第三图像时的所述机器人坐标系中的所述部位的坐标，来求出所述姿势。
3.根据权利要求1所述的控制装置，其特征在于，
基于所述第一图像中的所述第一基准标记的大小、所述第二图像中的所述第二基准标记的大小、以及所述第三图像中的所述第三基准标记的大小，来求出所述姿势。
4.根据权利要求3所述的控制装置，其特征在于，
在所述第一基准标记、所述第二基准标记以及所述第三基准标记的各基准标记的大小相互相等的情况下，使所述拍摄部按照所述第一图像中的所述第一基准标记的大小、所述第二图像中的所述第二基准标记的大小、以及所述第三图像中的所述第三基准标记的大小相等的方式拍摄所述第一图像、所述第二图像以及所述第三图像。
5.根据权利要求1所述的控制装置，其特征在于，
所述第一基准标记、所述第二基准标记以及所述第三基准标记分别是具有以规定的间隔配置的多个标记的构成，
基于所述第一图像中的所述第一基准标记具有的所述多个标记彼此的第一间隔、所述第二图像中的所述第二基准标记具有的所述多个标记彼此的第二间隔、以及所述第三图像中的所述第三基准标记具有的所述多个标记彼此的第三间隔，来求出所述姿势。
6.根据权利要求5所述的控制装置，其特征在于，
在所述第一基准标记的所述第一间隔、所述第二基准标记的所述第二间隔、以及所述第三基准标记的所述第三间隔相等的情况下，使所述拍摄部按照所述第一图像中的所述第一间隔、所述第二图像中的所述第二间隔、以及所述第三图像中的所述第三间隔相等的方式拍摄所述第一图像、所述第二图像以及所述第三图像。
7.根据权利要求6所述的控制装置，其特征在于，
所述基准面与所述拍摄部的光轴正交。
8.根据权利要求1所述的控制装置，其特征在于，
基于根据所述第一图像求出的所述第一基准标记与所述拍摄部的拍摄基准点之间的第一距离、根据所述第二图像求出的所述第二基准标记与所述拍摄基准点之间的第二距离、以及根据所述第三图像求出的所述第三基准标记与所述拍摄基准点之间的第三距离，来求出所述姿势。
9.根据权利要求8所述的控制装置，其特征在于，
所述第一距离、所述第二距离以及所述第三距离相等。
10.根据权利要求1～9中任意一项所述的控制装置，其特征在于，
求出所述基准面的原点。
11.根据权利要求10所述的控制装置，其特征在于，
所述拍摄部能够拍摄第四基准标记，
在配置成经过所述第一基准标记和所述第二基准标记的第一直线、与经过所述第三基准标记和所述第四基准标记的第二直线交叉的情况下，使所述拍摄部分别拍摄所述第一基准标记、所述第二基准标记、所述第三基准标记以及所述第四基准标记，
根据拍摄所述第一基准标记时的机器人坐标系中的所述第一基准标记的坐标、拍摄所述第二基准标记时的所述机器人坐标系中的所述第二基准标记的坐标、拍摄所述第三基准标记时的所述机器人坐标系中的所述第三基准标记的坐标、以及拍摄所述第四基准标记时的所述机器人坐标系中的所述第四基准标记的坐标，来求出所述第一直线以及所述第二直线，并基于求出的所述第一直线以及所述第二直线，来求出所述机器人坐标系中的所述基准面的原点。
12.一种机器人，其特征在于，
被权利要求1至11中任意一项所述的控制装置控制。
13.一种机器人系统，其特征在于，
具备权利要求1至11中任意一项所述的控制装置、被该控制装置控制的机器人、以及具有拍摄的功能的拍摄部。
CN201611078388.2A 2015-12-01 2016-11-29 控制装置、机器人以及机器人系统 Active CN107053167B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015235250A JP6710946B2 (ja) 2015-12-01 2015-12-01 制御装置、ロボットおよびロボットシステム
JP2015-235250 2015-12-01

Publications (2)

Publication Number Publication Date
CN107053167A true CN107053167A (zh) 2017-08-18
CN107053167B CN107053167B (zh) 2021-10-26

Family

ID=58776755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611078388.2A Active CN107053167B (zh) 2015-12-01 2016-11-29 控制装置、机器人以及机器人系统

Country Status (3)

Country Link
US (1) US10201900B2 (zh)
JP (1) JP6710946B2 (zh)
CN (1) CN107053167B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107570985A (zh) * 2017-09-13 2018-01-12 苏州立源信智能科技有限公司 一种面板全自动安装装置
CN109297975A (zh) * 2018-08-16 2019-02-01 奇酷互联网络科技（深圳）有限公司 移动终端及检测方法、存储装置
CN109696184A (zh) * 2017-10-24 2019-04-30 精工爱普生株式会社 编码器、机器人以及打印机
CN110009692A (zh) * 2019-03-28 2019-07-12 渤海大学 用于相机标定的大型控制场人工标志点及其编码方法
CN112673284A (zh) * 2018-09-21 2021-04-16 日立建机株式会社 坐标转换系统及作业机械
CN112677148A (zh) * 2019-10-17 2021-04-20 发那科株式会社 机器人系统
CN113276104A (zh) * 2020-02-19 2021-08-20 总督科技股份有限公司 晶圆转载机构的机械臂校准装置及其校准方法
CN114945450A (zh) * 2020-01-14 2022-08-26 发那科株式会社 机器人系统
CN114939865A (zh) * 2021-02-17 2022-08-26 精工爱普生株式会社 校准方法
CN115397626A (zh) * 2020-04-14 2022-11-25 发那科株式会社 坐标系设定系统和位置姿势测量系统
CN116133788A (zh) * 2020-07-28 2023-05-16 德马吉森精机株式会社 搬送系统、搬送系统的控制方法以及搬送系统的控制程序
CN116323115A (zh) * 2020-10-08 2023-06-23 松下知识产权经营株式会社 控制装置、机器人臂系统以及机器人臂装置的控制方法
CN116806186A (zh) * 2021-02-24 2023-09-26 株式会社富士 相机的位置偏移测定装置及位置偏移测定方法

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016221645A (ja) * 2015-06-02 2016-12-28 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
US10551821B2 (en) 2016-06-30 2020-02-04 Seiko Epson Corporation Robot, robot control apparatus and robot system
JP2018012184A (ja) * 2016-07-22 2018-01-25 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
US11230015B2 (en) * 2017-03-23 2022-01-25 Fuji Corporation Robot system
JP6568172B2 (ja) * 2017-09-22 2019-08-28 ファナック株式会社 キャリブレーションを行うロボット制御装置、計測システム及びキャリブレーション方法
CN113059559B (zh) * 2020-01-02 2022-07-12 台达电子工业股份有限公司 机器人工具的校正方法与校正系统
US11338441B2 (en) * 2017-12-01 2022-05-24 Delta Electronics, Inc. Calibration system for robot tool and calibration method for the same
JP6993427B2 (ja) * 2017-12-07 2022-01-13 株式会社Fuji メカチャック，産業用ロボット及びワーク移動装置
CN108326850B (zh) * 2018-01-10 2021-07-06 温州大学 一种机器人准确移动机械臂到达指定位置的方法及系统
US11190684B2 (en) * 2018-03-30 2021-11-30 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP2019198930A (ja) * 2018-05-17 2019-11-21 セイコーエプソン株式会社 制御装置およびロボットシステム
US12092771B2 (en) * 2018-07-06 2024-09-17 Brain Corporation Systems, methods and apparatuses for calibrating sensors mounted on a device
JP6904927B2 (ja) * 2018-07-30 2021-07-21 ファナック株式会社 ロボットシステムおよびキャリブレーション方法
US10871366B2 (en) 2018-08-16 2020-12-22 Mitutoyo Corporation Supplementary metrology position coordinates determination system for use with a robot
US11745354B2 (en) 2018-08-16 2023-09-05 Mitutoyo Corporation Supplementary metrology position coordinates determination system including an alignment sensor for use with a robot
US10751883B2 (en) * 2018-08-16 2020-08-25 Mitutoyo Corporation Robot system with supplementary metrology position coordinates determination system
US11002529B2 (en) 2018-08-16 2021-05-11 Mitutoyo Corporation Robot system with supplementary metrology position determination system
WO2020047713A1 (en) * 2018-09-03 2020-03-12 Abb Schweiz Ag Method and apparatus for managing robot system
US10913156B2 (en) 2018-09-24 2021-02-09 Mitutoyo Corporation Robot system with end tool metrology position coordinates determination system
JP7153085B2 (ja) * 2018-12-11 2022-10-13 株式会社Fuji ロボットキャリブレーションシステム及びロボットキャリブレーション方法
CN111390901B (zh) * 2019-01-02 2021-09-07 中达电子(江苏)有限公司 机械臂自动标定方法以及标定装置
US11918297B2 (en) 2019-01-10 2024-03-05 Mazor Robotics Ltd. System and method for registration between coordinate systems and navigation
US11135025B2 (en) * 2019-01-10 2021-10-05 Medtronic Navigation, Inc. System and method for registration between coordinate systems and navigation
JP6810173B2 (ja) * 2019-01-29 2021-01-06 日本金銭機械株式会社 物体把持システム
US11254019B2 (en) * 2019-03-05 2022-02-22 The Boeing Company Automatic calibration for a robot optical sensor
CN111716346B (zh) * 2019-03-20 2021-09-17 台达电子工业股份有限公司 机械手臂工具校正方法及其校正装置
JP7349605B2 (ja) * 2019-06-04 2023-09-25 パナソニックＩｐマネジメント株式会社 ロボットの制御方法
CN113825980B (zh) * 2019-07-19 2024-04-09 西门子（中国）有限公司 机器人手眼标定方法、装置、计算设备以及介质
KR102280663B1 (ko) * 2019-08-19 2021-07-22 하이윈 테크놀로지스 코포레이션 비전 가이드 로봇 암 교정 방법
CN111037558A (zh) * 2019-12-23 2020-04-21 北京航天计量测试技术研究所 一种自动识别抓取方法及系统
JP7487552B2 (ja) * 2020-05-20 2024-05-21 セイコーエプソン株式会社 充電方法および充電システム
CN112184819B (zh) * 2020-10-21 2024-12-24 苏州华兴源创科技股份有限公司 机器人的引导方法、装置、计算机设备和存储介质
CN112318503B (zh) * 2020-10-26 2022-06-03 中国计量大学 一种机器人校准系统和校准方法
US20220219328A1 (en) * 2021-01-08 2022-07-14 General Electric Company Method and device for creation of three dimensional tool frame
CN118055836A (zh) * 2021-10-13 2024-05-17 发那科株式会社 位置对准夹具
US12174005B2 (en) 2021-12-27 2024-12-24 Mitutoyo Corporation Metrology system with position and orientation tracking utilizing light beams
JP2023142080A (ja) * 2022-03-24 2023-10-05 アイシンシロキ株式会社 対象物の検出方法及び検出装置
CN114638888B (zh) * 2022-03-31 2022-12-16 广东利元亨智能装备股份有限公司 位置确定方法、装置、电子设备及可读存储介质
CN116245959B (zh) * 2022-12-28 2025-11-04 凌云光技术股份有限公司 用于辊面成像的相机位姿标定装置和相机位姿标定方法
CN116397716B (zh) * 2023-03-10 2025-06-27 上海大学 一种挖掘机器人的重复定位精度测试装置及测试方法
US20240428457A1 (en) * 2023-06-21 2024-12-26 The Boeing Company Camera Calibration for Robotic Arrayed Inkjet Printing
US12455158B2 (en) 2023-12-15 2025-10-28 Mitutoyo Corporation Metrology system with high speed position and orientation tracking mode

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050159842A1 (en) * 2004-01-16 2005-07-21 Fanuc Ltd Measuring system
JP2006110705A (ja) * 2004-09-15 2006-04-27 Yaskawa Electric Corp ロボットのキャリブレーション方法
CN102135776A (zh) * 2011-01-25 2011-07-27 解则晓 基于视觉定位的工业机器人控制系统及其控制方法
US20130039541A1 (en) * 2008-11-07 2013-02-14 Seiko Epson Corporation Robot system, robot control device and method for controlling robot
CN104057457A (zh) * 2013-03-19 2014-09-24 株式会社安川电机 机器人系统及校准方法
CN105073348A (zh) * 2013-04-05 2015-11-18 Abb技术有限公司 用于校准的机器人系统和方法

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2823584C2 (de) * 1978-05-30 1983-01-27 Pfaff Industriemaschinen Gmbh, 6750 Kaiserslautern Greifvorrichtung für Industrieroboter
US4921293A (en) * 1982-04-02 1990-05-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Multi-fingered robotic hand
US5108140A (en) * 1988-04-18 1992-04-28 Odetics, Inc. Reconfigurable end effector
US4891767A (en) * 1988-06-02 1990-01-02 Combustion Engineering, Inc. Machine vision system for position sensing
US4957320A (en) * 1988-08-31 1990-09-18 Trustees Of The University Of Pennsylvania Methods and apparatus for mechanically intelligent grasping
US5501498A (en) * 1988-08-31 1996-03-26 The Trustees Of The University Of Pennsylvania Methods and apparatus for mechanically intelligent grasping
US4980626A (en) * 1989-08-10 1990-12-25 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method and apparatus for positioning a robotic end effector
US5172951A (en) * 1990-08-06 1992-12-22 University Of Utah Research Foundation Robotic grasping apparatus
JPH08210816A (ja) * 1995-02-03 1996-08-20 Fanuc Ltd ロボット−視覚センサシステムにおいてセンサ座標系とロボット先端部の関係を定める座標系結合方法
AU7017396A (en) * 1995-09-08 1997-03-27 Ross-Hime Designs, Inc. Robotic manipulator
US5762390A (en) * 1996-07-16 1998-06-09 Universite Laval Underactuated mechanical finger with return actuation
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
WO2000057129A1 (en) * 1999-03-19 2000-09-28 Matsushita Electric Works, Ltd. Three-dimensional object recognition method and pin picking system using the method
EP1142675B1 (en) * 2000-04-04 2005-08-24 Honda Giken Kogyo Kabushiki Kaisha Multifinger hand device
JP3996015B2 (ja) * 2002-08-09 2007-10-24 本田技研工業株式会社 姿勢認識装置及び自律ロボット
US6817641B1 (en) * 2002-08-30 2004-11-16 Lawrence J. Singleton, Jr. Robotic arm and hand
WO2004028753A2 (en) * 2002-09-26 2004-04-08 Barrett Technology, Inc. Intelligent, self-contained robotic hand
GB2417090A (en) * 2003-04-28 2006-02-15 Stephen James Crampton CMM arm with exoskeleton
CA2524363A1 (en) * 2003-05-07 2004-11-18 Evenzo Ab Marking of large surfaces with visual presentations
WO2005015466A1 (ja) * 2003-08-07 2005-02-17 Matsushita Electric Industrial Co., Ltd. 生活支援システム及びその制御用プログラム
JP4313125B2 (ja) * 2003-09-12 2009-08-12 本田技研工業株式会社 ロボットハンド
JP4592276B2 (ja) * 2003-10-24 2010-12-01 ソニー株式会社 ロボット装置のためのモーション編集装置及びモーション編集方法、並びにコンピュータ・プログラム
US7795832B2 (en) * 2004-03-31 2010-09-14 Japan Science And Technology Agency Robot hand
US10850392B2 (en) * 2004-04-12 2020-12-01 Strider Labs, Inc. System and method for computing grasps for a robotic hand with a palm
US7921741B2 (en) * 2004-12-15 2011-04-12 Motorola Mobility, Inc. Electromagnetic testing model of human hand
JP2007015037A (ja) * 2005-07-05 2007-01-25 Sony Corp ロボットのモーション編集装置及びモーション編集方法、コンピュータ・プログラム、並びにロボット装置
SE529377C2 (sv) * 2005-10-18 2007-07-24 Morphic Technologies Ab Publ Metod och arrangemang för att lokalisera och plocka upp föremål från en bärare
JP4908020B2 (ja) * 2006-03-02 2012-04-04 本田技研工業株式会社 ハンド制御システム
US7650263B2 (en) * 2006-09-26 2010-01-19 Strider Labs, Inc. Method for fast computation of optimal contact forces
WO2008058061A2 (en) * 2006-11-03 2008-05-15 President And Fellows Of Harvard College Robust compliant adaptive grasper and method of manufacturing same
JP4890199B2 (ja) * 2006-11-09 2012-03-07 本田技研工業株式会社 ロボットハンドおよびロボット
US8036452B2 (en) * 2007-08-10 2011-10-11 Leica Geosystems Ag Method and measurement system for contactless coordinate measurement on an object surface
US9020240B2 (en) * 2007-08-10 2015-04-28 Leica Geosystems Ag Method and surveying system for noncontact coordinate measurement on an object surface
JP2009066685A (ja) * 2007-09-11 2009-04-02 Sony Corp ロボット装置及びロボット装置の制御方法
JP4418841B2 (ja) * 2008-01-24 2010-02-24 キヤノン株式会社 作業装置及びその校正方法
NL1036673A1 (nl) * 2008-04-09 2009-10-12 Asml Holding Nv Robot Position Calibration Tool (RPCT).
US20090306825A1 (en) * 2008-04-21 2009-12-10 Ying Li Manipulation system and method
KR100997140B1 (ko) * 2008-07-16 2010-11-30 삼성전자주식회사 인간형 로봇
US8848974B2 (en) * 2008-09-29 2014-09-30 Restoration Robotics, Inc. Object-tracking systems and methods
KR101549818B1 (ko) * 2008-12-02 2015-09-07 삼성전자 주식회사 로봇 핸드 및 그 제어방법
US8346393B2 (en) * 2008-12-18 2013-01-01 Samsung Electronics Co., Ltd. Control apparatus of multi-finger hand and grasping method using the same
JP2010152550A (ja) * 2008-12-24 2010-07-08 Canon Inc 作業装置及びその校正方法
US20100179689A1 (en) * 2009-01-09 2010-07-15 National Taiwan University Of Science And Technology Method of teaching robotic system
US8364314B2 (en) * 2009-04-30 2013-01-29 GM Global Technology Operations LLC Method and apparatus for automatic control of a humanoid robot
JP5335551B2 (ja) * 2009-05-14 2013-11-06 本田技研工業株式会社 ロボットハンドならびにその制御システム、制御方法および制御プログラム
US8504198B2 (en) * 2009-05-14 2013-08-06 Honda Motor Co., Ltd. Robot hand and control system, control method and control program for the same
US8280837B2 (en) * 2009-05-28 2012-10-02 GM Global Technology Operations LLC Contact state estimation for multi-finger robot hands using particle filters
JP4856222B2 (ja) * 2009-08-28 2012-01-18 照明 與語 ３次元形状測定方法
DE102009041734B4 (de) * 2009-09-16 2023-11-02 Kuka Roboter Gmbh Vermessung eines Manipulators
US8511964B2 (en) * 2009-09-22 2013-08-20 GM Global Technology Operations LLC Humanoid robot
DE102009058607A1 (de) * 2009-12-17 2011-06-22 KUKA Laboratories GmbH, 86165 Verfahren und Vorrichtung zum Steuern eines Manipulators
JP5624394B2 (ja) * 2010-07-16 2014-11-12 キヤノン株式会社 位置姿勢計測装置、その計測処理方法及びプログラム
JP5685027B2 (ja) * 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
EP2468207A1 (en) * 2010-12-21 2012-06-27 Renishaw (Ireland) Limited Method and apparatus for analysing images
JP2012254518A (ja) * 2011-05-16 2012-12-27 Seiko Epson Corp ロボット制御システム、ロボットシステム及びプログラム
US9053571B2 (en) * 2011-06-06 2015-06-09 Microsoft Corporation Generating computer models of 3D objects
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の３次元位置姿勢の認識装置及び認識方法
US9352466B2 (en) * 2012-06-01 2016-05-31 Taiwan Semiconductor Manufacturing Co., Ltd. Robot positioning system for semiconductor tools
ES2522921B2 (es) * 2013-05-17 2015-07-30 Loxin 2002, S.L. Cabezal y procedimiento de mecanizado automático con visión
WO2014196081A1 (ja) * 2013-06-07 2014-12-11 富士機械製造株式会社 電子機器組立機および類似の組立機
JP6253368B2 (ja) * 2013-11-25 2017-12-27 キヤノン株式会社 三次元形状計測装置およびその制御方法
RU2743044C1 (ru) * 2014-02-20 2021-02-12 Марк ОЛЕЙНИК Роботизированная кухонная система
JP6415190B2 (ja) * 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
US10078898B2 (en) * 2014-11-07 2018-09-18 National Institute Of Standards And Technology Noncontact metrology probe, process for making and using same
JP6565175B2 (ja) 2014-11-21 2019-08-28 セイコーエプソン株式会社 ロボットおよびロボットシステム
JP6507792B2 (ja) 2015-03-30 2019-05-08 セイコーエプソン株式会社 ロボットおよびロボットシステム
WO2016079967A1 (en) 2014-11-21 2016-05-26 Seiko Epson Corporation Robot and robot system
JP6573354B2 (ja) * 2014-11-28 2019-09-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6562665B2 (ja) * 2015-03-18 2019-08-21 蛇の目ミシン工業株式会社 ロボット
JP2016182648A (ja) 2015-03-26 2016-10-20 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP2016185572A (ja) * 2015-03-27 2016-10-27 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP2016187846A (ja) * 2015-03-30 2016-11-04 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP2016187844A (ja) 2015-03-30 2016-11-04 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP2016221645A (ja) * 2015-06-02 2016-12-28 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP6661925B2 (ja) * 2015-09-07 2020-03-11 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
US9849591B2 (en) * 2015-10-02 2017-12-26 X Development Llc Localization of a robot in an environment using detected edges of a camera image from a camera of the robot and detected edges derived from a three-dimensional model of the environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050159842A1 (en) * 2004-01-16 2005-07-21 Fanuc Ltd Measuring system
JP2006110705A (ja) * 2004-09-15 2006-04-27 Yaskawa Electric Corp ロボットのキャリブレーション方法
US20130039541A1 (en) * 2008-11-07 2013-02-14 Seiko Epson Corporation Robot system, robot control device and method for controlling robot
CN102135776A (zh) * 2011-01-25 2011-07-27 解则晓 基于视觉定位的工业机器人控制系统及其控制方法
CN104057457A (zh) * 2013-03-19 2014-09-24 株式会社安川电机 机器人系统及校准方法
CN105073348A (zh) * 2013-04-05 2015-11-18 Abb技术有限公司 用于校准的机器人系统和方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107570985A (zh) * 2017-09-13 2018-01-12 苏州立源信智能科技有限公司 一种面板全自动安装装置
CN109696184A (zh) * 2017-10-24 2019-04-30 精工爱普生株式会社 编码器、机器人以及打印机
CN109297975A (zh) * 2018-08-16 2019-02-01 奇酷互联网络科技（深圳）有限公司 移动终端及检测方法、存储装置
CN112673284A (zh) * 2018-09-21 2021-04-16 日立建机株式会社 坐标转换系统及作业机械
CN110009692A (zh) * 2019-03-28 2019-07-12 渤海大学 用于相机标定的大型控制场人工标志点及其编码方法
CN112677148A (zh) * 2019-10-17 2021-04-20 发那科株式会社 机器人系统
US12186920B2 (en) 2020-01-14 2025-01-07 Fanuc Corporation Robot system
CN114945450A (zh) * 2020-01-14 2022-08-26 发那科株式会社 机器人系统
CN113276104A (zh) * 2020-02-19 2021-08-20 总督科技股份有限公司 晶圆转载机构的机械臂校准装置及其校准方法
CN115397626A (zh) * 2020-04-14 2022-11-25 发那科株式会社 坐标系设定系统和位置姿势测量系统
CN116133788A (zh) * 2020-07-28 2023-05-16 德马吉森精机株式会社 搬送系统、搬送系统的控制方法以及搬送系统的控制程序
CN116323115A (zh) * 2020-10-08 2023-06-23 松下知识产权经营株式会社 控制装置、机器人臂系统以及机器人臂装置的控制方法
CN114939865B (zh) * 2021-02-17 2023-06-02 精工爱普生株式会社 校准方法
CN114939865A (zh) * 2021-02-17 2022-08-26 精工爱普生株式会社 校准方法
CN116806186A (zh) * 2021-02-24 2023-09-26 株式会社富士 相机的位置偏移测定装置及位置偏移测定方法

Also Published As

Publication number Publication date
JP2017100240A (ja) 2017-06-08
CN107053167B (zh) 2021-10-26
US20170151671A1 (en) 2017-06-01
US10201900B2 (en) 2019-02-12
JP6710946B2 (ja) 2020-06-17

Similar Documents

Publication Publication Date Title
CN107053167B (zh) 控制装置、机器人以及机器人系统
CN107639653A (zh) 控制装置、机器人以及机器人系统
US10551821B2 (en) Robot, robot control apparatus and robot system
JP7189988B2 (ja) ビジョンシステムの３次元校正のためのシステム及び方法
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
US11446822B2 (en) Simulation device that simulates operation of robot
CN1680774A (zh) 计量装置
CN112297004B (zh) 对机器人的位置进行控制的机器人装置的控制装置
US10189161B2 (en) Calibration system and calibration method calibrating mechanical parameters of wrist part of robot
JP2009269110A (ja) 組立装置
US20180161985A1 (en) Control device, robot, and robot system
CN106003020A (zh) 机器人、机器人控制装置以及机器人系统
US20190030722A1 (en) Control device, robot system, and control method
US12128571B2 (en) 3D computer-vision system with variable spatial resolution
WO2022163580A1 (ja) 視覚センサにて取得される３次元の位置情報から断面画像を生成する処理装置および処理方法
CN108326848A (zh) 机器人
JP2019049467A (ja) 距離計測システムおよび距離計測方法
CN113492401B (zh) 校正方法
JP2018001332A (ja) ロボット、制御装置、及びロボットシステム
JP7733108B2 (ja) 視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置
CN114939865B (zh) 校准方法
JPH0820207B2 (ja) 光学式３次元位置計測方法
CN117565107A (zh) 机器人空间定位的方法、系统、介质及设备
JP2016203282A (ja) エンドエフェクタの姿勢変更機構を備えたロボット
CN115362049B (zh) 用于修正机器人的示教位置的装置、示教装置、机器人系统、示教位置修正方法以及计算机程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant