JP2021024075A - ロボットの位置を制御するロボット装置の制御装置 - Google Patents

Abstract

【課題】簡易な方法にてロボットの位置を精度よく制御するロボット装置の制御装置を提供する。【解決手段】第１のワークの第１の特徴部位および第２のワークの第２の特徴部位が予め定められている。特徴量検出部３２は、カメラ２５にて撮像された画像において、第１の特徴部位の位置に関する第１の特徴量と、第２の特徴部位の位置に関する第２の特徴量とを検出する。算出部３３は、第１の特徴量と第２の特徴量との差を相対位置量として算出する。第１のワークに対して第２のワークが目標の位置に配置されているときの基準画像が予め定められている。指令生成部３４は、カメラ２５にて撮像した画像における相対位置量と、基準画像における相対位置量とに基づいて、ロボットを動作させる移動指令を生成する。【選択図】図３

Description

本発明は、ロボットの位置を制御するロボット装置の制御装置に関する。

ロボットを備えるロボット装置では、作業に応じた作業ツールをロボットに取り付けることにより所望の作業を行うことができる。例えば、作業ツールとしてワークを把持するハンドをロボットに取り付けることにより、ロボット装置は、ワークを所望の位置まで搬送することができる。

ロボット装置にてワークを搬送するときに、ワークの位置および姿勢を制御することによりロボット装置が把持しているワークを他のワークに取り付けたり、他のワークの内部に配置したりすることができる。このような作業を行う場合には、他のワークに対してロボット装置が把持しているワークの厳密な位置合わせを行うことが好ましい。例えば、１つのワークを他のワークに嵌合する作業を行う場合に、1つのワークの位置および姿勢が他のワークの位置および姿勢からずれると作業が失敗する場合がある。

従来の技術においては、１つのワークを他のワークに取り付ける作業を行う場合に、カメラにて撮像した画像を用いてロボットの位置の制御を行うことが知られている。例えば、１つのワークまたは他のワークのゴール画像を予め準備しておくことができる。ロボット装置にてワークを搬送する時にカメラにてワークを撮像する。そして、ワークの画像をゴール画像と比較することにより、ロボットの位置を調整する制御が知られている（例えば、特開２０１３−１８０３８０号公報、および特開２０１５−２１４０２２号公報を参照）。

また、ロボット座標系に対して視覚センサ座標系を予め較正して、視覚センサ座標系におけるワークの位置に基づいてワークの３次元の位置を算出する制御が知られている。または、画像における特徴部位の位置および大きさに関するヤコビアン行列を予め生成することができる。カメラにて撮像した画像における特徴部位の位置、目標データにおける特徴部位の位置、およびヤコビアン行列に基づいてロボットの位置を修正する制御が知られている（例えば、特開２０１７−１７０５９９号公報を参照）。

特開２０１３−１８０３８０号公報 特開２０１５−２１４０２２号公報 特開２０１７−１７０５９９号公報

ロボットの位置を調整するためにヤコビアン行列を用いる方法では、画像の特徴部位における特徴量の差にヤコビアン行列を乗じることにより、ロボットの移動量を算出することができる。しかしながら、ヤコビアン行列を算出するときの測定誤差などにより、ヤコビアン行列が精度良く算出できない場合がある。また、ヤコビアン行列は、ロボットの位置を微小量にて移動したときの視覚センサ座標系での位置のずれに基づいて算出される。このために、特徴部位の近傍ではロボットを精度よく駆動できるが、特徴部位から離れると精度が低下する。例えば、ロボットを大きな移動量にて移動させると精度が悪いという問題がある。この結果、ロボットの位置を精度よく制御することができない場合がある。

視覚センサ座標系を較正する方法では、２次元カメラの画像に基づいて、特徴部位の３次元の位置を検出することができる。しかしながら、この方法では、ロボット座標系に対して、視覚センサ座標系の位置の較正を予め行う必要が有る。

本開示の一態様は、ロボットにて第２の部材を移動して、第１の部材に対する第２の部材の相対的な位置を合わせるロボット装置の制御装置である。制御装置は、第１の部材および第２の部材を撮像する視覚センサを備える。制御装置は、ロボットを駆動する指令をロボットに送出する動作制御部と、視覚センサにて撮像された画像を処理する画像処理部とを備える。第１の部材の位置を検出するための第１の特徴部位および第２の部材の位置を検出するための第２の特徴部位が予め定められている。画像処理部は、視覚センサにて撮像された画像において、第１の特徴部位の位置に関する第１の特徴量と、第２の特徴部位の位置に関する第２の特徴量とを検出する特徴量検出部を含む。画像処理部は、第１の特徴量と第２の特徴量との差を相対位置量として算出する算出部を含む。画像処理部は、ロボットを動作させる移動指令を生成する指令生成部を含む。第１の部材に対して第２の部材が目標の位置に配置されているときの第１の特徴部位および第２の特徴部位の画像を含む基準画像における相対位置量が定められている。指令生成部は、視覚センサにて撮像した画像における相対位置量と、第１の特徴部位および第２の特徴部位の画像を含む基準画像における相対位置量とに基づいて、第１の部材に対して第２の部材が目標の位置に配置されるようにロボットを動作させる移動指令を生成する。動作制御部は、移動指令に基づいてロボットの位置を変更する。

本開示によれば、簡易な方法にてロボットの位置を精度よく制御するロボット装置の制御装置を提供することができる。

実施の形態における第１のロボット装置の概略図である。 第１のロボット装置における第１のワーク、第２のワーク、およびハンドの拡大斜視図である。 実施の形態における第１のロボット装置のブロック図である。 実施の形態における第１のロボット装置の第１の制御の第１のフローチャートである。 実施の形態における第１のロボット装置の基準画像である。 実施の形態における第１のロボット装置の第１の制御の第２のフローチャートである。 第１のワークに対して第２のワークの位置がずれているときの画像である。 第１のワークに対して第２のワークの位置がずれているときの他の画像である。 実施の形態の第２のロボット装置における第１のワーク、第２のワーク、およびハンドの拡大斜視図である。 第２のロボット装置において、第１のワークに対する第２のワークの姿勢がずれた時の第１のワーク、第２のワーク、およびハンドの拡大斜視図である。 第１のワークに対して第２のワークの姿勢がずれた時に第１のカメラにて撮像した画像である。 第１のワークに対して第２のワークの姿勢が合っている時に第２のカメラにて撮像した画像である。 第１のワークに対して第２のワークの姿勢がずれた時に第２のカメラにて撮像した画像である。 第２のロボット装置における第３の制御のフローチャートである。 実施の形態の第３のロボット装置における第１のワーク、第２のワーク、およびハンドの拡大斜視図である。 実施の形態の第４のロボット装置における第１のワーク、第２のワーク、およびハンドの拡大斜視図である。 実施の形態における第５のロボット装置の概略図である。 ケースに対してワークの位置が合っている時のケース、ワーク、およびハンドの拡大概略図である。 ケースに対してワークの位置がずれている時のケース、ワーク、およびハンドの拡大概略図である。 ケースに対してワークの位置がずれている時の画像である。

図１から図２０を参照して、実施の形態におけるロボット装置の制御装置について説明する。本実施の形態では、製品を組み立てる作業を行うロボット装置およびケースの内部にワークを配置するロボット装置を例に取り上げて説明する。

図１は、本実施の形態における第１のロボット装置の概略図である。第１のロボット装置５は、作業ツール（エンドエフェクタ）としてのハンド２と、ハンド２を移動するロボット１とを備える。第１のロボット装置５は、第１の部材としての第１のワーク８１に第２の部材としての第２のワーク９１を取り付ける作業を行う。

ロボット１は、複数の関節部を含む多関節ロボットである。ロボット１は、ベース部１４と、ベース部１４に支持された旋回ベース１３とを含む。ベース部１４は、設置面に固定されている。旋回ベース１３は、ベース部１４に対して回転するように形成されている。ロボット１は、上部アーム１１および下部アーム１２を含む。下部アーム１２は、関節部を介して旋回ベース１３に回動可能に支持されている。上部アーム１１は、関節部を介して回動可能に下部アーム１２に支持されている。また、上部アーム１１は、上部アーム１１の延びる方向に平行な回転軸の周りに回転する。

ロボット１は、上部アーム１１の端部に連結されているリスト１５を含む。リスト１５は、関節部を介して回動可能に上部アーム１１に支持されている。リスト１５は、回転可能に形成されているフランジ１６を含む。ハンド２は、フランジ１６に固定されている。本実施の形態のロボット１は、６個の駆動軸を有するが、この形態に限られない。作業ツールを移動することができる任意のロボットを採用することができる。

ハンド２は、ワーク９１を把持したり解放したりする作業ツールである。ハンド２は、複数の爪部３を有する。ハンド２は爪部３が開いたり閉じたりするように形成されている。爪部３がワーク９１を挟むことによりワーク９１を把持する。第１のロボット装置５のハンド２は、爪部３を有するが、この形態に限られない。ハンドは、ワークを把持できるように形成されている任意の構成を採用することができる。例えば、吸着または磁力によりワークを把持するハンドが採用されても構わない。

本実施の形態におけるロボット装置５は、ロボット１に対して第１のワーク８１を搬送する搬送機としてのコンベヤ７５を含む。搬送機は、ロボット１の周りに配置される。コンベヤ７５は、ワーク８１を予め定められた位置まで搬送するように形成されている。コンベヤ７５は、予め定められた移動速度にてワーク８１を搬送するように形成されている。

本実施の形態の第１のロボット装置５では、コンベヤ７５がワーク８１の搬送を継続しながらロボット１がワーク９１をワーク８１に取り付ける。すなわち、ワーク９１が取り付けられる作業を行う期間中に、ワーク８１はコンベヤ７５により移動している。ロボット１は、ワーク８１を追従するように位置および姿勢を変化させながらワーク９１をワーク８１に取り付ける。

図２に、第１のロボット装置における第１のワーク、第２のワーク、およびハンドの拡大斜視図を示す。図１および図２を参照して、第２のワーク９１は、本体部の表面から突出する把持部９４を有する。爪部３が把持部９４を掴むことにより、第２のワーク９１はハンド２に把持される。

第１のワーク８１は、本体部の表面から突出する突出部８２，８３を有する。突出部８２および突出部８３は違いに離れて配置されている。また、ワーク８１は、突出部８２および突出部８３が鉛直方向に並ぶように、コンベヤ７５に支持されている。それぞれの突出部８２，８３の上面には、穴部８２ａ，８３ａが形成されている。第２のワーク９１は、本体部の表面から突出する突出部９２，９３を有する。それぞれの突出部９２，９３には、ピン９２ａ，９３ａが固定されている。ピン９２ａおよびピン９３ａは、互いに直線状に並ぶように配置されている。第１のロボット装置５が実施する第１の制御では、ピン９２ａを穴部８２ａに挿入すると共に、ピン９３ａを穴部８３ａに挿入する作業を実施する。

本実施の形態の第１の制御では、穴部８２ａ，８３ａに対してピン９２ａ，９３ａの位置を合わせる制御を行う。第１の制御を実施する前には、ワーク８１に対するワーク９１の姿勢は調整されている。すなわち、ワーク９１のピン９２ａおよびピン９３ａが、鉛直方向に延びる直線上に配置されるように、ロボット１の姿勢が調整されている。このために、第１の制御では、穴部８２ａの真上にピン９２ａを配置する制御を実施することにより、穴部８２ａ，８３ａに対するピン９２ａ，９３ａの位置を合わせることができる。本実施の形態の第１の制御を実施した後には、矢印１０３に示す鉛直方向の下側にワーク９１を移動することにより、ピン９２ａ，９３ａが穴部８２ａ，８３ａに挿入されて、ワーク９１がワーク８１に取り付けられる。

ロボット装置５は、第１のワーク８１および第２のワーク９１の画像を撮像する視覚センサとしてのカメラ２５を備える。本実施の形態におけるカメラ２５は、２次元カメラである。カメラ２５は、支持部材１７を介してハンド２に支持されている。ロボット装置５におけるカメラ２５は、ハンド２と共に位置および姿勢が変化する。

カメラ２５は、第２のワーク９１が第１のワーク８１に接近した時の画像を撮像する。カメラ２５は、第２のワーク９１が第１のワーク８１に嵌合する部分の近傍を撮像するように配置されている。また、カメラ２５は、第１のワーク８１の位置を検出するための第１の特徴部位および第２のワーク９１の位置を検出するための第２の特徴部位を撮像することができる様に配置されている。ロボット装置５において、カメラ２５は、ワーク８１およびワーク９１の上方からワーク８１，９１を撮像するように配置されている。

ロボット装置５には、基準座標系５１が設定されている。図１に示す例では、ロボット１のベース部１４に、基準座標系５１の原点が配置されている。基準座標系５１はワールド座標系とも称される。基準座標系５１は、原点の位置が固定され、更に、座標軸の向きが固定されている座標系である。ロボット１の位置および姿勢が変化しても基準座標系５１の位置および向きは変化しない。基準座標系５１は、座標軸として、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。また、Ｘ軸の周りの座標軸としてＷ軸が設定される。Ｙ軸の周りの座標軸としてＰ軸が設定される。Ｚ軸の周りの座標軸としてＲ軸が設定される。

ロボット１の位置および姿勢は、基準座標系５１にて表すことができる。例えば、ロボット１の位置は、ハンド２の先端に配置された工具先端点の位置にて表すことができる。また、工具先端点にハンド２と共に移動するツール座標系を設定することができる。ロボット１の姿勢は、基準座標系５１に対するツール座標系の向きにて表すことができる。

図３に、本実施の形態におけるロボット装置のブロック図を示す。図１から図３を参照して、ロボット１は、ロボット１の位置および姿勢を変化させるロボット駆動装置を含む。ロボット駆動装置は、アームおよびリスト等の構成部材を駆動するロボット駆動モーター２２を含む。ロボット駆動モーター２２が駆動することにより、それぞれの構成部材の向きが変化する。

ハンド２は、ハンド２を駆動するハンド駆動装置を備える。ハンド駆動装置は、ハンド２の爪部３を駆動するハンド駆動モーター２１を含む。ハンド駆動モーター２１が駆動することによりハンド２の爪部３が開いたり閉じたりする。なお、爪部は、空気圧により作動するように形成されていても構わない。この場合には、ハンド駆動装置は、空気ポンプおよびシリンダなどの空気圧にて爪部を駆動する装置を含むことができる。

ロボット装置５の制御装置は、ロボット１およびハンド２を制御するロボット制御装置４を含む。ロボット制御装置４は、プロセッサとしてのＣＰＵ（Central Processing Unit）を有する演算処理装置（コンピュータ）を含む。演算処理装置は、ＣＰＵにバスを介して接続されたＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を有する。ロボット制御装置４には、ロボット１、ハンド２、およびコンベヤ７５の制御を行うために予め作成された動作プログラム４１が入力される。ロボット１およびハンド２は、動作プログラム４１に基づいてワーク９１を搬送する。コンベヤ７５は、動作プログラム４１に基づいてワーク８１を搬送する。

ロボット制御装置４の演算処理装置は、予め定められた情報を記憶する記憶部４２を含む。記憶部４２は、ロボット１、ハンド２、およびコンベヤ７５の制御に関する情報を記憶する。記憶部４２は、揮発性メモリ、不揮発性メモリ、またはハードディスク等の情報を記憶可能な記憶媒体にて構成されることができる。動作プログラム４１は、記憶部４２に記憶される。ロボット制御装置４は、ロボット装置５に関する任意の情報を表示する表示器４６を含む。表示器４６は、例えば、液晶表示パネルを含む。

演算処理装置は、ロボット１およびハンド２の動作指令を送出する動作制御部４３を含む。動作制御部４３は、動作プログラム４１に従って駆動するプロセッサに相当する。動作制御部４３は、記憶部４２に記憶された情報を読み取り可能に形成されている。プロセッサは、動作プログラム４１を読み込んで、動作プログラム４１に定められた制御を実施することにより、動作制御部４３として機能する。

動作制御部４３は、動作プログラム４１に基づいてロボット１を駆動するための動作指令をロボット駆動部４５に送出する。ロボット駆動部４５は、ロボット駆動モーター２２を駆動する電気回路を含む。ロボット駆動部４５は、動作指令に基づいてロボット駆動モーター２２に電気を供給する。また、動作制御部４３は、動作プログラム４１に基づいてハンド２を駆動する動作指令をハンド駆動部４４に送出する。ハンド駆動部４４は、ハンド駆動モーター２１を駆動する電気回路を含む。ハンド駆動部４４は、動作指令に基づいてハンド駆動モーター２１に電気を供給する。更に、本実施の形態のロボット制御装置４には、カメラ２５が接続されている。動作制御部４３は、動作プログラム４１に基づいて、カメラ２５に画像を撮像する指令を送出する。

ロボット制御装置４の演算処理装置は、カメラ２５にて撮像された画像を処理する画像処理部３１を含む。画像処理部３１は、それぞれのワーク８１，９１において、予め定められた特徴的な部分である特徴部位の特徴量を検出する特徴量検出部３２を有する。画像処理部３１は、第１のワーク８１の特徴量と第２のワーク９１の特徴量との差を相対量として算出する算出部３３を有する。画像処理部３１は、算出部３３によって算出された相対量に基づいて、ロボットを動作させる移動指令を生成する指令生成部３４を有する。

画像処理部３１は、動作プログラム４１に従って駆動するプロセッサに相当する。特に、特徴量検出部３２、算出部３３、および指令生成部３４のそれぞれのユニットは、動作プログラム４１に従って駆動するプロセッサに相当する。プロセッサは、動作プログラム４１を読み込んで、動作プログラム４１に定められた制御を実施することにより、それぞれのユニットとして機能する。

ロボット装置５は、ロボット装置５の運転状態を検出する状態検出器を備える。本実施の形態の状態検出器は、ロボット１の位置および姿勢を検出する位置検出器２３を含む。位置検出器２３は、アーム等の構成部材の駆動軸に対応するロボット駆動モーター２２に取り付けられている。例えば、位置検出器２３は、ロボット駆動モーター２２が駆動するときの回転角を検出する。位置検出器２３の出力に基づいて、ロボット１の位置および姿勢が検出される。

ロボット装置５の制御装置は、コンベヤ７５の動作を制御するコンベヤ制御装置７６を備える。コンベヤ制御装置７６は、ＣＰＵおよびＲＡＭ等を含む演算処理装置（コンピュータ）を含む。コンベヤ制御装置７６は、ロボット制御装置４と互いに通信することができるように形成されている。動作制御部４３は、動作プログラム４１に基づいて、コンベヤ７５を駆動する動作指令をコンベヤ制御装置７６に送出する。コンベヤ制御装置７６は、ロボット制御装置４からの動作指令を受信して、コンベヤ７５を駆動する。

本実施の形態のロボット装置５の制御装置は、ロボット１およびハンド２を制御するロボット制御装置４と、コンベヤ７５を制御するコンベヤ制御装置７６とを備えるが、この形態に限られない。ロボット装置５は、１つの制御装置にて、ロボット１、ハンド２、およびコンベヤ７５を制御するように形成されていても構わない。

更に、本実施の形態のロボット装置５の制御装置では、ロボット制御装置４が画像を処理する機能を有する画像処理部３１を含むが、この形態に限られない。ロボット装置の制御装置は、画像処理部３１を有する画像処理装置（コンピュータ）を備えていても構わない。画像処理装置は、プロセッサとしてのＣＰＵを有する演算処理装置にて構成することができる。画像処理装置のプロセッサは、動作プログラムに基づいて、特徴量検出部、算出部、および指令生成部として機能する。画像処理装置は、ロボット制御装置と互いに通信することができるように形成される。

図４に、本実施の形態における第１の制御の第１のフローチャートを示す。図１、図２および図４を参照して、第１の制御では、１個のカメラ２５にて撮像された画像を用いて、コンベヤ７５にて搬送されるワーク８１に対してワーク９１の位置合わせを行う。前述の通りに、第１の制御の前には、ワーク８１の姿勢に対するワーク９１の姿勢は予め調整されている。すなわち、カメラ２５にて画像を撮像するときのロボット１の姿勢は調整されている。ここでの制御では、穴部８２ａに対してピン９２ａの位置を合わせる制御を行う。

本実施の形態では、ロボット装置５にて実際に作業を行う前に、基準画像における相対位置量を算出する。そして、予め算出された基準画像の相対位置量を用いて、ロボット装置５にて作業を行う。第１のフローチャートには、基準画像における相対位置量を算出する制御が示されている。

ステップ１１１においては、第１の制御を行うための基準画像を生成する。図５に、本実施の形態の第１の制御を行うための基準画像を示す。基準画像６１は、第１のワーク８１に対して第２のワーク９１が目標の位置に配置されている時にカメラ２５にて撮像された画像に相当する。本実施の形態では、基準画像６１は、ワーク８１の穴部８２ａ，８３ａの真上に、ワーク９１のピン９２ａ，９３ａが配置された時にカメラ２５によって撮像された画像である。基準画像６１は、作業者が予め準備して、記憶部４２に記憶させておくことができる。

本実施の形態では、第１のワーク８１の位置を検出するための第１の特徴部位が予め定められている。第１の制御では、突出部８２の上面が第１の特徴部位に定められている。また、第２のワーク９１の位置を検出するための第２の特徴部位が予め定められている。第１の制御では、突出部９２の上面が第２の特徴部位に定められている。特徴部位は、画像を解析した時に形状が検出できる部分である。特徴部位は、ワークの一部分、ワークの表面に形成された模様、ワークの表面に記載された線または図などを採用することができる。また、特徴部位は、第１のワーク８１に対して第２のワーク９１が接触する部分の近傍に設定されることが好ましい。

本実施の形態では、第１のワーク８１には、第１の特徴部位としての突出部８２の上面に、設定点Ｐ１が設定されている。設定点Ｐ１は、突出部８２の角に設定されている。設定点Ｐ１の位置は、ワーク８１の位置に相当する。第２のワーク９１には、第２の特徴部位としての突出部９２の上面に、設定点Ｐ２が配置されている。設定点Ｐ２は、突出部９２の角に設定されている。設定点Ｐ２は、ワーク９１の位置に相当する。設定点Ｐ１，Ｐ２は、カメラ２５にて撮像するときに画像に含まれる領域に設定されている。

図３、図４、および図５を参照して、ステップ１１２において、画像処理部３１の特徴量検出部３２は、基準画像６１の第１の特徴部位および第２の特徴部位を検出する。特徴部位の検出方法としては、それぞれのワーク８１，９１の基準となるベース画像を予め準備しておくことができる。ベース画像とカメラ２５にて撮像した画像とを用いてテンプレートマッチング等の方法により、カメラ２５にて撮像した画像における特徴部位を検出することができる。ここでの例は、突出部８２の上面および突出部９２の上面を検出することができる。

ステップ１１３において、特徴量検出部３２は、第１の特徴部位の位置に関する第１の特徴量と、第２の特徴部位の位置に関する第２の特徴量とを検出する。本実施の形態においては、カメラ２５にて撮像された画像にスクリーン座標系５２が設定されている。スクリーン座標系５２は、画像における任意の点を原点に設定したときの座標系である。スクリーン座標系５２は、互いに直交するｕ軸およびｖ軸を有する。スクリーン座標系５２は、カメラ２５の視覚センサ座標系に対応する。

本実施の形態の位置に関する特徴量は、画像におけるスクリーン座標系５２のｕ軸の座標値およびｖ軸の座標値である。特徴量検出部３２は、基準画像６１において検出された特徴部位に基づいて、特徴部位に設定された設定点Ｐ１，Ｐ２の位置を検出することができる。特徴量検出部３２は、第１の特徴量として、設定点Ｐ１のスクリーン座標系５２の座標値（u1b，v1b）を検出する。また、特徴量検出部３２は、第２の特徴量として、設定点Ｐ２のスクリーン座標系５２の座標値（u2b，v2b）を検出する。

次に、ステップ１１４において、画像処理部３１の算出部３３は、基準画像における第１の特徴量および第２の特徴量に関する相対量を算出する。算出部３３は、ロボット１の位置の制御を行うために、相対量として相対位置量を算出する。相対位置量は、第１の特徴量と第２の特徴量との差である。例えば、算出部３３は、相対位置量として、第１の特徴量の座標値と第２の特徴量の座標値との差（u1b-u2b，v1b-v2b）を算出する。算出部３３にて算出された基準画像６１における相対位置量は、基準相対位置量として記憶部４２に記憶される。

このように、画像処理部３１は、基準画像６１における相対位置量を算出することができる。なお、本実施の形態では、基準画像６１における相対位置量は、予め算出されて記憶部４２に記憶されているが、この形態に限られない。基準画像６１における相対位置量は、第１の制御を実施する度に算出されても構わない。

また、基準画像６１は、実際にカメラ２５にて撮像した画像を用いなくても構わない。例えば、それぞれのワーク８１，９１の３次元データをＣＡＤ（Computer Aided Design）装置等により生成することができる。ワーク８１に対してワーク９１が目標の位置に配置されているときの３次元データを生成することができる。この３次元データをカメラの向きに対応する方向に沿って１つの平面に投影することにより、基準画像６１を生成しても構わない。

次に、ロボット制御装置４は、第１の特徴部位および第２の特徴部位がカメラ２５の撮像範囲２５ａの内部に配置される様に、第１のワーク８１の穴部８２ａに第２のワーク９１のピン９２ａを近づける制御を実施する。この制御は、任意の制御にて実施することができる。例えば、ロボット制御装置４は、所定のセンサにてコンベヤ７５におけるワーク８１の位置を検出する。ロボット制御装置４は、コンベヤ７５の移動速度に基づいてワーク８１の位置を検出する。ロボット制御装置４は、ワーク９１がワーク８１に近づくように、ロボット１の位置および姿勢を制御することができる。

図６に、本実施の形態における第１の制御の第２のフローチャートを示す。図３および図６を参照して、ロボット制御装置４がワーク９１をワーク８１に近づける制御を実施した後に、ステップ１１５において、動作制御部４３は、カメラ２５にてワーク８１，９１を撮像する。

図７に、第１のワークに対する第２のワークの位置を調整するためにカメラにて撮像した画像を示す。画像６２には、第１の特徴部位である突出部８２の上面の画像と第２の特徴部位である突出部９２の上面の画像とが含まれている。画像６２では、第１のワーク８１に対して第２のワーク９１は、矢印１０１に示すようにスクリーン座標系５２のｕ軸の正側にずれている。

図８に、第１のワークに対する第２のワークの位置を調整するためにカメラにて撮像した他の画像を示す。画像６３では、第２のワーク９１は、矢印１０２に示すように、第１のワーク８１に対してスクリーン座標系５２のｕ軸の負側の方向にずれている。図７および図８を参照して、第１の制御では、このような第２のワーク９１のずれを修正する制御を実施する。ここでは、図７および図８のうち、図７を例に取り上げて説明する。

図３、図６、および図７を参照して、ステップ１１６からステップ１１８では、基準画像６１に対する制御と同様の制御を実施する。画像処理部３１は、カメラ２５にて撮像した画像６２における第１の特徴量および第２の特徴量を検出し、第１の特徴量および第２の特徴量を用いて相対位置量を算出する。

ステップ１１６においては、特徴量検出部３２は、カメラ２５にて撮像した画像６２の第１の特徴部位および第２の特徴部位を検出する。ここでは、第１の特徴部位としてワーク８１の突出部８２の上面を検出し、第２の特徴部位としてワーク９１の突出部９２の上面を検出する。

ステップ１１７において、特徴量検出部３２は、カメラ２５にて撮像した画像６２における第１の特徴量および第２の特徴量を検出する。特徴量検出部３２は、第１の特徴部位の位置に関する第１の特徴量として、設定点Ｐ１のスクリーン座標系５２の座標値（u1m，v1m）を検出する。また、特徴量検出部３２は、第２の特徴部位の位置に関する第２の特徴量として、設定点Ｐ２のスクリーン座標系５２の座標値（u2m，v2m）を算出する。

ステップ１１８において、算出部３３は、第１の特徴量と第２の特徴量との差を相対位置量として算出する。カメラ２５にて撮像した画像６２における相対位置量は、第１の特徴量の座標値と第２の特徴量の座標値との差（u1m-u2m，v1m-v2m）になる。

なお、第２のワーク９１がハンド２の予め定められた位置にて把持されている場合には、第２のワーク９１に関する第２の特徴量は一定になる。このために、第２の特徴量を予め測定して、記憶部４２に記憶しておいても構わない。すなわち、設定点Ｐ２の座標値を予め記憶部４２に記憶しておいても構わない。一方で、ハンド２が第２のワーク９１を把持するときに、所望の位置からずれる場合がある。このために、本実施の形態では、実際に撮像した画像６２に基づいて、ベース画像とのテンプレートマッチングの方法により、第２の特徴量も検出している。

次に、画像処理部３１の指令生成部３４は、カメラ２５にて撮像した画像６２における相対位置量と、基準画像６１における相対位置量とに基づいて、第１のワーク８１に対して第２のワーク９１が目標の位置に配置されるように、ロボット１の移動指令を生成する。本実施の形態の指令生成部３４は、カメラ２５にて撮像した画像６２における相対位置量が、基準画像６１における相対位置量に近づくように、ロボット１を動作させる移動指令を生成する。

ステップ１１９において、指令生成部３４は、カメラ２５にて撮像した画像６２における相対位置量と基準画像６１における相対位置量との差である相対位置量の差を算出する。本実施の形態では、指令生成部３４は、カメラ２５にて撮像した画像６２における相対位置量から基準画像６１における相対位置量を減算した相対位置量の差を算出する。相対位置量の差は、それぞれのｕ軸およびｖ軸に関する値として［（u1m-u2m）-（u1b-u2b）, （v1m-v2m）-（v1b-v2b）］にて表すことができる。このように、本実施の形態では、ｕ軸に関する相対位置量の差と、ｖ軸に関する相対位置量の差とを算出する。

次に、ステップ１２０において、指令生成部３４は、相対位置量の差が予め定められた判定範囲内か否かを判定する。判定範囲は、予め定められて記憶部４２に記憶されている。例えば、ｕ軸に関する値の判定範囲と、ｖ軸に関する値の判定範囲とを予め設定することができる。第２のワーク９１が第１のワーク８１に対して目標の位置に近づくほど、相対位置量の差は零に近づく。ｕ軸に関する値が判定範囲内であり、かつ、ｖ軸に対応する値が判定範囲内である場合に、相対位置量の差が判定範囲内であると判定することができる。すなわち、指令生成部３４は、ワーク８１に対するワーク９１の位置合わせが完了していると判定することができる。

一方で、ｕ軸に関する値およびｖ軸に関する値のうち、少なくとも一方が判定範囲を逸脱する場合に、指令生成部３４は、相対位置量の差は判定範囲を逸脱していると判定することができる。すなわち、指令生成部３４は、ワーク８１に対してワーク９１が所望の位置に到達していないと判定することができる。

ステップ１２０において、相対位置量の差が判定範囲内である場合には、この制御を終了する。ステップ１２０において、相対位置量の差が判定範囲を逸脱する場合には、制御は、ステップ１２１に移行する。

ステップ１２１において、指令生成部３４は、相対位置量の差に基づいて、ロボット１の駆動方法を設定する。指令生成部３４は、基準座標系５１におけるロボット１の位置の移動方向および移動量を設定する。本実施の形態では、相対位置量の差に対するロボットの位置の移動方向が予め定められている。スクリーン座標系５２のｕ軸の正の値または負の値に対してロボット１の位置の移動方向が、基準座標系５１にて定められている。例えば、ｕ軸に関する相対位置量の差が正の値である場合に、基準座標系５１のＸ軸、Ｙ軸、およびＺ軸の座標値を用いて（１，１，０）の移動方向が予め定められている。また、ｖ軸に関する相対位置の差が正の値である場合に、基準座標系５１のＸ軸、Ｙ軸、およびＺ軸の座標値を用いて（０，０，１）の移動方向が予め定められている。

更に、相対位置量の差に対するロボット１の位置の移動量の算出方法が予め定められている。例えば、ｕ軸に対応する方向におけるロボット１の位置の移動量は、ｕ軸に関する値（（u1m-u2m）-（u1b-u2b））に、予め定められた係数を乗じた値を採用することができる。また、ｖ軸に対応する方向におけるロボット１の位置の移動量は、ｖ軸に関する値（（v1m-v2m）-（v1b-v2b））に、予め定められた係数を乗じた値を採用することができる。このように、スクリーン座標系５２の各軸に対応する方向において、ロボット１の位置の移動量を算出することができる。

本実施の形態では、ｕ軸に関する相対位置量の差に基づいて基準座標系５１におけるＸ軸方向の移動量、Ｙ軸方向における移動量、およびＺ軸方向の移動量を算出している。また、ｖ軸に関する相対位置量の差に基づいて、基準座標系５１におけるＸ軸方向の移動量、Ｙ軸方向における移動量、およびＺ軸方向の移動量を算出している。このために、基準座標系５１において、一つの軸に対して２つの移動量（ｕ軸に関する移動量およびｖ軸に関する移動量）が算出される場合がある。この場合には、２つの移動量が算出される軸の方向にはロボット１の位置を移動しなくても構わない。または、それぞれの移動量に係数を乗じて最終的な移動量を算出しても構わない。または、いずれか一方の移動量を採用しても構わない。

次に、ステップ１２２において、ロボット１の位置の移動方向および移動量に基づいて、ロボット１を駆動する。指令生成部３４は、ロボット１の位置の移動方向および移動量に基づいて、ロボット１を駆動する移動指令を生成する。指令生成部３４は、移動指令を動作制御部４３に送出する。動作制御部４３は、移動指令に基づいてロボットの位置を変更する。

次に、制御は、ステップ１１５に移行する。第１の制御では、相対位置量の差が判定範囲内になるまで、ステップ１１５からステップ１２２を繰り返す制御を実施する。第１の制御では、１回の制御にてワークの位置合わせが完了しなくても、ステップ１１５からステップ１２２を繰り返すことにより、徐々にワークの位置を所望の位置に近づけることができる。

本実施の形態の制御では、基準座標系に対する視覚センサ座標系のキャリブレーションを行う必要がない。または、ワークの位置合わせを行うために、予めヤコビアン行列を求める必要は無い。このために、簡易な方法にてワークの位置合わせを行うことができる。

本実施の形態の第１の制御では、コンベヤ７５が第１のワーク８１を搬送している期間中に、第２のワーク９１の位置合わせを実施している。特徴量検出部３２による第１の特徴量および第２の特徴量を検出する制御、算出部３３による相対位置量を検出する制御、および指令生成部３４による移動指令を算出する制御を繰り返している。この制御により、コンベヤ７５にて移動するワーク８１の位置に対してワーク９１を把持するロボット１の位置を追従する制御を実施することができる。

なお、本実施の形態におけるカメラ２５は支持部材１７を介してハンド２に支持されている。ハンド２は第２のワーク９１を把持している。このために、第１のワーク８１に対して第２のワーク９１の位置合わせを行っている期間中に、カメラ２５に対するワーク８１の相対的な位置および姿勢は一定である。図５、図７、および図８を参照して、第１のワーク８１に対する第２のワーク９１の相対的な位置が変化しても、カメラ２５にて撮像される画像６２，６３におけるワーク９１および突出部９２の位置は一定になる。この結果、カメラ２５にて撮像した画像における第２の特徴部位の設定点Ｐ２の位置は一定になる。

図６を参照して、前述の制御においては、カメラ２５にて第１のワーク８１および第２のワーク９１を撮像するたびに、第２のワーク９１における第２の特徴部位を検出し、第２の特徴量を検出している。一方で、第２の特徴量である設定点Ｐ２の座標値は一定であるために、記憶部４２は、カメラ２５にて１回目に撮像された画像から取得された第２の特徴量を記憶しておくことができる。ステップ１１５からステップ１１７において、カメラ２５にて２回目以降に撮像した画像については、特徴量検出部３２は、記憶部４２から第２の特徴量を取得することができる。特徴量検出部３２は、第１の特徴部位の検出および第１の特徴量の検出を実施すれば良い。この制御を実施することにより、カメラにて２回目以降に撮像された画像から相対位置量を算出する制御を簡略化することができる。２回目以降のカメラにて撮像された画像の処理の時間が短くなる。

ところで、本実施の形態においては、コンベヤ７５による第１のワーク８１の移動方向および移動速度が予め定められている。ロボット制御装置４は、コンベヤ７５によるワーク８１の移動に合わせてロボット１の位置を変更するフィードフォワード制御を実施することができる。本実施の形態では、一定の移動速度にてワーク８１が移動する。

指令生成部３４は、コンベヤ７５にて移動する第１のワーク８１の位置に対してロボット１の位置が追従するロボット１の位置の移動方向および移動速度を算出する。例えば、指令生成部３４は、ロボット１のツール先端点がワーク８１の移動方向に移動するように移動方向を算出する。指令生成部３４は、ロボット１のツール先端点がワーク８１の移動方向と同じ方向に、ワーク８１と同一の移動速度にて移動する移動量を算出することができる。そして、指令生成部３４は、コンベヤ７５の搬送に基づくロボット１の位置の移動方向および移動量の制御に加えて、前述の相対位置量の差に基づいて算出される移動方向および移動量の制御を実施することができる。

この制御を行うことにより、コンベヤ７５による第１のワーク８１の移動に関するロボット１の位置および姿勢の変更は、フィードフォワード制御にて実施することができる。相対位置量の差に基づく制御では、第１のワーク８１に対する第２のワーク９１の相対的な位置のずれを修正すれば良いために、短時間で第１のワーク８１に対する第２のワーク９１の位置合わせを行うことができる。

図９に、本実施の形態における第２のロボット装置のハンド、第１のワーク、および第２のワークの拡大斜視図を示す。第１のロボット装置５においては、１つのカメラ２５によりロボット１の位置を調整しているが、この形態に限られない。ロボット装置は、２個以上のカメラを用いてロボット１の位置を調整することができる。

第２のロボット装置８では、ハンド２に支持部材１８が固定されている。支持部材１８は、上側に延びる部分１８ａと、下側に延びる部分１８ｂと有する。上側に延びる部分１８ａには、第１のロボット装置５と同様に、第１の視覚センサとしてカメラ２５が固定されている。カメラ２５は、撮像範囲２５ａにて画像を撮像する。下側に延びる部分１８ｂには、第２の視覚センサとしてのカメラ２６が固定されている。カメラ２６は、第１のワーク８１および第２のワーク９１を撮像する。特に、カメラ２６は、第２のワーク９１が第１のワーク８１に接近した時の画像を撮像する。カメラ２６は、第１のワーク８１の突出部８３と、第２のワーク９１の突出部９３とを撮像できる位置に配置されている。下側に延びる部分１８ｂは、ワーク８１，９１の側方から突出部８３，９３を撮像できるようにカメラ２６を支持している。カメラ２６は、撮像範囲２６ａにて画像を撮像する。本実施の形態のカメラ２６は、２次元カメラである。

２台のカメラ２５，２６は、光軸が互いに異なる方向に延びるように配置されている。本実施の形態では、カメラ２６の光軸がカメラ２５の光軸に対してほぼ直行する方向に延びるようにカメラ２６が配置されている。第２のロボット装置８では、２台のカメラ２５，２６にて撮像した画像に基づいて、第２の制御を実施する。第２の制御では、カメラ２５，２６にて撮像した画像を用いて、ワーク８１に対するワーク９１の位置を調整する。

第２の制御では、第１の制御によりカメラ２５の画像に基づいて移動指令を生成する。また、第１の制御と同様の方法により、カメラ２６の画像に基づいて移動指令を生成する。本実施の形態では、カメラ２６にて撮像された画像にて第１のワーク８１の位置を検出するための第３の特徴部位と、第２のワーク９１の位置を検出するための第４の特徴部位とが予め定められている。

第３の特徴部位は、第１の特徴部位と異なる部分である。第３の特徴部位としては、例えば、第１のワーク８１の突出部８３の側面を設定することができる。第３の特徴部位には第１のワーク８１の位置を定めるための第３の設定点Ｐ３を設定することができる。第４の特徴部位は、第２の特徴部位と異なる部分である。第４の特徴部位としては、例えば、第２のワーク９１の突出部９３の側面を設定することができる。第４の特徴部位には第２のワーク９１の位置を定めるための第４の設定点Ｐ４を設定することができる。

特徴量検出部３２は、カメラ２６にて撮像された画像において、第３の特徴部位の位置に関する第３の特徴量と、第４の特徴部位の位置に関する第４の特徴量を検出する。カメラ２６にて撮像された画像において、設定点Ｐ３のスクリーン座標系５２の座標値が第３の特徴量になる。また、設定点Ｐ４のスクリーン座標系５２の座標値が第４の特徴量になる。算出部３３は、第３の特徴量と第４の特徴量との差を相対位置量として算出する。

また、第１のワーク８１に対して目標の位置に第２のワーク９１が配置されているときのカメラ２６に関する基準画像は予め作成されている。また、基準画像における第３の特徴量と第４の特徴量との差である相対位置量は定められている。基準画像における相対位置量は、予め算出することができる。

指令生成部３４は、カメラ２６にて撮像した画像における相対位置量と、第３の特徴部位および第４の特徴部位の画像を含む基準画像における相対位置量とに基づいて、相対位置量の差を算出する。そして、指令生成部３４は、相対位置量の差に基づいて、第１のワーク８１に対して第２のワーク９１が目標の位置に配置されるようにロボット１を動作させる移動指令を生成する。指令生成部３４は、第２のカメラ２６にて撮像した画像における相対位置量が基準画像における相対位置量に近づくように、ロボット１を動作させる移動指令を生成する。

指令生成部３４は、カメラ２５の画像から生成された移動指令と、カメラ２６の画像から生成された移動指令とに基づいて、動作制御部４３に送出する最終的な移動指令を生成することができる。例えば、指令生成部３４は、カメラ２５の画像に基づく移動指令およびカメラ２６の画像に基づく移動指令のうち、一方の移動指令にてロボット１を駆動した後に、他方の移動指令にてロボット１を駆動することができる。

または、カメラ２５の画像に基づく移動指令と、カメラ２６の画像に基づく移動指令とを合成しても構わない。例えば、カメラ２５の画像のｕ軸に対応するロボット１の位置の移動方向と、カメラ２６の画像のｕ軸に対応するロボット１の位置の移動方向とが一致する場合には、ロボット１の移動量の平均値を算出しても構わない。このようなロボット１の位置を調整する制御は、カメラ２５の画像に基づく相対位置量の差が判定範囲内になり、更に、カメラ２６の画像に基づく相対位置量の差が判定範囲内になるまで、繰り返して実施することができる。

第２のロボット装置８では、それぞれのカメラ２５，２６が互いに異なる特徴部位を撮像して位置の制御を行っている。このために、１台のカメラを用いて位置の調整を行う制御よりも精度よくワーク９１の位置の調整を行うことができる。また、ステレオ計測等を行うことなく複数のカメラの画像に基づいてワークの位置の調整を行うことができる。更に、３次元カメラを用いなくても、複数の２次元カメラを用いることによりワークの位置の調整を行うことができる。

なお、第１のカメラ２５にて撮像される画像における設定点Ｐ２の位置および第２のカメラ２６の画像における設定点Ｐ４の位置は変化しない。このために、第１の制御と同様に始めに検出した第２の特徴量および第４の特徴量を記憶部４２に記憶することができる。そして、２回目以降の制御では、記憶部４２に記憶した第２の特徴量および第４の特徴量を取得して、それぞれの画像における相対位置量を算出しても構わない。

ところで、第２のロボット装置８においては、複数のカメラ２５，２６が配置されている。このようなロボット装置８の制御装置では、ワーク９１の位置の調整を行う他に、ワーク９１の姿勢の修正することができる。次に、ワーク９１の姿勢の修正について説明する。

図１０に、本実施の形態における第２のロボット装置におけるハンド、第１のワーク、および第２のワークの他の拡大斜視図を示す。第１の制御および第２の制御では、第１のワーク８１に対する第２のワーク９１の相対的な姿勢は、第２のワーク９１の位置を調整する制御を実施する前に調整されている。一方で、第１のワーク８１に対する第２のワーク９１の姿勢がずれている場合がある。

ワーク９１が目標の姿勢になった時には、ピン９２ａとピン９３ａとが並ぶ方向が、穴部８２ａと穴部８３ａとが並ぶ方向と平行になる。図１０に示す例では、ワーク９１の姿勢は、目標の姿勢から矢印１０６に示すように僅かに回転している。ワーク９１は、基準座標系５１のＸ軸の周りに、Ｙ軸からＺ軸に向かう方向に僅かに回転している。ワーク９１は、フランジ１６の回転軸の周りに目標の姿勢から僅かに回転している。この結果、ワーク９１の突出部９２は、ワーク８１の突出部８２に対して、矢印１０７に示すように、Ｙ軸の負側の方向に位置がずれている。また、ワーク９１の突出部９３は、ワーク８１の突出部８３に対して、矢印１０８に示すように、Ｙ軸の正側の方向に位置がずれている。

本実施の形態における複数のカメラ２５，２６は、第２のワーク９１において、互いに離れて配置された部分を撮像するように形成されている。第１のカメラ２５は、第２のワーク９１の予め定められた方向における一方の側に配置された部分としての突出部９２を撮像するように配置されている。また、第２のカメラ２６は、第２のワーク９１の予め定められた方向における他方の側に配置された部分としての突出部９３を撮像するように配置されている。ここでの予め定められた方向とは、ピン９２ａとピン９３ａとが並ぶ方向に相当する。

図１１に、第１のワークに対する第２のワークの姿勢がずれている時に、第１のカメラにて撮像した画像を示す。図１０、図１１、および基準画像である図５を参照して、画像６６におけるワーク８１に対するワーク９１の相対的な位置は、基準画像６１におけるワーク８１に対するワーク９１の相対的な位置と異なる。ワーク９１の突出部９２は、ワーク８１の突出部８２に対して、矢印１０７に示す向きにずれている。また、突出部９２に固定されたピン９２ａの延びる方向と突出部８２に形成された穴部８２ａの延びる方向とは平行にならずに、互いに異なる向きに向いている。

図１２に、第１のワークに対する第２のワークの姿勢が目標の姿勢である時に、第２のカメラにて撮像された画像を示す。画像６７では、突出部９３に固定されたピン９３ａの延びる方向と、突出部８３に形成された穴部８３ａの延びる方向とが平行になっている。このために、ワーク８１に対するワーク９１の位置合わせを実施することにより、ピン９３ａを、穴部８３ａの内部に挿入することができる。

図１３に、第１のワークに対する第２のワークの姿勢がずれている時に、第２のカメラにて撮像した画像を示す。画像６８では、ワーク８１に対して矢印１０８に示すようにワーク９１が僅かに回転している。図１０、図１２、および図１３を参照して、画像６８における突出部８３に対する突出部９３の相対的な位置は、矢印１０８に示すようにずれている。また、ピン９３ａの延びる方向は、穴部８３ａの延びる方向とは平行にならない。このために、ピン９３ａの先端が穴部８３ａの先端の真上に配置されても、ピン９３ａを穴部８３ａの内部に挿入することはできない。本実施の形態の第３の制御では、第１のワーク８１に対する第２のワーク９１の相対的な姿勢を修正する制御を実施する。

図１４に、本実施の形態の第２のロボット装置における第３の制御のフローチャートを示す。第３の制御においては、第２の制御に加えてワーク９１の姿勢を修正する制御を実施する。

ステップ１３１からステップ１３８は、前述の第２の制御と同様である。ステップ１３１において、第１のカメラ２５および第２のカメラ２６は、画像を撮像する。ステップ１３２において、特徴量検出部３２は、第１のカメラ２５にて撮像した画像における第１の特徴部位および第２の特徴部位を検出する。ステップ１３３において、特徴量検出部３２は、第２のカメラ２６にて撮像した画像における第３の特徴部位および第４の特徴部位を検出する。

ステップ１３４においては、特徴量検出部３２は、第１の特徴部位の位置に関する第１の特徴量、第２の特徴部位の位置に関する第２の特徴量、第３の特徴部位の位置に関する第３の特徴量、および第４の特徴部位の位置に関する第４の特徴量を検出する。図１１を参照して、特徴量検出部３２は、第１のカメラ２５にて撮像された画像６６において、第１の特徴量として設定点Ｐ１のスクリーン座標系５２の座標値を検出する。また、特徴量検出部３２は、第２の特徴量として、設定点Ｐ２のスクリーン座標系５２の座標値を検出する。図１３を参照して、特徴量検出部３２は、画像６８において、第３の特徴量として設定点Ｐ３のスクリーン座標系５２の座標値を検出する。特徴量検出部３２は、第４の特徴量として、設定点Ｐ４のスクリーン座標系５２の座標値を検出する。

図１４を参照して、ステップ１３５において、画像処理部３１の算出部３３は、第１の特徴量および第２の特徴量に基づいて相対位置量を算出する。ステップ１３６において、算出部３３は、第３の特徴量および第４の特徴量に基づいて相対位置量を算出する。算出部３３は、それぞれのカメラ２５，２６にて撮像された画像６６，６８における相対位置量を算出する。

次に、ステップ１３７において、画像処理部３１の指令生成部３４は、それぞれのカメラ２５，２６にて撮像された画像６６，６８について、画像６６，６８における相対位置量と基準画像における相対位置量との差である相対位置量の差を算出する。ステップ１３８において、指令生成部３４は、それぞれの画像６６，６８について、相対位置量の差に基づいて、ロボット１の移動指令を生成する。相対位置量の差は、スクリーン座標系５２におけるｕ軸およびｖ軸に関する値として算出される。指令生成部３４は、相対位置量の差に基づいて、ロボット１の移動指令を生成する。

指令生成部３４は、カメラ２５にて撮像した画像６６に基づいて、ロボット１の位置の移動方向および移動量を基準座標系５１にて算出する。また、指令生成部３４は、カメラ２６にて撮像された画像６８に基づいて、ロボット１の位置の移動方向および移動量を基準座標系５１にて算出する。すなわち、指令生成部３４は、基準座標系５１の座標軸の方向に沿った移動量を、それぞれの基準座標系５１の座標軸ごとに算出する。

次に、ステップ１３９において、指令生成部３４は、第１のカメラ２５の画像から生成された移動指令と、第２のカメラ２６の画像から生成された移動指令とに基づいて、第１のワーク８１に対する第２のワーク９１の姿勢が、予め定められた判定範囲内であるか否かを判定する。

本実施の形態においては、指令生成部３４は、基準座標系５１の予め定められた座標軸におけるロボット１の位置の移動方向を取得する。図１０を参照して、ここでの例では基準座標系５１の座標軸のうちＹ軸が予め選定されている。指令生成部３４は、第１のカメラ２５の画像６６から生成された移動指令のうちＹ軸の移動指令と、第２のカメラ２６の画像６８から生成された移動指令のうちＹ軸の移動指令とを取得する。

指令生成部３４は、２台のカメラ２５，２６にて撮像された画像６６，６８から取得されたＹ軸の移動方向が同じ方向である場合に、第１のワーク８１に対する第２のワーク９１の姿勢が、予め定められた判定範囲内であると判定する。一方で、指令生成部３４は、Ｙ軸の移動方向が互いに異なる場合に、第１のワーク８１に対する第２のワーク９１の姿勢が判定範囲を逸脱していると判定する。

図１０から図１３に示す例においては、第１のカメラ２５にて撮像された画像に基づく移動指令では、ロボット１が矢印１０７と反対側に移動する指令が生成される。また、第２のカメラ２６にて撮像された画像に基づく移動指令では、ロボット１が矢印１０８と反対側に移動する指令が生成される。このため、ステップ１３９においては、指令生成部３４は、２つカメラにて撮像された画像に基づくＹ軸の移動方向は、互いに異なると判定する。この場合に、制御は、ステップ１４０に移行する。

なお、本実施の形態においては、基準座標系の予め定められた座標軸において、ロボットの位置を移動すべき方向が同じ方向である場合に判定範囲内であると判定しているが、この形態に限られない。予め定められた座標軸における移動方向が互いに異なる場合であっても、移動量が微小であれば判定範囲内であると判定しても構わない。

ステップ１４０において、指令生成部３４は、ロボット１の姿勢の修正方法を設定する。指令生成部３４は、第１のワーク８１に対して第２のワーク９１が傾いている方向と反対側にワーク９１を回転させる移動指令を生成する。図１０を参照して、本実施の形態では基準座標系５１のＸ軸の周りにＺ軸からＹ軸に向かう方向にワーク９１を回転させる制御を実施する。ワーク９１の回転量である姿勢修正量θは、予め定めておくことができる。

ステップ１４１において、指令生成部３４は、ロボット１の姿勢の修正方法に基づく移動指令を、動作制御部４３に送出する。動作制御部４３は、指令生成部３４から受信した移動指令に基づいてロボットの姿勢を修正する。

次に、ステップ１４２において、画像処理部３１は、スクリーン座標系５２の座標軸に対する基準座標系５１のロボット１の位置の移動方向を補正する。相対位置量の差はスクリーン座標系５２のｕ軸およびｖ軸に関する値にて算出される。スクリーン座標系５２のｕ軸およびｖ軸に対応する基準座標系５１におけるロボット１の位置の移動方向は、予め定められている。ロボット１の姿勢を修正すると、それぞれのカメラ２５，２６にて撮像される画像のｕ軸およびｖ軸に対応する基準座標系５１における移動方向も変化する。すなわち、基準座標系のＸ軸、Ｙ軸およびＺ軸の座標値にて表されるロボット１の位置の移動方向が変化する。

画像処理部３１は、ロボット１の姿勢の修正量に基づいて、スクリーン座標系５２の座標軸に対応するロボット１の位置の移動方向を修正する。例えば、ロボット１の姿勢の修正量に基づいて算出される変換行列を、ロボット１の位置の移動方向を示す基準座標系５１のＸ軸、Ｙ軸、およびＺ軸の座標値に乗じることにより、ロボット１の位置の移動方向を修正することができる。

ステップ１４２の後に、制御は、ステップ１３１に戻る。そして、ステップ１３１からステップ１３９における制御を繰り返す。ステップ１３９において、基準座標系５１の予め定められた座標軸における移動方向が互いに異なる場合には、再びステップ１４０，１４１，１４２の制御を実施する。

ステップ１４０において、ロボット１の姿勢の修正方法を設定する。前回の姿勢修正量θにてロボット１の姿勢を修正することにより、第１のワーク８１に対して第２のワーク９１の姿勢がずれる方向が逆になる場合ある。この場合には、前回の姿勢の修正と反対方向にロボット１の姿勢を修正する。更に、前回の修正量よりも減らした修正量を採用する。例えば、前回の修正量の半分の修正量（−θ／２）にて姿勢を変更する制御を実施する。一方で、前回の姿勢修正量θにてロボット１の姿勢を修正しても、第１のワーク８１に対して第２のワーク９１の姿勢がずれる方向が前回の制御における方向と同一の場合がある。この場合に、前回と同じ方向および同じ姿勢修正量θにて姿勢を修正する。この後に、再びステップ１３１からステップ１３９の制御を繰り返すことができる。

このように、前回の制御における姿勢の修正により、姿勢がずれる方向が逆転した場合には、ロボットの姿勢を反対方向に修正するとともに修正量を減らす制御を実施することができる。この制御により、第１のワーク８１に対する第２のワーク９１の姿勢のずれを徐々に修正することができる。第１のカメラ２５および第２のカメラ２６にて撮像した画像において、第１のワーク８１に対する第２のワーク９１のずれる方向が同じになるまでロボット１の姿勢を修正することができる。

なお、ステップ１３９において、第１のワークに対する第２のワークの姿勢が判定範囲を逸脱する場合には、任意の制御を実施することができる。例えば、ロボット装置を停止しても構わない。また、ステップ１４０において、指令生成部３４は、任意の制御にてロボット１の姿勢の修正方法を設定することができる。例えば、２台のカメラ２５，２６にて撮像された画像から算出されたＹ軸方向の移動量に基づいて、ワーク８１の姿勢修正量を算出しても構わない。

ステップ１３９において、第１のカメラ２５にて撮像された画像に基づく移動方向と第２のカメラ２６にて撮像された画像に基づく移動方向とが同じである場合には、制御はステップ１４３に移行する。

ステップ１４３からステップ１４５においては、第２の制御と同様に、ロボット１の位置の判定および修正を行う。ステップ１４３においては、第１のカメラ２５にて撮像された画像に基づく相対位置量の差と、第２のカメラ２６にて撮像された画像に基づく相対位置量の差とが予め定められた判定範囲内であるか否かを判定する。ステップ１４３において、少なくとも一方の相対位置量の差が判定範囲を逸脱する場合には、制御は、ステップ１４４に移行する。

ステップ１４４において、指令生成部３４は、それぞれの画像に基づく移動指令に基づいて、最終的なロボットの移動指令を生成する。そして、ステップ１４５において、動作制御部４３は、最終的なロボットの移動指令に基づいてロボット１を駆動する。この後に、制御はステップ１３１に移行する。

ステップ１４３において、２つの画像における相対位置量の差が判定範囲内である場合には、第１のワーク８１に対する第２のワーク９１の位置および姿勢が、目標の位置および目標の姿勢であると判定することができる。そして、この制御を終了することができる。

上記以外の第２のロボット装置８の構成、作用、および効果は、第１のロボット装置５と同様であるので、ここでは説明を繰り返さない。

図１５に、本実施の形態における第３のロボット装置のハンド、第１のワーク、および第２のワークの拡大斜視図を示す。第３のロボット装置９では、ハンド２に支持部材１９が固定されている。支持部材１９は、上側に延びる部分１９ａと、下側に延びる部分１９ｂと有する。上側に延びる部分１９ａは、第２のロボット装置８と同様に、第１の視覚センサとしてカメラ２５が固定されている。下側に延びる部分１９ｂには、第２の視覚センサとしてのカメラ２６が固定されている。

第３のロボット装置９のカメラ２６の向きは、第２のロボット装置８のカメラ２６の向きと異なる。支持部材１９の下側に延びる部分１９ｂは、カメラ２６の撮像範囲２６ａがカメラ２５の撮像範囲２５ａと重なるように、カメラ２６を支持している。第３のロボット装置９のカメラ２６は、カメラ２５が撮像する部分と同一の部分を撮像するように配置されている。カメラ２６は、ワーク８１の突出部８２と、ワーク９１の突出部９２とを撮像できるように配置されている。

第３のロボット装置９においては、ワーク８１に対してワーク９１の位置を合わせるために、第４の制御を実施する。第４の制御では、第２のロボット装置８の第２の制御と同様に、第３の特徴部位および第４の特徴部位を設定して、複数のカメラ２５，２６の画像に基づいて、ロボット１の位置の調整を行う。本実施の形態では、突出部８２の側面が第３の特徴部位に設定されている。また、突出部９２の側面が第４の特徴部位に設定されている。第３のロボット装置９においては、第３の特徴部位は、第１の特徴部位と同じであっても異なっていても構わない。また、第４の特徴部位は、第２の特徴部位と同じであっても異なっていても構わない。

その他の第３のロボット装置９の構成、作用、および効果は、第２のロボット装置８と同様であるので、ここでは説明を繰り返さない。

第２のロボット装置８の制御装置および第３のロボット装置９の制御装置は、２台のカメラを備えるが、この形態に限られない。ロボット装置の制御装置は、３台以上のカメラを備えていても構わない。制御装置は、それぞれのカメラにて互いに異なる特徴部位を撮像し、それぞれのカメラにて撮像した画像に基づいてワークの位置および姿勢の制御を実施しても構わない。

図１６に、本実施の形態における第４のロボット装置のハンド、第１のワーク、および第２のワークの拡大斜視図を示す。第４のロボット装置１０は、第１のカメラ２５および第２のカメラ２６に加えて第３のカメラ２８を備える。第４のロボット装置１０は、ハンド２に支持された支持部材２０を有する。支持部材２０は、カメラ２５を支持し、上側に延びる部分２０ａと、カメラ２６を支持し、下側に延びる部分２０ｂとを有する。また、支持部材２０は、カメラ２８を支持し、側方の延びる部分２０ｃを有する。カメラ２８は、撮像範囲２８ａを有する。カメラ２８は、カメラ２５の光軸の方向およびカメラ２６の光軸の方向とは異なる方向に、光軸が延びるように配置されている。

第４のロボット装置１０においては、ワーク８１に対してワーク９１の位置および姿勢を合わせるための第５の制御を実施する。第５の制御では、カメラ２８にて撮像される画像を処理するために、第１のワーク８１に第５の特徴部位が設定されている。また、第２のワーク９１に第６の特徴部位が設定されている。例えば、ワーク８１の突出部８３の側面が第５の特徴部位に設定され、ワーク９１の突出部９３の側面が第６の特徴部位に設定されている。

カメラ２８にて撮像された画像についても、前述の第１の制御と同様の制御を実施することができる。カメラ２８は、第５の特徴部位および第６の特徴部位を撮像可能な位置に配置されている。第５の特徴部位および第６の特徴部位には、特徴部位の位置を定めるための第５の設定点および第６の設定点が設定されている。特徴量検出部３２は、スクリーン座標系５２における設定点の位置に基づいて第５の特徴部位に対応する第５の特徴量および第６の特徴部位に対応する第６の特徴量を検出することができる。カメラ２８に関する基準画像は予め作成されている。そして、基準画像における第５の特徴量および第６の特徴量は予め算出することができる。また、基準画像における相対位置量は予め算出することができる。

第５の制御においては、前述の第３の制御と同様の制御を実施することができる。第５の制御においては、３台のカメラにて、第１のワーク８１に対する第２のワーク９１の位置および姿勢を調整する。ワーク８１に対するワーク９１の位置を調整する制御では、３台のカメラ２５，２６，２８にて取得される画像に基づいて第１のワーク８１に対する第２のワーク９１の位置のずれを検出することができる。このために、２台のカメラにて位置の調整を行う場合よりも精度よく位置の調整を行うことができる。

また、ワーク８１に対するワーク９１の姿勢を修正する制御では、カメラ２５にて撮像される画像およびカメラ２８にて撮像される画像に基づいて、基準座標系５１のＹ軸の周りにずれているワーク９１の姿勢を修正することができる。この様に、カメラの台数を増やすことにより、姿勢のずれを修正する方向を増やすことができる。

その他の第４のロボット装置の構成、作用、および効果は、第１のロボット装置５、第２のロボット装置８、および第３のロボット装置９と同様であるので、ここでは説明を繰り返さない。

前述の第１のロボット装置５、第２のロボット装置８、第３のロボット装置９、および第４のロボット装置１０においては、カメラ２５，２６，２８がハンド２に固定されて、ハンド２と共に移動するが、この形態に限られない。カメラは、設置面等に固定されていても構わない。すなわち、ロボット１の位置および姿勢が変化してもカメラの位置および姿勢は変化しないようにカメラが固定されていても構わない。

図１７に、本実施の形態における第５のロボット装置の概略図を示す。第５のロボット装置６は、第１の部材としてのケース８７の内部に、第２の部材としてのワーク９７を配置する作業を実施する。ケース８７は、第１のワークに相当し、ワーク９７は、第２のワークに相当する。第５のロボット装置６は、ロボット１に取り付けられたハンド７を有する。ハンド７は吸着によりワーク９７を把持するように形成されている。第５のロボット装置６は、ケース８７を搬送する搬送機としてのコンベヤ７５を備える。

第５のロボット装置６は、設置面に架台７１を介して固定された視覚センサとしてのカメラ２７を有する。カメラ２７は、ロボット１が位置および姿勢が変化しても不動である。カメラ２７は、ロボット１がワーク９７の位置の調整を行っている期間中に、ワーク９７およびケース８７を撮像できるように、コンベヤ７５から十分に離れた位置に配置されている。

図１８に、第５のロボット装置にてワークをケースに収容しているときの側面図を示す。ケース８７は、矢印１０５に示すように、コンベヤ７５にて搬送されている。ケース８７は、ワーク９７の形状に対応して形成された複数の壁部８７ａを有する。第５のロボット装置６は、壁部８７ａに囲まれる領域にワーク９７を収容する。図１８に示す例では、壁部８７ａにて囲まれる領域に対してワーク９７の位置が合っている。このために、矢印１０４に示すように、ワーク９７を下降することにより、ワーク９７をケース８７に収容することができる。

図１９に、第５のロボット装置にてワークをケースに収容しているときの他の側面図を示す。図１９に示す例では、壁部８７ａに囲まれる領域に対してワーク９７の位置がずれている。第５のロボット装置６では、第６の制御を実施する。第６の制御では、壁部８７ａにて囲まれる領域の真上にワーク９７が配置されるようにロボット１の位置を調整する。ケース８７に対するワーク９７の姿勢は、予め調整されている。第６の制御においては、第１の制御と同様の制御により、ケース８７の位置に対するワーク９７の位置のずれを修正する。図１８に示すようにケース８７に対するワーク９７の位置が合っている状態に対応する基準画像は、予め作成されている。

図２０に、カメラにて撮像された画像を示す。図２０の画像では、壁部８７ａに囲まれる領域に対してワーク９７の位置がずれている。第６の制御では、例えば、壁部８７ａの側面を第１の特徴部位に設定することができる。壁部８７ａの側面の角に第１の設定点Ｐ１を設定することができる。また、ワーク９７の側面を第２の特徴部位に設定することができる。ワーク９７の側面の角に、第２の設定点Ｐ２を設定することができる。

図３および図２０を参照して、特徴量検出部３２は、第１の特徴部位の位置に関する第１の特徴量と、第２の特徴部位の位置に関する第２の特徴量とを検出する。算出部３３は、第１の特徴量と第２の特徴量とに基づいて相対位置量を算出する。指令生成部３４は、カメラ２７にて撮像した画像６５における相対位置量と、基準画像における相対位置量とに基づいて、ロボット１を動作させる移動指令を生成することができる。

カメラが固定されているロボット装置においても、第１の制御と同様の制御により、ロボットの位置の制御を実施することができる。また、設置面等に固定されている複数のカメラを用いて、第２の制御、第３の制御、または第４の制御と同様の制御を実施することができる。

その他の第５のロボット装置６の構成、作用および効果については、第１のロボット装置５、第２のロボット装置８、第３のロボット装置９、および第４のロボット装置１０と同様であるので、ここでは説明を繰り返さない。

上記の実施の形態における視覚センサは、２次元カメラであるが、この形態に限られない。視覚センサは、画像に含まれる部材の３次元の位置が検出可能な３次元カメラであっても構わない。視覚センサとして３次元カメラを用いることにより、ベース画像を準備しなくても基準座標系における第１の部材の位置および第２の部材の位置を検出することができる。

上記の実施の形態では、製品を組み立てる作業を行うロボット装置およびケースにワークを挿入するロボット装置を取り上げているが、この形態に限られない。任意の作業を行うロボット装置に本実施の形態の制御装置を適用することができる。例えば、ワークをケースから取り出すロボット装置、スポット溶接を行うロボット装置、または接着剤を塗布するロボット装置などに本実施の形態の制御装置を適用することができる。

上記の実施の形態の第１の部材および第２の部材は、ワークまたはケースであるが、この形態に限られない。第１の部材は、ロボット装置が作業を行う任意の部材を採用することができる。また、第２の部材はロボットが駆動することにより移動する任意の部材を採用することができる。特に、第２の部材は、ロボットに取り付けられる作業ツールであっても構わない。例えば、スポット溶接を行うロボット装置では、ロボットに作業ツールとしてスポット溶接ガンが取り付けられる。この場合に、第２の部材は、スポット溶接ガンである。スポット溶接ガンにおいて、カメラにて撮像された画像にて検出が可能な部分を第２の特徴部位または第４の特徴部位に設定することができる。

上記の実施の形態では、特徴部位は、ワークまたはケースの表面に設定しているが、この形態に限られない。特徴部位は、ロボットの構成部材、ハンドの構成部材、または、搬送機の構成部材に設定されていても構わない。例えば、第１の制御から第４の制御において、ハンドに対するワークの把持のずれが無い場合がある。または、ハンドに対するワークの把持のずれに対応してロボットの位置が調整されている場合がある。これらの場合には、カメラの撮像範囲にハンドが配置される場合に、第２の特徴部位、第４の特徴部位、および第６の特徴部位をハンドに設定しても構わない。

上述のそれぞれの制御においては、機能および作用が変更されない範囲において適宜ステップの順序を変更することができる。

上記の実施の形態は、適宜組み合わせることができる。上述のそれぞれの図において、同一または相等する部分には同一の符号を付している。なお、上記の実施の形態は例示であり発明を限定するものではない。また、実施の形態においては、特許請求の範囲に示される実施の形態の変更が含まれている。

１ ロボット
２，７ ハンド
４ ロボット制御装置
５，６，８，９，１０ ロボット装置
２５，２６，２７，２８ カメラ
３１ 画像処理部
３２ 特徴量検出部
３３ 算出部
３４ 指令生成部
４３ 動作制御部
６１ 基準画像
６２，６３，６５，６６，６７，６８ 画像
７５ コンベヤ
８１ ワーク
８２，８３ 突出部
８７ ケース
８７ａ 壁部
９１ ワーク
９２，９３ 突出部
９７ ワーク

Claims (6)

1. ロボットにて第２の部材を移動して、第１の部材に対する第２の部材の相対的な位置を合わせるロボット装置の制御装置であって、
   第１の部材および第２の部材を撮像する視覚センサと、
   ロボットを駆動する指令をロボットに送出する動作制御部と、
   前記視覚センサにて撮像された画像を処理する画像処理部とを備え、
   第１の部材の位置を検出するための第１の特徴部位および第２の部材の位置を検出するための第２の特徴部位が予め定められており、
   前記画像処理部は、前記視覚センサにて撮像された画像において、第１の特徴部位の位置に関する第１の特徴量と、第２の特徴部位の位置に関する第２の特徴量とを検出する特徴量検出部と、
   第１の特徴量と第２の特徴量との差を相対位置量として算出する算出部と、
   ロボットを動作させる移動指令を生成する指令生成部とを含み、
   第１の部材に対して第２の部材が目標の位置に配置されているときの第１の特徴部位および第２の特徴部位の画像を含む基準画像における相対位置量が定められており、
   前記指令生成部は、前記視覚センサにて撮像した画像における相対位置量と、第１の特徴部位および第２の特徴部位の画像を含む基準画像における相対位置量とに基づいて、第１の部材に対して第２の部材が目標の位置に配置されるようにロボットを動作させる移動指令を生成し、
   前記動作制御部は、移動指令に基づいてロボットの位置を変更する、制御装置。
2. 前記指令生成部は、前記視覚センサにて撮像した画像における相対位置量と基準画像における相対位置量との差である相対位置量の差を算出し、
   相対位置量の差に対するロボットの位置の移動方向が予め定められており、
   相対位置量の差に対するロボットの位置の移動量の算出方法が予め定められており、
   前記指令生成部は、相対位置量の差に基づいてロボットの位置の移動方向および移動量を設定し、ロボットの位置の移動方向および移動量に基づいて移動指令を生成する、請求項１に記載の制御装置。
3. 前記ロボット装置は、第１の部材を搬送する搬送機を含み、
   前記搬送機が第１の部材を搬送している期間中に、前記特徴量検出部による第１の特徴量および第２の特徴量を検出する制御、前記算出部による相対位置量を検出する制御、および前記指令生成部による移動指令を生成する制御を繰り返して実施する、請求項１または２に記載の制御装置。
4. 前記搬送機による第１の部材の移動方向および移動速度が予め定められており、
   前記指令生成部は、前記搬送機にて移動する第１の部材の位置に対してロボットの位置が追従するロボットの位置の移動方向および移動量に基づいて移動指令を生成する、請求項３に記載の制御装置。
5. 前記視覚センサは第１の視覚センサを構成し、
   第１の部材および第２の部材を撮像する第２の視覚センサを備え、
   第１の部材の位置を検出するための第３の特徴部位と、第２の部材の位置を検出するための第４の特徴部位とが予め定められており、
   前記特徴量検出部は、前記第２の視覚センサにて撮像された画像において、第３の特徴部位の位置に関する第３の特徴量と、第４の特徴部位の位置に関する第４の特徴量とを検出し、
   前記算出部は、第３の特徴量と第４の特徴量との差を相対位置量として算出し、
   第１の部材に対して第２の部材が目標の位置に配置されているときの第３の特徴部位および第４の特徴部位の画像を含む基準画像における相対位置量が定められており、
   前記指令生成部は、前記第２の視覚センサにて撮像した画像における相対位置量と、第３の特徴部位および第４の特徴部位の画像を含む基準画像における相対位置量とに基づいて、第１の部材に対して第２の部材が目標の位置に配置されるようにロボットを動作させる移動指令を生成し、前記第１の視覚センサの画像から生成された移動指令と、前記第２の視覚センサの画像から生成された移動指令とに基づいて、前記動作制御部に送出する移動指令を生成する、請求項１から４のいずれか一項に記載の制御装置。
6. 前記第１の視覚センサは、第２の部材の予め定められた方向における一方の側に配置された部分を撮像するように配置されており、
   前記第２の視覚センサは、第２の部材の予め定められた方向における他方の側に配置された部分を撮像するように配置されており、
   前記第１の視覚センサの画像から生成された移動指令と、前記第２の視覚センサの画像から生成された移動指令とに基づいて、第１の部材に対する第２の部材の姿勢が予め定められた判定範囲内であるか否かを判定する、請求項５に記載の制御装置。

Images