JP7692221B2 - ロボット制御システム - Google Patents

Description

本発明はロボット制御システムに係る。特に、本発明は、ロボットによって対象物を扱う場合（例えば対象物を把持したり対象物を加工したりする場合）におけるロボット制御の改良に関する。

従来、ロボットを利用して対象物を把持して移送するためのロボット制御システムとして、例えば特許文献１や特許文献２に開示されているものが知られている。これら特許文献に開示されているロボット制御システムは、ロボットアームの先端部に設けられた撮像装置によって対象物を撮像することで該対象物までの距離を計測しながら（対象物の位置を認識しながら）対象物を把持する（例えばロボットアームの先端部に備えられたロボットハンドによって把持する）ものとなっている。

特に、特許文献１には、撮像装置により得られた画像において、パターンマッチングにより対象物の特徴部を特定できなかった場合に、該対象物と撮像装置と照明装置との間の相対位置または相対姿勢が変わるようにロボットアームを動作させ、対象物を再び撮像し、これにより得られた画像に対し、パターンマッチングを再び行うことが開示されている。

また、特許文献２には、ロボットアームに設けられた撮像装置（センサ部）によるセンシング結果を解析し、今回の把持動作において把持すべき対象物を特定し、今回の把持動作において把持すべき対象物を把持するようにロボットアームの動作を制御すると共に、前記センシング結果を解析し、次回の把持動作のためのセンシング位置を特定し、センシング位置情報を更新することが開示されている。

特開２０１５－１６０２６４号公報 特開２０２０－４０１４３号公報

しかしながら、前記各特許文献のものは、ロボットアームが対象物に近付いていく途中で当該対象物が動いてしまうことについては何ら考慮されていない。ロボットアームの先端部に設けられる撮像装置としては、一般的に３次元カメラが採用されるが、この３次元カメラは対象物までの距離を測定できる範囲が限られている。つまり、三角測量を利用して対象物までの距離を測定する３次元カメラは、対象物までの距離が所定距離よりも短くなると、視差が大きくなり過ぎることに起因し、対象物までの距離を測定することができなくなる。以下、対象物までの距離を測定することができる当該対象物までの距離の範囲を測定可能レンジと呼ぶこととする。この測定可能レンジは、パッシブ方式の撮像装置だけでなくアクティブ方式の撮像装置においても存在している。

ロボットアームが対象物に近付いていく途中において対象物が動いていない場合には、測定可能レンジにおいて測定した対象物までの距離の情報（対象物の位置の情報）や対象物の形状の情報等を利用することで、対象物を良好に把持することが可能である。しかしながら、ロボットアームが対象物に近付いていく途中において撮像装置が測定可能レンジから外れた位置にある際に対象物が動いてしまうと、測定可能レンジにおいて測定した対象物までの距離の情報を利用して対象物を把持することができなくなり、場合によってはロボットハンドが対象物に衝突し該対象物に悪影響を与えてしまう虞もある。

このような課題は、対象物を把持して移送するロボットに代表される協働ロボットだけでなく産業用ロボットにおいても同様に生じる可能性がある。また、このような課題は、ロボットハンドによって対象物を把持する場合に限らず、対象物を加工する等といった、対象物を扱う種々の動作においても同様に生じる可能性がある。

本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、ロボットアームが対象物に近付いていく途中において該対象物が動いたか否かを判定し、それに応じたロボットの動作を可能にするロボット制御システムを提供することにある。

前記の目的を達成するための本発明の解決手段は、ロボットのロボットアームに設けられた撮像装置によって対象物を撮像し、該撮像によって得られた前記対象物の画像情報に基づいて前記対象物を扱う場合の当該ロボットの制御を行うロボット制御システムを前提とする。そして、このロボット制御システムは、前記撮像装置が、前記対象物までの距離を測定できる範囲である測定可能レンジ、および、前記測定可能レンジよりも前記対象物までの距離が短い範囲であって前記対象物までの距離を測定できない非測定可能レンジを有している。また、このロボット制御システムは、対象物情報保持部と、推測画像情報生成部と、比較部と、制御切り替え部とを備えている。前記対象物情報保持部は、前記撮像装置が前記対象物から所定距離を存した前記測定可能レンジに位置された状態で当該撮像装置による撮像によって得られた画像情報に基づいて求められた前記対象物までの距離情報を含む対象物情報を保持する。前記推測画像情報生成部は、前記対象物から前記所定距離を存した位置から前記対象物に近付いた所定位置まで前記ロボットアームが前記撮像装置と共に移動するまでの間に前記対象物が動いていないと仮定した場合に、当該所定位置で前記撮像装置による撮像によって得られると推測される前記対象物の推測画像情報を、前記対象物情報保持部に保持されている前記対象物情報に基づいて生成する。前記比較部は、前記所定位置で前記撮像装置による撮像によって得られた前記対象物の実画像情報と、前記推測画像情報生成部によって生成された前記推測画像情報とを比較する。前記制御切り替え部は、前記ロボットが前記対象物を扱うに際して、前記比較部の比較結果として、前記実画像情報と前記推測画像情報とが一致している場合には、前記対象物情報保持部に保持されている前記距離情報を利用して前記対象物を扱う動作を実施する一方、前記実画像情報と前記推測画像情報とが一致していない場合には、前記対象物情報保持部に保持されている前記距離情報を利用した前記対象物を扱う動作を非実施とする。そして、前記撮像装置が前記対象物に近付いていきながら撮像を間欠的に行う場合に、当該撮像を行った際における前記比較部での前記実画像情報と前記推測画像情報との比較において、前記対象物の前記実画像情報と前記推測画像情報とが一致しており、且つ前記撮像装置が前記測定可能レンジ内に位置していることを条件として、前記対象物情報保持部に保持する前記対象物情報を更新する画像情報更新部を備えており、更に、前記画像情報更新部は、前記対象物からの距離が互いに異なり且つ前記距離情報が取得できる各位置で前記撮像装置による撮像によって複数の画像情報が得られる場合、各画像情報を合成して、該合成した画像情報に基づいて求められた前記対象物までの距離情報を含む対象物情報を前記対象物情報保持部に保持させる。

ここでいう「推測画像情報」とは、後述する合成画像（複数の画像情報を合成することで得られる画像情報）あるいは対象物の位置を特定するのに十分な１つ以上の特徴点セットである。また、ここでいう「実画像情報と推測画像情報とが一致している」とは、これら情報（情報の特徴）が一致している場合およびこれら情報が一致していると見なされる場合の両方を含む概念である。

この特定事項により、ロボットが対象物を扱うに際し、実画像情報（対象物から所定距離を存した位置から対象物に近付いた所定位置で撮像装置による撮像によって得られた対象物の実画像情報）と、推測画像情報（前記所定位置までロボットアームが撮像装置と共に移動するまでの間に対象物が動いていないと仮定した場合に、当該所定位置で撮像装置による撮像によって得られると推測される対象物の推測画像情報（前述の特徴点セット））とが比較される。その比較結果として、推測画像情報と実画像情報とが一致している場合または一致していると見なされる場合（言い換えると、推測画像情報の特徴と実画像情報の特徴とが一致している場合または一致していると見なされる場合）には、対象物が動いておらず、実画像情報が、対象物までの距離情報を得ることができない情報であったとしても（測定可能レンジを外れた状態で取得された情報であったとしても）、前記距離情報（対象物情報保持部に保持された距離情報）を利用することで対象物を適正に扱うことができるため、この距離情報を利用して対象物を扱う動作を実施する。一方、推測画像情報と実画像情報とが一致していない場合（一致していないと見なされる場合を含む）には、対象物が動いている可能性があり、前記距離情報を利用したとしても対象物を適正に扱うことができない可能性があるため、前記距離情報を利用した対象物を扱う動作を非実施とする。これにより、ロボットアームが対象物に近付いていく途中において該対象物が動いたか否かを判定しながら、対象物を適切に扱うことが可能になる。
また、例えば各画像情報の一部に欠損が生じており、それら欠損の箇所が互いに異なっている場合には、欠損が生じている部分の画像（画像情報）を他の画像（欠損が生じていない部分の画像）によって補完するように合成する。これにより、精度の高い画像情報が生成されることになる。この画像情報に基づいて求められた対象物までの距離情報を含む対象物情報を対象物情報保持部に保持させることにより、対象物までの距離を高い精度で認識でき、対象物を扱う動作の精度を高く得ることができる。
また、前記の目的を達成するための本発明の他の解決手段は、前述した対象物情報保持部、推測画像情報生成部、比較部、および、制御切り替え部に加えて、前記比較部の比較結果として、前記実画像情報と前記推測画像情報とが一致している場合に、前記実画像情報が得られた前記撮像装置の撮像方向とは異なる方向から前記撮像装置による前記対象物の撮像を行わせる視点変更指令部を備えている。
例えば対象物を把持する場合、その把持位置としては対象物の中心位置や重心位置であることが好ましい。そのためには対象物の全体の形状を把握しておく必要がある。従って、実画像情報が得られた撮像装置の撮像方向とは異なる方向から撮像装置による対象物の撮像を行わせることにより、対象物の全体の形状を把握することができ、対象物を扱う動作（例えば対象物の中心位置や重心位置を把持する動作）を適切に行うことができる。
また、前記の目的を達成するための本発明の他の解決手段は、ロボットのロボットアームに設けられた撮像装置によって対象物を撮像し、該撮像によって得られた前記対象物の画像情報に基づいて前記対象物を扱う場合の当該ロボットの制御を行うロボット制御システムを前提とする。そして、このロボット制御システムは、対象物情報保持部と、推測画像情報生成部と、比較部と、制御切り替え部とを備えている。また、前記撮像装置は、前記対象物までの距離を測定できる範囲である測定可能レンジ、および、前記測定可能レンジよりも前記対象物までの距離が短い範囲であって前記対象物までの距離を測定できない非測定可能レンジを有している。前記対象物情報保持部は、前記撮像装置が前記対象物から所定距離を存した前記測定可能レンジに位置された状態で当該撮像装置による撮像によって得られた画像情報に基づいて求められた前記対象物までの距離情報を含む対象物情報を保持する。前記推測画像情報生成部は、前記対象物から前記所定距離を存した位置から前記対象物に近付いた所定位置まで前記ロボットアームが前記撮像装置と共に移動するまでの間に前記対象物が動いていないと仮定した場合に、当該所定位置で前記撮像装置による撮像によって得られると推測される前記対象物の推測画像情報を、前記対象物情報保持部に保持されている前記対象物情報、および、前記所定位置まで前記撮像装置が前記対象物に近付いていった際の前記対象物情報に対する当該撮像装置の相対的な移動方向、移動量および姿勢変更の情報に基づいて生成する。前記比較部は、前記所定位置で前記撮像装置による撮像によって得られた前記対象物の実画像情報と、前記推測画像情報生成部によって生成された前記推測画像情報とを比較する。前記制御切り替え部は、前記ロボットが前記対象物を扱うに際して、前記比較部の比較結果として、前記実画像情報と前記推測画像情報とが一致している場合には、前記対象物情報保持部に保持されている前記距離情報を利用して前記対象物を扱う動作を実施する一方、前記実画像情報と前記推測画像情報とが一致していない場合には、前記対象物情報保持部に保持されている前記距離情報を利用した前記対象物を扱う動作を非実施とする。更に、前記撮像装置が前記対象物に近付いていきながら撮像を間欠的に行う場合に、当該撮像を行った際における前記比較部での前記実画像情報と前記推測画像情報との比較において、前記対象物の前記実画像情報と前記推測画像情報とが一致しており、且つ前記撮像装置が前記測定可能レンジ内に位置していることを条件として、前記対象物情報保持部に保持する前記対象物情報を更新する画像情報更新部を備えている。

より具体的に、ロボット制御システムは、前記制御切り替え部によって前記対象物を扱う動作が非実施とされた場合には、前記対象物情報保持部に保持されている前記対象物情報を破棄し、前記撮像装置を前記対象物から所定距離を存した位置として撮像を行うことによる、前記距離情報を含む前記対象物情報の前記対象物情報保持部への保持動作を再度実施する構成となっている。

つまり、ロボット制御システムは、対象物が動いた可能性がある場合、対象物情報保持部に保持されている距離情報を利用したとしても対象物を適正に扱うことができない可能性があると判断し、この動いた後の対象物に対し、距離情報を含む対象物情報を新たに求めて対象物情報保持部に保持する。これにより、対象物が動いた後においても当該対象物を適切に扱うことが可能になる。

また、ロボット制御システムは、前記対象物からの距離が互いに異なり且つ前記距離情報が取得できる各位置で前記撮像装置による撮像によって複数の画像情報が得られる場合、前記対象物からの距離が短い位置で得られた画像情報に基づいて求められた前記対象物までの距離情報を含む前記対象物情報を前記対象物情報保持部に保持させる画像情報更新部を備えていることが好ましい。

前記撮像装置による撮像によって得られる画像（画像情報）は、対象物からの距離が短い程、鮮明な画像情報として得ることができる。このため、対象物からの距離が短い位置で得られた画像情報に基づいて求められた対象物までの距離情報を含む対象物情報を対象物情報保持部に保持させていくことにより、対象物までの距離を高い精度で認識でき、対象物を扱う動作の精度を高く得ることができる。

また、ロボット制御システムは、前記対象物からの距離が互いに異なり且つ前記距離情報が取得できる各位置で前記撮像装置による撮像によって複数の画像情報が得られる場合、精度の高い画像情報を選択し、該画像情報に基づいて求められた前記対象物までの距離情報を含む対象物情報を前記対象物情報保持部に保持させる画像情報更新部を備えていてもよい。

この構成においても、対象物までの距離を高い精度で認識でき、対象物を扱う動作の精度を高く得ることができる。

本発明では、ロボットが対象物を扱うに際して、推測画像情報と実画像情報とを比較し、その比較結果として、推測画像情報と実画像情報とが一致している場合に、対象物情報保持部に保持されている距離情報を利用して対象物を扱う動作を実施するようにしている。このため、ロボットアームが対象物に近付いていく途中において該対象物が動いたか否かを判定しながら対象物を適切に扱うことが可能になる。

実施形態に係るロボットユニットの概略構成および対象物撮像動作を説明するための図である。 ロボット制御システムの制御系を示すブロック図である。 初期撮像動作によって取得された対象物の画像の一例を示す図である。 ロボット姿勢変更後における対象物撮像動作を説明するための図である。 対象物が動いていない場合における画像比較動作を説明するための図である。 対象物が動いた場合における画像比較動作を説明するための図である。 ２つの画像の合成処理を説明するための図である。 第１の別視点撮像動作によって取得された対象物の画像の一例を示す図である。 第２の別視点撮像動作によって取得された対象物の画像の一例を示す図である。 対象物把持動作の処理手順を示すフローチャート図である。

以下、本発明の実施の形態を図面に基づいて説明する。本実施形態は、本発明に係るロボット制御システムを、協働ロボットにおけるロボットアームの先端部に備えられたロボットハンドによって対象物（以下、ワークと呼ぶ場合もある）を把持する制御を行うシステムとして適用した場合について説明する。尚、本発明に係るロボット制御システムの適用形態としてはこれに限定されるものではない。

－ロボットユニットの構成－
図１は、本実施形態に係るロボット制御システム２０（図２を参照）が適用されるロボットユニット１の概略構成および対象物撮像動作を説明するための図である。このロボットユニット１は、図示しない作業台上に置かれたワークＷを把持して移送する動作を行うロボット１１および該ロボット１１のロボットアーム１２の先端部に取り付けられた撮像装置１３を含んで構成されている。ロボットユニット１は、ロボットアーム１２の先端部に撮像装置１３を取り付けることにより省スペース化が図られている。

ロボットユニット１は、セル生産ラインに適用され、例えば第１の作業台上の所定位置（ピック位置）に置かれたワークＷがロボット１１によって第１の作業台上から第２の作業台上の所定位置（プレイス位置）に移送され、この第２の作業台上において作業者がワークＷの組立作業を行う場合等に適用される。

ロボット１１は、多軸アームで成るロボットアーム１２と、該ロボットアーム１２の先端部に備えられたエンドエフェクタとしてのロボットハンド１４とを備えている。ロボットアーム１２はロボットハンド１４を所定位置まで移動させるために設けられ、ロボットハンド１４はワークＷを把持するために設けられている。

ロボットアーム１２の先端部（ロボットハンド１４の取り付け位置の近傍）に取り付けられた撮像装置１３は、例えばＲＧＢ－Ｄカメラ等の３次元カメラで成り、作業台上に置かれたワークＷの撮像を行うためのものであり、撮像した画像の情報（画像情報）をロボット制御システム２０の制御装置２１（図２を参照）に出力するようになっている。この撮像装置１３によって撮像された画像情報は、後述するように、ワークＷの位置（ワークＷまでの距離に基づいて求められる位置）や形状を認識し、該ワークＷを把持するための情報として利用される。

撮像装置１３は３次元カメラで成ることから、前述したようにワークＷまでの距離を測定できる範囲が前記測定可能レンジに限られている。このため、ロボットハンド１４でワークＷを把持するためにロボットアーム１２がワークＷに近付いていく途中において、撮像装置１３が測定可能レンジから外れた位置にある際にワークＷが動いてしまうと、測定可能レンジにおいて測定したワークＷまでの距離情報を利用してワークＷを把持することができなくなる。

この課題に鑑み、本実施形態に係るロボット制御システム２０では、ロボットアーム１２がワークＷに近付いていく途中において該ワークＷが動いたか否かを判定し、それに応じてロボット１１の制御を行うようにしている。以下、ロボット制御システム２０について具体的に説明する。

図２は、本実施形態におけるロボット制御システム２０の制御系を示すブロック図である。この図２に示すようにロボット制御システム２０の制御系としては、ロボットユニット１を制御するための制御装置２１が設けられている。この制御装置２１は、演算部（ＣＰＵ等のプロセッサ）２２と、記憶部（ＲＯＭ等）２３と、入出力部２４とを含んだコンピュータで構成されている。

記憶部２３には、ロボットユニット１を制御するための動作プログラム等が記憶されている。

演算部２２は、記憶部２３に記憶されたプログラム（動作プログラム）等に基づいて演算処理を実行することにより、ロボットユニット１を制御するための制御指令情報を算出する。

入出力部２４は、撮像装置１３による撮像によって得られた画像情報を受信したり、ロボットユニット１に向けて制御指令情報等を送信したりすることが可能となっている。

演算部２２は、前記プログラムによって実現される機能部として、対象物情報保持部２２ａ、推測画像情報生成部２２ｂ、比較部２２ｃ、画像情報更新部２２ｄ、視点変更指令部２２ｅ、制御切り替え部２２ｆを備えている。以下、これら各部の機能の概略について説明する。

対象物情報保持部２２ａは、撮像装置１３がワークＷから所定距離を存した位置とされた状態で当該撮像装置１３による撮像によって得られた画像情報に基づいて求められたワークＷまでの距離情報を含むワークＷの情報（対象物情報）を保持する。

具体的に、対象物情報保持部２２ａは、撮像装置１３が測定可能レンジに位置するようにロボットアーム１２の動作を制御（ロボットユニット１に制御指令情報を送信することによって制御）すると共に、その位置で撮像装置１３によるワークＷの撮像によって得られた画像情報を入出力部２４を介して取得する。以下、ワークＷの把持動作の開始時におけるこの位置での撮像動作を初期撮像動作と呼ぶこととする。撮像装置１３の測定可能レンジは予め認識されているので、撮像装置１３の視野内にワークＷが位置し且つ該ワークＷとの距離が測定可能レンジ内となるロボットアーム１２の姿勢も予め設定可能となっている。この姿勢が得られるように制御装置２１からロボットユニット１に制御指令情報が送信されることで、撮像装置１３が測定可能レンジに位置するようにロボットアーム１２の動作が制御される。

そして、撮像装置１３による撮像動作（初期撮像動作）を行わせ、初期撮像動作によって得られた画像情報から周知の三角測量を利用してワークＷまでの距離を演算し、その距離情報が対象物情報保持部２２ａに保持される。また、ワークＷの画像情報からワークＷの姿勢の情報やワークＷの外縁等における各点の位置情報も併せて保持される。

図１は、撮像装置１３が測定可能レンジに位置している場合における対象物撮像動作（初期撮像動作）を示している。また、図３は、この図１に示す状態において撮像装置１３によって撮像されたワークＷの画像の一例を示している。この画像においては、ワークＷまでの距離やワークＷの形状等の情報が取得可能であり、これら情報（対象物情報）が対象物情報保持部２２ａに保持されることになる。また、この対象物情報保持部２２ａは、撮像装置１３がワークＷに近付いていきながら複数回の撮像を間欠的に行う場合においても前述と同様にして対象物情報を保持（更新）していくようになっている。この更新動作については後述する。

推測画像情報生成部２２ｂは、ワークＷから所定距離を存した位置からワークＷに近付いた所定位置までロボットアーム１２が撮像装置１３と共に移動するまでの間にワークＷが動いていないと仮定した場合に、当該所定位置で撮像装置１３による撮像によって得られると推測されるワークＷの推測画像情報（前述した特徴点セット）を生成する。

具体的に、初期撮像動作を行った際の撮像装置１３の位置に対し、ワークＷに近付いていった際の撮像装置１３の移動量の情報から、ワークＷが動いていないと仮定した場合におけるワークＷの画像情報を推測画像情報として生成する。例えば、ワークＷの外縁等における各点の位置情報が保持されていることから、ワークＷが動いていないと仮定した場合に、ワークＷに近付いていった際の各点の位置の移動方向および移動量（初期撮像動作によって得られた各点の相対的な移動方向および移動量）が制御指令情報から演算できるため、これによって、ワークＷが動いていないと仮定した場合に、ワークＷに近付いていった際の推測画像情報を生成することが可能である。

比較部２２ｃは、ワークＷに近付いた前記所定位置で撮像装置１３による撮像によって得られた実画像情報と、推測画像情報生成部２２ｂによって生成された推測画像情報とを比較する。ワークＷが動いていない場合には、推測画像情報と実画像情報とは略同一の画像（略一致した画像）となる。これに対し、ワークＷが動いた場合には、推測画像情報と実画像情報とは異なる画像となる。このため、これら画像情報の比較により、ワークＷに近付いていく途中で（ワークＷから所定距離を存した位置からワークＷに近付いた所定位置までロボットアーム１２が撮像装置１３と共に移動していく途中で）ワークＷが動いたか否かを判定することが可能である。

図４は、ワークＷに近付いた前記所定位置での撮像装置１３による対象物撮像動作（ロボット姿勢変更後における対象物撮像動作）を示している。この対象物撮像動作によって実画像情報が取得されることになる。

図５は、画像比較動作を説明するための図である。図５における右側の画像は、推測画像情報生成部２２ｂによって生成された推測画像情報であり、図５における左側の画像は、図４に示す状態において撮像装置１３によって撮像されたワークＷの画像（実画像情報）を示している。図５に示すように、推測画像情報と実画像情報とが略同一の画像となっている場合には、ワークＷが動いていないと判定できる。

図６は、ワークＷが動いた場合の画像を示している。図６における右側の画像は、推測画像情報生成部２２ｂによって生成された推測画像情報であり、図６における左側の画像は、図４に示す状態において撮像装置１３によって撮像されたワークＷの画像（実画像情報）を示している。図６に示すように、推測画像情報と実画像情報とが一致していない場合（一致していないと見なされる場合を含む）には、ワークＷが動いたと判定できる。このワークＷが動いたか否かの判定は、ワークＷに近付いた前記所定位置が、撮像装置１３が測定可能レンジに位置している場合に得られる画像情報および撮像装置１３が測定可能レンジから外れた位置にある場合に得られる画像情報の何れにおいても可能となっている。

画像情報更新部２２ｄは、比較部２２ｃでの比較処理において、推測画像情報と実画像情報とが略同一の画像情報となっている場合、つまり、ワークＷが動いていないと判定された場合に、対象物情報保持部２２ａに保持する画像情報を更新するか否かを判定し、必要に応じて保持する画像情報を更新する。

具体的に、ワークＷに近付いた前記所定位置としては、撮像装置１３が測定可能レンジに位置する場合と、撮像装置１３が測定可能レンジから外れた位置となっている場合とがある。前述したように撮像装置１３の測定可能レンジは予め認識されているので、ロボットユニット１に送信される制御指令情報からロボットアーム１２の姿勢を把握することができ、これによって撮像装置１３の位置も特定されるため、撮像装置１３が測定可能レンジに位置しているのか否かを判定することが可能である。

画像情報更新部２２ｄは、推測画像情報と実画像情報とが略同一の画像となっており、且つ撮像装置１３が測定可能レンジに位置する場合に、対象物情報保持部２２ａに保持する画像情報を更新するか否かを判定する。

具体的には、撮像装置１３によって撮像された前回の画像情報（例えば初期撮像動作によって得られた画像情報）と今回の画像情報（例えば初期撮像動作を行った位置よりもワークＷに近付いた位置での撮像動作によって得られた画像情報）とを比較する。つまり、ワークＷからの距離が互いに異なり且つ距離情報が取得できる各位置で撮像装置１３による撮像によって複数の画像情報が得られる場合に、これら画像情報を比較する。そして、これら画像情報のうち、ワークＷからの距離が短い位置で得られた画像情報に基づいて求められたワークＷまでの距離情報を含む対象物情報が対象物情報保持部２２ａに保持（更新）される。これは、一般に撮像装置１３による撮像によって得られる画像（画像情報）は、ワークＷからの距離が短い程、鮮明な画像情報として得ることができるためである。つまり、ワークＷからの距離が短い位置で得られた画像情報に基づいて求められたワークＷまでの距離情報を含む対象物情報を対象物情報保持部２２ａに保持させていくことにより、ワークＷまでの距離を高い精度で認識できるようにしたものである。

また、画像情報更新部２２ｄとしては、撮像装置１３によって撮像された前回の画像情報と今回の画像情報とを比較し、精度の高い画像情報を選択し、該画像情報に基づいて求められたワークＷまでの距離情報を含む対象物情報を対象物情報保持部２２ａに保持させるようになっていてもよい。例えば、前回の画像情報と今回の画像情報とを比較し、鮮明な画像情報（焦点が合っている画像情報や光の反射等に起因する情報の欠損が生じていない画像情報等）を選択し、該画像情報に基づいて求められたワークＷまでの距離情報を含む対象物情報を対象物情報保持部２２ａに保持させる。これによっても、ワークＷまでの距離を高い精度で認識できる。

また、画像情報更新部２２ｄとしては、撮像装置１３によって撮像された前回の画像情報と今回の画像情報とを比較し、それぞれの画像情報の一部に欠損（例えば光の反射等に起因する画像情報の欠損）が生じており、それら欠損の箇所が互いに異なっている場合には、欠損が生じている部分の画像を他の画像（欠損が生じていない部分の画像）によって補完するようになっていてもよい。つまり、前回の画像情報と今回の画像情報とを合成して新たな画像情報を生成し、この画像情報に基づいて求められたワークＷまでの距離情報を含む対象物情報を対象物情報保持部２２ａに保持させるようになっていてもよい。図７は、２つの画像の合成処理を説明するための図である。この図７における左下側の画像は前回の画像情報（例えば初期撮像動作によって得られた画像情報）であり、左上側の画像は今回の画像情報（例えば初期撮像動作を行った位置よりもワークＷに近付いた位置での撮像動作によって得られた画像情報）である。図には示さないがこれら画像情報の一部には欠損が生じている。そして、これら画像が合成されることにより、欠損が生じている部分の画像が他の画像によって補完されて、図７における右側の画像（合成画像）が生成されることになる。これにより、精度の高い画像情報が生成されることになり、この画像情報に基づいて求められたワークＷまでの距離情報を含む対象物情報を対象物情報保持部２２ａに保持させることにより、ワークＷまでの距離を高い精度で認識できる。

前述した画像情報更新部２２ｄによる対象物情報保持部２２ａに保持する画像情報の更新は、撮像装置１３がワークＷに近付いていきながら複数回の撮像を間欠的に行う場合において、この複数回の撮像が何れも撮像装置１３が測定可能レンジに位置する状態で行われた場合には、撮像が行われる度に、対象物情報保持部２２ａに保持する画像情報を更新するか否かを判定し、必要に応じて保持する画像情報を更新していくようになっている。

視点変更指令部２２ｅは、比較部２２ｃの比較結果として、推測画像情報と実画像情報とが略同一でありワークＷが動いていないと判定された場合に、前記実画像情報が得られた前記撮像装置１３の撮像方向とは異なる方向から撮像装置１３によってワークＷを撮像させるための制御指令情報をロボットユニット１に送信する機能を有する。つまり、ロボットハンド１４によってワークＷを把持するに当たり、把持状態を安定的に得るためにはワークＷの中心位置や重心位置を把持することが好ましい。そのためにはワークＷの全体の形状を把握しておく必要がある。視点変更指令部２２ｅは、撮像装置１３によるワークＷの撮像方向を前述した方向とは異なる方向とすることにより、ワークＷの全体の形状を把握するための機能部である。図８は、第１の別視点撮像動作によって取得されたワークＷの画像の一例を示す図である。この図８に示すものは、ワーク（ボルト）Ｗの頭部側に撮像装置１３を回り込ませてワークＷを撮像した画像である。また、図９は、第２の別視点撮像動作によって取得されたワークＷの画像の一例を示す図である。この図９に示すものは、ワーク（ボルト）Ｗのネジ部側に撮像装置１３を回り込ませてワークＷを撮像した画像である。このようにしてワークＷを多面的に撮像して全体の形状を把握し、これによってワークＷの中心位置や重心位置が把持できるようにしている。

制御切り替え部２２ｆは、ロボットハンド１４がワークＷを把持するに際して、比較部２２ｃの比較結果として、推測画像情報と実画像情報とが一致している（略同一となっている）場合（一致していると見なされる場合を含む）には、対象物情報保持部２２ａに保持されている距離情報を利用してワークＷを把持する動作を実施する。つまり、撮像装置１３が測定可能レンジから外れた位置で撮像された実画像情報と推測画像情報とが一致している場合には、この実画像情報からは距離情報が取得できないものの、ワークＷが動いていないと判定されたことで、対象物情報保持部２２ａに保持されている距離情報を利用してワークＷを把持することが可能であるため、この対象物情報保持部２２ａに保持されている距離情報を利用したワークＷの把持動作が行われることになる。より具体的に、本実施形態の場合には、第１の作業台上の所定位置に置かれたワークＷがロボットハンド１４によって把持され、ロボットアーム１２の動作によって第２の作業台上の所定位置に移送されることになる。

一方、制御切り替え部２２ｆは、比較部２２ｃの比較結果として、推測画像情報と実画像情報とが一致していない場合（一致していないと見なされる場合を含む）には、対象物情報保持部２２ａに保持されている距離情報を利用したワークＷを把持する動作を非実施とする。この場合、対象物情報保持部２２ａに保持されている対象物情報を破棄し、前述した初期撮像動作を再度実施し、距離情報を含む対象物情報の対象物情報保持部２２ａへの保持動作を実施することになる。

－対象物把持動作－
次に、前述の如く構成されたロボット制御システム２０による対象物把持動作について説明する。図１０は、対象物把持動作の処理手順を示すフローチャートである。このフローチャートは、ワークＷの把持要求（例えば第１の作業台上から第２の作業台上へのワークＷの移送要求）が生じる度に繰り返して実行される。

ワークＷの把持要求が生じた場合、先ず、ステップＳＴ１において初期撮像動作を実施する。つまり、撮像装置１３が測定可能レンジに位置するようにロボットアーム１２の動作を制御し、その位置で撮像装置１３によるワークＷの撮像によって画像情報を得る。ステップＳＴ２では、この画像情報に基づいて求められたワークＷまでの距離情報を含む対象物情報が入出力部２４を経て対象物情報保持部２２ａに送信され、該対象物情報保持部２２ａに保持される。

ステップＳＴ３では、ロボットアーム１２がワークＷに近付くように姿勢が変更される。そして、ステップＳＴ４では、姿勢変更後の撮像装置１３の所定位置までロボットアーム１２が撮像装置１３と共に移動するまでの間にワークＷが動いていないと仮定した場合に、当該所定位置で撮像装置１３による撮像によって得られると推測される推測画像情報を生成する。

ステップＳＴ５では、前記所定位置での撮像装置１３による撮像を実行し、その撮像によって得られた実画像情報を取得する。

ステップＳＴ６では、この推測画像情報と実画像情報とを比較する。これら画像が互いに異なっており（ワークＷが動いたことで画像が互いに異なっており）、ステップＳＴ７でＮＯ判定された場合には、ステップＳＴ８に移り、対象物情報保持部２２ａに保持されている対象物情報を破棄し、リターンされる。これにより、前述した初期撮像動作を再度実施し、動いた後のワークＷにおける距離情報を含む対象物情報の対象物情報保持部２２ａへの保持動作を実施することになる。

推測画像情報と実画像情報とが一致しており、ステップＳＴ７でＹＥＳ判定された場合には、ステップＳＴ９に移り、撮像装置１３の現在の位置が測定可能レンジ内であるか否かを判定する。撮像装置１３の現在の位置が測定可能レンジ内であり、ステップＳＴ９でＹＥＳ判定された場合には、ステップＳＴ１０で、前述した画像情報更新部２２ｄによる画像情報の更新処理を行った後、ステップＳＴ３に戻る。このようにして、撮像装置１３の位置が測定可能レンジ内にある状態で撮像装置１３による撮像が行われている間は、対象物情報保持部２２ａに保持される対象物情報が順次更新され、精度の高い距離情報を含む対象物情報が対象物情報保持部２２ａに保持されていくことになる。

一方、撮像装置１３の現在の位置が測定可能レンジから外れたことでステップＳＴ９でＮＯ判定された場合には、ステップＳＴ１１において、撮像装置１３によるワークＷの撮像方向を前述した方向とは異なる方向とすることによる別視点の画像を取得する。例えば、前述した第１の別視点撮像動作（図８に示すワークＷの画像が取得される動作）や前述した第２の別視点撮像動作（図９に示すワークＷの画像が取得される動作）が実施される。これにより、ワークＷの全体の形状を把握することが可能になり、ワークＷの中心位置や重心位置を把持することが可能となる。

その後、ステップＳＴ１２では、対象物情報保持部２２ａに保持されている距離情報を含む対象物情報を読み出し、この対象物情報を利用することによるワークＷの把持動作を実行し、ワークＷの移送動作を開始する。

ステップＳＴ１３では、ワークＷの移送動作が終了したか否かを判定する。ワークＷの移送動作が終了し、ステップＳＴ１３でＹＥＳ判定された場合には、ロボットアーム１２が初期位置に復帰しリターンされる。以上の動作が繰り返される。

－実施形態の効果－
以上説明したように、本実施形態では、ロボットハンド１４によってワークＷを把持するに際して、実画像情報（ワークＷから所定距離を存した位置からワークＷに近付いた所定位置で撮像装置１３による撮像によって得られたワークＷの実画像情報）と推測画像情報（前記所定位置までロボットアーム１２が撮像装置１３と共に移動するまでの間にワークＷが動いていないと仮定した場合に、当該所定位置で撮像装置１３による撮像によって得られると推測されるワークＷの推測画像情報）とを比較し、その比較結果として、推測画像情報と実画像情報とが一致している場合または一致していると見なされる場合に、対象物情報保持部２２ａに保持されている距離情報を含む対象物情報を利用してワークＷを把持する動作を実施するようにしている。このため、ロボットアーム１２がワークＷに近付いていく途中において該ワークＷが動いたか否かを判定しながらワークＷを適切に把持することが可能になる。

－他の実施形態－
尚、本発明は、前記実施形態に限定されるものではなく、特許請求の範囲および該範囲と均等の範囲で包含される全ての変形や応用が可能である。

例えば、前記実施形態では、協働ロボットを制御するロボット制御システム２０として本発明を適用した場合について説明した。本発明はこれに限らず、産業用ロボットに対しても適用することが可能である。また、前記実施形態では、ロボットハンド１４によってワークＷを把持する制御を行う場合を例に挙げて説明した。本発明はこれに限らず、ワークＷを加工する等といった、ワークＷを扱う種々の動作に対しても適用することが可能である。

また、前記実施形態では、撮像装置１３をパッシブ方式のものとしていた。本発明はこれに限らず、撮像装置１３をアクティブ方式のものとしてもよい。

また、前記実施形態では、ロボット制御システム２０の機能部として視点変更指令部２２ｅを備えさせ、推測画像情報と実画像情報とが一致している場合に、異なる方向から撮像装置１３によるワークＷの撮像を行うようにしていた。本発明はこれに限らず、視点変更指令部２２ｅを備えさせない構成、つまり、異なる方向から撮像装置１３によるワークＷの撮像を行わない構成としてもよい。

また、比較部２２ｃによる比較動作としては、前記合成画像（前回の画像情報と今回の画像情報とを合成した新たな画像情報：図７を参照）と推測画像情報とを比較するようにしてもよい。この場合、合成画像でのワークＷの位置と推測画像情報を生成するに当たってのワークＷの位置（ワークＷが動いていないと仮定した場合における当該ワークＷの位置）とを一致させておくことが必要である。このため、本発明でいう「対象物の実画像情報」は、複数の実画像情報から生成される前記合成画像も含む概念である。

本発明は、ロボットアームの先端部に備えられた撮像装置によって対象物を撮像することで該対象物までの距離を計測しながら対象物を把持するロボット制御システムに適用可能である。

１１ ロボット
１２ ロボットアーム
１３ 撮像装置
２０ ロボット制御システム
２２ａ 対象物情報保持部
２２ｂ 推測画像情報生成部
２２ｃ 比較部
２２ｄ 画像情報更新部
２２ｅ 視点変更指令部
２２ｆ 制御切り替え部
Ｗ ワーク（対象物）

Claims (6)

1. ロボットのロボットアームに設けられた撮像装置によって対象物を撮像し、該撮像によって得られた前記対象物の画像情報に基づいて前記対象物を扱う場合の当該ロボットの制御を行うロボット制御システムであって、
   前記撮像装置は、前記対象物までの距離を測定できる範囲である測定可能レンジ、および、前記測定可能レンジよりも前記対象物までの距離が短い範囲であって前記対象物までの距離を測定できない非測定可能レンジを有しており、
   前記撮像装置が前記対象物から所定距離を存した前記測定可能レンジに位置された状態で当該撮像装置による撮像によって得られた画像情報に基づいて求められた前記対象物までの距離情報を含む対象物情報を保持する対象物情報保持部と、
   前記対象物から前記所定距離を存した位置から前記対象物に近付いた所定位置まで前記ロボットアームが前記撮像装置と共に移動するまでの間に前記対象物が動いていないと仮定した場合に、当該所定位置で前記撮像装置による撮像によって得られると推測される前記対象物の推測画像情報を、前記対象物情報保持部に保持されている前記対象物情報に基づいて生成する推測画像情報生成部と、
   前記所定位置で前記撮像装置による撮像によって得られた前記対象物の実画像情報と、前記推測画像情報生成部によって生成された前記推測画像情報とを比較する比較部と、
   前記ロボットが前記対象物を扱うに際して、前記比較部の比較結果として、前記実画像情報と前記推測画像情報とが一致している場合には、前記対象物情報保持部に保持されている前記距離情報を利用して前記対象物を扱う動作を実施する一方、前記実画像情報と前記推測画像情報とが一致していない場合には、前記対象物情報保持部に保持されている前記距離情報を利用した前記対象物を扱う動作を非実施とする制御切り替え部と、
   前記撮像装置が前記対象物に近付いていきながら撮像を間欠的に行う場合に、当該撮像を行った際における前記比較部での前記実画像情報と前記推測画像情報との比較において、前記対象物の前記実画像情報と前記推測画像情報とが一致しており、且つ前記撮像装置が前記測定可能レンジ内に位置していることを条件として、前記対象物情報保持部に保持する前記対象物情報を更新する画像情報更新部とを備えており、
   更に、前記画像情報更新部は、前記対象物からの距離が互いに異なり且つ前記距離情報が取得できる各位置で前記撮像装置による撮像によって複数の画像情報が得られる場合、各画像情報を合成して、該合成した画像情報に基づいて求められた前記対象物までの距離情報を含む対象物情報を前記対象物情報保持部に保持させることを特徴とするロボット制御システム。
2. ロボットのロボットアームに設けられた撮像装置によって対象物を撮像し、該撮像によって得られた前記対象物の画像情報に基づいて前記対象物を扱う場合の当該ロボットの制御を行うロボット制御システムであって、
   前記撮像装置は、前記対象物までの距離を測定できる範囲である測定可能レンジ、および、前記測定可能レンジよりも前記対象物までの距離が短い範囲であって前記対象物までの距離を測定できない非測定可能レンジを有しており、
   前記撮像装置が前記対象物から所定距離を存した前記測定可能レンジに位置された状態で当該撮像装置による撮像によって得られた画像情報に基づいて求められた前記対象物までの距離情報を含む対象物情報を保持する対象物情報保持部と、
   前記対象物から前記所定距離を存した位置から前記対象物に近付いた所定位置まで前記ロボットアームが前記撮像装置と共に移動するまでの間に前記対象物が動いていないと仮定した場合に、当該所定位置で前記撮像装置による撮像によって得られると推測される前記対象物の推測画像情報を、前記対象物情報保持部に保持されている前記対象物情報に基づいて生成する推測画像情報生成部と、
   前記所定位置で前記撮像装置による撮像によって得られた前記対象物の実画像情報と、前記推測画像情報生成部によって生成された前記推測画像情報とを比較する比較部と、
   前記ロボットが前記対象物を扱うに際して、前記比較部の比較結果として、前記実画像情報と前記推測画像情報とが一致している場合には、前記対象物情報保持部に保持されている前記距離情報を利用して前記対象物を扱う動作を実施する一方、前記実画像情報と前記推測画像情報とが一致していない場合には、前記対象物情報保持部に保持されている前記距離情報を利用した前記対象物を扱う動作を非実施とする制御切り替え部と、
   前記撮像装置が前記対象物に近付いていきながら撮像を間欠的に行う場合に、当該撮像を行った際における前記比較部での前記実画像情報と前記推測画像情報との比較において、前記対象物の前記実画像情報と前記推測画像情報とが一致しており、且つ前記撮像装置が前記測定可能レンジ内に位置していることを条件として、前記対象物情報保持部に保持する前記対象物情報を更新する画像情報更新部とを備え、
   前記比較部の比較結果として、前記実画像情報と前記推測画像情報とが一致している場合に、前記実画像情報が得られた前記撮像装置の撮像方向とは異なる方向から前記撮像装置による前記対象物の撮像を行わせる視点変更指令部を備えていることを特徴とするロボット制御システム。
3. ロボットのロボットアームに設けられた撮像装置によって対象物を撮像し、該撮像によって得られた前記対象物の画像情報に基づいて前記対象物を扱う場合の当該ロボットの制御を行うロボット制御システムであって、
   前記撮像装置は、前記対象物までの距離を測定できる範囲である測定可能レンジ、および、前記測定可能レンジよりも前記対象物までの距離が短い範囲であって前記対象物までの距離を測定できない非測定可能レンジを有しており、
   前記撮像装置が前記対象物から所定距離を存した前記測定可能レンジに位置された状態で当該撮像装置による撮像によって得られた画像情報に基づいて求められた前記対象物までの距離情報を含む対象物情報を保持する対象物情報保持部と、
   前記対象物から前記所定距離を存した位置から前記対象物に近付いた所定位置まで前記ロボットアームが前記撮像装置と共に移動するまでの間に前記対象物が動いていないと仮定した場合に、当該所定位置で前記撮像装置による撮像によって得られると推測される前記対象物の推測画像情報を、前記対象物情報保持部に保持されている前記対象物情報、および、前記所定位置まで前記撮像装置が前記対象物に近付いていった際の前記対象物情報に対する当該撮像装置の相対的な移動方向、移動量および姿勢変更の情報に基づいて生成する推測画像情報生成部と、
   前記所定位置で前記撮像装置による撮像によって得られた前記対象物の実画像情報と、前記推測画像情報生成部によって生成された前記推測画像情報とを比較する比較部と、
   前記ロボットが前記対象物を扱うに際して、前記比較部の比較結果として、前記実画像情報と前記推測画像情報とが一致している場合には、前記対象物情報保持部に保持されている前記距離情報を利用して前記対象物を扱う動作を実施する一方、前記実画像情報と前記推測画像情報とが一致していない場合には、前記対象物情報保持部に保持されている前記距離情報を利用した前記対象物を扱う動作を非実施とする制御切り替え部と、
   前記撮像装置が前記対象物に近付いていきながら撮像を間欠的に行う場合に、当該撮像を行った際における前記比較部での前記実画像情報と前記推測画像情報との比較において、前記対象物の前記実画像情報と前記推測画像情報とが一致しており、且つ前記撮像装置が前記測定可能レンジ内に位置していることを条件として、前記対象物情報保持部に保持する前記対象物情報を更新する画像情報更新部と、
   を備えていることを特徴とするロボット制御システム。
4. 請求項１、２または３記載のロボット制御システムにおいて、
   前記制御切り替え部によって前記対象物を扱う動作が非実施とされた場合には、前記対象物情報保持部に保持されている前記対象物情報を破棄し、前記撮像装置を前記対象物から所定距離を存した位置として撮像を行うことによる、前記距離情報を含む前記対象物情報の前記対象物情報保持部への保持動作を再度実施する構成となっていることを特徴とするロボット制御システム。
5. 請求項２または３記載のロボット制御システムにおいて、
   前記画像情報更新部は、前記対象物からの距離が互いに異なり且つ前記距離情報が取得できる各位置で前記撮像装置による撮像によって複数の画像情報が得られる場合、前記対象物からの距離が短い位置で得られた画像情報に基づいて求められた前記対象物までの距離情報を含む前記対象物情報を前記対象物情報保持部に保持させることを特徴とするロボット制御システム。
6. 請求項２または３記載のロボット制御システムにおいて、
   前記画像情報更新部は、前記対象物からの距離が互いに異なり且つ前記距離情報が取得できる各位置で前記撮像装置による撮像によって複数の画像情報が得られる場合、精度の高い画像情報を選択し、該画像情報に基づいて求められた前記対象物までの距離情報を含む対象物情報を前記対象物情報保持部に保持させることを特徴とするロボット制御システム。

Images