JP2009006410A - 遠隔操作支援装置および遠隔操作支援プログラム - Google Patents

Abstract

【課題】対象物の位置や姿勢が事前に判らない場合においても、任意の方向から対象物を確認することを可能としつつ、対象物の遠隔操作を支援できるようにする。
【解決手段】環境データ取得手段２１ａは、レーザスキャナ１３にて計測された対象物１１上の点群データを環境データ１５として取得し、対象物モデル表現手段２１ｂは、対象物１１についての環境データ１５に基づいて三次元認識処理１７を行うことにより、対象物１１の形状および姿勢が反映された対象物モデル表現１８を生成し、ロボットモデル表現手段２１ｃは、ロボット１２の各軸の状態１９に基づいてロボット１２の動作状態が反映されたロボットモデル表現２０を生成し、三次元画像生成手段２１ｄは、三次元空間の指定された視点から見た対象物モデル表現１８およびロボットモデル表現２０を同一画面上に三次元的に表示させる。
【選択図】 図１

Description

本発明は遠隔操作支援装置および遠隔操作支援プログラムに関し、特に、原子力設備の原子炉内などのように人間が容易に立ち入ることができない環境下に配置された作業用ロボットを遠隔操作する方法に適用して好適なものである。

放射線環境下や宇宙環境下などの人間が容易に立ち入ることができない場所では、そのような環境下に配置された作業用ロボットを遠隔操作することで、保守や点検などの作業が一般的に行われている。
ここで、保守や点検において実施される作業が既知である場合、あるいは定期的な保守における作業の内容が毎回同一である場合には、ロボットの動作を予めプログラミングしておくことで、人間が操作することなく自動運転で作業を行わせることができる。

一方、定期的に行われる同一作業であっても、前回存在しなかった障害物が存在したり、保守対象である装置の一部が壊れているなど予期せぬ状況の発生にも対処できるようにするために、例えば、特許文献１には、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして記憶し、カメラが捉えた映像と環境モデルから得られる位置決めに関する情報を図形化して表示した画像とを合成した合成画像を表示することで、手動操作を誘導できるようにする方法が開示されている。
特開２００３−３１１６６１号公報

しかしながら、特許文献１に開示された方法では、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして用意する必要があるため、遠隔操作される対象の配置が事前に判っている必要があるだけでなく、対象物が環境モデルに登録された所定の位置に存在していることが前提となっており、遠隔操作される対象の状態が操作時にも同様に保たれている必要がある。

このため、特許文献１に開示された方法では、対象物の位置が初期の位置と異なっていたり、操作時に対象物の位置が変わったりすると、対象物の遠隔操作ができなくなる上に、予め設定された視点のみからの合成画像しか表示することができず、任意の方向から対象物を確認することができないという問題があった。
そこで、本発明の目的は、対象物の位置や姿勢が事前に判らない場合においても、任意の方向から対象物を確認することを可能としつつ、対象物の遠隔操作を支援することが可能な遠隔操作支援装置および遠隔操作支援プログラムを提供することである。

上述した課題を解決するために、請求項１記載の遠隔操作支援装置によれば、対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成する対象物モデル表現手段と、ロボットの各軸の状態に基づいて前記ロボットの動作状態が反映されたロボットモデル表現を生成するロボットモデル表現手段と、三次元空間の指定された視点から見た前記対象物モデル表現および前記ロボットモデル表現を同一画面上に三次元的に表示させる三次元画像生成手段とを備えることを特徴とする。

また、請求項２記載の遠隔操作支援装置によれば、前記対象物の形状を計測することにより得られた前記対象物上の点を基準座標系の三次元座標に変換する対象物座標変換手段と、前記ロボットの各軸の状態を観測することにより得られた前記ロボット上の点を前記基準座標系の三次元座標に変換するロボット座標変換手段と、前記対象物上の点の三次元座標および前記ロボット上の点の三次元座標に基づいて、前記対象物と前記ロボットとの近接状態を判定する近接状態判定手段とを備えることを特徴とする。

また、請求項３記載の遠隔操作支援プログラムによれば、対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成するステップと、ロボットの各軸の状態に基づいて前記ロボットの動作状態が反映されたロボットモデル表現を生成するステップと、三次元空間の指定された視点から見た前記対象物モデル表現および前記ロボットモデル表現を同一画面上に三次元的に表示させるステップとをコンピュータに実行させることを特徴とする。

また、請求項４記載の遠隔操作支援プログラムによれば、前記対象物の形状を計測することにより得られた前記対象物上の点を基準座標系の三次元座標に変換するステップと、前記ロボットの各軸の状態を観測することにより得られた前記ロボット上の点を前記基準座標系の三次元座標に変換するステップと、前記対象物上の点の三次元座標および前記ロボット上の点の三次元座標に基づいて、前記対象物と前記ロボットとの近接状態を判定するステップとをコンピュータに実行させることを特徴とする。

以上説明したように、本発明によれば、対象物およびロボットの現在の状態が反映された三次元的なモデルを生成し、そのモデルを同一画面上に三次元的に表示させることが可能となる。このため、対象物の位置や姿勢が変化する場合においても、対象物およびロボットの現在の状態を精度よく表示させることが可能となるとともに、対象物およびロボットを三次元的にモデル化することにより、複数のカメラを設置することなく、任意の視点からの画像に切り替えることが可能となり、人間が容易に立ち入ることができない放射線環境下や宇宙環境下などであっても、対象物の遠隔操作を円滑に行うことが可能となる。

以下、本発明の実施形態に係る遠隔操作支援装置について図面を参照しながら説明する。
図１は、本発明の第１実施形態に係る遠隔操作支援装置の概略構成を示す断面図である。
図１において、保守や点検などの作業が行われる作業エリアには、対象物１１を操作するロボット１２およびロボット１２にて操作される対象物１１が配置されている。なお、対象物１１およびロボット１２は、放射線環境下や宇宙環境下などの人間が容易に立ち入ることができない場所に設置することができる。また、ロボット１２とは、マニュピュレータなどを含めた遠隔操作で使用される機械装置全般を言う。

ここで、ロボット１２には、対象物１１を把持するグリッパを設け、そのグリッパを三次元空間の任意の位置に移動させたり、任意の方向に回転させたりするアームに連結することができる。そして、アームは関節点を介して互いに連結され、各アームはＸ軸、Ｙ軸およびＺ軸を中心として回転自在に構成することができる。そして、各アームには軸を設定し、各軸には三次元座標系を設定し、各軸の状態を観測することで、各アームの位置を特定することができる。

一方、ロボット１２に人間が指令を出すエリアには、ロボット１２の遠隔操作を支援する遠隔操作支援装置２１が設置されている。
ここで、遠隔操作支援装置２１には、環境データ取得手段２１ａ、対象物モデル表現手段２１ｂ、ロボットモデル表現手段２１ｃおよび三次元画像生成手段２１ｄが設けられるとともに、対象物１１の形状を計測するレーザスキャナ１３、対象物１１の種別や姿勢を認識するための情報が格納された三次元認識データベース１６および対象物１１やロボット１２の現在の状態などを表示する表示装置２２が接続されている。

環境データ取得手段２１ａは、レーザスキャナ１３にて計測された対象物１１上の点群データを環境データ１５として取得することができる。対象物モデル表現手段２１ｂは、対象物１１についての環境データ１５に基づいて三次元認識処理１７を行うことにより、対象物１１の形状および姿勢が反映された対象物モデル表現１８を生成することができる。ロボットモデル表現手段２１ｃは、ロボット１２の各軸の状態１９に基づいてロボット１２の動作状態が反映されたロボットモデル表現２０を生成することができる。三次元画像生成手段２１ｄは、三次元空間の指定された視点から見た対象物モデル表現１８およびロボットモデル表現２０を同一画面上に三次元的に表示させることができる。

なお、対象物モデル表現１８およびロボットモデル表現２０には、例えば、コンピュータグラフィクスにて一般的に使用されるサーフィスモデルなどを用いることができる。
そして、レーザスキャナ１３は、レーザ光にて対象物１１を走査することにより、三次元計測処理１４を行う。そして、環境データ取得手段２１ａは、レーザスキャナ１３にて三次元計測処理１４が行われると、対象物１１上の点群データを環境データ１５として取得し、遠隔操作支援装置２１に格納する。

そして、対象物モデル表現手段２１ｂは、三次元認識データベース１６を参照しながら、対象物１１についての環境データ１５に基づいて三次元認識処理１７を行うことで、対象物１１の形状および姿勢が反映された対象物モデル表現１８を生成する。ここで、三次元認識データベース１６には、ロボット１２にて操作される複数の対象物１１についてのスピンイメージを格納することができる。そして、対象物１１についての環境データ１５に基づいて三次元認識処理１７を行う場合、対象物１１の点群データについての法線ベクトルを設定し、計測された点群データについてのスピンイメージと、三次元認識データベース１６に格納されたスピンイメージとを照合することができる。なお、スピンイメージを用いた三次元認識処理１７については、特開２００６−１３９７１３号公報に詳細に記載されている。

このスピンイメージを用いた三次元認識処理１７では、対象物１１の三次元認識を行うために、対象物１１全体の点群データを計測する必要がなく、レーザスキャナ１３による一方向からの計測で済ませることができるので、計算量を減らすことができる。
また、ロボット１２は、ロボット１２の各軸の状態１９を検出し、遠隔操作支援装置２１に送る。そして、ロボットモデル表現手段２１ｃは、ロボット１２の各軸の状態１９に基づいて、ロボット１２の実際の動きが反映されたロボット１２と同様な形状を構築することにより、ロボット１２の動作状態が反映されたロボットモデル表現２０を生成する。なお、ロボットモデル表現２０を生成するために必要なアームなどのロボット１２の構成要素の寸法は遠隔操作支援装置２１に予め登録することができる。また、ロボット１２の各軸の状態１９は、ロボット１２に設置された角度センサや位置センサなどからの信号を用いることができる。

そして、三次元画像生成手段２１ｄは、対象物モデル表現１８およびロボットモデル表現２０が生成されると、三次元空間の指定された視点から見た対象物モデル表現１８およびロボットモデル表現２０を三次元的に示す二次元画像を生成し、表示装置２２の同一画面上に重ねて表示させることができる。なお、対象物モデル表現１８およびロボットモデル表現２０を表示装置２２に表示させる場合、Ｏｏｅｎ ＧＬなどのグラフィックスソフトウェアを利用することで、任意の視点から見た対象物モデル表現１８およびロボットモデル表現２０を同一画面上に重ねて表示させることができる。
そして、オペレータは、対象物モデル表現１８およびロボットモデル表現２０を三次元的に示す画像が表示装置２２上に表示されると、遠隔操作しやすいように視点を切り替えながら、ロボット１２を操作することができる。

これにより、対象物１１およびロボット１２の現在の状態がそれぞれ反映された三次元的な対象物モデル表現１８およびロボットモデル表現２０を生成し、その対象物モデル表現１８およびロボットモデル表現２０を同一画面上に三次元的に表示させることが可能となる。このため、対象物１１の位置や姿勢が変化する場合においても、対象物１１およびロボット１２の現在の状態を精度よく表示させることが可能となるとともに、対象物１１およびロボット１２を三次元的にモデル化することにより、複数のカメラを設置することなく、任意の視点からの画像に切り替えることが可能となり、人間が容易に立ち入ることができない放射線環境下や宇宙環境下などであっても、ロボット１２による対象物１１の遠隔操作を円滑に行うことが可能となる。

なお、環境データ取得手段２１ａ、対象物モデル表現手段２１ｂ、ロボットモデル表現手段２１ｃおよび三次元画像生成手段２１ｄは、これらの手段で行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させることにより実現することができる。
そして、このプログラムをＣＤ−ＲＯＭなどの記憶媒体に記憶しておけば、遠隔操作支援装置２１のコンピュータに記憶媒体を装着し、そのプログラムをコンピュータにインストールすることにより、環境データ取得手段２１ａ、対象物モデル表現手段２１ｂ、ロボットモデル表現手段２１ｃおよび三次元画像生成手段２１ｄで行われる処理を実現することができる。

また、環境データ取得手段２１ａ、対象物モデル表現手段２１ｂ、ロボットモデル表現手段２１ｃおよび三次元画像生成手段２１ｄで行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させる場合、スタンドアロン型コンピュータで実行させるようにしてもよく、ネットワークに接続された複数のコンピュータに分散処理させるようにしてもよい。

図２は、本発明の一実施形態に係る環境データの表示例を示す図である。
図２において、図１のレーザスキャナ１３にて計測された環境データ１５が遠隔操作支援装置２１にて取得され、その環境データ１５が表示装置２２に表示される。
図３は本発明の一実施形態に係る環境データおよび対象物のモデル表現の表示例を示す図である。
図３において、対象物１１の形状および姿勢が反映された対象物モデル表現１８が遠隔操作支援装置２１にて生成されると、その対象物モデル表現１８が環境データ１５に重なるようにして表示装置２２に表示される。

図４は、本発明の一実施形態に係る環境データ、対象物のモデル表現およびロボットのモデル表現の表示例を示す図である。
図４において、対象物１１の形状および姿勢が反映された対象物モデル表現１８およびロボット１２の実際の動きが反映されたロボットモデル表現２０が遠隔操作支援装置２１にて生成されると、それらの対象物モデル表現１８およびロボットモデル表現２０が環境データ１５に重なるようにして表示装置２２に表示される。
図５は、本発明の一実施形態に係るグリッパを視点とした対象物のモデル表現の表示例を示す図である。
図５において、対象物モデル表現１８およびロボットモデル表現２０を三次元的に示す画像の視点を任意に切り替えることにより、例えば、ロボット１２のグリッパを視点とした画像が表示装置２２に表示される。

図６は、本発明の第２実施形態に係る遠隔操作支援装置の概略構成および処理の流れを示すブロック図である。
図６において、保守や点検などの作業が行われる作業エリアには、対象物１１を操作するロボット１２およびロボット１２にて操作される対象物１１が配置されている。一方、ロボット１２に人間が指令を出すエリアには、ロボット１２の遠隔操作を支援する遠隔操作支援装置３５が設置されている。
ここで、遠隔操作支援装置３５には、対象物座標変換手段３５ａ、ロボット座標変換手段３５ｂおよび近接状態判定手段３５ｃが設けられるとともに、対象物１１の形状を計測するレーザスキャナ１３、レーザスキャナ１３にて計測された環境データを格納する環境データ格納手段３４および対象物１１やロボット１２の現在の状態などを表示する表示装置３６が接続されている。

対象物座標変換手段３５ａは、対象物１１の形状をレーザスキャナ１３にて計測することにより得られた対象物１１上の点を基準座標系の三次元座標に変換することができる。ロボット座標変換手段３５ｂは、ロボット１２の各軸の状態を観測することにより得られたロボット１２上の点を基準座標系の三次元座標に変換することができる。近接状態判定手段３５ｃは、対象物１１の基準座標系における三次元座標およびロボット１２の基準座標系における三次元座標に基づいて、対象物１１とロボット１２との近接状態を判定することができる。

また、遠隔操作支援装置３５には、ロボット座標格納手段３７、対象物座標格納手段３８、対象物変換行列格納手段３９およびロボット変換行列格納手段４０が接続されている。
ロボット座標格納手段３７は、ロボット１２上の各点についての基準座標系の三次元座標Ａ１、Ｂ１、Ｃ１、Ｄ１、・・・を格納することができる。対象物座標格納手段３８は、対象物１１上の各点についての基準座標系の三次元座標Ａ２、Ｂ２、Ｃ２、・・・を格納することができる。対象物変換行列格納手段３９は、対象物１１上の点を基準座標系の三次元座標に変換する変換行列を格納することができる。ロボット変換行列格納手段４０は、ロボット１２上の点を基準座標系の三次元座標に変換する変換行列を格納することができる。

また、遠隔操作支援装置３５には、図１の環境データ取得手段２１ａ、対象物モデル表現手段２１ｂ、ロボットモデル表現手段２１ｃおよび三次元画像生成手段２１ｄを設けることができ、三次元空間の指定された視点から見た対象物モデル表現１８およびロボットモデル表現２０を三次元的に示す二次元画像を生成し、表示装置３６の同一画面上に重ねて表示させることができる。

なお、図１の三次元認識処理１７による認識結果は、回転変換要素と並行移動要素からなる４×４の変換行列に対応させることができ、基本座標系に予め配置された対象物１１を基準座標系の対象物１１の位置や姿勢に合わせることができる。
そして、レーザスキャナ１３は、レーザ光にて対象物１１を走査することにより、図１の三次元計測処理１４を行う。そして、遠隔操作支援装置３５は、レーザスキャナ１３にて三次元計測処理１４が行われると、対象物１１上の点群データＰ１を環境データ１５として取得し、環境データ格納手段３４に格納する。

また、遠隔操作支援装置３５は、対象物１１についての環境データ１５に基づいて図１の三次元認識処理１７を行うことで、対象物１１の変換行列を算出し、対象物変換行列格納手段３９に格納する。さらに、遠隔操作支援装置３５は、ロボット１２の各軸の状態１９を取得し、ロボット１２の各軸座標系の変換行列に変換して、ロボット変換行列格納手段４０に格納する。なお、ロボット１２の各軸の状態１９としては、ロボット１２の各軸の角度を用いることができる。
そして、対象物座標変換手段３５ａは、対象物１１の変換行列を用いることにより、対象物１１上の点を基準座標系の三次元座標に変換し、対象物座標格納手段３８に格納する。また、ロボット座標変換手段３５ｂは、ロボット１２の変換行列を用いることにより、ロボット１２上の点を基準座標系の三次元座標に変換し、ロボット座標格納手段３７に格納する。

そして、近接状態判定手段３５ｃは、対象物１１の基準座標系における三次元座標およびロボット１２の基準座標系における三次元座標に基づいて、対象物１１とロボット１２との近接状態を判定する。そして、遠隔操作支援装置３５は、図１の対象物モデル表現１８およびロボットモデル表現２０を表示装置３６の同一画面上に重ねて表示させながら、対象物１１とロボット１２との近接状態を表示装置３６に表示させることができる。
なお、対象物座標変換手段３５ａ、ロボット座標変換手段３５ｂおよび近接状態判定手段３５ｃは、これらの手段で行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させることにより実現することができる。

そして、このプログラムをＣＤ−ＲＯＭなどの記憶媒体に記憶しておけば、遠隔操作支援装置３５のコンピュータに記憶媒体を装着し、そのプログラムをコンピュータにインストールすることにより、対象物座標変換手段３５ａ、ロボット座標変換手段３５ｂおよび近接状態判定手段３５ｃで行われる処理を実現することができる。
また、対象物座標変換手段３５ａ、ロボット座標変換手段３５ｂおよび近接状態判定手段３５ｃで行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させる場合、スタンドアロン型コンピュータで実行させるようにしてもよく、ネットワークに接続された複数のコンピュータに分散処理させるようにしてもよい。

図７は、本発明の一実施形態に係る変換行列を用いた対象物上の点の変換結果を示す図である。
図７において、対象物変換行列格納手段３９に格納される変換行列には、回転変換要素Ｒ００〜Ｒ２２と並行移動要素ＴＸ、ＴＹ、ＴＺを設定することができる。そして、対象物１１の基本座標系に変換行列を乗算することで、対象物１１の基準座標系に変換することができる。
一方、図６において、ロボット変換行列格納手段４０に格納される変換行列は、ロボット１２の各軸１、２、・・・ごとに設けることができ、ロボットアームから定期的に現在の軸角度を読み出し、各軸座標系の変換行列（軸１の変換行列、軸２の変換行列、・・・、先端の変換行列）に変換して保存することができる。そして、ロボット１２上の指定された点の三次元座標系に変換行列を乗算することで、基準座標系の三次元座標に変換することができる。

図８は、本発明の一実施形態に係る遠隔操作支援装置に適用されるロボット座標系の一例を示す図である。
図８において、ロボット１２の三次元座標系は、ロボット１２の各軸１、２、・・・ごとに設けることができる。例えば、ロボット１２の基準座標系はＸ０・Ｙ０・Ｚ０座標系、軸１の座標系はＸ１・Ｙ１・Ｚ１座標系、軸２の座標系はＸ２・Ｙ２・Ｚ２座標系、・・・、先端の座標系はＸ５・Ｙ５・Ｚ５座標系とすることができる。そして、ロボット１２の各軸間の距離ｄ１、ｄ２、・・・を設定することができる。

そして、例えば、軸１の座標系の点ｃは、以下の（１）式にて基準座標系の三次元座標に変換することができる。
［点ｃの基準座標系の三次元座標］＝（ロボット１２の基準座標系の変換行列）×（軸１の座標系の変換行列）×（軸１上の点ｃの座標） ・・・（１）
また、例えば、軸２の座標系の点ｂは、以下の（２）式にて基準座標系の三次元座標に変換することができる。
［点ｂの基準座標系の三次元座標］＝（ロボット１２の基準座標系の変換行列）×（軸１の座標系の変換行列）×（軸２の座標系の変換行列）×（軸２上の点ｂの座標）
・・・（２）
また、例えば、先端の座標系の点ａは、以下の（３）式にて基準座標系の三次元座標に変換することができる。
［点ａの基準座標系の三次元座標］＝（ロボット１２の基準座標系の変換行列）×（軸１の座標系の変換行列）×（軸２の座標系の変換行列）×（軸３の座標系の変換行列）×（軸４の座標系の変換行列）×（先端の座標系の変換行列）×（軸５上の点ａの座標）
・・・（３）

図９は、本発明の一実施形態に係るロボットと対象物との近接状態の判定方法を示すフローチャートである。
図９において、図６の近接状態判定手段３５ｃは、ロボット１２上の点の三次元座標をロボット座標格納手段３７から取得するとともに（ステップＳ１）、対象物１１上の点の三次元座標を対象物座標格納手段３８から取得する（ステップＳ２）。そして、近接状態判定手段３５ｃは、ロボット１２上の座標点と対象物１１上の座標点とのすべての組み合わせについて、ロボット１２上の座標点と対象物１１上の座標点との間の距離を算出し（ステップＳ３、Ｓ５）、ロボット１２上の座標点と対象物１１上の座標点との間の距離が最小であるかどうかを判断する（ステップＳ４）。

そして、ロボット１２上の座標点と対象物１１上の座標点との間の距離が最小である場合、そのロボット１２上の座標点と対象物１１上の座標点とを記憶し（ステップＳ６）、対象物１１上の座標点との間で最小の距離となるロボット１２上の座標点が先端に位置するかどうかを判断する（ステップＳ７）。そして、近接状態判定手段３５ｃは、対象物１１上の座標点との間で最小の距離となるロボット１２上の座標点が先端に位置しない場合、ロボット１２が対象物１１と衝突する可能性があると判断し（ステップＳ８）、対象物１１上の座標点との間で最小の距離となるロボット１２上の座標点が先端に位置する場合、ロボット１２が対象物１１に接近していると判断する（ステップＳ９）。
そして、ロボット１２と対象物１１とが接近または衝突する可能性があると近接状態判定手段３５ｃにて判断された場合、遠隔操作支援装置３５は、対象物１１とロボット１２との近接状態を表示装置３６に表示させることができる。

図１０は、本発明の一実施形態に係るロボットと対象物との近接状態の表示例を示す図である。
図１０において、ロボット１２と対象物１１とが接近または衝突する可能性があると近接状態判定手段３５ｃにて判断された場合、遠隔操作支援装置３５は、図１の対象物モデル表現１８およびロボットモデル表現２０を表示装置３６の同一画面上に重ねて表示させながら、衝突する可能性がある対象物１１上の点とロボット１２上の点にそれぞれ対応する対象物モデル表現１８上の点とロボットモデル表現２０上の点との間に線Ｌ１を描画させたり、対象物１１上の点とロボット１２上の点との間の距離Ｄ１を表示させたりすることができる。

本発明の第１実施形態に係る遠隔操作支援装置の概略構成および処理の流れを示すブロック図である。 本発明の一実施形態に係る環境データの表示例を示す図である。 本発明の一実施形態に係る環境データおよび対象物のモデル表現の表示例を示す図である。 本発明の一実施形態に係る環境データ、対象物のモデル表現およびロボットのモデル表現の表示例を示す図である。 本発明の一実施形態に係るグリッパを視点とした対象物のモデル表現の表示例を示す図である。 本発明の第２実施形態に係る遠隔操作支援装置の概略構成および処理の流れを示すブロック図である。 本発明の一実施形態に係る変換行列を用いた対象物上の点の変換結果を示す図である。 本発明の一実施形態に係る遠隔操作支援装置に適用されるロボット座標系の一例を示す図である。 本発明の一実施形態に係るロボットと対象物との近接状態の判定方法を示すフローチャートである。 本発明の一実施形態に係るロボットと対象物との近接状態の表示例を示す図である。

符号の説明

１１ 対象物
１２ ロボット
１３ レーザスキャナ
１４ 三次元計測処理
１５、３４ 環境データ
１６ 三次元認識データベース
１７ 三次元認識処理
１８ 対象物のモデル表現
１９ 各軸の状態
２０ ロボットのモデル表現
２１、３５ 遠隔操作支援装置
２１ａ 環境データ取得手段
２１ｂ 対象物モデル表現手段
２１ｃ ロボットモデル表現手段
２１ｄ 三次元画像生成手段
２２、３６ 表示装置
３４ 環境データ格納手段
３５ａ 対象物座標変換手段
３５ｂ ロボット座標変換手段
３５ｃ 近接状態判定手段
３７ ロボット座標格納手段
３８ 対象物座標格納手段
３９ 対象物変換行列格納手段
４０ ロボット変換行列格納手段

Claims (4)

1. 対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成する対象物モデル表現手段と、
   ロボットの各軸の状態に基づいて前記ロボットの動作状態が反映されたロボットモデル表現を生成するロボットモデル表現手段と、
   三次元空間の指定された視点から見た前記対象物モデル表現および前記ロボットモデル表現を同一画面上に三次元的に表示させる三次元画像生成手段とを備えることを特徴とする遠隔操作支援装置。
2. 前記対象物の形状を計測することにより得られた前記対象物上の点を基準座標系の三次元座標に変換する対象物座標変換手段と、
   前記ロボットの各軸の状態を観測することにより得られた前記ロボット上の点を前記基準座標系の三次元座標に変換するロボット座標変換手段と、
   前記対象物上の点の三次元座標および前記ロボット上の点の三次元座標に基づいて、前記対象物と前記ロボットとの近接状態を判定する近接状態判定手段とを備えることを特徴とする請求項１記載の遠隔操作支援装置。
3. 対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成するステップと、
   ロボットの各軸の状態に基づいて前記ロボットの動作状態が反映されたロボットモデル表現を生成するステップと、
   三次元空間の指定された視点から見た前記対象物モデル表現および前記ロボットモデル表現を同一画面上に三次元的に表示させるステップとをコンピュータに実行させることを特徴とする遠隔操作支援プログラム。
4. 前記対象物の形状を計測することにより得られた前記対象物上の点を基準座標系の三次元座標に変換するステップと、
   前記ロボットの各軸の状態を観測することにより得られた前記ロボット上の点を前記基準座標系の三次元座標に変換するステップと、
   前記対象物上の点の三次元座標および前記ロボット上の点の三次元座標に基づいて、前記対象物と前記ロボットとの近接状態を判定するステップとをコンピュータに実行させることを特徴とする請求項３記載の遠隔操作支援プログラム。