JPH0847881A - ロボットの遠隔操作方法 - Google Patents

Abstract

(57)【要約】 【目的】 遠隔操作を行うロボットに有効な操作を行わ
せることが可能なロボットの遠隔操作方法を提供する。 【構成】 ロボット１の手先５の左右にカメラ８ａ，８
ｂを取り付け、その左右のカメラ８ａ，８ｂで作業を行
う面を撮影すると共にその画像２０をコンピュータ６に
取り込み、一方の画像２０から任意の形状をターゲット
１４ａとして決定し、そのターゲット１４ａのループ状
に連なったエッジＥを抽出して形状を認識し、次に他方
のカメラ８で撮影された画像中対応するターゲットのル
ープ形状を認識し、一方のループ形状の任意の点のエピ
ポーラ線Ｅｐｉとその任意の点に対応する他方の点の座
標からロボット１の手先５とターゲット１４との位置・
姿勢を三角測量し、その三角測量値に基づいてロボット
１の手先５を制御することを特徴としている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ロボットの手先と作業
を行う面のターゲットとの位置・姿勢を三角測量して、
手先を、ターゲットに対して正確に位置・姿勢合わせし
て動作できるロボットの遠隔操作方法に関するものであ
る。

【０００２】

【従来の技術】従来、マニュピュレータやロボットな
ど、６自由度で動くロボットは、例えば複数のアーム同
志が関節で連結され、そのアームの関節を旋回・俯仰さ
せることで、アームの先端の手先を、６自由度（ｘ，
ｙ，ｚ，φ，θ，ψ）方向に自在に移動して各種操作を
行うことができるようになっている。

【０００３】

【発明が解決しようとする課題】このロボットの遠隔操
作は、ジョイスティックによるマスタースレーブ方式が
主流である。この方法は、手先近く等にカメラを取り付
け、その画像を見ながら、操作者がジョイスティックを
操作して、手先を所望の位置に移動させて行うものであ
るが、コスト的に高くなりやすく、操作者の動作に追従
してそれ程高速な動きはできないと共にロボットの手先
の姿勢制御や位置制御は、操作者にかなりの負担をかけ
る問題がある。

【０００４】また、ロボットに予め操作のための移動手
順をティーチングによりコンピュータに記憶させてお
き、ティーチングさせた通りにロボットを動かす方法も
あるが、操作対象物が違えば、その都度ティーチングを
行わなければならない問題がある。

【０００５】最近、この種のロボットの作業タクスは、
例えば宇宙ステーションでのＯＲＵ交換や原子炉などの
各種検査など、作業者が、直接その作業環境内で操作で
きない条件で使用されることを対象とするものが要求さ
れており、従来の制御方法では、良好な作業タクスが得
られることは期待できない。

【０００６】そこで、本発明の目的は、上記課題を解決
し、遠隔操作を行うロボットに有効な操作を行わせるこ
とが可能なロボットの遠隔操作方法を提供することにあ
る。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に本発明は、ロボットの手先の左右にカメラを取り付
け、その左右のカメラで作業を行う面を撮影すると共に
その画像をコンピュータに取り込み、一方の画像から任
意の形状をターゲットとして決定し、そのターゲットの
ループ状に連なったエッジを抽出して形状を認識し、次
に他方のカメラで撮影された画像中対応するターゲット
のループ形状を認識し、一方のループ形状の任意の点の
エピポーラ線とその任意の点に対応する他方の点の座標
からロボットの手先とターゲットとの位置・姿勢を三角
測量し、その三角測量値に基づいてロボットの手先を制
御するものである。

【０００８】

【作用】上記構成によれば、先ず、両カメラの中心と、
その画像の中のターゲットの任意の点と、実際のターゲ
ットの点とは、エピポーラ面と称される同一平面上にあ
り、このエピポーラ面と画像面との交線がエピポーラ線
であり、エピポーラ面上のターゲットの点はエピポーラ
線上にあり実際のターゲットの点とは三角測量で求める
ことができ、左右の各点を測量することでステレオ対応
付けが行えるため、手先とターゲットとの位置・姿勢を
求めることが可能となり、これを元にロボットを簡単に
制御することが可能となる。

【０００９】

【実施例】以下、本発明の一実施例を添付図面に基づい
て詳述する。

【００１０】先ず、図１により本発明の概略を説明す
る。

【００１１】図１において、１はマニュピレータ、ハン
ドリング装置などのロボットで、例えば、図示のように
機台２に旋回自在にかつ俯仰自在に第１アーム３が設け
られ、その第１アーム３に、第２アーム４が屈曲自在に
設けられ、さらにその第２アーム４にハンドリングのた
めの手先５が回転自在にかつ屈曲自在に設けられて構成
され、その手先５が３次元（ｘ，ｙ，ｚ）方向に移動
し、かつその各軸回りに（φ，θ，ψ）方向に回転でき
て６自由度（ｘ，ｙ，ｚ，φ，θ，ψ）方向に移動でき
るようになっている。

【００１２】このロボット１の各アーム３，４及び手先
５の制御の詳細は省略するが、各アーム３，４及び手先
５に角度検出センサーが設けられており、各アーム３，
４及び手先５の座標が認識できるようになっており、ま
たコンピュータ６からの指令は、通信信号７でロボット
１を駆動する駆動装置（図示せず）を制御して指令した
位置に移動できるようにされると共に手先５で任意の物
品や装置を把持して移動できるようになっている。

【００１３】このロボット１の手先５の左右には、ＣＣ
Ｄカメラなどのカメラ８ａ，８ｂが取り付けられ、その
手先５の前方を両カメラ８ａ，８ｂで撮像できるように
なっている。

【００１４】またカメラ８ａ，８ｂの画像は、通信信号
７にてコンピュータ６に取り込めるようになっている。

【００１５】コンピュータ６は、本体９とディスプレイ
１０とキーボード１１とからなり、また本体９にマウス
１２が接続されている。

【００１６】いまロボット１の手先５が、物品１３をハ
ンドリングするとし、またその手先５で物品１３の突起
部１４を挟んで把持するとする。

【００１７】本発明においては、カメラ８ａ，８ｂが物
品１３を撮影し、その画像がコンピュータ６に取り込ま
れ、そのカメラ８ａ，８ｂの画像のいずれかがディスプ
レイ１０に表示され、マウス１２のポインタ１５をディ
スプレイ１０に表示された物品１３ａの突起部１４ａの
位置に合わせ、その位置で突起部１４ａをターゲットと
しクリックすることで、手先５に対する物品１３の突起
部１４の位置を三角測量できるようになっている。

【００１８】以下この処理フローを図２により説明す
る。

【００１９】制御が開始されると、先ず左右の画像を取
り込み、次にオペレータによる左画像中のターゲット指
定（右画像でもよい）を行い、次に指定したターゲット
面を構成するループ状に連なったエッジの抽出を行い、
同様にステレオ対応づけによる右画像中のターゲット面
抽出を行う。

【００２０】この左右のターゲット面を抽出すること
で、両ターゲット形状の相違は両カメラで立体視した時
のズレであり、同時にこのズレは、三角法（三角測量原
理）で実空間中の座標を決定できる位置・姿勢情報とな
る。

【００２１】そこで、左画像のターゲット面上にある任
意の点の右画像における対応点検出を行う。この点は３
点以上の検出を行う。同様に、右画像のターゲット面の
３点についても行い、各点のエピポーラ線上で探索して
他方の点と実際のターゲット面との点とをステレオ対応
付けを行って、ターゲットの各点の座標を決定する。

【００２２】次にロボットの手先に対するターゲットの
位置／姿勢を算出し、手先でそのターゲットを把持する
などの指令を行い、制御を終了する。

【００２３】次にこの各フローについて説明する。

【００２４】ａ．左右画像の取り込み ＣＣＤカメラなどで撮像された左右の画像の画素データ
をコンピュータに記憶し、このうち左画像をディスプレ
イに表示する。

【００２５】ｂ．オペレータによる左画像中のターゲッ
トの指定 先ず、オペレータは、写し出された物品１３ａの突起部
１４ａをターゲットとして選択する際、マウス１２で画
面上のポインタ１５を移動し、そのポインタ１５を、タ
ーゲットのエッジを指し示すのではなく、ターゲットの
表面の略中央を指し、その位置をマウス１２でクリック
する。

【００２６】マウスのポインタは、画像中の任意のポイ
ント（ドット）をクリックでき、そのクリックした点の
周囲から、指し示されたポイントを内部に持つループ状
に連なったエッジを探索する。

【００２７】(1) １つのエッジの探索；先ず、図３に示
すように画像は、ターゲットＴL のエッジＥL が写し出
されており、そのターゲット面ＭL の略中央をマウス１
２のポインタでクリックすると、最初に指し示されたク
リップポイントｐを中心に、図示の矢印Ａで示すように
円を徐々に広げるようにエッジＥL を探索する。

【００２８】(2) ループ状に連なったエッジの追跡：図
４に示すように、エッジＥL の内外には、ループを構成
する以外のエッジＥ1 ，Ｅ6 ，Ｅx が含まれており、こ
れらエッジと検出すべきループ状のエッジＥL とを区別
する必要がある。

【００２９】従って、最初に検出したエッジの端点か
ら、図示の丸で囲んだ範囲内に別のエッジの端点を探索
する。次に新たに検出したエッジのもう一方の端点か
ら、さらにある範囲内にある別のエッジの端点を探索す
る。

【００３０】このようにして図示のようにエッジＥ1 で
は、点線の矢印Ｐ1 のようにエッジの端点を探索する
と、丸Ｃ1 では、端点が検出できなくなるため、ループ
状のエッジとは判断せず、次に別のエッジＥ2 を探索す
る。この際、追跡を開始したエッジＥ2 を図示の点線の
矢印２のように探索し、順次丸Ｃ3 〜Ｃ6 で、他の連な
ったエッジＥ2 〜Ｅ5 を探索する。エッジＥ5 では、丸
Ｃ7 では、ループと関係ない外エッジＥ6 が連なってい
るが、丸Ｃ6 で他のエッジを探索できないため、丸Ｃ7
に戻って探索し、エッジＥ7 を探索する。このエッジＥ
6 は２度選択されないように削除する。またこの丸Ｃ7
の近傍にはエッジＥx があるが、丸Ｃ7 の範囲から外れ
るため、探索は行わない。以上のようにして順次、丸Ｃ
9 まで探索し、追跡を開始したエッジＥ2 を検出したな
らば、追跡したエッジＥL がループ状に連なったターゲ
ットの形状として検出できる。

【００３１】なお、ループ状に連なったエッジを検出せ
ずに、探索すべきエッジがなくなったとき、この処理は
失敗したことになる。

【００３２】(3) 指し示された点を内部に持つループの
判定：検出したループには、図５（ａ）に示すように、
指し示されたポイントｐを内部に持つものと、図５
（ｂ）に示すように、そうでないものとがある。これを
判定するため、ループを構成するそれぞれのエッジの端
点と指定されたポイントｐとによって作られるベクトル
Ｖを求め、次に隣り合ったベクトルＶ同士のなす角度θ
を算出し、この全ベクトルＶ間の角度θの総和が２π(r
ad) のとき、指し示された点を内部に持つループと決定
する。

【００３３】ｃ．ステレオ対応付け 図６（ａ）に示すように左画像より検出されたターゲッ
トＥL を構成するループを、図６（ｂ）に示す右画像よ
りステレオ対応付けを行って右画像のエッジＥR を抽出
する。左画像において検出したループを構成するエッジ
ＥL 以外のものは、予め全て削除し、余分なステレオ対
応付けを行わないようにしておく。

【００３４】ステレオ対応付けを行った後、左画像にお
いて検出したループを構成するエッジＥR において未だ
対応を付けられなかったエッジＥ7 に対して、右画像よ
りすでに対応付けられたエッジＥ5 の端点のある丸Ｃ7
の範囲内にあるエッジＥ7 を探索する。検出したエッジ
Ｅ7 の向きと長さがある程度の条件を満たしていれば、
これを対応付けする。

【００３５】最後に、ステレオ対応付けされた左右のエ
ッジＥL ，ＥR の端点における視差の偏差σを求める。
このとき、図７（ａ），（ｂ）に示すように、３σ以上
の偏差σを持つエッジＥ7 Ｅ7 の組みは対応ミスとして
削除する。

【００３６】尚、このステレオ対応付けがうまく行かな
かったとき、オペレータによるエッジの修正を行う。

【００３７】ｄ．ターゲットの位置／姿勢の検出 ターゲットの位置／姿勢の検出を行う際に、左右のカメ
ラが、図９に示すように光軸が、それぞれ任意の方向に
ある場合を考慮する。これは後述するカメラのキャリブ
レーションの際に、カメラのロボットのツール座標から
見た位置／姿勢を得るためである。但しステレオ画像を
得るのに物理的に不可能な配置や、左右のカメラが入れ
替わったり上下が逆さまになるような配置は考えず、だ
いたい光軸に対して平行に置かれているものとする。

【００３８】(1) 対応点の選択：ターゲット面の位置／
姿勢を検出するために３次元空間上で３点を検出する。
そこで、左右画像のループ状に連なったエッジ上にある
３つの対応点を選択する。通常はコーナーなどの特徴点
を利用するが、多くの凸角を持つ面の場合、コーナー点
の対応ミスがしばしば考えられる。そこで、に左画像の
エッジに対応付けされたもの以外すべて余分なエッジは
削除されているものとする。

【００３９】エピポーラ線は、図９から次のように算出
する。

【００４０】先ず、ターゲットの点をＰとし、そのワー
ルド座標をＸ，Ｙ，Ｚとし、左右のレンズの中心をそれ
ぞれＯl ，Ｏr とし、左画像面２０ａ，右画像面２０ｂ
の姿勢の座標を、それぞれ（ｘl ，ｙl ，ｚl ）、（ｘ
r ，ｙr ，ｚr ）とする。

【００４１】次に、左右のレンズ中心Ｏl ，Ｏr を結ぶ
線をｄ、左右の画像２０ａ，２０ｂのターゲットの点を
Ｐｌ，Ｐｒ、ターゲットＰと左レンズの中心Ｏl を結ぶ
直線ＰＯl 、ターゲットＰと右レンズの中心Ｏr を結ぶ
直線ＰＯr とすると、これら点Ｐ，Ｏl ，Ｏr ，Ｐｌ，
Ｐｒ及び線ｄ，ＰＯl ，ＰＯr は、同一のエピポーラ面
ＥＰにある。

【００４２】今、直線ＰＯr と右画像面（右画面を含む
無限に近い広い面）２０ｂが交差する点Ｐr におけるエ
ピポーラ線をＥｐｉとし、そのエピポーラ線Ｅｐｉと左
画像のターゲットｐとレンズ中心Ｏｌとを結ぶ直線ＰＯ
l との交点をｘe とする。また点Ｐr における座標を
（ｔr ，ｋr ，ｎl ）とし、光軸方向の法線方向を（ｋ
r ）とエピポーラ線Ｅｐｉ方向を（ｔr)とする。

【００４３】さて、右画像面２０ｂの点Ｐr について考
察すると、エピホーラ線の方向ベクトルｔr は、光軸方
向のベクトルｋr とエピポーラ面ＥP の法線方向のベク
トルｎl で求められる。

【００４４】この法線ベクトルｔr とベクトルｎl と
は、次の数１〜４のようになる。

【００４５】

【数１】

【００４６】

【数２】

【００４７】

【数３】

【００４８】

【数４】

【００４９】この法線ベクトルｋr とベクトルｎl によ
りエピポーラ線の方向ベクトルｔrが求められ、エピポ
ーラ線Ｅｐｉを求めることができる。

【００５０】なお、エピポーラ線とエッジとの交点が２
つある場合、選択した任意の点がループの左右どちらの
エッジ上にあるかを考慮し、図８（ｂ）に示すようにエ
ピポーラ線Ｅｐｉに対して交点が左の場合は図８（ａ）
で左を、右の場合は交点の右を選択する。

【００５１】(2) ３次元空間上の位置検出：検出したそ
れぞれの３つの左右画像の対応点において、３次元空間
上の３点の位置を算出する。

【００５２】求める位置ベクトルＰは、ｃ1 ，ｃ2 を係
数として数５〜８のようにして計算できる。

【００５３】

【数５】

【００５４】

【数６】

【００５５】

【数７】

【００５６】

【数８】

【００５７】上述した数１〜４よりエピポーラ線Ｅｐｉ
が求まり、またｄは既知であるため、ｃ1 ，ｃ2 を求め
ることができ、位置ベクトルＰを計算できる。

【００５８】次に検出するターゲットの位置ベクトル
は、ロボットの手先付近に設置したツール座標系で指定
する。このツール座標系とカメラの姿勢によっては数５
〜８が複雑になるためである。ここで用いるツール座標
系は、そのＺ軸がカメラの光軸と垂直にならない位置に
設定する。

【００５９】ターゲット面の姿勢は、図１０（ａ）に示
すように、画象面２０上の座標系をｘ，ｙとし、ターゲ
ットのエッジＥで選択した３点Ｐ1 ，Ｐ2 ，Ｐ3 （図で
は左エッジ上に２点Ｐ1 ，Ｐ2 、右エッジ上に１点Ｐ3
）があるとすると、左エッジの２点Ｐ1 ，Ｐ2 に対応
した３次元空間上の向きが（画像上の座標系でｙの値が
小さい点Ｐ1 から大きい点Ｐ2 へ）ｙ軸方向を示し、右
エッジ上の点Ｐ3 側にｙ軸方向の平面座標に対して法線
ベクトルの向きを、Ｚ軸方向とすると、図１０（ｂ）に
示すようにターゲット面Ｔの姿勢を求めることができ
る。

【００６０】またターゲット面上の原点は、左エッジ上
の２点Ｐ1 ，Ｐ2 のうち画像上の座標系でｙの値が大き
い点と右エッジの点Ｐ3 によって作られた３次元空間の
線分の中点ｏに置く。

【００６１】ｄ．キャリブレーション ロボットがターゲットを把持するためには、ステレオ画
像計測をして得られたターゲットの位置／姿勢データ
を、ツール座標系から見たデータに変換してロボットに
与える。

【００６２】ツール座標系とデフォルトの手先カメラ座
標系の関係は図１１の通りである。

【００６３】図１１より手先座標系とツール座標系とは
（ｘｃ，ｙｃ，ｚｃ）位置がずれている。

【００６４】従って、３次元空間におけるカメラのレン
ズ中心とツール座標系との位置／姿勢を表す６つのパラ
メータ（ｘ，ｙ，ｚ，φ，θ，ψ）を決定する。

【００６５】ｅ．手先カメラ座標系の設定 ロボットのツール座標系から手先カメラ座標系へのデフ
ォルトの変換（デフォルトのカメラ座標系）ＴＣを数９
のように設定する。

【００６６】

【数９】

【００６７】以上より、マウスを操作し、画像でターゲ
ットをマウスポインタでクリックするだけでターゲット
の位置／姿勢が求めることが可能であり、ロボットで、
そのターゲットの座標が簡単に認識できるため、これを
容易にハンドリングすることができる。

【００６８】この遠隔操作は、ロボットに予め位置／姿
勢を認識するプログラムとロボットを制御するプログラ
ムが組み込まれたコンピュータを搭載し、画像情報のみ
オペレータ側のコンピュータに送信し、そこでターゲッ
トの指定のみを行うことで、完全な自動遠隔操作が可能
となり、作業環境に人が入れない状況下での操作に最適
である。

【００６９】

【発明の効果】以上要するに本発明によれば、ロボット
の手先に設けた左右のカメラのでターゲットを撮影し、
その画像の中のターゲットの任意の点と実際のターゲッ
トの点とをエピポーラ線を用いて三角測量することでス
テレオ対応付けが行えるため、手先とターゲットとの位
置・姿勢を求めることが可能となり、これを元にロボッ
トを簡単に制御することが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例を示す概略図である。

【図２】本発明の処理のフローを説明する図である。

【図３】本発明において、クリックポイントからのルー
プエッジの探索法を説明する図である。

【図４】本発明において、ターゲットエッジからループ
エッジを認識するためエッジ追跡法を説明する図であ
る。

【図５】本発明において、クリップポイントとターゲッ
トエッジの関係を説明する図である。

【図６】本発明において、左右のエッジの対応付けを説
明する図である。

【図７】本発明において、左右のエッジの対応付けがで
きなかった例を説明する図である。

【図８】本発明において、エピポーラ線における左右の
点の対応点の選択を説明する図である。

【図９】本発明において、エピポーラ面におけるエピポ
ーラ線を用いてターゲットの位置／姿勢を三角測量する
ための説明図である。

【図１０】本発明において、ターゲット面の姿勢を説明
する図である。

【図１１】本発明において、デフォルトのカメラ座標系
と位置計測の関係を示す図である。

【符号の説明】

１ ロボット ５ 手先 ６ コンピュータ ８ａ、８ｂ カメラ １４ａ ターゲット Ｅ エッジ Ｅｐｉ エピポーラ線

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小出 誠二 東京都江東区豊洲三丁目１番15号 石川島 播磨重工業株式会社東二テクニカルセンタ ー内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ロボットの手先の左右にカメラを取り付
   け、その左右のカメラで作業を行う面を撮影すると共に
   その画像をコンピュータに取り込み、一方の画像から任
   意の形状をターゲットとして決定し、そのターゲットの
   ループ状に連なったエッジを抽出して形状を認識し、次
   に他方のカメラで撮影された画像中対応するターゲット
   のループ形状を認識し、一方のループ形状の任意の点の
   エピポーラ線とその任意の点に対応する他方の点の座標
   からロボットの手先とターゲットとの位置・姿勢を三角
   測量し、その三角測量値に基づいてロボットの手先を制
   御することを特徴とするロボットの遠隔操作方法。