JP2006113858A - 移動体の遠隔操作支援方法及びシステム - Google Patents

Abstract

【課題】 遠隔操作者が移動体の走行環境に関する情報を予め知らない場合においても、移動体周囲の状況を正確に把握し、容易に遠隔操作を行なうことを可能とする。
【解決手段】 周囲の画像情報を取得する撮像装置と、障害物までの距離を検出する距離検出センサとが搭載され、遠隔操作部の遠隔操作により移動する移動体の遠隔操作を支援する方法において、前記距離検出センサにより取得した障害物情報より２次元の障害物マップ１０４を生成する障害物マップ生成プロセスと、前記撮像装置により取得した画像情報１００に前記障害物マップから抽出した移動体の移動可能領域情報を重畳処理する重畳処理プロセスと、を備え、前記画像情報と前記重畳処理された前記移動可能領域情報とを同一の画面上に表示する。
【選択図】 図１

Description

本発明は、ロボット等の移動体に搭載された撮像装置により取得した画像情報を基に遠隔地から移動体を遠隔操作する移動体の遠隔操作支援方法及びシステムに関する。

従来より、各種プラント或いは工場等において、人間が立ち入るには危険な場所や人間が侵入困難な場所などを走行して目的とする作業を行なうロボット等の無人の移動体が広く導入されている。また、建物内の警備巡廻、特に夜間警備における省人化や、地震、火事等の災害時の救援作業における二次災害の防止を目的として、このような移動体の普及が強く望まれている。

一般的な移動体の遠隔操作方法としては、移動体に搭載したビデオカメラ等の撮像装置により移動体前方の周囲環境を撮像して遠隔地のオペレータに送信し、オペレータ側では移動体より受信した画像情報をモニタに表示して、この画像を目視しながらジョイスティック、十字キー等の操作部にて移動体の目標速度、方向等を指令するものであった。
しかしながら、ビデオカメラの視野角は狭く、また距離感をつかみ難い等の問題があり、直視の場合に比べて操作は格段に難しく、操作者の負担も大きい。従って、操作者の技術の未熟さや疲労によってミスが生じ、移動体が障害物等の危険を回避できなかったり、周囲の人や物に衝突する惧れがある。このように、移動体周囲環境の画像情報のみに頼って移動体を遠隔操作することは困難であった。

別の遠隔操作方法として、超音波センサ、赤外線センサ、或いはレーザーレーダ等の距離情報を取得する距離検出センサを利用する方法も用いられている。これは、距離検出センサを移動体に搭載し、移動体と障害物との相対距離を検出して移動体周囲の障害物情報を取得し、これに基づいて遠隔地のオペレータが移動体を遠隔操作するものであり、障害物の回避判断に優れた方法である。
しかし、距離検出センサは、検出波が反射する障害物の一点についてのみの相対距離情報を出力するものであり、出力可能な情報量に乏しく、複雑な環境には対応できないという問題があった。

そこで、特許文献１（特開平１１−１４９３１５号公報）では、移動体が具備するＣＣＤカメラ等の撮像手段により取得した静止画像に、予め設定された移動体の移動範囲に対応した二次元地図情報を透視図として重畳させた画像を画像表示器に表示する方法が開示されている。これにより、撮像手段による静止画像に距離感を補足することができ、遠隔操作が容易となる。但し、この方法の問題点は、予め移動する場所の地図情報が必要であることで、偵察ロボット等のように予め移動する場所の地図が必ずしも入手できない場合には適用できない。

また、特許文献２（特表２００３−５３２２１８号公報）には、遠隔操作者に提示する方法として、カメラ画像、パノラマ画像、オーバビュー画像、或いはロボットの姿勢等の様々な情報を１画面に提示して、操作者が操作し易いユーザインタフェースを提案している。
しかし、偵察ロボット等のように狭隘部や障害物が多く存在するような屋内の移動を想定した場合、これらの生情報だけでは、狭隘部をロボットが通過可能か否かが定量的に提示されないため、移動体の操作については操作者の堪に頼らざるを得ず、正確さに欠けるという問題があった。

特開平１１−１４９３１５号公報 特表２００３−５３２２１８号公報

従って、本発明は上記従来技術の問題点に鑑み、遠隔操作者が移動体の走行環境に関する情報を予め知らない場合においても、移動体周囲の状況を正確に把握することができ、容易に遠隔操作を行なうことができる移動体の遠隔操作支援方法及びシステムを提供することを目的とする。

そこで、本発明はかかる課題を解決するために、
周囲の画像情報を取得する撮像装置と、障害物までの距離を検出する距離検出センサとが搭載され、遠隔操作部の遠隔操作により移動する移動体の遠隔操作を支援する方法において、
前記遠隔操作部にて、前記距離検出センサにより取得した障害物情報より２次元の障害物マップを生成する障害物マップ生成プロセスと、前記撮像装置により取得した画像情報に前記障害物マップから抽出した移動体の移動可能領域情報を重畳処理する重畳処理プロセスと、を備え、
前記画像情報と前記重畳処理された前記移動可能領域情報とを前記遠隔操作部の同一の画面上に表示することを特徴とする。

本発明によれば、移動体が通過可能な方向を画像情報とともに実画面上で容易に視認できるため、操作性が向上する。即ち、移動体が撮像した画像情報のみでなく、距離検出センサにより検出した障害物情報を前記画像情報に含ませることにより、移動体の通過可能な領域を定量的に提示することができ、遠隔操作の正確性が向上する。また、これらを同一画面に表示するようにしたため、遠隔操作者が視認し易くなり操作性が向上する。
前記移動可能領域は、該移動可能領域をハッチングして示したり、画像上部或いは下部に帯状のスペースを設けて示すことなどにより表示することができる。また、ハッチング以外に、障害物までの距離や移動速度に応じて通過可能性を色別、或いは濃淡の変化により示すこともできる。尚、前記移動可能領域を表示する際には、障害物の存在する移動不可領域を上記したような方法により他と区別することにより移動可能領域を示すようにしても良い。

また、前記障害物マップと前記移動体の移動軌跡を前記遠隔操作部のデータベースに逐次蓄積し、前記遠隔操作部にて該データベースに蓄積された複数の障害物マップを融合するとともに、前記移動体の移動軌跡を付与して２次元の移動地図を生成する移動地図生成プロセスを備え、該移動地図を他の画面上に表示することを特徴とする。
このように、移動体の移動に伴い過去の障害物マップ及び移動軌跡を蓄積し、移動地図を生成することにより、移動体の走行環境の地図を予め入手できない場合でも、前記移動地図を前記移動可能領域が重畳された画像情報と併用することで操作状況を簡単に把握することができ、操作性が向上する。

さらに、前記重畳処理プロセスにて、前記画像情報に前記移動可能領域情報を重畳処理する選択が行なわれた場合にのみ該重畳処理をすることを特徴とする。
これによれば、画面上に前記移動可能領域を表示しないようにできるため、明瞭な画像情報により作業を行なう必要が生じた場合に、実画面の視認性に影響を与えることなく操作者が画像情報を容易に確認できる。

またシステムの発明として、周囲の画像情報を取得する撮像装置と、障害物までの距離を検出する距離検出センサとを備え、遠隔操作により移動する移動体と、
前記画像情報を表示する画像表示装置と、前記移動体の操作指示を入力する操作器とを備え、前記移動体を遠隔操作する遠隔操作部と、からなる移動体の遠隔操作支援システムにおいて、
前記遠隔操作部が、前記距離検出センサにより取得した障害物情報に基づき２次元の障害物マップを生成する障害物マップ生成装置と、前記画像情報に前記障害物マップから抽出した移動体の移動可能領域情報を重畳処理する重畳処理装置と、を備え、
前記画像表示装置の一の画面上に、前記画像情報と前記重畳処理装置にて重畳処理された前記移動可能領域情報とを同時に表示することを特徴とする。

また、前記遠隔操作部が、前記障害物マップと前記移動体の移動軌跡を蓄積するデータベースと、該データベースに蓄積された複数の障害物マップを融合するとともに、前記移動体の移動軌跡を付与して２次元の移動地図を生成する移動地図生成装置とを備え、該移動地図を前記画像表示装置の他の画面上に表示することを特徴とする。
さらに、前記重畳処理装置が、前記画像情報に前記移動可能領域情報を重畳処理するか否かを選択する選択手段を備えたことを特徴とする。

さらにまた、前記遠隔操作部が、前記画像表示装置に表示された重畳画像に基づき前記移動体の移動目標点を教示する教示手段を備えたことを特徴とする。
これは、通信に時間遅れがあり遠隔操作部によるリアルタイムの遠隔操縦が困難な状況などにおいて、予め移動目標点を一又は複数教示しておくことにより移動体を円滑に移動させることが可能となる。

また、前記遠隔操作部が、前記移動可能領域内における前記移動体の移動予測位置を算出して前記画像表示装置に表示された重畳画像に該移動予測位置を表示する手段を備えたことを特徴とする。
このように、移動体が通過するイメージを実画面上で遠隔操作者にシミュレーションにて提示することで、操作者がそのイメージを容易に確認することが可能となる。

以上記載のごとく本発明によれば、移動体が通過可能な方向を画像情報とともに実画面上で容易に視認できるため、操作性が向上する。即ち、移動体が撮像した画像情報のみでなく、距離検出センサにより検出した障害物情報を前記画像情報に含ませることにより、移動体の通過可能な領域を定量的に提示することができ、遠隔操作の正確性が向上する。また、これらを同一画面に表示するようにしたため、遠隔操作者が視認し易くなり操作性が向上する。
また、移動体の移動に伴い過去の障害物マップ及び移動軌跡を蓄積し、移動地図を生成することにより、移動体の走行環境の地図を予め入手できない場合でも、前記移動地図を前記移動可能領域が重畳された画像情報と併用することで操作状況を簡単に把握することができ、操作性が向上する。
さらに、画像情報に移動可能領域情報を重畳処理する選択が行なわれた場合にのみ該重畳処理をすることにより、画面上に前記移動可能領域情報を表示しないようにすることができるため、明瞭な画像情報により作業を行なう必要が生じた場合に、実画面の視認性に影響を与えることなく操作者が画像情報を容易に確認できる。

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
本実施例では、移動体として未知な作業空間にて情報収集を行なう偵察ロボット等のロボットを一例として採用している。ここでロボットとは、マニピュレーション機能を有する機械であっても良いし、有さないものであっても良い。また本実施例において、ロボットの走行環境は限定されるものではないが、特に障害物や狭隘部が存在する室内空間において、本実施例の遠隔操作支援システムを好適に用いることができる。

図１乃至図５に本実施例１に係る遠隔操作支援システムに係わる図を示す。
図１は、本発明の実施例１に係る遠隔操作支援システムの画面表示処理について説明する図で、画像情報を表示した表示画面（ａ）、及び距離検出センサ情報に基づき生成した障害物マップ（ｂ）、画像情報に移動可能領域を重畳した表示画面（ｃ）、図２は本実施例に用いられるロボットの斜視図、図３は図１（ｂ）の障害物マップから生成した２次元移動地図、図４は本実施例に係る遠隔操作支援システムの全体ブロック図、図５は本実施例に係る遠隔操作支援アルゴリズムを示すフローチャートである。

図４に示されるように、本実施例に係るシステムは、遠隔操作者により各種指令の入力等が行なわれる遠隔操作装置１０と、前記遠隔操作者の指令により無人走行を行なうロボット５０と、からなる。
図４及び図３に示されるように、前記ロボット５０は、該ロボット５０に搭載された通信装置５１と、撮像装置５２と、距離検出センサ５３と、該ロボット５０の駆動系を構成する駆動装置５４と駆動制御装置５５と、を備えている。
前記通信装置５１は、無線ＬＡＮ等の無線回線又は有線回線により直接、或いは前記回線を介してネットワークに接続して、前記遠隔操作装置１０とデータ通信を行なう機能を有し、このとき前記ロボット５０とは別に設けられたルータやホスト端末等の通信中継機器を経由して通信を行なうようにしても良い。

前記撮像装置５２は、ロボット５０の周囲の光景を電気信号として取り込み、アナログ信号からデジタル信号に変換し、必要に応じて圧縮処理を施して画像情報として前記通信装置５１を介して前記遠隔操作装置１０に送信する。該撮像装置５２には、例えばＣＣＤカメラ等を用いることができ、取得する画像情報は動画像であっても静止画像であっても良い。
前記距離検出センサ５３は、少なくとも前記ロボット５０の前方に存在する障害物と前記距離検出センサ５３との間の距離を検出し、センサ検出範囲内に存在する障害物の相対的な位置を取得する機能を有する。該距離検出センサ５３には、例えば赤外線センサ、超音波センサ、レーザーレーダ等を用いることができ、好適にはロボット５０を中心として放射状に複数設けると良く、また異なる種類のセンサに協調性を持たせて複数設けることも好ましい。

前記駆装置５４は、ロボット５０が走行するための手段であり、例えば車輪、キャタピラ、脚等を用いることができるが、本実施例では一例として４輪型の車輪を適用した場合を示した。該駆動装置５４は、前記遠隔操作装置１０からの指令に基づき、前記駆動制御装置５５により回転速度とステアリング角とが制御される。尚、前記駆動装置５４には、車輪の回転数を検出するエンコーダと、走行方向を検出するジャイロを設け、該回転数及び走行方向からロボットの絶対位置と進行方向とを求めるデッドレコニング装置を付設しても良い。

また、前記遠隔操作装置１０は、通信装置１１と、画像処理装置１２と、重畳処理装置１３と、障害物マップ生成装置１４と、データベース１５と、自己位置標定装置１６と、移動地図及び軌跡生成装置１７と、切換えスイッチ１８と、画像表示装置１９と、操作器２０と、を備えている。
前記通信装置１１は、無線ＬＡＮ等の無線回線又は有線回線により直接、或いは前記回線を介してネットワークに接続して、前記ロボット５０とデータ通信を行なう機能を有する。

前記画像処理装置１２は、前記ロボット５０に搭載された前記撮像装置５２にて取得した画像情報を受信し、該画像情報を画像表示装置１９に表示する際に、画面の位置、画像のズーム、照度等を調整する機能を有する。
前記障害物マップ生成装置１４は、前記ロボット５０に搭載された前記距離検出センサ５３により取得したセンサ情報に基づき、該ロボット５０の中心を基準とした障害物までの距離と方向を算出し、これにより求められた相対的な障害物の位置を２次元座標中にプロットした障害物マップを生成する。このとき、前記相対的な障害物の位置を絶対座標系に変換して障害物マップを生成しても良い。

前記重畳処理装置１３は、前記撮像装置５２にて取得した画像情報に対して、前記障害物マップ生成装置１４にて生成した障害物マップから抽出したロボット５０の移動可能領域情報を重畳させる処理を行なう。該重畳処理は、前記通過可能領域ではなく通過不可領域を表示させるようにしても良く、その表示形態は特に限定されない。
このとき、前記通過可能領域を重畳させるか否かは、操作者からの命令に基づき決定され、前記操作器２０からの入力により前記切換えスイッチ１８をＯＮにした時にのみ画像の重畳処理が行われるようにする。
前記重畳処理を行った場合の通過可能領域は、画面の色調を異ならせる、ハッチングをかける、画面上下端部に表示するなどの表示方法が採用できる。

前記データベース１５は、前記距離検出センサ５３により取得したセンサ情報や、前記障害物マップ及び前記ロボット５０の移動軌跡等を記憶させる。
前記自己位置標定装置１６は、前記データベース１５に登録された過去のセンサ情報に基づき、現在のロボット５０と障害物との位置関係から自己位置を標定するものである。
また別の方法として、前記エンコーダにより検出された走行距離及び前記ジャイロより検出された走行方向からなるロボット５０の移動実績データから、自分の位置データを更新しながら自己位置を算出しても良い。
前記移動地図及び軌跡生成装置１７は、過去の障害物マップ情報と最新の障害物マップ情報とを融合して２次元の移動地図を生成するとともに、前記自己位置標定装置１６により導出したロボット５０の過去の移動軌跡及び現在位置を移動軌跡として付与して２次元の移動地図を生成する。

前記画像表示装置１９は、遠隔操作者の選択により、ロボット５０の撮像装置５２より送られてくる動画像或いは静止画像等の画像情報や、前記障害物マップ生成装置１４にて生成した２次元の障害物マップや、前記移動地図及び軌跡生成装置１７にて生成された２次元の移動地図などが適宜表示されるようになっている。このとき、２以上の種類の画像をマルチウィンドウで表示することもできる。また、前記画像表示装置１９にタッチパネル機能をもたせて、操作者が画面に触れるのみでロボット５０の移動目標点等の各種情報を入力できるようにすると良く、さらに表示画像を拡大・縮小或いは並進・回転移動させて自在に表示できるものとする。該画像表示装置１９としては、例えば、液晶ディスプレイ、ＣＲＴディスプレイ、或いはプラズマディスプレイ等が挙げられる。

前記操作器２０は、操作者により操作され、前記ロボット５０の操作指令を入力するものであり、少なくとも前記ロボット５０の移動方向及び移動速度を入力可能なものである。これは、例えばジョイスティック、十字キー、キーボード、マイク等を用いることができる。該操作器２０にジョイスティックを採用した場合には、このジョイスティックの倒れ角及び方向からなる操作情報を読み込んで、ロボットに対してこれらの操作情報に基づいた移動命令を前記ロボット５０の駆動制御装置５５に送信し、これに対応する移動方向及び移動速度でロボット５０が走行するように駆動装置５４を制御する。

次に、図１を参照して本実施例１に係る遠隔操作支援システムの画面表示処理について説明する。図１（ａ）は、前記遠隔操作装置１０にて、前記ロボット５０に搭載された撮像装置５２により撮像したロボット５０の周囲の画像情報１００を前記画像表示装置１９に表示した図である。ロボット５０の走行環境は室内であり、この室内には椅子１０２や書棚１０３等の障害物が存在する。図１（ｂ）は、前記ロボット５０の距離検出センサ５３により取得したセンサ情報から生成した障害物マップ１０４であり、該ロボット５０の中心から所定距離、所定方向に検出された障害物１０６を×でプロットしている。図１（ａ）及び（ｂ）を前記重畳処理装置１３にて重畳処理した図が、図１（ｃ）であり、これは、前記障害物マップにおける通過可能領域をハッチングで前記画像情報１００に重畳して表示してある。

次に、図５を参照して本実施例１に係る遠隔操作アルゴリズムについて詳細に説明する。まず、前記ロボット５０に搭載された撮像装置５２にて撮像した画像情報を、前記通信装置５１を介して前記遠隔操作装置１０の画像処理装置１２に送信する（Ｓ１）。該画像処理装置１２では、前記画像情報を通信装置１１を介して受信し、遠隔操作者により操作器２０から入力された指示に基づき、前記画像情報を前記画像表示装置１９に表示する際の位置、画面のズーム、照度等を調整する（Ｓ２）。この画像情報を前記画像表示装置１９に表示した図を図１（ａ）に示す。
また前記撮像装置５２における画像情報の取得と同時、或いは時間差を以って、前記ロボット５０に搭載された距離検出センサ５３にて障害物と前記ロボット５０との位置関係を含むセンサ情報を検出し、該センサ情報を前記通信装置５１を介して前記遠隔操作装置１０の障害物マップ生成装置１４に送信する（Ｓ３）。該障害物マップ生成装置１４では、通信装置１１を介して前記センサ情報を受信し、ロボット５０の周囲の障害物マップを生成する（Ｓ４）。この障害物マップを図１（ｂ）に示す。

そして、図２に示したロボット５０の車幅Ｗと、図１（ｂ）に示した障害物の空き幅、即ち狭隘部Ｍ_１、Ｍ_２とを夫々比較し、Ｗ＜Ｍとなるロボット５０の通過可能領域を計算する（Ｓ５）。遠隔操作者は、移動可能領域を画面表示する場合には操作器２０を操作して切換えスイッチ１８をＯＮにし、画面表示しない場合には切換えスイッチ１８をＯＦＦにしておく。
前記重畳処理装置１３は、前記切換えスイッチ１８がＯＮである場合には、前記画像情報に通過可能領域を重畳する処理を行い（Ｓ７）、画面表示装置１９の画面上に重畳画像を表示する（Ｓ９）。一方、前記切換えスイッチ１８がＯＦＦである場合には、画像情報に通過領域を重畳する処理を行わず（Ｓ８）、そのまま画面表示装置１９の画面上に画像情報を表示する（Ｓ９）。

図１（ｃ）に重畳処理を行った画像情報を表示した画面を示す。同図では重畳処理により前記画像情報に通過可能領域をハッチング１０１にて表示したが、図６に示すように、画像上部、或いは下部に帯状のスペース１０９を設け、通過可能領域１１０を示すようにしても良い。このとき、前記スペース１０９に方角メモリを記すことが好ましい。また、通過可能領域の表示方法として、障害物までの距離やロボット５０の移動速度に応じて、通過可能性を色別に表示、或いは濃淡を替えて表示するようにしても良い。例えば、青色：移動可能（３ｍ以内には障害物がなく、当面移動可能）、黄色：注意（１ｍ以上３ｍ以内に障害物があり、暫く移動すると障害物に衝突）、赤色：警告（１ｍ以内に障害物があり、移動すると直ちに衝突）等とする。このように、ロボット５０が通過可能な方向を実画面の視認性に影響を与えることなく表示することにより、操作者が容易に確認できるようになる。

このようにして表示した画面を目視して、操作者はロボット５０の通過可能な方向へ操作器２０を操作し、ロボット５０の駆動系へ指令を送信する（Ｓ１１）。この指令に基づきロボット５０は移動し（Ｓ１２）、任務が終了したか否かを判断して（Ｓ１３）、終了していたら処理を停止し、終了していない場合には前記画像情報及びセンサ情報を取得する処理（Ｓ１、Ｓ３）に戻る。
このように、ロボット５０が通過可能な方向を、画像情報上に重畳して表示することにより、操作者が容易に操作を行なうことができるようになる。また、操作者が撮像画像と障害物マップを併せ見ることができるため、ロボットの通過可能方向を定量的に把握できる。

また、前記障害物マップ生成装置１４にて生成した障害物マップを、前記データベース１５に記憶させておき（Ｓ１３）、過去の障害物マップ情報と最新の障害物マップ情報とを比較してロボット５０の位置を標定（Ｓ１４）ようにしても良い。そして、前記データベース１５に蓄積された障害物マップを融合し、標定により得られたロボット５０の移動軌跡を付与した２次元の移動地図を生成することが好ましく、該移動地図を前記画像情報とともに前記画像表示装置１９に表示することも可能である。図３に前記移動地図を示す。１０７が移動軌跡、１０６が障害物である。
これによれば、偵察を目的とした場合のように移動体５０の走行環境の地図がない時であっても、ロボット５０が移動して作る移動地図を重畳画像情報と併用して利用することにより、遠隔操作者の操作を支援することができる。

図７乃至図１０に本実施例１に係る遠隔操作支援システムに係わる図を示す。
図７に本発明の実施例２に係る遠隔操作支援システムの画面表示処理ついて説明する図で、ロボットの移動目標点をタッチパネルで入力する場合の表示画面を示す図、図８に図７の障害物マップから生成した２次元移動地図及び地図上での移動目標点を示す図、図９に画像情報に移動可能領域を重畳するとともに、ロボットの通過をシミュレーションする場合の表示画面を示す図、図１０に図９の障害物マップから生成した２次元移動地図及びロボットの移動予測点を示す図を示す。

本実施例２に係る遠隔操作支援システムは、前記実施例１と同様の重畳処理を施した画像情報１１１に対してロボット５０の移動目標点１１３を教示し、該ロボット５０が移動目標点１１３に従って移動するように構成している。即ち、前記ロボット５０に搭載された撮像装置５２により取得した画像情報を通信装置５１を介して遠隔操作装置の画像処理装置１２に送信し、該画像処理装置１２にて、通信装置１１を介して前記画像情報を受信する。また前記ロボット５０の距離検出センサ５３により取得した障害物情報を通信装置５１を介して前記遠隔操作装置１０の障害物マップ生成装置１４に送信し、該障害物マップ生成装置１４にて、通信装置１１を介して障害物情報を受信し、障害物マップを生成する。

そして、前記障害物マップからロボット５０の通過可能領域１１２を抽出して前記画像情報１１１にハッチングにて表示する。さらに、本実施例では、遠隔操作者が前記操作器２０、或いはタッチパネルで前記移動可能領域１１２内に移動目標点１１３を一又は複数教示する。中間目標点を含めた複数の移動目標点を教示した場合には距離が短い順にロボット５０が移動するようにする。
図８に示されるように、これに対応して前記移動地図にも同様に移動目標点１１３が表示されるようにすると良い。
このように、移動目標点１１３を一又は複数教示することにより、通信に時間遅れがあり操作器２０等によるリアルタイムの遠隔操縦が難しい状況において、ロボット５０を円滑に移動させることが可能となる。

また、図９に示されるように、移動可能領域１１５をハッチングにより重畳した画像情報１１４中に、該移動可能領域１１５内の方向にロボット５０が移動する様子を事前にシミュレートするようにしても良い。これは、現時点でのロボット５０の位置から、ΔＴ_１、ΔＴ_２後のロボットの位置を移動速度及び方向に基づき夫々算出し、ΔＴ_１後のロボット５０’、ΔＴ_２後のロボット５０”を画像情報１１４中に表示する。
さらに、図１０に示されるように、前記移動地図中にΔＴ_１後のロボット５０’、ΔＴ_２後のロボット５０”の位置を表示することも好適である。
このように、ロボット５０が通過するイメージを実画面上で操作者に提示することで、操作者が操作イメージを容易に確認することができる。

本発明における移動体の遠隔操作支援システムは、移動体によるプラントや工場等の巡廻監視等に適用することができる。また、移動体の移動環境の地図を予め取得しておく必要がないため、例えば濃煙や有毒ガス等で作業員による建物内部状況の確認が困難な災害現場や、狭い場所等のように作業員が侵入困難な場所にて情報収集を行なう偵察ロボットの遠隔操作支援に適している。

本発明の実施例１に係る遠隔操作支援システムの画面表示処理について説明する図で、画像情報を表示した表示画面（ａ）、及び距離検出センサ情報に基づき生成した障害物マップ（ｂ）、画像情報に移動可能領域を重畳した表示画面（ｃ）である。 本実施例に用いられるロボットの斜視図である。 図１（ｂ）の障害物マップから生成した２次元移動地図を示す図である。 本実施例に係る遠隔操作支援システムの全体ブロック図である。 本実施例に係る遠隔操作支援アルゴリズムを示すフローチャートである。 図１（ｃ）の別の実施例に係る画像情報に移動可能領域を重畳した表示画面を示す。 本発明の実施例２に係る遠隔操作支援システムの画面表示処理ついて説明する図で、ロボットの移動目標点をタッチパネルで入力する場合の表示画面を示す。 図７の障害物マップから生成した２次元移動地図及び該地図上での移動目標点を示す図である。 画像情報に移動可能領域を重畳するとともに、ロボットの通過をシミュレーションする場合の表示画面を示す図である。 図９の障害物マップから生成した２次元移動地図及びロボットの移動予測点を示す図である。

符号の説明

１０ 遠隔操作装置
１２ 画像処理装置
１３ 重畳処理装置
１４ 障害物マップ生成装置
１５ データベース
１６ 自己位置標定装置
１７ 移動地図及び軌跡生成装置
１８ 切換え装置
１９ 画像表示装置
２０ 操作器
５０ ロボット
５２ 撮像装置
５３ 距離検出センサ
１００、１０８、１１１、１１４ 画像情報表示画面
１０１、１０５、１１０、１１２ 通過可能領域
１１３ 移動目標点

Claims (8)

1. 周囲の画像情報を取得する撮像装置と、障害物までの距離を検出する距離検出センサとが搭載され、遠隔操作部の遠隔操作により移動する移動体の遠隔操作を支援する方法において、
   前記遠隔操作部にて、前記距離検出センサにより取得した障害物情報より２次元の障害物マップを生成する障害物マップ生成プロセスと、前記撮像装置により取得した画像情報に前記障害物マップから抽出した移動体の移動可能領域情報を重畳処理する重畳処理プロセスと、を備え、
   前記画像情報と前記重畳処理された前記移動可能領域情報とを前記遠隔操作部の同一の画面上に表示することを特徴とする移動体の遠隔操作支援方法。
2. 前記障害物マップと前記移動体の移動軌跡を前記遠隔操作部のデータベースに逐次蓄積し、前記遠隔操作部にて該データベースに蓄積された複数の障害物マップを融合するとともに、前記移動体の移動軌跡を付与して２次元の移動地図を生成する移動地図生成プロセスを備え、該移動地図を他の画面上に表示することを特徴とする請求項１記載の移動体の遠隔操作支援方法。
3. 前記重畳処理プロセスにて、前記画像情報に前記移動可能領域情報を重畳処理する選択が行なわれた場合にのみ該重畳処理をすることを特徴とする請求項１記載の移動体の遠隔操作支援方法。
4. 周囲の画像情報を取得する撮像装置と、障害物までの距離を検出する距離検出センサとを備え、遠隔操作により移動する移動体と、
   前記画像情報を表示する画像表示装置と、前記移動体の操作指示を入力する操作器とを備え、前記移動体を遠隔操作する遠隔操作部と、からなる移動体の遠隔操作支援システムにおいて、
   前記遠隔操作部が、前記距離検出センサにより取得した障害物情報に基づき２次元の障害物マップを生成する障害物マップ生成装置と、前記画像情報に前記障害物マップから抽出した移動体の移動可能領域情報を重畳処理する重畳処理装置と、を備え、
   前記画像表示装置の一の画面上に、前記画像情報と前記重畳処理装置にて重畳処理された前記移動可能領域情報とを同時に表示することを特徴とする移動体の遠隔操作支援システム。
5. 前記遠隔操作部が、前記障害物マップと前記移動体の移動軌跡を蓄積するデータベースと、該データベースに蓄積された複数の障害物マップを融合するとともに、前記移動体の移動軌跡を付与して２次元の移動地図を生成する移動地図生成装置とを備え、該移動地図を前記画像表示装置の他の画面上に表示することを特徴とする請求項４記載の移動体の遠隔操作支援システム。
6. 前記重畳処理装置が、前記画像情報に前記移動可能領域情報を重畳処理するか否かを選択する選択手段を備えたことを特徴とする請求項４記載の移動体の遠隔操作支援システム。
7. 前記遠隔操作部が、前記画像表示装置に表示された重畳画像に基づき前記移動体の移動目標点を教示する教示手段を備えたことを特徴とする請求項４記載の移動体の遠隔操作支援システム。
8. 前記遠隔操作部が、前記移動可能領域内における前記移動体の移動予測位置を算出して前記画像表示装置に表示された重畳画像に該移動予測位置を表示する手段を備えたことを特徴とする請求項４記載の移動体の遠隔操作支援システム。

Images