JP2006051550A - 移動体への位置教示装置および位置教示方法 - Google Patents

Abstract

【課題】 教示対象の素材や形状にかかわらず、また教示対象が教示者から遠い位置に存在しても、教示対象を移動体に容易に教示する。
【解決手段】 教示対象箇所２６を目視している教示者２１の視線方向２３を計測する視線方向計測装置２４と、視線方向２３に基づいて教示者２１の目視先の画像を取得する目視先情報取得装置２８と、視線方向２３および目視先の画像に基づいて教示者２１が目視している教示対象箇所２６を特定する教示位置特定装置３０とを有する。
【選択図】 図１

Description

本発明は、移動体への位置教示装置および位置教示方法に関する。

移動ロボットなどの移動体への位置教示装置および位置教示方法、として、例えば特許文献１に記載されているものがある。
特許文献１には、図１０に示すように、教示者１が把持している教示具２の先端に指示指標３が設けられており、移動体４には画像処理装置５が設けられており、教示者１が教示具２の先端に設けられている指示指標３を教示対象物６の表面に当て、移動体４がその画像処理装置５により指示指標３を３次元的に計測することで、移動体４に教示対象物６を認識させることが記載されている。

また、特許文献１とは異なる装置および方法として、例えば、特許文献２に記載されているものがある。
特許文献２には、図１１に示すように、教示対象箇所に光照射を行って光の目印７をつける光照射装置８と、その光の目印７の位置を３次元的に計測する画像処理装置９を有する移動体１０とが配置され、光照射装置８により教示対象箇所に光を照射して光の目印７をつけ、この光の目印７の位置を移動体１０の画像処理装置９により計測することで、移動体１０に教示対象箇所を教示できることが記載されている。
特公平７−３２９９４号公報 特開平８−１５６３号公報

しかしながら、図１０および図１１を用いて説明した技術では、教示具２の先端の指示指標３や光の目印７を教示位置に当てる必要がある。このため、図１０に示した教示具２を用いる場合であれば、教示具２の届かない場所を教示することができず、したがって、遠くにある教示対象物を教示する際には、教示者１が教示対象物まで移動する必要がある。また、図１１に示したように光の目印７を用いる場合であれば、教示対象箇所の素材や形状によってはマーキングすなわち光の目印７を付与できないことがあるとともに、一定の距離を越える遠方には教示できないという課題がある。

そこで本発明は、教示対象の素材や形状にかかわらず、また教示対象が教示者から遠い位置に存在しても、教示対象を移動体に容易に教示することを目的とする。

上記課題を解決するために請求項１記載の発明は、教示対象箇所を目視している教示者の視線方向を計測する視線方向計測装置と、前記計測した視線方向に基づいて前記教示者の目視先の画像を取得する目視先情報取得装置と、前記視線方向と前記目視先の画像とに基づいて前記教示者が目視している前記教示対象箇所を特定する教示位置特定装置とを有するものである。

このような構成によれば、視線方向計測装置により、教示者の視線方向を計測し、目視先情報取得装置により、前記視線方向に基づいて前記教示者の目視先の画像を取得することで、教示位置特定装置により、前記視線方向と前記目視先の画像とに基づいて前記教示者が目視している教示対象箇所を特定することができる。したがって、教示対象箇所を移動体に教示する際に、例えば、教示対象箇所に目印を設ける必要が無く、これにより、教示対象箇所の素材や形状にかかわらず、また、教示対象箇所が教示者から遠い位置に存在しても、教示対象箇所を移動体に容易に教示することができる。

請求項２記載の発明は、請求項１記載の移動体への位置教示装置において、視線方向計測装置は、教示者の眼球を撮像する眼球撮像手段を有し、前記眼球撮像手段によって撮像した画像から前記教示者の眼球の向きを検知して前記教示者の視線方向を決定することが可能であるものである。

このような構成によれば、眼球撮像手段によって撮像した教示者の眼球の画像から前記教示者の眼球の向きを検知して前記教示者の視線方向を決定することができるので、視線方向をより正確に決定することができる。

請求項３記載の発明は、請求項２記載の移動体への位置教示装置において、眼球撮像手段により撮像した画像から視線方向計測装置により教示者の位置を計測するとともに、計測した前記教示者の位置に基づいて移動することで、前記教示者と所定の位置関係を保つことが可能とされているものである。

このような構成によれば、眼球撮像手段により撮像した画像から視線方向計測装置により教示者の位置を計測するとともに、計測した前記教示者の位置に基づいて移動することで、前記教示者と所定の位置関係を保つことができる。

請求項４記載の発明は、請求項１から３の何れか１項記載の移動体への位置教示装置において、教示位置特定装置が特定する教示対象箇所を表示する表示手段と、前記表示手段により表示された前記教示対象箇所の位置を修正可能な修正手段とを有するものである。

このような構成によれば、教示位置特定装置が特定する教示対象箇所を表示する表示手段と、前記表示手段により表示された前記教示対象箇所の位置を修正可能な修正手段とを有することで、教示対象箇所を移動体に確実に教示することができる。

請求項５記載の発明は、教示対象箇所を目視している教示者の視線方向を計測し、前記視線方向に基づいて前記教示者の目視先の画像を取得し、前記視線方向と前記目視先の画像とに基づいて前記教示者が目視している前記教示対象箇所を特定するものである。

このような構成によれば、教示対象箇所を目視している教示者の視線方向を計測し、前記視線方向に基づいて前記教示者の目視先の画像を取得し、前記視線方向と前記目視先の画像とに基づいて前記教示者が目視している前記教示対象箇所を特定することができる。したがって、教示対象箇所を移動体に教示する際に、例えば、教示対象箇所に目印を設ける必要が無く、これにより、教示対象箇所の素材や形状にかかわらず、また、教示対象箇所が教示者から遠い位置に存在しても、教示対象箇所を移動体に容易に教示することができる。

請求項６記載の発明は、請求項５記載の移動体への位置教示方法において、視線方向と目視先の画像とから、前記視線方向と、教示者の視線方向にある物体との交点を教示対象箇所として算出するものである。

このようにすると、視線方向と目視先の画像とから、前記視線方向と、教示者の視線方向にある物体との交点を教示対象箇所として算出することができる。
請求項７記載の発明は、請求項５または６記載の移動体への位置教示方法において、複数の教示対象箇所を特定し、前記複数の教示対象箇所を補間することで、移動体の経路を作成するものである。

このようにすると、複数の教示対象箇所を特定し、前記複数の教示対象箇所を補間することで、移動体の経路を作成することができる。
請求項８記載の発明は、請求項５から７の何れか１項記載の移動体への位置教示方法において、教示対象箇所を目視している教示者の視線方向を計測する際に、前記教示者の眼球の画像を取得し、前記画像に基づいて前記教示者との位置関係を測定し、前記測定結果に基づいて前記教示者と所定の位置関係を保つものである。

このようにすると、教示対象箇所を目視している教示者の視線方向を計測する際に、前記教示者の眼球の画像を取得し、前記画像に基づいて前記教示者との位置関係を測定することで、前記測定結果に基づいて前記教示者と所定の位置関係を保つことができる。

以上のように本発明によると、視線方向計測装置により、教示者の視線方向を計測し、目視先情報取得装置により、前記視線方向に基づいて前記教示者の目視先の画像を取得することで、教示位置特定装置により、前記視線方向と前記目視先の画像とに基づいて前記教示者が目視している教示対象箇所を特定することができる。したがって、教示対象箇所を移動体に教示する際に、例えば、教示対象箇所に目印を設ける必要が無く、これにより、教示対象箇所の素材や形状にかかわらず、また、教示対象箇所が教示者から遠い位置に存在しても、教示対象箇所を移動体に容易に教示することができる。

また、眼球撮像手段によって撮像した教示者の眼球の画像から前記教示者の眼球の向きを検知して前記教示者の視線方向を決定することができるので、視線方向をより正確に決定することができる。

また、眼球撮像手段により撮像した画像から視線方向計測装置により教示者の位置を計測するとともに、計測した前記教示者の位置に基づいて移動することで、前記教示者と所定の位置関係を保つことができる。

また、教示位置特定装置が特定する教示対象箇所を表示する表示手段と、前記表示手段により表示された前記教示対象箇所の位置を修正可能な修正手段とを有することで、教示対象箇所を移動体に確実に教示することができる。

また、教示対象箇所を目視している教示者の視線方向を計測し、前記視線方向に基づいて前記教示者の目視先の画像を取得し、前記視線方向と前記目視先の画像とに基づいて前記教示者が目視している前記教示対象箇所を特定することができる。したがって、教示対象箇所を移動体に教示する際に、例えば、教示対象箇所に目印を設ける必要が無く、これにより、教示対象箇所の素材や形状にかかわらず、また、教示対象箇所が教示者から遠い位置に存在しても、教示対象箇所を移動体に容易に教示することができる。

また、視線方向と目視先の画像とから、前記視線方向と、教示者の視線方向にある物体との交点を教示対象箇所として算出することができる。
また、複数の教示対象箇所を特定し、前記複数の教示対象箇所を補間することで、移動体の経路を作成することができる。

さらに、教示対象箇所を目視している教示者の視線方向を計測する際に、前記教示者の眼球の画像を取得し、前記画像に基づいて前記教示者との位置関係を測定することで、前記測定結果に基づいて前記教示者と所定の位置関係を保つことができる。

以下に、本発明の移動体への位置教示装置および位置教示方法の実施の形態を、図１〜図９を参照しながら説明する。
図１は、本発明の実施の形態の位置教示装置２０の概略構成を示し、図２は、位置教示装置２０における教示対象箇所の特定方法の一例を示し、図３は、位置教示方法の概略を示し、図４は、位置教示装置２０が教示対象箇所を特定するアルゴリズムを示している。また、図５〜図９は、本発明の実施の形態の位置教示装置の具体例を示している。

図１に示すように、位置教示装置２０は、教示者２１の眼球を眼球撮像手段としてのカメラ２２で撮像して教示者２０の視線方向２３を計測する視線方向計測装置２４と、視線方向計測装置２４から入力される視線方向２３についての視線方向データ２５から、視線方向２３の先（以下、目視先と記す）を目視先撮像手段としてのカメラ２７により撮像し、目視先の画像データ（以下、目視先データと記す）を取得する目視先情報取得装置２８と、目視先情報取得装置２８から入力される視線方向データ２５および目視先データ２９に基づいて、教示者２１が教示している教示対象箇所２６を特定する教示位置特定装置３０と、教示位置特定装置３０から入力される教示対象箇所２６についての教示位置データ３１を記憶する記憶装置３２とを備えている。

視線方向計測装置２４におけるカメラ２２は、例えば、近赤外線カメラであり、視線方向計測装置２４は、カメラ２２が撮像した教示者２１の眼球の画像データから教示者２１の眼球がどの方向に向いているのかを網膜反射により検知し、教示者２１の視線方向２３を決定する。

また、教示位置特定装置３０は、図２に示すように、目視先データ２９から目視先に存在する物体、すなわち、床や壁面などの環境平面３３を認識し、この環境平面３３と、視線方向データ２５に基づく視線方向ベクトル３４との交点を算出し、これを教示対象箇所２６としている。

このような構成において、教示者２１により、位置教示装置２０に教示対象箇所２６の教示を行う方法を図３に基づいて説明する。
まず、図３に示すように、ステップ１として、教示者２１が、教示対象箇所２６を目視し、ステップ２として、位置教示装置２０の視線方向計測装置２４におけるカメラ２２により、教示者２１の眼球を撮像し、教示者２１の眼球の画像データから、教示者２１の視線方向２３を計測する。

次に、ステップ３として、視線方向計測装置２４から入力される視線方向データ２５に基づいて、目視先情報取得装置２８におけるカメラ２７により、目視先の画像データを取得する。

次に、ステップ４として、目視先情報取得装置２８から入力される視線方向データ２５および目視先データ２９に基づいて、教示位置特定装置３０により、教示対象箇所２６を特定し、ステップ５として、教示位置特定装置３０から入力される教示対象箇所２６についての教示位置データ３１を記憶装置３２に記憶させる。

上記のような、ステップ１〜５の工程で、位置教示装置２０に教示対象箇所２６を教示させるが、位置教示装置２０が上記のステップ１〜５の動作を行うときのアルゴリズムを、図４を用いて説明する。

図４に示すように、教示者２１により、位置教示装置２０に対して教示対象箇所２６の教示が開始されると、位置教示装置２０は、ステップａとして教示者２１を確認し、ステップｂとして、教示者２１の視線方向２３を計測する。

そして、ステップｃとして、目視先の画像データを取得し、目視先データ２９から、目視先に床や壁などの物体があるのか否かを判断する。ここで、前記物体が無いと判断した場合、すなわち、教示されているもの（以下、教示目的と記す）が認識できない場合には、ステップｄに進み、教示目的の確認を行う。ステップｄにおいて、教示目的を確認できたならばステップｅに進み、教示目的を確認できなかった場合には、ステップｂに戻る。また、ステップｃにおいて、床や壁などの物体があると判断した場合には、ステップｅに進む。

ステップｅにおいて、図２に示したようにして、視線方向データ２５に基づく視線方向ベクトル３４と、床や壁面などの物体の環境平面３３との交点である教示対象箇所２６を算出する。このとき、教示対象箇所２６を特定できれば、ステップｆに進み、必要に応じて、教示対象箇所２６まで移動可能かどうかを判断して移動先を決定し、教示位置データ３１を記憶装置３２に記憶させる。また、教示対象箇所２６を特定できなければ、ステップｂに戻る。

ここで、上記のような移動体への位置教示装置の具体例を、図５〜図８に基づいて説明する。なお、図１を用いて説明した箇所と同様の部分には、同じ符号を付すことで、その詳細な説明を省略する。

図５に示す位置教示装置４０は、本体部４１と、位置教示装置４０を移動させる移動手段としての車輪４２と、本体部４１内に設けられて、位置教示装置４０の周囲の地図などのデータを有する地図データベース４３と、図示しない視線方向計測装置および目視先情報取得装置と、それらが有するカメラ２２、２７と、教示位置特定装置３０と、記憶装置３２と、教示位置特定装置３０が特定した教示対象箇所２６を表示する表示手段としてのモニタおよび前記モニタに表示された教示対象箇所２６に対して修正を施す修正手段としてのキーボードからなる教示情報表示入力装置４４とを備えている。

このような構成において、上記と同様の手順により、教示者２１が位置教示装置４０に教示対象箇所２６（２６ａ）を教示する。すなわち、教示者２１が教示対象箇所２６（２６ａ）を見ると、位置教示装置４０におけるカメラ２２で、教示者２１の眼球を撮像し、視線方向計測装置２４により教示者２０の視線方向２３を計測する。そして、視線方向データ２４に基づいて目視先情報取得装置２８におけるカメラ２７により、教示者２１の目視先の画像データを取得する。

そして、視線方向データ２５および目視先データ２９に基づいて、教示位置特定装置３０により、教示者２１が教示している教示対象箇所２６を特定する。そして、記憶装置３２に、教示位置特定装置３０から入力される教示位置についての教示位置データ３１を記憶する。このようにすると、位置教示装置４０に教示対象箇所２６（２６ａ）の位置を教示することができ、教示対象箇所２６（２６ａ）の素材や形状にかかわらず、また教示対象箇所２６（２６ａ）が教示者２１から遠い位置に存在しても、教示対象箇所２６を位置教示装置４０に容易に教示することができる。

なお、上記において、教示対象箇所２６（２６ａ）の画像もしくは情報を、教示情報表示入力装置４４に表示して、教示者２１に、位置教示装置４０が判断した教示対象箇所２６についての情報を通知し、その確認を行う。このとき、場合によっては、位置教示装置４０が判断した教示対象箇所２６（２６ａ）の修正等を行ってもよい。このようにすると、位置教示装置４０に教示対象箇所２６を確実に教示することができる。

また、教示対象箇所２６ａ、２６ｂ、２６ｃといったように複数の教示対象箇所２６を記憶装置３２に同時に記憶させるとともに、これらの教示対象箇所２６ａ、２６ｂ、２６ｃの位置を補間することにより、これらの教示対象箇所２６ａ、２６ｂ、２６ｃを経由する教示経路４５を形成して、これを、記憶装置３２に記憶させることもできる。

また、目視先データ２９の取得時に、目視先情報取得装置２８によって、ランドマーク４６の形状や色などの特徴を合わせて取得し、これを記憶装置３２にて記憶して、位置教示装置４０の動作時におけるランドマーク情報とすることもできる。これにより、位置教示装置４０が教示対象箇所２６をより正確に判断することができる。

また、位置教示装置４０が有する地図データベース４３によって、位置教示装置４０の周囲の地図などの環境の情報が手に入る場合は、その地図データベース４３から情報を取得して、教示対象箇所２６までの経路を判断しても良い。

また、特定の身振りや音声の合図によって、教示者２１が位置教示装置４０に対して教示対象箇所２６の教示を開始するということを、あらかじめ位置教示装置４０に設定しておき、この合図によって、位置教示装置４０を作動させることができる。

また、図５に示した位置教示装置４０とは異なる具体例を図６に示す。図６に示す位置教示装置５０においては、図５に示した位置教示装置４０における視線方向計測装置２４におけるカメラ２２と、目視先情報取得装置２８におけるカメラ２７とを兼用可能なカメラ５１を用いている。この場合、まずは、教示者２１の視線方向２３を計測するために、カメラ５１により教示者２１の眼球を撮像し、視線方向計測装置２４により、視線方向データ２５を計測する。次に、視線方向データ２５にしたがってカメラ５１を教示対象箇所２６側に向けて、教示対象箇所２６およびその周辺を撮像する。なお、図６に示した位置教示装置５０は、その他の箇所の構成において、図５に示した位置教示装置４０と同様であるので、その箇所の図示は省略している。

また、図５および図６に示した位置教示装置４０、５０とは異なる具体例を図７に示す。図７の位置教示装置６０は、例えば、図６に示した位置教示装置５０にすべての機能を持たせずに、その機能を、車輪４２を有する移動部６１と、教示経路生成装置６２とに分けている。そして、教示経路生成装置６２に設けられている無線などの適宜の通信手段６３により、移動部６１と教示経路生成装置６２との間で種々のデータを通信することができる。

また、図５〜図７に示した位置教示装置とは異なる具体例を図８に示す。図８に示す位置教示装置７０は、位置教示装置７０自身が、視線方向データ２５と目視先データ２９に基づいて目視先に移動し、視線方向計測装置２４のカメラ２２によって、教示者２１の視線方向２３とカメラ２２との位置のずれを検知する。そして、このずれを無くして両者が向かい合うように位置教示装置７０が移動し、その移動情報から、教示経路の作成を行う。

さらに、図５〜図８に示した位置教示装置とは異なる具体例を図９に示す。図９の位置教示装置８０では、位置教示装置８０自身が、視線方向計測装置２４によって得られた視線方向データ２５に基づいて、教示者２１の前方に移動し、視線方向計測装置２４のカメラ２２によって、教示者２１との位置関係８１を測定しつつ、教示者２１の移動８２に応じてその距離を一定に保つように移動８３を行う。そして、得られた移動情報から教示経路を作成する。このとき、教示者２１との位置関係８１の測定は、ステレオカメラや超音波センサなどの測距センサでもよい。なお、この位置教示装置８０が教示者２１の進行方向を判断する方法の例として、教示者２１が、移動中では、前記教示者２１の視線方向２３はかなり変動するため、視線方向２３を平均化することにより前記教示者２１の進行方向を判断している。また、カメラ２２などは、教示者２１の顔における目、鼻、耳、口など位置関係より、前記顔部が位置教示装置８０などに対してどのくらい傾いているのかの情報として、角度位置を検出する。

以上のことから、視線方向計測装置２４により、教示者２１の視線方向２３を計測し、目視先情報取得装置２８により、視線方向２３に基づいて教示者２１の目視先の画像を取得することで、教示位置特定装置３０により、視線方向２３と目視先データ２９とに基づいて教示者２１が目視している教示対象箇所２６を特定することができる。したがって、教示対象箇所を移動ロボットなどの移動体に教示する際に、例えば、教示対象箇所に目印を設ける必要が無く、これにより、教示対象箇所の素材や形状にかかわらず、また、教示対象箇所が教示者から遠い位置に存在しても、教示対象箇所を移動体に容易に教示することができる。

本発明の移動体への位置教示装置および位置教示方法によれば、視線により移動体の目標位置および経路の教示を容易に行うことができるので、教示位置に目印を設けることなしに、移動体の目標位置および経路の教示を容易に行うことができる。

本発明の実施の形態の位置教示装置の概略構成を示す図。 本発明の実施の形態の位置教示装置における教示対象箇所の特定方法の一例を示す図。 本発明の実施の形態の位置教示方法の概略を示す図。 本発明の実施の形態の位置教示装置が教示対象箇所を特定するアルゴリズムを示す図。 本発明の実施の形態の位置教示装置の具体例を示す図。 本発明の実施の形態の位置教示装置の他の具体例を示す図。 本発明の実施の形態の位置教示装置の他の具体例を示す図。 本発明の実施の形態の位置教示装置の他の具体例を示す図。 本発明の実施の形態の位置教示装置の他の具体例を示す図。 従来の移動体への位置教示方法の一例を示す図。 従来の移動体への位置教示方法の他の例を示す図。

符号の説明

２０ 位置教示装置
２１ 教示者
２３ 視線方向
２４ 視線方向計測装置
２６ 教示対象箇所
２８ 目視先情報取得装置
３０ 教示位置特定装置

Claims (8)

1. 教示対象箇所を目視している教示者の視線方向を計測する視線方向計測装置と、前記計測した視線方向に基づいて前記教示者の目視先の画像を取得する目視先情報取得装置と、前記視線方向と前記目視先の画像とに基づいて前記教示者が目視している前記教示対象箇所を特定する教示位置特定装置とを有することを特徴とする移動体への位置教示装置。
2. 視線方向計測装置は、教示者の眼球を撮像する眼球撮像手段を有し、前記眼球撮像手段によって撮像した画像から前記教示者の眼球の向きを検知して前記教示者の視線方向を決定することが可能であることを特徴とする請求項１記載の移動体への位置教示装置。
3. 眼球撮像手段により撮像した画像から視線方向計測装置により教示者の位置を計測するとともに、計測した前記教示者の位置に基づいて移動することで、前記教示者と所定の位置関係を保つことが可能とされていることを特徴とする請求項２に記載の移動体への位置教示装置。
4. 教示位置特定装置が特定する教示対象箇所を表示する表示手段と、前記表示手段により表示された前記教示対象箇所の位置を修正可能な修正手段とを有することを特徴とする請求項１から３の何れか１項記載の移動体への位置教示装置。
5. 教示対象箇所を目視している教示者の視線方向を計測し、前記視線方向に基づいて前記教示者の目視先の画像を取得し、前記視線方向と前記目視先の画像とに基づいて前記教示者が目視している前記教示対象箇所を特定することを特徴とする移動体への位置教示方法。
6. 視線方向と目視先の画像とから、前記視線方向と、教示者の視線方向にある物体との交点を教示対象箇所として算出することを特徴とする請求項５記載の移動体への位置教示方法。
7. 複数の教示対象箇所を特定し、前記複数の教示対象箇所を補間することで、移動体の経路を作成することを特徴とする請求項５または６記載の移動体への位置教示方法。
8. 教示対象箇所を目視している教示者の視線方向を計測する際に、前記教示者の眼球の画像を取得し、前記画像に基づいて前記教示者との位置関係を測定し、前記測定結果に基づいて前記教示者と所定の位置関係を保つことを特徴とする請求項５から７の何れか１項記載の移動体への位置教示方法。

Images