JP2004030445A - 移動ロボットの自己位置推定方法及びシステム、並びにプログラム - Google Patents
移動ロボットの自己位置推定方法及びシステム、並びにプログラム Download PDFInfo
- Publication number
- JP2004030445A JP2004030445A JP2002188483A JP2002188483A JP2004030445A JP 2004030445 A JP2004030445 A JP 2004030445A JP 2002188483 A JP2002188483 A JP 2002188483A JP 2002188483 A JP2002188483 A JP 2002188483A JP 2004030445 A JP2004030445 A JP 2004030445A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- environment
- orientation
- landmarks
- landmark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
【課題】人工的なマーカなどを用いずに、移動ロボットを静止させることなく、環境に存在する既知物体の3次元的な位置姿勢を求めながら、移動ロボットの自己位置推定を6自由度で行う。
【解決手段】移動ロボットが動作を開始する(A1)と同時に、位置決め対象となるべきランドマークを選択する(A2)。選択したランドマークの位置姿勢を、実時間3次元物体位置決め方法によって位置決めする(A3)。各ランドマークに対応する物体モデルと、ロボットの視覚センサによって観測した環境のデータとを照合し、各ランドマークの3次元空間中における6自由度の位置姿勢を、視覚センサの座標系において位置決めする。位置決めした各ランドマークと、環境マップの情報を用いることにより、環境座標系におけるロボットの6自由度の位置姿勢を算出する(A4)。そして、ロボットは、算出された自己位置姿勢に基づいて、以後の移動および動作についての計画を行う(A5)。
【選択図】 図2
【解決手段】移動ロボットが動作を開始する(A1)と同時に、位置決め対象となるべきランドマークを選択する(A2)。選択したランドマークの位置姿勢を、実時間3次元物体位置決め方法によって位置決めする(A3)。各ランドマークに対応する物体モデルと、ロボットの視覚センサによって観測した環境のデータとを照合し、各ランドマークの3次元空間中における6自由度の位置姿勢を、視覚センサの座標系において位置決めする。位置決めした各ランドマークと、環境マップの情報を用いることにより、環境座標系におけるロボットの6自由度の位置姿勢を算出する(A4)。そして、ロボットは、算出された自己位置姿勢に基づいて、以後の移動および動作についての計画を行う(A5)。
【選択図】 図2
Description
【0001】
【発明の属する技術分野】
本発明は、既知の環境中を任意に移動するロボットが、自己の位置姿勢を実時間で推定するための移動ロボットの自己位置推定方法及びシステム、並びにプログラムに関するものである。
【0002】
【従来の技術】
これまでに提案されているロボットの自己位置推定方法は、
(1) ロボットが容易に観測できるように材質等を工夫し、ロボットに観測されることだけを目的として環境中に人工的に設置するマーカを用いる方法や
(2) ロボットから壁面あるいは障害物までの距離と方向を検出することにより、ロボットの移動経路を決定する、障害物回避の技術を基本とした方法がある。
(1)の方法では、環境中に予めマーカを設置しておかなければならない。また、(2)の方法で推定できる自己位置は、ロボットが移動する床面上の3自由度(並進2、回転1)であることが一般的であり、近年開発が進みつつあるヒューマノイドロボットのように、姿勢に関する自由度が大きいロボットプラットホームの自己位置推定には十分ではない。
【0003】
ロボットの自己位置推定を、3次元空間中における並進と回転移動を含む6自由度で行うための手法としては、モデルベースの3次元物体認識手法を応用することが考えられる。
3次元物体認識は、未知の入力シーンと物体モデルとのマッチングにより、物体の位置姿勢を6自由度(並進3、回転3)で検出する手法である。この手法では、環境に存在する既知の3次元構造ランドマークとして用いることにより、ロボットの位置姿勢を高精度に推定することができる。また、マーカを用いず、環境中に存在する任意形状の物体をランドマークとして用いることができるといった利点もある。
しかしながら、このマッチング処理は、シーン全体の特徴と物体モデル特徴との対応探索の問題を含み、一般に多くの計算量を必要とするため短時間で処理することは困難であった。このため、3次元物体認識による自己位置推定法では、ロボットは、ランドマークを認識する度に静止しなければならなかった。
【0004】
【発明が解決しようとする課題】
本発明は、この問題を解決するため、移動ロボットが搭載する視覚装置に実時間3次元物体位置決め方法を用い、既知の環境中に複数存在する位置姿勢と形状が既知の3次元構造をランドマークとして実時間で位置決めすることにより、視覚センサの6自由度の位置姿勢を高精度に求める。
環境中にはランドマークが多数存在する可能性があるので、移動ロボットの移動に関する履歴を用いて、ある時点で同時に観測すべきランドマークを少数に限定し、それら複数のランドマークを同時に位置決めし、それら複数の位置決め結果を統合することによって、ロボットの位置姿勢を推定する。
それ故、本発明は、人工的なマーカなどを用いずに、移動ロボットを静止させることなく、通常物体の3次元的な位置姿勢を求めながら、移動ロボットの自己位置推定を6自由度で行うことを目的としている。
【0005】
【課題を解決するための手段】
本発明の移動ロボットの自己位置推定方法及びシステム並びにプログラムは、既知の環境中を任意に移動するロボットが、この既知の環境中における3次元的な位置と姿勢を実時間で推定する。そして、本発明は、このロボットが既知の環境中を静止することなく移動しながら、環境中に存在する複数の既知の構造をランドマークとして観測することによって、ロボット自身の位置姿勢を推定することを特徴としている。
【0006】
【発明の実施の形態】
図1は、本発明による移動ロボットの自己位置推定方法を実現するためのシステム構成を示すブロック図である。
同図中、1はシステム全体を制御するとともに、ロボットの自己位置推定処理を実行するコンピュータで、データバス2を通じて各部と接続されている。
3は視覚装置で、実時間3次元物体位置決め方法により、コンピュータ1 からデータバス2を介して、位置決め対象となるランドマークの物体モデルのデータを受信し、それらの物体モデルと観測した環境のデータとを照合し、物体モデルに対応するランドマークの3次元空間中における位置と姿勢(6自由度)を実時間で連続的に算出し、データバス2を通じてコンピュータ1に連続的に送信する。
【0007】
4は移動ロボット制御装置であり、移動ロボットの姿勢や移動、さらに作業等、ロボットの動作に関する全ての制御を行う。ロボットの現在位置と姿勢に関する情報を、コンピュータ1からデータバス2を介して受信し、ロボットの移動、作業などを計画し、実際にロボットを動作させる。また、ロボットが実際に移動した軌跡を、データバス2を介して常時コンピュータ1に送信する。
5はディスプレイ装置、6はキーボードターミナルであり、これらによってオペレータが本システムを操作する。
【0008】
7はハードディスクで、本発明に係る移動ロボットの自己位置推定プログラムのシステムソフトウェア、ランドマークの環境中における3次元的な配置を記述した環境マップ、および各ランドマークに対応する物体モデルを保存する。
8は本発明に係る移動ロボットの自己位置推定プログラム、環境マップ、物体モデルを記録させた記録媒体を読み取るための取り外し可能な記録媒体装置であり、システムソフトウェア、環境マップ、物体モデルはこの装置からハードディスク7にインストールされる。
さらに、このシステムはデータバス2とネットワークを介して外部のホストコンピュータ等と接続されており、システムプログラム等のインストールやデータの交換を行うことができる。
【0009】
図2は、本発明に係る移動ロボットの自己位置推定方法の基本的な処理を示すフローチャートである。
移動ロボットが移動する環境は既知であり、環境中に存在する3次元的な構造物の形状と環境座標における位置姿勢を、ランドマークとして環境マップに予め登録しておくこととする。
まず、移動ロボットが動作を開始する(A1)。
それと同時に、位置決め対象となるべきランドマークを選択する(A2)。ロボットが、現在位置に関するなんらかの情報を持っていれば、その位置情報と環境マップのデータを用いて、ロボットのセンサの視野内で観測される可能性のある全てのランドマークを、位置決め対象として選択する。ロボットの現在位置に関する情報が一切なければ、環境中に存在する全てのランドマークが位置決め対象となる。
【0010】
選択したランドマークの位置姿勢を、実時間3次元物体位置決め方法によって位置決めする(A3)。各ランドマークに対応する物体モデルと、ロボットがセンサによって観測した環境のデータとを照合し、各ランドマークの3次元空間中における6自由度の位置姿勢を、視覚装置の座標系において位置決めする。
次に、視覚装置座標系において位置決めした各ランドマークと、環境マップの情報を用いることにより、環境座標系におけるロボットの6自由度の位置姿勢を算出する(A4)。
【0011】
そして、ロボットは、算出された自己位置姿勢に基づいて、以後の移動および動作についての計画を行うか、必要であれば、実行中の動作計画を修正する(A5)。
さらに、新たに算出された自己位置の情報に基づき、ランドマークの選択(A2)から、処理を繰り返す。
【0012】
次に、図3〜図8を参照して上記の処理を詳細に説明する。
まず、(A2)のランドマーク選択について述べる。ロボットが既知の環境で任意の移動をするとき、ロボットのセンサでは、複数の既知の3次元構造が次々と視野内に現れ、視野内で任意の剛体運動をし、視野外へと出ていく様子が観測されると考えられる。これは、カメラを固定し、複数の移動物体を同時に認識・追跡する処理において観測される事象と基本的には同じである。
ロボットは、それら既知の3次元構造物のそれぞれをランドマークとして用い、それらの3次元的な位置姿勢を、モデルとの照合によるモデルベースの3次元物体位置決めを実時間で実行することにより、自分自身の位置姿勢を算出することができる。
【0013】
ここで、ロボットがランドマークとして利用できる3次元構造物は、ロボットによって観測されることだけを目的として人工的に設置するマーカではなく、環境中に存在する通常物体を用いる。ランドマークとして利用できる通常物体は、本発明で用いる3次元物体位置決め手法に依存するが、後述する実験で用いた手法では、画像処理によってエッジ抽出が可能な物体でさえあれば任意の形状の物体を利用できる。
従って、環境マップには、ロボットのセンサで観測される可能性があり、3次元物体位置決め手法で利用できる全ての3次元構造物を登録しておくことができる。
【0014】
以上のことから、移動ロボットが移動する環境中にはランドマークが多数存在する可能性がある。モデルベースの3次元物体位置決めにおいて、位置決めの対象となりうる物体が多数存在する場合、一般には、まず、入力されるシーンに適合する物体モデルの候補を選ぶ処理が必要である。
移動ロボットの場合、移動経路の履歴などをもとに、およその現在位置を予測し、センサの視野を推定することが可能である。従って、ランドマーク認識においては、たとえランドマークのモデル数が膨大なものであったとしても、環境マップの情報から、推定した視野内で観測される可能性のあるモデルを限定することができる。
【0015】
このとき、何らかの事前知識により、ランドマークの観測可能性についての情報が得られる場合を除き、ロボットの視野に入る可能性のある全てのモデルについて、位置決め処理を試みることが望ましい。なぜなら、ロボットが移動する環境では、照明条件などの条件により、どのランドマークが観測可能であるかを事前に推定することは一般に困難だからである。
こうして選択した複数のランドマークのそれぞれについて、入力データに対する位置決め処理を繰り返し行うことにより、複数物体の位置決めを行える。
次に、(A3)の3次元物体実時間位置決めは、本出願人が平成13年5月9日に出願した特願2001−138546号に記載の方法を用いて行うことができる。この方法については、後述する。
【0016】
次に、(A4)の複数のランドマーク位置決め結果からロボットの自己位置を推定する処理について述べる。3次元物体認識において、3次元物体の位置姿勢は、[数1]に示した4×4座標変換行列Tで表すことができる。
【数1】
ここで、Rは 3×3 回転行列、tは並進ベクトルである。移動ロボットがランドマークをT で表される場所に位置決めしたとすると、ロボットの自己位置は、Tの逆行列で表せる。
【0017】
移動ロボットのセンサでは、前述のように、複数のランドマークが同時に観測される可能性がある。このとき、本手法では、以下のようにして自己位置の算出を行っている。
時刻tにおいて、ロボットがN個のランドマークの位置決めを行い、各ランドマークが mi 個 (i=1,…,N) の代表点を持っていたとする。このとき、環境マップに登録されているworld座標系におけるランドマーク代表点の既知の3次元座標をx = [Xw、 Yw、 Zw]t 、ロボットが位置決めした代表点の座標をy = [Xr、 Yr、 Zr]t とすると、対応する代表点位置の組は、<xij、 yij> (j = 1,…, mi)であらわすことができる。図3は、2個のランドマークの位置決めを模式的に表している。図中細線で表した四角柱および三角柱の2つの物体は、環境マップに登録されているランドマークを、太線で表した四角形および三角形は、ロボットのセンサによって観測され、位置決めされたランドマークの位置姿勢である。
【0018】
このとき、y は認識誤差を含むので、xとは正確には一致しない。よって、<xij、 yij> について、[数2]で表される代表点間の自乗距離λを最小にするR、t を最小自乗法で算出することにより、ロボットの自己位置を求めることができる。
【数2】
ここで、一般に観測距離が遠いほど計測誤差が大きいと考えられるので、[数3]で表される重み計数w によって重みづけを行なう。
【数3】
【0019】
最後に、算出された自己位置に基づき、ロボットは移動や作業に関する計画を行う。また、既に計画がなされている場合は、必要があれば、算出された自己位置によって計画を補正・修正する。具体的な移動・作業の計画および修正自体は、ロボットが行うタスクに依存することであり、本発明の範囲外であるので、これ以上の詳細な説明は省略する。
【0020】
特願2001−138546号の概要
次に、本発明における移動ロボットの視覚装置において用いている3次元物体の実時間位置決め方法の例として、図9〜10を参照して特願2001−138546号の概要を述べる。
この物体追跡方法は、剛体運動をする物体の位置姿勢を、実時間で認識・追跡するシステムである。従来の実時間視覚システムが、過去のシーンやオブジェクトに関する情報を用いて、「現在」のフレームを高速処理することを基本としているのに対し、この方法では、図9に示すように、大容量のフレームバッファに循環的に蓄積される時系列画像データを並列的に処理することを基本とする。これにより、物体認識タスクと運動追跡タスクを統合し、移動物体の実時間位置決めを実現する。
【0021】
ここで、「物体認識」とは、未知の入力シーンと物体モデルとのマッチングにより、物体の位置姿勢を6自由度で検出する手法を言う。シーンの特徴とモデル特徴との対応探索の問題を含むので、少なくとも秒単位の処理時間を要する。また、「運動追跡」とは、時系列画像データにおいて、移動物体のフレーム間変移を、物体モデルを用いて検出する手法であり、物体認識と比べて短時間で処理が可能である。
【0022】
図9は、視覚装置を示した模式図である。視覚装置は、観測装置と画像メモリ装置からなる。画像メモリ装置は、数百Mバイト以上の総容量を持ち、数百フレームの画像データを蓄積可能な大容量フレームメモリから構成される。観測装置から入力される画像データは、フレームメモリの先頭から順に蓄積されていく。入力された画像データ量がフレームメモリの総容量を超えると、フレームメモリの先頭から画像データが上書きされ、これが繰り返される。
フレームメモリに蓄積される時系列画像データに対し、物体認識タスクと物体追跡タスクを実行する処理モジュールが、並列的にアクセスする。
【0023】
図10に視覚装置の基本的な処理過程を示した。図中、横軸は時間の経過を表している。また、図の上段はフレームメモリへの画像データ入力を、中段は物体認識モジュールと運動追跡モジュールの動作を、下段はシステムのモード遷移をそれぞれ示している。
図に示したように、時刻0に処理を開始したとき、フレームメモリの第0フレームF(0)に画像データが入力される。しかし、各モジュールは、まだ処理を開始することができず、「待ち」の状態にある。図では、待ち状態のモジュールを細線の帯で示している。
【0024】
tf 秒後にF(0)への画像データ蓄積が完了すると、物体認識モジュールは、F(0)に対して処理を開始する。ここで、tf はフレーム周期である。処理中のモジュールは太線の帯で示している。また、破線矢印は、各モジュールからフレームメモリへのアクセスを、太線帯中の数字は処理中のフレーム番号をそれぞれ示している。物体認識処理は、シーン全体から物体の位置姿勢を検出する手法であり、多くの計算量を要するため、フレーム周期よりも長い処理時間を要する。
【0025】
運動追跡モジュールは、物体認識モジュールの処理結果を受けて、処理を開始する。図中実線矢印はモジュール間のデータ授受を表す。運動追跡モジュールは、物体認識モジュールによって算出された、F(0)における物体の位置姿勢を基準として、F(i | i=1、2,…) における物体の位置姿勢を順次算出していく。
ここで、追跡モジュールが各フレームにおける物体の位置姿勢を算出するために要する時間はビデオレートよりも短い。よって、運動追跡の開始時点では、システムが追跡している物体の位置姿勢は、フレームバッファに蓄積された、現在時刻よりも過去のデータであるが、時間の経過と共に、現在データが入力されているフレームと、追跡処理を行っているフレームとの差は縮まって行く。そして、時刻tcatchup において、追跡処理はデータ入力に追い付く。これ以降、フレームへのデータ入力を待って、物体の現在位置が追跡されることになる。
【0026】
【実施例】
以下には、本発明による複数のランドマーク認識実験の例を示す。まず、平行移動ステージに固定した複数のランドマークの移動を実時間で認識・追跡し、センサ位置との相対的な移動を計測した実験結果を示す。この場合、センサは固定で、ランドマークが移動していることになるが、ランドマークを固定してセンサが移動した場合と観測される内容は同じである。またこの実験では、センサとランドマークの相対的な移動は既知である。
この実験では、センサとしてステレオカメラを用いた。図4に、実験で用いたカメラ設定を示した。ステレオカメラには、3つのカメラを1辺約22cmの正三角形に配置し、精密にキャリブレーションを行った3眼ステレオカメラヘッドを用いた。カメラにはCCDカメラを、レンズには焦点距離30mm 相当に設定したズームレンズを用いた。ステレオカメラは、移動ステージまでの距離が約1。5mになるように固定した。
【0027】
移動ステージ面はworld座標系のXY平面と平行に設置し、X軸と平行方向に約28cm、毎秒約12mmの速度で等速直線移動させた。ランドマークには、図に示したL型の積み木(物体0)とT型パイプ(物体1)を用いた。図中の写真は、ランドマークの移動開始位置、中間位置、移動終了位置において観測された時系列ステレオ画像の左画像である。
【0028】
図5は、本実験で位置決めされた、センサに対する各ランドマークの重心位置X、Y、Z と、物体のX、 Y、 Z軸回りの回転角度α、β、γをフレーム毎に時系列でプロットしたものである。なお、図中、時刻0から(A)までは、システムの初期化に要した時間である。(D)以降、ステージは停止している。
本実験の設定では、物体の重心位置のX座標は約0.4mm/frameの等速直線移動をし、Y、 Z座標は一定値のまま変化しないはずである。また、物体の回転角度は全て0のまま変わらないはずである。図5 に示した結果から、各物体の位置姿勢をほぼ正確に追跡できていることが分かる。
【0029】
図6は、ランドマークの位置決め結果から算出した左ステレオカメラ位置を、ランドマーク毎に別々にプロットしたものである。図中の点線がカメラの真の移動経路に相当する。数cm程度の誤差でカメラ位置を推定できていることが分かる。なお、カメラの回転移動は、図5 に示したランドマークの回転移動と等しくなる。
この実験で、カメラ位置推定の誤差が、ランドマークの位置決め誤差に比べて大きいのは、ランドマーク位置決めにおける回転角度に関する誤差が、自己位置推定の誤差に関して支配的であることを示している。ランドマーク位置決めにおける、回転移動に関する誤差をαとすると、αを起源とする自己位置推定誤差は、[数4]で表されるεαとみなすことができる。
【数4】
ここで、d はカメラからランドマークまでの観測距離である。図5から分かるように、今回の実験において、ランドマークの回転移動に関する位置決め誤差は、T型パイプで2deg.程度、積み木では1deg.弱に過ぎない。しかしながら、図4の設定(d ≒ 1500) では、たとえばランドマークの位置決め誤差が1deg.であったとしても、自己位置推定の誤差εαは約26mmになってしまう。
【0030】
一方、並進移動に関するランドマークの位置決め誤差をxとすると、x を起源とする自己位置推定の誤差εxは、ほぼxに等しいとみなすことができる。今回の実験において、並進移動に関する位置決め誤差は、一般に低精度とされるカメラ光軸方向に近いY 方向でも2〜3mm 程度、それ以外の方向では1mm 程度であることから、回転に関する誤差と比べると、自己位置推定への影響は小さい。
次に、実環境における本手法の有効性を示すために、ステレオカメラヘッドを移動させながら、カメラの位置姿勢を実時間で推定した実験結果を示す。
【0031】
図7に示すように、ステレオカメラヘッドをキャスター付き三脚に固定し、対象を観測しながら移動できるようにした。ステレオカメラヘッドには、CCDカメラと12mm相当に設定したズームレンズを、1辺約22cmの正三角形に配置して使用した。ランドマークには、室内の壁に固定された2つの3次元構造(スイッチ盤、平面図形)を用いた。カメラの移動は、カメラヘッドがなるべく壁面と平行な直線運動となるように注意しながら人手によって行った。移動距離は約2m、移動速度は秒速10〜40mm 程度であった。
この実験では、はじめ平面図形のみが観測可能であり、一時的に両方のランドマークが同時に観測され、その後スイッチ盤のみが観測される。図7の写真は、観測された時系列ステレオ画像から、両方のランドマークを観測可能なフレームのひとつを抜き出したもの(左画像)である。写真中には、そのフレームにおける各ランドマークの位置決め結果が、物体モデルを投影することによって示されている。
【0032】
図8は、実験の結果得られたセンサ位置をフレーム毎にプロットしたものである。図中、□ と○は、それぞれ平面図形またはスイッチ盤の位置決め結果のみから推定されたカメラ位置であり、△は、同時に得られたランドマークの位置決め結果を統合することによって得られたカメラ位置である。実環境でも、本手法による自己位置推定が有効であることがわかる。また、データの散らばりから、複数のランドマークを同時に観測することにより、自己位置推定を精度良く行えていることがわかる。
【0033】
【発明の効果】
本発明によれば、人工的なマーカなどを用いずに、移動ロボットを静止させることなく、通常物体の3次元的な位置姿勢を求めながら、移動ロボットの自己位置推定を6自由度で行うことが可能となる。
【図面の簡単な説明】
【図1】本発明を実施するためのシステム構成を示すブロック図。
【図2】本発明の基本的な処理の流れを示すフローチャート。
【図3】複数物体の位置決めによる自己位置推定を説明する図。
【図4】移動ステージを用いた自己位置推定実験。
【図5】移動ステージを用いたランドマークの位置決め結果。
【図6】移動ステージを用いた自己位置推定結果。
【図7】自己位置推定実験。
【図8】自己位置推定結果。
【図9】実時間3次元物体位置決め装置。
【図10】実時間3次元物体位置決め方法の処理過程。
【発明の属する技術分野】
本発明は、既知の環境中を任意に移動するロボットが、自己の位置姿勢を実時間で推定するための移動ロボットの自己位置推定方法及びシステム、並びにプログラムに関するものである。
【0002】
【従来の技術】
これまでに提案されているロボットの自己位置推定方法は、
(1) ロボットが容易に観測できるように材質等を工夫し、ロボットに観測されることだけを目的として環境中に人工的に設置するマーカを用いる方法や
(2) ロボットから壁面あるいは障害物までの距離と方向を検出することにより、ロボットの移動経路を決定する、障害物回避の技術を基本とした方法がある。
(1)の方法では、環境中に予めマーカを設置しておかなければならない。また、(2)の方法で推定できる自己位置は、ロボットが移動する床面上の3自由度(並進2、回転1)であることが一般的であり、近年開発が進みつつあるヒューマノイドロボットのように、姿勢に関する自由度が大きいロボットプラットホームの自己位置推定には十分ではない。
【0003】
ロボットの自己位置推定を、3次元空間中における並進と回転移動を含む6自由度で行うための手法としては、モデルベースの3次元物体認識手法を応用することが考えられる。
3次元物体認識は、未知の入力シーンと物体モデルとのマッチングにより、物体の位置姿勢を6自由度(並進3、回転3)で検出する手法である。この手法では、環境に存在する既知の3次元構造ランドマークとして用いることにより、ロボットの位置姿勢を高精度に推定することができる。また、マーカを用いず、環境中に存在する任意形状の物体をランドマークとして用いることができるといった利点もある。
しかしながら、このマッチング処理は、シーン全体の特徴と物体モデル特徴との対応探索の問題を含み、一般に多くの計算量を必要とするため短時間で処理することは困難であった。このため、3次元物体認識による自己位置推定法では、ロボットは、ランドマークを認識する度に静止しなければならなかった。
【0004】
【発明が解決しようとする課題】
本発明は、この問題を解決するため、移動ロボットが搭載する視覚装置に実時間3次元物体位置決め方法を用い、既知の環境中に複数存在する位置姿勢と形状が既知の3次元構造をランドマークとして実時間で位置決めすることにより、視覚センサの6自由度の位置姿勢を高精度に求める。
環境中にはランドマークが多数存在する可能性があるので、移動ロボットの移動に関する履歴を用いて、ある時点で同時に観測すべきランドマークを少数に限定し、それら複数のランドマークを同時に位置決めし、それら複数の位置決め結果を統合することによって、ロボットの位置姿勢を推定する。
それ故、本発明は、人工的なマーカなどを用いずに、移動ロボットを静止させることなく、通常物体の3次元的な位置姿勢を求めながら、移動ロボットの自己位置推定を6自由度で行うことを目的としている。
【0005】
【課題を解決するための手段】
本発明の移動ロボットの自己位置推定方法及びシステム並びにプログラムは、既知の環境中を任意に移動するロボットが、この既知の環境中における3次元的な位置と姿勢を実時間で推定する。そして、本発明は、このロボットが既知の環境中を静止することなく移動しながら、環境中に存在する複数の既知の構造をランドマークとして観測することによって、ロボット自身の位置姿勢を推定することを特徴としている。
【0006】
【発明の実施の形態】
図1は、本発明による移動ロボットの自己位置推定方法を実現するためのシステム構成を示すブロック図である。
同図中、1はシステム全体を制御するとともに、ロボットの自己位置推定処理を実行するコンピュータで、データバス2を通じて各部と接続されている。
3は視覚装置で、実時間3次元物体位置決め方法により、コンピュータ1 からデータバス2を介して、位置決め対象となるランドマークの物体モデルのデータを受信し、それらの物体モデルと観測した環境のデータとを照合し、物体モデルに対応するランドマークの3次元空間中における位置と姿勢(6自由度)を実時間で連続的に算出し、データバス2を通じてコンピュータ1に連続的に送信する。
【0007】
4は移動ロボット制御装置であり、移動ロボットの姿勢や移動、さらに作業等、ロボットの動作に関する全ての制御を行う。ロボットの現在位置と姿勢に関する情報を、コンピュータ1からデータバス2を介して受信し、ロボットの移動、作業などを計画し、実際にロボットを動作させる。また、ロボットが実際に移動した軌跡を、データバス2を介して常時コンピュータ1に送信する。
5はディスプレイ装置、6はキーボードターミナルであり、これらによってオペレータが本システムを操作する。
【0008】
7はハードディスクで、本発明に係る移動ロボットの自己位置推定プログラムのシステムソフトウェア、ランドマークの環境中における3次元的な配置を記述した環境マップ、および各ランドマークに対応する物体モデルを保存する。
8は本発明に係る移動ロボットの自己位置推定プログラム、環境マップ、物体モデルを記録させた記録媒体を読み取るための取り外し可能な記録媒体装置であり、システムソフトウェア、環境マップ、物体モデルはこの装置からハードディスク7にインストールされる。
さらに、このシステムはデータバス2とネットワークを介して外部のホストコンピュータ等と接続されており、システムプログラム等のインストールやデータの交換を行うことができる。
【0009】
図2は、本発明に係る移動ロボットの自己位置推定方法の基本的な処理を示すフローチャートである。
移動ロボットが移動する環境は既知であり、環境中に存在する3次元的な構造物の形状と環境座標における位置姿勢を、ランドマークとして環境マップに予め登録しておくこととする。
まず、移動ロボットが動作を開始する(A1)。
それと同時に、位置決め対象となるべきランドマークを選択する(A2)。ロボットが、現在位置に関するなんらかの情報を持っていれば、その位置情報と環境マップのデータを用いて、ロボットのセンサの視野内で観測される可能性のある全てのランドマークを、位置決め対象として選択する。ロボットの現在位置に関する情報が一切なければ、環境中に存在する全てのランドマークが位置決め対象となる。
【0010】
選択したランドマークの位置姿勢を、実時間3次元物体位置決め方法によって位置決めする(A3)。各ランドマークに対応する物体モデルと、ロボットがセンサによって観測した環境のデータとを照合し、各ランドマークの3次元空間中における6自由度の位置姿勢を、視覚装置の座標系において位置決めする。
次に、視覚装置座標系において位置決めした各ランドマークと、環境マップの情報を用いることにより、環境座標系におけるロボットの6自由度の位置姿勢を算出する(A4)。
【0011】
そして、ロボットは、算出された自己位置姿勢に基づいて、以後の移動および動作についての計画を行うか、必要であれば、実行中の動作計画を修正する(A5)。
さらに、新たに算出された自己位置の情報に基づき、ランドマークの選択(A2)から、処理を繰り返す。
【0012】
次に、図3〜図8を参照して上記の処理を詳細に説明する。
まず、(A2)のランドマーク選択について述べる。ロボットが既知の環境で任意の移動をするとき、ロボットのセンサでは、複数の既知の3次元構造が次々と視野内に現れ、視野内で任意の剛体運動をし、視野外へと出ていく様子が観測されると考えられる。これは、カメラを固定し、複数の移動物体を同時に認識・追跡する処理において観測される事象と基本的には同じである。
ロボットは、それら既知の3次元構造物のそれぞれをランドマークとして用い、それらの3次元的な位置姿勢を、モデルとの照合によるモデルベースの3次元物体位置決めを実時間で実行することにより、自分自身の位置姿勢を算出することができる。
【0013】
ここで、ロボットがランドマークとして利用できる3次元構造物は、ロボットによって観測されることだけを目的として人工的に設置するマーカではなく、環境中に存在する通常物体を用いる。ランドマークとして利用できる通常物体は、本発明で用いる3次元物体位置決め手法に依存するが、後述する実験で用いた手法では、画像処理によってエッジ抽出が可能な物体でさえあれば任意の形状の物体を利用できる。
従って、環境マップには、ロボットのセンサで観測される可能性があり、3次元物体位置決め手法で利用できる全ての3次元構造物を登録しておくことができる。
【0014】
以上のことから、移動ロボットが移動する環境中にはランドマークが多数存在する可能性がある。モデルベースの3次元物体位置決めにおいて、位置決めの対象となりうる物体が多数存在する場合、一般には、まず、入力されるシーンに適合する物体モデルの候補を選ぶ処理が必要である。
移動ロボットの場合、移動経路の履歴などをもとに、およその現在位置を予測し、センサの視野を推定することが可能である。従って、ランドマーク認識においては、たとえランドマークのモデル数が膨大なものであったとしても、環境マップの情報から、推定した視野内で観測される可能性のあるモデルを限定することができる。
【0015】
このとき、何らかの事前知識により、ランドマークの観測可能性についての情報が得られる場合を除き、ロボットの視野に入る可能性のある全てのモデルについて、位置決め処理を試みることが望ましい。なぜなら、ロボットが移動する環境では、照明条件などの条件により、どのランドマークが観測可能であるかを事前に推定することは一般に困難だからである。
こうして選択した複数のランドマークのそれぞれについて、入力データに対する位置決め処理を繰り返し行うことにより、複数物体の位置決めを行える。
次に、(A3)の3次元物体実時間位置決めは、本出願人が平成13年5月9日に出願した特願2001−138546号に記載の方法を用いて行うことができる。この方法については、後述する。
【0016】
次に、(A4)の複数のランドマーク位置決め結果からロボットの自己位置を推定する処理について述べる。3次元物体認識において、3次元物体の位置姿勢は、[数1]に示した4×4座標変換行列Tで表すことができる。
【数1】
ここで、Rは 3×3 回転行列、tは並進ベクトルである。移動ロボットがランドマークをT で表される場所に位置決めしたとすると、ロボットの自己位置は、Tの逆行列で表せる。
【0017】
移動ロボットのセンサでは、前述のように、複数のランドマークが同時に観測される可能性がある。このとき、本手法では、以下のようにして自己位置の算出を行っている。
時刻tにおいて、ロボットがN個のランドマークの位置決めを行い、各ランドマークが mi 個 (i=1,…,N) の代表点を持っていたとする。このとき、環境マップに登録されているworld座標系におけるランドマーク代表点の既知の3次元座標をx = [Xw、 Yw、 Zw]t 、ロボットが位置決めした代表点の座標をy = [Xr、 Yr、 Zr]t とすると、対応する代表点位置の組は、<xij、 yij> (j = 1,…, mi)であらわすことができる。図3は、2個のランドマークの位置決めを模式的に表している。図中細線で表した四角柱および三角柱の2つの物体は、環境マップに登録されているランドマークを、太線で表した四角形および三角形は、ロボットのセンサによって観測され、位置決めされたランドマークの位置姿勢である。
【0018】
このとき、y は認識誤差を含むので、xとは正確には一致しない。よって、<xij、 yij> について、[数2]で表される代表点間の自乗距離λを最小にするR、t を最小自乗法で算出することにより、ロボットの自己位置を求めることができる。
【数2】
ここで、一般に観測距離が遠いほど計測誤差が大きいと考えられるので、[数3]で表される重み計数w によって重みづけを行なう。
【数3】
【0019】
最後に、算出された自己位置に基づき、ロボットは移動や作業に関する計画を行う。また、既に計画がなされている場合は、必要があれば、算出された自己位置によって計画を補正・修正する。具体的な移動・作業の計画および修正自体は、ロボットが行うタスクに依存することであり、本発明の範囲外であるので、これ以上の詳細な説明は省略する。
【0020】
特願2001−138546号の概要
次に、本発明における移動ロボットの視覚装置において用いている3次元物体の実時間位置決め方法の例として、図9〜10を参照して特願2001−138546号の概要を述べる。
この物体追跡方法は、剛体運動をする物体の位置姿勢を、実時間で認識・追跡するシステムである。従来の実時間視覚システムが、過去のシーンやオブジェクトに関する情報を用いて、「現在」のフレームを高速処理することを基本としているのに対し、この方法では、図9に示すように、大容量のフレームバッファに循環的に蓄積される時系列画像データを並列的に処理することを基本とする。これにより、物体認識タスクと運動追跡タスクを統合し、移動物体の実時間位置決めを実現する。
【0021】
ここで、「物体認識」とは、未知の入力シーンと物体モデルとのマッチングにより、物体の位置姿勢を6自由度で検出する手法を言う。シーンの特徴とモデル特徴との対応探索の問題を含むので、少なくとも秒単位の処理時間を要する。また、「運動追跡」とは、時系列画像データにおいて、移動物体のフレーム間変移を、物体モデルを用いて検出する手法であり、物体認識と比べて短時間で処理が可能である。
【0022】
図9は、視覚装置を示した模式図である。視覚装置は、観測装置と画像メモリ装置からなる。画像メモリ装置は、数百Mバイト以上の総容量を持ち、数百フレームの画像データを蓄積可能な大容量フレームメモリから構成される。観測装置から入力される画像データは、フレームメモリの先頭から順に蓄積されていく。入力された画像データ量がフレームメモリの総容量を超えると、フレームメモリの先頭から画像データが上書きされ、これが繰り返される。
フレームメモリに蓄積される時系列画像データに対し、物体認識タスクと物体追跡タスクを実行する処理モジュールが、並列的にアクセスする。
【0023】
図10に視覚装置の基本的な処理過程を示した。図中、横軸は時間の経過を表している。また、図の上段はフレームメモリへの画像データ入力を、中段は物体認識モジュールと運動追跡モジュールの動作を、下段はシステムのモード遷移をそれぞれ示している。
図に示したように、時刻0に処理を開始したとき、フレームメモリの第0フレームF(0)に画像データが入力される。しかし、各モジュールは、まだ処理を開始することができず、「待ち」の状態にある。図では、待ち状態のモジュールを細線の帯で示している。
【0024】
tf 秒後にF(0)への画像データ蓄積が完了すると、物体認識モジュールは、F(0)に対して処理を開始する。ここで、tf はフレーム周期である。処理中のモジュールは太線の帯で示している。また、破線矢印は、各モジュールからフレームメモリへのアクセスを、太線帯中の数字は処理中のフレーム番号をそれぞれ示している。物体認識処理は、シーン全体から物体の位置姿勢を検出する手法であり、多くの計算量を要するため、フレーム周期よりも長い処理時間を要する。
【0025】
運動追跡モジュールは、物体認識モジュールの処理結果を受けて、処理を開始する。図中実線矢印はモジュール間のデータ授受を表す。運動追跡モジュールは、物体認識モジュールによって算出された、F(0)における物体の位置姿勢を基準として、F(i | i=1、2,…) における物体の位置姿勢を順次算出していく。
ここで、追跡モジュールが各フレームにおける物体の位置姿勢を算出するために要する時間はビデオレートよりも短い。よって、運動追跡の開始時点では、システムが追跡している物体の位置姿勢は、フレームバッファに蓄積された、現在時刻よりも過去のデータであるが、時間の経過と共に、現在データが入力されているフレームと、追跡処理を行っているフレームとの差は縮まって行く。そして、時刻tcatchup において、追跡処理はデータ入力に追い付く。これ以降、フレームへのデータ入力を待って、物体の現在位置が追跡されることになる。
【0026】
【実施例】
以下には、本発明による複数のランドマーク認識実験の例を示す。まず、平行移動ステージに固定した複数のランドマークの移動を実時間で認識・追跡し、センサ位置との相対的な移動を計測した実験結果を示す。この場合、センサは固定で、ランドマークが移動していることになるが、ランドマークを固定してセンサが移動した場合と観測される内容は同じである。またこの実験では、センサとランドマークの相対的な移動は既知である。
この実験では、センサとしてステレオカメラを用いた。図4に、実験で用いたカメラ設定を示した。ステレオカメラには、3つのカメラを1辺約22cmの正三角形に配置し、精密にキャリブレーションを行った3眼ステレオカメラヘッドを用いた。カメラにはCCDカメラを、レンズには焦点距離30mm 相当に設定したズームレンズを用いた。ステレオカメラは、移動ステージまでの距離が約1。5mになるように固定した。
【0027】
移動ステージ面はworld座標系のXY平面と平行に設置し、X軸と平行方向に約28cm、毎秒約12mmの速度で等速直線移動させた。ランドマークには、図に示したL型の積み木(物体0)とT型パイプ(物体1)を用いた。図中の写真は、ランドマークの移動開始位置、中間位置、移動終了位置において観測された時系列ステレオ画像の左画像である。
【0028】
図5は、本実験で位置決めされた、センサに対する各ランドマークの重心位置X、Y、Z と、物体のX、 Y、 Z軸回りの回転角度α、β、γをフレーム毎に時系列でプロットしたものである。なお、図中、時刻0から(A)までは、システムの初期化に要した時間である。(D)以降、ステージは停止している。
本実験の設定では、物体の重心位置のX座標は約0.4mm/frameの等速直線移動をし、Y、 Z座標は一定値のまま変化しないはずである。また、物体の回転角度は全て0のまま変わらないはずである。図5 に示した結果から、各物体の位置姿勢をほぼ正確に追跡できていることが分かる。
【0029】
図6は、ランドマークの位置決め結果から算出した左ステレオカメラ位置を、ランドマーク毎に別々にプロットしたものである。図中の点線がカメラの真の移動経路に相当する。数cm程度の誤差でカメラ位置を推定できていることが分かる。なお、カメラの回転移動は、図5 に示したランドマークの回転移動と等しくなる。
この実験で、カメラ位置推定の誤差が、ランドマークの位置決め誤差に比べて大きいのは、ランドマーク位置決めにおける回転角度に関する誤差が、自己位置推定の誤差に関して支配的であることを示している。ランドマーク位置決めにおける、回転移動に関する誤差をαとすると、αを起源とする自己位置推定誤差は、[数4]で表されるεαとみなすことができる。
【数4】
ここで、d はカメラからランドマークまでの観測距離である。図5から分かるように、今回の実験において、ランドマークの回転移動に関する位置決め誤差は、T型パイプで2deg.程度、積み木では1deg.弱に過ぎない。しかしながら、図4の設定(d ≒ 1500) では、たとえばランドマークの位置決め誤差が1deg.であったとしても、自己位置推定の誤差εαは約26mmになってしまう。
【0030】
一方、並進移動に関するランドマークの位置決め誤差をxとすると、x を起源とする自己位置推定の誤差εxは、ほぼxに等しいとみなすことができる。今回の実験において、並進移動に関する位置決め誤差は、一般に低精度とされるカメラ光軸方向に近いY 方向でも2〜3mm 程度、それ以外の方向では1mm 程度であることから、回転に関する誤差と比べると、自己位置推定への影響は小さい。
次に、実環境における本手法の有効性を示すために、ステレオカメラヘッドを移動させながら、カメラの位置姿勢を実時間で推定した実験結果を示す。
【0031】
図7に示すように、ステレオカメラヘッドをキャスター付き三脚に固定し、対象を観測しながら移動できるようにした。ステレオカメラヘッドには、CCDカメラと12mm相当に設定したズームレンズを、1辺約22cmの正三角形に配置して使用した。ランドマークには、室内の壁に固定された2つの3次元構造(スイッチ盤、平面図形)を用いた。カメラの移動は、カメラヘッドがなるべく壁面と平行な直線運動となるように注意しながら人手によって行った。移動距離は約2m、移動速度は秒速10〜40mm 程度であった。
この実験では、はじめ平面図形のみが観測可能であり、一時的に両方のランドマークが同時に観測され、その後スイッチ盤のみが観測される。図7の写真は、観測された時系列ステレオ画像から、両方のランドマークを観測可能なフレームのひとつを抜き出したもの(左画像)である。写真中には、そのフレームにおける各ランドマークの位置決め結果が、物体モデルを投影することによって示されている。
【0032】
図8は、実験の結果得られたセンサ位置をフレーム毎にプロットしたものである。図中、□ と○は、それぞれ平面図形またはスイッチ盤の位置決め結果のみから推定されたカメラ位置であり、△は、同時に得られたランドマークの位置決め結果を統合することによって得られたカメラ位置である。実環境でも、本手法による自己位置推定が有効であることがわかる。また、データの散らばりから、複数のランドマークを同時に観測することにより、自己位置推定を精度良く行えていることがわかる。
【0033】
【発明の効果】
本発明によれば、人工的なマーカなどを用いずに、移動ロボットを静止させることなく、通常物体の3次元的な位置姿勢を求めながら、移動ロボットの自己位置推定を6自由度で行うことが可能となる。
【図面の簡単な説明】
【図1】本発明を実施するためのシステム構成を示すブロック図。
【図2】本発明の基本的な処理の流れを示すフローチャート。
【図3】複数物体の位置決めによる自己位置推定を説明する図。
【図4】移動ステージを用いた自己位置推定実験。
【図5】移動ステージを用いたランドマークの位置決め結果。
【図6】移動ステージを用いた自己位置推定結果。
【図7】自己位置推定実験。
【図8】自己位置推定結果。
【図9】実時間3次元物体位置決め装置。
【図10】実時間3次元物体位置決め方法の処理過程。
Claims (6)
- 既知の環境中を任意に移動するロボットが、この既知の環境中における3次元的な位置と姿勢を実時間で推定するための方法であって、
前記ロボットが既知の環境中を静止することなく移動しながら、環境中に存在する複数の既知の構造をランドマークとして観測することによって、ロボット自身の位置姿勢を推定することから成る移動ロボットの自己位置推定方法。 - 前記移動ロボットの視覚装置は、形状と大きさが既知の物体の幾何学的な構造をモデル化した物体モデルと、観測されたデータとを照合することにより、該物体の3次元空間中における位置と姿勢を実時間で計測し、該物体と視覚装置との相対的な位置関係から、視覚装置の位置姿勢を推定することを特徴とする請求項1に記載の移動ロボットの自己位置推定方法。
- 前記ランドマークは、ロボットが観測を行うことを目的として人工的に設置するマーカ等を用いること無く、環境中に存在する通常の3次元構造を用いることを特徴とする請求項1又は2に記載の移動ロボットの自己位置推定方法。
- 前記ランドマークの観測は、既知の環境中に多数存在するランドマークから、既に得られている移動ロボットの現在位置に関する情報を用いて、ある時点で同時に観測すべきランドマークを少数に限定し、それら複数のランドマークを視覚装置によって同時に位置決めし、それら複数の位置決め結果を統合することによって、ロボットの位置姿勢を推定することを特徴とする請求項1〜3のいずれかに記載の移動ロボットの自己位置推定方法。
- 既知の環境中を任意に移動するロボットが、この既知の環境中における3次元的な位置と姿勢を実時間で推定するためのシステムであって、前記ロボットが既知の環境中を静止することなく移動しながら、環境中に存在する複数の既知の構造をランドマークとして観測することによって、ロボット自身の位置姿勢を推定することから成る移動ロボットの自己位置推定システム。
- 既知の環境中を任意に移動するロボットが、この既知の環境中における3次元的な位置と姿勢を実時間で推定するためのプログラムであって、
前記ロボットが既知の環境中を静止することなく移動しながら、環境中に存在する複数の既知の構造をランドマークとして観測し、ロボット自身の位置姿勢を推定する手順を実行させるための移動ロボットの自己位置推定プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002188483A JP2004030445A (ja) | 2002-06-27 | 2002-06-27 | 移動ロボットの自己位置推定方法及びシステム、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002188483A JP2004030445A (ja) | 2002-06-27 | 2002-06-27 | 移動ロボットの自己位置推定方法及びシステム、並びにプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004030445A true JP2004030445A (ja) | 2004-01-29 |
Family
ID=31183225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002188483A Pending JP2004030445A (ja) | 2002-06-27 | 2002-06-27 | 移動ロボットの自己位置推定方法及びシステム、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004030445A (ja) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006192549A (ja) * | 2005-01-17 | 2006-07-27 | Murata Mach Ltd | 天井走行車システム |
| JP2006209770A (ja) * | 2005-01-25 | 2006-08-10 | Samsung Electronics Co Ltd | 移動体の位置の推定及び地図の生成装置とその方法、並びにその装置を制御するコンピュータプログラムを保存するコンピュータで読み取り可能な記録媒体 |
| KR100866380B1 (ko) | 2007-02-13 | 2008-11-03 | 한국과학기술연구원 | 물체인식을 바탕으로 한 로봇의 자기위치 추정 방법 |
| JP2008304268A (ja) * | 2007-06-06 | 2008-12-18 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| JP2009124204A (ja) * | 2007-11-12 | 2009-06-04 | Nippon Hoso Kyokai <Nhk> | カメラパラメータ推定装置およびカメラパラメータ推定プログラム |
| JP2013132748A (ja) * | 2011-12-23 | 2013-07-08 | Samsung Electronics Co Ltd | 移動装置及び移動装置の位置認識方法 |
| US8504317B2 (en) | 2009-09-04 | 2013-08-06 | Panasonic Corporation | Position calibration information collecting apparatus, position calibration information collecting method, and position calibration information collecting program |
| CN104350441A (zh) * | 2012-03-15 | 2015-02-11 | 艾罗伯特公司 | 包括传感器阵列的用于机器人的缓冲器 |
| CN105014675A (zh) * | 2014-06-20 | 2015-11-04 | 北京信息科技大学 | 一种狭窄空间智能移动机器人视觉导航系统及方法 |
| JP2016152004A (ja) * | 2015-02-19 | 2016-08-22 | Jfeスチール株式会社 | 自律移動ロボットの自己位置推定方法、自律移動ロボット、及び自己位置推定用ランドマーク |
| JP2016152003A (ja) * | 2015-02-19 | 2016-08-22 | Jfeスチール株式会社 | 自律移動ロボットの自己位置推定方法、自律移動ロボット、及び自己位置推定用ランドマーク |
| JP2018010412A (ja) * | 2016-07-12 | 2018-01-18 | 株式会社リコー | 情報処理装置、情報処理方法及び情報処理プログラム |
| JP2019101694A (ja) * | 2017-11-30 | 2019-06-24 | 大成建設株式会社 | 位置特定装置、位置特定プログラム及び位置特定方法、並びに、撮影画像登録装置、撮影画像登録プログラム及び撮影画像登録方法 |
| CN113280817A (zh) * | 2020-07-08 | 2021-08-20 | 阿里巴巴集团控股有限公司 | 一种基于地标的视觉导航 |
| US11257177B2 (en) | 2019-03-14 | 2022-02-22 | Kabushiki Kaisha Toshiba | Moving object action registration apparatus, moving object action registration system, and moving object action determination apparatus |
| CN114111787A (zh) * | 2021-11-05 | 2022-03-01 | 上海大学 | 一种基于三维路标的视觉定位方法及系统 |
| CN115533890A (zh) * | 2021-06-30 | 2022-12-30 | 台达电子国际(新加坡)私人有限公司 | 适应性移动操作设备及方法 |
| WO2025192084A1 (ja) * | 2024-03-13 | 2025-09-18 | 株式会社日立インダストリアルプロダクツ | 搬送システム、管理装置、及び搬送システムの管理方法 |
-
2002
- 2002-06-27 JP JP2002188483A patent/JP2004030445A/ja active Pending
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7558645B2 (en) | 2005-01-17 | 2009-07-07 | Murato Kikai Kabushiki Kaisha | Overhead travelling carriage system |
| JP2006192549A (ja) * | 2005-01-17 | 2006-07-27 | Murata Mach Ltd | 天井走行車システム |
| JP2006209770A (ja) * | 2005-01-25 | 2006-08-10 | Samsung Electronics Co Ltd | 移動体の位置の推定及び地図の生成装置とその方法、並びにその装置を制御するコンピュータプログラムを保存するコンピュータで読み取り可能な記録媒体 |
| KR100866380B1 (ko) | 2007-02-13 | 2008-11-03 | 한국과학기술연구원 | 물체인식을 바탕으로 한 로봇의 자기위치 추정 방법 |
| JP2008304268A (ja) * | 2007-06-06 | 2008-12-18 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| JP2009124204A (ja) * | 2007-11-12 | 2009-06-04 | Nippon Hoso Kyokai <Nhk> | カメラパラメータ推定装置およびカメラパラメータ推定プログラム |
| US8504317B2 (en) | 2009-09-04 | 2013-08-06 | Panasonic Corporation | Position calibration information collecting apparatus, position calibration information collecting method, and position calibration information collecting program |
| JP2013132748A (ja) * | 2011-12-23 | 2013-07-08 | Samsung Electronics Co Ltd | 移動装置及び移動装置の位置認識方法 |
| CN104350441B (zh) * | 2012-03-15 | 2017-04-05 | 艾罗伯特公司 | 包括传感器阵列的用于机器人的缓冲器 |
| CN104350441A (zh) * | 2012-03-15 | 2015-02-11 | 艾罗伯特公司 | 包括传感器阵列的用于机器人的缓冲器 |
| CN105014675A (zh) * | 2014-06-20 | 2015-11-04 | 北京信息科技大学 | 一种狭窄空间智能移动机器人视觉导航系统及方法 |
| JP2016152004A (ja) * | 2015-02-19 | 2016-08-22 | Jfeスチール株式会社 | 自律移動ロボットの自己位置推定方法、自律移動ロボット、及び自己位置推定用ランドマーク |
| JP2016152003A (ja) * | 2015-02-19 | 2016-08-22 | Jfeスチール株式会社 | 自律移動ロボットの自己位置推定方法、自律移動ロボット、及び自己位置推定用ランドマーク |
| JP2018010412A (ja) * | 2016-07-12 | 2018-01-18 | 株式会社リコー | 情報処理装置、情報処理方法及び情報処理プログラム |
| JP2019101694A (ja) * | 2017-11-30 | 2019-06-24 | 大成建設株式会社 | 位置特定装置、位置特定プログラム及び位置特定方法、並びに、撮影画像登録装置、撮影画像登録プログラム及び撮影画像登録方法 |
| US11257177B2 (en) | 2019-03-14 | 2022-02-22 | Kabushiki Kaisha Toshiba | Moving object action registration apparatus, moving object action registration system, and moving object action determination apparatus |
| CN113280817A (zh) * | 2020-07-08 | 2021-08-20 | 阿里巴巴集团控股有限公司 | 一种基于地标的视觉导航 |
| CN115533890A (zh) * | 2021-06-30 | 2022-12-30 | 台达电子国际(新加坡)私人有限公司 | 适应性移动操作设备及方法 |
| CN114111787A (zh) * | 2021-11-05 | 2022-03-01 | 上海大学 | 一种基于三维路标的视觉定位方法及系统 |
| CN114111787B (zh) * | 2021-11-05 | 2023-11-21 | 上海大学 | 一种基于三维路标的视觉定位方法及系统 |
| WO2025192084A1 (ja) * | 2024-03-13 | 2025-09-18 | 株式会社日立インダストリアルプロダクツ | 搬送システム、管理装置、及び搬送システムの管理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004030445A (ja) | 移動ロボットの自己位置推定方法及びシステム、並びにプログラム | |
| Hutchinson et al. | A tutorial on visual servo control | |
| CN110312912B (zh) | 车辆自动停车系统和方法 | |
| CN109872372B (zh) | 一种小型四足机器人全局视觉定位方法和系统 | |
| CN105486311B (zh) | 室内机器人定位导航方法及装置 | |
| JP6855492B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| CN107883929B (zh) | 基于多关节机械臂的单目视觉定位装置及方法 | |
| CN104217439B (zh) | 一种室内视觉定位系统及方法 | |
| CN108422435A (zh) | 一种基于增强现实的远程监测及控制系统 | |
| JP7599136B2 (ja) | 測位装置及び移動体 | |
| CN114434123B (zh) | 一种空中线夹的机械臂定位拆卸方法、装置及存储介质 | |
| KR102094004B1 (ko) | 탁구 로봇 제어 방법 및 이를 위한 시스템 | |
| WO2023274270A1 (zh) | 机器人术前导航方法、系统、存储介质及计算机设备 | |
| Sie et al. | Field test validations of vision-based multi-camera multi-drone tracking and 3D localizing with concurrent camera pose estimation | |
| JP4227037B2 (ja) | 撮像システム及び校正方法 | |
| CN115836262B (zh) | 基于图像的轨迹规划方法和运动控制方法以及使用该些方法的移动机器 | |
| CN108927807B (zh) | 一种基于点特征的机器人视觉控制方法 | |
| CN110928311A (zh) | 一种基于全景相机下直线特征的室内移动机器人导航方法 | |
| CN118322213B (zh) | 大尺寸工作空间下基于视觉的工业机器人运动学标定方法 | |
| CN118034267B (zh) | 基于人脸追随的智能机器人避障精定位方法 | |
| TWI788253B (zh) | 適應性移動操作設備及方法 | |
| Chang et al. | Omni-directional visual servoing for human-robot interaction | |
| CN116372925A (zh) | 一种无人机多传感器标定方法及装置 | |
| Gemeiner et al. | Real-time SLAM with a high-speed CMOS camera | |
| Rivlin et al. | Image-based robot navigation in unknown indoor environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050627 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050804 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060207 |