JP4502361B2 - 指標姿勢検出方法および装置 - Google Patents

Description

本発明は、現実空間もしくは物体に配置された指標を撮像装置で撮像した画像から検出し、指標の姿勢（方向）を検出する技術に関するものである。

［従来技術１］
現実空間を撮像するカメラなどの撮像部（以下適宜カメラと言い換える）の位置姿勢計測は、例えば現実空間と仮想空間とを融合表示する複合現実感システムにおいて必要となる。このような従来技術として、特許文献１又は２および非特許文献１において開示されているように、現実空間に配置した、位置が既知のマーカまたは現実空間中の位置が既知の特徴点（以下、マーカと特徴点を合わせて指標という）を用いて、カメラの位置姿勢を測定する位置姿勢センサの計測誤差を補正する方法がある。

言い換えると、これらの方法は、カメラの位置姿勢を測定する位置姿勢センサと、カメラで撮像した指標とを利用して、カメラの位置姿勢を推定する方法である。このような方法で利用される指標としては、色領域の重心や同心円等がある。また、指標は同時に複数利用されることが多いが、カメラが撮像した画像から検出した指標が、現実空間に複数個配置した指標のどれに対応するのかを求める手段のひとつとして、画像から検出した指標の座標と、指標の絶対位置を位置姿勢センサの計測値を基にして投影して得られる、画像面上での指標の座標との間の関係を利用することが知られている。

［従来技術２］
また、一方で、非特許文献２乃至３において開示されているように、位置姿勢センサを用いず、カメラで撮像した指標のみを利用してカメラの位置姿勢推定を行う方法も知られている。そして、これら非特許文献においては、正方形の指標を利用し、正方形の４頂点の座標を基にして、カメラの位置姿勢を推定している。ただし、正方形はその中心点（対角線の交点）を通り、面に垂直な軸を回転軸として90度毎の回転対称形であることから、頂点の座標からだけでは上下左右の判定を行うことができない。そのため、正方形の指標内部に、上下左右の判定を行うためのさらなる画像特徴が設けられている。さらに、指標を複数利用する場合に、カメラで撮像した画像のみに基づいて複数の指標のどれを捉えているのかを識別する必要があるため、指標の内部にはさらに指標毎に異なる固有のパターンや符号などの図形情報が埋め込まれている。

特開平１１−０８４３０７号公報 特開２０００−０４１１７３号公報 A. State, G. Hirota, D. T. Chen, B. Garrett, and M. Livingston: Superior augmented reality registration by integrating landmark tracking and magnetic tracking, Proc. SIGGRAPH '96, pp.429-438, July 1996. 加藤, Billinghurst, 浅野, 橘: マーカー追跡に基づく拡張現実感システムとそのキャリブレーション, 日本バーチャルリアリティ学会論文誌, vol.4, no.4, pp.607-616, Dec. 1999. X. Zhang, S. Fronz, N. Navab: Visual marker detection and decoding in AR systems: A comparative study, Proc. of International Symposium on Mixed and Augmented Reality (ISMAR'02), 2002.

従来技術１のカメラの位置姿勢を推定する方法において、指標として点マーカや同心円マーカを利用する場合、１つの指標がもつ情報は１つの座標値でしかない。そのため、幾何的な情報が少なく、正確な位置姿勢を推定するためや観測視野を広くするために、比較的数多くの複数の指標を同時に利用するような方法が採られている。

上述したように、複数の指標を同時に用いる場合には、画像で捉えた指標が現実空間に配置された指標のどれに相当するのかを同定する方法を工夫する必要がある。特に指標の画像特徴（色や形状など、画像処理で識別可能な特徴）が同じか差が小さく、かつ数多くの指標を配置した際には誤識別の可能性があった。

そのため、従来技術２で利用されている正方形マーカのような、図形的な拡がりのある指標を従来技術１で利用すれば、ひとつの指標が複数の座標値（例えば、中心点及び頂点の座標値）をもつため、より少ない数の指標で済むと考えられる。しかし、従来技術２で利用されている正方形マーカは、従来の技術の項で前述した正方形の回転対称性を特定するために、すなわち、上下左右を識別するために、正方形の内部または周囲に正方形以外の画像特徴を併せ持つような指標である必要がある。

また、二つ以上の正方形マーカを同時に利用することを考慮すると、従来技術２では完全に画像のみから個々のマーカを識別する必要が生じるため、個別の指標を区別できるマーカ固有の符号情報やテンプレートとなりうる記号情報などを埋め込む必要があった。図９（ａ）〜（ｃ）は、非特許文献２および非特許文献３にて開示されている従来技術２で利用されている具体的な正方形指標の例である。このような複雑な構造をもつ指標を画像から検出しなければならないため、撮像画像面の中で十分に大きな面積を占めるように指標を捉えなければ、指標の認識ができないという問題があった。これは換言すれば、現実空間の広い領域を指標配置のために確保しなければならないこと、あるいは、カメラが指標に十分に近づかなければならないということを意味する。または、指標の配置条件が厳しいという問題と言い換えることができる。
本発明はこのような従来技術の問題点を解決することを主な目的とする。

本発明の目的は、例えば、複数の特徴点により構成される回転対称性を有する多角形の外形形状を有し、方向性を示すパターンを有さない指標が現実物体上に配置された現実空間を撮像装置で撮像した画像を取得する画像取得工程と、撮像装置又は現実物体の少なくとも一方の３次元位置姿勢の測定結果を取得する位置姿勢情報取得工程と、画像中に含まれる指標を検出する指標検出工程と、位置姿勢取得工程で得た撮像装置又は現実物体の少なくとも一方の３次元位置姿勢推定結果と、予め記憶された、指標の位置及び外形形状を構成する特徴点の位置とに基づいて、指標を撮像装置の撮像面上に投影した投影指標を求める投影指標算出工程と、画像中で検出された指標の位置から当該指標の外形形状を構成する複数の特徴点までの相対的な位置関係と、投影指標の位置から当該指標の外形形状を構成する複数の特徴点までの相対的な位置関係とを比較することにより、画像中で検出された指標の方向を検出する指標姿勢検出工程とを有することを特徴とする指標姿勢検出方法によって達成される。

また、本発明の目的は、複数の特徴点により構成される回転対称性を有する多角形の外形形状を有し、方向性を示すパターンを有さない指標が現実物体上に配置された現実空間を撮像装置で撮像した画像を取得する画像取得手段と、撮像装置又は現実物体の少なくとも一方の３次元位置姿勢の測定結果を取得する位置姿勢情報取得手段と、画像中に含まれる指標を検出する指標検出手段と、位置姿勢情報取得手段で得た撮像装置又は現実物体の少なくとも一方の３次元位置姿勢測定結果と、予め記憶された、指標の位置及び外周形状を構成する特徴点の位置とに基づいて、指標を撮像装置の撮像面上に投影した投影指標を求める投影指標算出手段と、画像中で検出された指標の位置から当該指標の外形形状を構成する複数の特徴点までの相対的な位置関係と、投影指標の位置から当該指標の外形形状を構成する複数の特徴点までの相対的な位置関係とを比較することにより、画像中で検出された指標の方向を検出する指標姿勢検出手段とを有することを特徴とする指標姿勢検出装置によっても達成される。

また、上述の目的は、本発明の指標姿勢検出方法をコンピュータ装置に実現させるためのコンピュータプログラム及び、このコンピュータプログラムを記録したコンピュータ装置読み取り可能な記録媒体によっても達成される。

このような構成により、本発明によれば、指標の中心点位置のみならず、外周形状をも考慮するため、指標が回転対称性を有する場合であっても指標の方向を検出することが可能となる。

以下、添付図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。
［第１の実施形態］
図１は、本実施形態に係る指標同定装置の構成例を示すブロック図である。まず、本実施形態においては、好適な指標として、図１０に示すような単純な正方形図形を指標として利用する。

１０１は、現実空間を撮像できるカメラであり、例えばＣＣＤやＣＭＯＳセンサを撮像素子として有するビデオカメラである。カメラ１０１には例えば磁気センサ等を用いた３次元位置姿勢センサ１０２が固定されている。位置姿勢計測部１０３は、３次元位置姿勢センサ１０２を駆動・制御し、カメラ１０１の位置姿勢を計測する。

指標情報データ保持部１０４には、現実空間に配置されている指標、本実施形態においては正方形指標の各々について、配置位置（例えば中心点の３次元絶対座標）、頂点の３次元絶対座標、大きさといった、指標の同定及び方向の識別を行うために必要な情報を予め記憶しておく。なお、ここで挙げた登録項目は単なる例示であり、使用する指標や指標の識別方法に応じて、これ以外の情報を登録することもあれば、より少ない項目で済む場合もある。

そして、位置姿勢計測部１０３は、３次元位置姿勢センサ１０２から得られたカメラ１０１の位置姿勢値を指標投影計算部１０５に供給する。指標投影計算部１０５は、カメラ１０１の位置姿勢値と指標情報データ保持部１０４に記録されている正方形指標の３次元座標情報とを用いて、カメラ１０１が撮像していると思われる指標の、カメラ１０１の画像面上での投影位置を計算する。以下、画像面（撮像面とも言う）上に投影した指標を投影指標という。

指標検出部１０６では、カメラ１０１の撮像画像をキャプチャし、色や形状など、予め定められた指標に関する情報に基づき、指標と思われる領域（以下、検出指標という）を画像から検出する。指標識別部１０７では、指標投影計算部１０５で得られた指標の投影位置と外周形状、指標検出部１０６で得られた画像中の指標位置と外周形状から、指標の同定を行う。指標の同定方法の詳細については後述する。

図２は、図１の構成の想定される使用状態を模式的に示す図である。正方形指標２０３は、図のように現実空間に配置されており、その指標の大きさや配置などの情報が指標情報データ保持部１０４に記録されている。

引き続いて、上記構成を備える指標同定装置が行う処理について、図４に示したフローチャートを参照して説明する。
ステップＳ４０１にて、３次元位置姿勢センサ１０２によって位置姿勢を計測し位置姿勢計測部１０３へ送る。ステップＳ４０２では、ステップＳ４０１で得られた結果を基にして、ビューイング変換を変換行列の形で計算する。ビューイング変換とは、カメラの視点位置を原点とし撮像面をｘｙ平面、視軸をｚ軸負へのベクトルとおいた３次元座標系をカメラ座標系とし、現実世界に固定され設定された座標系を世界座標系としたときに、この２つの座標系間の座標変換のことであり、世界座標系上にある点をカメラ座標系へと変換する変換のことである。すなわち、このビューイング変換を求めておくことによって、世界座標系上にある座標値をカメラ座標系の座標値に容易に計算することが可能となる。

次に、ステップＳ４０３にて、指標情報データ保持部１０４に記録されている正方形指標の中心点と頂点の位置（座標）を、ステップＳ４０２で得られたビューイング変換を利用してカメラ座標系へと変換し、カメラ１０１の透視投影変換計算を行うことによって、それぞれの撮像面上での推定位置（投影座標）を計算する。なお、カメラ１０１の透視投影変換は、カメラ１０１のレンズ焦点距離や主点（投影中心）位置によって一意に定まるものであり、本実施形態を実施する前に予め求めておくことが可能である。

また、ステップＳ４０１、Ｓ４０２、Ｓ４０３の工程を行う一方で、ステップＳ４０４にて、カメラ１０１により現実空間を撮像し、ステップＳ４０５にて、得られた撮像画像から正方形指標の検出を行う。正方形指標の検出にはどのような方法を用いても構わないが、例えば、以下のような方法がある。

まず、指標の明度を背景と異なるものとしておき、明度による二値化を行った後にラベリング処理にて連続領域を求める。その連続領域のラベル外周を折れ線近似することにより外周の四角形（外周形状）を検出する。得られた四角形の頂点を求め、さらに対角線の交点を求めることにより中心点を求める。

以上のステップで、３次元位置姿勢センサの計測値を基にして、正方形指標の頂点と中心点とを画像面へと投影した投影座標と、画像から検出した正方形指標（なお画像中には正方形ではなく四角形として写る）の頂点と中心点の検出座標とを得ることができた。

本実施形態にて最終的に行いたいことは、正方形指標の回転対称性を含めて同定を行うことであり、言い換えると、画像から検出した指標が、現実空間に配置されている指標のうちのどれにあたり、どの向きであるのかを判別することである。このための処理として、まず、ステップＳ４０６にて、ステップＳ４０３で得られた正方形の中心点の投影座標と、ステップＳ４０５で得られた正方形の中心点の検出座標とを比較し、距離の近いものを対応する正方形として決定する。このステップは、正方形指標が複数配置されている場合に、それらを識別するために行う処理であり、もしも正方形指標がひとつしかない場合にはステップＳ４０６は不要である。

以下のステップは、ステップＳ４０３で求めた投影指標と、ステップＳ４０５で求めた画像中の指標との外周形状の比較により、指標同定を行うステップである。本実施形態においては、指標が正多角形であることに鑑み、中心点から各頂点までのベクトル方位の比較を利用することで外周形状の比較を行う場合について説明する。

次に、ステップＳ４０７にて、ステップＳ４０３で得られた正方形の中心点の投影座標から正方形の各頂点の投影座標への４つのベクトルを求める。さらに、ステップＳ４０８にて、Ｓ４０５で得られた正方形の中心点の検出座標から正方形の各頂点の検出座標への４つのベクトルを求める。

このステップＳ４０７及びＳ４０８の工程を、図５の場合を例にして説明する。図５の６０１はカメラ１０１の撮像面を表しており、ステップＳ４０３にて得られた、カメラ１０１の視野に含まれるであろう正方形指標の、カメラ１０１の画像面上への投影座標の１つが、６０２のような位置に計算されているとする。そして、この指標６０２は、画像中で検出された指標６０３であるとする。

指標情報データ保持部１０４に保持されている正方形指標に関する情報には、当然個々の頂点に関する情報が区別して記録されているため、その個々の頂点を撮像面に投影して得られる投影座標においても、各々がどの頂点を投影したものであるのかは処理手順上自明である。

図５のＰ１，Ｐ２，Ｐ３，Ｐ４は、画像面上に投影した指標の頂点がそれぞれどの正方形指標の頂点を投影したものであるのかを模式的に示すための記号である。それに対して、撮像画像から検出した正方形指標６０３に関しては、正方形指標そのものが方向性を示す情報をもたず、その中心点を中心とした回転対称性をもっているため、検出した頂点が正方形指標のどの頂点に対応するものであるのかが不定である。

ステップＳ４０７とステップＳ４０８は、この不定性を求めるための工程の一部の処理であり、そのための準備として、画像面に投影した正方形と画像から検出した正方形の各々で、中心点から頂点へのベクトルを求めておくステップである。そして、ステップＳ４０９にて、ステップＳ４０７で求めたベクトルとステップＳ４０８で求めたベクトルとの比較を行い、最も方位の近いベクトル対を対応するベクトルであると判断することにより、画像から検出した正方形指標の頂点と画像面に投影した正方形指標の頂点とを対応付ける。

このステップＳ４０９での処理について、図６を用いてさらに説明する。図６（ａ）は、図５の６０２と６０３をそのまま表したものであり、画像面に投影した正方形指標と画像から検出した正方形指標を表す。図中には明記していないが、ステップＳ４０７とステップＳ４０８にて、それぞれの中心点から頂点へのベクトルが計算されている。

ステップＳ４０９で行う、それぞれのベクトルを比較する処理とは、図６（ｂ）に示すように、６０２、６０３を回転させずにベクトルの原点（ここでは正方形の中心点）を合わせ、それぞれのベクトルの方位を比較する処理である。そして、方位が近いベクトル対が対応するベクトル、すなわち、方位が近いベクトル対が示す頂点が対応する頂点であるとすることにより、図６（ｃ）に示すように画像から検出した正方形の頂点を同定することが可能となる。図６（ｃ）のＰ１’，Ｐ２’，Ｐ３’，Ｐ４’は、その結果を表しており、投影した正方形指標の頂点Ｐ１が、画像から検出した正方形指標の頂点Ｐ１’に、Ｐ２がＰ２’に、Ｐ３がＰ３’に、Ｐ４がＰ４’にそれぞれ対応していると同定されたことを表現している。

この処理を図６（ｂ）を書き直した図７を用いてさらに詳しく説明する。図６の６０２の中心点から各頂点Ｐ１，Ｐ２，Ｐ３，Ｐ４へのベクトルをそれぞれｖ１，ｖ２，ｖ３，ｖ４とする。また、画像から検出した四角形である６０３の中心点から各頂点へのベクトルを図７に示すように、それぞれｕ１，ｕ２，ｕ３，ｕ４とする。これらの４つのベクトル対のそれぞれのなす角が最も小さい組み合わせとなる（すなわち方位が近い）ものを計算することにより、対応する頂点を決定する。ここで、ベクトルｖｉベクトルｕｊとのなす角をθｉ，ｊとすると、θｉ，ｊは、

と表すことができる。

４つのベクトル対の組み合わせには４通りが考えられ、それぞれのなす角の合計は、以下の４式で計算できる。
Θ₁＝θ_1,1＋θ_2,2＋θ_3,3＋θ_4,4
Θ₂＝θ_1,2＋θ_2,3＋θ_3,4＋θ_4,1
Θ₃＝θ_1,3＋θ_2,4＋θ_3,1＋θ_4,2
Θ₄＝θ_1,4＋θ_2,1＋θ_3,2＋θ_4,3

すなわち、Θ_１，Θ_２，Θ_３，Θ_４を計算し、最も小さい値となる場合が、方位の近いベクトル対の組み合わせを表す。図７の場合は、Θ_２の値、すなわち、ｖ１とｕ２、ｖ２とｕ３、ｖ３とｕ４、ｖ４とｕ１という組み合わせのなす角の合計が最も小さくなると考えられるため、図６（ｃ）に示すようにＰ１’，Ｐ２’，Ｐ３’，Ｐ４’として対応する頂点が決定されることとなる。

なお、上述の方法ではベクトルのなす角の合計により対応する頂点を決定しているが、ベクトルのなす角の合計ではなく平均を利用する方法でもよいし、なす角を基にする方法であればそれ以外の方法でも同様の判定が可能である方法であればどのような方法を用いてもよい。また、ベクトルの方位の近さは、なす角を使わなくても、内積の値を直接比較する方法でも可能であるので、ベクトルの方位の近さを求める方法であれば、どのような方法を用いても良い。

また、ステップＳ４０７からＳ４０９までの処理手順で求めようとしている本質的な事柄は、６０２の四角形の頂点と６０３の四角形の頂点との対応を求めることにある。これは、ステップＳ４０７からステップＳ４０９で述べた四角形の中心点から頂点までのベクトルを利用する方法以外の方法でも、例えば以下のような方法で実現することができる。それは、図７に示すように、６０２、６０３を回転させずにそれぞれの四角形の中心点を合わせた後に、６０２の頂点であるＰ１，Ｐ２，Ｐ３，Ｐ４と，６０３の頂点であるＱ１，Ｑ２，Ｑ３，Ｑ４との距離を比較する方法である。ベクトルのなす角を比較する場合の計算と同様に、点Ｐｉから点Ｑｊまでの距離をｌｉ，ｊとしたときの、４つの頂点対の４通りの組み合わせにて、頂点間距離の合計を以下の４式に対して求め、最も値の小さくなる組み合わせのものを選べばよい。

Ｌ₁＝ｌ_1,1＋ｌ_2,2＋ｌ_3,3＋ｌ_4,4
Ｌ₂＝ｌ_1,2＋ｌ_2,3＋ｌ_3,4＋ｌ_4,1
Ｌ₃＝ｌ_1,3＋ｌ_2,4＋ｌ_3,1＋ｌ_4,2
Ｌ₄＝ｌ_1,4＋ｌ_2,1＋ｌ_3,2＋ｌ_4,3

なお、このような頂点間の距離を利用する方法においても、頂点間の距離の合計ではなく平均を利用するなど、他の方法を用いても良い。
さらには、四角形の辺を表す４つ線分の線分対を利用し、それらの線分の方位と線分間の距離の一方又は両方を利用する方法なども考えられる。例えば、方位の近い線分対のうち、距離の近いものを対応する線分であるとして頂点を同定することができる。また、逆に距離が近いもののうち方位が近いものを対応線分対としてもよいし、距離と方位の一方のみによって対応線分対を決定しても良い。また、線分間の方位や距離についても、その合計や平均を用いて対応線分対を判定することができる。このように、６０２と６０３の四角形の頂点の対応を、その四角形の外周形状を基にして最適となるように当て嵌める方法であれば、どのような方法を用いても良い。

このように、本実施形態によれば、画像から検出するだけでは指標の頂点を同定することができないような回転対称性をもつ指標であっても、その同定を行うことが可能となる。また、本実施形態において用いた正方形指標は、方向性や個体区別のための追加情報となるパターンや文字等を必要としないため、単純で、画像から安定して検出することが容易である。すなわち、例えば、図３（ａ）に示すように、指標が十分に大きく画像に捉えられている場合だけではなく、図３（ｂ）に示すように画像中の指標が小さくなった場合であっても、指標を安定して検出できる効果をもたらす。また、方向性や個体区別のための追加情報となるパターンや文字等を必要としないため、従来技術２で利用されていたものと比較して、指標を小さくすることが可能であり、外観も比較的目立たないものとすることができる効果もある。さらに、画像中に指標を大きく捉える必要が無くなるため、カメラと指標の位置の制限が非常に緩やかとなる。

［第２の実施形態］
第１の実施形態では、カメラに３次元位置姿勢センサを配置し、カメラが動的に動く状況にて、現実空間に固定された指標を撮像する場合を想定していたが、カメラを固定し、３次元位置姿勢センサおよび指標を配置した現実物体が移動する場合であっても本発明を好適に適用可能である。

図８は、本実施形態におけるカメラ１０１、現実物体８０３及び３次元位置姿勢センサ８０２の関係を模式的に示す図である。なお、３次元位置姿勢センサ８０２の取り付け位置がカメラ１０１から現実物体８０３に変わること以外、図１に示した指標識別装置の構成を変更することなく本実施形態で利用可能である。

本実施形態においては、第１の実施形態における同定処理を説明した図４のステップＳ４０２にて、世界座標系をカメラ座標系に変換するためのビューイング変換を求める代わりに、物体８０３の位置姿勢計測値を基にしてモデリング変換を変換行列の形で計算する。モデリング変換とは、現実世界に固定され設定された座標系を世界座標系とし、対象物体に固定された座標系を物体座標系としたときに、この２つの座標系間の座標変換のことであり、物体座標系にある点を世界座標系上へと変換する変換のことである。すなわち、このモデリング変換を求めておくことによって、物体に固定された座標値をもつ位置を世界座標系での座標値に容易に計算することが可能となる。

そして、ステップＳ４０３において、指標座標投影計算部１０５が、ビューイング変換の代わりにモデリング変換を用いて指標２０３をカメラ１０１の撮像面上に投影する。図４における他のステップは第１の実施形態と同様に処理することで、正方形指標の同定を行うことが可能である。

［第３の実施形態］
第１の実施形態では、カメラが移動、指標が固定、第２の実施形態では、カメラが固定、指標が配置された現実物体が移動という状況であったが、カメラと指標が配置された現実物体の両方が移動する環境においても本発明を適用することが可能である。

この場合、３次元位置センサをカメラと移動現実物体の両方に取り付け、それぞれの測定結果から、投影指標の算出を行うための変換をステップＳ４０２で求める。すなわち、移動物体に固定された座標系を物体座標系、カメラに固定された座標系をカメラ座標系、現実世界に固定され設定された座標系を世界座標系としたときに、物体座標系にある点をカメラ座標系上へと変換する変換（多段変換）を求める。

この変換は、物体座標系にある点を世界座標系上へ変換するモデリング変換と、世界座標系にある点をカメラ座標系上へ変換するビューイング変換を併せて行う変換であるから、それぞれの変換行列を用いることにより容易に求めることができる。
そして、ステップＳ４０３でこの多段変換を用いて投影指標を求める。他のステップは第１の実施形態と同様に実施すればよい。

［他の実施形態］
なお、上述の実施形態においては、理解を容易にするため、カメラ及び３次元位置姿勢センサを含む指標検出装置について説明したが、これらは必ずしも必要ない。すなわち、カメラ（第１／第３の実施形態）又は現実物体（第２／第３の実施形態）の３次元位置姿勢計測及び撮像は他の装置で行い、他の装置から３次元位置計測結果と撮像画像を取得する構成であってもよい。また、リアルタイムに処理を行う場合だけでなく、記録された３次元位置計測結果と、撮像画像とを用いて識別処理を行うことももちろん可能である。

また、上述の実施形態では、指標として図１０に示す正方形形状の指標を利用しているが、指標は正多角形もしくは回転対称性をもつ図形であれば、必ずしも正方形に限らない。

例えば、図１１（ａ）に示すような正三角形の指標を用いることができる。この場合、ステップＳ４０３の投影計算は中心点と３つの頂点を投影計算することとなり、ステップＳ４０５は、三角形の検出を行い、その頂点と中心点を算出することとなる。ここで、ステップＳ４０５の中心点の計算は、四角形の場合には対角線の交点を求めることで行っていたが、三角形の場合には、頂点から対角辺の中心点への直線の交点を計算することで算出すればよい。それらのステップ以降の工程は、上述の実施形態と同様に処理することができ、正三角形指標の同定を行うことができる。正方形、正三角形以外の正多角形においても、同様な計算で指標の同定を行うことができる。

ただし、頂点の数が多くなると、処理が煩雑になるほか、投影指標と検出指標とが回転関係にある場合における、対応ベクトルの判定に誤りが生じる可能性が出てくるため、頂点の数はあまり多くないことが好ましい。

さらに、図１１（ｂ）および図１１（ｃ）に示すように、指標は単純な正多角形ではなく、内部にそれ以外の図形情報をもつ指標であってもよい。図１１（ｂ）では指標内部に明度が異なり、中心点を共通とする正方形が、図１１（ｃ）では指標内部に明度が異なり、中心点を共通とする円がそれぞれ図形情報として設けられている。このような付加的な図形情報は、例えば、画像からの指標検出時に利用することにより、現実空間の中に元々自然に存在する物体との区別に利用することが可能である。

さらに、図１１（ｄ）および図１１（ｅ）に示すように、正多角形ではなくても、回転対称性をもち、回転角の決定に不定性のある形状で、かつ、画像から検出可能であれば、どのような指標の形状であっても本発明を適用可能である。

また、外周形状の比較方法としては、上述した方法以外にも任意の方法が利用可能である。また、複数の方法を組み合わせて用いても良い。例えば、図１１（ｄ）のような形状を有する指標の場合には、中心点から各頂点までのベクトルの大きさは２通り存在する。そのため、方位検出を行う際、大きさの近いベクトル同士で比較すれば、より精度の高い同定が可能になる。

また、上述の実施形態で説明した指標識別装置と同等の機能を複数の機器から構成されるシステムによって実現しても良い。

尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

本発明の第１の実施形態における指標同定装置の機能構成を示すブロック図である。 本発明の第１の実施形態の利用場面を模式的に表す模式図である。 指標が画像に捉えられている様子を表す模式図である。 本発明の第１の実施形態における指標同定装置が行う処理のフローチャートである。 第１の実施形態における正方形指標を投影した画像面上での投影像と撮像され画像に捉えられた正方形指標の様子を表す模式図である。 第１の実施形態において、画像面に投影計算された正方形指標と、画像から検出された正方形指標とを用いて、画像から検出された正方形指標の頂点を同定する方法を概念的に示す模式図である。 第１の実施形態における、画像面に投影計算された正方形指標と、画像から検出された正方形指標との頂点の同定方法をより詳細に説明するための模式図である。 本発明の第２の実施形態の利用場面を模式的に表す模式図である。 従来技術２で利用されている指標の例である。 本発明の実施形態で利用する正方形形状をもつ指標である。 本発明に用いることの可能な指標の他の例を示す図である。

Claims (9)

1. 複数の特徴点により構成される回転対称性を有する多角形の外形形状を有し、方向性を示すパターンを有さない指標が現実物体上に配置された現実空間を撮像装置で撮像した画像を取得する画像取得工程と、
   前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢の測定結果を取得する位置姿勢情報取得工程と、
   前記画像中に含まれる前記指標を検出する指標検出工程と、
   前記位置姿勢取得工程で得た前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢推定結果と、予め記憶された、前記指標の位置及び外形形状を構成する特徴点の位置とに基づいて、前記指標を前記撮像装置の撮像面上に投影した投影指標を求める投影指標算出工程と、
   前記画像中で検出された前記指標の位置から当該指標の外形形状を構成する複数の特徴点までの相対的な位置関係と、前記投影指標の位置から当該指標の外形形状を構成する複数の特徴点までの相対的な位置関係とを比較することにより、前記画像中で検出された前記指標の方向を検出する指標姿勢検出工程とを有することを特徴とする指標姿勢検出方法。
2. 前記指標の位置及び外周形状を構成する特徴点の位置が、前記指標の中心点の３次元座標及び前記指標の外周形状を構成する各頂点の３次元座標であることを特徴とする請求項１記載の指標姿勢検出方法。
3. 前記指標姿勢検出工程が、
   前記投影指標の中心点から各頂点へのベクトルを求める第１のベクトル算出工程と、
   前記画像中で検出された前記指標の中心点から各頂点へのベクトルを求める第２のベクトル算出工程と、
   前記第１のベクトル算出工程で得られたベクトルと、前記第２のベクトル算出工程で得られたベクトルとの方位を比較する方位比較工程と、
   前記方位比較工程で方位が最も近いベクトル対を対応するベクトルと判定し、前記投影指標の外周形状を構成する頂点に対応する前記画像中で検出された前記指標の外周形状を構成する頂点を検出することにより、前記画像中で検出された前記指標の方向を検出する頂点検出工程とを有することを特徴とする請求項２記載の指標姿勢検出方法。
4. 前記方位比較工程が、
   前記第１のベクトル算出工程で得られたベクトルと、前記第２のベクトル算出工程で得られたベクトルとがなす角の合計又は平均、或いは内積の値に基づいて前記方位の比較を行うことを特徴とする請求項３記載の指標姿勢検出方法。
5. 前記指標姿勢検出工程が、
   前記投影指標の辺をなす線分と、前記画像中で検出された前記指標の辺をなす線分の方位又は距離の少なくとも一方に基づいて、最も近い線分対を求める線分比較工程と、
   前記線分比較工程で最も近い線分対を対応する線分と判定して前記投影指標の外周形状を構成する頂点に対応する前記画像中で検出された前記指標の外周形状を構成する頂点を検出することにより、前記画像中で検出された前記指標の方向を検出する頂点検出工程とを有することを特徴とする請求項２記載の指標姿勢検出方法。
6. 複数の特徴点により構成される回転対称性を有する多角形の外形形状を有し、方向性を示すパターンを有さない指標が現実物体上に配置された現実空間を撮像装置で撮像した画像を取得する画像取得手段と、
   前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢の測定結果を取得する位置姿勢情報取得手段と、
   前記画像中に含まれる前記指標を検出する指標検出手段と、
   前記位置姿勢情報取得手段で得た前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢測定結果と、予め記憶された、前記指標の位置及び外周形状を構成する特徴点の位置とに基づいて、前記指標を前記撮像装置の撮像面上に投影した投影指標を求める投影指標算出手段と、
   前記画像中で検出された前記指標の位置から当該指標の外形形状を構成する複数の特徴点までの相対的な位置関係と、前記投影指標の位置から当該指標の外形形状を構成する複数の特徴点までの相対的な位置関係とを比較することにより、前記画像中で検出された前記指標の方向を検出する指標姿勢検出手段とを有することを特徴とする指標姿勢検出装置。
7. 前記撮像装置及び、前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢測定手段を更に有することを特徴とする請求項６記載の指標姿勢検出装置。
8. コンピュータに、請求項１乃至請求項５のいずれか１項に記載の指標姿勢検出方法を実行させるためのコンピュータプログラム。
9. 請求項８記載のコンピュータプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images