JP2014203341A - 情報端末装置及び認識対象 - Google Patents

Abstract

【課題】認識対象の空間的な動作によって、情報端末装置の表示部に表示される情報を制御できる、ぼけや動き、たわみに頑健な情報端末装置を提供する。
【解決手段】認識対象は、基準となる位置及び姿勢において撮像された際の基準点の座標が予め設定され、当該基準点が輝度の極値の位置となるようにコントラストが設けられ、互いに区別可能なように構成された部分領域を有する。その撮像画像よりコントラストに基づいて基準点に対応する特徴点座標を抽出し、抽出された特徴点座標と、予め設定された基準点の座標と、に基づいて認識対象の撮像部2に対する位置及び姿勢を推定する推定部3と、情報を表示する表示部6と、表示部6に表示する情報を記憶する記憶部5と、記憶部5から読み出して表示部6に表示する情報を、推定された位置および姿勢に応じて制御する制御部4と、を備えて提供する。
【選択図】図1

Description

本発明は、情報を提示する情報端末装置及びその認識対象に関し、特に、撮像部と認識対象の相対的位置関係の変化によって表示部での表示情報を制御できる、情報端末装置及び認識対象に関する。

撮影対象との相対的な位置関係に応じて情報を提示する装置は、提示する情報を直感的に変化させることが可能であり、利用者の利便性を向上させることができる。こうした装置を実現する方法としては、以下のような方法が公開されている。

非特許文献１では、黒色の正方形の枠と枠内部の図柄をマーカーとし、枠の歪み具合から相対的な位置関係と姿勢を推定し、図柄に応じたコンテンツを重畳するシステムを提案している。

特許文献１では、マーカーをサーバへと送信し、提供条件に基づいて、端末装置から受信したマーカーに関連付けられた複数のコンテンツの１つを送信し、重畳して表示することで、１つのマーカーで様々なコンテンツを切り替えて提供することが可能となる。

特許文献２では、マーカーの意味単位を、任意のオブジェクト（例えば、所持しているクレジットカードまたは名刺など）にマッピングすることで、任意のオブジェクトを代替マーカーとして使用できる。

特開2012-215989号公報 特開2012-048720号公報

H.Kato, et al., "Marker tracking and hmd calibration for a video-based augmented reality conferencing system," IWAR, 1999.

非特許文献１および特許文献１、特許文献２では、マーカーそのものは正方形形状で与えられ、直線検出で枠を認識しているため、焦点ボケや動きボケにより正方形形状を構成するエッジが失われると認識できないという課題がある。また、マーカーが印刷された紙等がたわんだ場合でも、正方形形状を構成するエッジの直線性が失われるため認識できないという課題がある。さらに、マーカーが印刷された紙の光沢によっては、反射光が強く画像が白飛びするため認識できないという課題がある。

本発明は上記課題に鑑みて提案されたもので、情報端末装置に対する認識対象の空間的な動作によって、情報端末装置の表示部に表示される情報を制御できる、ぼけや動き、たわみに頑健な情報端末装置を提供することを第一の目的とする。

また、上記認識対象を提供することを第二の目的とする。

上記目的を達成するため、本発明は、基準となる位置及び姿勢において撮像された際の基準点の座標が予め設定され、当該基準点が輝度の極値の位置となるようにコントラストが設けられ、互いに区別可能なように構成された部分領域を有する認識対象を撮像して撮像画像を得る撮像部と、前記撮像画像より前記設けられたコントラストに基づいて前記基準点に対応する特徴点座標を抽出し、当該抽出された特徴点座標と、前記予め設定された基準点の座標と、に基づいて前記認識対象の前記撮像部に対する位置及び姿勢を推定する推定部と、情報を表示する表示部と、前記表示部に表示する情報を記憶する記憶部と、前記記憶部から読み出して前記表示部に表示する情報を、前記推定された位置および姿勢に応じて制御する制御部と、を備えることを第一の特徴とする。

また、本発明は、前記情報端末装置によって認識される認識対象であって、基準となる位置及び姿勢において撮像された際の基準点の座標が予め設定され、当該基準点が輝度の極値の位置となるようにコントラストが設けられ、互いに区別可能なように構成された部分領域を有することにより、前記情報端末装置によって前記基準点が抽出可能なように構成されていることを第二の特徴とする。

前記第一の特徴に係る情報端末装置によれば、認識対象に設けられたコントラストによって、基準点に対応する特徴点座標が抽出されるので、ぼけなどに対して頑強な抽出が可能であり、さらに当該抽出結果に基づく表示情報の制御が可能となる。従って、前記第一の目的が達成される。

前記第二の特徴によれば、前記情報端末装置で認識される認識対象が提供され、前記第二の目的が達成される。

一実施形態に係る情報端末装置の機能ブロック図である。 本発明における認識対象の概要を説明するための模式図である。 認識対象の例を示す図である。 認識対象の例を示す図である。 認識対象の例を示す図である。 認識対象の例を示す図である。 推定部の機能ブロック図である。 撮像画像と、その階調数削減の例を示す図である。 追跡処理を模式的に示すための図である。 ぼけ量を推定する処理を説明するための図である。 マーカーの内部に認識対象を配置する一実施形態を説明するための図である。

以下、図面を参照して本発明を説明する。以下では、情報端末装置として携帯電話の端末を利用した場合について説明する。しかし、本発明の情報端末装置は、携帯電話に限られるものではなく、撮像部を備えたものであればどのような情報端末装置でもよく、例えば、コンピュータなどでもよい。

図１は、一実施形態に係る情報端末装置の機能ブロック図である。情報端末装置1は、撮像部2、推定部3、制御部4、記憶部5及び表示部6を備え、所定の認識対象をぼけ等に対して頑強に認識して、その撮像部2に対する位置及び姿勢を推定し、当該推定結果を用いて種々の表示制御を実現する。一例では、非特許文献1に開示されているようなAR(拡張現実)による表示制御によって、認識対象の位置及び姿勢を反映した重畳表示を実現することも可能である。

図2は、本発明の認識対象の概要を説明するための模式的な例を示す図である。認識対象は、コントラストを強く設けることで、画素値が段階的に変化する4 つ以上の部分領域を持つ平面形状又は立体形状で構成する。図2では、認識対象RO2は、円状の4つの部分領域R10、R20、R30及びR40を備えて構成されている。なお、後述の位置・姿勢推定のために、4つ以上の部分領域が必要となる。

部分領域を平面形状で実現する場合は、段階的な変化は印刷物等において色の変化で実現することができる他、反射率が異なる素材を組み合わせてもよい。部分領域を立体形状で実現する場合は、段階的な変化は光沢のある球体等を平面上に配置することで実現できる。あるいは、筐体にくぼみや穴を設けてコントラストを設定し、画素値を段階的に変化させることもできる。

あるいは、所定の平面又は立体に向けてLEDや赤外光等の光源を点灯させ、所定の光学系を用いる等して、画素値を段階的に変化させることによって部分領域を実現してもよい。この際、光源は対象の内側又は外側のいずれに設けてもよく、内側及び外側の両側に設けてもよい。内側に設ける場合、対象の透過率の空間変化で部分領域を実現してもよい。さらに、以上の印刷や光源その他の手法を適宜組み合わせて部分領域を実現してもよい。撮像した際に、本発明を適用可能となるようなコントラストが生じる任意の手法で部分領域を実現してよい。

図2では、部分領域R10において段階的にコントラストが変化する様子が、輝度値などが所定値を横切る一連の境界として、最外周の境界C11から、順にC12及びC13として示されている。部分領域R20〜R40についても同様に、段階的な境界C21,C22及びC23〜C41,C42及びC43が示されている。

4つ以上の部分領域はまた、互いに区別して認識可能なように構成されている。当該区別には、部分領域や部分領域近傍の輝度、色、形状等を利用することができる。4つ以上の部分領域はさらに、各々における内部の所定点を特定可能なように構成されている。当該特定により、一連の所定点の撮像部2で得た撮像画像内における座標値と、一連の所定点を基準の位置及び姿勢で撮像した場合に対応する基準座標における座標値と、の対応関係を計算することで、認識対象の位置及び姿勢の推定が可能となる。

図2では例えば、4つの部分領域R10〜R40は互いに異なる色を与えられることで各々が区別可能となる。さらに、それぞれの色における濃淡によって前述のコントラストが設けられていることにより、それぞれ内部の所定点P10〜P40を、輝度が極値を取る点として推定し、特定することが可能となる。当該4点P10〜P40を、例えばARマーカのうち正方マーカの4頂点と同様に利用することで、位置及び姿勢の推定が可能となる。

図３〜図６に、認識対象の例をそれぞれ示す。図3では、認識対象R03は、輝度値変化の等高線が一連の3角形状となるようにコントラストが設けられた、4つの部分領域R301〜R304を備えて構成される。当該部分領域R301〜R304のそれぞれは、平面上に印刷等されていてもよいし、壁などに所定色によって3角錐として突出して形成されたもの、又は逆に3角錐状の窪みとして形成されたものであってもよいし、光源を利用して形成されていてもよい。

図4では、認識対象RO4は、輝度値変化の等高線が一連の円状となる1つの部分領域R401と、一連の4角形状となる3つの部分領域R402〜R404との、合計4つの部分領域を備えて構成される。図3の場合と同様、平面上に印刷されていてもよいし、半球及び4角錐として突出してまたは窪んで形成されていてもよいし、光源を利用して形成されていてもよい。図4では、円状及び4角形状という部分領域の形状の違いによって、部分領域R401が残りの3つから区別して特定可能となる。

図5では、認識対象RO5は、輝度値変化の等高線が一連の円状となる4つの部分領域R501〜R504を備えて構成され、各部分領域は、図3,4の説明と同様に平面又は立体その他として形成してよい。

図5ではさらに、部分領域近傍の色などによって、部分領域の区別を与える設定例が示されている。すなわち、3つの円状の部分領域R501、R502及びR504で囲まれた領域は「黒」（ただし図中では、当該領域を明示すべく「灰」で描いている）であるのに対して、3つの円状の部分領域R503、R502及びR504で囲まれた領域は「白」である。従って、4角形の頂点の位置に配置された4つの部分領域R501〜R504において当該近傍領域の「黒」「白」の区別を加味することで、2つの部分領域R501及びR503が特定可能となる。

図6では、認識対象RO6は、輝度値変化の等高線が一連の円状となる4つの部分領域R1〜R4を備えて構成されている。位置及び姿勢の推定は、当該4つがあれば足りるが、図6ではさらに追加的な処理が可能となる部分領域が示されている。なお、図6では認識対象RO6を表現するに際して、(2)に部分領域同士の配置関係を強調して明示したものを、(1)に実写を模したものを、並列して描いている。

図6ではまた、4つの部分領域R1〜R4は4角形の頂点の配置にあるが、当頂点同士を結ぶ直線上にさらに、輝度値変化の等高線が一連の円状となる部分領域r1〜r33が設けられている。個別の部分領域の抽出の詳細は後述するが、図6の場合は次のような処理を適用することができる。

すなわち、部分領域は後述の手法により、R1〜R4及びr1〜r33と複数抽出され、対応する特徴点座標も複数得られる。この場合、全ての座標を包含する領域（図6では四角形）を形成し、該領域の頂点をR1〜R4における基準座標に対応する特徴点座標(位置・姿勢推定用の座標)とする。

あるいは、全ての特徴点座標を包含する領域の代わりに、全ての部分領域を包含する領域(図6では同じく四角形であり、領域R600として表現されている)を形成して、その頂点を基準座標に対応する特徴点の座標として採用してもよい。

さらに、当該頂点間を結ぶ線上の部分領域の有無により、関連情報を表現することができる。図6では当該頂点上に、部分領域r1〜r33が存在するため、これらを、位置・姿勢推定ではなく、関連情報の表示に利用することができる。例えば、関連情報として、表示部6で表示する情報を識別する情報を表現しても良い。関連情報は制御部4へ出力される。

なお、図６の例では、部分領域r1〜r33は「白」及び「黒」の区別を設けて、「1」及び「0」を割り当てることで、当該直線上に並べられた1次元コードとして、関連情報を表現することもできる。当該表現手法(コードの実装)については、情報端末装置1にて既知としておく。

以下、図1を再度参照して、各部の説明を行う。

撮像部2は、所定のサンプリング周期で認識対象を連続的に撮影して、その撮影画像を推定部3及び制御部4へ出力する。撮像部2としては携帯端末に標準装備されるデジタルカメラを用いることができる。

推定部3には、認識対象の位置および姿勢の変化の判断基準として、撮像部2に対して既知の位置および姿勢において撮像した際の画像上の座標に対応する、認識対象に対する基準座標が予め登録されている。当該基準座標は、実際に認識対象を基準位置及び姿勢で撮像したものに対して後述の基準点の抽出処理を実施して得られたものであってもよいし、既知の認識対象を設定した際に利用した図２〜６のような円や多角形等の幾何モデルにおいて、基準点に対応する極値の点の理想的な位置（理論上の位置）を基準位置及び姿勢に対して予め算出しておいたものであってもよい。

推定部3は、撮像部2から入力される画像から認識対象の部分領域及びその内部の所定点を検出し、当該画像より検出された点(特徴点座標)と、予め登録された基準座標と、の対応関係を推定する。

さらに、推定部3は、当該推定された互いに対応する特徴点座標と基準座標との位置関係から、予め設定された変換式に基づいて撮像部2に対する認識対象の相対的位置および姿勢を表す変換係数を推定する。推定部3において変換係数の推定に用いられた変換式および推定された変換係数は、制御部4へ出力される。

記憶部5は、表示部6に表示する表示情報を予め複数蓄積している。利用者は、制御部4に対する入力操作で、記憶部5に蓄積されている表示情報の中から１つ以上の任意の表示情報を選択して表示部6に表示させることができる。当該選択される表示情報の中は、撮像部2にてリアルタイムに撮像される画像や、当該画像に重畳させる画像が含まれていてもよい。

表示部6での情報表示の際、制御部4は、推定部3から入力された変換式および変換係数を表示情報に適用して表示情報を加工する。これにより、推定部3での推定結果に従って表示部6での表示情報が制御される。一例では、認識対象をARマーカとして利用して、推定された位置及び姿勢を反映した画像を、撮像部2から得られる画像に対して重畳してもよい。

あるいはまた、例えば、商品などの情報が表示部6に表示されている場合に、利用者が認識対象を撮像部2の撮影面に対して垂直方向や水平方向などに移動させると、認識対象の座標と連動して情報が移動するように構成することができる。また、利用者が認識対象を撮像部2の撮影面に対して奥行き方向に移動させると、認識対象の見かけの大きさと連動して情報が拡大縮小するように構成することもできる。さらに，利用者が認識対象の姿勢を変化させると、認識対象の傾きに連動して情報が回転するように構成することもできる。よって、通信販売などで商品を仮想的に手に取ることができる。

以下、推定部3での処理の詳細を説明する。

図７は、推定部3における要素的な各処理を担う細部を示した機能ブロック図である。推定部3は、階調形成部31、基準点抽出部32及び姿勢推定部33を含む。基準点抽出部32はさらに、外接図形形成部321、部分領域選別部322、部分領域確定部323及び抽出部324を含む。当該各部は所定タイミング(一例では、撮像部2から入力される撮像画像ごとのタイミング)で順次、自身の処理を繰り返し実行する。

階調形成部31は、撮像部2から入力される画像から部分領域をコントラストに基づいて抽出するための前処理として、当該画像を階調表現された画像へと変換する。第一処理として、撮像部2から入力される画像を表現している色空間(例えば、RGB 色空間など)を、コントラスト比が最大となる色空間に写像する。

第二処理として、階調形成部31は次に、当該写像された空間における画像の階調数を所定割合だけ低減させ、部分領域の段階的変化を表す階調毎に、階調間境界画像を生成して、基準点抽出部32へと入力する。図8の(1)に撮像画像の例と、(2)にその階調数削減画像の例と、を示す。

なお、階調数をnとすると、階調間はn−1個であるので、n−1個の階調間境界画像が生成される。k番目(k=1, 2, ..., n−1)の階調間境界画像は、第k階調と第k+1階調との境界を特定するものとして生成される。輝度（画素値）を地形図の高度に例えると、階調間境界画像は、所定高度における等高線に相当し、擬似輪郭を表現したものである。

図2の例は、当該第二処理によって4段階の階調となり、3つの階調間境界画像が次のように生成されたものであってもよい。第1の階調間境界画像として、4つの円C11,C21,C31及びC41が生成される。第2の階調間境界画像として、それらの内部にある4つの円C12,C22,C32及びC42が生成される。第3の階調間境界画像として、最も内部の4つの円C13,C23,C33及びC43が生成される。

なお、当該説明例では、4つの部分領域R10〜R40にてそれぞれの中心P10〜P40へ向かう輝度変化の方向と、輝度変化の範囲とが同じであることを前提としている。当該変化方向及び／または各部分領域における輝度範囲が異なる場合には、当該説明例とは異なる階調間境界画像が得られる。

基準点抽出部32は、予め設定された基準座標に対応する撮像画像(撮像部2で得た画像)内の所定点の座標(特徴点座標)を、入力された画像(階調形成部31で得た階調間境界画像)を用いて抽出し、姿勢推定部33へ出力する。当該抽出の詳細は以下の通りである。

まず、外接図形形成部321は、階調間境界画像における境界のうち閉領域を形成しているものを抽出し、当該閉領域を部分領域の全体又は一部(内部の一部分)に対応する候補として、当該閉領域を包含する外接図形を形成する。

当該外接図形には、特に、部分領域に多角形が存在することが既知であれば、多角形フィッティングによる外接多角形を用いることができる。円が存在することが既知であれば、外接多角形の代わりに円ないし楕円フィッティングによる円または楕円を用いてもよい。複数種類のフィッティングを適用する場合は、外接図形内における閉領域の充填率及び／または外接図形と閉領域とのアスペクト比の一致率に基づいて、最もよくフィットしているものを採用すればよい。

図2の例であれば、第1の階調間境界画像にて形成される閉領域C11,C21,C31及びC41と、第2の階調間境界画像にて形成される閉領域C12,C22,C32及びC42と、第3の階調間境界画像にて形成される閉領域C13,C23,C33及びC43と、のそれぞれにおいて、外接図形が形成される。なお、図2の例では示されていないが、階調間境界画像において画像内を横切る線分など閉領域を形成しないものは、候補になりえないとして抽出されない。

次に、部分領域選別部322は、外接図形形成部321にて形成された外接図形から、予め既知である認識対象の部分領域の形状に基づいて、部分領域に対応しうるものだけを残すことにより、候補としての外接図形にさらなる選別を加える。

認識対象の部分領域の形状が多角形であれば、外接多角形の頂点数が一致する領域を選別する。一方、認識対象の部分領域の形状が円形であれば、抽出された領域の周囲長Lから円であるとした場合の半径Rを推定（推定式：R=L/2π）し、抽出された領域の面積と前記判定から算出した面積との一致する領域を選別する。当該一致判定は、面積の差または比に対する所定閾値判定を用いればよい。あるいは、外接図形内における、対応する領域の面積占有率で閾値判断を課してもよい。

こうして、部分領域選別部322は、認識対象が図2の例RO2に該当する場合であれば、円の領域を選別し、図3の例RO3に該当する場合であれば、3角形の領域を選別し、図4の例RO4に該当する場合であれば、4角形または円の領域を選別する。なお、認識対象の部分領域の形状が例えば3角形、4角形及び円といったように複数種類ある場合、いずれかの形状に該当しているものを選別する。

続いて、部分領域確定部323は、部分領域選別部322にて候補として選別された領域から、当該領域同士の階調間境界画像間における段階的変化に基づいて、部分領域に該当しているものを確定する。具体的には、複数の階調間境界画像において、それぞれの外接図形が相似関係であり、かつ包含関係または同一である一連の領域を、各部分領域に対応するものとして選択する。

この際、相似関係であり、且つ包含関係または同一である一連の領域が、所定閾値の個数以上存在しているものを選択する。包含関係または同一である一連の領域のさらに内部または外部に、相似関係ではない領域が存在する場合は、そのような領域は除外したうえで、一連の相似関係にある領域を選択対象とする。

図2の例であれば、互いに円であることから相似関係にあり、且つ包含関係が形成されている、領域C11,C12及びC13と、領域C21,C22及びC23と、領域C31,C32及びC33と、領域C41,C42及びC43と、の4つの一連の領域が選択される。なお、輝度変化が大きい場合には、複数の階調間境界画像にて境界同士が包含関係ではなく同一となる場合があるため、そのような場合であっても選択対象とする。

部分領域確定部323はさらに、一連の領域として選択された各部分領域が、認識対象における既知の部分領域のいずれに対応するかを特定する。この際、前述のように、一連の領域の外接図形の形状、一連の領域の位置又は当該位置の近傍における撮像画像の色、輝度変化の方向(領域内部に向かって値が増加または減少のいずれの傾向であるか)などの、認識対象の部分領域に対して予め既知である各事項を条件として用いることで特定が可能となる。

最後に、抽出部324は、部分領域確定部323にて各部分領域への対応付けが与えられた一連の外接図形の各々において、最も内側の外接図形の重心を、各部分領域における輝度変化の極値に対応する点であるものとして推定し、当該重心を、基準座標に対応する座標として抽出し、姿勢推定部33へと出力する。

階調形成部31及び基準点抽出部32での以上のような処理による効果は、次の通りである。第一の効果として、認識対象の部分領域が段階的に変化するよう構成されているため、焦点ボケや動きボケが発生した場合でも、階調処理によって吸収され、認識対象の部分領域は比較的小さな影響しか受けない。すなわち、階調数が減少することはあったとしても、複数の階調間境界画像における複数の外接図形の制約（画像間及び画像内の制約）が働くことによって、認識対象を安定して抽出できる。

また、第二の効果として、認識対象に対して多少の部分的隠蔽が存在する場合であっても、部分領域単位で抽出するため、包含関係にある外接多角形の最も内側の重心付近が可視であれば認識対象を抽出できる。

姿勢推定部33は、予め基準平面上にて登録されている基準点座標と、抽出部324が抽出した特徴点座標とを比較することで，撮像部に対する認識対象の相対的な位置及び姿勢を推定する。なお、当該座標間の対応関係は、部分領域確定部323が各部分領域を認識対象における既知の部分領域のいずれに対応するかを特定しているので、当該対応づけより自動で確定する。

当該対応づけられたn個の特徴点座標を(x'_j, y'_j) (1≦j≦n)とし、基準点座標を(x_j, y_j) (1≦j≦n)とする。姿勢推定部33は、予め設定した変換式において当該両者が一致するような変換係数a_k (1≦k≦8, 8≦2n)を求める。当該推定された変換係数と、変換式とは位置・姿勢推定結果として、制御部4へ送られる。

変換式が以下の(式1),(式2)の射影変換を利用するとき、2n=8 (n=4)では2n(=8)元連立方程式として解くことができる。8＜2n (n＞4)では最小二乗法で解くこともできる。

以上、推定部3での処理の詳細を一実施形態として説明した。次に、推定部3の別の一実施形態に係る処理を説明する。当該実施形態では、処理負荷の軽減を実現するため、階調形成部31及び基準点抽出部32による処理を間欠的に実行し、実行されない画像に対しては特徴点を、過去に間欠的に抽出した履歴などを用いて追跡する処理を併用する。当該追跡処理を担う機能ブロックは図7には明示されていないが、推定部3全体としての補足的処理として実行可能である。

図9は当該追跡処理を概念的に示す図である。時間軸上、時刻T及び時刻T+nにおいては、階調形成部31及び基準点抽出部32が前述のように機能して、それぞれフレームF[T]及びF[t+n]から特徴点を抽出している。なお、撮像部2による撮像画像をここでは、時系列上で得られる点を強調してフレームと称する。

また、S[T]及びS[T+n]は、当該特徴点のうちの1つにおける、特徴点を含む小領域であり、当該別の実施形態にて利用される。小領域は、対応する部分領域全体内において、特徴点を含むように所定方式で定めることできる。

一方、時刻T及び時刻T+nの間の各時刻T+k (k=1, 2, ..., n−1)に対するフレームF(T+k)において、追跡処理が実施される。すなわち、時刻Tにて抽出された特徴点を含む小領域S[T]に最も類似する領域P[T+k]が、当該フレームF(T+k)内より探索され、当該領域P[T+k]内の点(小領域を設定した際と同様の位置関係の点)が特徴点の追跡結果として、抽出部324により採用される。当該追跡結果は、間欠処理を実施しない場合に抽出された特徴点と同様に、姿勢推定部33にて利用される。

上記探索処理は、平行移動モデルやアフィン変換モデル、射影変換モデルなどで形状変化を補償した上で、小領域同士(当該補償された小領域S[T]と、フレームF[T+k]の同位置における小領域)の二乗誤差和が最小となるパラメータを決定するようにすればよい。なお、図9では小領域S[T]と同位置をS[T+k]として点線で示している。当該同位置より位置及び形状が補償され、S[T]に最も類似するものとして探索された結果がP[T+k]となる。

図10は、推定部3にて間欠処理を実施しない場合に、補足的処理として、ぼけ量を推定する処理を説明するための図である。(1)はぼけがない場合であり、図2の例と同様に、部分領域R10及びその重心P10が抽出され、当該抽出に際して3つの階調間境界画像C11,C12,C13が得られている。

(2)は(1)において焦点ぼけが発生した場合の例である。部分領域R10では3つではなく、2つの階調間境界画像C101及びC103しか得られていない。あるいは、当該いずれかの階調間境界画像C101及びC103が、他の階調間境界画像と同一となる。すなわち、階調数が少ないほど、焦点ぼけの影響が大きいので、階調数に基づいて焦点ぼけの量を推定することができる。当該階調数は、部分領域における階調間境界画像の種類数として定めることができる。

(3)は(1)において動きぶれが発生した場合の例である。(1)のように動きぶれがない場合は、3つの階調間境界画像C11,C12,C13の全ての重心が概ねC13の重心P10と一致する。これに対し、(3)では、3つの階調間境界画像C111,C112,C113のそれぞれの重心P111,P112,P113には、動きの方向に応じた位置の違い(P113→P112→P111)が発生している。すなわち、各部分領域において得られた各階調間境界画像の重心同士の位置関係によって、動きぶれを推定することができる。

以上のぼけ量推定処理(焦点ぼけ及び動きぶれ)は、部分領域確定部323にて追加的な処理として実施することが可能である。

ぼけ量の第一利用例として、動きぶれにおける動き方向を利用することで、図9で示した類似する領域P[T+k]を探索する範囲を制限し、探索負荷を低減してもよい。すなわち、位置S[T+k]から見て、S[T]にて得られた動き方向に概ね合致する範囲のみを探索範囲としてもよい。

ぼけ量の第二利用例として、表示部6で特に撮像画像と何らかの画像を重畳させて表示する際に、当該重畳画像に対して推定されたぼけ量に対応するぼかしを適用して、重畳するようにしてもよい。この際、制御部4は、焦点ぼけ及び動きぶれを表現するための所定の変換式によって重畳画像を加工すればよい。こうして、撮像画像に馴染ませた形で、画像を重畳することが可能となる。

以下、以上説明してきた実施形態に組み合わせ可能な別の一実施形態を説明する。当該実施形態では、以上説明してきた認識対象を、従来技術のマーカー（ARマーカー等）と部分的に組み合わせる。例えば、従来技術の正方マーカーの内部に、コントラストが設定され基準点を抽出可能な部分領域を備えた認識対象を配置する。なお、当該マーカーは形状等がその頂点座標等により既知であって、位置及び姿勢の算出が可能なマーカーである。

図11は、当該別の実施形態の一例として、図3の認識対象RO3が正方マーカーM100(正方形状の枠として形成されたマーカー)の内部に配置された例である。なお、図11では、(1)に従来のマーカーと組み合わされた認識対象が示されており、(2)はその認識処理を説明するための図である。

当該実施形態においては、推定部3は、前述実施形態の処理によって基準点座標に対応する特徴点座標を検出した後、追加的な処理として、当該特徴点座標から領域形成処理によって、従来技術のマーカーの内部領域を抽出する。正方マーカーであれば、当該正方形の領域を抽出する。ここで、領域形成処理には、FloodFill等の既存技術を利用すればよい。

なお、特徴点座標から領域形成処理によって領域を成長させる際には、画素値の一方向のみに成長させることが望ましい。また、当該一方向のみに成長させることでマーカーの内部領域を抽出可能なように、マーカーを含む認識対象の全体を予め設定しておく。領域形成処理の対象は、階調形成部31の適用前の撮像画像または適用後の階調数削減画像のいずれでもよい。

図１１の例であれば、(2)に示すように、各部分領域R301〜R304のそれぞれから検出される特徴点座標P301〜P304（なお(2)では、位置の明確化のため白抜き表示してあるが、当該各座標位置は(1)に示すように「黒」に相当する）のそれぞれについて、（「白」から「黒」へではなく、）「黒」から「白」へ向かう方向に成長させることによって、正方マーカーM100の内部の正方形領域R1000が得られる。なお、領域形成処理は、特徴点座標P301〜P304のいずれかにおいて正方形領域R1000が得られた時点で完了してよい。正方形が得られたか否かは、前述の部分領域選別部322における形状等の判定処理と同様の手法を利用して判定すればよい。

こうして、当該実施形態においては、従来技術のマーカーを利用するに際して、ぼけが生じたとしても、マーカーの内部が正確に抽出され、マーカーの頂点座標情報から位置及び姿勢を算出することができる。図１１の例であれば、内部の正方形領域R1000が抽出されることにより、その境界の正方形B101が抽出され、当該正方形B101の4頂点を用いて位置及び姿勢の推定が可能となる。

さらに、マーカーの内部には複数の基準点が存在してもよいので、位置及び姿勢をマーカーの頂点座標からでも基準点座標からでも算出することが可能となり、より確実な推定を実現できる。例えば、基準点座標とマーカー座標との位置関係を共通の座標系において既知として与えておき、4つの基準点P301〜P304の座標と、マーカーの正方形B101の4頂点の座標と、の合計8点によって推定を行ってもよいし、いずれかのみから推定を行ってもよい。

なお、マーカー内部の部分領域は図１１であれば例えば、R301の1つのみ（あるいは、姿勢推定に必要な４つ未満）しか存在しないようにしてもよい。この場合も、当該領域R301によって、ぼけ等に対して頑強にマーカーM100の内部領域R1000を抽出して、マーカーM100によって位置・姿勢推定が可能である。なおまた、マーカーの各頂点の特定は、部分領域との位置関係によって既知として与えられていてもよいし、M100のようなマーカー自体が、周知方式によって頂点が互いに区別可能なように構成されていてもよい。

また、図１１の例では、正方形の枠M100としてマーカーを示したが、外枠B102が存在せず内枠B101のみ存在する形式、すなわち、黒地に白の形式でマーカーM100が与えられていてもよい。なおまた、当該マーカーも、部分領域と同様に印刷、立体形状、光源その他の手法で用意することができる。

1…情報端末装置、2…撮像部、3…推定部、4…制御部、5…記憶部、6…表示部

Claims (15)

1. 基準となる位置及び姿勢において撮像された際の基準点の座標が予め設定され、当該基準点が輝度の極値の位置となるようにコントラストが設けられ、互いに区別可能なように構成された部分領域を有する認識対象を撮像して撮像画像を得る撮像部と、
   前記撮像画像より前記設けられたコントラストに基づいて前記基準点に対応する特徴点座標を抽出し、当該抽出された特徴点座標と、前記予め設定された基準点の座標と、に基づいて前記認識対象の前記撮像部に対する位置及び姿勢を推定する推定部と、
   情報を表示する表示部と、
   前記表示部に表示する情報を記憶する記憶部と、
   前記記憶部から読み出して前記表示部に表示する情報を、前記推定された位置および姿勢に応じて制御する制御部と、を備えることを特徴とする情報端末装置。
2. 前記推定部は、前記抽出された特徴点座標と、前記予め設定された基準点の座標と、の対応関係を、前記部分領域が互いに区別可能なように構成されていることより特定し、当該対応関係における座標同士を予め設定された変換式に基づいて変換する変換係数として、前記位置及び姿勢を推定することを特徴とする請求項１に記載の情報端末装置。
3. 前記推定部は、
   前記撮像画像の階調を減少させ、階調毎の階調間境界画像を生成する階調形成部と、
   前記階調毎の階調間境界画像における位置関係により、前記特徴点座標を抽出する基準点抽出部と、
   前記抽出された特徴点座標と、前記予め設定された基準点の座標と、に基づいて前記位置及び姿勢を推定する姿勢推定部と、を備えることを特徴とする請求項１または２に記載の情報端末装置。
4. 前記階調形成部は、前記撮像画像をコントラストが最大となる色空間に写像してから、当該写像された画像において階調を減少させ、前記階調毎の階調間境界画像を生成することを特徴とする請求項３に記載の情報端末装置。
5. 前記基準点抽出部は、
   前記階調毎の階調間境界画像における領域を包含する外接図形を形成する外接図形形成部と、
   前記形成された外接図形の形状から前記部分領域に対応しうる候補を選別する部分領域選別部と、
   前記候補同士の包含関係に基づいて、部分領域に対応する外接図形を確定する部分領域確定部と、
   前記確定した外接図形に基づいて、前記前記特徴点座標を抽出する抽出部と、を含むことを特徴とする請求項３または４に記載の情報端末装置。
6. 前記外接図形の一種には、外接多角形が含まれ、
   前記部分領域選別部は、前記形成された外接多角形の頂点数、又は、前記領域を包含するよう形成された外接図形に対して当該領域が占める割合、に基づいて、前記候補を選別することを特徴とする請求項５に記載の情報端末装置。
7. 前記部分領域確定部は、前記候補同士が包含関係又は同一であることとと、対応する外接図形が相似関係であることと、に基づいて、前記部分領域に対応する外接図形を確定することを特徴とする請求項５または６に記載の情報端末装置。
8. 前記抽出部は、前記確定した外接図形のうち、最も内側に存在するものの重心として、前記特徴点座標を抽出することを特徴とする請求項５ないし７のいずれかに記載の情報端末装置。
9. 前記認識対象は、外周の4頂点を定める部分領域と、当該4頂点の間に直線上に配置された部分領域と、で構成され、
   前記推定部は、前記外周の4頂点を定める部分領域より前記位置及び姿勢を推定し、前記4頂点の間に直線上に配置された部分領域より、関連情報を読み取ることを特徴とする請求項１ないし８のいずれかに記載の情報端末装置。
10. 前記推定部は、前記部分領域の全てを抽出し、当該全ての部分領域を包含する4角形の頂点座標を、前記特徴点座標として抽出することを特徴とする請求項９に記載の情報端末装置。
11. 前記階調形成部と、前記基準点抽出部と、は、時間軸上を連続的に入力される前記撮像画像に対して、間欠的に実行され、
    前記抽出部は、当該実行が省略されている時点では、直近に抽出された前記特徴点座標を含む小領域の類似小領域の追跡処理によって、抽出すべき特徴点座標を出力することを特徴とする請求項５ないし８のいずれかに記載の情報端末装置。
12. 前記抽出部は、実行が省略されている時点では、直近に生成された前記階調毎の階調間境界画像における階調毎の重心同士の位置関係で定まる方向によって、前記類似小領域を追跡する範囲を限定することを特徴とする請求項１１に記載の情報端末装置。
13. 前記推定部は、前記階調毎の階調間境界画像における階調数及び領域重心の位置からぼけ量を推定し、
    前記制御部は、前記推定されたぼけ量を適用して前記表示部に表示する情報を制御することを特徴とする請求項３ないし８のいずれかに記載の情報端末装置。
14. 前記認識対象は、頂点座標が既知の所定のマーカーの内部に配置されており、
    前記推定部はさらに、前記抽出した特徴点座標より領域形成処理を行うことで前記マーカーの領域とその頂点座標とを抽出し、前記位置及び姿勢を推定するに際してさらに、当該抽出された頂点座標を用いることを特徴とする請求項１ないし１３のいずれかに記載の情報端末装置。
15. 請求項１ないし１３のいずれかの情報端末装置によって認識される認識対象であって、
    基準となる位置及び姿勢において撮像された際の基準点の座標が予め設定され、当該基準点が輝度の極値の位置となるようにコントラストが設けられ、互いに区別可能なように構成された部分領域を有することにより、前記情報端末装置によって前記基準点が抽出可能なように構成されていることを特徴とする認識対象。