JP5480777B2 - オブジェクト表示装置及びオブジェクト表示方法 - Google Patents

Description

本発明は、オブジェクト表示装置及びオブジェクト表示方法に関する。

近年において、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術を用いたサービスが開発・提供されている。例えば、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられた仮想オブジェクトを現実空間の画像に重畳してディスプレイに表示する技術が知られている。また、時間的に異なる複数画像から撮影部と撮像対象との空間的位置関係の変化を推定し、かかる変化に基づき表示部におけるスクロール等の制御を行う端末装置が知られている。（例えば、特許文献１参照）。

特開２０１０−６７０９０号公報

カメラ等により捉えられた現実空間の画像から検出したマーカに基づき仮想オブジェクトを現実空間の画像に重畳表示する技術では、何らかの原因によりマーカを検出できなかった場合には、仮想オブジェクトを表示できない。一方、現実空間中に存在するマーカを撮影する場合において、撮像範囲にマーカが存在する場合であっても、カメラとマーカとの位置関係、及び明るさ等の撮像条件といった様々な要因により、マーカを検出できない場合がある。

そこで、本発明は、上記問題点に鑑みてなされたものであり、何らかの原因により現実空間におけるマーカを検出できない場合であっても、仮想オブジェクトを表示することが可能なオブジェクト表示装置及びオブジェクト表示方法を提供することを目的とする。

上記課題を解決するために、本発明のオブジェクト表示装置は、撮像手段により取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられた仮想オブジェクトを現実空間の画像に重畳して表示手段に表示するオブジェクト表示装置であって、マーカを検出できなかった場合に、マーカを検出できていた過去と現在との間における、表示手段に表示される現実空間の画像の変化を取得する表示補完手段と、表示補完手段により取得された表示手段に表示される現実空間の画像の変化に基づき、仮想オブジェクトの表示位置及び表示態様を決定する表示決定手段とを備え、表示手段は、表示決定手段により決定された仮想オブジェクトの表示位置及び表示態様に基づき、仮想オブジェクトを現実空間の画像に重畳して表示し、表示決定手段は、表示手段に表示される現実空間の画像の変化に基づき、表示手段に表示される現実空間の画像におけるマーカの位置及び形状を推定し、推定されたマーカの位置及び形状に基づき、仮想オブジェクトの表示位置及び表示態様を決定する、ことを特徴とする。

また、上記課題を解決するために、本発明のオブジェクト表示方法は、撮像手段により取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられた仮想オブジェクトを現実空間の画像に重畳して表示手段に表示するオブジェクト表示装置におけるオブジェクト表示方法であって、マーカを検出できなかった場合に、マーカを検出できていた過去と現在との間における、表示手段に表示される現実空間の画像の変化を取得する表示補完ステップと、表示補完ステップにおいて取得された表示手段に表示される現実空間の画像の変化に基づき、仮想オブジェクトの表示位置及び表示態様を決定する表示決定ステップと、表示決定ステップにおいて決定された仮想オブジェクトの表示位置及び表示態様に基づき、仮想オブジェクトを現実空間の画像に重畳して表示する表示ステップと、を有し、表示決定ステップにおいて、表示手段に表示される現実空間の画像の変化に基づき、表示手段に表示される現実空間の画像におけるマーカの位置及び形状を推定し、推定されたマーカの位置及び形状に基づき、仮想オブジェクトの表示位置及び表示態様を決定することを特徴とする。

本発明のオブジェクト表示装置及びオブジェクト表示方法によれば、現在においてマーカを検出できなかった場合に、マーカを検出できていた過去と現在との間における、表示手段に表示される現実空間の画像の変化が取得される。仮想オブジェクトは、現実空間の画像におけるマーカの位置及び形状に基づき表示されるものであるので、仮想オブジェクトの表示位置及び表示態様も、現実空間の画像の変化に応じて変化すべきものである。このため、当該過去と現在との間における現実空間の画像の変化に基づき、当該過去における仮想オブジェクトの表示位置及び表示態様から、現在における仮想オブジェクトの表示位置及び表示態様を決定できる。従って、何らかの原因により現実空間におけるマーカを検出できない場合であっても、仮想オブジェクトを表示できる。
また、表示手段に表示される現実空間の画像の変化に基づき、仮想オブジェクトの表示位置及び表示態様を決定するための根拠となるマーカの現実空間における位置及び形状が推定されるので、仮想オブジェクトの現在の表示位置及び表示態様を適切に決定できる。

また、本発明のオブジェクト表示装置では、表示補完手段は、現実空間の画像から特定形状を抽出し、マーカを検出できていた過去と現在とにおける特定形状の形状及び位置の変化を認識する特定形状認識手段を備え、特定形状認識手段により認識された特定形状の形状及び位置の変化に基づき、表示手段に表示される現実空間の画像の変化を取得することを特徴とする。

この場合には、現実空間の画像から抽出された特定形状の形状及び位置の変化に基づき、表示手段に表示される現実空間の画像の変化が取得される。特定形状の形状及び位置の変化は、仮想オブジェクトの表示位置及び表示態様を決定するためのマーカと同様に、現実空間の画像中から抽出されるものであるので、表示手段に表示される現実空間の画像の変化が高精度に取得される。従って、過去の仮想オブジェクトの表示位置及び表示態様に基づき、現在の表示位置及び表示態様を高精度に決定できる。

また、表示手段に表示される現実空間の画像の変化を取得するための特定形状には、所定の物の形状を用いることができる。この場合には、表示手段に表示される現実空間の画像の変化を確実に取得できる。

また、表示手段に表示される現実空間の画像の変化を取得するための特定形状には、所定の図形及び線並びに同一色を有する一定の領域のうちの少なくともいずれか１つを用いることができる。この場合には、特定形状認識手段による特定形状の抽出の確率が向上する。

また、本発明のオブジェクト表示装置では、表示補完手段は、オブジェクト表示装置の位置及び撮像方向の変化を検知する端末姿勢検知手段を備え、表示決定手段は、表示補完手段が表示手段に表示される画像の変化を取得できなかった場合に、端末姿勢検知手段により認識されたオブジェクト表示装置の位置及び撮像方向の変化に基づき、仮想オブジェクトの表示位置及び表示態様を決定することを特徴とする。

この場合には、オブジェクト表示装置の位置及び撮像方向の変化に基づき、仮想オブジェクトの表示位置及び表示態様が決定されるので、現実空間の画像から特定形状を抽出できない場合であっても、仮想オブジェクトの表示が可能となる。

ＡＲ技術を利用したサービスにおいて、何らかの原因により現実空間におけるマーカを検出できない場合であっても、仮想オブジェクトを表示することが可能となる。

オブジェクト表示装置の機能的構成を示すブロック図である。 オブジェクト表示装置のハードブロック図である。 表示部における、マーカに基づく仮想オブジェクトの表示例、及びマーカ非検出時における、仮想オブジェクトの表示が不可能な状態の例を示す図である。 マーカデータベースの構成及び記憶されているデータの例を示す図である。 オブジェクトデータベースの構成及び記憶されているデータの例を示す図である。 オブジェクト表示装置とマーカとの位置関係を示す模式図、及びかかる位置関係にある場合における表示画像の例を示す図である。 表示部における特定形状の変化及びマーカの形状の変化に基づく仮想オブジェクトの表示例を示す図である。 フレームごとの、オブジェクト表示装置の姿勢データ、マーカ位置及び推定マーカ形状のデータの例を示す図である。 オブジェクト表示方法の処理内容を示すフローチャートである。

本発明に係るオブジェクト表示装置及びオブジェクト表示方法の実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

図１は、オブジェクト表示装置１の機能的構成を示すブロック図である。本実施形態のオブジェクト表示装置１は、撮像手段により取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられた仮想オブジェクトを現実空間の画像に重畳して表示手段に表示する装置である。

マーカは、現実空間に所在する所定の標識である。オブジェクト表示装置１は、マーカに対応付けて表示させる仮想オブジェクトのデータを予め記憶している。オブジェクト表示装置１は、現実空間の画像からマーカを検出すると、当該マーカの形状（ゆがみ）及び大きさに基づき、仮想オブジェクトの表示位置及び表示態様を決定し、決定された表示位置及び表示態様に従って仮想オブジェクトを現実空間の画像に重畳してディスプレイに表示させる。なお、オブジェクト表示装置１は、仮想オブジェクトのデータを通信により取得することとしてもよい。

仮想オブジェクトは、現実空間の画像に重畳表示させることにより、オブジェクト表示装置１のユーザに対して種々の情報を提供するための仮想的なオブジェクトである。

図２に示すように、オブジェクト表示装置１は、機能的には、カメラ２（撮像手段）、画像取得部３、マーカ認識部４、マーカデータベース５、表示決定部６（表示決定手段）、オブジェクトデータベース７、表示部８（表示手段）及び表示補完部９（表示補完手段）を備える。

図２は、オブジェクト表示装置１のハードウエア構成図である。オブジェクト表示装置１は、物理的には、図２に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、データ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図１に示した各機能は、図２に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。再び、図１を参照し、オブジェクト表示装置１の各機能部について詳細に説明する。

カメラ２は、現実空間の画像を撮影する撮像手段である。カメラ２は、撮影した現実空間の画像を画像取得部３に送出する。なお、現実空間の画像は、静止画及び動画を含む。

画像取得部３は、カメラ２により撮影された現実空間の画像を取得する部分である。画像取得部３は、取得した現実空間の画像をマーカ認識部４及び表示補完部９に送出する。

マーカ認識部４は、マーカデータベース５に登録されているマーカの画像データに基づき、現実空間の画像からマーカを認識する部分である。マーカの認識は、例えば当業者に既知のパターンマッチングといった画像処理技術により行われる。より具体的には、マーカ認識部４は、現実空間の画像からマーカを抽出し、さらに、現実空間の画像におけるマーカの位置及び形状を認識する。現実空間の画像におけるマーカの形状は、カメラ２とマーカとの位置関係に応じたゆがみを有するので、マーカの形状に基づき現実空間の画像におけるマーカの向きを判断することが可能である。マーカ認識部４は、認識したマーカを識別する情報と共に、現実空間の画像における当該マーカの位置及び形状に関する情報を表示補完部９及び表示決定部６に送出する。

また、マーカ認識部４は、現実空間の画像からマーカを認識できなかった場合には、その旨の情報を表示補完部９及び表示決定部６に送出する。図３は、マーカ認識部４が現実空間の画像からマーカを認識できない場合の例を示す図である。

図３（ａ）は、オブジェクト表示装置１とマーカＭとの位置関係が図３（ｂ）の模式図に示すような状態にある場合の、表示部８に表示される画像ｆの例である。本実施形態のマーカＭは、アルファベットの「ｉ」の文字が平面上に表された標識である。図３（ｂ）に示すように、オブジェクト表示装置１は、マーカＭの斜め上方からマーカＭを撮影しているので、マーカ認識部４は、画像ｆからマーカＭを認識可能である。マーカＭが認識されると、図３（ａ）に示すように、表示部８は、このマーカＭに対応付けられた仮想オブジェクトＯを現実空間の画像に重畳表示する。

一方、図３（ｃ）は、オブジェクト表示装置１とマーカＭとの位置関係が図３（ｄ）の模式図に示すような状態にある場合の、表示部８に表示される画像ｆの例である。図３（ｄ）では、オブジェクト表示装置１がマーカＭを捉えるための撮影方向とマーカＭの上面に対して成す角度が小さいため、図３（ｃ）に示すように、カメラ２及び画像取得部３により捉えられた画像ｆにおけるマーカＭの形状のゆがみの程度が図３（ａ）と比較して大きくなる。このように、画像ｆにおけるマーカＭの形状のゆがみの程度が大きい場合には、マーカ認識部４は、現実空間の画像ｆからマーカＭを認識できない。かかる場合には、図３（ｃ）に示されるように、表示部８は、仮想オブジェクトＯを重畳表示しない。

マーカ認識部４が現実空間の画像からマーカを認識できない場合は、図３（ｃ），（ｄ）に示すようなマーカＭの形状のゆがみの程度が大きい場合の他、ストロボ発光によるいわゆる白飛びが発生した場合、及び撮影のための光量が不足した場合等が想定される。

マーカデータベース５は、マーカのデータを記憶しているデータベースである。マーカのデータは、より具体的には、マーカの画像データである。図４は、マーカデータベース５の構成及び記憶されているデータの例を示す図である。図４に示すように、マーカデータベース５は、マーカを識別するＩＤに対応付けて、マーカのデータを記憶している。

表示決定部６は、マーカ認識部４から送出されたマーカを識別する情報に基づき当該マーカに対応付けられた仮想オブジェクトのデータをオブジェクトデータベースから抽出すると共に、マーカ認識部４から送出されたマーカの位置及び形状に関する情報に基づき、表示部に表示される画像における当該仮想オブジェクトの表示位置及び表示態様を決定する部分である。

仮想オブジェクトの表示位置及び表示態様は、当該仮想オブジェクトが対応付けられているマーカとの相対的な位置関係により規定される。本実施形態では、仮想オブジェクトとマーカとの位置関係は、後述するように、オブジェクトデータベース７におけるオフセットとして記憶されている。オフセットのデータは、例えば、マーカの位置を基準とした仮想オブジェクトの相対的な位置を示す情報及び表示する際の向きに関する情報を含む。

表示決定部６は、仮想オブジェクトの表示位置及び表示態様（向きに関する情報を含む）に関する情報を当該仮想オブジェクトの画像データと共に表示部８に送出する。

また、マーカを検出できなかった場合には、表示決定部６は、マーカを検出できていた過去と現在との間の表示部８に表示される現実空間の画像の変化を表示補完部９から取得し、取得された現実空間の画像の変化に基づき、表示部に表示される画像における仮想オブジェクトの表示位置及び表示態様を決定する。マーカを検出できなかった場合における、仮想オブジェクトの表示位置及び表示態様を決定する処理の詳細については後述する。

オブジェクトデータベース７は、仮想オブジェクトに関するデータを記憶しているデータベースである。図５は、オブジェクトデータベース７の構成及び記憶されているデータの例を示す図である。図５に示すように、オブジェクトデータベース７は、仮想オブジェクトを識別するオブジェクトＩＤに対応付けて、オブジェクトデータ、対応マーカ及びオフセットを記憶している。オブジェクトデータは、仮想オブジェクトの画像データである。対応マーカは、当該仮想オブジェクトを対応づけて表示させるマーカのＩＤである。オフセットは、現実空間の画像に当該仮想オブジェクトを重畳表示させる際の、マーカとの位置関係を示すデータである。

表示部８は、表示決定部６により決定された仮想オブジェクトの表示位置及び表示態様に基づき、当該仮想オブジェクトを現実空間の画像に重畳して表示する部分であって、例えば、ディスプレイといった装置により構成される。

表示補完部９は、マーカを検出できなかった場合に、マーカを検出できていた過去と現在との間における、表示部８に表示される現実空間の画像の変化を取得する部分であって、特定形状認識部９１（特定形状認識手段）、センサ９２及び端末姿勢検知部９３（端末姿勢検知手段）を備える。

具体的には、特定形状認識部９１は、現実空間の画像から所定の特定形状を抽出し、マーカを検出できていた過去と現在との間における特定形状の形状及び位置の変化を認識する。さらに具体的には、特定形状認識部９１は、マーカを検出できていた過去における特定形状の形状及び位置を所定のメモリに記憶させておき、現在においてマーカを認識できなかった場合に、現在における現実空間の画像から取得した特定形状の形状及び位置を、マーカを検出できていた直近の過去における特定形状の形状及び位置と比較し、その変化を認識する。

そして、表示補完部９は、特定形状認識部９１により認識された特定形状の形状及び位置の変化に基づき、表示部８に表示される現実空間の画像の変化を取得し、取得された現実空間の画像の変化に関する情報を表示決定部６に送出する。

続いて、図６を参照して、抽出された特定形状に基づく仮想オブジェクトの重畳表示処理を詳細に説明する。

図６（ａ）は、オブジェクト表示装置１とマーカＭとの位置関係が図６（ｂ）の模式図に示すような状態にある場合の、表示部８に表示される画像ｆ_１の例である。図６（ｂ）に示すように、オブジェクト表示装置１は、マーカＭの斜め上方からマーカＭを撮影しており、オブジェクト表示装置１からマーカＭを撮影するための撮影方向とマーカＭの上面とが成す角度が大きいので、図６（ａ）に示される例では、マーカ認識部４は、画像ｆ_１からマーカＭ_１を認識可能である。この場合には、表示決定部６は、マーカ認識部４により認識されたマーカＭに対応付けられた仮想オブジェクトＯをオブジェクトデータベース７から抽出し、マーカＭ_１の位置及び形状に基づき、仮想オブジェクトＯの表示位置及び表示態様を決定し、仮想オブジェクトＯ_１をマーカＭ_１に対応付けながら表示部８に重畳表示させる。

一方、 図６（ｃ）は、オブジェクト表示装置１とマーカＭとの位置関係が図６（ｄ）の模式図に示すような状態にある場合の、表示部８に表示される画像ｆ_１の例である。図６（ｄ）に示すように、オブジェクト表示装置１からマーカＭを撮影するための撮影方向とマーカＭの上面とにより形成される角度が小さいため、図６（ｃ）に示すように、表示部８に表示される画像ｆ_２におけるマーカＭ_２の形状のゆがみの程度が図６（ａ）と比較して大きい。このように、画像ｆにおけるマーカＭの形状のゆがみの程度が大きい場合には、マーカ認識部４は、マーカＭ_２を認識できない。この場合には、マーカ認識部４は、マーカを認識できなかった旨の情報を表示補完部９及び表示決定部６に送出する。

表示補完部９の特定形状認識部９１は、マーカを認識できなかった旨の情報を取得すると、画像ｆから特定形状Ｓを抽出し、マーカを検出できていた過去の画像ｆ_１（図６（ａ））における特定形状Ｓ_１と、現在の画像ｆ_２における特定形状Ｓ_２との間の形状及び位置の変化を認識する。表示補完部９は、特定形状認識部９１により認識された特定形状Ｓの形状及び位置の変化を、現実空間の画像の変化に関する情報として表示決定部６に送出する。

表示決定部６は、表示補完部９から送出された現実空間の画像の変化に関する情報、並びにマーカＭを検出できていた過去の画像ｆ_１におけるマーカＭ_１の位置及び形状に基づき、現在の画像ｆ_２におけるマーカＭ_２の位置及び形状を推定する。そして、表示決定部６は、推定したマーカＭ_２の位置及び形状に基づき、仮想オブジェクトＯ_２の表示位置及び表示態様を決定する。より具体的には、表示決定部６は、過去の画像ｆ_１における特定形状Ｓ_１と現在の画像ｆ_２における特定形状Ｓ_２との間の位置及び形状の相対的な変化に基づき、両画像ｆ_１，ｆ_２間におけるマーカＭの位置及び形状の相対的な変化を推定する。

なお、図６に示す例では、特定形状認識部９１は、特定形状Ｓとして、花瓶の形状を抽出しているが、特定形状Ｓとして認識する対象は、このような物体の形状には限定されない。例えば、特定形状Ｓは、所定の物の形状であってもよい。かかる物としては、当業者に周知の画像認識技術により認識可能であれば如何なる物でも採用可能であって、所定のロゴ、標識、顔、テーブル等といった物を採用できる。また、特定形状Ｓは、所定の図形及び線並びに同一色を有する一定の領域のうちの少なくともいずれか１つであってもよい。かかる特定形状Ｓとしては、画像中に存在する四角形、垂直線及び水平線、並びに水平線及び垂直線により形成される格子等が例示される。なお、特定形状Ｓに関するデータは、例えば、オブジェクト表示装置１に備えられた所定の記憶手段に予め記憶されていることとしてもよい。また、特定形状Ｓが、当業者に既知の画像認識技術により所定の特徴点として認識可能なものであれば、特定形状Ｓに関するデータを予め記憶手段に有していなくてもよい。

なお、特定形状認識部９１は、特定形状Ｓの形状及び位置の変化の認識処理に先立って、現実空間の画像の変化を取得するための特定形状を画像取得部３により取得された画像から抽出できるか否かの判定処理を実施する。

次に、図６を参照して説明した処理のバリエーションとして、図７を参照して、特定形状及びマーカの形状の変化から取得される学習情報に基づく仮想オブジェクトの重畳処理を説明する。

図７（ａ）は、オブジェクト表示装置１とマーカＭとの位置関係が図７（ｂ）の模式図に示すような状態にある場合の、表示部８に表示される画像ｆの例である。図７（ｂ）に示すように、オブジェクト表示装置１は、マーカＭの斜め上方からマーカＭを撮影しており、オブジェクト表示装置１からマーカＭを撮影するための撮影方向とマーカＭの上面とが成す角度が大きいので、図７（ａ）に示される例では、マーカ認識部４は、画像ｆからマーカＭを認識できる。マーカＭを認識すると、表示決定部６は、マーカ認識部４により認識されたマーカＭに対応付けられた仮想オブジェクトＯをオブジェクトデータベース７から抽出し、マーカＭの位置及び形状に基づき、仮想オブジェクトＯの表示位置及び表示態様を決定し、仮想オブジェクトＯをマーカＭに対応付けながら表示部８に重畳表示させている。

続いて、図７（ｃ）は、オブジェクト表示装置１とマーカＭとの位置関係が図７（ｄ）の模式図に示すような状態にある場合の、表示部８に表示される画像ｆの例である。
図７（ｄ）では、オブジェクト表示装置１がマーカＭを捉えるための撮影方向とマーカＭの上面とが成す角度が図７（ｂ）と比較してやや小さくなっているため、図７（ｃ）に示すように、カメラ２及び画像取得部３により捉えられた画像ｆにおけるマーカＭの形状のゆがみの程度が図７（ａ）と比較して大きくなる。しかしながら、図７（ｃ）に示されるゆがみの程度において、マーカ認識部４がマーカＭを認識可能であるとすると、表示決定部６は、認識されたマーカＭに基づき仮想オブジェクトＯの表示位置及び表示態様を決定し、決定された表示位置及び表示態様に基づき仮想オブジェクトＯを表示部８に重畳表示させている。

ここで、マーカ認識部４は、図７（ａ）に示す画像ｆから、図７（ｃ）に示す画像ｆに表示が遷移する際における、マーカＭの位置及び形状の変化を取得し、取得したマーカＭの位置及び形状の変化に関する情報を表示決定部６に送出する。また、特定形状認識部９１は、図７（ａ），（ｃ）に示す画像ｆから直方体の形状を有する物体である特定形状Ｂを抽出、認識する。そして、特定形状認識部９１は、図７（ａ）に示す画像ｆから、図７（ｃ）に示す画像ｆに表示が遷移する際における、特定形状Ｂの位置及び形状の変化を取得し、取得した特定形状Ｂの位置及び形状の変化に関する情報を表示決定部６に送出する。

表示決定部６は、図７（ａ）に示す画像ｆから、図７（ｃ）に示す画像ｆに表示が遷移する際における、マーカＭの位置及び形状の変化に関する情報をマーカ認識部４から取得すると共に、特定形状Ｂの位置及び形状の変化に関する情報を特定形状認識部９１から取得する。そして、表示決定部６は、特定形状Ｂの位置及び形状の変化に応じたマーカＭの位置及び形状の変化を学習情報として取得し、所定のメモリに記憶する。マーカ認識部４がマーカＭを認識できなかった場合に、表示決定部６は、特定形状Ｂ及びマーカＭの位置及び形状に関する学習情報に基づき、マーカＭの位置及び形状を推定できる。

即ち、オブジェクト表示装置１とマーカＭとの位置関係が図７（ｆ）の模式図に示すような状態にある場合には、オブジェクト表示装置１がマーカＭを捉えるための撮影方向とマーカＭの上面とが成す角度が非常に小さいため、図７（ｅ）に示すように、画像ｆにおけるマーカＭの形状のゆがみの程度が大きくなり、マーカ認識部４は、マーカＭを認識できない。一方、図７（ｆ）に示される位置関係にある場合であっても、特定形状認識部９１は、特定形状Ｂを認識できるので、特定形状認識部９１は、図７（ｅ）に示す画像ｆにおける特定形状Ｂの位置及び形状を表示決定部６に送出する。そして、表示決定部６は、図７（ｅ）における特定形状Ｂの位置及び形状並びに特定形状Ｂ及びマーカＭの位置及び形状に関する学習情報に基づき、図７（ｅ）におけるマーカＭの位置及び形状を推定する。表示決定部６は、推定したマーカＭの位置及び形状に基づき、仮想オブジェクトＯの表示位置及び表示態様を決定し、表示部８に表示させる。

再び図２を参照して、端末姿勢検知部９３の機能を説明する。端末姿勢検知部９３は、センサ９２から取得される各種の情報に基づき、オブジェクト表示装置１の位置及び撮像方向の変化を検知する。センサ９２は、例えば、加速度センサ及び地磁気センサといったセンサを含み、これらのセンサにより取得される加速度及び地磁気の方向に関する情報を端末姿勢検知部９３に送出する。そして、表示補完部９が表示部８に表示される画像の変化を取得できなかった場合に、表示決定部６は、端末姿勢検知部９３により認識されたオブジェクト表示装置１の位置及び撮像方向の変化に基づき、仮想オブジェクトの表示位置及び表示態様を決定する。

図８を参照して、端末姿勢検知部９３による処理内容を具体的に説明する。図８は、表示部８に表示される画像におけるフレームごとの姿勢データ、マーカ位置及び推定マーカ形状を対応付けたテーブルの例を示す図である。

図８におけるフレームＮｏは、フレームを識別するデータである。姿勢データ（向き）は、対応するフレームの画像が取得された時点におけるオブジェクト表示装置１の向きを示すデータであって、フレームＮｏ「１００」の画像が取得された時点における姿勢データ（向き）「Ｄ_０」を初期状態として、向きを示すデータの「Ｄ_０」に対する差分値を「Ｄ_１」，「Ｄ_２」として記憶している。姿勢データ（向き）は、例えば、所定の３次元座標系における、各軸に対する回転角により表すことが可能である。

また、姿勢データ（位置）は、対応するフレームの画像が取得された時点におけるオブジェクト表示装置１の位置を示すデータであって、フレームＮｏ「１００」の画像が取得された時点における姿勢データ（位置）「Ｐ_０」を初期状態として、向きを示すデータの「Ｐ_０」に対する差分値を「Ｐ_１」，「Ｐ_２」として記憶している。端末姿勢検知部９３は、姿勢データ（向き）及び姿勢データ（位置）を表示決定部６に送出する。姿勢データ（位置）は、例えば、所定の３次元座標系における座標値により表すことができる。

図８に示すテーブルにおけるマーカ位置は、対応するフレームの画像が取得された時点のマーカの表示位置を示すデータであって、例えば、表示部８の表示領域に設定された所定の座標系により表現される。また、推定マーカ形状は、表示決定部６により推定された、表示部８に表示された際のマーカ形状である。

表示決定部６は、姿勢データ（向き）及び姿勢データ（位置）基づき、マーカ位置を推定する。具体的には、表示決定部６は、姿勢データ（向き）「Ｄ_１」及び姿勢データ（位置）「Ｐ_１」並びにマーカ位置「Ｍ_０」に基づき、マーカ位置「Ｍ_１」を推定できる。同様に、表示決定部６は、姿勢データ（向き）「Ｄ_２」及び姿勢データ（位置）「Ｐ_２」並びにマーカ位置「Ｍ_１」に基づき、マーカ位置「Ｍ_２」を推定できる。

さらに、表示決定部６は、姿勢データ（向き）及び姿勢データ（位置）基づき、表示部８にマーカが表示される際のマーカの形状のゆがみを算出し、推定マーカ形状を推定することができる。

なお、表示決定部６は、図８のテーブルに示されるマーカ位置を推定することにより、マーカ認識部４がマーカを検出できなかった場合において、表示部８の画角の範囲にマーカが存在するか否かを判定することができる。この判定処理は、例えば、マーカ位置の座標値が所定の値の範囲にあるか否かを判定することにより実現できる。これにより、マーカが表示部８の画角の範囲に存在しないと判定された場合には、仮想オブジェクトの重畳表示のための処理を省略するように制御することが可能となる。

続いて、図９を参照して、本実施形態のオブジェクト表示方法におけるオブジェクト表示装置１の動作の例について説明する。図９は、オブジェクト表示装置１において実施される処理内容を示すフローチャートである。

まず、画像取得部３は、カメラ２により撮影された現実空間の画像を取得する（Ｓ１）。続いて、マーカ認識部４は、マーカデータベース５に登録されているマーカの画像データに基づき、現実空間の画像からマーカの検出を試みる（Ｓ２）。マーカを検出できた場合には、マーカ認識部４は、認識したマーカを識別する情報と共に、現実空間の画像における当該マーカの位置及び形状に関する情報を表示決定部６に送出する。そして、処理手順はステップＳ３に進められる。

ステップＳ３において、表示決定部６は、マーカ認識部４から送出されたマーカを識別する情報に基づきオブジェクトデータベース７を検索し、当該マーカに対応付けて表示させるべき仮想オブジェクトの有無を判定する（Ｓ３）。当該マーカに対応付けて表示させるべき仮想オブジェクトがあると判定されなかった場合には、処理手順は終了する。一方、当該マーカに対応付けて表示させるべき仮想オブジェクトがあると判定された場合には、処理手順はステップＳ４に進められる。

ステップＳ４において、表示決定部６は、当該マーカに対応付けられた仮想オブジェクトのデータをオブジェクトデータベースから抽出すると共に、マーカ認識部４から送出されたマーカの位置及び形状に関する情報に基づき、表示部に表示される画像における当該仮想オブジェクトの表示位置及び表示態様を決定する（Ｓ４）。

一方、ステップＳ２においてマーカを検出できなかった場合には、マーカ認識部４は、その旨の情報を表示補完部９及び表示決定部６に送出する。そして、処理手順はステップＳ５に進められる。ステップＳ５において、マーカ認識部４は、表示部８に直前に表示されていたフレームにおいて、マーカが検出され、且つ仮想オブジェクトが表示されていたか否かを判定する（Ｓ５）。マーカの検出及び仮想オブジェクトの表示が実施されていたと判定された場合には、処理手順はステップＳ６に進められる。一方、マーカの検出及び仮想オブジェクトの表示が実施されていたと判定されなかった場合には、処理手順は終了する。

ステップＳ６において、表示補完部９の端末姿勢検知部９３は、センサ９２から取得される各種の情報に基づき、オブジェクト表示装置１の位置及び撮像方向の変化を検知する。オブジェクト表示装置１の位置及び撮像方向は、例えば、図８の姿勢データ（位置）及び姿勢データ（向き）により例示される。

続いて、表示決定部６は、オブジェクト表示装置１の位置及び撮像方向の変化、及び直前のフレームにおけるマーカの位置に基づき、表示部８に表示される現実空間の画像における現在のマーカの位置を推定する（Ｓ６）。そして、表示決定部６は、表示部８の画角の範囲にマーカが存在するか否かを判定する（Ｓ７）。画角の範囲にマーカが存在すると判定された場合には、処理手順はステップＳ８に進められる。一方、画角の範囲にマーカが存在すると判定されなかった場合には、処理手順は終了する。なお、ステップＳ６及びＳ７に処理は、本実施形態において必須の処理ではない。

ステップＳ８において、表示補完部９の特定形状認識部９１は、現実空間の画像から所定の特定形状の検出を試みる（Ｓ８、表示補完ステップ）。特定形状を検出できた場合には、処理手順はステップＳ９に進められる。一方、特定形状を検出できなかった場合には、処理手順はステップＳ１０に進められる。

ステップＳ９において、特定形状認識部９１は、直前のフレームと現在のフレームとの間における特定形状の変化（ゆがみ）及び位置の変化を認識する。続いて、表示補完部９は、特定形状認識部９１により認識された特定形状の形状及び位置の変化に基づき、表示部８に表示される現実空間の画像の変化を取得し、取得された現実空間の画像の変化に関する情報を表示決定部６に送出する（表示補完ステップ）。さらに、表示決定部６は、表示補完部９から送出された現実空間の画像の変化に関する情報、並びにマーカを検出できていた過去のフレームにおけるマーカの位置及び形状に基づき、現在のフレームにおけるマーカの位置及び形状を推定する。そして、表示決定部６は、推定したマーカの位置及び形状に基づき、仮想オブジェクトの表示位置及び表示態様を決定する（Ｓ９、表示決定ステップ）。

一方、ステップＳ１０において、端末姿勢検知部９３は、マーカを検出できていた過去のフレームの画像取得時と現在との間におけるオブジェクト表示装置１の位置及び姿勢の変化を取得する。続いて、表示決定部６は、オブジェクト表示装置１の位置及び姿勢の変化、並びにマーカを検出できていた過去のフレームにおけるマーカの位置及び形状に基づき、現在のフレームにおけるマーカの位置及び形状を推定する。そして、表示決定部６は、推定したマーカの位置及び形状に基づき、仮想オブジェクトの表示位置及び表示態様を決定する（Ｓ１０）。

ステップＳ１１において、表示決定部６は、決定した仮想オブジェクトの表示位置及び表示態様に基づき、撮影された現実空間の画像に仮想オブジェクトを重畳させた画像を表示部８に表示させる（Ｓ１１）。こうして、本実施形態の処理を終了する。

以上説明した本実施形態のオブジェクト表示装置１及びオブジェクト表示方法では、現在においてマーカを検出できなかった場合に、マーカを検出できていた過去と現在との間における、表示部８に表示される現実空間の画像の変化が取得される。仮想オブジェクトは、現実空間の画像におけるマーカの位置及び形状に基づき表示されるものであるので、仮想オブジェクトの表示位置及び表示態様も、現実空間の画像の変化に応じて変化すべきものである。このため、表示決定部６は、当該過去と現在との間における現実空間の画像の変化に基づき、当該過去における仮想オブジェクトの表示位置及び表示態様から、現在における仮想オブジェクトの表示位置及び表示態様を決定できる。従って、何らかの原因により現実空間におけるマーカを検出できない場合であっても、仮想オブジェクトを表示できる。

また、本実施形態のオブジェクト表示装置１では、表示補完部９の特定形状認識部９１により、現実空間の画像から抽出された特定形状の形状及び位置の変化に基づき、表示部８に表示される現実空間の画像の変化が取得される。特定形状の形状及び位置の変化は、仮想オブジェクトの表示位置及び表示態様を決定するためのマーカと同様に、現実空間の画像中から抽出されるものであるので、表示部８に表示される現実空間の画像の変化が高精度に取得される。従って、表示決定部６は、過去の仮想オブジェクトの表示位置及び表示態様に基づき、現在の表示位置及び表示態様を高精度に決定できる。

また、本実施形態のオブジェクト表示装置１では、表示補完部９の端末姿勢検知部９３により、オブジェクト表示装置１の位置及び撮像方向の変化が取得され、さらに、表示補完部９により表示部８に表示される現実空間の画像の変化が取得される。従って、特定形状認識部９１が現実空間の画像から特定形状を抽出できない場合であっても、表示補完部９は、表示部８に表示される現実空間の画像の変化が取得できる。

また、本実施形態のオブジェクト表示装置１では、表示決定部６により、表示部８に表示される現実空間の画像の変化に基づき、仮想オブジェクトの表示位置及び表示態様を決定するための根拠となるマーカの現実空間における位置及び形状が推定されるので、仮想オブジェクトの現在の表示位置及び表示態様を適切に決定できる。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

１…オブジェクト表示装置、２…カメラ、３…画像取得部、４…マーカ認識部、５…マーカデータベース、６…表示決定部、７…オブジェクトデータベース、８…表示部、９…表示補完部、９１…特定形状認識部、９２…センサ、９３…端末姿勢検知部、Ｓ，Ｂ…特定形状、Ｍ…マーカ、Ｏ…仮想オブジェクト。

Claims (6)

1. 撮像手段により取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられた仮想オブジェクトを前記現実空間の画像に重畳して表示手段に表示するオブジェクト表示装置であって、
   前記マーカを検出できなかった場合に、前記マーカを検出できていた過去と現在との間における、前記表示手段に表示される現実空間の画像の変化を取得する表示補完手段と、
   前記表示補完手段により取得された前記表示手段に表示される現実空間の画像の変化に基づき、仮想オブジェクトの表示位置及び表示態様を決定する表示決定手段とを備え、
   前記表示手段は、
   前記表示決定手段により決定された前記仮想オブジェクトの表示位置及び表示態様に基づき、前記仮想オブジェクトを現実空間の画像に重畳して表示し、
   前記表示決定手段は、前記表示手段に表示される現実空間の画像の変化に基づき、前記表示手段に表示される現実空間の画像におけるマーカの位置及び形状を推定し、推定されたマーカの位置及び形状に基づき、仮想オブジェクトの表示位置及び表示態様を決定する、
   ことを特徴とするオブジェクト表示装置。
2. 前記表示補完手段は、
   現実空間の画像から特定形状を抽出し、前記マーカを検出できていた過去と現在との間における前記特定形状の形状及び位置の変化を認識する特定形状認識手段を備え、
   前記特定形状認識手段により認識された前記特定形状の形状及び位置の変化に基づき、前記表示手段に表示される現実空間の画像の変化を取得する
   ことを特徴とする請求項１に記載のオブジェクト表示装置。
3. 前記特定形状は、所定の物の形状であることを特徴とする請求項２に記載のオブジェクト表示装置。
4. 前記特定形状は、所定の図形及び線並びに同一色を有する一定の領域のうちの少なくともいずれか１つであることを特徴とする請求項２または３に記載のオブジェクト表示装置。
5. 前記表示補完手段は、
   前記オブジェクト表示装置の位置及び撮像方向の変化を検知する端末姿勢検知手段を備え、
   前記表示決定手段は、前記表示補完手段が前記表示手段に表示される画像の変化を取得できなかった場合に、前記端末姿勢検知手段により認識された前記オブジェクト表示装置の位置及び撮像方向の変化に基づき、前記仮想オブジェクトの表示位置及び表示態様を決定する
   ことを特徴とする請求項１〜４のいずれか１項に記載のオブジェクト表示装置。
6. 撮像手段により取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられた仮想オブジェクトを前記現実空間の画像に重畳して表示手段に表示するオブジェクト表示装置におけるオブジェクト表示方法であって、
   前記マーカを検出できなかった場合に、前記マーカを検出できていた過去と現在との間における、前記表示手段に表示される現実空間の画像の変化を取得する表示補完ステップと、
   前記表示補完ステップにおいて取得された前記表示手段に表示される現実空間の画像の変化に基づき、仮想オブジェクトの表示位置及び表示態様を決定する表示決定ステップと、
   前記表示決定ステップにおいて決定された前記仮想オブジェクトの表示位置及び表示態様に基づき、前記仮想オブジェクトを現実空間の画像に重畳して表示する表示ステップと、を有し、
   前記表示決定ステップにおいて、前記表示手段に表示される現実空間の画像の変化に基づき、前記表示手段に表示される現実空間の画像におけるマーカの位置及び形状を推定し、推定されたマーカの位置及び形状に基づき、仮想オブジェクトの表示位置及び表示態様を決定する、
   ことを特徴とするオブジェクト表示方法。

Images