JP2015197860A - 表示装置、表示制御方法及びプログラム - Google Patents

Abstract

【課題】頭部装着型の表示装置で実風景の画像にバーチャル情報の画像を重畳して表示している場合において、使用者が自ら移動している場合とそれ以外の場合とで重畳表示を変更し、安全性が高く、グラフィックスの視認性に優れたＨＭＤを提供する。
【解決手段】
使用者の頭部前方の映像を撮像する撮像手段と、使用者の視界にバーチャル情報の画像を重畳して表示する表示手段と、前記撮像手段により撮像されている映像が進行時の映像であるか判断する判断手段と、前記バーチャル情報の画像の表示位置、表示面積、透過度の少なくともいずれかを、使用者の視界を遮らないように変更して前記表示手段に表示させるように制御する表示制御手段とを備える。
【選択図】図１

Description

本発明は、使用者の頭部に装着し、実風景に重畳してグラフィックス表示を行う、いわゆる拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示用のヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）の技術に関する。

従来より、使用者の頭部に装着して、その使用者の目の位置で液晶ディスプレイ等によりグラフィックスを表示する、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ 以下、「ＨＭＤ」と称する）の技術が知られている。また近年は、使用者の目の前の実風景に重畳してグラフィックスを表示する、いわゆる拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示を行うものが登場している。実風景にグラフィックスを重畳表示する方式としては、いわゆるグラス・シースルー方式やビデオ・シースルー方式等がある。グラス・シースルー方式は、透明または半透明の眼鏡レンズをスクリーンとしてグラフィックスを投影する。ビデオ・シースルー方式は、撮像装置を備え、撮像装置が撮像している実風景にグラフィックスを電気的に重畳する。

特許文献１は、実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションを使用者に提供可能な情報処理装置であって、危険認識部と、報知部とを備える情報処理装置を開示する。危険認識部が実空間において使用者に及ぶ危険を認識すると、報知部が使用者に危険の存在を報知する。また、危険が認識された場合に仮想オブジェクトを透過させる技術についても開示する。

特許文献２は、外界が視認可能な状態で使用者の網膜に画像を投影する表示手段を有するＨＭＤにおいて、特定波長画像を変形した変形画像を使用者の網膜に投影して、使用者の移動速度に応じて検出した危険の報知態様を変化させるＨＭＤの技術を開示する。このＨＭＤは、装着した使用者の視野領域の少なくとも一部を特定波長で撮像し、撮像された特定波長画像中の危険度が高い領域を特定し、また、装着した使用者の移動速度を取得する。そして、前記特定した危険度が高い領域と前記取得した移動速度とに基いて、前記特定波長画像を変形した変形画像を作成し使用者の網膜に投影する。

特許文献３は、画像情報に応じた画像光を使用者の眼に投射して当該使用者に前記画像光に応じた画像を視認させる表示手段を備えたＨＭＤを開示する。このＨＭＤは、使用者の眼の開閉状態に基づいて、使用者の睡眠を検知する睡眠検知手段を備える。そして、使用者の睡眠が検知された後に当該使用者の睡眠が検知されなくなった場合、少なくとも当該使用者の睡眠が検知された時点の所定時間前から、当該使用者の睡眠が検知された時点までに表示されていた画像を含む画像を表示させうる制御を行う。

特開２０１２−１５５６５４号公報 特開２０１０−１３６２６３号公報 特開２０１０−１８７１３２号公報

拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示用のヘッドマウントディスプレイでは、実風景に重畳して文字や図形、映像等のグラフィックスを表示する場合がある。このような重畳表示を行っていると、使用者の歩行移動時等は、それらの重畳表示が使用者の進行方向の実風景の視界を遮って、衝突や転倒等の危険を生ずるという問題がある。他方、重畳表示するグラフィックスの表示位置や表示面積、透過度が、常に実風景の視界を遮らない程度であると、文字や図形、映像等を使用者が視認することが困難になり、グラフィックスの表示装置としての使い勝手が低下することとなる。

つまり、歩行移動時等の使用者が自ら移動している場合とそれ以外の場合とで、実風景の視界を遮らないか遮るかについてグラフィックスの重畳表示を変更することが必要である。

特許文献１は、危険が認識された場合に仮想オブジェクトを透過させる技術を開示するが、使用者が自ら移動している場合とそれ以外の場合を区別する技術については示されていない。

また、特許文献２は、使用者の移動速度に応じて危険の報知態様を変化させる技術を開示するが、実風景の視界を遮らないように重畳表示を変更する技術については示されていない。

つまり、これらの従来技術では、使用者が自ら移動している場合とそれ以外の場合とで、実風景の視界を遮らないか遮るかについてグラフィックスの重畳表示を変更することが困難であった。

本発明は、こうした従来技術における課題に鑑みてなされたものであり、使用者が自ら移動している場合とそれ以外の場合とで、グラフィックスの重畳表示を変更し、安全性が高く、かつ、グラフィックスの視認性に優れた表示装置等を提供することを目的とする。

上述の目的を達成するため、本発明に係る表示装置は、使用者の頭部前方の映像を撮像する撮像手段と、使用者の視界にバーチャル情報の画像を重畳して表示する表示手段と、撮像手段により撮像されている映像が進行時の映像であるか判断する判断手段と、判断手段により前記映像が進行時の映像であると判断されると、バーチャル情報の画像の表示位置、表示面積、透過度の少なくともいずれかを、使用者の視界を遮らないように変更して表示手段に表示させるように制御する表示制御手段とを備える。

本発明により、安全性が高く、かつ、グラフィックスの視認性に優れた表示装置等を提供することが可能となる。

本発明の実施形態１に係る表示装置の一例としてのＨＭＤの外観の一例を示す図である。 本実施形態によるＨＭＤの構成例を示すブロック図である。 本発明の実施形態１に係るＨＭＤの判断・処理の流れを示すフローチャートである。 グラフィックス要素の表示位置を変更したときの、表示遷移の一例を示す図である。 進行ナビゲーション画像の例を示す図である。 本発明の実施形態１に係るＨＭＤの判断・処理の流れを示すフローチャートである。 赤外光による撮像画像の表示に進行ナビゲーション画像を重畳した表示の例を示す図である。 本発明の実施形態１に係るＨＭＤの判断・処理の流れを示すフローチャートである。 本発明の実施形態２に係る表示装置の一例としてのＨＭＤにおける判断・処理の流れを示すフローチャートである。 本発明の実施形態３に係る表示装置の一例としてのＨＭＤの外観を示す図である。 本発明の実施形態３に係るＨＭＤの構成例を示すブロック図である。 本発明の実施形態３に係るＨＭＤの判断・処理の流れを示すフローチャートである。

以下、図面を参照して、本発明に係る表示装置、表示制御方法及びプログラムの実施形態を詳細に説明する。

［実施形態１］
実施形態１では、本発明を表示装置の一例としてのいわゆるグラス・シースルー方式のＨＭＤに適用した例について説明する。

図１は、本実施形態に係るＨＭＤ１００の外観を示す図である。
このＨＭＤ１００は、使用者の頭部に装着する頭部装着部１０１と、使用者の頭部前方の映像を撮像する撮像部１０２と、グラフィックスを投影する投影部１０３と、グラフィックが投影される接眼部１０４とを備えている。

頭部装着部１０１は、いわゆる眼鏡のフレームと同様の構造を有しており、使用者の耳と鼻等に掛けて、本実施形態のＨＭＤ１００を使用者の頭部に装着させるためのものである。なお、この頭部装着部１０１は、同図中に示した眼鏡フレームタイプの他、ゴーグルタイプ、ヘルメットタイプ等種々のタイプが利用可能である。伸縮性を有する素材等により装着性を高めるようにしてもよい。

撮像部１０２は、いわゆるデジタルカメラと同様の構成を有しており、撮像レンズ、絞り、光学像を電気信号に変換する撮像センサ、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器等を備えている。この撮像部１０２は、本実施形態のＨＭＤ１００を頭部に装着した使用者の向く方向と略同方向（使用者の視界に相当する方向）を撮像する。また、この撮像部１０２は、画質等を改善する目的で各種光学フィルターを備えている。特に近赤外光はカラー映像を得るのに有害光となるため、撮像センサの光入射側に赤外カットフィルターを設けることが一般的である。なお、可視光による光量が低いときに、撮像センサに多くの光が入射するように赤外カットフィルターを光路中から退避させる機構を備えるようにしてもよい（たとえば、特開２００８−３５１９９号公報に開示された撮像手段等）。

投影部１０３は、いわゆるプロジェクターであり、投影レンズ、液晶素子や有機ＥＬ素子等の小型の画像表示素子と発光素子等を備えている。、表示しようとするグラフィックスの画像光を、接眼部１０４に投影する。

接眼部１０４は、使用者の目の位置に相対するように、眼鏡におけるレンズに相当する位置に設けられたものである。この接眼部１０４は、その表面または裏面もしくは内部に埋め込まれて設けられたミラーを備えている。このミラーは、いわゆるハーフミラーとなっており、一定程度の透過率を有しており、使用者が外部の実風景を見ることができるようになっている。また、このハーフミラーは、一定の反射率を有しており、投影部１０３から投影された画像光を使用者の目の方向に反射するようになっている。すなわち、本実施形態の１００においては投影部１０３と接眼部１０４とが表示部を構成し、使用者はこの表示部により、外部の実風景にグラフィックスが重畳された画像を見ることが可能になっている。

なお、上述の接眼部１０４のハーフミラーは、透過部材または反射部材の表面に液晶層を構成し、その配向を変更することにより、透過率または反射率を電気的に変更することができるように構成してもよい。あるいは、接眼部１０４を液晶ディスプレイ等により構成し、撮像部１０２により撮像された実風景にグラフィックスを電気的に重畳させて、接眼部１０４に表示するようにしてもよい。この場合、投影部１０３は省略することが可能である。

図２は本実施形態のＨＭＤ１００の構成例を示すブロック図である。
ＨＭＤ１００はさらに、頭部装着部１０１を含む本体内部に埋め込まれ、上述の図１中には外観としては図示されない表示制御部１０５、撮像制御部１０６、ＣＰＵ１０７、メモリ１０８、電源部１０９、通信部１１０、移動センサ部１１１を備えている。

表示制御部１０５は、上述の投影部１０３および接眼部１０４を制御することにより、表示部の表示制御を行う。たとえば、投影部１０３から投影されるグラフィックスのデータについて座標移動やリサイズ等の画像処理を行うことにより、バーチャル情報の画像（バーチャル画像）の表示位置や表示面積の変更を行う。あるいは、投影部１０３の発光素子の発光光量や接眼部１０４の透過率・反射率を制御して、バーチャル画像の透過度の変更を行う。なお、撮像部１０２により撮像された実風景にグラフィックスを電気的に重畳するいわゆるビデオ・シースルー方式の場合には、グラフィックスを重畳する際の画像処理により、バーチャル画像の表示位置、表示面積、透過度の変更を行うようにしてもよい。

撮像制御部１０６は、撮像データを用いた所定の演算処理による演算結果に基づいて露光制御、測距制御等を行う。これにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。また、撮像部１０２が光学フィルターを光路上から挿脱する機構や防振機構等を備えている場合は、撮像データその他の条件によりフィルターの挿脱や防振等の制御を行う。

ＣＰＵ１０７は、ＨＭＤ１００全体の演算処理を行う。後述するメモリ１０８に記録されたプログラムを実行することで、本実施形態の各処理を実現する。メモリ１０８はシステムメモリおよび不揮発性メモリより構成される。システムメモリには、不揮発性メモリから読み出されたプログラムやシステム制御用の定数、変数が展開される。また、実風景に重畳して表示するバーチャル画像のデータが、表示のために保持される。また、撮像部１０２により撮像されＡ／Ｄ変換された撮像データが、画像解析や画像処理等の目的で保持される。

電源部１０９は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなり、ＨＭＤ１００全体に電源を供給する。また、この電源部１０９は、使用者の操作その他の条件により電源オン、電源オフを切り替える電源スイッチを備える。

通信部１１０は、ＣＰＵ１０７の制御に基づき、ＰＣ等の情報端末や、ＬＡＮやインターネットといったネットワークとの通信を行う。移動センサ部１１１は、たとえば重力加速度を検知することでＨＭＤ１００の移動状態を検出する。あるいは、通信部１１０にＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部を設け、ＧＰＳ受信部が受信したＧＰＳ信号に基づいて移動センサ部１１１が移動状態を検出するようにしてもよい。このように検出した移動状態に応じて単位時間における移動距離を検出することにより、当該単位時間あたりの移動速度を算出することが可能となる。

図３は、本実施形態に係る表示装置の判断・処理の流れを示すフローチャートである。なお、この判断・処理は、ＣＰＵ１０７がメモリ１０８の不揮発性メモリに記録されたプログラムをシステムメモリに展開して実行することで実現する。

使用者により電源が投入されると、本実施形態に係るＨＭＤ１００は、所定の表示条件（表示位置、表示面積、透過度）によりバーチャル画像の表示を行う（Ｓ３０１）。具体的には、表示制御部１０５が、グラフィックス・データを準備し（Ｓ３０１１）、投影部１０３の発光素子の発光光量と接眼部１０４の透過率・反射率とを調整する（Ｓ３０１２）。投影部１０３は、このように生成されたグラフィックス・データに応じた画像を接眼部１０４に向けて投影する（Ｓ３０１３）。なお、電源投入直後に表示するグラフィックスは、装置の仕様により、たとえば装置の各機能を示すアイコンを一覧表示した、いわゆるメインＵＩ（Ｍａｉｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のグラフィックスとしてもよい。あるいは、先の動作の後、電源を切断する前に表示されていたグラフィックスについての情報を保持しておき、保持しておいた情報に基づいて電源切断前に表示されていたグラフィックスを回復して用いることとしてもよい。

次に、撮像部１０２による撮像を開始する（Ｓ３０２）。そして、その撮像データを所定の時間間隔でメモリ１０８に記録する（Ｓ３０３）。さらに、ＣＰＵ１０７、メモリ１０８に記録された撮像データを解析し（Ｓ３０４）、使用者が撮像部１０２の撮像方向に進行している時の映像であるか否かを判定する（Ｓ３０５）。

進行時の映像か否かの判定は、たとえば、所定の時間間隔による２つの撮像データを比較して行う。具体的には、まず、先に撮像された撮像データから２以上の任意の小領域を選択する（Ｓ３０５１）。次に、後に撮像された撮像データから、先の撮像データ中から選択した各小領域によく似たパターンの小領域を特定する（Ｓ３０５２）。さらに、先に撮像された撮像データにおける小領域間の間隔と、後に撮像された撮像データにおける小領域間の間隔を比較する（Ｓ３０５３）。比較の結果、後に撮像された撮像データにおける小領域間の間隔が、先に撮像された撮像データにおける小領域間の間隔よりも開いていれば、使用者が撮像部１０２の撮像方向に進行している（撮像対象物に接近している）状態であると判定する。撮像部１０２は使用者の顔が向いている方向の風景を撮像しているため、使用者が前を向いて前方に進んでいれば、撮像部１０２による撮像データ中の被写体の像は、使用者の進行に応じて拡大される。このため、後の撮像データにおける小領域間の間隔が先の撮像データにおける小領域間の間隔より大きくなっていれば、使用者が撮像部１０２の撮像方向（使用者の前方）に進行していると判断することができる。

なお、上述の撮像データ中の小領域には近距離の被写体の映像が含まれている方が、使用者の進行に応じた拡大率が大きくなり、進行の検知に有利であるため、小領域の選択にあたり、被写体の測距情報を利用することとしてもよい。被写体の距離情報は、たとえば、撮像部１０２を複数設け、撮像データ中の被写体の視差に応じて生成することができる。また、判定の精度を上げるため、たとえば撮像データの比較を一定時間で連続して行うこととしてもよい。つまり、所定の時間間隔ごとに撮像された撮像データ間における小領域間の間隔の比較を順次行う。後の撮像データにおける小領域間の間隔が先に撮像された撮像データにおける小領域間の間隔よりも開いている状態が、一定時間（たとえば、所定の時間間隔の整数倍）連続したときは、撮像部１０２の撮像方向に進行していることの尤度が高いと判定する。

進行時の映像と判定したときは、表示制御部１０５は、バーチャル画像の表示位置、表示面積、透過度のいずれかを、使用者の視界を遮らないように変更して表示する（Ｓ３０６）。

使用者の視界を遮らないように表示位置を変更するには、たとえば、まず、あらかじめ「使用者の視界を遮らない表示領域」を定義する（Ｓ３０６１）。たとえば、バーチャル画像の重畳表示が可能な領域のサイズが横１６００ピクセル×縦１２００ピクセルであった場合において、当該領域の周縁から２００ｐピクセルまでの領域を「使用者の視界を遮らない表示領域」とする。次に、表示制御部１０５は、表示が可能な領域全体にわたって表示していたバーチャル画像のグラフィックスを、この「使用者の視界を遮らない表示領域」内のみに表示されるように表示位置を移動する（Ｓ３０６２）。これにより、たとえば、図４（ａ）のように、表示画面内に表示していたグラフィックス要素４０２〜４０９の表示位置を、図４（ｂ）のように、表示画面の周縁から一定の範囲の「使用者の視界を遮らない表示領域」内に変更する。たとえば、アイコン等のグラフィックス要素の配列のパターンごとに、あらかじめ「視界を遮ってよい表示」モードの表示と「視界を遮らない表示」モードの表示とを定めておけば、このようなグラフィックス要素の表示位置の移動が可能となる。

使用者の視界を遮らないように表示面積を変更するには、グラフィックス要素ごとにリサイズする画像処理を行なえばよい。この場合、たとえば、すべてのグラフィックス要素について同様の比率でリサイズしてもよいし、あるいは、表示領域の中央部に表示しているグラフィックスを大きな比率で、周縁部に表示しているグラフィックスを小さな比率でリサイズするようにしてもよい。

使用者の視界を遮らないようにするためには、表示するグラフィックスの透過度を変更するようにしてもよい。この場合には、投影部１０３の発光素子の発光光量を変更すればよい。また、透過率・反射率が変更可能な接眼部１０４を用いた場合は、これらの透過率・反射率を変更することによってもグラフィックスの表示の透過度を変更することが可能である。この場合、たとえば、すべてのグラフィックス要素について同様の透過度としてもよいし、あるいは、表示領域の中央部に表示しているグラフィックスの透過度を大きく、周縁部に表示しているグラフィックスの透過度を小さくしてもよい。なお、上述のバーチャル画像の表示位置、表示面積、透過度の変更は、そのいずれか一つを実施するものであってもいいし、これらを組み合わせて行うものであってもよい。

本形態に係るＨＭＤ１００は所定の終了条件を判定し（Ｓ３０７）、終了条件を充足するときは「視界を遮らない表示」モードを終了する（Ｓ３０８）。すなわち「視界を遮ってよい表示」モードに表示変更する。

上述の図４は、グラフィックス要素の表示位置を変更したときの、表示遷移の一例を示す図である。図４（ａ）は、撮像データが進行時の映像と判定される前の、いわゆる使用者の「視界を遮ってよい表示」モードにおけるグラフィックス要素の表示位置の例を示している。図４（ａ）において、４０１は接眼部１０４を介して使用者に見える現実空間の（風景）画像であり、４０２〜４０９は投影部１０３によって接眼部１０４に投影され、４０１に重畳して表示しているグラフィックス要素である。

図４（ｂ）は、撮像データが進行時の映像と判定された後の、いわゆる「視界を遮らない表示」モードにおけるグラフィックス要素の表示位置の例を示している。図４（ｂ）において、グラフィックス要素４０２〜４０９は、使用者の中央部からの視界を遮らないように周縁から一定の範囲（使用者の視界を遮らない表示領域）内にのみ表示されている。

上述のように、本実施形態に係るＨＭＤ１００では、撮像部１０２による撮像データが進行時の映像であるか否かに応じて、検出結果に応じてグラフィックスを表示する表示位置等を変更している。これにより、このＨＭＤ１００では、使用者の進行状態に応じたバーチャル画像の表示制御を行うことができ、安全性の向上、グラフィックスの視認性の向上を実現することができる。

図５は、本実施形態に係るＨＭＤ１００において、進行ナビゲーション画像を表示させたときの例を示す図である。
「進行ナビゲーション画像」とは、目標位置までの誘導（ナビゲーション）を行うための進行ナビゲーション情報に応じて表示される画像であり、目標位置までの進むべき経路や、目印となり得る建物や設置物、交通標識等の説明やサインを表示する画像をいう。この進行ナビゲーション画像は、進路を示す進路表示５０２、建物等の説明の表示５０３，５０４，５０５等の画像を含んでいる。

ＣＰＵ１０７は、たとえば、上述のＧＰＳ信号に基づいて使用者の現在位置を取得し、移動センサ部１１１が備える加速度センサ等により、使用者の視界に相当する領域を検出する。さらに、ＣＰＵ１０７は、別途実空間上の位置等が定義されている進路を示す進路表示，建物の説明の表示等の情報に基づいて、これらに対応する画像を接眼部１０４上に表示させる位置を決定する。なお、表示位置の決定は、ＣＰＵ１０７が、撮像部１０２の撮像データを解析することによって行ってもよい。表示位置を決定すると、ＣＰＵ１０７は、、表示制御部１０５を介して、これらの画像を投影部１０３によって接眼部１０４に投影させる。これにより、使用者には、接眼部１０４を透過して見える風景画像５０１に重畳して、進路を示す進路表示５０２、建物等の説明の表示５０３，５０４，５０５等の画像が見える状態となる。

ところで、この「進行ナビゲーション画像」は進むべき経路等を使用者の進行を助ける目的で表示するものであるから、使用者の進行方向の実風景の視界をある程度遮ったとしても、その進行の妨げとはならない。また、使用者が自ら移動している場合（撮像部１０２の撮像方向に進行している場合）に「進行ナビゲーション画像」のグラフィック要素の表示位置を変化させることは、むしろ「進行ナビゲーション画像」を表示する目的に反することともなり得る。
そこで、本実施形態に係るＨＭＤ１００では、使用者の視界に重畳して表示するバーチャル情報の画像が「進行ナビゲーション画像」であるときは、当該バーチャル画像の、使用者の視界を遮らないような表示位置の変更を行わないようにしている。

図６は、このような表示を行う本実施形態に係るＨＭＤ１００の判断・処理の流れを示すフローチャートである。
使用者により電源が投入されると、本実施形態に係るＨＭＤ１００は、所定の表示条件（表示位置、表示面積、透過度）によりバーチャル画像の表示を行う（Ｓ６０１）。また、撮像部１０２による撮像を開始する（Ｓ６０２）。

次に、表示している当該バーチャル画像が「進行ナビゲーション画像」か否かを判定する（Ｓ６０３）。ここで、電源投入直後にどのようなるバーチャル画像を表示するかは、前述のように装置の仕様に基づく。そこで、たとえば電源投入直後に電源切断前に表示されていたバーチャル画像を回復して表示する仕様であった場合は、電源切断前に「進行ナビゲーション画像」を表示していたか否かを判定する。

バーチャル画像が「進行ナビゲーション画像」であると判定した場合は、ＣＰＵ１０７は、撮像データを解析し（Ｓ６０４）、撮像データに基づいてバーチャル画像のグラフィックス要素の表示を変更する（Ｓ６０５）。たとえば、本実施形態に係るＨＭＤ１００の位置や向き等が電源切断前の位置や向き等と異なっていた場合には、それに従って、進路表示５０２や建物等の説明の表示５０３，５０４，５０５等のグラフィックスの表示位置を変更する。
ただし、たとえば表示部中央から周縁部への移動、表示面積の変更、透過度の変更のような、使用者の視界を遮らないことを目的とする表示位置等の変更（表示の変更）は行わない。

一方、バーチャル画像が「進行ナビゲーション画像」でないと判定した場合は、表示制御部１０５は、撮像データの解析により進行時の映像か否かを判定する（Ｓ６０６）。進行時の映像であると判定したときは、上述のように、バーチャル画像の表示を、使用者の視界を遮らないように変更する（Ｓ６０７）。
そして、使用者の指示操作やメール受信等の諸条件に応じた表示の変更を行う（Ｓ６０８）。たとえば、使用者により音楽再生機能が指示されたときは、曲選択や音量指示等のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する。

本実施形態に係るＨＭＤ１００では、表示するバーチャル画像が、進行ナビゲーション画像である場合に、バーチャル画像の表示の変更（表示位置、表示面積、透過度の変更）を行わない。このことにより、使用者の進行の妨げにならず、進行ナビゲーション画像を確実に表示することができる。

図７は、本実施形態のＨＭＤ１００において、赤外光による撮像画像（赤外光映像）に上述の進行ナビゲーション画像を重畳させて表示した例を示す図である。
赤外光映像では、夜間等の暗視の状態であっても、建物や設置物、植物・動物等の実オブジェクト（被写体）の表面温度が気温と異なっている場合に、これらを浮かび上がらせて表示することが可能である。

デジタルカメラ等の撮像部は、一般的に、カラー画質改善の目的で撮像センサの光入射側に赤外カットフィルターを設けている。本実施形態のＨＭＤ１００では、撮像部１０２が光路中から退避可能な赤外カットフィルターを備えており、赤外光映像の撮像を行う際には、この赤外カットフィルターを光路中から退避させる。

図８は、このような表示を行う場合における本実施形態に係るＨＭＤ１００の判断・処理の流れを示すフローチャートである。
使用者により電源が投入されると、本実施形態に係るＨＭＤ１００は、所定の表示条件（表示位置、表示面積、透過度）によりバーチャル画像の表示を行う（Ｓ８０１）。また、撮像部１０２による、可視光映像の撮像を開始する（Ｓ８０２）。

次に、可視光映像の光量（可視光光量）が所定値を下回るか否かを判定する（Ｓ８０３）。この可視光光量の判定プロセスには、デジタルカメラ等が一般に備えるＡＥ（自動露出）または自動フラッシュ発光制御の条件判定と同様のプロセスで実行される。

可視光光量が所定値を下回るときは、撮像部１０２に赤外カットフィルターを光路から退避させること等により赤外光映像の撮像を開始させる（Ｓ８０４）。そして、表示制御部１０５は、撮像部１０２からの赤外光映像について輪郭協調やカラー変換等、適宜、画像処理を行う（Ｓ８０５）。さらに、ＣＰＵ１０７からの「進行ナビゲーション画像」を重畳し（Ｓ８０６）、投影部１０３より接眼部１０４に向けて投影する（Ｓ８０７）。なお、赤外光映像の輝度等の状態によっては、進行ナビゲーション画像の輝度等の表示状態を変更するようにしてもよい。また、この場合には、バーチャル画像が、上述の進行ナビゲーション画像であるため、所定の条件の移動であるか否かに応じたバーチャル画像の表示の変更は行わない。

このような表示により、例えば上述の図７に示すように、接眼部１０４には、赤外光映像７０１に、進路を示す進路表示７０２、建物等の説明の表示７０３，７０４，７０５等の画像が重畳された画像が投影される。

本実施形態のＨＭＤ１００では、撮像部１０２で撮像した可視光映像の光量が所定値を下回る場合には、赤外光映像に進行ナビゲーション画像を重畳した画像を接眼部１０４に投影することができる。これにより、夜間等の暗視の状態であっても、確実に進行ナビゲーション画像を表示させることができる。

［実施形態２］
実施形態２では、本発明を上述の図１及び図２に示す実施形態１に係るＨＭＤ１００と同様の構成を有するＨＭＤに適用した例について説明する。
本実施形態のＨＭＤでは、撮像部１０２で撮像した映像が進行時の映像と判断できる所定の条件を満たし、かつ、移動センサ部１１１（移動検知手段の一例）により所定の条件の移動を検知したとき、バーチャル画像を使用者の視界を遮らないように変更表示する。

ここで、移動センサ部１１１は、たとえば加速度センサや位置センサ等の、単位時間あたりの使用者の移動を検知できるセンサを備えている。加速度センサには、たとえば磁石や磁性体を可動にして加速に伴う磁気変化を検出するものや、圧電効果による電位変化を検出するもの、梁構造で支えられた微小な可動部でのわずかな位置変化を静電容量の変化として検出するもの等が実用可能に提供されている。また、位置センサは、現在位置を検出するものであり、たとえば時刻を較正した３以上の衛星からのビーコンを受信し、距離に基づくビーコンの遅延から位置検出するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等が一般的である。

本実施形態のＨＭＤでは、撮像映像が進行時の映像と判定した場合であって、移動センサ部１１１により所定の条件の移動を検知したときに、バーチャル画像を使用者の視界を遮らないように変更する。すなわち、本実施形態のＨＭＤでは、撮像映像が進行時の映像と判定した場合であっても、所定の条件の移動を検知しないときは、バーチャル画像の表示を変更しない。

撮像映像が進行時の映像と判定された場合も、たとえば、使用者が本実施形態のＨＭＤの接眼部１０４を通じて外部のディスプレイ・スクリーンに映し出された「進行映像」を見ているような場合等は、使用者が自ら移動しているということはできない。そこで、移動センサ部１１１により所定の条件の移動を検知したことを、使用者が自ら移動していることを判定する条件として加重すれば、判定の尤度を高めることが可能となる。なお、移動センサ部１１１により所定の条件の移動を検知したことのみをバーチャル画像の表示変更の判定条件とすると、使用者が列車等の乗り物で移動しているとき等も自ら移動していると判定することとなり、判定の尤度が大幅に低下するため妥当でない。

所定の条件の移動とは、たとえば、所定速度以上の移動である。移動センサ部１１１の加速度センサにより検出した加速度を所定時間にわたり積分することや、位置センサにより単位時間における位置変移を検出することにより、移動速度の算出が可能である。一般に乗り物による移動は自らの歩行に比較して高速と考えられるため、速度により、使用者が自ら移動している場合と乗り物に乗って移動している場合との識別が可能となる。

あるいは、所定の条件の移動とは、所定の移動軌跡パターンでの移動である。一般に乗り物による移動は自らの歩行に比較して、所定長（たとえば１メートル〜３メートル程度）の区間の移動軌跡の直線性が高いと考えられる。そこで、たとえばこうした直線性を比較することにより、使用者が自ら移動している場合と乗り物に乗って移動している場合との識別が可能となる。

図９は、このような表示を行う本実施形態に係るＨＭＤの判断・処理の流れを示すフローチャートである。
使用者により電源が投入されると、本実施形態のＨＭＤは、所定の表示条件（表示位置、表示面積、透過度）によりバーチャル画像の表示を行う（Ｓ９０１）。次に、撮像部１０２による撮像を開始し（Ｓ９０２）、その撮像データを解析して進行時の映像か否かを判定する（Ｓ９０３）。進行時の映像と判定したときは、さらに移動センサ部１１１により所定の条件の移動を検知したか否かを判定する（Ｓ９０４）。そして、所定の条件の移動を検知したときは、バーチャル情報の画像の表示位置、表示面積、透過度のいずれかを、使用者の視界を遮らないように変更して表示する（Ｓ９０５）。

本実施形態のＨＭＤでは、撮像映像が進行時の映像と判定した場合であって、移動センサ部１１１により所定の条件の移動を検知したときに、バーチャル画像を使用者の視界を遮らないように変更する。これにより、使用者が自ら移動している状態を精度良く判定することができ、使用者の移動に応じたバーチャル画像の表示の変更を行うことができる。

［実施形態３］
実施形態３では、本発明を表示装置の一例としてのＨＭＤに適用した例について説明する。
本実施形態のＨＭＤは、使用者の目の開閉状態を検知する装着者撮像部１０１１（目つむり検知手段の一例）を備える。そして、使用者の目が所定時間以上閉じたのち開いたと検知したときは、使用者が指示操作可能な所定のグラフィカルユーザーインターフェース（ＧＵＩ）表示をする。

拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示用のＨＭＤでは、実風景に重畳して文字や図形、映像等のグラフィックスを表示する。このため、使用者の歩行移動時等に実風景の視界を遮るような表示を行うと、衝突や転倒等の危険を生ずることは先述のとおりである。したがって、装置の各機能を示すアイコンを一覧表示した、いわゆるメインＵＩ（Ｍａｉｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のようなＧＵＩは、使用者の歩行移動時以外に表示することが適切である。もっとも、歩行移動時以外であっても、使用者がＨＭＤで映像コンテンツ等を継続して視聴しているときに、映像コンテンツ等の表示を中断してＧＵＩ表示することは妥当ではない。そこで、使用者が所定時間Ｔ（たとえば、１分間）以上目を閉じたのち目を開いたときには、使用者は歩行移動をしておらず、かつ、映像コンテンツ等を継続して視聴してはいないと考えられる。このため、このような場合に、メインＵＩのようなＧＵＩを表示すると、適切にＧＵＩを表示することが可能である。

図１０は、本実施形態に係るＨＭＤ１０００の外観を示す図である。
このＨＭＤ１０００は、頭部装着部１００１、撮像部１００２、投影部１００３、接眼部１００４を備えている。
また、図１１に示すように、このＨＭＤ１０００は、表示制御部１００５、撮像制御部１００６、ＣＰＵ１００７、メモリ１００８、電源部１００９、通信部１０１０を備えている。これらの頭部装着部１００１〜通信部１０１０は図１及び図２中の頭部装着部１０１〜通信部１１０と同様に構成されている。

また、このＨＭＤ１０００は、使用者の少なくとも目を含む部分を撮像する装着者撮像部１０１１を備えている。この装着者撮像部１０１１は、図１０では投影部１００３の近傍に、これらの光路が略共役となるように設けられている。すなわち、投影部１００３は、接眼部１００４に設けられたミラーにより使用者の目の方向に反射させてグラフィックスを投影するものである。この投影部１００３と光路を略共役にした装着者撮像部１０１１は、接眼部１００４のミラーに反射した使用者の目を含む部分の像を撮像可能になる。なお、光路を略共役にすることにより生じ得る干渉等に関しては、たとえば各々の光路に偏光成分を直交させた偏光フィルターを設ける等によりこれを解消することが可能である。また、このＨＭＤ１０００は、タイマーによる計時を行う計時部１０１２を備えている。

使用者（装着者）が目を閉じているか開いているかの判定（目つむり検知）は、装着者撮像部１０１１が撮像した装着者の目を含む部分の像の画像データ（装着者画像データ）を解析することにより行う。具体的には、たとえば色彩成分の解析によって行う。目を閉じているときは目を開いているときよりも黒目部分に相当する黒色成分と白目部分に相当する白色成分とが減じるため、これらに一定の閾値を設けて目を閉じているか開いているかの判定をすることが可能である。あるいは、あらかじめ撮像された目を閉じているときの画像、及び、目を開いているときの画像と、リアルタイムで撮像されている装着者画像データとのパターン・マッチングにより、より近似している方の状態であると判定することも可能である。あるいは、一定の時間長にわたり連続して撮像した装着者画像データ間の変化量を解析し、変化量が少ない場合を目を閉じている状態、変化量が多い場合を目を開いている状態と判定することが可能である。目を開いている状態の方が、一般的に、まばたき等により装着者画像データの変化量が大きくなるためである。

図１２は、上述のような表示を行う本実施形態に係るＨＭＤ１０００の判断・処理の流れを示すフローチャートである。
使用者により電源が投入されると、本実施形態のＨＭＤ１０００は、所定の表示条件（表示位置、表示面積、透過度）によりバーチャル画像の表示を行う（Ｓ１１０１）。

次に、装着者撮像部１０１１による撮像を開始し（Ｓ１１０２）、その撮像データを解析して使用者が目を閉じている状態か否かを判定する（Ｓ１１０３）。使用者が目を閉じている状態であると判定したときは、計時部１０１２によりタイマーｔが０であるかどうかを判定し（Ｓ１１０４）、タイマーｔが０であるときは、タイマーｔの計時を開始する（Ｓ１１０５）。

使用者が目を開いている状態と検知したときは、タイマーｔと上述の所定時間Ｔを比較し（Ｓ１１０６）、ｔがＴを上回るときは、ＧＵＩを表示し（Ｓ１１０７）、タイマーｔをリセットする（Ｓ１１０８）。

本実施形態のＨＭＤでは、使用者の目が所定の時間閉じたのち開いたと検知したときにＧＵＩ表示をすることにより、使用者の目の開閉状態に応じたＧＵＩの表示を行うことができる。

［その他の実施形態］
本発明の目的は、以下の処理を実行することによっても達成される。すなわち、上述した実施例の機能を実現するコンピュータプログラムを、システム或いは装置が備えるコンピュータ（またはＣＰＵやＭＰＵ等）がネットワーク又は各種記憶媒体から読み出して実行する処理である。この場合、記憶媒体等から読み出されたプログラム自体が上述の実施形態の機能を実現することになり、そのプログラムも本発明を構成することになる。

１００ ＨＭＤ １０１ 頭部装着部 １０２ 撮像部
１０３ 投影部 １０４ 接眼部

Claims (7)

1. 使用者の頭部前方の映像を撮像する撮像手段と、
   使用者の視界にバーチャル情報の画像を重畳して表示する表示手段と、
   前記撮像手段により撮像されている映像が進行時の映像であるか判断する判断手段と、
   前記判断手段により前記映像が進行時の映像であると判断されると、前記バーチャル情報の画像の表示位置、表示面積、透過度の少なくともいずれかを、前記使用者の視界を遮らないように変更して前記表示手段に表示させるように制御する表示制御手段とを備えることを特徴とする表示装置。
2. 前記バーチャル情報が進行ナビゲーション情報を含み、
   前記表示制御手段は、
   前記バーチャル情報の画像が進行ナビゲーション情報の画像であるときは、前記バーチャル情報の画像については表示の変更を行わない
   ことを特徴とする、請求項１に記載の表示装置。
3. 前記撮像手段は、可視光映像と赤外光映像とを撮像可能であり、
   前記表示制御手段は、
   前記撮像手段により撮像されている可視光映像の光量が所定値を下回るときは、前記表示手段に、赤外光映像の表示に重畳した進行ナビゲーション情報の画像を表示させる
   ことを特徴とする、請求項２に記載の表示装置。
4. 使用者の移動を検知する移動検知手段をさらに備え、
   前記表示制御手段は、
   前記移動検知手段が所定の条件の移動を検知したときは、
   前記表示手段に表示するバーチャル情報の画像の表示位置、表示面積、透過度の少なくともいずれかを、使用者の視界を遮らないように変更して表示するように制御することを特徴とする請求項１から３のいずれか１項に記載の表示装置。
5. 使用者の目の開閉状態を検知する目つむり検知手段をさらに備え、
   前記表示制御手段は、
   前記目つむり検知手段が、使用者の目が所定時間以上閉じたのち開いたと検知したときは、使用者が指示操作可能な所定のグラフィカルユーザーインターフェース（ＧＵＩ）表示をする
   ことを特徴とする請求項１から４のいずれか１項に記載の表示装置。
6. 使用者の頭部前方の映像を撮像する撮像手段と、使用者の視界にバーチャル情報の画像を重畳して表示する表示手段と、を有する表示装置における表示を制御する表示制御方法であって、
   前記撮像手段により撮像されている映像が進行時の映像であるか判断し、
   前記映像が進行時の映像であると判断されると、前記表示手段に表示するバーチャル情報の画像の表示位置、表示面積、透過度の少なくともいずれかを、使用者の視界を遮らないように変更して表示させる
   ことを特徴とする表示制御方法。
7. コンピュータを、請求項１から４のいずれか１項に記載の表示装置の各手段として機能させるためのコンピュータプログラム。