JP6638195B2 - 表示装置、表示装置の制御方法、および、プログラム - Google Patents

Description

本発明は、表示装置、表示装置の制御方法、および、プログラムに関する。

従来、ウェアラブル表示装置において、外界視野と重畳して表示を行うものが知られている（例えば、特許文献１参照）。特許文献１記載の装置は、外界視野と文字を重畳して表示する構成を有し、表示する一部の文字又は単語について、フォントサイズや文字の色等の表示属性を変更して、例えば文章の一部の文字を識別しやすくする。

特開２０１４−５６２１７号公報

特許文献１では、ウェアラブル表示装置を使用する使用者が、表示装置が表示する文字か外界視野かのいずれかを見る場合の表示方法について記載されている。これに対し、使用者が外界とともに視認することを考慮した表示方法についての提案は、従来無かった。
本発明は、上述した事情に鑑みてなされたものであり、使用者に見える外界と表示内容とを効果的に組み合わせることが可能な表示装置、表示装置の制御方法、および、プログラムを提供することを目的とする。

上記目的を達成するために、本発明の表示装置は、使用者の身体に装着して使用される表示装置であって、外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、前記使用者の視線方向を撮像する撮像部と、前記撮像部の撮像画像から表示用画像を生成する画像生成部と、前記画像生成部が生成した表示用画像を前記表示部に表示させる画像表示制御部と、を備えることを特徴とする。
本発明によれば、使用者の視線方向を撮像した撮像画像に基づく表示用画像を、外景として見える対象物に重なるように画像を表示できる。このため、使用者が見ている外景の見え方を、この外景を撮像した撮像画像に基づき補ったり、別の見方を提示したりするなど、表示装置外部の外景と、表示内容とを効果的に組み合わせて、表示装置による表示の新たな活用方法を提供できる。

また、本発明は、上記表示装置において、前記表示装置の使用状態を検出する検出部を備え、前記画像表示制御部は、前記表示用画像の前記表示部における表示態様を、前記検出部が検出する前記表示装置の使用状態に対応して調整すること、を特徴とする。
本発明によれば、表示装置の使用環境や使用者の使い方に対応して、表示部に表示される画像の表示サイズや表示位置等の態様を調整できる。このため、使用者が外景を視認する見え方に合わせて表示を行うことができる。

また、本発明は、上記表示装置において、前記検出部は、前記表示装置の位置に関する検出を行い、前記画像表示制御部は、前記検出部が検出する前記表示装置の位置に対応して前記表示用画像の表示態様を調整すること、を特徴とする。
本発明によれば、表示装置の位置に基づき、使用者が外景を視認する見え方に合わせて表示を行うことができる。

また、本発明は、上記表示装置において、前記画像表示制御部は、前記検出部が検出する前記表示装置の位置に対応して、前記表示用画像が前記使用者の視線方向の中心を避けるように、前記表示用画像の表示位置または表示サイズの少なくともいずれかを調整すること、を特徴とする。
本発明によれば、使用者が外景を見る障害とならないように、撮像部で撮像した画像を表示できる。

また、本発明は、上記表示装置において、前記撮像部の撮像画像に基づき前記使用者の動作を検出する動作検出部を備え、前記画像表示制御部は、前記動作検出部が検出する前記使用者の動作に対応して前記表示用画像の表示態様を調整すること、を特徴とする。
本発明によれば、使用者が、撮像部が撮像できるように動作を行うことで、表示用画像の表示態様を調整できる。

また、本発明は、上記表示装置において、音声を検出する音声検出部を備え、前記画像表示制御部は、前記音声検出部の音声の検出結果に対応して前記表示用画像の表示態様を調整すること、を特徴とする。
本発明によれば、使用者が音声を発することで、表示用画像の表示態様を調整できる。

また、本発明は、上記表示装置において、前記画像生成部は、前記撮像部の撮像画像の一部を抽出して処理することにより、前記表示用画像を生成すること、を特徴とする。
本発明によれば、使用者の視線方向を撮像した撮像画像を利用して表示するので、使用者に、外景とともに、外景の一部を処理した画像を見せることができる。

また、本発明は、上記表示装置において、前記撮像部の撮像画像に基づき前記使用者の動作を検出する動作検出部を備え、前記画像生成部は、前記撮像部の撮像画像から、前記動作検出部が検出する前記使用者の動作に基づき特定される領域を抽出して処理し、前記表示用画像を生成すること、を特徴とする。
本発明によれば、使用者が、撮像部が撮像できるように動作を行うことで、撮像画像から抽出する範囲を決めることができる。

また、本発明は、上記表示装置において、前記画像生成部は、前記撮像部の撮像画像の一部を切り出して拡大することにより、前記表示用画像を生成すること、を特徴とする。
本発明によれば、使用者の視線方向を撮像した撮像画像の一部を拡大して表示するので使用者は、外景を見ながら、視線方向を拡大して見ることができる。

また、本発明は、上記表示装置において、前記画像生成部は、前記撮像部の撮像画像において予め設定された条件に該当する領域を切り出すことにより、前記表示用画像を生成すること、を特徴とする。
本発明によれば、予め設定された条件に該当する撮像画像を表示することができる。このため、例えば使用者の嗜好や興味に該当するような撮像画像が撮像された場合に、この撮像画像を表示部により表示して使用者に見せることができる。

また、本発明は、上記表示装置において、前記使用者の視線方向に相当する方向を特定し、前記撮像部の撮像画像から前記使用者の視線方向にある対象物を検出する対象検出部を備え、前記画像生成部は、前記撮像部の撮像画像から、前記対象検出部が検出した前記対象物の画像を含む領域を抽出して処理し、前記表示用画像を生成すること、を特徴とする。
本発明によれば、使用者の視線方向に対象物がある場合に、この対象物の画像を使用者に見せることができる。

また、本発明は、上記表示装置において、前記対象検出部は、前記使用者の視線方向を検出し、検出した前記使用者の視線方向にある前記対象物を検出すること、を特徴とする。
本発明によれば、撮像画像において使用者の視線方向に対応する部分を、表示用画像とすることができる。

また、本発明は、上記表示装置において、前記対象検出部は、前記使用者の両眼のうち利き目に相当する眼の視線方向を検出すること、を特徴とする。
本発明によれば、撮像画像において使用者の利き眼の視線方向に対応する部分を、表示用画像とすることができる。

また、本発明は、上記表示装置において、前記対象検出部は、前記動作検出部により前記使用者の所定の動作を検出した場合に、この所定の動作に基づいて前記使用者の視線方向に相当する方向を特定すること、を特徴とする。
本発明によれば、使用者の動作により、撮像画像から表示用画像として抽出する部分を指定できる。

また、本発明は、上記表示装置において、前記対象検出部は、前記動作検出部が前記使用者の四肢の少なくともいずれかによる動作を検出した場合に、検出された動作に基づいて前記使用者の視線方向に相当する方向を特定すること、を特徴とする。
本発明によれば、使用者が四肢を動かす動作をすることで、撮像画像から表示用画像として抽出する部分を指定できる。

また、本発明は、上記表示装置において、前記対象物の画像の特徴量を記憶する記憶部を備え、前記対象検出部は、前記撮像部の撮像画像から、前記記憶部が記憶する特徴量に適合する画像を検出することにより、前記対象物を検出すること、を特徴とする。
本発明によれば、撮像画像に基づいて対象物を容易に検出できる。

また、本発明は、上記表示装置において、前記記憶部が記憶する前記特徴量は、特定の前記対象物の画像の特徴量、及び、類似する複数種類の対象物に対応する汎用的な特徴量のいずれかを含むこと、を特徴とする。
本発明によれば、記憶される特徴量に基づき、特定の対象物を検出する処理、或いは、類似する複数の対象物のいずれかを検出する処理を実行できる。

また、本発明は、上記表示装置において、前記対象検出部により検出された前記対象物と前記使用者との距離を検出する距離検出部を備え、前記画像表示制御部は、前記距離検出部が検出した距離に応じた拡大率で前記撮像部の撮像画像の一部を拡大し、前記表示用画像を生成すること、を特徴とする。
本発明によれば、使用者の視線方向の対象物との距離に合わせた拡大率で、対象物の画像を使用者に見せることができる。

また、本発明は、上記表示装置において、前記画像生成部は、前記撮像部により異なるときに撮像された複数の撮像画像を取得し、これら複数の撮像画像において予め設定された条件に該当する領域を特定することにより、前記表示用画像を生成すること、を特徴とする。
本発明によれば、複数の撮影画像について、より複雑な条件を設定し、この条件に該当する撮像画像をもとに画像を使用者に見せることができる。

また、本発明は、上記表示装置において、前記画像生成部は、前記撮像部により異なるときに撮像された複数の撮像画像を取得し、これら複数の撮像画像の画像間の差分が予め設定された条件に該当する場合に、取得した撮像画像を切り出して前記表示用画像を生成すること、を特徴とする。
本発明によれば、複数の撮影画像の差分をもとに表示用画像を生成して表示できるので、例えば連続する複数の画像からなる動画像について、画像の変化に基づき表示用画像を生成して表示できる。

また、上記目的を達成するために、本発明は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備え、使用者の身体に装着して使用される表示装置の制御方法であって、前記使用者の視線方向を撮像し、撮像画像の一部を切り出して拡大することにより、表示用画像を生成し、生成した表示用画像を前記表示部に表示させることを特徴とする。
本発明によれば、使用者の視線方向を撮像した撮像画像に基づく表示用画像を、外景として見える対象物に重なるように画像を表示できる。このため、使用者が見ている外景の見え方を、この外景を撮像した撮像画像に基づき補ったり、別の見方を提示したりするなど、表示装置外部の外景と、表示内容とを効果的に組み合わせて、表示装置による表示の新たな活用方法を提供できる。

また、上記目的を達成するために、本発明は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備え、使用者の身体に装着して使用される表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、前記使用者の視線方向を撮像した撮像画像の一部を切り出して拡大することにより、表示用画像を生成する画像生成部と、前記画像生成部が生成した画像を前記表示部に表示させる画像表示制御部と、して機能させるためのプログラムである。
本発明によれば、使用者の視線方向を撮像した撮像画像に基づく表示用画像を、外景として見える対象物に重なるように画像を表示できる。このため、使用者が見ている外景の見え方を、この外景を撮像した撮像画像に基づき補ったり、別の見方を提示したりするなど、表示装置外部の外景と、表示内容とを効果的に組み合わせて、表示装置による表示の新たな活用方法を提供できる。

第１実施形態の頭部装着型表示装置の外観構成を示す説明図。 頭部装着型表示装置の機能的構成を示すブロック図。 記憶部に記憶されるデータの例を示す説明図。 頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置の典型的な適用例を示す説明図であり、（Ａ）は使用者の視野の例を示し、（Ｂ）及び（Ｃ）は撮像画像から切り出される画像の例を示し、（Ｄ）は表示用画像を表示した場合の使用者の視野の例を示す。 頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置の動作の例を示す図であり、（Ａ）は頭部装着型表示装置の使用環境の例を示し、（Ｂ）及び（Ｃ）は表示例を示す。 第２実施形態の頭部装着型表示装置の機能的構成を示すブロック図。 画像表示部の要部構成を示す図であり、（Ａ）は画像表示部を使用者の頭部側から見た要部斜視図、（Ｂ）は視線方向の説明図である。 頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置の表示例を示す図。 頭部装着型表示装置の表示例を示す図。

［第１実施形態］
以下、本発明を適用した実施形態について説明する。
図１は、第１実施形態に係る頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者が頭部装着型表示装置１００を操作するためのコントローラーとしても機能する。画像表示部２０は、単に「表示部」とも呼ぶ。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３と、を備える。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板２０Ａは、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰または反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６および左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは右導光板２６１、左導光板２６２を保護し、右導光板２６１、左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは右光学像表示部２６および左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。

カメラ６１は、右光学像表示部２６の他端である端部ＥＲに配置される。カメラ６１は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。図１に示す本実施形態のカメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。
カメラ６１の撮影方向すなわち画角は、頭部装着型表示装置１００の表側方向、換言すれば、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮影する方向である。また、カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界（外景）を含む範囲であることが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮影できるようにカメラ６１の撮像範囲が設定されていると、より好ましい。

画像表示部２０は、さらに、画像表示部２０を制御装置１０に接続するための接続部４０を有している。接続部４０は、制御装置１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を備える。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。

連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。イヤホンプラグ３０の近傍にはマイク６３が設けられている。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がっている。

マイク６３の具体的な仕様は任意であり、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。指向性を有するマイクとしては、例えば単一指向性（Cardioid）、狭指向性（Super cardioid）、鋭指向性（Hypercardioid）、超指向性（Ultra Cardioid）等が挙げられる。マイク６３が指向性を有する場合、頭部装着型表示装置１００を装着した使用者の視線方向からの音声を特に良好に集音し、検出する構成とすればよい。この場合、マイク６３の指向性を確保するため、マイク６３またはマイク６３を収容する部品に構造的な特徴を持たせてもよい。例えば図１の例において、使用者が右イヤホン３２及び左イヤホン３４を装着した状態で、マイク６３の集音部が、使用者の視線方向を向くように、マイク６３及び連結部材４６が設計されていればよい。或いは、マイク６３を、右保持部２１または左保持部２３に埋込設置してもよい。この場合、右保持部２１または左保持部２３の前面側、すなわち右光学像表示部２６、左光学像表示部２８に並ぶ面に集音用の穴を穿設すれば、使用者の視線方向に対応する指向性を持たせることができる。使用者の視線方向とは、例えば、右光学像表示部２６及び左光学像表示部２８が面する方向、使用者が右光学像表示部２６及び左光学像表示部２８越しに見る視界の中心を向く方向、カメラ６１の撮影方向等と言い換えることができる。なお、マイク６３の指向性の方向を可変としてもよい。この場合、使用者の視線方向を検出して、その方向を向くようにマイク６３の視線方向を調整する構成としてもよい。

なお、右コード４２と左コード４４とを一本のコードにまとめることも可能である。具体的には、右コード４２の内部の導線を、画像表示部２０の本体内部を通して左保持部２３側に引き込み、左コード４４内部の導線とともに樹脂で被覆して、一本のコードにまとめてもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御装置１０と、のそれぞれには、互いに嵌合するコネクター（図示略）が設けられている。本体コード４８のコネクターと制御装置１０のコネクターとの嵌合／嵌合解除により、制御装置１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御装置１０は、頭部装着型表示装置１００を制御するための装置である。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が指によりタッチ操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとを切り替える信号を出力する。

トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。

図２は、実施形態に係る表示システム１を構成する各部の機能ブロック図である。
図２に示すように、表示システム１は、外部機器ＯＡと、頭部装着型表示装置１００とを備える。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。外部機器ＯＡは、頭部装着型表示装置１００に画像を供給する画像供給装置として用いられる。

頭部装着型表示装置１００の制御装置１０は、制御部１４０と、操作部１３５と、入力情報取得部１１０と、記憶部１２０と、電源１３０と、インターフェイス１８０と、送信部（Ｔｘ）５１および送信部（Ｔｘ）５２と、を有している。
操作部１３５は、使用者による操作を検出する。操作部１３５は、図１に示した決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８の各部を備える。

入力情報取得部１１０は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド１４、方向キー１６、電源スイッチ１８、に対する操作入力がある。
電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。

記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。記憶部１２０には、頭部装着型表示装置１００の画像表示部２０に表示する画像データが格納されていても良い。
記憶部１２０は、後述する対象検出部１７１が参照する検出特徴データ１２４、及び、画像表示制御部１７６が処理する入替画像データ１２５を記憶する。

インターフェイス１８０は、制御装置１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。

制御部１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、各部の機能を実現する。すなわち、制御部１４０は、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、音声処理部１７０、対象検出部１７１、距離検出部１７３、画像表示制御部１７６、画像生成部１７７、及び、表示制御部１９０として機能する。
制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、３軸センサー１１３の検出値を制御部１４０が取得可能である。ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信し、制御装置１０の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置１０の制御部１４０が計時する時刻を修正させる機能を備えていてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合には、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示するための制御を行う。一方、外部機器ＯＡが、インターフェイス１８０に有線接続された場合には、制御部１４０は、コンテンツデータをインターフェイス１８０より取得して、画像表示部２０に画像を表示するための制御を行う。よって、通信部１１７、及び、インターフェイス１８０を、以下総称してデータ取得部ＤＡと呼ぶ。
データ取得部ＤＡは、外部機器ＯＡから、頭部装着型表示装置１００により表示するコンテンツデータを取得する。コンテンツデータは後述する画像データを含む。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてデジタル画像信号に変換する。その後、画像処理部１６０は、変換後のデジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、振動センサー６５と、９軸センサー６６と、を備えている。

振動センサー６５は、加速度センサーを利用して構成され、図１に示すように画像表示部２０の内部に配置される。図１の例では右保持部２１において、右光学像表示部２６の端部ＥＲの近傍に内蔵される。振動センサー６５は、使用者が端部ＥＲを叩く操作（ノック操作）を行った場合に、この操作による振動を検出して、検出結果を制御部１４０に出力する。この振動センサー６５の検出結果により、制御部１４０は、使用者によるノック操作を検出する。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された使用者の頭部の動きから画像表示部２０の向きがわかるため、制御部１４０は、使用者の視線方向を推定できる。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を備える。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａ１と、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を備える。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

頭部装着型表示装置１００は、使用者が右光学像表示部２６及び左光学像表示部２８を透過して外景を見ている場合に、この外景に重なるように画像データに基づく画像を表示する。
対象検出部１７１は、カメラ６１に撮像を実行させる制御を行い、撮像画像を取得する。この撮像画像はカラー画像データまたはモノクロ画像データとしてカメラ６１から出力されるが、カメラ６１が画像信号を出力して、対象検出部１７１が画像信号から所定のファイルフォーマットに適合する画像データを生成してもよい。
対象検出部１７１は、取得した撮像画像データを解析し、撮像画像データに写っている対象物を検出する。対象物とは、カメラ６１の撮像方向すなわち使用者の視線方向に存在する物体または人である。

対象検出部１７１は、撮像画像において検出特徴データ１２４に適合する画像を検索し、適合する画像を対象物の画像として検出する。
図３は、記憶部１２０に記憶される検出特徴データ１２４及び入替画像データ１２５の構成例を示す図である。
検出特徴データ１２４は、撮像画像から検出する画像の特徴量のデータである。本実施形態では、検出特徴データ１２４は、単一画像用特徴データ１２４ａ、及び、動画像用特徴データ１２４ｂを含む。単一画像用特徴データ１２４ａは、１つの撮像画像に対して適用される特徴量のデータである。対象検出部１７１は、単一画像用特徴データ１２４ａを使用する場合、１つの撮像画像について単一画像用特徴データ１２４ａに適合する部分を検出するマッチング処理を行う。

動画像用特徴データ１２４ｂは、複数の撮像画像について適用される特徴量のデータである。対象検出部１７１は、動画像用特徴データ１２４ｂを使用する場合、カメラ６１の撮像画像を複数回取り込み、取り込んだ複数の撮像画像の差分を求める。カメラ６１は、所定の時間間隔で撮像を行って、撮像を行う毎に撮像画像データを出力することが可能である。すなわち、カメラ６１は、上記時間間隔に対応するフレームレートで撮像を行う動画像カメラとして機能する。この場合、対象検出部１７１は、カメラ６１が異なるタイミングで撮像した複数の撮像画像の差分を求めることで、動画像の変化を求めることができる。動画像用特徴データ１２４ｂは、動画像の変化に対して適用される特徴量のデータということができる。対象検出部１７１は、撮像画像の差分において動画像用特徴データ１２４ｂに適合する部分を検出するマッチング処理を行う。

本実施形態では、対象検出部１７１が使用する検出特徴データ１２４が単一画像用特徴データ１２４ａか動画像用特徴データ１２４ｂかは、事前に設定される。対象検出部１７１は、単一画像用特徴データ１２４ａを使用するよう設定されている場合は、カメラ６１の１つの撮像画像を取得してマッチング処理を行う。これに対し、動画像用特徴データ１２４ｂを使用するよう設定されている場合、対象検出部１７１は、カメラ６１の撮像画像を取得する毎に記憶部１２０に一時的に記憶する。そして、対象検出部１７１は、記憶部１２０に記憶した複数の撮像画像を取得して差分を求め、この差分に対し動画像用特徴データ１２４ｂに基づくマッチング処理を行う。

対象検出部１７１は、マッチング処理により、カメラ６１が撮像した撮像画像に写る対象物を特定する。すなわち、対象検出部１７１は、撮像画像において単一画像用特徴データ１２４ａに適合する領域、または、撮像画像の差分において動画像用特徴データ１２４ｂに適合する領域を検出した場合、検出した領域に写っている被写体を対象物とする。

距離検出部１７３は、対象検出部１７１が検出した対象物までの距離を求める。例えば、距離検出部１７３は、カメラ６１の撮像画像において対象検出部１７１が検出した対象物の画像のサイズに基づき、対象物までの距離を求める。
また、頭部装着型表示装置１００は、レーザー光または超音波を利用して対象物までの距離を検出する距離計を備えていてもよい。この距離計は、例えば、レーザー光の光源と、この光源が発したレーザー光の反射光を受光する受光部とを備え、レーザー光の受光状態に基づき対象物までの距離を検出する。また、距離計は、例えば、超音波式の距離計としてもよい。すなわち、超音波を発する音源と、対象物に反射した超音波を検出する検出部とを備え、反射した超音波に基づき対象物までの距離を検出する距離計を用いてもよい。さらに、この距離計は、レーザー光を利用する距離計と超音波を用いる距離計とを合わせた構成とすることもできる。このような距離計は、画像表示部２０の右保持部２１または右表示駆動部２２に設けることが好ましく、例えば、調光板２０Ａと並ぶ面に、前方を向いて設置するとよい。この距離計が距離を測定する方向は、カメラ６１の撮像方向と同様に、使用者の視線方向であることが望ましい。
距離検出部１７３は、カメラ６１または距離計から対象物までの距離を検出するが、この距離は、頭部装着型表示装置１００の使用者から対象物までの距離と見なすことができる。
また、対象検出部１７１が検出する対象物が特定の物体でない場合、距離検出部１７３は、例えば撮像画像の中央を仮想の対象物として、この対象物までの距離を検出する。

画像生成部１７７は、カメラ６１の撮像画像の一部を抽出して処理することにより、表示用画像を生成する。本実施形態では、画像生成部１７７は、対象検出部１７１が検出した特徴物を含む所定サイズの領域を、撮像画像から切り出して、表示用画像を生成する。対象検出部１７１が動画像用特徴データ１２４ｂを使用して、複数の撮像画像から対象物を検出した場合、画像生成部１７７は、最新の撮像画像において対象検出部１７１が検出した対象物を含む領域を切り出す。
画像生成部１７７が生成する表示用画像は、画像表示制御部１７６の制御により、画像表示部２０の表示可能領域に表示される。表示用画像を表示するサイズは予め設定されており、例えば、使用者が外景を見る際の支障にならない程度である。このため、画像生成部１７７は、表示用画像の表示サイズに合わせたサイズで撮像画像を切り出す。

画像生成部１７７は、対象検出部１７１が検出した特徴物を含む撮像画像の一部が、より見やすく表示されるように、表示用画像を生成する。従って、上記のように、画像生成部１７７が実行する処理は、撮像画像から抽出する領域を拡大する処理に限定されない。例えば、撮像画像から抽出する領域のうち対象物の周囲を円や矩形等の枠で囲んで、表示用画像としてもよい。また、例えば、対象物に、吹き出しや矢印等の装飾を付与して対象物を認識しやすい表示用画像を生成してもよい。この場合の装飾は、予め装飾用に記憶される画像であり、補助画像、強調用画像と呼ぶことができる。また、対象物を含む領域の輝度や色調を変化させてもよく、例えば対象物及びその周囲を高輝度の画像としてもよい。
また、単一画像用特徴データ１２４ａや動画像用特徴データ１２４ｂに基づき検出される対象物に装飾を付与する場合、この装飾に関するデータを、単一画像用特徴データ１２４ａ、動画像用特徴データ１２４ｂに含めてもよい。

また、画像生成部１７７は、対象検出部１７１が検出する対象物を含む画像を切り出す際に、対象物及びその周辺の画像を切り出してもよい。この場合、撮像画像の一部を拡大した画像であることが明らかに分かるので、使用者は、例えば遠方の見づらい部分を拡大して見ることができる。また、画像生成部１７７は、対象物の画像の輪郭に沿って切り出しを行ってもよく、この場合、切り出す画像を、他の背景画像と合成して表示することや、切り出した画像を３Ｄ（立体）画像として画像表示部２０に表示する処理することが、可能となる。

さらに、画像生成部１７７は、距離検出部１７３が検出した距離に基づき、拡大率を決定する。画像生成部１７７は、撮像画像から切り出した一部の画像が画像表示制御部１７６の制御により表示されるときに、使用者に、拡大して見えるようにする。このため、画像生成部１７７は、画像表示部２０の表示可能領域において表示用画像を表示するサイズ（解像度、或いは画像ドット数）と、拡大率とに基づき、撮像画像から切り出す画像のサイズを決定する。そして、画像生成部１７７は、切り出した画像のサイズを、表示するサイズに合わせて変換する拡大処理（或いは解像度変換処理）を実行する。これにより、撮像画像から切り出された画像は拡大された状態となるので、使用者は拡大画像を見ることができる。

画像生成部１７７が拡大した表示用画像が使用者に視認されるサイズは、画像表示部２０の仕様に影響される。画像生成部１７７が撮像画像から切り出した画像を拡大する拡大率を適切に管理、調整するため、例えば、撮像画像から切り出した画像を、使用者の視野における外景と同じサイズとする場合（すなわち、拡大率が１倍）の画像のサイズを予め設定するとよい。つまり、使用者が拡大も縮小もしないサイズで表示用画像を視認する場合の、画像生成部１７７が切り出す画像のサイズが予め設定される。このサイズを基準として、画像生成部１７７は、目標の拡大率に合わせて画像を切り出して拡大する。

画像生成部１７７が画像を拡大する処理における拡大率は、例えば、距離検出部１７３が検出した距離に対応して決定するとよい。
図３には、記憶部１２０に記憶される表示設定データ１２６に、距離検出部１７３が検出した対象物までの距離と拡大率とを対応付ける拡大率設定データ１２６ａを含む例を示す。拡大率設定データ１２６ａは、距離検出部１７３が検出した距離と拡大率とを定めるデータであり、例えば、拡大率を段階的に求めるテーブル、或いは、距離から拡大率を算出する演算式やパラメーターを含む。この拡大率設定データ１２６ａにより、画像生成部１７７は、距離検出部１７３が検出した距離から拡大率を求めることができる。また、拡大率設定データ１２６ａに、画像生成部１７７が拡大をしないケースについて設定してもよく、画像生成部１７７が表示用画像を生成しないケースを設定してもよい。例えば、距離検出部１７３が検出した対象物までの距離が設定された距離よりも近い場合に、表示用画像の生成および表示を行わないよう設定することができる。画像生成部１７７が表示用画像のデータを生成および出力しない場合、画像表示制御部１７６は表示用画像の表示を行わない。
表示設定データ１２６は、拡大率設定データ１２６ａの他、画像表示部２０におけるデフォルトの表示サイズに関する設定値のデータ、表示色の調整に関する設定値のデータなど、画像の表示に関して予め設定されたデータを含んでも良い。

画像表示制御部１７６は、表示制御部１９０を制御して、画像生成部１７７が生成した表示用画像のデータに基づき、画像表示部２０によって、画像を表示させる。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示略）および左イヤホン３４内のスピーカー（図示略）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれから、例えば周波数等が変えられた異なる音が出力される。

また、音声処理部１７０は、マイク６３により集音される音声を取得してデジタル音声データに変換し、音声に係る処理を行う。例えば、音声処理部１７０は、取得した音声から特徴を抽出してモデル化することで、複数の人の声を別々に認識して、声ごとに話している人を特定する話者認識を行ってもよい。

制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、制御部１４０は３軸センサー１１３の検出値を取得して、制御装置１０の動き及び動きの方向を検出可能である。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置１０の制御部１４０が計時する時刻を修正させる機能を備えていてもよい。
通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））やＢｌｕｅｔｏｏｔｈ（登録商標）規格に準じた無線データ通信を実行する。

インターフェイス１８０は、制御装置１０に対して、コンテンツの供給元となる種々の画像供給装置ＯＡを接続するためのインターフェイスである。画像供給装置ＯＡが供給するコンテンツは、静止画像または動画像を含み、音声を含んでもよい。画像供給装置ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を利用できる。
ここで、画像供給装置ＯＡを無線通信回線により制御装置１０に接続することも可能である。この場合、画像供給装置ＯＡは、通信部１１７と無線通信を実行して、コンテンツのデータをＭｉｒａｃａｓｔ（登録商標）等の無線通信技術により送信する。

図４は、頭部装着型表示装置１００の動作を示すフローチャートである。この動作では、使用者が右光学像表示部２６及び左光学像表示部２８を通して外景を見ているときに、その外景を撮像した撮像画像の一部を、画像表示部２０により表示する。
また、図５は、図４に示す動作により頭部装着型表示装置１００が画像を表示する様子を示す説明図である。図５（Ａ）は使用者の視野ＶＲの例を示し、図５（Ｂ）及び（Ｃ）は撮像画像から切り出される画像の例を示し、図５（Ｄ）は表示用画像を表示した場合の使用者の視野ＶＲの例を示す。

頭部装着型表示装置１００の制御部１４０では、対象検出部１７１は、カメラ６１に撮像を実行させ（ステップＳ１１）、撮像画像を取得する（ステップＳ１２）。対象検出部１７１は、記憶部１２０から単一画像用特徴データ１２４ａまたは動画像用特徴データ１２４ｂを取得し（ステップＳ１３）、取得した検出特徴データの対象が単一の撮像画像か複数の撮像画像かを判定する（ステップＳ１４）。この判定は、使用する検出特徴データとして単一画像用特徴データ１２４ａが指定されているか、動画像用特徴データ１２４ｂが指定されているかに基づき行うことができる。

単一の撮像画像を処理する場合（ステップＳ１４；ＹＥＳ）、対象検出部１７１は、ステップＳ１２で取得した撮像画像に対して、単一画像用特徴データ１２４ａを用いてマッチング処理を行い（ステップＳ１５）、ステップＳ１８に移行する。
また、複数の撮像画像を処理する場合（ステップＳ１４；ＮＯ）、対象検出部１７１は、ステップＳ１２で取得した撮像画像と、過去に取得して記憶部１２０に一時的に記憶した撮像画像との差分を求める（ステップＳ１６）。対象検出部１７１は、求めた差分に対して動画像用特徴データ１２４ｂに基づくマッチング処理を実行し（ステップＳ１７）、ステップＳ１８に移行する。

ステップＳ１８では、対象検出部１７１が、撮像画像から切り出す領域を決定する。ここで決定される領域は、対象検出部１７１が検出した対象物を含む領域であるが、詳細な切り出し範囲は後述するステップＳ２１で画像生成部１７７が決定する。従って、ステップＳ１８で決定される領域は、仮の領域であり、例えば、切り出す領域の中心の位置、或いは、対象物の輪郭等とするとよい。

図５（Ａ）に示す例は、使用者がサッカーの試合を観客席から見ている例を示す。この例では、サッカーのフィールドＦ、及び、フィールドＦでプレーする複数のプレイヤーＦＰが見えている。一人のプレイヤーＦＰがボールＢを持っている様子が見えている。この例では使用者はフィールドＦから遠く離れた位置にいるため、視野ＶＲにおけるプレイヤーＰ及びボールＢは小さく見える。

カメラ６１の撮像範囲（画角）は、例えば視野ＶＲと同じ範囲であり、撮像画像には、フィールドＦ、プレイヤーＦＰ及びボールＢが写る。
対象検出部１７１は、単一画像用特徴データ１２４ａに基づき撮像画像に対しマッチング処理を行い、ボールＢの画像を対象物として検出するものとする。この場合、対象検出部１７１は、ステップＳ１５でボールＢを検出し、ステップＳ１８ではボールＢを含む領域が切り出し領域として決定される。

続いて、距離検出部１７３が、ステップＳ１８で対象検出部１７１が決定した領域に含まれる対象物までの距離を検出する（ステップＳ１９）。
そして、画像生成部１７７が、距離検出部１７３により検出された距離と、記憶部１２０に記憶された拡大率設定データ１２６ａとに基づき拡大率を決定する（ステップＳ２０）。画像生成部１７７は、決定した拡大率に基づき、撮像画像から画像を切り出すサイズ及び位置を決定して、画像の切り出しを実行し、切り出した画像を表示用画像として出力する（ステップＳ２１）。ステップＳ２１において、画像生成部１７７は、上述したサイズ変換、或いは解像度変換処理等を実行してもよい。また、画像生成部１７７は、距離検出部１７３が検出した距離に対応する拡大率設定データ１２６ａの設定が、表示をしない設定であった場合は、表示用画像を出力しない。

図５（Ｂ）及び（Ｃ）には画像生成部１７７が出力する表示用画像の例を示す。画像生成部１７７は、画像の切り出しに関して予め設定された内容に従い、撮像画像から、ボールＢの画像を含む領域を切り出す。画像の切り出しに関して予め設定された内容とは、切り出す画像のアスペクト比や、拡大率が１倍の場合の画像のサイズである。図５（Ｂ）の例ではボールＢ、及び、ボールＢを持つプレイヤーＦＰの全身が写った領域が切り出され、表示用画像として出力される。また、図５（Ｃ）の例では、ボールＢ、及び、ボールＢを含む所定サイズの領域が切り出され、表示用画像として出力されている。図５（Ｃ）の例ではボールＢを持つプレイヤーＦＰの身体は、一部のみが含まれる。単一画像用特徴データ１２４ａが、ボールＢを検出するための特徴量のデータである場合、画像生成部１７７が切り出す画像にプレイヤーＦＰの全身が含まれるか身体の一部が含まれるかは、拡大率等の設定により決まる。

画像表示制御部１７６は、画像生成部１７７が出力した表示用画像を記憶部１２０に記憶する（ステップＳ２２）。記憶部１２０には、表示用画像が時系列に沿って記憶される。従って、図４のステップＳ１１〜Ｓ２４に示す処理を繰り返し実行すると、記憶部１２０には、時系列順に複数の表示用画像が記憶される。これら複数の表示用画像は連続して表示することで動画像として再生できる。例えば、操作部１３５に対する指示操作に従って、制御部１４０は、記憶部１２０に記憶した表示用画像を再生表示できる。

画像表示制御部１７６は、ステップＳ２１で画像生成部１７７が出力した表示用画像を、表示制御部１９０に出力し、画像表示部２０により表示する（ステップＳ２３）。
その後、制御部１４０は表示を終了するか否かを判定する（ステップＳ２４）。表示を継続する場合（ステップＳ２４；ＮＯ）、制御部１４０はステップＳ１に戻る。また、操作部１３５が検出した操作等に従って表示を終了する場合（ステップＳ２４；ＹＥＳ）、制御部１４０は表示制御部１９０による表示を停止させて本処理を終了する。

図５（Ｄ）には表示用画像が画像表示部２０により表示される状態を示す。視野ＶＲには、図５（Ａ）と同様に、外景としてフィールドＦが見えているが、視野ＶＲの一部に重畳するように、画像ＩＶが表示される。この画像ＩＶは画像表示部２０が表示する表示用画像である。画像ＩＶは外景の一部を拡大した画像となっているので、使用者は、画像表示部２０を通して見る外景と、この外景の一部とを同時に見ることができる。

なお、対象検出部１７１は、図４のステップＳ１１〜Ｓ１７の処理を繰り返し実行する場合、いったん検出した対象物を追跡する処理を行ってもよい。すなわち、対象検出部１７１は、単一画像用特徴データ１２４ａまたは動画像用特徴データ１２４ｂに基づき対象物を検出した後に、カメラ６１の撮像画像の変化を監視し、検出済みの対象物の動きを追跡する。これにより、対象検出部１７１は、ステップＳ１５、Ｓ１７のマッチング処理を行わなくても、検出対象の撮像画像から対象物を検出できる。このような手法は、例えば、カメラ６１により所定のフレームレート（例えば、３０フレーム／秒）で動画像を撮影し、各フレームに対して対象検出部１７１が対象物を検出する場合に、処理負荷を軽減でき、効果的である。

また、単一画像用特徴データ１２４ａ及び動画像用特徴データ１２４ｂは、特定の対象物を検出するための特徴量に限定されない。例えば、単一画像用特徴データ１２４ａは、特定の特徴を含む撮像画像を検出する特徴量とすることができ、動画像用特徴データ１２４ｂは、特定の変化をする動画像を検出する特徴量とすることができる。この場合、対象検出部１７１は、単一画像用特徴データ１２４ａまたは動画像用特徴データ１２４ｂに適合する特徴を、撮像画像において検出した場合に、その特徴を有する部分を対象物とする。この場合、対象物は特定の物体ではなく、撮像画像の一部となる。画像生成部１７７は、対象検出部１７１が対象物として検出した撮像画像の一部を切り出して表示用画像とすればよい。

また、単一画像用特徴データ１２４ａ及び動画像用特徴データ１２４ｂは、特定の１つまたは少ない数の対象物を検出する特定対象物用の特徴量のデータを含んでもよいし、類似する複数種類の対象物を検出できる汎用的な特徴量のデータを含んでもよい。
例えば、図５（Ｂ）、（Ｃ）の例では、対象検出部１７１は、単一画像用特徴データ１２４ａに基づきボールを検出する。この単一画像用特徴データ１２４ａは、特定の図柄（色及び柄の形状を含む）のボールを検出する特定対象物用の特徴量のデータであってもよいし、球体を検出する汎用的な特徴量のデータであってもよい。汎用的な特徴量のデータである場合、例えば、形状のみを特定する特徴量、形状と色を特定する特徴量とすることもできるし、複数の色のいずれかであることを特定する特徴量であってもよい。また、特徴量のデータとともに、許容される特徴量との差異の範囲を定めるデータを、単一画像用特徴データ１２４ａに含んでもよい。動画像用特徴データ１２４ｂについても同様である。
具体的には、特定の人の顔、髪型、衣服（ユニフォーム、靴、帽子、ビブス等）の差異を許容する汎用的な特徴量のデータとすれば、複数の対象物を検出できるだけでなく、日照や照明の状態、環境の明るさ、日光による撮像画像中の色の変化に対応できる。また、対象検出部１７１は、対象物を検出した後、続けて撮像される撮像画像データにおいて、対象物を追跡してもよい。この場合、対象物を追跡する間に撮像画像データにおける対象物の画像が特徴量に該当しなくなったときに、特徴量を衡正（キャリブレーション）してもよい。これにより、特定対象用の特徴量のデータを利用する場合、及び、汎用的な特徴量のデータを使用する場合であって日照等の要因により撮像画像における対象物の色や形状が特徴量から逸脱する場合であっても、対象物を検出でき、対象物を継続して検出できる。

図６は、頭部装着型表示装置１００の動作を示すフローチャートであり、頭部装着型表示装置１００を装着した使用者の位置に対応して表示を調整する動作を示す。また、図７は、図６と同様の動作の説明図であり、図７（Ａ）は頭部装着型表示装置の使用環境の例を示し、図７（Ｂ）及び図７（Ｃ）は表示例を示す。

図６の動作は、画像表示部２０が画像ＩＶを表示する位置やサイズを、使用者の位置に対応して調整する処理である。上述のように、頭部装着型表示装置１００は、使用者が外景を見ながら、カメラ６１の撮像画像を画像表示部２０により見ることができる装置である。使用者が画像表示部２０越しに見る外景の方向は、使用者と、使用者が見る対象物との相対位置に強く影響される。
例えば、図７（Ａ）に示すように、使用者が、多数階層（図７（Ａ）では４層）の観客席Ｓを有するスタジアムＳＴで頭部装着型表示装置１００を装着して使用する場合を考える。使用者が４階や３階などの上層階にいる場合、フィールドＦを見るために下方を見下ろす。このため、使用者が見たい方向は、右導光板２６１、左導光板２６２の表示領域の下方にある。この場合、画像表示制御部１７６が表示用画像を表示する位置を、使用者が見たいと欲する方向を避けて、例えば表示領域の上部にすれば、使用者の邪魔にならない。図７（Ｂ）に示す例は、使用者が上層階からフィールドＦ上のプレイヤーＦＰを見ている例であり、画像表示制御部１７６は画像ＩＶを表示領域の上部に表示する。この場合、使用者の視野ＶＲでは、画像ＩＶに邪魔されずに、プレイヤーＦＰを見ることが可能になる。また、図７（Ｃ）の例は、使用者が低層階からフィールドＦ上のプレイヤーＦＰを見ている例であり、画像表示制御部１７６は画像ＩＶを表示領域の下部に表示する。この場合、使用者の視線は正面に近くなるので、画像表示制御部１７６は、正面を避けた位置に、小さく画像ＩＶを表示する。このため、使用者の視野ＶＲにおいて、画像ＩＶに邪魔されずに、プレイヤーＦＰを見ることが可能になる。

図６の動作は、図４のステップＳ２３で表示処理を開始した後、予め設定された条件が成立した場合や、使用者の制御装置１０に対する操作により、任意のタイミングで実行できる。
画像表示制御部１７６は、使用者が見る外景に含まれる対象物と、頭部装着型表示装置１００との相対的な位置を判定する（ステップＳ３１）。頭部装着型表示装置１００の位置は、例えば、ＧＰＳ１１５が検出する位置により判定してもよい。また、距離検出部１７３がカメラ６１の撮像画像データから検出する対象物との距離に基づき判定してもよい。さらに、頭部装着型表示装置１００の使用環境においてＷｉＦｉ（登録商標）を利用した位置特定システムが稼働している状態において、通信部１１７がＷｉＦｉ通信を行うことで位置を特定してもよい。或いは、操作部１３５に対する入力操作により、頭部装着型表示装置１００の位置が指定された場合、指定された位置を取得してもよい。

画像表示制御部１７６は、記憶部１２０に記憶された表示設定データ１２６を参照し、ステップＳ３１で判定された位置に対応する表示に係る設定を取得する（ステップＳ３２）。この設定は、画像ＩＶの表示位置、表示サイズの規定値または最大値等である。画像表示制御部１７６は、ステップＳ３２で取得した設定に従って、画像ＩＶの表示サイズ及び表示位置を調整し（ステップＳ３３）、で表示を終了するか否かを判定する（ステップＳ３４）。

制御部１４０は、表示動作を終了しない間は（ステップＳ３４；ＮＯ）、ステップＳ３１〜Ｓ３３の処理を繰り返し実行し、表示の終了（ステップＳ３４；ＹＥＳ）とともに本処理を終了する。

以上説明したように、本発明を適用した第１の実施形態に係る頭部装着型表示装置１００は、使用者の身体に装着して使用される表示装置であって、外景を透過し、外景とともに視認できるように画像を表示する画像表示部２０と、使用者の視線方向を撮像するカメラ６１とを備える。頭部装着型表示装置１００の制御部１４０は、カメラ６１の撮像画像から表示用画像を生成する画像生成部１７７と、画像生成部１７７が生成した表示用画像を画像表示部２０に表示させる画像表示制御部１７６とを備える。これにより、使用者の視線方向を撮像した撮像画像に基づく表示用画像を、外景として見える対象物に重なるように画像を表示できる。このため、使用者が見ている外景の見え方を、この外景を撮像した撮像画像に基づき補ったり、別の見方を提示したりするなど、表示装置外部の外景と、表示内容とを効果的に組み合わせて、表示装置による表示の新たな活用方法を提供できる。

また、頭部装着型表示装置１００は、頭部装着型表示装置１００の使用状態を検出する距離検出部１７３等の検出部を備える。画像表示制御部１７６は、画像表示部２０における表示用画像の表示態様を、頭部装着型表示装置１００の使用状態に対応して調整する。このため、頭部装着型表示装置１００の使用環境や使用者の使い方に対応して、画像表示部２０に表示される画像の表示サイズや表示位置等の態様を調整できる。このため、使用者が外景を視認する見え方に合わせて表示を行うことができる。
また、画像表示制御部１７６は、距離検出部１７３などにより頭部装着型表示装置１００の位置に関する検出を行い、検出する頭部装着型表示装置１００の位置に対応して表示用画像の表示態様を調整する。このため、頭部装着型表示装置１００の位置に基づき、使用者が外景を視認する見え方に合わせて表示を行うことができる。具体的には、画像表示制御部１７６は、表示用画像が使用者の視線方向の中心を避けるように、表示用画像の表示位置または表示サイズの少なくともいずれかを調整する。視線方向の中心は、例えば、使用者が画像表示部２０を透過して外景を見る場合の視線の中心軸と、画像表示部２０で画像が表示される表示領域との交点及びその近傍を指す。この場合、使用者の視線の真正面に表示用画像が表示されず、視線の真正面（中心）を避けた位置で、表示用画像が使用者に視認される。このため、本発明によれば、使用者が外景を見る障害とならないように、カメラ６１で撮像した画像を表示できる。例えば、使用者が注目する対象物を隠さないように、表示用画像を表示できる。

また、画像生成部１７７は、カメラ６１の撮像画像の一部を切り出して拡大することにより、表示用画像を生成するので、使用者の視線方向を撮像した撮像画像を拡大して表示できる。このため、使用者は、外景を見ながら、視線方向を拡大して見ることができる。
また、画像生成部１７７は、カメラ６１の撮像画像において予め設定された条件に該当する領域を切り出すことにより、表示用画像を生成するので、予め設定された条件に該当する撮像画像を表示できる。例えば、使用者の嗜好や興味に該当するような撮像画像が撮像された場合に、この撮像画像を画像表示部２０により表示して使用者に見せることができる。

また、頭部装着型表示装置１００は、カメラ６１の撮像画像から使用者の視線方向の対象物を検出する対象検出部１７１を備える。画像生成部１７７は、カメラ６１の撮像画像から、対象検出部１７１が検出した対象物の画像を含む領域を切り出すことにより、表示用画像を生成する。これにより、使用者の視線方向に対象物がある場合に、この対象物の画像を使用者に見せることができる。
また、頭部装着型表示装置１００は、対象検出部１７１により検出された対象物と使用者との距離を検出する距離検出部１７３を備える。画像生成部１７７は、距離検出部１７３が検出した距離に応じた拡大率でカメラ６１の撮像画像の一部を拡大し、表示用画像を生成する。これにより、使用者の視線方向の対象物との距離に合わせた拡大率で、対象物の画像を使用者に見せることができる。
また、画像生成部１７７は、カメラ６１により異なるときに撮像された複数の撮像画像を取得し、これら複数の撮像画像において予め設定された条件に該当する領域を特定することにより、表示用画像を生成する。これにより、複数の撮影画像について、より複雑な条件を設定し、この条件に該当する撮像画像をもとに画像を使用者に見せることができる。

また、画像生成部１７７は、カメラ６１により異なるときに撮像された複数の撮像画像を取得し、これら複数の撮像画像の画像間の差分が予め設定された条件に該当する場合に、取得した撮像画像を切り出して表示用画像を生成する。これにより、複数の撮影画像の差分をもとに表示用画像を生成して表示できるので、例えば連続する複数の画像からなる動画像について、画像の変化に基づき表示用画像を生成して表示できる。

また、画像表示制御部１７６は、画像生成部１７７により生成された表示用画像を時系列に従って記憶部１２０に記憶し、操作部１３５により再生を指示する操作を検出した場合に、記憶部１２０に記憶した表示用画像を再生表示する。ここで、画像表示制御部１７６は、時系列に従って記憶した複数の表示用画像を、所定のフレームレートで順に再生することで、動画像を表示できる。この場合、使用者は、視線方向を拡大した画像を録画した動画像を見ることができる。ここで、画像表示制御部１７６は、記憶部１２０に記憶した表示用画像を再生表示する場合に、この表示用画像の拡大倍率を変更できるものとしてもよい。例えば、操作部１３５によって拡大率を指定する操作を検出した場合に、この操作に従って拡大率を変更してもよい。さらに、図５（Ｄ）では視野ＶＲの一部に重なるように表示用画像を表示したが、記憶部１２０に記憶した表示用画像を再生表示する場合は、画像表示部２０の表示可能領域全体に表示用画像を表示してもよい。
また、画像生成部１７７は、画像ＩＶの透明度を調整してもよい。図５（Ｄ）の例では透明度がゼロであり、画像ＩＶに重なる部分では外景が見えないが、画像ＩＶに重なる外景の明るさ、画像ＩＶの輝度等に基づき、画像生成部１７７が透明度を調整してもよい。

上記実施形態では、対象検出部１７１が、記憶部１２０が記憶する単一画像用特徴データ１２４ａ及び動画像用特徴データ１２４ｂを使用して対象物を認識する場合を説明した。単一画像用特徴データ１２４ａは、予め記憶部１２０が記憶するだけでなく、頭部装着型表示装置１００の使用中に、使用者の操作により生成、或いは変更できる構成としてもよい。例えば、頭部装着型表示装置１００が、カメラ６１の撮像画像を画像表示部２０で表示する表示中に、トラックパッド１４の操作により表示画像の一部を選択する操作が可能な構成が考えられる。この構成で、使用者が表示画像の一部を選択することで、対象検出部１７１が、選択された部分から人や物の画像を検出し、検出した画像から単一画像用特徴データ１２４ａや動画像用特徴データ１２４ｂを生成してもよい。或いは、頭部装着型表示装置１００が、音声コマンドによる操作が可能な構成としてもよい。この場合、制御部１４０は、マイク６３で使用者の音声を検出し、検出した音声を音声処理部１７０で解析し、音声コマンドを認識する。頭部装着型表示装置１００がカメラ６１の撮像画像を画像表示部２０で表示する表示中に、使用者が音声コマンドで表示画像の一部を選択するよう指示した場合に、対象検出部１７１が、選択された部分から人や物の画像を検出し、検出した画像から単一画像用特徴データ１２４ａや動画像用特徴データ１２４ｂを生成してもよい。具体的には、図５（Ａ）に示したようにサッカーのゲームを撮影して表示する場合に、使用者が、「背番号１１番を追跡」と音声コマンドで指示した場合に、対象検出部１７１が、カメラ６１の撮像画像から数字の「１１」を検出し、検出した数字を含む部分を抽出して特徴量を求め、単一画像用特徴データ１２４ａ、動画像用特徴データ１２４ｂを生成してもよい。

［第２実施形態］
図８は、第２実施形態に係る頭部装着型表示装置１００Ｂの機能的構成を示すブロック図である。頭部装着型表示装置１００Ｂは、第１実施形態で説明した頭部装着型表示装置１００において、画像表示部２０に代えて画像表示部２０Ｂを備えた構成である。本第２実施形態において、第１実施形態と同様に構成される各部については同符号を付して説明を省略する。また、図９は画像表示部２０Ｂの要部構成を示す図であり、（Ａ）は画像表示部２０Ｂを使用者の頭部側から見た要部斜視図、（Ｂ）は視線方向の説明図である。

画像表示部２０Ｂは、画像表示部２０（図２）の構成に加えて、距離センサー６４及び視線センサー６８を備える。その他の点については頭部装着型表示装置１００と頭部装着型表示装置１００Ｂとは共通であり、上記第１の実施形態における頭部装着型表示装置１００の動作を、頭部装着型表示装置１００Ｂが実行できる。
図９（Ｂ）に示す２６１Ａ，２６２Ａは、それぞれ、右導光板２６１及び左導光板２６２に形成されたハーフミラーであり、外景を透過可能に画像を表示する表示領域に相当する。ハーフミラー２６１Ａ、２６２Ａは、上記第１実施形態の画像表示部２０においても同様に存在する。

距離センサー６４は、図９（Ａ）に示すように、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。使用者が画像表示部２０Ｂを装着した状態で、距離センサー６４の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。
例えば、図９（Ｂ）に示すように、距離センサー６４は、使用者の右眼ＲＥの視線ＲＤと左眼ＬＥの視線ＬＤとの先にある対象物ＯＢまでの距離を検出する。この場合、距離センサー６４が検出を行う方向６４Ａは、画像表示部２０Ｂの正面である。

距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する。この場合、距離センサー６４は、距離検出部１７３の制御に従い、三角測距処理や時間差に基づく測距処理を実行する。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサー６４は、後述する位置検出部１６２の制御に従い、超音波の反射までの時間差に基づき測距処理を実行する。なお、距離センサー６４は光源や受光部、或いは音源と検出部とを備え、測距処理を距離検出部１７３が行ってもよい。
本実施形態の距離センサー６４の測定方向は、頭部装着型表示装置１００の表側方向であり、カメラ６１の撮像方向と重複する。

また、視線センサー６８は、図９（Ａ）に示すように、画像表示部２０Ｂの使用者側の面に配置される。視線センサー６８は、使用者の右眼ＲＥ（図９（Ｂ））、及び、左眼ＬＥ（図９（Ｂ））のそれぞれに対応するように、右光学像表示部２６と左光学像表示部２８との中央位置に一対、設けられる。視線センサー６８は、例えば、使用者の右眼ＲＥと左眼ＬＥとをそれぞれ撮像する一対のカメラで構成される。視線センサー６８は、制御部１４０（図４）の制御に従って撮像を行い、制御部１４０が、撮像画像データから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、視線方向を特定する。また、視線センサー６８は、使用者の左右の眼をそれぞれ撮像するので、使用者が眼を閉じた場合には、視線センサー６８によって眼が閉じたことを検出できる。

図８のブロック図に示すように、距離センサー６４及び視線センサー６８は、接続部４０により制御部１４０に接続される。距離検出部１７３は、距離センサー６４を制御して対象物までの距離を検出することが可能である。なお、距離検出部１７３は上記第１実施形態で説明したように、カメラ６１の撮像画像データに基づき対象物までの距離を検出する構成としてもよい。

第２実施形態に係る頭部装着型表示装置１００Ｂは、カメラ６１で使用者の手、足、眼などの動作を撮像して、これらの使用者の動作に基づく操作が可能である。使用者の手はカメラ６１で撮像可能であり、眼は視線センサー６８で撮像或いは動きの検出を行える。また、カメラ６１が広角カメラであったり、画像表示部２０Ｂの下方を向いて設けられる足用カメラ（図示略）を設けたりすることで、使用者の足を撮像できる。
画像表示制御部１７６は、カメラ６１の撮像画像データや足用カメラの撮像画像データ、或いは、視線センサー６８の検出結果に基づき、使用者の動きを検出する。さらに、画像表示制御部１７６は、検出した使用者の動きが、予め設定された動きに該当する場合に、この動きを操作として検出する。
この場合、画像表示制御部１７６は、動作検出部、画像表示制御部、及び音声検出部として機能する。

画像表示制御部１７６が操作として検出する使用者の動きは、記憶部１２０に記憶する検出特徴データ１２４に含まれる。検出特徴データ１２４には、カメラ６１の撮像画像から使用者の手や足の画像を抽出するための特徴量のデータ、及び、抽出した使用者の手や足の画像の動きの特徴量のデータ等が含まれる。

また、画像表示制御部１７６は、使用者が音声を発する動作を検出することが可能な構成としてもよい。この場合、マイク６３が集音した音声が音声処理部１７０によりデジタル音声データに変換され、このデジタル音声データを画像表示制御部１７６が処理する。すなわち、画像表示制御部１７６は、所定時間長さのデジタル音声データから音声の特徴量を生成し、この特徴量が、検出特徴データ１２４に含まれる音声認識用の特徴量に該当するか否かをもとに、音声による操作を検出する。ここで、画像表示制御部１７６は、デジタル音声データに対する音声認識を行って発話内容のテキストデータを生成し、このテキストデータに予め設定された文字列が含まれる場合に、操作を検出してもよい。この場合、検出特徴データ１２４には、音声認識用の辞書データと、操作として検出する文字列に関するデータを含んでもよい。

使用者の動作に対応する画像表示制御部１７６の動作について、図１０及び図１１を参照して説明する。図１０は頭部装着型表示装置１００Ｂの動作を示すフローチャートであり、図１１は画像表示部２０Ｂにおける表示例を示す。

図１０の動作は、図４のステップＳ２３で表示処理を開始した後、予め設定された条件が成立した場合や、使用者の制御装置１０に対する操作により、任意のタイミングで実行できる。
制御部１４０は、使用者の動きに基づき動作を行う動作モードである「ユーザー操作モード」に移行し、使用者の動きの検出を開始する（ステップＳ５１）。動きの検出は、上述したように、カメラ６１の撮像画像データ、視線センサー６８の検出結果のデータ、或いは、音声処理部１７０が生成するデジタル音声データに基づき行われる。

画像表示制御部１７６は、検出した使用者の動きが、予め「第１動作」として設定された動きに該当するか否かを判定する（ステップＳ５２）。第１動作は、例えば、使用者が片眼を閉じる（つぶる）動作、両足を揃える動作、音声で「ズーム開始」と発話する動作である。また、第１動作は、使用者が親指（母指）と人差し指（示指）または中指とで輪を作る動作であってもよい。また、使用者の両手を向かい合わせて、カメラ６１の撮像範囲に出す動作であってもよい。

第１動作に該当する動作が検出されない間（ステップＳ５２；ＮＯ）、画像表示制御部１７６は操作を待機する。第１動作に該当する動作を検出した場合（ステップＳ５２；ＹＥＳ）、画像表示制御部１７６は、ズーム調整を開始する（ステップＳ５３）。ズーム調整では、まず、画像表示制御部１７６の機能により画像表示部２０Ｂにインジケーターが表示される（ステップＳ５４）。インジケーターは、使用者に対して、ズーム操作が可能であることを示す文字や画像を含み、使用者が外景と重ねて視認可能なように、表示される。このインジケーターには、ズーム調整を指示するために使用者が行う操作を案内、或いは説明する文字や画像を含んでもよい。

画像表示制御部１７６は、ズーム調整の中心となるマーカー位置を特定し、特定した位置に、マーカーを表示する（ステップＳ５５）。マーカーはズーム調整の中心を使用者に示す画像や記号であり、画像表示部２０Ｂにより表示する。
マーカー位置を特定する方法は、例えば、使用者が第１動作で片眼を閉じた場合には、閉じていない側の眼の視線を検出し、その視線方向をマーカー位置とする方法がある。ここで、使用者が両眼を開いている場合には、視線方向が必ずしも一致しないためマーカー位置を一つに特定できない可能性があるが、予め、制御装置１０に対する設定操作により使用者の右眼または左眼が利き目として設定されていれば、設定された利き目の視線方向をマーカー位置にすればよい。この場合、利き目を自動的に判定してもよい。
また、第１動作で使用者が親指と人差し指又は中指で輪を作る動作を行った場合、輪の中心をマーカー位置とすることができる。また、第１動作で、使用者が両手を向かい合わせて、カメラ６１の撮像範囲に出す動作を行った場合、この両手の中央をマーカー位置としてもよい。

また、画像表示制御部１７６が、カメラ６１の撮像画像から使用者の視線方向の対象物を複数検出し、検出した各々の対象物の特徴を検出可能な場合に、使用者が対象物を指定する音声を発することでマーカー位置を特定してもよい。すなわち、カメラ６１の撮像画像に写っている対象物である人や物の特徴を、使用者が発話し、この1音声に基づいて画像表示制御部１７６が一つの対象物を選択し、この対象物をマーカー位置として特定してもよい。この場合、例えば、使用者が、「ボール」、「ゴール」、「１０番」など者、場所、人などを特定する語を発話することで、マーカー位置を指定できる。

図１１（Ａ）にはマーカーを認識した状態における表示例を示す。図１１（Ａ）では画像表示部２０ＢによりインジケーターＩＮＤが表示され、使用者が指で輪を作る動作に対応して、輪の中心がマーカー位置として特定され、マーカーＭが表示される。使用者の視野にはインジケーターＩＮＤとマーカーＭとが視認され、使用者の手Ｈが外景として見える。

画像表示制御部１７６は、特定したマーカー位置の対象物に追従して、画像を移動させ、マーカー位置を表示用画像の中央に保持する動作を開始する（ステップＳ５６）。
ここで、画像表示制御部１７６は、ズーム倍率を指定またはズーム倍率の変化を指定する第２動作を検出する（ステップＳ５７）。第２動作は、例えば、使用者が親指と人差し指又は中指で輪を作り、この輪を維持して手を回転させる動作とすることができる。この場合、回転方向が時計回りの場合は画像表示制御部１７６はズーム倍率を大きくし、反時計回りの場合は、ズーム倍率を小さくする。このズーム倍率の変化は、予め設定された単位量とすることができる。この場合、第２動作を繰り返し行うことで、使用者は、所望のズーム倍率に調整できる。

図１１（Ａ）の例では、使用者が右手をカメラ６１の撮像範囲に出して指で輪を作る。この状態で、右手で作る輪を時計回り（図中、ＣＷ）に回すように手を動かした場合、図１１（Ｂ）に示すように、マーカーＭを中心とする画像ＩＶにおいて、ズーム倍率が大きくなる。すなわち、マーカーＭを中心として、より大きく拡大された画像ＩＶが表示される。また、図１１（Ａ）の状態で、使用者が、右手の輪を反時計回り（図中、ＣＣＷ）に回転させるように、右手を動かした場合、図１１（Ｃ）に示すように、ズーム倍率が小さくなる。図１１（Ｃ）では、画像ＩＶが、マーカーＭを中心として縮小されて視認される。

また、輪を作る場合も作らない場合も、使用者が片手をカメラ６１の撮像範囲に出した場合、この手をカメラ６１に近づける動作をズーム倍率の増大に相当する第２動作とすることができる。また、手をカメラ６１から遠ざける動作をズーム倍率の低減に相当する第２動作とすることができる。
また、例えば、図１１（Ｄ）に示すように、使用者が第１動作として両手を向かい合わせる動作を行った場合に、両手の中心をマーカーＭとしてもよい。この場合、使用者が、図１１（Ｄ）に矢印で示すように、両手の間隔を広げたり狭めたりする動作を第２動作とすることができる。この場合、画像表示制御部１７６は、使用者が両手の間隔を広げるとズーム倍率を大きくし、両手の間隔を狭めるとズーム倍率を小さくする処理を行う。

図１１（Ａ）〜（Ｄ）に例示したように、対象検出部１７１は、カメラ６１の撮像画像から、使用者の四肢のいずれかに相当するオブジェクトを検出し、検出したオブジェクトの動きや位置に基づいてマーカーＭの位置を特定する。検出されるオブジェクトは、使用者の手、腕、足に限らず、指や掌など、四肢の一部であってもよい。
具体的には、カメラ６１の撮像範囲に親指と人差し指を現出させ、この親指と人差し指の間にマーカーＭが表示される構成とすることができる。また、親指と人差し指の間隔を狭める動作を、ズーム倍率の縮小の指示に割り当て、親指と人差し指の間隔を拡げる動作をズーム倍率の増大の指示に割り当ててもよい。他の指を上記操作に割り当ててもよく、３本以上の指およびこれらの指の動きを検出してもよい。例えば、３本以上の指を同時に検出し、それぞれの指の動きや、複数の指の相対的位置の変化等を、動きとして検出してもよい。指の動きに対応する処理は、マーカーＭの特定、及びズーム倍率の変化に限定されず、出力する音声の音量調整、表示される画像の調光調整としてもよい。

また、第２動作は使用者の足による動作であってもよい。使用者が右足を左足よりも前に出す動作を、ズーム倍率の増大に相当する第２動作とすることができ、右足を左足よりも前に出している時間に応じてズーム倍率を増大させてもよい。この場合、使用者が右足を左足よりも後ろにする動作を、ズーム倍率の低減に相当する第２動作とすることができ、右足を左足よりも後ろの位置にしている時間に応じてズーム倍率を低減させてもよい。また、右足を左足の前または後に出した量に応じてズーム倍率を変化させてもよく、この場合、インジケーターに、ズーム倍率の変化やズーム倍率と足を出した量との対応を示す目盛りを表示してもよい。
また、第２動作は使用者の音声の発話であってもよく、ズーム拡大、縮小、或いはズーム倍率を数値等で指定する語を発話することで、画像表示制御部１７６が、ズーム倍率を調整してもよい。

第２動作に該当する動作が検出されない間（ステップＳ５７；ＮＯ）、画像表示制御部１７６は操作を待機する。第２動作に該当する動作を検出した場合（ステップＳ５７；ＹＥＳ）、画像表示制御部１７６は、ズーム倍率を変更する（ステップＳ５８）。その後、画像表示制御部１７６は、第３動作を検出する。

第３動作は、録画の開始を指示する操作に相当する。第３動作は、例えば、使用者が片手をカメラ６１の撮像範囲に出して傾ける動作、使用者が左足を右足より前に出す動作、使用者が両眼を閉じる動作とすることができる。また、使用者が録音開始を指示する語を発話する動作であってもよい。第３動作を検出した場合（ステップＳ５９；ＹＥＳ）、画像表示制御部１７６は、録画を開始し、カメラ６１の撮像画像及び音声処理部１７０が生成するマイク６３の音声のデジタル音声データの記録を開始する（ステップＳ６０）。
その後、画像表示制御部１７６は第４動作を検出する（ステップＳ６１）。第４動作は、録画の終了を指示する操作に相当する。例えば、使用者が第３動作で片手をカメラ６１の撮像範囲に出して傾ける動作を行った場合、この手の傾きを戻す動作を第４動作とすることができる。また、第３動作で使用者が左足を右足より前に出す動作を行った場合、左足を後ろに下げる動作を第４動作とすることができる。また、使用者が両眼を閉じる動作を第４動作としてもよい。また、使用者が録音終了を指示する語を発話する動作であってもよい。第４動作を検出した場合（ステップＳ６１；ＹＥＳ）、画像表示制御部１７６は、録画を終了する（ステップＳ６２）。

その後、画像表示制御部１７６は、ズーム調整の操作を終了するか否かを判定する（ステップＳ６３）。ステップＳ５９において所定時間内に第３動作を検出しなかった場合も（ステップＳ５９；ＮＯ）、画像表示制御部１７６はステップＳ６３の判定を行う。
使用者の操作部１３５への操作、或いは、第１〜第４動作と同様に手、足、眼（まぶた）、音声等によりズーム操作の終了が指示された場合（ステップＳ６３；ＹＥＳ）、画像表示制御部１７６はユーザー操作モードを終了してインジケーターの表示を停止し、通常表示に移行して（ステップＳ６４）、本処理を終了する。また、ズーム操作を終了しないと判定した場合（ステップＳ６３；ＮＯ）、画像表示制御部１７６はステップＳ５７に戻る。

このように、頭部装着型表示装置１００Ｂでは、使用者の手、足、眼（まぶた）、音声の発話等の動作により、操作を行うことができる。従って、制御装置１０を直接操作することなく、各種の指示操作を行うことができ、例えば制御装置１０及び画像表示部２０を身体や衣服に装着して、両手をフリーにした状態で、いわゆるハンズフリーで操作を行える。また、眼、音声、或いは足による操作を行うことも可能であるため、両手を作業等に用いていて手による操作を行えない場合であっても、頭部装着型表示装置１００Ｂを操作できる。

また、ステップＳ５９及びＳ６１では、第３動作及び第４動作としてカメラ６１の撮像範囲に手や足が出された場合に、この手や足を録画画像に含まないように、画像表示制御部１７６が処理を行ってもよい。すなわち、画像表示制御部１７６は、第３及び第４動作として手や足の動作を検出した場合、録画する画像から、第３及び第４動作として検出した手や足の画像を除く処理を行ってもよい。例えば、カメラ６１の撮像画像のフレームに対しトリミングの処理を行うことで手や足の画像を除くことができる。

また、制御部１４０は、図１０の動作に先立って、視線センサー６８が検出する視線方向と、カメラ６１の撮像範囲とを対応付けるキャリブレーションを行ってもよい。このキャリブレーションの結果は、例えば検出特徴データ１２４に含めて記憶部１２０に記憶してもよい。
さらに、図１０の動作では、ステップＳ５３〜Ｓ５８でズーム倍率の調整を行い、その後に、ステップＳ５９〜Ｓ６２で録画を行う例を示したが、録画のみを行ってもよい。また、ステップＳ５２で第１動作を検出する際に、第３動作として予め設定された動作を検出した場合に、ステップＳ６０の動作を実行してもよい。
さらにまた、手や足の動作に加え、手や足以外の指示体による動作を、第１〜第４動作として検出することも可能である。この場合、指示体は、外見上、画像表示制御部１７６がカメラ６１の撮像画像から抽出可能な特徴を持つものであればよく、特定の形状、色、模様を有するものであってもよい。また、カメラ６１が赤外光や紫外光など可視領域外の光を受光し検出可能であれば、これらの光を発するデバイスを指示体として利用できる。これらの指示体を、カメラ６１の撮像範囲において所定の軌跡を描くように動かしたり、単にカメラ６１の撮像範囲に出す操作を、第１〜第４動作とすることができる。指示体が、腕時計のように使用者の身体や衣服に装着可能なウェアラブルデバイスであれば、より一層の操作性の向上を図ることができる。

さらに、上述のように第１〜第４動作或いはマーカー位置の特定のための動作として挙げた動作は、ズーム倍率の調整や録画の指示だけでなく、例えば録画した画像の再生時の操作にも適用できる。
図１２は、録画した動画像の再生を指示する場合の表示例を示す。図１２の例は、例えば制御装置１０の操作により再生が指示された場合に、表示される。図１２では、視野ＶＲに、録画された動画像の全体を示すタイムラインＴＬが表示される。タイムラインＴＬ上の特定の時刻のフレームについて、画像表示制御部１７６がサムネイル画像Ｐ１〜Ｐ３を生成し、表示する。サムネイル画像を生成し表示する時刻は、録画中に、第１〜第４の動作のように使用者の特定の動作により指示されてもよく、録画した画像の時間的な長さに対応して、画像表示制御部１７６が自動的に時刻を選択してもよい。また、画像表示制御部１７６が、画像の変化に基づき自動的に時刻を選択してもよい。図１２の表示が行われた条体で、例えば視線方向により、サムネイル画像Ｐ１〜Ｐ３の中から再生を開始する時刻を選択する操作を行うことができる。

このように,本発明を適用した第２実施形態によれば、画像表示制御部１７６は、カメラ６１の撮像画像に基づき使用者の動作を検出し、検出した使用者の動作に対応して表示用画像の表示態様を調整する。例えば、ズーム倍率の調整を行う。このため、使用者が、カメラ６１が撮像できるように動作を行うことで、表示用画像の表示態様を調整できる。また、画像表示制御部１７６は、マイク６３が集音した音声を検出し、音声の検出結果に対応して表示用画像の表示態様を調整してもよい。
画像表示制御部１７６は、カメラ６１の撮像画像に基づき使用者の動作を検出する。そして、画像表示制御部１７６は、使用者の動作に基づき特定される領域、例えばマーカーＭを中心とする領域を抽出して処理し、画像生成部１７７により表示用画像を生成できる。

また、画像表示制御部１７６は、使用者の視線方向に相当する方向を特定し、カメラ６１の撮像画像から使用者の視線方向の対象物を検出する。そして、画像生成部１７７により、この対象物の画像を含む領域を抽出して処理し、表示用画像を生成してもよい。また、使用者の視線方向に相当する方向を特定した場合に、この特定した方向に対応する位置にマーカーＭを表示してもよい。
さらに、使用者の視線方向に相当する方向を、使用者の利き眼の視線を検出することで、求めてもよい。また、カメラ６１の撮像画像により、使用者の手や足の動きを検出し、この動きに基づいてマーカーＭの位置を特定してもよい。

なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
上記第１実施形態においては、画像生成部１７７が、カメラ６１の撮像画像から予め設定された条件に該当する領域を切り出す一例として、対象検出部１７１がマッチング処理を行って対象物を検出した領域を切り出す例を説明した。本発明はこれに限定されず、例えば、撮像画像において予め設定された条件に該当する領域を画像生成部１７７が検出して切り出し、表示用画像を生成してもよい。例えば、画像生成部１７７に対し、撮像画像から切り出す領域の条件として、領域の位置およびサイズが設定されている場合、画像生成部１７７は、対象検出部１７１の検出結果によらず、撮像画像において設定された位置及びサイズの領域を切り出す。また、切り出す領域の条件は、撮像画像における色や輝度を定める条件であってもよく、対象検出部１７１による処理を必須とするものではない。
また、画像生成部１７７が撮像画像から表示用画像を生成する場合に行う処理は、撮像画像の一部を切り出して拡大する処理に限定されない。例えば、撮像画像の全部、そのまま、或いは解像度変換して表示用画像としてもよい。また、例えば、画像生成部１７７が撮像画像から複数の領域を切り出して複数の表示用画像を生成し、視野ＶＲに同時に複数の画像ＩＶを表示してもよい。また、表示用画像を表示する位置についても、画像生成部１７７または画像表示制御部１７６が適宜に変更あるいは調整してもよい。

また、上記第１、第２実施形態において、カメラ６１の撮像方向が、画像表示部２０、２０Ｂに対して可動な構成としてもよい。例えば、カメラ６１が、画像表示部２０、２０Ｂのフレームに対し、回動可能なアームやリンク、或いはフレキシブルアームを介して取り付けられ、画像表示部２０、２０Ｂを動かさずにカメラ６１の向きを変更可能としてもよい。この場合、画像表示部２０、２０Ｂに対するカメラ６１の光軸または撮像方向の角度を、検出可能な構成としてもよい。具体的には、カメラ６１を指示するリンクやアームの回動部に回転センサーを設けてもよいし、カメラ６１自体にジャイロセンサーや加速度センサーを設けてもよい。この場合、カメラ６１の光軸の向きに基づき、使用者の視線方向を求めてもよい。カメラ６１の光軸が動かせる場合、使用者は見たい方向にカメラ６１の光軸を向けるので、カメラ６１の光軸の向きを、使用者が注視する方向、或いは関連する方向を見なすことができる。このため、カメラ６１の光軸の向きに基づき、例えば図６のステップＳ３１で頭部装着型表示装置１００の位置を判定することができる。また、カメラ６１の光軸の向きに基づき、図１０のステップＳ５５でマーカーの位置を特定できる。

さらに、画像表示制御部１７６は、画像表示部２０が表示する画像の動きを制御してもよい。例えば、画像表示制御部１７６は、９軸センサー６６及び／又はＧＰＳ１１５の検出値から検出できる画像表示部２０の動きに基づき、画像表示部２０に表示する画像を制御してもよい。画像表示制御部１７６は、カメラ６１の撮像画像から生成される画像を表示する間に、画像表示部２０の動きの加速度または速度が閾値以上となった場合に、画像表示部２０に表示する画像の動きを抑制し、或いは、画像表示部２０の移動とは逆方向に表示する画像をシフトさせてもよい。この場合、画像表示制御部１７６は、画像生成部１７７が生成する表示用画像を変化させてもよいし、表示用画像の一部を表示してもよい。この構成によれば、頭部装着型表示装置１００を装着する使用者の頭の動きが速く、表示画像の変化が激しくなる場合に、画像表示部２０が表示する画像の動きを抑制して、使用者の不快感を軽減できる。この機能をスタビライズ機能と呼ぶ、スタビライズ機能のオン／オフは、操作部１３５に対する操作により切換可能な構成とすることが可能である。また、例えば図１０〜図１１を参照して説明したように、使用者の手、足、眼の動き或いは音声により、スタビライズ機能のオン／オフを切替可能な構成としてもよい。

上記のスタビライズ機能は、対象検出部１７１が検出する対象物の、撮像画像における移動の速度が速い場合にも適用できる。例えば、図５（Ａ）〜（Ｃ）に例示したようにボールを対象物として検出する場合に、撮像画像におけるボールの位置の変化から移動速度を求め、その加速度または速度が閾値以上の場合に、表示する画像の変化、或いは、画像表示部２０の表示可能位置におけるボールの移動を抑制してもよい。或いは、撮像画像におけるボールの位置の変化から求める移動速度、または加速度が閾値以上の場合に、画像生成部１７７が対象物の画像を抽出して表示用画像を生成する処理を一時停止してもよい。また、画像生成部１７７が、抽出した画像の拡大率を低下させたり、カメラ６１の撮像の画角を変化させたり、カメラ６１がズーム機構やデジタルズーム機能を有する場合にズーム倍率を低下させてもよい。このように、画像表示部２０が表示する対象物の画像の表示サイズを小さくすることで、対象物の移動速度が速い場合であっても対象物が見やすいという効果が期待できる。

また、例えば、上記実施形態では、画像生成部１７７が拡大率を決定し、この拡大率に従って画像生成部１７７が画像処理により撮像画像を切り出して拡大する例について説明した。本発明はこれに限定されず、例えば、カメラ６１がズーム機能を有する構成とし、画像生成部１７７が、カメラ６１のズーム倍率を制御する構成としてもよい。この場合、画像生成部１７７が指定したズーム倍率で撮像された撮像画像を画像生成部１７７が取得して、画像を切り出して表示用画像としてもよい。

また、画像表示部として、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよいし、自動車のフロントガラスに用いられるヘッドアップディスプレイ（Head-up Display；ＨＵＤ）であってもよい。さらにまた、使用者の両眼の眼球（例えば、角膜上）に装着して使用する、いわゆるコンタクトレンズ型ディスプレイや、眼球内に埋め込まれるインプラント型ディスプレイなど、使用者の眼球において網膜に結像させるディスプレイを、画像表示部２０としてもよい。

また、本願発明は使用者の身体に装着されるものであればよく、他の手法による支持を必要とするか否かは問わず適用可能である。例えば、使用者が両手に持って使用する双眼鏡型のハンドヘルドディスプレイ（Hand Held Display）を、本願の画像表示部２０として採用してもよい。この種のディスプレイは、使用者に装着された状態を保持するために使用者が手に持つ必要があるが、使用者がディスプレイの表示を見る場合に使用者の頭部もしくは顔に添えられることから、本発明の表示装置に含まれる。さらに、支持脚等により床面や壁面に固定される表示装置であっても、使用者がディスプレイの表示を見る場合に使用者の頭部もしくは顔に添えられるものであれば、本発明の表示装置に含まれる。
さらに、画像表示部２０、または、画像表示部２０において画像の表示に係る構成を含む表示部のみが使用者の身体に装着され、この表示部以外の制御装置１０、或いは制御装置１０と制御部１４０を含む制御系を、物理的に別体として構成してもよい。例えば、画像表示部２０または画像表示部２０の一部からなる表示部に、他の制御系を備えた装置を無線接続して、頭部装着型表示装置１００と同様に表示装置としてもよい。この制御系を備えた装置としては、スマートフォン、携帯型電話機、タブレット型コンピューター、他の形状のパーソナルコンピューター等、従来からある電子機器を用いることができる。この種の表示装置も本願を適用可能であることは勿論である。

さらに、上記実施形態では、画像表示部２０、２０Ｂと制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０と画像表示部２０、２０Ｂとが、より長いケーブルまたは無線通信回線により接続され、制御装置１０として、ノート型コンピューター、タブレット型コンピューターまたはデスクトップ型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。

また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよいし、ＬＣＯＳ（Liquid crystal on silicon,LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。

画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。

また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

また、本発明の表示装置は頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。本発明の表示装置は、外光とともに画像光により画像を視認させるものであればよく、例えば、外光を透過させる光学部材により画像光による画像を視認させる構成が挙げられる。具体的には、上記のヘッドマウントディスプレイにおいて外光を透過する光学部材を備えた構成の他、使用者から離れた位置に固定的にまたは可動に設置された透光性の平面や曲面（ガラスや透明なプラスチック等）に、画像光を投射する表示装置にも適用可能である。一例としては、車両の窓ガラスに画像光を投射し、乗車している使用者や車両の外にいる使用者に、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置された透明また半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいる使用者に、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。

また、図２、図８に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図２に示した通りに独立したハードウェア資源を配置する構成に限定されない。
上記第１及び第２実施形態で説明した制御部１４０の動作をプログラムとして実現することも可能である。すなわち、制御部１４０がＣＰＵ、ＲＯＭ、ＲＡＭを備えた構成とし、このＣＰＵがプログラムを実行することにより、例えば対象検出部１７１、距離検出部１７３、画像表示制御部１７６、及び画像生成部１７７の機能を実現してもよい。また、制御部１４０のＣＰＵが、プログラムを実行することにより、オペレーティングシステム１５０、画像処理部１６０、音声処理部１７０、及び表示制御部１９０の機能を実行してもよい。これらのプログラムは、その一部または全部をハードウェアとして実現してもよい。例えば、制御部１４０が備える上記の各処理部は、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよく、ＦＰＧＡ（Field-Programmable Gate Array）等のＰＬＤ（Programmable Logic Device）をプログラミングして構成してもよい。また、複数の半導体デバイスを含む回路として実現してもよい。また、ハードウェアがプログラムを実行して上記機能を実現する場合、このプログラムは、制御部１４０のＲＯＭ、或いは、記憶部１２０または制御装置１０内の別の記憶装置に記憶されてもよい。或いは、外部の装置に記憶されたプログラムを通信部１１７またはインターフェイス１８０を介して制御部１４０が取得し、実行する構成としてもよい。

また、制御装置１０に形成された構成の内、操作部１３５のみが単独の使用者インターフェース（ＵＩ）として形成されてもよいし、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示す制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成された制御部１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

１０…制御装置、２０、２０Ｂ…画像表示部（表示部）、２１…右保持部、２２…右表示駆動部、２３…左保持部、２４…左表示駆動部、２６…右光学像表示部、２８…左光学像表示部、６１…カメラ（撮像部）、６３…マイク、６４…距離センサー、６８…視線センサー、１００、１００Ｂ…頭部装着型表示装置（表示装置）、１１７…通信部、１２０…記憶部、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１７０…音声処理部、１７１…対象検出部、１７３…距離検出部、１７６…画像表示制御部、１７７…画像生成部、１８０…インターフェイス、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、ＤＡ…データ取得部。

Claims (21)

1. 使用者の身体に装着して使用される表示装置であって、
   外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、
   前記使用者の視線方向を撮像する撮像部と、
   前記撮像部の撮像画像から前記使用者の視線方向にある対象物を検出する対象検出部と、
   前記撮像画像から、前記対象検出部が検出した前記対象物の画像を含む領域を抽出することにより、表示用画像を生成する画像生成部と、
   前記画像生成部が生成した表示用画像を前記表示部に表示させる画像表示制御部と、
   を備え、
   前記対象検出部は、前記撮像部が撮像した連続する複数の前記撮像画像からなる動画像を取得し、これら複数の前記撮像画像の画像間の差分が予め設定された条件に適合する領域を検出し、検出した領域に写っている被写体を対象物とし、
   前記画像表示制御部は、前記対象検出部により検出された前記対象物のうち選択された一つの前記対象物をマーカーとして特定し、前記マーカーの位置を前記表示部に表示させ、前記マーカーの位置を中央に保持して前記表示用画像を表示させること、
   を特徴とする表示装置。
2. 前記対象検出部は、前記撮像部が撮像した１の前記撮像画像から予め設定された条件に適合する領域を検出し、検出した領域に写っている被写体を対象物とする第１の処理、及び、前記動画像に含まれる複数の前記撮像画像の画像間の差分が予め設定された条件に適合する領域を検出し、検出した領域に写っている被写体を対象物とする第２の処理を実行可能であること、
   を特徴とする請求項１記載の表示装置。
3. 前記撮像画像の検出に用いるデータとして、単一画像用特徴データ、及び、動画像用特徴データを記憶する記憶部を備え、
   前記対象検出部は、前記第１の処理では前記撮像画像において前記単一画像用特徴データに適合する領域を検出し、前記第２の処理では複数の前記撮像画像の画像間の差分において前記動画像用特徴データに適合する領域を検出すること、
   を特徴とする請求項２記載の表示装置。
4. 前記表示装置の使用状態を検出する検出部を備え、
   前記画像表示制御部は、前記表示用画像の前記表示部における表示態様を、前記検出部が検出する前記表示装置の使用状態に対応して調整すること、
   を特徴とする請求項１から３のいずれかに記載の表示装置。
5. 前記検出部は、前記表示装置の位置に関する検出を行い、前記画像表示制御部は、前記検出部が検出する前記表示装置の位置に対応して前記表示用画像の表示態様を調整すること、
   を特徴とする請求項４記載の表示装置。
6. 前記画像表示制御部は、前記検出部が検出する前記表示装置の位置に対応して、前記表示用画像が前記使用者の視線方向の中心を避けるように、前記表示用画像の表示位置または表示サイズの少なくともいずれかを調整すること、
   を特徴とする請求項５記載の表示装置。
7. 前記撮像部の撮像画像に基づき前記使用者の動作を検出する動作検出部を備え、
   前記画像表示制御部は、前記動作検出部が検出する前記使用者の動作に対応して前記表示用画像の表示態様を調整すること、
   を特徴とする請求項４から６のいずれかに記載の表示装置。
8. 音声を検出する音声検出部を備え、
   前記画像表示制御部は、前記音声検出部の音声の検出結果に対応して前記表示用画像の表示態様を調整すること、
   を特徴とする請求項１から３のいずれかに記載の表示装置。
9. 前記画像生成部は、前記撮像部の撮像画像の一部を抽出して処理することにより、前記表示用画像を生成すること、
   を特徴とする請求項１から８のいずれかに記載の表示装置。
10. 前記撮像部の撮像画像に基づき前記使用者の動作を検出する動作検出部を備え、
    前記画像生成部は、前記撮像部の撮像画像から、前記動作検出部が検出する前記使用者の動作に基づき特定される領域を抽出して処理し、前記表示用画像を生成すること、
    を特徴とする請求項９記載の表示装置。
11. 前記画像生成部は、前記撮像部の撮像画像の一部を切り出して拡大することにより、前記表示用画像を生成すること、
    を特徴とする請求項９または１０記載の表示装置。
12. 前記画像生成部は、前記撮像部の撮像画像において予め設定された条件に該当する領域を切り出すことにより、前記表示用画像を生成すること、
    を特徴とする請求項９から１１のいずれかに記載の表示装置。
13. 前記対象検出部は、前記使用者の視線方向を検出し、検出した前記使用者の視線方向にある前記対象物を検出すること、
    を特徴とする請求項１から３のいずれかに記載の表示装置。
14. 前記対象検出部は、前記使用者の両眼のうち利き目に相当する眼の視線方向を検出すること、
    を特徴とする請求項１３記載の表示装置。
15. 前記対象検出部は、前記動作検出部により前記使用者の所定の動作を検出した場合に、この所定の動作に基づいて前記使用者の視線方向に相当する方向を特定すること、
    を特徴とする請求項７または１０記載の表示装置。
16. 前記対象検出部は、前記動作検出部が前記使用者の四肢の少なくともいずれかによる動作を検出した場合に、検出された動作に基づいて前記使用者の視線方向に相当する方向を特定すること、
    を特徴とする請求項１５記載の表示装置。
17. 前記記憶部が記憶する前記単一画像用特徴データ、及び、前記動画像用特徴データは、特定の前記対象物の画像の特徴量、及び、類似する複数種類の対象物に対応する汎用的な特徴量のいずれかを含むこと、
    を特徴とする請求項３記載の表示装置。
18. 前記対象検出部により検出された前記対象物と前記使用者との距離を検出する距離検出部を備え、
    前記画像生成部は、前記撮像画像から、前記対象検出部により検出された前記対象物の画像を含む領域を切り出し、切り出した領域を前記距離検出部が検出した距離に応じた拡大率で拡大し、前記表示用画像を生成すること、
    を特徴とする請求項１から１７のいずれかに記載の表示装置。
19. 前記画像表示制御部は、前記使用者の動作に基づいて、前記撮像部の撮像画像を動画像として録画する処理、及び、録画した前記動画像を前記表示部に再生表示する処理を実行し、前記動画像を再生表示する際に前記動画像の全体を示すタイムラインを表示すること、
    を特徴とする請求項１から１８のいずれかに記載の表示装置。
20. 外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備え、使用者の身体に装着して使用される表示装置の制御方法であって、
    前記使用者の視線方向を撮像し、
    撮像画像から前記使用者の視線方向にある対象物を検出し、
    前記撮像画像から、検出した前記対象物の画像を含む領域を切り出して拡大することにより、表示用画像を生成し、
    生成した表示用画像を前記表示部に表示させ、
    前記対象物を検出する処理において、連続する複数の前記撮像画像からなる動画像を取得し、これら複数の前記撮像画像の画像間の差分が予め設定された条件に適合する領域を検出し、検出した領域に写っている被写体を対象物とし、
    検出した前記対象物のうち選択された一つの前記対象物をマーカーとして特定し、前記マーカーの位置を前記表示部に表示させ、前記マーカーの位置を中央に保持して前記表示用画像を表示させること、
    を特徴とする表示装置の制御方法。
21. 外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備え、使用者の身体に装着して使用される表示装置を制御するコンピューターが実行可能なプログラムであって、
    前記コンピューターを、
    前記使用者の視線方向を撮像した撮像画像から前記使用者の視線方向にある対象物を検出する処理を行い、前記処理において、連続する複数の前記撮像画像からなる動画像を取得し、これら複数の前記撮像画像の画像間の差分が予め設定された条件に適合する領域を検出し、検出した領域に写っている被写体を対象物とする対象検出部と、
    前記撮像画像から前記対象検出部が検出した前記対象物の画像を含む領域を切り出して拡大することにより、表示用画像を生成する画像生成部と、
    前記画像生成部が生成した画像を前記表示部に表示させる処理を行い、前記対象検出部により検出された前記対象物のうち選択された一つの前記対象物をマーカーとして特定し、前記マーカーの位置を前記表示部に表示させ、前記マーカーの位置を中央に保持して前記表示用画像を表示させる画像表示制御部と、
    して機能させるためのプログラム。

Images