JP2018151851A - 透過型表示装置、表示制御方法、およびコンピュータープログラム - Google Patents

Abstract

【課題】透過型の表示装置において、使用者が表示装置を制御する際の操作性を向上し、使用者の利便性を向上する。【解決手段】透過型表示装置であって、光透過性を有する画像表示部と、操作対象装置の機能情報を取得する機能情報取得部と、取得した機能情報を用いて、操作対象装置の操作用ＧＵＩを表示させる表示制御部と、透過型表示装置の使用者の予め定められたジェスチャーを検出する操作検出部と、を備え、表示制御部は、検出されたジェスチャーの位置に応じて定められる表示位置に、画像表示部を透過して視認される外界に重ねて操作用ＧＵＩを表示させる、透過型表示装置。【選択図】図８

Description

本発明は、透過型の表示装置に関する。

頭部に装着されてユーザーの視野領域内に画像等を表示する頭部装着型表示装置（ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ））として、装着時に画像とともに外界の風景を透過視認できる透過型の頭部装着型表示装置が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイと光源とを利用して生成された画像光を、投写光学系および導光板等を利用してユーザーの眼に導くことにより、ユーザーに虚像を認識させる。従来、ユーザーが頭部装着型表示装置を制御するための手段として、ユーザーが外界の風景を透過視認できる領域に手を差し出した場合、差し出した手の指先により液晶ディスプレイ上に表示されるボタン等のアイコンを選択して操作を実行できる技術が開示されている（特許文献１）。

特表２０１５−５１９６７３号公報

しかし、特許文献１に記載の技術では、ボタンの上に精度良く指先を当てる必要があるという問題が生じ得る。また、多くのボタンの中から所望のボタンを選び出す必要があることから、操作性が低いという問題が生じ得る。この他にも、多くのボタンが表示されると、ユーザーの視界が遮られ利便性が悪いという問題が生じ得る。このような課題は、透過型の頭部装着型表示装置に限らず、外界の風景に重畳して画像等を表示する透過型の表示装置においても共通する。そこで、透過型の表示装置において、使用者が表示装置を制御する際の操作性を向上し、使用者の利便性を向上する技術が望まれている。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一実施形態によれば、透過型表示装置が提供される。この透過型表示装置は、光透過性を有する画像表示部と；操作対象装置の機能情報を取得する機能情報取得部と；取得した前記機能情報を用いて、前記操作対象装置の操作用ＧＵＩを表示させる表示制御部と；前記透過型表示装置の使用者の予め定められたジェスチャーを検出する操作検出部と；を備え、前記表示制御部は、検出された前記ジェスチャーの位置に応じて定められる表示位置に、前記画像表示部を透過して視認される外界に重ねて前記操作用ＧＵＩを表示させる。
この形態の透過型表示装置によれば、操作対象装置の機能情報を用いて操作用ＧＵＩを表示させる表示制御部と、透過型表示装置の使用者の予め定められたジェスチャーを検出する操作検出部と、を備え、表示制御部は、検出されたジェスチャーの位置に応じて定められる表示位置に操作用ＧＵＩを表示させるので、操作用ＧＵＩに操作対象装置の機能情報を集約させて、使用者がジェスチャーを行った位置に応じた位置に操作用ＧＵＩを表示させることができ、表示装置を制御する際の操作性が向上し、使用者の利便性を向上できる。

（２）上記形態の透過型表示装置において、前記操作用ＧＵＩの表示位置は、検出された前記ジェスチャーの位置を基準とした相対的な位置として定められてもよい。この形態の透過型表示装置によれば、操作用ＧＵＩの表示位置は、検出されたジェスチャーの位置を基準とした相対的な位置として定められるので、検出されたジェスチャーの位置に応じた位置に操作用ＧＵＩを表示させることができ、使用者は、操作用ＧＵＩの表示位置を予測できる。或いは、画像表示部における操作用ＧＵＩの表示位置をジェスチャーの位置を制御することにより調整できる。

（３）上記形態の透過型表示装置において、前記表示制御部は、前記画像表示部における中央部を除く領域に前記操作用ＧＵＩを表示させてもよい。この形態の透過型表示装置によれば、画像表示部における中央部を除く領域に操作用ＧＵＩを表示させるので、操作用ＧＵＩの表示により使用者の視界を遮ることを抑制できる。

（４）上記形態の透過型表示装置において、前記表示制御部は、取得した前記機能情報の示す機能に対して予め対応づけられている画像、名称、色のうちの少なくとも一つを前記操作用ＧＵＩに表示させてもよい。この形態の透過型表示装置によれば、取得した機能情報の示す機能に対して予め対応づけられている画像、名称、色のうちの少なくとも一つを操作用ＧＵＩに表示させるので、使用者は機能情報を容易に識別でき、使用者の利便性を向上できる。

（５）上記形態の透過型表示装置において、前記操作用ＧＵＩの操作内容と、前記使用者のジェスチャーと、が予め対応付けられており；前記表示制御部は、検出された前記使用者のジェスチャーに応じて、前記操作用ＧＵＩの操作を実行してもよい。この形態の透過型表示装置によれば、検出された使用者のジェスチャーに応じて、操作用ＧＵＩの操作を実行させるので、使用者は、操作用ＧＵＩの操作内容に対応付けられたジェスチャーを行うことにより操作用ＧＵＩの操作内容を実行でき、使用者の利便性を向上できる。

（６）上記形態の透過型表示装置において、前記機能情報取得部は、前記操作対象装置と前記透過型表示装置との接続完了を契機として、前記機能情報を取得してもよい。この形態の透過型表示装置によれば、操作対象装置と透過型表示装置との接続完了を契機として、機能情報を取得するので、より確実に機能情報を取得できる。

（７）上記形態の透過型表示装置において、前記表示制御部は、検出された前記ジェスチャーが予め定められたジェスチャーである場合に前記操作用ＧＵＩを表示させてもよい。この形態の透過型表示装置によれば、検出されたジェスチャーが予め定められたジェスチャーである場合に操作用ＧＵＩを表示させるので、使用者の所望するタイミングで操作用ＧＵＩを表示させることができ、使用者の利便性を向上できる。

（８）上記形態の透過型表示装置において、前記表示制御部は、前記画像表示部の表示領域内に前記使用者のジェスチャーが検出された場合に前記操作用ＧＵＩを表示させてもよい。この形態の透過型表示装置によれば、画像表示部の表示領域内に使用者のジェスチャーが検出された場合に操作用ＧＵＩを表示させるので、使用者の意図しないジェスチャーを検出することにより操作用ＧＵＩが表示されることを抑制できる。

（９）上記形態の透過型表示装置において、前記表示制御部は、前記画像表示部の表示領域内における前記操作用ＧＵＩが表示されていない領域に前記機能情報に関連する情報を表示させてもよい。この形態の透過型表示装置によれば、画像表示部の表示領域内における操作用ＧＵＩが表示されていない領域に機能情報に関連する情報を表示させるので、使用者は、操作用ＧＵＩと機能情報に関連する情報とを同時に表示領域内で視認することができ、使用者の利便性を向上できる。

本発明は、種々の形態で実現することも可能である。例えば、透過型表示装置における表示制御方法、かかる表示制御方法を実現するためのコンピュータープログラム、かかるコンピュータープログラムを記録した記録媒体等の形態で実現できる。

本発明の実施形態としての頭部装着型表示装置の概略構成を示す説明図である。 画像表示部が備える光学系の構成を示す要部平面図である。 使用者から見た画像表示部の要部構成を示す図である。 カメラの画角を説明するための図である。 ＨＭＤの構成を機能的に示すブロック図である。 制御装置の構成を機能的に示すブロック図である。 ＨＭＤの使用者が運転する車両の室内の様子を模式的に示す説明図である。 ＨＭＤの使用者が操作用ＧＵＩを利用してナビゲーション装置を操作する様子を模式的に示す説明図である。 操作用ＧＵＩ表示処理の処理手順を示すフローチャートである。 操作用ＧＵＩ表示処理の処理手順を示すフローチャートである。 ナビゲーション装置から取得される機能情報の一例を示す説明図である。 操作用ＧＵＩの概略構成を模式的に示す説明図である。 操作用ＧＵＩに「全体機能」の操作項目を割り当てた様子を模式的に示す説明図である。 ＨＭＤの使用者の左手の形状が「グー」の状態の撮像画像である。 ＨＭＤの使用者の左手の形状が「パー」の状態の撮像画像である。 画像表示部に表示された操作用ＧＵＩを模式的に示す説明図である。 操作用ＧＵＩに割り当てられた操作項目の機能実行を指示するジェスチャーを模式的に示す説明図である。 ステップＳ１７０実行後の操作用ＧＵＩを模式的に示す説明図である。 ステップＳ１７０実行後の使用者の視界を模式的に示す説明図である。 操作用ＧＵＩの面の切り替えを指示するジェスチャーを模式的に示す説明図である。 ステップＳ１８０実行後の操作用ＧＵＩを模式的に示す説明図である。 操作用ＧＵＩの表示位置の変更を指示するジェスチャーを模式的に示す説明図である。 ステップＳ１９０実行後の使用者の視界を模式的に示す説明図である。 変形例２における操作用ＧＵＩを模式的に示す説明図である。 変形例２における操作用ＧＵＩの切り替えジェスチャーを模式的に示す説明図である。 切り替え後の操作用ＧＵＩを模式的に示す説明図である。 変形例４における操作用ＧＵＩを模式的に示す説明図である。

Ａ．実施形態：
Ａ１．透過型表示装置の全体構成：
図１は、本発明の実施形態としての頭部装着型表示装置１００の概略構成を示す説明図である。頭部装着型表示装置１００は、使用者の頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型（透過型）の頭部装着型表示装置である。

本実施形態において、ＨＭＤ１００の使用者は、ＨＭＤ１００を頭部に装着して車両の運転を行い得る。図１には、使用者の運転する車両に搭載されているナビゲーション装置Ｎａｖも図示している。ＨＭＤ１００とナビゲーション装置Ｎａｖとは、後述の無線通信部１１７を介して無線接続されている。本実施形態において、ＨＭＤ１００の使用者は、ＨＭＤ１００に表示される後述の操作用ＧＵＩ５００を操作することにより、ナビゲーション装置Ｎａｖを操作し、ナビゲーション装置Ｎａｖが有する機能を実行できる。なお、本実施形態において、ナビゲーション装置Ｎａｖは、課題を解決するための手段における操作対象装置に相当する。

ＨＭＤ１００は、使用者に画像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置（コントローラー）１０とを備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する支持体に、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。

右保持部２１および左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部２３は、前部フレーム２７の端部ＥＬから、画像表示部２０の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。

右導光板２６および左導光板２８は、前部フレーム２７に設けられている。右導光板２６は、画像表示部２０の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有する。この連結位置は、画像表示部２０の装着状態における使用者の眉間の位置に対応する。前部フレーム２７には、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部２１と左保持部２３とによって、画像表示部２０を使用者の頭部に保持できる。また、右保持部２１および左保持部２３に対して、画像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部２０を使用者の頭部に強固に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示を行う。右表示ユニット２２は、右保持部２１に設けられ、画像表示部２０の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を行う。左表示ユニット２４は、左保持部２３に設けられ、画像表示部２０の装着状態における使用者の左側頭部の近傍に位置する。

本実施形態の右導光板２６および左導光板２８は、光透過性の樹脂等によって形成される光学部（例えばプリズム）であり、右表示ユニット２２および左表示ユニット２４が出力する画像光を使用者の眼に導く。なお、右導光板２６および左導光板２８の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム２７の表面（使用者の眼と対向する面とは反対側の面）を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６および左導光板２８に入射し、右導光板２６および左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、右表示ユニット２２および左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６および左導光板２８に導き、この画像光によって、自身を透過して視認される外界の風景ともに、画像（拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）画像）を使用者に視認させる（これを「画像を表示する」とも呼ぶ）。使用者の前方から右導光板２６および左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、画像を構成する画像光と、外光とが入射する。このため、使用者における画像の視認性は、外光の強さに影響を受ける。

このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、画像の視認のしやすさを調整することができる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。また、太陽光を抑制して、画像の視認性を高めることができる。また、調光板を用いると、右導光板２６および左導光板２８を保護し、右導光板２６および左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、あるいは、右導光板２６および左導光板２８のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。

カメラ６１は、画像表示部２０の前部フレーム２７に配置されている。カメラ６１は、前部フレーム２７の前面において、右導光板２６および左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１は、前部フレーム２７の端部ＥＲ側に配置されている。カメラ６１は、前部フレーム２７の端部ＥＬ側に配置されていてもよく、右導光板２６と左導光板２８との連結部に配置されていてもよい。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、画像表示部２０の装着状態において使用者が視認する視界方向の、少なくとも一部の外界（実空間）を撮像する。換言すれば、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。カメラ６１の画角の広さは適宜設定できる。本実施形態では、カメラ６１の画角の広さは、使用者が右導光板２６および左導光板２８を透過して視認可能な使用者の視界の全体を撮像するように設定される。カメラ６１は、制御機能部１５０（図６）の制御に従って撮像を実行し、得られた撮像データを制御機能部１５０へ出力する。

ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する測距センサーを備えていてもよい。測距センサーは、例えば、前部フレーム２７の右導光板２６と左導光板２８との連結部分に配置することができる。測距センサーの測定方向は、ＨＭＤ１００の表側方向（カメラ６１の撮像方向と重複する方向）とすることができる。測距センサーは、例えば、ＬＥＤやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測距センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測距センサーは、カメラ６１と同様に、制御機能部１５０の指示に従って測距し、検出結果を制御機能部１５０へ出力する。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。説明の便宜上、図２には使用者の右眼ＲＥおよび左眼ＬＥを図示する。図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成されている。

右眼ＲＥに画像（ＡＲ画像）を視認させる構成として、右表示ユニット２２は、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ユニット２２１と、右光学系２５１とを備える。ＯＬＥＤユニット２２１は、画像光を発する。右光学系２５１は、レンズ群等を備え、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６へと導く。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置されている。

ＯＬＥＤ駆動回路２２５は、後述の制御機能部１５０（図６）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択および通電を実行し、発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー２１７（図５）が実装される。なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加えて、Ｗ（白）の光を放射する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３が採用されてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射後、右導光板２６から右眼ＲＥへと射出され、この画像光Ｌが右眼ＲＥの網膜で像を結ぶことで、使用者に画像を視認させる。

左眼ＬＥに画像（ＡＲ画像）を視認させる構成として、左表示ユニット２４は、ＯＬＥＤユニット２４１と、左光学系２５２とを備える。ＯＬＥＤユニット２４１は画像光を発する。左光学系２５２は、レンズ群等を備え、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８へと導く。ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５を有する。各部の詳細は、ＯＬＥＤユニット２２１、ＯＬＥＤパネル２２３、ＯＬＥＤ駆動回路２２５と同じである。ＯＬＥＤパネル２４３の裏面に固定される基板には、温度センサー２３９（図５）が実装される。また、左光学系２５２の詳細は上述の右光学系２５１と同じである。

以上説明した構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。使用者の左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、左導光板２８を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板２６および左導光板２８を透かして外界の風景（実世界）が見えると共に、この外界に重なるようにして画像光Ｌによる虚像（虚像画像、ＡＲ画像）が視認される。

なお、右光学系２５１および右導光板２６を総称して「右導光部」とも呼び、左光学系２５２および左導光板２８を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に画像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。

図１において、制御装置１０と画像表示部２０とは、接続ケーブル４０によって接続される。接続ケーブル４０は、制御装置１０の下部に設けられるコネクターに着脱可能に接続され、左保持部２３の先端から、画像表示部２０内部の各種回路に接続する。接続ケーブル４０には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル４０にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル４０の途中には、コネクター４６が設けられている。

コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図１に示す本実施形態の例では、コネクター４６には、ステレオヘッドホンを構成する右イヤホン３２および左イヤホン３４と、マイク６３を有するヘッドセット３０とが接続されている。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置されている。マイク６３は、音声を集音し、音声信号を音声インターフェイス１８２（図５）に出力する。マイク６３は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。

制御装置１０は、ＨＭＤ１００を制御するための装置である。制御装置１０は、点灯部１２と、トラックパッド１４と、方向キー１６と、決定キー１７と、電源スイッチ１８とを含んでいる。点灯部１２は、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を用いることができる。

トラックパッド１４は、トラックパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用することができる。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。決定キー１７は、押下操作を検出して、制御装置１０において操作された内容を決定するための信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源の状態を切り替える。

図３は、使用者から見た画像表示部２０の要部構成を示す図である。図３では、接続ケーブル４０、右イヤホン３２、左イヤホン３４の図示を省略している。図３の状態では、右導光板２６および左導光板２８の裏側が視認できると共に、右眼ＲＥに画像光を照射するためのハーフミラー２６１、および、左眼ＬＥに画像光を照射するためのハーフミラー２８１が略四角形の領域として視認できる。使用者は、これらハーフミラー２６１、２８１を含む右導光板２６、左導光板２８の全体を透過して外界の風景を視認すると共に、ハーフミラー２６１、２８１の位置に矩形の表示画像を視認する。

図４は、カメラ６１の画角を説明するための図である。図４では、カメラ６１と、使用者の右眼ＲＥおよび左眼ＬＥとを平面視で模式的に示すと共に、カメラ６１の画角（撮像範囲）をθで示す。なお、カメラ６１の画角θは図示のように水平方向に拡がっているほか、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。

上述のようにカメラ６１は、画像表示部２０において右側の端部に配置され、使用者の視線の方向（すなわち使用者の前方）を撮像する。このためカメラ６１の光軸は、右眼ＲＥおよび左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外界の風景は、無限遠とは限らない。例えば、使用者が両眼で対象物ＯＢを注視すると、使用者の視線は、図中の符号ＲＤ、ＬＤに示すように、対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍであることがより多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物ＯＢまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められＨＭＤ１００にプリセットされていてもよいし、使用者が設定してもよい。カメラ６１の光軸および画角は、このような通常使用時における対象物ＯＢまでの距離が、設定された上限および下限の目安に相当する場合において対象物ＯＢが画角に含まれるように設定されることが好ましい。

なお、一般的に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされる。そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５〜７０度程度とされている。この場合、注視点が対象物ＯＢ（図４）であるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５〜７０度程度が安定注視野である。使用者が画像表示部２０を透過して右導光板２６および左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。

本実施形態のカメラ６１の画角θは、使用者の視野より広い範囲を撮像可能に設定される。カメラ６１の画角θは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定されることが好ましく、実視野よりも広い範囲を撮像可能に設定されることがより好ましい。カメラ６１の画角θは、使用者の安定注視野より広い範囲を撮像可能に設定されることがさらに好ましく、使用者の両眼の視野角よりも広い範囲を撮像可能に設定されることが最も好ましい。このため、カメラ６１には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ６１には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。

図５は、ＨＭＤ１００の構成を機能的に示すブロック図である。制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０と、記憶部と、入出力部と、センサー類と、インターフェイスと、電源部１３０とを備える。メインプロセッサー１４０には、これらの記憶部、入出力部、センサー類、インターフェイス、電源部１３０がそれぞれ接続されている。メインプロセッサー１４０は、制御装置１０が内蔵しているコントローラー基板１２０に実装されている。

記憶部には、メモリー１１８と、不揮発性記憶部１２１とが含まれている。メモリー１１８は、メインプロセッサー１４０によって実行されるコンピュータープログラム、および、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するコンピュータープログラムや、メインプロセッサー１４０によって処理される各種のデータを記憶する。本実施形態において、これらの記憶部はコントローラー基板１２０に実装されている。

入出力部には、トラックパッド１４と、操作部１１０とが含まれている。操作部１１０には、制御装置１０に備えられた方向キー１６と、決定キー１７と、電源スイッチ１８とが含まれる。メインプロセッサー１４０は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。

センサー類には、６軸センサー１１１と、磁気センサー１１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）レシーバー１１５とが含まれている。６軸センサー１１１は、３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、これらセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。ＧＰＳレシーバー１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。これらセンサー類（６軸センサー１１１、磁気センサー１１３、ＧＰＳレシーバー１１５）は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー１４０へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー１４０からの指示に応じてもよい。

インターフェイスには、無線通信部１１７と、音声コーデック１８０と、外部コネクター１８４と、外部メモリーインターフェイス１８６と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクター１８８と、センサーハブ１９２と、ＦＰＧＡ１９４と、インターフェイス１９６とが含まれている。これらは、外部とのインターフェイスとして機能する。

無線通信部１１７は、ＨＭＤ１００と外部機器との間における無線通信を実行する。無線通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）を含む無線ＬＡＮ等の規格に準拠した無線通信を行う。本実施形態において、無線通信部１１７は、ナビゲーション装置ＮａｖとＨＭＤ１００との間でＷｉ−Ｆｉ（登録商標）による無線通信を行う。

音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード／デコードを行う。音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。音声コーデック１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、および、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。本実施形態のＨＭＤ１００は、音声を右イヤホン３２および左イヤホン３４から出力し、マイク６３により集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換し、音声インターフェイス１８２を介して出力する。また、音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。

外部コネクター１８４は、メインプロセッサー１４０に対して、メインプロセッサー１４０と通信する外部装置（例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等）を接続するためのコネクターである。外部コネクター１８４に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー１４０が実行するコンピュータープログラムのデバッグや、ＨＭＤ１００の動作ログの収集に使用できる。外部コネクター１８４は種々の態様を採用できる。外部コネクター１８４としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスや、無線ＬＡＮインターフェイス、Ｂｌｕｅｔｏｏｔｈインターフェイス等の無線接続に対応したインターフェイスを採用できる。

外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスである。外部メモリーインターフェイス１８６は、例えば、カード型記録媒体を装着してデータの読み書きを行うメモリーカードスロットと、インターフェイス回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェイスである。ＵＳＢコネクター１８８は、例えば、ＵＳＢ規格に準拠したコネクターと、インターフェイス回路とを含む。ＵＳＢコネクター１８８のサイズ、形状、ＵＳＢ規格のバージョン等は適宜選択できる。

また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー１４０の制御に従って振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合や、ＨＭＤ１００の電源がオンオフされた場合等に所定の振動パターンでバイブレーター１９により振動を発生させる。バイブレーター１９は、制御装置１０に設ける構成に換えて、画像表示部２０側、例えば、画像表示部の右保持部２１（テンプルの右側部分）に設ける構成としてもよい。

センサーハブ１９２およびＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して画像表示部２０に接続されている。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得して、メインプロセッサー１４０に出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信されるデータの処理およびインターフェイス１９６を介した伝送を実行する。インターフェイス１９６は、画像表示部２０の右表示ユニット２２と、左表示ユニット２４とに対してそれぞれ接続されている。本実施形態の例では、左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４とのそれぞれが、制御装置１０のインターフェイス１９６に接続される。

電源部１３０には、バッテリー１３２と、電源制御回路１３４とが含まれている。電源部１３０は、制御装置１０が動作するための電力を供給する。バッテリー１３２は、充電可能な電池である。電源制御回路１３４は、バッテリー１３２の残容量の検出と、ＯＳ１４３（図６）への充電の制御を行う。電源制御回路１３４は、メインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値や、バッテリー１３２の電圧の検出値をメインプロセッサー１４０へと出力する。なお、電源部１３０が供給する電力に基づいて、制御装置１０から画像表示部２０へと電力を供給してもよい。電源部１３０から制御装置１０の各部および画像表示部２０への電力の供給状態を、メインプロセッサー１４０により制御可能な構成としてもよい。

右表示ユニット２２は、表示ユニット基板２１０と、ＯＬＥＤユニット２２１と、カメラ６１と、照度センサー６５と、ＬＥＤインジケーター６７と、温度センサー２１７とを備える。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１と、受信部（Ｒｘ）２１３と、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）２１５とが実装されている。受信部２１３は、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２２５（図２）へと出力する。

ＥＥＰＲＯＭ２１５は、各種のデータをメインプロセッサー１４０が読み取り可能な態様で記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０のＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４のセンサー特性に関するデータ等を記憶する。具体的には、例えば、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、後述する温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。出荷後は、メインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを読み込んで各種の処理に利用する。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データあるいは撮像結果を表す信号を制御装置１０へと出力する。照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するように配置される。照度センサー６５は、受光量（受光強度）に対応した検出値を出力する。ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図２）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は主としてＯＬＥＤパネル２２３の温度を検出する。なお、温度センサー２１７は、ＯＬＥＤパネル２２３あるいはＯＬＥＤ駆動回路２２５（図２）に内蔵されてもよい。例えば、ＯＬＥＤパネル２２３がＳｉ−ＯＬＥＤとしてＯＬＥＤ駆動回路２２５と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２１７を実装してもよい。

左表示ユニット２４は、表示ユニット基板２３０と、ＯＬＥＤユニット２４１と、温度センサー２３９とを備える。表示ユニット基板２３０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１と、受信部（Ｒｘ）２３３と、６軸センサー２３５と、磁気センサー２３７とが実装されている。受信部２３３は、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する。受信部２３３は、ＯＬＥＤユニット２４１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２４５（図２）へと出力する。

６軸センサー２３５は、３軸加速度センサーおよび３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。６軸センサー２３５と磁気センサー２３７は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部２０の向き、すなわち、使用者の視界が特定される。

温度センサー２３９は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図２）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は主としてＯＬＥＤパネル２４３の温度を検出する。温度センサー２３９は、ＯＬＥＤパネル２４３あるいはＯＬＥＤ駆動回路２４５（図２）に内蔵されてもよい。詳細は温度センサー２１７と同様である。

右表示ユニット２２のカメラ６１、照度センサー６５、温度センサー２１７と、左表示ユニット２４の６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、制御装置１０のセンサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２および左表示ユニット２４が備える各センサーの検出値をメインプロセッサー１４０へ出力する。センサーハブ１９２は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ１９２は、各センサーの検出値の信号形式やデータ形式の変換機能（例えば、統一形式への変換機能）を備えてもよい。センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始および停止させることで、ＬＥＤインジケーター６７を点灯または消灯させる。

図６は、制御装置１０の構成を機能的に示すブロック図である。制御装置１０は、機能的には、記憶機能部１２２と、制御機能部１５０とを備える。記憶機能部１２２は、不揮発性記憶部１２１（図５）により構成される論理的な記憶部である。記憶機能部１２２は、記憶機能部１２２のみを使用する構成に替えて、不揮発性記憶部１２１に組み合わせてＥＥＰＲＯＭ２１５やメモリー１１８を使用する構成としてもよい。制御機能部１５０は、メインプロセッサー１４０がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。

記憶機能部１２２には、制御機能部１５０における処理に供する種々のデータが記憶されている。具体的には、本実施形態の記憶機能部１２２には、設定データ１２３と、コンテンツデータ１２４とが記憶されている。設定データ１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。例えば、設定データ１２３には、制御機能部１５０がＨＭＤ１００を制御する際のパラメーター、行列式、演算式、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）等が含まれている。

コンテンツデータ１２４には、制御機能部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータ（画像データ、映像データ、音声データ等）が含まれている。なお、コンテンツデータ１２４には、双方向型のコンテンツのデータが含まれてもよい。双方向型のコンテンツとは、操作部１１０によって使用者の操作を取得して、取得した操作内容に応じた処理を制御機能部１５０が実行し、処理内容に応じたコンテンツを画像表示部２０に表示するタイプのコンテンツを意味する。この場合、コンテンツのデータには、使用者の操作を取得するためのメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理を定めるデータ等を含みうる。

制御機能部１５０は、記憶機能部１２２が記憶しているデータを利用して各種処理を実行することにより、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、入出力制御部１５１、通信制御部１５３、機能情報取得部１５５、操作検出部１５７としての機能を実行する。本実施形態では、ＯＳ１４３以外の各機能部は、ＯＳ１４３上で実行されるコンピュータープログラムとして構成されている。

画像処理部１４５は、画像表示部２０により表示する画像／映像の画像データに基づいて、右表示ユニット２２および左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１４５は、メインプロセッサー１４０がコンピュータープログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で構成してもよい。

なお、画像処理部１４５は、必要に応じて、解像度変換処理、画像調整処理、２Ｄ／３Ｄ変換処理等を実行してもよい。解像度変換処理は、画像データの解像度を右表示ユニット２２および左表示ユニット２４に適した解像度へと変換する処理である。画像調整処理は、画像データの輝度や彩度を調整する処理である。２Ｄ／３Ｄ変換処理は、三次元画像データから二次元画像データを生成し、あるいは、二次元画像データから三次元画像データを生成する処理である。画像処理部１４５は、これらの処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成し、接続ケーブル４０を介して画像表示部２０へと送信する。

表示制御部１４７は、右表示ユニット２２および左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２および左表示ユニット２４のそれぞれによる画像光の生成と射出とを制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づいて、ＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。

また、表示制御部１４７は、後述の操作用ＧＵＩ表示処理において、後述の操作用ＧＵＩ５００の表示を制御する。操作用ＧＵＩ表示処理では、使用者のジェスチャーに応じた位置に操作用ＧＵＩ５００を表示させる。また、使用者のジェスチャーによる操作指示に応じて、操作用ＧＵＩ５００に予め対応づけられている操作の実行を制御する。操作用ＧＵＩ表示処理についての詳細な説明は後述する。

撮像制御部１４９は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶機能部１２２に一時的に記憶させる。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は、撮像画像データをカメラ６１から取得して、記憶機能部１２２に一時的に記憶させる。また、撮像制御部１４９は、後述の操作用ＧＵＩ表示処理において、表示制御部１４７の指示に応じて、使用者の視界を撮像して撮像画像を得る。

入出力制御部１５１は、トラックパッド１４（図１）と、方向キー１６と、決定キー１７とを適宜、制御して、これらから入力指令を取得する。取得した指令は、ＯＳ１４３、またはＯＳ１４３と共にＯＳ１４３上で動作するコンピュータープログラムに出力される。

通信制御部１５３は、無線通信部１１７を制御して、ナビゲーション装置Ｎａｖとの間で無線通信を行う。機能情報取得部１５５は、後述の操作用ＧＵＩ表示処理において、ナビゲーション装置Ｎａｖの機能情報（後述の機能情報ＦＬ）を取得する。操作検出部１５７は、後述の操作用ＧＵＩ表示処理において、使用者の視界の撮像画像を解析することにより、使用者のジェスチャーを検出する。

Ａ２．操作用ＧＵＩの表示処理：
図７は、ＨＭＤ１００の使用者が運転する車両の室内の様子を模式的に示す説明図である。図７において、Ｙ軸方向は鉛直方向と平行に、Ｘ軸およびＺ軸は水平方向と平行に、それぞれ設定されている。Ｚ軸は、車両の進行方向と平行であり、＋Ｚ方向は車両の前進方向と平行な方向に、−Ｚ方向は車両の後退方向と平行な方向に、それぞれ相当する。Ｘ軸は、車両の幅方向と平行であり、＋Ｘ方向はＨＭＤ１００の使用者の右側に、−Ｘ方向はＨＭＤ１００の使用者の左側に、それぞれ相当する。なお、以降の図においても同様である。

一般に、車両を運転する際、運転者はハンドルＨＤに手をかけ、車両前方を見ている。このとき、運転者は、車室内の様々な機器に視線を移す。例えば、自車速度の確認のためにスピードメーターＥｍ４に視線を移すことがある。また、例えば、車両の左右や後方の様子の確認のために、サイドミラーＥｍ２およびＥｍ３やバックミラーＥｍ１に視線を移すことがある。この他にも、様々な運転状況に対応するために、各種機器Ｃｔｌ１〜Ｃｔｌ５に視線を移して、これらの機器の操作を行う。このため、ナビゲーション装置Ｎａｖを操作する際にナビゲーション装置Ｎａｖに視線を集中させてしまうと、車両の運転の安全性を低下させるおそれがある。そこで、本実施形態では、ＨＭＤ１００にナビゲーション装置Ｎａｖを操作するためのグラフィカルユーザーインターフェイス（後述の操作用グラフィカルユーザーインターフェイス（以下、「操作用ＧＵＩ」と呼ぶ））を表示することにより、運転者がナビゲーション装置Ｎａｖを操作する際の視線移動を低減させて、車両の運転の安全性の低下を抑制している。

図８は、ＨＭＤ１００の使用者が操作用ＧＵＩ５００を利用してナビゲーション装置Ｎａｖを操作する様子を模式的に示す説明図である。図８では、使用者の視界ＶＲを示している。図８に示すように、表示領域ＰＮ内の後述の操作用ＧＵＩ５００が表示されている。使用者は、表示領域ＰＮ内では、外界ＳＣに重なるようにして後述の操作用ＧＵＩ５００を視認している。また、使用者は、表示領域ＰＮ外では、外界ＳＣだけを視認している。

本実施形態において、「操作用ＧＵＩ」とは、ＨＭＤ１００の使用者がナビゲーション装置Ｎａｖに関する各種機能の操作をする際に用いるグラフィカルユーザーインターフェイスを意味する。図８に示すように、操作用ＧＵＩ５００は、多面体形状を有しており、多面体の各面にナビゲーション装置Ｎａｖの各機能を示す名称が表示される。ＨＭＤ１００の使用者は、予め定められたジェスチャーを行うことにより操作用ＧＵＩ５００の面を選択（決定）して、選択されたナビゲーション装置Ｎａｖの機能を実行できる。

具体的には、図８に示す例では、ＨＭＤ１００の使用者は、ハンドルＨＤに右手ＲＨをかけて、左手ＬＨの人差し指により操作用ＧＵＩ５００上のナビの面を選択している。ＨＭＤ１００の使用者は、操作用ＧＵＩ５００の「ナビ」と表示されている面を左手ＬＨの指先で押すジェスチャーを行うことにより、「ナビ」メニューを実行できる。操作用ＧＵＩ５００の詳細構成については、後述する。

図９および図１０は、操作用ＧＵＩ表示処理の処理手順を示すフローチャートである。操作用ＧＵＩ表示処理は、ナビゲーション装置ＮａｖとＨＭＤ１００との接続完了を契機として開始される。図９に示すように、機能情報取得部１５５は、ナビゲーション装置Ｎａｖから機能情報を取得する（ステップＳ１００）。

図１１は、ナビゲーション装置Ｎａｖから取得される機能情報の一例を示す説明図である。機能情報ＦＬは、ナビゲーション装置Ｎａｖのメモリー領域に予め記憶されており、機能情報取得部１５５は、ナビゲーション装置Ｎａｖのメモリー領域を参照して機能情報ＦＬを取得する。図１１に示すように、機能情報ＦＬには、機能の名称と操作項目とが含まれている。図１１では、最左列に機能の名称を示し、最左列を除く他の列に操作項目を示している。本実施形態において、「操作項目」とは、最左列に掲げる機能に紐づいて実行される機能を意味する。すなわち、最左列に掲げる機能は、各操作項目の総括的な機能であり各操作項目のメインメニューに相当する。これに対して、各操作項目は、最左列に掲げる機能の一部の機能であり、サブメニューに相当する。

具体的には、図１１の上から２段目に示す「全体機能」は、ナビゲーション装置Ｎａｖに搭載されているすべての機能の操作項目のリストである。「全体機能」の操作項目には、「オーディオ」と、「ナビ」と、「電話」とが該当する。図１１の上から３段目に示す「オーディオ」は、「全体機能」のうちの「オーディオ」の操作項目のリストである。「オーディオ」の操作項目には、「ＣＤ／ＳＤ」と、「ＦＭラジオ」と、「ＡＭラジオ」と、「Ｂｌｕｅｔｏｏｔｈ」と、「戻る」とが該当する。このように、機能情報ＦＬの上段に掲げる操作項目にさらに操作項目が紐づいている場合、その操作項目（以下、「下位の操作項目」と呼ぶ）も取得される。なお、「戻る」とは、下位の操作項目から上位の操作項目へ戻ることを意味する。例えば、「オーディオ」の操作項目の「戻る」は、「全体機能」に戻ることを意味する。

本実施形態において、各操作項目１〜６には、予め優先度が設定されている。かかる優先度は、操作用ＧＵＩ５００に対して操作項目を割り当てる際の割り当て順と対応している。操作項目１の優先度が最も高く、操作項目２、操作項目３、の順で順に低くなり、操作項目６の優先度が最も低く設定されている。

図９に示すように、ステップＳ１００の実行後、表示制御部１４７は、操作用ＧＵＩ５００に操作項目を割り当てる（ステップＳ１０５）。

図１２は、操作用ＧＵＩ５００の概略構成を模式的に示す説明図である。図１２では、説明の便宜上、操作用ＧＵＩ５００がＨＭＤ１００に表示される際に使用者が視認できない面を透過させて図示している。図１２に示すように、操作用ＧＵＩ５００は、正六面体形状を有し、第１面ＳＦ１と、第２面ＳＦ２と、第３面ＳＦ３と、第４面ＳＦ４と、第５面ＳＦ５と、第６面ＳＦ６とからなる。第１面ＳＦ１は、操作用ＧＵＩ５００の−Ｚ方向側の面であり、ＨＭＤ１００の使用者と対向して表示される。また、第２面ＳＦ２は、操作用ＧＵＩ５００の＋Ｘ方向側の面である。第４面ＳＦ４は、操作用ＧＵＩ５００の−Ｘ方向側の面である。第３面ＳＦ３は、操作用ＧＵＩ５００の＋Ｙ方向の面である。第５面ＳＦ５は、操作用ＧＵＩ５００の−Ｙ方向の面である。本実施形態では、第４面ＳＦ４、第５面ＳＦ５および第６面ＳＦ６は、操作用ＧＵＩ５００がＨＭＤ１００に表示される際、使用者からは視認されない。なお、使用者が第４面ＳＦ４、第５面ＳＦ５および第６面ＳＦ６を視認できるように、第１面ＳＦ１、第２面ＳＦ２および第３面ＳＦ３を光透過性を有するように透過させて表示してもよい。

上述のように、機能情報ＦＬの各操作項目は、優先度が設定されている。図１２に示す操作用ＧＵＩ５００の各面の番号１〜６は、かかる優先度とそれぞれ一意に対応づけられている。したがって、ステップＳ１０５では、各面の番号１〜６と操作項目の優先度とがそれぞれ一致するようにして操作用ＧＵＩ５００に操作項目が割り当てられる。具体的には、第１面ＳＦ１に操作項目１が割り当てられる。第２面ＳＦ２に操作項目２が、第３面ＳＦ３に操作項目３が、第４面ＳＦ４に操作項目４が、第５面ＳＦ５に操作項目５が、第６面ＳＦ６に操作項目６が、それぞれ割り当てる。

図１３は、操作用ＧＵＩ５００に「全体機能」の操作項目を割り当てた様子を模式的に示す説明図である。図１３では、図１２と同様に、説明の便宜上、操作用ＧＵＩ５００を表示する際に使用者からは視認されない左側面、底面および前方面を透過させて図示している。図１３に示すように、第１面ＳＦ１には、操作項目１「オーディオ」が割り当てられている。第２面ＳＦ２には操作項目２「ナビ」が、第３面ＳＦ３には操作項目３「電話」が、それぞれ割り当てられている。図１１に示すように、「全体機能」の操作項目は、操作項目１から操作項目３の３つであるため、図１３に示すように、第４面ＳＦ４、第５面ＳＦ５および第６面ＳＦ６には何も表示されない。

図９に示すように、ステップＳ１０５の実行後、操作検出部１５７は、操作用ＧＵＩ５００の表示を指示するジェスチャーを検出したか否かを判定する（ステップＳ１１０）。本実施形態において、「操作用ＧＵＩ５００の表示を指示するジェスチャー」とは、ＨＭＤ１００の使用者の手のうちのいずれか一方の手の形状が、握った状態（いわゆる「グー」の状態）から開いた状態（いわゆる「パー」の状態）へと変化することを意味する。具体的には、まず、撮像制御部１４９は、カメラ６１に使用者の視界ＶＲを撮像させて撮像画像を得る。撮像画像が得られると、操作検出部１５７は、撮像画像を解析して、ＨＭＤ１００の使用者の手のうちのいずれか一方の手の形状が、「グー」の状態から「パー」の状態へと変化したか否かを判定する。

図１４および図１５は、撮像画像の一例を模式的に示す説明図である。図１４は、ＨＭＤ１００の使用者の左手の形状が「グー」の状態を撮像した撮像画像Ｐｃｔ１である。図１５は、ＨＭＤ１００の使用者の左手の形状が「パー」の状態を撮像した撮像画像Ｐｃｔ２である。図１４および図１５では、説明の便宜上、ＨＭＤ１００の使用者の左手のみを図示している。また、図１４および図１５では、説明の便宜上、ＨＭＤ１００の表示領域ＰＮを示している。ステップＳ１１０において操作検出部１５７は、所定のタイミングごとに撮像画像を解析して手の形状を検出する。操作検出部１５７は、前回検出した手の形状を記憶しておき、検出した手の形状が「グー」の状態から「パー」の状態へ変化していた場合、操作用のＧＵＩの表示を指示するジェスチャーを検出したと判定する。

例えば、操作検出部１５７は、図１４に示す撮像画像Ｐｃｔ１を解析することにより、「グー」の状態の左手ＣＬＨの形状を検出する。その後、操作検出部１５７は、図１５に示す撮像画像Ｐｃｔ２を解析することにより、「パー」の状態の左手ＯＬＨの形状を検出して、検出した手の形状が「グー」の状態から「パー」の状態へ変化しているとして、操作用ＧＵＩ５００の表示を指示するジェスチャーが検出されたと判定する。

図９に示すように、操作用ＧＵＩ５００の表示を指示するジェスチャーが検出されると（ステップＳ１１０：ＹＥＳ）、操作検出部１５７は、ジェスチャーの検出位置を取得する（ステップＳ１１５）。具体的には、操作検出部１５７は、図１５に示す撮像画像Ｐｃｔ２を利用して、「パー」の状態の左手ＯＬＨの重心位置のＸ座標およびＹ座標を検出する。本実施形態において、「位置」とは、「グー」状態の手の形状から「パー」の状態の手の形状に変化したことを検出した際における「パー」の状態の手の重心位置を意味する。換言すると、検出した手の形状が変化した後における検出した手の重心位置を意味する。

図９に示すように、ステップＳ１１５の実行後、操作検出部１５７は、ＨＭＤ１００の表示領域ＰＮにおける取得した検出位置に対応する位置を算出する（ステップＳ１２０）。図８に示すように、使用者の視界ＶＲのうち、表示領域ＰＮは、撮像領域ＲＡ１に比べて内側の領域である。このため、表示領域ＰＮと撮像領域ＲＡ１との差分の領域においてジェスチャーを検出した場合に、その検出位置に操作用ＧＵＩ５００を表示させようとすると、表示領域ＰＮ内ではないために操作用ＧＵＩ５００が表示されなくなる。本実施形態では、操作用ＧＵＩ５００の表示位置は、撮像領域ＲＡ１におけるジェスチャーの検出位置を基準とした相対的な位置として定められている。一例として、ステップＳ１２０では、撮像領域ＲＡ１におけるジェスチャーの検出位置から表示領域ＰＮに向かって所定距離ずれた位置の座標を算出する。また、例えば、撮像領域ＲＡ１におけるジェスチャーをした手の検出位置から最も近い表示領域ＰＮ内における位置であって、ジェスチャーをした手と重ならずに操作用ＧＵＩ５００を表示可能な位置の座標を算出してもよい。この他にも、例えば、ジェスチャーの検出位置が撮像領域ＲＡ１内かつ表示領域ＰＮ１内である場合、ジェスチャーをした手と重なる位置の座標を算出してもよいし、ジェスチャーをした手から所定距離離れた位置の座標を算出してもよい。

図９に示すように、ステップＳ１２０の実行後、表示制御部１４７は、ジェスチャーがＨＭＤ１００の表示領域ＰＮ内で行われたか否かを判定する（ステップＳ１２５）。具体的には、ステップＳ１２０で算出した座標が表示領域ＰＮ内に含まれるか否かを判定する。ステップＳ１２０で算出した座標が表示領域ＰＮ内に含まれる場合、ジェスチャーがＨＭＤ１００の表示領域ＰＮ内で行われたと判定する。これに対して、ステップＳ１２０で算出した座標が表示領域ＰＮ内に含まれない場合、ジェスチャーがＨＭＤ１００の表示領域ＰＮ内で行われていないと判定する。

ジェスチャーがＨＭＤ１００の表示領域ＰＮ内で行われていないと判定されると（ステップＳ１２５：ＮＯ）、後述のステップＳ１４５が実行される。これに対して、ジェスチャーがＨＭＤ１００の表示領域ＰＮ内で行われたと判定されると（ステップＳ１２５：ＹＥＳ）、表示制御部１４７は、ステップＳ１２０で算出した位置に操作用ＧＵＩ５００を表示する（ステップＳ１３０）。

図１６は、画像表示部２０に表示された操作用ＧＵＩ５００を模式的に示す説明図である。図１６に示す操作用ＧＵＩ５００は、説明の便宜上、機能情報ＦＬに示す機能の名称の図示を省略し、多面体の面番号を示している。上述のように、操作用ＧＵＩ５００は、第１面ＳＦ１がＨＭＤ１００の使用者と対向するようにして表示される。また、第２面ＳＦ２がＨＭＤ１００の使用者の右側に、第３面ＳＦ３が鉛直上方になるようにして表示される。また、操作用ＧＵＩ５００は、図１５に示すジェスチャーの検出位置である「パー」の状態の左手ＯＬＨの重心位置から＋Ｙ方向および＋Ｘ方向に向かって所定距離ずれた位置に表示されている。

図９に示すように、ステップＳ１３０の実行後、操作検出部１５７は、操作用ＧＵＩ５００の操作を指示するジェスチャーを検出したか否かを判定する（ステップＳ１３５）。本実施形態において、「操作用ＧＵＩ５００の操作」とは、操作用ＧＵＩ５００に割り当てられた操作項目の機能実行、操作用ＧＵＩ５００の面の切り替え、操作用ＧＵＩ５００の表示位置の変更、複数の操作用ＧＵＩ５００の切り替えの各操作を意味する。これら各操作を指示するジェスチャーは、操作検出部１５７において予め定められており、本実施形態では以下のジェスチャーが該当する。

具体的には、操作用ＧＵＩ５００に割り当てられた操作項目の機能実行を指示するジェスチャーは、第１面ＳＦ１に実行したい操作項目が表示されている状態において１本の指により第１面ＳＦ１を押すジェスチャーである。操作用ＧＵＩ５００の面の切り替えを指示するジェスチャーは、面の切り替えたい方向に親指以外の４本の指を動かすジェスチャーである。操作用ＧＵＩ５００の表示位置の変更を指示するジェスチャーは、操作用ＧＵＩ５００を２本の指によりつまむジェスチャーである。複数の操作用ＧＵＩ５００の切り替えを指示するジェスチャーは、「パー」の状態の手を上下に動かすジェスチャーである。なお、各ジェスチャーについての詳細な説明は、後述する。

ステップＳ１３５では、操作検出部１５７は、上述の操作用ＧＵＩ５００の操作を指示するためのいずれかのジェスチャーを検出したか否かを判定する。具体的には、上述のステップＳ１１０と同様に、撮像画像を解析することにより手の形状を検出して、操作用ＧＵＩ５００の操作を指示するいずれかのジェスチャーに該当する手の形状を検出した場合、操作用ＧＵＩ５００の操作を指示するジェスチャーを検出したと判定する。これに対して、操作用ＧＵＩ５００の操作を指示するいずれかのジェスチャーに該当する手の形状を検出しない場合、操作用ＧＵＩ５００の操作を指示するジェスチャーを検出していないと判定する。

操作用ＧＵＩ５００の操作を指示するジェスチャーを検出したと判定された場合（ステップＳ１３５：ＹＥＳ）、図１０に示すように、操作検出部１５７は、検出したジェスチャーは操作用ＧＵＩ５００に割り当てられた操作項目の機能実行を指示するジェスチャーか否かを判定する（ステップＳ１５０）。

図１７は、操作用ＧＵＩ５００に割り当てられた操作項目の機能実行を指示するジェスチャーを模式的に示す説明図である。図１７に示す操作用ＧＵＩ５００は、説明の便宜上、機能情報ＦＬに示す機能の名称の図示を省略し、多面体の面番号を示している。本実施形態では、操作用ＧＵＩ５００は、使用者と対面する面、すなわち第１面ＳＦ１に表示されている操作項目のみを実行可能に構成されている。図１７に示す状態では、第１面ＳＦ１に割り当てられている操作項目の機能実行を行うことができる。これに対して、第２面ＳＦ２や第３面ＳＦ３にそれぞれ割り当てられている操作項目の機能実行を行いたい場合、まず、それらの面をＨＭＤ１００の使用者と対面する面となるように操作用ＧＵＩ５００の面の切り替えを行った後、機能実行を指示するジェスチャーを行う必要がある。

上述のように、操作用ＧＵＩ５００に割り当てられた操作項目の機能実行を指示するジェスチャーは、第１面ＳＦ１に実行したい操作項目が表示されている状態において１本の指により第１面ＳＦ１を押すジェスチャーである。図１７に示すように、ＨＭＤ１００の使用者は、左手ＬＨの人差し指ＬＦ２の指先で第１面ＳＦ１を押すジェスチャーを行うことにより、第１面ＳＦ１に割り当てられた操作項目の機能を実行できる。ステップＳ１５０では、操作検出部１５７は、撮像画像を解析して、左手ＬＨの人差し指ＬＦ２の形状や左手ＬＨの形状の変化を検出することにより、検出したジェスチャーが操作用ＧＵＩ５００に割り当てられた操作項目の機能実行を指示するジェスチャーであるか否かを判定する。

図１０に示すように、検出したジェスチャーが操作用ＧＵＩ５００に割り当てられた操作項目の機能実行を指示するジェスチャーであると判定された場合（ステップＳ１５０：ＹＥＳ）、表示制御部１４７は、選択された面を点滅表示する（ステップＳ１５５）。ＨＭＤ１００の使用者に対して、選択された面に割り当てられた操作項目の実行を開始する旨を知らせるためである。ステップＳ１５５の実行後、表示制御部１４７は、選択された面に割り当てられた機能を実行する（ステップＳ１６０）。具体的には、表示制御部１４７は、通信制御部１５３を制御して、ナビゲーション装置Ｎａｖに機能の実行命令を送信する。

図１０に示すように、ステップＳ１６０の実行後、表示制御部１４７は、下位の操作項目群はあるか否かを判定する（ステップＳ１６５）。具体的には、表示制御部１４７は、図１１に示す機能情報ＦＬを参照し、選択された面に割り当てられた操作項目に下位の操作項目群があるか否かを判定する。下位の操作項目群があると判定された場合（ステップＳ１６５：ＹＥＳ）、表示制御部１４７は、操作用ＧＵＩ５００に下位の操作項目を割り当て、割り当て後の操作用ＧＵＩ５００を表示する（ステップＳ１７０）。

図１８は、ステップＳ１７０実行後の操作用ＧＵＩ５００を模式的に示す説明図である。図１８に示す操作用ＧＵＩ５００は、ステップＳ１６０において、図１３に示す操作用ＧＵＩ５００の第１面ＳＦ１に割り当てられた操作項目「オーディオ」を実行した状態を示している。上述のように、操作項目「オーディオ」には、下位の操作項目として、「ＣＤ／ＳＤ」と、「ＦＭラジオ」と、「ＡＭラジオ」と、「Ｂｌｕｅｔｏｏｔｈ」と、「戻る」とが存在する。このため、操作用ＧＵＩ５００には、下位の操作項目群である「ＣＤ／ＳＤ」、「ＦＭラジオ」、「ＡＭラジオ」、「Ｂｌｕｅｔｏｏｔｈ」および「戻る」が、それぞれこの順番で第１面ＳＦ１から第５面ＳＦ５に割り当てられる。その後、図１８に示すように、下位の操作項目が割り当てられた後の操作用ＧＵＩ５００が表示される。

図１０に示すように、下位の操作項目群がないと判定された場合（ステップＳ１６５：ＮＯ）、上述のステップＳ１３５実行前に戻り、再びステップＳ１３５が実行される。

図１９は、ステップＳ１７０実行後の使用者の視界ＶＲを模式的に示す説明図である。図１９に示す操作用ＧＵＩ５００は、図１８に示す操作用ＧＵＩ５００の第１面ＳＦ１に割り当てられている操作項目「ＣＤ／ＳＤ」を選択して機能実行した状態を示している。図１９に示すように、表示領域ＰＮには、操作用ＧＵＩ５００と、音楽リストＬｓｔとが表示されている。音楽リストＬｓｔは、表示領域ＰＮにおける操作用ＧＵＩ５００が表示されていない領域に表示されている。

図１１に示すように、操作項目「ＣＤ／ＳＤ」には下位の操作項目群が割り当てられているため、図１９に示すように、操作用ＧＵＩ５００には、新たに操作項目「ＣＤ／ＳＤ」の下位の操作項目が割り当てられて表示されている。具体的には、第１面ＳＦ１に操作項目「再生／停止」が割り当てられている。第２面ＳＦ２に操作項目「曲次へ」が、第３面ＳＦ３に操作項目「曲戻る」が、それぞれ割り当てられている。音楽リストＬｓｔは、操作項目「ＣＤ／ＳＤ」に関連する情報である。具体的には、ＣＤまたはＳＤに収録されている曲目のリストである。図１９に示すように、音楽リストＬｓｔには、複数の音楽Ｌ１、Ｌ２およびＬ３が表示されている。ＨＭＤ１００の使用者は、操作用ＧＵＩ５００の操作を指示するジェスチャーを行うことにより、音楽リストＬｓｔから聞きたい音楽を選択して、再生することができる。

図１０に示すように、上述のステップＳ１５０において、検出したジェスチャーが操作用ＧＵＩ５００に割り当てられた操作項目の機能実行を指示するジェスチャーではないと判定された場合（ステップＳ１５０：ＮＯ）、操作検出部１５７は、検出したジェスチャーは操作用ＧＵＩ５００の面の切り替えを指示するジェスチャーか否かを判定する（ステップＳ１７５）。

図２０は、操作用ＧＵＩ５００の面の切り替えを指示するジェスチャーを模式的に示す説明図である。図２０に示す操作用ＧＵＩ５００は、図１７に示す操作用ＧＵＩ５００と同様に、機能情報ＦＬに示す機能の名称の図示を省略し、多面体の面番号を示している。上述のように、操作用ＧＵＩ５００の面の切り替えを指示するジェスチャーは、面の切り替えたい方向に親指以外の４本の指を動かすジェスチャーである。図２０に示すように、ＨＭＤ１００の使用者は、左手ＬＨの親指ＬＦ１以外の４本の指ＬＦ２〜ＬＦ５を＋Ｘ方向に動かしている。ステップＳ１７５では、操作検出部１５７は、撮像画像を解析して左手ＬＨの形状を検出することにより、親指ＬＦ１以外の４本の指が所定の方向に動かされた状態の手の形状であるか否かを判定する。検出した左手ＬＨの形状が親指ＬＦ１以外の４本の指が所定の方向に動かされた形状であると判定した場合、操作用ＧＵＩ５００の面の切り替えを指示するジェスチャーを検出したと判定する。これに対して、検出した左手ＬＨの形状が親指ＬＦ１以外の４本の指が所定の方向に動かされた形状でないと判定した場合、操作用ＧＵＩ５００の面の切り替えを指示するジェスチャーを検出していないと判定する。

図１０に示すように、ステップＳ１７５において、操作用ＧＵＩ５００の面の切り替えを指示するジェスチャーを検出したと判定された場合（ステップＳ１７５：ＹＥＳ）、検出したジェスチャーに基づいて、操作用ＧＵＩ５００の面を切り替えて表示する（ステップＳ１８０）。

図２１は、ステップＳ１８０実行後の操作用ＧＵＩ５００を模式的に示す説明図である。図２１に示す操作用ＧＵＩ５００は、図２０に示すように、＋Ｘ方向に面の切り替えを指示するジェスチャーが行われることにより、操作用ＧＵＩ５００の面が切り替えられて表示されている状態を示している。図１２、図２０および図２１を比較して理解できるように、切り替え後の操作用ＧＵＩ５００は、左手ＬＨの動きの方向に操作用ＧＵＩ５００がＹ軸を中心として回転して表示される。具体的には、切り替え後の第１面ＳＦ１には、切り替え前の第４面ＳＦ４が表示されている。また、切り替え後の第２面ＳＦ２には切り替え前の第１面ＳＦ１が、切り替え後の第６面ＳＦ６には切り替え後の第２面ＳＦ２が、切り替え後の第４面ＳＦ４には切り替え前の第６面ＳＦ６が、それぞれ表示されている。

なお、操作用ＧＵＩ５００の面の切り替えは、Ｘ方向およびＹ方向にそれぞれ切り替えることができる。図示は省略するが、例えば、図２０に示す操作用ＧＵＩ５００を−Ｙ方向に切り替える場合、すなわち、第３面ＳＦ３を第１面ＳＦ１の面の表示位置に切り替える場合、左手ＬＨを−Ｙ方向に動かす。かかるジェスチャーが検出されることにより、第３面ＳＦ３が第１面ＳＦ１の表示位置に切り替えて表示されることになる。

図１０に示すように、上述のステップＳ１７５において、検出したジェスチャーは操作用ＧＵＩ５００の面の切り替えを指示するジェスチャーでないと判定された場合（ステップＳ１７５：ＮＯ）、操作検出部１５７は、検出したジェスチャーは、操作用ＧＵＩ５００の表示位置の変更を指示するジェスチャーか否かを判定する（ステップＳ１８５）。

図２２は、操作用ＧＵＩ５００の表示位置の変更を指示するジェスチャーを模式的に示す説明図である。図２２に示す操作用ＧＵＩ５００は、図１７に示す操作用ＧＵＩ５００と同様に、機能情報ＦＬに示す機能の名称の図示を省略し、多面体の面番号を示している。上述のように、操作用ＧＵＩ５００の表示位置の変更を指示するジェスチャーは、操作用ＧＵＩ５００を２本の指によりつまむジェスチャーである。

具体的には、図２２に示すように、ＨＭＤ１００の使用者は、左手ＬＨの親指ＬＦ１と人差し指ＬＦ２との２本の指により操作用ＧＵＩ５００をつまむようにして＋Ｘ方向に距離ｄｘだけ操作用ＧＵＩ５００を平行移動させている。ステップＳ１８５では、操作検出部１５７は、撮像画像を解析して左手ＬＨの形状を検出して、２本の指の形状が操作用ＧＵＩ５００をつまむような形状であるか否かを判定する。検出された２本の指の形状が操作用ＧＵＩ５００をつまむような形状である場合、操作用ＧＵＩ５００の表示位置の変更を指示するジェスチャーを検出したと判定する。これに対して、検出された２本の指の形状が操作用ＧＵＩ５００をつまむような形状でない場合、操作用ＧＵＩ５００の表示位置の変更を指示するジェスチャーを検出していないと判定する。

図１０に示すように、操作用ＧＵＩ５００の表示位置の変更を指示するジェスチャーが検出されたと判定された場合（ステップＳ１８５：ＹＥＳ）、表示制御部１４７は、検出したジェスチャーに基づいて、操作用ＧＵＩ５００の表示位置を変更して操作用ＧＵＩ５００を表示する（ステップＳ１９０）。

図２３は、ステップＳ１９０実行後の使用者の視界ＶＲを模式的に示す説明図である。図２３では、ステップＳ１９０実行後の操作用ＧＵＩ５００を実線により示し、ステップＳ１９０実行前の操作用ＧＵＩ５００を一点鎖線により示している。図２３に示すように、それぞれの操作用ＧＵＩ５００の左下隅を基準点として、ステップＳ１９０実行後の操作用ＧＵＩ５００の基準点は、ステップＳ１９０実行前の操作用ＧＵＩ５００の基準点から距離ｄｘだけ＋Ｘ方向に移動している。

図１０に示すように、ステップＳ１９０の実行後、図９に示すステップＳ１３５の実行前に戻り、再び上述のステップＳ１３５が実行される。

図１０に示すように、上述のステップＳ１８５において、操作用ＧＵＩ５００の表示位置の変更を指示するジェスチャーが検出されていないと判定された場合（ステップＳ１８５：ＮＯ）、上述のステップＳ１９０実行後と同様に、ステップＳ１３５の実行前に戻り、再びステップＳ１３５が実行される。

図９に示すように、上述のステップＳ１３５において、操作用ＧＵＩ５００の操作を指示するジェスチャーを検出していないと判定された場合（ステップＳ１３５：ＮＯ）、操作検出部１５７は、操作用ＧＵＩ５００の表示終了指示があったか否かを判定する（ステップＳ１４０）。具体的には、操作検出部１５７は、操作用ＧＵＩ５００が表示された後、操作用ＧＵＩ５００の操作を指示するジェスチャーが検出されない時間を計測する。かかる時間が予め定めた所定の時間を超える場合、操作用ＧＵＩ５００の表示終了指示があったと判定する。これに対して、計測した時間が所定の時間を超えていない場合、操作用ＧＵＩ５００の表示終了指示がなかったと判定する。

操作用ＧＵＩ５００の表示終了指示があった場合（ステップＳ１４０：ＹＥＳ）、操作用ＧＵＩ表示処理は終了する。これに対して、操作用ＧＵＩ５００の表示終了指示がなかった場合（ステップＳ１４０：ＮＯ）、上述のステップＳ１３５実行前に戻り、再びステップＳ１３５が実行される。

上述のステップＳ１１０において、操作用ＧＵＩ５００の表示を指示するジェスチャーを検出していないと判定された場合（ステップＳ１１０：ＮＯ）、表示制御部１４７は、操作用ＧＵＩ表示処理の終了指示を検出したか否かを判定する（ステップＳ１４５）。具体的には、まず、通信制御部１５３は、ＨＭＤ１００とナビゲーション装置Ｎａｖとの接続状態を取得する。表示制御部１４７は、取得された接続状態が良好でない場合、操作用ＧＵＩ表示処理の終了指示を検出したと判定する。これに対して、取得した接続状態が良好である場合、操作用ＧＵＩ表示処理の終了指示を検出していないと判定する。

操作用ＧＵＩ表示処理の終了指示を検出したと判定された場合（ステップＳ１４５：ＹＥＳ）、操作用ＧＵＩ表示処理は終了する。これに対して、操作用ＧＵＩ表示処理の終了指示を検出していないと判定された場合（ステップＳ１４５：ＮＯ）、上述のステップＳ１１０実行前に戻り、再びステップＳ１１０が実行される。

以上説明した本実施形態のＨＭＤ１００によれば、ナビゲーション装置Ｎａｖの機能情報ＦＬを用いて操作用ＧＵＩ５００を表示させる表示制御部１４７と、ＨＭＤ１００の使用者の予め定められたジェスチャーを検出する操作検出部１５７と、を備え、表示制御部１４７は、検出されたジェスチャーの位置に応じて定められる表示位置に操作用ＧＵＩ５００を表示させる。したがって、操作用ＧＵＩ５００にナビゲーション装置Ｎａｖの機能情報ＦＬを集約させて、使用者がジェスチャーを行った位置に応じた位置に操作用ＧＵＩ５００を表示させることができ、ＨＭＤ１００を制御する際の操作性が向上し、使用者の利便性を向上できる。

また、操作用ＧＵＩ５００の表示位置は、検出されたジェスチャーの位置を基準とした相対的な位置として定められるので、検出されたジェスチャーの位置に応じた位置に操作用ＧＵＩ５００を表示させることができ、使用者は、操作用ＧＵＩ５００の表示位置を予測できる。或いは、画像表示部２０における操作用ＧＵＩ５００の表示位置をジェスチャーの位置を制御することにより調整できる。加えて、画像表示部２０における中央部を除く領域に操作用ＧＵＩ５００を表示させるので、操作用ＧＵＩ５００の表示により使用者の視界ＶＲを遮ることを抑制できる。

また、検出された使用者のジェスチャーに応じて、操作用ＧＵＩ５００の操作を実行させるので、使用者は、操作用ＧＵＩ５００の操作内容に対応付けられたジェスチャーを行うことにより操作用ＧＵＩ５００の操作内容を実行でき、使用者の利便性を向上できる。加えて、機能情報取得部１５５は、ナビゲーション装置ＮａｖとＨＭＤ１００との接続完了を契機として、機能情報ＦＬを取得するので、より確実に機能情報ＦＬを取得できる。

また、検出されたジェスチャーが予め定められたジェスチャーである場合に操作用ＧＵＩ５００を表示させるので、使用者の所望するタイミングで操作用ＧＵＩ５００を表示させることができ、使用者の利便性を向上できる。加えて、画像表示部２０の表示領域ＰＮ内に使用者のジェスチャーが検出された場合に操作用ＧＵＩ５００を表示させるので、使用者の意図しないジェスチャーを検出することにより操作用ＧＵＩ５００が表示されることを抑制できる。さらに、画像表示部２０の表示領域ＰＮ内における操作用ＧＵＩ５００が表示されていない領域に機能情報ＦＬに関連する情報（音楽リストＬｓｔ）を表示させるので、使用者は、操作用ＧＵＩ５００と機能情報ＦＬに関連する情報とを同時に表示領域ＰＮ内で視認することができ、使用者の利便性を向上できる。

Ｂ．変形例：
Ｂ１．変形例１：
上記実施形態において、操作用ＧＵＩ５００の形状は、正六面体であったが、本発明はこれに限定されない。例えば、正四面体や、正十二面体等の任意の多面体形状でもよい。また、例えば、多面体形状に限らず、円柱、円錐および球体等の立体形状でもよい。このような構成においても、上記実施形態と同様な効果を奏する。

Ｂ２．変形例２：
上記実施形態において、表示される操作用ＧＵＩ５００は１つであったが、本発明はこれに限定されない。例えば、上記実施形態と同様に、操作用ＧＵＩ５００が正六面体形状であり、操作項目の数が６つ以上ある場合、操作用ＧＵＩ５００を２つ並べて表示してもよい。

図２４は、変形例２における操作用ＧＵＩ５００ａを模式的に示す説明図である。操作用ＧＵＩ５００ａは、２つの操作用ＧＵＩ５００ａ１および５００ａ２からなる。操作用ＧＵＩ５００ａ１には操作項目１〜６が割り当てられ、操作用ＧＵＩ５００ａ２には操作項目７〜１２が割り当てられている。操作用ＧＵＩ５００ａ１は、図１６に示す実施形態における操作用ＧＵＩ５００と同じ表示位置に表示されている。操作用ＧＵＩ５００ａ２は、操作用ＧＵＩ５００ａ１の＋Ｙ方向に表示されている。また、操作用ＧＵＩ５００ａ２は、操作用ＧＵＩ５００ａ１と比べて小さく表示されている。

変形例２における操作用ＧＵＩ５００ａについても、上記実施形態と同様に、第１面ＳＦ１に表示されている操作項目のみを実行可能に構成されている。このため、ＨＭＤ１００の使用者が操作用ＧＵＩ５００ａ２に割り当てられている操作項目の機能を実行したい場合、まず操作用ＧＵＩ５００ａ１と操作用ＧＵＩ５００ａ２との表示位置を切り替える必要がある。

図２５は、変形例２における操作用ＧＵＩ５００ａの切り替えジェスチャーを模式的に示す説明図である。図２５では、操作用ＧＵＩ５００ａ２の大きさは、説明の便宜上、操作用ＧＵＩ５００ａ１と同じ大きさにして示している。上述のように、複数の操作用ＧＵＩ５００ａの切り替えを指示するジェスチャーは、「パー」の状態の手を上下に動かすジェスチャーである。図２５の右側に示すように、ＨＭＤ１００の使用者は、「パー」の状態の左手ＯＬＨをＹ方向に沿って上下させるジェスチャーを行うと、上述の操作検出部１５７は、撮像画像を解析して「パー」の状態の左手ＯＬＨがＹ方向に沿って移動している手の形状を検出することにより、操作用ＧＵＩ５００ａ２と操作用ＧＵＩ５００ａ１との表示位置の切り替えを指示するジェスチャーを検出したと判定する。操作用ＧＵＩ５００ａ２と操作用ＧＵＩ５００ａ１との表示位置の切り替えを指示するジェスチャーを検出したと判定されると、図２５の左側に示す操作用ＧＵＩ５００ａ２と操作用ＧＵＩ５００ａ１とは、表示位置を入れ替えて表示されるとともに、＋Ｙ方向側に表示される操作用ＧＵＩ５００ａ２は、−Ｙ方向側に表示される操作用ＧＵＩ５００ａ１の大きさに比べて小さくして表示される。

図２６は、切り替え後の操作用ＧＵＩ５００ａを模式的に示す説明図である。図２６では、使用者の視界ＶＲを示している。図２４と図２６とを比較することにより理解できるように、操作用ＧＵＩ５００ａ１と操作用ＧＵＩ５００ａ２との表示位置の切り替え後の操作用ＧＵＩ５００ａ２は、表示位置の切り替え前の操作用ＧＵＩ５００ａ１の表示位置に表示されており、その大きさも表示位置の切り替え前の操作用ＧＵＩ５００ａ１と同じである。これに対して、表示位置の切り替え後の操作用ＧＵＩ５００ａ１は、表示位置の切り替え前の操作用ＧＵＩ５００ａ２の表示位置に表示されており、その大きさも表示位置の切り替え前の操作用ＧＵＩ５００ａ２と同じである。このように、複数の操作用ＧＵＩ５００ａが同時に表示される構成においても、上記実施形態と同様な効果を奏する。

Ｂ３．変形例３：
上記変形例２において、操作用ＧＵＩ５００ａ１および５００ａ２の形状はいずれも正六面体であったが、操作用ＧＵＩ５００ａ１および５００ａ２の形状が互いに異なる形状であってもよい。例えば、操作用ＧＵＩ５００ａ１の形状を正十二面体とし、操作用ＧＵＩ５００ａ２の形状を正六面体としてもよい。このような構成であっても、上記変形例２と同様な効果を奏する。

Ｂ４．変形例４：
上記実施形態において、操作用ＧＵＩ５００の多面体の各面に機能情報ＦＬの示す操作項目の機能の名称を表示していたが、本発明はこれに限定されない。

図２７は、変形例４における操作用ＧＵＩ５００ｂを模式的に示す説明図である。図２７に示す操作用ＧＵＩ５００ｂは、それぞれの操作項目に対して予め対応付けられている画像が表示されている。具体的には、第１面ＳＦ１ｂには、操作項目「ナビ」と対応付けられた画像が表示されている。また、第２面ＳＦ２ｂには操作項目「電話」と対応付けられた画像が、第３面ＳＦ３ｂには操作項目「オーディオ」と対応づけられた画像が、それぞれ表示されている。このような構成においても、操作用ＧＵＩ５００ｂには、ナビゲーション装置Ｎａｖの機能情報ＦＬの示す機能が表示されているので、上記実施形態と同様な効果を奏する。

この他にも、例えば、機能情報ＦＬの示す機能に対して色を予め対応付けておき、操作用ＧＵＩ５００の各面をその色を付して表示してもよい。また、例えば、画像と色とを表示させてもよい。すなわち、一般には、機能情報ＦＬの示す機能に対して予め対応づけられている画像、名称、色のうちの少なくとも一つを操作用ＧＵＩ５００に表示させる構成であれば、上記実施形態と同様な効果を奏する。加えて、使用者は機能情報ＦＬを容易に識別でき、使用者の利便性を向上できる。

Ｂ５．変形例５：
上記実施形態において、操作用ＧＵＩ表示処理は、ＨＭＤ１００の使用者が車両に搭乗中に実行されていたが、本発明はこれに限定されない。操作用ＧＵＩ表示処理は、例えば、ＨＭＤ１００の使用者が飛行機の搭乗中に実行されてもよい。この場合、操作用ＧＵＩ５００に表示される機能情報ＦＬとしては、機内案内および映画鑑賞等の操作項目が該当する。したがって、操作用ＧＵＩ表示処理が実行される場面に応じて、操作用ＧＵＩ５００に表示される機能情報ＦＬは異なるが、ＨＭＤ１００の使用者のジェスチャーを検出して、検出した位置に基づいた表示位置に操作用ＧＵＩ５００を表示するので、このような構成においても、上記実施形態と同様な効果を奏する。また、操作用ＧＵＩ表示処理は、車両や飛行機などの移動体に搭乗中でなくても実行されてもよい。例えば、屋内において、プロジェクターやゲーム機器をＨＭＤ１００で操作するような場合に実行されてもよい。

Ｂ６．変形例６：
上記実施形態において、操作用ＧＵＩ５００の表示終了の契機は、操作用ＧＵＩ５００の表示後所定時間操作用ＧＵＩ５００の操作を指示するジェスチャーを検出しなかった場合であったが、本発明はこれに限定されない。例えば、操作用ＧＵＩ５００に操作項目として「終了」が割り当てられる構成としてもよい。この場合、ＨＭＤ１００の使用者は、操作項目「終了」の機能の実行を指示するジェスチャーを行うことにより、操作用ＧＵＩ５００の表示を終了させることができる。このような構成においても、上記実施形態と同様な効果を奏する。

Ｂ７．変形例７：
上記実施形態および変形例において、ジェスチャー入力は左手ＬＨのみ有効であり、操作検出部１５７は、ＨＭＤ１００の使用者の左手ＬＨの形状を検出していたが、本発明はこれに限定されない。例えば、ＨＭＤ１００の使用者の右手ＲＨのみを有効として右手ＲＨの形状を検出してもよい。また、操作対象装置ごとに検出する手を予め定めておいてもよい。一例として、操作対象装置が車両に搭載されるナビゲーション装置Ｎａｖである場合、検出する手は左手または右手であると予め定めておき、予め定められた手とは異なる手または両手でジェスチャーが行われた場合には、ジェスチャーを検出していないと判定してもよい。具体的には、例えば、上述のステップＳ１１０において、操作検出部１５７は、操作用ＧＵＩの表示を指示するジェスチャーが両手でされていることを検出した場合、操作用ＧＵＩの表示を指示するジェスチャーを検出していないと判定してもよい。また、このとき、使用者は、ハンドルＨＤから両手を離していることになるため、表示制御部１４７は、警告表示をしてもよい。このような構成においても、操作検出部１５７は、予め定められたジェスチャーである手の形状を検出するため、上記実施形態と同様な効果を奏する。

Ｂ８．変形例８：
上記実施形態において、操作検出部１５７は、撮像画像を解析することによりジェスチャーを検出していたが、本発明はこれに限定されない。例えば、ＨＭＤ１００に赤外線センサーを備える構成であれば、熱感知により手の形状を検出することにより、予め定められたジェスチャーを検出してもよい。また、例えば、操作対象装置や、操作対象装置とは異なる車載装置が撮像機能等を備えており、ジェスチャーを検出可能な構成であれば、操作対象装置等の車載装置側でジェスチャーを検出してもよい。このような構成においても、上記実施形態と同様な効果を奏する。

Ｂ９．変形例９：
上記実施形態において、操作用ＧＵＩ５００は表示領域ＰＮにおける左下近傍に表示されていたが、本発明はこれに限定されない。例えば、操作用ＧＵＩ５００の表示を指示するジェスチャーが表示領域ＰＮにおける右上近傍において検出された場合、操作用ＧＵＩ５００は表示領域ＰＮにおける右上近傍に表示されてもよい。また、例えば、操作用ＧＵＩ５００の表示を指示するジェスチャーが表示領域ＰＮにおける中央部分において検出された場合、操作用ＧＵＩ５００は表示領域ＰＮにおける中央部分に表示されてもよい。すなわち、一般には、操作用ＧＵＩ５００は、検出されたジェスチャーの位置に応じて定められる表示位置に表示される構成であれば、上記実施形態と同様な効果を奏する。

Ｂ１０．変形例１０：
上記実施形態において、機能情報ＦＬは、図１１に示す例に限られない。例えば、操作項目の利用回数や、ＨＭＤ１００からナビゲーション装置Ｎａｖに機能の実行命令を送信する際に必要となるパラメーター等の情報を含んでいてもよい。機能情報ＦＬに操作項目の利用回数が含まれる場合、表示制御部１４７は、使用頻度の高い操作項目を操作用ＧＵＩ５００における優先度の高い面から順に割り当ててもよい。このような構成においても、上記実施形態と同様な効果を奏する。

Ｂ１１．変形例１１：
上記各実施形態において、操作用ＧＵＩ表示処理を実行する表示装置は、ＨＭＤ１００であったが、本発明はこれに限定されない。例えば、ヘッドアップディスプレイ（ＨＵＤ）であってもよいし、ビデオシースルー型ＨＭＤであってもよい。また、据え置き型の透過型表示装置でもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｂ１２．変形例１２：
上記実施形態および変形例において、表示制御部１４７の機能の少なくとも一部を他の制御機能部が実行してもよい。具体的には、上記各実施形態において表示制御部１４７は、ＯＬＥＤパネル２２３、２４３による画像の表示の実行と、操作用ＧＵＩ表示処理と、を実行していたが、例えば、操作用ＧＵＩ表示処理を他の制御機能部が実行してもよい。また、これら制御機能部の機能および処理の一部又は全部は、ＣＰＵ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のデジタル回路を用いて実現してもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｂ１３．変形例１３：
上記変形例２において、操作用ＧＵＩ５００ａ２の表示位置は操作用ＧＵＩ５００ａ１の＋Ｙ方向であったが、本発明はこれに限定されない。例えば、操作用ＧＵＩ５００ａ２は、操作用ＧＵＩ５００ａ１の−Ｘ方向に表示されてもよいし、操作用ＧＵＩ５００ａ１の−Ｙ方向に表示されてもよい。また、例えば、操作用ＧＵＩ５００ａ２は、操作用ＧＵＩ５００ａ１の周囲における任意の位置に表示されてもよい。また、例えば、各操作用ＧＵＩ５００ａ１、ａ２の表示位置を指示するジェスチャーを予め定めておき、かかるジェスチャーを検出した場合、使用者により指示された表示位置に各操作用ＧＵＩ５００ａ１、ａ２を表示してもよい。このような構成においても、上記変形例２と同様な効果を奏する。

Ｂ１４．変形例１４：
上記変形例２において、操作用ＧＵＩ５００ａは２つの操作用ＧＵＩ５００ａ１および５００ａ２から構成されていたが、本発明はこれに限定されない。例えば、操作用ＧＵＩ５００ａは、３つ以上の操作用ＧＵＩから構成されていてもよい。例えば、操作対象装置が複数存在する場合、各操作対象装置を操作するための専用のＧＵＩをそれぞれ表示してもよい。この構成においては、操作用ＧＵＩ５００ａは、操作対象装置ごとの操作用ＧＵＩの集合と捉えることができる。この構成では、複数の操作対象装置のうちＨＭＤ１００と接続可能な操作対象装置を一度に探して、見つかった操作対象装置とＨＭＤ１００との接続を行って、操作用ＧＵＩ５００ａを表示してもよい。また、各操作対象装置を１つずつ所定の順番でＨＭＤ１００と接続させ、接続された操作対象装置についての操作用ＧＵＩ５００を順次表示してもよい。また、複数の操作対象装置について１台毎に使用者から接続指示がある度に、当該操作対象装置についての操作用ＧＵＩ５００を表示させてもよい。この場合、最初に表示された操作用ＧＵＩ５００の周りに２つ目以降の操作用ＧＵＩ５００を並べて表示してもよいし、１つずつジェスチャー入力により指定された位置に合わせて表示させてもよい。このような構成においても、上記変形例２と同様な効果を奏する。

Ｂ１５．変形例１５：
上記実施形態において、操作用ＧＵＩ表示処理におけるステップＳ１５５では、操作用ＧＵＩ５００の選択された面を点滅表示していたが、本発明はこれに限定されない。例えば、選択された面をハイライト表示してもよいし、選択された面の色をぼかして表示してもよい。また、例えば、選択された面に表示されている画像および名称を点滅表示してもよく、使用者に対して選択された面に割り当てられた操作項目を実行することを知らせることができる表示態様であれば、他の任意の表示態様であってもよい。このような構成においても、上記実施形態と同様な効果を奏する。

Ｂ１６．変形例１６：
上記実施形態において、操作用ＧＵＩ５００を表示した後、操作用ＧＵＩ５００の表示態様を変更して表示してもよい。具体的には、使用者の頭部の移動速度が所定の速度以上である場合、操作用ＧＵＩ５００の大きさを小さくして表示してもよい。また、例えば、輝度を低下させて表示してもよいし、透過度を高めて表示してもよい。また、例えば、操作用ＧＵＩ５００の画素を所定の間隔の画素ごとに黒画素にして表示してもよい。このような構成においても、上記実施形態と同様な効果を奏する。また、使用者の頭部が動いている場合に操作用ＧＵＩ５００によって視界が遮られることを抑制できる。

Ｂ１７．変形例１７：
上記実施形態において、操作用ＧＵＩ表示処理を実行するたびに機能情報ＦＬの全部を取得していたが、本発明はこれに限定されない。例えば、機能情報ＦＬの一部を取得してもよい。具体的には、操作対象装置との初回接続時に機能情報ＦＬの全部を取得して設定データ１２３に記憶しておき、次に同じ操作対象装置から機能情報ＦＬを取得する際は、前回取得した機能情報ＦＬからの差分のみを取得してもよい。このような構成においても、上記実施形態と同様な効果を奏する。

Ｂ１８．変形例１８：
上記実施形態において、機能情報ＦＬは、操作対象装置から直接取得していたが、本発明はこれに限定されない。例えば、通信キャリアを介してインターネットに接続されたサーバーにアクセスして機能情報ＦＬを取得してもよい。また、例えば、無線ＬＡＮ装置から送信されるビーコンパケット等から操作対象装置の機能情報ＦＬのリンク先を示す情報を取得して、取得した情報の示すリンク先から機能情報ＦＬを取得してもよい。このような構成においても、上記実施形態と同様な効果を奏する。

Ｂ１９．変形例１９：
上記実施形態において、ＨＭＤ１００とナビゲーション装置Ｎａｖとは無線接続されていたが、本発明はこれに限定されない。例えば、有線接続されていてもよい。また、例えば、有線および無線の双方で接続し、操作対象装置や取得する機能情報の内容によって有線接続あるいは無線接続を使い分けてもよい。また、例えば、操作対象装置が車両に搭載されている場合、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を利用して通信してもよい。このような構成においても、上記実施形態と同様な効果を奏する。

Ｂ２０．変形例２０：
上記実施形態において、予め定められたジェスチャーは上述した各ジェスチャーに限られない。例えば、上述したジェスチャーとは異なるジェスチャーが定められていてもよいし、使用者の所望するジェスチャーを予め設定してもよい。例えば、手を開いた状態のまま手の平が下を向いた状態から上を向いた状態に返すジェスチャーを設定してもよい。また、操作用ＧＵＩ５００の各操作と対応づけられるジェスチャーが上述した例と異なっていてもよい。このような構成においても、上記実施形態と同様な効果を奏する。

Ｂ２１．変形例２１：
上記実施形態において、操作検出部１５７は、予め定められたジェスチャーを検出していたが、本発明はこれに限定されない。例えば、予め定められたジェスチャーに類似するジェスチャーを検出してもよい。この場合、使用者が行ったと考えられるジェスチャーの候補画像を表示して使用者に選択させて、選択された画像に示すジェスチャーを検出したとして、そのジェスチャーに対応づけられている操作用ＧＵＩ５００の操作を実行してもよい。このような構成においても、上記実施形態と同様な効果を奏する。

本発明は、上述の実施形態および変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御装置、１２…点灯部、１４…トラックパッド、１６…方向キー、１７…決定キー、１８…電源スイッチ、１９…バイブレーター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、６１…カメラ、６３…マイク、６５…照度センサー、６７…ＬＥＤインジケーター、１００…頭部装着型表示装置、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳレシーバー、１１７…無線通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶機能部、１２３…設定データ、１２４…コンテンツデータ、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４５…画像処理部、１４７…表示制御部、１４９…撮像制御部、１５０…制御機能部、１５１…入出力制御部、１５３…通信制御部、１５５…機能情報取得部、１５７…操作検出部、１８０…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９６…インターフェイス、２１０…表示ユニット基板、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１…ＯＬＥＤユニット、２２３…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２３０…表示ユニット基板、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、２４３…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２５１…右光学系、２５２…左光学系、２６１…ハーフミラー、２８１…ハーフミラー、ＣＬＨ…左手、Ｃｔｌ１…機器、Ｃｔｌ２…機器、Ｃｔｌ３…機器、Ｃｔｌ４…機器、Ｃｔｌ５…機器、ＥＬ…端部、ＥＲ…端部、Ｅｍ１…バックミラー、Ｅｍ２…サイドミラー、Ｅｍ４…スピードメーター、ＦＬ…機能情報、５００…操作用ＧＵＩ、５００ａ…操作用ＧＵＩ、５００ａ１…操作用ＧＵＩ、５００ａ２…操作用ＧＵＩ、５００ｂ…操作用ＧＵＩ、ＨＤ…ハンドル、Ｌ…画像光、Ｌ１…音楽１、Ｌ２…音楽２、Ｌ３…音楽３、ＬＤ…視線、ＬＥ…左眼、ＬＦ１…親指、ＬＦ２…人差し指、ＬＨ…左手、Ｌｓｔ…音楽リスト、Ｎａｖ…ナビゲーション装置、ＯＢ…対象物、ＯＬ…外光、ＯＬＨ…左手、ＰＮ…表示領域、Ｐｃｔ１…撮像画像、Ｐｃｔ２…撮像画像、ＲＡ１…撮像領域、ＲＤ…視線、ＲＥ…右眼、ＲＨ…右手、ＳＣ…外界、ＳＦ１…第１面、ＳＦ１ｂ…第１面、ＳＦ２…第２面、ＳＦ２ｂ…第２面、ＳＦ３…第３面、ＳＦ３ｂ…第３面、ＳＦ４…第４面、ＳＦ５…第５面、ＳＦ６…第６面、ＶＲ…視界、ｄｘ…距離

Claims (11)

1. 透過型表示装置であって、
   光透過性を有する画像表示部と、
   操作対象装置の機能情報を取得する機能情報取得部と、
   取得した前記機能情報を用いて、前記操作対象装置の操作用ＧＵＩを表示させる表示制御部と、
   前記透過型表示装置の使用者の予め定められたジェスチャーを検出する操作検出部と、
   を備え、
   前記表示制御部は、検出された前記ジェスチャーの位置に応じて定められる表示位置に、前記画像表示部を透過して視認される外界に重ねて前記操作用ＧＵＩを表示させる、
   透過型表示装置。
2. 請求項１に記載の透過型表示装置において、
   前記操作用ＧＵＩの表示位置は、検出された前記ジェスチャーの位置を基準とした相対的な位置として定められる、
   透過型表示装置。
3. 請求項１に記載の透過型表示装置において、
   前記表示制御部は、前記画像表示部における中央部を除く領域に前記操作用ＧＵＩを表示させる、
   透過型表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の透過型表示装置において、
   前記表示制御部は、取得した前記機能情報の示す機能に対して予め対応づけられている画像、名称、色のうちの少なくとも一つを前記操作用ＧＵＩに表示させる、
   透過型表示装置。
5. 請求項１から請求項４までのいずれか一項に記載の透過型表示装置において、
   前記操作用ＧＵＩの操作内容と、前記使用者のジェスチャーと、が予め対応付けられており、
   前記表示制御部は、検出された前記使用者のジェスチャーに応じて、前記操作用ＧＵＩの操作を実行する、
   透過型表示装置。
6. 請求項１から請求項５までのいずれか一項に記載の透過型表示装置において、
   前記機能情報取得部は、前記操作対象装置と前記透過型表示装置との接続完了を契機として、前記機能情報を取得する、
   透過型表示装置。
7. 請求項１から請求項６までのいずれか一項に記載の透過型表示装置において、
   前記表示制御部は、検出された前記ジェスチャーが予め定められたジェスチャーである場合に前記操作用ＧＵＩを表示させる、
   透過型表示装置。
8. 請求項１から請求項７までのいずれか一項に記載の透過型表示装置において、
   前記表示制御部は、前記画像表示部の表示領域内に前記使用者のジェスチャーが検出された場合に前記操作用ＧＵＩを表示させる、
   透過型表示装置。
9. 請求項１から請求項８までのいずれか一項に記載の透過型表示装置において、
   前記表示制御部は、前記画像表示部の表示領域内における前記操作用ＧＵＩが表示されていない領域に前記機能情報に関連する情報を表示させる、
   透過型表示装置。
10. 光透過性を有する画像表示部を備える透過型表示装置における表示制御方法であって、
    操作対象装置の機能情報を取得する工程と、
    取得した前記機能情報を用いて、前記操作対象装置の操作用ＧＵＩを表示させる工程と、
    前記透過型表示装置の使用者の予め定められたジェスチャーを検出する工程と、
    検出された前記ジェスチャーの位置に応じて定められる表示位置に、前記画像表示部を透過して視認される外界に重ねて前記操作用ＧＵＩを表示させる工程と、
    を備える、
    表示制御方法。
11. 光透過性を有する画像表示部を備える透過型表示装置における表示制御方法を実現するためのコンピュータープログラムであって、
    操作対象装置の機能情報を取得する機能と、
    取得した前記機能情報を用いて、前記操作対象装置の操作用ＧＵＩを表示させる機能と、
    前記透過型表示装置の使用者の予め定められたジェスチャーを検出する機能と、
    検出された前記ジェスチャーの位置に応じて定められる表示位置に、前記画像表示部を透過して視認される外界に重ねて前記操作用ＧＵＩを表示させる機能と、
    を備える、
    をコンピューターに実現させるための、
    コンピュータープログラム。

Images