JP2015084150A - 頭部装着型表示装置および頭部装着型表示装置の制御方法 - Google Patents

Abstract

【課題】虚像の表示環境に関する種々の条件を考慮して外景に仮想オブジェクトを融像させることで、使用者の視覚的な違和感を緩和した拡張現実感を提供する。【解決手段】使用者が虚像と外景を視認可能な頭部装着型表示装置は、使用者に虚像を視認させる画像表示部と、使用者に拡張現実感を与えるためのオブジェクトである仮想オブジェクトであって、使用者の視覚的な違和感が緩和された仮想オブジェクトを表す虚像を、前記画像表示部に形成させる拡張現実処理部と、を備える。【選択図】図４

Description

本発明は、頭部装着型表示装置に関する。

観察者の頭部に装着されて用いられることによって、観察者の視野領域に虚像を形成する頭部装着型表示装置が知られている。この頭部装着型表示装置は、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）とも呼ばれ、頭部装着型表示装置を装着した状態において使用者の視界が遮断される非透過型の頭部装着型表示装置と、頭部装着型表示装置を装着した状態で使用者の視界が遮断されない透過型の頭部装着型表示装置とがある。

一方、現実環境にコンピューターを用いて情報を付加提示する拡張現実感（ＡＲ、Augmented Reality）と呼ばれる技術が知られている。拡張現実感を実現する方法として、画像認識による方法と、パススルー方式に基づく方法と、が知られている。画像認識による方法の場合、例えばＷＥＢカメラ等で撮像された外景の画像を画像認識することで仮想オブジェクトが生成される。パススルー方式に基づく方法の場合、例えばＧＰＳ等で取得された現在位置情報と、例えば電子コンパス等で取得された方位情報とを用いて仮想オブジェクトが生成される。非透過型の頭部装着型表示装置では、外景の画像と、上記のようにして生成された仮想オブジェクトとを重畳させた画像が、液晶ディスプレイに表示される。これにより、使用者は拡張現実感を体感することができる。透過型の頭部装着型表示装置では、上記のようにして生成された仮想オブジェクトのみが液晶ディスプレイに表示される。使用者は、液晶ディスプレイを介して虚像として表示された仮想オブジェクトと、目前のレンズを透過して見える実際の外景との両方を視認することで、拡張現実感を体感することができる。このため、光学透過型の頭部装着型表示装置において使用者の視覚的な違和感を緩和した拡張現実感を提供するためには、使用者が実際に目にする外景に対して、虚像として表示される仮想オブジェクトを融像させる必要がある。

特許文献１には、外景に仮想オブジェクトを融像させるために、使用者から外景に含まれる実オブジェクトまでの距離と、仮想オブジェクトまでの距離とを、略同じ距離とする技術が記載されている。特許文献１では、使用者と実オブジェクトとの間の距離Ｄを求め、距離Ｄから実オブジェクトの輻輳角θを決定し、実オブジェクトの輻輳角θ±４０分となるような仮想オブジェクトの輻輳角を演算して、演算した輻輳角を実現する右眼用の画像データーと、左眼用の画像データーとを生成する。特許文献２には、外景に仮想オブジェクトを融像させるために、仮想オブジェクトの輻輳角を調節可能とする技術が記載されている。特許文献３には、非透過型の頭部装着型表示装置において使用者の視覚的な違和感を緩和した拡張現実感を提供するために、外景画像を撮像するためのカメラを、予め測定した撮像パラメーターに応じて調整する技術が記載されている。

特許文献４および特許文献５には、外景に仮想オブジェクトを重畳させた際の違和感を低減するために、カメラで撮影された使用者の視線方向の画像から、肌色などの特定色領域を切り出して、仮想オブジェクトをマスキングする技術が記載されている。

特許第３７１７６５３号公報 特開平５−３２８４０８号公報 特開２００８−２２７８６５号公報 特開２００５−３４６４６８号公報 特開２００３−２９６７５９号公報

頭部装着型表示装置において、狙った輻輳角で仮想オブジェクトの虚像を立体表示させるためには、例えば、液晶ディスプレイの大きさ、使用者の左右の眼前に表示される虚像間の距離、使用者の眼間距離、といった虚像の表示環境に関する種々の条件を考慮することが必要である。しかし、特許文献１および特許文献２に記載の技術では、この点について十分な考慮がなされていないという問題があった。また、特許文献３に記載の技術では、光学透過型の頭部装着型表示装置を対象としていない。このため、虚像の表示環境に関する種々の条件を考慮して外景に仮想オブジェクトを融像させることで、使用者の視覚的な違和感を緩和した拡張現実感を提供可能な光学透過型の頭部装着型表示装置が望まれていた。

また、特許文献４および特許文献５の記載の技術では、カメラで撮影された画像に基づいて仮想オブジェクトを加工するため、現実世界において見られるような、前後関係が複雑な複数の物体や、色彩が似通った物体について、仮想オブジェクトの加工の精度が確保できないという問題があった。このため、より精度よく仮想オブジェクトを外景に融像させることで、使用者の視覚的な違和感を緩和した拡張現実感を提供可能な光学透過型の頭部装着型表示装置が望まれていた。

以上のように、使用者の視覚的な違和感を緩和した拡張現実感を提供可能な光学透過型の頭部装着型表示装置が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、使用者が虚像と外景を視認可能な頭部装着型表示装置が提供される。この頭部装着型表示装置は；前記使用者に前記虚像を視認させる画像表示部と；前記使用者に拡張現実感を与えるためのオブジェクトである仮想オブジェクトであって、前記使用者の視覚的な違和感が緩和された前記仮想オブジェクトを表す前記虚像を、前記画像表示部に形成させる拡張現実処理部と、を備える、頭部装着型表示装置。この形態の頭部装着型表示装置によれば、画像表示部は、使用者の視覚的な違和感が緩和された仮想オブジェクトを虚像として使用者に視認させる。このため、使用者の視覚的な違和感を緩和した拡張現実感を提供可能な光学透過型の頭部装着型表示装置を提供することができる。

（２）上記形態の頭部装着型表示装置において；前記拡張現実処理部は、前記使用者の周囲の環境を３次元空間内の仮想的な立体物として表現した３次元情報を用いて、前記仮想オブジェクトを前記環境に調和させることで、前記仮想オブジェクトに対する前記違和感を緩和してもよい。この形態の頭部装着型表示装置によれば、拡張現実処理部は、仮想オブジェクトを周囲の環境に調和させる。これにより、画像表示部は、使用者の視覚的な違和感が緩和された仮想オブジェクトを虚像として使用者に視認させることができる。また、拡張現実処理部は、３次元情報を用いて仮想オブジェクトを周囲の環境に調和させる。このため、カメラで撮影された画像に基づいて仮想オブジェクトを周囲の環境に調和させる場合と比較して、調和の精度を向上させることができる。

（３）上記形態の頭部装着型表示装置において；前記拡張現実処理部は；前記３次元情報内に前記仮想オブジェクトを配置し；前記仮想オブジェクトと前記３次元情報とのうちの少なくとも一方に対して、前記環境に応じた視覚効果を加えた後、前記仮想オブジェクトを２次元化することで、前記仮想オブジェクトに対する前記違和感を緩和してもよい。この形態の頭部装着型表示装置によれば、拡張現実処理部は、３次元情報を用いて、仮想オブジェクトに周囲の環境に応じた視覚効果を加えることができる。

（４）上記形態の頭部装着型表示装置において；前記環境に応じた視覚効果は、少なくとも；前記仮想オブジェクトのうち前記３次元情報内の前記立体物の陰になる部分のトリミングと；前記環境に準じた前記仮想オブジェクトのライティングと；前記環境に準じて設定された前記３次元情報内の前記立体物の反発係数と摩擦係数との少なくとも一方に基づく、前記仮想オブジェクトの挙動の調整と、のうちのいずれか一つを含んでもよい。この形態の頭部装着型表示装置によれば、拡張現実処理部は、仮想オブジェクトに対して、環境に準じたトリミング、環境に準じたライティング、環境に準じた挙動の調整のうち、少なくともいずれかの視覚効果を加えることができる。

（５）上記形態の頭部装着型表示装置では、さらに；前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の画像を取得する画像取得部を備え；前記拡張現実処理部は、前記画像取得部によって取得された前記視界方向の画像を画像認識することで、前記環境を推定してもよい。この形態の頭部装着型表示装置によれば、拡張現実処理部は、使用者の視界方向の画像を画像認識することで、自動的に、使用者の周囲の環境を推定することができる。

（６）上記形態の頭部装着型表示装置において；前記拡張現実処理部は、前記仮想オブジェクトを２次元化する際に、前記使用者の眼から前記使用者の注視点までの間の距離を考慮してもよい。この形態の頭部装着型表示装置によれば、拡張現実処理部は、仮想オブジェクトを２次元化する際に使用者の眼から使用者の注視点までの間の距離を考慮する。このため、例えば、使用者の注視点から外れた位置の仮想オブジェクトに対して、ピンボケ効果を追加することも可能となる。

（７）上記形態の頭部装着型表示装置において；前記拡張現実処理部は、前記仮想オブジェクトを表す右眼用の右眼用画像データーと、左眼用の左眼用画像データーとを生成することで、前記仮想オブジェクトに対して、前記仮想オブジェクトの立体視を可能にするための視覚効果を加えて前記仮想オブジェクトに対する前記違和感を緩和し；前記画像表示部は、前記右眼用画像データーと、前記左眼用画像データーとを用いて、前記使用者の左右の眼に異なる前記虚像を視認させ；さらに、同一の前記右眼用画像データーと前記左眼用画像データーとに基づいて表示された前記虚像の第１の輻輳角と、左右にずらした前記右眼用画像データーと前記左眼用画像データーとに基づいて表示された前記虚像の第２の輻輳角と、の差分を記憶する画素視差角記憶部を備え；前記拡張現実処理部は、前記画素視差角記憶部に記憶されている前記差分を用いて、前記外景に前記仮想オブジェクトを融像させるための前記右眼用画像データーと前記左眼用画像データーとを生成してもよい。この形態の頭部装着型表示装置によれば、画素視差角記憶部に記憶されている差分は、同一の右眼用画像データーと左眼用画像データーとに基づいて表示された虚像の第１の輻輳角と、左右にずらした右眼用画像データーと左眼用画像データーとに基づいて表示された虚像の第２の輻輳角との差分である。このため、画素視差角記憶部に記憶されている差分は、左右にずれた画像データーによって実現される視差角であって、虚像の表示環境に関する種々の条件を考慮して定められた視差角であると言える。従って、拡張現実処理部は、画素視差角記憶部に記憶されている差分を用いて、虚像の表示環境に関する種々の条件を考慮して、外景に仮想オブジェクトを融像させるための右眼用画像データーと左眼用画像データーとを生成することができる。このように、拡張現実処理部は、画像データーの生成の際、虚像の表示環境に関する種々の条件を考慮して外景に仮想オブジェクトを融像させるため、使用者の視覚的な違和感を緩和した拡張現実感を提供可能な頭部装着型表示装置を実現することができる。

（８）上記形態の頭部装着型表示装置において；前記拡張現実処理部は；前記使用者に前記仮想オブジェクトを視認させる目標距離を決定し；決定した前記目標距離から、前記目標距離における輻輳角である目標輻輳角を算出し；算出した前記目標輻輳角と前記第１の輻輳角とを用いて、前記目標距離における視差角である目標視差角を算出し；前記目標視差角と、前記画素視差角記憶部に記憶されている前記差分とを用いて、前記仮想オブジェクトを表す単一の画像データーから、前記右眼用画像データーと前記左眼用画像データーとを生成してもよい。この形態の頭部装着型表示装置によれば、拡張現実処理部は、使用者に仮想オブジェクトを視認させる目標距離を決定し、決定した目標距離から目標距離における輻輳角である目標輻輳角を算出し、算出した目標輻輳角と第１の輻輳角とを用いて、目標距離における視差角である目標視差角を算出する。拡張現実処理部は、このようにして算出した目標視差角と、画素視差角記憶部に記憶されている差分とを用いることで、仮想オブジェクトを表す単一の画像データーから、異なる右眼用画像データーと左眼用画像データーとを生成することができる。

（９）上記形態の頭部装着型表示装置において；前記拡張現実処理部は；前記使用者に前記仮想オブジェクトを視認させる目標距離を決定し；決定した前記目標距離に基づいて、３Ｄモデル空間上に２Ｄ投影画像を取得するための２箇所の仮想カメラを設定し；決定した前記目標距離から、前記目標距離における輻輳角である目標輻輳角を算出し；算出した前記目標輻輳角と前記第１の輻輳角とを用いて、前記目標距離における視差角である目標視差角を算出し；前記目標視差角と、前記画素視差角記憶部に記憶されている前記差分とを用いて、一方の前記仮想カメラによる２Ｄ投影画像をスケーリングして前記右眼用画像データーを生成し、他方の前記仮想カメラによる２Ｄ投影画像をスケーリングして前記左眼用画像データーを生成してもよい。この形態の頭部装着型表示装置によれば、拡張現実処理部は、使用者に仮想オブジェクトを視認させる目標距離を決定し、決定した目標距離から目標距離における輻輳角である目標輻輳角を算出し、算出した目標輻輳角と第１の輻輳角とを用いて、目標距離における視差角である目標視差角を算出する。拡張現実処理部は、このようにして算出した目標視差角と、画素視差角記憶部に記憶されている差分とを用いることで、２箇所の仮想カメラによる２Ｄ投影画像をそれぞれスケーリングして、右眼用画像データーと左眼用画像データーとを生成することができる。

（１０）上記形態の頭部装着型表示装置では、さらに；前記使用者の眼間距離を記憶する眼間距離記憶部を備え；前記拡張現実処理部は、前記２箇所の仮想カメラを設定する際、前記決定した目標距離に基づいて、３Ｄモデル空間上に仮想的な視点である仮想視点を配置し、配置された前記仮想視点から眼間距離／２離れた位置に一方の仮想カメラを配置し、配置された前記仮想視点から眼間距離／２離れた位置に他方の仮想カメラを配置してもよい。この形態の頭部装着型表示装置によれば、拡張現実処理部は、３Ｄモデル空間上に仮想カメラを設定する際、まず、使用者に仮想オブジェクトを視認させる目標距離に基づいて仮想視点を配置する。そして、拡張現実処理部は、配置された仮想視点から眼間距離／２離れた位置に一方の仮想カメラを配置し、配置された仮想視点から眼間距離／２離れた位置に他方の仮想カメラを配置する。この結果、仮想カメラは、使用者に仮想オブジェクトを視認させる目標距離と、使用者の眼間距離との両方を考慮した２Ｄ投影画像を取得することができる。

（１１）上記形態の頭部装着型表示装置では、さらに；前記使用者の瞳孔間距離を測定する瞳孔間距離測定部を備え；前記瞳孔間距離測定部による測定結果は、前記眼間距離として前記眼間距離記憶部に記憶されてもよい。この形態の頭部装着型表示装置によれば、使用者ごとにそれぞれ瞳孔間距離を測定して眼間距離記憶部を更新するため、使用者に応じた瞳孔間距離を、眼間距離記憶部に記憶させることができる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、拡張現実処理部と、画像表示部と、画素視差角記憶部と、の３つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、拡張現実処理部を有していてもよく、有していなくてもよい。また、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、この装置は、画素視差角記憶部を有していてもよく、有していなくてもよい。こうした装置は、例えば頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。

本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。 ヘッドマウントディスプレイの構成を機能的に示すブロック図である。 使用者に視認される虚像の一例を示す説明図である。 拡張現実処理の手順を説明するための説明図である。 眼間距離と画素視差角について説明するための説明図である。 ＡＲ処理部が、画像データーから、右眼用画像データーと左眼用画像データーとを生成する様子を示す説明図である。 第２実施例における拡張現実処理の手順を表すフローチャートである。 第２実施例における拡張現実処理の詳細を説明するための説明図である。 ＡＲ処理部が、仮想視点に配置された仮想カメラの２Ｄ投影画像を用いて、投影により得られた画像をスケーリングする様子を示す説明図である。 第３実施例における拡張現実処理の手順を表すフローチャートである。 第２実施形態におけるヘッドマウントディスプレイの構成を機能的に示すブロック図である。 第２実施形態における拡張現実処理の手順を示すフローチャートである。 マスクオブジェクトの一例を示す説明図である。 マスクオブジェクトに対する仮想オブジェクトの配置の一例を示す説明図である。 ライティング実施後の仮想オブジェクトの様子を示す説明図である。 反発係数と摩擦係数とに基づいて仮想オブジェクトの挙動が調整される様子を示す説明図である。 仮想カメラの２Ｄ投影により得られた画像データーを示す説明図である。 第２実施形態の拡張現実処理において使用者に視認される虚像の一例を示す説明図である。 変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。

Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のヘッドマウントディスプレイ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。

ヘッドマウントディスプレイ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、瞳孔間距離測定部６２と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２は、右保持部２１の内側、換言すれば、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部２４は、左保持部２３の内側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部は、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）２４１、２４２や投写光学系２５１、２５２等を含む（図２参照）。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板２６１、２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（使用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１、２６２を保護し、導光板２６１、２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。カメラ６１は、画像表示部２０の表側方向、換言すれば、ヘッドマウントディスプレイ１００を装着した状態における使用者の視界方向の外景（外部の景色）を撮像し、外景画像を取得する。カメラ６１はいわゆる可視光カメラであり、カメラ６１により取得される外景画像は、物体から放射される可視光から物体の形状を表す画像である。本実施形態におけるカメラ６１は単眼カメラであるが、ステレオカメラとしてもよい。カメラ６１は「画像取得部」として機能する。

瞳孔間距離測定部６２は、使用者の瞳孔間距離を測定する。瞳孔間距離とは、使用者の右眼ＲＥの虹彩の中心と使用者の左眼ＬＥの虹彩の中心との間の距離である。瞳孔間距離測定部６２は、図１に示すように画像表示部２０の内面に配置されて、使用者の右眼ＲＥおよび左眼ＬＥの画像を撮影する２つのカメラと、撮影された画像を例えば３角測量による方法を用いて解析し、左右の眼の虹彩の中心間の距離を計算する処理部とからなる。なお、瞳孔間距離測定部６２は、カメラに代えて、超音波や赤外線を用いて、使用者の瞳孔間距離を測定してもよい。また、瞳孔間距離測定部６２は、上述した方法を複数組み合わせて、使用者の瞳孔間距離を測定することもできる。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６とは反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや光ファイバーを採用することができる。

制御部１０は、ヘッドマウントディスプレイ１００を制御するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。点灯部１２は、ヘッドマウントディスプレイ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ヘッドマウントディスプレイ１００の電源の状態を切り替える。

図２は、ヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、例えば、タッチパッド１４や十字キー１６、電源スイッチ１８などに対する操作入力に応じた信号を取得する。記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部１２０は、眼間距離１２２と、画素視差角１２４とを含んでいる。詳細は後述する。電源１３０は、ヘッドマウントディスプレイ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って、他の機器との間で無線通信を行う。ＧＰＳモジュール１３４は、ＧＰＳ衛生からの信号を受信することにより、自身の現在位置を検出する。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０、ＡＲ処理部１４２として機能する。ＡＲ処理部１４２は、ＯＳ１５０や、特定のアプリケーションからの処理開始要求をトリガーとして、拡張現実感を実現させるための処理（以降、「拡張現実処理」とも呼ぶ。）を実行する。詳細は後述する。なお、ＡＲ処理部１４２は、特許請求の範囲における「拡張現実処理部」に相当する。

画像処理部１６０は、インターフェイス１８０や無線通信部１３２を介して入力されるコンテンツ（映像）に基づいて信号を生成する。そして、画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、画像データーＤａｔａとを生成・送信する。具体的には、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離し、それらの周期に応じて、ＰＬＬ回路等によりクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、ＲＧＢデーターの画像データーＤａｔａとして、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。一方、ディジタル形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データーＤａｔａとを生成・送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃの生成と、アナログ画像信号のＡ／Ｄ変換とが不要となる。なお、画像処理部１６０は、記憶部１２０に格納された画像データーＤａｔａに対して、解像度変換処理や、輝度・彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データーＤａｔａとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データーＤａｔａ１」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データーＤａｔａ２」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなどを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。また、表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内の図示しないスピーカーおよび左イヤホン３４内の図示しないスピーカーに対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、９軸センサー６６とを備えている。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データーＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。光学像表示部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。

図３は、使用者に視認される虚像の一例を示す説明図である。図３（Ａ）は、通常の表示処理中の使用者の視野ＶＲを例示している。上述のようにして、ヘッドマウントディスプレイ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像ＶＩを視認する。図３（Ａ）の例では、虚像ＶＩは、ヘッドマウントディスプレイ１００のＯＳの待ち受け画面である。また、使用者は、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣを視認する。このように、本実施形態のヘッドマウントディスプレイ１００の使用者は、視野ＶＲのうち虚像ＶＩが表示された部分については、虚像ＶＩと、虚像ＶＩの背後に外景ＳＣとを見ることができる。また、視野ＶＲのうち虚像ＶＩが表示されていない部分については、光学像表示部を透過して、外景ＳＣを直接見ることができる。なお、本明細書において、「ヘッドマウントディスプレイ１００が画像を表示する」ことには、上述のように、ヘッドマウントディスプレイ１００の使用者に対して虚像を視認させることも含む。

図３（Ｂ）は、拡張現実処理中の使用者の視野ＶＲを例示している。拡張現実処理において、ヘッドマウントディスプレイ１００のＡＲ処理部１４２は、使用者が知覚する外景ＳＣを拡張するための仮想オブジェクトであって、使用者の視覚的な違和感が緩和された仮想オブジェクトを表す虚像を画像表示部２０に形成させる。具体的には、ＡＲ処理部１４２は、仮想オブジェクトに対して、使用者の視覚的な違和感を緩和可能な視覚効果を加えた画像データーを生成し、生成した画像データーを画像表示部２０へ送信する。なお、「外景ＳＣを拡張する」とは、使用者が眼にする現実環境、すなわち外景ＳＣに対して情報を付加、削除、強調、減衰させることを意味する。第１実施形態の拡張現実処理では、ＡＲ処理部１４２は、外景ＳＣに仮想オブジェクトを融像させるために、異なる右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とを生成することで、仮想オブジェクトの立体視を可能にするための視覚効果を加える。「外景に仮想オブジェクトを融像させる」とは、使用者が実際目にする外景ＳＣのうちの、使用者から所定の距離（以降、「目標距離」とも呼ぶ）だけ離れた位置に対して、仮想オブジェクトが存在するかのような感覚を使用者に対して与える虚像ＶＩを表示することを意味する。図３（Ｂ）の例では、外景ＳＣに含まれる現実の道の上に重なるように、リンゴを表す画像が虚像ＶＩとして表示されている。これにより、使用者は、あたかも何もない道の上に、リンゴが落ちているような感覚を得ることができる。図３（Ｂ）の例では、使用者の位置と、使用者が「リンゴが落ちている」と感じる位置と、の間の距離が目標距離に相当する。図３（Ｂ）の例では、リンゴが仮想オブジェクトＯＢに相当する。

Ａ−２．拡張現実処理（第１実施例）:
ＡＲ処理部１４２は、以下の手順ａ１〜ａ３によって拡張現実処理を実行する。
（ａ１）仮想オブジェクトを視認させる目標距離を決定する。
（ａ２）仮想オブジェクトを表す画像データーを生成する。
（ａ３）画像データーから右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２を生成する。

図４は、拡張現実処理の手順を説明するための説明図である。画像処理部１６０が同一の右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とを画像表示部２０へ供給した場合、使用者は、使用者から初期結像距離Ｌａだけ離れた位置ＣＯ１に物体を認識する。この際の輻輳角を「初期輻輳角θａ」と呼ぶ。手順ａ１においてＡＲ処理部１４２は、遠近感を持たせた仮想オブジェクトＯＢの表示を可能とするために、使用者に仮想オブジェクトＯＢを視認させる目標距離Ｌｂを決定する。ＡＲ処理部１４２は、例えば、以下のいずれかの方法で、目標距離Ｌｂを決定することができる。
・カメラ６１によって取得された使用者の視界方向の外景画像を解析する。
・使用者の現在位置座標と頭の動きとを解析する。この場合、使用者の現在位置座標は、ＧＰＳモジュール１３４により検出された制御部１０の位置情報により取得する。使用者の頭の動きは、９軸センサー６６により検出された動き情報により取得する。

手順ａ２においてＡＲ処理部１４２は、仮想オブジェクトＯＢを表す画像データーを生成する。第１実施例の拡張現実処理では、ＡＲ処理部１４２は、記憶部１２０内に予め記憶されている複数の画像データーから、手順ａ１の解析結果に応じた画像データーを取得する。

手順ａ３においてＡＲ処理部１４２は、手順ａ２で生成した画像データーから、右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２を生成する。この際、ＡＲ処理部１４２は、記憶部１２０に記憶されている画素視差角１２４を用いる。

図５は、眼間距離１２２と画素視差角１２４について説明するための説明図である。本実施形態では、眼間距離１２２は、光学像表示部２６の中心と左光学像表示部２８の中心との間の距離を、使用者の右眼ＲＥと左眼ＬＥとの間の距離ＤＬとみなしている。このため、眼間距離１２２には、ヘッドマウントディスプレイ１００の設計値に基づいた、右光学像表示部２６の中心と左光学像表示部２８の中心との間の距離（例えば、６５ｍｍ）が予め格納されている。なお、眼間距離１２２には、使用者の右眼ＲＥと左眼ＬＥとの間の実際の距離ＤＬが格納されていてもよい。詳細は拡張現実処理の第２実施例で説明する。また、眼間距離１２２は、使用者の好みに応じて調整可能としてもよい。眼間距離１２２は特許請求の範囲における「眼間距離記憶部」に相当する。

画素視差角１２４は、左右に１画素（ピクセル）ずれた画像データーによって実現される視差角であり、θｐｉｘ（°）で表される。画素視差角１２４は、具体的には、左右同一の画像データーに基づいて表示された虚像の輻輳角と、左右で１画素（ピクセル）ずらした画像データーに基づいて表示された虚像との輻輳角の差分である。θｐｉｘは以下のようにして求められ、画素視差角１２４に予め格納されている。
・同一の右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とに基づいて右ＬＣＤ２４１と左ＬＣＤ２４２とが駆動された場合の初期輻輳角θａを測定する。
・１画素ずらした右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とに基づいて右ＬＣＤ２４１と左ＬＣＤ２４２とが駆動された場合の輻輳角θｃを測定する。
・初期輻輳角θａと輻輳角θｃとの差分を求める（θｃ−θａ）。なお、通常はθｃ＞θａとなることが想定されるため、ここでは、輻輳角θｃから初期輻輳角θａを減ずることとする。
・片眼あたりの輻輳角の差分とするため、初期輻輳角θａと輻輳角θｃとの差分を２で除する。

すなわち、θｐｉｘ＝（θｃ−θａ）／２ と表すことができる。なお、初期輻輳角θａは特許請求の範囲における「第１の輻輳角」に相当し、輻輳角θｃは特許請求の範囲における「第２の輻輳角」に相当し、画素視差角１２４は特許請求の範囲における「画素視差角記憶部」に相当する。

図４に戻り拡張現実処理の手順の説明を続ける。手順ａ１で決定した目標距離Ｌｂ（使用者に仮想オブジェクトＯＢを視認させる距離）と、その際の輻輳角θｂと、眼間距離１２２（ＤＬ／２）は、三角関数を用いて以下の式１で表すことができる。このため、ＡＲ処理部１４２は、手順ａ１で決定した目標距離Ｌｂと、眼間距離１２２とを式１に当てはめ、目標輻輳角θｂを算出する。
ｔａｎ（θｂ／２）＝（ＤＬ／２）／Ｌｂ
ｔａｎ（θｂ／２）＝ＤＬ／（２×Ｌｂ）
θｂ／２＝ａｒｃｔａｎ｛ＤＬ／（２×Ｌｂ）｝
θｂ＝２×ａｒｃｔａｎ｛ＤＬ／（２×Ｌｂ）｝ ・・・（１）

ＡＲ処理部１４２は、求めた目標輻輳角θｂと初期輻輳角θａとを用いて、目標距離Ｌｂ（使用者に仮想オブジェクトＯＢを視認させる距離）における視差角である目標視差角θｘを算出する。具体的には、ＡＲ処理部１４２は、式２に初期輻輳角θａと目標輻輳角θｂとの値を当てはめ、目標視差角θｘを算出する。
θｘ＝（θｂ−θａ）／２ ・・・（２）
式２において、例えば、設定位置を無限遠にした場合、θｘは、θｘ＝−θａ／２として表される。

ＡＲ処理部１４２は、求めた目標視差角θｘと、画素視差角１２４とを用いて、手順ａ２の画像データーを加工し、右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とを生成する。具体的には、画素視差角１２４に格納されているθｐｉｘは、左右に１画素ずれた画像データーによって実現される視差角である。従って、目標視差角θｘを実現するための右眼用画像データーＤａｔａ１を生成するためには、元となる画像データーを左方向へθｘ／θｐｉｘ画素ずらせばよい。同様に、目標視差角θｘを実現するための左眼用画像データーＤａｔａ２を生成するためには、元となる画像データーを右方向へθｘ／θｐｉｘ画素ずらせばよい。

図６は、上述のようにして、ＡＲ処理部１４２が、画像データーＤＴから、右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とを生成する様子を示している。

ＡＲ処理部１４２は、上記のようにして生成した右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とを、画像処理部１６０へ送信する。画像処理部１６０は、受信した右眼用画像データーＤａｔａ１を、送信部５１を介して画像表示部２０へ送信する。同様に、受信した左眼用画像データーＤａｔａ２を、送信部５２を介して画像表示部２０へ送信する。その後、図２で説明した表示処理を実行する。図３（Ｂ）に示すように、ヘッドマウントディスプレイ１００の使用者は、視野ＶＲに、立体的な仮想オブジェクトＯＢを視認することができる。

なお、視力１．０である場合の人間の分解能はａｒｃｔａｎ（１．５ｍｍ／５０００ｍｍ）で表すことができ、約０．０１７°となる。従って、右眼用画像データーＤａｔａ１および左眼用画像データーＤａｔａ２により表示される虚像ＶＩと、外景ＳＣとの誤差を０．０１７°以下に設計すれば、外景ＳＣにあわせた実寸サイズの虚像ＶＩの表示が可能となる。

以上のように、第１実施例の拡張現実処理によれば、拡張現実処理部（ＡＲ処理部１４２）は、画像データー（右眼用画像データーＤａｔａ１および左眼用画像データーＤａｔａ２）の生成の際、虚像ＶＩの表示環境に関する種々の条件（右ＬＣＤ２４１および左ＬＣＤ２４２の大きさ、使用者の左右の眼前に表示される虚像ＶＩ間の距離）を考慮して外景ＳＣに仮想オブジェクトＯＢを融像させるため、使用者の視覚的な違和感を緩和した拡張現実感を提供可能な頭部装着型表示装置（ヘッドマウントディスプレイ１００）を実現することができる。具体的には、画素視差角記憶部（画素視差角１２４）に記憶されている差分（θｐｉｘ）は、同一の右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とに基づいて表示された虚像ＶＩの第１の輻輳角θａ（初期輻輳角θａ）と、左右に１画素ずらした右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とに基づいて表示された虚像の第２の輻輳角θｃとの差分である。このため、画素視差角記憶部（画素視差角１２４）に記憶されている差分（θｐｉｘ）は、左右に１画素ずれた画像データーによって実現される視差角であって、虚像ＶＩの表示環境に関する種々の条件、すなわち、右ＬＣＤ２４１および左ＬＣＤ２４２の大きさや使用者の左右の眼前に表示される虚像ＶＩ間の距離といった条件を考慮して定められた視差角であると言える。従って、拡張現実処理部（ＡＲ処理部１４２）は、画素視差角記憶部（画素視差角１２４）に記憶されている画素視差角記憶部（画素視差角１２４）を用いて、虚像ＶＩの表示環境に関する種々の条件を考慮して、外景ＳＣに仮想オブジェクトＯＢを融像させるための右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とを生成することができる。

さらに、第１実施例の拡張現実処理によれば、拡張現実処理部（ＡＲ処理部１４２）は、使用者に仮想オブジェクトＯＢを視認させる目標距離Ｌｂを決定し、決定した目標距離Ｌｂから目標距離Ｌｂにおける輻輳角である目標輻輳角θｂを算出し、算出した目標輻輳角θｂと第１の輻輳角θａ（初期輻輳角θａ）とを用いて、目標距離Ｌｂにおける視差角である目標視差角θｘを算出する。拡張現実処理部（ＡＲ処理部１４２）は、このようにして算出した目標視差角θｘと、画素視差角記憶部（画素視差角１２４）に記憶されている差分（θｐｉｘ）とを用いることで、仮想オブジェクトＯＢを表す単一の画像データーＤＴ（図６）から、異なる右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とを生成することができる。

Ａ−３．拡張現実処理（第２実施例）:
第２実施例の拡張現実処理では、ＡＲ処理部１４２は、３Ｄ（Three Dimensions）モデル空間内の仮想的な立体物から使用者の動きに応じた仮想オブジェクトを表す画像データーを生成し、生成した画像データーから右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２を生成する。第１実施例の拡張現実処理との相違は、手順ａ２、ａ３に代えて、図７の手順を実行する点である。なお、手順ａ１は第１実施例と同様であるため、説明を省略する。

図７は、第２実施例における拡張現実処理の手順を表すフローチャートである。ＡＲ処理部１４２は、眼間距離１２２の初期設定を行う（ステップＳ１０２）。具体的には、ＡＲ処理部１４２は、瞳孔間距離測定部６２（図２）により測定された使用者の瞳孔間距離を取得し、取得した距離を眼間距離１２２に記憶させる。このように、ステップＳ１０２によれば、使用者に応じた瞳孔間距離を、眼間距離１２２に記憶させることができる。

図８は、第２実施例における拡張現実処理の詳細を説明するための説明図である。図７のステップＳ１０４において、ＡＲ処理部１４２は、３Ｄモデル空間上の所定位置に仮想視点を設定する。具体的には、ＡＲ処理部１４２は、３Ｄモデル空間上の仮想オブジェクトＯＢ１から手順ａ１で求めた距離Ｌｂ離れた位置に、仮想視点ＩＶを設定する（図８）。仮想視点ＩＶは、使用者のこめかみに相当する位置であり、仮想視点ＩＶの向き（視点方向ＶＤ）は、仮想オブジェクトＯＢ１方向を向いている。なお、仮想視点ＩＶの位置は、３Ｄモデル空間の原点座標に対する移動量（ｘ，ｙ，ｚ）によって定義される。視点方向ＶＤは、仮想視点ＩＶに対する角度（θｘ，θｙ，θｚ）によって定義される。なお、（θｘ，θｙ，θｚ）は、（ロール角、ピッチ角、ヨー角）＝（φ,θ,ψ）とも表される。仮想視点ＩＶを設定後、ＡＲ処理部１４２は、ステップＳ１１０〜Ｓ１１６の処理と、ステップＳ１２０〜Ｓ１２６の処理とを並行して実行する。

仮想視点ＩＶを設定後、ＡＲ処理部１４２は、仮想視点ＩＶの位置および向きに基づいて、左眼相当の位置に仮想カメラＣＭＬを設定する（ステップＳ１１０）。具体的には、ＡＲ処理部１４２は、仮想視点ＩＶから左側に（眼間距離１２２／２）離れた位置に、視点方向ＶＤを向いた仮想カメラＣＭＬを設定する。同様に、ＡＲ処理部１４２は、仮想視点ＩＶの位置および向きに基づいて、右眼相当の位置に仮想カメラＣＭＲを設定する（ステップＳ１２０）。具体的には、ＡＲ処理部１４２は、仮想視点ＩＶから右側に（眼間距離１２２／２）離れた位置に、視点方向ＶＤを向いた仮想カメラＣＭＲを設定する。図８では、上記のようにして設定された仮想カメラＣＭＬ、ＣＭＲを表している。

仮想カメラを設定後、ＡＲ処理部１４２は、仮想カメラＣＭＬの２Ｄ（Two Dimensions）投影を行う（ステップＳ１１２）。具体的には、ＡＲ処理部１４２は、３Ｄモデル空間内の立体物（仮想オブジェクトＯＢ１、ＯＢ２）を、仮想カメラＣＭＬによって得られた２次元である平面状の情報に変換し、奥行き感のある画像を生成する。同様に、ＡＲ処理部１４２は、仮想カメラＣＭＲの２Ｄ投影を行う（ステップＳ１２２）。具体的には、ＡＲ処理部１４２は、３Ｄモデル空間上の立体物を、仮想カメラＣＭＲによって得られた２次元である平面上の情報に変換し、奥行き感のある画像を生成する。

仮想カメラＣＭＬの２Ｄ投影後、ＡＲ処理部１４２は、投影により得られた画像をスケーリングする（ステップＳ１１４）。具体的には、ＡＲ処理部１４２は、以下の手順ｂ１〜ｂ３を実行する。
（ｂ１）ＡＲ処理部１４２は、手順ａ１で決定した目標距離Ｌｂを上記式１に当てはめ、目標輻輳角θｂを算出する。
（ｂ２）ＡＲ処理部１４２は、求めた目標輻輳角θｂと初期輻輳角θａとを上記式２に当てはめ、目標視差角θｘを算出する。
（ｂ３）ステップＳ１１２により得られた仮想カメラＣＭＬの２Ｄ投影画像と、仮想視点ＩＶに配置された仮想カメラＣＭの２Ｄ投影画像とが、θｘ／θｐｉｘ画素ずれるように、ステップＳ１１２により得られた仮想カメラＣＭＬの２Ｄ投影画像を拡大／縮小する。この際、ＡＲ処理部１４２は、右ＬＣＤ２４１の解像度を考慮する。

同様に、仮想カメラＣＭＲの２Ｄ投影後、ＡＲ処理部１４２は、投影により得られた画像をスケーリングする（ステップＳ１２４）。具体的には、ＡＲ処理部１４２は、上記手順ｂ１、ｂ２、および、以下手順ｃ３を実行する。
（ｂ３）ステップＳ１２２により得られた仮想カメラＣＭＲの２Ｄ投影画像と、仮想視点ＩＶに配置された仮想カメラＣＭの２Ｄ投影画像とが、θｘ／θｐｉｘ画素ずれるように、ステップＳ１２２により得られた仮想カメラＣＭＲの２Ｄ投影画像を拡大／縮小する。この際、ＡＲ処理部１４２は、左ＬＣＤ２４２の解像度を考慮する。

図９は、上述のようにして、ＡＲ処理部１４２が、仮想視点ＩＶに配置された仮想カメラＣＭの２Ｄ投影画像ＤＴを用いて、投影により得られた画像をスケーリングする様子を示している。なお、上記例では、仮想カメラＣＭＲは右眼相当の位置に設定され、仮想カメラＣＭＬは左眼相当の位置に設定されるとした。しかし、設定される仮想カメラの位置および個数は変更可能である。その後、ＡＲ処理部１４２は、上記のようにして生成した右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とを、画像処理部１６０へ送信する（ステップＳ１１６、Ｓ１２６）。その後、図２で説明した表示処理が実行されることで、ヘッドマウントディスプレイ１００の使用者は、視野ＶＲに、立体的な仮想オブジェクトＯＢを視認することができる。

以上のように、第２実施例の拡張現実処理によっても、拡張現実処理部（ＡＲ処理部１４２）は、画像データー（右眼用画像データーＤａｔａ１および左眼用画像データーＤａｔａ２）の生成の際、虚像ＶＩの表示環境に関する種々の条件（右ＬＣＤ２４１および左ＬＣＤ２４２の大きさ、使用者の左右の眼前に表示される虚像ＶＩ間の距離）を考慮して外景ＳＣに仮想オブジェクトＯＢ１，ＯＢ２を融像させるため、使用者の視覚的な違和感を緩和した拡張現実感を提供可能な頭部装着型表示装置（ヘッドマウントディスプレイ１００）を実現することができる。

さらに、第２実施例の拡張現実処理によれば、拡張現実処理部（ＡＲ処理部１４２）は、使用者に仮想オブジェクトＯＢ１，ＯＢ２を視認させる目標距離Ｌｂを決定し、決定した目標距離Ｌｂから目標距離Ｌｂにおける輻輳角である目標輻輳角θｂを算出し、算出した目標輻輳角θｂと第１の輻輳角θａ（初期輻輳角θａ）とを用いて、目標距離Ｌｂにおける視差角である目標視差角θｘを算出する。拡張現実処理部（ＡＲ処理部１４２）は、このようにして算出した目標視差角θｘと、画素視差角記憶部（画素視差角１２４）に記憶されている差分（θｐｉｘ）とを用いることで、２箇所の仮想カメラ（仮想カメラＣＭＲ，ＣＭＬ）による２Ｄ投影画像をそれぞれスケーリングして、右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とを生成することができる。

さらに、第２実施例の拡張現実処理によれば、拡張現実処理部（ＡＲ処理部１４２）は、３Ｄモデル空間上に仮想カメラ（仮想カメラＣＭＲ，ＣＭＬ）を設定する際、まず、使用者に仮想オブジェクトを視認させる目標距離Ｌｂに基づいて仮想視点ＩＶを配置する。そして、拡張現実処理部（ＡＲ処理部１４２）は、配置された仮想視点ＩＶから眼間距離／２離れた位置に一方の仮想カメラ（仮想カメラＣＭＲ）を配置し、配置された仮想視点から眼間距離／２離れた位置に他方の仮想カメラ（仮想カメラＣＭＬ）を配置する。この結果、仮想カメラ（仮想カメラＣＭＲ，ＣＭＬ）は、使用者に仮想オブジェクトＯＢ１，ＯＢ２を視認させる目標距離Ｌｂと、使用者の眼間距離（眼間距離１２２）との両方を考慮した２Ｄ投影画像を取得することができる。

Ａ−４．拡張現実処理（第３実施例）:
第３実施例の拡張現実処理では、第２実施例の拡張現実処理において、使用者の移動に伴って外景ＳＣに融像させるための仮想オブジェクトを変化させることができる。以下では、第２実施例の拡張現実処理と異なる手順についてのみ説明する。なお、図中において第２実施例と同様の部分については先に説明した第２実施例と同様の符号を付し、その詳細な説明を省略する。

図１０は、第３実施例における拡張現実処理の手順を表すフローチャートである。図７に示した第２実施例との違いは、ステップＳ１０４の後にステップＳ２０２とＳ２０４とを実行する点と、ステップＳ１１６およびＳ１２６の終了後に処理をステップＳ２０２へ遷移させる点である。

ステップＳ２０２においてＡＲ処理部１４２は、使用者の視点が移動したか否かを判定する。具体的には、ＡＲ処理部１４２は、使用者の現在位置座標と頭の動きとの少なくともいずれか一方に変化があった場合、使用者の視点が移動したと判定する。なお、使用者の現在位置座標は、ＧＰＳモジュール１３４により検出された制御部１０の位置情報により取得する。使用者の頭の動きは、９軸センサー６６により検出された動き情報により取得する。使用者の視点が移動していない場合（ステップＳ２０２：ＮＯ）、ＡＲ処理部１４２は、処理をステップＳ１１０およびＳ１２０へ遷移させる。

使用者の視点が移動した場合（ステップＳ２０２：ＹＥＳ）、ＡＲ処理部１４２は、ステップＳ２０２で検出した使用者の現在位置座標と頭の動きに基づいて、３Ｄモデル空間上の所定位置に仮想視点を設定する。詳細は、図７のステップＳ１０４と同様である。

以上のように、第３実施例の拡張現実処理によれば、使用者の視点の移動に伴って、すなわち、使用者の現在位置座標と頭の動きとの少なくともいずれか一方の変化に伴って、仮想カメラＣＭＬの２Ｄ投影画像と仮想カメラＣＭＲの２Ｄ投影画像とを生成、スケーリングし、右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とを生成することができる。この結果、第２実施例での効果に加えて、使用者の視点の移動に伴って外景ＳＣに融像させるための仮想オブジェクトを変化させることができる。

このように、第１実施形態の頭部装着型表示装置（ヘッドマウントディスプレイ１００）によれば、画像表示部２０は、使用者の視覚的な違和感を緩和可能な視覚効果（すなわち、仮想オブジェクトの立体視を可能にするための視覚効果）が付された仮想オブジェクトＯＢを虚像ＶＩとして使用者に視認させる。このため、使用者の視覚的な違和感を緩和した拡張現実感を提供可能な光学透過型の頭部装着型表示装置を提供することができる。

Ｂ．第２実施形態：
本発明の第２実施形態では、「使用者の視覚的な違和感を緩和可能な視覚効果」として、第１実施形態で例示した「仮想オブジェクトの立体視を可能にするための視覚効果」に代えて、「仮想オブジェクトを使用者の周囲の環境に調和させるための視覚効果」を採用する場合の構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成部分については先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。

Ｂ−１．頭部装着型表示装置の構成：
図１１は、第２実施形態におけるヘッドマウントディスプレイ１００ａの構成を機能的に示すブロック図である。図２に示した第１実施形態との違いは、制御部１０に代えて制御部１０ａを備える点である。制御部１０ａの記憶部１２０には、領域情報１２２と識別画像記憶部１２４と（図２）が含まれていない。また、制御部１０ａは、ＡＲ処理部１４２に代えてＡＲ処理部１４２ａを備える。ＡＲ処理部１４２ａは、実行する「拡張現実処理」の処理内容が、第１実施形態とは異なる。具体的には、ＡＲ処理部１４２ａは、第１〜第３実施例として説明した第１実施形態の拡張現実処理に代えて、次に説明する拡張現実処理を実行する。

Ｂ−２．拡張現実処理：
図１２は、第２実施形態における拡張現実処理の手順を示すフローチャートである。ステップＳ３０２においてＡＲ処理部１４２ａは、使用者の周囲の環境を３次元空間内の仮想的な立体物として表現した３次元情報を取得する。この３次元情報は、使用者の周囲の環境を表現した、いわゆる「３Ｄモデル」である。ＡＲ処理部１４２ａは、３次元情報を、以下のｃ１〜ｃ３に示すいずれかの方法を用いて取得することができる。

（ｃ１）ＡＲ処理部１４２ａは、ヘッドマウントディスプレイ１００ａに接続されているクラウドサーバー等の外部装置から３次元情報を取得する。
（ｃ２）３次元情報が予め記憶部１２０に記憶されている場合、ＡＲ処理部１４２ａは、記憶部１２０から３次元情報を取得する。
（ｃ３）ＡＲ処理部１４２ａは、カメラ６１により撮影された外景画像や、使用者の眼前への赤外光の照射等の手段を用いて、使用者の周囲の環境を表現した３次元情報を生成し、生成した３次元情報を取得する。

方法ｃ１、ｃ２の場合、ＡＲ処理部１４２ａは、ＧＰＳモジュール１３４により検出された使用者の現在位置座標に基づいて、３次元情報の取得範囲を決定することができる。また、方法ｃ３においてカメラ６１を用いて３次元情報を生成する場合、ＡＲ処理部１４２ａは、カメラ６１に連続的に角度を変えた複数の外景画像を取得させる。そして、ＡＲ処理部１４２ａは、ｎ（ｎは任意の整数）枚目に撮影された外景画像と、ｎ＋１枚目に撮影された外景画像との差分情報に基づいて、３次元情報を生成することができる。このとき使用するカメラ６１は、撮像領域が交差するように配置された複数のカメラであることが好ましい。さらに、複数のカメラのうちの少なくとも１つは、使用者の視線方向に対応した位置に固定されていることが好ましい。カメラ６１に連続的に角度を変えた外景画像を取得させるため、ＡＲ処理部１４２ａは、９軸センサー６６によって検知された使用者の動きが所定の閾値を超える大きさである場合に、カメラ６１へ外景画像の撮像指示を出してもよい。

ステップＳ３０４においてＡＲ処理部１４２ａは、現実空間での使用者の現在位置および視線方向に対応した、３次元情報内での位置および方向を特定する。換言すれば、ステップＳ３０４においてＡＲ処理部１４２ａは、３次元情報内の仮想的な使用者の現在位置および視線方向を特定するとも言える。具体的には、ＡＲ処理部１４２ａは、以下のｄ１〜ｄ３に示すいずれかの方法を用いる。

（ｄ１）ＡＲ処理部１４２ａは、ステップＳ３０２で取得された３次元情報と、ステップＳ３０４の時点でカメラ６１によって取得された使用者の視線方向の外景画像とを比較することで、３次元情報内の仮想的な使用者の現在位置および視線方向を特定する。
（ｄ２）ＡＲ処理部１４２ａは、ステップＳ３０２で取得された３次元情報に含まれる緯度経度の情報と、ステップＳ３０４の時点でＧＰＳモジュール１３４によって取得された使用者の現在位置座標（緯度経度）を比較することで、３次元情報内の仮想的な使用者の現在位置を特定する。また、ＡＲ処理部１４２ａは、９軸センサー６６によって取得された使用者の頭部の動きを用いて、３次元情報内の仮想的な使用者の視線方向を特定する。
（ｄ３）現実空間上に予め信号発生装置が複数配置されている場合、ＡＲ処理部１４２ａは、信号発生装置から受信する電波や超音波の受信強度を用いて、３次元情報内の仮想的な使用者の現在位置および視線方向を特定する。

ステップＳ３０６においてＡＲ処理部１４２ａは、マスクオブジェクトを生成する。「マスクオブジェクト」とは、現実空間の使用者の現在位置および視線方向に対応した位置および方向から見た３次元情報、換言すれば、仮想的な使用者の現在位置および視線方向から見た３次元情報である。ＡＲ処理部１４２ａは、ステップＳ３０２で取得した３次元情報と、ステップＳ３０４で特定した３次元情報内での位置および方向とを用いて、マスクオブジェクトを生成する。

図１３は、マスクオブジェクトの一例を示す説明図である。図１３（Ａ）は、現実空間での使用者の現在位置および視線方向から見た外景ＳＣを示している。外景ＳＣは、ビルが立ち並ぶオフィス街の風景である。図１３（Ｂ）は、現実空間での使用者の現在位置および視線方向に対応した、３次元情報内での位置および方向から見たマスクオブジェクトＶＭを示している。マスクオブジェクトＶＭは、図１３（Ａ）に示した使用者の周囲の環境（外景ＳＣ）が３次元空間内で仮想的に表現された「ビル」、「道路」、「木立」、「電柱」の立体物を含んでいる。

このマスクオブジェクトは、仮想オブジェクトに視覚効果を加えるために使用され、画像としては表示されない。なお、図１２のステップＳ３０６では、ステップＳ３０４で特定した３次元情報内での位置および方向に基づいて、ヘッドマウントディスプレイ１００ａに接続されているクラウドサーバー等の外部装置から３次元情報を取得して、マスクオブジェクトの補完を行ってもよい。

図１２のステップＳ３０６においてＡＲ処理部１４２ａは、拡張現実処理において、ＡＲ処理部１４２ａが虚像ＶＩとして表示させる仮想オブジェクトを表す画像データーを生成する。具体的には、例えば、ＡＲ処理部１４２ａは、記憶部１２０内に予め記憶されている複数の画像データーから、使用者の要求または処理の目的に沿った任意の画像データーを取得する。

ステップＳ３１０においてＡＲ処理部１４２ａは、ステップＳ３０６で生成したマスクオブジェクト内にステップＳ３０８で生成した仮想オブジェクトを配置する。この配置の際、ＡＲ処理部１４２ａは、遠近感を持たせた仮想オブジェクトＯＢの表示を可能とするために、仮想オブジェクトを配置する目標距離を考慮してもよい。目標距離は、例えば、以下のいずれかの方法で決定することができる。
・カメラ６１によって取得された使用者の視界方向の外景画像を解析する。
・ＧＰＳモジュール１３４によって取得された使用者の現在位置座標と、９軸センサー６６によって取得された使用者の頭の動きとを解析する。

図１４は、マスクオブジェクトＶＭに対する仮想オブジェクトＯＢの配置の一例を示す説明図である。図１４で例示する仮想オブジェクトＯＢは「自転車」である。マスクオブジェクトＶＭ内において、仮想オブジェクトＯＢが配置されている位置は、「木立の前にある歩道の脇」である。ここで、ステップＳ３０４で特定した３次元情報内での位置および方向（仮想的な使用者の現在位置および視線方向）からすると、マスクオブジェクト内に配置された仮想オブジェクト（自転車）と、使用者との間には、マスクオブジェクトの一部である「電柱」が配置されている。

図１２のステップＳ３１２においてＡＲ処理部１４２ａは、仮想オブジェクトＯＢが配置された状態のマスクオブジェクトＶＭに対して、周囲の環境に応じた効果を付与する。本実施形態において「周囲の環境に応じた効果」とは、少なくとも、以下のｅ１〜ｅ３に示すいずれかの効果を意味する。なお、効果ｅ１〜ｅ３は、単独で採用されてもよいし、組み合わせて採用されてもよい。

（ｅ１）ＡＲ処理部１４２ａは、仮想オブジェクトＯＢのうち、マスクオブジェクトＶＭに含まれる立体物の陰になる部分のトリミングを実施する。例えば、図１４の例の場合、ＡＲ処理部１４２ａは、自転車（仮想オブジェクトＯＢ）のうち、電柱（マスクオブジェクトＶＭに含まれる立体物）の陰になる部分、すなわち、図１４のように仮想的な使用者の現在位置および視線方向から見た場合に、自転車が電柱の陰になって見えない部分をトリミングする。このように、効果ｅ１によれば、ＡＲ処理部１４２ａは、仮想オブジェクトＯＢが現実空間に存在する立体物（図の例では電柱）の影にあるように見えるように、仮想オブジェクトＯＢの一部をトリミングすることができる。このため、画像表示部２０は、仮想オブジェクトＯＢが、あたかも現実空間に存在する物（電柱）の背後にあるような虚像を、使用者に視認させることができる。

（ｅ２）ＡＲ処理部１４２ａは、周囲の環境に準じたライティングを実施する。具体的には、ＡＲ処理部１４２ａは、カメラ６１により撮影された外景画像を画像認識することによって、マスクオブジェクトＶＭの各領域の輝度情報を収集する。輝度情報には、例えば、影領域と、鏡面反射と、拡散反射とが含まれる。ＡＲ処理部１４２ａは、収集した輝度情報に基づいて、マスクオブジェクトＶＭに追加する光源の種類、光源の色温度、光源の強さ等を決定する。ここで、光源の種類には、例えば、点光源（Point Light）、スポットライト（Spot Light）、平行光源（Directional Light）、環境光（Ambient Light）、天空光（Hemisphere Light）、ＩＢＬ（Image Based Light）等がある。そして、ＡＲ処理部１４２ａは、決定した種類、色温度、強さを持つ光源をマスクオブジェクトＶＭに配置することで、仮想オブジェクトＯＢのライティングを実施する。

図１５は、ライティング実施後の仮想オブジェクトＯＢの様子を示す説明図である。図１５の例では、平行光源ＤＬにより仮想オブジェクトＯＢのライティングが実施された結果、仮想オブジェクトＯＢの影ＯＢＳが生成されている。このように、効果ｅ２によれば、ＡＲ処理部１４２ａは、仮想オブジェクトＯＢが現実空間に合わせた明暗を持つように、仮想オブジェクトＯＢを補正することができる。このため、画像表示部２０は、仮想オブジェクトＯＢが、あたかも現実空間に存在する物と混在しているかのような虚像を、使用者に視認させることができる。なお、図１２のステップＳ３１２において例示した光源は、単独で付与されてもいいし、組み合わせて付与されてもよい。また、ＡＲ処理部１４２ａは、マスクオブジェクトＶＭの各領域の輝度情報を、外景画像の画像解析以外の方法（例えば、現在時刻と方角に基づく演算）で収集してもよい。

（ｅ３）ＡＲ処理部１４２ａは、マスクオブジェクトＶＭに含まれる立体物の反発係数と摩擦係数との少なくとも一方に基づく、仮想オブジェクトＯＢの挙動の調整を実施する。具体的には、ＡＲ処理部１４２ａは、カメラ６１により撮影された外景画像を画像認識することによって、マスクオブジェクトＶＭに含まれる立体物の表面の反発係数と摩擦係数とのうちの少なくとも一方を求める。この際、ＡＲ処理部１４２ａは、立体物１つに対しての平均反発係数や平均摩擦係数を求めてもよいし、立体物が有する領域ごとに反発係数や摩擦係数を求めてもよい。ＡＲ処理部１４２ａは、求めた反発係数または摩擦係数、もしくはその両方に基づいて、経時的に変化する仮想オブジェクトＯＢの挙動を調整する。

図１６は、反発係数と摩擦係数とに基づいて仮想オブジェクトＯＢの挙動が調整される様子を示す説明図である。図１６の例では、マスクオブジェクトＶＭに含まれる立体物が有する領域ごとに、反発係数ＸＸ（Ｘは任意の数字）と、摩擦係数ＸＸとが求められ、記憶されている。ＡＲ処理部１４２ａは、ボール形状の仮想オブジェクトＯＢの動きＤＩを、動きＤＩ上にある立体物の反発係数ＸＸと摩擦係数ＸＸとに応じて変更する。図の例では、ＡＲ処理部１４２ａは、３車線ある道路の中央車線の反発係数と摩擦係数とに応じて、仮想オブジェクトＯＢが跳ねる大きさを調整する。このように、効果ｅ３によれば、ＡＲ処理部１４２ａは、仮想オブジェクトＯＢの挙動を、現実空間に存在する物の反発係数と摩擦係数との少なくとも一方に応じて調整することができる。このため、画像表示部２０は、仮想オブジェクトＯＢが、あたかも現実空間に存在する物の影響を受けて動いているような虚像を、使用者に視認させることができる。

図１２のステップＳ３１４においてＡＲ処理部１４２ａは、仮想カメラの設定と、仮想カメラによる２Ｄ投影を行う。具体的には、ＡＲ処理部１４２ａは、現実空間での使用者の現在位置および視線方向に対応したマスクオブジェクトＶＭ内での位置および方向（換言すれば、マスクオブジェクトＶＭ内の仮想的な使用者の現在位置および視線方向）に仮想カメラを設定する。そして、ＡＲ処理部１４２ａは、マスクオブジェクトＶＭ内の仮想オブジェクトＯＢを、仮想カメラによって得られた２次元である平面状の情報に変換する。これにより、ＡＲ処理部１４２ａは、マスクオブジェクトＶＭ内の仮想オブジェクトＯＢを２次元化して、視覚効果が加えられた仮想オブジェクトＯＢの画像データーを得ることができる。

図１７は、仮想カメラの２Ｄ投影により得られた画像データーを示す説明図である。図１７の例では、画像データーＤＴには、効果ｅ１が加えられた結果として前輪の一部がトリミングされ、効果ｅ２が加えられた結果として影ＯＢＳが付された仮想オブジェクト（自転車）が含まれている。なお、ステップＳ３１４の仮想カメラ設定の際、ＡＲ処理部１４２ａは、使用者の眼から使用者の注視点までの間の距離に応じて、仮想カメラの被写界深度等の設定を実施することが好ましい。そうすれば、仮想カメラの２Ｄ投影によって得られた仮想オブジェクトＯＢの画像データーにおいて、仮想オブジェクトＯＢにピンボケ効果を追加することができる。また、ステップＳ３１４において設定される仮想カメラは、１つでもよいし、使用者の左右の眼に対応した２つの仮想カメラでもよいし、３つ以上の複数の仮想カメラでもよい。

図１８は、第２実施形態の拡張現実処理において、使用者に視認される虚像ＶＩの一例を示す説明図である。図１２のステップＳ３１６においてＡＲ処理部１４２ａは、上記のようにして生成された画像データーＤＴを、画像処理部１６０へ送信する。その後、図２で説明した表示処理が実行されることで、ヘッドマウントディスプレイ１００ａの使用者は、視野ＶＲに、視覚効果（トリミング、および、影ＯＢＳ）が加えられた仮想オブジェクトＯＢを視認することができる。

以上のように、第２実施形態の頭部装着型表示装置（ヘッドマウントディスプレイ１００ａ）によれば、画像表示部２０は、使用者の視覚的な違和感が緩和された仮想オブジェクトＯＢ、すなわち、使用者の視覚的な違和感を緩和可能な視覚効果（すなわち、仮想オブジェクトを周囲の環境に調和させるための視覚効果）が付された仮想オブジェクトＯＢ、を虚像ＶＩとして使用者に視認させる。このため、使用者の視覚的な違和感を緩和した拡張現実感を提供可能な光学透過型の頭部装着型表示装置を提供することができる。また、拡張現実処理部（ＡＲ処理部１４２ａ）は、３次元情報から生成されたマスクオブジェクトＶＭを用いて仮想オブジェクトＯＢに視覚効果を加え、仮想オブジェクトＯＢを周囲の環境に調和させる。このため、従来のように、カメラで撮影された画像に基づいて仮想オブジェクトに視覚効果を加えて仮想オブジェクトを周囲の環境に調和させる場合と比較して、調和の精度を向上させることができる。

また、第２実施形態の頭部装着型表示装置（ヘッドマウントディスプレイ１００ａ）によれば、拡張現実処理部（ＡＲ処理部１４２ａ）は、仮想オブジェクトＯＢに対して、環境に準じたトリミング（効果ｅ１）、環境に準じたライティング（効果ｅ２）、環境に準じた挙動の調整（効果ｅ３）のうち、少なくともいずれかの視覚効果を加えることができる。さらに、拡張現実処理部（ＡＲ処理部１４２ａ）は、画像取得部（カメラ６１）により撮影された外景画像（使用者の視界方向の画像）を画像認識することで、自動的に、使用者の周囲の環境（具体的には、効果ｅ２の輝度情報、効果ｅ３の場合の反発係数と摩擦係数）を推定することができる。

Ｃ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（i）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部（コード）を廃した態様。

上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図２に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線の信号伝送路を介した接続により接続されていてもよい。

例えば、図２に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、例えば、タッチパッドや十字キーによる操作入力のほか、フットスイッチ（使用者の足により操作するスイッチ）による操作入力を取得してもよい。例えば、画像表示部に赤外線センサー等の視線検知部を設けた上で、使用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。例えば、カメラを用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、使用者が手を離すことが困難である作業においても、入力情報取得部は、使用者からの操作入力を取得することができる。

例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。

図１９は、変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。図１９（Ａ）の例の場合、図１に示したヘッドマウントディスプレイ１００との違いは、画像表示部２０ａが、右光学像表示部２６に代えて右光学像表示部２６ａを備える点と、左光学像表示部２８に代えて左光学像表示部２８ａを備える点である。右光学像表示部２６ａは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ａは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め上に配置されている。図１９（Ｂ）の例の場合、図１に示したヘッドマウントディスプレイ１００との違いは、画像表示部２０ｂが、右光学像表示部２６に代えて右光学像表示部２６ｂを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｂを備える点である。右光学像表示部２６ｂは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｂは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとして実現することもできる。

例えば、画像処理部、表示制御部、ＡＲ処理部、音声処理部等の機能部は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。

また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

例えば、上記実施形態では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。

例えば、上記実施形態では、画像光生成部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像生成部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

・変形例２：
上記第１実施形態では、拡張現実処理の一例を示した。しかし、上記拡張現実処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。

上記実施形態では、画素視差角は、左右同一の画像データーに基づいて表示された虚像の輻輳角と、左右で１画素（ピクセル）ずらした画像データーに基づいて表示された虚像との輻輳角の差分であるとした。しかし、画素視差角は、左右同一の画像データーに基づいて表示された虚像の輻輳角と、左右でずらした画像データーに基づいて表示された虚像との輻輳角の差分であればよく、左右の画像データーのずらし量は１画素（ピクセル）に限られない。

例えば、拡張現実処理において、算出した目標視差角θｘが平行より大きくなる場合（すなわちθｘ＜−θａ／２となる場合）、ＡＲ処理部は、このような目標視差角θｘを実現するための画像データーの生成を抑制することができる。そうすれば、使用者が感じる違和感を緩和することができる。

視差角が過度に大きすぎると、使用者は違和感を覚えやすくなる。このため、例えば、拡張現実処理において、算出した目標視差角θｘが所定の閾値以上となる場合（すなわちθｘ＞θｌｉｍとなる場合）、ＡＲ処理部は、このような目標視差角θｘを実現するための画像データーの生成を抑制することができる。なお、所定の閾値（θｌｉｍ）は、「当該利用者にとって、物体が二重に見える視差と一重に見える視差との境界」とすることが好ましい。所定の閾値（θｌｉｍ）は、使用者の好みに応じて調整可能としてもよい。

ＡＲ処理部は、決定した目標距離Ｌｂの大きさ、または、算出した目標視差角θｘの大きさに応じて、右眼用画像データーおよび左眼用画像データーの彩度、明度、コントラストを調整してもよい。例えば、遠方に表示させる仮想オブジェクトを表す画像データーの場合、彩度、明度、コントラストのうちの少なくともいずれかを低下させることによって、使用者が感じる遠近感を強調することができる。

画素視差角に記憶されている視差角θｐｉｘは、使用者の好みに応じて調整可能としてもよい。利用者は、遠近感を強調したい場合視差角θｐｉｘを小さく調整し、遠近感を緩和したい場合視差角θｐｉｘを大きく調整することができる。

・変形例３：
上記第１実施形態において、ＡＲ処理部は、カメラによって取得された使用者の視界方向の外景画像を、画素視差角によりパターンマッチングさせて、拡張現実処理を実現してもよい。具体的には、画像表示部は、右眼用カメラと、左眼用カメラとを備える構成とする。右眼用カメラは、画像表示部の使用者の右眼に対応する位置に配置され、画像表示部の表側方向の外景を撮像可能なカメラである。左眼用カメラは、画像表示部の使用者の左眼に対応する位置に配置され、画像表示部の表側方向の外景を撮像可能なカメラである。ＡＲ処理部は、右眼用カメラにより撮像された画像に含まれる対象物体（仮想オブジェクトを近傍に表示させる対象となる物体）と、左眼用カメラにより撮像された画像に含まれる対象物体との間のずれ量を求め、当該ずれ量と画素視差角とを用いて、拡張現実処理における「目標距離」を決定してもよい。

・変形例４：
上記第１実施形態において、ＡＲ処理部は、上記の拡張現実処理を、所定の条件が満足される場合に限って実行してもよい。例えば、画像表示部に対して使用者の視線の方向を検出可能な構成を備えたうえで、ＡＲ処理部は、検出された視線の方向が以下の条件のうちの少なくともいずれか１つを満たす場合に限って、上記の拡張現実処理を実行してもよい。
・水平約２００°、垂直約１２５°（例えば、下方向７５°、上方向５０°）の視野角の範囲内であるとき。
・情報受容能力に優れる有効視野である、水平約３０°、垂直約２０°の範囲内であるとき。
・注視点が迅速に安定して見える安定注視野である、水平６０°〜９０°、垂直４５°〜７０°の範囲内であるとき。
・映像に誘発される自己運動感覚（ベクション）の誘発が起こりはじめる水平約２０°から、自己運動感覚が飽和する約１１０°の範囲内であるとき。

・変形例５：
上記第２実施形態では、拡張現実処理の一例を示した。しかし、上記拡張現実処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。

第２実施形態の拡張現実処理は、第１実施形態の拡張現実処理の代替処理であるとして説明した。しかし、第２実施形態の拡張現実処理は、第１実施形態の拡張現実処理と並列に実行されてもよい。

第２実施形態の拡張現実処理のステップＳ３０２では、３次元情報取得の方法ｃ１〜ｃ３を例示した。しかし、上記方法はあくまで例示であり、ＡＲ処理部は、方法ｃ１〜ｃ３以外の他の方法を用いて３次元情報を取得してもよい。また、ＡＲ処理部は、一の方法（例えば方法ｃ３）を用いて取得した３次元情報を、他の方法（例えば方法ｃ１）を用いて取得した情報によって補正してもよい。

第２実施形態の拡張現実処理において、さらに、現実空間の大きさと仮想オブジェクトの大きさとのバランスを調整するために、カメラで撮像可能な領域の大きさと、使用者の眼前に虚像として投写される領域の大きさとを、擬似的に一致させる（キャリブレーションする）処理を実施してもよい。

第２実施形態の拡張現実処理のステップＳ３１２における効果ｅ１〜ｅ３はあくまで例示であり、ＡＲ処理部が加える効果は任意に定めることができる。例えば、ＡＲ処理部は、効果ｅ１〜ｅ３に代えて、または効果ｅ１〜ｅ３と共に、次の効果を加えてもよい。具体的には、ＡＲ処理部は、仮想オブジェクトを配置する目標距離に応じて、仮想オブジェクトに対して、遠近感を付与するための効果を加える。遠近感を付与するための効果としては、例えば、目標距離が遠い場合はフォグ効果を採用することができ、目標距離が近い場合はシャープネス効果を採用することができる。

・変形例６：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部（コントローラー）
１２…点灯部
１４…タッチパッド
１６…十字キー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…カメラ
６２…瞳孔間距離測定部
１１０…入力情報取得部
１００、１００ａ…ヘッドマウントディスプレイ（頭部装着型表示装置）
１２０…記憶部
１２２…眼間距離（眼間距離記憶部）
１２４…画素視差角（画素視差角記憶部）
１３０…電源
１４０…ＣＰＵ
１４２、１４２ａ…ＡＲ処理部（拡張現実処理部）
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＰＣＬＫ…クロック信号
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
Ｄａｔａ…画像データー
Ｄａｔａ１…右眼用画像データー
Ｄａｔａ２…左眼用画像データー
ＯＡ…外部機器
ＰＣ…パーソナルコンピューター
ＳＣ…外景
ＲＥ…右眼
ＬＥ…左眼
ＶＩ…虚像
ＥＲ…端部
ＥＬ…端部
ＡＰ…先端部
ＶＲ…視野
ＶＤ…視点方向
ＩＶ…仮想視点
ＯＢ…仮想オブジェクト
ＯＢ１…仮想オブジェクト
ＯＢ２…仮想オブジェクト
ＯＢＳ…仮想オブジェクトの影
ＣＭ…仮想カメラ
ＣＭＬ…仮想カメラ
ＣＭＲ…仮想カメラ
ＤＩ…仮想オブジェクトの動き
ＶＭ…マスクオブジェクト
θａ…初期輻輳角（第１の輻輳角）
θｂ…目標輻輳角
θｃ…輻輳角（第２の輻輳角θ）
θｘ…目標視差角

Claims (14)

1. 使用者が虚像と外景を視認可能な頭部装着型表示装置であって、
   前記使用者に前記虚像を視認させる画像表示部と、
   前記使用者に拡張現実感を与えるためのオブジェクトである仮想オブジェクトであって、前記使用者の視覚的な違和感が緩和された前記仮想オブジェクトを表す前記虚像を、前記画像表示部に形成させる拡張現実処理部と、
   を備える、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記拡張現実処理部は、前記使用者の周囲の環境を３次元空間内の仮想的な立体物として表現した３次元情報を用いて、前記仮想オブジェクトを前記環境に調和させることで、前記仮想オブジェクトに対する前記違和感を緩和する、頭部装着型表示装置。
3. 請求項２に記載の頭部装着型表示装置であって、
   前記拡張現実処理部は、
   前記３次元情報内に前記仮想オブジェクトを配置し、
   前記仮想オブジェクトと前記３次元情報とのうちの少なくとも一方に対して、前記環境に応じた視覚効果を加えた後、前記仮想オブジェクトを２次元化することで、前記仮想オブジェクトに対する前記違和感を緩和する、頭部装着型表示装置。
4. 請求項３に記載の頭部装着型表示装置であって、
   前記環境に応じた視覚効果は、少なくとも、
   前記仮想オブジェクトのうち前記３次元情報内の前記立体物の陰になる部分のトリミングと、
   前記環境に準じた前記仮想オブジェクトのライティングと、
   前記環境に準じて設定された前記３次元情報内の前記立体物の反発係数と摩擦係数との少なくとも一方に基づく、前記仮想オブジェクトの挙動の調整と、のうちのいずれか一つを含む、頭部装着型表示装置。
5. 請求項３または請求項４に記載の頭部装着型表示装置であって、さらに、
   前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の画像を取得する画像取得部を備え、
   前記拡張現実処理部は、前記画像取得部によって取得された前記視界方向の画像を画像認識することで、前記環境を推定する、頭部装着型表示装置。
6. 請求項３から請求項５のいずれか一項に記載の頭部装着型表示装置であって、
   前記拡張現実処理部は、前記仮想オブジェクトを２次元化する際に、前記使用者の眼から前記使用者の注視点までの間の距離を考慮する、頭部装着型表示装置。
7. 請求項１に記載の頭部装着型表示装置であって、
   前記拡張現実処理部は、前記仮想オブジェクトを表す右眼用の右眼用画像データーと、左眼用の左眼用画像データーとを生成することで、前記仮想オブジェクトに対して、前記仮想オブジェクトの立体視を可能にするための視覚効果を加えて前記仮想オブジェクトに対する前記違和感を緩和し、
   前記画像表示部は、前記右眼用画像データーと、前記左眼用画像データーとを用いて、前記使用者の左右の眼に異なる前記虚像を視認させ、
   さらに、同一の前記右眼用画像データーと前記左眼用画像データーとに基づいて表示された前記虚像の第１の輻輳角と、左右にずらした前記右眼用画像データーと前記左眼用画像データーとに基づいて表示された前記虚像の第２の輻輳角と、の差分を記憶する画素視差角記憶部を備え、
   前記拡張現実処理部は、前記画素視差角記憶部に記憶されている前記差分を用いて、前記外景に前記仮想オブジェクトを融像させるための前記右眼用画像データーと前記左眼用画像データーとを生成する、頭部装着型表示装置。
8. 請求項７に記載の頭部装着型表示装置であって、
   前記拡張現実処理部は、
   前記使用者に前記仮想オブジェクトを視認させる目標距離を決定し、
   決定した前記目標距離から、前記目標距離における輻輳角である目標輻輳角を算出し、
   算出した前記目標輻輳角と前記第１の輻輳角とを用いて、前記目標距離における視差角である目標視差角を算出し、
   前記目標視差角と、前記画素視差角記憶部に記憶されている前記差分とを用いて、前記仮想オブジェクトを表す単一の画像データーから、前記右眼用画像データーと前記左眼用画像データーとを生成する、頭部装着型表示装置。
9. 請求項７に記載の頭部装着型表示装置であって、
   前記拡張現実処理部は、
   前記使用者に前記仮想オブジェクトを視認させる目標距離を決定し、
   決定した前記目標距離に基づいて、３Ｄモデル空間上に２Ｄ投影画像を取得するための２箇所の仮想カメラを設定し、
   決定した前記目標距離から、前記目標距離における輻輳角である目標輻輳角を算出し、
   算出した前記目標輻輳角と前記第１の輻輳角とを用いて、前記目標距離における視差角である目標視差角を算出し、
   前記目標視差角と、前記画素視差角記憶部に記憶されている前記差分とを用いて、一方の前記仮想カメラによる２Ｄ投影画像をスケーリングして前記右眼用画像データーを生成し、他方の前記仮想カメラによる２Ｄ投影画像をスケーリングして前記左眼用画像データーを生成する、頭部装着型表示装置。
10. 請求項９に記載の頭部装着型表示装置であって、さらに、
    前記使用者の眼間距離を記憶する眼間距離記憶部を備え、
    前記拡張現実処理部は、前記２箇所の仮想カメラを設定する際、前記決定した目標距離に基づいて、３Ｄモデル空間上に仮想的な視点である仮想視点を配置し、配置された前記仮想視点から眼間距離／２離れた位置に一方の仮想カメラを配置し、配置された前記仮想視点から眼間距離／２離れた位置に他方の仮想カメラを配置する、頭部装着型表示装置。
11. 請求項１０に記載の頭部装着型表示装置であって、さらに、
    前記使用者の瞳孔間距離を測定する瞳孔間距離測定部を備え、
    前記瞳孔間距離測定部による測定結果は、前記眼間距離として前記眼間距離記憶部に記憶される、頭部装着型表示装置。
12. 使用者が虚像と外景を視認可能な頭部装着型表示装置の制御方法であって、
    前記使用者に前記虚像を視認させる工程と、
    前記使用者に拡張現実感を与えるためのオブジェクトである仮想オブジェクトであって、前記使用者の視覚的な違和感が緩和された前記仮想オブジェクトを表す前記虚像を、前記視認させる工程において形成させる工程と、
    を備える、頭部装着型表示装置の制御方法。
13. 請求項１２に記載の頭部装着型表示装置の制御方法であって、
    前記生成する工程は、前記使用者の周囲の環境を３次元空間内の仮想的な立体物として表現した３次元情報を用いて、前記仮想オブジェクトを前記環境に調和させることで、前記仮想オブジェクトに対する前記違和感を緩和する、頭部装着型表示装置の制御方法。
14. 請求項１２に記載の頭部装着型表示装置の制御方法であって、
    前記生成する工程は、前記仮想オブジェクトを表す右眼用の右眼用画像データーと、左眼用の左眼用画像データーとを生成することで、前記仮想オブジェクトに対して、前記仮想オブジェクトの立体視を可能にするための視覚効果を加えて前記仮想オブジェクトに対する前記違和感を緩和し、
    前記視認させる工程は、前記右眼用画像データーと、前記左眼用画像データーとを用いて、前記使用者の左右の眼に異なる前記虚像を視認させ、
    前記生成する工程は、同一の前記右眼用画像データーと前記左眼用画像データーとに基づいて表示された前記虚像の第１の輻輳角と、左右にずらした前記右眼用画像データーと前記左眼用画像データーとに基づいて表示された前記虚像の第２の輻輳角と、の差分を用いて、前記外景に前記仮想オブジェクトを融像させるための前記右眼用画像データーと前記左眼用画像データーとを生成する、頭部装着型表示装置の制御方法。

Images