JP2018169428A - 画像表示装置 - Google Patents

Abstract

【課題】観察者の視認している外界の対象物に対して対象物と略同じ輻輳かつフォーカス状態の画像を表示する画像表示装置を提供する。【解決手段】画像表示装置１００は、使用者に画像を表示するとともに外光を視認可能にする画像表示部１００Ａ，１００Ｂと、使用者の視線方向及び視線方向にある対象物までの距離を検出する視線方向距離検出部７１，７２，７３と、画像表示部１００Ａ，１００Ｂの表示動作を制御する表示制御部９０と、を備え、画像表示部１００Ａ，１００Ｂは、投射される表示画像の輻輳と焦点とを変更する焦点輻輳変更部６０を有し、表示制御部９０は、視線方向距離検出部７１，７２，７３の検出した視線方向と対象物までの距離とに基づいて、焦点輻輳変更部６０を制御する。【選択図】図１

Description

本発明は、映像を虚像として観察者に提示する画像表示装置に関する。

観察者の頭部に装着するヘッドマウントディスプレイ（以下、ＨＭＤとも言う）等の画像表示装置として、映像光と外光とを重畳して視認させるいわゆるシースルータイプのものが知られている。

外界像を直視できるシースルータイプの画像表示装置において、使用者の視線方向にある対象物に対して付加的画像を表示する場合がある。このように、対象物に対して付加的画像を表示する場合、使用者の視線方向の対象物の距離を算出又は検出し、得られた距離に基づいて表示素子内の画像や光学素子を移動させることで輻輳を変化させた画像を表示することにより、両目で見た場合に対象物と同じ位置に付加的画像を表示させている（特許文献１及び２）。

上記のように輻輳だけを調整する装置では、表示画像に対して、焦点調節距離と輻輳距離とが異なるという、実世界では生じない現象が発生する。この場合、実画像では、焦点調節距離と輻輳距離とが一致しているにも関わらず、表示画像ではその両者が一致しないため、使用者に違和感や眼精疲労が生じやすい。

特開平11-202256号公報 特開2010-139589号公報

本発明は、使用者の視線方向にある対象物に対して付加的画像を表示する場合に、違和感や疲れが生じることを抑制した画像表示装置を提供することを目的とする。

本発明に係る画像表示装置は、使用者に画像を表示するとともに外光を視認可能にする画像表示部と、使用者の視線方向及び視線方向にある対象物までの距離を検出する視線方向距離検出部と、画像表示部の表示動作を制御する表示制御部と、を備え、画像表示部は、投射される表示画像の輻輳と焦点とを変更する焦点輻輳変更部を有し、表示制御部は、視線方向距離検出部の検出した視線方向と対象物までの距離とに基づいて、焦点輻輳変更部を制御する。

上記画像表示装置では、表示制御部が視線方向距離検出部の検出した視線方向と対象物までの距離とに基づいて焦点輻輳変更部を制御するので、観察者の視認している外界の対象物に対して対象物と略同じ輻輳かつフォーカス状態の画像を表示することができ、違和感や疲れを低減することができる。

本発明の具体的な側面では、表示制御部は、視線方向距離検出部の検出した視線方向と対象物までの距離とから得られる輻輳角に基づいて、焦点輻輳変更部に表示画像の輻輳と焦点とを調整させる。輻輳角によって焦点輻輳変更部の動作を制御することで制御が比較的簡易なものとなる。なお、表示画像の輻輳角が対象物と一致すれば、焦点の多少のずれは許容され、違和感は少ない。

本発明の別の側面では、焦点輻輳変更部は、投射される表示画像の輻輳と焦点とを所定の関係で連動させる光学部材を有する。この場合、焦点輻輳変更部が大型化することを簡易に回避できる。

本発明のさらに別の側面では、光学部材は、使用者に画像を表示するための投射光学系の投射光軸に対して非対称的に配置されるとともに、パワーが変化するように駆動され、パワーの変化に伴って表示画像の輻輳と焦点とを変化させる。この場合、光学部材のパワーが変化することで投射光学系の焦点が変化するとともに像光の進行方向が変化するので、表示画像の輻輳と焦点とを変化させることができる。

本発明のさらに別の側面では、光学部材は、１対のレンズを有し、１対のレンズは、凹部と凸部とそれぞれを有し、１対のレンズの少なくとも一方を光軸と交差する横方向に移動させる。

本発明のさらに別の側面では、光学部材は、内包する液体の量に基づいてレンズ形状を変化させる。

本発明のさらに別の側面では、光学部材は、２種類の比重の異なる液体に電界をかけることにより境界を変形させる。

本発明のさらに別の側面では、視線方向距離検出部は、検出した視線方向に対して所定の視野の範囲内において対象物までの距離を検出する。この場合、対象物を絞ることができ、対象物と略同じ輻輳かつフォーカス状態の画像を表示することが容易となる。

第１実施形態の画像表示装置を説明する平面図である。 図１の画像表示装置による虚像の表示を説明する平面図である。 正面方向の距離と輻輳角との関係を説明する図である。 斜め方向の距離と輻輳角との関係を説明する図である。 外界像と虚像との重ね方を説明する概念図である。 画像表示装置の動作を説明する概念図である。 第２実施形態の画像表示装置を説明する図である。 第３実施形態の画像表示装置を説明する図である。

以下、図面を参照しつつ、本発明の第１実施形態の画像表示装置について詳細に説明する。

図１に示すように、本実施形態の画像表示装置１００は、ＡＲ表示を可能にするヘッドマウントディスプレイ（ＨＭＤ）であり、この画像表示装置１００を装着した観察者又は使用者に対して画像光又は映像光による虚像としての画像を表示又は視認させることができるとともに、観察者に外光による外界像をシースルーで視認又は観察させることができる。画像表示装置１００は、第１画像表示部１００Ａと、第２画像表示部１００Ｂと、測距部７１と、視線検出部７２，７３と、主制御部９０とを備える。ここで、測距部７１と視線検出部７２，７３とは、使用者の視線方向及び視線方向にある対象物までの距離を検出する視線方向距離検出部として機能する。図１において、紙面に沿った眼幅に対応し対称軸ＳＸに対して直交する左右方向は、直交３軸のうちＸ軸に平行になっており、観察者の眼ＥＹの前方に延びるように設定された光軸ＡＸ又は対称軸ＳＸは、直交３軸のうちＺ軸に平行になっている。また、直交３軸のうちＹ軸の延びる方向は、紙面に垂直な上下方向と呼ぶ。

第１画像表示部１００Ａ及び第２画像表示部１００Ｂは、右眼用と左眼用の虚像をそれぞれ形成する部分であり、観察者の眼前を透視可能に覆う第１及び第２画像表示合成部１０１ａ，１０１ｂと、第１及び第２画像形成部１０５ａ，１０５ｂとをそれぞれ備える。なお、両画像表示部１００Ａ，１００Ｂは、同様の光学的機能を有し左右を反転させただけであるので、以下では第１画像表示部１００Ａについてのみ説明し、第２画像表示部１００Ｂについては説明を省略する。

第１画像表示部１００Ａのうち、第１画像形成部１０５ａは、映像光ＬＩを形成する画像形成装置４０と、画像形成装置４０に形成された被投射画像を投射するため第１画像表示合成部１０１ａに映像光（画像光）ＬＩを射出させる投射レンズ５０と、虚像又は表示画像の焦点及び輻輳を調整するための焦点輻輳変更部６０とを備える。

画像形成装置４０は、例えば有機ＥＬパネルその他の自発光型の映像素子を備える。画像形成装置４０は、それ自体で被投射画像を形成することができる。画像形成装置４０は、例えばＬＣＤパネルその他の空間光変調装置である映像素子と、映像素子へ照明光を射出するバックライトである照明装置とを備える構成とすることもできる。

投射レンズ５０は、１つ以上のレンズを備える投射光学系であり、画像形成装置４０等とともに不図示の外装部材中に収納及び支持されている。投射レンズ５０は、図示の例では投射光軸である光軸ＡＸに沿った略無限遠に虚像を形成するコリメーターとして機能している。

焦点輻輳変更部６０は、主制御部９０の制御下で動作する。焦点輻輳変更部６０は、虚像として投射される表示画像の輻輳と焦点とを変更するため投射レンズ５０の後段の光路上に配置されており、光学部材６１と駆動部６５とを有する。光学部材６１は、投射される表示画像の輻輳と焦点とを所定の関係で連動させるためのものであり、１対のレンズとして第１レンズ６１ａと第２レンズ６１ｂとを有する。光学部材６１やこれを構成するレンズ６１ａ，６１ｂは、投射レンズ５０から延びる光軸ＡＸに対して非対称的に配置されている。前者の第１レンズ６１ａは、凹部６ａと凸部６ｂとを含み、後者の第２レンズ６１ｂは、凹部６ｃと凸部６ｄとを含む。第１レンズ６１ａにおいて凹部６ａと凸部６ｂとは滑らかに繋がり、第２レンズ６１ｂにおいて凹部６ｃと凸部６ｄも滑らかに繋がっている。一方の第１レンズ６１ａは、光軸ＡＸに対して固定されており、他方の第２レンズ６１ｂは、駆動部６５に駆動されて光軸ＡＸに垂直な方向であってＸＺ面に平行な水平基準面に平行な光学系の横方向に移動可能になっている。つまり、駆動部６５により、第２レンズ６１ｂの軸ＭＸを光軸ＡＸに重なった状態から光軸ＡＸに対して平行で横方向に所定距離だけ離れた状態に徐々に変化させることができる。これにより、第１レンズ６１ａと第２レンズ６１ｂとを合致した状態から偏芯した状態に変化させることができ、光学部材６１全体ではパワーが変化するように駆動され、後に詳述するように、パワーの変化に伴って虚像として投射される表示画像の輻輳と焦点とを調和させつつ変更することができる。なお、以上では第２レンズ６１ｂのみを光軸ＡＸに垂直な横方向に移動させて輻輳及び焦点を変更しているが、第１及び第２レンズ６１ａ，６１ｂの双方を光軸ＡＸに垂直な横方向に移動させて輻輳及び焦点を変更することもできる。

第１画像表示合成部１０１ａは、全体として板状又はプリズム状の部材であり、導光及び透視用の導光部材１０と、透視用の光透過部材２０とで構成されている。これらのうち、導光部材１０は、光透過性を有するプリズム状又はブロック状の部材である。光透過部材２０は、導光部材１０の透視機能を補助する補助光学ブロック又は光透過部であり、導光部材１０に接合されて一体的に固定されている。

導光部材１０は、光学的な機能を有する側面として、第１〜第４面１１〜１４を有している。これらのうち、第１面１１と第２面１２とは平行に延び、平板状の導光体内での導光を可能としている。入者側の第３面１３は、平面であり、第１面１１を介して第１画像形成部１０５ａから導光部材１０に入射した映像光ＬＩを反射して導光部材１０内に結合する。射出側の第４面１４は、平面であり、第４面１４上には、ハーフミラー層１５が設けられている。ハーフミラー層１５は、光透過性を有する反射膜すなわち半透過反射膜であり、金属反射膜や誘電体多層膜を成膜することにより形成され、映像光ＬＩに対する反射率が適宜設定されている。

光透過部材２０は、光学的な機能を有する側面として、第１透過面２１と、第２透過面２２と、第３透過面２３とを有する。第１透過面２１は、導光部材１０の第１面１１を延長した面上にあり、第２透過面２２は、導光部材１０の第２面１２を延長した面上にある。第３透過面２３は、導光部材１０の第４面１４に対して接合され一体化されている。

以下、映像光ＬＩの光路について説明する。まず、画像形成装置４０で形成された映像光ＬＩは、投射レンズ５０及び焦点輻輳変更部６０を経て第１画像表示合成部１０１ａの導光部材１０の一端に入射する。導光部材１０の一端に入射した映像光ＬＩは、第１面１１と第２面１２とで反射されつつ導光部材１０内を伝搬して他端に到達する。導光部材１０の他端に到達した映像光ＬＩは、ハーフミラー層１５で部分的に反射され、第１面１１に再度入射して第１面１１を通過する。第１面１１を通過した映像光ＬＩは、観察者の眼ＥＹ又はその等価位置に入射する。つまり、観察者は、映像光ＬＩにより虚像としての表示画像を観察することになる。

第１画像表示合成部１０１ａにおいて、第１面１１と第２面１２とが互いに平行で、第１透過面２１と第２透過面２２とが互いに平行で、かつ、第１面１１と第１透過面２１とが互いに平行であるので、外光に対して視度が略０で収差等を生じない。以上により、観察者は、歪みのない外界像を観察することになる、すなわち、シースルーで外界を略そのまま視認又は観察することができる。この際、ハーフミラー層１５越しに見る外界像に対しては、画像形成装置４０による虚像を重畳させるように観察させることができる。

ここで、図２を参照して、虚像として投射される表示画像の輻輳と焦点とを焦点輻輳変更部６０によって自然に連動させる方法について説明する。なお、図２は、第１及び第２画像表示合成部１０１ａ，１０１ｂによって光路を折り曲げない状態を併せて示す概念図であり、仮想的又は等価的な第１及び第２画像形成部１０５ａ，１０５ｂが視線前方に配置されている。

当初、焦点輻輳変更部６０において、凸部６ｂと凹部６ｃとが対向して両レンズ６１ａ，６１ｂの合成パワーが略ゼロであるとする。この場合、無限遠又は遠方に虚像の表示画像Ｄ１が投射される。つまり、観察者の両眼ＥＹには、第１及び第２画像形成部１０５ａ，１０５ｂからの映像光ＬＩが、略無限遠にある表示画像Ｄ１からの映像光ＬＩａのようにゼロに近い輻輳角α１で入射する。この際、両眼ＥＹに入射するＬＩａは、左右視線の交点であるＰ１及びその周辺からの光と略等価な状態であり、略平行光に近い状態となっている。なお、図示の例では、観察者の視線に対応する交点Ｐ１が画像形成部１０５ａ，１０５ｂ間の対称軸ＳＸの前方にあるとしている。

その後、駆動部６５によって第２レンズ６１ｂの軸ＭＸをＡＢ方向に徐々にシフトさせると、凸部６ｂに対して凹部６ｃと凸部６ｄとの境界や凸部６ｄ寄りの部分が対向し、両レンズ６１ａ，６１ｂの合成パワーが正の値となるとともに、元の映像光ＬＩを紙面外側つまり両眼ＥＹの目尻側に偏向させた映像光ＬＩ'とする。この結果、比較的近接した位置に虚像の表示画像Ｄ２が投射される。つまり、観察者の両眼ＥＹには、第１及び第２画像形成部１０５ａ，１０５ｂからの映像光ＬＩ'が、比較的近接した位置にある表示画像Ｄ２からの映像光ＬＩｂのように比較的大きな輻輳角α２で入射する。この際、両眼ＥＹに入射するＬＩｂは、左右視線の交点であるＰ２及びその周辺からの光と略等価な状態であり、発散光となっている。つまり、前方に投影される虚像は、右の眼ＥＹにとっては左寄りにシフトし、左の眼ＥＹにとっては右寄りにシフトし、フォーカス位置又は焦点が眼ＥＹ又は画像形成装置４０寄りに移動したと観察される。

図３は、視線の先にある対象物までの対象距離と対象物を注視する際の輻輳角との関係を例示する。実線のように、対象距離が増加すると輻輳角が減少する関数的な対応関係があり、この対応関係が満たされるかそれに近い状態にある画像を観察する場合、観察者は違和感を知覚し難く眼の疲労も低減できる。焦点輻輳変更部６０は、図３の実線で示すような対応関係又はこれに近似する対応関係を満たすような連動関係で、表示画像Ｄ１，Ｄ２の輻輳角α１，α２とフォーカス位置又は焦点とを調和的に調整する。

図４は、視線の方向が対称軸ＳＸの前方である正面から例えば水平方向の左側に逸れた場合を示している。視線又は視点が交点Ｐ２１から交点Ｐ２２に移動した場合であっても、２つの眼ＥＹと元の交点Ｐ２１とを頂点とする三角形の外接円ＣＣを考えて、外接円ＣＣ上に交点Ｐ２２があれば、円周角の定理により輻輳角αが維持される。対称軸ＳＸに比較的近い位置（つまり交点Ｐ２２）の場合、輻輳角αが維持されれば、対象距離も略維持される。つまり、図３に示すような対称軸ＳＸ上における輻輳角とフォーカス位置との連動関係を利用することで、対称軸ＳＸに近い位置に投射される表示画像Ｄ２２であっても、対称軸ＳＸ上に投射される表示画像Ｄ２１と同様に違和感なく観察することができる。さらに、対称軸ＳＸから離れた位置（つまり交点Ｐ２３）に表示画像Ｄ２３を投影する場合であっても、輻輳角αが合っていれば、フォーカス位置の多少の差は無視して表示画像Ｄ２３を観察することができ、眼の疲労も低減できる。以上のことから、視線検出部７２によって検出した視線の方向と、測距部７１によって視線の方向から決定した対象距離とに基づいて輻輳角を決定し、このようにして得た輻輳角に基づいて図３に示すような連動関係を満たすように焦点輻輳変更部６０を動作させることで、注視する対象について輻輳角とフォーカス位置又は焦点とを近似的に整合させることができ、表示画像Ｄ２１〜Ｄ２３を違和感なく観察することができる。具体的には、焦点輻輳変更部６０において、駆動部６５によって第２レンズ６１ｂを移動させることで、図３に示すような特性曲線又は所定の関係に略沿って輻輳角と対象距離（つまりフォーカス位置）とを一括して調整することができ、輻輳角及び対象距離（つまりフォーカス位置）に関して適正な連動関係を近似的に達成することができるように、適宜の光学的設計がなされている。

なお、視線の方向が対称軸ＳＸの前方である正面から±Ｙ方向に対応する上下又は鉛直方向に逸れた場合、フォーカス位置と輻輳角との対応関係又は相関関係は、正面の場合と同様であり、図３に示す連動関係をそのまま利用して焦点輻輳変更部６０を動作させることができる。視線の方向が右上（−Ｘかつ＋Ｙ寄り）や右下（−Ｘかつ−Ｙ寄り）といった斜め方向の場合、図４を参照して説明したように図３に示すようなフォーカス位置又は焦点と輻輳角との連動関係によって近似することができる。

図１に戻って、測距部７１は、視線方向距離検出部の一部として、観察者が観察する外界像の各部までの距離を計測可能にする。測距部７１は、各種の測距原理を利用した機構とでき、例えばステレオカメラのような視差を利用したものを用いることができる。また、赤外線を投光してイメージセンサーで検出する際に、位相差や遅延時間を検出するものを用いることもできる。さらに、フォーカスが段階的に変化するカメラを用いて空間周波数が高くなるピント位置で対象までの距離を決定する装置を用いることもできる。

一方の視線検出部７２は、視線方向距離検出部の一部として、観察者の右側の眼ＥＹの向き、つまり右眼の視線方向を検出する。視線検出部７２は、例えばＬＥＤといった赤外又は可視用の光源７５と、光源７５で照明された眼ＥＹを撮影するカメラ７６とを有し、目尻、角膜反射等を基準として、虹彩その他部分の動きを検出する。上記視線検出部７２は、画像表示装置１００を装着する観察者ごとに視線方向のキャリブレーションを行うようなものであってもよい。他方の視線検出部７３は、観察者の左側の眼ＥＹの向き、つまり左眼の視線方向を検出するものであり、上記一方の視線検出部７２と同様の構造を有する。両視線検出部７２，７３の出力（例えば平均値）を利用することで、観察者の視線方向が分かり、上記測距部７１がカメラを有する場合、撮像された画像と視線の方向又は角度との関係から観察者が注視する対象物を特定することができ、測距部７１によって注視する対象物までの距離（以下、対象距離とも呼ぶ）を測定することができる。測距部７１がカメラを有しない場合であっても、視線の方向又は角度に対して測距を行うことで、観察者が注視する対象物までの対象距離を測定することができる。この際、図４に示すように、検出した視線方向に対応する交点Ｐ２１に対してこれを中心とする所定の視野ＥＡの範囲内において対象物までの距離を検出することが望ましい。対象距離は、１つしか選択できないので、視野ＥＡを適宜絞ることで、対象距離をより適正なものとすることができる。ここで視野ＥＡは、例えば±１５°程度の広がりを有する有効視野に設定することができる。

以上では、観察者の視線が交差する対象物を特定して対象物までの距離を測定することが前提となっているが、視線を中心とした所定の角度範囲に存在する対象物についても、かかる対象物に視線が合ったと判定することができる。この場合、複数の対象物が観察者による注視の候補となるが、観察者から見て面積の大きいもの、観察者から見て最も近いものといった基準で注視の候補を絞り込むことができる。

上記所定の視野ＥＡとしては、有効視野に限らず、弁別視野（例えば±２．５°）、安定注視野（例えば水平方向に６０°〜９０°であって、鉛直方向に４５°〜７０°）等を用いることができ、これらの弁別視野や安定注視野の範囲内において対象物までの距離を検出することができる。

主制御部９０は、画像表示装置１００の動作を統括的に制御しており、画像表示合成部１０１ａ，１０１ｂの表示動作を制御する意味で表示制御部である。主制御部（表示制御部）９０は、視線検出部７２，７３を動作させて画像表示装置１００を装着している観察者の視線方向を検出させるとともに、測距部７１を利用して観察者の視線方向の先にある対象物までの距離を計測させる。このように測距部７１及び視線検出部７２，７３からなる視線方向距離検出部によって得た観察者の視線方向及び対象距離に関する情報は、記憶部９１に一時的に保管される。一方で、主制御部９０は、記憶部９１に保管された映像データに基づいて、第１及び第２画像形成部１０５ａ，１０５ｂに設けた一対の画像形成装置４０に表示動作を行わせ、両眼ＥＹに共通する表示画像を提供する。この際、表示画像の横方向又は縦方向の位置（つまり虚像の面内での位置）は、視線検出部７２，７３の検出出力を利用することで、観察者の視線方向の先にある対象物上又はその近傍とすることができる。さらに、表示画像の奥行き方向の位置（つまり虚像の面に垂直な方向の位置）は、測距部７１と焦点輻輳変更部６０とを利用することで、観察者の視線方向の先にある対象物上又はその近傍とすることができる。ここで、主制御部９０は、測距部７１によって視線方向の対象物までの距離を判定でき、この距離に基づいて焦点輻輳変更部６０を動作させる。焦点輻輳変更部６０は、駆動部６５によって第２レンズ６１ｂを光軸ＡＸに垂直な方向に適宜移動させ、投射される表示画像の位置と視線方向の対象物の位置とが奥行き方向に関して略合致するように、輻輳と焦点とを調和させつつ変更する。

図５は、画像表示装置１００の具体的な動作例を説明する図である。外界視野内の外界像ＰＩ０は、例えば野外の景色であり、例えば木２ａ，２ｂや机３ａが存在する。画像表示装置１００によって表示される虚像の表示画像は、キャラクターのような画像要素Ｄ３１〜Ｄ３３であり、木２ａ，２ｂや机３ａのいずれかに視線が合った場合、その位置に表示させることができる。ここで、画像要素Ｄ３１の表示は、木２ａまでの距離を考慮して、輻輳とフォーカス位置（焦点）とが設定されており、画像要素Ｄ３３の表示は、机３ａまでの距離を考慮して、輻輳とフォーカス位置（焦点）とが設定されている。なお、図示の例では、対象距離に応じて画像要素Ｄ３１〜Ｄ３３のサイズが変更されているが、画像要素Ｄ３１〜Ｄ３３のサイズを一定に保ってもよい。

以下、図６の工程図を参照して、図１等に示す画像表示装置１００による表示動作の一例について説明する。

画像表示装置１００がＡＲ表示モードにあって視線反映表示を行っているとき、主制御部（表示制御部）９０は、視線検出部７２，７３を利用して画像表示装置１００を装着している使用者の視線に対して追跡又は追尾を開始する（ステップＳ１１）。この際、主制御部９０は、使用者の視線の先にある対象距離を測距部７１によって測定する。主制御部９０は、使用者の視線を追跡と並行して注目対象の抽出がなされたか否かを判断する（ステップＳ１２）。ここで、注目対象の抽出とは、使用者が視線を注目対象に設定する行為又は確定させる行為を意味し、例えば対象物を注視しつつ行われる瞬きのパターン、或いは手又は腕の動作パターンによって指令又は入力が行われる。瞬きのパターンは、例えば視線検出部７２，７３のカメラ７６によって得た画像から判断することができ、手又は腕の動作パターンは、測距部７１がカメラを備える場合、そのカメラによって得た画像から判断することができる。注目対象の抽出がなされた場合、主制御部９０は、使用者の視線によって指定された対象物に対応する位置に画像要素を付加する表示を画像表示部１００Ａ，１００Ｂに行わせる。具体的には、図３に示す例において、使用者が机３ａを注視しつつ注目対象の抽出動作を行った場合、机３ａ上にキャラクター状の画像要素Ｄ３３を表示させる（ステップＳ１３）。ここで、キャラクター状の画像要素Ｄ３３の輻輳とフォーカス位置（焦点）とは、使用者が机３ａを観察する際の輻輳とフォーカス位置（焦点）とに近いものとなっている。主制御部９０は注目対象の解除がなされたか否かを判断する（ステップＳ１４）。ここで、注目対象の解除とは、注目対象に対して付加した画像要素を消す行為を意味し、例えば対象物を注視しつつ行われる瞬きのパターン、手又は腕の動作パターン、主制御部９０に付随する入出力操作部９５の操作によって指令又は入力が行われる。注目対象の解除がなされた場合、主制御部９０は、ステップＳ１３で表示を画像表示部１００Ａ，１００Ｂによって対象に対応する位置に表示させた画像要素を消去させる（ステップＳ１５）。その後、動作の終了（ステップＳ１６）がなければ、ステップＳ１２に戻って動作を繰り返す。以上では、瞬きのパターンを利用して注目対象の設定と解除とを行っているが、注目している対象への注視が所定時間以上続いたら注目対象との設定を行い、注目対象との設定がなされた対象以外の特定対象物への注視が所定時間以上続いた場合、或いは注目対象への注視が所定時間以上途切れた場合、注目対象の解除を行うことができる。

以上において、画像表示装置１００の姿勢変化に応じて画像要素の表示位置を変化させることで、画像要素Ｄ３１〜Ｄ３３の表示位置を対象２ａ，２ｂ，３ａに追従させることもできる。また、以上では注目対象の抽出や注目対象の解除の判断がなされたが、このような判断を行わないで、使用者の視線の先に画像要素Ｄ３１〜Ｄ３３を常時表示させるといった動作も可能である。

図６に示すような動作は、観光その他の案内ソフトに組み込むことができ、使用者の注目対象に関連する説明を、キャラクター状の画像要素に文字情報を付加することや、音声を付加することによって提供することができる。図６に示すような動作は、観光その他の案内ソフトに限らず、自然観察その他の教育ソフト、工作その他の作業に対する遠隔的な指示供与ソフト、家具その他の物品を仮想的に設置する配置確認ソフト、会議のプレゼンテーション資料の提示ソフト、各種ゲームソフト等に応用することができる。

以上の動作説明では、測距部７１や視線検出部７２が図５に例示するような外界視野内又は虚像の表示領域内において視線が注視する全ての対象物に対して距離や視線を検出することを前提としていたが、虚像の表示領域内の例えば中央領域に存在する対象物に限って距離や視線を検出するように制御することもできる。

以上のように、本実施形態に係る画像表示装置１００では、主制御部（表示制御部）９０が視線方向距離検出部７１，７２，７３の検出した視線方向と対象物までの距離とに基づいて焦点輻輳変更部６０を制御するので、観察者の視認している外界の対象物に対して対象物と略同じ輻輳かつフォーカス状態の画像を表示することができ、違和感や疲れを低減することができる。

〔第２実施形態〕
以下、第２実施形態に係る画像表示装置について説明する。なお、本実施形態は、第１実施形態の画像表示装置の変形例であり、第１実施形態の場合と重複する部分については説明を省略する。

図７に示すように、第２実施形態の画像表示装置に組み込まれる焦点輻輳変更部２６０は、光路部分が光透過性を有する容器６７ａと、水その他の液体６７ｂと、光透過性を有する封止膜６７ｃとを備える。焦点輻輳変更部２６０は、容器６７ａに内包される液体６７ｂの量に基づいてレンズ形状を変化させる。つまり、焦点輻輳変更部２６０において、アクチュエーター６７ｅによって容器６７ａ中の液体量を増減させることができ、封止膜６７ｃが凹凸変形し、通過する映像光ＬＩに対して集光等の作用を与える。容器６７ａの対称軸を画像形成部１０５ａ，１０５ｂの光軸ＡＸに対してシフトさせておけば、映像光ＬＩに対して集光等の作用を与えるだけでなく、映像光ＬＩの射出方向を変化させる偏向が可能になる。この焦点輻輳変更部２６０は、第１実施形態の焦点輻輳変更部６０と同様に、図３に示すような連動関係を満たすように動作し、任意の対象に対してフォーカス位置（焦点）と輻輳角とを近似的に整合させることができる。

〔第３実施形態〕
以下、第３実施形態に係る画像表示装置について説明する。なお、本実施形態は、第１実施形態の画像表示装置の変形例であり、第１実施形態の場合と重複する部分については説明を省略する。

図８に示すように、第３実施形態の画像表示装置に組み込まれる焦点輻輳変更部３６０は、液体レンズであり、光路部分が光透過性を有する容器６８ａと、第１の液体６８ｂと、第２の液体６８ｃと、光透過性を有する一対の電極６８ｄとを備える。ここで、第１の液体６８ｂと、第２の液体６８ｃとは、２種類の比重の異なる液体であり、例えば水、オイルその他の材料からなる。焦点輻輳変更部３６０において、アクチュエーター６８ｅによって電極６８ｄを介して容器６８ａ中の２種類の比重の異なる液体６８ｂ，６８ｃに対して電界を形成することで、両液体６８ｂ，６８ｃの境界６８ｘが凹凸変形し、通過する映像光ＬＩに対して集光等の作用を与える。容器６８ａの対称軸を画像形成部１０５ａ，１０５ｂの光軸ＡＸに対してシフトさせておけば、映像光ＬＩに対して集光等の作用を与えるだけでなく、映像光ＬＩの射出方向を変化させる偏向が可能になる。この焦点輻輳変更部３６０は、第１実施形態の焦点輻輳変更部６０と同様に、図３に示すような連動関係を満たすように動作し、任意の対象に対してフォーカス位置（焦点）と輻輳角とを近似的に整合させることができる。

〔その他〕
以上各実施形態に即して本発明を説明したが、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

例えば、上記実施形態では、焦点輻輳変更部６０に設けた光学部材６１によって、投射される表示画像の輻輳と焦点とを所定の関係で連動させているが、輻輳と焦点とを独立して調整することができる。例えば、図８に示すような液体レンズの対称軸を画像形成部１０５ａ，１０５ｂの光軸ＡＸと一致させて液体レンズのパワーを変化させつつ画像形成装置４０を光軸ＡＸに垂直な横方向に移動させ、或いは画像形成装置４０に表示する画像をシフトさせることで、フォーカス位置（焦点）と輻輳角とを独立して制御できる。

また、上記実施形態では、視線方向距離検出部として、測距部７１と視線検出部７２，７３とを組み合わせたものを用いているが、測距及び視線検出部を一括して行うセンサーを用いることもできる、例えば視線検出部７２，７３の出力の平均値として視線方向を決定することができ、視線検出部７２，７３の出力の差分として輻輳角を得ることができる。このようにして得た輻輳角からフォーカス位置を逆算することができる。

対象物までの距離を検出する所定の視野ＥＡについては、有効視野等に限らず、注視点（ＰＯＲ）とみなせる範囲、文字を識別できる範囲、眼球運動が楽に行なえる範囲、形状を識別できる範囲、色情報を識別できる範囲、視野の限界等のいずれかを採用することもでき、これらを状況に応じて切り換えることもできる。注視点（ＰＯＲ）とみなせる範囲については、約１度程度の角度範囲に設定し、文字を識別できる範囲については、約１０度程度の角度範囲に設定し、眼球運動が楽に行なえる範囲については、約１５度程度の角度範囲に設定し、形状を識別できる範囲については、約３０度程度の角度範囲に設定し、色情報を識別できる範囲については、約６０度程度の角度範囲に設定し、視野の限界については、約９４度程度の角度範囲に設定することができる。

以上の説明では、画像表示合成部１０１ａ，１０１ｂが導光体を用いるものであったが、画像表示合成部１０１ａ，１０１ｂとして、ミラー、レンズ、ハーフミラー等で構成した投射系を備えるものを用いることができる。

また、導光装置３０を用いる導光系や、上記のようにミラーやレンズで構成した投射系を用いる場合において、例えば特開２０１７−３８４５号公報に記載の複数のハーフミラーからなる反射ユニットを用いて眼側に映像光を取り出すことができる。

以上の説明では、画像表示合成部１０１ａ，１０１ｂとして屈折面や反射面で虚像を形成する導光装置３０を用いたが、これに限らず、画像表示合成部１０１ａ，１０１ｂとして回折面を利用して虚像を形成したりホログラム素子を利用して虚像を形成したりするものを用いることができる。

以上の説明では、実施形態の画像表示装置１００がヘッドマウントディスプレイであるとして具体的な説明を行ったが、実施形態の画像表示装置１００は、ヘッドアップディスプレイ、双眼鏡型のハンドヘルドディスプレイ等に適用することもできる。

ＡＸ…光軸、 Ｄ１，Ｄ２…表示画像、 Ｄ２１-Ｄ２３…表示画像、 Ｄ３１-Ｄ３３…画像要素、 ＥＡ…有効視野、 ＥＹ…眼、 ＬＩ…映像光、 ＭＸ…軸、 Ｐ１，Ｐ１，Ｐ２１-Ｐ２３…交点、 ＰＩ０…外界像、 ＳＸ…対称軸、 １０…導光部材、 １５…ハーフミラー層、 ２０…光透過部材、 ３０…導光装置、 ４０…画像形成装置、 ５０…投射レンズ、 ６０，２６０，…焦点輻輳変更部、 ６１…光学部材、 ６１ａ，６１ｂ…レンズ、 ６５…駆動部、 ７１…測距部、 ７２，７３…視線検出部、 ７１，７２，７３…視線方向距離検出部、 ７５…光源、 ７６…カメラ、 ９０…主制御部、 ９１…記憶部、 ９５…入出力操作部、 １００…画像表示装置、 １００Ａ，１００Ｂ…画像表示部、 １０１ａ，１０１ｂ…画像表示合成部、 １０５ａ，１０５ｂ…画像形成部

Claims (8)

1. 使用者に画像を表示するとともに外光を視認可能にする画像表示部と、
   使用者の視線方向及び視線方向にある対象物までの距離を検出する視線方向距離検出部と、
   前記画像表示部の表示動作を制御する表示制御部と、を備え、
   前記画像表示部は、投射される表示画像の輻輳と焦点とを変更する焦点輻輳変更部を有し、
   前記表示制御部は、前記視線方向距離検出部の検出した視線方向と対象物までの距離とに基づいて、前記焦点輻輳変更部を制御する、画像表示装置。
2. 前記表示制御部は、前記視線方向距離検出部の検出した視線方向と対象物までの距離とから得られる輻輳角に基づいて、前記焦点輻輳変更部に前記表示画像の輻輳と焦点とを調整させる、請求項１に記載の画像表示装置。
3. 前記焦点輻輳変更部は、投射される表示画像の輻輳と焦点とを所定の関係で連動させる光学部材を有する、請求項２に記載の画像表示装置。
4. 前記光学部材は、使用者に画像を表示するための投射光学系の投射光軸に対して非対称的に配置されるとともに、パワーが変化するように駆動され、パワーの変化に伴って前記表示画像の輻輳と焦点とを変化させる、請求項３に記載の画像表示装置。
5. 前記光学部材は、１対のレンズを有し、前記１対のレンズは、凹部と凸部とそれぞれを有し、前記１対のレンズの少なくとも一方を光軸と交差する横方向に移動させることにより焦点と輻輳とを調整する、請求項４に記載の画像表示装置。
6. 前記光学部材は、内包する液体の量に基づいてレンズ形状を変化させる、請求項４に記載の画像表示装置。
7. 前記光学部材は、２種類の比重の異なる液体に電界をかけることにより境界を変形させる、請求項４に記載の画像表示装置。
8. 前記視線方向距離検出部は、検出した視線方向に対して所定の視野の範囲内において対象物までの距離を検出する、請求項１〜７のいずれか一項に記載の画像表示装置。

Images