JP2023032250A - 映像表示装置およびその制御方法 - Google Patents

Abstract

【課題】注視点の位置に応じた視度調整を実現しつつ、より小型で軽量な映像表示装置を提供する。【解決手段】映像表示装置１０１は、使用者の右眼と左眼にそれぞれ対応する映像を表示する第１および第２の映像表示部２０１ａ，２０１ｂと、第１および第２の表示光学系２０２ａ，２０２ｂを備える。第１の視線検出部２０３ａ，２０４ａおよび第２の視線検出部２０３ｂ，２０４ｂは、第１および第２の表示光学系２０２ａ，２０２ｂを介さずに使用者の視線検出を行う。映像表示装置１０１は視線検出結果から使用者の注視点の位置を決定し、注視点の位置における映像の視差に対応する視度調整量を算出する。第１および第２の視度調整部２０５ａ，２０５ｂは視度調整量に基づき、第１および第２の映像表示部２０１ａ，２０１ｂに係る視度調整を行う。【選択図】 図２

Description

本発明は、異なる映像を使用者の左右の眼球に導くことにより映像を提示する技術に関する。

使用者の視線検出機能を有する映像表示装置では、注視点位置の視差に対応した視度調整量を算出して視度調整を行うことが可能である。特許文献１では、プリズムを用いた表示光学系を介して視線検出が行われる。視度調整による光学パワーの変更により視線検出に影響を与えないようにするために特殊なプリズムが採用される。また、使用者の注視点に応じて視度を調整する構成が採用されているので、立体視時の違和感が少なくなり、視聴時の酔いを抑制可能である。

特開平８－２３４１４１号公報

従来の技術では、プリズムを採用する構成の場合、光学系の大型化や重量化の原因となる。ヘッドマウントディスプレイのように映像表示装置を使用者が頭部に装着して映像を見る場合、重量が大きく大型の光学系を有する装置は装着が困難である。仮に装着が可能であるとしても使用者の疲労が大きく、中長時間の視聴を行うことは困難である。
本発明の目的は、注視点の位置に応じた視度調整を実現しつつ、より小型で軽量な映像表示装置を提供することである。

本発明の実施形態の映像表示装置は、使用者の右眼および左眼に対して第１および第２の映像をそれぞれ表示する第１および第２の映像表示部と、前記第１および第２の映像表示部にそれぞれ対応する第１および第２の表示光学系と、前記第１および第２の表示光学系を介さずに、前記第１および第２の映像表示部に係る視線検出をそれぞれ行う第１および第２の視線検出手段と、前記第１および第２の視線検出手段の検出結果から取得される注視点の位置における前記第１の映像と前記第２の映像との視差に対応する視度調整量を算出する算出手段と、前記視度調整量にしたがって前記第１および第２の映像表示部に係る視度調整を行う第１および第２の視度調整手段と、を備える。

本発明によれば、注視点の位置に応じた視度調整を実現しつつ、より小型で軽量な映像表示装置を提供することができる。

本実施形態の映像表示装置の外観を示す概略図である。 第１実施例に係る映像表示装置を上面側から見た場合の断面図である。 注視時の眼球の輻輳角と視度について説明する概略図である。 映像表示装置のシステム全体の構成を示すブロック図である。 視線検出から視度調整までの動作を説明するフローチャートである。 第２実施例に係る映像表示装置を上面側から見た場合の断面図である。 第３実施例に係る映像表示装置を上面側から見た場合の断面図である。

以下に、本発明の好ましい実施形態を、添付図面に基づいて詳細に説明する。実施形態では、視差を有する一対の映像を複数の映像表示部がそれぞれ表示し、複数の表示光学系を介して立体視表示を行うことが可能な映像表示装置の例として、ヘッドマウントディスプレイを示す。

［第１実施例］
図１は、本実施例に係る映像表示装置の外観を示す概略図である。映像表示装置１０１は、使用者の頭部１０２に装着するためのベルト部１０１ａを有する。使用者は右眼１０３ａと左眼１０３ｂで映像表示装置１０１による映像を観察する。

図２を参照して、本実施例に係る映像表示装置について説明する。図２は映像表示装置１０１を上面側から見た場合の模式的な断面図である。図２において使用者の右眼１０３ａに対応する構成要素の符号にはａを付記し、使用者の左眼１０３ｂに対応する構成要素の符号にはｂを付記している。

映像表示部は、右眼用の映像表示部２０１ａと、左眼用の映像表示部２０１ｂから成る。映像表示部は液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等で構成される。表示光学系２０２ａは映像表示部２０１ａの映像を右眼１０３ａに導く光学系であり、その光軸をＬａと表記する。表示光学系２０２ｂは映像表示部２０１ｂの映像を左眼１０３ｂに導く光学系であり、その光軸をＬｂと表記する。簡略化のため、図２の表示光学系２０２ａ，２０２ｂはいずれも１枚のレンズで図示されているが、複数枚のレンズによる光学系や、フレネル素子により薄型化した光学系等の様々な光学系がある。

視線検出カメラ２０３ａは右眼１０３ａの視線を検出し、その光軸をＬＧａと表記する。視線検出カメラ２０３ｂは左眼１０３ｂの視線を検出し、その光軸をＬＧｂと表記する。視線検出カメラ２０３ａ，２０３ｂは、それぞれ表示光学系２０２ａ，２０２ｂの側面近傍に配置されており、表示光学系２０２ａ，２０２ｂを介さずに使用者の視線を捉えることができる。視線検出カメラ２０３ａの光軸ＬＧａは、右眼１０３ａに対して正面に映像を表示する表示光学系２０２ａの光軸Ｌａに対して角度θ１ａで傾いた状態である。同様に視線検出カメラ２０３ｂの光軸ＬＧｂは、左眼１０３ｂに対して正面に映像を表示する表示光学系２０２ｂの光軸Ｌｂに対して角度θ１ｂで傾いた状態である。このように視線検出カメラ２０３ａ，２０３ｂは、表示光学系２０２ａ，２０２ｂを介さずに視線を検出する。よって、従来の構成とは異なり表示光学系２０２ａ，２０２ｂはシンプルな構成となり、より軽量で小型の表示光学系を実現できる。

赤外照明部２０４ａは、右眼１０３ａにおける視線検出カメラ２０３ａに関する照明を行い、角膜反射像を形成する。同様に赤外照明部２０４ｂは、左眼１０３ｂにおける視線検出カメラ２０３ｂに関する照明を行い、角膜反射像を形成する。赤外照明部２０４ａ，２０４ｂには赤外ＬＥＤ（発光ダイオード）等が用いられる。図２にて赤外照明部２０４ａ，２０４ｂは、それぞれ１つのみが図示されているが、実際にはそれぞれ表示光学系２０２ａ，２０２ｂを囲むように複数個配置されている。

このように視線検出カメラと赤外照明部により、使用者の右眼と左眼の視線検出を行うことが可能である。つまり視線検出カメラ２０３ａ，２０３ｂおよび赤外照明部２０４ａ，２０４ｂは視線検出手段を構成する。

視線検出方法については、眼球の瞳孔像と赤外照明による角膜反射像を用いた公知の方法が用いられるので、その詳細な説明を省略する。また、本実施例の視線検出手段は使用者の眼に対して傾いた位置から眼球像を捉える。そのため、視線検出カメラが捉える瞳孔や角膜反射像にはパース（Ｐｅｒｓｐｅｃｔｉｖｅ）による歪みが発生するが、補正を施すことで良好に視線を検出することができる。

視度調整部２０５ａは、映像表示部２０１ａを光軸Ｌａの方向に駆動することで視度調整を行う。視度調整部２０５ｂは、映像表示部２０１ｂを光軸Ｌｂの方向に駆動することで視度調整を行う。視度調整では、使用者の左右の眼の視力に合わせて度数の調整が行われる。視度調整部２０５ａ，２０５ｂは直線駆動が可能なモータを有する。モータの駆動方式は限定されないが、映像表示装置１０１の使用時に使用者の耳の近くに位置するため静粛性の高いモータが好ましく、例えば、摩擦を利用した超音波モータや電磁力を利用したボイスコイルモータが用いられる。

視度調整部２０５ａ，２０５ｂは、視線検出手段による検出結果から決定される注視点の位置における視度調整量に基づいて視度調整を行う。映像表示部２０１ａ，２０１ｂと表示光学系２０２ａ，２０２ｂとの、それぞれの間隔を変更することで視度が調整される。視度調整は注視点が変更されるたびにリアルタイムで行われ、これにより映像鑑賞時の使用者の酔いや疲労を軽減する効果を奏する。その詳細について、図３を用いて説明する。

図３は注視時の眼球の輻輳角と視度について説明する概略図である。図３（Ａ）は現実世界における注視時の状態を示し、図３（Ｂ）は映像表示装置１０１における注視時の状態を示す。図３（Ａ）にて、現実世界で観察者は距離Ａ１だけ離れた位置にある物点３０１を注視している状態である。観察者の右眼１０３ａの視線Ｇａ１と、観察者の左眼の視線Ｇｂ１とは、物点３０１上で交わり、角度Ｂ１をなす。角度Ｂ１は観察者が物点３０１を注視したときの輻輳角に相当する。このとき、観察者の眼球の視度に関して、距離Ａ１にピントが合うように水晶体が変化し、図中の光線Ｄａ１，Ｄｂ１で示すように、物点３０１を発する光線は眼球内の網膜上の略一点に集まる。すなわち、現実世界では輻輳角Ｂ１に対応する距離と視度に対応する距離Ａ１とが常に一致している。

一方、図３（Ｂ）では、映像表示装置１０１にて観察者が距離Ａ１だけ離れた位置にある物点３０１を注視している状態である。輻輳角Ｂ１については、図３（Ａ）に示される現実世界の場合と同じである。虚像位置３０２は、観察者が第１の映像表示部２０１ａと第２の映像表示部２０１ｂを、第１の表示光学系２０２ａと第２の表示光学系２０２ｂをそれぞれ通して観察した場合の虚像位置である。虚像位置３０２は眼１０３ａ，１０３ｂから距離Ａ２（＞距離Ａ１）だけ離れた位置である。眼球の視度に関しては距離Ａ２にピントが合うように水晶体が変化し、図中の光線Ｄａ２，Ｄｂ２で示すように、虚像位置３０２を発する光線は眼球内の網膜上の略一点に集まる。すなわち、これが映像表示装置１０１による立体視の原理であり、虚像位置３０２に対して輻輳角Ｂ１を与えることで、観察者はあたかも点３０１上に物体があるように視覚で認識する。しかしながら、映像表示装置１０１では現実世界と異なり、輻輳角Ｂ１に対応する距離と視度に対応する距離Ａ２とが一致していない。これがいわゆる輻輳と視度調整の矛盾であり、観察者の酔いや疲労の主原因となっている。

そこで、本実施例では図２に示すように、映像表示部２０１ａ，２０１ｂと表示光学系２０２ａ，２０２ｂとの間隔を変更することで、図３（Ｂ）における虚像位置３０２を変化させることができる。例えば、視線検出手段によって、観察者が点３０１を注視していることが検出される場合を想定する。距離Ａ２にある虚像位置３０２に対して距離Ａ１となるように、映像表示部と表示光学系との間隔が変更される。これにより、図３（Ａ）で示すように、輻輳角に対応する距離と視度に対応する距離とが一致し、より自然な観察が可能となり、同時に酔いや疲労を軽減することが可能である。なお、映像表示部と表示光学系との間隔を変更する場合、映像表示部と表示光学系のうち、少なくとも一方を駆動すればよい。つまり、映像表示部または表示光学系を駆動する実施形態と、映像表示部および表示光学系を駆動する実施形態がある。

次に図４、図５を用いて映像表示装置１０１の動作を説明する。図４は本実施例の映像表示装置１０１のシステム全体の構成を示すブロック図である。映像表示装置１０１の演算処理部４０１はＣＰＵ（中央演算処理装置）等を備え、システム全体の制御を統括する。演算処理部４０１には、映像表示部２０１ａ，２０１ｂ、視線検出カメラ２０３ａ，２０３ｂ、赤外照明部２０４ａ，２０４ｂ、視度調整部２０５ａ，２０５ｂが接続されている。

映像表示装置１０１は、電源４０２、無線部４０３、スピーカ４０４ａ，４０４ｂを備える。無線部４０３を介したネットワークへの接続により、使用者は動画のコンテンツ等を映像表示装置１０１で視聴可能である。

図５のフローチャートを参照して、視線検出から視度調整までの動作について説明する。図５のフローチャートに対応するプログラムは演算処理部４０１内の記憶部に格納されている。まずＳ５０１にて、視線検出カメラ２０３ａ，２０３ｂおよび赤外照明部２０４ａ，２０４ｂを用いて、使用者の右眼１０３ａ，左眼１０３ｂの各視線検出が行われる。

次にＳ５０２で演算処理部４０１は、右眼１０３ａの視線と左眼１０３ｂの視線から注視点を決定する処理を実行する。注視点の算出にあたっては右眼と左眼の視線に関する平均値が用いられる。Ｓ５０３で演算処理部４０１は、映像表示部２０１ａ，２０１ｂに表示する映像の注視点の位置における視度調整量を算出する処理を実行する。具体的には、右眼の注視点位置の映像と左眼の注視点位置の映像との視差が算出され、この視差から視度調整量が導出される。例えば、映像表示装置１０１は視差と視度調整量とを対応付けたデータテーブルを備えており、視差に対応する視度調整量を算出することができる。あるいは視差と視度調整量との関係を表す数式を用いて演算処理部４０１により視差から視度調整量を算出することができる。

Ｓ５０４では、算出された視度調整量に基づき、視度調整部２０５ａ，２０５ｂを構成するモータが駆動される。その結果、映像表示部２０１ａ，２０１ｂと表示光学系２０２ａ，２０２ｂとの間隔を変更する動作が行われる。以上の動作は、注視点が変更されるたびに行われるので、リアルタイムに視度調整を行って視度を変更することが可能である。

ところで、人間の視線は固視微動といわれる高周波の微動を含む。Ｓ５０１では微動成分を除去した滑らかな視線検出を行うことができる。本実施例では右眼と左眼とで独立した視度調整部２０５ａ，２０５ｂの駆動が可能であるので、左右の視力が異なる使用者にも対応可能である。また、視線検出カメラ２０３ａ，２０３ｂは、表示光学系２０２ａ，２０２ｂを介さずに視線検出を行う。そのため、表示光学系の大型化を抑制し、軽量で小型な構成で、表示光学系に係る視度調整による影響を受けにくい視線検出を実現できる。

本実施例によれば、注視点の位置に応じた視度調整を実現しつつ、より小型で軽量な映像表示装置を提供することができる。

［第２実施例］
図６を参照して、本発明の第２実施例に係る映像表示装置について説明する。本実施例では、表示光学系の光軸と視線検出カメラの光軸とのなす角度を小さくするために、表示光学系と眼との間に光路変更手段の役割を果たす反射部材を配置した例を示す。この構成では、より高精度な視線検出が可能となる。なお、第１実施例と同様の事項については既に使用した符号を用いることで、それらの詳細な説明を省略し、相違点を主に説明する。このような説明の省略方法は後述の実施例でも同じである。

図６は、本実施例の映像表示装置１０１を上面側から見た場合の模式的な断面図である。反射部材６０１ａ，６０１ｂはそれぞれ、使用者の眼１０３ａ，１０３ｂと表示光学系２０２ａ，２０２ｂとの間に配置されており、光路変更手段の役割を果たす。

図６において、使用者の右眼１０３ａに対する視線検出カメラ２０３ａの光学系の光軸をＬＧａ２で示す。また使用者の左眼１０３ｂに対する視線検出カメラ２０３ｂの光学系の光軸をＬＧｂ２で示す。視線検出カメラ２０３ａ，２０３ｂは、それぞれ表示光学系２０２ａ，２０２ｂの側面よりも使用者側の位置に配置されており、反射部材６０１ａ，６０１ｂを介して使用者の視線を捉えることができる。なお、第１実施例と同様に視線検出カメラ２０３ａ，２０３ｂは、表示光学系２０２ａ，２０２ｂを介さずに使用者の視線を捉えることができる。

本実施例にて、光軸ＬＧａ２と光軸Ｌａとがなす角度をθ２ａと表記し、光軸ＬＧｂ２と光軸Ｌｂとがなす角度をθ２ｂと表記する。視線検出カメラ２０３ａは、光軸Ｌａに対して角度θ２ａの傾いた位置から眼１０３ａを捉えている。同様に視線検出カメラ２０３ｂは、光軸Ｌｂに対して角度θ２ｂの傾いた位置から眼１０３ｂを捉えている。角度θ２ａ，θ２ｂは、第１実施例で示した角度θ１ａ，θ１ｂより大幅に小さくなっている。よって視線検出カメラが捉える瞳孔や角膜反射像に発生するパースによる歪みは大幅に小さくなる。こうすることで、より正面から見た眼球に近い画像を取得できるので、より高精度な視線検出が可能である。特に眼球が視線検出カメラ２０３ａまたは２０３ｂから離れる方向に回転した際には、パースによる瞳孔部の歪みが大きくなる。本実施例のように反射部材６０１ａ，６０１ｂを備える構成によれば、視線検出精度を向上させる効果が大きい。

視線検出カメラ２０３ａ，２０３ｂは、赤外照明部２０４ａ，２０４ｂの赤外線による赤外画像を用いて視線検出を行う。反射部材６０１ａ，６０１ｂは、赤外線を反射し、可視光を透過する特性を有する。これにより映像表示部２０１ａ，２０１ｂの光損失を抑制しつつ、使用者に映像を提示することができる。また、本実施例においても視線検出カメラ２０３ａ，２０３ｂは表示光学系２０２ａ，２０２ｂを介さずに視線検出が行われるので、第１実施例と同等の効果を奏する。

［第３実施例］
図７を参照して、本発明の第３実施例に係る映像表示装置について説明する。以下、第２実施例との相違点を説明する。本実施例では、表示光学系にて電気的なスイッチングによって焦点変更が可能な液晶型光学素子を用いる構成を示す。この構成により、表示光学系自体が視度調整手段を兼ねるので、映像表示装置の小型化に効果的である。

図７は、本実施例の映像表示装置１０１を上面側から見た場合の模式的な断面図である。光学素子７０１ａ，７０１ｂは表示光学系を構成し、液晶のスイッチングに基づく配向特性の変更により焦点距離を変更することが可能である。このような光学素子としては、フレネル型の構造を用いた素子や、偏光特性を組み合わせた素子等がある。

表示光学系を構成する光学素子７０１ａ，７０１ｂは、使用者の眼に対して映像表示部２０１ａ，２０１ｂの映像を導くだけではなく、視度調整手段をも兼ねる。したがって、映像表示部２０１ａ，２０１ｂと光学素子７０１ａ，７０１ｂとの間隔を変更する直線駆動モータは不要となるので、映像表示装置１０１をさらに小型化することが可能となる。なお、本実施例において視線検出カメラ２０３ａ，２０３ｂは、光学素子７０１ａ，７０１ｂを介さずに視線検出を行う。

本実施例によれば第２実施例の効果に加えて、電気信号により焦点距離の変更が可能な平板状の光学素子７０１ａ，７０１ｂを用いることで、より小型の映像表示装置１０１を実現できる。

前記実施形態では、従来例のように光学系が大型化せず、より軽量で小型な構成であって、かつ表示光学系の視度調整による影響を受けずに視線検出を実現することができる。すなわち、注視点の位置に応じた視度調整を実現しつつ、小型化や軽量化の実現が可能である。本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 映像表示装置
２０１ａ，２０１ｂ 映像表示部
２０２ａ，２０２ｂ 表示光学系
２０３ａ，２０３ｂ，２０４ａ，２０４ｂ 視線検出部
２０５ａ，２０５ｂ 視度調整部
６０１ａ，６０１ｂ 反射部材（光路変更手段）
７０１ａ，７０１ｂ 光学素子

Claims (8)

1. 使用者の右眼および左眼に対して第１および第２の映像をそれぞれ表示する第１および第２の映像表示部と、
   前記第１および第２の映像表示部にそれぞれ対応する第１および第２の表示光学系と、
   前記第１および第２の表示光学系を介さずに、前記第１および第２の映像表示部に係る視線検出をそれぞれ行う第１および第２の視線検出手段と、
   前記第１および第２の視線検出手段の検出結果から取得される注視点の位置における前記第１の映像と前記第２の映像との視差に対応する視度調整量を算出する算出手段と、
   前記視度調整量にしたがって前記第１および第２の映像表示部に係る視度調整を行う第１および第２の視度調整手段と、を備える
   ことを特徴とする映像表示装置。
2. 前記第１および第２の映像表示部は、視差を有する前記第１および第２の映像をそれぞれ表示し、前記第１および第２の表示光学系を介して立体視表示を行う
   ことを特徴とする請求項１に記載の映像表示装置。
3. 前記第１の視度調整手段は、前記第１の映像表示部および第１の表示光学系のうち、少なくとも一方を駆動することで視度調整を行い、
   前記第２の視度調整手段は、前記第２の映像表示部および第２の表示光学系のうち、少なくとも一方を駆動することで視度調整を行う
   ことを特徴とする請求項１または請求項２に記載の映像表示装置。
4. 前記第１および第２の表示光学系に対して使用者の側にそれぞれ配置された第１および第２の光路変更手段を備え、
   前記第１の視線検出手段は、前記第１の光路変更手段を介して視線検出を行い、
   前記第２の視線検出手段は、前記第２の光路変更手段を介して視線検出を行う
   ことを特徴とする請求項１から３のいずれか１項に記載の映像表示装置。
5. 前記第１および第２の視線検出手段は、赤外照明部および視線検出カメラを備え、
   前記第１および第２の光路変更手段は、赤外線を反射し、可視光を透過する特性を有する
   ことを特徴とする請求項４に記載の映像表示装置。
6. 前記第１および第２の表示光学系は、電気信号により焦点距離の変更が可能な平板状の光学素子により構成され、
   前記第１および第２の表示光学系はそれぞれ、前記第１および第２の視度調整手段を兼ねる
   ことを特徴とする請求項１または請求項２に記載の映像表示装置。
7. 使用者の頭部への装着が可能である
   ことを特徴とする請求項１から６のいずれか１項に記載の映像表示装置。
8. 使用者の右眼および左眼に対して第１および第２の映像をそれぞれ表示する第１および第２の映像表示部と、前記第１および第２の映像表示部にそれぞれ対応する第１および第２の表示光学系とを備える映像表示装置にて実行される制御方法であって、
   前記第１および第２の表示光学系を介さずに、前記第１および第２の映像表示部に係る視線検出をそれぞれ行う視線検出工程と、
   前記視線検出工程の検出結果から取得される注視点の位置における前記第１の映像と前記第２の映像との視差に対応する視度調整量を算出する算出工程と、
   前記視度調整量にしたがって前記第１および第２の映像表示部に係る視度調整を行う視度調整工程と、を有する
   ことを特徴とする映像表示装置の制御方法。
   
   

Images