JP2018141874A - 頭部搭載型表示装置及び画像形成光学系 - Google Patents
頭部搭載型表示装置及び画像形成光学系 Download PDFInfo
- Publication number
- JP2018141874A JP2018141874A JP2017035983A JP2017035983A JP2018141874A JP 2018141874 A JP2018141874 A JP 2018141874A JP 2017035983 A JP2017035983 A JP 2017035983A JP 2017035983 A JP2017035983 A JP 2017035983A JP 2018141874 A JP2018141874 A JP 2018141874A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image display
- display device
- head
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 99
- 230000002093 peripheral effect Effects 0.000 claims abstract description 56
- 230000008859 change Effects 0.000 claims abstract description 35
- 230000000007 visual effect Effects 0.000 claims description 42
- 230000004304 visual acuity Effects 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 description 26
- 230000005540 biological transmission Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 210000003128 head Anatomy 0.000 description 11
- 230000004438 eyesight Effects 0.000 description 7
- 239000013256 coordination polymer Substances 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000005549 size reduction Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 description 1
- 229910000861 Mg alloy Inorganic materials 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910052749 magnesium Inorganic materials 0.000 description 1
- 239000011777 magnesium Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0938—Using specific optical elements
- G02B27/095—Refractive optical elements
- G02B27/0955—Lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
- G02B2027/0105—Holograms with particular structures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/001—Constructional or mechanical details
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Lenses (AREA)
- Diffracting Gratings Or Hologram Optical Elements (AREA)
Abstract
【課題】光学系の負担を軽減させて装置の簡易小型化を可能としつつ良好な画像視認を維持できる頭部搭載型表示装置及び頭部搭載型表示装置に適用可能な画像表示装置を提供すること。
【解決手段】頭部搭載型表示装置100では、中心解像度を周辺解像度よりも高い画像とし、必ずしも周辺解像度についてまで高解像度のものを求めることを要しないものとする一方、制御装置CRでは、視線センサーSSにおいて検出された視線の変化に応じて画像表示装置80での表示態様を変化させる。
【選択図】図6A
【解決手段】頭部搭載型表示装置100では、中心解像度を周辺解像度よりも高い画像とし、必ずしも周辺解像度についてまで高解像度のものを求めることを要しないものとする一方、制御装置CRでは、視線センサーSSにおいて検出された視線の変化に応じて画像表示装置80での表示態様を変化させる。
【選択図】図6A
Description
本発明は、頭部に装着して映像素子等によって形成された映像を観察者に提示する頭部搭載型表示装置及び画像形成光学系に関する。
観察者の頭部に装着するヘッドマウントディスプレイ(以下、HMDとも言う)等の頭部搭載型表示装置(あるいは虚像表示装置)として、視線に追従して注視点の狭視野映像を高解像度で表示するもの(特許文献1参照)が知られている。
しかしながら、特許文献1に示すHMDは、眼前に大掛かりな装置を要し、これらを駆動させるものであるところ、例えば光学系をシースルーな構成としたり、光学系小型化や簡易化といった軽量化を図ったりするための構成とすることは必ずしも容易ではない。
本発明は、光学系の負担を軽減させて装置の簡易小型化を可能としつつ良好な画像視認を維持できる頭部搭載型表示装置及び頭部搭載型表示装置に適用可能な画像形成光学系を提供することを目的とする。
本発明に係る第1の頭部搭載型表示装置は、中心側の画像表示領域に周辺側の画像表示領域よりも解像度の高い画像を表示する画像表示部と、視線を検出する視線検出部と、視線検出部において所定角度を超える視線方向の変化を検出した場合に、画像表示部の表示態様を変化させる画像制御部とを備える。
上記頭部搭載型表示装置では、画像表示部において中心解像度を周辺解像度よりも高い画像とし、必ずしも周辺解像度についてまで高解像度のものを求めることを要しないものとする一方、画像制御部では、視線検出部において検出された視線の変化に応じて画像表示部の表示態様を変化させることで、装置の簡易小型化を可能としつつ、良好な画像視認を維持できる。
本発明の具体的な側面では、画像表示部は、周辺側の画像表示領域における周辺解像度を、想定した眼の視野に対する視力を超える解像度にして画像を表示する。この場合、観察者に画像の劣化を感じさせずに良好な画像視認を維持できる。
本発明の別の側面では、画像表示部は、中心側の画像表示領域として、眼の視線方向に対応する視線基準軸に対して5°以上の角度範囲の中心画像を表示する。この場合、観察者が数字や文字の認識ができる範囲に相当する範囲について解像度が高い状態を維持できる。
本発明のさらに別の側面では、装置の姿勢を検出する姿勢検出部をさらに備え、画像制御部は、視線検出部により5°以上の視線方向の変化を検出した場合に、姿勢検出部により検出される姿勢の変化に対応して画像表示部の表示態様を変化させる。この場合、姿勢の変化に対応して観察者にとって自然な表示態様を変化を行うことができる。
本発明のさらに別の側面では、画像制御部は、画像コンテンツによって視線方向の変化に伴う画像表示部の表示態様の変化のさせ方を変更する。この場合、画像コンテンツに応じて適切な画像表示を行うことができる。
本発明のさらに別の側面では、画像表示部は、画素マトリクスを有し、画素マトリクスを構成する複数の画素について、中心側の画像表示領域に対応する画素と周辺側の画像表示領域に対応する画素とで、画素の構造又は制御が異なっている。この場合、画素マトリクスでの制御負担を低減できる。
本発明のさらに別の側面では、画像表示部は、画素マトリクスにおいて、中心側の画像表示領域に対応する画素について一画素ごとに駆動し、周辺側の画像表示領域に対応する画素について隣接する複数画素を一纏めにして駆動する。この場合、駆動制御を簡易にできる。
本発明のさらに別の側面では、画像表示部は、領域走査による画像表示を行い、画像表示領域に応じて走査速度を調整する。この場合、走査速度を調整により解像度の調整ができる。
本発明のさらに別の側面では、画像表示部は、ホログラム素子を用いて画像を表示する。この場合、ホログラム素子の作製負担を軽減できる。
本発明に係る画像形成光学系は、眼の視野に対する視力の変化に応じて中心側と周辺側とで異なる解像度の画像を形成する画像形成光学系であって、眼の視線方向に対応する視線基準軸に対する所定角度範囲内の中心画像の解像度は、所定角度範囲外の周辺画像の解像度よりも高く、周辺画像の解像度は、想定した眼の視野に対する視力を超える解像度にする。
上記画像形成光学系では、眼の視野に対する視力の変化に応じて中心側と周辺側とで異なる解像度の画像を表示するに際して、眼の視線方向に対応する視線基準軸に対する所定角度範囲内の中心画像の解像度は、所定角度範囲外の周辺画像の解像度よりも高く、かつ、周辺画像の解像度は、想定した眼の視野に対する視力を超える解像度にすることで、必ずしも周辺解像度についてまで高解像度のものを求めることを要しないものとしつつ、良好な画像視認を維持でき、装置の簡易小型化を図れる。
本発明の具体的な側面では、画像形成光学系は、視線基準軸に対して5°以上の角度範囲の中心画像を表示する。この場合、観察者が数字や文字の認識ができる範囲に相当する範囲について解像度が高い状態を維持できる。
本発明に係る第2の頭部搭載型表示装置は、上記いずれかに記載の画像形成光学系を備える。この場合、装置の簡易小型化を可能としつつ、良好な画像視認を維持できる。
〔第1実施形態〕
以下、図1等を参照しつつ、本発明の第1実施形態に係る頭部搭載型表示装置について詳細に説明する。
以下、図1等を参照しつつ、本発明の第1実施形態に係る頭部搭載型表示装置について詳細に説明する。
図1に示すように、本実施形態の頭部搭載型表示装置100は、眼鏡のような外観を有するヘッドマウントディスプレイ(HMD)であり、この頭部搭載型表示装置100を装着した観察者又は使用者に対して虚像による画像光(映像光)を視認させることができるとともに、観察者に外界像をシースルーで視認又は観察させることができる虚像表示装置である。頭部搭載型表示装置100は、第1表示装置100Aと、第2表示装置100Bと、フレーム部102とを備える。頭部搭載型表示装置100は、第1表示装置100A等の光学系のほか、各種センサー部や、制御部を有するが、これらについて詳しくは図6等を参照して後述する。
第1表示装置100A及び第2表示装置100Bは、右眼用と左眼用の虚像をそれぞれ形成する部分であり、観察者の眼前を透視可能に覆う第1及び第2光学部材101a,101bと、第1及び第2像形成本体部105a,105bとをそれぞれ備え、画像を形成する画像形成光学系であり、画像の表示を行う画像表示部である。第1及び第2像形成本体部105a,105bについては、後述するが、表示装置(映像素子)や投射レンズ等の像形成のための光学系やこれらの光学系を収納する部材等でそれぞれ構成されている。なお、表示装置(映像素子)や投射レンズ等は、カバー状の外装部材105dにより覆われることで、支持・収納されている。第1及び第2光学部材101a,101bは、第1及び第2像形成本体部105a,105bで形成される映像光を導光させるとともに外界光と映像光とを重複して視認させる導光部であり、導光装置を構成している。以下、第1光学部材101aまたは第2光学部材101bを導光装置20ともする。なお、第1表示装置100A及び第2表示装置100Bは、単独でも虚像表示装置として機能する。
フレーム部102は、平面視でU字状に折れ曲がった細長い部材であり、金属製の一体部品である。ここでは一例として、フレーム部102は、マグネシウム合金で構成されている、すなわち、フレーム部102は、金属製の一体部品であるマグネシウムフレームを本体部分102pとして構成されている。また、フレーム部102は、図示のように、第1光学部材101aと第2光学部材101b(一対の導光部である導光装置20)との双方に接続して設けられる肉厚構造の中央部102aと、中央部102aから第1及び第2光学部材101a,101bに沿って延び、さらに、U字状に折れ曲がった箇所を形成する支持体102bとを有している。
中央部102aは、第1及び第2光学部材101a,101bの先端側を挟持することにより、これらの相対的位置を固定している。これに加えて、支持体102bは、U字状に折れ曲がる部分である第1及び第2周辺部102c,102dを形成し、第1及び第2周辺部102c,102dにおいて第1及び第2光学部材101a,101bとそれぞれ接続する(組み付けられている)ことで、互いの固定をさらに強固なものとしている。
なお、フレーム部102の左右両端から後方に延びるつる部分であるテンプル104が設けられており、観察者の耳やこめかみ等に当接させ支持するものにできる。また、第1及び第2像形成本体部105a,105bは、フレーム部102からテンプル104の部分に付加されているものとしてもよい。
以下、図2等を参照して、頭部搭載型表示装置100による映像光の導光をするための構造等についての一例を概念的に説明する。なお、映像光の導光を行うための装置は、既述のように、第1表示装置100A及び第2表示装置100B(図1等参照)であるが、第1表示装置100A及び第2表示装置100Bとは、左右対称で同等の構造を有する。このため、図2Aでは、第2表示装置100Bについてのみ説明し、第1表示装置100Aについては説明を省略する。図2Aに示すように、第2表示装置100Bは、映像光を形成する画像表示装置80と、鏡筒部に収納される結像用の投射レンズ30と、画像表示装置80及び投射レンズ30を経た映像光を導光する導光装置20と、を備える。導光装置20は、導光及び透視用の導光部材10と、透視用の光透過部材50とで構成されている。
画像表示装置80は、例えば有機EL等の自発光型の素子構成される映像素子(映像表示素子)とすることができる。また、例えば透過型の空間光変調装置である映像表示素子(映像素子)のほか、映像表示素子へ照明光を射出するバックライトである照明装置(不図示)や動作を制御する駆動制御部(不図示)を有する構成としてもよい。
投射レンズ30は、構成要素として、例えば入射側光軸に沿って設置される光学素子(レンズ)を備える投射光学系である。ここでは、投射レンズ30は、1つのレンズ構成である。なお、当該光学素子は、例えば非軸対称な非球面(非軸対称非球面)で構成され、導光装置20を構成する導光部材10の一部と協働して導光部材10の内部に表示像に対応する中間像を形成することができる。投射レンズ30は、画像表示装置80で形成された映像光を導光装置20に向けて投射し入射させる。
導光装置20は、既述のように、導光及び透視用の導光部材10と、透視用の光透過部材50とで構成されている。光透過部材50は、導光部材10の透視機能を補助する部材(補助光学ブロック)であり、導光部材10と一体的に固定され1つの導光装置20となっている。なお、投射レンズ30と導光装置20とを鏡筒部(図示略)に取り付けて一体のユニット化された部品を光学表示ユニットと呼ぶこととする。
導光部材10は、光学的な機能を有する側面として、第1〜第5面S11〜S15を有している。これらのうち、第1面S11と第4面S14とが連続的に隣接し、第3面S13と第5面S15とが連続的に隣接する。また、第1面S11と第3面S13との間に第2面S12が配置されている。第2面S12の表面には、ハーフミラー層が付随して設けられている。このハーフミラー層は、光透過性を有する反射膜(すなわち半透過反射膜)であり、金属反射膜や誘電体多層膜を成膜することにより形成され映像光に対する反射率が適宜設定されている。
以下、図2を参照して映像光(ここでは映像光GLとする。)の光路について概略説明する。導光部材10は、投射レンズ30から映像光GLを入射させるとともに第1〜第5面S11〜S15での反射等により観察者の眼に向けて導光する。具体的には、投射レンズ30からの映像光GLは、まず、第4面S14に入射して第5面S15で反射され、第4面S14に内側から再度入射して全反射され、第3面S13に入射して全反射され、第1面S11に入射して全反射される。第1面S11で全反射された映像光GLは、第2面S12に入射し、第2面S12に設けたハーフミラー層を部分的に透過しつつも部分的に反射されて第1面S11に再度入射して通過する。第1面S11を通過した映像光GLは、観察者の眼又はその等価位置に略平行光束として入射する。つまり、観察者は、虚像としての映像光により画像を観察することになる。
光透過部材50は、既述のように導光部材10と一体的に固定され1つの導光装置20となっており、導光部材10の透視機能を補助する部材(補助光学ブロック)である。光透過部材50は、光学的な機能を有する側面として、第1透過面S51と、第2透過面S52と、第3透過面S53とを有する。第2透過面S52は、第1透過面S51と第3透過面S53との間に配置されている。第1透過面S51は、導光部材10の第1面S11を延長した面上にあり、第2透過面S52は、第2面S12に対して接合され一体化されている曲面であり、第3透過面S53は、導光部材10の第3面S13を延長した面上にある。
導光装置20は、上述したように導光部材10により観察者に映像光を視認させるとともに、導光部材10と光透過部材50との協働により観察者に歪みの少ない外界像を観察させるものとなっている。この際、第3面S13と第1面S11とが互いに略平行な平面(視度略0)となっていることで、外界光について、収差等をほとんど生じない。また、同様に、第3透過面S53と第1透過面S51とが互いに略平行な平面となっている。さらに、第3透過面S53と第1面S11とが互いに略平行な平面となっていることで、収差等をほとんど生じない。以上により、観察者は、光透過部材50越しに歪みのない外界像を観察することになる。
図2Bは、上述した構成の導光装置20や投射レンズ30を有する第1表示装置100A及び第2表示装置100BについてのMTF図である。
図2Bから分かるように、本実施形態における映像光の導光を行う光学系は、周辺部では中心に対し半分以下の解像度である。具体的には、中央の映像光に関するMTF曲線C1に比べ、画角が5°〜10°にあるやや周辺側の映像光に関するMTF曲線C2や、画角が15°〜20°の最外周側の映像光に関するMTF曲線C3は、解像度が劣るものとなっている。しかしながら、MTF曲線C2,C3においても、例えばコントラスト50%以上の状態を、MTF曲線C2においては、解像度40lp/mm程度、MTF曲線C3においては、解像度28lp/mm程度に維持することで、眼の分解能曲線を上回る解像度を維持できるようなものとなっている。なお、光学系の性能と眼の分解能(視力に相当)との関係について詳しくは後述する。
光学系の性能と人間の眼の性能との関係を説明するための前提として、ここでは、人間の眼に関する特性について説明する。図3は、人間の視覚特性について説明するための図であり、図4Aは、眼の視野に対する視力について示すグラフである。図3に示すように、眼の並ぶ左右方向に関する人間の視野角(半角)のうち、網膜像が中心窩に映じて解像力が優れた中心視を行える範囲R1は、約1°程度までであり、視力1.0程度の視力があってもある程度以上の解像が維持できるのは2°程度までで、それ以上の視野角では、急に解像性能は落ちる。また、数字や文字の認識ができる範囲R2は、約5°程度までである。具体的には、図4Aの曲線LLに示すように、人間の視力は、視野角が広がるとともに急速に落ちる。
以上のような眼の特性から、解像度良く注視する場合、人間は、眼の中心で見るように身体を動かす。具体的には、注視したい部分を見るときは、視認対象を眼の中心で見るように、まず、眼を回転させて視線を動かし、その後、さらに首を動かして、見たい部分である視認対象が顔の中心軸上にくるように移動させて見ている。
これに対して、本実施形態では、上記眼の視野に対する視力の特性を踏まえて、眼の分解能曲線を上回る解像度を維持するように、画像表示において中心側については、眼において中心視を行える範囲以上の範囲において高解像度を維持しつつ、眼の解像性能が落ちる範囲にある中心から離れた周辺側の範囲では、中心に対し半分以下の解像度ではあるが、眼の解像性能以上の解像度を維持することで、解像度の劣化を感じさせず、十分解像度が高いと感じられる画像を観察者に認識させることを可能にしている。また、後述するように、人間の眼の等の動きに応じた画像処理を行っている。
図4Bは、眼の視野に対する視力の特性と頭部搭載型表示装置100における光学特性との関係を比較するためのグラフである。既述のように、頭部搭載型表示装置100における光学特性は、図2BのMTF図に示されている。図2Bに示し説明したように、例えば人間の眼において解像力が優れた中心視を行える範囲である約1°の範囲においては、対応する中央の映像光に関するMTF曲線C1は、非常に解像度の高い状態に維持されている一方、やや周辺側の映像光に関するMTF曲線C2や、最外周側の映像光に関するMTF曲線C3は、解像度が劣るものとなっている。図4Bの曲線K1は、図2BのMTF図に対応するものである。
以下、図4Bに示す各グラフの曲線について説明する。まず、光学系における解像度については、以下のように考えることができる。まず、16:9画面で2.5m先にある80インチ相当の画像の画角に対応するものとして、視野角の半角が約23°であると想定する。この場合において、80インチで1080pの画像について必要な解像度に関して、lp/mmに代えて、lp/°で表すと、中心軸の近辺(角度0°付近)では50lp/°程度が必要となる。すなわちこれより高い解像度(単位:lp/°)が維持できると、想定した画面の視認に十分なものとなる。本実施形態における光学系では、図2Bに示したように、中心軸の近辺では比較的高い解像度を有するが、周辺側では解像度がやや劣るものとなっている。具体的には、図4Bにおいて横軸に視野角(半角)を取り、縦軸について左側に目盛りをしたlp/°に沿って本実施形態の光学系の性能を示したものが、曲線K1である。すなわち、曲線K1は、図2BのMTF図に相当する性能を表すものである。
また、視力について、例えば視力1.0であるとは、1/60角度(分)の解像性能(分解能)を有することを意味する。これは、図4Bの右側の目盛りで示す解像度(lp/°)で表現すると、60lp/°程度に相当する。しかしながら、図4Aを参照して説明したように、人間の眼の解像性能は、視野角が大きくなると急には落ちる。この様子を視力1.0が60lp/°に相当するものと換算して、図4Aの曲線LLに相当するものを示したものが、図4Bの曲線L1である。すなわち、図4Bでは、図4Aと同じく横軸に視野角(半角)を取り縦軸を視力として左側に目盛りをする一方、縦軸について、lp/°について、(視力1.0)=(60lp/°)として右側に目盛りをしたものである。
以上のようにして、図4Bでは、人間の眼の解像性能を曲線L1で表し、光学系における解像性能を曲線K1で表し、両者を比較可能としている。この場合、曲線K1が視野角の大きい側すなわち周辺側に向かうほど性能を落としているが、常に眼の性能を示す曲線L1よりは高い状態を維持していることが分かる。すなわち、頭部搭載型表示装置100は、想定した眼の視野に対する視力を超える解像度にして画像を表示可能にしている。
このように、人間の眼の視野に対する視力を考慮して、解像度を必要に足るようにある程度以上に維持して画像劣化を観察者に感じさせないようにしつつも、さほど高精度を要しない構成とすることで、光学系に係る負担を軽減することができるものとなっている。上記に例示した場合では、光学系において、特に、周辺側の解像度を半分程度に落としたものにできるので、その分、光学系に採用するレンズ等を削減し軽量化を図るとともに、レンズ面精度も落として良く、安価に構成できる。
図5A及び5Bは、図2A及び2Bに示した本実施形態の光学系に対する比較例の光学系についての一例を示す図である。
図5Aに示すように、比較例の光学系では、例えば投射レンズ30について3つの光学素子(レンズ)を配置した構成等となっている点において、本実施形態の場合と異なっており、これにより、図5BのMTF図を、図2Bに示すものと比べて優れていることが分かる。
従来においては、表示される画像の全体に亘って高解像度な画像を形成した状態を維持するような光学系が設けられてきた。このため、例えば図5Aのように複数(3つ)の光学素子を軸に沿って配置するといった複雑得かつ高精度な構成を要するものとなっていた。なお、比較例の場合での解像度に関しては、図4Bにおいて破線で示す曲線K2で示されている。視野に対する視力の概念を考慮した場合には、オーバースペックであったと考えることができる。
これに対して、本実施形態では、光学系の構成を人間の眼の特性に応じて簡易化することで、構成を簡易化しつつも高解像度な状態で視認させる状態を維持可能なものとなっている。
さらに、本実施形態に係る頭部搭載型表示装置100では、上記のような人間の眼及び首あるいは頭の動きの性質を利用して、視線で見た方向の映像を首の動き程度の速度で中心に移動させることで、違和感なく見たいところを解像良く見ることができるようにしている。
以下、図6及び図7を参照して、人間の眼及び首あるいは頭の動きに応じた頭部搭載型表示装置100における画像制御の動作について一例を説明する。図6Aは、頭部搭載型表示装置100における画像制御の動作について一例を説明するための図であり、図6Bは、図6Aに示す状況での画像制御の動作における表示画像と視線の関係を説明するための図である。なお、図6Aにおいて、左右の眼EY1,EY2は、観察者の眼を示すものであり、図6Bにおける眼EYは、左右一対の眼EY1,EY2の眼の様子を代表して示している。眼EYあるいは、左右の眼EY1,EY2は、観察者の眼の位置や視線の方向等の眼の動き等を説明するための図である。すなわち、図6Bは、図6Aのような状況下において各眼において視認される画像の表示領域である画像表示領域DDと、眼EYの視線方向GDとの関係を概念的に示している。さらに、ここでは、画像表示領域DDのうち、中心側(中央側)の比較的解像度の高い領域を第1画像表示領域D1とし、周辺側の比較的解像度の低い領域を第2画像表示領域D2としている。第1画像表示領域D1の形状については、ここでは、円形状としているが、種々の形状が考えられる。
図6A等に示すように、本実施形態に係る頭部搭載型表示装置100は、図1等を参照して説明した光学系のほか、各種センサー部や、制御部を有する。具体的には、頭部搭載型表示装置100は、各種のセンサーとして、視線を検出する視線検出部である視線センサーSSと、姿勢を検出する姿勢検出部である姿勢センサーGSと、視線センサーSSや姿勢センサーGSでの検出結果に基づいて画像制御を行う画像制御部である制御装置CRとを備える。なお、制御装置CRは、画像表示装置80の駆動制御を行うことで、画像制御を可能にしている。
視線センサーSSは、例えば、発光部EEと受光部RRとを有しており、発光部EEから眼EY1,EY2に弱い赤外光を当てて網膜と角膜の反射光を受光部RRで捉えることにより、視線方向を検出し、視線検出部として機能させることが考えられる。視線センサーSSによる視線検出の具体的方法については、種々知られているが、基本原理としては、眼を構成する部分のうち目頭や角膜反射といった動かない部分を基準として、虹彩や瞳孔等のように動く部分を捉えることで、視線の検出が可能となる。
姿勢センサーGSは、例えばジャイロセンサー等により構成され、加速度等を検出して観察者の姿勢や動き等を把握可能にする、すなわち頭部搭載型表示装置100自身の姿勢や動き等を把握可能にする姿勢検出部である。
制御装置CRは、視線センサーSSにより観察者の眼EY1,EY2の動きを捉えるとともに、眼EY1,EY2の動きが所定の角度以上であった場合には、これに応じた表示制御を行う。ここでは、特に、画像の変化すなわち画像表示装置80の駆動制御のしかたを、姿勢センサーGSでの検出結果に基づいて定めるものとしている。
ここでは、図6Aに示すように、虚像としての画像IMに対して垂直で、左右一対構成の頭部搭載型表示装置100の光学系の中心を通る軸であって観察者の左右の眼EY1,EY2の間すなわち平面視で鼻NSの中央付近を通る軸を姿勢基準軸PX1とする。姿勢基準軸PX1は、図6Aに対応する図6Bにおいては、頭部搭載型表示装置100の光学系において正面方向として想定される視線基準軸GX1と対応関係にある。視線基準軸GX1は、頭部搭載型表示装置100の光学系を構成する際に、標準的な観察者の眼の位置や視線方向を想定して想定した眼にとっての視線方向に画像の中心がくるように設定された軸であり、光学系の光軸に相当する。一方、姿勢基準軸PX1は、上記のような標準的な姿勢で視認される虚像としての画像IMに対して垂直で想定された眼の高さ位置で左右の眼の中間位置に想定される軸である。図6Aに示すように破線の矢印で示す左右の眼EY1,EY2の視線方向GDが、正面あるいは略正面にあるときに、虚像としての画像IMの中心に視点が向くように構成されている。なお、姿勢検出部である姿勢センサーGSは、例えば姿勢基準軸PX1等の動きを捉えて検知するものと考えることができる。
これらの軸PX1,GX1は、言い換えると、頭部搭載型表示装置100の光学系によって形成される画像の装置内における位置を示す基準である、あるいは光学設計時における基準であるとも言える。具体的には、観察者の眼EY1,EY2が、標準的な位置にあると想定した場合、自然に正面を向いた時の視線方向GDは、図6Aに示すように、平面視において姿勢基準軸PX1に平行で、眼EY1,EY2を示す各眼EYは、図6Bに示すように、視線基準軸GX1に沿って虚像としての画像中心CTに向くことで、観察者は、画像中心CTを基準に約1°の範囲において解像力が優れた中心視を行えることになる。
頭部搭載型表示装置100では、上記を踏まえて、図6Bに示すように、画像表示領域DDにおいて、光学系の光軸である視線基準軸GX1上の画像中心CTから同心円状に広がり範囲であって、半画角θが5°あるいは5°以上の角度(例えば10°)となる範囲内となる中心側を第1画像表示領域D1とし、第1画像表示領域D1における解像度を、周辺側すなわち第1画像表示領域D1の外側となる第2画像表示領域D2における解像度よりも高いものとなるように光学的な設計がなされている。第1画像表示領域D1での解像度の程度については、例えば文字や数字が画像表示された場合にこれを読解できる程度の解像度を維持する程度にMTF値を維持することができるようにすることが考えられる。
第1画像表示領域D1は、観察者の解像力が優れた中心視を行える角度範囲(1°程度)よりも大きい角度範囲となっていることで、良好な状態と感じさせる画像を視認させることができる。また、第1画像表示領域D1は、半画角θが5°以上の角度となっていることで、観察者が数字や文字の認識ができる範囲に相当する範囲について解像度が高い状態を維持し、例えば観察者が首を動かくことなく眼だけを動かして文字を読む、といった態様において必要に足る解像度を確保している。
一方、第2画像表示領域D2については、第1画像表示領域D1と比較すると劣化があるものの図4Bを参照して説明した人間の眼の視野に対する視力よりも優れた状態に解像度を維持することで、観察者に解像度の劣化を意識させにくいものにできる。すなわち、第2画像表示領域D2に表示されるような周辺画像の解像度は、図4Bのような眼の視野に対する視力を想定し、これを超える解像度に維持する。
しかしながら、人間の眼は、常に正面を向いてはおらず、その視線方向は変化する。例えば本を読む場合等のように、ある程度の視野角度範囲内に文字や数字がありそれらを読解する時には、文字等のある範囲内で小さな変化をすると考えられる。この場合、例えば視線方向の角度変化は5°程度であると考えられ、眼だけが動き首や頭は全く動かないかほとんど動かないと考えられる。一方、例えば視線を大きく変えて今までとは別なところを見るといった視線方向の角度変化が5°以上となる大きな変化をする場合、まず、瞬時に眼を回転させて視線方向を変化させ、遅れて首を動かして、見たい視認対象が顔の中心軸上すなわち図6Aで言うところの姿勢基準軸PX1上にその中心がくるように眼や首あるいは頭を移動させる。
本実施形態では、上記のような動作を踏まえ、視線検出部である視線センサーSSによって、所定角度を超える視線方向の変化として、視線方向の角度変化が5°以上となる大きな変化をした場合、これに応じて、画像制御部である制御装置CRによって画像表示部を構成する画像表示装置80の表示態様を変化させている。特に、本実施形態では、制御装置CRは、姿勢検出部である姿勢センサーGSにより検出される姿勢の変化に対応して表示態様を変化させている。
以下、図7を参照して、図6に示した頭部搭載型表示装置100における観察者の動きに対する画像制御の動作について一例について説明する。図7において図6Aに対応する状態A1〜A3については、状態A1が、観察者が眼EY1,EY2だけを動かして視線方向を変えた状態を示し、状態A2が、観察者が眼EY1,EY2を動かした後に視線方向を変えた方向に向かって首あるいは頭を途中まで動かした状態を示し、状態A3が、首あるいは頭を動かし終えて再び観察者が眼EY1,EY2の視線方向が顔の中心軸と揃って図6Aに示したものと同等になった状態を示している。また、図7において、状態B1〜B3は、図6Bに対応するものであって、かつ、上記した状態A1〜A3の各状態における観察者の眼EYの視線方向と画像表示態様の変化との関係を示す図である。
図7に示すように、まず、状態A1,B1に示すように、観察者が眼EY1,EY2だけを動かして視線方向GDが、姿勢基準軸PX1や視線基準軸GX1に対して5°以上角度差ができて傾いた状態となると、視線方向GDの先すなわち観察者の中心視の方向は、第1画像表示領域D1から外れ、周辺側である第2画像表示領域D2に向かう。しかしながら、その後は、状態A2,B2に示すように、観察者が首あるいは頭を動かすので、それに伴い頭部搭載型表示装置100そのものが動く。すなわち、視線方向GDの姿勢基準軸PX1や視線基準軸GX1に対する角度差が少なくなり、視線方向GDの先が第1画像表示領域D1内に入ってくる。そして、状態A3,B3に示すように、観察者が首あるいは頭を動かし終えると、視線方向GDが姿勢基準軸PX1や視線基準軸GX1の方向と再び揃った状態すなわち図6A及び6Bに示した状態に戻る。
以上のような眼や首等の動きにおいて、画像の表示態様を変化させる場合、例えば画像コンテンツ等に応じて種々の変化のさせ方が考えられる。例えば、図示の例では、画像表示領域DDにおいて、十字のマークMKをできるだけ眼EYの視線方向GD上にあるかのように見せる態様を示している。具体的に説明すると、まず、前提として、通常の表示状態においては、例えば画像表示領域DDの中心にマークMKを表示する。すなわち、観察者が眼EY1,EY2の視線方向GDが自然に前を向いた状態であれば、マークMKが画像の中心にあるものとして視認される。一方、状態B1に示すように、眼EY1,EY2の視線方向GDについて角度変化が5°以上となる大きな変化があったことが、視線センサーSSによって検出されると、制御装置CRは、姿勢検出部である姿勢センサーGSにより検出される姿勢の変化を確認する。すなわち、状態A1から状態A2への変化について確認する。この結果、眼EY1,EY2の視線方向GDの先が、状態B2に示すように、第1画像表示領域D1内になったことに伴い、十字のマークMKを視線方向GDの先となる位置に表示させるように、制御装置CRは、画像表示装置80の表示態様を変化させ、引き続き姿勢センサーGSにより検出される変化に合わせてマークMKを徐々に元の画像中心位置へと動かすように画像表示装置80に画像処理を行わせる。以上により、観察者に十字のマークMKが視線の中心にあり、かつ、高解像度の状態で視認できるように維持できる。
なお、上記画像処理は、ある画像を常に視線の中心にあるかのように見せるための一例であり、その他にも種々の制御が考えられる。例えば、マークMKは、外界像に対して常に同じ位置にあるかのように見せるように画像処理を行うものとしてもよい。また、例えば首や頭の動きを検出した上でこれらの動きよりもわざとやや遅れて画像を変化させる等の画像処理であってもよい。なお、マークMKの形状や位置は一例であり、十字以外の他の画像や形状であってもよい。また、マークMKのようなものによって視線方向を表すものとしてもよい。マークMK等の視線方向を表す画像を表示しない場合には、例えば中心領域から視線が出たことを認識させるための画像の表示や色の変更等をしてもよい。
ただし、いずれの表示態様の変化を行う場合においても、視線の移動がある場合において、視線の動きのみに合わせるのではなく、視線の動きを検出してこれを踏まえつつ首や頭の動きを検出してこれらに応じて画像の表示態様を変化させることで、観察者にとってより自然で負担の無い画像変化を生じさせることができる。
なお、上記のような場合において、視線方向GDの変化が5°未満の小さなものであり視線方向GDの先が第1画像表示領域D1内にとどまる場合には、観察者の動作が、視線のみが動き、首や頭は動かないといった動作になると考えられるため、上記のような画像表示の変化は行わず、そのままの状態で表示を続けることができる。すなわち、この場合、制御装置CRは、視線センサーSSによる検出結果が5°未満の小さな変化であれば、姿勢センサーGSによる検出に伴う画像処理は特に行わない。
さらに、画像コンテンツに関して、例えば映画、テレビのような画面を固定してみる映像媒体の場合、視線に伴う画面移動は行わないのが通常である。したがって、この場合、画面移動を制限する。以上のように画像コンテンツによって画面移動を制限する。また、表示範囲が大きい場合には、上記のような画像コンテンツの場合、表示エリアを所定範囲以下(例えば80インチ相当以下)にするなど画面内における大きさも画像コンテンツにより変更してもよい。
また、移動に伴い、画像が欠ける等の場合には、これを補うべく再描画を行うものとしてもよい。あるいは、その箇所については、シースルーにより外界のみが見える状態としてもよい。
以上のように、本実施形態の頭部搭載型表示装置100では、画像の形成及び表示を行う第1表示装置100Aあるいは第2表示装置100Bにおいて、中心解像度を周辺解像度よりも高い画像とし、必ずしも周辺解像度についてまで高解像度のものを求めることを要しないものとする一方、制御装置CRでは、視線センサーSSにおいて検出された視線の変化に応じて第1表示装置100Aあるいは第2表示装置100Bを構成する画像表示装置80での表示態様を変化させる。これにより、頭部搭載型表示装置100の簡易小型化を可能としつつ、良好な画像視認を維持できる。すなわち、以上のような方法を採ることで、上記のように、光学系において周辺側の解像度を落とした構成としても、十分解像度が高いと感じる画像を観察者に認識させることができる。
〔第2実施形態〕
以下、図8を参照して、第2実施形態に係る頭部搭載型表示装置について説明する。本実施形態では、ホログラム素子を利用して画像を表示する頭部搭載型表示装置である点において、第1実施形態と異なっている。なお、左右一対の表示装置で構成されるが、どちらか一方のみでも表示装置として成立すること等については、第1実施形態の場合と同様であるので、図8に例示する本実施形態に係る頭部搭載型表示装置200においても、左側のもののみ示し、右側のものについては、図示及び説明を省略する。
以下、図8を参照して、第2実施形態に係る頭部搭載型表示装置について説明する。本実施形態では、ホログラム素子を利用して画像を表示する頭部搭載型表示装置である点において、第1実施形態と異なっている。なお、左右一対の表示装置で構成されるが、どちらか一方のみでも表示装置として成立すること等については、第1実施形態の場合と同様であるので、図8に例示する本実施形態に係る頭部搭載型表示装置200においても、左側のもののみ示し、右側のものについては、図示及び説明を省略する。
本実施形態に係る頭部搭載型表示装置200において、表示装置200Bは、映像光を形成する画像表示装置80と、例えば鏡筒部に収納される複数のレンズで構成される結像用の投射レンズ230と、画像表示装置80及び投射レンズ230を経た映像光を導光する導光装置220と、を備える。導光装置220は、回折光学系240と、複数のプリズム部で構成される屈折光学系250と、反射光学系であるミラー251とで構成される。これらのうち、回折光学系240は、一対のホログラム素子である回折光学部材240a,240bで構成されている。
一般に、ホログラムでは、波長に対する回折角の感度が高く、波長に対する表示ホログラムの補償を行うため補償ホログラムを用いる。上記の場合では、光射出側に位置する回折光学部材240aが表示ホログラムであり、回折光学部材240bは、回折光学部材240aの補償ホログラムとして機能している。一対の回折光学部材240a,240bが、表示ホログラムとその補償ホログラムとして機能するためには、その性質を打ち消すべく、ほぼ対称な特性をもたせる必要がある。なお、補償に関しては、OLED、LEDのようなものを光源とする場合はもとより、半導体レーザー等を光源とする場合であっても、温度による波長シフト等で回折角が変化するため、補償が必要となる。
これに対して、本実施形態では、例えば表示ホログラムである回折光学部材240aが曲面であるのに対し、補償ホログラムである回折光学部材240bは全体又は一部が平面である。通常、このような補償ホログラムにすると、例えば中心部は厳密に保障されるが周辺部に行くと補償しきれず、ぼけた画像となる。しかし、本実施形態では、周辺部の画像については、その解像度を中心側の半分程度に維持すれば目的に足る画像表示を行える。保障ホログラムの形状が平面であれば、光学系の作製が非常に容易になり、低コストが実現できる。あるいは、表示用ホロを曲面にする等によって、大画面化をすることも考えられる。
本実施形態においても、頭部搭載型表示装置の簡易小型化を可能としつつ、良好な画像視認を維持できる。すなわち、以上のような方法を採ることで、上記のように、光学系において周辺側の解像度を落とした構成としても、十分解像度が高いと感じる画像を観察者に認識させることができる。特に、本実施形態では、ホログラムの作製における簡易化を図ることができる。
〔第3実施形態〕
以下、図9を参照して、第3実施形態に係る頭部搭載型表示装置について説明する。本実施形態では、画像表示部を構成する画像表示装置として例えば液晶パネル等で構成される画素マトリクスを採用し、特に、画素マトリクスを構成する複数の画素について、中心側の画像表示領域すなわち第1画像表示領域に対応する画素と周辺側の画像表示領域すなわち第2画像表示領域に対応する画素とで、画素の構造又は制御が異なっている点において、第1実施形態等と異なっている。
以下、図9を参照して、第3実施形態に係る頭部搭載型表示装置について説明する。本実施形態では、画像表示部を構成する画像表示装置として例えば液晶パネル等で構成される画素マトリクスを採用し、特に、画素マトリクスを構成する複数の画素について、中心側の画像表示領域すなわち第1画像表示領域に対応する画素と周辺側の画像表示領域すなわち第2画像表示領域に対応する画素とで、画素の構造又は制御が異なっている点において、第1実施形態等と異なっている。
図9は、本実施形態に係る頭部搭載型表示装置を構成する画像表示装置のパネルの構造について一例を説明するための図である。図示のように、本実施形態の画像表示装置380は、第1画像表示領域に対応する多数の中心側画素CP,CP…については、個々の画素CP,CP…が個別に駆動されている。一方、第2画像表示領域に対応する多数の周辺側画素PP,PP…については、隣接する複数画素を一纏めにして駆動されている。具体的には、図示において点線部PPbで示すように、4つの画素PP,PP、PP,PPを1画素分として纏めて同じ動作で駆動している。すなわち、中心側に比べて4倍の大きさの画素になっている。なお、図9は、パネルの構造を示す図であるが、表示される画像との対応関係から、画像表示装置に基づいて形成される画像を表示する画像表示領域DDを示すものと捉えることもできる。本実施形態の変形例として、画像表示領域DDのうち周辺側である第2画像表示領域D2を構成する画素は、元々大きな画素であるものとしてもよい。すなわち、点線部PPbで囲まれた範囲が一画素となるようなパネルであってもよい。ただし、第2画像表示領域D2を構成する画素で形成される画像についても、視野角に対する視力に応じて必要な解像度以上に保てる範囲で纏めて駆動させている。以上により、画像表示装置におけるパネル駆動負荷を減らすことができる。なお、元々大きな画素にするといった画素の構造による方法ではなく、4つの画素を1画素分として纏めて同じ動作をさせるといった制御によって画像形成或いは表示を行う場合には、制御の態様によって、画像表示領域DDのうち相対的に解像度の高い第1画像表示領域D1の範囲や相対的に解像度の低い第2画像表示領域D2の範囲を適宜調整するものとしてもよい。また、図示の例では、第1画像表示領域D1は、矩形の領域となっているが、これに限らず、中心側画素CPと周辺側画素PPとの配置を適宜調整することで種々の形状に設定できる。
また、上記では、周辺側において4つの画素を一纏りとして処理しているが、これに限らず、例えば4画素未満(例えば、2つの画素)を一纏りとして処理してもよく、4画素より多い画素(例えば、9つの画素)一纏りとして処理してもよい。
本実施形態においても、頭部搭載型表示装置の簡易小型化を可能としつつ、良好な画像視認を維持できる。すなわち、以上のような方法を採ることで、上記のように、光学系において周辺側の解像度を落とした構成としても、十分解像度が高いと感じる画像を観察者に認識させることができる。特に、本実施形態では、画像表示装置におけるパネル駆動負荷を低減できる。
〔第4実施形態〕
以下、図10を参照して、第4実施形態に係る頭部搭載型表示装置について説明する。本実施形態では、領域走査による画像表示を行う頭部搭載型表示装置である点において、第1実施形態等と異なっている。
以下、図10を参照して、第4実施形態に係る頭部搭載型表示装置について説明する。本実施形態では、領域走査による画像表示を行う頭部搭載型表示装置である点において、第1実施形態等と異なっている。
図10は、本実施形態に係る頭部搭載型表示装置での描画について一例を説明するための図である。本実施形態では、図示のように、MEMS(図示略)によって被照射領域IDへのレーザー光LSのビームスキャン等で、被照射領域IDの画像表示領域DD上の走査による画像形成及び表示を行う。この際、画像表示領域に応じて走査速度を調整している。具体的には、ビームスキャン等で表示する場合において、被照射領域IDの中心側すなわち第1画像表示領域D1での1画素駆動周期よりも周辺側すなわち第2画像表示領域D2での1画素駆動周期を長くして楕円描画させて、例えば図示のように、走査方向(左右方向)に対して垂直である上下方向に隣接する2つの楕円画素で1画素表示する。
また、ビームスキャン等で表示する場合においては、走査速度の調整によって、走査光の色を調整する処理を併せて行うものとしてもよい。例えば、中央側の領域では走査速度を遅くし、周辺側の領域では走査速度を早くするように走査速度を変化させることで、中央側では走査光の観察者の眼に入る光量が多くなり、色の強度を高くし、周囲側では観察者の眼に入る光量が減り、中央側に比べて色の強度を相対的に低下させてもよい。あるいは、例えば光源側での調整等によって、走査光の色を調整する処理のみを、解像度のための走査速度の調整とは別個に行うものとしてもよい。また、上記した走査速度と、光源の光量の調整による色調整とを組みわせてもよい。
本実施形態においても、頭部搭載型表示装置の簡易小型化を可能としつつ、良好な画像視認を維持できる。すなわち、以上のような方法を採ることで、上記のように、光学系において周辺側の解像度を落とした構成としても、十分解像度が高いと感じる画像を観察者に認識させることができる。また、本実施形態の場合、ビームスキャンの制御によっては、画像表示領域DDのうち相対的に解像度の高い第1画像表示領域D1の範囲や相対的に解像度の低い第2画像表示領域D2の範囲を適宜調整するものとしてもよい。
〔その他〕
以上実施形態に即して本発明を説明したが、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
以上実施形態に即して本発明を説明したが、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
上記において、例えば図11に示すように、外界像WOに対して画像を重畳させるシースルーを表示した場合において、例えば高解像度な中央側の画像として表示されるものであって通常の画像DI1については、上述のように、姿勢の変化に応じて表示態様を変えたり変えなかったり種々の表示の仕方を可能とする一方で、画像コンテンツによっては、画像表示領域中において、常に同じ位置に表示させたい場合ある。例えば、左方向指示の画像ED1や右側において近くに人がいることを示し注意を喚起する表示の画像ED2といったものは、常に周辺側の決まった位置に表示され移動しない画像としたい。このように移動させたくない部分の字の大きさ、マーク等は、解像度の低い周辺側に配置される場合を考慮して画像DI1のような高解像度の箇所での表示と比較して文字等の大きさ(太さ)を例えば2倍以上の画像とすることが考えられる。以上のように、視線を移動しても、注意喚起等を表示する領域は固定されて動かないものとし、さらに、このように安全にかかわる表示等は記号文字を大きくすることで、低解像であっても十分に表示できるようにする。これにより、たとえ視線を異なる方向に移動させて視認能力が劣る状態となっている時でも安全情報の表示を、直ぐに気づくことができる。
また、例えば図12に概念的に示すように、パソコン画面のうち作業エリアSAにおいて、丸で示した部分P1での作業のため視線方向が部分P1を中心とするように移動した場合と、三角で示した部分P2での作業のため視線方向が部分P2を中心とするように移動した場合とでは、表示態様を変更する。すなわち、作業に応じて、画像の中心に部分P1が来たり、部分P2が来たりするように画像処理をする。一方、パソコン画面等のツールバー等周辺に配置した部分PPXは、例えば画像表示領域中の周辺側に配置し、視線移動させた場合においても移動しない画像とするようにしてもよい。以上のように、表示内容によってエリアごとに画像の表示変化の態様を異なるものとしてもよい。なお、上記のように作業に応じて中央側の画面が移動しても、解像度の低いエリアにおいて、アイコンツールバーは欠けることなく存在させることで、アイコンの切り替え、ツールバー表示の時間などの表示は認識できるようにしておく。
なお、画像コンテンツについては、上述した映画、テレビのような画面の表示や、PC上でのデスクワーク画面の表示やアイコンの表示、あるいは車等における各種情報表示といったものに限らず、種々のコンテンツが対象となり得る。
また、上記の説明では、画像光と外界光とを重畳させる態様についてのみ説明しているが、例えば重畳させずに画像光のみにする態様と外界光のみにする態様とを切り替えて観察することができる虚像表示装置において適用してもよい。
また、例えば、図13において、画像表示装置あるいは画像表示装置に基づいて形成される画像を表示する画像表示領域の一例について概念的に示すように、画像表示装置480は、通常の画像表示領域DDのさらに周辺側に拡張表示領域DDEを有し、拡張表示領域DDEも合わせて表示制御を行うものとしてもよい。この場合、例えば拡張表示領域DDEをフルカラーLEDの素子LEを複数配置して構成する等が考えられる。この場合、画像表示領域DDのうち周辺側の第2画像表示領域D2が拡張されることに等しくなる。
また、本願発明の技術を、ディスプレイと撮像装置とで構成されるいわゆるビデオシースルーの製品に対応させるものとしてもよい。
また、上記において、画像表示装置80としては、種々のものを利用可能であり、例えば、反射型の液晶表示デバイスを用いた構成も可能であり、液晶表示デバイス等からなる映像表示素子に代えてデジタル・マイクロミラー・デバイス等を用いることもできる。
上記の説明では、導光部材10等が眼の並ぶ横方向に延びているが、導光部材10を縦方向に延びるように配置することもできる。この場合、導光部材10は、直列的ではなく並列的に平行配置された構造を有することになる。
また、上記において、投射レンズを構成する光学素子(レンズ)の枚数や、導光装置等を構成するプリズム等のリレー光学系の有無や構成部品の個数については、種々の場合があり得る。
また、図9を参照して説明した画素の大きさについて、例えば第2画像表示領域D2において中心側から周辺側に行くにつれて複数段階で徐々に大きくするように変化させるものとしてもよい。同様のことは、例えば図13の第2画像表示領域においても適用できる。
また、視線センサーSSによる視線方向の検出について、両眼それぞれの状態から使用者の視線方向を推定する場合以外に、例えば、利き眼のみの視線方向を検出したり、視線方向が左右のどちらに移動しているかで視線方向を検出対象とする眼を切り替えたり、片眼のみを視線方向を検出の対象としたりするものとしてもよい。
A1-A3…状態、B1-B3…状態、C1-C3…曲線、CP…画素、CR…制御装置(画像制御部)、CT…画像中心、D1…第1画像表示領域、D2…第2画像表示領域、DD…画像表示領域、DDE…拡張表示領域、DI1…画像、ED1…画像、ED2…画像、EE…発光部、EY…眼、EY1,EY2…眼、GD…視線方向、GL…映像光、GS…姿勢センサー、GX1…視線基準軸、IM…画像、K1,K2…曲線、L1…曲線、LL…曲線、LE…素子、MK…マーク、NS…鼻、P1…部分、P2…部分、PP…画素、PPb…点線部、PX1…姿勢基準軸、R1,R2…範囲、RR…受光部、S11-S15…面、S51-S53…透過面、SA…作業エリア、SS…視線センサー(視線検出部)、WO…外界像、θ…半画角、10…導光部材、20…導光装置、30…投射レンズ、50…光透過部材、80…画像表示装置(画像表示部)、100…頭部搭載型表示装置、100A…第1表示装置(画像形成光学系)、100B…第2表示装置(画像形成光学系)、101a,101b…光学部材、102…フレーム部、102a…中央部、102b…支持体、102c,102d…周辺部、102p…本体部分、104…テンプル、105a,105b…像形成本体部、105d…外装部材、200…頭部搭載型表示装置、200B…表示装置(画像形成光学系、画像表示部)、220…導光装置、230…投射レンズ、240…回折光学系、240a,240b…回折光学部材、250…屈折光学系、250a,250b…プリズム部、251…ミラー、380…画像表示装置(画像表示部)、480…画像表示装置(画像表示部)
Claims (12)
- 中心側の画像表示領域に周辺側の画像表示領域よりも解像度の高い画像を表示する画像表示部と、
視線を検出する視線検出部と、
前記視線検出部において所定角度を超える視線方向の変化を検出した場合に、前記画像表示部の表示態様を変化させる画像制御部と
を備える頭部搭載型表示装置。 - 前記画像表示部は、周辺側の画像表示領域における周辺解像度を、想定した眼の視野に対する視力を超える解像度にして画像を表示する、請求項1に記載の頭部搭載型表示装置。
- 前記画像表示部は、前記中心側の画像表示領域として、眼の視線方向に対応する視線基準軸に対して5°以上の角度範囲の中心画像を表示する、請求項1及び2のいずれか一項に記載の頭部搭載型表示装置。
- 装置の姿勢を検出する姿勢検出部をさらに備え、
前記画像制御部は、前記視線検出部により5°以上の視線方向の変化を検出した場合に、前記姿勢検出部により検出される姿勢の変化に対応して前記画像表示部の表示態様を変化させる、請求項1〜3のいずれか一項に記載の頭部搭載型表示装置。 - 前記画像制御部は、画像コンテンツによって視線方向の変化に伴う前記画像表示部の表示態様の変化のさせ方を変更する、請求項1〜4のいずれか一項に記載の頭部搭載型表示装置。
- 前記画像表示部は、画素マトリクスを有し、
前記画素マトリクスを構成する複数の画素について、中心側の画像表示領域に対応する画素と周辺側の画像表示領域に対応する画素とで、画素の構造又は制御が異なっている、請求項1〜5のいずれか一項に記載の頭部搭載型表示装置。 - 前記画像表示部は、前記画素マトリクスにおいて、中心側の画像表示領域に対応する画素について一画素ごとに駆動し、周辺側の画像表示領域に対応する画素について隣接する複数画素を一纏めにして駆動する、請求項6に記載の頭部搭載型表示装置。
- 前記画像表示部は、領域走査による画像表示を行い、画像表示領域に応じて走査速度を調整する、請求項1〜4のいずれか一項に記載の頭部搭載型表示装置。
- 前記画像表示部は、ホログラム素子を用いて画像を表示する、請求項1〜4のいずれか一項に記載の頭部搭載型表示装置。
- 眼の視野に対する視力の変化に応じて中心側と周辺側とで異なる解像度の画像を形成する画像形成光学系であって、
眼の視線方向に対応する視線基準軸に対する所定角度範囲内の中心画像の解像度は、前記所定角度範囲外の周辺画像の解像度よりも高く、
前記周辺画像の解像度は、想定した眼の視野に対する視力を超える解像度にする、画像形成光学系。 - 前記視線基準軸に対して5°以上の角度範囲の中心画像を表示する、請求項10に記載の画像形成光学系。
- 請求項10及び11のいずれか一項に記載の画像形成光学系を備える頭部搭載型表示装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017035983A JP2018141874A (ja) | 2017-02-28 | 2017-02-28 | 頭部搭載型表示装置及び画像形成光学系 |
| CN201810126158.1A CN108508600B (zh) | 2017-02-28 | 2018-02-08 | 头部佩戴型显示装置以及图像形成光学系统 |
| US15/899,399 US10873742B2 (en) | 2017-02-28 | 2018-02-20 | Head mounted display and image formation optical system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017035983A JP2018141874A (ja) | 2017-02-28 | 2017-02-28 | 頭部搭載型表示装置及び画像形成光学系 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018141874A true JP2018141874A (ja) | 2018-09-13 |
Family
ID=63247073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017035983A Pending JP2018141874A (ja) | 2017-02-28 | 2017-02-28 | 頭部搭載型表示装置及び画像形成光学系 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10873742B2 (ja) |
| JP (1) | JP2018141874A (ja) |
| CN (1) | CN108508600B (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020071417A (ja) * | 2018-11-01 | 2020-05-07 | セイコーエプソン株式会社 | 表示装置 |
| JP2021015731A (ja) * | 2019-07-12 | 2021-02-12 | キヤノン株式会社 | 発光装置 |
| KR20210043500A (ko) * | 2018-05-29 | 2021-04-21 | 아이답틱 인코포레이티드 | 저시력 사용자들을 위한 하이브리드 투시형 증강 현실 시스템들 및 방법들 |
| JP2022113973A (ja) * | 2021-01-26 | 2022-08-05 | セイコーエプソン株式会社 | 表示方法、表示装置、及び、プログラム |
| WO2025047507A1 (ja) * | 2023-08-25 | 2025-03-06 | パナソニックIpマネジメント株式会社 | 画像生成装置およびヘッドマウントディスプレイ |
| WO2025047508A1 (ja) * | 2023-08-25 | 2025-03-06 | パナソニックIpマネジメント株式会社 | 画像生成装置およびヘッドマウントディスプレイ |
| US12416062B2 (en) | 2018-09-24 | 2025-09-16 | Eyedaptic, Inc. | Enhanced autonomous hands-free control in electronic visual aids |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10521013B2 (en) * | 2018-03-01 | 2019-12-31 | Samsung Electronics Co., Ltd. | High-speed staggered binocular eye tracking systems |
| KR102777822B1 (ko) * | 2018-10-08 | 2025-03-06 | 엘지디스플레이 주식회사 | 표시 장치 |
| US11544865B1 (en) | 2019-02-15 | 2023-01-03 | Apple Inc. | Posture detection and correction |
| EP4055437A4 (en) | 2019-11-06 | 2023-12-20 | HES IP Holdings, LLC | SYSTEM AND METHOD FOR DISPLAYING AN OBJECT WITH DEPTH |
| JP1661153S (ja) * | 2019-11-13 | 2020-06-08 | ヘッドマウントディスプレイ | |
| CN110989166A (zh) | 2019-12-25 | 2020-04-10 | 歌尔股份有限公司 | 一种近眼显示设备的眼球追踪系统及近眼显示设备 |
| US12298512B2 (en) | 2020-06-19 | 2025-05-13 | Oomii Inc. | Image display systems for eyebox expansion and methods of making the same |
| CN111541889B (zh) * | 2020-07-10 | 2020-10-20 | 南京新研协同定位导航研究院有限公司 | 一种mr眼镜使用视线触发内容的方法 |
| US12320984B2 (en) | 2020-08-14 | 2025-06-03 | Oomii Inc. | Head wearable virtual image module for superimposing virtual image on real-time image |
| JP7582690B2 (ja) | 2020-09-30 | 2024-11-13 | ヒーズ アイピー ホールディングス エルエルシー | 仮想現実機器および拡張現実機器用の仮想画像表示システム |
| JP2022086237A (ja) * | 2020-11-30 | 2022-06-09 | セイコーエプソン株式会社 | 虚像表示装置 |
| WO2022170284A1 (en) | 2021-02-08 | 2022-08-11 | Hes Ip Holdings, Llc | System and method for enhancing visual acuity |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06282245A (ja) | 1993-03-25 | 1994-10-07 | Toshiba Corp | 画像表示装置および画像処理システム |
| JP2896291B2 (ja) | 1993-06-14 | 1999-05-31 | 株式会社エイ・ティ・アール通信システム研究所 | 画像表示装置 |
| JP2868389B2 (ja) | 1993-06-14 | 1999-03-10 | 株式会社エイ・ティ・アール通信システム研究所 | 画像表示装置 |
| JPH08313843A (ja) * | 1995-05-16 | 1996-11-29 | Agency Of Ind Science & Technol | 視線追従方式による広視野高解像度映像提示装置 |
| JP4825561B2 (ja) | 2006-03-29 | 2011-11-30 | 株式会社東芝 | 画像表示装置 |
| JP5268271B2 (ja) | 2007-03-23 | 2013-08-21 | 株式会社東芝 | 画像表示装置および画像表示方法 |
| WO2014091824A1 (ja) * | 2012-12-10 | 2014-06-19 | ソニー株式会社 | 表示制御装置、表示制御方法およびプログラム |
| US10137361B2 (en) * | 2013-06-07 | 2018-11-27 | Sony Interactive Entertainment America Llc | Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system |
| KR102324192B1 (ko) * | 2014-10-13 | 2021-11-09 | 삼성전자주식회사 | 의료 영상 장치 및 그 제어 방법 |
| CN105635624B (zh) * | 2014-10-27 | 2019-05-03 | 华为技术有限公司 | 视频图像的处理方法、设备及系统 |
| JP2016167794A (ja) * | 2015-03-03 | 2016-09-15 | キヤノン株式会社 | 伝送制御装置および制御方法、並びに、複合現実感提示装置 |
| GB2536025B (en) * | 2015-03-05 | 2021-03-03 | Nokia Technologies Oy | Video streaming method |
| CN104767992A (zh) * | 2015-04-13 | 2015-07-08 | 北京集创北方科技有限公司 | 头戴式显示系统及影像低频宽传输方法 |
| CN105892061A (zh) * | 2016-06-24 | 2016-08-24 | 北京国承万通信息科技有限公司 | 显示装置及方法 |
-
2017
- 2017-02-28 JP JP2017035983A patent/JP2018141874A/ja active Pending
-
2018
- 2018-02-08 CN CN201810126158.1A patent/CN108508600B/zh active Active
- 2018-02-20 US US15/899,399 patent/US10873742B2/en active Active
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210043500A (ko) * | 2018-05-29 | 2021-04-21 | 아이답틱 인코포레이티드 | 저시력 사용자들을 위한 하이브리드 투시형 증강 현실 시스템들 및 방법들 |
| KR102808439B1 (ko) | 2018-05-29 | 2025-05-14 | 아이답틱 인코포레이티드 | 저시력 사용자들을 위한 하이브리드 투시형 증강 현실 시스템들 및 방법들 |
| US12416062B2 (en) | 2018-09-24 | 2025-09-16 | Eyedaptic, Inc. | Enhanced autonomous hands-free control in electronic visual aids |
| JP2020071417A (ja) * | 2018-11-01 | 2020-05-07 | セイコーエプソン株式会社 | 表示装置 |
| JP7223248B2 (ja) | 2018-11-01 | 2023-02-16 | セイコーエプソン株式会社 | 表示装置 |
| JP2021015731A (ja) * | 2019-07-12 | 2021-02-12 | キヤノン株式会社 | 発光装置 |
| JP7374635B2 (ja) | 2019-07-12 | 2023-11-07 | キヤノン株式会社 | 発光装置 |
| JP2022113973A (ja) * | 2021-01-26 | 2022-08-05 | セイコーエプソン株式会社 | 表示方法、表示装置、及び、プログラム |
| US11573634B2 (en) | 2021-01-26 | 2023-02-07 | Seiko Epson Corporation | Display method, display device, and program |
| WO2025047507A1 (ja) * | 2023-08-25 | 2025-03-06 | パナソニックIpマネジメント株式会社 | 画像生成装置およびヘッドマウントディスプレイ |
| WO2025047508A1 (ja) * | 2023-08-25 | 2025-03-06 | パナソニックIpマネジメント株式会社 | 画像生成装置およびヘッドマウントディスプレイ |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108508600B (zh) | 2022-08-05 |
| US20180249150A1 (en) | 2018-08-30 |
| CN108508600A (zh) | 2018-09-07 |
| US10873742B2 (en) | 2020-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108508600B (zh) | 头部佩戴型显示装置以及图像形成光学系统 | |
| JP6369017B2 (ja) | 虚像表示装置 | |
| JP2025000843A (ja) | 操作可能な中心窩ディスプレイ | |
| CN101900880B (zh) | 头戴式图像显示设备 | |
| EP2979125B1 (en) | Display device | |
| US9213185B1 (en) | Display scaling based on movement of a head-mounted display | |
| US20170090202A1 (en) | Wearable device | |
| US11048084B2 (en) | Head-mounted display device | |
| JP2016212177A (ja) | 透過型表示装置 | |
| WO2016143245A1 (ja) | 画像表示装置 | |
| EP3770670B1 (en) | Display device | |
| JP2011059444A (ja) | 眼鏡型画像表示装置 | |
| JP7325408B2 (ja) | 表示装置 | |
| Kiyokawa | An introduction to head mounted displays for augmented reality | |
| EP3982189B1 (en) | Image display device and display device | |
| Kiyokawa | Head-mounted display technologies for augmented reality | |
| JP2018054976A (ja) | 頭部搭載型表示装置及び頭部搭載型表示装置の表示制御方法 | |
| JPWO2019087996A1 (ja) | 網膜投影装置、網膜投影システム | |
| WO2021230856A1 (en) | Eyebox steering and field of view expansion using a beam steering element | |
| JP2020106635A (ja) | 頭部搭載型表示装置及び頭部搭載型表示装置の表示制御方法 | |
| JP2017102220A (ja) | 画像表示装置 | |
| CN114578557A (zh) | 虚像显示装置 | |
| JP2017158131A (ja) | 頭部搭載型表示装置 | |
| JP2021152565A (ja) | 表示装置及び光学素子 | |
| WO2024062812A1 (en) | Image display device and light guide plate |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20180910 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190402 |