[go: up one dir, main page]

JP5994715B2 - 計算機ホログラム型表示装置 - Google Patents

計算機ホログラム型表示装置 Download PDF

Info

Publication number
JP5994715B2
JP5994715B2 JP2013077799A JP2013077799A JP5994715B2 JP 5994715 B2 JP5994715 B2 JP 5994715B2 JP 2013077799 A JP2013077799 A JP 2013077799A JP 2013077799 A JP2013077799 A JP 2013077799A JP 5994715 B2 JP5994715 B2 JP 5994715B2
Authority
JP
Japan
Prior art keywords
diffraction pattern
image
area
region
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013077799A
Other languages
English (en)
Other versions
JP2013235256A (ja
Inventor
圭司 杉山
圭司 杉山
研一 笠澄
研一 笠澄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2013077799A priority Critical patent/JP5994715B2/ja
Publication of JP2013235256A publication Critical patent/JP2013235256A/ja
Application granted granted Critical
Publication of JP5994715B2 publication Critical patent/JP5994715B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B27/0103Head-up displays characterised by optical features comprising holographic elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Holo Graphy (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Description

本発明は、計算機ホログラムによる回折パターンでレーザ光を回折させることにより情報を表示させる、例えば頭部装着型の表示装置に関するものである。
ヘッドマウントディスプレイ(Head−Mounted Display、以下「HMD」と記す)は、ユーザが頭部に装着した状態で、ユーザに情報を表示する装置である。HMDは、一般的に、装着性の観点から、小型軽量であることが望ましく、一方で、表示性能の観点からは、大画面で高画質であることが望ましい。従来、HMDでは、小型の液晶パネル等に表示した画像を、凸レンズや自由曲面プリズム等で光学的に拡大することで、拡大された仮想画像をユーザへ表示する方式があった(例えば、特許文献1参照)。なお、本明細書では前述の画像をプリズムなどで拡大する方式について「光学拡大方式」と記す。
また一方、計算機ホログラム(Computer Generated Hologram、以下「CGH」と記す)を用いた表示装置では、表示したい画像を入力データとして計算機で求めた回折パターンを、位相変調型の液晶パネル等にCGHとして表示し、その液晶パネルにレーザ光を照射して回折させることで、仮想画像位置からの表示光の波面を再現し、仮想画像をユーザへ表示するものがある(例えば、特許文献2参照)。このCGHによる表示装置では、従来の光学拡大方式のHMDで必要であった画像を拡大するためのプリズムなどを省略することが可能である。このため、光学系を小型化することによって、より小型で軽量なHMDを実現することが可能になる。
以下、CGHを用いて画像を表示する方法について簡単に述べる。CGH方式の表示装置においては、表示したい画像から回折パターンを計算する。一般に、回折パターンを計算するためには、点充填法やフーリエ変換による生成方法を用いて、ユーザに表示したい画像(以後、元画像)から回折パターンを生成する方法などが用いられる。
図34は、元画像と元画像から計算された回折パターンとの例を示す図である。図34の元画像401は元画像の例であり、回折パターン402は元画像401から生成された回折パターンの例である。この回折パターン402が位相変調型の液晶パネルなどにCGHとして表示され、レーザ光により液晶パネルを照明することによって回折光が生成される。その結果、ユーザは、回折パターン402を生成する基となった元画像401を、液晶パネル上の回折パターン402からの回折光として視認することが可能になる。
次に、回折パターンの生成方法について、点充填法を用いる場合の計算方法について例示する。点充填法では、元画像(物体)を点光源の集合とみなし、各点光源からの光が、液晶パネル上の各点で重なったときの位相から、回折パターンを計算する。
図35は、回折パターンを生成する際の、元画像501と回折パターンを表示する液晶パネル502との位置関係の例を示す図である。液晶パネル502上に表示する回折パターンを点充填法によって生成するためには、前述のように元画像501上の各点(各画素)を点光源とみなす。元画像501上の点iが、振幅ai、位相φiであった場合、この点iから発生した光の、液晶パネル502上の点uでの複素振幅は式(1)で表される。
また、式(1)でのriは、点iと点uとの距離であり、液晶パネル502の中心を原点とし、点iの座標を(xi、yi、zi)、点uの座標を(ξ、η、0)で表した場合に、riは式(2)で計算される。
また、式(1)におけるkは波数であり、点iからの光の波長をλとした場合に、k=2π/λで求められる。式(1)による計算によって、点iからの光の点uでの複素振幅が求められる。このため、同様の計算を元画像501上の各点に対して行い、足し合わせることで、液晶パネル502上の点uでの複素振幅の値を求めることができる。なお、点iの位相値は、元画像501に対してランダムな位相値を加算することなどで与えられる。点uでの複素振幅を示す数式を式(3)に示す。
点充填法では、式(3)に示す計算を液晶パネル502上の各点に対して行うことで回折パターンを生成する。なお、この例では簡単のため、参照光による位相の変化などを例示していない。このように、点充填法を用いて回折パターンを計算することで、任意の物体からの表示光の波面を再現することが可能になる。このため、従来の光学拡大方式のようにプリズムなどの光学部品がなくとも、再生像(仮想画像)の位置を制御することが可能になる。
なお、CGH方式では、回折パターンの計算量が課題の一つとされている。点充填法では、元画像の画素数および回折パターンを表示する液晶パネルの画素数に応じて、計算量が大きく増加する。そのため、物体上の点と液晶パネル上の点との距離に対して近似を用いることで、元画像データの各画素に対してランダムな位相値を与えたデータを、逆フーリエ変換することで回折パターンを計算する手法などが提案されている(例えば特許文献3)。元画像データの画素数をN×N、回折パターンの画素数をN×Nとした場合、点充填法の計算オーダは、Nの四乗となるが、逆フーリエ変換を用いる手法では、計算オーダは、(N×logN)の二乗にまで低減される。
しかしながら、計算量の削減のために、逆フーリエ変換などによって回折パターンを計算する場合、物体(元画像)と液晶パネルの間の距離の計算に近似を用いているため、CGHによる再生像の位置(液晶パネルからの距離)を自由に設定することが困難になる。一般に、逆フーリエ変換によって回折パターンを計算し、回折パターンをCGHとして表示する液晶パネルを平行光で照明した場合、CGHによる再生像は、液晶パネルから無限遠にあるものとして再生される。この問題への対応として、逆フーリエ変換による計算結果に対して、更に計算処理を行って補正する方法を用いることができる。
図36は、回折パターンの補正の例を示す図である。回折パターン601は、元画像を逆フーリエ変換した基本回折パターンである。この基本回折パターン601を液晶パネルに表示した場合、再生像は無限遠の位置に再生される。補正パターン602は、基本回折パターン601による再生像の位置を補正するための補正パターンである。図36の例では、補正パターン602は、再生像を表示したい位置に仮想的に配置された点光源からの球面波の波面が液晶パネルに入射した場合の位相を計算することにより生成されている。
合成回折パターン603は、基本回折パターン601と補正パターン602とを重畳することで生成した回折パターンである。合成回折パターン603を液晶パネルに表示した場合の再生像の位置は、補正パターン602を生成する際に使用した点光源の位置になる。基本回折パターン601に対して補正パターン602を重畳する計算コストは、点充填法などに比較して十分に低い。このため、この手法を用いることにより、高速に回折パターンの計算を行いながら、再生像の位置を制御することなどが可能になる。
また、CGH方式の表示装置における別の課題として、量子化ノイズの問題が挙げられる。一般に、元画像の各画素にランダムな位相値を加算した後に、点充填法や逆フーリエ変換で回折パターンを計算する場合、回折パターンの各画素は、0から2πまでの位相を持つ複素数として表現される。しかしながら、液晶パネルが特定の位相値しか表現できない場合には、回折パターンの各画素のデータを、液晶パネルに表示可能なCGHに量子化する必要がある。
例えば、強誘電性液晶による液晶パネルを用いる場合、この液晶パネルにより表現することが可能な位相値は、0もしくはπに限定される。そのため、液晶パネルでCGHとして回折パターンを表示する際には、各画素の値を、0もしくはπのいずれかに二値化する必要がある。このような量子化を行った場合、本来の回折パターンが有する情報量が損なわれる。このため、CGHによる再生像には量子化ノイズと呼ばれるノイズが発生する。
この問題への対処法として、元画像から計算した回折パターンを液晶パネルに表示可能な位相値に量子化する際に、誤差拡散の手法を適用することで、ノイズの発生を抑制する方法などが用いられている(例えば、非特許文献1)。ここで、誤差拡散とは、量子化の際に発生する誤差(量子化前の画素値と量子化後の画素値の差)を、周辺の画素に分散させる手法である。周辺の画素に対して分散する誤差の量は、誤差拡散の手法によって異なるが、例えば図37に示されるような重み付けをする手法が提案されている(Floyd−Steinberg法)。
図37は、誤差拡散の際に用いられる誤差拡散係数の例を示す図である。図37は、3×3のマトリクスになっており、マトリクスの中心が量子化を行っている量子化画素を示す。図37は、量子化画素の右側に位置する画素には、誤差の7/16を加算し、量子化画素の下側に位置する画素には、誤差の5/16を加算することを示している。このように、周囲に誤差を伝搬させていくことにより、発生するノイズを高周波領域に集中させることができる。
図38は、量子化の際に誤差拡散を行った回折パターン及び誤差拡散を行わない回折パターンの例を示す図である。図38において、回折パターン801は、誤差拡散を行わない場合の、量子化後の回折パターンの例を示し、回折パターン802は、誤差拡散を行った場合の、量子化後の回折パターンの例を示す。誤差拡散を行うことにより、量子化ノイズをCGHの高周波領域に集中させることができる。CGHの高周波領域は、再生像においては、表示画面の周辺部分に対応する。このため、誤差拡散の有無によって表示画面全体での量子化ノイズの量は変化しないが、表示画面の中心部分での量子化ノイズの発生を抑制することが可能になる。
このように、CGH方式の表示装置において、計算量を抑えながら再生像(仮想画像)の位置の最適化、量子化ノイズの抑制などの画質向上のための方法が検討されている。
特開平8−240773号公報 特表2008−541145号公報 特許第4795249号公報
Estimation of optimal error diffusion for computer-generated holograms,Ken-ichi Tanaka,Teruo Shimomura Kyushu Institute of Technology(Japan) Proc. SPIE 3491,1998 International Conference on Applications of Photonic Technology III:Closing the Gap between Theory,Development,and Applications,1017(December 4,1998); doi:10.1117/12.328674
しかしながら、CGH方式の表示装置における画質改善では、再生像全体の画質改善が難しくなるという課題がある。
前述のように、逆フーリエ変換で計算した回折パターンに対して、再生像の位置を調節する球面波の補正パターンを加算する方法を用いる場合、再生像の画面中心の再生位置は最適化される。しかしながら、画面端では歪が生じ、再生像の画面端の再生位置が最適位置からずれることにより画面端での再生像の画質が低下する場合がある。
また、誤差拡散法などを用いて量子化ノイズを低減する方法では、回折パターンの低周波成分に対応する再生像の領域(再生像の中央部分)などの量子化ノイズは抑制することができる。しかし、再生像の画面端などでは、却って量子化ノイズが増加してしまう。
ユーザに表示される再生像の内容によっては、再生像の画面中心ではなく画面端の画質を向上させたい場合(例えばメールの通知アイコンを視線のじゃまにならない画面の端に表示する場合)が考えられる。しかし、従来の方法では、このような場合での画質向上を図ることが難しい。CGH方式の表示装置によって表示される再生像の視野角が広くなるにつれて、このような課題への対処が必要となる。
一方、CGH方式の表示装置では、画質の向上だけでなく、ユーザが再生像を見やすくするために、再生像(仮想画像)の視野角を広くすることが求められている。しかしながら、上記特許文献1〜3及び非特許文献1では、仮想画像の視野角を広くすることについては記載されていないため、仮想画像の視野角を広くすることは困難となっている。
本発明は、前記従来の課題を解決するもので、CGH方式の表示装置において、仮想画像の視野角を広くすることが可能な表示装置を提供することを目的とする。
本発明に係る表示装置は、レーザ光を出力する光源と、前記レーザ光を照明光として出射する照明光学系と、元画像から回折パターンを生成する回折パターン生成部と、前記照明光により照明され、前記回折パターンを表示することで前記照明光を回折して回折光を生成し、生成した前記回折光を使用者に視認させることにより前記元画像を仮想画像として前記使用者に表示する空間変調素子と、前記回折光の光路上に配置され、第1部分領域及び前記第1部分領域に隣接する第2部分領域を有する遮蔽部とを備え、前記遮蔽部は、前記第1部分領域が前記回折光を透過する透過領域とされ、かつ前記第2部分領域が前記回折光を遮蔽する遮蔽領域とされる第1状態と、前記第1部分領域が前記遮蔽領域とされ、かつ前記第2部分領域が前記透過領域とされる第2状態とを含む複数の状態に選択的に移行するように構成され、前記空間変調素子は、前記遮蔽部が前記第1状態の場合に、前記第1部分領域に対応する第1表示領域に前記仮想画像を表示し、前記遮蔽部が前記第2状態の場合に、前記第2部分領域に対応する第2表示領域に前記仮想画像を表示し、前記回折パターン生成部は、前記遮蔽部が前記第1状態の場合に、前記元画像のうち前記第1表示領域に対応する領域の画像から第1部分回折パターンを生成し、前記遮蔽部が前記第2状態の場合に、前記元画像のうち前記第2表示領域に対応する領域の画像から第2部分回折パターンを生成する。
本構成によれば、光源からレーザ光が出力される。レーザ光が照明光として照明光学系から出射される。回折パターン生成部によって、元画像から回折パターンが生成される。照明光により照明される空間変調素子によって、回折パターンが表示されることで照明光が回折されて回折光が生成される。また、空間変調素子によって、生成された回折光を使用者が視認することにより元画像が仮想画像として使用者に表示される。遮蔽部は、回折光の光路上に配置されているため、回折光が遮蔽部に入射する。遮蔽部は、第1部分領域及び第1部分領域に隣接する第2部分領域を有する。遮蔽部は、第1部分領域が回折光を透過する透過領域とされ、かつ第2部分領域が回折光を遮蔽する遮蔽領域とされる第1状態と、第1部分領域が遮蔽領域とされ、第2部分領域が透過領域とされる第2状態とを含む複数の状態に選択的に移行するように構成される。
空間変調素子によって、遮蔽部が第1状態の場合に、第1部分領域に対応する第1表示領域に仮想画像が表示され、遮蔽部が第2状態の場合に、第2部分領域に対応する第2表示領域に仮想画像が表示される。回折パターン生成部によって、遮蔽部が第1状態の場合に、元画像のうち第1表示領域に対応する領域の画像から第1部分回折パターンが生成され、遮蔽部が第2状態の場合に、元画像のうち第2表示領域に対応する領域の画像から第2部分回折パターンが生成される。したがって、第1表示領域から第2表示領域にまたがって仮想画像を表示することができる。このため、本構成により、使用者に表示する仮想画像の視野角を広くすることが可能になる。
また、上記の表示装置において、前記回折パターン生成部は、前記回折パターンを補正する少なくとも1種類の補正パターンを生成し、前記生成した補正パターンと前記第1部分回折パターンとが合成された第1部分合成回折パターンを生成し、かつ、前記生成した補正パターンと前記第2部分回折パターンとが合成された第2部分合成回折パターンを生成するとしてもよい。
本構成によれば、回折パターン生成部によって、回折パターンを補正する少なくとも1種類の補正パターンが生成される。また、回折パターン生成部によって、生成した補正パターンと第1部分回折パターンとが合成された第1部分合成回折パターンが生成される。また、回折パターン生成部によって、生成した補正パターンと第2部分回折パターンとが合成された第2部分合成回折パターンが生成される。したがって、本構成により、表示される仮想画像を好適に補正することができる。
また、上記の表示装置において、前記使用者の視力を取得する視力取得部と、前記使用者の視力に応じて前記仮想画像の最適再生位置を決定する位置決定部とをさらに備え、前記回折パターン生成部は、前記仮想画像が前記最適再生位置に表示されるように、前記補正パターンを生成するとしてもよい。
本構成によれば、視力取得部によって、使用者の視力が取得される。位置決定部によって、使用者の視力に応じて仮想画像の最適再生位置が決定される。回折パターン生成部によって、仮想画像が最適再生位置に表示されるように、補正パターンが生成される。したがって、本構成により、使用者の視力に合わせた好適な画質で仮想画像の表示を行うことが可能になる。
また、上記の表示装置において、前記遮蔽部は、前記回折光のうち、+1次回折光が前記第1部分領域に入射し、−1次回折光が前記第2部分領域に入射するように、前記空間変調素子に対して配置されているとしてもよい。
本構成によれば、回折光のうち、+1次回折光が第1部分領域に入射する、このため、遮蔽部が第1状態の場合に、+1次回折光により第1表示領域に仮想画像が表示される。また、回折光のうち、−1次回折光が第2部分領域に入射する。このため、遮蔽部が第2状態の場合に、−1次回折光により第2表示領域に仮想画像が表示される。したがって、本構成により、+1次と−1次との異なる次数の回折光を用いて、表示される仮想画像の視野角を広くすることができる。
また、上記の表示装置において、前記回折光を前記使用者に向けて反射する反射ミラーをさらに備え、前記遮蔽部は、前記空間変調素子と前記反射ミラーとの中間位置の近傍に配置されているとしてもよい。
本構成によれば、反射ミラーによって、回折光が使用者に向けて反射される。遮蔽部は、空間変調素子と反射ミラーとの中間位置の近傍に配置されている。したがって、本構成により、空間変調素子の近傍に遮蔽部が配置されている構成に比べて、遮蔽部の位置において、+1次回折光と−1次回折光とをより好適に分離することができる。その結果、遮蔽部の透過領域を透過する、必要な回折光以外の回折光の光量を低減することができる。
また、上記の表示装置において、前記回折光を集光する集光光学系をさらに備え、前記遮蔽部は、前記集光光学系により集光された前記回折光の集光位置の近傍に配置されているとしてもよい。
本構成によれば、遮蔽部は、集光光学系により集光された回折光の集光位置の近傍に配置されている。回折光を集光すると、集光位置において、0次回折光と+1次回折光とが好適に分離され、0次回折光と−1次回折光とが好適に分離される。したがって、本構成により、遮蔽部が第1状態の場合に、0次回折光の透過光量を低減し、主に+1次回折光を透過させることができ、遮蔽部が第2状態の場合に、0次回折光の透過光量を低減し、主に−1次回折光を透過させることができる。その結果、仮想画像の表示に不要な光を適切に遮蔽することができる。
また、上記の表示装置において、前記遮蔽部は、表面に干渉縞を形成することで入射光を回折可能に構成され、かつ、電圧印加によって前記干渉縞の有無を制御可能に構成された液晶パネルを含むとしてもよい。
本構成によれば、液晶パネルは、表面に干渉縞を形成することで入射光が回折可能に構成され、かつ、電圧印加によって干渉縞の有無が制御可能に構成されている。したがって、本構成により、仮想画像の表示に利用する回折光を高速に切り替えることが可能になる。その結果、仮想画像のフレームレートを向上させることが可能になる。
また、上記の表示装置において、前記照明光学系は、前記空間変調素子に対する前記照明光の方向を変更する偏向素子を含み、前記偏向素子は、前記照明光の方向を、前記仮想画像の表示領域が第1設定領域となる第1方向と、前記仮想画像の表示領域が前記第1設定領域に隣接する第2設定領域となる第2方向とに変更可能に構成され、前記回折パターン生成部は、前記照明光の方向が前記第1方向の場合に、前記元画像のうち前記第1設定領域に対応する領域の画像から第1設定回折パターンを生成し、前記照明光の方向が前記第2方向の場合に、前記元画像のうち前記第2設定領域に対応する領域の画像から第2設定回折パターンを生成するとしてもよい。
本構成によれば、偏向素子によって、空間変調素子に対する照明光の方向が、仮想画像の表示領域が第1設定領域となる第1方向と、仮想画像の表示領域が第1設定領域に隣接する第2設定領域となる第2方向とに変更される。回折パターン生成部によって、照明光の方向が第1方向の場合に、元画像のうち第1設定領域に対応する領域の画像から第1設定回折パターンが生成される。また、回折パターン生成部によって、照明光の方向が第2方向の場合に、元画像のうち第2設定領域に対応する領域の画像から第2設定回折パターンが生成される。例えば、空間変調素子の画素幅が大きいため、空間変調素子により表示可能な干渉縞のピッチが大きい場合には、回折角を大きくできない。このため、表示される仮想画像の視野角が狭くなる。しかし、本構成では、第1設定領域から第2設定領域にまたがって仮想画像を表示することができる。このため、本構成により、画素幅が大きい空間変調素子を使用する場合においても、表示される仮想画像の視野角を広くすることが可能になる。
また、上記の表示装置において、前記回折パターン生成部は、前記回折パターンを補正する少なくとも1種類の補正パターンを生成し、前記生成した補正パターンと前記第1設定回折パターンとが合成された第1設定合成回折パターンを生成し、かつ、前記生成した補正パターンと前記第2設定回折パターンとが合成された第2設定合成回折パターンを生成するとしてもよい。
本構成によれば、回折パターン生成部によって、回折パターンを補正する少なくとも1種類の補正パターンが生成される。また、回折パターン生成部によって、生成した補正パターンと第1設定回折パターンとが合成された第1設定合成回折パターンが生成される。また、回折パターン生成部によって、生成した補正パターンと第2設定回折パターンとが合成された第2設定合成回折パターンが生成される。したがって、本構成により、表示される仮想画像を好適に補正することができる。
また、上記の表示装置において、前記使用者の視力を取得する視力取得部と、前記使用者の視力に応じて前記仮想画像の最適再生位置を決定する位置決定部とをさらに備え、前記回折パターン生成部は、前記仮想画像が前記最適再生位置に表示されるように、前記補正パターンを生成するとしてもよい。
本構成によれば、視力取得部によって、使用者の視力が取得される。位置決定部によって、使用者の視力に応じて仮想画像の最適再生位置が決定される。回折パターン生成部によって、仮想画像が最適再生位置に表示されるように、補正パターンが生成される。したがって、本構成により、使用者の視力に合わせた好適な画質で仮想画像の表示を行うことが可能になる。
また、上記の表示装置において、前記元画像のうちで特定領域を判定する領域判定部をさらに備え、前記回折パターン生成部は、前記元画像における前記特定領域の位置に基づき前記回折パターンを補正する特定補正パターンを生成し、前記生成した特定補正パターンと前記生成した回折パターンとが合成された特定合成回折パターンを生成するとしてもよい。
本構成によれば、領域判定部によって、元画像のうちで特定領域が判定される。回折パターン生成部によって、元画像における特定領域の位置に基づき特定補正パターンが生成される。また、回折パターン生成部によって、生成された特定補正パターンと生成された回折パターンとが合成された特定合成回折パターンが生成される。したがって、本構成により、元画像のうちで特定領域に対応する仮想画像の領域を好適に補正することが可能になる。
また、上記の表示装置において、前記使用者の視力を取得する視力取得部と、前記使用者の視力に応じて前記仮想画像の最適再生位置を決定する位置決定部とをさらに備え、前記回折パターン生成部は、前記仮想画像のうちで前記特定領域に対応する領域が前記最適再生位置に表示されるように、前記特定補正パターンを生成するとしてもよい。
本構成によれば、視力取得部によって、使用者の視力が取得される。位置決定部によって、使用者の視力に応じて仮想画像の最適再生位置が決定される。回折パターン生成部によって、仮想画像のうちで特定領域に対応する領域が決定された最適再生位置に表示されるように、特定補正パターンが生成される。したがって、本構成により、使用者の視力に合わせた好適な画質で仮想画像の特定領域の表示を行うことが可能になる。
また、上記の表示装置において、前記回折パターン生成部は、前記特定補正パターンを生成するための特定位置を前記仮想画像のうちの前記特定領域に対応する領域が前記最適再生位置に表示されるように決定し、かつ、前記特定位置に仮想的に配置された点光源からの球面波が前記空間変調素子に入射した場合の位相から、前記特定補正パターンを生成するとしてもよい。
本構成によれば、回折パターン生成部によって、特定補正パターンを生成するための特定位置が、仮想画像のうちの特定領域に対応する領域が最適再生位置に表示されるように、決定される。また、回折パターン生成部によって、特定位置に仮想的に配置された点光源からの球面波が空間変調素子に入射した場合の位相から、特定補正パターンが生成される。したがって、本構成により、元画像の特定領域に対応する仮想画像の領域を使用者の視力に合わせた位置に配置することが可能になり、特定領域に対応する領域に表示されている情報の視認性を向上させることが可能になる。
また、上記の表示装置において、前記使用者の視線位置を検出する視線検出部をさらに備え、前記領域判定部は、前記使用者の視線位置を含む前記仮想画像の領域に対応する前記元画像の領域を前記特定領域として判定するとしてもよい。
本構成によれば、視線検出部によって、使用者の視線位置が検出される。領域判定部によって、使用者の視線位置を含む仮想画像の領域に対応する元画像の領域が特定領域として判定される。したがって、本構成により、使用者の視線位置を含む仮想画像の領域の画質を最適化することが可能になり、使用者が視認する仮想画像の画質の低下を抑制することが可能になる。
また、上記の表示装置において、前記回折パターンの位相値を量子化する量子化部をさらに備え、前記空間変調素子の各画素は、0から2πまでの間の2種類以上の特定位相値を表示可能に構成され、前記量子化部は、前記特定領域に対応する前記仮想画像の領域における量子化ノイズが減少するように、前記回折パターンの位相値を前記特定位相値に量子化するとしてもよい。
本構成によれば、量子化部によって、回折パターンの位相値が量子化される。空間変調素子の各画素は、0から2πまでの間の2種類以上の特定位相値を表示可能に構成されている。量子化部によって、特定領域に対応する仮想画像の領域における量子化ノイズが減少するように、回折パターンの位相値が特定位相値に量子化される。したがって、本構成により、強誘電性液晶素子などの特定位相値を表示できる空間変調素子を使用している場合に、回折パターンの位相値を量子化する際に発生する量子化ノイズを特定領域に対応する仮想画像の領域において抑制することが可能になる。
また、上記の表示装置において、前記量子化部は、量子化により発生する誤差を周囲の画素に拡散する誤差拡散を用いて量子化を行い、かつ、前記特定領域の前記元画像における位置に応じて、周囲の画素に誤差を配分する割合を変更することにより前記特定領域に対応する前記仮想画像の領域における量子化ノイズを低減するとしてもよい。
本構成によれば、量子化部によって、量子化により発生する誤差を周囲の画素に拡散する誤差拡散を用いて量子化が行われる。また、量子化部によって、特定領域の元画像における位置に応じて、周囲の画素に誤差を配分する割合を変更することにより特定領域に対応する仮想画像の領域における量子化ノイズが低減される。したがって、本構成により、特定領域に対応する仮想画像の領域における量子化ノイズを抑制し、特定領域に対応する領域に表示されている情報の視認性を向上させることが可能になる。
本発明に係る表示装置は、レーザ光を出力する光源と、前記レーザ光を照明光として出射する照明光学系と、元画像から回折パターンを生成する回折パターン生成部と、前記照明光により照明され、前記回折パターンを表示することで前記照明光を回折して回折光を生成し、生成した前記回折光を使用者に視認させることにより前記元画像を仮想画像として前記使用者に表示する空間変調素子とを備え、前記照明光学系は、前記空間変調素子に対する前記照明光の方向を変更する偏向素子を含み、前記偏向素子は、前記照明光の方向を、前記仮想画像の表示領域が第1設定領域となる第1方向と、前記仮想画像の表示領域が前記第1設定領域に隣接する第2設定領域となる第2方向とに変更可能に構成され、前記回折パターン生成部は、前記照明光の方向が前記第1方向の場合に、前記元画像のうち前記第1設定領域に対応する領域の画像から第1設定回折パターンを生成し、前記照明光の方向が前記第2方向の場合に、前記元画像のうち前記第2設定領域に対応する領域の画像から第2設定回折パターンを生成する。
本構成によれば、光源からレーザ光が出力される。レーザ光が照明光として照明光学系から出射される。回折パターン生成部によって、元画像から回折パターンが生成される。照明光により照明される空間変調素子によって、回折パターンが表示されることで照明光が回折されて回折光が生成される。また、空間変調素子によって、生成された回折光を使用者が視認することにより元画像が仮想画像として使用者に表示される。偏向素子によって、空間変調素子に対する照明光の方向が、仮想画像の表示領域が第1設定領域となる第1方向と、仮想画像の表示領域が第1設定領域に隣接する第2設定領域となる第2方向とに変更される。回折パターン生成部によって、照明光の方向が第1方向の場合に、元画像のうち第1設定領域に対応する領域の画像から第1設定回折パターンが生成される。また、回折パターン生成部によって、照明光の方向が第2方向の場合に、元画像のうち第2設定領域に対応する領域の画像から第2設定回折パターンが生成される。
例えば、空間変調素子の画素幅が大きいため、空間変調素子により表示可能な干渉縞のピッチが大きい場合には、回折角を大きくできない。このため、表示される仮想画像の視野角が狭くなる。しかし、本構成では、第1設定領域から第2設定領域にまたがって仮想画像を表示することができる。このため、本構成により、画素幅が大きい空間変調素子を使用する場合においても、表示される仮想画像の視野角を広くすることが可能になる。
本発明の表示装置によれば、使用者に表示する仮想画像の視野角を広くすることが可能なCGH方式の表示装置を提供することが可能になる。
実施の形態1における表示装置の機能ブロックの例を示す図 実施の形態1における表示装置の構成図 実施の形態1における表示装置の別の構成図 実施の形態1における眼球等の位置関係の説明図 実施の形態1における眼球等の位置関係の説明図 実施の形態1における動作を示すフローチャート 視力と再生像距離の関係を表す換算テーブルの例を示す図 特定領域の位置が異なる元画像の例を示す図 視力による補正パターンの違いの例を示す図 特定領域の位置の違いによる補正パターンの違いの例を示す図 実施の形態1における表示装置の機能ブロックの別の例を示す図 実施の形態2における表示装置の機能ブロックの例を示す図 実施の形態2における動作を示すフローチャート 回折パターンの量子化方法の違いによるノイズの発生の違いの例を示す図 ノイズを制御するための拡散係数を管理するテーブルの例を示す図 実施の形態3における表示装置の機能ブロックの例を示す図 実施の形態3における表示装置の構成図 空間変調素子からの回折光の例を示す図 回折光による仮想画像の表示領域の例を示す図 (a)、(b)は、実施の形態3における回折光の透過及び遮蔽の例を示す図 実施の形態3における動作を示すフローチャート 図17の表示装置と異なる構成の表示装置を示す図 図17の表示装置とさらに異なる構成の表示装置を示す図 図23の表示装置に設けられた反射ミラーの形状例を示す図 (a)、(b)は、空間変調素子からの回折光を集光させることによる効果を説明する図 (a)は、回折光による仮想画像の表示領域の別の例を示す図、(b)は、遮蔽部の部分領域の別の例を示す図 実施の形態4における表示装置の機能ブロックの例を示す図 (a)、(b)、(c)は、実施の形態4における照明光学系の構成及び動作を示す図 実施の形態4における仮想画像の表示領域を示す図 実施の形態4における動作を示すフローチャート 実施の形態1,3を組み合わせた実施形態の表示装置の機能ブロックの例を示す図 実施の形態1,3,4を組み合わせた実施形態の表示装置の機能ブロックの例を示す図 実施の形態3,4を組み合わせた実施形態の表示装置の機能ブロックの例を示す図 元画像と回折パターンとの例を示す図 元画像と液晶パネルとの位置関係の例を示す図 回折パターンの補正の例を示す図 誤差拡散の際に用いられる誤差拡散係数の例を示す図 量子化の際に誤差拡散を行った回折パターン及び誤差拡散を行わない回折パターンの例を示す図
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。
(実施の形態1)
図1は、実施の形態1における頭部装着型の表示装置(HMD)1の機能ブロック図である。図2は、図1に示される表示装置1の構成を模式的に示す図である。実施の形態1の表示装置1は、図2に示されるように、メガネ型形状をしており、図2は上方から見た図である。以下、図1、図2を用いて、実施の形態1における表示装置1の構成が説明される。
光源101は、レーザ光を出力するレーザ光源である。実施の形態1では、光源101として、緑色波長のレーザ光を出力する半導体レーザ(レーザダイオード)を用いる。なお、光源101は、赤色や青色の単色を用いてもよいし、赤緑青の3色を合波してカラー表示としてもよいし、赤緑青の3色を時分割駆動してカラー表示としてもよい。また、光源101は、半導体レーザ以外のレーザを用いてもよいし、半導体レーザと他のレーザとの組合せでもよい。また、光源101は、赤外光の半導体レーザと、赤外光を緑色光に変換する第2次高調波発生(SHG)素子の組合せでもよい。
照明光学系102は、光源101からのレーザ光を、例えば波面形状や強度分布を変更した照明光として出射する。実施の形態1では照明光学系102として、拡散光のレーザ光を収束光へ変換する凸レンズと、レーザ光の強度を減衰させる減光フィルタ(NDフィルタ)とを用いる。なお、照明光の波面形状を変える素子は、レンズでもよいしミラーでもよいし、液晶レンズのように動的に変更できる素子でもよい。また、照明光学系102は、強度分布を変更する光学系を含んでもよい。また、照明光学系102は、不要照明光の除去フィルタを含んでもよい。
空間変調素子103は、回折パターンを表示することによって、照明光学系102からの照明光を回折させ、ユーザが表示像を視認することを可能にする。実施の形態1では空間変調素子103として、位相変調型の反射型液晶パネルを用いる。なお、空間変調素子103は、回折パターンを表示することで照明光を回折できれば、別の表示素子でもよい。空間変調素子103として、例えば透過型パネルを用いても良い。この場合、光源101などを眼鏡の耳側に配置するなどの光学系のレイアウトを変更することなどが可能になる。
反射ミラー104は、空間変調素子103からの回折光をユーザの眼球190の方向へ反射させる。実施の形態1では反射ミラー104として、半透過フレネルミラーを用いる。フレネルレンズに薄い金属膜を蒸着させることで半透過フレネルミラーとし、フロント部112のレンズ部113に接着剤で接着している。フレネルミラーと接着剤の屈折率を近づけることで、透過光が直進するようにし、レンズ部113を通して見える外界が歪まないようにしている。なお、反射ミラー104を用いずに、空間変調素子103をユーザが直接見るHMDとしてもよい。なお、反射ミラー104は、レンズ型でもよいし、ホログラム等の回折格子で実現してもよい。ホログラムで反射ミラー104を構成することで、より薄型で透過率の高いシースルーディスプレイを構成することが可能になる。
眼球190は、実施の形態1の表示装置1の眼球想定位置にある眼球を図示している。眼球想定位置は、ユーザが表示装置1を装着している際の眼球位置として想定される位置を意味する。実施の形態1では、眼球想定位置は、ユーザが表示装置1を装着している際の眼球190の瞳孔191の瞳孔中心193としている。反射ミラー104で反射された回折光は、眼球想定位置に位置する眼球190の瞳孔191を経由して、網膜に像を結像し、ユーザに画像を表示する。図2における眼球中心192は、眼球190の中心位置であり、眼球190の回転中心でもある。眼球想定位置は、瞳孔中心193から多少ずれても構わない。また、眼球想定位置は、瞳孔中心193に代えて、眼球中心192としてもよい。
なお、ユーザが図2に示される表示装置1を頭部に装着すると(つまりテンプル部111を耳に掛けると)、空間変調素子103と眼球想定位置との位置関係は固定される。なお、頭部に対する眼球190の位置のユーザによる個人差や、表示装置1の装着ずれを考慮して、眼球想定位置に許容誤差を設けてもよく、眼球想定位置を調整する機能を有するようにしてもよい。
制御部105は、光源101を駆動し、回折パターンを空間変調素子103に表示させる。制御部105は、光源101を点灯消灯させ、眼球に適切な光量が入射するように、光源101が出力するレーザ光の強度を調整する。なお、制御部105は、3色のレーザ光源を時分割駆動し、3色それぞれに対応した回折パターンを光源101に同期させて空間変調素子103に表示することで、カラー表示を行ってもよい。また、制御部105は、バッテリー106の制御を行ってもよいし、照明光学系102や反射ミラー104が制御可能な場合は制御してもよい。
また、本実施の形態1において、制御部105は、CPU11及びメモリ12を含み、表示される仮想画像の内容などに応じた回折パターンの生成制御などを行う。CPU11は、機能ブロックとして、視力取得部901、距離決定部902、画像管理部903、領域判定部904、回折パターン生成部905、表示制御部906を含む。メモリ12には、プログラムが保存されている。また、メモリ12には、データなどが一時的に保存される。CPU11は、メモリ12に保存されているプログラムを実行することによって、上記各機能ブロックとして動作する。図1の各機能ブロックの機能については、後述する。
バッテリー106は、制御部105や空間変調素子103など、表示装置1の各部へ電源を供給する。実施の形態1のバッテリー106は充電式であり、ユーザの表示装置1の非装着時に充電される。バッテリー106は、テンプル部111の耳側の後端近くに配置されることで、全体の重量バランスを耳側に近づけ、フロント部112のずり落ちを軽減できる効果もある。なお、バッテリー106は充電式でなくてもよく、表示装置1の使用中に電源供給されてもよい。また、外部から表示装置1に電源供給されてもよいし、発電部を表示装置1が有してもよい。
図2のメガネ形状の表示装置1は、側頭部のテンプル部111と、眼前のフロント部112から成る。テンプル部111には光源101、照明光学系102、空間変調素子103、制御部105、バッテリー106が配置される。テンプル部111には出射窓114が設けられ、空間変調素子103からの回折光が反射ミラー104へと出射されるようになっている。
フロント部112はレンズ部113を含み、レンズ部113の一部(表面または内部)に、反射ミラー104が配置されている。なお、実施の形態1の反射ミラー104は表示光を反射しつつ、外景を透過させるが、外景を透過させない構成としてもよい。また、フロント部112とテンプル部111は、携帯性を向上させるために、折れ曲がるようにしてもよい。この場合、折れ曲がる位置はテンプル部111の端でもよいし、空間変調素子103より耳側でもよい。レンズ部113は、通常のメガネレンズと同様に、近視用の度数が入ったレンズでもよいし、遠視や乱視を補正するレンズでもよい。また、レンズ部113は、サングラスのように、透過率を下げる機能を有してもよく、偏光機能を有してもよい。また、レンズ部113は、不要光の反射を防止してもよく、汚れを防止する機能を有する膜を含んでもよい。
なお、図2では、片目(具体的には右目)についてのみ、仮想画像を表示する構成としているが、図3に示されるように、左右の目の両方に仮想画像を表示する形態としても良い。
図3は、左右の目の両方に仮想画像を表示する表示装置1aの構成を模式的に示す図である。図3の表示装置1aでは、左目部分についても右目部分と同様の構成要素が配置されている。表示装置1aの左目部分の各構成要素には、右目部分の対応する構成要素の符号に添え字「a」を添えた対応する符号が付されている。左目部分の各構成要素は、右目部分の対応する各構成要素と同じ機能を有する。なお、左目部分と右目部分とで全ての構成要素を備えなくても良い。例えば、制御部105は右目部分にのみ配置し、左目部分には制御部105aを配置せずに、右目部分の制御部105によって、右目と左目の両方の表示を同時に制御しても良い。この場合、表示装置1aの部品数を低減し、コストや重量を削減する効果がある。
図2に符号121で示される距離は、ユーザの眼球想定位置(この実施形態では、上述のように瞳孔中心193)から反射ミラー104までの距離を示す。図2に符号122で示される距離は、反射ミラー104から空間変調素子103までの距離を示す。また本明細書では距離121と距離122の和を、眼球想定位置から空間変調素子103までの距離(あるいは光軸距離)と称す。
図4および図5は、眼球190、反射ミラー104、空間変調素子103、及び回折パターンによる再生像(仮想画像)等の位置関係の説明図である。
図4に示すように、眼球190、反射ミラー104、空間変調素子103が配置されている。反射ミラー104の光学倍率が1である場合、空間変調素子103の虚像202は図4に示した位置にある。眼球190の瞳孔中心193(図2)から虚像202までの距離は、眼球190の瞳孔中心193(図2)から反射ミラー104までの距離121(図2)と、反射ミラー104から空間変調素子103までの距離122(図2)との和である「空間変調素子103までの距離210」に等しい。なお、図4の例では、空間変調素子103が光軸220に対して斜めに配置してあるが、この場合の距離は、空間変調素子103の中央の点を基準とした距離である。なお、中央以外の点を基準として用いてもよい。
また、図5に示すように、反射ミラー104の光学倍率が1より大きい場合は、空間変調素子103の虚像302は図5に示した位置にある。眼球190の瞳孔中心193(図2)から空間変調素子103の虚像302までの距離310は、前記「空間変調素子103までの距離210」よりも遠くなり、虚像302は虚像202に比べて大きくなる。
空間変調素子103に、回折パターン(例えば、図34に示される回折パターン402)を表示することにより、図4、図5の仮想画像201、301(例えば、図34に示される元画像(仮想画像)401)をユーザは視認することができる。ここで、仮想画像までの距離211、311は、回折パターンの算出で変えることができる。そのためユーザの視力に合わせて眼球190から仮想画像までの距離を適切に調節することなどが可能になる。
なお、本実施の形態で示した表示装置1の各部の機能の一部が、表示装置1の本体とは別の装置で実現されていてもよい。また、表示装置1に本実施の形態で示さなかった機能が搭載されていてもよい。表示装置1の本体と、表示装置1の本体とは別の携帯端末とで、機能を分担してもよい。また、表示装置1の本体とネットワークサーバとで機能を分担してもよい。また、本実施の形態のように、回折パターンの計算を、表示装置1の制御部105で行ってもよい。あるいは、外部の装置で求めた回折パターンを表示装置1が取得してもよい。あるいはまた、外部の装置で回折パターンの計算の一部を行い、表示装置1で計算の残りを行ってもよい。また、本実施の形態において、光源101が外部の装置に設けられ、光ファイバで光源101から出力された光を伝送してもよい。また、バッテリー106が外部の装置に設けられ、電源コードが表示装置1に接続されていてもよい。また、表示装置1は、他の機能として、カメラ、角速度や温度やGPSなど各種センサ、スイッチなどの入力デバイス、スピーカー等の出力デバイスを含んでもよい。なお、後述の実施の形態にも、上述の変形を適用してもよい。
このように、図1及び図2に示されるCGH方式による表示装置1を用いて、空間変調素子103に回折パターンを表示することで、照明光学系102などを大型化させることなく、ユーザの眼球190から遠い位置に仮想画像を生成することが可能になる。
図6は、実施の形態1における動作を示すフローチャートである。以下、図1、図6を用いて、本実施の形態1において、表示内容に応じた回折パターンの生成を行う例が説明される。本実施の形態1において、制御部105は、図6に示されるステップS1001〜S1006の処理を行うことで、回折パターンの生成および表示の制御を行う。
<ステップS1001>(ユーザ視力判定)
本ステップS1001では、制御部105に含まれる視力取得部901が、表示装置1を使用するユーザの視力に関する情報を取得する。本実施の形態1においては、視力取得部901は、ユーザの視力に関する情報を記憶する記憶部9011を保持している。本ステップS1001では、視力取得部901は、記憶部9011から取り出したユーザの視力に関する情報を距離決定部902に対して通知する。
なお、視力取得部901の記憶部9011に対してユーザの視力を記憶させる構成は、特定の構成に限定する必要はない。例えば表示装置1に情報入力のための入力部を設け、それを用いて視力情報を入力するようにしても良い。この場合、ユーザが簡単に視力情報を変更することなどが可能になる。また、外部機器や、SDカードなどの情報記録装置を介して、視力取得部901の記憶部9011にユーザの視力情報を保存する構成を用いても良い。
なお、視力取得部901の記憶部9011は、本実施の形態1のように制御部105の内部に設けてもよい。代替的に、記憶部9011は、例えば制御部105と通信可能な別の装置に存在していても良い。
<ステップS1002>(再生像距離決定)
図7は、換算テーブル9021の例を示す図である。本ステップS1002では、制御部105に含まれる距離決定部902が、前ステップS1001において視力取得部901から取得したユーザの視力に関する情報から、表示装置1で表示する再生像(仮想画像)の距離(ユーザの眼球から再生像までの距離)を決定する。距離決定部902は、決定した仮想画像の距離(最適再生位置の一例に相当)を回折パターン生成部905に通知する。
本実施の形態1においては、距離決定部902は、ユーザの視力から再生像の距離を決定するための換算テーブル9021を有する。換算テーブル9021は、図7に示されるように、視力と再生像距離との関係を表す。距離決定部902は、換算テーブル9021を用いることで、再生像の距離を決定する。
なお、本実施の形態1では、距離決定部902は、ユーザの視力に関する数値から再生像の距離を決定する換算テーブル9021を用いている。代替的に、距離決定部902は、別の情報を用いて再生像の距離を決定しても良い。例えば、距離決定部902は、ユーザの老眼に関する情報などを加えて再生像の距離を決定しても良い。この場合、老眼の強いユーザに対して再生像を近づけすぎることを防止することが可能になる。
なお、再生像の距離の決定に際しては、距離決定部902は、例えばユーザの視力を入力とする関数を用いるなど、換算テーブル9021を用いる方法以外の方法を用いても良い。例えば、距離決定部902は、視力1.0の際の再生像の距離を基準距離として保持しておき、ユーザの視力の値を基準距離に掛け合わせることで、再生像の距離を決定しても良い。この場合、換算テーブル9021を保持する必要が無いため、記憶容量などを削減することが可能になる。
<ステップS1003>(特定領域判定)
本ステップS1003では、制御部105に含まれる領域判定部904が、ユーザに表示する画像のうち、画質を最適化するべき特定領域の判定を行う。
本実施の形態1において、画像管理部903は、ユーザに表示する画像を管理する。画像管理部903は、例えば図34に示される元画像401をユーザに表示する画像として保持する。領域判定部904は、画像管理部903からユーザに表示する画像を取得する。領域判定部904は、画質を向上させるべき領域を特定領域として判定する。領域判定部904は、判定した特定領域の位置に関する情報を回折パターン生成部905に通知する。本実施の形態1では、領域判定部904は、表示画面において画像が表示されている領域(画像のピクセル値が0でない領域)を、特定領域として判定する。この例を図8に示す。
図8は、特定領域の位置が異なる元画像の例を示す図である。元画像1201は、表示画面の中央にのみ画像情報1203がある場合の例である。元画像1201の場合、領域判定部904は、表示画面の中央領域1204を特定領域として判定する。また、元画像1202は、表示画面の右側にのみ画像情報1203がある場合の例である。元画像1202の場合、領域判定部904は、表示画面の中央右領域1205を特定領域として判定する。
なお、領域判定部904は、画像が表示されている領域を判定する方法としては、ピクセル値から判定するのではなく、画像解析などの手法を用いても良い。例えば、領域判定部904は、画像中からメールアイコンや文字情報などを抽出し、それらが表示されている領域を特定領域として判定する方法を用いても良い。この場合、領域判定部904は、表示画面全体に画像が表示されている場合(画像のピクセル値が0である領域がない場合)においても、特定領域を判定することが可能になる。
また、領域判定部904は、情報の種類による優先度を領域判定部904に保持しておき、それを用いて特定領域の判定を行なっても良い。例えば、領域判定部904は、特定の画像情報(メールアイコンや、危険に対する注意喚起のためのアイコンなど)毎に優先度を保持しておき、それを用いて特定領域の判定を行なっても良い。この場合、領域判定部904は、複数の情報が表示画面内に表示されている場合においても、より優先度の高い情報が表示されている領域を特定領域として判定することができる。その結果、特定領域に対応する仮想画像の領域の画質を最適化してユーザに表示することが可能になる。
また、領域判定部904は、画像解析以外の手法を用いて特定領域を判定してもよい。例えば、画像管理部903は、画像に付加されているメタデータなどに特定領域に関する情報を埋め込んでおき、領域判定部904は、その情報を用いて特定領域を判定しても良い。この場合、領域判定部904は、画像解析などを行う必要がなくなる。このため、領域判定のための処理のコストを低減することが可能になる。
なお、ユーザに表示する画像は、特定の形式に限定する必要はなく、静止画像でも良いし、動画像でもよい。また、ユーザに表示する画像は、テキストなどの文字情報であってもよい。
なお、特定領域の判定結果は、特定の形式で表すことに限定する必要はなく、任意の形式で表しても良い。本実施の形態1では、図8に示されるように、表示画面を9つに分割し、「右上領域」、「中央右領域」、「中央領域」などのように画質を最適化するべき特定領域を、9つの中から選択する方法を例示している。代替的に、例えば画質を最適化すべき特定領域を表示画面内の座標値で表現しても良い。この場合、より詳細に画質を最適化する範囲を指定することが可能になる。
<ステップS1004>(補正パターン生成)
本ステップS1004では、回折パターン生成部905が、距離決定部902から取得した距離情報と、領域判定部904から取得した特定領域情報とを用いて、回折パターンに重畳する補正パターンの生成を行う。
本実施の形態1では、回折パターン生成部905は、補正パターンを生成するための特定位置αを後述する手順により決定する。回折パターン生成部905は、特定位置αに仮想的に配置された点光源から空間変調素子103へ向かう球面波が空間変調素子103に入射した場合の位相を補正パターンとして計算する。特定位置αの座標を(xi、yi、zi)とした時、空間変調素子103上の点u(ξ、η、0)への球面波の波面(位相)は、式(1)、式(2)で求めることができる。このため、回折パターン生成部905は、空間変調素子103上の各点に対して式(1)、式(2)の計算を行うことで補正パターンの生成を行うことができる。
回折パターン生成部905は、特定位置αの座標ziを、距離決定部902から取得した距離情報によって決定する。本実施の形態1では、回折パターン生成部905は、距離決定部902からの距離情報をそのまま座標ziの値として使用する。また、回折パターン生成部905は、特定位置αの座標xi、yiの値を、領域判定部904から取得した特定領域の位置によって決定する。
本実施の形態1では、回折パターン生成部905は、特定領域の位置毎に、座標xi、yiの値をテーブルとして保持している。回折パターン生成部905は、領域判定部904から取得した特定領域の位置に応じて、座標xi、yiの値を決定する。例えば、特定領域が中央領域である場合には、座標xi、yiの値は0となるように、回折パターン生成部905のテーブルを作成しておけばよい。これによって、表示画面の中心がユーザの視力に合わせた画質となるように、補正パターンを生成することが可能になる。
なお、回折パターン生成部905は、座標xi、yiの決定方法として、テーブルを用いる方法以外の方法を用いても良い。例えば、領域判定部904からの特定領域に関する情報が座標値である場合には、特定領域の中心の座標値を座標xi、yiの値として使用するようにしても良い。この場合、回折パターン生成部905は、テーブルを用いる必要がなくなる。このためテーブル保持のコストなどを削減することが可能になる。
図9は、視力(表示距離)による補正パターンの違いの例を示す図である。補正パターン1301は、座標ziの値が小さく、空間変調素子103から近い位置に再生像を形成するための補正パターンの例を示す。補正パターン1302は、座標ziの値が大きく、空間変調素子103から遠い位置に再生像を形成するための補正パターンの例を示す。
図10は、特定領域の位置の違いによる補正パターンの違いの例を示す図である。補正パターン1401は、表示画面の中心領域(図8の中央領域1204)が特定領域である場合の例である。補正パターン1402は、表示画面の中央右領域(図8の中央右領域1205)が特定領域である場合の例である。補正パターン1403は、表示画面の右上領域(図8の領域1206)が特定領域である場合の補正パターンの例である。
本実施の形態1では、回折パターン生成部905は、図9に示されるようにユーザの視力に応じて補正パターンを変化させ、かつ、図10に示されるように表示画面内の特定領域の位置に応じて補正パターンを変化させる。これによって、表示画面内で、ユーザの視力と一致することによりユーザにとって画質が向上する仮想画像の領域を制御することが可能になる。
なお、本実施の形態1では、回折パターン生成部905が補正パターンを逐次生成する構成を例示しているが、他の構成を採用しても良い。例えば、回折パターン生成部905は、あらかじめ生成した補正パターンを保存しておき、再生像(仮想画像)の距離や特定領域の位置に応じて、保存してある補正パターンを読み出すようにしても良い。この場合、補正パターン生成のための計算コストを抑制することが可能になる。
なお、本実施の形態1では、特定位置αが単一の位置である場合を例示している。代替的に、回折パターン生成部905は、複数の特定位置を用いて、各特定位置に仮想的に配置された各点光源からの球面波の波面の位相を重ね合わせることで、補正パターンの計算を行っても良い。この場合、複数の特定領域に対応する仮想画像の複数の領域の画質を向上させることが可能になる。
また、回折パターン生成部905は、特定位置αに仮想的に配置された点光源からの波面を球面波以外の波面として補正パターンを計算しても良い。回折パターン生成部905は、例えば、反射ミラー104での収差を補正するための位相パターンを補正パターンとして使用しても良い。あるいは、回折パターン生成部905は、例えば、ユーザの乱視を補正するための位相パターンを補正パターンとして使用しても良い。あるいはまた、回折パターン生成部905は、例えば、特定位置αに仮想的に配置された点光源からの球面波と、反射ミラー104の収差補正のための位相パターンとを重畳することで、補正パターンを生成してもよい。この場合、ユーザの視力または特定領域の位置に適切な位置に、反射ミラー104の収差を補正した仮想画像を表示できる。このため、より適切に画質を向上させることが可能になる。
<ステップS1005>(回折パターン生成)
本ステップS1005では、回折パターン生成部905が、ユーザに表示する画像から基本回折パターンを生成し、前ステップS1004で生成した補正パターンを基本回折パターンに重畳することで、空間変調素子103での表示に使用する回折パターンの生成を行う。
本実施の形態1では、回折パターン生成部905は、画像管理部903からユーザに表示する画像(例えば図34に示される元画像401)を取得する。また、回折パターン生成部905は、取得した画像の各画素に対して0から2πまでのランダムな位相値を加算した後に、逆フーリエ変換を行うことで、基本回折パターンの生成を行う。その後、回折パターン生成部905は、生成した基本回折パターンに、前ステップS1004で生成した補正パターンを重畳することで、空間変調素子103に表示する合成回折パターンの生成を行う。
図36に示される、回折パターン601が基本回折パターンの例であり、回折パターン602が補正パターンの例であり、回折パターン603が補正後の合成回折パターンの例である。図36に示されるように、基本回折パターンに補正パターンを重畳することで、回折パターンを変化させることが可能になる。
なお、空間変調素子103が特定の位相値のみを表示できる場合は、回折パターン生成部905は、複素数値である回折パターンの量子化処理を行う。例えば、空間変調素子103が0もしくはπの二個の位相値(特定位相値)のみを表示できる場合、回折パターン生成部905は、生成した回折パターンの各画素の位相値が、0もしくはπのいずれに近いかを判定し、近い方の位相値への量子化を行う。なお、回折パターン生成部905は、量子化後の0とπの位相の数が一致するように量子化を行うことで、0次回折光の発生を抑制することができる。
なお、回折パターン生成部905は、空間変調素子103の特性に応じて二値より多い値に量子化をおこなっても良い。例えば、空間変調素子103が、0,2/3π,4/3πの三個の位相値(特定位相値)のみを表示できる場合には、回折パターン生成部905は、生成した回折パターンの各画素の位相値が、0もしくは2/3πもしくは4/3πのいずれに近いかを判定し、最も近い位相値への量子化を行う。このように三値に量子化する場合、二値に量子化する場合に比べて、量子化ノイズの発生を抑制することが可能になる。
なお、回折パターン生成部905は、基本回折パターンの生成には、逆フーリエ変換以外の方法を用いても良い。また、画像管理部903から取得した画像に回折パターン生成部905が加算する位相値はランダムなものでなくてもよい。回折パターン生成部905は、例えば隣り合う画素同士の位相が90度異なるように、加算する位相値を調節しても良い。この構成によれば、光源101としてレーザ光源を使用している場合に、隣り合う画素同士の干渉を抑制し、スペックルノイズの発生を抑制することが可能になる。
回折パターン生成部905は、生成した回折パターンを表示制御部906に通知する。
<ステップS1006>(表示制御)
本ステップS1006では、表示制御部906が、前ステップS1005で回折パターン生成部905が生成した回折パターンを空間変調素子103に表示する処理を行う。
本実施の形態1では、表示制御部906は、反射型液晶パネルである空間変調素子103が回折パターンの位相値を表現できるように、空間変調素子103の変調量を制御する。また、表示制御部906は、空間変調素子103が表示する回折パターンの波長に対応するように光源101の出力の制御を行う。すなわち、空間変調素子103が表示する回折パターンは、波長依存性を有する。したがって、光源101が赤緑青の3色を出力する場合には、表示制御部906は、光源101から出力される色に応じて、光源101の出力を適切な値に制御する。ステップS1006によって、ユーザに対して、回折パターンを表示する空間変調素子103からの回折光による再生像(仮想画像)の表示が実現される。
上記のステップS1001〜S1006の処理を行うことにより、本実施の形態1によれば、フーリエ変換に基づく計算コストで、ユーザの視力に合わせた位置に、再生像(仮想画像)を表示することが可能になる。また、本実施の形態1によれば、再生像(仮想画像)の内容(例えば特定領域の位置)に応じて、特定領域に対応する仮想画像の領域の画質が向上する。このため、ユーザにとって視認性の良い仮想画像の表示を実現することが可能になる。本実施形態において、距離決定部902が位置決定部の一例に相当する。
なお、領域判定部904は、特定領域を判定するために、画像の情報を用いているが、画像以外の情報を用いてもよい。この例を図11に示す。
図11は、表示装置1Aの機能ブロック図である。表示装置1Aは、図1に示される表示装置1において、制御部105に代えて制御部105Aを備え、さらに視線検出部107を備える。制御部105Aは、CPU11A及びメモリ12Aを含む。CPU11Aは、機能ブロックとして、図1に示されるCPU11において、領域判定部904に代えて領域判定部904Aを備える。CPU11Aは、メモリ12Aに保存されているプログラムを実行することによって、図11に示される各機能ブロックとして動作する。
視線検出部107は、例えばCCDカメラなどを含み、ユーザの視線位置を検出するための装置である。領域判定部904Aは、ユーザの視線位置にある領域の画質が最適化されるように、ユーザの視線位置を含む領域を特定領域として判定する。図11の構成の場合、ユーザの中心視野の画像の品質を最適化することができる。
また、さらに代替的に、領域判定部904は、ユーザの視線ではなく、周辺環境に応じて画像を最適化する領域(特定領域)を判定しても良い。例えば、現実世界と画像管理部903の画像を重畳表示するAR(拡張現実:Augmented Reality)表示を行う場合には、表示装置1がカメラを備え、外界の表示対象物(例えば看板や標識など)に応じて、領域判定部904は、画質を最適化する領域(特定領域)を判定してもよい。この場合、より画質の高いAR表示を行うことが可能になる。
(実施の形態2)
本実施の形態2では、仮想画像の表示の際に発生するノイズを表示内容に応じて抑制する制御について例示する。実施の形態2において、実施の形態1と同一または類似の構成に、同一または類似の符号が付されている。
図12は、実施の形態2における表示装置1Bの機能ブロック図である。本実施の形態2における頭部装着型の表示装置(HMD)1Bの構成は図2に示される実施の形態1と同様であるため説明を省略する。図12における各機能ブロックの機能については後述される。
表示装置1Bは、図1に示される表示装置1において、空間変調素子103に代えて空間変調素子103Bを備え、制御部105に代えて制御部105Bを備える。制御部105Bは、CPU11B及びメモリ12Bを含む。CPU11Bは、機能ブロックとして、画像管理部903、領域判定部904、回折パターン生成部905B、表示制御部906、量子化部907を含む。CPU11Bは、メモリ12Bに保存されているプログラムを実行することによって、上記各機能ブロックとして動作する。
本実施の形態2の空間変調素子103Bは、二個以上の特定の位相値のみが表示可能に構成されている。本実施の形態2の空間変調素子103Bは、例えば0もしくはπの二個の位相値(特定位相値)のみが表示可能な強誘電性液晶により構成されていてもよい。あるいは、本実施の形態2の空間変調素子103Bは、0,2/3π,4/3πの三個の位相値(特定位相値)のみが表示可能に構成されていてもよい。
本実施の形態2においては、制御部105Bは、ユーザに対して表示する画像の内容に応じて、回折パターンの位相値を特定の位相値に量子化する際に生じる量子化ノイズが発生する場所を変更する処理を行う。以下、具体的な手順について詳述する。
図13は、実施の形態2における動作を示すフローチャートである。本実施の形態2においては、制御部105Bは、図13のステップS1101〜S1104の処理を行うことで、量子化ノイズの発生場所を変更する。
<ステップS1101>(特定領域判定)
本ステップS1101では制御部105Bに含まれる領域判定部904が、ユーザに表示する画像のうち、画質を最適化するべき特定領域の判定を行う。
本実施の形態2において、領域判定部904は、ユーザに表示する画像を管理する画像管理部903から表示像を取得する。本実施の形態2では、領域判定部904は、画像が表示されている領域(画像のピクセル値が0でない領域)を特定領域として判定する。この処理は、実施の形態1と同様であるため詳述は省略する。
なお、領域判定部904は、画像が表示されている領域を判定する方法としては、ピクセル値から判定するのではなく、画像解析などの手法を用いても良い。また、領域判定部904は、情報の種類による優先度を領域判定部904に保持しておき、それを用いて特定領域の判定を行なっても良い。また、領域判定部904は、画像解析以外の手法を用いて特定領域を判定してもよい。例えば、画像管理部903は、画像に付加されているメタデータなどに特定領域に関する情報を埋め込んでおき、領域判定部904は、その情報を用いて特定領域を判定しても良い。
なお、ユーザに表示する画像は、特定の形式に限定する必要はなく、静止画像でも良いし、動画像でもよい。また、ユーザに表示する画像は、テキストなどの文字情報であってもよい。
なお、特定領域の判定結果は、特定の形式で表すことに限定する必要はなく、任意の形式で表しても良い。上記実施の形態1では、図8に示されるように、表示画面を9つに分割し、「右上領域」、「中央右領域」、「右下領域」、「中央上領域」、「中央領域」、「中央下領域」、「左上領域」、「中央左領域」、「左下領域」などのように画質を最適化するべき特定領域を、9つの中から選択する方法を例示している。代替的に、例えば画質を最適化すべき特定領域を表示画面内の座標値で表現しても良い。この場合、より詳細に画質を最適化する範囲を指定することが可能になる。
なお、領域判定部904は、特定領域を判定するために、実施の形態1と同様に、画像以外の情報を用いても良い。例えば、図11に示されるように、表示装置1Bがユーザの視線位置を検出するための視線検出部107を備え、領域判定部904は、ユーザの視線位置にある画像の画質が最適化するように、ユーザの視線位置の領域を特定領域として判定しても良い。また、さらに代替的に、領域判定部904は、ユーザの視線ではなく、周辺環境に応じて画像を最適化する領域(特定領域)を判定しても良い。
領域判定部904は、判定した特定領域の情報を量子化部907に通知する。
<ステップS1102>(回折パターン生成)
本ステップS1102では、回折パターン生成部905Bが、画像管理部903から取得した画像から回折パターンの生成を行う。
本実施の形態2では、回折パターン生成部905Bは、画像管理部903からユーザに表示する画像を取得し、画像の各画素に対して0から2πまでのランダムな位相値を加算した後に、逆フーリエ変換を行うことで、基本回折パターンの生成を行う。
回折パターン生成部905Bは、生成した基本回折パターンを量子化部907に通知する。
なお、本実施の形態2では、回折パターン生成部905Bは、画像を逆フーリエ変換することにより回折パターンを生成している。しかし、回折パターン生成部905Bは、別の方法で回折パターンを生成しても良い。回折パターン生成部905Bは、例えば、実施の形態1と同様に、ユーザの視力や画像の特定領域の情報から選択した補正パターンと、画像を逆フーリエ変換した基本回折パターンとを重畳することで、回折パターンを生成しても良い。この場合、ノイズ抑制だけでなく、ユーザの視力や特定領域の位置に応じた補正を同時に行うことで、さらに画質を向上させることが可能になる。また、回折パターン生成部905Bは、例えば、元画像に対して点充填法などを用いて回折パターンを計算しても良い。この場合、より立体感のある画像をユーザに提示することが可能になる。
<ステップS1103>(位相量子化)
本ステップS1103では、量子化部907が、領域判定部904から取得した画像の特定領域の情報を用いて、回折パターン生成部905Bから取得した基本回折パターンに対する量子化処理を行う。
前述のように、空間変調素子103Bが特定の位相値のみを表示できる場合は、0から2πまでの位相値を持つ回折パターンの各画素に対して空間変調素子103Bが表示可能な位相値への量子化処理が必要になる。この際、元々の画像の画素が有する位相値と、量子化後の位相値の差によって、ユーザに表示される再生像に量子化ノイズと呼ばれるノイズが発生する。前述したように、図37に示すような誤差拡散係数を用いて、ある画素で発生した誤差を周辺の画素へと伝搬させることで、発生する量子化ノイズを特定の位置に集中させることが可能になる。
図14は、回折パターンの量子化方法の違いによる量子化ノイズの発生の違いの例を示す図である。再生像1701は、図37に示す拡散係数を用いて回折パターンに対する誤差拡散を行った場合の再生像(仮想画像)の例である。再生像1701では、表示画面の四隅に量子化ノイズとして発生している白浮きが集中しており、表示画面の中央の量子化ノイズは低減されている。
再生像1702は、誤差拡散を行わずに量子化処理を行った場合の例である。再生像1702では、量子化ノイズとして発生している白浮きは表示画面全体に拡散されている。このように、量子化部907が量子化処理の際に誤差拡散を行うことで、量子化ノイズの発生状況を変更することが可能になる。なお、図14は、量子化部907が量子化処理として0、πの2値化を行った例を示している。このため、図14に示されるように、表示画面の下部に反転像が形成されている。
量子化ノイズの発生場所は、図37に示されるような拡散係数の係数値を変更することで可能になる。このため、本実施の形態2では、量子化部907は、ノイズが抑制される領域と、その領域のノイズが抑制される拡散係数の情報とを保持している。例えば、図37に示される拡散係数の符号を正負反転させた場合、量子化ノイズは、表示画面の上半分の中央(Hologramの文字部分)に集中し、表示画面の四隅の量子化ノイズが抑制される効果がある。
図15は、ノイズを抑制する領域と、誤差拡散係数との組み合わせを管理するテーブルの例を示す図である。図15において、フィルタIDは、図37に示すような拡散係数(フィルタ)を識別するための数値を示す。量子化部907は、各フィルタIDに対応する具体的な拡散係数(フィルタ)を保持している。量子化部907は、領域判定部904から通知された特定領域に対応するフィルタIDの拡散係数を用いて量子化処理を行う。この処理により、画像の特定領域の量子化ノイズを抑制することが可能になる。
なお、量子化部907が保持する拡散係数の形式は特定のものに限定する必要はなく、任意の形式のものを用いて良い。量子化部907は、例えば図37のように3×3の表形式を用いても良い。代替的に、量子化部907は、より大きな表形式を用いても良い。この場合、ノイズが抑制される領域をより正確に制御することが可能になる。また、量子化部907が拡散係数を予め保持するのではなく、必要に応じて量子化部907が拡散係数を生成してもよい。例えば、量子化部907は、領域判定部904が判定した特定領域の位置や大きさに応じて拡散係数を生成してもよい。この場合、領域判定部904が判定した特定領域の位置や大きさに応じた適切な拡散係数を利用することなどが可能になる。
量子化部907は、生成した回折パターンを、表示制御部906に通知する。
<ステップS1104>(表示制御)
本ステップS1104では、表示制御部906が、前ステップS1103で量子化部907が生成した回折パターンを空間変調素子103Bに表示する処理を行う。
本実施の形態2では、表示制御部906は、例えば強誘電性液晶素子である空間変調素子103Bが回折パターンの位相値を表現できるように、空間変調素子103Bの変調量を制御する。また、表示制御部906は、実施の形態1と同様に、空間変調素子103Bが表示する回折パターンの波長に対応するように光源101の出力の制御を行う。ステップS1104によって、ユーザに対して、回折パターンを表示する空間変調素子103Bからの回折光による再生像(仮想画像)の表示が実現される。
上記のステップS1101〜S1104の処理を行うことにより、本実施の形態2によれば、再生像(仮想画像)の内容(例えば特定領域の位置)に応じて、特定領域の量子化ノイズを抑制することができる。その結果、ユーザにとって視認性の良い仮想画像の表示を実現することが可能になる。
(実施の形態3)
本実施の形態3では、ユーザに表示される仮想画像の位置に応じて、表示に使用する回折光を変更することにより、視野角の広い仮想画像の表示を行う制御の例を示す。実施の形態3において、実施の形態1と同一または類似の構成に、同一または類似の符号が付されている。
図16は、実施の形態3における表示装置1Cの機能ブロック図である。図17は、実施の形態3における表示装置1Cの構成を示す図である。実施の形態1と同様の構成要素については、以下での説明を省略する。
表示装置1Cは、図1に示される表示装置1において、制御部105に代えて制御部105Cを備え、遮蔽部108をさらに備える。制御部105Cは、CPU11C及びメモリ12Cを含む。CPU11Cは、機能ブロックとして、画像管理部903、回折パターン生成部905C、表示制御部906、遮蔽制御部908を含む。CPU11Cは、メモリ12Cに保存されているプログラムを実行することによって、上記各機能ブロックとして動作する。図16における各機能ブロックの機能については後述される。
本実施の形態3の遮蔽部108は、空間変調素子103からの回折光を遮蔽及び透過する。遮蔽部108は、図17に示されるように、テンプル部111に設けられた出射窓114(図2)を覆うように、テンプル部111に当接して配置されている。
図18は、空間変調素子103からの回折光の例を示す図である。図18では、照明光学系102(図17)からの照明光102Lが、空間変調素子103に表示された回折パターンによって回折され、0次回折光L0、+1次回折光L1、−1次回折光L2が生成される様子を示している。なお、図18では、次数が2次以上の高次の回折光については図示を省略している。また、0次回折光は、回折パターンにより回折されずに、空間変調素子103により単に反射された光を意味する。
図19は、回折光による仮想画像の表示領域の違いの例を示す図である。図18に示される回折光L0,L1,L2を遮蔽することなしに、反射ミラー104によって反射し、ユーザの目に投影する場合、図19に示されるような表示領域となる。すなわち、図19に示されるように、0次回折光L0を挟み、+1次回折光と−1次回折光とは、それぞれ、ユーザの視野の異なる表示領域AL1,AL2に再生像(仮想画像)を形成する。そのため、ユーザに表示する画像の表示位置によって、使用する回折光の次数を変更することで、広視野の仮想画像の表示を行うことが可能になる。例えば、ユーザの視野の右半分に画像を表示する際には、+1次回折光を利用し、−1次回折光を遮蔽すればよい。
図20(a)、20(b)は、表示に使用する回折光を変更する際の、遮蔽部108の動作の例を示す図である。図20(a)は、−1次回折光を使用する際の例を示す。図20(a)では、遮蔽部108の部分領域1082(図20(a)の白抜き部分)は光を透過し、他の部分領域1081(図20(a)の斜線部分)は光を遮蔽する。図20(a)の部分領域1082は、図19の−1次回折光の表示領域AL2に対応する。
また、図20(b)は、+1次回折光を表示に利用する際の例を示す。図20(b)では、遮蔽部108の部分領域1081(図20(b)の白抜き部分)は光を透過し、他の部分領域1082(図20(b)の斜線部分)は光を遮蔽する。図20(b)の部分領域1081は、図19の+1次回折光の表示領域AL1に対応する。
なお、図19における表示領域AL1及び表示領域AL2は、回折光の次数が異なるだけであり、同じ再生像(仮想画像)を表示する。そこで、図20(a)、20(b)に示される透過及び遮蔽の切替と、ユーザの視野に表示する画像の切替(つまり空間変調素子103に表示する回折パターンの切替)とを同期させることで、表示される仮想画像の視野を広くすることが可能になる。本実施形態において、部分領域1081が第1部分領域の一例に相当し、部分領域1082が第2部分領域の一例に相当し、表示領域AL1が第1表示領域の一例に相当し、表示領域AL2が第2表示領域の一例に相当し、図20(b)に示される遮蔽部108の状態が第1状態の一例に相当し、図20(a)に示される遮蔽部108の状態が第2状態の一例に相当する。
図21は、実施の形態3における動作を示すフローチャートである。本実施の形態3においては、制御部105Cは、図21のステップS1201〜S1206の処理を行うことで、広視野の画像表示を行う。
<ステップS1201>(回折パターン生成)
本ステップS1201では、回折パターン生成部905Cが、画像管理部903から取得した元画像の右半分から回折パターンの生成を行う。
本実施の形態3では、回折パターン生成部905Cは、画像管理部903からユーザに表示する画像を取得し、画像の右半分の各画素に対して0から2πまでのランダムな位相値を加算した後に、逆フーリエ変換を行うことで、画像の右半分に対応する第1部分回折パターンを生成する。
回折パターン生成部905Cは、生成した第1部分回折パターンを表示制御部906に通知する。
<ステップS1202>(透過及び遮蔽)
本ステップS1202では、遮蔽制御部908が、図20(b)に示されるように遮蔽部108の透過領域及び遮蔽領域を制御する。
<ステップS1203>(表示制御)
本ステップS1203では、表示制御部906が、ステップS1201で回折パターン生成部905Cが生成した第1部分回折パターンを空間変調素子103に表示する。
<ステップS1204>(回折パターン生成)
本ステップS1204では、回折パターン生成部905Cが、画像管理部903から取得した元画像の左半分から回折パターンの生成を行う。
本実施の形態3では、回折パターン生成部905Cは、画像管理部903からユーザに表示する画像を取得し、画像の左半分の各画素に対して0から2πまでのランダムな位相値を加算した後に、逆フーリエ変換を行うことで、画像の左半分に対応する第2部分回折パターンを生成する。
回折パターン生成部905Cは、生成した第2部分回折パターンを表示制御部906に通知する。
<ステップS1205>(透過及び遮蔽)
本ステップS1205では、遮蔽制御部908が、図20(a)に示されるように遮蔽部108の透過領域及び遮蔽領域を制御する。
<ステップS1206>(表示制御)
本ステップS1206では、表示制御部906が、ステップS1204で回折パターン生成部905Cが生成した第2部分回折パターンを空間変調素子103に表示する。
上記のステップS1201〜S1206の処理を行うことにより、実施の形態3では、遮蔽部108は、+1次回折光L1と−1次回折光L2とを交互に透過し、+1次回折光L1を透過するときに右半分の再生像(仮想画像)がユーザに表示され、−1次回折光L2を透過するときに左半分の再生像(仮想画像)がユーザに表示される。したがって、本実施の形態3によれば、ユーザに表示する再生像(仮想画像)の表示視野を広くすることが可能になる。
なお、図17では、遮蔽部108は、テンプル部111に当接して配置されているが、この構成に限られない。
図22は、図17の表示装置1Cと異なる構成の表示装置1C1を示す図である。図22の表示装置1C1では、遮蔽部108は、遮蔽部108を保持する保持部109によって、テンプル部111から離れた位置に配置されている。例えば、遮蔽部108は、空間変調素子103と反射ミラー104との中間位置の近傍に配置されている。すなわち、図22の表示装置1C1では、図17の表示装置1Cに比べて、空間変調素子103と遮蔽部108との距離が長くなっている。このような構成をとることで、+1次回折光L1と−1次回折光L2とが十分に分離した位置に遮蔽部108を配置することが可能になる。このため、遮蔽部108によって必要な回折光のみを透過させることがより容易になる。
図23は、図17の表示装置1Cとさらに異なる構成の表示装置1C2を示す図である。図24は、図23の表示装置1C2に設けられた反射ミラー104Cの形状例を示す図である。
図23の表示装置1C2は、図22の表示装置1C1において、反射ミラー104に代えて反射ミラー104Cを備え、さらに、集光レンズ115を備える。集光レンズ115は、テンプル部111に設けられた出射窓114(図2)を塞ぐように、テンプル部111に配置されている。集光レンズ115は、空間変調素子103からの回折光が反射ミラー104Cに入射するまでに、一度、回折光を集光する。また、遮蔽部108は、保持部109によって保持されて、回折光の集光点付近に配置されている。反射ミラー104Cは、集光レンズ115により集光された空間変調素子103からの回折光を使用者の眼球190に向けて反射する。
図23の表示装置1C2では、一度、集光レンズ115によって集光された回折光が、遮蔽部108を通過して、反射ミラー104Cに対して発散光として入射する。ユーザに対して仮想画像の表示を行うためには、回折光を眼球190に対して平行光もしくは収束光として入射させることが望ましい。そのため、図23の表示装置1C2では、反射ミラー104Cは、拡散光を収束させるための光学パワーを有する構成としても良い。
図23の表示装置1C2では、反射ミラー104Cは、図24に示されるように、フレネルレンズで構成されている。なお、反射ミラー104Cに対して光学パワーを持たせる構成は特定の構成に限定する必要はない。例えば、反射ミラー104Cを回折格子や体積ホログラムなどにより構成しても良い。この場合、反射ミラー104Cをより薄型に出来る効果がある。
図25(a)、25(b)は、集光レンズ115を備えた表示装置1C2における空間変調素子103からの回折光を集光させることによる効果を説明する図である。図25(a)は、比較例として、空間変調素子103からの回折光が集光されない構成を示す。図25(b)は、空間変調素子103からの回折光が集光される表示装置1C2の構成を示す。
図25(a)の構成では、空間変調素子103から発生した0次回折光L0および−1次回折光L2は、遮蔽部108の位置では十分に分離されていない。このため、0次回折光L0の一部分が遮蔽部108の部分領域1082を通過している。
これに対して、図25(b)の構成では、空間変調素子103からの回折光が集光レンズ115を通過することで、遮蔽部108の位置で0次回折光L0と1次回折光L2とを分離することができている。このため、0次回折光L0のみを遮蔽部108の部分領域1081により遮蔽することが可能になっている。このような構成を用いることで、仮想画像の表示に不要な光をより適切に遮蔽することが可能になる。
なお、表示装置1C1,1C2は、図22、図23では、遮蔽部108と別に形成された保持部109により遮蔽部108を保持している。しかし、表示装置1C1,1C2は、これに限られない。表示装置1C1,1C2は、例えば保持部を遮蔽部108と一体に構成してもよい。
なお、回折光を遮蔽するための構成については特定の構成に限定する必要はなく、任意の構成を用いて良い。例えば、遮蔽部108を液晶シャッターにより実現しても良い。あるいは、例えば、遮蔽部108を、パネルの表面に干渉縞を形成することで入射光を回折可能に構成され、かつ、電圧印加によって干渉縞の有無を制御可能に構成された液晶パネルにより構成してもよい。これらの場合、可動部を設ける必要がなくなり、耐久性を向上させることが可能になる。
また、光源101から出射される光を特定方向の直線偏光とし、高速に特定方向の光を遮蔽する偏光板と、高速に光の偏光方向を切り替える波長板とにより遮蔽部108を構成して、光の透過及び遮蔽を切り替えるようにしても良い。この場合、使用する回折光を高速に切り替えることが可能になる。また、遮蔽部108を機械的な可動部品により構成し、可動部品を移動させることにより透過及び遮蔽を切り替えるようにしても良い。
なお、本実施の形態3において、回折パターン生成部905Cは、反射ミラー104での収差を補正するための補正パターンを生成してもよい。そして、回折パターン生成部905Cは、第1部分回折パターンと補正パターンとを合成した第1部分合成回折パターンを回折パターンとして生成してもよい。さらに、回折パターン生成部905Cは、第2部分回折パターンと補正パターンとを合成した第2部分合成回折パターンを回折パターンとして生成してもよい。これによって、仮想画像の画質を向上させることができる。
また、この場合、遮蔽部108の部分領域1081を透過する+1次回折光L1と、遮蔽部108の部分領域1082を透過する−1次回折光L2とでは、反射ミラー104に入射する領域が異なる。そこで、回折パターン生成部905Cは、第1部分回折パターンと合成する補正パターン(+1次回折光L1を利用する場合の補正パターン)と、第2部分回折パターンと合成する補正パターン(−1次回折光L2を利用する場合の補正パターン)とを、互いに異なるように生成してもよい。これによって、より適切に、反射ミラー104の収差を補正することができ、仮想画像の画質をさらに向上させることができる。
なお、本実施の形態3においては、遮蔽部108は、回折光の遮蔽及び透過を画像の左右方向についてのみ行っていたが、これに限られない。例えば、遮蔽部108は、画像の上下方向の回折光に対しても同様の制御を行っても良い。この場合、上下方向に関しても表示する仮想画像の視野角を広くすることが可能になる。
図26(a)は、回折光による仮想画像の表示領域の別の例を示す図であり、図26(b)は、遮蔽部の部分領域の別の例を示す図である。
図18に示される回折光L0,L1,L2を遮蔽することなしに、反射ミラー104によって反射し、ユーザの目に投影する場合、図26(a)に示されるような表示領域となる。すなわち、図26(a)に示されるように、0次回折光L0を挟み、+1次回折光と−1次回折光とは、それぞれ、ユーザの視野の異なる表示領域AL1,AL2に再生像(仮想画像)を形成する。さらに、図19では図示を省略していたが、+1次回折光と−1次回折光とは、0次回折光L0を挟んで表示領域AL1,AL2の反対側の表示領域AL10,AL20にも、それぞれ、再生像(仮想画像)を形成する。
そこで、遮蔽部108は、図26(b)に示されるように、表示領域AL10,AL1,AL20,AL2にそれぞれ対応して、部分領域1083,1084,1085,1086の4個の部分領域において、透過及び遮蔽を切り替え可能に構成されている。
図26(a)、26(b)の構成において、回折パターン生成部905Cは、ユーザに表示する元画像の右上の1/4の領域の部分画像から、回折パターン(第1部分回折パターン)を生成する。遮蔽制御部908が、遮蔽部108の部分領域1083を透過領域とし、部分領域1084,1085,1086を遮蔽領域として遮蔽部108を第1状態とするのに同期して、表示制御部906は、回折パターン生成部905Cが生成した第1部分回折パターンを空間変調素子103に表示する。
同様に、回折パターン生成部905Cは、元画像の右下の1/4の領域の部分画像から、回折パターン(第2部分回折パターン)を生成する。遮蔽制御部908が、遮蔽部108の部分領域1084を透過領域とし、部分領域1083,1085,1086を遮蔽領域として遮蔽部108を第2状態とするのに同期して、表示制御部906は、回折パターン生成部905Cが生成した第2部分回折パターンを空間変調素子103に表示する。
同様に、回折パターン生成部905Cは、元画像の左上の1/4の領域の部分画像から、回折パターン(第3部分回折パターン)を生成する。遮蔽制御部908が、遮蔽部108の部分領域1085を透過領域とし、部分領域1083,1084,1086を遮蔽領域として遮蔽部108を第3状態とするのに同期して、表示制御部906は、回折パターン生成部905Cが生成した第3部分回折パターンを空間変調素子103に表示する。
同様に、回折パターン生成部905Cは、元画像の左下の1/4の領域の部分画像から、回折パターン(第4部分回折パターン)を生成する。遮蔽制御部908が、遮蔽部108の部分領域1086を透過領域とし、部分領域1083,1084,1085を遮蔽領域として遮蔽部108を第4状態とするのに同期して、表示制御部906は、回折パターン生成部905Cが生成した第4部分回折パターンを空間変調素子103に表示する。
以上のように、図26(a)、26(b)の構成によれば、生成する回折パターンと、遮蔽部108の状態切り替えとを同期させることによって、左右方向及び上下方向の両方向に、表示する仮想画像の視野角を広くすることが可能になる。
(実施の形態4)
本実施の形態4では、ユーザに表示される仮想画像の位置に応じて、空間変調素子103を照明する照明光の入射角度を変更することにより、視野の広い仮想画像の表示を行うための制御の例を示す。実施の形態4において、実施の形態1と同一または類似の構成に、同一または類似の符号が付されている。
図27は、実施の形態4における表示装置1Dの機能ブロック図である。図28(a)、28(b)、28(c)は、実施の形態4における照明光学系102Dの構成及び動作を示す図である。図29は、実施の形態4における仮想画像の表示領域を示す図である。本実施の形態4における表示装置1Dの構成は、図2に示される実施の形態1と同様であり、実施の形態1と同様の構成要素については、以下での説明が省略される。
表示装置1Dは、図1、図2に示される表示装置1において、照明光学系102に代えて照明光学系102Dを備え、制御部105に代えて制御部105Dを備える。制御部105Dは、CPU11D及びメモリ12Dを含む。CPU11Dは、機能ブロックとして、画像管理部903、回折パターン生成部905D、表示制御部906、偏向制御部909を含む。CPU11Dは、メモリ12Dに保存されているプログラムを実行することによって、上記各機能ブロックとして動作する。図28における各機能ブロックの機能については後述される。
本実施の形態4における照明光学系102Dは、ユーザに表示する仮想画像の位置に応じて、空間変調素子103に対する照明光102Lの入射角度を変更する。
図28(a)、28(b)、28(c)に示されるように、本実施の形態4において、照明光学系102Dは、偏向素子1021及びコリメータレンズ1022を含む。コリメータレンズ1022は、光源101からの光を略平行光へと調節する。偏向素子1021は、コリメータレンズ1022からの略平行な出射光(つまり空間変調素子103を照明する照明光102L)の方向を変更する。
図28(a)の例では、偏向制御部909により、ユーザの視野の右側に光が回折するように、偏向素子1021の動作が制御されている。その結果、図29の表示領域AL11に仮想画像が表示される。また、図28(b)の例では、偏向制御部909により、ユーザの視野の正面に光が回折するように、偏向素子1021の動作が制御されている。その結果、図29の表示領域AL12に仮想画像が表示される。また、図28(c)の例では、偏向制御部909により、ユーザの視野の左側に光が回折するように、偏向素子1021の動作が制御されている。その結果、図29の表示領域AL13に仮想画像が表示される。
本実施形態において、表示領域AL11が第1設定領域の一例に相当し、表示領域AL12が第2設定領域の一例に相当し、図28(a)に示される照明光102Lの方向が第1方向の一例に相当し、図28(b)に示される照明光102Lの方向が第2方向の一例に相当する。
図30は、実施の形態4における動作を示すフローチャートである。本実施の形態4においては、制御部105Dは、図30のステップS1301〜S1309の処理を行うことで、広視野の画像表示を行う。
<ステップS1301>(偏向素子制御)
本ステップS1301では、偏向制御部909は、図28(a)に示されるように、ユーザの視野の右側に光が回折されるように、偏向素子1021を制御する。
<ステップS1302>(回折パターン生成)
本ステップS1302では、回折パターン生成部905Dは、画像管理部903からユーザに表示する画像を取得する。回折パターン生成部905Dは、取得した画像の右側1/3の領域の部分画像の各画素に対して0から2πまでのランダムな位相値を加算した後に、逆フーリエ変換を行うことで、画像の右側1/3の領域に対応する第1設定回折パターンを生成する。
回折パターン生成部905Dは、生成した第1設定回折パターンを表示制御部906に通知する。
<ステップS1303>(表示制御)
本ステップS1303では、表示制御部906は、前ステップS1302で回折パターン生成部905Dが生成した第1設定回折パターンを空間変調素子103に表示する。これによって、図29の表示領域AL11に仮想画像が表示される。
<ステップS1304>(偏向素子制御)
本ステップS1304では、偏向制御部909は、図28(b)に示されるように、ユーザの視野の中央に光が回折されるように、偏向素子1021を制御する。
<ステップS1305>(回折パターン生成)
本ステップS1305では、回折パターン生成部905Dは、ステップS1302で画像管理部903から取得した画像の中央1/3の部分領域の画像の各画素に対して0から2πまでのランダムな位相値を加算した後に、逆フーリエ変換を行うことで、画像の中央1/3の部分領域に対応する第2設定回折パターンを生成する。
回折パターン生成部905Dは、生成した第2設定回折パターンを表示制御部906に通知する。
<ステップS1306>(表示制御)
本ステップS1306では、表示制御部906は、前ステップS1305で回折パターン生成部905Dが生成した第2設定回折パターンを空間変調素子103に表示する。これによって、図29の表示領域AL12に仮想画像が表示される。
<ステップS1307>(偏向素子制御)
本ステップS1307では、偏向制御部909は、図28(c)に示されるように、ユーザの視野の左側に光が回折されるように、偏向素子1021を制御する。
<ステップS1308>(回折パターン生成)
本ステップS1308では、回折パターン生成部905Dは、ステップS1302で画像管理部903から取得した画像の左側1/3の部分領域の画像の各画素に対して0から2πまでのランダムな位相値を加算した後に、逆フーリエ変換を行うことで、画像の左側1/3の部分領域に対応する第3設定回折パターンを生成する。
回折パターン生成部905Dは、生成した第3設定回折パターンを表示制御部906に通知する。
<ステップS1309>(表示制御)
本ステップS1309では、表示制御部906は、前ステップS1308で回折パターン生成部905Dが生成した第3設定回折パターンを空間変調素子103に表示する。これによって、図29の表示領域AL13に仮想画像が表示される。
上記のステップS1301〜S1309の処理を行うことにより、実施の形態4では、偏向素子1021は、空間変調素子103を照明する照明光102Lの方向を切り替え、この切替えに同期して、回折パターン生成部905Dは、回折パターンを生成する元画像の部分領域を切り替えている。
CGHを用いる画像表示では、空間変調素子103が表示可能な干渉縞(つまり空間変調素子103の表面に形成される干渉縞)のピッチが大きい場合、回折角を大きくできないという問題が生じることがある。しかしながら、本実施の形態4では、ユーザが視認する仮想画像の領域に対応して、空間変調素子103に対する照明光102Lの入射方向が変更されている。その結果、実施の形態4によれば、回折角の不足を補い、ユーザに表示する仮想画像の視野角を広くすることが可能になる。
なお、本実施の形態4では、偏向素子1021は、図28(a)、28(b)、28(c)に示されるように、照明光102Lの方向を3種類の方向に切り替えているが、これに限られない。偏向素子1021は、照明光102Lの方向を2種類の方向に切り替えるようにしてもよく、あるいは4種類以上の方向に切り替えるようにしてもよい。
なお、本実施の形態4において、回折パターン生成部905Dは、反射ミラー104での収差を補正するための補正パターンを生成してもよい。そして、回折パターン生成部905Dは、第1設定回折パターンと補正パターンとを合成した第1設定合成回折パターンを回折パターンとして生成してもよい。また、回折パターン生成部905Dは、第2設定回折パターンと補正パターンとを合成した第2設定合成回折パターンを回折パターンとして生成してもよい。さらに、回折パターン生成部905Dは、第3設定回折パターンと補正パターンとを合成した第3設定合成回折パターンを回折パターンとして生成してもよい。これによって、仮想画像の画質を向上させることができる。
また、この場合、図28(a)に示される照明光102Lの方向と、図28(b)に示される照明光102Lの方向と、図28(c)に示される照明光102Lの方向とでは、反射ミラー104に入射する領域が異なる。そこで、回折パターン生成部905Dは、第1設定回折パターンと合成する補正パターン(図28(a)に示される照明光102Lの方向の場合の補正パターン)と、第2設定回折パターンと合成する補正パターン(図28(b)に示される照明光102Lの方向の場合の補正パターン)と、第3設定回折パターンと合成する補正パターン(図28(c)に示される照明光102Lの方向の場合の補正パターン)とを、互いに異なるように生成してもよい。これによって、より適切に、反射ミラー104の収差を補正することができ、仮想画像の画質をさらに向上させることができる。
なお、偏向素子1021は、特定の構成に限定する必要はなく、任意の構成で実現しても良い。例えば、偏向素子1021は、干渉縞を表面に形成することにより入射光を回折可能であって、高速に回折機能の有無を切り替え可能な液晶パネルを用いて実現しても良い。この場合、仮想画像の表示位置を高速に切り替えることができる。このため、ユーザが視認する仮想画像のフレームレートを向上させることが可能になる。
なお、これまでに説明した実施の形態は一例であって、本発明の趣旨を逸脱しない範囲でさまざまな形態を採りうる。例えば上記各実施の形態を組み合わせて実施しても良い。
図31は、上記実施の形態1,3を組み合わせた実施形態の表示装置1Eの機能ブロック図である。表示装置1Eは、図1に示される表示装置1において、制御部105に代えて制御部105Eを備え、さらに遮蔽部108を備える。制御部105Eは、CPU11E及びメモリ12Eを含む。CPU11Eは、機能ブロックとして、視力取得部901、距離決定部902、画像管理部903、領域判定部904、回折パターン生成部905E、表示制御部906、遮蔽制御部908を含む。CPU11Eは、メモリ12Eに保存されているプログラムを実行することによって、上記各機能ブロックとして動作する。
回折パターン生成部905Eは、回折パターン生成部905と回折パターン生成部905Cとを併せた機能を有する。図31の表示装置1Eによれば、表示される仮想画像の視野角を広くし、かつ、特定領域の画質を向上させることができるなど、上記実施の形態1,3を併せた効果を得ることができる。
図32は、上記実施の形態1,3,4を組み合わせた実施形態の表示装置1Fの機能ブロック図である。表示装置1Fは、図1、図2に示される表示装置1において、照明光学系102に代えて偏向素子1021を含む照明光学系102Dを備え、制御部105に代えて制御部105Fを備え、さらに遮蔽部108を備える。制御部105Fは、CPU11F及びメモリ12Fを含む。CPU11Fは、機能ブロックとして、視力取得部901、距離決定部902、画像管理部903、領域判定部904、回折パターン生成部905F、表示制御部906、遮蔽制御部908、偏向制御部909を含む。CPU11Fは、メモリ12Fに保存されているプログラムを実行することによって、上記各機能ブロックとして動作する。
回折パターン生成部905Fは、回折パターン生成部905と回折パターン生成部905Cと回折パターン生成部905Dとを併せた機能を有する。図32の表示装置1Fによれば、表示される仮想画像の視野角をさらに広くし、かつ、特定領域の画質を向上させることができるなど、上記実施の形態1,3,4を併せた効果を得ることができる。
また、図31の実施形態の表示装置1Eにおいて、制御部105EのCPU11Eが、実施の形態2の量子化部907(図12)をさらに備えてもよい。また、図32の実施形態の表示装置1Fにおいて、制御部105FのCPU11Fが、実施の形態2の量子化部907(図12)をさらに備えてもよい。これによって、それぞれ、さらに実施の形態2の効果を得ることができる。
図33は、上記実施の形態3,4を組み合わせた実施形態の表示装置1Gの機能ブロック図である。表示装置1Gは、図1、図2に示される表示装置1において、照明光学系102に代えて偏向素子1021を含む照明光学系102Dを備え、制御部105に代えて制御部105Gを備え、さらに遮蔽部108を備える。制御部105Gは、CPU11G及びメモリ12Gを含む。CPU11Gは、機能ブロックとして、画像管理部903、回折パターン生成部905G、表示制御部906、遮蔽制御部908、偏向制御部909を含む。CPU11Gは、メモリ12Gに保存されているプログラムを実行することによって、上記各機能ブロックとして動作する。
回折パターン生成部905Gは、回折パターン生成部905Cと回折パターン生成部905Dとを併せた機能を有する。図33の表示装置1Gによれば、表示される仮想画像の視野角をさらに広くすることができるなど、上記実施の形態3,4を併せた効果を得ることができる。
本発明にかかる表示装置は、回折パターンを表示することでレーザ光による照明光を回折する空間変調素子を眼球近くに有し、空間変調素子により生成された回折光が使用者の眼球へ至る、HMD等の表示装置として有用である。また、この表示装置は、表示システム、表示方法、表示装置設計方法、等の用途にも応用できる。
101 光源
102,102D 照明光学系
102L 照明光
1021 偏向素子
103,103B 空間変調素子
104 反射ミラー
105,105A〜105G 制御部
107 視線検出部
108 遮蔽部
115 集光レンズ
201 仮想画像
904,904A 領域判定部
905,905B〜905G 回折パターン生成部
907 量子化部
908 遮蔽制御部
909 偏向制御部

Claims (17)

  1. レーザ光を出力する光源と、
    前記レーザ光を照明光として出射する照明光学系と、
    元画像から回折パターンを生成する回折パターン生成部と、
    前記照明光により照明され、前記回折パターンを表示することで前記照明光を回折して回折光を生成し、生成した前記回折光を使用者に視認させることにより前記元画像を仮想画像として前記使用者に表示する空間変調素子と、
    前記回折光の光路上に配置され、第1部分領域及び前記第1部分領域に隣接する第2部分領域を有する遮蔽部と
    を備え、
    前記遮蔽部は、前記第1部分領域が前記回折光を透過する透過領域とされ、かつ前記第2部分領域が前記回折光を遮蔽する遮蔽領域とされる第1状態と、前記第1部分領域が前記遮蔽領域とされ、かつ前記第2部分領域が前記透過領域とされる第2状態とを含む複数の状態に選択的に移行するように構成され、
    前記空間変調素子は、前記遮蔽部が前記第1状態の場合に、前記第1部分領域に対応する第1表示領域に前記仮想画像を表示し、前記遮蔽部が前記第2状態の場合に、前記第2部分領域に対応する第2表示領域に前記仮想画像を表示し、
    前記回折パターン生成部は、前記遮蔽部が前記第1状態の場合に、前記元画像のうち前記第1表示領域に対応する領域の画像から第1部分回折パターンを生成し、前記遮蔽部が前記第2状態の場合に、前記元画像のうち前記第2表示領域に対応する領域の画像から第2部分回折パターンを生成することを特徴とする表示装置。
  2. 前記回折パターン生成部は、
    前記回折パターンを補正する少なくとも1種類の補正パターンを生成し、
    前記生成した補正パターンと前記第1部分回折パターンとが合成された第1部分合成回折パターンを生成し、かつ、
    前記生成した補正パターンと前記第2部分回折パターンとが合成された第2部分合成回折パターンを生成することを特徴とする請求項1に記載の表示装置。
  3. 前記使用者の視力を取得する視力取得部と、
    前記使用者の視力に応じて前記仮想画像の最適再生位置を決定する位置決定部と
    をさらに備え、
    前記回折パターン生成部は、前記仮想画像が前記最適再生位置に表示されるように、前記補正パターンを生成することを特徴とする請求項2に記載の表示装置。
  4. 前記遮蔽部は、前記回折光のうち、+1次回折光が前記第1部分領域に入射し、−1次回折光が前記第2部分領域に入射するように、前記空間変調素子に対して配置されていることを特徴とする請求項1〜3のいずれか1項に記載の表示装置。
  5. 前記回折光を前記使用者に向けて反射する反射ミラーをさらに備え、
    前記遮蔽部は、前記空間変調素子と前記反射ミラーとの中間位置の近傍に配置されていることを特徴とする請求項4に記載の表示装置。
  6. 前記回折光を集光する集光光学系をさらに備え、
    前記遮蔽部は、前記集光光学系により集光された前記回折光の集光位置の近傍に配置されていることを特徴とする請求項4に記載の表示装置。
  7. 前記遮蔽部は、表面に干渉縞を形成することで入射光を回折可能に構成され、かつ、電圧印加によって前記干渉縞の有無を制御可能に構成された液晶パネルを含むことを特徴とする請求項1〜6のいずれか1項に記載の表示装置。
  8. 前記照明光学系は、前記空間変調素子に対する前記照明光の方向を変更する偏向素子を含み、
    前記偏向素子は、前記照明光の方向を、前記仮想画像の表示領域が第1設定領域となる第1方向と、前記仮想画像の表示領域が前記第1設定領域に隣接する第2設定領域となる第2方向とに変更可能に構成され、
    前記回折パターン生成部は、前記照明光の方向が前記第1方向の場合に、前記元画像のうち前記第1設定領域に対応する領域の画像から第1設定回折パターンを生成し、前記照明光の方向が前記第2方向の場合に、前記元画像のうち前記第2設定領域に対応する領域の画像から第2設定回折パターンを生成することを特徴とする請求項1〜7のいずれか1項に記載の表示装置。
  9. 前記回折パターン生成部は、
    前記回折パターンを補正する少なくとも1種類の補正パターンを生成し、
    前記生成した補正パターンと前記第1設定回折パターンとが合成された第1設定合成回折パターンを生成し、かつ、
    前記生成した補正パターンと前記第2設定回折パターンとが合成された第2設定合成回折パターンを生成することを特徴とする請求項8に記載の表示装置。
  10. 前記使用者の視力を取得する視力取得部と、
    前記使用者の視力に応じて前記仮想画像の最適再生位置を決定する位置決定部と
    をさらに備え、
    前記回折パターン生成部は、前記仮想画像が前記最適再生位置に表示されるように、前記補正パターンを生成することを特徴とする請求項9に記載の表示装置。
  11. 前記元画像のうちで特定領域を判定する領域判定部をさらに備え、
    前記回折パターン生成部は、前記元画像における前記特定領域の位置に基づき前記回折パターンを補正する特定補正パターンを生成し、前記生成した特定補正パターンと前記生成した回折パターンとが合成された特定合成回折パターンを生成することを特徴とする請求項1〜10のいずれか1項に記載の表示装置。
  12. 前記使用者の視力を取得する視力取得部と、
    前記使用者の視力に応じて前記仮想画像の最適再生位置を決定する位置決定部と
    をさらに備え、
    前記回折パターン生成部は、前記仮想画像のうちで前記特定領域に対応する領域が前記最適再生位置に表示されるように、前記特定補正パターンを生成することを特徴とする請求項11に記載の表示装置。
  13. 前記回折パターン生成部は、
    前記特定補正パターンを生成するための特定位置を前記仮想画像のうちの前記特定領域に対応する領域が前記最適再生位置に表示されるように決定し、かつ、
    前記特定位置に仮想的に配置された点光源からの球面波が前記空間変調素子に入射した場合の位相から、前記特定補正パターンを生成することを特徴とする請求項12に記載の表示装置。
  14. 前記使用者の視線位置を検出する視線検出部をさらに備え、
    前記領域判定部は、前記使用者の視線位置を含む前記仮想画像の領域に対応する前記元画像の領域を前記特定領域として判定することを特徴とする請求項11〜13のいずれか1項に記載の表示装置。
  15. 前記回折パターンの位相値を量子化する量子化部をさらに備え、
    前記空間変調素子の各画素は、0から2πまでの間の2種類以上の特定位相値を表示可能に構成され、
    前記量子化部は、前記特定領域に対応する前記仮想画像の領域における量子化ノイズが減少するように、前記回折パターンの位相値を前記特定位相値に量子化することを特徴とする請求項11〜14のいずれか1項に記載の表示装置。
  16. 前記量子化部は、量子化により発生する誤差を周囲の画素に拡散する誤差拡散を用いて量子化を行い、かつ、前記特定領域の前記元画像における位置に応じて、周囲の画素に誤差を配分する割合を変更することにより前記特定領域に対応する前記仮想画像の領域における量子化ノイズを低減することを特徴とする請求項15に記載の表示装置。
  17. レーザ光を出力する光源と、
    前記レーザ光を照明光として出射する照明光学系と、
    元画像から回折パターンを生成する回折パターン生成部と、
    前記照明光により照明され、前記回折パターンを表示することで前記照明光を回折して回折光を生成し、生成した前記回折光を使用者に視認させることにより前記元画像を仮想画像として前記使用者に表示する空間変調素子と
    を備え、
    前記照明光学系は、前記空間変調素子に対する前記照明光の方向を変更する偏向素子を含み、
    前記偏向素子は、前記照明光の方向を、前記仮想画像の表示領域が第1設定領域となる第1方向と、前記仮想画像の表示領域が前記第1設定領域に隣接する第2設定領域となる第2方向とに変更可能に構成され、
    前記回折パターン生成部は、前記照明光の方向が前記第1方向の場合に、前記元画像のうち前記第1設定領域に対応する領域の画像から第1設定回折パターンを生成し、前記照明光の方向が前記第2方向の場合に、前記元画像のうち前記第2設定領域に対応する領域の画像から第2設定回折パターンを生成することを特徴とする表示装置。
JP2013077799A 2012-04-10 2013-04-03 計算機ホログラム型表示装置 Expired - Fee Related JP5994715B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013077799A JP5994715B2 (ja) 2012-04-10 2013-04-03 計算機ホログラム型表示装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012088972 2012-04-10
JP2012088972 2012-04-10
JP2013077799A JP5994715B2 (ja) 2012-04-10 2013-04-03 計算機ホログラム型表示装置

Publications (2)

Publication Number Publication Date
JP2013235256A JP2013235256A (ja) 2013-11-21
JP5994715B2 true JP5994715B2 (ja) 2016-09-21

Family

ID=49292096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013077799A Expired - Fee Related JP5994715B2 (ja) 2012-04-10 2013-04-03 計算機ホログラム型表示装置

Country Status (2)

Country Link
US (1) US9244278B2 (ja)
JP (1) JP5994715B2 (ja)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US9274349B2 (en) 2011-04-07 2016-03-01 Digilens Inc. Laser despeckler based on angular diversity
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
WO2013027004A1 (en) 2011-08-24 2013-02-28 Milan Momcilo Popovich Wearable data display
WO2013057923A1 (ja) * 2011-10-20 2013-04-25 パナソニック株式会社 表示装置および表示システム
US20150010265A1 (en) 2012-01-06 2015-01-08 Milan, Momcilo POPOVICH Contact image sensor using switchable bragg gratings
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
GB2515460B (en) * 2013-04-12 2016-01-06 Two Trees Photonics Ltd Near-eye device
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
WO2015015138A1 (en) 2013-07-31 2015-02-05 Milan Momcilo Popovich Method and apparatus for contact image sensing
US10520730B2 (en) * 2013-09-04 2019-12-31 Essilor International Methods and systems for augmented reality
US9507321B2 (en) * 2013-09-17 2016-11-29 City University Of Hong Kong Converting complex holograms to phase holograms
US9541899B2 (en) 2013-11-11 2017-01-10 City University Of Hong Kong Fast generation of pure phase digital holograms
US9823623B2 (en) * 2014-03-27 2017-11-21 City University Of Hong Kong Conversion of complex holograms to phase holograms
DE112015002814B4 (de) 2014-06-13 2022-04-07 Mitsubishi Electric Corporation Anzeigevorrichtung für virtuelle Bilder
KR20250022884A (ko) * 2014-09-09 2025-02-17 루미테라 인코포레이티드 손상된 또는 병든 조직의 비-침습성 처치를 위한 다파장 광선치료 장치, 시스템 및 방법
WO2016042283A1 (en) 2014-09-19 2016-03-24 Milan Momcilo Popovich Method and apparatus for generating input images for holographic waveguide displays
US9773128B2 (en) * 2014-10-16 2017-09-26 City University Of Hong Kong Holographic encryption of multi-dimensional images
EP3245444B1 (en) 2015-01-12 2021-09-08 DigiLens Inc. Environmentally isolated waveguide display
JP6411229B2 (ja) * 2015-01-20 2018-10-24 株式会社Nttドコモ 映像表示装置、映像表示方法、プログラム
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
KR101818810B1 (ko) * 2015-08-18 2018-01-16 전자부품연구원 스마트폰과 연동하는 스테레오스코픽 방식의 홀로그래픽 디스플레이 시스템 및 방법
US9798290B2 (en) 2015-09-25 2017-10-24 City University Of Hong Kong Holographic encryption of multi-dimensional images and decryption of encrypted multi-dimensional images
EP3359999A1 (en) 2015-10-05 2018-08-15 Popovich, Milan Momcilo Waveguide display
EP3433659B1 (en) 2016-03-24 2024-10-23 DigiLens, Inc. Method and apparatus for providing a polarization selective holographic waveguide device
WO2017178781A1 (en) 2016-04-11 2017-10-19 GRANT, Alastair, John Holographic waveguide apparatus for structured light projection
EP3296793B1 (en) * 2016-09-19 2025-05-21 Essilor International Method of determining a correcting optical function to a virtual image
JP6209662B1 (ja) * 2016-10-13 2017-10-04 株式会社Qdレーザ 画像投影装置
EP3548939A4 (en) 2016-12-02 2020-11-25 DigiLens Inc. UNIFORM OUTPUT LIGHTING WAVEGUIDE DEVICE
US20180180883A1 (en) * 2016-12-23 2018-06-28 Raja Singh Tuli Augmented reality eyewear
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
DE102017102704A1 (de) * 2017-02-10 2018-08-16 Visteon Global Technologies, Inc. Anzeigesystem für eine Frontscheibe und Verfahren zum Konfigurieren des Anzeigesystems
JP6960143B2 (ja) * 2017-04-11 2021-11-05 国立研究開発法人情報通信研究機構 ホログラム記録装置及びホログラム製造装置
JP7055286B2 (ja) * 2017-09-20 2022-04-18 天馬微電子有限公司 表示装置
CN111133368B (zh) 2017-09-27 2024-12-13 奇跃公司 具有分离的相位和幅度调制器的近眼3d显示器
US12458411B2 (en) 2017-12-07 2025-11-04 Augmedics Ltd. Spinous process clamp
US12521201B2 (en) 2017-12-07 2026-01-13 Augmedics Ltd. Spinous process clamp
KR20250004154A (ko) 2018-01-08 2025-01-07 디지렌즈 인코포레이티드. 광 도파관의 제조 방법
CN111615655B (zh) 2018-01-08 2023-03-21 迪吉伦斯公司 用于制造波导单元的系统和方法
CN115356905B (zh) 2018-01-08 2025-05-09 迪吉伦斯公司 波导单元格中全息光栅高吞吐量记录的系统和方法
KR102577686B1 (ko) * 2018-03-05 2023-09-14 한국전자통신연구원 홀로그램 생성 방법
CN112041727B (zh) * 2018-04-20 2022-11-04 3M创新有限公司 头戴式耳机和头戴式显示器
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
JP7122673B2 (ja) 2018-06-29 2022-08-22 パナソニックIpマネジメント株式会社 表示器、表示システム、移動体
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
CN109143607B (zh) * 2018-09-17 2020-09-18 深圳奥比中光科技有限公司 补偿显示屏、屏下光学系统及电子设备
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11221486B2 (en) * 2018-12-10 2022-01-11 Auroratech Company AR headsets with improved pinhole mirror arrays
US20200225471A1 (en) 2019-01-14 2020-07-16 Digilens Inc. Holographic Waveguide Display with Light Control Layer
WO2020163524A1 (en) 2019-02-05 2020-08-13 Digilens Inc. Methods for compensating for optical surface nonuniformity
US20220283377A1 (en) 2019-02-15 2022-09-08 Digilens Inc. Wide Angle Waveguide Display
KR20250150160A (ko) 2019-02-15 2025-10-17 디지렌즈 인코포레이티드. 일체형 격자를 이용하여 홀로그래픽 도파관 디스플레이를 제공하기 위한 방법 및 장치
WO2020186113A1 (en) 2019-03-12 2020-09-17 Digilens Inc. Holographic waveguide backlight and related methods of manufacturing
CN114207492A (zh) 2019-06-07 2022-03-18 迪吉伦斯公司 带透射光栅和反射光栅的波导及其生产方法
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US12178666B2 (en) 2019-07-29 2024-12-31 Augmedics Ltd. Fiducial marker
WO2021021926A1 (en) 2019-07-29 2021-02-04 Digilens Inc. Methods and apparatus for multiplying the image resolution and field-of-view of a pixelated display
KR102216174B1 (ko) * 2019-08-09 2021-02-16 연세대학교 산학협력단 디스플레이 장치용 초박막 픽셀 렌즈
WO2021041949A1 (en) 2019-08-29 2021-03-04 Digilens Inc. Evacuating bragg gratings and methods of manufacturing
KR102858244B1 (ko) * 2019-11-18 2025-09-11 한국전자통신연구원 화질 저하없이 이진 위상 홀로그램을 생성하는 이진 위상 홀로그램 생성 장치 및 방법
KR102235646B1 (ko) * 2019-12-12 2021-04-02 서울대학교산학협력단 시력보정 홀로그래픽 디스플레이 시스템
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US12239385B2 (en) 2020-09-09 2025-03-04 Augmedics Ltd. Universal tool adapter
US12502163B2 (en) 2020-09-09 2025-12-23 Augmedics Ltd. Universal tool adapter for image-guided surgery
US12399326B2 (en) 2021-01-07 2025-08-26 Digilens Inc. Grating structures for color waveguides
WO2022187870A1 (en) 2021-03-05 2022-09-09 Digilens Inc. Evacuated periotic structures and methods of manufacturing
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US12150821B2 (en) 2021-07-29 2024-11-26 Augmedics Ltd. Rotating marker and adapter for image-guided surgery
US12475662B2 (en) 2021-08-18 2025-11-18 Augmedics Ltd. Stereoscopic display and digital loupe for augmented-reality near-eye display
JP7623249B2 (ja) * 2021-08-27 2025-01-28 Necプラットフォームズ株式会社 投射装置、投射制御方法、およびプログラム
EP4511809A1 (en) 2022-04-21 2025-02-26 Augmedics Ltd. Systems and methods for medical image visualization
IL319523A (en) 2022-09-13 2025-05-01 Augmedics Ltd Augmented reality glasses for image-guided medical intervention
KR102746960B1 (ko) * 2022-11-25 2024-12-24 원광대학교산학협력단 풀컬러 홀로그램 디스플레이에서의 복원 영상 품질 향상을 위한 감마 보정 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3497594B2 (ja) 1995-03-03 2004-02-16 オリンパス株式会社 画像表示装置
US5771124A (en) * 1996-07-02 1998-06-23 Siliscape Compact display system with two stage magnification and immersed beam splitter
JPH10240108A (ja) * 1997-02-27 1998-09-11 Nippon Telegr & Teleph Corp <Ntt> 計算機ホログラム表示方法および装置
GB0329012D0 (en) 2003-12-15 2004-01-14 Univ Cambridge Tech Hologram viewing device
US9082353B2 (en) * 2010-01-05 2015-07-14 Pixtronix, Inc. Circuits for controlling display apparatus
JP2006301020A (ja) * 2005-04-15 2006-11-02 Ricoh Co Ltd 立体映像表示装置とそれを備えた通話装置ならびに輸送用移動体
CN100578392C (zh) 2005-05-06 2010-01-06 视瑞尔技术公司 三维场景的全息再现装置
JP4905672B2 (ja) * 2005-12-13 2012-03-28 大日本印刷株式会社 画面切替型ホログラム作製方法及びその方法により作製された画面切替型ホログラム
CN102289073B (zh) * 2007-11-21 2014-01-15 松下电器产业株式会社 显示装置
US9406166B2 (en) * 2010-11-08 2016-08-02 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
JP5118266B2 (ja) * 2011-03-25 2013-01-16 パナソニック株式会社 表示装置
JP5737619B2 (ja) * 2011-04-27 2015-06-17 大日本印刷株式会社 投射装置
JP5197883B1 (ja) * 2011-08-31 2013-05-15 パイオニア株式会社 画像表示装置

Also Published As

Publication number Publication date
JP2013235256A (ja) 2013-11-21
US9244278B2 (en) 2016-01-26
US20130265623A1 (en) 2013-10-10

Similar Documents

Publication Publication Date Title
JP5994715B2 (ja) 計算機ホログラム型表示装置
Park et al. Holographic techniques for augmented reality and virtual reality near-eye displays
Maimone et al. Holographic near-eye displays for virtual and augmented reality
US20210055551A1 (en) Dispersion compensation in volume bragg grating-based waveguide display
EP3513254B1 (en) Holographic wide field of view display
US11885967B2 (en) Phase structure on volume Bragg grating-based waveguide display
CN107850780B (zh) 全息近眼显示
US11022799B2 (en) Projector-combiner display with beam replication
US10241328B2 (en) Near-to-eye display device with variable resolution
US11709358B2 (en) Staircase in-coupling for waveguide display
US20180084232A1 (en) Optical See-Through Head Worn Display
US20170299870A1 (en) Apparatus for generating a coherent beam illumination
US11774758B2 (en) Waveguide display with multiple monochromatic projectors
CN113050276B (zh) 衍射图像叠加器、显示设备模组及头戴式显示设备
JP5569198B2 (ja) 立体画像提示方法および提示装置
CN117043658A (zh) 通过波导的眼睛跟踪器照明
WO2016105283A1 (en) Near-to-eye display device with moving light sources
JP6323676B2 (ja) 計算機ホログラムを用いた表示装置
Akşit et al. Holobeam: Paper-thin near-eye displays
JP2016170203A (ja) 画像表示装置
Lee et al. Display Techniques for Augmented Reality and Virtual Reality
KR20140077378A (ko) 홀로그래픽 광학 소자 렌즈를 이용한 헤드 마운트 디스플레이 장치
RU2780511C1 (ru) Устройство дополненной реальности на основе изогнутного волновода, способ работы упомянутого устройства, очки дополненной реальности на основе упомянутого устройства
KIM et al. SUPER MULTI-VIEW NEAR-EYE DISPLAY WITH LED ARRAY AND WAVEGUIDE ILLUMINATION MODULE
WO2025257601A1 (en) Near-eye light field system and wearable device comprising the near-eye light field system

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141006

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20141022

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160808

R151 Written notification of patent or utility model registration

Ref document number: 5994715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees