JP2010113159A - 立体画像表示装置および立体画像表示方法 - Google Patents

Abstract

【課題】使用者が従来の視域よりも立体画像表示装置に近づいて視認しようとした際でも、立体画像を視認することを可能とする立体画像表示装置および立体画像表示方法を提供する。
【解決手段】本発明に係る立体表示装置は、画像表示部１と、光源部２と、光学部材３と、表示制御部１００と、撮像装置２００と、画像認識部３００とを備える。表示制御部１００は、画像表示部１に、光学部材３の開口部３ａに対応する要素画像を、互いに離れた部分画像領域５ａおよび部分画像領域５ｂに表示させる。部分画像領域５ａおよび部分画像領域５ｂを通過した光は、それぞれ、使用者の左眼４ａおよび右眼４ｂを含む領域に投影される。
【選択図】図１

Description

本発明は、立体（三次元）画像を表示するための装置に関する。

従来の立体像記録再生技術としては、光のコヒーレンスを利用したホログラフィと、複数の画像を用いたコヒーレンスを利用しない方法とがよく知られている。

ホログラフィは３次元立体像記録再生法として理想的な方法ではある。しかし、ホログラフィにてフルカラーの３次元立体表示を行なうことは、技術的な困難が多く、また、コストも高いため、実現性が低い。

一方、複数の画像を用いる方法は、完全な立体像を再現できないものの、実現性が高い。複数の画像を用いる方法には、右眼用、左眼用のそれぞれの画像を用いて表示する単純な２眼式や、多視点からの画像を用いた多眼式、光線再生方式等の表示方式がある。

上記の表示方式の中で、２眼式では、視差を利用して画像を立体的に視認させているものの、立体像を完全に再現するものではない。２眼式の代表例である、偏光眼鏡を用いる立体映画やレンチキュラレンズを用いた立体テレビなどでは、見る位置を変えた場合にも映像は変わることはない。

また、多眼式は、見る位置によって見え方の違う多数の画像を多重再生しているので、眼の位置の移動によって見え方が変わり、立体像は２眼式に比べてより自然な見え方に近づく。しかしながら、多眼式では、一定の面内に全視角の像があり、使用者はそのうち２つの視差画像をそれぞれの眼で視認して立体視が可能となる。眼の位置によって見える視差画像が変化することで運動視差が感じられるため、不自然さが緩和されている。ただし、基本的な見え方の原理は２眼式と同様（両眼視差を用いているため）であり、立体像があると感じる位置と眼の焦点がある位置（画像表示部の位置に相当する）が異なるため、不自然さが完全には解消されない。

近年、使用者の感じる不自然さが少なく、また、技術的にも実現性の高い立体表示の有力方式として、光線再生方式による立体画像表示装置の開発が活発に行われている。光線再生方式は光線の強度と方向を再生する方法であり、多眼式における視差画像の視差ピッチを細かくして片方の眼に２つ以上の視差画像が見えるようにした超多眼式や、レンズアレイ素子や視差バリアなどを用いたインテグラルフォトグラフィ方式（ＩＰ方式）、インテグラルビデオグラフィ方式（ＩＶ方式）、インテグラルイメージング方式等のインテグラル方式と呼ばれる表示方法（表示方式）や、インテグラル方式の応用である走査型光線空間取得・再生法等がよく知られている（例えば、特許文献１（特開２００４−２９５０１３号公報）参照）。
特開２００４−２９５０１３号公報

従来の光線再生方式を用いた立体画像表示装置では、画像表示部における要素画像の表示領域が、各開口部から画像表示部に対して略垂直な位置に固定されており、要素画像を表示する領域についても各開口部と同程度の大きさに決まっていたため、上記方式の立体画像表示装置では、立体画像を立体的に視認可能な視域が限られており、特に、使用者が立体画像表示装置に近づいて視認しようとした際、立体画像を視認できないという問題点を有していた。

本発明は、使用者が従来の視域よりも立体画像表示装置に近づいて視認しようとした際でも、立体画像を視認することを可能とする立体画像表示装置および立体画像表示方法を提供することを課題とするものである。

本発明の１つの局面に従うと、立体画像表示装置であって、複数の画素を有する画像表示部と、画素からの光が通過する複数の開口部を有する光学部材とを備え、画像表示部は、光学部材の各開口部に対応する要素画像を表示することで立体画像を表示する立体画像表示装置において、要素画像は、複数の部分要素画像にて構成され、画像表示部は、実効視域角を拡大すべく複数の部分要素画像を表示する。

好ましくは、画像表示部は、他の開口部に対応する要素画像領域を含むべく、要素画像を表示する。

好ましくは、開口部に対応する複数の部分要素画像は、少なくとも２つの部分要素画像からなり、該部分要素画像の間に他の開口部に対応する要素画像の部分要素画像を少なくとも１つ挟んで配置される。

好ましくは、複数の部分要素画像のうち少なくとも１つの部分要素画像から射出された光線は使用者の一方の眼に対して入射し、他の部分要素画像のうち少なくとも１つの部分要素画像から射出された光線は使用者の他方の眼に対して入射する。

さらに好ましくは、開口部の開口ピッチｐが、部分要素画像の幅ｒの略２倍である。
さらに好ましくは、部分画像領域の幅ｒが、使用者の眼間距離をα、使用者と光学部材との間の距離をＬ、光学部材と画像表示部との間の距離をｆ、としたとき、ｒ＜（ｆ×α）／（２×Ｌ）の関係を満たす。

好ましくは、複数の部分要素画像は、少なくとも２つの異なる表示タイミングにて交互に表示される。

好ましくは、１つの部分要素画像の表示領域を構成する画素は、ある開口部に対応する部分要素画像と他の開口部に対応する部分要素画像とを異なる表示タイミングにて交互に表示する。

さらに好ましくは、光源部をさらに備え、該光源部は、複数の部分要素画像の表示タイミングに同期して、部分要素画像の表示領域に応じた指向性を有する光線を射出する。

さらに好ましくは、開口部の開口ピッチｐが、部分要素画像の幅ｒと同程度の大きさである。

好ましくは、使用者の位置を取得する位置取得手段をさらに備え、位置取得手段は、使用者の位置情報を取得すると共に、取得した位置情報に応じて部分要素画像を画像表示部に表示する。

本発明の他の局面に従うと、複数の画素を有する画像表示部と、画素からの光が通過する複数の開口部を有する光学部材とを備え、画像表示部は、光学部材の各開口部に対応する要素画像を表示することで立体画像を表示する立体画像表示装置を用いた立体画像表示方法であって、要素画像を、複数の部分要素画像に分割するステップと、分割した複数の部分要素画像を実行視域が拡大すべく画像表示部に表示するステップとを備える。

本発明によれば、要素画像を複数の部分要素画像から構成し、実効視域角が拡大すべく複数の部分要素画像を表示する。従って、使用者が従来の視域よりも立体画像表示装置に近づいて視認しようとした際でも、立体画像を視認することが可能となる。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部分には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。

［第１の実施の形態］
（１．立体画像表示装置の構成）
本実施の形態に係るＩＰ方式の立体画像表示装置の構成を、図１を参照して説明する。図１は、第１の実施の形態に係る立体画像表示装置の構成を示す図である。本実施の形態に係る立体画像表示装置は、画像表示部１と、光源部２と、光学部材３と、表示制御部１００と、撮像装置２００と、画像認識部３００とを備える。光源部２は画像表示部１の直近に配置され、光学部材３は光源部２に対して、画像表示部１をはさんで立体画像の使用者側に配置される。図１には、使用者の左眼４ａおよび右眼４ｂを示している。

光源部２は、画像表示部１を照明する。本実施の形態の光源部の発光体としては、冷陰極蛍光ランプやＬＥＤ、エレクトロルミネッセンス素子などを用いることができる。光源部の構造は、これらの素子から発する光で直接画像表示部１を照明する「直下型」や、導光板などを介して間接的に照明する「サイドライト型」を用いることができる。画像表示部１は、複数の画素からなり、各画素は、光源部２から照明された光の透過率を制御して、画像を表示する。画像表示部１としては、例えば、液晶パネルを用いることができる。なお、光源部２および画像表示部１のかわりに、各々が光線を出力する複数の光源を画素として備える画像表示部を用いることもできる。

光学部材３は、光源部２が照射し画像表示部１を透過した光線の進行方向を偏向する。光学部材３は、開口部を複数含む。光源２から照射され画像表示部１の画素を透過した光線は各開口部に入射し、入射位置や入射角に従って、それぞれ異なる方向に出射される。すなわち、各開口部は、画像表示部１の各画素が射出する光線を各画素の位置や入射角に応じた方向に出射する。

光学部材３は、上述の機能を実現するものであればよく、光学部材３としては、例えば、ピンホールアレイや、２次元格子の各格子点上にマイクロレンズが配置されたマイクロレンズアレイを用いることができる。また、光学部材３は、２次元格子点上に各レンズが配置されたもののほかに、レンチキュラレンズのように、一軸方向にのみレンズの曲率が形成されているものでもよい。図１では、マイクロレンズアレイあるいはレンチキュラレンズなどのレンズの集合体（レンズアレイ）を光学部材３として用いた場合を示している。マイクロレンズでは、ピンホールと比較して開口率が高いため、表示画像が明るくなる。レンズアレイにおいては、各レンズが、開口部として機能する。

なお、光学部材３がレンズアレイである場合には、各レンズのほぼ焦点距離の位置に画像表示部１の画素の配列面が配置されるように設定される。この場合、画素からの光はレンズから射出する際に、平行光に近い光線となる。

表示制御部１００は画像表示部１に立体画像の要素画像５を表示させ、要素画像５は互いに１画素以上の間隔をもって離れた部分要素画像５ａ，５ｂからなる。それぞれの部分要素画像５ａ、５ｂは、２以上の連続した画素から構成され、それぞれの画素はお互い異なる視差情報に対応した画素値を表示する。表示制御部１００は、画像表示部１を制御する画像制御部１１０と、光源部２を制御する光源制御部１２０とを含む。なお、部分要素画像５ａは使用者の左眼４ａで、部分要素画像５ｂは使用者の右眼４ｂで視認される。

画像制御部１１０は、画像表示部１の各画素を制御し、画像表示部１に要素画像５を表示させる。要素画像５のデータは、表示制御部１００内の記憶装置に格納されているものとする。画像制御部１１０は、光学部材３の形状や配置、あるいは、使用者の位置に応じた要素画像５を画像表示部１に表示させる。画像制御部１１０が画像表示部１に表示させる要素画像５の詳細については後述する。

光源制御部１２０は、画像表示部１に照射する光を制御すべく、光源部２を制御する。光源制御部１２０の動作の詳細については後述する。

表示制御部１００の機能は、例えば、プログラムを実行するＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）によって実現される。あるいは、表示制御部１００の機能は、専用回路などのハードウェアにより実現されてもよい。

撮像装置２００は、使用者の両眼を含む領域の画像を撮影する。撮像装置２００としては、デジタルカメラなどを用いることができる。画像認識部３００は、撮像装置２００が取得した画像を解析し、ユーザの位置に関する情報を取得する。

（２．表示画像）
画像制御部１１０は、画像表示部１の表示面に、複数の要素画像を表示する。各要素画像は、各開口部に対応する要素画像領域７に配置される。つまり、各要素画像は、使用者が、光学部材３のいずれか１つの開口部を通して各要素画像を視認するように配置される。なお、本発明において、要素画像領域７とは、互いに離れた部分要素画像が画像表示部１に占める領域であり、具体的には、要素画像５の部分要素画像５ａの右端から部分要素画像５ｂの左端までの領域を指す。

図１に示すように、部分画像領域５ａを出射した光は、開口を通過し、使用者の左眼４ａを含む領域に到達する。一方、部分画像領域５ｂを出射した光は、図２に示すように、部分画像領域５ａを出射した光と共通の開口を通過し、使用者の右眼４ｂを含む領域に到達する。

部分画像領域５ａおよび部分画像領域５ｂの画素群の幅ｒは、画素群の光が開口を通して視認位置に投影された投影像が、使用者の眼位置を含むように、設定される。さらに、幅ｒは、使用者の眼間距離をαとするとき、投影像の幅がα／２以下となるように、使用者、光学部材３、および、画像表示部１の位置関係に基づいて、設定されているものとする。幅ｒの値は、予め設定されていてもよいし、画像制御部１１０が、使用者、光学部材３、および、画像表示部１の位置関係に基づいて、算出してもよい。また、表示する画像は静止画像だけでなく、動画像（映像）でもよい。

図５は、従来のＩＰ方式の立体画像表示装置において、要素画像９と一つの開口部から射出される光線の関係を表したものである。画像表示部１上の太線枠で囲われた部分が一つの開口部に対応する要素画像となり、要素画像９の幅はほぼ開口部の幅と一致する。

従来のＩＰ方式の立体画像表示装置では、要素画像９内の画素数に相当する光線が、各開口部から放射されているとみなすことができる。立体視は、放射されるいずれかの光線が視認できる範囲で可能になり、この領域を視域、光線の放射角度を視域角と呼ぶこととする。図５において、破線Ａを光線の広がり幅と使用者の眼の間隔が同じになる位置とすると、光線が放射されている領域のうち、破線Ａよりも立体画像表示装置から離れた領域が視域となる。破線Ａよりも近づいた場合には、片眼が視域からはずれてしまうため、立体視ができなくなる。通常のＩＰ方式の場合、視域および視域角は、要素画像９の幅（開口部のピッチ）、画像表示部１と光学部材３の間隔といった光学パラメータに依存する。

これに対し、本実施の形態にかかる技術を用いれば、図６に示す通り、使用者が破線Ａを超えて立体画像表示装置に近づいた場合でも、左眼４ａ、右眼４ｂのそれぞれに対応する適切な部分要素画像５ａ，５ｂが実効視域を拡大すべく、他の開口部に対する部分要素画像を含むように表示され、部分要素画像５ａ，５ｂを透過した光線が視認されるため、立体視が可能になる。図６では、図５と同様の画像表示部、光源部、光学部材を用いており、図６で示す破線Ａは通常のＩＰ方式と同様な方法で算出される視域の境界であり、図５の破線Ａと同じ位置である。角９ａは左眼の視域角、角９ｂは右眼の視域角を表し、その角度は、各部分要素画像の幅が狭くなったのに伴って、通常のＩＰ方式よりも狭くなっているが、使用者が実際に感じる視域角（実効視域角）は角１０であり、この角度は従来のＩＰ方式の視域角よりも広くなる。

このように、本実施の形態における立体画像表示装置は、従来のＩＰ方式よりも、より立体画像表示装置に近い位置での視認が可能となり、従来より前方に近づく場合にでも、立体視が可能となる。さらに、従来の要素画像の表示方法と併用した場合、広い範囲で立体視が可能となる。

（３．開口ピッチ）
次に、光学部材３の開口ピッチｐについて、図１、図２、図３、図４を用いて説明する。

まず、本実施の形態に係る立体画像表示装置においては、光学部材３の開口ピッチｐは、部分画像領域５ａおよび部分画像領域５ｂを含む表示面上の領域の幅である要素画像領域７の幅Ｄを越えないように設定されるものとする。

さらに、開口ピッチｐは、光学部材３上の、ある開口部に対応して表示された左眼用画像が別の開口部を通して右眼で視認される状況（クロストーク）を避けるように設定しなければならない。クロストークが生じると、表示対象となる物体の正確な光線情報と誤った光線情報が同時に片眼に入射されることになり、正確に立体視することができないためである。

このクロストークを避けるために開口ピッチｐが満たすべき関係式は、ある開口を通る（左眼用の）部分画像領域の画像と、別の開口を通る（右眼用の）部分画像領域の画像とが、画像表示部１の画素の配列面上で重ならないという条件から得られる。以下、この条件にしたがって開口ピッチｐが満たすべき条件式を、図３および図４を参照して導出する。

図３は、クロストークが生じない場合の光線の進行方向を示す図である。図３には、開口３ａを通して左眼４ａで視認される光線と、開口３ａからｎピッチ分離れた開口３ｂを通して右眼４ｂで視認される光線と、開口３ｂと同じ方向に開口３ａからｎ−１ピッチ分離れた開口３ｃを通して右眼４ｂで視認される光線とを示している。

図４は、クロストークが生じない場合の部分画像領域を示す図である。図４に示すように、光学部材３の開口３ａを通して左眼４ａで視認される部分画像領域６ａの中心の座標をｇ０とする。ただし、ここで、座標の原点は、開口３ａの中心にとる。このときｇ０は幾何学的な関係から、下の式（１）のように表される。ここで、ｆ、Ｒ、α、Ｌは、図３に示すパラメータである。すなわち、ｆは、画像表示部１と光学部材３との間の距離である。Ｒは、開口３ａの中心と、左眼４ａと右眼４ｂの中心を通り、画素の配列面に直交する直線との間の距離である。αは、左眼４ａと右眼４ｂとの間の距離である。Ｌは、光学部材３から使用者までの距離（視認距離）である。
ｇ０＝ｆ×（Ｒ＋α／２）／Ｌ （１）
開口３ｂを通して右眼４ｂで視認される部分画像領域６ｂと、開口３ｃを通して右眼４ｂで視認される部分画像領域６ｃとは、左眼用の部分画像領域６ａをはさんで配置される。部分画像領域６ｂの中心位置をｇ１、部分画像領域６ｃの中心位置をｇ２とすると、ｇ１とｇ２はそれぞれ次のように表される。
ｇ１＝ｆ×（Ｒ＋ｎ×ｐ−α／２）／Ｌ＋ｎ×ｐ （２）
ｇ２＝ｆ×（Ｒ＋（ｎ−１）×ｐ−α／２）／Ｌ＋（ｎ−１）×ｐ （３）
これらの部分画像領域が重ならないためには、ｇ０とｇ１、ｇ０とｇ２が、それぞれ部分画像領域の幅だけ離れていればよい。今、各部分画像領域の幅が等しいとして、その幅をｒとすると、下記の条件（４）および（５）が満たされなければならない。
ｇ０＋ｒ＝ｇ１ （４）
ｇ０−ｒ＝ｇ２ （５）
条件（４）および（５）に、式（１）〜（３）を代入して整理すると、次の関係式が得られる。
２×ｒ＝（ｆ／Ｌ＋１）×ｐ （６）
光学部材３と画像表示部１間の距離ｆに対して、視認距離Ｌの値が十分大きければ、（ｆ／Ｌ＋１）〜１とみなすことができ、式（６）から次の関係式が得られる。
ｐ＝２×ｒ （Ａ）
この式（Ａ）から、少なくとも、一つの開口に対応した要素画像に含まれる２つの部分画像領域のトータルの幅と、開口ピッチの幅とを一致させれば、クロストークを避けられることがわかる。つまり、本実施の形態では、開口ピッチｐを、最小で２ｒにまで設定することができる。解像度の向上のためには開口ピッチｐを２ｒに設定することが好ましい。

一方、視域を確保するためには、部分画像領域の幅ｒをなるべく大きくすることが好ましい。ただし、幅ｒには、以下に説明するとおり、上限値が存在する。

本実施の形態の立体画像表示装置においては、使用者の位置に投影される部分要素画像の投影幅Ｗは、使用者の左眼４ａと右眼４ｂとの間隔αに対して、次の関係を満たすように設定されなければならない。
α／２＞Ｗ （７）
この部分画像領域の投影幅Ｗは、Ｌ、ｒ、ｆを用いて、幾何的な関係から、次の式で表される。
Ｗ＝（Ｌ×ｒ）／ｆ （８）
式（７）および（８）から、画像表示部１の表示面上での一つの部分画像領域の幅ｒは、視認条件のパラメータで表わされた次の関係式を満たす必要があることが分かる。
ｒ＜（ｆ×α）／（２×Ｌ） （Ｂ）
したがって、式（Ａ）と式（Ｂ）から、本実施の形態に係る立体画像表示装置における光学部材３の開口ピッチｐは、次の関係式を満たすことが、解像度と視域の両立のために最も好ましいことが分かる。
ｐ＝（ｆ×α）／Ｌ （Ｃ）
ところで、通常のＩＰ方式の立体画像表示装置においては、一つの開口に対応する要素画像の領域の幅は、少なくとも、要素画像の投影像が使用者の眼間距離を含むように設定される。そして、開口ピッチの幅は、要素画像の幅と一致するように設定される。したがって、通常のＩＰ方式の開口ピッチＰｕは以下のような条件を満たさなければならない。
Ｐｕ＞（ｆ×α）／Ｌ （Ｄ）
従来のＩＰ方式の立体画像表示装置は、画像表示装置を介して放射される光線が少なくとも両眼を含むよう要素画像を生成しており、立体画像を両眼で視認する必要があるため、少なくとも両眼を含むような視域を確保できるように開口ピッチを設定する必要がある。よって、一定の視域（立体視が可能な範囲）を保つためには、表示画像の解像度を高くすることができないという問題があった。これに対し、本実施の形態におけるＩＰ方式の立体画像表示装置では、１つの開口に対応する要素画像を左眼用と右眼用の２つの部分要素画像に分割して表示しており、複数の光線群のうち、片眼位置のみに対応する光線群を切り取るように各開口を設定すればよい。そのため、通常のＩＰ方式の立体画像表示装置よりも開口ピッチを小さくすることができる。したがって、本実施の形態における立体画像表示装置は、ＩＰ方式の立体画像表示装置において開口ピッチに依存する解像度の向上を図ることができる。また、本実施の立体画像表示装置を用いれば、余分なパネルや特別な素子などを用いることなく、簡易な装置構成で、視域を確保しつつ解像度の向上を実現することができる。

（４．画像の移動）
本実施の形態に係る立体画像表示装置は、使用者の位置に応じて、画像表示部１に表示させる画像を変更することができる。例えば、図７に示すように、使用者が移動することによって、左眼４ａの位置が、左眼４ａ’の位置へと変化した場合、画像制御部１１０は、左眼用の部分画像領域５ａを、部分画像領域５ａ’へと変化させる。画像制御部１１０は、左眼用の部分画像領域についても、同様に、位置を変化させる。したがって、使用者は、視認位置を移動しても立体視が可能になる。

この画像の変更は、例えば、以下のように実現される。まず、撮像装置２００が、使用者の顔部を撮影する。画像認識部３００は、撮像装置２００が得た画像から眼位置情報を抽出する。画像制御部１１０は、画像認識部３００が取得した情報をもとに、画像表示部１に、表示画像を作成させる。なお、ここで説明した使用者の位置に応じた表示画像の修正処理は、一定の時間間隔で行なわれるものとする。立体画像表示装置は、表示画像の修正処理を定期的に行なうことで、使用者に常に適切な立体画像を提示することができる。ただし、立体画像表示装置は、外部からの指示の受け付け時などに、表示画像の修正処理を行なってもよい。

また、図８に示すように、画像の変更は使用者の奥行き方向の移動に対しても行われる。立体表示装置に対して、奥行き方向にどの位置にいるかという情報を得るために、撮像装置２００として、ステレオカメラなどの３次元計測装置を用いることができる。また、人間の両眼の間隔が一般的に６５ｍｍ程度であることを利用すれば、単眼のカメラなどを用いた簡単な構成の装置でも奥行き距離は算出できる。

なお、本実施の形態では、撮像装置２００および画像認識部３００を用いて使用者の位置情報を取得するものとしたが、他の方法で使用者の位置情報を取得してもよい。例えば、撮像装置２００および画像認識部３００のかわりに使用者が装着する位置センサを用いてもよい。

使用者の位置に合わせて、要素画像の表示方式を通常のＩＰ方式のように、連続した画素領域にしたり、本実施の形態のように、複数の要素画像から形成するように変更したりすることができる。使用者の位置によって適切な表示方式を選択することによって、従来の立体画像表示装置の立体視をするために必要な最低の距離よりも近づいて立体視が可能になる。

（５．処理の流れ）
本実施の形態に係る立体画像表示装置が行なう処理の流れについて、図９を参照して説明する。図９は、第１の実施の形態に係る立体画像表示装置が行なう処理の流れをフローチャート形式で示す図である。

ステップＳ１０１において、撮像装置２００は、使用者を撮影する。特に、撮像装置２００は、使用者の両眼を含む領域を撮影する。なお、ここで、「使用者の両眼を含む領域」とは、使用者が立体像を視認する場合に、使用者の両眼が存在すると想定される領域であり、予め設定されているものとする。あるいは、立体画像表示装置の利用者が、撮影領域をキャリブレーションできてもよい。

ステップＳ１０３において、画像認識部３００は、ステップＳ１０１において撮像装置２００が取得した画像から、使用者の位置を特定するための情報を取得する。本実施の形態においては、画像認識部３００は、画像から眼の位置を抽出する。眼の位置の抽出には、公知の画像処理技術を用いることができる。ただし、画像認識部３００は、眼の位置に限られず、顔の輪郭など使用者の位置を特定する情報を取得してもよい。

ステップＳ１０５において、画像制御部１１０は、画像認識部３００が取得した使用者の位置の情報に基づいた表示画像が表示されるように、画像表示部１の各画素の状態を制御する。画像制御部１１０は、表示画像を、使用者の位置および光学系のパラメータに基づいて計算する。あるいは、画像制御部１１０は、使用者の位置と表示画像との対応を表わすテーブルを格納しておき、使用者の位置情報およびテーブルに基づいて、表示画像を決定してもよい。

ステップＳ１０７において、光源制御部１２０は、光源部２を制御し、画像表示部１に向けて光を出力させる。

（６．その他）
１つの部分画像領域に含まれる光線の本数は、使用者が１つの部分画像領域から一度に２本以上の光線を認識できるように設定されていることが望ましい。このような条件にすることで、片眼の焦点調節機能が働くため、より自然な立体感が得られる。通常のＩＰ方式の表示装置では、立体画像の解像度が低く、この条件を満たしていたとしても、画像の荒さが気になるため、滑らかで自然な立体感を感じにくいという問題がある。本実施の形態では、解像度が十分高いため、より自然な立体視を実現することができる。

また、光学部材３として、レンチキュラレンズを用いる場合には、画像表示部１のＲＧＢ画素の組をレンチキュラレンズのレンズ軸に沿った方向（便宜的に垂直方向とよぶ）に並べて配置することが好ましい。このことで、垂直方向に直交する方向（水平方向）の解像度をより高くすることができる。

画像表示部１のＲＧＢの各画素が、図１０（ａ）に示すように、縦ストライプ型の配置をとっている場合、つまり、同色の画素が垂直方向に沿って配置されている場合は、画像表示部１は、図１０（ａ）の点線部分で囲まれた３つの画素要素を一つの絵素とみなして画像を表示することになる。この場合には、レンチキュラレンズの各レンズも、絵素にあわせて傾斜して配置する必要がある。しかし、図１０（ｂ）のようなＲＧＢの配列を用いれば、傾斜のないレンチキュラレンズを用いることができる。

［第２の実施の形態］
次に、本願発明の第２の実施の形態について図１１および図１２を参照して説明する。第２の実施の形態に係る立体画像表示装置は、第１の実施の形態と同じく、複数の画素を有する画像表示部１と、画像表示部１を照明する光源部２と、光学部材３と、表示制御部１００とを備える。画像表示部１、光源部２、および、光学部材３の配置関係についても、第１の実施の形態と同様である。また、第１の実施の形態と同様、立体画像表示装置は、撮像装置２００および画像認識部３００を備える。

第２の実施の形態は、光源部２の構成において、第１の実施の形態と異なる。第２の実施の形態に係る光源部２から射出される光の強度分布には指向性がある。この指向性を実現するために、光源部２は、例えば図１１、図１２に示すように画像表示部１の面積に対して小さい面積の光源２ｂおよび光源２ｃと、レンズ２ａとによって構成される。図１１および図１２に示すように２つの光源を備える光源部２は、２方向に光を射出できる。

各光源は、各光源から射出された光が、レンズ２ａを通過後、片眼のみを含む領域に照射されるように配置される。本実施の形態では、図１１に示すように、光源２ｂからの光は、左眼４ａを含み、右眼４ｂを含まない領域に照射される。一方、図１２に示すように、光源２ｃからの光は、右眼４ｂを含み、左眼４ａを含まない領域に照射される。

本実施の形態に係る立体画像表示装置は、時刻ｔとそれに対して遅れた時刻ｔ＋ｎで交互に、左眼用の画像と右眼用の画像とを表示する。つまり、本実施の形態に係る立体画像表示装置における画像制御部１１０は、画像表示部１に、右眼用画像と左眼用画像とを時間的に交互に表示させる。また、光源制御部１２０は、この画像の切り替えに同期して、指向性が異なる強度分布を持つ照明光を画像表示部１に照射する。

画像および照明光の切り替えについて、再び、図１１および図１２を参照して、より具体的に説明する。図１１は時刻ｔにおける画像表示部１の状態を示す図である。このとき、画像表示部１に表示される画像は、すべて左眼用画像である。また、左眼だけを照明するための一つの光源２ｂが点灯される。一方、図１２は時刻ｔ＋ｎにおける画像表示部１の状態を示す図である。画像表示部１に表示される画像は、すべて右眼用画像である。また、右眼だけを照明するためのもう一つの光源２ｃが点灯される。なお、図１１および図１２を参照して分かるように、一つの開口部３ａを通して使用者が視認する左眼用の部分画像領域５ａおよび右眼用の部分画像領域５ｂは、画像表示部１の表示面上で異なる位置に表示される。

このような画像および照明光の切り替えにより、本実施の形態では、光学部材３の開口ピッチｐを、最小で、各部分画像領域の幅ｒと同じに設定することができる。開口ピッチｐを、少なくとも部分画像領域の幅の２倍にする必要がある第１の実施の形態よりも、さらに高い解像度の立体画像表示装置を実現することができる。以下、光学部材３の開口ピッチｐをｒにできる理由について説明する。

第１の実施の形態の光源部２を用いた場合、光学部材３の開口ピッチｐを、部分画像領域の幅ｒの２倍以下に設定すると、クロストークが生じる。つまり、使用者は、光学部材３上の１つの開口Ａに対応して表示された左眼用画像を、開口Ａとは異なる開口Ｂを通して右眼でも視認してしまう。この場合、表示対象となる物体の正確な光線情報と誤った光線情報が片眼に入射されることになり、使用者は、正確に立体視することができない。

本実施の形態では、左眼用および右眼用の画像表示と点灯を交互に繰り返すため、片眼には、片眼用の画像が入射するか、画像表示部１からの画像は何も入射しないかのいずれかである。よって、クロストークのない立体視を実現するための条件は、隣り合う開口を通して片眼に入射する画像に対応する部分画像領域が、画像表示部１の画素の配列面上で重ならないことである。この条件は、式（２）（３）に示したｇ１とｇ２が、ｇ１−ｇ２＝ｒを満たすことと言い換えられる。したがって、ｐ＝ｒという条件が得られる。

本実施の形態に係る立体画像表示装置が行なう処理の流れについて、図１３を参照して説明する。図１３は、第２の実施の形態に係る立体画像表示装置が行なう処理の流れをフローチャート形式で示す図である。

ステップＳ２０１において、撮像装置２００は、使用者を撮影する。特に、撮像装置２００は、使用者の両眼を含む領域を撮影する。なお、ここで、「使用者の両眼を含む領域」とは、使用者が立体像を視認する場合に、使用者の両眼が存在すると想定される領域であり、予め設定されているものとする。あるいは、立体画像表示装置の利用者が、撮影領域をキャリブレーションできてもよい。

ステップＳ２０３において、画像認識部３００は、ステップＳ２０１において撮像装置２００が取得した画像から、使用者の位置を特定するための情報を取得する。本実施の形態においては、画像認識部３００は、画像から眼の位置を抽出する。眼の位置の抽出には、公知の画像処理技術を用いることができる。ただし、画像認識部３００は、眼の位置に限られず、顔の輪郭など使用者の位置を特定する情報を取得してもよい。

ステップＳ２０５において、画像制御部１１０は、画像認識部３００が取得した使用者の位置の情報に対応した左眼用の表示画像が表示されるように、画像表示部１の各画素の状態を制御する。画像制御部１１０は、表示画像を、使用者の位置および光学系のパラメータに基づいて計算する。あるいは、画像制御部１１０は、使用者の位置と表示画像との対応を表わすテーブルを格納しておき、使用者の位置情報およびテーブルに基づいて、表示画像を決定してもよい。

ステップＳ２０７において、光源制御部１２０は、光源部２を制御し、画像表示部１に向けて左眼用画像を表示するための光を出力させる。つまり、光源制御部１２０は、光源２ｂを点灯する。光源２ｃが点灯されている場合には、光源制御部１２０は、光源２ｃを消灯する。

ステップＳ２０９において、画像制御部１１０は、画像認識部３００が取得した使用者の位置の情報に対応した右眼用の表示画像が表示されるように、画像表示部１の各画素の状態を制御する。

ステップＳ２１１において、光源制御部１２０は、光源部２を制御し、画像表示部１に向けて右眼用画像を表示するための光を出力させる。つまり、光源制御部１２０は、光源２ｂを消灯し、光源２ｃを点灯する。

なお、立体画像表示装置は、表示すべき画像が残っている場合には、ステップＳ２１１のあと、ステップＳ２０１からの処理を繰り返す。ただし、立体画像表示装置は、ステップＳ２０１およびステップＳ２０３の処理については、画像の表示および光源の制御とは独立のタイミングで行なってもよい。また、立体画像表示装置は、ステップＳ２０５、ステップＳ２０７の処理の前に、ステップＳ２０９、ステップＳ２１１の処理を行なってもよい。

本実施の形態に係る立体表示装置では、要素画像を２つに分割することに加え、左眼用画像と右眼用画像の時分割表示を行なうことで、第１の実施の形態に比べ、１つの開口に対する要素画像の領域をさらに広くすることができる。したがって、立体表示装置において、光学部材３の開口ピッチを狭くしたとしても、立体視が可能になり、像の解像度が飛躍的に向上する。

なお、表示制御部１００は、右眼用画像と左眼用画像の切り替えを高速に切り替える、すなわち、時間ｎを十分に短くすることが好ましい。こうすることで、使用者は、右眼用画像と左眼用画像とを、それらの表示されるタイミングのずれを意識せずに、認識できる。

また、本実施の形態においても、図１０に示すような画素配列を採用することにより、第１の実施の形態と同様の効果を得ることができる。さらに、部分画像領域からの光線のうち、２本以上の光線が片眼に入るように設定することで、より自然な立体視が実現できることも、第１の実施の形態の場合と同様である。

［その他］
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

第１の実施の形態に係る立体画像表示装置の構成を示す図である。 部分画像領域５ｂを出射した光について説明するための図である。 クロストークが生じない場合の光線の進行方向を示す図である。 クロストークが生じない場合の部分画像領域を示す図である。 従来のＩＰ方式の立体画像表示装置における、要素画像と一つの開口部から射出される光線との関係を説明するための図である 本実施の形態に係る立体画像表示装置における、要素画像と一つの開口部から射出される光線との関係を説明するための図である。 表示画像の移動について説明するための図である。 使用者の奥行き方向の移動にともなう表示画像の変更について説明するための図である。 第１の実施の形態に係る立体画像表示装置が行なう処理の流れをフローチャート形式で示す図である。 ＲＧＢの配列を示す図である。 時刻ｔにおける画像表示部１の状態を示す図である。 時刻ｔ＋ｎにおける画像表示部１の状態を示す図である。 第２の実施の形態に係る立体画像表示装置が行なう処理の流れをフローチャート形式で示す図である。

符号の説明

１ 画像表示部、２ 光源部、２ａ レンズ、２ｂ 光源、２ｃ 光源、３ 光学部材、３ａ 開口部、４ａ 左眼、４ｂ 右眼、５ａ，５ｂ 部分画像領域、６ａ，６ｂ，６ｃ 部分画像領域、７ 要素画像領域、１１ 画像表示装置、１３ 光学部材、１４ 使用者、１５ 要素画像、１６ 対象物体、１８，１９ 立体画像表示装置、２１ａ，２１ｂ 画像表示装置、２２ａ，２２ｂ レンズアレイ素子、２３ ハーフミラー、２４ 使用者、１００ 表示制御部、１１０ 画像制御部、１２０ 光源制御部、２００ 撮像装置、３００ 画像認識部。

Claims (12)

1. 複数の画素を有する画像表示部と、
   前記画素からの光が通過する複数の開口部を有する光学部材とを備え、
   前記画像表示部は、前記光学部材の各前記開口部に対応する要素画像を表示することで立体画像を表示する立体画像表示装置において、
   前記要素画像は、複数の部分要素画像にて構成され、
   前記画像表示部は、実効視域角を拡大すべく前記複数の部分要素画像を表示することを特徴とする立体画像表示装置。
2. 前記画像表示部は、他の開口部に対応する要素画像領域を含むべく、前記要素画像を表示することを特徴とする請求項１に記載の立体画像表示装置。
3. 前記開口部に対応する前記複数の部分要素画像は、少なくとも２つの部分要素画像からなり、該部分要素画像の間に他の開口部に対応する要素画像の部分要素画像を少なくとも１つ挟んで配置されることを特徴とする請求項１または２に記載の立体画像表示装置。
4. 前記複数の部分要素画像のうち少なくとも１つの部分要素画像から射出された光線は使用者の一方の眼に対して入射し、他の部分要素画像のうち少なくとも１つの部分要素画像から射出された光線は使用者の他方の眼に対して入射することを特徴とする請求項１から請求項３のいずれか一つに記載の立体画像表示装置。
5. 前記開口部の開口ピッチｐが、前記部分要素画像の幅ｒの略２倍であることを特徴とする請求項４に記載の立体画像表示装置。
6. 前記部分画像領域の幅ｒが、前記使用者の眼間距離をα、前記使用者と前記光学部材との間の距離をＬ、前記光学部材と前記画像表示部との間の距離をｆ、としたとき、ｒ＜（ｆ×α）／（２×Ｌ）の関係を満たすことを特徴とする請求項５に記載の立体画像表示装置。
7. 前記複数の部分要素画像は、少なくとも２つの異なる表示タイミングにて交互に表示されることを特徴とする請求項１から請求項４のいずれか一つに記載の立体画像表示装置。
8. １つの前記部分要素画像の表示領域を構成する画素は、ある開口部に対応する部分要素画像と他の開口部に対応する部分要素画像とを異なる表示タイミングにて交互に表示することを特徴とする請求項１から請求項４のいずれか一つに記載の立体画像表示装置。
9. 光源部をさらに備え、
   該光源部は、前記複数の部分要素画像の表示タイミングに同期して、前記部分要素画像の表示領域に応じた指向性を有する光線を射出することを特徴とする請求項７または請求項８に記載の立体画像表示装置。
10. 前記開口部の開口ピッチｐが、前記部分要素画像の幅ｒと同程度の大きさであることを特徴とする請求項９に記載の立体画像表示装置。
11. 使用者の位置を取得する位置取得手段をさらに備え、
    前記位置取得手段は、前記使用者の位置情報を取得すると共に、
    取得した前記位置情報に応じて前記部分要素画像を前記画像表示部に表示することを特徴とする請求項１から請求項１０のいずれか一つに記載の立体画像表示装置。
12. 複数の画素を有する画像表示部と、前記画素からの光が通過する複数の開口部を有する光学部材とを備え、前記画像表示部は、前記光学部材の各前記開口部に対応する要素画像を表示することで立体画像を表示する立体画像表示装置を用いた立体画像表示方法であって、
    前記要素画像を、複数の部分要素画像に分割するステップと、
    分割した前記複数の部分要素画像を実行視域が拡大すべく前記画像表示部に表示するステップとを備えることを特徴とする立体画像表示方法。

Images