JP2007017558A - 立体画像表示装置および立体画像表示方法 - Google Patents

Abstract

【課題】 隠蔽関係や光沢面の表現を可能にし、また輻輳調節矛盾を解消する立体画像を表示する方法および装置を提供する。
【解決手段】 観察者の右目用の画像と左目用の画像とを表示する２次元表示手段と、右（あるいは左）目が右目（あるいは左目）用の画像を見易くする画像選択手段と、右目用の画像と左目用の画像とを透過し、前記の右目用の画像と左目用の画像にそれぞれの画像の奥行き画像を重ねて表示する３次元表示手段と、を備え、上記の２次元表示装置と３次元表示装置とを同期して表示させることにより、観察者から見た立体画像を表示する。また、上記の３次元表示手段には、画像のエッジ部を表示する。３次元表示手段は、光を透過する２次元表示手段を積層して奥行きを持たせた表示手段であってもよい。
【選択図】 図１

Description

この発明は、本発明は、電子表示装置に立体画像を表示するもので、隠蔽関係や光沢面の表現が可能で、輻輳と焦点調節との間に生理的矛盾が生じない立体画像表示装置および立体画像表示方法に関している。

人間が奥行きを知覚する主な生理的手がかりとして、空間上のある点を凝視した際における、目線の向き(輻輳：近くのものを見るときに寄り目になる動き)、左右の目に映る像のずれの量(両眼視差)、水晶体の厚さ(焦点距離)の３つが挙げられる。メガネを使用する方式の立体ディスプレイでは、偏光フィルタや液晶シャッターなどを用いて左右の目それぞれに異なる画像を入力することにより、両眼視差と輻輳角の提示を実現している。しかし、これらの立体表示方式では、輻輳と焦点調節との間に生理的矛盾が生じるという問題があり、それらが立体視特有の酔いや目の疲労の原因となっている。

この問題を解決する方法として、いくつかの手法が提案されている。一つは光線再現法である。最も有名な光線再現法はホログラム写真であるが、処理すべき情報が膨大であるため、電子ディスプレイでこれを実現するのは現時点では困難である。電子的に輻輳調節矛盾を解決できる程度の細かな光線再現を実現する方法として、梶木善裕らが提案している集束化光源列(FLA)による超多眼式立体ディスプレイ（非特許文献１；３次元画像コンファレンス1996 講演論文集，pp.108-113, 1996）や高木康博,が提案している64眼式三次元カラーディスプレイとコンピューター合成した三次元物体の表示（非特許文献２；３次元画像コンファレンス２００２講演論文集、 pp. 85-88, 2002.）などの 超多眼方式が知られている。ただし、この方式でも用意すべきデータの量は非常に多く、その分画像の解像度（画素数）を犠牲にせざるをえない。

処理すべき情報量を抑えた上で輻輳調節矛盾を解決する方法として、掛谷英紀らが提案しているシリンダーレンズと高周波パターンを組み合わせる方法（特許文献３）が提案されている。この方法は、必要なデータ数の増加は大幅に減らすことが可能であるが、元画像に高周波パターンを重畳することから、それによる画質の低下は避けられない。

さらに、Actuality System.社の,商品Perspecta Spacial 3Dのように/映像を高速に回転させたり、Alan C.TraubによるStereoscopic Display Using Rapid Varifocal Mirror Oscillations,( 非特許文献３；Applied Optics, vol.6, No.6, June, 1967)やS. SuyamaらによるThree-dimensional Display System with Dual-Frequency Liquid-Crystal Varifocal Lens,（非特許文献４；Jpn.J. April. Phys., 39, pp. 480-484, 2000）のように高速な可変焦点光学系を用いたり、あるいはA.Sullivan,LightSpace Technologies社による Depth Cube solid state 3D volumetric display (非特許文献５；Stereoscopic Display and Virtual Reality Systems XI, SPIE Vol.5291, pp. 279-284, 2004)のように複数枚のスクリーンを重ねたりすることにより、ボリュームディスプレイを実現する方式もいくつか提案されている。

これらの方式では、対応する奥行きに光源あるいは光源の実像または虚像が置かれるので、輻輳調節矛盾は生じない。また、光線再現法に比べ、表示に必要なデータ量は低く抑えられる。しかし、上で挙げたボリュームディスプレイ全てに共通する欠点として、物体間の隠蔽関係（オクルージョン）や光沢を表現することができないという問題がある。また、ボリューム表示を実現するためには、当然映像空間のボリューム情報が必要となる。実世界に対して実時間での正確な３次元計測は困難であり、２次元画像で普及しているテレビジョンのように実写をリアルタイムで表示することはボリュームディスプレイで実現することは困難となる。

特開２００１−２１８２３１号公報 特開２００５−１６５２３６号公報 特開２００５−１６５２３７号公報

３次元画像コンファレンス1996 講演論文集，pp.108-113, 1996 ３次元画像コンファレンス２００２講演論文集、 pp. 85-88, 2002. Applied Optics, vol.6, No.6, June, 1967 Jpn. J. April. Phys., 39, pp. 480-484, 2000 "Stereoscopic Display and Virtual Reality Systems XI", SPIE Vol.5291, pp. 279-284, 2004

このように、従来の立体表示方式においては、輻輳調節矛盾の解消、処理すべきデータ量の抑制、隠蔽関係や光沢面の表現という３つの要求を全て同時に満足する方式は存在しなかった。

本発明は、隠蔽関係や光沢面の表現を可能にし、また輻輳調節矛盾を解消する立体画像を表示する方法および装置を提供することを目的とする。

本発明を用いると、多層の奥行きにわたって画像を描画するボリュームディスプレイ装置において光沢面や隠蔽関係を表現することが容易である。また、輻輳調節の矛盾が解消され従来の立体視特有の目の疲労や酔いが生じない立体像を提示することが可能である。

人間が物体を注視する際、焦点調節の手がかりとして入力画像中のエッジの情報を用いている事が知られている。エッジのぼけが最も少なくなる距離に人間は焦点を合わせようとする。この性質を利用して、観測者の焦点位置をスクリーン上から輻輳に対応する奥行までの誘導を行うことができる。

具体的には、表示したい画像をもとに、平滑化した画像とエッジ抽出を行った画像の２つを作成し、両眼視差・輻輳の提示は平滑化した画像を用い、それにより提示した立体像と重なるようにエッジ画像を配置する。従来法においては、エッジのぼけが最も少なくなる点はスクリーン面上であったため、焦点調節もスクリーン上に固定されてしまっていたが、本発明において最もエッジのぼけが少なくなる点はエッジ画像上の点、すなわち、立体像のできる奥行上の点であるため、結果として焦点は立体像上に誘導されることになる。

ここで、立体像と重ね合わせるためにエッジ画像の表示自体も立体表示にて行う必要が生じる。本本発明では、エッジ画像の表示にはボリュームディスプレイの手法を用いる。エッジを表示するボリュームディスプレイは、例えばモノクロの透過型液晶を何枚も重ね合わせる等により実現することが可能である。この手法では、１枚の平面ディスプレイにて全ての描画を行うのではなく、表示する物体の奥行に合わせて描画する奥行も変化させるため、輻輳に加え、焦点調節も誘導することが可能になる。

もちろん、エッジ以外の領域も含め、全てをボリュームディスプレイ上で表現することも考えられる。たしかに、表示する物体の３Ｄモデルが既知であるのであれば描画に支障はないが、実時間で撮影された実写画像の立体表示のように、表示対象の３Ｄモデルが未知の場合には、別途３次元形状計測が必要となる。実時間にて実物体の３次元形状計測を行う手法としてステレオマッチングが挙げられるが、対象物体に十分なテクスチャ情報のない場合では良い計測結果を期待できず、また、計算コストも大きくなる。それゆえ、本来ボリュームディスプレイはこの用途には不向きである。

しかし、本本発明においては、このボリュームディスプレイに表示するのは表示対象のエッジの部分のみであるため、ステレオマッチングによる良い計測結果を期待でき、なおかつ計算コストも少なく済む。そのため、本本発明では形状が既知のモデルのみでなく、実時間での撮影・形状計測と組み合わせた実写画像の立体表示も可能となると期待される。

さらに、フラット領域（エッジ領域以外）では右目と左目に別々の画像を投影することが可能なので、光沢面の表現も可能となり、さらにエッジ情報以外についてはオクルージョン関係（手前にある物体は背後にある物体を隠すという隠蔽関係）も表現することが可能となる。

この様なことから、本発明の立体画像表示装置は、観察者の右目用の画像と左目用の画像とを表示する２次元表示手段と、右（あるいは左）目が右目（あるいは左目）用の画像を見易くする画像選択手段と、右目用の画像と左目用の画像とを透過し、前記の右目用の画像と左目用の画像にそれぞれの画像の奥行き画像を重ねて表示する３次元表示手段と、を備え、上記の２次元表示装置と３次元表示装置とを同期して表示させることにより、観察者から見た立体画像を表示するものである。

また、上記の画像選択手段を通過した画像を結像する結像系をさらに備えるものである。

また、多人数で観賞するために、本発明の立体画像表示装置は、複数の観察者の右目用の画像と左目用の画像とを表示する２次元表示手段と、それぞれの観察者の右（あるいは左）目が右目（あるいは左目）用の画像を見易くする画像選択手段と、上記の右目用の画像と左目用の画像とを透過し、それぞれの上記の右目用の画像と左目用の画像にそれぞれの画像の奥行き画像を重ねて表示する３次元表示手段と、を備え、上記の２次元表示装置と３次元表示装置とを同期して表示させることにより、観察者から見た立体画像を表示するものである。

また、上記の３次元表示手段には、画像のエッジ部を表示する。

また、３次元表示手段は、光を透過する２次元表示手段を積層して奥行きを持たせた表示手段であってもよい。

また、本発明の立体画像表示装置は、右目用に用意した画像と左目用に用意したそれぞれの画像から、それぞれのエッジ画像とエッジ画像の３次元位置を抽出するエッジ抽出手段と、上記の右目用に用意した画像と左目用に用意したそれぞれの画像から、それぞれのエッジ画像部分を抑制した２次元画像を抽出する２次元画像抽出手段と、上記の抽出した２次元画像を２次元表示装置で表示し、その表示する時期に合わせて、上記のエッジ画像を３次元表示手段で表示する同期表示手段と、を備える。

また、本発明の立体画像表示方法は、右目用に用意した画像と左目用に用意したそれぞれの画像から、それぞれのエッジ画像とエッジ画像の３次元位置を抽出するステップと、上記の右目用に用意した画像と左目用に用意したそれぞれの画像から、それぞれのエッジ画像部分を抑制した２次元画像を抽出するステップと、上記の抽出した２次元画像を２次元表示装置で表示する時期に合わせて、上記のエッジ画像を３次元表示手段で表示するステップと、を備えるものである。

以下に、この発明の実施の形態を図面に基づいて詳細に説明する。以下の説明においては、同じ機能あるいは類似の機能をもった装置に、特別な理由がない場合には、同じ符号を用いるものとする。

まず、本発明の概要及び本発明の第一の実施形態を図１を用いて説明する。図１は、２次元表示手段の同一画面上に重ねて描画した画像１と画像２のうち、観察者３の右目４には画像１のみ、左目５には画像２のみが観測されるように光路が選択される機構を持つ画像表示装置６と、多層の奥行きにわたって画像を描画することでボリューム情報７を表示する３次元表示手段である画像表示装置８からなる。画像表示装置６の画像選択手段としては、画像１と画像２に直交する偏光を用いる偏光フィルタや、画像１と画像２に時間差を設けて表示する液晶シャッターを用いるメガネ式立体表示方式、レンチキュラレンズを用いる裸眼立体画像表示装置、パララックスバリアを用いる裸眼立体画像表示装置、特許文献１の裸眼立体画像表示装置など公知の技術を利用することができる。特許文献１の裸眼立体画像表示装置とは、すなわち、視差を持つ２種類の画像を表示する映像表示装置、その２種類の画像を選択的に透過して分離する装置、更に結像系の光学装置を順に配置し、それに映像鑑賞者の左眼と右眼の位置を検出する装置を組み合わせる構成をとり、映像鑑賞者の左眼と右眼の位置の移動に合せて映像表示装置の表示画像を変化せしめ、また、画像の選択的透過装置を制御し、映像鑑賞者３の左右両眼に視差を含む異なる画像を提示するとともに、結像系を利用して映像鑑賞者の手元の実像面１４に実像を生成することによって、映像鑑賞者３の手元に奥行きを持つ立体画像を提示するものである。

また、ボリューム情報を表示する３次元表示手段である画像表示装置８としては、光透過型であることが肝要であり、高速可変焦点光学系を用いた公知のボリュームディスプレイのほか、より簡易な装置としてモノクロＴＦＴ液晶パネルを多層に重ねた表示装置を用いることも可能である。画像表示装置６と画像表示装置８は、図には示していないが、同期回路により、表示は同期している。特に、動画を表示する場合には、画像表示装置６と画像表示装置８は同期していることが望ましい。

画像表示装置６に表示される画像１と画像２には、表示させたい立体像のうちの主にエッジ以外の部分を表示する。エッジが顕著である画像の場合は、エッジを抑制する処理を行なって表示することが望ましい。一方、ボリューム画像７は立体像のうちの主にエッジ部分を表示する。表示する画像のエッジを抽出して表示することが望ましい。画像１とボリューム画像７は右目３から見たときにエッジ部分と非エッジ部分が整合して重なりあい、視点に応じた元画像が復元されるように描画し、画像２と７は左目４から見たときに始点に応じた元画像が復元されるように描画する。隠蔽関係や光沢の表現は左右の目に異なる画像１、２を提示することにより実現する。一方、人間の目の焦点は、エッジが視覚刺激として与えられたとき、そのエッジがはっきり見えるようにその奥行きに合わせて調節がなされることが知られている。これから、立体像の奥行きに応じて焦点調節点が変化するという現象を、ボリューム画像７によって表現することが可能であることが分かる。これにより、輻輳調節矛盾が解消され、なおかつ隠蔽関係や光沢表現を含む立体映像を観察者に見せることが可能になる。つまり、隠蔽関係や光沢の表現は２次表示手段である画像表示装置６で行い、輻輳調節矛盾の解消は３次元表示手段である画像表示装置８で行なう。

また、画像表示装置６や８は、表示制御部２２や２３で制御される。特に画像表示装置８は、切換回路２４で奥行きに関する表示位置を変化させた表示を行なう。この表示制御部２２や２３は、同期制御部２１で画像表示装置６や８の表示が同期するように制御される。表示制御部２２や２３、あるいは、同期制御部２１には、入力した表示信号を信号制御部２０でそれぞれ用に抽出された信号が供給される。例えば、表示制御部２２に供給するエッジを抑制した画像信号や、表示制御部２３に供給するエッジを抽出した画像信号は、信号制御部２０で処理され生成される。

また、パーソナルコンピュータ（ＰＣ）などの場合は、図１から３に示した構成とは異なるが、ＰＣ内部のクロック信号が同期信号の役割をはたし、ひとつのグラフィックボード上で同時に処理された２次元表示装置用の表示信号を３次元表示装置用の表示信号を、それぞれの表示装置に分配することで、２次元表示装置と３次元表示装置とを同期して出力する。

一般に、ひとつの２次元表示画面に対応する３次元表示画面は、３次元表示装置の構成（例えば積層した液晶表示板）に応じて、単数以外に複数の画面を持つ場合がある。上記で言う同期とは、このように２次元表示画面に対応する３次元表示画面を同期して表示することを意味する。

以下に本発明の第二の実施形態を図２を用いて説明する。この実施形態においては、第一の実施形態の２眼式ステレオ表示に代わり、多眼式ステレオ表示が可能な画像表示装置９を用いる。これにより、複数人の観測者が固有の視点に応じた立体像を観測することが可能になるほか、運動視差が再現され、一人の観測者が移動しながら様々な角度からの立体像を眺めることも可能となる。画像表示装置９としては、インテグラルフォトの原理を応用したもの、上下左右の示唆を実現するパララックスバリア方式、特許文献２で公知の方式などを利用することができる。特許文献２で公知の方式とは、すなわち、縦横に配置された画像投影装置と、隣り合う画像投影装置から投影された光源からの光を互いに概ね近接して接続するように拡散するフライアイレンズと、概ね近接するように拡散された各光源の実像を生成する凸レンズ光学系とを備え、観察位置の移動に応じて、異なる画像投影装置からの画像が概ね途切れることなく入れ替わって入射する構成を備えるものである。

次に本発明の第三の実施形態を図３を用いて説明する。この実施形態においては、第二の実施形態に実像を結ばせるための凸レンズ光学系１０を組み合わせる。これにより多眼式ステレオ表示が可能な画像表示装置９の表示を、空中に立体像１１として生成することが可能となる。立体像１１の結像位置は異なるが、凸レンズ光学系１０の代わりに凹面鏡光学系を用いることも可能である。

立体画像表示装置が利用される分野は多岐に渡っている。例えば、交通機関の運転シミュレーションの表示装置や、遠隔手術などの遠隔操作の際の表示装置、より現実感のあるシミュレーション型の金魚入り水槽などのデジタルペット用の表示装置、商品の細部の構造も見せることの出来る展示装置、などに使用することができる。また、本発明の立体画像表示装置および立体画像表示方法では、隠蔽関係や光沢面の表現が可能で、輻輳と焦点調節との間に生理的矛盾が生じない。このため、表示装置を見る側にとっては、長時間の使用でも疲労が少なく、また初見においても違和感のない表示を行なうことが出来る。

本発明の概略および第一の実施形態を示す模式図である。 本発明の第二の実施形態を示す模式図である。 本発明の第三の実施形態を示す模式図である。

符号の説明

１ 右目に提示する画像
２ 左目に提示する画像
３ 観察者
４ 右目
５ 左目
６ 画像表示装置
７ 描画されるボリューム情報
８ 画像表示装置
９ 画像表示装置
１０ 凸レンズ光学系
１１ 空中に生成される立体像の実像
２０ 信号制御部
２１ 同期制御部
２２ 表示制御
２３ 表示制御
２４ 切換回路

Claims (7)

1. 観察者の右目用の画像と左目用の画像とを表示する２次元表示手段と、
   右（あるいは左）目が右目（あるいは左目）用の画像を見易くする画像選択手段と、
   右目用の画像と左目用の画像とを透過し、前記の右目用の画像と左目用の画像にそれぞれの画像の奥行き画像を重ねて表示する３次元表示手段と、を備え、
   上記の２次元表示装置と３次元表示装置とを同期して表示させることにより、観察者から見た立体画像を表示することを特徴とする立体画像表示装置。
2. 上記の画像選択手段を通過した画像を結像する結像系をさらに備えることを特徴とする請求項１に記載の立体画像表示装置。
3. 複数の観察者の右目用の画像と左目用の画像とを表示する２次元表示手段と、
   それぞれの観察者の右（あるいは左）目が右目（あるいは左目）用の画像を見易くする画像選択手段と、上記の右目用の画像と左目用の画像とを透過し、それぞれの上記の右目用の画像と左目用の画像にそれぞれの画像の奥行き画像を重ねて表示する３次元表示手段と、を備え、
   上記の２次元表示装置と３次元表示装置とを同期して表示させることにより、観察者から見た立体画像を表示することを特徴とする請求項１あるいは２に記載の立体画像表示装置。
4. 上記の３次元表示手段には、画像のエッジ部を表示することを特徴とする請求項１から３のいずれかに記載の立体画像表示装置。
5. ３次元表示手段は、光を透過する２次元表示手段を積層して奥行きを持たせた表示手段であることを特徴とする請求項１から４のいずれかに記載の立体画像表示装置。
6. 右目用に用意した画像と左目用に用意したそれぞれの画像から、それぞれのエッジ画像とエッジ画像の３次元位置を抽出するエッジ抽出手段と、
   上記の右目用に用意した画像と左目用に用意したそれぞれの画像から、それぞれのエッジ画像部分を抑制した２次元画像を抽出する２次元画像抽出手段と、
   上記の抽出した２次元画像を２次元表示装置で表示する時期に合わせて、
   上記のエッジ画像を３次元表示手段で表示する同期表示手段と、を備えることを特徴とする請求項５に記載の立体画像表示装置。
7. 請求項６に記載の立体画像表示装置の表示方法であって、
   右目用に用意した画像と左目用に用意したそれぞれの画像から、それぞれのエッジ画像とエッジ画像の３次元位置を抽出するステップと、
   上記の右目用に用意した画像と左目用に用意したそれぞれの画像から、それぞれのエッジ画像部分を抑制した２次元画像を抽出するステップと、
   上記の抽出した２次元画像を２次元表示装置で表示する時期に合わせて、
   上記のエッジ画像を３次元表示手段で表示するステップと、を備えることを特徴とする立体画像表示方法。

Images