JP2005508016A

JP2005508016A - ３次元画像の投影

Info

Publication number: JP2005508016A
Application number: JP2003539349A
Authority: JP
Inventors: ラキアニトゥサ、アンドリュー
Original assignee: NeurOK LLC
Current assignee: NeurOK LLC
Priority date: 2001-10-24
Filing date: 2002-10-24
Publication date: 2005-03-24
Also published as: US20030122828A1; CN1608386A; EP1442613A1; WO2003036993A1; KR20040076854A

Abstract

物体の真の３次元画像を投影するための液晶ディスプレイパネルおよび位相スクリーンを用いる３次元投影システムおよび関連する方法が開示される。その投影システムのある特定の実施形態は、位相スクリーン上に「振幅ホログラム」画像を投影し、観察可能な３次元画像を形成することができる画像形成システムを備えることができる。開示される画像形成システムは、少なくとも１つの液晶ディスプレイパネルと、平坦な画像情報を計算し、液晶パネルを制御するための画像生成システムと、位相スクリーンとを用いる。そのスクリーンは、その上に記録された規則的な「位相」情報を有し、その情報には、投影されることになる３次元物体には依存しない既知の位相のみ、あるいは位相＋振幅のホログラムを用いることができる。本発明の好ましい実施形態では、その投影システムは、ニューラルネットワークフィードバック計算を用いて、適当な平坦画像情報と、液晶ディスプレイ上に表示されることになる適当な画像とを常に計算する画像生成システムを用いる。

Description

【技術分野】
【０００１】
［発明の分野］
本発明は３次元画像の投影に関する。より具体的には、本発明は、立体的な態様の画像の並列情報処理を用いる３次元画像投影のための装置および関連する方法に関する。
【０００２】
［関連特許出願への参照］
本特許出願は、２００１年１０月２４日出願の米国仮特許出願第６０／３３５，５５７号の出願日に関する恩恵を主張する。
【０００３】
［発明の背景］
投影ディスプレイは、拡散板上に集束される画像を用いて、ユーザに画像を提供する。投影は、映写機の場合のように、拡散板に対してユーザと同じ側からなされることができるか、あるいは反対側からなされることができる。画像は通常は、その構成要素である切替え可能なピクセルによって形成されるパターンで、光を反射あるいは透過する小型液晶ディスプレイ装置のような１つあるいは複数の「ディスプレイ」上に生成される。そのような液晶ディスプレイは一般的にマイクロエレクトロニクス処理技法を用いて作製され、ディスプレイ内の各格子領域、すなわち「ピクセル」が、その反射あるいは透過特性が電気信号によって制御されることができる領域になる。液晶ディスプレイでは、ある特定のピクセル上に入射する光は、そのピクセルに加えられる信号に応じて、反射されるか、部分的に反射されるか、あるいはピクセルによって遮断されるかのいずれかである。いくつかの事例では、液晶ディスプレイは透過性の装置であり、任意のピクセルの中の透過性が、光が概ね遮断される状態から、入射光が概ね透過される状態に及ぶ範囲にわたって段階（階調）的に変更されることができる。
【０００４】
均一な光ビームが液晶ディスプレイから反射（あるいはその中を透過）されるとき、ビームは、ピクセルの透過状態に基づく空間強度プロファイルを得る。ピクセルの透過性（あるいは階調）を所望の画像に対応するように電子工学的に調整することにより、液晶ディスプレイにおいて画像が形成される。この画像は、直に観察するために拡散スクリーン上に映し出されることができるか、あるいは別法では、ある中間的な像面上に映し出されることができ、その像面から、接眼レンズによって拡大され、仮想画像を与えることができる。
【０００５】
これまで長い間、電子画像形成システムの目標であった画像の３次元表示は、現代社会において数多くの潜在的な用途を有する。たとえば、パイロットから医師にいたる専門家の訓練は、現時点では多くの場合に、３次元画像の可視化に基づいている。さらに、たとえば、人体の一部あるいは機械部品の検査のシミュレーション中に、データを変更あるいは画像を切り替えることなく、観察者が多数の角度および視点からそれらの部分の連続した３次元画像を得ることができるように、１つの画像の多数のアスペクトを見ることができることも重要である。
【０００６】
したがって、リアルタイムの３次元画像ディスプレイが、長い間、種々の技術的な用途において関心を集めている。これまで、３次元および／またはボリューメトリック(volumetric)画像を生成するために用いられるいくつかの技法が、従来技術において知られている。これらの技法は結果の複雑さおよび品質が様々であり、ただ単に心理学的な奥行きの手掛かりに訴えることにより２次元ディスプレイ上に３次元の画像をシミュレートするコンピュータグラフィックスと、観察者に、２つの網膜像（左右の目に対して１つずつ）を心的に１つの像に融合させて、奥行き知覚を与えるように設計される立体視ディスプレイと、物体から反射される実際の波面構造を再構成するホログラフィック画像と、ディスプレイのボリューム内にある種々の深さの実際の光源を起動することにより、実際の物理的な高さ、深さおよび幅を有する３次元画像を生成するボリューメトリックディスプレイを含む。
【０００７】
基本的には、３次元画像形成技法は２つのカテゴリ、すなわち本当の３次元画像を生成する技法と、３次元画像を見ているような錯覚を生み出す技法とに分類されることができる。第１のカテゴリには、ホログラフィックディスプレイ、可変焦点合成、回転スクリーンおよび発光ダイオード（「ＬＥＤ」）パネルが含まれる。第２のカテゴリには、心理学的な奥行きの手掛かりに訴えるコンピュータグラフィックス、および２つ（左右）の網膜像を心的に融合することを基にする立体視画像形成の両方が含まれる。立体視画像形成ディスプレイは、特殊な眼鏡（たとえば、ヘッドマウントディスプレイおよび偏光フィルタグラス）を使用する必要があるシステムと、特殊な眼鏡を使用する必要がない自動立体視技術に基づくシステムとにさらに分類されることができる。
【０００８】
最近、リアルタイムでフルカラーの３次元ディスプレイのための条件を概ね満たしているような自動立体視技法が様々に報告されている。立体視の原理は、観察者の左目および右目に対応する２つの異なる視点を同時に画像化し、２次元画像に対する奥行き知覚を生み出すことに基づく。立体視画像形成では、たとえば、観察者の左目と右目との間の距離に対応する、異なる位置からの物体の従来の写真を用いて、画像が記録される。
【０００９】
通常、観察者がスクリーン上に投影された物体の立体画像を観察することから空間的印象を受けるために、左目が左画像のみを観察し、右目が右画像のみを観察するようにしなければならない。これはヘッドギアあるいは眼鏡を用いて達成することができるが、この制約をなくそうとして、自動立体視技術が開発されている。しかしながら、従来では、自動立体視システムでは通常は、立体視効果を生み出すために、観察者の目が、観察画面（一般的に「観察ゾーン」として知られている）からある特定の場所および距離に配置されることが必要とされていた。
【００１０】
自動立体視ディスプレイのための実効的な観察ゾーンを拡大する１つの方法は、複数の観察ゾーンを同時に作り出すことである。しかしながら、この手法は、画像処理装置に負わせる帯域幅要件が徐々に大きくなる。さらに、大部分の研究が、画面に対する目／観察者の位置を追跡し、画像形成装置の放射特性を電子工学的に調整して立体画像を保持することにより、観察ゾーンの制約をなくすことに焦点を絞っている。したがって、高速の最新式コンピュータと、観察者の身体および頭部の動きと連続して記録する動きセンサならびにコンピュータにおける画像の適応を用いるとき、環境および物体の空間的な印象（バーチャルリアリティ）が、立体投影を用いて生成されることができる。画像がより複雑になると、この手法を具現する従来技術は、その有用性が低下することがわかっている。
【００１１】
立体視の特性のため、この技法が、真のボリュームビジュアライゼーションの１つの基本的要件、すなわち物理的な奥行きの手掛かりに関して観察者の知覚を満足させることは難しい。自動立体視では、焦点調節、輻輳(convergence)あるいは両目の差異を与えることができないので、従来技術の自動立体視システムでは、限定された観察ゾーン内の離散した位置からのみ視差が観測され得る。
【００１２】
さらに、装置が実用化されているにもかかわらず、立体視ディスプレイは複数の内在する問題を抱えている。大きな問題は、いかなる立体ペアも、１つの位置から観察されるときにしか正確な見え方を与えないことである。したがって、自動立体視ディスプレイシステムは、観測者が移動するのに応じて、観測者の位置を検出し、種々の見え方で立体ペア画像を再現できなければならない。これは、従来技術において会得されていない困難な作業である。さらに、物理的手掛かりがないことに起因して、高解像度の立体画像であっても、観察者による距離、速度および形状の誤判断が生じる。本質的に、立体視システムは、輻輳および物理的手掛かりと相容れない奥行きの手掛かりを与える。なぜなら、前者は固定された焦点調節を用いており、それゆえ、後者によって与えられる立体視の奥行き情報と一致しないためである。この不一致は、視覚的な混乱および疲労を引き起こし、立体視３次元画像を見続ける際に多くの人々が頭痛を起こす理由の一部である。
【００１３】
それにもかかわらず、電子ディスプレイシステムの分野における最近の研究は、電子３次元画像形成に最も容易に適合するように思われるような種々の立体観察システムの開発に集中している。ホログラフィック画像形成技術は、３次元物体から反射する光の実際の波面を再生することにより真の３次元画像が与えられるという点で、従来の立体視に基づく技術よりも優れているが、他の３次元画像形成技術よりも複雑である。ホログラフィック画像記録および再現の基本的な従来技術が図１Ａ、図１Ｂおよび図１Ｃに示される。ホログラムを生成するために一般的に受け入れられている１つの方法が図１Ａに示される。コヒーレント光のビームが、ビームスプリッタソース１０３によって２つのビームに分割される。第１のビーム１０５は物体１０２に進み、一方、第２のビーム１０４（一般的に「メイン」ビームと呼ばれる）は直にレジスタ媒体１０１に進む。第１のビーム１０５は物体１０２から反射し、その後、レジスタ媒体１０１（ホログラフィックプレートあるいはフィルム）において、第２の（メイン）ビーム１０４と合流し、干渉する。それにより、これらの２つのビームの重ね合わせがレジスタ媒体においてホログラムとして記録される。図１Ｂは、レジスタ媒体１０１上に記録されたホログラム１００の存在を示す。
【００１４】
一旦、ホログラム１００が図１Ａのようにして記録されたなら、それを用いて、物体のホログラフィック画像１１０を再現することができる。図１Ｂに示されるように、別の第２の「メイン」ビーム１０４が記録されたホログラムに送られる場合には、ホログラムの表面において所定の角度で光波面が形成されるであろう。この光波面は３次元物体のホログラフィック画像１０４に対応するであろう。逆に、図１Ｃに示されるように、第１のビーム１０５のようなコヒーレント光が元の３次元物体１０２に送られ、反射ビーム１０６としてホログラム１００に反射される場合には、ホログラムは光ビーム１０４’を反射して画像ソースに戻すであろう（図１Ａの「メイン」ビームに対応する）。これが光相関器によって一般的に用いられる原理である。しかしながら、ホログラフィック画像形成技術は、リアルタイムの電子３次元ディスプレイに完全には適していない。
【００１５】
ユーザが所望により、ある特定の物体の数多くのアスペクトおよび見え方を見ることができるような、いくつかのアスペクトを提供するシステム、すなわち「マルチアスペクト」ディスプレイが望まれるであろう。さらに、観察者が立体画像を見る際の観察者の頭の位置に関して制約を受けることのないように、自由にそのような見方が行われることが有用であろう。最後に、そのようなシステムは、特殊なヘッドギアを必要とすることなく操作可能でありながら、優れた３次元画像品質を提供することができることが望ましいであろう。
【００１６】
したがって、当分野において、特殊なヘッドギアを必要とすることなく、複数の観察位置に対して高品質の３次元画像を投影できるようにする、改善された方法および装置が依然として必要とされている。
【００１７】
［発明の概要］
満たされていない上記の要件および他の要件に鑑みて、本発明の目的は、ある特定の物体の複数のアスペクトおよび見え方を投影できるようにする３次元画像システムを提供することである。
【００１８】
同様に、本発明の目的は、限定された観察ゾーンに観察者を制限することなく、高解像度の画像を提供するマルチアスペクト３次元画像形成のための装置および関連する方法を提供することである。さらに本発明の目的は、そのような装置および関連する方法において、観察者がヘッドギアあるいは眼鏡のような特殊な観察装置を利用する必要がないようにすることである。
【００１９】
また本発明の目的は、電子工学的に生成され、制御された画像を用いて、ホログラフィック画像を表示することができる真の３次元ディスプレイおよび関連する画像形成方法を提供することである。
【００２０】
さらに本発明の目的は、位相スクリーンと組み合わせた場合に３次元画像を生成するように計算された画像を用いて、ホログラフィック画像を表示することができる３次元ディスプレイおよび関連する画像形成方法を提供することである。
【００２１】
これらの目的および他の目的を達成するために、本発明による３次元投影システムおよび関連する方法は、１つあるいは複数の液晶ディスプレイパネルと、物体の振幅ホログラフィック表示が投影されるスクリーンとを用いる。本発明による投影システムの実施形態は、画像情報を数値計算し、その情報を用いて、液晶ディスプレイの特性を制御することができる画像形成システムを備える。計算された画像情報は所望の３次元画像シーンに関連する。計算された画像情報によって、液晶ディスプレイ上に画像が生成されるように、液晶ディスプレイが制御されるようになり、光がディスプレイを通過して、スクリーンに衝当し、その光がスクリーン上の位相情報と相互作用して、観察可能な３次元画像が生成される。その画像形成システムは、１つあるいは複数の液晶ディスプレイパネルと、３次元画像生成に関する計算を実行し、液晶パネルを制御するための画像生成システムと、スクリーンとを備える。そのような実施形態において、スクリーンは、その上に記録された規則的な(regular)「位相」情報を有し、その情報には、投影されることになる３次元物体には依存しない位相のみあるいは位相−振幅混合のホログラムを用いることができる。
【００２２】
本発明の好ましい実施形態では、ある画像の複数のアスペクトを表現し、３次元観察体験を作り出すためのシステムおよび方法は、少なくとも２つの液晶パネルと、その液晶ディスプレイパネルを制御するための画像生成システムと、３次元観察可能画像を生成するための位相スクリーンとを利用する。そのような好ましい実施形態における画像生成システムは、ニューラルネットワークフィードバック計算を用いて、表示されることになる適当な立体画像ペアを常に計算する自動立体画像生成システムである。
【００２３】
本発明のある特定の実施形態によれば、色毎に異なる液晶パネルの組を用いることができ、フルカラーディスプレイが得られるようにすることができる。１つのそのような実施形態では、個々の液晶パネルは、赤色光、青色光および緑色光毎に設けられることができる。一実施形態では、その投影システムは、３色のカラーシーケンシャル投影システムである。この実施形態では、その投影システムは、たとえば赤色、緑色および青色のような３つの異なる色のための３つの光源を有する。その画像ディスプレイは、ある画像の赤色、緑色および青色成分を順に表示する。液晶ディスプレイおよび光源は、赤色画像が表示されるときに、対応する液晶ディスプレイが赤色光源からの光で照明されるように順に切り替えられる。適当な液晶ディスプレイによって、その画像の緑色の部分が表示されるとき、そのディスプレイは緑色光源からの光で照明され、他も同様である。
【００２４】
ここで、本発明の種々の好ましい態様および実施形態が、図面を参照しながら詳細に記載されるであろう。
【００２５】
［好ましい実施形態の詳細な説明］
本発明は、その好ましい実施形態では、少なくとも２つの液晶パネルと、その液晶パネルを制御するための画像生成システムと、位相スクリーンとを用いて、ある画像の複数のアスペクトを表現し、３次元観察体験を作り出すためのシステムおよび方法である。
【００２６】
本発明は、図２に示されるように、規則的な「位相」情報Ｆがその上に記録されたスクリーン１１２を用いる。これには、投影されることになる３次元物体に依存しない既知の位相のみあるいは位相−振幅混合のホログラムを用いることができる。詳細には、本発明は、「厚いデニシュウク（ｔｈｉｃｋＤｅｎｉｓｙｕｋ）」ホログラムを用いることができるが、それには限定されない。たとえば、スクリーンは、その中にレーザによって複雑な表面が形成された特別なポリマー層を有するガラスから作製されることができる。
【００２７】
位相スクリーン上に３次元物体Ｏの画像１１０’を表示するために、第１のステップは、「位相」スクリーンの特徴と、画像を形成されることになる所望の３次元物体とを考慮して、少なくとも１つの「平坦な」（すなわち２次元の）画像を計算することである。この計算過程は、自動立体画像ペアの計算に関して以下に記載される。それら計算は、本発明の実施形態において必要とされるような画像を計算するために容易に適用されることができることは、当業者には容易に理解されよう。上記の平坦な画像は基本的には振幅ホログラムである。これに鑑みて、計算された平坦な画像は概念的にはＦ＋ＯあるいはＦ−Ｏと表されることができる。ただし、Ｆは所望の画像のための位相情報を表し、Ｏは完全な３次元物体画像を表す。これらの画像は液晶ディスプレイパネル１１３上に表示され、位相スクリーンに投影されて（ビーム１１１を生成するための光源１１４とともに）、位相スクリーンにおいて、スクリーンおよび計算された画像の相互作用に起因して、位相情報Ｆが分離される。その結果として、真のホログラフィック波面１１５が、それゆえ物体Ｏの真の３次元画像１１０’が生成される。この投影は典型的には通常の光でなされるが、コヒーレント光源Ｒ、Ｇ、Ｂを用いることもできる。そのスクリーンはその中に「位相」を有するので、位相情報は光デバイダとしての役割を果たし、３次元画像のみがスクリーン上に現れる。
【００２８】
従来技術において一般的に受け入れられている方法では、ホログラムは光によって、あるいは３次元物体画像によって照明される。本発明は、「振幅ホログラム」によって「位相」表面を照明する。典型的な事例では、「位相」スクリーンには、「位相」ホログラムばかりでなく、その中に規則的な関数を有する任意の種類の表面を用いることができる。真の３次元画像は、種々の位相および振幅を有する複数の光波からなる。しかしながら、従来の液晶ディスプレイは、振幅情報を再現することしかできない。それゆえ、本発明は、既知の位相（あるいは別法では、位相＋振幅）情報を含むように書き込まれるスクリーンを利用する。結果として、このスクリーンは、真の３次元画像光構造を再構成するために、特定の計算された振幅のみの画像情報（液晶ディスプレイパネル上に生成され、スクリーン上に形成される画像の形で与えられる）に適当な位相情報を追加することができる。それゆえ、本発明のここに記載される説明では、そのスクリーンは「位相」スクリーンと呼ばれ、一方、計算された２次元画像は「振幅ホログラム」と呼ばれる。
【００２９】
本発明による手法の１つの大きな利点は、大型の３次元画像を投影できることである。また、大型のホログラムを作り出すことよりも、規則的な「位相」構造を有する大きなスクリーンを作り出すことのほうが、実現性が高いので、それは経済的に実用性の高い方法である。
【００３０】
別の利点は、液晶ディスプレイパネル内に現れる「振幅ホログラム」が計算されることである。通常のホログラムが記録されるとき、各点がホログラム全体に沿って分散されなければならない。この過程は高品質の記録用材料を必要とし、ホログラムのシーン上にある全ての物体が固定されなければならない。計算された画像を用いることにより、本発明は余分なものを最小限に抑え、写真材料の解像度よりも低い解像度を有する液晶パネル内に「ホログラム」を表示することができる。
【００３１】
本発明の別の実施形態では、マルチカラーディスプレイを製造するために、原色毎に個別の液晶パネルを用いることができる。
【００３２】
「位相」スクリーンに関して、原理的には、位相構造は、任意の予め定義された規則的な関数システムにすぎない。この関数システムは、冗長性を低減するために、十分(full)であり、直交(orthogonal)しなければならない。詳細には、本発明は、正弦関数または余弦関数のような三角関数、あるいはウォルシュ関数(Welsh functions)を用いることができる（すなわち、それは非三角関数を用いることもできる）。
【００３３】
［画像計算］
ここで、本発明において用いるのに適した画像情報を計算するための方法が、少なくとも２つの液晶ディスプレイパネルを用いて、自動立体画像形成のための画像ペアを生成することに基づく例に関して記載されるであろう。本発明の実施形態においてこの例示的な計算方法が如何に用いられることができるかは、当業者には容易に理解されよう。
【００３４】
ここで図３を参照すると、計算装置１は、照明サブシステム２、および空間マスク５によって分離される２つの個別の液晶ディスプレイ４および６上への画像の表示のための制御を行う。照明源２は、計算装置１によって制御され、計算装置１によって与えられる画像を表示している透過液晶ディスプレイ４および６を照明する。
【００３５】
図４は計算装置１のための細部を示す。本発明は、メモリユニット１２に対して与えられる立体ペアあるいはアスペクトのデータベース８を備える。メモリユニット１２はいくつかの機能を有する。最初に、メモリユニット１２は、立体ペアデータベース８から、ある特定の立体ペアを抽出し、格納する。
【００３６】
メモリユニット１２は、処理部１４に所望の立体ペアを与え、計算された画像が生成される。計算された画像は、処理部１４から、液晶ディスプレイパネルおよび照明ユニット制御１６に直に送られることができるか、あるいは制御ユニット１６によってアクセスされることになるメモリユニット１２に格納されることができる。その後、ユニット１６は、適当な液晶ディスプレイパネル４、６に計算された画像を与え、かつ透過液晶ディスプレイパネル４、６を照明する照明を制御する。処理部１４は、液晶ディスプレイおよび照明制御ユニット１６に命令を与え、適当な照明を与えることもできる。
【００３７】
全ての自動立体視ディスプレイと同様に、計算装置１によって生成される画像は必然的に、観察者位置信号１０によって示される、観察者位置の関数である。適当な観察者位置信号を生成するための種々の方法が当分野において知られている。たとえば、Ｓｔｒｅｅｔに対する米国特許第５，７１２，７３２号は、観測者位置および距離を自動的に明らかにする自動立体画像ディスプレイシステムを記載する。Ｓｔｒｅｅｔディスプレイシステムは、そのシステムがスクリーンに対する距離および位置（左右）の観点から観察者の頭部の位置を判定できるようにする距離測定装置を備える。同様に、Ｐｏｐｏｖｉｃｈに対する米国特許第６，１０１，００８号は、観察者の位置をリアルタイムに追跡し、その追跡された位置を用いて、表示される画像を適切に変更するために、デジタル画像形成装置を利用することを教示する。
【００３８】
メモリユニット１２は液晶ディスプレイの個々のセルあるいは素子の蓄積された信号を保持することを理解されたい。したがって、メモリユニット１２および処理部１４は、液晶ディスプレイパネルの関連するスクリーン素子の中を「位相」スクリーンに向かって移動している光を蓄積し、解析する能力を有する。
【００３９】
図５を参照すると、本発明による液晶ディスプレイパネルによって生成されることができる光ビームの動きに関する図が示される。立体視の左右の目の見え方を表示する一対の積重された液晶ディスプレイパネルに関して図示され、説明されるが、位相スクリーンに達する、投影された「振幅ホログラム」のためにも類似の計算を行うことができる。この例示においては、３パネルの液晶ディスプレイシステムが示される。この事例では、ディスプレイは、近接パネル１８、マスクパネル２０および遠隔画像パネル２２上に提供される画像を含む。これらのパネルの相対的な位置はわかっており、それは画像の後続の表示のために処理部へ入力される。画像情報を格納することができる液晶ディスプレイパネルとして例示されるが、マスクパネル２０には、拡散板のような、より簡単な空間マスク装置を用いることもできる。
【００４０】
観察者に各立体ペアを提供するために必要とされる情報の種々の部分が、各パネルに適当な計算された画像を送ることにより、パネル１８、２０および２２の各素子内に表示される。この例示では、左目３６は、パネル１８に送られる計算された画像の、パネル１８上の部分２８を見る。それらのパネルは本質的に透過性であるので、左目３６は、マスク液晶ディスプレイパネル２０上に表示される、計算された画像の部分２６も見る。さらに、そして再び各液晶ディスプレイパネルの透過率に起因して、左目３６は、遠隔液晶ディスプレイパネル２２上に表示される、計算された画像の部分２４も見る。このようにして、計算された画像の所望の部分が、観察者の左目によって見られる画像になる。
【００４１】
そのディスプレイは一般的に単色装置である。すなわち、各ピクセルは「オン」あるいは「オフ」のいずれかであるか、あるいは中間的な輝度レベルに設定される。そのディスプレイは通常、画像の２つ以上の色成分の輝度を個別に制御することはできない。色を制御するために、あるディスプレイシステムは、液晶ディスプレイの３つの個別の対を用いることができる。３つの液晶ディスプレイ対はそれぞれ、人の目の中の３つのタイプの錐体のうちの１つを刺激するスペクトル成分を有する個別の光源によって照明される。３つのディスプレイはそれぞれ、カラー画像の１つの色成分を形成する光ビームを反射（あるいは透過）する。その後、３つのビームはプリズム、ダイクロミックフィルタからなるシステム、および／または他の光学要素を通して合成され、１つの有色画像ビームになる。
【００４２】
同様に、右目３４は、近接パネル１８上の計算された画像の同じ部分２８と、マスクパネル２０上に表示される、計算された画像の部分３０と、遠隔パネル２２上の計算された画像の部分３２とを見る。計算された画像のこれらの部分は、位相スクリーンから生じる、投影された画像を計算するために用いられる部分である。
【００４３】
観察者の右目および左目によって見られる計算された画像のこれらの部分は観察者によって見られる２つの見え方を構成し、それにより立体画像が生成される。
【００４４】
図６を参照すると、本発明の画像を操作するためのデータフローが示される。先に記載されたように、メモリユニット１２、処理部１４ならびに液晶ディスプレイ制御および視感度制御１６は、遠隔スクリーン２２から生じる光放射と、マスク２０および近接スクリーン１８の透過率とを調節する。
【００４５】
それぞれが液晶ディスプレイスクリーン上の複数の異なるエリア内に示される、ある物体の複数の個別の２次元（２−Ｄ）画像（すなわち複数の計算された画像）に関する情報と、任意の選択によっては、観察者の右目および左目の位置についての情報とが、処理部１４によって調整される。
【００４６】
近接スクリーン１８の部分２８の透過と、左目および右目にそれぞれ対応する（２６、３０）マスク２０の透過率と、左目および右目にそれぞれ対応する画像の部分（２４、３２）の光放射に対応する遠隔スクリーン２２の透過率とに対応する信号が、設定されたプログラムに従って、処理部への入力になる。
【００４７】
その後、各観察者の左目および右目に向かって誘導される、全てのスクリーンのセルからの光信号が特定される。この例では、セル２８、２６および２４からの信号は全て観察者の左目３６に向かって誘導され、ブロック２８、３０および３２からの信号は観察者の右目３４に誘導される。
【００４８】
これらの左目および右目信号はそれぞれ加算され（３８）、右目のための値４２および左目のための値４０が生成される。その後、これらの信号は、比較操作４８において、各アスペクトの画像の関連する部分、および物体のアスペクト４４および４６の画像の関連するエリアと比較される。
【００４９】
その信号が当然、観察者の目の位置の関数であることに留意すると、検出される信号はある程度まで変動する可能性がある。その比較からの全ての誤差が、近接マスクおよび遠隔スクリーンの各セル毎に特定される。その後、各誤差は設定された閾値信号と比較され、誤差信号が設定された閾値信号を超える場合には、処理部制御が、遠隔スクリーン２２のセルの少なくとも一部の光放射に対応する信号を変更し、さらに液晶ディスプレイのマスクおよび近接セルの少なくとも一部の透過率を変更する。
【００５０】
観察者の位置が動く結果として、物体の計算された画像に関する情報が変化する場合には、処理部は、その動きを検出し、情報が修正されるまで、遠隔スクリーンセルの光放射に対応する信号と、マスクおよび近接スクリーンセルの透過率に対応する信号とをメモリユニットに入力する。観察者位置が新たな見え方を必要とするほど十分に大きく変化するとき、その見え方あるいは画像がデータベースから抽出され、処理される。
【００５１】
ある簡単な実施形態では、本発明は、図３に示されるような、２つの透過液晶ディスプレイスクリーンから構成される。遠隔および最も近接（これ以降、近接）のスクリーン４および６は、空間マスク５が配置される隙間によって分離される。このマスクは、純粋な位相（たとえば、レンズあるいはランダムスクリーン）、振幅あるいは複合的な透過性を有することができる。スクリーンはコンピュータ１によって制御される。自動立体３次元画像を形成するために、このシステムによって形成される観察画像は、観察者の目の配置に依存する。解決されなければならない唯一の問題は、立体画像を観察者の目において統合するための遠隔および近接スクリーン上の画像の計算（すなわち、計算された画像）である。
【００５２】
この問題を解決するための１つの手段は、ＬおよびＲが立体画像の左および右の対であり、観察者の目の位置のための観察ゾーンが一定であるものと仮定することである。簡単にするために、振幅タイプの空間マスクが想定されるであろう。
【００５３】
図５に示されるように、２つの光ビームが、目３４および３６の瞳孔を通り抜けるために、近接スクリーン１８上の任意のセルｚ２８を通り抜けるであろう。これらのビームは、それぞれ点ａ（ｚ）２６およびｃ（ｚ）３０、ｂ（ｚ）２４およびｄ（ｚ）３２において、マスク２０および遠隔スクリーン２２を横切るであろう。左目３６内の画像は、
ＳＬ_ｚ＝Ｎ_ｚ＋Ｍ_ａ（ｚ）＋Ｄ_ｂ（ｚ）（式１）
の和である。ただし、Ｎは近接スクリーン１８上のピクセルの輝度であり、Ｍはマスク２０上のピクセルの輝度であり、Ｄは遠隔スクリーン２２上のピクセルの輝度である。
【００５４】
右目３４の場合、それぞれ、その和は以下の通りである。
ＳＲ_ｚ＝Ｎ_ｚ＋Ｍ_ｃ（ｚ）＋Ｄ_ｄ（ｚ）（式２）
【００５５】
光が近接スクリーン１８の全てのピクセルｚ（ｎ）を通って誘導されるとき、観察者の網膜上に画像ＳＬおよびＳＲが形成される。その計算の目的は、
ＳＬ→Ｌ（関係１）
ＳＲ→Ｒ（関係２）
を得るために、近接および遠隔スクリーン１８および２２上の計算された画像を最適化することである。ただし、ＬおよびＲは物体の真の画像を表す。
【００５６】
任意の左および右画像ＬおよびＲのための厳密な解を求めることが不可能であることは立証することができる。このため、本発明は、ＮおよびＤの可能性のある分布において近似的な解を求め、（目標画像と計算された画像との間の）格差の最小二次関数を生成しようとするものである。
【００５７】
【数１】

【００５８】
ただし、ρ（ｘ）は格差の関数であり、Ｍが一定である場合に、ピクセル輝度の制限は０≦Ｎ≦２５５、０≦Ｄ≦２５５の範囲内で変動する。
【００５９】
並列処理を可能にし、ＤＳＰが組み込まれた方式を適用できる可能性があるため、本発明の実施形態において問題を解決するために、人工ニューラルネットワーク（「ＮＮ」）を用いることが好都合である。
【００６０】
図７のニューラルネットワークアーキテクチャがこの問題に適用された。５０が３層ＮＮである。入力層５２は、単位刺激を隠れ層５４のニューロンに広げる１つのニューロンからなる。隠れ層５４のニューロンは、近接および遠隔スクリーンならびにマスクに対応する３つのグループを形成する。出力層５６のニューロンは、画像ＳＬおよびＳＲに対応する２つのグループを形成する。ニューロンの数は液晶ディスプレイスクリーンピクセルの数に対応する。近接および遠隔スクリーンに対応するシナプス重みＷ_ｉｊは調整パラメータであり、マスクのＷ_ｉｊは定数である。隠れ層ニューロン間のシナプス相互接続は、システムの光学方式に対応する。
【００６１】
【数２】

【００６２】
非線形関数は値［０−２５５］のＳ字関数である。
【００６３】
【数３】

【００６４】
ＮＮの機能は以下の式によって表される。
【００６５】
【数４】

【００６６】
ただし、Ｏ_ＮＮはＮＮの出力である。
【００６７】
任意のニューロンにおける出力信号は、遠隔および近接スクリーンならびにマスクからの少なくとも１つの信号の和である。観察者の左目および右目に対応するＮＮの出力（（６）、（７）による）は、以下の式によって与えられる。
Ｙ_ｋ（ｌｅｆｔ）＝Ｆ（Ｘ_ｚ＋Ｘ_ａ（ｚ）＋Ｘ_ｂ（ｚ））＝Ｆ（Ｎ_ｚ＋Ｍ_ａ（ｚ）＋Ｄ_ｂ（ｚ））
（式８）
Ｙ_ｋ（ｒｉｇｈｔ）＝Ｆ（Ｘ_ｚ＋Ｘ_ｃ（ｚ）＋Ｘ_ｄ（ｚ））＝Ｆ（Ｎ_ｚ＋Ｍ_ｃ（ｚ）＋Ｄ_ｄ（ｚ））
（式９）
それらは上記の式（１）および（２）から導出される。
【００６８】
その際、誤差関数は全ての誤差の和であり、以下の式によって表されることができる。
【００６９】
【数５】

【００７０】
ただしＥは誤差項である。
【００７１】
（８）から、Ｅ、すなわち誤差が０値に近づくとき（すなわち、ＮＮ学習中に）、隠れ層の出力はスクリーン上で照明されることになる所望の計算された画像に対応することは明らかである。
【００７２】
ＮＮ学習中に、重みＷ_ｉｊは最初にランダムな値を有するであろう。その後、これらのランダムな値は、ＮＮによる学習の各繰返し中に絶えず精緻化される。ＮＮに学習させるために、バックプロパゲーション法（ＢａｃｋＰｒｏｐ）が用いられた。
【００７３】
【数６】

【００７４】
ただしαは学習の速度である。実験により、（１０）の学習によって１０〜１５の繰返しで許容可能な精度が得られ、いくつかの画像の場合、１００の繰返しで極端に低い誤差を達成できることがわかった。その計算は、誤差のレベルと、画像ＬおよびＲの形状のような光学方式のパラメータ、近接および遠隔スクリーンとマスクとの間の距離、および観察者の目の位置との間の強い依存性を示す。
【００７５】
光学パラメータの変動が小さな場合にさらに適した解を求めるために、２つの別の方法を用いることができる。
【００７６】
第１の方法は、正規化項を追加することにより、誤算関数（９）を変更することを伴う。
【００７７】
【数７】

【００７８】
ただしβは正規化パラメータである。
【００７９】
第２の方法は、ＮＮのトレーニング中に、わずかな量だけ観察者の目の位置をランダムに変更することを伴う。これらの方法はいずれも、３次元観察エリアを拡大するために用いることができる。
【００８０】
「ＢａｃｋＰｒｏｐ」以外のトレーニング方法を用いることもできる。たとえば、別法では、共役勾配法を用いることができ、その場合、以下の３つの式が用いられる。
【００８１】
【数８】

【００８２】
式（１３）〜（１５）はフレッチャー−リーブの変形を具現し、５〜１０倍までＮＮのトレーニング手順を加速できることは理解されたい。
【００８３】
本発明を利用するための通常のシステムは、１０２４×７６８の解像度を有する２つの１５インチＡＭ液晶ディスプレイと、立体画像を処理するためのインテルペンティアム（登録商標）ＩＩＩ−５００ＭＨｚプロセッサを利用するコンピュータシステムとから構成される。そのようなシステムでは、パネル間の距離は約５ｍｍであり、マスクは拡散板を備えることが好ましい。適当な拡散板タイプは、拡散が少なくても可視干渉模様をもたらすことができるような、スポット輝度ビームの場合に約７５％を透過させる、ＣａｌｉｆｏｒｎｉａのＰｒｅｍｉｅｒＬｉｇｈｔｉｎｇｏｆＶａｎＮｕｙｓによって市販されるＧａｍｆｕｓｉｏｎ番号１０〜６０である。コンピュータは、所定のエリアにおいて分離された左−右画像を得るために、近接および遠隔スクリーン上で照明されなければならない、計算された画像を得るためのニューラルネットワークをエミュレートする。そのニューラルネットワークは、立体画像内の誤差を最小限に抑えるために、ディスプレイの光学方式および観察者の目の位置をエミュレートする。
【００８４】
近接および遠隔スクリーンのセルの透過率に対応する信号が、設定されたプログラムに従う処理部によって、メモリユニットに入力される。次のステップは、全てのスクリーンのセルから少なくとも１人の観察者の右目および左目に向かって誘導されることができる光信号を特定することである。その後、各目に向かって誘導される、特定された光信号と、関連する物体の設定された２−Ｄ立体ペアの画像の対応するエリアとが比較される。
【００８５】
各スクリーンのセル毎に、関連する目に向かって誘導されることができる、特定された光信号と、同じ目が見るはずである関連する物体の見え方の立体画の特定された関連するエリアとの間の誤差信号が特定される。受信される各誤差信号は、設定された閾値信号と比較される。誤差信号が設定された閾値信号よりも大きい場合には、処理部制御の上記のプログラムが、そのスクリーンセルに対応する信号を変更する。上記の過程は、誤差信号が設定された閾値信号よりも小さくなるか、あるいは設定された時間が満了するまで繰り返される。
【００８６】
２人（あるいはそれ以上）の観察者のために２つ（あるいはそれ以上）の異なる方向において再構成される２つ（あるいはそれ以上）の異なる物体の場合の計算を解くこともできる。具体的には、全ての計算が並列に実行されることができることが言及されなければならない。すなわち、ＤＳＰプロセッサが、この目的を果たすために設計されることができる。
【００８７】
本発明のシステムは、複数の観察者が同時に画像を観測する場合にも用いることができることにも留意されたい。そのシステムは単に、個々の観察者の位置を認識し（あるいは特定の観察ゾーンを設定し）、複数の観察者のために適した画像を映し出すだけである。
【００８８】
観察者が移動できるように、設定された１つ（あるいは複数）の画像観察ゾーンを用いるシステムを適合させるために、システムに観察者位置信号が入力される。ＳＬおよびＳＲを決定するために用いられるアルゴリズムは、光学的な形状のための変数を使用し、観察者位置信号が、それらの変数を決定するために用いられる。また、観察者位置信号は、光学的形状の計算に基づいて、どの立体ペアを表示するかを判定するために用いられる。限定はしないが、観察者に搭載される無線周波数センサ、三角法による赤外線および超音波システム、および画像データの映像解析を用いるカメラ式マシンビジョンを含む、バーチャルリアリティ（「ＶＲ」）の応用形態の場合に用いられる既知の頭／目追跡システムを含むいくつかの既知の技術が、観察者位置信号を生成するために用いられることができる。
【００８９】
本発明のある特定の実施形態では、光源には、たとえば白熱電球、誘導形照明装置、蛍光灯あるいはアーク灯のような、十分に広帯域の白色光源を用いることができることは、当業者には容易に理解されよう。他の実施形態では、光源には、赤色、緑色および青色のような異なる色を有する１組の単色光源を用いることもできる。これらの光源には、発光ダイオード（「ＬＥＤ」）、レーザダイオードあるいは他の単色および／またはコヒーレント光源を用いることができる。
【００９０】
本発明の実施形態では、液晶ディスプレイパネルは切替え可能素子を含む。当分野において知られているように、個々のカラーパネル対にそれぞれかけられる電界を調整することにより、システムは、光源から得られる光のカラーバランスをとるための手段を提供する。別の実施形態では、各カラーパネルシステムを、色を順に切り替えるために用いることができる。この実施形態では、パネル対は赤色、青色および緑色の切替え可能なパネル対を含む。各組のこれらのパネル対が順に一度に１つずつ起動され、ディスプレイが、表示されることになる画像の青色、緑色および赤色の成分を繰返し表示する。パネル対および対応する光源は、人の目の積分時間と比べて速い速度（１００ミリ秒未満）で、ディスプレイ上の画像に同期して切り替えられる。当然のことながら、その際、一対の単色ディスプレイを用いて、カラー３次元画像を提供することができる。
【００９１】
本明細書において、本発明の好ましい実施形態が図示および説明されてきたが、そのような実施形態は、単なる例示として提供されることは当業者には明らかであろう。ここで、本出願人によって本明細書に開示される本発明の範囲から逸脱することなく、いくつかの本質的でない変形、変更および置換が当業者には明らかになるであろう。したがって、本発明は、添付の特許請求項の精神および範囲によってのみ限定されることが意図されている。
【図面の簡単な説明】
【００９２】
【図１Ａ】ホログラムを生成するために従来技術において用いられる１つの方法と、そのようなホログラムの特性とを示す図である。
【図１Ｂ】ホログラムを生成するために従来技術において用いられる１つの方法と、そのようなホログラムの特性とを示す図である。
【図１Ｃ】ホログラムを生成するために従来技術において用いられる１つの方法と、そのようなホログラムの特性とを示す図である。
【図２】本発明の実施形態による投影システムによるホログラフィック画像の生成を示す概略図である。
【図３】本発明の実施形態による投影システムを示す概略図である。
【図４】本発明の実施形態において用いられるような画像処理ユニットの計算および制御アーキテクチャを示す概略図である。
【図５】本発明の実施形態に従って達成される光線の立体視方向を示す概略図である。
【図６】適当な立体画像の表示が、本発明の実施形態に従って自動的に制御されるような過程を示す流れ図である。
【図７】本発明の実施形態によるマルチアスペクト画像データの表示を制御するために用いることができる適当なニューラルネットワークを示す概略図である。

Claims

物体の３次元画像を生成するための方法であって、
位相スクリーンを得ることであって、前記位相スクリーンはその上に表現される既知の情報を有する、位相スクリーンを得ることと、
ディスプレイ上に平坦な画像を形成することであって、前記平坦な画像は振幅ホログラムを表し、前記振幅ホログラムは、前記物体のホログラフィック画像から、かつ前記スクリーン内の前記既知の情報から計算される振幅情報を表す、平坦な画像を形成することと、
前記スクリーン上に前記ディスプレイからの前記平坦な画像を投影することであって、それによって前記平坦な画像を前記スクリーンの前記既知の位相情報と合成して、前記物体の３次元画像を生成するようにする、前記平坦な画像を投影することと
を含む、物体の３次元画像を生成するための方法。
前記位相スクリーン上に表現される前記既知の情報は位相情報を含む請求項１に記載の物体の３次元画像を生成するための方法。
前記スクリーンの前記位相情報は前記振幅ホログラムと干渉して、前記物体の３次元画像を生成する請求項２に記載の物体の３次元画像を生成するための方法。
前記位相スクリーン上に表現される前記既知の情報は混合された位相−振幅情報を含む請求項１に記載の物体の３次元画像を生成するための方法。
前記スクリーンの前記混合された位相−振幅情報は前記振幅ホログラムと干渉して、前記物体の３次元画像を生成する請求項４に記載の物体の３次元画像を生成するための方法。
前記ディスプレイは透過液晶ディスプレイである請求項１に記載の物体の３次元画像を生成するための方法。
前記振幅情報は、前記物体の前記３次元画像内の誤差を低減するために繰返し計算される請求項１に記載の物体の３次元画像を生成するための方法。
前記計算された振幅情報は、
前記平坦な画像を表示するときに、前記ディスプレイの個々のピクセルによって生成される光波成分を推定するステップと、
前記推定された光波成分と前記スクリーンの前記既知の情報との予想される相互作用から、結果として生成される物体の３次元画像を計算するステップと、
前記結果として生成される３次元画像と、所望の３次元画像とを比較するステップであって、それによって誤差の程度を得る、比較するステップと、
前記誤差が所定の閾値に達するまで前記平坦な画像を調整するステップと
によって得られる請求項１に記載の物体の３次元画像を生成するための方法。
前記振幅情報を計算するための前記ステップはニューラルネットワークを用いて実行される請求項８に記載の物体の３次元画像を生成するための方法。
物体の３次元画像を生成するためのシステムであって、
既知の情報がその上に表現される位相スクリーンと、
２次元画像を表示することができる透過ディスプレイと、
計算装置を収容するディスプレイ制御システムであって、前記ディスプレイ制御システムは前記透過ディスプレイのピクセルを制御するようになっており、前記計算装置は振幅ホログラムを表現する平坦な画像を生成するようになっており、前記振幅ホログラムは振幅情報を表現し、前記振幅情報は、前記平坦な画像が前記スクリーン上に投影されるときに、前記物体のホログラフィック画像を生成するように、前記スクリーン内の前記既知の情報を用いて前記計算装置によって計算される、ディスプレイ制御システムと、
前記平坦な画像を前記スクリーン上に投影するように前記透過ディスプレイを照明するための光源であって、前記光源は前記ディスプレイ制御システムによって制御される、光源と
を備える、物体の３次元画像を生成するためのシステム。
前記位相スクリーン上に表現される前記既知の情報は位相情報を含み、前記スクリーンの前記位相情報は前記振幅ホログラムと干渉し、前記物体の３次元画像を生成する請求項１０に記載の物体の３次元画像を生成するためのシステム。
前記位相スクリーン上に表現される前記既知の情報は混合された位相−振幅情報を含み、前記スクリーンの前記混合された位相−振幅情報は前記振幅ホログラムと干渉し、前記物体の３次元画像を生成する請求項１０に記載の物体の３次元画像を生成するためのシステム。
前記スクリーンはポリマー層を有するガラスから作製され、前記スクリーンは、レーザによってその中に形成される複雑な表面を有する請求項１０に記載の物体の３次元画像を生成するためのシステム。
前記透過ディスプレイは液晶ディスプレイである請求項１０に記載の物体の３次元画像を生成するためのシステム。
少なくとも３つの透過ディスプレイおよび少なくとも３つの光源を備え、前記各透過ディスプレイおよび前記各光源は前記平坦な画像の３つの色成分のうちの１つを生成するようになっており、前記平坦な画像の前記色成分は前記物体のフルカラー３次元画像を生成するように合成されることができる請求項１０に記載の物体の３次元画像を生成するためのシステム。
前記振幅情報は、前記物体の前記３次元画像内の誤差を低減するように前記計算装置において繰返し計算される請求項１に記載の物体の３次元画像を生成するためのシステム。
前記計算装置はニューラルネットワークを用いて、前記物体の前記３次元画像内の誤差を低減する請求項１０に記載の物体の３次元画像を生成するためのシステム。
前記計算装置は、
前記平坦な画像を表示するときに、前記透過ディスプレイの個々のピクセルによって生成される光波成分を推定するステップと、
前記推定された光波成分と前記スクリーンの前記既知の情報との予想される相互作用から、結果として生成される物体の３次元画像を計算するステップと、
前記結果として生成される３次元画像と、所望の３次元画像とを比較するステップであって、それによって誤差の程度を得る、比較するステップと、
前記誤差が所定の閾値に達するまで前記平坦な画像を調整するステップと
によって動作し、前記振幅情報を計算する請求項１０に記載の物体の３次元画像を生成するためのシステム。
前記振幅情報を計算するための前記ステップは、ニューラルネットワークを用いて実行される請求項１８に記載の物体の３次元画像を生成するためのシステム。
前記ディスプレイ制御システムはさらに、前記３次元画像の観察者の空間的な位置づけを検出するための手段を備え、前記計算装置は、前記生成された平坦な画像を調整するようになっており、前記観察者が前記物体の前記３次元画像を知覚できるようにする請求項１０に記載の物体の３次元画像を生成するためのシステム。