JP2005110010A - 立体画像生成方法および立体画像表示装置 - Google Patents

Abstract

【課題】 立体画像を効率良く生成することを可能にする。
【解決手段】 三原色情報からなる画素データを有する複数枚の異なる視点から生成された視点画像を入力し、２次元画像を表示する表示画面の画素を構成するカラー画素ドットの配列情報に基づいて、前記各視点画像における前記三原色情報の一部を合成し、前記表示画面の画面水平方向に隣接する前記カラー画素ドットに、異なる前記視点画像の前記三原色情報を割り当て、立体画像が表示される空間の水平方向に複数の異なる視点画像情報を含む立体画像を生成することを特徴とする。
【選択図】 図１

Description

本発明は、眼鏡を使用しなくても立体像を視認可能な多視点型の立体画像表示方式における立体画像生成方法および立体画像表示装置に関する。

二次元画像を表示する画像表示素子を用いて立体画像を表示する手法として、多数の視線方向からの画像を画像表示面に合成表示し、観測者の視点位置に応じて対応する画像を選択的に視認させる光学的画像選択手段を設けた、多視点型の立体画像表示装置が提案されている（例えば、非特許文献１参照）。この表示手法は、眼鏡を用いない立体表示方式という点で優れている。観測者の視点に応じて対応する画像を選択的に視認させる原理は、光学的に画像を選択する手段としてスリット、ピンホール、あるいはレンチキュラーレンズなどのレンズアレイからなる光線方向限定素子を用いて、観測者の視点から視認できる画素を限定することによる。光線方向限定素子と画像表示素子の幾何学的寸法、相対位置を適正に設定し、画像表示素子における各画素から出射して光線方向限定素子の開口部を通過する光線方向に対応する単位情報を各画素に割り当てることによって、複数の異なる視点から観測した画像情報を含む立体画像が表示可能となる。ここで、ある視点から所定の方向を観測した場合に得られる画像を「視点画像」と定義する。上述の立体画像は複数の視点画像を含んでいるといえる。

上記方式の立体画像表示方法は、その表示原理からインテグラルフォトグラフィ方式、あるいはイ ンテグラルイメージング方式と呼ばれるものである。また、インテグラルフォトグラフィ方式の中で、複数設けられた観測者の視認位置に光線が集中する条件の表示方式を特に多眼式という。左右両眼の２視点情報しか含まない二眼式との対比でインテグラルフォトグラフィ方式全般を広義の（眼鏡無し）多眼式という場合や、インテグラルフォトグラフィ方式と上述の条件における多眼式を別方式として扱う場合もあるが、本明細書では多眼式はインテグラルフォトグラフィ方式に包含されるものとして、インテグラルフォトグラフィ方式に一括して扱う。

インテグラルフォトグラフィ方式における立体画像は、視点画像を複数枚単位情報毎に組み合わせ、空間的に並置した表示画像となっている。複数の視点画像情報を並置する方向としては、画面水平方向と垂直方向の二方向とする場合と、画面の水平方向のみとする場合がある。複数の視点画像情報を水平垂直方向に与える方式を指してインテグラルフォトグラフィ方式という場合もあるので、画面の水平方向のみに複数視点画像情報を与える方式を特に一次元インテグラルフォトグラフィ方式などとして区別する場合もある。

こうして生成された立体画像は、光線方向限定素子の構成単位毎に異なる視点位置（視線方向）の単位情報が順次割り当てられている。この光線方向限定素子の構成単位に割り当てられる視点位置（視線方向）１周期分から構成される画像を要素画像という。即ち、立体画像は複数の要素画像（要素画像群）から構成されている。

一方、カラー表示可能な画像表示素子の一画素は、通常加法混色の原理に基づき、三原色、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画素ドットから構成されている。各要素画像において、視点画像情報が割り当てられた単位情報の組を稠密に配置するほど、視点の移動距離、即ち単位視角あたりに含まれる画像情報を多く含むことが可能となるために立体画像の表示品位が向上するので、視点画像情報の割り当て単位を画素単位ではなく、画素ドット（カラー画素ドット、サブピクセル）単位とする方法が提案されている（例えば、特許文献１参照）。

画像表示素子と光線方向限定素子の関係によって与えられる光線の方向は、原理的に任意に与えることが可能であるが、視点を離散的に設定し、視点に光線が集中するように設定するか（狭義の多眼式）、あるいは光線方向を平行に設定するのが立体画像生成効率の点から好ましい。視点画像は、光線方向の関係から前者の場合透視投影像、後者の場合平行投影像を用いることが適当である。光線方向を平行に設定した設計において、視点画像の組を画面内の表示位置によって変更することで、より適正な視域を与える方法が提案されている（例えば、特許文献２参照）。
H. Hoshino, F. Okano, H. Isono and I. Yuyama "Analysis of resolution limitation of integral photography", J. Opt. Soc. Am, A15 (1998) 2059-2065. 特願２００２−９７０４８号 特願２００２−３８２３８９号

従来の方式に基づく立体画像は複数の視点画像の合成により生成されるため、原理的に立体画像の生成所要時間が長くなる。もしくは並列処理手法が必要となり、画像生成コストが高いという課題がある。

本発明は上記事情を考慮してなされたものであって、立体画像を効率良く生成することのできる立体画像表示装置を提供することを目的とする。

本発明の第１の態様による立体画像生成方法は、三原色情報からなる画素データを有する複数枚の異なる視点から生成された視点画像を入力するステップと、２次元画像を表示する表示画面の画素を構成するカラー画素ドットの配列情報に基づいて、前記各視点画像における前記三原色情報の一部を合成し、前記表示画面の画面水平方向に隣接する前記カラー画素ドットに、異なる前記視点画像の前記三原色情報を割り当てるステップと、を備え、立体画像が表示される空間の水平方向に複数の異なる視点画像情報を含む立体画像を生成することを特徴とする。

また、本発明の第２の態様による立体画像生成方法は、三原色情報からなる画素データを有する複数枚の異なる視点から生成された視点画像を入力するステップと、２次元画像を表示する表示画面の画素を構成するカラー画素ドットの配列情報に基づいて、前記各視点画像における前記三原色情報を、対応する色情報を表示する前記カラー画素ドットに対して前記表示画面の画面略垂直方向に割り当て、かつ前記表示画面の画面水平方向に隣接する前記カラー画素ドットに、異なる前記視点画像の前記三原色情報を割り当てるステップと、を備え、立体画像が表示される空間の水平方向に複数の異なる視点画像情報を含む立体画像を生成することを特徴とする。

なお、前記割り当てるステップは、要素画像幅と前記カラー画素ドットのドットピッチの比に基づいて、前記各視点画像における前記三原色情報を、前記カラー画素ドットに割り当てるように構成してもよい。

なお、ｎを３以上の自然数とするとき、前記複数枚の各視点画像を前記表示画面の画面水平方向及び垂直方向に各々ｎ倍するステップを含むように構成してもよい。

なお、ｎを３以上の自然数とし、ｍを正の整数とし、ｓを０≦ｓ≦２なる整数としてｎ＝３×ｍ＋ｓとするとき、前記複数枚の各視点画像を水平方向にｎ倍するステップと、前記各視点画像を垂直方向に３×ｍ倍し、垂直方向にｓラインの水平方向にｎ倍された前記画素データを３ライン毎に付加するステップを含むように構成してもよい。

なお、前記カラー画素ドット配列がストライプ配列であってもよい。

なお、前記カラー画素ドット配列がモザイク配列であってもよい。

なお、前記複数枚の視点画像を生成するステップを更に含むように構成してもよい。

なお、前記複数枚の視点画像は、平行投影により生成してもよい。

なお、前記複数枚の視点画像は、透視投影により生成してもよい。

なお、前記複数枚の視点画像を生成するステップは、前記各視点画像の生成時に注視点と視点の平行移動を伴う複数回の幾何学的変換を行なうステップを含むように構成してもよい。

また、本発明の第３の態様による立体画像表示装置は、カラー画素ドットが複数個配列された画像表示素子と、前記画像表示素子の前方あるいは後方に設置され、前記画像表示素子から出射もしくは前記画像表示素子に入射する光線方向を限定する光線方向限定素子と、前記画像表示素子のカラー画素ドットの配列情報に基づいて、三原色情報からなる画素データを有する複数枚の異なる視点から生成された視点画像における前記三原色情報の一部を合成し、前記画像表示素子の画面水平方向に隣接する前記カラー画素ドットに、異なる前記視点画像の前記三原色情報を割り当て、立体画像が表示される空間の水平方向に複数の異なる視点画像情報を含む立体画像を表示するように前記画像表示素子を駆動する画像表示素子駆動手段と、を備えたことを特徴とする。

また、本発明の第４の態様による立体画像表示装置は、カラー画素ドットが複数個配列された画像表示素子と、前記画像表示素子の前方あるいは後方に設置され、前記画像表示素子から出射もしくは前記画像表示素子に入射する光線方向を限定する光線方向限定素子と、前記画像表示素子のカラー画素ドットの配列情報に基づいて、三原色情報からなる画素データを有する複数枚の異なる視点から生成された視点画像における前記三原色情報を、対応する色情報を表示する前記カラー画素ドットに対して前記表示画面の画面略垂直方向に割り当て、かつ前記表示画面の画面水平方向に隣接する前記カラー画素ドットに、異なる前記視点画像の前記三原色情報を割り当て、立体画像が表示される空間の水平方向に複数の異なる視点画像情報を含む立体画像を表示するように前記画像表示素子を駆動する画像表示素子駆動手段と、を備えたことを特徴とする。

なお、要素画像幅と前記カラー画素ドットのドットピッチの比に基づいて、前記画像表示素子の画面水平方向に複数の異なる視点画像情報を含む立体画像を表示してもよい。

なお、前記画像表示素子が、液晶ディスプレイパネルであってもよい。

なお、前記光線方向限定素子が、複数のスリット開口部を有するスリットアレイであって、前記スリット開口部の長辺方向が前記画像表示素子の画面垂直方向となるように構成してもよい。

なお、前記光線方向限定素子が、前記画像表示素子の画面垂直方向に稜線を有するレンチキュラーレンズアレイであって、前記画像表示素子の前方に設置されているように構成してもよい。

本発明によれば、立体画像を効率良く生成することができる。

まず、本発明の実施形態を説明する前に、本発明の立体画像生成方法および立体画像表示装置に関連する各構成要素の関係について複数の例を交えて詳述する。

（立体画像表示装置の基本構成、原理）
図３０は、本発明に関わる立体画像表示装置の基本構成を示した図である。２次元平面状に複数配列されたカラー画素ドットを備え、カラー画像を表示可能な画像表示素子４０１と、カラー画素ドットから出射する光線方向を限定することにより、水平方向の視認可能な角度を制限する光線方向限定素子４０２から構成される。

画像表示素子４０１は画面内のカラー画素ドットの位置ずれが光線の出射方向に大きく影響することから、２次元上に画素ドットがマトリクス配列された、所謂フラットパネルがＣＲＴ、プロジェクターよりも好ましく、そのような表示方式として非発光型の液晶パネル（ＬＣＤ）、発光型のプラズマディスプレイパネル（ＰＤＰ）、有機ＥＬ（エレクトロルミネッセンス）パネルなどが挙げられる。光線方向限定素子４０２は画面垂直方向に母線を有するレンチキュラーレンズ、あるいはスリットが使用可能である。後述するが、画面水平方向に光線方向を限定するのが目的であるので、必ずしも画面の上下（列方向）全面に渡りレンチキュラーレンズの母線あるいはスリット開口部が連続的に直線状の形状をしていなくても良く、カラー画素ドット配列に適するように列方向に対して１ラインあるいは数ライン毎の断続的な直線で形成されていても構わない。

図３１にこれら画像表示素子４０１と光線方向限定素子４０２の配置の前後関係を示す側面図を示した。非発光型であるＬＣＤにおいて、背面にバックライトを有し照明を行なう透過型では、バックライトとＬＣＤ間にスリットからなる光線方向限定素子４０２を配置することが可能である（図３１（ｃ））。この他に非発光型とバックライトを一体と見なし、発光型と同一視すれば、大別して画像表示素子４０１の前面にスリット３００３を設けた図３１（ｂ）、（ｄ）構造と、画像表示素子４０１の前面にレンチキュラーレンズ３００４を設けた図３１（ａ）、（ｅ）構造に分類される。

（多眼）
上記構造を有する立体画像表示装置において立体画像が表示される原理を図３７に示す。図３７は、画像表示素子４０１の前面にスリット３００３を設けた図３１（ｂ）、（ｄ）構造を用いて、５箇所の視点２００５を設けた多眼（５眼）型立体画像表示装置の上面図である。簡単のため、カラー画素ドット３６０１はストライプ配列をしているものとする（後述）。カラー画素ドット３６０１は前面に設けられたスリット３００３の開口部３００４越しに観察することになるため、各カラー画素ドットの観測可能な方向は光線３６０６で示したようなごく狭い範囲に限られる。ここで、図から明らかなように、スリット３００３の開口部３００４のピッチ及びスリット３００３とカラー画素ドット３６０１間距離を適正に設定することにより、カラー画素ドットを出射する光線が観測者の視点２００５に数画素ドット（ここでは５ドット）毎に集光するような条件とすることができる。そこで、視点画像を番号０〜４で示される５種類の画像を各カラー画素ドットにおいて表示することにより、視点２００５において対応する画像Ｐｖ（０）〜Ｐｖ（４）を視認することができる。視点画像間に適正な視差を設け、観測者の右眼と左眼を異なる視点２００５に配置することで、立体画像を視認することが可能となる。

レンチキュラーレンズ３００４を用いて図３７と同様な構成とした例を図３８に示す。図３８では原理を説明するためレンチキュラーレンズを単レンズの集合体として模式的に示している。図３８（ｂ）に示すように、レンチキュラーレンズ３００４の焦点をカラー画素ドット上に設けることで、カラー画素ドットを出射する光線は平行光として出射するため、スリットを設けた場合と同じような光線方向を限定することが可能となる。

図３９はスリット３００３をカラー画素ドット３６０１の背面に設置した例である。バックライト３００５の照明光をスリット３００３の開口部３００４で角度を限定しておき、所定の条件でカラー画素ドット３６０１を照明することで同様な立体画像表示装置が構成できる。

（インテグラルイメージング）
これまで述べた多眼式においては、視点に対して光線を集光させた設計となっているが、特に視点位置に光線を集光させなくても立体画像を表示することは可能であり、一般にインテグラルフォトグラフィ方式、インテグラルイメージング方式といわれる。この場合、光線方向に対して特に規定しなくてはならない条件は無いが、光線方向限定素子のピッチをカラー画素ドットピッチの整数倍、即ちカラー画素ドットの組のピッチに等しくして、平行な光線群で構成するのが視点画像の作成において実用上効率的である。そのような例を図２４に示す。本構成では、任意の視点位置に対して入射する光線群の集合体として画像が表示されるため、視点画像と視認される画像は１対１の関係にはない。すなわち、複数の視点画像の一部が合成されて一つの視差画像として観測者には認識される。

（画像表示素子におけるカラー画素ドットの配列に関して）
画像表示素子４０１におけるカラー画素ドットの配列情報は、画素の形状とカラー画素ドットの並び方により規定される。画素の形状は、カラー画素ドットの水平方向と垂直方向の寸法比を１：３とし、ＲＧＢ３色のカラー画素ドットを１画素として水平方向に並べた形状が一般的である。この１画素を格子状に２次元的に並べたものをストライプ配列という。ここで、カラー画素ドットの色の順序を入れ換えなければ、画像表示素子の行方向（水平方向）にＲ、Ｇ、Ｂ、Ｒ、Ｇ、Ｂ・・・の順でカラー画素ドットが並び、列方向（垂直方向）には同色のカラー画素ドットが並ぶことになる。この配列が画像表示素子のカラー画素ドット配列情報として最も一般的な縦ストライプ配列である。縦ストライプ配列の例を図３２に示す。

ストライプ配列において、行方向（水平方向）のカラー画素ドットの色配列を縦ストライプ配列と同様にし、行方向に隣接するカラー画素ドット間で異なる色を配列させ、且つ３行１列のカラー画素ドットの組に対してもＲ、Ｇ、Ｂの３原色の組が得られるようにすることも可能である。図３４にストライプ配列、モザイクカラー画素ドット配列の場合の例を示す。

３行１列のカラー画素ドットの組を１画素として、同一行に同色のカラー画素ドットを配置しても良い（横ストライプ配列）。寸法比を１：３に設定した場合、１画素は正方画素形状にはならないが、行方向のドットピッチを細かく設定することが可能なため、視点画像を稠密に配置できる、すなわち出射光線を稠密にすることが可能になるため立体画像表示装置の画像表示素子としては好適である。横ストライプ配列の例を図３３に示す。

更には、列方向の画素配置をカラー画素ドットピッチ以下の範囲で水平方向にずらした配列も可能である。１／２ピッチずらした配列はデルタ配列であり、図３５にデルタ配列の例を示す。なお、一般にデルタ配列ではカラー画素ドットを正方形状とする場合が多いが、ここでは先に述べたように、垂直方向よりも水平方向にカラー画素ドットを稠密に配置する必要から寸法比１：３の例を示した。

上記の例では、カラー画素ドット位置が等しい奇数行、偶数行では画面垂直方向に同色のカラー画素ドットが配列しているが、この配列を先に述べたモザイク配列と同様に３行１列のカラー画素ドットの組に対してＲ、Ｇ、Ｂの３原色の組が得られるようにすることも可能である。このようなデルタ配列、モザイクカラー画素ドット配列の例を図３６に示す。

（画素配列と光線方向限定素子の関係）
以上述べた画像表示素子の配列構造と、光線方向限定素子について、画面内における関係について詳述する。簡単のため、色配列に関する情報は省略する。

ストライプ配列を有する画像表示素子の前面に、スリットの光線方向限定素子を配置した図３７の構成において、表示画面を見た例を図４２に示す。図４２においては、画面垂直方向に直線状に開口部３００４を有するスリットを用いることにより、視点画像番号３６０２の２番に相当する画像情報を表示したカラー画素ドットが視認される。視点位置を画面と平行方向に移動させることで、異なる視点画像が視認される。

図４３は、開口部を列方向に対して１画素ドットピッチずらした形状のスリットを設けた例である。カラーフィルタ配列を考慮して適当なスリット形状を選択することにより、同一列内だけでなく異なる列において同一の視点画像番号を割り当てることが可能となる。

図４４、図４５はカラー画素ドット配列あるいはスリットの開口部位置をカラー画素ドットの１／２単位でずらすことによって、光線の出射方向を２行に渡って設けた例である。図４４上段及び図４５はストライプ配列にスリットのピッチを１／２ずらした例、図４４下段はデルタ配列に直線開口スリットを組み合わせた例である。視点を画面平行、水平方向にずらすことにより、奇数行と偶数行の２行に渡って視点画像番号がずれていくことが判る。上記例ではカラー画素ドットの水平ピッチに対して１／２ずらした例であるが、１／ｎずらすことによりｎ行に渡って光線方向を分散させることも可能なことは明らかである。このような構成をとることによって、画像の垂直解像度は劣化するが、光線方向が複数行に分散されることで稠密にする、あるいは視点移動に対して画素開口部とブラックマトリックスの表示が面内に分散されるのでモアレを低減する効果が得られる。

以上、スリットを用いた例を示したが、原理上レンチキュラーレンズを用いた場合でも同様なことは明らかである。

（視点画像の生成に関して）
視点画像は立体画像を表示する際、視差情報を正しく反映していることが必要である。視点画像はカメラ、あるいはＣＧ空間における仮想カメラにより撮影された撮影画像から構成される。

図１９に、（仮想）カメラ２００１のパラメータを示す。撮影画像生成には、カメラ撮影位置となる視点２００５を設定し、撮影基準面２０２を決定して、撮影基準面上に注視点２０４を設定する。

図２０に図３７〜図３９の多眼方式における構成に対応するカメラの各パラメータを示した例を示す。図３７〜３８の立体画像表示装置における光線３６０４の分布形状から、観測者の視点がカメラの視点に相当し、注視点２００４は立体画像表示装置の画面中心、撮影基準面２００２が光線方向限定素子の瞳位置となるのが分かる。また、撮影画像２００６が視点画像に一意に対応している。カメラは透視投影で撮影、あるいはＣＧレンダリングすることになる。カメラ２００１は撮影基準面２００２に対して正対し、カメラ位置は水平にシフトする。

図２０と図３７の関係をより直接的に示した例を図２３に示す。カメラ２００１の撮影像面２３０１に、５つの視点において撮影画像２００６、Ｐｃ（０）〜Ｐｃ（４）が透視投影により撮影される。撮影画像を構成する画素ドット情報が、カラー画素ドット３６０１上のどの位置に対応するかは、光線３６０６の軌跡によってその対応関係が明示されている。各カメラ位置での撮影画像２００６、Ｐｃ（０）〜Ｐｃ（４）のは、カラー画素ドット上における視点画像１０４、Ｐｖ（０）〜Ｐｖ（４）の組に一対一に対応しており、各視点画像の画素ドット情報はスリット３００３毎に１画素ドットずつ分散して割り当てられる。また、スリット３００３の１つの開口部３００４に対して割り当てられた複数の視点画像からなる画素ドット情報は、要素画像２３０３と呼ばれる画像単位を構成する。こうして、カラー画素ドット３６０１に割り当てられた立体画像情報は、カメラの撮影画像に相当する視点画像から要素画像が構成され、複数の要素画像からなる要素画像群として構成される。

図２１は、より一般的なカメラを用いて画像撮影を行なう例である。カメラ２００１を撮影基準面２００２に対して正対させ、撮影基準面に対して平行に移動させると、注視点２００４はカメラの視点移動に伴い平行移動する。そこで、広角なカメラを用いて図２１に従い撮影を行ない、立体画像表示装置の表示面に相当する範囲２２０１に相当する画像情報のみ切り出し、視点画像とする。

一方、インテグラルイメージング方式において平行光線群を用いた構成における（仮想）カメラの撮影方法は、図２４における光線の出射分布から、平行投影、即ち撮影距離無限遠で撮影することが歪みを避けるためには必要である。実際のカメラ撮影において視距離無限遠で撮影することは難しいが、ＣＧ空間における仮想カメラのレンダリングでは容易である。

更に、インテグラルイメージング方式において、撮影画像と立体画像の関係をより直接的に示した例を図２５に示す。カメラ２００１における撮影方法は、平行投影である以外は基本的に多眼の場合である図２３と同様である。

図２５では、撮影距離が無限遠の条件であるから、撮影画像と視点画像は一対一に対応しており、撮影画像に割り当てられた番号と視点画像番号に割り当てられた番号の対応関係は全ての要素画像において同一である。一方、有限の撮影距離では、撮影画像を視点画像数よりも多く撮影しておくことにより、立体画像が視認できる範囲、視域を拡大することが可能である。図２７に、１要素画像中における視点画像数５、撮影画像数９の場合における対応関係の一例を示す。カラー画素ドット３６０１の組とスリット３００３の開口間隔は等ピッチのため、光線３６０６の出射分布は互いに平行光線となっている。ここで、０〜４までの視点画像番号３６０２で表わされた５つの視点画像を割り当てるカラー画素ドットの組を、画面の水平位置に応じてずらしていくことにより、スリット開口部と該開口部を介して視認するべきカラー画素ドットの位置関係を透視投影的な関係とすることが可能である。そこで、各光線の出射方向に対応する、０〜８の撮影画像番号２６０１で表わされる撮影画像のうち５つの画像を、各視点画像番号に対して割り当てることにより正しい立体画像を視認することができる。このときの視域２７０１を図２８に示す。撮影画像と視点画像の数が等しい場合に比べて、視域が広がっていることが分かる。なお、このとき視点画像の数はカラー画素ドットをずらしていく必要から、ところどころ６に増加している。

以上述べたように、撮影画像と視点画像が１対１に対応しない場合があるので注意を要する。本明細書中ではカラー画素ドットに割り当てるべき画像を視点画像とよび、撮影画像と区別して扱う。

以下、本発明の実施形態を図面を参照して詳細に説明する。但し、本発明の構成は以下に述べる実施形態にとどまるものではなく、本発明の実施形態および実施例において述べた構成の各部をさまざまに組み合わせた形態をとることが可能であることはいうまでもない。また、説明の簡略化のため、複数の図に渡って同一部材については同一の番号を付与した。

（第１実施形態）
本発明の第１実施形態による立体画像生成方法の基本構成を図１に示す。この立体画像生成方法は、Ｐｉ（０）〜Ｐｉ（４）で示された５種類の視点画像１０４の組を入力するステップ１０１を有し、カラー画素ドット配列情報１０５に基づいてＰｏで示された立体画像１０６を生成するステップ１０２を経て出力するステップ１０３を有している。カラー画素ドット配列情報１０５とは、カラー画像情報を表示するための画像表示素子における３原色カラー画素ドット、即ち、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラー画素ドットの配列順を示した情報を指す。

立体画像生成ステップ１０２においては、視点画像１０４を構成するドット毎の三原色情報の一部、あるいは全部を組み合わせ、カラー画素ドット配列情報１０５を参照して所定のフォーマットに従い立体画像を生成する。本ステップにおいては、特に図示しないが視点画像の付加情報（視点画像間の関係を明示する視線方向、撮影もしくはＣＧ生成条件、あるいはこれら条件に即した整理番号、ファイル名）や、立体画像表示装置における光線方向限定素子の追加情報（ピッチや角度、画像表示素子との取り付け位置関係を表わす情報）を更に参照して立体画像を生成する場合もあり得る。即ち、立体画像表示装置の画像表示素子における各カラー画素ドットの色情報と、上記画素ドットがどの方向に視認可能か、更に観測者が視認する方向と各視点画像の対応関係が正しく規定できていれば良く、これら情報が生成ステップ１０２において明示的に参照されているかどうかは問わない。例えば、視点画像の入力ステップ１０１において、シーケンシャルに指定された視点画像の順番が視線方向の順序を規定するようにと取り決めておき、カラー画素ドット情報に従って固定的に組み合わせれば良い。

視点画像とカラー画素ドット情報の関係など本実施形態の構成要素、立体画像生成の具体的手法については後述する。

（第２実施形態）
図２は本発明の第２実施形態による立体画像生成方法の構成を示した図である。本実施形態は、第１実施形態に加えて視点画像を生成するステップ２０１を含む立体画像生成方法であることを特徴とする。視点画像生成の詳細な手法については後述するが、カメラなどの撮像手段、あるいは３次元モデルを元にしたＣＧレンダリングによる計算により実現される。

（第３実施形態）
図３は本発明の第３実施形態による立体画像生成方法の構成を示した図である。本実施形態は第１実施形態において生成された立体画像１０６を立体画像記録手段３０２に保存する、立体画像保存ステップ３０１を含むことを特徴とする立体画像生成方法である。本実施形態においては、例えば、既存の視点画像情報をストリーム形式で変換し保存する変換ツールが可能となる。また、放送などにより配信される映像情報を立体画像に変換記録する映像記録装置、第２実施形態との組み合わせにより視点画像の撮像、生成手段を含む記録、例えば立体撮像カメラなどが実現可能となる。

（第４実施形態）
図４は本発明の第４実施形態による立体画像表示装置の構成を示したブロック図である。本実施形態は第１実施形態により生成された立体画像１０６を、画像表示素子駆動手段４０３により画像表示素子４０１に表示させることで立体画像表示を行う立体画像表示装置である。立体画像表示装置は後述する光線方向限定素子４０２を備え、画像表示素子４０１に表示された立体画像１０６を、光線方向限定素子４０２を介して観測することで、立体画像を観測することが可能となる。本実施形態においては、立体画像生成する際に参照するカラー画素ドット配列情報１０５は画像表示素子４０１に対応したものであり、ディスプレイドライバのように、ケーブル接続によって画像表示素子４０１と光線方向限定素子４０２の変更によりカラー画素ドット配列情報１０５が更新されるようにしても良い。また、特に図示しないが光線方向限定素子４０２のみの交換、表示状態の変化に対応できるように、光線方向限定素子に関する情報を立体画像生成する際に参照する場合もある。また、ここでいうカラー画素ドット配列情報１０５には、後述する要素画像幅とカラー画素ドットピッチの比に関する情報（あるいはそれに等価な情報）を含んでいても良い。

以上述べた実施形態に基づき、本発明の立体画像生成方法、立体画像表示装置の実施例について以下述べる。

（実施例１）
図６は、本発明の立体画像生成方法の実施例１の構成を示すフローチャートであって、立体画像生成ステップ１０２の具体的な処理フローを示している。本実施例においては、各視点画像サイズと生成される立体画像サイズがほぼ等倍であり、視点画像に含まれる１画素のカラー情報の一部のみを用いて立体画像を合成することを特徴としている。

本実施例において想定している、画像表示素子はストライプ配列、モザイクカラー画素ドット配列を有しており、図４２に示した列方向に同一視差を有するような光線方向限定素子の組み合わせを考える。Ｐｉで示される視点画像１０４の画像フォーマットは、図５に示すように、画素の位置を示す（ｘ，ｙ）座標と（図５左）、各座標におけるＲＧＢ三原色情報から構成されている（図５右）。画像サイズをＳＸＧＡ（１２８０×１０２４）とし、各視点画像について、画像情報を書き下すと図７に示すようになる。正方格子で囲まれた部分が１画素を示し、上から視点画像番号、画面内座標、カラー情報を表わす。カラー情報においてＲＧＢと記載されている場合、三原色情報を該画素について全て保持していることを指す。

図６によれば、各視点画像を順次１ライン毎に読み込み、予め取得したカラー画素ドット配列情報を参照しながら必要とする画素情報をフィルタ処理により判別し、立体画像生成用のフレームバッファに出力する。カラー画素ドット配列情報がストライプ配列、モザイクカラー画素ドット配列であり、視点画像番号はカラー画素ドット毎、水平方向に割り当てられ、同一列は同じ視点画像番号を有するから、各視点画像において採択される画素情報は図８に示すようになる。×印は立体画像に全く採用されなかった画素を表わす。ここで、各画素において、最早、カラー情報を全て保持しておらず、例えば視点画像番号１の０行０列画素ではＲ情報しか保持していない。即ち、各画素において色が破綻しているということに注意を要する。例えば、列方向の画素ドットピッチで規定されるナイキスト周波数成分に近い周波数をもつ画像情報を表示した場合、色が破綻して色滲みを生じることになる。しかしながら、水平方向のみに視差情報を付与する立体画像表示装置では水平解像度が垂直解像度に対して著しく劣っている（本実施例では視点画像数５であるから、垂直解像度は水平解像度に対し５／３倍である）ため、実用上はそのような色破綻の症状が認識されることは稀である。

図９に、画像表示素子のカラー画素ドットに対してマッピングされた立体画像情報を示す。本実施例は単純なアルゴリズムであるため、視点画像の組から高速に立体画像を生成することが可能である。特に、視点画像が既存で且つ立体画像サイズと同サイズの場合に好適である。

（実施例２）
図１０は本発明の画像生成方法による実施例２における処理フローを示した図である。本実施例は視点画像サイズを水平、垂直方向に等倍拡大処理を行なうことにより、視点画像の画像情報を効率的且つ高速に画面垂直方向に割り当てるステップを有することを特徴としている。例えば、立体画像サイズをＳＸＧＡ、視点画像サイズを水平垂直方向１／３の４２７×３４２画素で与えられているとする。視点画像数を９とすると、カラー画素ドット毎に視点画像番号が割り当てられるため、視点画像を３倍に展開しても立体画像には同一画素情報が採択されることはない。図１２に視点画像を３×３倍に拡大した様子を示す。立体画像の座標において、（０，０）から（２，２）までの画素に同一の画素情報が割り振られるが、このうち、立体画像に採用される画像情報は画素ドットの第１列のみであり、あとは破棄されるためデータの重複は生じない。更に、カラー画素ドット配列情報が図１３に示すようにモザイク配列の場合は視点画像が保持しているＲＧＢカラー情報を画面垂直方向に並び替える、という効果も得られる。

図１０に従えば、実施例１と同様、視点画像を順次入力し、ライン毎に水平、垂直方向に拡大処理を行ない、フィルタリング操作によって立体画像が生成できる。なお、フレーム処理でも構わないが、ライン毎の処理であればラインバッファを確保するだけで済むので、メモリを削減できる。図１１に視点画像、図１３に画像表示素子のカラー画素ドットに対してマッピングされた立体画像情報を示す。

本実施例においては、視点画像サイズと立体画像サイズが予め与えられていたが、第２実施形態の視点画像生成ステップを有する場合においては、視点画像数と立体画像サイズから、撮影（生成）すべき最適な視点画像サイズを選択することが可能となる。

（実施例３）
図１４は本発明の立体画像生成方法の実施例３における処理フローを示した図である。本実施例は、実施例２の構成に所定のライン毎に補間処理を備えたことを特徴とする。例えば、ｎを３以上の自然数とし、視点画像サイズが立体画像サイズに対して１／ｎ×１／ｎサイズとなっているとき、視点画像サイズを水平方向にｎ倍し、垂直方向にｎ＝３×ｍ＋ｓ（ここで、ｍは自然数、ｓは０≦ｓ≦２の整数）で表わされるとき、垂直方向に３ｍ倍し、更にｓラインを補間により追加する処理フローを有している。

このような処理フローを用いることで、視点画像の拡大倍率が３ｍ以外の場合に、上下ライン間の不整合を低減することが可能となる。特に、カラー画素ドット配列情報がモザイク配列の場合、垂直方向３ライン毎にＲＧＢの組が出現するので、３ｍ以外の場合に色情報が破綻するという場合が生じる。この問題を補償するのに本実施例は好適である。図１５に、ｎ＝４、ｍ＝１、ｓ＝１として、水平方向に４倍し、垂直方向に３倍して１ラインを補間ラインとして付加する例を示した。なお、ライン補間のステップにおいて、階調特性が変化しないよう非線形量子化された画素情報を線形量子化するステップを含んでいる。

以上説明したように、実施例１乃至実施例３を適宜使用することで、特に第２実施形態のように視点画像を生成するステップを含む立体画像表示方法において、任意の視点画像数に対して最も効率の良い視点画像サイズを選択することが可能である。図１６は、視点画像数９、立体画像サイズをＳＸＧＡとして、視点画像数の倍率（１／ｎのｎを縮小率として示した）に対して各視点画像の採択率と補間率を表に示した。ここで、採択率とは各視点画像において、立体画像に採用される画素情報数の割合（＞１００％の場合、同一の視点画像情報が立体画像情報の異なる座標位置に複数回採択されることを示している）、補間率とは視点画像情報から補間により新たに生成される画素情報数の割合である。図１６の場合、縮小率３において、視点画像の情報を全て採択し、補間が生じないため、最も効率が良いことが分かる。

図１７に、視差数（視点画像数）を６，９，１５，２１，２７とした場合の視点画像の縮小率と採択率の関係、図１８に補間率のグラフを示す。立体画像生成のステップにおいては、採択率が１に近く、補間率が０に近い条件となる視点画像サイズを選択することが最も望ましい。なお、上記の採択率、補間率は視点画像が画像表示素子の全面に渡って固定的に割り当てられる場合（多眼式、通常のインテグラルイメージング）に成り立つ。視域を最適化した図２７、図２８に示すインテグラルイメージング方式においては、画像表示素子の一部の領域にのみ視点画像が採択される場合が生ずるので値は多少変化する。更に、上記実施例はストライプ配列、モザイクカラー画素ドット配列の場合についてのみ述べたが、その他のカラー画素ドット配列、垂直方向に視点画像番号の割当てが変化する図４３のような構成においても、その構成に適したカラー画素ドット配列情報と視点画像の割当てを採用しフィルタリング処理することで、同様の効果が得られることは明らかである。

（実施例４）
ところで、本発明では平行投影により立体画像を表示するインテグラルイメージング方式と、透視投影により立体画像を表示する多眼方式の２種類、更に光線方向限定素子としてレンズとスリットの２種類をそれぞれ扱っているが、立体画像を生成するにあたり、入力の視点画像を平行投影とするか透視投影とするか以外には生成方法を区別する必要は無い。光線方向限定素子が画像表示素子に対して前後どちらにあるかと、要素画像幅とカラー画素ドットのドットピッチの比あるいはそれに等価な情報（例えば要素画像の幅及び画素ドットピッチの情報など）があれば、統一されたステップにより立体画像を生成することが可能である。

本実施例では、まず要素画像幅と観察条件の関係を説明し、インテグラルイメージング方式と多眼方式における要素画像幅とカラー画素ドットのドットピッチの関係を示す。その後要素画像幅とカラー画素ドットのドットピッチの比から統一的に立体画像を生成するステップについて説明する。

図４０は、立体画像における要素画像幅Ｐｘ３８１１、３８１２と、光線限定素子であるスリット３００３とカラー画素ドット間距離ｇ３８１４、ｇ’３８１５及び視距離、視域など観視条件との関係を示した図である。本図ではカラー画素ドットがスリットの前にある場合と背後にある場合の２通りを同時に図示している。観測者が標準に立体画像を観察する距離を視距離Ｌ、視距離Ｌにおいて立体画像が正常に見える範囲を視域（幅）Ｗｖとすると、図より
Ｌ／Ｗｖ＝ｇ’／Ｐ’ｘ＝ｇ／Ｐｘ （１）
Ｌ／Ｐ＝（Ｌ−ｇ’）／Ｐ’ｘ＝（Ｌ＋ｇ）／Ｐｘ （２）が成り立つ。

従って、光線方向限定素子が画像表示素子の前面にある場合、
Ｐｘ＝ＷｖＰ／（Ｗｖ−Ｐ）、 ｇ＝ＬＰ／（Ｗｖ−Ｐ） （３）
光線方向限定素子が画像表示素子の背面にある場合、
Ｐ’ｘ＝ＷｖＰ／（Ｗｖ＋Ｐ）、 ｇ’＝ＬＰ／（Ｗｖ＋Ｐ） （４）
がそれぞれ成り立つ。

図４１は、光線方向限定素子がレンチキュラーレンズである場合に、レンズ及び画像表示素子の構成部材の屈折率をｎとした場合の要素画像幅Ｐｘ３８１１と、レンズピッチＰのレンチキュラーレンズ３００４とカラー画素ドット間距離ｇ３８１４及び視距離Ｌ、視域Ｗｖなど観視条件との関係を示した図である。

図より、
ｓｉｎθ＝ｎｓｉｎθ’ （５）
ｓｉｎφ＝ｎｓｉｎφ’ （６）
２ｇｔａｎθ’＝Ｐｘ （７）
２Ｌｔａｎθ＝Ｗｖ （８）
２Ｌｔａｎφ＝Ｐ （９）
Ｐ＋２ｇｔａｎφ’＝Ｐｘ （１０）
が成り立ち、θ及びφが微小角の近軸領域を仮定すると、
Ｐｘ＝ＷｖＰ／（Ｗｖ−Ｐ）、ｇ＝ｎＬＰ／（Ｗｖ−Ｐ） （１１）
が得られる。（１１）式におけるギャップｇがレンチキュラーレンズの焦点距離に相当することは、図３８（ｂ）との対比から明らかである。

以上得られた表式から、要素画像幅Ｐｘは視距離Ｌにおける視域幅Ｗｖ及びスリットピッチあるいはレンズピッチＰから規定される量であり、光線方向限定素子の種類には関係しない量であることが分かる。また、ギャップｇについても画像表示素子及び光線限定素子の屈折率ｎと視距離Ｌ、視域幅Ｗｖから規定され、スリットを前面に配置して用いる場合においてもスリットと画像表示素子間が屈折率ｎで充填されていれば、（１１）式で規定されるギャップｇが適正な距離となる。このように、要素画像幅とギャップは観視条件から規定される量であり、視距離Ｌ、視域幅Ｗｖ（または視域角２θ）などを与えても要素画像幅の情報を与えることと等価であることが示される。

次に、要素画像とカラー画素ドットのピッチの関係は、多眼の場合カラー画素ドットピッチの整数（＝要素画像あたりの視点画像数−１）倍を要素画像幅とすることに他ならない。これは、例えば図２３において、注視点２００４におけるカメラ設置範囲と要素画像幅、同一カメラ視点において隣接するスリットへの光線開き角の関係を見れば明らかである。従って、要素画像幅とカラー画素ドットピッチの比を与えると、直ちに視点数、即ち必要とする視点画像数（＝撮影画像数）を導くことが可能である。

一方、平行光線群を用いるインテグラルイメージングの場合においては、光線方向限定素子のピッチをカラー画素ドットピッチの整数倍に設定するため、要素画像幅の値はカラー画素ドットピッチの整数倍とはならない。しかしながら、実際の観視条件とカラー画素ドットピッチの関係から、要素画像幅とカラー画素ドットピッチの整数倍のずれは非常に微小な値となる。例えば、視域幅Ｗｖ＝５００ｍｍ、ピッチＰ＝１．０ｍｍの条件において、（３）式から要素画像幅はＰｘ＝１．００２とピッチに対して僅か０．２％大きい値となる。従って、実用的には要素画像幅とカラー画素ドットピッチの比を与えることにより、比の整数値から直ちに必要な視点画像数を導くことが可能である。

以上から、要素画像幅とカラー画素ドットピッチの比を与えることで、必要な視点画像数とその配置方法に関する情報を得ることが可能である。また、必要があれば、比が整数か否かで多眼方式であるか、インテグラルイメージング方式であるかの区別を行なうことも可能である。立体画像を生成する具体的なステップとしては、必要な視点画像数が得られるので、先の実施例１乃至実施例３の手順に従って、画面中央を要素画像の基点として、画面両端に向かって順次視点画像を配置して行けば良い（要素画像幅とカラー画素ドットピッチの比が整数であるので、要素画像幅の割り当て領域と画素ドットの位置にずれは生じない）。

また、インテグラルイメージング方式においては、要素画像幅とカラー画素ドットピッチの比の整数値情報のみを使用すれば図２４、図２５に示したような視距離無限遠の条件に相当する、視点画像と撮影画像の組が画面全体に渡って一致した立体画像が生成される。更に、端数を正しく加算処理することによって要素画像幅とカラー画素ドットの位置ずれを勘案しながら視点画像を配置していくと、端数の蓄積によって光線限定素子のスリット開口部あるいはレンズに対して割り当てられる要素画像の領域が画面端部方向に向かってずれる。従って、半画素ドット以上のずれを図２７に示すように光線方向（即ち視点画像番号）の割り当てを変更しながら要素画像の割り当て領域を画素ドットに対してシフトしていくことで、図２８に示すような視域最適化の処理も可能である。何れにせよ、多眼方式においても、インテグラルイメージング方式においても、要素画像幅とカラー画素ドットピッチの比から視点画像数を導き、画面の中央から両端に向かってカラー画素ドットに適正な視点画像を割り当てていく生成ステップは共通である。

なお、カラー画素ドットの配列が列方向に１／２画素ドットずれたデルタ構造などでは、画素ドットのシフト分を考慮して行毎に要素画像の基点を１／２画素ドットずらせば良い、ということは明らかである。また、この場合要素画像幅とカラー画素ドットピッチの比に０．５の値が含まれるが、先の例にも示したように実用的な観視条件では平行投影のインテグラルイメージング方式の構成に由来する要素画像幅とカラー画素ドットピッチの整数倍値のずれは１％以下であるので、０．５の値が含まれるかどうかをデルタ構造かどうかの判別に利用して処理を行なうことも可能である。

（実施例５）
本実施例は、第２実施形態の視点画像生成のステップに関する。図２２は、本実施例の原理を模式的に示した図である。従来においては、図２１に示すように、カメラ数（撮影画像数）が増加すると、各カメラの撮影範囲に対して撮影画像として採用できる範囲（表示範囲）の面積割合が減少する、という問題があった。図２２においては、カメラの撮影像面（フィルム面）２３０１をカメラレンズ２３０２に対して順次シフトしていることを特徴としている。このようなシフト構造を設けることで、注視点を立体画像表示範囲の中央に固定することが可能となり、結果として撮影した画像領域を無駄なく使用することが可能となる。実写の場合においては、本実施例のカメラは所謂あおりレンズ機能を有していることに相当する。なお、図２２は透視投影での撮影例を示したが、仮想カメラによる平行投影での撮影でも同様である。

（実施例６）
本実施例は、実施形態２の視点画像生成のステップに関する。図２４に示した平行光線群によるインテグラルイメージングの構成では、平行投影で撮影することが望ましいが、画面の水平方向にのみ視差を設けた立体画像表示装置において、平行投影で撮像した視点画像を用いて立体画像を表示すると、画面垂直方向も平行投影で撮影された表示となり、表示が歪むことになる。（仮想）カメラが画面水平方向に平行投影、画面垂直方向に透視投影できることが望ましいが、実写カメラでは透視投影であり、仮想カメラにおいても汎用レンダリングエンジンでは透視投影か平行投影のどちらかを選択する場合が多い。

そこで、図２６に示すように、本実施例ではカメラの撮影範囲（画角）を十分に狭くして、透視投影により部分的に撮像を複数回行ない、各撮影画像を合成することにより撮影画像を得ることを特徴とする。本実施例では、カメラを撮影基準面に正対させ、撮影基準面に対し平行に移動して撮影するステップ（図２６（ａ））と、注視点を固定し、カメラの視点を移動する（図２６（ｂ））の２つを含んでいる。仮想カメラにおいては、複数のジオメトリ変換とレンダリングの繰り返しにより上記撮影画像を得ることができる。

（実施例７）
本実施例は、実施形態２の視点画像生成のステップに関する。図４４、図４５に示した画像表示素子と光線方向限定素子の関係においては、奇数行と偶数行で光線方向が入れ子となっている。そこで、この構成に対応する実施例として、図２９に視点画像生成のカメラ配置を示した。本実施例において、視点画像数を偶数に設定することで、撮影画像の組を完全に分離することができる。例えば、撮影画像Ｐｃ（０）、Ｐｃ（２）、Ｐｃ（４）は画像表示素子の偶数行に関する視点画像の組であり、撮影画像Ｐｃ（１）、Ｐｃ（３）、Ｐｃ（５）は奇数行に関する視点画像の組である。従って、立体画像を生成するステップにおいて、奇数行と偶数行を並列処理することにより、立体画像生成効率を２倍に引き上げることが可能となる。また、カメラが仮想カメラであって、レンダリング寸法比を１：２に変更可能な場合は、垂直方向の撮影画像サイズを通常の１／２に設定し、レンダリング時間を１／２に短縮することが可能となる。

以上述べたように、本発明の実施の形態によれば、生成効率の良い立体画像生成方法及び立体画像表示装置を提供することが可能となる。

本発明の第１実施形態による立体画像画像生成方法の構成を示すブロック図。 本発明の第２実施形態による立体画像生成方法の構成を示すブロック図。 本発明の第３実施形態による立体画像生成方法の構成を示すブロック図。 本発明の第４実施形態による立体画像生成方法の構成を示すブロック図。 視点画像の画像フォーマットを説明する図。 本発明の実施例１の処理フローを示すフローチャート。 本発明の実施例１における視点画像の画像情報を示した図。 本発明の実施例１において、採択される視点画像の画像情報を示した図。 本発明の実施例１において、画像表示素子にマッピングされた立体画像を示した図。 本発明の実施例２の処理フローを示すフローチャート。 本発明の実施例２における視点画像の画像情報を示した図。 本発明の実施例２において視点画像の拡大方法と画素情報を示した図。 本発明の実施例２において、画像表示素子にマッピングされた立体画像を示した図。 本発明の実施例３の処理フローを示すフローチャート。 本発明の実施例３において視点画像の拡大方法と画素情報を示した図。 本発明の実施例１乃至実施例３において、視点画像の縮小率と採択率、補間率の関係を示した図。 本発明の実施例１乃至実施例３において、視点画像数（視差数）と採択率の関係を示した図。 本発明の実施例１乃至実施例３において、視点画像数（視差数）と補間率の関係を示した図。 カメラパラメータを説明する図。 多眼方式におけるカメラ配置と撮影画像の関係を説明する図。 多眼方式における従来のカメラ配置と得られる撮影画像の関係を説明する図。 本発明の実施例５を説明する図。 多眼方式における撮影画像、視点画像、要素画像の対応関係を説明する図。 平行光線群からなるインテグラルイメージングの光線分布を説明する図 平行光線群によって構成されたインテグラルイメージング方式における撮影画像、視点画像、要素画像の対応関係を説明する図。 本発明の実施例６を説明する図。 平行光線群からなるインテグラルイメージングにおいて、視点画像番号と撮影画像番号の対応を説明する図。 平行光線群からなるインテグラルイメージングにおいて、最適化された視域の範囲を示した図。 本発明の実施例７を説明する図。 立体画像表示装置の構成を示す図。 立体画像表示装置の構成例を示す側面図。 画像表示素子における縦ストライプ配列を説明する図。 画像表示素子における横ストライプ配列を説明する図。 画像表示素子におけるストライプ配列、モザイクカラー画素ドット配列を説明する図。 画像表示素子におけるデルタ配列を説明する図。 画像表示素子におけるデルタ配列、モザイクカラー画素ドット配列を説明する図。 スリットを画像表示素子の前面に設けた構成における多眼方式立体画像表示装置の表示原理を示す図。 レンチキュラーレンズを画像表示素子の前面に設けた構成における多眼方式立体画像表示装置の表示原理を示す図。 スリットを画像表示素子の背面に設けた構成における多眼方式立体画像表示装置の表示原理を示す図。 光線限定素子にスリットを用いた場合の要素画像と観視条件の対応関係を説明する図。 光線限定素子にレンチキュラーレンズを用いた場合の要素画像と観視条件の対応関係を説明する図。 ストライプ配列と直線状開口を有するスリットの配置と視点画像番号の関係を示す図。 ストライプ配列と階段状開口を有するスリットの配置と視点画像番号の関係を示す図。 画面垂直方向にカラー画素ドットの１／２ピッチずれた配置の例を示す図。 画面垂直方向にカラー画素ドットの１／２ピッチずれた配置の更なる例を示す図。

符号の説明

１０１ 視点画像入力
１０２ 立体画像生成
１０３ 立体画像出力
１０４ 視点画像
１０５ カラー画素ドット配列情報
１０６ 立体画像
２０１ 視点画像生成
３０１ 立体画像保存
３０２ 立体画像記録手段
４０１ 画像表示素子
４０２ 光線方向限定素子
４０３ 画像表示素子駆動手段

Claims (17)

1. 三原色情報からなる画素データを有する複数枚の異なる視点から生成された視点画像を入力するステップと、
   ２次元画像を表示する表示画面の画素を構成するカラー画素ドットの配列情報に基づいて、前記各視点画像における前記三原色情報の一部を合成し、前記表示画面の画面水平方向の隣接する前記カラー画素ドットに、異なる前記視点画像の前記三原色情報を割り当てるステップと、
   を備え、立体画像が表示される空間の水平方向に複数の異なる視点画像情報を含む立体画像を生成することを特徴とする立体画像生成方法。
2. 三原色情報からなる画素データを有する複数枚の異なる視点から生成された視点画像を入力するステップと、
   ２次元画像を表示する表示画面の画素を構成するカラー画素ドットの配列情報に基づいて、前記各視点画像における前記三原色情報を、対応する色情報を表示する前記カラー画素ドットに対して前記表示画面の画面略垂直方向に割り当て、かつ前記表示画面の画面水平方向の隣接する前記カラー画素ドットに、異なる前記視点画像の前記三原色情報を割り当てるステップと、
   を備え、立体画像が表示される空間の水平方向に複数の異なる視点画像情報を含む立体画像を生成することを特徴とする立体画像生成方法。
3. 前記割り当てるステップは、要素画像幅と前記カラー画素ドットのドットピッチの比に基づいて、前記各視点画像における前記三原色情報を、前記カラー画素ドットに割り当てることを特徴とする請求項１または２記載の立体画像生成方法。
4. ｎを３以上の自然数とするとき、前記複数枚の各視点画像を前記表示画面の画面水平方向及び垂直方向に各々ｎ倍するステップを含むことを特徴とする請求項３記載の立体画像生成方法。
5. ｎを３以上の自然数とし、ｍを正の整数とし、ｓを０≦ｓ≦２なる整数としてｎ＝３×ｍ＋ｓとするとき、前記複数枚の各視点画像を水平方向にｎ倍するステップと、
   前記各視点画像を垂直方向に３×ｍ倍し、垂直方向にｓラインの水平方向にｎ倍された前記画素データを３ライン毎に付加するステップを含むことを特徴とする請求項３記載の立体画像生成方法。
6. 前記カラー画素ドット配列がストライプ配列であることを特徴とする請求項１乃至５のいずれかに記載の立体画像生成方法。
7. 前記カラー画素ドット配列がモザイク配列であることを特徴とする請求項１乃至５のいずれかに記載の立体画像生成方法。
8. 前記複数枚の視点画像を生成するステップを更に含むことを特徴とする請求項１乃至７のいずれかに記載の立体画像生成方法。
9. 前記複数枚の視点画像は、平行投影により生成されることを特徴とする請求項８記載の立体画像生成方法。
10. 前記複数枚の視点画像は、透視投影により生成されることを特徴とする請求項８記載の立体画像生成方法。
11. 前記複数枚の視点画像を生成するステップは、前記各視点画像の生成時に注視点と視点の平行移動を伴う複数回の幾何学的変換を行なうステップを含むことを特徴とする請求項１０記載の立体画像生成方法。
12. カラー画素ドットが複数個配列された画像表示素子と、
    前記画像表示素子の前方あるいは後方に設置され、前記画像表示素子から出射もしくは前記画像表示素子に入射する光線方向を限定する光線方向限定素子と、
    前記画像表示素子のカラー画素ドットの配列情報に基づいて、三原色情報からなる画素データを有する複数枚の異なる視点から生成された視点画像における前記三原色情報の一部を合成し、前記画像表示素子の画面水平方向に隣接する前記カラー画素ドットに、異なる前記視点画像の前記三原色情報を割り当て、立体画像が表示される空間の水平方向に複数の異なる視点画像情報を含む立体画像を表示するように前記画像表示素子を駆動する画像表示素子駆動手段と、
    を備えたことを特徴とする立体画像表示装置。
13. カラー画素ドットが複数個配列された画像表示素子と、
    前記画像表示素子の前方あるいは後方に設置され、前記画像表示素子から出射もしくは前記画像表示素子に入射する光線方向を限定する光線方向限定素子と、
    前記画像表示素子のカラー画素ドットの配列情報に基づいて、三原色情報からなる画素データを有する複数枚の異なる視点から生成された視点画像における前記三原色情報を、対応する色情報を表示する前記カラー画素ドットに対して前記表示画面の画面略垂直方向に割り当て、かつ前記表示画面の画面水平方向に隣接する前記カラー画素ドットに、異なる前記視点画像の前記三原色情報を割り当て、立体画像が表示される空間の水平方向に複数の異なる視点画像情報を含む立体画像を表示するように前記画像表示素子を駆動するる画像表示素子駆動手段と、
    を備えたことを特徴とする立体画像表示装置。
14. 要素画像幅と前記カラー画素ドットのドットピッチの比に基づいて、前記画像表示素子の画面水平方向に複数の異なる視点画像情報を含む立体画像を表示することを特徴とする請求項１２または１３記載の立体画像表示装置。
15. 前記画像表示素子が、液晶ディスプレイパネルであることを特徴とする請求項１２または１３記載の立体画像表示装置。
16. 前記光線方向限定素子が、複数のスリット開口部を有するスリットアレイであって、
    前記スリット開口部の長辺方向が前記画像表示素子の画面垂直方向となることを特徴とする請求項１２または１３記載の立体画像表示装置。
17. 前記光線方向限定素子が、前記画像表示素子の画面垂直方向に稜線を有するレンチキュラーレンズアレイであって、
    前記画像表示素子の前方に設置されていることを特徴とする請求項１２または１３記載の立体画像表示装置。

Images