JP2008228199A - 立体画像表示装置及び立体画像表示方法並びに立体画像用データの構造 - Google Patents

Abstract

【課題】立体表示時に感じられる解像度の低下を抑制することが可能な立体画像表示装置を提供することにある。
【解決手段】立体画像表示装置は、縦ストライプ配列された３サブ画素からなる画素がマトリクス状に配列された表示部及びこの表示部に対向して画素列方向に対して角度ａｔａｎ（１／ｎ）（ｎ＝４或いは５）傾いた方向に延出され、直線状光学的開口部が略水平方向に配列される光線制御素子を具備している。表示部に表示される要素画像の水平ピッチの平均値が画素水平ピッチの自然数ｍ倍（ｍ＜ｎ）に等しく或いは大きく、且つ光線制御素子の水平ピッチが画素水平ピッチの自然数ｍ倍に等しく或いは小さく定められている。
【選択図】 図７

Description

この発明は、立体画像表示装置及び立体画像表示方法並びに立体画像用データの構造に関する。

動画表示が可能な立体画像表示装置、所謂、３次元ディスプレイには、種々の方式が知られている。近年、特にフラットパネル・タイプで、且つ、専用の眼鏡等を必要としない方式の要望が高くなっている。このタイプの立体動画表示装置としてホログラフィの原理を利用する方式が知られているが、この方式は、フルカラー動画の実現が難しいとされている。また、立体画像表示装置として表示パネルの直前に表示パネルからの光線を制御して観察者に向ける光線制御素子を設置する方式が知られている。この方式では、表示パネルとして直視型或いは投射型の液晶表示装置或いはプラズマ表示装置等のような画素位置が固定されている表示装置が使用され、比較的容易にフルカラー動画の実現が可能であるとされている。

光線制御素子は、一般的には、パララクス・バリア或いは視差バリアとも称せられ、光線制御素子上の同一位置を観察する場合にあっても、観察する角度により異なる画像が見えるように光線が光線制御素子によって制御される。具体的には、左右視差（水平視差）のみを与える場合には、スリット・アレイ或いはレンチキュラー・シート（レンズ・アレイシリンドリカル・レンズ・アレイ）が用いられ、上下視差（垂直視差）も含める場合には、ピンホール・アレイ或いはレンズ・アレイが用いられる。

この視差バリアを用いる方式は、さらに２眼式、多眼式、超多眼式（多眼式の超多眼条件）、インテグラル・フォトグラフィー（以下、ＩＰとも云う）に分類される。これらの基本的な原理は、１００年程度前に発明され立体写真に用いられてきたものと実質上同一である。

このうちＩＰ方式は、視点位置の自由度が高く、観察者が違和感なく楽に立体視できるという特徴がある。水平視差のみで垂直視差のない１次元ＩＰ方式では、非特許文献１に記載されているように、解像度の高い表示装置の実現も比較的容易である。これに対し、２眼方式或いは多眼方式では、立体視できる視点位置の範囲、即ち、視域が狭く、見にくいという問題があるが、２眼方式或いは多眼方式を採用した立体画像表示装置は、最も単純な構成を有し、表示画像も簡単に作成できる利点がある。

このようなスリット・アレイ或いはレンチキュラー・シートを用いた直視型裸眼立体表示装置においては、光線制御素子の開口部の周期構造及び表示パネルの画素の周期構造が互いに光学的に干渉してモアレ或いは色モアレが発生しやすい問題がある。その対策として、特許文献１及び２に、開口部の延びる方向を斜めに傾ける方法、例えば、斜めレンズが知られている。斜めレンズでは、水平方向の視差を垂直方向に並ぶサブ画素に割り当てることにより、実効的な視差数を増やすことができる利点もある。

特許文献２には、モアレを解消する効果及び視差の垂直方向への割り当てにより実効的な視差数を増やす効果の大きい、傾きａｔａｎ（１／ｎ）、ｎ＝４，５のタイプが記載されている。このタイプにおいて視差数をｎ^２とすれば、縦横解像度が等しくなり、視差画像の周期性・規則性が高いことから、画像変換処理も容易になる利点もある。

しかし、光線制御素子の開口部を斜めに設置すると、立体画像表示時の縦線がギザギザに表示され、特に、文字表示品位が低いという問題が生じる。また、表示面に対し飛び出し位置或いは奥行き位置にある物体は、非特許文献１及びその引用文献で説明されるように、表示面位置の物体に対し横（水平）解像度が低下するが、縦解像度は低下しない。従って、全体的な縦横解像度のバランスが悪いために画像品位が低く、さらに立体表示時の色配列が横ストライプでない場合には色分布が不均一となる問題もある。
ＳＩＤ０４ Ｄｉｇｅｓｔ １４３８ （２００４） 特表２００１−５０１０７３公報 特開２００５−２５８４２１公報

上述のように、光線制御素子を斜めに設置した従来の立体画像表示装置にあっては、縦線がギザギザに表示され文字表示品位が低く、また、飛び出し・奥行き位置にある物体の水平解像度のみが低下して画像品位が低くなる問題がある。

この発明は、上記事情を考慮してなされたものであり、その目的は、光線制御素子を斜めに設置した立体画像表示装置において、立体表示時に感じられる解像度の低下を抑制することが可能な立体画像表示装置及びその表示方法並びに立体画像用データの構造を提供することにある。

この発明によれば、
縦ストライプ配列された３つの色成分サブ画素からなる画素がマトリクス状に配列され、ある水平ピッチＰｅで要素画像群が表示される表示部であって、立体画像を表示する為の視差成分画像が前記要素画像に分割配置され、前記要素画像の水平ピッチＰｅの平均値が前記画素水平ピッチＰｈの自然数ｍ倍（ｍ＜ｎであってｎ＝３，４或いは５）に等しく或いは大きく定められている表示部と、
前記表示部に対向して設置され、画素列の方向に対して角度ａｔａｎ（１／ｎ）で傾けられた方向に直線状に延びる光学的開口部がある水平ピッチＰｓで略水平方向に配列される光線制御素子であって、前記光線制御素子の水平ピッチＰｓが前記画素水平ピッチＰｈの自然数ｍ倍に等しく或いは小さく定められている光線制御素子と、
を具備することを特徴とする立体画像表示装置が提供される。

また、この発明によれば、
縦ストライプ配列された３つの色成分サブ画素からなる画素がマトリクス状に配列され、ある水平ピッチＰｅで要素画像群が表示される表示部であって、立体画像を表示する為の視差成分画像が前記要素画像に分割配置され、前記要素画像の水平ピッチＰｅの平均値が前記画素水平ピッチＰｈの自然数ｍ倍（ｍ＜ｎであってｎ＝３，４或いは５）に等しく或いは大きく定められている表示部と、
前記表示部に対向して設置され、画素列の方向に対して角度ａｔａｎ（１／ｎ）で傾けられた方向に直線状に延びる光学的開口部がある水平ピッチＰｓで略水平方向に配列される光線制御素子であって、前記光線制御素子の水平ピッチＰｓが前記画素水平ピッチＰｈの自然数ｍ倍に等しく或いは小さく定められている光線制御素子と、
を具備することを特徴とする立体画像表示装置に前記要素画像を表示してある視域内で立体画像を観察者に認識させる立体画像表示方法であって、
前記視域内の同一の視差方向に略平行な光線群を生成させる画素が集積されている少なくともｎ×ｍ枚の視差成分画像のうち第ｎ×ｍ隣接視差方向の関係にある１枚以上の視差成分画像が組み合わされて成る連結視差画像であって、実質的に同一の縦横画素数で横解像度が縦解像度より高い連結視差画像を用意し、
前記連結視差画像から前記要素画像が配列された視差合成画像に変換して前記表示部に視差合成画像を表示して立体画像を観察者に認識させることを特徴とする立体画像表示方法が提供される。

更に、この発明によれば、
縦ストライプ配列された３つの色成分サブ画素からなる画素がマトリクス状に配列され、ある水平ピッチＰｅで要素画像群が表示される表示部であって、立体画像を表示する為の視差成分画像が前記要素画像に分割配置され、前記要素画像の水平ピッチＰｅの平均値が前記画素水平ピッチＰｈの自然数ｍ倍（ｍ＜ｎであってｎ＝３，４或いは５）に等しく或いは大きく定められている表示部と、
前記表示部に対向して設置され、画素列の方向に対して角度ａｔａｎ（１／ｎ）で傾けられた方向に直線状に延びる光学的開口部がある水平ピッチＰｓで略水平方向に配列される光線制御素子であって、前記光線制御素子の水平ピッチＰｓが前記画素水平ピッチＰｈの自然数ｍ倍に等しく或いは小さく定められている光線制御素子と、
を具備することを特徴とする立体画像表示装置に前記要素画像を表示してある視域内で立体画像を観察者に認識させる為の立体画像用データの構造であって、
前記視域内の同一の視差方向に略平行な光線群を生成させる画素が集積されている少なくともｎ×ｍ枚の視差成分画像のうち第ｎ×ｍ隣接視差方向の関係にある１枚以上の視差成分画像が組み合わされて成る連結視差画像であって、実質的に同一の縦横画素数で横解像度が縦解像度より高い連結視差画像を、前記要素画像が配列された視差合成画像への変換単位とすることを特徴とする立体画像用データの構造が提供される。

以下、図面を参照して、この発明の実施の形態に係る立体画像表示装置及び立体画像表示方法並びに立体画像用データの構造を詳細に説明する。

始めに、図１〜図４を参照して、１次元ＩＰ方式における視差画像の配置及びこの配置に基づく立体画像の表示について説明する。ここで、１次元ＩＰ方式とは、１次元、通常、水平方向では視差のある画像が表示され、垂直方向では視差のない画像が表示されて立体像が表示される方式を称する。

ＩＰ方式の立体画像表示においても、また、多眼方式の立体画像表示においても、通常は、視距離が有限であるため、その視距離における透視投影画像が実際に見えるように表示画像が作成される。

図１は、立体画像表示装置の全体を概略的に示す斜視図である。要素画像が表示される表示部３３１は、画素がマトリクス状に配列され、縦ストライプ・カラー・フィルター配列を有する高精細液晶パネルモジュールで構成される。表示部３３１は、画素がマトリクス状に配列された縦ストライプ・カラー配列であれば、プラズマ表示パネル、有機ＥＬ表示パネル、電界放出型表示パネルなどであっても良く、表示装置の種類はいずれの表示パネルであっても良い。表示部３３１には、マトリクス状に配列された画素が水平方向に画素ピッチＰｈで配列される。

図１に示されるように光線制御素子３３２が表示部３３１に対向して設けられている。光線制御素子３３２は、レンチキュラー・シート３３４或いはスリット・アレイ３３３で構成される。この光線制御素子３３２は、直線状に延出された光学的開口部を有し、この光学的開口部が略水平方向に配列されている。

このような構造の立体画像表示装置において、観察者が立体画像表示装置を観察する位置を想定視距離面３４３内の位置近傍に想定すると、水平画角３４１、垂直画角３４２の範囲で、表示部３３１の前面及び背面の近傍に立体映像を観察することができる。即ち、視差成分画像（多視点画像）が分割配置された要素画像が各光学的開口部に対応した表示部３３１の画素に表示され、要素画像からの光線は、光学的開口部で制御或いは規制されて観察者に向けられ、光線制御素子３３２と観察者との間に表示される立体画像或いは表示部３３１の背後に表示される立体画像の形成に寄与することとなる。

ここで、表示部３３１にマトリクス状に配列された画素が水平方向に画素水平ピッチＰｈで配列されている場合には、要素画像は、あるピッチで配置され、この要素画素の平均水平ピッチＰｅは、画素水平ピッチＰｈの自然数ｍ倍よりもわずかに大きな値に定められている。後に説明されるように、この自然数ｍは、ｎより小さい自然数（ｍ＜ｎ）に設定され、ｎは、ｎ≧３、好ましくは、４或いは５から選定される。

ＩＰ方式においても、また、多眼方式においても、表示部の面内において、各光学的開口部に対応する要素画像が定められている。多眼方式と異なり、ＩＰ方式では、光学的開口からは、互いに平行な関係にある光線が視域に向けて射出されて立体像が視域に形成される。ＩＰ方式においても、また、多眼方式においても、要素画像から対応する光学的開口を介して射出される光線は、光学的開口で規制を受けるが、発散されるように視域に向けられる。しかし、ＩＰ方式では、１つの光学的開口からある方向に向けられる１つの光線に着目すると、この光線に平行な複数の光線が他の光学的開口の夫々から同様に射出される。これに対して、多眼方式においては、各光学的開口からの光線は、想定視距離面上の２点以上の集束点に向けて集束される。多眼方式では、その集束点に観察者の両眼が位置する限り、立体像を観察することができるが、集束点から目が外れると立体像を観察することができない。これに対して、ＩＰ方式では、観察者が視域内に位置する限り、観察者の位置に応じた視差成分画像が光学的開口からの光線で観察者に伝達され、視差成分画像の集合として立体像が観察者によって認識される。各要素画像は、後に説明するように視差成分画像が分割配置されることにより構成され、要素画像からの光線が対応する光学的開口部で制御されて所定方向に向けられ、視域内の観察者に視差を与える。表示部３３１には、要素画像群が表示され、視域内の観察者の位置に応じて観察者の両眼にはそれぞれ視差成分画像の集合が入射され、結果として、観察者は、立体画像を認識することができる。

図２（ａ）は、光線制御素子３３２としてのレンチキュラー・シート３３４を概略的に示す斜視図であり、図２（ｂ）は、光線制御素子３３２としてのスリット・アレイ３３３を概略的に示す斜視図である。水平ピッチＰｓは、表示部３３１の画素行の方向（水平方向）に一致する方向に沿ったピッチであり、レンズ幅或いはスリット間隔（周期方向の値）とは異なる値に定められている。この光線制御素子３３２は、水平ピッチＰｓでその光学的開口（レンチキュラー・シート３３４にあっては各シリンドリカル・レンズ、及び、スリット・アレイ３３３にあっては各スリットが相当する）が配列され、この光学的開口が表示部３３１の画素列方向に対して角度ａｔａｎ（１／ｎ）で傾けられた方向に直線状に延出されている。後に説明されるように、このｎは、ｎは自然数であって、ｎ≧３、好ましくは、４或いは５に定められる。

図３（ａ）〜（ｃ）は、図１に示した立体画像表示装置の表示部を基準にして垂直面内及び水平面内における光線が向けられる範囲を概略的に示す展開図である。図３（ａ）は、要素画像表示部３３１及び光線制御素子３３２を示す正面図であり、図３（ｂ）は、立体画像表示装置の画像配置を示す平面図であり、図３（ｃ）は、立体画像表示装置の垂直画角を示す側面図である。

図１、図２（ａ）、（ｂ）及び図３（ａ）〜（ｃ）に示すように、立体画像表示装置は、液晶表示パネルなどの表示部３３１及び光学的開口を有する光線制御素子３３２を備えている。ここでは、表示部３３１の画素数は、正方形となる最小単位の画素で数えた場合の一例として横方向（水平方向）が１４００であり、縦方向（垂直方向）が１０５０であり、各最小単位の画素は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３サブ画素を含み、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３サブ画素がストライプ状に配列されて縦ストライプ・カラー配列が形成されている。

図３（ｂ）に示すように、想定視距離Ｌは、光線制御素子３３２及び想定視距離面３４３間の距離であって、通常、観察者がこの距離Ｌで観察すると想定した、設計上の基準距離として定められる。想定視距離Ｌ、光線制御素子３３２の光学的開口の水平ピッチＰｓ、光線制御素子３３２及び表示部３３１の画素面の間のギャップｄが定められれば、要素画像の水平ピッチＰｅが決定される。即ち、要素画像の水平ピッチＰｅは、想定視距離面３４３上の１点から光学的開口の中心（アパーチャ中心又はレンズの主点）を表示部３３１の表示面上に投影した間隔として決定される。符号３４６は、視点位置３４３と各アパーチャの中心（又はレンズの主点）とを結ぶ線を示し、視域幅Ｗは、表示部３３１面上に配分する各要素画像が互いに重なり合わないという条件から定められる。ここで、視域幅Ｗは、想定視距離面３４３での視域の幅であって、視域は、正常な立体画像を観察者が観察できる範囲として定義され、この視域内に観察者が位置する限り、正常な立体画像を観察者が観察することができる。

光線制御素子３３２の光学的開口から互いに略平行な光線が発せられる条件を有する１次元ＩＰ方式（平行光線１次元ＩＰ方式）にあっては、要素画像の水平ピッチＰｅの平均値が画素水平ピッチＰｈの自然数ｍ倍よりわずかに大きく、且つ、光線制御素子３３２の水平ピッチＰｓが画素水平ピッチＰｈの自然数ｍ倍に等しく定められる。多眼方式にあっては、要素画像の水平ピッチＰｅが画素水平ピッチＰｈの自然数ｍ倍に等しく、且つ、光線制御素子３３２の水平ピッチＰｅが画素水平ピッチＰｈの自然数ｍ倍よりわずかに小さく定められている（ｍ＜ｎ）。なお、想定視距離が無限遠の設計においては、平行光線１次元ＩＰ方式と多眼方式は一致し、Ｐｈ×ｍ＝Ｐｅ＝Ｐｓとなる。

図３に示すように、立体画像として表示すべき画像データが記憶部３１２に格納され、この記憶部３１２から画像処理部３１４に画像データが供給されてフレーム画像に変換される。通常、画像データとして圧縮に適した連結視差画像が用意され、この連結視差画像が圧縮されて記憶部３１２に格納される。画像処理部３１４は、後に説明するようにこの圧縮された画像データを展開して連結視差画像に変換し、この連結視差画像を視差合成画像に変換してフレーム画像として出力している。このフレーム画像は、画像処理部３１４から駆動部３１０に供給されて駆動部３１０から表示部３３１に表示信号が供給される。表示信号に応じて表示部３３１には、要素画像水平平均ピッチＰｅを有する要素画像アレイが視差合成画像として表示される。

図４（ａ）〜（ｃ）は、光学的開口から水平面内において互いに略平行な光線が発せられるとの条件を有する１次元ＩＰ方式の視差成分画像（多視点画像）の生成方法及び視差合成画像の構成方法を示している。

表示される物体（被写体）４２１の像は、実際に立体画像表示装置の光線制御素子３３２が置かれる面と同一の位置関係にある投影面４２２に投影されて形成される。平行光線１次元ＩＰ方式では、非特許文献１において説明されているように、垂直方向が透視投影で投影像が獲得され、水平方向が平行投影で投影像が獲得される。図４（ａ）に示されるように、投影面４２２の前方正面（上下方向の中央）の想定視距離面３４３内に、投影面４２２に平行な投影中心線４２３が定められ、投影像が投影中心線４２３に向けて投影線４２５に沿って投影される。

投影線４２５は、水平方向は互いに交わらないように定められ、垂直方向では投影中心線４２３において交わるように定められる。水平面内における投影方向−４，−３，−２，−１，１，２，３，４は、等角度ではなく、想定視距離面３４３（即ち投影中心線４２３）上で等間隔となるように定められる。即ち、カメラが向きを一定として投影中心線４２３上を等間隔で平行移動或いは等間隔で配置されて被写体が撮影されることに相当する。多眼における投影法では、投影中心点（投影中心線４２３と各投影方向の交点）に向けて被写体が透視投影される。

図４（ａ）は、投影方向１での物体（被写体）４２１の像の投影を示している。このような投影によって投影面４２２上に形成される各視差成分画像４２６は、始めに図４（ｂ）に示すように画素列ごとに分割される。次に、光線制御素子３３２の水平ピッチＰｓに対応する間隔を空けて、分割された視差成分画像４２６は、互いに分離して視差合成画像４２７上に配置される。この視差成分画像４２６の配列においては、基本的には、視差成分画像４２６上の同一列は、視差合成画像４２７上で概略垂直方向に沿って配置される。しかし、各光学的開口は、垂直方向に対して斜め方向に延出され、しかも、視差成分画像４２６は、夫々光学的開口に対応するように配置並びに配分されることから、結果として、視差成分画像４２６上の同一列は、図４（ｃ）に示すように各部分において垂直方向に対して斜めに配置される。

各投影方向−４，−３，−２，−１，１，２，３，４の視差成分画像４２６は、視差合成画像４２７上でインターリーブ状に配置され、要素画像アレイが形成される。この発明の実施例においては、視差成分画像４２６は、横（水平方向）解像度が縦（垂直方向）解像度より高く設定されるために、投影の段階で横解像度が高く設定されても良く、通常のアスペクト比１で投影したものをリサイズしてアスペクト比を変えることにより横（水平方向）解像度を縦（垂直方向）解像度より高くしても良い。

尚、図４（ａ）では、投影方向−４，−３，−２，−１，１，２，３，４の８方向が一例として示されているが、この投影方向は、視距離Ｌに依存して増加されることを付け加えておく。

図５（ａ）〜（ｃ）は、この発明の実施形態及び比較例における立体画像表示装置或いはその画像表示方法における要素画像の形状および立体表示時実効画素の形状の例を示している。ここで、立体表示時実効画素とは、立体表示時の解像度に対応する最小単位である。１つの要素画像は、縦方向に並ぶ多数の立体表示時実効画素からなる。立体表示時実効画素は、表示部３３１のサブ画素群により構成される。サブ画素とは、画素を構成する赤緑青（ＲＧＢ）の各部分（独立に駆動可能な最小単位）を意味している。

図５（ａ）は、特許文献２に記載の比較例（レンズ角度ａｔａｎ（１／４）、１６視差（ｎ＝４、ｍ＝４））における要素画像および立体表示時実効画素の形状を示し、図５（ｂ）は、レンズ角度ａｔａｎ（１／４）、８視差（ｎ＝４、ｍ＝２）の本発明の実施例における要素画像および立体表示時実効画素の形状を示し、図５（ｃ）は、レンズ角度ａｔａｎ（１／４）、１２視差（ｎ＝４、ｍ＝３）の本発明の実施例における要素画像および立体表示時実効画素の形状を示している。ここで、レンズ角度ａｔａｎ（１／４）は、垂直線に対する角度として定められる。

実線に囲まれた菱形の各領域は、立体表示時実効画素であり、図５（ａ）では、１６列４行の４８サブ画素で立体表示時実効画素が構成され、図５（ｂ）では、８列４行の２４サブ画素で立体表示時実効画素が構成され、図５（ｃ）では、１２列４行の３６サブ画素で立体表示時実効画素が構成される様子を示している。縦方向の斜破線は、要素画像境界を示している。スリット・アレイ３３３或いはレンチキュラー・シート３３４は、光学的開口が斜破線と同一方向に向けて延出されように、且つ、斜破線の略中間に開口部が配置されるように設置される。即ち、光学的開口は、垂直線に対してレンズ角度ａｔａｎ（１／ｎ）或いはスリット角度ａｔａｎ（１／ｎ）を成すように配置される。ここでｎは自然数であって、ｎ≧３、好ましくは、４又は５である。

表示部３３１の１画素は、横に並ぶ赤緑青（ＲＧＢ）の３サブ画素からなる正方形に形成されているが、要素画像境界は、光学的開口の方向に合わせ、サブ画素単位で区切られる。各立体表示時実効画素中の数字は割り当てられる視差情報番号の例を示し、１つの視差情報は、赤緑青（ＲＧＢ）の３つのサブ画素に斜め方向（光線制御素子３３２の開口と同じ方向）に割り当てられる。視差情報番号１のサブ画素には、多視点画像のうち最も右の視点の画像のデータが配置され、視差情報番号２のサブ画素には、多視点画像のうち最も右から２番目の視点の画像が配置され、以下同様に、立体表示時実効画素の最も右側の視差情報番号（図５（ａ）、（ｂ）、（ｃ）においてそれぞれ視差情報番号Ｇ、８、Ｃ）のサブ画素には、多視点画像のうち最も左の視点の画像のデータが配置される。尚、赤緑青（ＲＧＢ）の３サブ画素からなる画素に視差情報を与えるに代えて、表示される立体画像の色情報が低下されるが、１つの視差情報が１サブ画素に割り当てられても良い。

図５（ａ）に示す従来例では、各立体表示時実効画素の縦周期が４つ分（表示部３３１の１６画素分）に相当し、立体画像として縦線を表示した場合この周期のギザギザが現れ、文字などの表示品位が低下される。図５（ｂ）及び（ｃ）に示す実施例では、各立体表示時実効画素の縦周期が２つ及び３つ分（表示部３３１の８画素分及び１２画素分）に相当し、立体画像に縦線が表示される場合、この周期のギザギザが緩和される。また、図５（ａ）では、各立体表示時実効画素が正方形に近いため、表示面において縦横解像度が同じであり、飛び出した物体像或いは奥行き位置にある物体像の表示では横解像度が低下される。これに対し、図５（ｂ）及び（ｃ）では、各立体表示時実効画素が縦に長い形状であるため、表示面において横解像度が高く、飛び出した物体の像或いは奥行き位置にある物体の像は縦解像度と横解像度が同程度となる。図５（ａ）〜（ｃ）に示される網掛け部は、立体表示時の色配列を示しており、図５（ａ）、（ｂ）及び（ｃ）のいずれも横ストライプ配列となるため、飛び出した物体像或いは奥行き位置にある物体像の表示において横解像度が低下しても、色配列自体は変化しない。これに対し、特許文献１に示されるような、各立体表示時実効画素の色配列がデルタ的である場合、横解像度の低下に伴って色分布が不均一となる問題がある。

図６（ａ）及び（ｂ）は、この発明の他の実施形態及び比較例による立体画像表示装置或いはその画像表示方法において用いられる、要素画像表示部３３１のサブ画素群により構成される各要素画像および立体表示時実効画素の形状の例を示している。図６（ａ）は、特許文献２に記載の比較例（レンズ角度ａｔａｎ（１／５）、２５視差（ｎ＝５、ｍ＝５））における各要素画像および立体表示時実効画素を示し、図６（ｂ）は、レンズ角度ａｔａｎ（１／５）、１０視差（ｎ＝５、ｍ＝２）の本発明の実施例における各要素画像および立体表示時実効画素を示している。実線に囲まれた各領域は、各立体表示時実効画素に相当し、図６（ａ）に示す各立体表示時実効画素は、１５列５行の７５サブ画素で構成され、図６（ｂ）に示す各立体表示時実効画素は、６列５行の３０サブ画素から構成される。図５に示した例と同様に、本発明の立体画像表示装置によれば、文字表示品位、飛び出し及び奥行き画像表示の解像度バランスが比較例に対し優れている。

尚、多眼方式の場合は、要素画像ピッチの平均値Ｐｅが要素画像表示部３３１の画素幅Ｐｈのｍ倍に等しく、且つ、光線制御素子３３２の横ピッチＰｓが要素画像表示部３３１の画素幅Ｐｈのｍ倍より小さいため、表示部３３１の全面にわたり図５（ａ）〜（ｃ）或いは図６（ａ）及び（ｂ）に示される立体表示時実効画素が形成される。１次元ＩＰ方式では、要素画像のピッチの平均値Ｐｅが表示部３３１の画素幅Ｐｈのｍ倍より大きく、且つ、光線制御素子３３２の横ピッチＰｓが表示部３３１の画素幅Ｐｈのｍ倍に等しいため、特許文献２に示されているように表示部３３１の左右方向位置によって立体表示時実効画素の形状が変化される。

図７は、本発明による立体画像表示装置の一部分の構造を概略的に示す透視斜視図である。図７に示される立体画像表示装置においては、液晶パネルなどの平面状の表示部３３１の前面に、視差バリア３３２として光学開口が斜め方向（角度ａｔａｎ（１／４））に延びるシリンドリカル・レンズからなるレンチキュラー・シート３３４が配置されている。図７に示されるように表示装置の表示面には、縦横比が３：１のサブ画素３３５が横方向及び縦方向に夫々直線状にマトリクス状に配置され、各立体表示時実効画素２０１は、同一行内で横方向に赤（Ｒ）、緑（Ｇ）、青（Ｂ）のサブ画素３３５が交互に並ぶように配列されている。この色配列は、一般に縦ストライプ配列と呼ばれる。図７に示される要素画像表示部３３１は、図５（ｂ）の例に対応し、６列４行のサブ画素３４で立体表示時実効画素２０１（黒枠で示されている）が構成される。このような表示部の構造では、立体表示時実効画素が２４サブ画素からなることから、斜めに並ぶＲＧＢの３サブ画素に１視差分を割り当てれば水平方向に８視差を与える立体画像表示が可能となる。

図８は、本発明による別の実施例の立体画像表示装置の一部分の構成を概略的に示す透視斜視図である。図８に示される立体画像表示装置においては、液晶パネルなどの平面状の表示部３３１の前面に、視差バリア３３２として光学開口が斜め方向（角度ａｔａｎ（１／４））に延びるシリンドリカル・レンズからなるレンチキュラー・シート３３４が配置されている。図８に示される要素画像表示部３３１は、図５（ｃ）の例に対応し、９列４行のサブ画素３４で立体表示時実効画素２０１（黒枠で示されている）が構成される。このような表示部の構造では、立体表示時実効画素が３６サブ画素からなることから、斜めに並ぶＲＧＢの３サブ画素に１視差分を割り当てれば水平方向に１２視差を与える立体画像表示が可能となる。

図９は、本発明によるさらに別の実施例の立体画像表示装置の一部分の構成を概略的に示す透視斜視図である。図９に示される立体画像表示装置においては、液晶パネルなどの平面状の表示部３３１の前面に、視差バリア３３２として光学開口が斜め方向（角度ａｔａｎ（１／５））に延びるシリンドリカル・レンズからなるレンチキュラー・シート３３４が配置されている。図９に示される要素画像表示部３３１は、図６（ｂ）の例に対応し、６列５行のサブ画素３４で立体表示時実効画素２０１（黒枠で示されている）が構成される。このような表示部の構造では、立体表示時実効画素が３０サブ画素からなることから、斜めに並ぶＲＧＢの３サブ画素に１視差分を割り当てれば水平方向に１０視差を与える立体画像表示が可能となる。

次に、表示部３３１に表示される視差合成画像を、圧縮に適した形式に変換した画像データの構成について、図１０乃至図１４を参照して説明する。

図１０に示される視差成分画像４２６は、図４に示されるような投影面４２２から想定視距離Ｌだけ離間して配置されたカメラによって、共通の投影面範囲に撮影された画像から分離して得られる。ここで、投影面４２２は、カメラで被写体４２１にピントを合わせた際の焦点面に相当している。全てのカメラは互いに平行に投影面４２２に向けられ、且つ、共通投影面に撮影された画像から視差成分画像が得られることから、あおりレンズ撮影或いは広角撮影後の切り出しという撮影方法で視差成分画像が獲得される。カメラ番号（視差方向番号）は、視差数が偶数の場合は、０番を除き、投影面４２２の正面中央に対して対称に正負の番号を付するものとする。この視差方向番号は、図４を参照して説明した投影方向−４，−３，−２，−１，１，２，３，４に相当していることも付け加えておく。

図１０には、−１０番から＋１０番の視差成分画像が示されている。各視差成分画像のうち、立体画像の表示に使用されない部分は、破線で示されている範囲（実線で囲まれた範囲を除く）であり、立体画像の表示に使用されるのは実線で囲まれた範囲のみである。即ち、投影面４２２の正面中央に近いカメラで撮影された視差成分画像は、使用される範囲の割合が大きく、投影面４２２の正面中央から両側に離れたカメラで撮影された視差成分画像ほど、使用される範囲の割合が小さい。

図１１は、この発明の一実施形態に係る立体表示画像の記録方法が適用される連結視差画像を示している。図３を参照して説明したように、この連結視差画像５０２は、記憶部３１２に圧縮して格納され、画像処理部３１４で圧縮されたデータが解凍されてこの連結視差画像５０２の形式に展開される。図１１では、立体表示画像の記録に適した同一の縦横画素数を有するｋ枚（この例では、ｋ＝ｎ×ｍ＝８）の連結視差画像５０２が示されている。ここで、ｋは、視差数に相当していることから、以下の説明において、視差数ｋと称する。その夫々の連結視差画像５０２は、図１０に示した２０枚のうちの１枚、或いは、数枚の視差成分画像４２６（＋１０〜＋１,−１〜−１０）の組み合わせによって構成されている。

これらｋ枚の連結視差画像５０２は、表示部３３１に表示される１枚の視差合成画像に容易に変換できるようにフォーマットされたデータ構造を有している。図４を参照して説明した視差成分画像の分割配置と同様な分割配置方法によってこの連結視差画像５０２が表示部３３１上に配分されて、視差合成画像に変換される。即ち、視域の右端のカメラ画像（＃−４）を含む連結視差画像が図４（ｃ）に示されるように、視差合成画像の左端１列目から、６サブ画素の間隔で、サブ画素を斜めに並べ替えながら右端まで配置される。次に、視域の右端から２番目のカメラ画像（＃−３）を含む連結視差画像は、視差合成画像のすでに配置された画素に隣接・連続させ、６サブ画素間隔で、サブ画素を斜めに並べ替えながら右端まで配置される。以下同様に各カメラ画像を含む連結視差画像が順に配置され、最後に視域の左端のカメラ画像（＃４）を含む連結視差画像が視差合成画像のすでに配置された画素に隣接・連続させ、６サブ画素間隔で、サブ画素を斜めに並べ替えながら、右端まで配置される。この配置においては、画面外のサブ画素に画像が分配される場合が生ずるが、画面外のサブ画素に配分したものとしてその画像情報を破棄することができる。

上述の処理では、８枚の連結視差画像は、多眼方式の８視点画像と全く同じ処理で扱え、全く同じインターリーブ処理により視差合成画像に変換できる。ここで、図１１に示される連結視差画像５０２の配列の形態で記憶媒体に記録され、或いは、図１１に示される連結視差画像５０２の配列が１フレームとしてフレーム内圧縮され、或いは、同様に他の連結視差画像５０２の配列としての他のフレームとの間での相関が取られてフレーム間圧縮される。

尚、図１０及び図１１中の番号（１０〜１,−１〜−１０）は、視差成分画像４２６の番号（カメラ番号と同じ）を示している。従って、以下の説明において、連結視差画像５０２を特定するに際しては、視差成分画像４２６の番号（１０〜１,−１〜−１０）の組み合わせで説明されることに注意されたい。例えば、図１１において、図１１中の左上端に位置される連結視差画像５０２は、連結視差画像（−４、５）として特定され、また、３段目左端の連結視差画像５０２は、連結視差画像（−８、１、９）として特定される。

平行光線が水平方向に射出される１次元ＩＰ方式では、表示面内に配列された画素の水平ピッチＰｈの自然数倍、例えば、２倍（サブ画素の水平ピッチの６倍）に等しい水平ピッチで光学的開口部（レンチキュラー・シートの各シリンドリカル・レンズ）が配置されるように直線状に延びる光線制御素子３３２（レンチキュラー・シート）が表示パネルの前面に配置されている。そして、１次元ＩＰ方式においては、表示面の水平方向に沿って６個の間隔を開けたサブ画素からの光線が平行光線として視野領域に向けられて立体像が再生される。同一視差方向の平行光線を構成する画素の組の画像データを集積した各視差成分画像４２６は、例えば、８枚（＝６×４（行）／３（色成分））より多く、２０枚に定められ、図１０に示すように＃−１０〜＃−１及び＃＋１〜＃＋１０の視差成分画像４２６は、夫々その水平方向の画素数（使用画素範囲）が異なっている。合計２０枚の各視差成分画像４２６は、各カメラ画像のうち図１０に示されるような使用画素範囲のサイズを有している。ここで、図１０において、実線は、視差成分画像４２６の使用画素範囲を示し、破線は、立体表示時の表示解像度に等しいカメラ画像サイズ（撮像時の投影面に対応する縦横画素数）を示している。この縦横画素数は、横７００×縦２６２画素（サブ画素ではない）に定められている。各視差成分画像４２６は、縦画素数は全て同一であるが、横画素数は夫々異なり、具体的な値（横７００画素のうち使用画素列範囲）が図１３に示されている（視差成分画像の画素は、３Ｄ表示時実効画素に対応する）。即ち、図１３に示されるように、カメラ画像に左から右に画素番号１〜７００が与えられるものとすると、図１３に示されるように視差番号１０のカメラ画像では、画素列番号２から７までの範囲が視差成分画像として使用される。また、図１３に示されるように、視差番号−３のカメラ画像では、画素列番号１から４４４までの範囲が視差成分画像として使用される。同様に他の視差番号についても、図１３に示した画素列番号の範囲が視差成分画像として使用される。想定視距離Ｌにおいて立体像の観察可能な観察者位置（視域）は、２０カメラのうち中央の８カメラの位置する幅に相当するが、各カメラに対応する平行光線のうちこの視域に入る範囲が使用画素範囲となる。

図１１に示される連結視差画像５０３は、図１０に示されるカメラ画像から分離される視差成分画像４２６が組み合わされて同一の縦横画素数に定められている。図１０に示される各視差成分画像４２６のサイズ（縦横画素数）の比較から明らかなように、第８隣接視差方向となる１枚乃至数枚ずつ組み合わせると、すべて同一縦横画素数の８枚の連結視差画像５０２に変換することができる。例えば、図１１の左上に示される連結視差画像５０２は、視差番号が８だけ離れている−４番と５番の組み合わせに相当し、右上の連結画像５０２は、視差番号が８だけ離れている−３番と６番の組み合わせに相当する。第８隣接視差方向である離れた位置にあるカメラ番号で撮影された撮影画像から分離された視差成分画像４２６同士が組み合わされるが、視差成分画像４２６の絵柄も比較的、特に、被写体が表示面に近い場合など視差が小さい画像であれば、連結視差画像内での連続性が高くなる。従って、連結視差画像が非可逆圧縮されて展開されても、連結部分での画質劣化が最小限に留められる。正面に近いカメラに対応する一部の連結視差画像５０２が１枚の視差成分画像４２６からのみ構成される場合もある。各連結視差画像５０２は、縦横画素数が全く同一であることから、多眼方式の表示装置における多眼データと全く同様に処理することができる。

図１３は、各視差成分画像４２６の具体的な横画素数（画素列（サブ画素列でない）範囲）を示す表である。視差成分画像の画素列番号は、３Ｄ表示時実効画素の画素列番号と同一である。この表は、非特許文献１において説明されているように、想定視距離Ｌにより決定される要素画像平均ピッチ（６サブ画素幅よりわずかに大きい）から計算によって作成される。この図１３に示される表から明らかなように、視差方向を特定する視差番号−１０番の画像は、図１０に示すカメラ撮影画像において、横７００画素列のうち２列目から７列目の画素の領域のみのサイズであり、６画素幅分に相当している。この６画素幅のデータが、視差合成画像の所定サブ画素列範囲に、６サブ画素おきに分割され、視差成分画像において横に並んでいたＲＧＢの３サブ画素が斜めに並べ替えられて配置される。同様に視差方向−９番の視差画像は、図１０に示すカメラ撮影画像において、横７００画素列のうち２列目から６９列目の画素の領域のみのサイズであり、６８画素幅分に相当している。この６８画素幅のデータが表示部３３１上に表示される視差合成画像の所定サブ画素列範囲に、６サブ画素おきに分割され、図４（ｃ）に示すようにＲＧＢが斜めに並べ替えられて配置される。図１１に示される連結視差画像５０２は、一例として視差番号−１０及び視差番号−２、視差番号７が組み合わされているが、これらの組み合わせに係る領域幅（横画素数）の合計は、６＋５０１＋１９３＝７００である。また、図１１に示される別の連結視差画像５０２は、視差番号−６及び視差番号３が組みあわされているが、これらの組み合わせに係る領域幅の合計は、２５６＋４４４＝７００である。同様に他の組み合わせに係る領域幅は、すべてその合計幅が７００となっている。

上述した説明において、平行光線１次元ＩＰ方式にあっては、各視差成分画像４２６は、垂直方向が想定視距離Ｌ、或いは、その近傍の視距離に対応した透視投影であり、且つ、水平方向が平行投影である画像であることが設計上正しいことになるが、垂直方向及び水平方向とも透視投影であっても、立体像の歪が目立たない場合には許容される。

図１２は、図８に示される１６枚の連結視差画像５０２を更に連結して１枚の全連結視差画像とした例を示している。この全連結視差画像は、隣接視差方向を含む連結視差画像５０２が水平方向に隣接するように一直線に連結したものを、４分割して４段に組み直して構成される。この例では、表示面の正面に近い８視差方向の両端の視差方向（−４番と４番）を含む２枚の連結画像５０２が全連結視差画像の両端（左上と右下）に配置されている。この形式も、多眼方式の表示装置における多眼データと略同様の処理に適用するに好適な構造に相当している。

このタイル状の全連結視差画像は、立体像表示時に表示面に表示される視差合成画像と同一の縦横画素数になる。このように最終表示画像である視差合成画像と同一の縦横画素数であれば、ＭＰＥＧ２等の規格に沿う形式で圧縮記録が容易に可能となる。即ち、図１２に示されるタイル状全連結視差画像がフレームとして用意され、複数のフレームで立体視可能な動画を再生するような場合において、フレーム間圧縮並びにフレーム内圧縮を適用することが出来る。各視差成分画像４２６の左右端は、立体表示時に画面端或いは視域端のいずれかに相当し、各連結視差画像内での視差成分画像連結部分は視域端、連結視差画像同士の連結部分は画面端に相当している。非可逆圧縮では、一定のブロックサイズごとに符号化が行われるが、連結視差画像同士の連結部分は多くの場合ブロック境界に一致する。また、各連結視差画像内での視差成分画像の連結部分は、ブロック境界に一致しない場合が多いが、視域端（隣接ローブとの境界）ではもともと立体像自体が分裂して正常に見えないため、画質が劣化しても問題ない。従って、全連結視差画像を非可逆圧縮し展開しても、連結部分での画質劣化の立体像に対する影響が抑えられる。

図１２の全連結視差画像（視差画像アレイ）５０３から視差合成画像５０４への変換が図１４ａ〜図１４ｅに示されている。光学的開口部が斜めに配置される光学系においては、画素行ごとに光線の起点の水平位置が異なっている。従って、この変換では、連結視差画像内の水平方向に隣接する１つ乃至複数の画素を元にした補間処理により視差合成画像の各画素データを生成することが必要とされる。

各連結視差画像５０３の変換元画素のｘ座標、ｙ座標をＸｉ，Ｙｉ、変換先の視差合成画像の画素のｘ座標、ｙ座標をＸｏ，Ｙｏ、ｘ座標、ｙ座標がＸ，Ｙの画素の画像データ（０〜２５５）をＰ（Ｘ，Ｙ）とすると、例えば、下記式に基づくような線形補間処理が高速であり、ピクセルシェーダによる処理も可能である。

Ｐ（Ｘｏ，Ｙｏ）
＝（ｊＰ（Ｘｉ，Ｙｉ）＋（ｍ−ｊ）Ｐ（Ｘｉ＋１，Ｙｉ））／ｍ
ここで、
ｊ＝（４ｍ−１−（Ｙｉ％ｍ））％ｍ＋１
であり、演算子％は剰余を示す。ｊの値は、ｍ＝１のとき常に１、ｍ＝２のときＹｉが１増えるごとに２、１の繰り返し、ｍ＝３のときＹｉが１増えるごとに３、２、１の繰り返し、ｍ＝４のときＹｉが１増えるごとに４、３、２、１の繰り返し、ｍ＝５のときＹｉが１増えるごとに５、４、３、２、１の繰り返しとなっていればよく、必ずしも上記のｊの式と同一のものを用いなくてもよい。

この変換処理の際に、図１２に示されるような全連結視差画像の形式にあっては、ｎ段構造の各段の中で同じ位置の各ｍ行ずつを取り出してｎ×ｍ行にまとめた中間フォーマットを経由すると、この変換はｎ×ｍ行内で閉じた写像となり、この処理の繰り返しによって全連結視差画像の全領域が視差合成画像に変換できる。図１４ａ〜図１４ｅは、図１２に示されるような全連結視差画像の形式の立体画像用データ５０３から視差合成画像５０４（要素画像アレイ）への変換処理を概略的に示す説明図である。図１４ａは、図５（ａ）および特許文献２に記載のｎ＝４、ｍ＝４の条件の場合である比較例における、サブ画素（サブピクセル）単位での全連結視差画像５０３から視差合成画像５０４への変換を示している。全連結視差画像５０３は、１６視差を与える連結視差画像（それぞれ視差成分画像からなる）がアレイ状に配置されている。全連結視差画像から１６行単位（ｎ×ｍ＝１６）で画素が取り出され、視差合成画像５０４（要素画像アレイ）にサブ画素単位で並べ替えられる。すなわち、まず４段の連結視差画像の各段の１行目の画素（合計４画素行分）が、視差合成画像の上から４行の範囲に、図５（ａ）に示すようなサブ画素配置に従って並び替えられる。この４画素行分についてはＹｉ＝０であるため、ｊ＝４、（ｍ−ｊ）＝０であるから、線形補間処理は行われず、１対１写像になる。図１４ａには、各連結視差画像の左上の１画素ずつ（合計１６画素）が、視差合成画像の左上の領域に配置されることを示している。各連結視差画像の１行目の画素数は３５０であり、同様の処理を３５０回繰り返すことにより、視差合成画像の上から４行の範囲が右端まで埋め尽くされる。次に、４段の連結視差画像の各段の２行目の画素（合計４画素行分）が、視差合成画像の上から５〜８行目の範囲に、図５（ａ）に示すようなサブ画素配置に従って並び替えられる。図５（ａ）からわかるように、視差合成画像の１〜４行目に対し、５〜８行目は１画素分右にずらして配置される。この４画素行分についてはＹｉ＝１であるため、ｊ＝３、（ｍ−ｊ）＝１であるから、各連結視差画像の隣接２画素が３：１で平均化された画素データが出力され、２対１写像となる。次に、４段の連結視差画像の各段の３行目の画素（合計４画素行分）が、視差合成画像の上から９〜１２行目の範囲に、図５（ａ）に示すようなサブ画素配置に従って並び替えられる。図５（ａ）からわかるように、視差合成画像の１〜４行目に対し、９〜１２行目は２画素分右にずらして配置される。この４画素行分についてはＹｉ＝２であるため、ｊ＝２、（ｍ−ｊ）＝２であるから、各連結視差画像の隣接２画素が２：２で平均化された画素データが出力され、２対１写像となる。次に、４段の連結視差画像の各段の４行目の画素（合計４画素行分）が、視差合成画像の上から１３〜１６行目の範囲に、図５（ａ）に示すようなサブ画素配置に従って並び替えられる。図５（ａ）からわかるように、視差合成画像の１〜４行目に対し、１３〜１６行目は３画素分右にずらして配置される。この４画素行分についてはＹｉ＝３であるため、ｊ＝１、（ｍ−ｊ）＝３であるから、各連結視差画像の隣接２画素が１：３で平均化された画素データが出力され、２対１写像となる。以上で１６行分の変換がなされ、以降は１６行単位の繰り返しとなる。４段の連結視差画像の各段の５行目の画素（合計４画素行分）が、視差合成画像の上から１７〜２０行目の範囲に、図５（ａ）に示すようなサブ画素配置に従って並び替えられる。図５（ａ）からわかるように、視差合成画像の１〜４行目に対し、１７〜２０行目はずらさずに配置される。以上説明したように、この並び替えに際しては、サブ画素間の補間処理で新たなサブ画素を生成して角度ａｔａｎ（１／４）に沿うように列方向の画像が配列される。その結果、２：１の写像として視差合成画像の一部が形成される。この処理を繰り返すことによって視差合成画像が形成され、この視差合成画像が表示部３３１に表示される。

図１４ｂは、図５（ｃ）に記載のｎ＝４、ｍ＝３の条件の場合の本発明の実施例における、サブ画素単位での全連結視差画像５０３から視差合成画像５０４への変換を示している。全連結視差画像５０３は、１２視差を与える連結視差画像がアレイ状に配置されている。全連結視差画像から１２行単位（ｎ×ｍ＝１２）で画素が取り出され、視差合成画像５０４（要素画像アレイ）にサブ画素単位で並べ替えられる。なお、本実施例では表示部の画素数が１４００×１０５０であるとしているが、ｍ＝３の場合は１４００が３で割り切れないため、表示部における左右対称性を考慮して、左右１画素列ずつを除いた１３９８×１０５０の範囲で変換処理を行い、全連結視差画像および視差合成画像の画素数が１３９８×１０５０であるとして扱う。まず４段の連結視差画像の各段の１行目の画素（合計４画素行分）が、視差合成画像の上から４行の範囲に、図５（ｃ）に示すようなサブ画素配置に従って並び替えられる。この４画素行分についてはＹｉ＝０であるため、ｊ＝３、（ｍ−ｊ）＝０であるから、線形補間処理は行われず、１対１写像になる。図１４ｂには、各連結視差画像の左上の１画素ずつ（合計１２画素）が、視差合成画像の左上の領域に配置されることを示している。各連結視差画像の１行目の画素数は４６６であり、同様の処理を４６６回繰り返すことにより、視差合成画像の上から４行の範囲が右端まで埋め尽くされる。次に、４段の連結視差画像の各段の２行目の画素（合計４画素行分）が、視差合成画像の上から５〜８行目の範囲に、図５（ｃ）に示すようなサブ画素配置に従って並び替えられる。図５（ｃ）からわかるように、視差合成画像の１〜４行目に対し、５〜８行目は１画素分右にずらして配置される。この４画素行分についてはＹｉ＝１であるため、ｊ＝２、（ｍ−ｊ）＝１であるから、各連結視差画像の隣接２画素が２：１で平均化された画素データが出力され、２対１写像となる。次に、４段の連結視差画像の各段の３行目の画素（合計４画素行分）が、視差合成画像の上から９〜１２行目の範囲に、図５（ｃ）に示すようなサブ画素配置に従って並び替えられる。図５（ｃ）からわかるように、視差合成画像の１〜４行目に対し、９〜１２行目は２画素分右にずらして配置される。この４画素行分についてはＹｉ＝２であるため、ｊ＝１、（ｍ−ｊ）＝２であるから、各連結視差画像の隣接２画素が１：２で平均化された画素データが出力され、２対１写像となる。以上で１２行分の変換がなされ、以降は１２行単位の繰り返しとなる。４段の連結視差画像の各段の４行目の画素（合計４画素行分）が、視差合成画像の上から１３〜１６行目の範囲に、図５（ｃ）に示すようなサブ画素配置に従って並び替えられる。図５（ｃ）からわかるように、視差合成画像の１〜４行目に対し、１３〜１６行目はずらさずに配置される。以上説明したように、この並び替えに際しては、画素間の補間処理で新たな画素を生成して角度ａｔａｎ（１／４）に沿うように列方向の画像が配列される。その結果、２：１の写像として視差合成画像の一部が形成される。この処理を繰り返すことによって視差合成画像が形成され、この視差合成画像が表示部３３１に表示される。

図１４ｃは、図５（ｂ）に記載のｎ＝４、ｍ＝２の条件の場合の本発明の実施例における、サブ画素単位での全連結視差画像５０３から視差合成画像５０４への変換を示している。全連結視差画像５０３は、８視差を与える連結視差画像がアレイ状に配置されている。全連結視差画像から８行単位（ｎ×ｍ＝８）で画素が取り出され、視差合成画像５０４（要素画像アレイ）にサブ画素単位で並べ替えられる。すなわち、まず４段の連結視差画像の各段の１行目の画素（合計４画素行分）が、視差合成画像の上から４行の範囲に、図５（ｂ）に示すようなサブ画素配置に従って並び替えられる。この４画素行分についてはＹｉ＝０であるため、ｊ＝２、（ｍ−ｊ）＝０であるから、線形補間処理は行われず、１対１写像になる。図１４ｃには、各連結視差画像の左上の１画素ずつ（合計８画素）が、視差合成画像の左上の領域に配置されることを示している。各連結視差画像の１行目の画素数は７００であり、同様の処理を７００回繰り返すことにより、視差合成画像の上から４行の範囲が右端まで埋め尽くされる。次に、４段の連結視差画像の各段の２行目の画素（合計４画素行分）が、視差合成画像の上から５〜８行目の範囲に、図５（ｂ）に示すようなサブ画素配置に従って並び替えられる。図５（ｂ）からわかるように、視差合成画像の１〜４行目に対し、５〜８行目は１画素分右にずらして配置される。この４画素行分についてはＹｉ＝１であるため、ｊ＝１、（ｍ−ｊ）＝１であるから、各連結視差画像の隣接２画素が１：１で平均化された画素データが出力され、２対１写像となる。以上で８行分の変換がなされ、以降は８行単位の繰り返しとなる。４段の連結視差画像の各段の３行目の画素（合計４画素行分）が、視差合成画像の上から９〜１２行目の範囲に、図５（ｂ）に示すようなサブ画素配置に従って並び替えられる。図５（ｂ）からわかるように、視差合成画像の１〜４行目に対し、９〜１２行目はずらさずに配置される。以上説明したように、この並び替えに際しては、画素間の補間処理で新たな画素を生成して角度ａｔａｎ（１／４）に沿うように列方向の画像が配列される。その結果、２：１の写像として視差合成画像の一部が形成される。この処理を繰り返すことによって視差合成画像が形成され、この視差合成画像が表示部３３１に表示される。

図１４ｄは、図６（ａ）に記載のｎ＝５、ｍ＝５の場合の比較例における、サブ画素（サブピクセル）単位での全連結視差画像５０３から視差合成画像５０４への変換を示している。全連結視差画像５０３は、２５視差を与える連結視差画像がアレイ状に配置されている。全連結視差画像から２５行単位（ｎ×ｍ＝２５）で画素が取り出され、視差合成画像５０４（要素画像アレイ）にサブ画素単位で並べ替えられる。すなわち、まず５段の連結視差画像の各段の１行目の画素（合計５画素行分）が、視差合成画像の上から５行の範囲に、図６（ａ）に示すようなサブ画素配置に従って並び替えられる。この５画素行分についてはＹｉ＝０であるため、ｊ＝５、（ｍ−ｊ）＝０であるから、線形補間処理は行われず、１対１写像になる。図１４ｄには、各連結視差画像の左上の１画素ずつ（合計２５画素）が、視差合成画像の左上の領域に配置されることを示している。各連結視差画像の１行目の画素数は２８０であり、同様の処理を２８０回繰り返すことにより、視差合成画像の上から５行の範囲が右端まで埋め尽くされる。次に、５段の連結視差画像の各段の２行目の画素（合計５画素行分）が、視差合成画像の上から６〜１０行目の範囲に、図６（ａ）に示すようなサブ画素配置に従って並び替えられる。図６（ａ）からわかるように、視差合成画像の１〜５行目に対し、６〜１０行目は１画素分右にずらして配置される。この５画素行分についてはＹｉ＝１であるため、ｊ＝４、（ｍ−ｊ）＝１であるから、各連結視差画像の隣接２画素が４：１で平均化された画素データが出力され、２対１写像となる。次に、５段の連結視差画像の各段の３行目の画素（合計５画素行分）が、視差合成画像の上から１１〜１５行目の範囲に、図６（ａ）に示すようなサブ画素配置に従って並び替えられる。図６（ａ）からわかるように、視差合成画像の１〜５行目に対し、１１〜１５行目は２画素分右にずらして配置される。この５画素行分についてはＹｉ＝２であるため、ｊ＝３、（ｍ−ｊ）＝２であるから、各連結視差画像の隣接２画素が３：２で平均化された画素データが出力され、２対１写像となる。次に、５段の連結視差画像の各段の４行目の画素（合計５画素行分）が、視差合成画像の上から１６〜２０行目の範囲に、図６（ａ）に示すようなサブ画素配置に従って並び替えられる。図６（ａ）からわかるように、視差合成画像の１〜５行目に対し、１６〜２０行目は３画素分右にずらして配置される。この５画素行分についてはＹｉ＝３であるため、ｊ＝２、（ｍ−ｊ）＝３であるから、各連結視差画像の隣接２画素が２：３で平均化された画素データが出力され、２対１写像となる。次に、５段の連結視差画像の各段の５行目の画素（合計５画素行分）が、視差合成画像の上から２１〜２５行目の範囲に、図６（ａ）に示すようなサブ画素配置に従って並び替えられる。図６（ａ）からわかるように、視差合成画像の１〜５行目に対し、２１〜２５行目は４画素分右にずらして配置される。この５画素行分についてはＹｉ＝４であるため、ｊ＝１、（ｍ−ｊ）＝４であるから、各連結視差画像の隣接２画素が１：４で平均化された画素データが出力され、２対１写像となる。以上で２５行分の変換がなされ、以降は２５行単位の繰り返しとなる。５段の連結視差画像の各段の６行目の画素（合計５画素行分）が、視差合成画像の上から２６〜３０行目の範囲に、図６（ａ）に示すようなサブ画素配置に従って並び替えられる。図６（ａ）からわかるように、視差合成画像の１〜５行目に対し、２６〜３０行目はずらさずに配置される。以上説明したように、この並び替えに際しては、サブ画素間の補間処理で新たなサブ画素を生成して角度ａｔａｎ（１／５）に沿うように列方向の画像が配列される。その結果、２：１の写像として視差合成画像の一部が形成される。この処理を繰り返すことによって視差合成画像が形成され、この視差合成画像が表示部３３１に表示される。

図１４ｅは、図６（ｂ）に記載のｎ＝５、ｍ＝２の場合の本発明の実施例における、サブ画素単位での全連結視差画像５０３から視差合成画像５０４への変換を示している。全連結視差画像５０３は、１０視差を与える連結視差画像がアレイ状に配置されている。全連結視差画像から１０行単位（ｎ×ｍ＝１０）で画素が取り出され、視差合成画像５０４（要素画像アレイ）にサブ画素単位で並べ替えられる。すなわち、まず５段の連結視差画像の各段の１行目の画素（合計５画素行分）が、視差合成画像の上から５行の範囲に、図６（ｂ）に示すようなサブ画素配置に従って並び替えられる。この５画素行分についてはＹｉ＝０であるため、ｊ＝２、（ｍ−ｊ）＝０であるから、線形補間処理は行われず、１対１写像になる。図１４ｅには、各連結視差画像の左上の１画素ずつ（合計１０画素）が、視差合成画像の左上の領域に配置されることを示している。各連結視差画像の１行目の画素数は７００であり、同様の処理を７００回繰り返すことにより、視差合成画像の上から５行の範囲が右端まで埋め尽くされる。次に、５段の連結視差画像の各段の２行目の画素（合計５画素行分）が、視差合成画像の上から６〜１０行目の範囲に、図６（ｂ）に示すようなサブ画素配置に従って並び替えられる。図６（ｂ）からわかるように、視差合成画像の１〜５行目に対し、６〜１０行目は１画素分右にずらして配置される。この５画素行分についてはＹｉ＝１であるため、ｊ＝１、（ｍ−ｊ）＝１であるから、各連結視差画像の隣接２画素が１：１で平均化された画素データが出力され、２対１写像となる。以上で１０行分の変換がなされ、以降は１０行単位の繰り返しとなる。５段の連結視差画像の各段の３行目の画素（合計５画素行分）が、視差合成画像の上から１１〜１５行目の範囲に、図６（ｂ）に示すようなサブ画素配置に従って並び替えられる。図６（ｂ）からわかるように、視差合成画像の１〜５行目に対し、１１〜１５行目はずらさずに配置される。以上説明したように、この並び替えに際しては、画素間の補間処理で新たな画素を生成して角度ａｔａｎ（１／５）に沿うように列方向の画像が配列される。その結果、２：１の写像として視差合成画像の一部が形成される。この処理を繰り返すことによって視差合成画像が形成され、この視差合成画像が表示部３３１に表示される。

上述した図１２に示す全連結視差画像の形式及び補間を利用した変換処理は、実写画像或いは既存多視点画像の処理に適する。ｍ＜ｎの場合、この処理にあっては、各視差成分画像は横解像度が高くなるようにサンプリングされた画像に相当する。

以上説明した方法においては、互いに同一の縦横画素数の連結視差画像５０２に変換した上で圧縮することにより、想定視距離Ｌを変化させた場合の視差方向数増減或いは視差成分画像の画素数範囲変動にも影響されず、画質劣化が最小限に防止される。特に、連結視差画像５０２が互いに相関を有するような配置及び組み合わせを採用することにより、より圧縮率を高めることができる。上述した立体画像用データ構造は、一般的なＭＰＥＧデータ等と同様、記録媒体への記録に限らず、有線・無線の通信手段を利用した配信、いわゆるストリーミング等にも適用可能である。

図１３は、ｎ＝４、ｍ＝２、視差数が８の１次元ＩＰ方式の場合における、視差成分画像の配置表の一例である。２０枚の視差成分画像は、各サイズが７００×２６２、アスペクト比は２（横解像度が縦解像度の２倍）であり、視差合成画像（サイズ１４００×１０４８）上に、配置表に示される範囲にサブ画素単位で分割配置される。ＣＧレンダリングの場合、各視差成分画像は、表に示される範囲のみレンダリングすればよい。

図１５は、図１３に示す必要範囲のみレンダリングした２０視点の視差成分画像のうち、左眼側に相当する１０視点の画像の例を示している。また、図１６は、図１３に示す必要範囲のみレンダリングした２０視点の視差成分画像のうち、右眼側に相当する１０視点の画像の例を示している。図１７は、図１５及び図１６の２０視点画像を合成した視差合成画像の例を示している。この画像を要素画像表示部に表示し、光線制御素子３３２を通して見ると、アスペクト比１の立体画像が観察される。

尚、図１５及び図１６の各視差画像の段階ではアスペクト比１（７００×５２４）でレンダリングし、連結画像に変換する段階において、視差合成画像（要素画像アレイ）に最終的に配置される位置を考慮してアスペクト比２に変換しても良い。

図１８は、垂直方向に対してレンズ角度がａｔａｎ（１／ｎ）で配置されたレンチキュラーシートを有する立体画像表示装置の表示性能を比較した表である。ここで、ｎが１から６及び７以上の自然数の例が示されている。この図１８から明らかなように、水平視差情報の垂直方向への割り当てによる実効的な視差数増大のためにはｎ＞＝４が必要であるが、ｎが大きいほど縦解像度は低下する。また、モアレ解消効果は、ｎが３の倍数でない場合が特に良好である。したがって、好ましくはｎ＝４或いは５の場合が、総合的に優れている。また、この表からも明らかなように、縦解像度を重視し、視差垂直割り当て効果を重視しない場合は、ｎ＝３であってもよく、ｍ＝１或いは２にすることにより本発明の効果を得ることが可能である。

図１９は、レンズ角度がａｔａｎ（１／４）或いはａｔａｎ（１／５）に限定した場合における立体画像表示装置の表示性能を詳細に比較した表である。表の１列目は、特許文献２および本明細書における図５（ａ）、図６（ａ）に示した比較例（ｎ×ｎ視差、ｎ＝ｍ）の構成であり、文字表示において縦線がギザギザになる点が特に問題であり、飛び出し・奥行き部の横解像度が低い点も問題である。表の２列目は、本実施例のようなｎ×ｍ視差（ｍ＜ｎ）の構成であり、解像度及び文字表示において問題が発生しないため、総合的に優れている。表の３列目は、比較例であるｍ＞ｎの場合の構成であり、解像度や文字表示が本発明とは逆に悪化することを示している。表の４列目は、視差数がｎ×ｎでない場合で、立体表示時実効画素が縦長である場合（レンズ水平ピッチが３画素より短い場合など）の構成であり、解像度は問題ないが、色分布がデルタ配列的になることにより、飛び出し・奥行き部の色分布の均一性や、文字表示が問題となる。また、周期性が低いため、変換処理が複雑化することにより、処理負荷の増大、想定視距離変更などに対する設計汎用性低下などが問題となる。表の５列目は、視差数がｎ×ｎでない場合で、立体表示時実効画素が横長である場合（レンズ水平ピッチが３画素より長い場合など）の構成であり、飛び出し・奥行き部の解像度が悪化し、文字表示において縦線がギザギザになる問題は改善しない。また、周期性が低いため、変換処理が複雑化することにより、処理負荷の増大、想定視距離変更などに対する設計汎用性低下などが問題となる。

以上の方法により、光線制御素子を斜めに設置した立体画像表示装置において、立体表示時の文字表示品位及び飛び出し・奥行き位置の物体の画質が向上される。

尚、この発明は、上記実施形態そのままに限定されるものでなく、実施段階では、その要旨を逸脱しない範囲で構成要素を変形して具体化できる。

また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。

この発明の一実施形態に係る立体画像表示装置を概略的に示す斜視図である。 （ａ）及び（ｂ）は、図１に示される光線制御素子を概略的に示す斜視図である。 （ａ）〜（ｃ）は、図１に示される立体画像表示装置における要素画像平均水平ピッチＰｅ、視差バリア水平ピッチＰｓ、視差バリアギャップｄ、想定視距離Ｌ及び視域幅Ｗの関係を示す模式図である。 （ａ）、（ｂ）及び（ｃ）は、この発明の一実施形態に係る平行光線の組を持つ条件の１次元ＩＰ方式の視差成分画像と視差合成画像の構成方法を示す説明図である。 （ａ）〜（ｃ）は、比較例（（ａ））及びこの発明の一実施形態（（ｂ）及び（ｃ））に係る立体画像表示装置或いはその画像表示方法において用いられる、要素画像表示部の画素群により構成される立体表示時実効画素の形状を示す平面図である。 （ａ）及び（ｂ）は、比較例（（ａ））及びこの発明の一実施形態（（ｂ））に係る立体画像表示装置或いはその画像表示方法において用いられる、要素画像表示部の画素群により構成される立体表示時実効画素の形状を示す平面図である。 この発明の一実施形態に係る立体画像表示装置の一部分の構成を概略的に示す透視斜視図である。 この発明の一実施形態に係る立体画像表示装置の一部分の構成を概略的に示す透視斜視図である。 この発明の一実施形態に係る立体画像表示装置の一部分の構成を概略的に示す透視斜視図である。 この発明の一実施形態に係る立体画像用データ構造における各視差成分画像を概略的に示す平面図である。 この発明の一実施形態に係る立体画像用データ構造における同一の縦横画素数の連結視差画像の配列を示す平面図である。 この発明の一実施形態に係る立体画像用データ構造における全連結視差画像の形式を概略的に示す平面図である。 この発明の一実施形態に係る立体画像表示装置の視差画像割当の一例を示す表である。 図１２に示されるような全連結視差画像の形式の立体画像用データから視差合成画像（要素画像アレイ）への変換処理を概略的に示す説明図である。 図１２に示されるような全連結視差画像の形式の立体画像用データから視差合成画像（要素画像アレイ）への変換処理を概略的に示す説明図である。 図１２に示されるような全連結視差画像の形式の立体画像用データから視差合成画像（要素画像アレイ）への変換処理を概略的に示す説明図である。 図１２に示されるような全連結視差画像の形式の立体画像用データから視差合成画像（要素画像アレイ）への変換処理を概略的に示す説明図である。 図１２に示されるような全連結視差画像の形式の立体画像用データから視差合成画像（要素画像アレイ）への変換処理を概略的に示す説明図である。 この発明の一実施形態に係る立体画像表示装置及び立体画像表示方法による視差成分画像群の一例を示す平面図である。 この発明の一実施形態に係る立体画像表示装置及び立体画像表示方法による視差成分画像群の一例を示す平面図である。 この発明の一実施形態に係る立体画像表示装置及び立体画像表示方法による視差合成画像の一例を示す平面図である。 この発明の一実施形態及び比較例に係る立体画像表示装置の表示性能を比較した表である。 この発明の一実施形態及び比較例に係る立体画像表示装置のｎ＝４，５の場合の表示性能を詳細に比較した表である。

符号の説明

２０１．．．立体画像表示時の実効画素、２０２．．．立体画像表示時の色配列、３３１．．．要素画像表示部、３３２．．．光線制御素子、３３３．．．スリット・アレイ、３３４．．．レンチキュラー・シート、３３５．．．サブ画素、３４１．．．水平方向の視角、３４２．．．垂直方向の視角、３４３．．．想定視距離面、３４６．．．視点とアパーチャ中心（レンズ主点）を結ぶ線、４２１．．．表示される物体（被写体）、４２２．．．投影面、４２３．．．投影中心線、４２４．．．投影面上に投影された被写体、４２５．．．投影線４２５、４２６．．．投影面上に投影された一方向分の視差成分画像、４２７．．．一方向分の視差成分画像が分割配置された視差合成画像、４２８．．．投影方向、４２９．．．カメラ、５０２．．．連結視差画像、５０３．．．全連結視差画像、５０４．．．視差合成画像（要素画像アレイ）

Claims (10)

1. 縦ストライプ配列された３つの色成分サブ画素からなる画素がマトリクス状に配列され、ある水平ピッチＰｅで要素画像群が表示される表示部であって、立体画像を表示する為の視差成分画像が前記要素画像に分割配置され、前記要素画像の水平ピッチＰｅの平均値が前記画素水平ピッチＰｈの自然数ｍ倍（ｍ＜ｎであってｎ＝３，４或いは５）に等しく或いは大きく定められている表示部と、
   前記表示部に対向して設置され、画素列の方向に対して角度ａｔａｎ（１／ｎ）で傾けられた方向に直線状に延びる光学的開口部がある水平ピッチＰｓで略水平方向に配列される光線制御素子であって、前記光線制御素子の水平ピッチＰｓが前記画素水平ピッチＰｈの自然数ｍ倍に等しく或いは小さく定められている光線制御素子と、
   を具備することを特徴とする立体画像表示装置。
2. 前記ｎは、４であることを特徴とする請求項１の立体画像表示装置。
3. 前記ｎは、５であることを特徴とする請求項１の立体画像表示装置。
4. 前記立体画像表示装置は、観察者が前記立体画像を正常に認識できる視域を有し、
   前記立体画像表示装置は、
   前記視域内の同一の視差方向に略平行な光線群を生成させる画素が集積されている少なくともｎ×ｍ枚の視差成分画像のうち第ｎ×ｍ隣接視差方向の関係にある１枚以上の視差成分画像が組み合わされて成る連結視差画像であって、実質的に同一の縦横画素数で横解像度が縦解像度より高い連結視差画像から前記要素画像が配列された視差合成画像に変換する画像処理部と、及び
   前記視差合成画像を前記表示部に表示させる駆動部と、
   を更に具備することを特徴とする請求項１の立体画像表示装置。
5. 縦ストライプ配列された３つの色成分サブ画素からなる画素がマトリクス状に配列され、ある水平ピッチＰｅで要素画像群が表示される表示部であって、立体画像を表示する為の視差成分画像が前記要素画像に分割配置され、前記要素画像の水平ピッチＰｅの平均値が前記画素水平ピッチＰｈの自然数ｍ倍（ｍ＜ｎであってｎ＝３，４或いは５）に等しく或いは大きく定められている表示部と、
   前記表示部に対向して設置され、画素列の方向に対して角度ａｔａｎ（１／ｎ）で傾けられた方向に直線状に延びる光学的開口部がある水平ピッチＰｓで略水平方向に配列される光線制御素子であって、前記光線制御素子の水平ピッチＰｓが前記画素水平ピッチＰｈの自然数ｍ倍に等しく或いは小さく定められている光線制御素子と、
   を具備することを特徴とする立体画像表示装置に前記要素画像を表示してある視域内で立体画像を観察者に認識させる立体画像表示方法であって、
   前記視域内の同一の視差方向に略平行な光線群を生成させる画素が集積されている少なくともｎ×ｍ枚の視差成分画像のうち第ｎ×ｍ隣接視差方向の関係にある１枚以上の視差成分画像が組み合わされて成る連結視差画像であって、実質的に同一の縦横画素数で横解像度が縦解像度より高い連結視差画像を用意し、
   前記連結視差画像から前記要素画像が配列された視差合成画像に変換して前記表示部に視差合成画像を表示して立体画像を観察者に認識させることを特徴とする立体画像表示方法。
6. 前記ｎは、４であることを特徴とする請求項５の立体画像表示方法。
7. 前記ｎは、５であることを特徴とする請求項５の立体画像表示方法。
8. 縦ストライプ配列された３つの色成分サブ画素からなる画素がマトリクス状に配列され、ある水平ピッチＰｅで要素画像群が表示される表示部であって、立体画像を表示する為の視差成分画像が前記要素画像に分割配置され、前記要素画像の水平ピッチＰｅの平均値が前記画素水平ピッチＰｈの自然数ｍ倍（ｍ＜ｎであってｎ＝３，４或いは５）に等しく或いは大きく定められている表示部と、
   前記表示部に対向して設置され、画素列の方向に対して角度ａｔａｎ（１／ｎ）で傾けられた方向に直線状に延びる光学的開口部がある水平ピッチＰｓで略水平方向に配列される光線制御素子であって、前記光線制御素子の水平ピッチＰｓが前記画素水平ピッチＰｈの自然数ｍ倍に等しく或いは小さく定められている光線制御素子と、
   を具備することを特徴とする立体画像表示装置に前記要素画像を表示してある視域内で立体画像を観察者に認識させる為の立体画像用データの構造であって、
   前記視域内の同一の視差方向に略平行な光線群を生成させる画素が集積されている少なくともｎ×ｍ枚の視差成分画像のうち第ｎ×ｍ隣接視差方向の関係にある１枚以上の視差成分画像が組み合わされて成る連結視差画像であって、実質的に同一の縦横画素数で横解像度が縦解像度より高い連結視差画像を、前記要素画像が配列された視差合成画像への変換単位とすることを特徴とする立体画像用データの構造。
9. 前記ｎは、４であることを特徴とする請求項８の立体画像用データの構造。
10. 前記ｎは、５であることを特徴とする請求項８の立体画像用データの構造。

Images