JP3789794B2 - 立体画像処理方法、装置、およびシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は立体画像処理技術に関し、とくに、立体画像を処理または表示する方法、装置、システムおよび関連するコンピュータプログラムとデータ構造に関する。
【０００２】
【従来の技術】
ここ数年、インターネット利用人口が急増し、インターネット利用の新たなステージともいえるブロードバンド時代に入ろうとしている。ブロードバンド通信では通信帯域が格段に広がるため、従来敬遠されがちだった重い画像データの配信も盛んになる。「マルチメディア」や「ビデオ・オン・デマンド」などの概念は提起されて久しいが、ブロードバンド時代になって、はじめてこれらのことばが一般のユーザに実感をもって体験される状況になった。
【０００３】
画像、とくに動画像の配信が広がれば、ユーザは当然ながらコンテンツの充実と画質の向上を求める。これらは、既存の映像ソフトのデジタル化とそのためのオーサリングツールの開発、高効率かつロスの少ない画像符号化技術の追求などに負うところが大きい。
【０００４】
【発明が解決しようとする課題】
こうした状況下、近い将来画像配信サービスのひとつの形態として、擬似三次元画像（以下単に「立体画像」ともいう）の配信が技術的に注目され、かつ相当の市場を獲得することが考えられる。立体画像は、よりリアルな映像を求めるユーザの希望を叶え、とくに映画やゲームなど臨場感を追求するアプリケーションでは魅力的である。さらに立体画像は、２１世紀の商取引のひとつの標準になると思われるＥＣ（電子商取引）における商品プレゼンテーションにおいて、商品のリアルな表示にも有用である。
【０００５】
しかしながら、立体画像の配信という新しいネットビジネスを考えたとき、そのためのインフラストラクチャもビジネス推進のためのモデルもまだ存在しないといってもよい。本発明者はそうした現状に着目して本発明をなしたものであり、その目的は、立体画像の流通促進を技術的側面から可能にするための立体画像処理技術を提供することにある。
【０００６】
【課題を解決するための手段】
本発明の理解のために、まず本明細書における以下の概念を定義する。
「立体画像」： 画像データそのものではなく、立体的に表示された結果、ユーザの目に投ずる画像を観念的に指す。立体画像として表示できる画像データのほうは、後述する「マルチプレクス画像」とよぶ。すなわち、マルチプレクス画像を表示すると、立体画像が見える。
「視差画像」： 通常、奥行き感のある立体視のためには、視差が生じるよう右目に投ずるべき画像（以下、単に右目画像という）と左目に投ずるべき画像（以下、単に左目画像という）を準備する必要がある。右目画像と左目画像のように視差を生じさせる画像の対を視差画像と総称する場合もあるが、本明細書では、視差を生じさせる原因となる画像それぞれを視差画像とよぶ。つまり、右目画像も左目画像もそれぞれ視差画像である。これら以外にも、一般には、立体画像において想定された各視点からの画像がそれぞれ視差画像となる。
【０００７】
「基礎画像」： 立体画像が表示されるために、立体視に必要な処理をなす対象の画像、またはすでに処理がなされた画像をいう。具体的な例として、後述のセパレート形式の視差画像の他、マルチプレクス形式またはサイドバイサイド形式のごとく、すでに複数の視差画像が何らかの形で合成されてできた画像（これらを「合成画像」ともいう）を含む。
「サイドバイサイド形式」： 基礎画像の構成の態様のひとつ。複数の視差画像を水平方向、垂直方向またはそれらの両方向に並置して合成した形式。通常は間引きされた視差画像を並置する。例えば水平方向に２枚の視差画像を並置して構成する場合、それぞれの視差画像を水平方向に一画素ごとに間引く。サイドバイサイド形式の基礎画像を単に「サイドバイサイド画像」ともよぶ。
【０００８】
「マルチプレクス形式」： 基礎画像の構成の態様のひとつ。立体画像を表示するための最終的な画像データの形式。マルチプレクス形式の基礎画像を単に「マルチプレクス画像」ともよぶ。
「セパレート形式」： 基礎画像の構成の態様のひとつ。単独の二次元画像だが、他の二次元画像と組み合わされて立体視されることが想定されており、それら複数の二次元画像のそれぞれを指す。「セパレート形式」の基礎画像を単に「セパレート画像」ともよぶ。セパレート画像はマルチプレクス画像やサイドバイサイド画像と違い、合成画像ではない。
【０００９】
「視点」： 立体画像にはそれを見る視点が想定されている。視点の数と視差画像の数は通常等しい。左目画像と右目画像のふたつの視差画像があるとき、視点の数は「２」である。ただし、視点がふたつでも、ユーザの頭の想定位置はひとつである。同様に、左右方向のユーザの移動を考慮した立体画像を表示する場合、例えば左右方向に４つの視点ｖａ、ｖｂ、ｖｃ、ｖｄを想定し、それぞれから見える視差画像をＩａ、Ｉｂ、Ｉｃ、Ｉｄとすれば、例えば（Ｉａ，Ｉｂ）（Ｉｂ，Ｉｃ）（Ｉｃ，Ｉｄ）の３組の視差画像によって奥行き感のある立体画像が表示できる。この状態でさらに、上下方向に回り込んだ立体画像を生成するために、相対的に上の方向から見た４つの画像と、同様に下の方向から見た４つの画像を利用するとすれば、視点の数は「８」となる。
【００１０】
以上の定義のもと、本発明のある態様は、立体画像処理方法に関する。この方法は、立体画像の流通の起点ともいうべき符号化側の技術と把握することができる。この方法は、立体画像を表示するための基礎画像に、その立体画像を表示するための一連の処理における所定の場面にて参照すべき情報（以下「立体情報」ともいう）を付加するものである。
【００１１】
「付加する」とは、基礎画像の中に組み込んでもよいし、基礎画像のヘッダその他の領域に組み込んでもよいし、基礎画像と関連づけられた別ファイルなどに組み込んでもよく、要するに基礎画像との対応関係を設ければよい。「立体画像を表示するための一連の処理における所定の場面」の例は、例えばサイドバイサイド画像をマルチプレクス画像へ変換する場面である。
【００１２】
この方法によれば、立体情報を参照することにより、適切な方法で立体画像を表示することができる。この方法で多数の基礎画像を準備すれば、種々の情報端末がそのデータを取りだして立体表示できるため、この方法は立体画像流通のための基礎技術として働く。この方法は、例えば立体画像サーバにて利用可能である。
【００１３】
本発明の別の態様は、上述の方法によって生成された画像データの構造に関する。このデータ構造は、立体画像を表示するための基礎画像の主データと、その立体画像を表示するための一連の処理における所定の場面にて参照すべき情報、すなわち立体情報を保持する副データとの組合せとして形成されている。主データは基礎画像を所定の手法にて圧縮したものであってもよい。「組合せ」とは、両者が一体の場合の他、両者に何らかの関連づけがなされていればよい。このデータ構造によれば、上述のごとく、表示側にて容易に立体表示が実現する。
【００１４】
本発明のさらに別の態様も立体画像処理方法に関する。この方法は、上述のデータ構造を解釈して利用するもの、すなわち一般には立体画像を表示する復号側の技術と把握することができる。この方法は、立体画像を表示するための基礎画像に付加された、その立体画像を表示するための一連の処理における所定の場面にて参照すべき情報、すなわち立体情報を検出するものである。検出を容易にするために、立体情報の付加は予め符号化側と合意された所定の形式にしたがってなされてもよい。この方法はさらに、検出された立体情報をもとに基礎画像の構成の態様を別のものに変換してもよい。
【００１５】
本発明のさらに別の態様も立体画像処理方法に関する。この方法は、メモリを有する装置にて立体画像を扱う際、画面に最終的に表示される基礎画像の構成の態様とは異なる態様の基礎画像を前記メモリへ保持しておき、適宜これを読み出して利用するものである。例えば、立体画像の表示にマルチプレクス画像が用いられても、その立体画像に拡大その他の処理を施したいとき、マルチプレクス形式よりもサイドバイサイド形式のほうが好都合なことがある。その場合、メモリにはサイドバイサイド画像を保持しておけば処理の高速化が実現する。
【００１６】
本発明のさらに別の態様も立体画像処理方法に関する。この方法は、立体画像を表示するための基礎画像に付加された、その立体画像を表示するための一連の処理における所定の場面にて参照すべき情報、すなわち立体情報を検出し、その情報をもとに立体画像の表示画面の輝度を調整する。たとえば、立体情報として、立体画像に想定された視点の数に関する情報を入れておき、輝度をその数に応じて調整してもよい。
【００１７】
仮に視点数が「４」であると、４枚の視差画像を合成してマルチプレクス画像が形成される。４つの視点のうちいずれかひとつの視点から見える画素数は通常の二次元画像を見た場合の１／４にとどまる。したがって、画面の輝度は理論上通常の１／４となる。このため、視点数に応じて表示装置の画面の輝度を高める処理が有効になる。この処理は、例えば視点数を検出するソフトウエアと輝度を調整する回路の協働によってなされる。
【００１８】
本発明のさらに別の態様は、立体画像処理装置に関する。この装置は、立体画像を準備する符号化側のものであり、立体画像を表示するための基礎画像を取得する画像取得部と、取得された基礎画像に、その立体画像を表示するための一連の処理における所定の場面にて参照すべき情報、すなわち立体情報を付加する情報付加部とを含む。画像取得部は、自ら基礎画像を生成してもよいし、既製の基礎画像を入力してもよい。
【００１９】
本発明のさらに別の態様も立体画像処理装置に関する。この装置は、立体画像を実際に表示し、またはそのための前処理を行うものであり、立体画像を表示するための基礎画像を取得する画像取得部と、取得された基礎画像に付加された、その立体画像を表示するための一連の処理における所定の場面にて参照すべき情報、すなわち立体情報を検出する情報検出部とを含む。画像取得部は、たとえばネットワーク経由または記録媒体などから基礎画像を取得または入力する。画像取得部は、予め圧縮されていた画像データを入力する画像入力部と、入力された画像データを伸張することによって基礎画像を生成する画像伸張部とを含んでもよく、検出された情報をもとに前記立体画像の表示画面の輝度を調整する輝度調整部を含んでもよい。
【００２０】
本発明のさらに別の態様は、立体画像処理システムに関する。このシステムは立体画像の合成装置と表示装置を含み、合成装置は、立体画像を表示するための基礎画像に、その立体画像を表示するための一連の処理における所定の場面にて参照すべき情報、すなわち立体情報を組み込み、表示装置は、立体情報を検出してこれをもとに基礎画像に適宜画像処理を施し、立体画像を表示する。画像処理の例として、基礎画像の構成の態様の変更がある。本システムはサーバ・クライアントシステムであってもよい。本システムは立体画像の流通促進に寄与できる。
【００２１】
本発明のさらに別の態様は立体画像処理方法に関する。この方法は、立体画像を表示するための基礎画像を取得し、この基礎画像の一部を検査することによって立体画像を表示するための一連の処理における所定の場面にて参照すべき情報、すなわち立体情報を推定するものである。いままでに述べた場合とは異なり、ここでは立体情報が明示的に付加されていない場合の処理を考えている。そのため、基礎画像の一部が実際に検査される。一例として、基礎画像上のいくつかの領域を調べることにより、これがサイドバイサイド画像であるか否かが推定される。
【００２２】
この方法によれば、明示的に立体情報が与えられていない場合でも、基礎画像からそれを知ることができる。したがって一般的な手法で作成された過去の画像を利用することができ、ソフト資産の有効活用が図られる。
【００２３】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体、伝送媒体などの間で変換したものもまた、本発明の態様として有効である。
【００２４】
【発明の実施の形態】
ＬＣＤに画像を表示するとき、通常、表示の最小単位はドットである。しかし、ＲＧＢに対応する３個のドットが集まってひとつのピクセルが形成され、通常の画像表示または画像処理ではピクセルが処理の最小単位として意識される。
【００２５】
しかし、立体画像をＬＣＤに表示する場合、別の配慮が必要になる。右目画像と左目画像は、レンチキュラーレンズやパララックスバリアなどの光学フィルタを通して、視差をもってユーザの目に到達する。左右両目の画像をピクセル単位、すなわち３ドット単位で交互に配置すると、右目画像のみが見える領域と左目画像だけが見える領域との間に、両方の画像が見える領域が発生し、色も混ざり、非常に見にくくなる。そのため、物理的な最小表示要素であるドット単位による交互の配置が望ましい。そこで、立体表示すべき基礎画像として、ドット単位で右目画像と左目画像を交互に配置したマルチプレクス画像が利用されることが多い。
【００２６】
視差画像が右目画像と左目画像の２枚のみからなる場合、すなわち水平視点数が「２」の場合、マルチプレクス画像は右目画像と左目画像をドット単位でストライプ状に配すれば足りる。しかし、視点数が「４」で、４枚の視差画像をもちいて水平方向の視点移動を考慮した立体画像を表示する場合、図１に示すごとく、画面１０の前におかれたパララックスバリア１２により、第１〜第４の視点ＶＰ１〜４からそれぞれ対応する視差画像のドットのみが見える。画面１０では、第１の視点ＶＰ１に対応する第１の視差画像のドットに「１」を付して示しており、以下の視点でも同様である。この例では、第１〜第４の視差画像がドット単位で順にストライプ状に配され、マルチプレクス画像が形成される。
【００２７】
さらに、垂直方向にも視点移動を考えたとき、パララックスバリア１２はストライプ状ではなくマトリクス状に並ぶピンホールになり、マルチプレクス画像もドット単位で入れ替わるマトリクス状になる。図２は、水平視点数、垂直視点数ともに「４」の場合のマルチプレクス画像２０の例を示す。ここで、（ｉ，ｊ）と表記される領域は、それぞれ水平方向の第ｉ視点、かつ垂直方向の第ｊ視点から見えるべきドットを示す。同図のごとく、水平方向には、ｉが１、２、３、４、１、・・・とサイクリックに変化し、同様に垂直方向には、ｊが１、２、３、４、１、・・・とサイクリックに変化する。
【００２８】
立体画像の利用促進を考えた場合、図２に示すマルチプレクス画像２０を必要な端末に送信すればよい。マルチプレクス画像２０であれば、すでに立体視するための最終形式になっているため、端末側ではそれを単に表示すれば済む。もちろんこのとき、立体視のためにパララックスバリア等の光学フィルタの存在を仮定している。
【００２９】
しかし本発明者は、ここでひとつ問題が生ずることを認識した。すなわち、送信に際して、当然ながら画像データを圧縮すべきであるが、マルチプレクス画像２０の場合、ＪＰＥＧ（Joint Photographic Expert Group）を代表とする通常の非可逆圧縮が事実上利用できないことである。なぜなら、マルチプレクスされた複数の視差画像は、それぞれ違う視点の画像であるから、画素レベルで考えるとそれらは本質的に無関係であり、ＪＰＥＧ等の空間周波数に依拠する手法で圧縮すると、せっかく各視点からの独立した視差画像を利用したにも拘わらず、それらの画像間で高周波成分がそぎ落とされ、結果的に正しい立体表示ができなくなる。とくに、独立した画像を画素単位で交互に並べたとき、非常に細かい高周波成分が多数生じるから、この問題は場合により致命的である。ネットワークの帯域が広がっているとはいえ、通常の画像は問題なく圧縮できるときに、立体画像のための基礎画像だけは圧縮できないとなれば、普及の足かせとなる。
【００３０】
そこで、送信や保存の場合で圧縮可能な形式として、サイドバイサイド画像の利用度が高くなることが考えられる。図３は水平、垂直とも４つの視点をもつサイドバイサイド画像３０を示す。ここで、（ｉ，ｊ）と表記される領域は、それぞれ水平方向の第ｉ視点、かつ垂直方向の第ｊ視点から見えるべき一枚の視差画像を示す。すなわちサイドバイサイド画像３０は、視差画像を水平または垂直の一方向か両方向に並置する形で合成したものであり、各視差画像は、それをサイドバイサイド画像３０から切り取れば、一枚の画像として機能する。
【００３１】
ただし、各視差画像は４×４＝１６の視点のひとつのみに対応すればよいため、立体画像として表示すべき画像サイズの１／１６のサイズでよく、通常は立体画像と同じサイズのオリジナルの画像から、水平方向と垂直方向のそれぞれについて、４ドットおきに１ドットを選んで生成される。わかりやすい例でいえば、視点数が「２」の右目画像と左目画像だけからなるマルチプレクス画像の場合、右目からは奇数列のドットのみが見えればよく、左目からは偶数列のドットのみが見えればよい。したがって、右目画像は予めオリジナルの画像から奇数列だけを取り出して水平方向に１／２に間引かれたものであればよく、左目画像も同様に偶数列だけを取り出せばよい。一般に視点の数が「ｎ」なら、サイドバイサイド画像を構成する各視差画像はオリジナルの画像サイズの１／ｎでよく、すべての視差画像をタイルのように並置すればちょうどオリジナルの画像サイズに戻る。
【００３２】
サイドバイサイド画像３０の場合、各視差画像がその境界を除いて独立しているため、非可逆圧縮をしても、悪影響はせいぜい境界部分にしか生じない。そのため、通常はサイドバイサイド３０をＪＰＥＧ等によって圧縮し、ネットワークを介して容易に送信したり、小さなストレージでも多数保存できるようになる。このように、サイドバイサイド画像３０は普及面で好適であるが、逆に欠点もあり、それは特別なビュアを要する点である。すなわち、いずれの表示装置でも、最終的にはマルチプレクス画像に変換しないと立体表示ができず、サイドバイサイド画像３０からマルチプレクス画像への変換処理が必要になる。
【００３３】
以上の一長一短を有するふたつの形式に加え、普及面、とくに画像の準備の観点から第３の形式としてセパレート画像が考えられる。セパレート画像は、集合体として立体画像を形成できるが、単独では通常の二次元画像に過ぎない。図４は１６枚のセパレート画像と立体画像との関係を示す。１６枚のうち、例えば「視点（４，２）の画像」と表記されたセパレート画像３２は、視点（４，２）を想定したもので、その画像サイズはオリジナルの画像と同じである。したがって、１６枚のセパレート画像は、それぞれユーザが移動しながら撮影したカメラ画像と考えればわかりやすい。
【００３４】
このように、セパレート画像はそのサイズが撮影時のままでよいため、間引きや合成といった処理を必要とせず、準備は楽である。また、それぞれの画像はオリジナルの状態で残るため、単独で別途利用できる。しかし、立体表示の場合、全体で１６枚の視差画像を要するため、伝送や保存の面では不利であり、また、やはり特別なビュアが必要になる。
【００３５】
以上が立体画像の普及にあたって考えられる主要な３形式である。これらの変形は最後に述べるとして、以下、基礎画像がこれらの３形式のいずれかで表現されているとき、普及促進および立体表示を技術的に実現するための立体画像処理方法を説明する。以下、簡単のために水平視点数が「２」、垂直視点数が「１」の場合を例示する。
【００３６】
図５、図６、図７はそれぞれ、本実施の形態に係る基礎画像のうち、サイドバイサイド画像４０、マルチプレクス画像５０、２枚でセットのセパレート画像６０、６２のデータ構造を模式的に示す。
【００３７】
図５に示すごとく、サイドバイサイド画像４０は、左目画像である第１視差画像４４と、右目画像である第２視差画像４６を水平に合成したもので、その画像データに後述するヘッダ領域４２が付加されている。同様に図６のマルチプレクス画像５０にも同じフォーマットにしたがうヘッダ領域４２が付加されている。図７のふたつのセパレート画像６０、６２には、それぞれヘッダ領域４２が付加されている。いずれの場合も、このデータ構造は、立体画像を表示するための基礎画像である主データと、その立体画像を表示するための一連の処理における所定の場面にて参照すべき情報を保持する副データとの組合せと考えることができる。なお、この主データが基礎画像を所定の手法にて圧縮したものである場合、副データはその圧縮手法において規定されるヘッダ領域に格納されてもよい。ヘッダ領域の規定がすでに存在する場合、その領域のうち例えばユーザ定義領域を利用することができる。
【００３８】
図８はヘッダ領域４２の詳細構成を模式的に示す。同図において、各領域は以下の立体情報を保持する。
（１）ＤＩＭ領域７０： ３ビットで基礎画像の次元および構成の態様を示す。
０００： セパレート画像または立体視できない二次元画像全般
００１： 三次元画像のうちマルチプレクス画像
０１０： 三次元画像のうちサイドバイサイド画像
０１１： リザーブ
１ｘｘ： リザーブ
リザーブされる形式の例として、サイドバイサイド画像のように複数の視差画像を並置しながら、ただしそれらの視差画像を一切間引かないオリジナル画像のまま並置する「ジョイント画像」や、偶数フィールドと奇数フィールドで視差画像を時分割で交互に表示すべき視差画像であることを示す「フィールドシーケンシャル画像」などが考えられる。「ジョイント画像」は平行法や交差法で観察されることが多いが、ビュアで間引きしてサイドバイサイド画像に変換したり、直接マルチプレクス画像へ変換することもできるため、ひとつのフォーマットとして有効である。
【００３９】
（２）ＢＤＬ領域７２： １ビットでサイドバイサイド画像の境界処理の有無を示す。ＤＩＭが「０１ｘ」のときに意味をもつ。
０： 境界処理なし
１： 境界処理あり
前述ごとく、サイドバイサイド画像を非可逆圧縮するとき、その境界部分で画像が悪影響を受ける。これを軽減するために、次項で示す処理がなされているか否かを示す。
【００４０】
（３）ＨＤＬ領域７４： ２ビットでサイドバイサイド画像の境界処理の内容を示す。ＢＤＬが「１」のときに意味をもつ。
００： 白枠を入れる
０１： 黒枠を入れる
１０： 端の画素をコピーして入れる
１１： リザーブ
圧縮による悪影響を低減するため、境界部分に白枠、黒枠等を入れて複数の視差画像の混じりを減らす。端の画素のコピーも同様の効果がある。
【００４１】
（４）ＷＤＴ領域７６： ２ビットでサイドバイサイド画像の境界処理の画素数を指定する。ＢＤＬが「１」のとき意味をもつ。
００〜１１： 画素数
（５）ＶＰＨ領域７８： ８ビットで立体画像に想定された水平視点数を示す。基礎画像の作成時に手動で記述してもよいし、基礎画像を生成するソフトウエアが自動生成してもよい。
００００００００： 不明またはリザーブ
０００００００１〜１１１１１１１１： 水平視点数
（６）ＶＰＶ領域８０： ８ビットで立体画像に想定された垂直視点数を示す。
００００００００： 不明またはリザーブ
０００００００１〜１１１１１１１１： 垂直視点数
なお、ＶＰＨとＶＰＶがともに０００００００１のとき、基礎画像は立体視のできない通常の二次元画像と判断してもよい。
【００４２】
（７）ＯＤＨ領域８２： １ビットで複数の視差画像の水平方向の並びを示す。
０： 撮影時のカメラの並びと同じ
１： 撮影時のカメラの並びと逆
つまり、ＯＤＨが「０」のとき、撮影時いちばん左側のカメラで撮影された視差画像がそのまま基礎画像においてもいちばん左側に記録されており、以降順に記録されている。通常並びがランダムということは考えにくいため、２種類の規定でよい。
【００４３】
（８）ＯＤＶ領域８４： １ビットで複数の視差画像の垂直方向の並びを示す。
０： 撮影時のカメラの並びと同じ
１： 撮影時のカメラの並びと逆
なお、前述の視点数に関するＶＰＨとＶＰＶがともに８ビットであり、通常は十分すぎると考えられるため、これらの最上位ビットをそれぞれＯＤＨ、ＯＤＶに割り当ててもよい。
【００４４】
（９）ＰＳＨ領域８６： ８ビットで各セパレート画像が水平方向において何番目の視点位置の画像であるかを示す。ＤＩＭが「０００」のときに意味がある。
００００００００： 不明またはリザーブ
０００００００１〜１１１１１１１１： 水平方向の位置
なお、各セパレート画像上に決められた原点、例えば画像の左上角の点の座標のような絶対値を別途ヘッダ領域４２に盛り込んでもよく、その場合、処理の高速化につながる。
【００４５】
（１０）ＰＳＶ領域８８： ８ビットで各セパレート画像が垂直方向において何番目の視点位置の画像であるかを示す。
００００００００： 不明またはリザーブ
０００００００１〜１１１１１１１１： 垂直方向の位置
例えば図４で「視点（４，２）の画像」と表記されたセパレード画像は、ＰＳＨ＝４、ＰＳＶ＝２という記述になる。
【００４６】
以上がヘッダ領域４２の一例である。この領域を利用して立体画像の流通を実現するための装置を説明する。
図９はこの領域を生成する画像処理装置１００の構成を示す。この装置１００は、立体画像を表示するための基礎画像を取得する画像取得部１０２と、取得された基礎画像に、立体画像を表示するための一連の処理における所定の場面、例えば後に表示側の装置にてマルチプレクス画像を生成する場面において参照すべき立体情報を付加する情報付加部１０４とを含む。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリのロードされた基礎画像生成機能および立体情報付加機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。したがって、以下、構成の名称を明示的に示さないものは、例えばＣＰＵを中心とする制御部によってなされると考えてよい。
【００４７】
画像取得部１０２は、ネットワークやユーザのデジタルカメラなどの画像ソースからオリジナル画像を入力し、これをそのまま基礎画像とするか、または加工して基礎画像を生成する。例えばセパレート画像が必要な場合、単にオリジナル画像をそのまま基礎画像とすればよい。一方、サイドバイサイド画像が必要な場合、オリジナル画像を複数並置して合成する。マルチプレクス画像が必要な場合、各視点からの視差画像をストライプ状やマトリクス状に再構成する。
【００４８】
画像取得部１０２はさらに、得られた基礎画像を必要に応じて圧縮する。それに先立ち、圧縮によって立体画像の画質に影響が出るか否かを判定し、出ると判定したときは圧縮を禁止してもよい。例えばマルチプレクス画像を空間周波数成分に関して圧縮する場合、圧縮を禁止したり、これを一旦サイドバイサイド画像へ変換した後圧縮してもよい。
【００４９】
情報付加部１０４は、そうして得られた基礎画像に前述のヘッダ情報を付加し、その結果得られた立体表示のための画像データを図示しない記憶装置へ記録したり、ネットワーク経由で所定の個所へ配信する。以上、この装置１００によれば、立体表示を望む者のために、予め立体情報の付いた基礎画像を準備することができる。
【００５０】
なお、画像取得部１０２は、必ずしもオリジナル画像を最初に入手するとは限らない。すでにマルチプレクス画像になっているものをネットワーク等から入力し、その立体情報を検出し、それがマルチプレクス画像であることを判定し、そのままの状態では圧縮の不向きであることを認識し、これをサイドバイサイド画像に変換した後圧縮し、立体情報を書き換えるといった処理も可能である。その場合、この装置１００は立体画像流通の中継点として利用することもできる。
【００５１】
一方、図１０は、実際に立体表示を行う復号側の画像処理装置２００の構成を示す。この装置２００は、立体画像を表示するための基礎画像を取得する画像取得部２０２と、取得された基礎画像に付加された、立体画像を表示するための一連の処理における所定の場面にて参照すべき立体情報を検出する情報検出部２０４とを含む。この装置２００は典型的にはユーザ側の端末であり、画像取得部２０２は、すでに立体情報が付加された基礎画像を取得する。画像取得部２０２は、予め圧縮されていた画像データを入力したとき、これを伸張することによって基礎画像を生成または再生してもよい。
【００５２】
つづいて、情報検出部２０４がその基礎画像に付加されたヘッダ領域をパースし、立体情報を検出する。検出した立体情報から、この基礎画像がマルチプレクス画像でないことが判明すれば、この装置２００はこの基礎画像をマルチプレクス画像へ変換し、立体画像を表示する。この装置２００はそのオプショナルな機能として、検出された立体情報のうちとくに水平視点数と垂直視点数をもとに、前述の輝度に関する考察にしたがい、この装置２００の表示画面（図示せず）の輝度を高めてもよい。
【００５３】
この装置２００は、単に立体画像の表示だけでなく、当然ながら基礎画像を保存、編集することもできる。保存の際、基礎画像がマルチプレクス画像であればこれをサイドバイサイド画像その他へ変換し、立体情報を書き換えたうえで保存してもよい。編集の際、例えば画像を拡大縮小したいことがある。そのとき、マルチプレクス画像であると処理は煩雑であるから、これをいったんサイドバイサイド画像へ変換し、しかる後に所定の画像処理を施し、最後にマルチプレクス画像へ戻して表示してもよい。
【００５４】
なおこの装置２００は、こうした編集その他の画像処理の便宜を図るべく、マルチプレクス画像以外の形式の画像、とくにサイドバイサイド画像を常時メモリその他の記憶装置に保持しておき、必要に応じて適宜これを読み出して利用すればよい。
【００５５】
この装置２００の付加的な構成として、表示装置のもつ視点数や最適観察距離などの特性をデータとして取得する特性取得部を設ければ、さらに利便性が増す。例えば基礎画像の想定視点数と表示装置のそれとが異なる場合、前記の特性をもとに基礎画像から表示すべき視差画像を自動的に選択する表示画像選択部を設けることができる。基礎画像の想定視点数が「４」で、表示装置のそれが「２」であれば、４つの視差画像からふたつを選択する。これらふたつの視差画像は連続する視点のものである必要はなく、立体感を強調するには、むしろ視点を飛ばした２画像を選択してもよい。基礎画像の視点数が「２」で表示装置のそれが「４」であれば、同じ視差画像を２回づつ表示することで画面正面に立体視が可能な領域を確保できる。
【００５６】
さらにこの画像処理装置２００が、表示画面を見る観察者の頭部位置を検出する位置検出部を備えていれば、表示画像選択部は、頭部位置に合わせて選択すべき視差画像を変化させ、観察者に回りこんだ画像を見せることもできる。
【００５７】
また、光学フィルタが取り替え可能な場合、例えばこの装置２００の表示部に、光学フィルタにパターン印刷された視点数などの情報を含む表示を光学的に読み取る読取部を設けてもよい。読み取られたデータが、視差画像の視点数との不一致を示唆するとき、上述のように視差画像を適宜最適選択および表示してもよいし、光学フィルタの取り替えを促す表示を行ってもよい。
【００５８】
図１１は、立体画像流通のためのネットワークシステム３００の構成を示す。ここで合成装置３０２は図９の画像処理装置１００であり、流通の起点として作用する。一方、表示装置３０４は図１０の画像処理装置２００であり、流通の終点として作用する。同図のごとく、合成装置３０２が基礎画像を多数記録する記憶装置３０６をもち、画像サーバとして振る舞うことにより、ユーザは所望の立体画像をインターネットその他のネットワーク３０８を介して容易に取得することができる。
【００５９】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、そうした例をいくつか挙げる。
【００６０】
図９や図１０の画像処理装置１００、２００の機能はそれぞれコンピュータプログラムの形でユーザへ提供することができる。ユーザが基礎画像を自ら生成したい場合、図９の画像処理装置１００の機能をオーサリングツールとして整えたうえでユーザへ提供すればよい。
【００６１】
図８で示したヘッダ領域４２の構成はビット数も含め、当然自由度が大きい。例えば、
・立体画像としてユーザから観察される基礎画像の著作権情報
・基礎画像を見るのにふさわしいパララックスバリアやレンチキュラーレンズなどの光学フィルタが満たすべき条件
などをさらに組み込むことができる。「光学フィルタが満たすべき条件」の例として、視差画像の視点間距離、すなわち眼間距離や撮影時のカメラの画角などがある。こうした条件は、立体画像を前後方向に正しいスケールで再生したい場合の光学フィルタの設計には必須のパラメータである。また、前述の基礎画像の視点数が表示装置の視点数より多い場合の画像の選択においても、より自然な立体感が得られる画像を自動的に選択するために参照することができる。
【００６２】
実施の形態では最終的に表示する立体画像をマルチプレクス画像としたが、表示すべき画像は観察方法により変わる。したがって、さまざまな画像が観察方法に適合した画像に変換処理されて表示されてもよい。
例えば液晶シャッタメガネを用いる場合、表示すべき画像はフィールドシーケンシャル画像である。また、ヘッドマウントディスプレイで、左右の目に対応して別々の表示手段をもつタイプのものでは、表示する立体画像はセパレート画像となり、別々の画像出力手段によりそれぞれの表示手段に送られる。表示装置がひとつのヘッドマウントディスプレイで、サイドバイサイド画像を表示することもできる。この場合、光学的な手段により、画像が左半分と右半分に分離され、かつ、水平方向に拡大されて観察されるように構成すればよい。さらに、交差法、平行法といった観察方法では、ジョイント画像を表示すればよい。
【００６３】
実施の形態では、立体画像を表示する側の装置、すなわち図１０の画像処理装置２００は、基礎画像に立体情報が付加されている前提で処理を開始した。しかし、仮に本実施の形態によらない既存の基礎画像があれば、これは実施の形態に特徴的なヘッダ領域を有さないため、その基礎画像を検査する検査・推定処理部を設け、画像処理装置２００の側で立体情報を推定してもよい。例えばサイドバイサイド画像であるか否かは、画像を水平方向および垂直方向にそれぞれｍ等分およびｎ等分し、それぞれの領域の画像の近似度をｍとｎの値を変えながら評価してもよい。あるｍとｎの組について各領域またはその一部の近似度が高ければ、これは水平視点数ｍ、垂直視点数ｎのサイドバイサイド画像と推定できる。近似度の評価は、例えば画素値の差分二乗和による。このほかにも、基礎画像に微分フィルタを作用させてみて、領域の境界線が浮かび上がることも考えられ、それによってサイドバイサイド画像であるか否かの推定ができる場合もある。
【００６４】
【発明の効果】
本発明によれば、立体画像の流通が促進できる。
【図面の簡単な説明】
【図１】 ユーザが水平方向にマルチプレクスされた４枚の視差画像を立体視する状態を示す図である。
【図２】 マルチプレクス画像を示す図である。
【図３】 サイドバイサイド画像を示す図である。
【図４】 複数のセパレート画像の集合を示す図である。
【図５】 実施の形態によるサイドバイサイド画像の構成を模式的に示す図である。
【図６】 実施の形態によるマルチプレクス画像の構成を模式的に示す図である。
【図７】 実施の形態によるセパレート画像の構成を模式的に示す図である。
【図８】 実施の形態によって基礎画像に付加されたヘッダ領域の構成図である。
【図９】 実施の形態に係る、画像流通の起点となる画像処理装置の構成図である。
【図１０】 実施の形態に係る、画像流通の終点となる画像処理装置の構成図である。
【図１１】 図９の画像処理装置を合成装置、図１０の画像処理装置を表示装置とする画像流通のためのネットワークシステムの構成を示す図である。
【符号の説明】
１２ パララックスバリア、 ２０，４０ マルチプレクス画像、 ３０，５０ サイドバイサイド画像、 ３２，６０，６２ セパレート画像、 ４２ ヘッダ領域、 １００，２００ 画像処理装置、 １０２，２０２ 画像取得部、１０４ 情報付加部、 ２０４ 情報検出部、 ３００ ネットワークシステム、 ３０２ 合成装置、 ３０４ 表示装置、 ３０６ 記憶装置。

Claims (9)

1. 立体画像を表示するための基礎画像を取得する画像取得部と、
   前記画像取得部が取得した基礎画像の画素値に基づいて立体画像を表示するための立体情報を推定する情報推定部と、を含み、
   前記情報推定部は、前記画像取得部が取得した基礎画像を複数の領域に分割し、分割された各領域の近似度を評価することにより、前記画像がサイドバイサイド画像か否かを判断することを特徴とする立体画像処理装置。
2. 前記基礎画像は再度サイドバイサイド画像であって、
   前記情報推定部は、前記画像取得部が取得したサイドバイサイド画像を複数の領域に分割し、分割された各領域の近似度を評価することにより、該サイドバイサイド画像の視点数を推定する、請求項１記載の立体画像処理装置。
3. 前記情報推定部は、画素値の差分二乗和に基づいて近似度の評価を行う、請求項１又は２記載の立体画像処理装置。
4. 立体画像を表示するための基礎画像を取得する画像取得部と、
   前記画像取得部が取得した基礎画像の画素値に基づいて立体画像を表示するための立体情報を推定する情報推定部と、を含み、
   前記情報推定部は、前記画像取得部が取得した基礎画像に微分処理を施すことにより、前記画像がサイドバイサイド画像か否かを判断することを特徴とする立体画像処理装置。
5. 前記基礎画像に、立体情報を付加する情報付加部を更に備えた、請求項１ないし４の何れか１項に記載の立体画像処理装置。
6. 前記情報付加部は、基礎画像のヘッダ領域に、立体情報を付加する、請求項５記載の立体画像処理装置。
7. 前記基礎画像は、立体情報を保持するヘッダ領域を有さない、請求項１ないし５にの何れか１項に記載の立体画像処理装置。
8. 立体画像を表示するための基礎画像を取得する画像取得ステップ、
   前記画像取得部が取得した基礎画像の画素値に基づいて立体画像を表示するための立体情報を推定する情報推定ステップと、を含み、
   前記情報推定ステップでは、前記画像取得ステップで取得した基礎画像を複数の領域に分割し、分割された各領域の近似度を評価することにより、前記画像がサイドバイサイド画像か否かを判断することを特徴とする立体画像処理方法。
9. コンピュータに、
   立体画像を表示するための基礎画像を取得する画像取得ステップ、
   前記画像取得部が取得した基礎画像の画素値に基づいて立体画像を表示するための立体情報を推定する情報推定ステップ、
   を実行させるコンピュータプログラムであって、
   前記情報推定ステップでは、前記画像取得ステップで取得した基礎画像を複数の領域に分割し、分割された各領域の近似度を評価することにより、前記画像がサイドバイサイド画像か否かを判断することを特徴とするコンピュータプログラム。

Images