JP5544361B2 - 三次元ビデオ信号を符号化するための方法及びシステム、三次元ビデオ信号を符号化するための符号器、三次元ビデオ信号を復号するための方法及びシステム、三次元ビデオ信号を復号するための復号器、およびコンピュータ・プログラム - Google Patents

Description

本発明は、ビデオ符号化及び復号化の分野に関する。本発明は、三次元ビデオ信号を符号化するための方法、システム及び符号器を示す。本発明は、さらに、三次元ビデオ信号を復号するための方法、システム及び復号器に関する。本発明は、さらに符号化された三次元ビデオ信号に関する。

最近、三次元画像ディスプレイ上に三次元画像を提供することへの多くの関心が存在する。三次元イメージングは、カラー・イメージング後の、イメージングにおける次の大きな革新であると信じられている。我々は、目下、消費者向け市場のための三次元ディスプレイの導入の到来にある。

三次元ディスプレイ装置は、通常、画像がその上に表示されるディスプレイ・スクリーンを持つ。

基本的に、三次元印象は、ステレオ対、すなわち観察者の２つの目に導かれる２つの僅かに異なる画像を用いることにより、生み出されることができる。

ステレオ画像を生成するためのいくつかの態様が存在する。この画像は、二次元ディスプレイ上で時間多重されることができるが、これは、観察者が例えばLCDシャッタを備えた眼鏡を着用することを要求する。ステレオ画像が同時に表示される場合、画像は、ヘッド・マウンテッド・ディスプレイを用いることにより、偏光眼鏡を用いることにより（その場合、画像は直交して偏光した光によって生成される）、又はシャッタ・レンズを用いることにより、適切な目に導かれることができる。観察者によって着用される眼鏡は、それぞれの左又は右のビューの経路をそれぞれの目へと効果的に定める。眼鏡のシャッタ又は偏光子は、経路を制御するために、フレームレートに同期する。フリッカーを防止するために、フレームレートが２倍であるか、又は、解像度が二次元の同等の画像に対して半分にされなければならない。そのようなシステムの短所は、何らかの効果をもたらすために眼鏡が着用されなければならないことである。これは、眼鏡を着用することに慣れていない観察者にとって不快であり、そして、眼鏡を既に着用している観察者にとっては、更なる眼鏡が必ずしも適合するわけではないので、潜在的な問題である。

観察者の目の近くの代わりに、画像は、分割スクリーン（例えば、US6118584から知られるようなレンチキュラ・スクリーン、又は、US 5969850に示されるような視差バリア）によって、ディスプレイ・スクリーンの所で分けられる場合もある。そのような装置は、眼鏡の使用を伴わずに(自動)立体視効果を提供するので、自動立体視ディスプレイと呼ばれる。いくつかの異なる種類の自動立体視装置が知られている。

いかなる種類のディスプレイが用いられても、三次元画像情報がディスプレイ装置に提供されなければならない。これは通常、デジタルデータを含むビデオ信号の形で実行される。

デジタル画像処理に固有の大量のデータによって、デジタル画像信号の処理及び/又は伝送は、重大な問題を形成する。多くの状況において、利用可能な処理パワー及び/又は伝送容量は、高品質なビデオ信号を処理及び/又は伝送するには不十分である。より詳しくは、各々のデジタル画像フレームは、ピクセルのアレイから形成される静止画像である。

生デジタル情報の量は通常、大量であり、大きい処理パワー及び/又は大きい伝送レートを必要とし、それらは常に利用可能であるというわけではない。例えばMPEG-2、MPEG-4及びH. 264を含むさまざまな圧縮方法が、送信されるデータの量を低減するために提案された。

これらの圧縮方法は、元々、標準的な二次元ビデオ/画像シーケンスのために構成された。

コンテンツが自動立体視三次元ディスプレイに表示される場合、複数のビューがレンダリングされなければならず、これらは異なる方向に送られる。観察者は目で異なる画像を見て、これらの画像は、観察者が深さを知覚するようにレンダリングされる。異なるビューは、異なる観察角を示す。しかしながら、入力データ上では、通常、１つの観察角のみが可視である。したがって、レンダリングされるビューは、例えば前景物体の後ろの領域の失われた情報又は物体の側面に関する情報を持つ。この失われた情報に対処するために、種々の方法が存在する。１つの方法は、（対応する深さ情報を含む）異なるアングルからの更なる視点を追加することであり、それらから、間のビューがレンダリングされることができる。しかしながら、これは、データの量を大幅に増加させる。さらに複雑なピクチャでは、複数の更なる観察角が必要とされ、更にデータの量を増加させる。他のソリューションは、前景物体の後に隠されている三次元画像の部分を表す遮蔽データ(occlusion data)の形でデータを画像に追加することである。この背景情報は、同じ観察角又は側面の観察角から記憶される。これらの方法の全ては追加の情報を必要とし、その情報のためのレイヤ構造が最も有効である。

三次元画像中で多くの物体が互いの後に配置される場合、更なる情報の多くの異なる更なるレイヤが存在する場合がある。更なるレイヤの量が大幅に増大し、生成されるべき大量のデータを追加する可能性がある。更なるデータ・レイヤはさまざまな種類であり得、それらの全ては、本発明の枠組みにおいて、更なるレイヤとして示される。単純な取り決めでは、全ての物体は不透明である。そして背景物体は前景物体の後ろに隠されて、さまざまな背景データ・レイヤが三次元画像を再構成するために必要である場合がある。全ての情報を提供するために、三次元画像がそれから構成されるさまざまなレイヤが知られなければならない。好ましくは、さまざまな背景レイヤの各々にも深さレイヤが関連付けられる。これは、更なるデータ・レイヤの１つの更なる種類を生成する。より複雑な１つのステップは、物体の１つ以上が透明である状況である。三次元画像を再構成するために、深さデータと同様にカラー・データを必要とするが、さらに、三次元画像がそれから構成されるさまざまなレイヤのための透明度データを持つ。これは、いくつかの又は全部の物体が透明である三次元画像が再構成されることを可能にする。更に１つのステップは、さらに、さまざまな物体に、オプションとして角度にも依存する透明度データを割り当てることである。いくつかの物体では、一般に斜めの角度よりも垂直の角度において物体の透明度は高いので、透明度は物体を見る角度に依存する。そのような更なるデータを供給する１つの態様は、厚さデータを供給することである。これは、更に他のデータの更に他のレイヤを追加する。非常に複雑な実施の形態では、透明な物体はレンズ効果を有する場合があり、各々のレイヤに対して、レンズ効果データを与えるデータ・レイヤが帰属される。反射効果（例えば鏡のような反射率）が、さらに他のセットのデータを形成する。

データの更に他の追加レイヤは、側面の視野からのデータであることができる。

収納戸棚のような物体の前に立っている場合、物体の側面の壁は見えない場合があり、さまざまなレイヤに収納戸棚の後ろの物体のデータを追加する場合であっても、これらのデータ・レイヤは、依然として、側面の壁の画像を再構成することを可能にしない。好ましくは、（主要なビューの左右の）ビューのさまざまな側面からのビュー・ポイントからの側面ビュー・データを追加することによって、側面の壁画像が再構成されることもできる。さらに、サイド・ビュー情報はそれ自体、色、深さ、透明度、透明度に関する厚さなどのようなデータを伴う、情報のいくつかのレイヤを有する場合がある。これは、更にまたより多くの更なるデータのレイヤを追加する。マルチ・ビュー表現において、レイヤの数は、非常に急激に増加する可能性がある。

より現実的な三次元レンダリングを提供するために、ますます多くの効果又はますます多くのビューが追加されると、物体のレイヤが幾つ存在するか、及び、物体の各々のレイヤに割り当てられるデータの異なる種類の数の両方の意味において、ますます多くの更なるデータ・レイヤが必要とされる。

述べられたように、さまざまな異なる種類のデータが階層化されることができ、それぞれ、単純なものは色及び深さデータであり、より複雑な種類は、透明度データ、厚さ、（鏡面）反射率である。

したがって、本発明の目的は、データの損失を伴わずに、又はデータの損失が少ない、生成されるべきデータの量が低減される、三次元画像データを符号化する方法を提供することである。好ましくは、符号化効率が大きい。さらに好ましくは、この方法は、既存の符号化規格と互換性がある。

三次元ビデオ信号を符号化するための改善された符号器、三次元ビデオ信号を復号するための復号器及び三次元ビデオ信号を提供することが更なる目的である。

この目的のために、本発明による符号化のための方法は、入力三次元ビデオ信号が符号化され、入力三次元ビデオ信号は、主たるビデオ・データ・レイヤ、主たるビデオ・データ・レイヤのための深さマップを含み、そして主たるビデオ・データ・レイヤのための更なるデータ・レイヤを含み、主たるビデオ・データ・レイヤ、主たるビデオ・レイヤのための深さマップ及び更なるデータ・レイヤの異なるデータ・レイヤに属するデータ・セグメントは、１つ以上の共通データ・レイヤに移動され、各々の移動されたデータ・セグメントの元の位置及び/又は元の更なるレイヤを特定する追加データを含む追加データ・ストリームが生成されることを特徴とする。

主たるビデオ・データ・レイヤは、基礎とみなされるデータ・レイヤである。それは、多くの場合、二次元画像ディスプレイにレンダリングされるビューである。多くの場合、このビューは、中央のビューの物体を含む中央ビューである。しかしながら、本発明の枠組みにおいて、主たるビュー・フレームの選択は、それに制限されない。例えば、実施の形態において、中央ビューは、オブジェクトのいくつかのレイヤで構成されることができ、最も重要な情報は、最前面のオブジェクトを含むレイヤによってではなく、オブジェクトの以下のレイヤ、例えば、焦点が合っているオブジェクトのレイヤによって（いくつかの前景オブジェクトには焦点が合っていない）、伝達される。これは例えば、小さい前景オブジェクトが、視点と最も興味深いオブジェクトとの間で移動する場合である。

本発明の枠組みにおいて、主たるビデオ・データ・レイヤのための更なるレイヤは、三次元ビデオの再構成において主たるビデオ・データ・レイヤとともに用いられるレイヤである。これらのレイヤは、主たるビデオ・データ・レイヤが前景オブジェクトを描写する場合には、背景レイヤであることができ、又は、それらは、主たるビデオ・データ・レイヤが背景オブジェクトを描写する場合には、前景レイヤであることができ、若しくは、主たるビデオ・データ・レイヤが前景オブジェクトと背景オブジェクトとの間のオブジェクトに関するデータを含む場合には、背景レイヤだけでなく前景レイヤであることができる。

これらの更なるレイヤは、主たるビデオ・データ・レイヤとともに用いられるため、同じ視点に対する、主たるビデオ・データ・レイヤのための背景/前景レイヤを有することができ、又は、サイド・ビューのためのデータ・レイヤを有することができる。

更なるレイヤ中に提供されることができるさまざまな異なるデータが、上述され、そして以下を含む。
−色データ
−深さデータ
−透明度データ
−反射率データ
−スケール・データ

好ましい実施の形態において、更なるレイヤは、主たるビデオ・データ・レイヤのためのビューと同じ視点からの画像データ及び/若しくは深さデータ並びに/又は更なるデータを有する。

本発明の枠組みにおける実施の形態はさらに、マルチビュー・ビデオ・コンテンツ中に存在するような、他のビュー・ポイントからのビデオ・データを含む。さらに後者の場合においてサイド・ビューの大部分が中央画像及び深さから再構成されることができるので、レイヤ/ビューは組み合わせられることができ、したがって、サイド・ビューのそのような部分は、他の情報（例えば更なるレイヤからの部分）を記憶するために用いられることができる。

追加のデータ・ストリームが、更なるレイヤから共通レイヤへと移動されるセグメントのために生成される。この追加のデータ・ストリーム中の追加のデータは、セグメントの元の位置及び/又は元の更なるレイヤを特定する。この追加のストリームは、復号器側で元のレイヤを再構成することを可能にする。

いくつかの場合では、移動されるセグメントは、それらのx-y位置を維持し、単に共通レイヤへと移動される。それらの状況では、追加のデータ・ストリームは、元の更なるレイヤを特定するセグメントのためのデータを有せば十分である。

本発明の枠組みにおいて、共通レイヤは、主たるデータ・レイヤのセグメント及び更なるデータ・レイヤのセグメントを持つことができる。例えは、主たるデータ・レイヤが大きい空（そら）の部分を含む状況である。レイヤのそのような部分は多くの場合、青い部分の範囲及び色（あるいは例えば色の変化）を記述するパラメータによって容易に表されることができる。これは、主たるレイヤ上のスペースを生み出し、そのスペース中に、更なるレイヤからのデータが移動されることができる。これは、共通レイヤの数が低減されることを可能にすることができる。

下位互換性に関して、好ましい実施の形態は、共通レイヤが更なるレイヤのセグメントのみを有する実施の形態である。

主たるレイヤを変更しないこと、及び好ましくは主たるレイヤのための深さマップをも変更しないことは、既存の装置上での本方法の容易な実施を可能にする。

本発明の枠組みにおいて、セグメントは任意の形態をとることができるが、好ましい実施の形態では、データは、例えばマクロブロック・レベルのようなビデオ符号化スキームの粒度レベルに対応する粒度レベルで処理される。異なる更なるレイヤからのセグメント又はブロックは、元の異なる更なるレイヤの中で、例えば異なる遮蔽レイヤの中で、同一のx-y位置を持つ可能性がある。そのような実施の形態において、共通レイヤ中の少なくともいくつかのセグメントのx-y位置は、並べ替えられ、少なくともいくつかのブロックは再配置され、すなわち、それらのx-y位置は、共通データ・レイヤの依然として空の部分にシフトされる。そのような実施の形態において、追加のデータ・ストリームは、元のレイヤを示すデータとは別に、再配置を示すデータもセグメントに与える。再配置データは、例えば、元のレイヤ内での元の位置を特定する形、又は、現在の位置に対するシフトの形であることができる。いくつかの実施の形態において、シフトは、更なるレイヤの全ての要素に対して同じであることができる。

考えられる再配置を含む共通レイヤへの移動は、好ましくは、同じ時点において実行され、再配置はx-y面中で実行される。しかしながら、実施の形態において、移動又は再配置は、時間軸に沿っても実行されることができる。シーン内で複数の木が並べられ、ある時点でそれらの木が整列するようにカメラがパンする場合、多数の遮蔽データ（少なくとも多くのレイヤ）を伴う短い期間が存在する。実施の形態において、いくつかのそれらのマクロブロックは、前の/次のフレームの共通レイヤへ移動されることができる。そのような実施の形態において、移動されたセグメントと関連した追加のデータ・ストリームは元の更なるレイヤを特定し、データは時間指標を含む。

移動されるセグメントは広範な領域であることができるが、再配置は、好ましくは１つ以上のマクロブロックを基準に実行される。データの追加のストリームは、好ましくは符号化され、元の更なるレイヤ内でのそれらの位置を含む共通レイヤのブロックごとの情報を有する。追加のストリームはさらに、ブロックについての又はそれらが由来するレイヤについての追加の情報をさらに特定する追加情報を持つことができる。実施の形態において、元のレイヤに関する情報は明示的であり得、例えばレイヤ自体を特定する。しかしながら実施の形態では、情報は暗黙的であることもできる。

全ての場合において、１つのデータ要素が、排他的に及び同時に、マクロブロック中の16x16ピクセル全て又はセグメント中のさらに多くのピクセルを記述することによって、追加のストリームは比較的小さい。有効データの合計は少し増加するが、更なるレイヤの量は大幅に低減されて、データ全体の量を低減する。

そして、共通レイヤ+１つ又は複数の追加ストリームは、例えば帯域幅が制限されたモニタ・インタフェイスを通して移動することができ、モニタ自体（すなわちモニタ・ファームウェア）の中でその元のマルチ・レイヤ形式へと元に並べ替えられることができ、その後、これらのレイヤは、三次元画像をレンダリングするために用いられることができる。本発明は、インタフェイスが、より小さい帯域幅によってより多くのレイヤを伝達することを可能にする。ここで、上限は、追加のレイヤ・データの量に課され、レイヤの総数に課されるのではない。さらに、このデータ・ストリームは、画像タイプ・データの一定の形式中に効率的に配置されることができ、現在の表示インタフェイスとの互換性を保つ。

好ましい実施の形態において、共通レイヤは、同じ種類のデータ・セグメントを有する。

上で説明されたように、更なるレイヤは、さまざまな種類のデータ（例えば色、深さ、透明度など）を有することができる。

本発明の枠組みにおいて、いくつかの実施の形態では、さまざまな異なる種類のデータが、共通レイヤ中に組み合わせられる。そして、共通レイヤは、例えば色データを含むセグメント、並びに/又は深さデータ及び/若しくは透明度データを含むセグメントを有することができる。追加データ・ストリームは、セグメントが分割され、さまざまな異なる更なるレイヤが再構成されることを可能にする。そのような実施の形態は、レイヤの数が可能な限り低減されるべきである状況において好ましい。

単純な実施の形態では、共通レイヤは、同じ種類のデータ・セグメントを有する。これは送信されるべき共通レイヤの数を増加させるが、これらの実施の形態は、各々の共通レイヤが１種類のデータだけを含むので、再構成側における分析の複雑度を低減する。他の実施の形態において、共通レイヤは、限られた数のデータ種類のデータを伴うセグメントを有する。最も好まれる組み合わせは、色データ及び深さデータである（他の種類のデータは別の共通レイヤ中に配置される）。

更なるデータ・レイヤから共通データ・レイヤへとセグメントを移動させることは、本発明のそれぞれの実施の形態において異なる段階において、それらがビデオ符号器の前でマクロブロック・レベル（マクロブロックは二次元ビデオ符号器に対して特に最適である）で並べ替えられてそして符号化されるコンテンツ作成の間、又は、マルチ・レイヤが復号されてそしてリアル・タイムでマクロブロック若しくはより大きなセグメント・レベルで並べ替えられるプレイヤー側で、実行されることができる。第１の場合において、生成された並べ替え座標は、さらに、ビデオ・ストリーム中に符号化されなければならない。この並べ替えがビデオ符号化効率に対して負の影響を持つ可能性があることが欠点である場合がある。第２の場合において、並べ替えがどのように行われるかについて十分に制御できないことが欠点である。出力上で考えうる共通レイヤの量に対してあまりに多くのマクロブロックが存在し、マクロブロックが破棄されなければならない場合に、これは特に問題である。コンテンツ作成者は、おそらく、何が破棄されて何が破棄されないかについての制御を望むだろう。これらの２つの組み合わせもあり得る。例えば、全てのレイヤをそのまま符号化して、さらに変位座標を記憶し、それは後で、プレイヤーが再生の間にマクロブロックを実際に移動させるために用いることができる。後者のオプションは、何が表示されることができるかについての制御を可能にして、従来の符号化を可能にする。

更なる実施の形態において、減少した色空間を用いることにより、標準的なRGB+D画像のためのデータの量はさらに低減され、このようにしてさらに多くの帯域を持ち、さらに多くのマクロブロックが画像ページ中に記憶されることができる。これは例えば、RGBD空間をYUVD空間に符号化することによって可能である(ここで、ビデオ符号化の場合に一般的であるように、U及びVはサブサンプリングされる)。表示インタフェイスにおいてこれを適用することで、多くの情報の余地を生成することができる。さらに、第２のレイヤの深さチャネルが本発明のために用いられることができるように、下位互換性は断念される場合がある。より多くの空き空間を生成する他の態様は、例えば第３のレイヤからの画像及び深さブロックを記憶するために、追加の深さ情報の外側に余地が存在するように、より低い解像度の深さマップを用いることである。これらの場合の全てにおいて、マクロブロック又はセグメント・レベルの追加の情報は、セグメント又はマクロブロックのスケールを符号化するために用いられることができる。

本発明はさらに、符号器を有するシステム及び三次元ビデオ信号を符号化するための符号器で実施され、符号化された三次元ビデオ信号は、主たるビデオ・データ・レイヤ、主たるビデオ・データ・レイヤのための深さマップ及び主たるビデオ・データ・レイヤのための更なるデータ・レイヤを含み、符号器は更なるレイヤのための入力を含み、符号器は生成器を含み、生成器は、異なる更なるデータ・レイヤのデータ・セグメントを共通データ・レイヤ中に移動させて、移動されたデータ・セグメントの起源を特定する追加のデータ・ストリームを生成することによって、複数の更なるレイヤからのデータ・セグメントを１つ以上の共通データ・レイヤに組み合わせる。

好ましい実施の形態において、完全な高速フレーム・バッファの代わりに、約１６ラインのサイズの小さいメモリだけが復号器によって必要とされるように、ブロックは水平方向にのみ再配置される。必要とされるメモリが小さい場合、埋め込み式メモリが用いられることができる。このメモリは通常、独立したメモリ・チップより非常に高速であるが、より小さい。好ましくはさらに、元の遮蔽レイヤを特定するデータが生成される。しかしながら、このデータは、他のデータ（例えば深さデータ）から導き出されることもできる。

更なるデータの規模を主たるレイヤとは異なるように縮小することによって、ビットの更なる低減が達成されることができることが分かった。特により深く位置するレイヤのための遮蔽データのデータ規模を縮小することは、符号化された三次元信号内のビットの数を依然として低減するが、品質に関して限られた影響だけしか持たないことが明らかとなった。

本発明は、符号化のための方法として実施されるが、同様に、当該方法のさまざまなステップを実行するための手段を備える対応する符号器としても実施される。そのような手段は、ハードウェア、ソフトウェア又はハードウェア及びソフトウェア若しくはシェアウェアの任意の組み合わせで提供されることができる。

本発明はさらに、符号化方法によって生成された信号として、及び、そのような信号を復号するための任意の復号方法及び復号器として実施されることもできる。

特に、本発明はさらに、符号化されたビデオ信号を復号するための方法として実施され、三次元ビデオ信号が復号され、三次元ビデオ信号は、符号化された主たるビデオ・データ・レイヤ、主たるビデオ・データ・レイヤのための深さマップ、及び、異なる元の更なるデータ・レイヤに由来するセグメント有する１つ以上の共通データ・レイヤ、並びに、共通データ・レイヤ中のセグメントの起源を特定する追加的なデータを有する追加的なデータ・ストリームを有し、元の更なるレイヤは共通データ・レイヤ及び追加のデータ・ストリームに基づいて再構成され、三次元画像が生成される。

本発明はさらに、符号化されたビデオ信号を復号するための復号器を有するシステムで実施され、三次元ビデオ信号が復号され、三次元ビデオ信号は、符号化された主たるビデオ・データ・レイヤ、主たるビデオ・データ・レイヤのための深さマップ、及び、異なる元の追加の更なるデータ・レイヤに由来するセグメントを有する１つ以上の共通データ・レイヤ、並びに、共通データ・レイヤ中のセグメントの起源を特定する追加のデータを有する追加のデータ・ストリームを有し、復号器は、主たるビデオ・データ・レイヤ、主たるビデオ・データ・レイヤのための深さマップ、１つ以上の共通データ・レイヤ及び追加のデータ・ストリームを読み込むための読取り機、並びに、共通データ・レイヤ及び追加のデータ・ストリームに基づいて元の更なるレイヤを再構成するための再構成部を有する。

本発明はさらにそのようなシステムのための復号器として実施される。

本発明の枠組みにおいて、データ・セグメントの起源は、そのデータ・セグメントが生じたデータ・レイヤ及びそのデータ・レイヤ中での位置である。起源はさらに、データ・セグメントが他のタイム・スロットの共通レイヤへ移動される場合には、タイム・スロットと同様に、データ・レイヤの種類を示すことができる。

本発明のこれらの及び更なる態様は、一例として、添付の図面を参照して、より詳細に説明される。

自動立体視ディスプレイ装置の例を示す図。 遮蔽問題を説明する図。 遮蔽問題を説明する図。 コンピュータにより生成されたシーンの左及び右のビューを示す図。 主たるビュー、主たるビューのための深さマップ、並びに、２つの更なるレイヤ、遮蔽データ（occlusion data）及び遮蔽データのための深さデータの４つのデータ・マップにおける図4の表現を示す図。 本発明の基本的な原理を示す図。 本発明の基本的な原理を示す図。 本発明の基本的な原理を示す図。 本発明の基本的な原理を示す図。 本発明の実施の形態を示す図。 本発明の別の実施例を示す図。 本発明の実施の形態のブロック図。 本発明による符号器。 本発明による復号器。 本発明の態様を示す図。 主たるレイヤのデータ・セグメントが共通レイヤに移動される本発明の実施の形態を示す図。

図は、尺度通りに描かれていない。一般に、図において同じ構成要素は同じ参照符号によって示される。

図1は、自動立体視ディスプレイ装置の種類の基本的な原理を示す。ディスプレイ装置は、２つのステレオ画像5及び6を形成するためのレンチキュラ・スクリーン3を含む。例えば、２つのステレオ画像の垂直ラインは、バックライト1を有する空間光変調器2（例えばLCD）上に（空間的に）交互に表示される。バックライト及び空間光変調器は一緒にピクセル・アレイを形成する。レンチキュラ・スクリーン3のレンズ構造は、観察者の適切な目へとステレオ画像を導く。この例では、２つの画像が示される。本発明は、２つのビューの状況に制限されない。実際、より多くのビューがレンダリングされ、より多くの情報が符号化されるほど、本発明はより有用である。しかしながら、説明の容易さのために、図1では２つのビューの状況が描写される。なお、本発明の重要な利点は、複数の（種類の）レイヤが、さらに、広い観察コーンのより効率的な復号化及び記憶を可能にするので、より広いサイド・ビュー能力及び/又は大きい深さ範囲のディスプレイを可能にすることである。

図2及び3に、遮蔽問題が説明される。この図においてBackgroundによって示されるラインは背景であり、Foregroundによって示されるラインは、背景の前に位置するオブジェクトを表す。Left及びRightは、このシーンの２つのビューを表す。これらの２つのビューは、例えば、ステレオ配置のための左及び右ビューであるか、又は、nビュー・ディスプレイの使用の場合における２つの最も外側のビューであることができる。L+Rとして示されるラインは両方のビューによって観察されることができ、一方、L部分はLeftビューからのみ観察されることができ、R部分はRightビューからのみ観察されることができる。したがって、R部分はLeftビューからは観察されることができず、同様に、L部分はRightビューからは観察されることができない。図3において、centreは主たるビューを示す。この図から分かるように、図3に示される背景のL及びR部分の一部（それぞれL1 R1）は、主たるビューから見られることができる。しかしながら、L及びR部分の一部は、前景オブジェクトの後ろに隠されているので、主たるビューから見えない。Ocによって示されるこれらの領域は、主たるビューに対して遮蔽されるが、左及び右のビューからは可視である領域である。図から分かるように、遮蔽領域は、一般的に前景オブジェクトの端で発生する。2D+Depth画像のみを用いる場合、三次元画像の特定の部分は再構成されることができない。主たるビュー及び深さマップだけから三次元データを生成することは、遮蔽された領域の問題を引き起こす。前景オブジェクトの後ろに隠された画像の部分のデータは未知である。三次元画像のより良好な表現は、主たるビューにおいて他のオブジェクトの後ろに隠されたオブジェクトの情報を追加することによって達成されることができる。互いの後ろに隠された多くのオブジェクトが存在する場合があるので、情報は最良に階層化される。各々のレイヤに対して、画像データだけでなく深さデータも最適に提供される。オブジェクトが透明及び/又は反射する場合には、これらの光学量に関するデータも階層化されるべきである。実際に、さらにより事実に即した表現のために、追加的に、サイド・ビューのためのオブジェクトのさまざまなレイヤに関する情報を提供することも可能である。さらに、ビューの数及び三次元表現の精度が改善されるべき場合には、中央ビューだけでなく、例えば、左及び右ビュー又はさらに多くのビューを符号化することも可能である。

より良好な深さマップは、大きな深さの表示及び大きい角度の三次元ディスプレイを可能にする。深さ再現の増加は、遮蔽データの不足に起因する深さ不連続性に関する目に見える欠陥をもたらす。したがって、高品質の深さマップ及び高度な深さディスプレイのために、発明者らは、正確かつ追加のデータの必要性を認識した。「深さマップ」は、本発明の枠組みにおいて、深さに関する情報を提供するデータで構成されるものとして広く解釈されるべきであることが注意される。これは、深さ情報（z値）又は深さに類似する視差情報の形であることができる。深さ及び視差は、互いに容易に変換されることができる。本発明では、そのような情報は、どちらの形式で示されたとしても、「深さマップ」として全て示される。

図4は、コンピュータにより生成されたシーンの左及び右のビューを示す。携帯電話が、黄色タイル張りの床及び２つの壁を有する仮想的な部屋に浮いている。左ビューにおいて、女性ははっきり見えるが、右ビューでは見えない。その逆が、右ビュー中の茶色のウシに当てはまる。

図4に関して上で議論されたのと同じシーンが図5にある。シーンは、ここでは、本発明に基づいて４つのデータ・マップ、
-主たるビューのための画像データを有するマップ（5a）、
-主たるビューのための深さマップ（5b）、
-主たるビューのための遮蔽マップのための画像データ、すなわち前景オブジェクトの後ろに隠された画像の部分（5c）、
-遮蔽データのための深さデータ（5d）、
によって表される。

機能する遮蔽データの範囲は、意図される三次元ディスプレイ・タイプの主たるビューの深さマップ及び深さ範囲/三次元コーンによって決定される。基本的に、それは、主たるビューの深さにおけるステップのラインをたどる。遮蔽データ中に含まれる領域（色（5a）及び深さ（5d））は、この例において、携帯電話の輪郭に従うバンドによって形成される。（遮蔽領域の範囲を決定する）これらのバンドは、さまざまな態様、
-ビューの最大範囲及び深さのステップから得られる幅として、
-標準的な幅として、
-設定される幅として、
-携帯電話の輪郭の近傍（外側及び/又は内側）の何かとして、
決定されることができる。本発明の枠組みにおいて、この例において、２つの更なるレイヤ、5cにより表されるレイヤである画像データ、及び5dにより表されるレイヤである深さマップが存在する。

図5aは、主たるビューのための画像データを示し、図5bは主たるビューのための深さデータを示す。

深さマップ5bは、密なマップである。深さマップにおいて、明るい部分は近いオブジェクトを表し、より暗い部分は、観察者からより離れたオブジェクトを表す。

図5に示される本発明の例において、機能的な更なるデータは、深さマップ並びに左及び右への最大変位を所与として、何を見るかについてのデータに対応する幅を持つバンドに限られている。レイヤ5c及び5d中の残りのデータ（すなわちバンドの外側の空領域）は機能的でない。

大部分のデジタルビデオ符号化規格は、ビデオ・レベル又はシステム・レベルのいずれかであることができる追加のデータ・チャネルをサポートする。これらのチャネルが利用可能であり、更なるデータを送信することは簡単でありえる。

図5eは、本発明の単純な実施の形態を示す。更なるレイヤ5c及び5dのデータは、単一の共通の更なるレイヤ5e中に組み合わせられる。レイヤ5dのデータはレイヤ5c中に挿入されて、シフトΔxによって水平方向にシフトされる。２つの更なるデータ・レイヤ5c及び5dの代わりに、追加のデータ・ストリームに加えて、更なるデータの１つの共通レイヤ5eだけが必要とされ、5dからのデータのためのデータ・ストリームは、シフトΔx、シフトされるセグメントを識別するセグメント情報、及び、それが深さデータであることを示す元のレイヤ（すなわちレイヤ5d）の起源を含む。復号器側において、この情報は、３つのデータ・マップだけが転送されたが、４つのデータ・マップ全ての再構成を可能にする。

変位情報の上記の符号化は単に一例であって、データは、例えばソース位置及び変位、ターゲット位置及び変位又はソース及びターゲット位置を同様に用いて符号化されることができることは、当業者にとって明らかである。ここで示される例はセグメントの形状を示すセグメント記述子を必要とするが、セグメント記述子はオプションである。例えば、セグメントがマクロブロックと一致する実施の形態を考える。そのような実施の形態では、マクロブロックベースで、変位並びに/又は出所及び宛先のうちの１つを特定すれば十分である。

図5において、２つの更なるレイヤ（5c及び5d）が存在し、それらは共通レイヤ5e中に組み合わせられる。しかしながら、この図5は比較的単純な図である。

より複雑な画像では、例えば、それら自体が前景オブジェクトの後ろに隠されている部分に複数の部分が隠されている場合には、いくつかの遮蔽レイヤ及びそれらのそれぞれの深さマップが存在する。

図6は、あるシーンを示す。シーンは、前に住宅がある森、及びその住宅の前にある木から構成される。対応する深さマップは、省略され、これらは同様に処理される。遮蔽に関して、これは、住宅の後ろの森を含む遮蔽レイヤ（I）、及び、木の後ろの住宅を含む遮蔽レイヤ(II)を与える。２つの遮蔽レイヤは同じ場所に位置しており、１つの単一のレイヤに直接組み合わせられることができない。

しかしながら、図6の下部に示されるように、距離Δxにわたって右に木の後ろの住宅の部分を含むマクロブロックをシフトすること（及びそれらのメタデータ中にオフセットとして逆順を記憶すること）によって、遮蔽データ・レイヤＩ及びＩＩの２つのデータ・セグメントは、もはや位置が重なり合わず、前記共通データ・レイヤへとそれらを移動することによって、共通の遮蔽レイヤCB（I+II）に組み合わせられることができる。変位がマクロブロック・レベルで提供されるシナリオを考える。

図6の単純な場合において、２つのオフセット（住宅の後ろの森のための0オフセット及び木の後ろの住宅だけのための水平オフセット）のみが存在し、しがたって、これらのテーブルを作成する場合、メタデータはマクロブロックあたり１つのオフセットだけである。もちろん、オフセットがゼロである場合、再配置データが無いことはオフセットがゼロであることを意味することが復号器側で分かっている場合には、データは省略されることができる。木の後ろの住宅のために単一の水平オフセットを用いることにより、垂直整合性が維持され(おそらく、これがフレームにわたって、例えばGOP内で行われる場合、時間的整合性も維持される）、これは、標準的なビデオ・コーデックを用いた圧縮を助けることができる。

より多くの余地が必要とされる場合、住宅の後ろの遮蔽データの下部分は、それが周囲から予測されることができるので、省略するための望ましい候補であることに留意する必要がある。森の木は、予測されることができないので、符号化されることを必要とする。この例において、深さは２つのレイヤの順序を管理して、複雑な状況において、レイヤを特定する追加の情報がメタデータに追加されることができる。

同様に、２つの遮蔽レイヤの２つの深さマップは、単一の共通の背景深さマップ・レイヤ中に組み合わせられることができる。

さらに一歩進んで、４つの追加のレイヤ（すなわち２つの遮蔽レイヤ及びそれらの深さマップ）が、単一の共通レイヤに組み合わせられることができる。

２つの遮蔽レイヤの共通レイヤ中に、図6が示すように、依然として空いた領域が存在する。図6のこれらの空領域中に、２つの遮蔽レイヤのための深さデータが配置されることができる。

さらに複雑な状況が図7〜9に示される。図7において、複数のオブジェクトA〜Eが互いの後ろに配置される。第１遮蔽レイヤは、前景オブジェクトによって（中央ビューから見たときに）遮蔽される全てのデータのデータを与え、第２遮蔽レイヤは、最初に遮蔽されたオブジェクトによって遮蔽されるオブジェクトのためである。２〜３つの遮蔽レイヤは現実のシーンにおいて珍しくない。ポイントXにおいて、実際に、背景データの４つのレイヤが存在することが容易に分かる。

単一の遮蔽レイヤは、更なる遮蔽レイヤのためのデータを有しない。

図8はさらに本発明を示し、第１遮蔽レイヤは、全ての影付きの領域によって与えられる領域を占有する。このレイヤは、前景オブジェクトによって遮蔽されるオブジェクトを描写している有用なブロックは別として、さらに有用な情報を持たない領域（白い領域）を含む。第２遮蔽レイヤは、第１遮蔽レイヤの背後にあり、サイズがより小さい。別のデータ・レイヤを費やす代わりに、本発明は、共通の遮蔽レイヤ内に第２遮蔽レイヤのマクロブロック（又はより一般的なデータ）を再配置することを可能にする。これは、図9において２つの領域IIA及びIIBによって概略的に示される。メタデータが、元の位置と再配置された位置との間の関係に関する情報を与えるために提供される。図9において、これは矢印によって概略的に示される。同じことは、領域IIIを再配置することによって第３レイヤ遮蔽データによって実行されることができ、領域IVを再配置することによって第４遮蔽レイヤによって実行されることができる。特にこの複雑な実施の形態に関係するデータは別として、データは、好ましくは、遮蔽レイヤの数に関するデータも含む。１つの追加の遮蔽レイヤのみが存在する場合、又は（zデータ（図6参照）のような）他のデータから、配列は明確であり、そのような情報は必要ないかもしれない。例えば好ましくはマクロブロックのより深い遮蔽レイヤのデータ・セグメントの共通の遮蔽レイヤ中への再配置によって、そして再配置及び好ましくはソース遮蔽レイヤの経過を追う追加のデータ・ストリームを作成することによって、多くの情報が単一の共通の遮蔽レイヤ中に記憶されることができる。生成されたメタデータは、さまざまな移動されたデータ・セグメントの起源の経過を追うことを可能にして、復号器側で元のレイヤ・コンテンツを再構成することを可能にする。

図10は、さらに本発明の実施の形態を示す。第１レイヤFR（すなわち主たるフレーム）及びマルチ・レイヤ表現の複数の遮蔽レイヤB1, B2, B3を含む複数のレイヤが、本発明によって組み合わせられる。レイヤB1, B2, B3は、共通レイヤCB（合成画像背景情報）に組み合わせられる。セグメントがどのように移動されるかを示す情報は、データ・ストリームM中に記憶される。組み合わされたレイヤは、次に、三次元ディスプレイのような三次元装置へと、表示インタフェース（dvi、hdmiなど）を通して送信されることができる。ディスプレイの中で、元のレイヤは、情報Mを用いてマルチ・ビュー・レンダリングのためにもう一度再構成される。

図10の例では、背景レイヤB1, B2, B3などが示されることが分かる。各々の背景レイヤに対して、深さマップB1D, B2D, B3Dなどが関連づけられることができる。さらに、透明度データB1T, B2T, B3Tなどが関連づけられることができる。上で説明されたように、レイヤのこれらのセットの各々は、実施の形態において、１つ以上の共通のレイヤに組み合わせられる。あるいは、レイヤのさまざまなセットが１つ以上の共通レイヤに組み合わせられることができる。さらに、画像及び深さレイヤが第１の種類の共通レイヤ中に組み合わせられることができ、一方、透明度及び反射率のような他のデータ・レイヤは、第２の種類のレイヤ中に組み合わせられることができる。

なお、マルチ・ビュー・レンダリング装置が、全てのレイヤのための画像プレーンを完全に再構成する必要があるというわけではなく、組み合わされたレイヤを記憶し、単に、組み合わされたレイヤ中で実際のビデオ・データが見出されることができる所を指すポインタを含む元のレイヤのマクロブロック・レベルのマップを再構成することができる。メタデータMは、符号化の間に、この目的のために生成及び/又は提供されることができる。

図11は、本発明の他の実施の形態を示す。

マルチ・レイヤ表現の複数のレイヤが本発明によって組み合わせられる。

組み合わされたレイヤは、次に、標準的なビデオ符号器を用いて、より少ないビデオ・ストリームへと（又は、レイヤがタイル表示される場合、より低い解像度のビデオ・ストリームへと）圧縮されることができ、一方、メタデータMは、別の（可逆圧縮された）ストリームとして追加される。結果として生じるビデオ・ファイルは、標準的なビデオ復号器に送信されることができ、それがさらにメタデータを出力する限り、元のレイヤは、例えばビデオ・プレーヤーのために、又は更なる編集のために利用可能とするように、本発明によって再構成されることができる。なお、このシステム及び図10のシステムは、組み合わされたレイヤを維持し、元のレイヤを再構成する前にそれらを表示インタフェイス上で送信するために、組み合わされることができる。

本発明の枠組みにおいて、データ・レイヤはデータの任意の集まりであり、データは、平面座標と関連付けられた、対にされた及び/又は平面座標に対して記憶された若しくは生成された、平面又は平面中の若しくは平面の一部中のポイントを定める平面座標に対して、前記平面若しくは前記平面の一部のポイント及び/又は領域のための画像情報データを有する。画像情報データは、例えば、色座標（例えばRGB又はYUV）、z値（深さ）、透明度、反射率、スケールなどであることができる(但しそれらに制限されない)。

図12は、メタデータ生成の間に共通データ・レイヤにいくつかの更なるデータ・レイヤ（例えば遮蔽レイヤ）のブロックを組み合わせる符号器の実施の形態のフローチャートを示す。復号器は逆順を実行し、メタデータを用いて適切なレイヤ中の適切な位置へ画像/深さデータをコピーする。

符号器において、ブロックは、優先度に従って処理されることができる。例えば、遮蔽データの場合において、前景オブジェクトの端から非常に遠い領域に関するデータは滅多に見られることがなく、したがって、そのようなデータは、端の近くのデータより低い優先度を与えられることができる。他の優先度基準は、例えばブロックのシャープネスであることができる。ブロックに優先順位をつけることは、ブロックが省略されなければならない場合に、最も重要度が低いものが省略されるという利点を持つ。

ステップ121において、結果は、「全て空」に初期化される。ステップ122において、何らかの処理されていない空でないブロックが入力レイヤ中に存在するかが確認される。何も存在しない場合、結果は完了しており、存在する場合、１つのブロックがステップ123において選択される。これは好ましくは、優先度に基づいて実行される。空のブロックは、共通遮蔽レイヤ中で発見される（ステップ124）。ステップ124は、ステップ123より先行することもできる。空のブロックが存在しない場合、結果は完了しており、空のブロックが存在する場合、ステップ125において、入力ブロックからの画像/深さデータが結果ブロックへとコピーされ、再配置及び好ましくはレイヤ数に関するデータはメタデータ中で管理され（ステップ126）、結果が完了するまで処理が繰り返される。

幾分複雑なスキームでは、結果のレイヤ中に空のブロックが残されていないことが見出される場合に、更なるスペースを生成するために更なるステップが追加されることができる。結果のレイヤが多くの類似のコンテンツのブロック又は周囲から予測されることができるブロックを含む場合、そのようなブロックは、更なるブロックのための余地を作るために省略されることができる。例えば、図6における住宅の後ろの遮蔽データの下部分は、周囲から予測されることができるので、省略するための望ましい候補である。

図13及び14は、本発明の実施の形態の符号器及び復号器を示す。符号器は、更なるレイヤ（例えば遮蔽レイヤB1-Bn）のための入力を持つ。これらの遮蔽レイヤのブロックは、この例では、生成器CRにおいて、２つの共通遮蔽レイヤ及び２つのデータ・ストリーム中に組み合わせられる（それらは１つの更なるストリームに組み合わせられることができる）。図13において、主たるフレーム・データ、主たるフレームのための深さマップ、共通遮蔽レイヤ・データ及びメタデータは、符号器によってビデオ・ストリームVSに組み合わせられる。図14の復号器は逆順を実行し、再構成部RCを持つ。

メタデータは別のデータ・ストリーム中に配置されることができるが、（特に、表示インタフェイスを通じて送信される場合のように、そのビデオ・データが圧縮されない場合）追加のデータ・ストリームはビデオ・データ自体に配置されることもできることが述べられる。多くの場合、画像は、決して示されないいくつかのラインを含む。

メタデータのサイズが小さい場合、例えば、少数のΔx, Δy値のみが存在する場合（Δx, Δyは多数のマクロブロックの一般的なシフトを特定する)、これらの情報は、これらのライン中に記憶されることができる。実施の形態において、共通レイヤ中の数ブロックが、このデータのために予約されることができ、例えば、ライン上の第１マクロブロックが、ラインの第１部分のためのメタデータを含み、次のn個のマクロブロックのためのメタデータを記述する（nは、１つのマクロブロックに組み込まれることができるメタデータの量によって決まる）。そして、マクロブロックn+1が、次のn個のマクロブロックのためのメタデータを含むなどである。

要するに、本発明は、以下によって記述されることができる。

三次元ビデオ信号を符号化するための方法及び三次元ビデオ信号のための符号器において、主たるフレーム、主たるフレームのための深さマップ及び更なるデータ・レイヤが符号化される。いくつかの更なるデータ・レイヤは、さまざまな異なるレイヤのデータ・セグメントを共通レイヤに移動させてその移動の経過を追うことによって、１つ以上の共通レイヤ中に組み合わせられる。復号器は逆順を実行し、共通レイヤ及びデータ・セグメントがどのように共通レイヤへと移動されたかに関する情報（すなわち、どのレイヤからそれらが来て、元のレイヤ内でのそれらの元の位置がどこであったか）を用いてレイヤ構造を再構成する。

本発明は、本発明による方法又は装置のための何らかのコンピュータ・プログラム製品としても実施される。コマンドをプロセッサに入れるための（中間言語及び最終的なプロセッサ言語への翻訳のような中間の変換ステップを含む場合がある）一連のローディング・ステップの後、一般的プロセッサ又は特定用途プロセッサが発明の特徴的な機能のいずれかを実行することを可能にするコマンドの集まりの任意の物理的実現が、コンピュータ・プログラム製品に含まれることが理解されるべきである。特に、コンピュータ・プログラム製品は、例えばディスク又はテープのようなキャリア上のデータとして、メモリ中に存在するデータとして、（有線若しくは無線）ネットワーク接続を通じて運ばれるデータとして、又は、紙上のプログラム・コードとして実現されることができる。プログラム・コードとは別に、プログラムのために必要とされる特徴的なデータも、コンピュータ・プログラム製品として実施されることができる。

例えばデータ入出力ステップのような、本方法の作用のために必要とされるいくつかのステップは、コンピュータ・プログラム製品中に記述される代わりに、プロセッサの機能中に既に存在することができる。

上記の実施の形態は本発明を制限ではなく説明し、当業者は添付の請求の範囲を逸脱することなく多くの変形例を設計することが可能であることが留意されるべきである。

例えば、所与の例は、中央ビューが用いられて、遮蔽レイヤは前景オブジェクトの背後にあるオブジェクトに関するデータを有する例である。本発明の枠組みにおいて、遮蔽レイヤは、主たるビューに対するサイド・ビューのデータである場合もある。

図15は、図の一番上に主たるビューを示す。サイド・ビューが図の下部に示される。サイド・ビューは、主たるビューにおいて電話によって遮蔽された小さい領域のビデオ・データのものであるものの、主たるビューの全てのデータを有する。左のサイド・ビューSVLは、グレーの領域によって示される主たるビュー中にも含まれるデータ、及び、グレーのトーンで示される主たるビューにおいて遮蔽されたデータの小さいバンドを含む。同様に、主たるビューの右のビューは、（グレーで示される）主たるビューと共通のデータ、及び、主たるビューにおいて遮蔽された（左のビューと同じではない）データの小さいバンドを持つ。さらに左のビューは、遮蔽されたデータのより広いバンドを含む。しかしながら、その遮蔽データの少なくとも一部は、前記左のビュー中に既に含まれていた。図10〜14に示されるのと同じスキームが、組み合わされた遮蔽データ・レイヤにさまざまなビューの遮蔽データを組み合わせるために用いられることができる。それによって、レイヤの数（すなわちマルチ・ビュー・フレームの数）は低減されることができる。マルチ・ビュー・スキームにおいて、主たるビューは、複数のビューのうちのいずれかであることができる。

要するに、本発明は、以下のように記述されることができる。三次元ビデオ信号を符号化する方法及び三次元ビデオ信号のための符号器において、主たるデータ・レイヤ、主たるデータ・レイヤのための深さマップ及び更なるデータ・レイヤが符号化される。データセグメント（例えばデータ・ブロック）を元のデータ・レイヤから共通データ・レイヤに移動させて、追加的なデータ・ストリーム中にシフトの記録を保持することによって、いくつかのデータ・レイヤが１つ以上の共通データ・レイヤ中に組み合わせられる。

請求の範囲において、括弧間のいかなる参照符号も、請求の範囲を制限するものとして解釈されてはならない。「有する」「含む」等の用語は、請求の範囲において挙げられたもの以外の他の要素又はステップの存在を除外しない。本発明は、いくつかの別個の素子から成るハードウェアによって、及び適切にプログラムされたコンピュータによって実施されることができる。いくつかの手段を列挙する装置の請求項において、これらの手段のいくつかは、ハードウェアの同じ一つのアイテムによって実施されることができる。本発明の符号化又は復号化の方法は、適切な汎用コンピュータあるいは専用（集積化）回路上で実施及び実行されることができる。他の計算プラットフォーム上での実施も想定される。本発明は、上述のさまざまな異なる好ましい実施の形態の特徴の任意の組み合わせによって実施されることができる。

本発明は、さまざまな仕方で実施されることができる。例えば、上記の例において、主たるビデオ・データ・レイヤは変更されずに残され、更なるデータ・レイヤのデータ・セグメントだけが、共通データ・レイヤ中に組み合わせられる。

本発明の枠組みにおいて、共通レイヤはさらに、主たるデータ・レイヤのデータ・セグメント及び更なるデータ・レイヤのセグメントを有することができる。一例は、主たるデータ・レイヤが空（そら）の大きい部分を含む状況である。主たるビデオ・データ・レイヤのそのような部分は、多くの場合、青い部分の範囲及び色（あるいは例えば色の変化）を記述するパラメータによって容易に表されることができる。これは、主たるビデオ・データ・レイヤ上にスペースを生成し、そのスペース中に、更なるデータ・レイヤに由来するデータ・セグメントが移動されることができる。これは、共通レイヤの数が低減されることを可能にすることができる。図16は、そのような実施の形態を示す。主たるレイヤFR及び（ここではB1として示される）第１の更なるレイヤが共通レイヤC（FR+B1）中に組み合わせられ、どのように２つのレイヤFR及びB1のデータ・セグメントが共通レイヤへと移動されたかの経過を追うためにメタデータM1が生成される。更なるデータ・レイヤB2〜Bnは共通データ・レイヤB2中に組み合わせられ、それに対してメタデータM2が生成される。

下位互換性に関して、好ましい実施の形態は、共通レイヤが更なるレイヤ（B1、B1Tなど）のセグメントのみを有する実施の形態である。

主たるレイヤ及び好ましくは主たるレイヤのための深さマップをも変更しないことは、既存の装置上での本方法の容易な実施を可能にする。

Claims (25)

1. 三次元ビデオ信号を符号化する方法であって、入力三次元ビデオ信号が符号化され、前記入力三次元ビデオ信号は、主たるビデオ・データ・レイヤ、前記主たるビデオ・データ・レイヤのための深さマップ及び前記主たるビデオ・データ・レイヤのための更なるデータ・レイヤを有し、前記主たるビデオ・データ・レイヤ、前記主たるビデオ・データ・レイヤのための前記深さマップ及び前記更なるデータ・レイヤのうちの異なるデータ・レイヤのデータ・マップに属するデータ・セグメントが、共通データ・レイヤのデータ・マップに移動され、各々の移動されたデータ・セグメントの元の位置及び/又は元の更なるデータ・レイヤを特定する追加のデータを有する追加のデータ・ストリームが生成され、前記データ・マップが同じサイズである方法。
2. 前記データ・セグメントがマクロブロックである、請求項１に記載される方法。
3. 前記更なるデータ・レイヤが、前記主たるビデオ・データ・レイヤのビューと同じ視点からの画像及び/又は深さデータ及び/又は更なるデータを有する、請求項１又は請求項２に記載の方法。
4. 更なるデータ・レイヤのデータ・セグメントのみが共通データ・レイヤに移動される、請求項１に記載の方法。
5. 少なくとも１つの共通データ・レイヤが、一種類のデータ・セグメントのみを有する、請求項１に記載の方法。
6. 全ての共通データ・レイヤが、一種類のデータ・セグメントのみを有する、請求項５に記載の方法。
7. 少なくとも１つの共通データ・レイヤが、異なる種類のデータ・セグメントを有する、請求項１に記載の方法。
8. 全ての共通データ・レイヤが、異なる種類のデータ・セグメントを有する、請求項７に記載の方法。
9. 前記データ・セグメントが、前記主たるビデオ・データ・レイヤと同じタイム・スロットにおける共通レイヤに移動される、請求項１に記載の方法。
10. データ・セグメントが、前記主たるビデオ・データ・レイヤと異なるタイム・スロットにおける共通レイヤに移動され、前記追加のデータが、タイム・スロット差を特定する、請求項１に記載の方法。
11. 前記データ・セグメントが、優先度に基づいて移動又は破棄される、請求項１に記載の方法。
12. 三次元ビデオ信号を符号化するための符号器を有するシステムであって、符号化された三次元ビデオ信号は、主たるビデオ・データ・レイヤ、前記主たるビデオ・データ・レイヤのための深さマップ及び前記主たるビデオ・データ・レイヤのための更なるデータ・レイヤを有し、前記符号器は、前記更なるデータ・レイヤのための入力を有し、前記符号器は生成器を有し、前記生成器は、共通データ・レイヤのデータ・マップに複数のデータ・レイヤのデータ・セグメントを移動させて、移動されたデータ・セグメントの起源を特定するデータを有する追加のデータ・ストリームを生成することによって、前記主たるビデオ・データ・レイヤ、前記主たるビデオ・データ・レイヤのための前記深さマップ及び前記更なるデータ・レイヤのうちの複数のデータ・レイヤのデータ・マップからのデータ・セグメントを共通データ・レイヤのデータ・マップへと組み合わせ、前記データ・マップが同じサイズであるシステム。
13. 前記データ・セグメントがマクロブロックである、請求項１２に記載のシステム。
14. 前記生成器が、元の更なるデータ・レイヤを特定する追加のデータを生成する、請求項１２又は請求項１３に記載のシステム。
15. 前記符号器が優先度に基づいて前記データ・セグメントを移動させる、請求項１２に記載のシステム。
16. 前記生成器が、１つの更なるデータ・レイヤを生成する、請求項１２に記載のシステム。
17. 前記生成器が、更なるデータ・レイヤのデータのみを共通データ・レイヤのデータ・マップに組み合わせる、請求項１２に記載のシステム。
18. 請求項１２から請求項１７のいずれか一項に記載のシステムの前記符号器として用いられる符号器。
19. 符号化されたビデオ信号を復号する方法であって、三次元ビデオ信号が復号され、
    前記三次元ビデオ信号は、
    主たるビデオ・データ・レイヤ、前記主たるビデオ・データ・レイヤのための深さマップ及び前記主たるビデオ・データ・レイヤのための更なるデータ・レイヤのうちの複数のデータ・レイヤのデータ・マップに由来するデータ・セグメントを有する１つ以上の符号化された共通データ・レイヤのデータ・マップ、並びに
    前記符号化された共通データ・レイヤのデータ・マップ中の前記セグメントの起源を特定する追加のデータを有する追加のデータ・ストリーム、
    を有し、
    主たるビデオ・データ・レイヤ、前記主たるビデオ・データ・レイヤのための深さマップ及び前記主たるビデオ・データ・レイヤのための更なるデータ・レイヤのうちの前記複数のデータ・レイヤは、前記符号化された共通データ・レイヤのデータ・マップ及び前記追加のデータ・ストリームに基づいて再構成され、三次元画像が生成され、前記データ・マップが同じサイズである方法。
20. 前記符号化された共通データ・レイヤは、更なるデータ・レイヤからのデータ・セグメントのみを有する、請求項１９に記載の方法。
21. 前記ビデオ信号が、１つの共通遮蔽レイヤを有する、請求項２０に記載の方法。
22. 符号化されたビデオ信号を復号するための復号器を有するシステムであって、三次元ビデオ信号が復号され、前記三次元ビデオ信号は、符号化された主たるビデオ・データ・レイヤ、前記主たるビデオ・データ・レイヤのための深さマップ及び１つ以上の更なるデータ・レイヤのうちの複数のデータ・レイヤデータ・マップに由来するデータ・セグメントを有する符号化された共通データ・レイヤのデータ・マップを有し、前記三次元ビデオ信号は、前記符号化された共通データ・レイヤのデータ・マップ中の前記セグメントの起源を特定する追加のデータを有する追加のデータ・ストリームをさらに有し、前記復号器は、前記符号化された共通データ・レイヤのデータ・マップ及び前記追加のビデオ・ストリームを読み込むための読み取り機、並びに、前記符号化された共通データ・レイヤのデータ・マップ及び前記追加のデータ・ストリームに基づいて、元の主たるビデオ・データ・レイヤ、前記主たるビデオ・データ・レイヤのための深さマップ及び１つ以上の更なるデータ・レイヤを再構成するための再構成部を有し、前記データ・マップが同じサイズであるシステム。
23. 前記共通データ・レイヤが更なるデータ・レイヤからのデータ・セグメントのみを有し、前記再構成部が、元の前記更なるデータ・レイヤを再構成する、請求項２２に記載のシステム。
24. 請求項２２又は請求項２３に記載のシステムの前記復号器として用いられる復号器。
25. コンピュータ上で実行されたときに請求項１から請求項１１、請求項１９から請求項２１のいずれか一項に記載の方法を実行するためのプログラム・コードを有するコンピュータ・プログラム。

Images