JP2009004941A - 多視点画像受信方法、多視点画像受信装置及び多視点画像受信用プログラム - Google Patents

Abstract

【課題】符号化された多視点画像信号を受信して復号する際には、視点毎に並び替えるためのバッファが必要となり、その際に遅延が生じる。
【解決手段】多視点画像信号を符号化して得られた符号化データは、ネットワーク等を介して分離部２１で受信され、補足付加情報（ＳＥＩ）とその多視点画像信号の視点の数Ｖとがそれぞれ符号化されている第１の符号化データと、復号画像出力順番号ｏと多視点画像信号とがそれぞれ符号化されている第２の符号化データとに分離する。これらの符号化データは別々に復号される。復号画像管理部２１１では、復号画像バッファ２１０に格納されている復号画像信号のそれぞれについて、番号ｖにより視点を特定し、番号ｄによりそれぞれの視点での復号画像の出力順序を管理して各視点の復号画像信号の番号ｄの値が等しい画像を同時、または連続的に出力するように各視点を互いに同期させて出力する。
【選択図】図１７

Description

本発明は多視点画像受信方法、多視点画像受信装置及び多視点画像受信用プログラムに係り、特に異なる視点から撮影された多視点画像信号を符号化した多視点画像符号化データをネットワークなどを介して受信して復号する多視点画像受信方法、多視点画像受信装置及び多視点画像受信用プログラムに関する。

＜動画像符号化方式＞
現在、時間軸上に連続する動画像をディジタル信号の情報として取り扱い、その際、効率の高い情報の放送、伝送又は蓄積等を目的とし、時間方向の冗長性を利用して動き補償予測を用い、空間方向の冗長性を利用して離散コサイン変換等の直交変換を用いて符号化圧縮するＭＰＥＧ（Moving Picture Experts Group）などの符号化方式に準拠した装置、システムが、普及している。

１９９５年に制定されたＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式は、汎用の動画像圧縮符号化方式として定義されており、プログレッシブ走査画像に加えてインターレース走査画像にも対応し、ＳＤＴＶ（標準解像度画像）のみならずＨＤＴＶ（高精細画像）まで対応しており、光ディスクであるＤＶＤ（Digital Versatile Disk）や、Ｄ−ＶＨＳ（登録商標）規格のディジタルＶＴＲによる磁気テープなどの蓄積メディアや、ディジタル放送等のアプリケーションとして広く用いられている。

また、ネットワーク伝送や携帯端末等のアプリケーションにおいて、より高い符号化効率を目標とする、ＭＰＥＧ−４ビジュアル（ＩＳＯ／ＩＥＣ １４４９６−２）符号化方式の標準化が行われ、１９９８年に国際標準として制定された。

更に、２００３年に、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ‐ＴではＨ.２６４の規格番号がつけられている。以下、これをＡＶＣ／Ｈ.２６４符号化方式と呼ぶ）が国際標準として制定された。このＡＶＣ／Ｈ.２６４符号化方式では、従来のＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式に比べ、より高い符号化効率を実現している。

ＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式のＰピクチャ（順方向予測符号化画像）では、表示順序で直前のＩピクチャ（画面内符号化画像）またはＰピクチャのみから動き補償予測を行っていた。これに対して、ＡＶＣ／Ｈ.２６４符号化方式では、Ｐピクチャ及びＢピクチャ（双予測符号化画像）は複数のピクチャを参照ピクチャとして用いることができ、この中からブロック毎に最適なものを選択して動き補償を行うことができる。また、表示順序で先行するピクチャに加えて、既に符号化済みの表示順序で後続のピクチャも参照することができる。また、ＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式のＢピクチャは、表示順序で前方１枚の参照ピクチャ、後方１枚の参照ピクチャ、もしくはその２枚の参照ピクチャを同時に参照し、２つのピクチャの平均値を予測ピクチャとし、対象ピクチャと予測ピクチャの差分データを符号化していた。

一方、ＡＶＣ／Ｈ.２６４符号化方式では、Ｂピクチャは表示順序で前方１枚、後方１枚という制約にとらわれず、前方や後方に関係なく任意の参照ピクチャを予測のために参照可能となった。さらに、Ｂピクチャを参照ピクチャとして参照することも可能となっている。

また、ＡＶＣ／Ｈ.２６４符号化方式では復号画像を出力する際に符号化順序から復号画像の出力順序（出力先の表示装置等で表示する際に望ましい順序）に並び替えるために、参照ピクチャと、非参照ピクチャの両方をメモリに格納しなければならないが、参照ピクチャと非参照ピクチャを復号画像バッファと呼ばれる１つのメモリで統一的に管理する仕組みが導入されている。符号化された符号化列（ビットストリーム）には、画像毎にピクチャ・オーダー・カウント（picture order count）と呼ばれる出力順序を示す情報が符号化されており、復号画像の出力順序で番号がつけられている。復号されて復号画像バッファに格納されている画像で、ピクチャ・オーダー・カウントの値が最も小さい画像から順次出力する。また、ピクチャ・オーダー・カウントはＩＤＲピクチャ（符号化順序でそのピクチャより前のピクチャの情報を使わなくても、それ以後のピクチャが正常に復号できることを意味するピクチャ）でリセットされる。

更に、ＭＰＥＧ−２ビデオではピクチャ、ＭＰＥＧ−４ではビデオ・オブジェクト・プレーン（ＶＯＰ）を１つの単位として、ピクチャ（ＶＯＰ）毎の符号化モードが決められていたが、ＡＶＣ／Ｈ.２６４符号化方式では、スライスを符号化の単位としており、１つのピクチャ内にＩスライス、Ｐスライス、Ｂスライス等異なるスライスを混在させる構成にすることも可能となっている。

更に、ＡＶＣ／Ｈ.２６４符号化方式ではビデオの画素信号（符号化モード、動きベクトル、ＤＣＴ係数等）の符号化／復号処理を行うＶＣＬ（Video Coding Layer;ビデオ符号化層）と、ＮＡＬ（Network Abstraction Layer;ネットワーク抽象層）が定義されている。

ＡＶＣ／Ｈ.２６４符号化方式で符号化された符号化ビット列はＮＡＬの一区切りであるＮＡＬユニットを単位として構成される。ＮＡＬユニットはＶＣＬで符号化されたデータ（符号化モード、動きベクトル、ＤＣＴ係数等）を含むＶＣＬ ＮＡＬユニットと、ＶＣＬで生成されたデータを含まないｎｏｎ−ＶＣＬ ＮＡＬユニットがある。ｎｏｎ−ＶＣＬ ＮＡＬユニットにはシーケンス全体の符号化に関わるパラメータ情報が含まれているＳＰＳ（シーケンス・パラメータ・セット）や、ピクチャの符号化に関わるパラメータ情報が含まれているＰＰＳ（ピクチャ・パラメータ・セット）、ＶＣＬで符号化されたデータの復号に必須ではないＳＥＩ（補足付加情報）等がある。

それぞれのＮＡＬユニットのヘッダ部（先頭部）には常に”０”の値を持つフラグ（forbidden_zero_bit）、ＳＰＳ、またはＰＰＳ、または参照ピクチャとなるスライスが含まれているかどうかを見分ける識別子（nal_ref_idc）、ＮＡＬユニットの種類を見分ける識別子（nal_unit_type）が含まれる。nal_unit_typeは、ＶＣＬ ＮＡＬユニットの場合、”１”から”５”のいずれかの値を持つように規定されており、ｎｏｎ−ＶＣＬ ＮＡＬユニットの場合、例えばＳＥＩが”６”、ＳＰＳが”７”、ＰＰＳが”８”の値を持つように規定されている。復号側ではＮＡＬユニットの種類はＮＡＬユニットのヘッダ部に含まれるＮＡＬユニットの種類を見分ける識別子であるnal_unit_typeで識別することができる。

また、ＡＶＣ／Ｈ.２６４符号化方式における符号化の基本の単位はピクチャを分割したスライスであり、ＶＣＬ ＮＡＬユニットはスライス単位となっている。そこで、いくつかのＮＡＬユニットを纏めたアクセス・ユニットと呼ばれる単位が定義されており、１アクセス・ユニットに１つの符号化されたピクチャが含まれている。

＜多視点画像符号化方式＞
一方、２眼式立体テレビジョンにおいては、２台のカメラにより異なる２方向から撮影された左眼用画像、右眼用画像を生成し、これを同一画面上に表示して立体画像を見せるようにしている。この場合、左眼用画像、及び右眼用画像はそれぞれ独立した画像として別個に伝送、あるいは記録されている。しかし、これでは単一の２次元画像の約２倍の情報量が必要となってしまう。

そこで、従来より、左右いずれか一方の画像を主画像とし、他方の画像（副画像）情報を一般的な圧縮符号化方法によって情報圧縮して情報量を抑える手法が提案されている（例えば、特許文献１参照）。この特許文献１に記載された立体テレビジョン画像伝送方式では、小領域毎に他方の画像での相関の高い相対位置を求め、その位置偏移量（視差ベクトル）と差信号（予測残差信号）とを伝送するようにしている。差信号も伝送、記録するのは、主画像と視差情報であるずれ量や位置偏移量を用いれば副画像に近い画像が復元できるが、物体の影になる部分など主画像がもたない副画像の情報は復元できないからである。

また、１９９６年に単視点画像の符号化国際標準であるＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １４４９６−２）符号化方式に、マルチビュープロファイルと呼ばれるステレオ画像の符号化方式が追加された（ＩＳＯ／ＩＥＣ １４４９６−２／ＡＭＤ３）。ＭＰＥＧ−２ビデオ・マルチビュープロファイルは左眼用画像を基本レイヤー、右眼用画像を拡張レイヤーで符号化する２レイヤーの符号化方式となっており、時間方向の冗長性を利用した動き補償予測や、空間方向の冗長性を利用した離散コサイン変換に加えて、視点間の冗長性を利用した視差補償予測を用いて符号化圧縮する。

更に、多視点画像を符号化・復号する際に、１系統の符号化経路及び復号経路を用いる手法が提案されている（例えば、特許文献２参照）。この手法では、符号化側（送信側）で、図２５に示すように複数の方向から撮影して得られる複数のチャンネルの画像信号を、順次化手段３０１にて各チャンネル毎に順次１フレーム又は１フィールドずつ遅延させる。制御手段３０４は、フレーム周期またはフィールド周期のスイッチ信号を出力して、順次化手段３０１から複数のチャンネルの信号を順次に取り出すよう、マルチプレクサ３０２を制御する。

マルチプレクサ３０２では複数のチャンネルの信号を１フレーム又は１フィールド毎に順次にチャンネル単位で挿入することで時系列的に合成して、１系統の画像信号とする。符号化手段３０３はマルチプレクサ３０２から出力された１系統の画像信号を符号化して、符号化ビット列を伝送路に出力する。

復号側（受信側）では、図２６に示すように復号化手段３０５で前記符号化ビット列を復号する。制御手段３０８は、復号された画像信号から、フレーム周期またはフィールド周期のスイッチ信号を出力して、デマルチプレクサ３０６を制御する。これにより、デマルチプレクサ３０６からは復号された画像信号の各フレームまたはフィールドがチャンネル単位で順次に抜き取られて同時化手段３０７に供給され、ここで１フレーム又は１フィールドずつ順次遅延して同時化し、撮影時と同様な複数チャンネルの画像信号として出力する。

特開昭６１-１４４１９１号公報 特開平１０−２４３４１９号公報

しかしながら、従来の立体視画像符号化・復号化方法及び装置では、予め交互にＬとＲチャンネルの画像が配置された左右画像信号の左右画像がどちらのチャンネルかを規定しておく必要がある。また、ＬとＲチャンネルの画像が交互に配置されていることが前提となっているので、各視点のフレームレートが異なっている場合や、画像が欠落している場合には対応できない。

また、従来の立体視画像符号化・復号化方法及び装置では、符号化時に多視点画像信号を構成するそれぞれの複数のチャンネルの画像信号を、１フレーム又は１フィールド毎に順次に配列し、１系統の画像信号としてから符号化手段３０３に入力し、さらに符号化手段３０３で符号化順に並び替えて符号化するので、１フレーム又は１フィールド毎に順次に並び替えるためのバッファが必要であり、その際に遅延が生じることがある。

また、復号時にも、復号化手段３０５で復号された画像信号を１フレーム又は１フィールド毎に順次に配列して出力してから、１フレーム又は１フィールドずつ順次遅延して同時化するので、視点毎に並び替えるためのバッファが必要となり、その際に遅延が生じることがある。従って、上記の従来の立体視画像符号化方法、装置で符号化された符号化データを受信し、従来の立体視画像復号方法及び装置を用いて復号する受信装置においても、同時化のための画像バッファが必要で、遅延時間を短くすることができない。

本発明は以上の点に鑑みてなされたもので、受信側装置におけるバッファサイズを削減すると共に、遅延時間を短くする多視点画像受信方法、多視点画像受信装置及び多視点画像受信用プログラムを提供することを目的とする。

上記目的を達成するため、第１の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮影して得られた画像信号、又は一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを受信し、符号化データを復号する多視点画像受信方法であって、
多視点画像信号が符号化されていることを示す補足付加情報と、その多視点画像信号の視点の数Ｖと、各視点のそれぞれを特定する番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏ（ｏは０以上の整数）と、多視点画像信号とがそれぞれ符号化されている符号化データを受信する第１のステップと、第１のステップで受信した符号化データから、補足付加情報とその多視点画像信号の視点の数Ｖとがそれぞれ符号化されている第１の符号化データと、復号画像出力順番号ｏと多視点画像信号とがそれぞれ符号化されている第２の符号化データとを分離する第２のステップと、第１の符号化データを復号して、多視点画像信号の視点の数Ｖを含む補足付加情報を生成する第３のステップと、第２の符号化データを復号して、復号画像出力順番号ｏを生成する第４のステップと、復号された復号画像出力順番号ｏを復号された視点の数Ｖで整数演算により除算して得た商（０以上の整数）を、それぞれの視点での復号画像の出力順序を示す番号ｄとして算出すると共に、除算の剰余（０以上Ｖ未満の整数）を各視点のそれぞれを特定する番号ｖとして算出する第５のステップと、第２の符号化データを復号して、復号多視点画像信号を生成する第６のステップと、復号多視点画像信号を画像バッファに格納する第７のステップと、第５のステップで算出された、それぞれの視点での復号画像の出力順序を示す番号ｄと各視点のそれぞれを特定する番号ｖとに応じて、画像バッファから復号多視点画像信号を取り出し、復号多視点画像信号を構成する各視点の復号画像信号を互いに同期させて出力する第８のステップとを含むことを特徴とする。

また、上記の目的を達成するため、第３の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮影して得られた画像信号、又は一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを受信し、符号化データを復号する多視点画像受信装置であって、
多視点画像が符号化されていることを示す補足付加情報と、その多視点画像信号の視点の数Ｖと、各視点のそれぞれを特定する番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏ（ｏは０以上の整数）と、多視点画像信号とがそれぞれ符号化されている符号化データを受信する受信手段と、受信手段により受信された符号化データから、多視点画像が符号化されていることを示す補足付加情報とその多視点画像信号の視点の数Ｖとが符号化されている第１の符号化データと、復号画像出力順番号ｏと多視点画像信号とがそれぞれ符号化されている第２の符号化データとを分離する分離手段と、分離された第１の符号化データを復号して、多視点画像信号の視点の数Ｖを含む補足付加情報を生成する第１の復号手段と、分離された第２の符号化データを復号して、復号画像出力順番号ｏを生成する第２の復号手段と、復号された復号画像出力順番号ｏを復号された視点の数Ｖで整数演算により除算して得た商（整数）を、それぞれの視点での復号画像の出力順序を示す番号ｄとして算出すると共に、除算の剰余（０以上Ｖ未満の整数）を各視点のそれぞれを特定する番号ｖとして算出する算出手段と、第２の符号化データを復号して、復号多視点画像信号を生成する第３の復号手段と、復号多視点画像信号を画像バッファに格納する格納手段と、算出手段から供給されるそれぞれの視点での復号画像の出力順序を示す番号ｄと各視点のそれぞれを特定する番号ｖに応じて、画像バッファから復号多視点画像信号を取り出し、復号多視点画像信号を構成する各視点の復号画像信号を互いに同期させて出力する出力手段とを有することを特徴とする。また、上記の目的を達成するため、第５の発明の多視点画像受信用プログラムは、第１の発明の各ステップをコンピュータにより実行させることを特徴とする。

上記の第１、第３、第５の発明では、受信した符号化データから、多視点画像信号が符号化されていることを示す補足付加情報と、その多視点画像信号の視点の数Ｖとがそれぞれ符号化されている第１の符号化データと、各視点のそれぞれを特定する番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏと、多視点画像信号とがそれぞれ符号化されている第２の符号化データとを分離し、第１、第２の符号化データのそれぞれについて復号して得た復号多視点画像信号を適宜画像バッファに格納した後、復号及び算出して得たそれぞれの視点での復号画像の出力順序を示す番号ｄと各視点のそれぞれを特定する番号ｖに応じて、画像バッファから復号多視点画像信号を取り出し、復号多視点画像信号を構成する各視点の復号画像信号を互いに同期させて出力することで、復号後に１フレーム又は１フィールド毎に順次配列して出力してから同時化する処理及びデバイスを不要にできる。

また、第１、第３、第５の発明では、多視点画像であることを示す情報をＳＥＩ（補足付加情報）として多視点画像信号の視点の数Ｖと共に符号化され、かつ、多視点画像信号を構成する各視点の画像信号の視点を特定する視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏが符号化された符号化データを受信して復号することができる。

また、上記の目的を達成するため、第２の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮影して得られた画像信号、又は一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを受信し、符号化データを復号する多視点画像受信方法であって、
多視点画像が符号化されていることを示す補足付加情報と、その多視点画像信号の視点の数Ｖと、多視点画像の各視点をそれぞれ特定する番号ｖと復号画像の管理用に視点を特定する視点ＩＤとの対応関係と、各視点のそれぞれを特定する番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏ（ｏは０以上の整数）と、多視点画像信号とがそれぞれ符号化されている符号化データを受信する第１のステップと、第１のステップで受信した符号化データから、補足付加情報とその多視点画像信号の視点の数Ｖと多視点画像の各視点をそれぞれ特定する番号ｖと視点ＩＤとの対応関係とがそれぞれ符号化されている第１の符号化データと、復号画像出力順番号ｏと多視点画像信号とがそれぞれ符号化されている第２の符号化データとを分離する第２のステップと、第１の符号化データを復号して、多視点画像信号の視点の数Ｖ、及び多視点画像の各視点をそれぞれ特定する番号ｖと視点ＩＤとの対応関係を含む補足付加情報を生成する第３のステップと、第２の符号化データを復号して、復号画像出力順番号ｏを生成する第４のステップと、復号された復号画像出力順番号ｏを復号された視点の数Ｖで整数演算により除算して得た商（整数）を、それぞれの視点での復号画像の出力順序を示す番号ｄとして算出すると共に、除算の剰余（０以上Ｖ未満の整数）を各視点のそれぞれを特定する番号ｖとして算出する第５のステップと、第２の符号化データを復号して、復号多視点画像信号を生成する第６のステップと、復号多視点画像信号を画像バッファに格納する第７のステップと、第５のステップで算出された、それぞれの視点での復号画像の出力順序を示す番号ｄと視点ＩＤとに応じて、前記画像バッファから復号多視点画像信号を取り出し、前記復号多視点画像信号を構成する各視点の復号画像信号を互いに同期させて出力する第８のステップと、を含むことを特徴とする。

また、上記の目的を達成するため、第４の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮影して得られた画像信号、又は一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを受信し、符号化データを復号する多視点画像受信装置であって、
多視点画像が符号化されていることを示す補足付加情報と、その多視点画像信号の視点の数Ｖと、多視点画像の各視点をそれぞれ特定する番号ｖと復号画像の管理用に視点を特定する視点ＩＤとの対応関係と、各視点のそれぞれを特定する番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏ（ｏは０以上の整数）と、多視点画像信号とがそれぞれ符号化されている符号化データを受信する受信手段と、受信した符号化データから、補足付加情報とその多視点画像信号の視点の数Ｖと多視点画像の各視点をそれぞれ特定する番号ｖと視点ＩＤとの対応関係とがそれぞれ符号化されている第１の符号化データと、復号画像出力順番号ｏと多視点画像信号とがそれぞれ符号化されている第２の符号化データとを分離する分離手段と、分離された第１の符号化データを復号して、多視点画像信号の視点の数Ｖ、及び多視点画像の各視点をそれぞれ特定する番号ｖと復号画像の管理用に視点を特定する視点ＩＤとの対応関係を含む補足付加情報を生成する第１の復号手段と、分離された第２の符号化データを復号して、復号画像出力順番号ｏを生成する第２の復号手段と、復号された復号画像出力順番号ｏを復号された視点の数Ｖで整数演算により除算して得た商（整数）を、それぞれの視点での復号画像の出力順序を示す番号ｄとして算出すると共に、除算の剰余（０以上Ｖ未満の整数）を各視点のそれぞれを特定する番号ｖとして算出する算出手段と、第２の符号化データを復号して、復号多視点画像信号を生成する第３の復号手段と、復号多視点画像信号を画像バッファに格納する格納手段と、算出手段から供給されるそれぞれの視点での復号画像の出力順序を示す番号ｄと視点ＩＤとに応じて、画像バッファから復号多視点画像信号を取り出し、復号多視点画像信号を構成する各視点の復号画像信号を互いに同期させて出力する出力手段とを有することを特徴とする。また、上記の目的を達成するため、第６の発明の多視点画像受信用プログラムは、第２の発明の各ステップをコンピュータにより実行させることを特徴とする。

上記の第２、第４、第６の発明では、多視点画像信号が符号化されていることを示す補足付加情報と、その多視点画像信号の視点の数Ｖと、多視点画像の各視点をそれぞれ特定する視点番号ｖと復号画像の管理用に視点を特定する視点ＩＤとの対応関係が符号化された第１の符号化データと、視点の数Ｖ、各視点のそれぞれを特定する番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏと、多視点画像信号とがそれぞれ符号化されている第２の符号化データを受信するようにしたことを特徴とし、各画像の視点を特定する視点番号ｖの代わりに復号画像の管理用に視点を特定する視点ＩＤを用意し、その視点ＩＤに基づいて復号画像の視点を管理することができる。

本発明によれば、復号画像出力順番号ｏから算出される多視点画像信号を構成する各視点の画像信号の視点を特定する視点番号ｖ又は視点を特定する視点ＩＤとそれぞれの視点での復号画像の出力順序を示す番号ｄとに応じて、各視点の復号画像信号を互いに同期させてこれらのパラメータと関連付けて出力させることで、各視点の復号画像信号を適切に出力することができ、復号画像の出力先の多視点画像表示装置等で視点と画像の対応関係を把握することができる。

更に、本発明によれば、従来の単一視点の画像符号化／復号方式を、多視点画像符号化／復号方式に拡張する際に、本発明の復号画像出力順番号ｏを従来の符号化方式の復号画像の出力順序を示す番号（例えばＡＶＣ／Ｈ.２６４方式におけるpicture order count）として扱い、復号することで、小さな改良により符号化／復号を実現することができる。

更に、本発明によれば、各視点の画像信号を複数チャンネルで出力する際には、従来の立体視画像受信方法及び装置のように復号後に１フレーム又は１フィールド毎に順次配列して出力してから同時化する必要が無く、同時化のための画像バッファを持たず、遅延時間を短くすることができる。

以下、図面と共に本発明の実施の形態を説明する。まず、本発明になる多視点画像受信方法、多視点画像受信装置及び多視点画像受信プログラムを説明する前に、本発明で受信して復号すべき符号化された多視点画像信号を生成する多視点画像符号化装置について説明する。

図１は本発明で受信及び復号すべき符号化された多視点画像信号を生成する多視点画像符号化装置の一例のブロック図を示す。この多視点画像符号化装置は、図１に示すように、符号化管理部１０１、パラメータセット符号化部１０２、多視点画像ＳＥＩ符号化部１０３、復号画像出力順番号算出部１０４、並べ替えバッファ１０５、動き／視差補償予測部１０６、符号化モード判定部１０７、残差信号演算部１０８、残差信号符号化部１０９、残差信号復号部１１０、残差信号重畳部１１１、復号画像バッファ１１２、符号化ビット列生成部１１３、多重化部１１４を備え、この多視点画像符号化装置に入力される多視点画像信号を符号化して得た符号化データ（符号化ビット列）を、送信部にて伝送媒体に応じた所定の信号形式に変換した後出力する。

ここで、上記の多視点画像信号は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、その一の視点から実際に撮影して得られた画像信号、又はその一の視点から仮想的に撮影したものとして生成した画像信号である。また、上記の伝送媒体としては、ネットワーク、有線伝送路、無線伝送路などがあり、更には記録媒体に記録して、その記録媒体を送付することも含む。

次に、図１に示す多視点画像符号化装置の動作について、ＡＶＣ／Ｈ.２６４符号化方式と関連付けて説明する。まず、図１の符号化管理部１０１にはシーケンス全体の符号化に関わるパラメータ情報、ピクチャの符号化に関わるパラメータ情報が供給され、ＡＶＣ／Ｈ.２６４符号化方式ではシーケンス情報をＳＰＳ（シーケンス・パラメータ・セット）、ピクチャ情報をＰＰＳ（ピクチャ・パラメータ・セット）として管理する。これらの情報は受信側で符号化ビット列を復号する際に必要な情報であり、パラメータセット符号化部１０２に供給される。

パラメータセット符号化部１０２は、供給されるシーケンス情報、ピクチャ情報等を符号化する。ＡＶＣ／Ｈ.２６４符号化方式ではＮＡＬ（Network Abstraction Layer;ネットワーク抽象層）の一区切りであるＮＡＬユニットを単位として符号化ビット列を構成するので、ＮＡＬユニットのヘッダ部でＮＡＬユニットの種類を見分ける識別子等を符号化した後、シーケンス情報、ピクチャ情報等を符号化する。さらに、符号化管理部１０１には、多視点画像符号化装置に供給される多視点画像の視点数の情報が供給される。これらの情報は受信側でも多視点画像を表示する際に必要な情報である。

本発明では、生成する符号化ビット列が多視点画像を符号化されていることを示す多視点画像ＳＥＩ（補足付加情報）を定義する。多視点画像ＳＥＩのペイロード部（データの部分）の符号化シンタックス構造の一例を図３に示す。図３において、「num_views_minus1」は符号化する多視点画像の視点数を示すパラメータであり、視点数は１以上となるため、視点数から１を引いた値を、ＡＶＣ／Ｈ.２６４符号化方式で用意されている指数ゴロム（Exponential Golomb）符号等の可変長や予め長さを規定した固定長で符号化する。

図１の多視点画像ＳＥＩ符号化部１０３では多視点画像を符号化されていることを示す多視点画像ＳＥＩ（補足付加情報）を符号化する。すなわち、多視点画像ＳＥＩ符号化部１０３では、まず、ＮＡＬユニットのヘッダ部でＮＡＬユニットの種類を見分ける識別子等を符号化した後、ＳＥＩのペイロード部の種類を見分ける識別子やサイズを符号化し、ＳＥＩのペイロードとして図３に示す符号化シンタックス構造に基づいて「num_views_minus1」を符号化する。

ここで、ＳＥＩのペイロード部の種類を見分ける識別子の値としてはまだＡＶＣ／Ｈ.２６４符号化方式で規定されていない値を定義する。符号化側で、このように多視点画像ＳＥＩを符号化することで、復号側では、符号化された符号化ビット列を復号する際に、多視点画像ＳＥＩを復号することで、符号化された符号化ビット列のコンテンツが多視点画像であることや、多視点画像の視点数を知ることができる。また、多視点画像ＳＥＩが規定されていない従来のＡＶＣ／Ｈ.２６４デコーダでも、この多視点画像ＳＥＩを無効にすることで、符号化ビット列を復号し、復号画像を出力することはでき、従来との互換性を保つことができる。ただし、多視点画像ＳＥＩが規定されていないので、多視点画像ＳＥＩを復号することはできず、符号化ビット列のコンテンツが多視点画像か否か、多視点画像であった場合の視点数は分からない。

さらに、符号化管理部１０１には多視点画像を構成する各画像のそれぞれについて、各視点をそれぞれ特定する情報、タイムスタンプ等の情報が供給される。これらの情報や画像の入力順序等を基に、各画像がどの視点に属するか、それぞれの視点での復号画像の出力順序（本多視点画像符号化装置で符号化して得られる符号化ビット列を復号側で復号して得られるそれぞれの視点での復号画像の出力順序）、各視点間の同期等を管理する。各画像のそれぞれについて、視点を特定する視点番号ｖ、及びそれぞれの視点での復号画像の出力順序を示す番号ｄをつけ、各画像にそれぞれ対応付ける。

ここで、各視点のそれぞれを特定する視点番号ｖの値の割り当て方について説明する。各視点の視点番号ｖには０、または視点数を示すＶ未満の正の整数を各視点のそれぞれにユニークに割り当てる。ここで、各視点のそれぞれを特定する視点番号ｖは復号側でそれぞれの時刻における各視点の出力順序を示す番号としても用いるので、その順序を指定するために、復号側でのそれぞれの時刻における各視点の出力順序に応じて０から昇順に１ずつ増加させて、各視点の視点番号ｖに割り当てる。また、各視点に所属するそれぞれの画像にも当該視点の視点番号ｖと同一の値を割り当てることで、視点番号ｖによりそれぞれの画像がどの視点に所属するかを特定することができる。

次に、それぞれの視点での復号画像の出力順序を示す番号ｄの値の割り当て方について説明する。番号ｄにはそれぞれ整数を割り当て、その値は復号画像の出力順序に応じて増加させる。ただし、視点間のそれぞれの復号画像の出力時刻が同じ場合、番号ｄの値はそれぞれ同一にする。この規則に従えば、ある時刻において、他の視点に画像が存在するにも係わらず、ある視点には画像が存在しない場合、その視点の画像に相当する番号ｄの値を欠番となる。以上のようにそれぞれの復号画像の出力順序を示す番号ｄに値を割り当てることで、復号側では番号ｄの値に応じて番号ｄの小さい画像から出力することで、所望の出力順序で出力することができ、また、視点間においては番号ｄが等しい場合、出力時刻が同じであることが判別できるので、視点間で同期させて出力することができる。加えて、符号化管理部１０１では各画像の符号化順序を管理すると共に、動き補償予測／視差補償予測に用いる参照画像を管理する。

図４は図１の多視点画像符号化装置で符号化する多視点画像を構成する各画像のそれぞれについて、視点を特定する視点番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄに値を割り当てた場合の一例を示す図である。図４において、縦軸が視点方向を表し、横軸は時間方向を表している。また、Ｍ（ｖ）（ｖ＝０，１，２，・・・，Ｖ−１）は多視点画像を構成する視点画像を示しており、ｖは各視点のそれぞれを特定する視点番号である。さらに、ｍ（ｖ，ｄ）（ｖ＝０，１，２，・・・，Ｖ−１；ｄ＝０，１，２，・・・）は、視点画像Ｍ（ｖ）を構成する画像を示しており、ｖは各視点のそれぞれを特定する視点番号、ｄはそれぞれの視点での復号画像の出力順序を示す番号である。例えば、ある２つの画像ｍ（ｖ，ｄ）を比較する際に、両者の番号ｖの値が同じ場合は、両者は同じ視点の画像であり、両者の番号ｖの値が異なる場合は、両者はそれぞれ異なる視点の画像である。また、両者の番号ｄの値が同じ場合は、同じ時刻の画像である。両者の番号ｄの値が異なる場合は、異なる時刻の画像であり、値の小さい方が早い時刻の画像である。

多視点画像信号の視点の数Ｖを符号化するのに加えて、視点を特定する視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄを個別に符号化することもできるが、図１の多視点符号化装置では、両者を一括で示す復号画像出力順番号ｏとして符号化する。従来の単一視点の画像符号化／復号方式を本実施の形態の多視点画像符号化／復号方式に拡張する際に、図１の方式の視点を特定する視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄとを一括で示す復号画像出力順番号ｏを従来の単一視点の画像符号化／復号方式の復号画像の出力順序を示す番号として扱い、符号化／復号することで、小さな改良により従来の単一視点の画像符号化／復号方式との互換をとることができる。具体的には、ＡＶＣ／Ｈ.２６４方式では、本方式の復号画像出力順番号ｏをＡＶＣ／Ｈ.２６４方式の復号画像の出力順序を示す番号であるピクチャ・オーダー・カウント（picture order count）として扱う。

図１の復号画像出力順番号算出部１０４では符号化する多視点画像の視点数Ｖ、各視点のそれぞれを特定する視点番号ｖ、及びそれぞれの視点での復号画像の出力順序ｄから復号画像出力順番号ｏを算出する。復号画像出力順番号ｏは次式により算出する。

ｏ＝ｄ・Ｖ＋ｖ （１）
図５は図１に示す多視点画像符号化装置で符号化する５視点（Ｖ＝５）の多視点画像を構成する各画像のそれぞれについて（１）式により、復号画像出力順番号ｏを算出し、値を割り当てた場合の一例を示す図である。また、図６は図１に示す多視点画像符号化装置で符号化する視点毎にフレームレートの異なる５視点（Ｖ＝５）の多視点画像を構成する各画像のそれぞれについて（１）式により、復号画像出力順番号ｏを算出し、値を割り当てた場合の一例を示す図である。ただし、図６では視点毎にフレームレートが異なっており、視点画像Ｍ（０）、Ｍ（２）、Ｍ（４）に対して、視点画像Ｍ（１）、Ｍ（３）のフレームレートが小さくなっている。視点画像Ｍ（１）、Ｍ（３）には、復号画像の出力順序を示す番号ｄが”１”、”３”、”５”の値をとる画像が存在せず、そのために、復号画像出力順番号ｏが”６”，”８”，”１６”，”１８”，”２６”，”２８”の値をとる画像が存在しない。

また、復号側である後述する多視点画像復号装置では図１の多視点画像符号化装置で符号化されたビット列を復号して得られる多視点画像の視点数Ｖと復号画像出力順番号ｏから（１）式を満たす各画像の視点を特定する視点番号ｖ（ただし、ｖは０以上Ｖ未満の整数）とそれぞれの視点での復号画像の出力順序を示す番号ｄ（整数）を算出する。具体的には、番号ｄは復号画像出力順番号ｏを視点数Ｖで整数演算により除算して得た商とする。また、番号ｖは復号画像出力順番号ｏを視点数Ｖで整数演算により除算したときの剰余の値とする。または、視点番号ｖは番号ｄを算出した後で次式により算出してもよい。

ｖ＝ｏ−ｄ・Ｖ （２）
図１の符号化ビット列生成部１１３は、スライス毎に復号画像出力順番号算出部１０４で算出された復号画像出力順番号ｏを他のスライス情報と共にビット列に符号化する。ここで、ＡＶＣ／Ｈ.２６４符号化方式ではＮＡＬ（Network Abstraction Layer;ネットワーク抽象層）の一区切りであるＮＡＬユニットを単位として符号化ビット列を構成するので、ＮＡＬユニットのヘッダ部でＮＡＬユニットの種類を見分ける識別子等を符号化した後、復号画像出力順番号ｏを含むスライス情報を符号化する。

また、並べ替えバッファ１０５は供給される多視点画像を格納する。ここで、多視点画像を構成する視点画像Ｍ（ｖ）（ｖ＝０，１，２，・・・，Ｖ−１）は各視点毎にそれぞれ独立したチャンネルで並列に入力する方法と、各視点の画像信号がインターリーブされた信号として１つのチャンネルでシリアルに入力する方法がある。各視点の画像信号をインターリーブする方法としては、各視点の画像信号を画素単位でインターリーブする方法、複数の画素を纏めた単位でインターリーブする方法、水平方向のライン単位でインターリーブする方法、画像単位でインターリーブする方法、複数の画像を纏めた単位でインターリーブする方法等がある。

入力される視点画像Ｍ（ｖ）のインターリーブ構造の例を図７〜図１４を用いて説明する。図７は各視点の信号を画素単位でインターリーブした場合の例である。同図において、ｐ（ｖ，ｉ）は各視点画像の画素を表し、ｖは視点を特定する視点番号、ｉは画素のインデックスである。

図８は各視点の信号を複数の画素を纏めた単位でインターリーブした場合の例である。同図において、ｐｙ（ｖ，ｉｙ）は各視点画像の輝度信号の画素を表し、ｖは視点を特定する視点番号、ｉｙは輝度信号の画素のインデックスである。ｐｕ（ｖ，ｉｕ）は色差信号（Ｕ）の画素を表し、ｉｕは色差信号（Ｕ）の画素のインデックスである。ｐｖ（ｖ，ｉｖ）は色差信号（Ｖ）の画素を表し、ｉｖは色差信号（Ｖ）の画素のインデックスである。

図９は各視点の信号を水平方向１６画素、垂直方向１６画素の画素ブロック単位、あるいは水平方向１６画素、垂直方向８画素の画素ブロック単位でインターリーブした場合の例を示す。同図において、ｂ（ｖ，ｉｂ）は各視点画像の画素を表し、ｖは視点を特定する視点番号、ｉｂは画素ブロックのインデックスである。画素ブロックを水平ラインで走査することにより、複数画素を纏めた単位でインターリーブしたものの一種であるといえる。

図１０は各視点の信号を水平方向のライン単位でインターリーブした場合の例である。同図において、ｌ（ｖ，ｊ）は各視点画像のラインを表し、ｖは視点を特定する視点番号、ｊはラインのインデックスである。ラインは複数の画素から構成されるので、複数画素を纏めた単位でインターリーブしたものの一種であるといえる。

また、図１１は各視点の信号を１つの画像に纏めた形式でインターリーブした場合の例を示す。この場合は１つに纏めた画像を水平ラインで走査することにより、水平ライン単位でインターリーブしたものの一種であるといえる。図１１（Ａ）は各視点の信号を纏めた１つの画像を示し、同図（Ｂ）は水平ライン単位でインターリーブした画像を示す。同図において、ｖは視点を特定する視点番号、ｄはそれぞれの視点での画像の撮影順序を示す番号（それぞれの視点での復号画像の出力順序を示す番号）を示す。また、ｌ（ｖ，ｊ）のｊはラインインデックスを示す。

図１２は各視点の信号を複数のラインを纏めたスライス単位でインターリーブした場合の例を示す。同図において、ｓ（ｖ，ｋ）は各視点画像の輝度信号の画素を表し、ｖは視点を特定する視点番号、ｋは複数のラインを纏めたスライスのインデックスである。スライスは複数の画素から構成されるので、複数画素を纏めた単位でインターリーブしたものの一種であるといえると共に、画素ブロック単位でインターリーブしたものの一種であるともいえる。

図１３は各視点の信号を画像単位でインターリーブした場合の例を示す。同図において、ｍ（ｖ，ｄ）は各視点画像を構成する画像を表し、ｖは視点を特定する視点番号、ｄはそれぞれの視点での画像の撮影順序を示す番号（それぞれの視点での復号画像の出力順序を示す番号）である。番号ｄが等しい各視点のそれぞれの画像信号を１つのグループとし、そのグループにおいて、画像単位で連続的に番号ｖの値が小さいものから順に入力する。さらに、番号ｄの値が小さいグループから順に入力することで、画像単位で各視点を互いに同期して入力することができる。

図１４は各視点の信号を複数の画像を纏めた単位でインターリーブした場合の例を示す。同図において、ｍ（ｖ，ｄ）は図１３と同様に各視点画像を構成する画像を表し、ｖは視点を特定する視点番号、ｄはそれぞれの視点での画像の撮影順序を示す番号（それぞれの視点での復号画像の出力順序を示す番号）である。

図１の多視点画像符号化装置においては、図７〜図１４のうちのいずれの方法で画像信号を入力する場合においても、遅延させることなく、適宜並べ替えバッファ１０５に入力し、格納する。更に、符号化管理部１０１で制御される符号化順に応じて、並べ替えバッファ１０５に格納された画像信号が画素ブロック単位で、適宜動き／視差補償予測部１０６及び残差信号演算部１０８にそれぞれ供給される。

以上のように、図１に示した多視点画像符号化装置において、前記各視点の視点画像をそれぞれ独立したチャンネルで並列に入力する方法と、前記各視点の視点画像をインターリーブされた信号として１つのチャンネルでシリアルに入力する方法のいずれにおいても遅延させることなく、適宜並べ替えバッファ１０５に各視点の視点画像を入力し、格納する。従って、従来例の立体視画像符号化方法及び装置のように符号化の前に１フレーム又は１フィールド毎に順次配列する必要が無く、順次化のための画像バッファを持たず、遅延時間を短くすることができるという効果を得ることができる。

次に、符号化管理部１０１で制御する符号化順序について図１５を用いて説明する。図１５は５視点（Ｖ＝５）の多視点画像を構成する各画像ｍ（ｖ，ｄ）の符号化順序、及び動き補償／視差補償の参照関係の一例を示す図である。同図において、視点画像Ｍ（０）、Ｍ（２）、Ｍ（４）は他の視点の画像を参照する視差補償予測を行わずに符号化する。例えば、視点画像Ｍ（０）の画像ｍ（０，０）は他の画像を参照せず、画面内だけで独立して符号化するピクチャとして符号化する。また、視点画像Ｍ（０）の画像ｍ（０，３）は同一視点の表示順序で前方の画像ｍ（０，０）の復号画像を参照画像とし、動き補償予測を用いて、符号化する。更に、視点画像Ｍ（０）の画像ｍ（０，１）は同一視点の表示順序で前方の画像ｍ（０，０）及び後方の画像ｍ（０，３）の復号画像を参照画像とし、動き補償予測を用いて、符号化する。

一方、視点画像Ｍ（１）、Ｍ（３）は動き補償予測に加えて、他の視点の画像を参照画像として予測する視差補償予測を用いて符号化する。例えば、視点画像Ｍ（１）の画像ｍ（１，１）は同一視点の表示順序で前方の画像ｍ（１，０）及び後方の画像ｍ（１，３）の復号画像を参照画像とし、動き補償予測を行うのに加えて、別視点の画像ｍ（０，１）及びｍ（２，１）の復号画像を参照画像とし、視差補償予測を用いて符号化する。

視点画像Ｍ（１）の画像ｍ（１，１）を符号化する際には、参照画像となる画像ｍ（１，０）、ｍ（１，３）、ｍ（０，１）及びｍ（２，１）は符号化、復号が完了し、復号画像バッファ１１２に格納されていなければならない。本例の参照関係では、ｍ（０，０）、ｍ（２，０）、ｍ（１，０）、ｍ（４，０）、ｍ（３，０）、ｍ（０，３）、ｍ（２，３）、ｍ（１，３）、ｍ（４，３）、ｍ（３，３）、ｍ（０，１）、ｍ（２，１）、ｍ（１，１）、ｍ（４，１）、ｍ（３，１）、ｍ（０，２）、ｍ（２，２）、ｍ（１，２）、ｍ（４，２）、ｍ（３，２）、ｍ（０，６）、ｍ（２，６）、ｍ（１，６）、ｍ（４，６）、ｍ（３，６）、ｍ（０，４）、ｍ（２，４）、ｍ（１，４）、・・・の符号化順で符号化する。この符号化順序は、復号画像出力順番号ｏと１対１に対応しており、符号化管理部１０１で管理される。ここで、本例においては、いずれの時刻においても視点方向の各画像の符号化順序は同じであり、いずれの視点においても時間方向の各画像の符号化順序は同じである。

動き／視差補償予測部１０６は、従来のＡＶＣ／Ｈ.２６４方式等と同様に動き補償予測を行うのに加えて、前述の視差補償予測を行う。動き補償予測は表示順序で前方または後方の同一視点の画像を参照画像とするが、視差補償予測は別視点の画像を参照画像とすれば共通の処理を行うことができる。符号化管理部１０１の制御に応じて、並べ替えバッファ１０５から供給される画素ブロックと、復号画像バッファ１１２から供給される参照画像との間でブロックマッチングを行い、動き補償予測の場合は動きベクトル、視差補償予測の場合は視差ベクトルを検出し、動き補償予測／視差補償予測ブロック信号を作成して動き補償予測／視差補償予測ブロック信号、及び動きベクトル／視差ベクトルを符号化モード判定部１０７に供給する。

動き補償予測／視差補償予測を行うか否か、参照画像の数、どの復号画像を参照画像とするか、画素ブロックのサイズ等の候補の組み合わせは符号化管理部１０１で制御され、この制御に応じて動き補償予測／視差補償予測に関するすべての符号化モードの候補となるすべての組み合わせについて動き補償予測／視差補償予測を行い、それぞれの動き補償予測／視差補償予測ブロック信号、及び動きベクトル／視差ベクトルを符号化モード判定部１０７に供給する。ここでの画素ブロックのサイズの候補とは、画素ブロックを更に分割したそれぞれの小ブロックのことである。例えば、画素ブロックを水平方向１６画素、垂直方向１６画素（すなわち、１６×１６）とした場合、１６×８、８×１６、８×８、８×４、４×８、４×４等の小ブロックに分割して動き補償予測を行い、候補とする。

符号化モード判定部１０７では、動き補償予測、視差補償予測のどの手法をどの参照画像を用いてどのような画素ブロック単位で選択、組み合わせると効率の良い符号化が実現できるかを判定して符号化モードを決定し、得られた符号化モード、及び当該動きベクトル／視差ベクトルを符号化ビット列生成部１１３に供給すると共に、当該動き補償予測／視差補償予測ブロック信号を残差信号演算部１０８に供給する。

例えば、時間軸上で前と後の参照画像からの動き補償予測を組み合わせる場合、前の参照画像から動き補償予測を行って得られた動き補償予測ブロックと、後の参照画像から動き補償予測を行って得られた動き補償予測ブロックの各画素値を平均したブロックを生成して候補とする。また、動き補償予測と視差補償予測と組み合わせることもできる。さらに、画素値を平均する際には１：１の平均のみならず、１：２、１：３などの重み付けをしてもよい。また、画素ブロックを４×４画素から１６×１６画素の小ブロックに分割して符号化モードの候補とした場合、それぞれの小ブロックの予測方法を変えることもできる。

符号化モードを判定する手法については様々なものがあるが、例えば各符号化モードについて符号量と歪み量を算出し、これら符号量と歪み量のバランスにおいて最適な符号化モードを選択する手法がある。この符号化モード判定では、まずそれぞれの符号化モードの組み合わせに対して、残差信号を算出し、この残差信号やベクトル及び符号化モードを符号化して得られる符号化列のビット長を算出し、符号量とする。さらに、符号化した残差信号を復号し、予測信号と加算された復号信号と符号化前の画像信号との絶対値誤差和、あるいは二乗和を算出し、歪み量とする。符号量に予め定めた乗数を乗じ、歪み量に加算し、評価値とする。候補となるすべての符号化モードの組み合わせの評価値の中で最小のものを選択し、当該画素ブロックの符号化モードとする。

残差信号演算部１０８は、並べ替えバッファ１０５から供給される画素ブロック信号から、符号化モード判定部１０７から供給される決定された動き補償予測／視差補償予測ブロック信号を減算し、残差信号を得る。残差信号符号化部１０９は、残差信号演算部１０８から入力された残差信号に対して直交変換、量子化等の残差信号符号化処理を行い、符号化残差信号を算出する。

符号化管理部１０１は、当該符号化画像が符号化順序で後に続く画像の動き補償予測、もしくは他の視点の視差補償予測の参照画像として利用されるか否かを管理しており、参照画像として利用される場合は、符号化残差信号を復号し、復号画像信号を復号画像バッファ１１２に画素ブロック単位で順次格納する。

まず、残差信号復号部１１０は、残差信号符号化部１０９から入力された符号化残差信号に対して、逆量子化、逆直交変換等の残差信号復号処理を行い、復号残差信号を生成する。残差信号重畳部１１１は符号化モード判定部１０７から供給される決定された動き補償予測／視差補償予測ブロック信号に、残差信号復号部１１０から供給される復号残差信号を重畳して、復号画像信号を生成し、その復号画像信号を復号画像バッファ１１２に画素ブロック単位で順次格納する。この復号画像バッファ１１２に格納された復号画像信号は、必要に応じて、符号化順で後に続く画像の動き補償予測、もしくは他の視点の視差補償予測の参照画像となる。

符号化ビット列生成部１１３は、前述の復号画像出力順番号ｏを含むスライス情報に続いて、符号化モード判定部１０７から入力される決定された符号化モード、及び動きベクトルまたは視差ベクトル、残差信号符号化部１０９から入力される符号化残差信号等をハフマン符号化、算術符号化等のエントロピー符号化を用いて順次符号化し、符号化ビット列を生成する。

以上の画素ブロック単位での符号化処理を符号化画像内のすべての画素ブロックの符号化が完了するまで繰り返す。更に、符号化画像単位での符号化処理をすべての符号化が完了するまで繰り返す。

パラメータセット符号化部１０２で符号化されたシーケンス全体の符号化に関わるパラメータ情報の符号化ビット列、ピクチャの符号化に関わるパラメータ情報の符号化ビット列、及び多視点画像ＳＥＩ符号化部１０３で符号化された多視点画像ＳＥＩの符号化ビット列、及び符号化ビット列生成部１１３で符号化された復号画像出力順番号ｏを含むスライス情報、符号化モード、及び、動きベクトルまたは視差ベクトル、符号化残差信号等の符号化ビット列は、多重化部１１４に供給され、必要に応じて一つの符号化ビット列に多重化される。

この多重化の際には、必要に応じてＭＰＥＧ−２システム方式、ＭＰ４ファイルフォーマット、ＲＴＰ等の規格に基づいてパケット化し、パケット・ヘッダを付加して多重化する。図１の多視点画像符号化装置により一つの符号化ビット列に多重化された符号化ビット列（符号化データ）は、図示しない送信部によりネットワーク等を介して受信側に送信される。ここで、ＶＣＬ ＮＡＬユニットを伝送するチャンネルとは別にパラメータ・セット等の重要な情報を含むＮＡＬユニットのために信頼性の高いチャンネルが用意されているシステム等においては、チャンネルに応じた複数の符号化ビット列に多重化する。また、本実施の形態はネットワーク伝送のみならず、ＤＶＤ等の蓄積メディアへの記録、ＢＳ／地上波等の放送、有線放送などに利用することもできる。

次に、図１に示した多視点画像符号化装置による多視点画像符号化処理手順について、図２のフローチャートを参照して説明する。各ステップの処理動作については図１のブロック図を用いて説明したものと同じであるので、ここでは図１と対応付けることで、処理手順のみを説明する。

まず、ステップＳ１０１では、シーケンス全体の符号化に関わるパラメータ情報、ピクチャの符号化に関わるパラメータ情報等を符号化し、シーケンス全体の符号化に関わるパラメータ情報の符号化ビット列、ピクチャの符号化に係わるパラメータ情報の符号化ビット列を生成する。このステップＳ１０１の処理は、図１の多視点画像符号化装置ではパラメータセット符号化部１０２での符号化動作に相当する。

続いて、ステップＳ１０２では、シーケンス全体の符号化に関わるパラメータ情報の符号化ビット列、ピクチャの符号化に関わるパラメータ情報の符号化ビット列等を多重化し、多重化された符号化ビット列を得る。このステップＳ１０２の処理は、図１の多視点画像符号化装置では多重化部１１４での多重化動作に相当する。

次のステップＳ１０３では、多視点画像を符号化されていることを示す多視点画像ＳＥＩ（補足付加情報）を符号化し、多視点画像ＳＥＩの符号化ビット列を生成する。このステップＳ１０３の処理は、図１の多視点画像符号化装置では多視点画像ＳＥＩ符号化部１０３での符号化動作に相当する。続いて、ステップＳ１０４では、ステップＳ１０２で多重化された符号化ビット列に続いて多視点画像ＳＥＩを多重化する。このステップＳ１０４の処理は、図１の多視点画像符号化装置では多重化部１１４での多重化動作に相当する。

続いて、ステップＳ１０５では、符号化する多視点画像の視点数Ｖ、各視点のそれぞれを特定する視点番号ｖ、及びそれぞれの視点での復号画像の出力順序ｄから復号画像出力順番号ｏを算出する。このステップＳ１０５の処理は、図１の多視点画像符号化装置では復号画像出力順番号算出部１０４での算出動作に相当する。

次のステップＳ１０６では、復号画像出力順番号ｏを符号化し、符号化ビット列を生成する。このステップＳ１０６の処理は、図１の多視点画像符号化装置では符号化ビット列生成部１１３での復号画像出力順番号ｏの符号化動作に相当する。続いて、ステップＳ１０７では、動き補償予測／視差補償予測を行う。このステップＳ１０７の処理は、図１の多視点画像符号化装置では動き／視差補償予測部１０６での処理動作に相当する。

続いて、ステップＳ１０８では、符号化モードを判定する。このステップＳ１０８の処理は、図１の多視点画像符号化装置では符号化モード判定部１０７での処理動作に相当する。次のステップＳ１０９では、符号化の対象となる画素ブロック信号から、ステップＳ１０８で決定された動き補償予測／視差補償予測ブロック信号を減算し、残差信号を得る。このステップＳ１０９の処理は、図１の多視点画像符号化装置では残差信号演算部１０８での処理動作に相当する。

続いて、ステップＳ１１０では、残差信号に対して、直交変換、量子化等の残差信号符号化処理を行い、符号化残差信号を算出する。このステップＳ１１０の処理は、図１の多視点画像符号化装置では残差信号符号化部１０９での処理動作に相当する。次のステップＳ１１１では、当該符号化画像が符号化順序で後に続く画像の動き補償予測、もしくは他の視点の視差補償予測の参照画像として利用されるか否かを判断する。このステップＳ１１１の処理は、図１の多視点画像符号化装置では符号化管理部１０１での参照画像として利用されるか否かの判断動作に相当する。参照画像として利用されると判断した場合はステップＳ１１２に進み、参照画像として利用されないと判断した場合はステップＳ１１５に進む。

続いて、ステップＳ１１２では、符号化残差信号に対して、逆量子化、逆直交変換等の残差信号復号処理を行い、復号残差信号を生成する。このステップＳ１１２の処理は、図１の多視点画像符号化装置では残差信号復号部１１０での処理動作に相当する。続いて、ステップＳ１１３では、決定された動き補償予測／視差補償予測ブロック信号に、復号残差信号を重畳し、復号画像信号を生成する。このステップＳ１１３の処理は、図１の多視点画像符号化装置では残差信号重畳部１１１での処理動作に相当する。復号画像信号は適宜画素ブロック単位で復号画像バッファに格納する。

続いて、ステップＳ１１４では、ステップＳ１０６での復号画像出力順番号ｏの符号化ビット列と共に、ステップＳ１０８で決定された符号化モード、及び動きベクトルまたは視差ベクトル、ステップＳ１０８で得られた符号化残差信号等を符号化し、符号化ビット列を生成する。このステップＳ１１４の処理は、図１の多視点画像符号化装置では残差信号重畳部１１１での処理動作に相当する。

続いて、ステップＳ１１５では、符号化画像内の全ての画素ブロックについて符号化処理が完了しているか否かを判断する。完了している場合、ステップＳ１１６に進む。完了していない場合、ステップＳ１０７に進み、符号化画像内の全ての画素ブロックについて符号化処理が完了するまでステップＳ１０７からステップＳ１１４までの処理を繰り返す。

続いて、ステップＳ１１６では、ステップＳ１０２、ステップＳ１０４で多重化されたビット列に続いて、復号画像出力順番号ｏ、符号化モード、及び、動きベクトルまたは視差ベクトル、符号化残差信号等の符号化ビット列を必要に応じて一つの符号化ビット列、または複数の符号化ビット列に適宜多重化する。このステップＳ１１６の処理は、図１の多視点画像符号化装置では多重化部１１４での多重化動作に相当する。

次に、ネットワークを介して伝送する場合の多重化部１１４での多重化及び送信処理手順について、図１６を用いて説明する。ステップＳ３０１では必要に応じてＭＰＥＧ−２システム方式、ＭＰ４ファイルフォーマット、ＲＴＰ等の規格に基づいてパケット化する。ステップＳ３０２では必要に応じてＭＰＥＧ−２システム方式、ＭＰ４ファイルフォーマット、ＲＴＰ等の規格に基づいてパケット・ヘッダを付加する。ステップＳ３０３ではネットワークを介して送信する。

再び図２に戻って説明する。ステップＳ１１７では、符号化の対象となる多視点画像の全ての画像について符号化処理が完了したか否かを判断する。完了している場合、本多視点画像符号化処理手順が終了となる。完了していない場合、ステップＳ１０５に進み、符号化の対象となる多視点画像の全ての画像について符号化処理が完了するまでステップＳ１０５からステップＳ１０６までの処理を繰り返す。

このように、図１の多視点画像符号化装置を備えた送信装置によれば、多視点画像信号を構成する各視点の画像信号の視点を特定する視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏを多視点画像信号の視点の数Ｖと共に符号化して送信し、以下説明する受信側でこのようにして符号化された符号化データを受信及び復号させることで、上記の視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄに応じて多視点画像表示装置等に適切に出力させることができる。

次に、図１の多視点画像符号化装置を備えた送信装置により送信された符号化データを受信して復号する本発明の多視点画像受信方法、多視点画像受信装置及び多視点画像受信用プログラムについて図面を参照して説明する。図１７は本発明になる多視点画像受信装置の要部の多視点画像復号装置の一実施の形態のブロック図を示す。

図１７に示すように、この多視点画像復号装置は、分離部２０１、パラメータセット復号部２０２、多視点画像ＳＥＩ復号部２０３、符号化ビット列復号部２０４、復号画像管理情報算出部２０５、動き／視差補償予測部２０６、予測信号合成部２０７、残差信号復号部２０８、残差信号重畳部２０９、復号画像バッファ２１０、復号画像管理部２１１、復号画像出力部２１２を備え、図示しない受信部により受信し、かつ、必要に応じて復調された多視点画像信号を符号化した符号化ビット列が入力され、これを復号して多視点画像信号を出力する。

次に、本発明受信装置の要部である図１７に示す多視点画像復号装置の動作について、ＡＶＣ／Ｈ.２６４符号化方式と関連付けて説明する。まず、分離部２０１には図１に示した多視点画像符号化装置により符号化され、ネットワークを介して送信された符号化ビット列を受信する。なお、本方式での符号化ビット列の供給形態はネットワーク伝送での受信のみならず、ＤＶＤ等の蓄積メディアに記録された符号化ビット列を読み込んだり、ＢＳ／地上波等の放送で放映された符号化ビット列を受信することもできる。

更に、分離部２０１では供給される符号化ビット列からパケット・ヘッダを除去し、ＮＡＬユニット単位に分離する。更に、分離されたＮＡＬユニットのヘッダ部に含まれるＮＡＬユニットの種類を見分ける識別子（nal_unit_type）を評価し、当該ＮＡＬユニットがシーケンス全体の符号化に関わるパラメータ情報、ピクチャの符号化に関わるパラメータ情報等が符号化されている符号化ビット列の場合は、パラメータセット復号部２０２に供給し、当該ＮＡＬユニットが多視点画像ＳＥＩが符号化されている符号化ビット列の場合は、多視点画像ＳＥＩ復号部２０３に供給し、当該ＮＡＬユニットがＶＣＬ ＮＡＬユニット、即ち復号画像出力順番号ｏ、符号化モード、及び、動き／視差ベクトル、符号化残差信号等が符号化されている符号化ビット列の場合は、符号化ビット列復号部２０４に供給する。ただし、分離されたＮＡＬユニットが多視点画像ＳＥＩか否かを見分ける際には、ＮＡＬユニットの種類を見分ける識別子でＳＥＩと判断した後、ＳＥＩのペイロード部の種類を見分ける識別子を評価し、この識別子が多視点画像ＳＥＩであることを示している場合に、多視点画像ＳＥＩと判断する。

次に、パラメータセット復号部２０２は分離部２０１で分離されたシーケンス全体の符号化に関わるパラメータ情報、ピクチャの符号化に関わるパラメータ情報等が符号化されている符号化ビット列を復号し、シーケンス全体の符号化に関わるパラメータ情報、ピクチャの符号化に関わるパラメータ情報等を得る（これらのパラメータ情報は、本多視点画像復号装置全体の処理で用いられるが、本発明の説明には用いないので、図面には図示しない。）。

多視点画像ＳＥＩ復号部２０３は分離部２０１で分離された多視点画像ＳＥＩが符号化されている符号化ビット列を、図３を用いて説明したシンタックス構造に基づいて復号し、本多視点画像復号装置に供給される符号化された符号化ビット列のコンテンツが多視点画像であるという情報、及び視点数の情報を得る。ここで、図４の「num_views_minus1」は視点数Ｖから”１”を減じた値が符号化されているので「num_views_minus1」の値に”１”を加えた値を視点数Ｖとする。

ここで、本多視点画像復号装置に供給される符号化ビット列に多視点画像ＳＥＩが含まれていない場合、符号化ビット列のコンテンツが多視点画像でないと判断し、従来の単視点のＡＶＣ／Ｈ.２６４符号化方式で符号化された符号化ビット列とみなして、視点数を”１”として復号する。

符号化ビット列復号部２０４は分離部２０１で分離された復号画像出力順番号ｏ、符号化モード、及び、動き／視差ベクトル、符号化残差信号（符号化された予測残差信号）等が符号化されている符号化ビット列を復号し、復号画像出力順番号ｏ、符号化モード、及び、動き／視差ベクトル、符号化残差信号等を得る。

復号画像管理情報算出部２０５は、多視点画像ＳＥＩ復号部２０３から供給される視点数Ｖと符号化ビット列復号部２０４から供給される復号画像出力順番号ｏとから（１）式を満たす各画像の視点を特定する視点番号ｖ（ただし、ｖは０以上Ｖ未満の整数）とそれぞれの視点での復号画像の出力順序を示す番号ｄ（整数）を算出する。具体的には、番号ｄは復号画像出力順番号ｏを視点数Ｖで整数演算により除算して得た商とする。また、番号ｖは復号画像出力順番号ｏを視点数Ｖで整数演算により除算したときの剰余の値とする。または、視点番号ｖは番号ｄを算出した後で（２）式により算出してもよい。

このようにして、視点数Ｖと復号画像出力順番号ｏとから、各画像の視点を特定する視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄが算出することで、図５、図６に示すように復号画像出力順番号ｏに値を割り当てた場合はもちろんのこと、ネットワークを介した伝送中のエラーによりパケットが欠落した場合にも、正常にどの視点のどの画像が欠落したのかを特定することができる。

復号画像管理情報算出部２０５で算出された視点を特定する視点番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄは、多視点画像ＳＥＩ復号部２０３から供給される視点数Ｖや、符号化ビット列復号部２０４から供給される復号画像出力順番号ｏと共に、後述する復号画像管理部２１１に供給され、復号画像バッファ２１０に格納される復号画像の管理に用いる。

ここで、多視点画像復号装置では、符号化の場合と同様に、従来の単一視点の復号方式を多視点復号方式として拡張する際に、本方式の復号画像出力順番号ｏを従来の単一視点の復号方式の復号画像の出力順序を示す番号として扱うことで、従来の復号方式との互換をとることができる。

例えば、ＡＶＣ／Ｈ.２６４方式を多視点符号化方式に拡張する際には、本方式の復号画像出力順番号ｏをＡＶＣ／Ｈ.２６４方式の復号画像の出力順序を示す番号であるピクチャ・オーダー・カウント（picture order count）として扱う。また、多視点画像復号装置では符号化側で符号化された順序で復号するため、符号化順序は復号順序と等しくなる。更に、符号化ビット列復号部２０４では、復号する画素ブロックの符号化モード、動きベクトルまたは視差ベクトル、符号化残差信号（符号化された予測残差信号）等の情報を得る。

続いて、動き／視差補償予測部２０６は、符号化ビット列復号部２０４で復号された符号化モード、及び動きベクトル／視差ベクトルに応じて、動き補償予測／視差補償予測を行う。この動き補償予測／視差補償予測では、符号化モードに応じて復号画像バッファ２１０から供給される画像を参照し、符号化ビット列復号部２０４で復号された動きベクトル／視差ベクトルが指し示す位置の画素ブロックを動き補償予測／視差補償予測ブロックとする。上記の画素ブロックのサイズは小ブロックに分割され、それぞれの小ブロックの予測方法、動きベクトル／視差ベクトルが異なる場合もある。また、複数の参照ピクチャから予測されている場合もある。このような場合は、複数の動き補償予測／視差補償予測を行い、複数の予測ブロックを得る。

予測信号合成部２０７は、当該画素ブロックが小ブロックに分割されている場合や、複数の参照ピクチャから予測されている場合は複数の予測ブロックを合成し、当該画素ブロックの予測信号を生成する。一方、残差信号復号部２０８は、符号化ビット列復号部２０４から入力された符号化残差信号に対して、逆量子化、逆直交変換等の残差信号復号処理を行い、復号残差信号を生成する。

残差信号重畳部２０９は、予測信号合成部２０７から供給される予測信号に、残差信号復号部２０８から供給される復号残差信号を重畳して復号画像信号を算出し、復号画像バッファ２１０に画素ブロック単位で復号画像信号を順次格納する。この復号画像バッファ２１０に格納された復号画像信号は、必要に応じて、符号化順で後に続く画像を復号する際の参照画像となる。

以上の画素ブロック単位での復号処理を画素ブロック単位で復号画像内のすべての画素ブロックの復号が完了するまで繰り返す。

復号画像管理部２１１は、復号画像管理情報算出部２０５から供給される視点数Ｖ、復号画像出力順番号ｏ、各画像の視点を特定する視点番号ｖ、及びそれぞれの視点での復号画像の出力順序を示す番号ｄと復号画像バッファ２１０に格納された復号画像信号を対応付けて管理する。復号画像管理部２１１は、これらのパラメータを基に復号画像バッファ２１０に格納された復号画像を出力するかどうか判定する。

復号順序と復号画像の出力順序が異なり、出力のタイミングが異なる場合は遅延が必要となり、復号画像を出力しない場合もある。復号画像管理部２１１では、復号画像バッファ２１０に格納されている復号画像信号のそれぞれについて、番号ｖにより視点を特定し、番号ｄによりそれぞれの視点での復号画像の出力順序を管理して各視点の復号画像信号の番号ｄの値が等しい画像を同時、または連続的に出力するように各視点を互いに同期させ、番号ｄの値が小さいものから順に出力するように制御する。復号画像出力部２１２は、復号画像バッファ２１０に格納された復号画像を復号画像管理部２１１の制御に応じて、各視点の復号画像信号を互いに同期させて多視点画像表示装置等に出力する。ここで、各画像の視点を特定する視点番号ｖやそれぞれの視点での復号画像の出力順序を示す番号ｄを各視点の復号画像信号と関連付けて、必要に応じてこれらのパラメータと共に同時に出力する。

復号された視点画像Ｍ（ｖ）の各視点の画像を互いに同期させて出力する方法としては、各視点の画像信号をそれぞれ独立したチャンネルで並列に出力する方法と、各視点の画像信号をインターリーブして１つのチャンネルでシリアルに出力する方法がある。復号画像出力部２１２で各視点の画像信号をそれぞれ独立したチャンネルで並列に出力する場合には、それぞれの視点での復号画像の出力順序を示す番号ｄの値が小さいものから順に、各視点の同時刻の画像信号、すなわちそれぞれの視点での復号画像の出力順序を示す番号ｄが等しい各視点の復号画像信号を互いに同期させてそれぞれ出力する。

前述の多視点画像符号化装置の説明で用いた図４を用いて説明すると、各視点画像Ｍ（ｖ）のそれぞれについて、各画像ｍ（ｖ，ｄ）の番号ｄの値が小さいものから順に出力させることで、復号画像を出力先の多視点画像表示装置等で表示する際に望ましい順序で出力させることができる。また、番号ｄの値が同じである各視点の復号画像信号を同時刻に出力することで、各視点の復号画像信号を互いに同期させることができる。その際、すべての視点の画像信号が復号された後に復号画像信号の出力を開始することで、各視点の復号画像信号を欠落することなく出力することができる。

復号画像出力部２１２で各視点をインターリーブした信号として１つのチャンネルでシリアルに出力する場合には、それぞれの視点での復号画像の出力順序を示す番号ｄの値が小さいものから順に、各視点の同時刻の画像、すなわちそれぞれの視点での復号画像の出力順序を示す番号ｄが等しい各視点の復号画像信号を互いにインターリーブすることで同期させて出力する。各視点をインターリーブした信号としてシリアルに出力する方法としては、それぞれの視点の信号を画素単位でインターリーブする方法、複数の画素を纏めた単位でインターリーブする方法、水平方向のライン単位でインターリーブする方法、画像単位でインターリーブする方法、複数の画像を纏めた単位でインターリーブする方法等がある。

出力する復号画像信号のインターリーブ構造については図７〜図１４に示した前述の多視点画像符号化装置に入力される視点画像のインターリーブ構造と同様である。それぞれ独立したチャンネルで並列に出力する場合と同様に、それぞれの視点の信号を画素単位でインターリーブする方法、複数の画素を纏めた単位でインターリーブする方法、水平方向のライン単位でインターリーブする方法では例えば図７〜図１２に示したようにそれぞれの視点での復号画像の出力順序を示す番号ｄの値が小さいものから順に、番号ｄが等しい各視点のそれぞれの画像信号を画素単位、複数の画素を纏めた単位、水平方向のライン単位でインターリーブして出力することで、各視点の画像信号を同時刻に出力することができ、視点間を互いに同期して出力することができる。この際、インターリーブの対象となるすべての視点の画像信号が復号された後に復号画像信号のインターリーブ、及び出力を開始することで、各視点の復号画像信号を欠落することなく出力することができる。

また、画像単位でインターリーブする方法では、図１３に示したように番号ｄが等しい各視点のそれぞれの画像信号を１つのグループとし、そのグループにおいて、画像単位で連続的に番号ｖの値が小さいものから順に出力する。さらに、番号ｄの値が小さいグループから順に出力することで、画像単位で各視点を互いに同期して出力することができる。

以上のように、図１７に示す多視点画像復号装置において、復号画像バッファ２１０に格納された復号画像を多視点画像表示装置等に出力する際には出力先の表示装置等の入力に合わせた形式、すなわち前記各視点がそれぞれ独立したチャンネルで並列に出力する方法、または前記各視点がインターリーブされた信号として１つのチャンネルでシリアルに出力する方法で出力する。従って、従来例の立体視画像復号化方法及び装置のように復号後に１フレーム又は１フィールド毎に順次配列して出力してから同時化する必要が無く、同時化のための画像バッファを持たず、遅延時間を短くすることができるという効果を得ることができる。

以上の復号処理を復号の対象となる符号化ビット列のすべての復号処理が完了するまで繰り返す。

なお、上記の説明においては、復号画像管理部２１１では、復号画像管理情報算出部２０５から供給される視点数Ｖ、復号画像出力順番号ｏ、各画像の視点を特定する視点番号ｖ、及びそれぞれの視点での復号画像の出力順序を示す番号ｄと復号画像バッファ２１０に格納された復号画像信号を対応付けて管理するものとして説明したが、算出して得られる各画像の視点を特定する視点番号ｖの代わりに復号画像の管理用に視点を特定する視点ＩＤを用意し、その視点ＩＤに基づいて復号画像の視点を管理したり、復号画像を出力したりすることもできる。

ただし、算出して得られる各画像の視点を特定する視点番号ｖと復号画像の管理用に視点を特定する視点ＩＤは1対１で対応する必要がある。即ち、両者は同じ値でも、違う値でもよい。復号画像の管理用に視点を特定する視点ＩＤは必要に応じて復号装置で生成してもよいし、符号化側で復号画像の管理用に視点を特定する視点ＩＤを符号化し、その値を用いてもよい。符号化側で復号画像の管理用に視点を特定する視点ＩＤを符号化する場合は、図１の符号化管理部１０１で復号画像の管理用に視点を特定する視点ＩＤと各視点のそれぞれを特定する視点番号ｖとの１対１の対応関係を管理し、多視点画像ＳＥＩ符号化部１０３でその１対１の対応関係が復号側で判別できるように視点ＩＤを符号化する。

この場合に、多視点画像ＳＥＩ符号化部１０３で符号化する多視点画像ＳＥＩの符号化シンタックス構造の一例を図１９に示す。図１９（ａ）において、「num_views_minus1」は図３で説明したのと同様に符号化する多視点画像の視点数を示すパラメータであり、視点数は”１”以上となるため、視点数から”１”を引いた値を、ＡＶＣ／Ｈ.２６４符号化方式で用意されている指数ゴロム（Exponential Golomb）符号等の可変長や予め長さを規定した固定長で符号化する。また、view_id[v]は各視点のそれぞれを特定する視点番号ｖが指し示す視点の復号画像の管理用に視点を特定する視点ＩＤを示し、ＡＶＣ／Ｈ.２６４符号化方式で用意されている指数ゴロム（Exponential Golomb）符号等の可変長や予め長さを規定した固定長で符号化する。また、forループは、各画像の視点を特定する視点番号ｖの値が０の視点から昇順にそれぞれの視点ＩＤが符号化されることを示す。

復号側では図１７の多視点画像ＳＥＩ復号部２０３で、図１９（ａ）に示すシンタックス構造に従って復号し、多視点画像の視点数Ｖに加えて、各視点のそれぞれを特定する視点番号ｖが指し示す視点の復号画像の管理用に視点を特定する視点ＩＤであるview_id[v]を復号する。この各視点のそれぞれを特定する視点番号ｖと視点ＩＤとの１対１の対応関係は復号画像管理情報算出部２０５を通じて、復号画像管理部２１１で管理する。また、復号画像出力部２１２では必要に応じて各画像の視点を特定する視点番号ｖの代わりに視点ＩＤと各視点の復号画像信号とを関連付けて、同時に出力する。

また、図１９（ａ）を用いた説明においては各画像の視点を特定する視点番号ｖが０の視点から昇順にＩＤを符号化するものして説明したが、同一時刻における各視点の符号化／復号順に視点ＩＤを符号化することもできる。この場合に、多視点画像ＳＥＩ符号化部１０３で符号化する多視点画像ＳＥＩの符号化シンタックス構造の一例を図１９（ｂ）に示す。iは同一時刻における各視点の符号化／復号順序を示し、各視点のiは符号化／復号順序に応じて０から昇順に１つずつ増加する値を持つ。view_id[i]は同一時刻における各視点の符号化／復号順を示す番号iが指し示す視点の復号画像の管理用に視点を特定する視点ＩＤを示し、ＡＶＣ／Ｈ.２６４符号化方式で用意されている指数ゴロム（Exponential Golomb）符号等の可変長や予め長さを規定した固定長で符号化する。また、forループは同一時刻における各視点の符号化／復号順を示す番号iの値が０の視点から昇順に視点ＩＤが符号化されることを示す。

復号側では図１７の多視点画像ＳＥＩ復号部２０３で、図１９（ｂ）に示すシンタックス構造に従って復号し、多視点画像の視点数Ｖに加えて、同一時刻における各視点の符号化／復号順を示す番号iが指し示す視点の復号画像の管理用に視点を特定する視点ＩＤであるview_id[i]を復号する。この視点ＩＤと同一時刻における各視点の符号化／復号順を示す番号iとは１対１で対応し、各視点のそれぞれを特定する視点番号ｖと同一時刻における各視点の符号化／復号順を示す番号iとは１対１で対応するので、各視点のそれぞれを特定する視点番号ｖと視点ＩＤも１対１で対応する。これらの１対１の対応関係は復号画像管理情報算出部２０５を通じて、復号画像管理部２１１で管理する。また、復号画像出力部２１２では必要に応じて各画像の視点を特定する視点番号ｖの代わりに視点ＩＤと各視点の復号画像信号とを関連付けて、同時に出力する。

次に、本発明になる多視点画像受信方法による多視点画像復号処理手順について、図１８のフローチャートを参照して説明する。各ステップの処理動作については図１７のブロック図を用いて説明したものと同じであるので、ここでは図１７と対応付けることで、処理手順のみを説明する。

まず、ステップＳ２０１では、受信した符号化ビット列をＮＡＬユニット単位に分離する。このステップＳ２０１は、ネットワークを介して送信された多視点画像符号化データを受信する受信装置において、図２０に示す受信及び分離処理手順が行われる。図２０のステップＳ４０１では図１７には図示しない受信部にてネットワークを介して符号化ビット列を受信する。ステップＳ４０２では上記受信部にて受信した符号化ビット列に用いられたＭＰＥＧ−２システム方式、ＭＰ４ファイルフォーマット、ＲＴＰ等の規格に基づいて付加されたパケット・ヘッダを復号して除去する。この受信された符号化ビット列を図１７の分離部２０１でＮＡＬユニット単位で分離する（ステップＳ４０３）。

図１８に戻って説明する。図１８のステップＳ２０１で分離されたＮＡＬユニットのヘッダ部に含まれるＮＡＬユニットの種類を見分ける識別子（nal_unit_type）を評価し、当該ＮＡＬユニットがシーケンス全体の符号化に関わるパラメータ情報、ピクチャの符号化に関わるパラメータ情報等のパラメータセットであるか否か判定し（ステップＳ２０２）、パラメータセットの場合、ステップＳ２０６に進み、パラメータセットではなくＳＥＩと判定された場合（ステップＳ２０３）、ステップＳ２０５に進む。ステップＳ２０５では、ＳＥＩのペイロード部の種類を見分ける識別子を評価し、多視点画像ＳＥＩの場合、ステップＳ２０７に進む。

また、当該ＮＡＬユニットがパラメータセットでも、ＳＥＩでもない場合は、ステップＳ２０４に進む。ステップＳ２０４では当該ＮＡＬユニットがＶＣＬ ＮＡＬユニットであるか、即ち復号画像出力順番号ｏ、符号化モード、動きベクトルまたは視差ベクトル、符号化残差信号等が符号化されている符号化ビット列であるかを判定し、ＶＣＬ ＮＡＬユニットである場合、ステップＳ２０８に進む。これらのステップＳ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４、Ｓ２０５の処理は、図１７の多視点画像復号装置では分離部２０１での処理動作に相当する。

ＮＡＬユニットがパラメータセットの場合、ステップＳ２０６では、シーケンス全体の符号化に関わるパラメータ情報の符号化ビット列、ピクチャの符号化に係わるパラメータ情報の符号化ビット列を復号し、シーケンス全体の符号化に関わるパラメータ情報、ピクチャの符号化に関わるパラメータ情報等を得る。このステップＳ２０６の処理は、図１７の多視点画像復号装置ではパラメータセット復号部２０２での復号動作に相当する。続いて、ステップＳ２０１の分離処理に戻る。

ステップＳ２０５でＮＡＬユニットが多視点画像ＳＥＩであると判定された場合、ステップＳ２０７に進み、多視点画像ＳＥＩの符号化ビット列を復号し、符号化された符号化ビット列のコンテンツが多視点画像であるという情報、及び視点数Ｖの情報を得る。このステップＳ２０７の処理は、図１７の多視点画像復号装置ではパラメータセット復号部２０２での復号動作に相当する。続いて、ステップＳ２０１の分離処理に戻る。

ステップＳ２０４でＮＡＬユニットがＶＣＬ ＮＡＬユニットと判定された場合、以下のステップＳ２０８からステップＳ２１８までの処理手順を行う。まず、ステップＳ２０８では、復号画像出力順番号ｏ等の情報が含まれている符号化ビット列を復号し、復号画像出力順番号ｏを得る。このステップＳ２０８の処理は、図１７の多視点画像復号装置では符号化ビット列復号部２０４での復号画像出力順番号ｏの復号動作に相当する。

続いて、ステップＳ２０９では、ステップＳ２０７で得られた視点数ＶとステップＳ２０８で得られた復号画像出力順番号ｏとから、各画像の視点を特定する視点番号ｖ（ただし、ｖは０以上Ｖ未満の整数）とそれぞれの視点での復号画像の出力順序を示す番号ｄ（整数）を算出する。このステップＳ２０９の処理は、図１７の多視点画像復号装置では復号画像管理情報算出部２０５での復号動作に相当する。

続いて、ステップＳ２１０では、符号化モード、及び、動き／視差ベクトル、符号化残差信号（符号化された予測残差信号）等の情報が含まれている符号化ビット列を復号し、符号化モード、及び、動き／視差ベクトル、符号化残差信号等を得る。このステップＳ２０８の処理は、図１７の多視点画像復号装置では符号化ビット列復号部２０４での符号化モード、及び、動き／視差ベクトル、符号化残差信号等の復号動作に相当する。

続いて、ステップＳ２１１では、ステップＳ２１０で得られた符号化モード、及び、動き／視差ベクトルとから、動き補償予測／視差補償予測を行い、予測ブロックを得る。当該画素ブロックが小ブロックに分割されている場合や、複数の参照ピクチャから予測されている場合は複数の動き補償予測／視差補償予測を行い、複数の予測ブロックを得る。このステップＳ２１１の処理は、図１７の多視点画像復号装置では動き／視差補償予測部２０６での処理動作に相当する。

続いて、ステップＳ２１２では、当該画素ブロックが小ブロックに分割されている場合や、複数の参照ピクチャから予測されている場合はステップＳ２１１で得られた複数の予測ブロックを合成し、当該画素ブロックの予測信号とする。このステップＳ２１２の処理は、図１７の多視点画像復号装置では予測信号合成部２０７での処理動作に相当する。

続いて、ステップＳ２１３では、ステップＳ２１０で得られた符号化残差信号に対して、逆量子化、逆直交変換等の残差信号復号処理を行い、復号残差信号を生成する。このステップＳ２１３の処理は、図１７の多視点画像復号装置では残差信号復号部２０８での処理動作に相当する。

続いて、ステップＳ２１４では、ステップＳ２１２で得られた予測信号に、ステップＳ２１３で得られた復号残差信号を重畳して復号画像信号を得る。このステップＳ２１４の処理は、図１７の多視点画像復号装置では残差信号重畳部２０９での処理動作に相当する。次のステップＳ２１５では、ステップＳ２１４で得られた復号画像信号予測信号を復号バッファに格納する。このステップＳ２１５の処理は、図１７の多視点画像復号装置では復号画像バッファ２１０への格納動作に相当する。

続いて、ステップＳ２１６では、ＶＣＬ ＮＡＬユニット内の全ての画素ブロックについて復号処理が完了しているか否かを判断する。完了している場合、ステップＳ２１７に進む。完了していない場合、ステップＳ２１０に進み、ＶＣＬ ＮＡＬユニット内の全ての画素ブロックについて符号化処理が完了するまでステップＳ２１０からステップＳ２１５までの処理を繰り返す。

続いて、ステップＳ２１７では、復号画像を出力するか否かを判断する。出力すると判断した場合、ステップＳ２１８に進み、出力しないと判断した場合、ステップＳ２１９に進む。このステップＳ２１７の処理は、図１７の多視点画像復号装置では復号画像管理部２１１の管理動作に相当する。ステップＳ２１７で出力すると判断した場合、ステップＳ２１８に進み、復号画像を同期させて出力する。このステップＳ２１８の処理は、図１７の多視点画像復号装置では復号画像出力部２１２での処理動作に相当する。

また、ステップＳ２１７で復号画像を出力しないと判断した場合、ステップＳ２１９に進み、復号の対象となる符号化ビット列のすべての復号処理が完了したか否かを判断する。完了している場合、本多視点画像復号処理手順が終了となる。完了していない場合、最初のステップＳ２０１に戻り、復号の対象となる符号化ビット列のすべての復号処理が完了するまでステップＳ２０１からステップＳ２１８までの処理を繰り返す。

それに加えて、図１の多視点画像符号化装置では、多視点画像信号を構成する各画像の視点を特定する視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏを多視点画像信号の視点の数Ｖと共に符号化しているため、多視点画像復号装置では、このようにして符号化された符号化データを復号画像出力順番号ｏの復号信号に基づいて確実に復号することができ、多視点画像信号を構成する各視点画像の視点を特定する視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄに応じて、多視点画像表示装置等に適切に出力することができる。

また、従来の単一視点の画像符号化／復号方式を多視点画像符号化／復号方式に拡張する際に、本方式の各視点画像の視点を特定する視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏを従来の単一視点の画像符号化／復号方式の復号画像の出力順序を示す番号（例えば、ＡＶＣ／Ｈ.２６４のpicture order count）として扱い、符号化／復号することで、小さな改良により従来の単一視点の画像符号化／復号方式との互換を取ることができるという効果を得ることができる。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば、図１の多視点画像符号化装置において、画像を入力する際に、遅延させることなく、適宜並べ替えバッファ１０５に入力し、格納したが、入力される画像の形式と並べ替えバッファ１０５の格納形式が異なるなど、並べ替えバッファ１０５への格納時に画素の並び替えが必要な場合、一時記憶用のラインバッファを設け、入力画像信号をそのラインバッファに一時的に書き込んでから適宜画素を並び替えて並べ替えバッファ１０５に格納したり、画素を並び替えて上記のラインバッファに一時的に書き込んでから適宜並べ替えバッファ１０５に格納したりすることもできる。

同様に、図１７の多視点画像復号装置において、復号画像バッファ２１０に格納された復号画像を多視点画像表示装置等に出力する際に、画素の並び替えが必要な場合、復号画像出力部２１２の内部、または外部に一時記憶用のラインバッファを設け、復号画像バッファ２１０から読み出した復号画像信号をそのラインバッファに一時的に書き込んでから適宜画素を並び替えて出力したり、復号画像バッファ２１０から読み出した復号画像信号を画素を並び替えて上記のラインバッファに一時的に書き込んでから適宜出力したりすることもできる。

また、以上の図１７の多視点画像復号装置の説明においては、復号画像出力部２１２では、復号画像バッファ２１０に格納された復号画像を復号画像管理情報算出部２０５で視点数Ｖと復号画像出力順番号ｏから算出された視点を特定する視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄを基に復号画像管理部２１１の制御に応じて、復号された各視点の画像信号を互いに同期させて出力したが、各視点を画像単位でインターリーブして１つのチャンネルでシリアルに出力する場合には復号画像出力順番号ｏをもとに出力することもできる。この場合、各復号画像の復号画像出力順番号ｏの値が小さいものから順に各画像の視点を特定する視点番号ｖまたは視点ＩＤを各視点の復号画像信号と関連付けて、これらのパラメータと共に同時に出力させることで、各視点の復号画像信号を画像単位でインターリーブして互いに同期させて出力させることができる。ここで説明した画像単位での出力順序は図１３を用いて説明した画像単位での出力順序と等価である。このように、各復号画像の復号画像出力順番号ｏに応じて復号画像を出力する場合にも、復号画像管理情報算出部２０５で視点数Ｖと復号画像出力順番号ｏから算出された各画像の視点を特定する視点番号ｖまたは視点ＩＤと関連付けて、これらのパラメータと共に同時に出力させることで、適切に各視点の復号画像信号を出力することができ、復号画像の出力先の多視点画像表示装置等で視点と画像の対応関係を把握することができる。

また、以上の説明においては、符号化、復号に用いる多視点画像は異なる視点から実際に撮影された多視点画像を符号化、復号することもできるが、実際には撮影していない仮想的な視点の位置を周辺の視点から補間する等、変換または生成された視点画像を符号化、復号することもでき、本発明に含まれる。また、コンピュータグラフィックス等の多視点画像を符号化、復号することもでき、本発明に含まれる。

例えば、Ａ，Ｂ，Ｃ，Ｄの４つの視点の画像信号を備えた多視点画像信号は、（１）４つの視点の画像信号がすべて各視点で実際に撮影して得られた画像信号である場合、（２）４つの視点の画像信号がすべて各視点で仮想的に撮影したものとして生成した画像信号である場合、（３）Ａ，Ｂ視点の画像信号が各視点で実際に撮影して得られた画像信号、Ｃ，Ｄ視点の画像信号が各視点で仮想的に撮影したものとして生成した画像信号といったように、実際に撮影して得られた画像信号と仮想的に撮影したものと生成した画像信号とが混在している場合の３つの場合が想定される。

また、本発明で用いる多視点画像の各視点の位置はどのような配置でもよい。このことについて、図２１〜図２４と共に説明する。図２１〜図２４中に示される番号は視点位置を示す視点番号ｖ（ｖ＝０，１，２，・・・）である。図２１は視点を水平方向に配置した例である。カメラを水平方向に並べて撮影されたものである。図２２は視点を垂直方向に配置した例である。カメラを垂直方向に並べて撮影されたものである。図２３、図２４は視点を水平／垂直２次元の方向に配置した例である。カメラを水平／垂直２次元の方向に配置し並べて撮影されたものである。視点を特定する視点番号ｖの値は各視点と１対１で対応し、０以上視点数Ｖ未満の整数をそれぞれ割り当てければならないが、カメラパラメータ等で符号化側と復号側で整合性が取れればどのような順番でもよい。

なお、以上の多視点画像符号化、及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。コンピュータ等のソフトウェアとして実現する場合はコンピュータ上で汎用的に使われるＲＡＭ（ランダム・アクセス・メモリ）を並べ替えバッファ、復号画像バッファとして用いることができる。また、符号化された符号化ビット列のネットワークを介した伝送の際には、コンピュータ上に実装されているネットワーク・インターフェース等を介して伝送することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

本発明により受信する多視点画像の符号化データを生成する多視点画像符号化装置の一例のブロック図である。 図１の多視点画像符号化処理説明用フローチャートである。 第一の多視点画像ＳＥＩの符号化シンタックス構造の一例を説明する図である。 各画像の視点を特定する視点番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄに値を割り当てた場合の一例を説明する図である。 第一の各画像の復号画像出力順番号ｏに値を割り当てた場合の一例を説明する図である。 第二の各画像の復号画像出力順番号ｏに値を割り当てた場合の一例を説明する図である。 各視点の信号を画素単位でインターリーブした場合の一例を説明する図である。 各視点の信号を複数の画素を纏めた単位でインターリーブした場合の一例を説明する図である。 各視点の信号を１６×１６、１６×８画素等の画素ブロック単位でインターリーブした場合の一例を説明する図である。 各視点の信号を水平方向のライン単位でインターリーブした場合の一例を説明する図である。 各視点の信号を１つの画像に纏めた形式でインターリーブした場合の一例を説明する図である。 各視点の信号を複数のラインを纏めたスライス単位でインターリーブした場合の一例を説明する図である。 各視点の信号を画像単位でインターリーブした場合の一例を説明する図である。 各視点の信号を複数の画像を纏めた単位でインターリーブした場合の一例を説明する図である。 各画像の符号化順序、及び動き補償／視差補償の参照関係の一例を説明する図である。 図２の多重化処理説明用のフローチャートである。 本発明の多視点画像受信装置の要部である多視点画像復号装置の一実施の形態のブロック図である。 図１７の多視点画像復号処理説明用のフローチャートである。 第二の多視点画像ＳＥＩの符号化シンタックス構造の一例を説明する図である。 図１８の分離処理説明用のフローチャートである。 視点を水平方向に配置された場合の一例を説明する図である。 視点を垂直方向に配置された場合の一例を説明する図である。 視点を水平／垂直２次元の方向に配置された場合の一例を説明する図である。 視点を水平／垂直２次元の方向に配置された場合の一例を説明する図である。 従来の立体視多視点画像符号化装置の一例の構成図である。 従来の立体視画像復号化装置の一例の構成図である。

符号の説明

１０１ 符号化管理部
１０２ パラメータセット符号化部
１０３ 多視点画像ＳＥＩ符号化部
１０４ 復号画像出力順番号算出部
１０５ 並べ替えバッファ
１０６ 動き／視差補償予測部
１０７ 符号化モード判定部
１０８ 残差信号演算部
１０９ 残差信号符号化部
１１０ 残差信号復号部
１１１ 残差信号重畳部
１１２ 復号画像バッファ
１１３ 符号化ビット列生成部
１１４ 多重化部
２０１ 分離部
２０２ パラメータセット復号部
２０３ 多視点画像ＳＥＩ復号部
２０４ 符号化ビット列復号部
２０５ 復号画像管理情報算出部
２０６ 動き／視差補償予測部
２０７ 予測信号合成部
２０８ 残差信号復号部
２０９ 残差信号重畳部
２１０ 復号画像バッファ
２１１ 復号画像管理部
２１２ 復号画像出力部

Claims (6)

1. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを受信し、前記符号化データを復号する多視点画像受信方法であって、
   前記多視点画像信号が符号化されていることを示す補足付加情報と、その多視点画像信号の視点の数Ｖと、前記各視点のそれぞれを特定する番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏ（ｏは０以上の整数）と、前記多視点画像信号とがそれぞれ符号化されている符号化データを受信する第１のステップと、
   前記第１のステップで受信した前記符号化データから、前記補足付加情報とその多視点画像信号の視点の数Ｖとがそれぞれ符号化されている第１の符号化データと、前記復号画像出力順番号ｏと前記多視点画像信号とがそれぞれ符号化されている第２の符号化データとを分離する第２のステップと、
   前記第１の符号化データを復号して、前記多視点画像信号の視点の数Ｖを含む前記補足付加情報を生成する第３のステップと、
   前記第２の符号化データを復号して、前記復号画像出力順番号ｏを生成する第４のステップと、
   復号された前記復号画像出力順番号ｏを復号された前記視点の数Ｖで整数演算により除算して得た商（０以上の整数）を、それぞれの視点での復号画像の出力順序を示す番号ｄとして算出すると共に、前記除算の剰余（０以上Ｖ未満の整数）を前記各視点のそれぞれを特定する番号ｖとして算出する第５のステップと、
   前記第２の符号化データを復号して、復号多視点画像信号を生成する第６のステップと、
   前記復号多視点画像信号を画像バッファに格納する第７のステップと、
   前記第５のステップで算出された、前記それぞれの視点での復号画像の出力順序を示す番号ｄと前記各視点のそれぞれを特定する番号ｖとに応じて、前記画像バッファから前記復号多視点画像信号を取り出し、前記復号多視点画像信号を構成する各視点の復号画像信号を互いに同期させて出力する第８のステップと、
   を含むことを特徴とする多視点画像受信方法。
2. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを受信し、前記符号化データを復号する多視点画像受信方法であって、
   前記多視点画像が符号化されていることを示す補足付加情報と、その多視点画像信号の視点の数Ｖと、前記多視点画像の各視点をそれぞれ特定する番号ｖと復号画像の管理用に視点を特定する視点ＩＤとの対応関係と、前記各視点のそれぞれを特定する番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏ（ｏは０以上の整数）と、前記多視点画像信号とがそれぞれ符号化されている符号化データを受信する第１のステップと、
   前記第１のステップで受信した前記符号化データから、前記補足付加情報とその多視点画像信号の視点の数Ｖと前記多視点画像の各視点をそれぞれ特定する番号ｖと前記視点ＩＤとの対応関係とがそれぞれ符号化されている第１の符号化データと、前記復号画像出力順番号ｏと前記多視点画像信号とがそれぞれ符号化されている第２の符号化データとを分離する第２のステップと、
   前記第１の符号化データを復号して、前記多視点画像信号の視点の数Ｖ、及び前記多視点画像の各視点をそれぞれ特定する番号ｖと前記視点ＩＤとの対応関係を含む前記補足付加情報を生成する第３のステップと、
   前記第２の符号化データを復号して、前記復号画像出力順番号ｏを生成する第４のステップと、
   復号された前記復号画像出力順番号ｏを復号された前記視点の数Ｖで整数演算により除算して得た商（整数）を、それぞれの視点での復号画像の出力順序を示す番号ｄとして算出すると共に、前記除算の剰余（０以上Ｖ未満の整数）を前記各視点のそれぞれを特定する番号ｖとして算出する第５のステップと、
   前記第２の符号化データを復号して、復号多視点画像信号を生成する第６のステップと、
   前記復号多視点画像信号を画像バッファに格納する第７のステップと、
   前記第５のステップで算出された、前記それぞれの視点での復号画像の出力順序を示す番号ｄと前記視点ＩＤとに応じて、前記画像バッファから復号多視点画像信号を取り出し、前記復号多視点画像信号を構成する各視点の復号画像信号を互いに同期させて出力する第８のステップと、
   を含むことを特徴とする多視点画像受信方法。
3. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを受信し、前記符号化データを復号する多視点画像受信装置であって、
   前記多視点画像が符号化されていることを示す補足付加情報と、その多視点画像信号の視点の数Ｖと、前記各視点のそれぞれを特定する番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏ（ｏは０以上の整数）と、前記多視点画像信号とがそれぞれ符号化されている符号化データを受信する受信手段と、
   前記受信手段により受信された前記符号化データから、前記多視点画像が符号化されていることを示す補足付加情報とその多視点画像信号の視点の数Ｖとが符号化されている第１の符号化データと、前記復号画像出力順番号ｏと前記多視点画像信号とがそれぞれ符号化されている第２の符号化データとを分離する分離手段と、
   分離された前記第１の符号化データを復号して、前記多視点画像信号の視点の数Ｖを含む前記補足付加情報を生成する第１の復号手段と、
   分離された前記第２の符号化データを復号して、前記復号画像出力順番号ｏを生成する第２の復号手段と、
   復号された前記復号画像出力順番号ｏを復号された前記視点の数Ｖで整数演算により除算して得た商（整数）を、それぞれの視点での復号画像の出力順序を示す番号ｄとして算出すると共に、前記除算の剰余（０以上Ｖ未満の整数）を前記各視点のそれぞれを特定する番号ｖとして算出する算出手段と、
   前記第２の符号化データを復号して、復号多視点画像信号を生成する第３の復号手段と、
   前記復号多視点画像信号を画像バッファに格納する格納手段と、
   前記算出手段から供給される前記それぞれの視点での復号画像の出力順序を示す番号ｄと前記各視点のそれぞれを特定する番号ｖに応じて、前記画像バッファから復号多視点画像信号を取り出し、前記復号多視点画像信号を構成する各視点の復号画像信号を互いに同期させて出力する出力手段と、
   を有することを特徴とする多視点画像データ受信装置。
4. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを受信し、前記符号化データを復号する多視点画像受信装置であって、
   前記多視点画像が符号化されていることを示す補足付加情報と、その多視点画像信号の視点の数Ｖと、前記多視点画像の各視点をそれぞれ特定する番号ｖと復号画像の管理用に視点を特定する視点ＩＤとの対応関係と、前記各視点のそれぞれを特定する番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏ（ｏは０以上の整数）と、前記多視点画像信号とがそれぞれ符号化されている符号化データを受信する受信手段と、
   受信した前記符号化データから、前記補足付加情報とその多視点画像信号の視点の数Ｖと前記多視点画像の各視点をそれぞれ特定する番号ｖと前記視点ＩＤとの対応関係とがそれぞれ符号化されている第１の符号化データと、前記復号画像出力順番号ｏと前記多視点画像信号とがそれぞれ符号化されている第２の符号化データとを分離する分離手段と、
   分離された前記第１の符号化データを復号して、前記多視点画像信号の視点の数Ｖ、及び前記多視点画像の各視点をそれぞれ特定する番号ｖと復号画像の管理用に視点を特定する視点ＩＤとの対応関係を含む前記補足付加情報を生成する第１の復号手段と、
   分離された前記第２の符号化データを復号して、前記復号画像出力順番号ｏを生成する第２の復号手段と、
   復号された前記復号画像出力順番号ｏを復号された前記視点の数Ｖで整数演算により除算して得た商（整数）を、それぞれの視点での復号画像の出力順序を示す番号ｄとして算出すると共に、前記除算の剰余（０以上Ｖ未満の整数）を前記各視点のそれぞれを特定する番号ｖとして算出する算出手段と、
   前記第２の符号化データを復号して、復号多視点画像信号を生成する第３の復号手段と、
   前記復号多視点画像信号を画像バッファに格納する格納手段と、
   前記算出手段から供給される前記それぞれの視点での復号画像の出力順序を示す番号ｄと前記視点ＩＤとに応じて、前記画像バッファから復号多視点画像信号を取り出し、前記復号多視点画像信号を構成する各視点の復号画像信号を互いに同期させて出力する出力手段と、
   を有することを特徴とする多視点画像データ受信装置。
5. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを、コンピュータを用いて受信させ、受信した前記符号化データを復号させる多視点画像受信用プログラムであって、
   前記コンピュータに、
   前記多視点画像信号が符号化されていることを示す補足付加情報と、その多視点画像信号の視点の数Ｖと、前記各視点のそれぞれを特定する番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏ（ｏは０以上の整数）と、前記多視点画像信号とがそれぞれ符号化されている符号化データを受信する第１のステップと、
   前記第１のステップで受信した前記符号化データから、前記補足付加情報とその多視点画像信号の視点の数Ｖとがそれぞれ符号化されている第１の符号化データと、前記復号画像出力順番号ｏと前記多視点画像信号とがそれぞれ符号化されている第２の符号化データとを分離する第２のステップと、
   前記第１の符号化データを復号して、前記多視点画像信号の視点の数Ｖを含む前記補足付加情報を生成する第３のステップと、
   前記第２の符号化データを復号して、前記復号画像出力順番号ｏを生成する第４のステップと、
   復号された前記復号画像出力順番号ｏを復号された前記視点の数Ｖで整数演算により除算して得た商（０以上の整数）を、それぞれの視点での復号画像の出力順序を示す番号ｄとして算出すると共に、前記除算の剰余（０以上Ｖ未満の整数）を前記各視点のそれぞれを特定する番号ｖとして算出する第５のステップと、
   前記第２の符号化データを復号して、復号多視点画像信号を生成する第６のステップと、
   前記復号多視点画像信号を画像バッファに格納する第７のステップと、
   前記第５のステップで算出された、前記それぞれの視点での復号画像の出力順序を示す番号ｄと前記各視点のそれぞれを特定する番号ｖとに応じて、前記画像バッファから前記復号多視点画像信号を取り出し、前記復号多視点画像信号を構成する各視点の復号画像信号を互いに同期させて出力する第８のステップと、
   を実行させることを特徴とする多視点画像受信用プログラム。
6. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを、コンピュータを用いて受信させ、受信した前記符号化データを復号させる多視点画像受信用プログラムであって、
   前記コンピュータに、
   前記多視点画像が符号化されていることを示す補足付加情報と、その多視点画像信号の視点の数Ｖと、前記多視点画像の各視点をそれぞれ特定する番号ｖと復号画像の管理用に視点を特定する視点ＩＤとの対応関係と、前記各視点のそれぞれを特定する番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏ（ｏは０以上の整数）と、前記多視点画像信号とがそれぞれ符号化されている符号化データを受信する第１のステップと、
   前記第１のステップで受信した前記符号化データから、前記補足付加情報とその多視点画像信号の視点の数Ｖと前記多視点画像の各視点をそれぞれ特定する番号ｖと前記視点ＩＤとの対応関係とがそれぞれ符号化されている第１の符号化データと、前記復号画像出力順番号ｏと前記多視点画像信号とがそれぞれ符号化されている第２の符号化データとを分離する第２のステップと、
   前記第１の符号化データを復号して、前記多視点画像信号の視点の数Ｖ、及び前記多視点画像の各視点をそれぞれ特定する番号ｖと前記視点ＩＤとの対応関係を含む前記補足付加情報を生成する第３のステップと、
   前記第２の符号化データを復号して、前記復号画像出力順番号ｏを生成する第４のステップと、
   復号された前記復号画像出力順番号ｏを復号された前記視点の数Ｖで整数演算により除算して得た商（整数）を、それぞれの視点での復号画像の出力順序を示す番号ｄとして算出すると共に、前記除算の剰余（０以上Ｖ未満の整数）を前記各視点のそれぞれを特定する番号ｖとして算出する第５のステップと、
   前記第２の符号化データを復号して、復号多視点画像信号を生成する第６のステップと、
   前記復号多視点画像信号を画像バッファに格納する第７のステップと、
   前記第５のステップで算出された、前記それぞれの視点での復号画像の出力順序を示す番号ｄと前記視点ＩＤとに応じて、前記画像バッファから復号多視点画像信号を取り出し、前記復号多視点画像信号を構成する各視点の復号画像信号を互いに同期させて出力する第８のステップと、
   を実行させることを特徴とする多視点画像受信用プログラム。

Images