JP2009164865A - 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】視差補償を用いる多視点動画像の符号化において，従来よりも高い符号化効率を達成することを目的とする。
【解決手段】距離情報の与えられた視点とは異なる視点で撮影された画像を参照画像として利用する場合に，ある視点（基準視点カメラ）に対して与えられた距離情報を別の視点に対する距離情報へと変換することを行う（Ｓ１２）。この変換された距離情報を用いて視差補償画像を生成し（Ｓ１４），画像予測によって符号化対象画像を符号化する（Ｓ１５）。
【選択図】図５

Description

本発明は，多視点画像及び多視点動画像において，既知の映像信号と距離情報とを用いて，別の視点の距離情報や映像信号を生成する方法である。また，それを用いた多視点画像及び多視点動画像の符号化及び復号技術に関するものである。

多視点画像とは，複数のカメラで同じ被写体と背景を撮影した複数の画像のことであり，多視点動画像（多視点映像）とは，その動画像のことである。以下では，１つのカメラで撮影された動画像を“２次元動画像”と呼び，同じ被写体と背景を撮影した２次元動画像群を多視点動画像と呼ぶ。

２次元動画像は，時間方向に関して強い相関があり，その相関を利用することによって符号化効率を高めている。一方，多視点画像や多視点動画像では，各カメラが同期されていた場合，同じ時間に対応した各カメラの映像は全く同じ状態の被写体と背景を別の位置から撮影したものなので，カメラ間で強い相関がある。多視点画像や多視点動画像の符号化においては，この相関を利用することによって符号化効率を高めることができる。

まず，２次元動画像の符号化技術に関する従来技術を述べる。国際符号化標準であるＨ．２６４，ＭＰＥＧ−２，ＭＰＥＧ−４をはじめとした従来の多くの２次元動画像符号化方式では，動き補償，直交変換，量子化，エントロピー符号化という技術を利用して，高効率な符号化を行う。動き補償と呼ばれる技術が，フレーム間の時間相関を利用する方法である。

Ｈ．２６４で使われている動き補償技術の詳細については，下記の非特許文献１に記載されているが，以下でその概要を説明する。Ｈ．２６４の動き補償では，符号化対象フレームを様々なサイズのブロックに分割し，ブロックごとに，参照フレームと呼ばれる既に符号化済みのフレームを選び，動きベクトルと呼ばれる対応点を示すベクトル情報を用いて，映像を予測する。このときに許されるブロック分割は，１６×１６，１６×８，８×１６，８×８，８×４，４×８，４×４の７種類であり，被写体の動きの向きや大きさの違いに細かい単位で対応して映像を予測できるようになっている。これによって，予測画像と原画像の差分で表される符号化対象の残差が小さくなるため，高い符号化効率を達成している。

次に，従来の多視点画像や多視点動画像の符号化方式について説明する。多視点画像の符号化方法と，多視点動画像の符号化方法との違いは，多視点動画像にはカメラ間の相関に加えて，時間方向の相関が同時に存在するということである。しかし，カメラ間の相関を利用する方法は，どちらの場合でも同じ方法を用いることができる。そのため，ここでは多視点動画像の符号化において用いられる方法について説明する。

多視点動画像の符号化については，カメラ間の相関を利用するために，動き補償を同じ時刻の異なるカメラの画像に適用した“視差補償”によって高効率に多視点動画像を符号化する方式が従来から存在する。ここで，視差とは，異なる位置に配置されたカメラの画像平面上で，被写体上の同じ位置が投影される位置の差である。

このカメラ間で生じる視差の概念図を図１に示す。この概念図では，光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように，異なるカメラの画像平面上で被写体上の同じ位置が投影される位置は，一般的に対応点と呼ばれる。視差補償はこの対応関係に基づいて，符号化対象フレームの各画素値を参照フレームから予測して，その予測残差と，対応関係を示す視差情報とを符号化する。

多くの手法では，視差を画像平面上でのベクトルとして表現する。例えば，非特許文献２では，ブロック単位で視差補償を行う仕組みが含まれているが，ブロック単位の視差を２次元ベクトルで，すなわち２つのパラメータ（ｘ成分及びｙ成分）で表現する。つまり，この手法では，２パラメータで構成される視差情報と予測残差を符号化する。

一方，特許文献１（映像符号化方法，映像復号方法，映像符号化プログラム，映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体）では，カメラパラメータを符号化に利用し，エピポーラ幾何拘束に基づき視差ベクトルを１次元の情報として表現することにより，予測情報を効率的に符号化する。

エピポーラ幾何拘束の概念図を図２に示す。エピポーラ幾何拘束によれば，２台のカメラ（カメラ１とカメラ２）において，片方の画像上の点に対応するもう片方の画像上の点は，エピポーラ線という直線上に拘束される。特許文献１の手法では，エピポーラ線上での位置を示すために，参照フレームを撮影しているカメラから被写体までの距離という１つのパラメータで全符号化対象フレームに対する視差を表現している。

なお，非特許文献３には，本発明の実施において用いることができる隣接画素間で連続性を仮定しながら視差補償画像を生成する技術が記載されている。

また，非特許文献４には，視差補償画像（合成画像）を符号化対象画像に対する参照画像として用いて，予測先を示すベクトル情報を付加しながら符号化する方法が記載されている。
特開２００７−０３６８００号公報 ITU-T Rec. H.264/ISO/IEC 11496-10,"Advanced Video Coding", Final Committee Draft, Document JVT-E022, September 2002． Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding (3DAV)", document M10976 MPEG Redmond Meeting, July, 2004. Shinya Shimizu, Masaki Kitahara, Hideaki Kimata, Kazuto Kamikura and Yoshiyuki Yashima. "View Scalable Multiview Video Coding using 3-D Warping with Depth Map. " IEEE Transactions on Circuits and Systems for Video Technology, Vol.17, No.11, pp.1485-1495, 2007. Masaki Kitahara, Hideaki Kimata, Shinya Shimizu, Kazuto Kamikura and Yoshiyuki Yashima. "Multi-view Video Coding using View Interpolation and Reference Picture Selection." IEEE International Conference on Multimedia and Expo, pp.97-100, 2006.

従来の多視点動画像の符号化方法によれば，カメラパラメータが既知である場合，エピポーラ幾何拘束を利用して，カメラの台数に関わらず，参照フレームに対してカメラから被写体までの距離という１次元情報を符号化するだけで，全カメラの符号化対象フレームに対する視差補償が実現でき，視差情報を効率的に符号化することが可能である。

しかしながら，参照フレームを撮影したカメラと符号化対象フレームのカメラの距離が遠くなると，照明の影響やオクルージョンの影響を受けて，予測映像の品質が低下してしまう。その結果，多くの予測残差信号を符号化しなければならなくなり，効率的な符号化を実現できない。

類似の問題として，通常の動画像符号化において，参照フレームと符号化対象フレームとの時間間隔が長くなることによって予測効率が低下してしまうという問題がある。この問題に対して，一般的な動画像符号化では，符号化対象フレームごとに異なる参照フレームを設定することで対処している。

したがって，前述のカメラ間隔が増大することによる予測品質の低下に対する問題を回避する手法として，カメラごとに異なるカメラを参照フレームとして利用する方法が容易に考えられる。

しかしながら，従来の多視点動画像符号化方式では，参照フレームに対して被写体までの距離を符号化する必要があるため，カメラごとに異なる参照フレームを使用する場合，複数の距離情報を符号化する必要が生じる。このため符号化効率が低下してしまう。

本発明は係る事情に鑑みてなされたものであって，多視点動画像の符号化においてカメラごとに異なる参照カメラを用いる場合でも，既知の距離情報や映像信号から距離情報を生成することで，複数のカメラの距離情報を符号化することなく効率的な視差補償を実現し，これにより従来よりも高い符号化効率を達成することを目的とする。

前述の課題を解決するために，本発明では距離情報の与えられた視点とは異なる視点で撮影されたフレームを参照フレームとして利用する場合に，符号化及び復号における処理として，ある視点に対して与えられた距離情報を別の視点に対する距離情報へと変換することを行う。これによって，様々なカメラで撮影された映像（画像）を参照フレームとする場合においても，複数の距離情報を伝送する必要はなく，カメラごとに，より映像信号の類似したカメラを参照先として利用することができるようになる。つまり，符号量を変化させずに予測効率を向上することができるため，その結果，効率的な符号化を実現することができる。

この変換は，カメラによって実空間のオブジェクトが撮影される際の物理現象に従って行われるため，カメラによる射影変換を十分にモデル化することが可能であれば非常に高い精度で変換を実現することができる。

また，異なるカメラで撮影した映像の間では，どちらか一方でしか撮影されていない領域が存在する。上記の変換は，あるカメラで撮影された画像に対して与えられる距離情報を別の視点で撮影された画像に対する距離情報へと変換するものであるため，変換先のカメラでは撮影されているが，変換前のカメラでは撮影されていない領域に対して有効な距離情報を与えることができない。そこで本発明では，上記の変換に加えて，そのような領域に対して距離情報を生成する手段を設ける。

具体的には，変換先の画像上で連続する画素では同じカメラから被写体までの距離を有するとして距離情報を生成する。これは現実空間において被写体は連続性して存在するという事実に基づく処理であるため，精度の高い距離情報の生成が可能である。また，被写体が異なる場合には連続性が成り立たないため，距離情報を生成したい領域に複数の被写体が存在している場合，この手段では距離情報の生成精度が低下してしまう可能性がある。そこで，変換先の画像からエッジ抽出や色情報を用いた領域分割を行うことで被写体を抽出して，近傍の同じ被写体上に与えられた距離情報を用いて未知領域に対する距離情報を生成することで，より精度の高い距離情報の生成が可能である。なお，カメラから十分に遠い距離に存在する風景のようなものの場合には，異なる被写体であっても同じ距離情報を持つとして生成を行うことができる。これはカメラによって撮影されるときのサンプリングが離散的であるためである。

また，別の時刻における変換先のカメラに対する距離情報が得られている場合，それを用いて現時刻における未知領域の距離情報を生成することもできる。この手段では実空間上で被写体が瞬間的に移動できないという事実に基づいているため，精度の高い距離情報の生成が可能である。最も単純な方法として同じ画素位置の距離情報を複写する手段がある。これは被写体とカメラの位置関係が変わらない場合に有効である。例えば固定カメラを用いて，時間的に変化の少ないものを背景として撮影を行った場合などである。また，時間的に変化があるものを被写体としていたとしても，距離情報が既知の時刻の画像と現時刻の画像とを用いて被写体の動きを抽出し，対応画素の距離情報を用いて未知領域の距離情報を生成することで高精度な距離情報の生成を行うことが可能である。なお，画像信号を用いて対応点を見つける場合，因子分解法を利用することでカメラに運動が含まれる場合においてもより高精度な距離情報の生成が可能である。

なお，ここで紹介した空間方向の連続性を利用した距離情報生成手段と，時間方向の連続性を利用した距離情報生成手段とを組み合わせて利用してもよい。２つの異なる軸の連続性を利用することで，より精度の高い距離情報の生成が可能になる。

距離情報を生成する際や蓄積の際に距離情報を修正する際に，この距離情報が未知であった領域における被写体は変換元のカメラから見ることができないという条件を用いて，誤った距離情報が生成されるのを回避しても構わない。つまり，生成された距離情報を最初に距離情報の与えられたカメラに対する距離情報に変換した際に，変換前が画像の端に存在する距離情報であれば変換後の画像上の対応点は画面の外側となり，変換前がオクルージョン領域に存在する距離情報であれば変換後の画素にはよりカメラに近いことを示す距離情報が入力された距離情報上に存在することになる。

時間的に連続性を考慮して距離情報を生成する際に使用する過去（未来）の距離情報は，上記の処理によって生成された距離情報を用いても構わないが，さらに別のカメラの画像が得られた際に，ステレオマッチング等を用いて距離情報を推定してより正確なものに更新することもできる。

例えば，距離情報の与えられるカメラ（カメラ１），参照フレームとなる映像を撮影したカメラ（カメラ２），符号化対象の映像を撮影するカメラ（カメラ３）が存在する場合，符号化を行っている時刻に対しては，カメラ１とカメラ２の画像しか得られていないため，カメラ２に対する距離情報のうち，カメラ１で撮影されていない領域に対するものは，被写体の空間的・時間的連続性を用いて生成するしかない。しかしながら，符号化順で過去の時刻に対しては，カメラ１とカメラ２の画像のほかに，カメラ３の復号画像が得られている。そのため，カメラ１には撮影されていなくても，カメラ３で撮影されていれば，カメラ２で撮影された画像とステレオマッチングを用いて対応点を計算することができるため，連続性を仮定して生成した距離情報よりも正確な情報を生成することが可能となる。

本発明によれば，視差補償に必要な情報が大幅に増加することを防ぎながら，カメラごとに異なる参照カメラを使用した視差補償を実現することで，多視点画像全体や多視点動画像全体としての高効率な符号化を実現することができる。

以下，実施の形態に従って本発明を詳細に説明する。以下に説明する実施例では，３つのカメラで撮影された多視点動画像を符号化する場合を想定する。ここで，カメラＡの映像は視差補償を行わずに符号化され，映像の他にカメラから撮影された被写体までの距離に関する情報が符号化されるものとする。また，カメラＢの映像は符号化されたカメラＡの距離情報を用いて，カメラＡを参照カメラとして視差補償を用いながら符号化されるものとする。そしてカメラＣは符号化されたカメラＡにおける距離情報を用いて，カメラＢを参照カメラとして視差補償を用いながら符号化されるものとする。カメラＡとカメラＢの符号化に関しては従来の手法がそのまま利用可能であるため，本実施例ではカメラＣの映像を符号化する方法について説明を行う。図３に本実施例で使用するカメラ構成の概念図を示す。

まず，第１の実施例（以下，実施例１）について説明する。本発明の実施例１に係る映像符号化装置の構成図を図４に示す。図４に示すように，実施例１の映像符号化装置１００は，符号化対象となるカメラＣの原画像を入力する符号化対象画像入力部１０１と，入力された符号化対象画像を格納する符号化対象画像メモリ１０２と，視差補償をする際の参照画像となるカメラＢの復号画像を入力する参照カメラ画像入力部１０３と，入力された参照画像を格納する参照画像メモリ１０４と，視差補償画像を生成する際に用いるカメラＡにおけるカメラから被写体までの距離に関する情報を入力する距離情報入力部１０５と，カメラＡに対する距離情報を参照カメラであるカメラＢに対する距離情報に変換する距離情報変換部１０６と，オクルージョン等によって有効な距離情報が得られなかった領域に対して背景の距離情報を生成する背景距離情報生成部１０７と，距離情報を蓄積する距離情報メモリ１０８と，参照画像と距離情報とから符号化対象画像に対する視差補償画像を生成する視差補償画像生成部１０９と，符号化対象画像を実際に符号化する画像符号化部１１０と，符号化した画像を復号した画像を格納する復号画像メモリ１１１とを備える。

図５に，このようにして構成される映像符号化装置１００が実行する処理フローを示す。この処理フローに従って，実施例１の映像符号化装置１００が実行する処理について詳細に説明する。

まず，符号化対象画像入力部１０１により，符号化対象のカメラＣの画像が入力され，符号化対象画像メモリ１０２に格納される［ステップＳ１１］。また，参照カメラとなるカメラＢの符号化対象画像と同時刻に撮影された画像を一度符号化して復号した画像が，参照カメラ画像入力部１０３より入力され，参照画像メモリ１０４に格納される。さらに，符号化対象画像と同時刻のカメラＡにおけるカメラから被写体までの距離に関する情報が，距離情報入力部１０５から入力される。なお，ここで全ての情報が同時に入力される必要はなく，符号化対象画像が入力される以前に入力されていても構わないし，符号化対象画像が入力された後に入力されても構わない。後者の場合，符号化対象画像と同時刻の情報が全て揃うまで，視差補償画像を生成するステップＳ１４以降の処理は行われない。

ここで入力される距離情報は正確なカメラから被写体までの距離を表すような情報である必要はなく，この情報を用いてカメラ間の視差を求められた精度で計算できるものであればよい。また，復号装置側で得られる情報と同じものを使用すれば，復号画像にドリフトと呼ばれる符号化歪みを発生させずに済む。したがって，もし距離情報を歪みあり符号化し復号装置側に伝送する場合には，符号化された距離情報を復号した結果の距離情報を用いればよい。もちろんドリフト歪みを許すのであれば，ここで入力される距離情報が復号装置側で得られるものと別のものを用いても構わない。

入力された距離情報は，距離情報変換部１０６でカメラＡに対する距離情報からカメラＢに対する距離情報へと変換される［ステップＳ１２］。最も単純な変換法では，以下の計算式（１）に従って変換を行う。

ここでＡ，Ｒ，ｔはそれぞれカメラの内部パラメータ行列，回転行列，並進ベクトルを表す。添え字は，そのパラメータがどのカメラの情報であるかを示している。なお，ＡとＲは３×３の行列であり，ｔは三次元ベクトルである。カメラパラメータは様々な方法で表現することができるため，上記計算式は画像座標ｍと世界座標Ｍの対応関係が式Ｍ^* ＝ＲＡ^-1ｍ^* ＋ｔで得られる表現を用いているとする。なお，Ｍ，ｍの右肩に付した＊記号は，スカラ倍を許した斉次座標を表す。ｄ_x （ａ，ｂ）は，カメラＸで撮影された画像の画素（ａ，ｂ）におけるカメラから被写体までの距離を表す。

変換はカメラＢの距離情報バッファを初期化した後に，カメラＡの全ての画素に対して式（１）を用いてカメラＢにおける画素位置と距離情報を計算し，その画素位置に対応する距離情報バッファに求められた距離情報を格納することで行われる。格納を行う際に該当領域に初期値以外の値が既に格納される場合，距離情報の示すカメラとの前後関係に従って，カメラＢにより近いことを示す距離情報を選択し格納する。

この変換では，カメラＡの複数画素がカメラＢの１画素に対応付けられるため，有効な距離情報の得られない画素が大量に発生する場合がある。しかしながら，実際にはカメラＡでは撮影されていないがカメラＢでは撮影されているような領域以外においては，距離情報が得られないことはない。そこで，カメラＡにおける画素間の連続性を考慮して，カメラＢにおける変換距離情報を求める方法を用いても構わない。ただし，ドリフト歪みの発生をなくすためには，ここでの距離情報の変換手法と復号側で行われる距離情報変換手法は同じにする必要がある。

連続性を考慮して変換する方法としては，例えば，カメラＡの画像上で隣接する画素に対して，距離情報の違いがある一定範囲内であれば被写体が実空間で連続していると仮定して，カメラＢの画像上での対応画素を求めた後に，求まった画素の間をそれぞれに対して与えられた距離情報を用いて補間しながら，カメラＢにおける距離情報へと変換する方法がある。

ここで，カメラＡとカメラＢは異なるカメラであるため，カメラＢでは撮影されるがカメラＡでは撮影されない領域が存在する。従って，そのような領域に対応するカメラＢの画像上の領域では，有効な距離情報が得られていないことになる。

そこで，次にそのような有効な値がない領域における距離情報を生成する［ステップＳ１３］。ドリフト歪みを発生させない場合には，復号側で同じ方法を用いる必要はあるが，どのような方法を用いても構わない。

例えば，実空間では被写体は連続しているため，隣接する画素の距離情報をコピーする方法がある。その領域に写っているものが立体的に単純な壁などのものや，カメラから十分に遠いような背景の場合，隣接画素間でのカメラから被写体までの距離はほぼ等しいので，このコピーによる距離情報生成は高い精度を持つ。また，その領域に複数のオブジェクトがあるような場合でも，参照画像メモリ１０４に格納されている対応するカメラＢの復号画像から，エッジを抽出したり領域分割をしたりすることで被写体を判別し，同じ被写体上で距離情報が既知の隣接画素からコピーを行うことで，より正確な距離情報の生成を実現できる。

また，時間的な相関を用いて距離情報を生成することも可能である。背景に静止したものやカメラの距離が十分遠いようなものを撮影していた場合，それらの距離情報は時間的に変化しないため，過去の距離情報を距離情報メモリ１０８に蓄積しておき，距離情報が未知の領域に蓄積されていた値をコピーすることで距離情報を生成することができる。背景に写っている被写体がカメラから十分に遠くなく，時間的に変化するような場合には，対応する時刻の参照画像を用いて被写体の動きを取得し，距離情報メモリ１０８に蓄積された距離情報を平行移動させてコピーすることで，より正確な距離情報を生成できる。この場合においても，画像のエッジ情報や色情報から写っている被写体を区別することができるため，それらの情報を用いることで信頼性の高い距離情報が生成可能である。

なお，カメラＢの位置や向きが変化しているような場合には，それに伴って距離情報メモリ１０８上の距離情報を変更する必要がある。カメラの運動がカメラパラメータの変化として明示的に与えられている場合には，過去のカメラパラメータを持つカメラＢ’と現在のカメラパラメータを持つカメラＢが存在すると考え，カメラＢ’に対して与えられている距離情報をカメラＢに対する距離情報へとステップＳ１２と同様の方法で変換すればよい。一方，カメラの運動がカメラパラメータの変化として与えられない場合，距離情報を求めたい時刻の参照画像と距離情報が既知であるような時刻の参照画像との間でマッチングを取り，因子分解法を用いて被写体の運動を分離しながら，カメラの運動を取得することができる。

距離情報メモリ１０８に蓄積しておく過去の距離情報は，実際に使用した距離情報をそのまま格納しておいても構わないし，参照画像と復号画像との間でステレオマッチングを取り，より正しいものになるように修正したものを用いても構わない。また，本実施例では入力されないが，カメラＡの復号画像を利用してより正確な距離情報を求め直しても構わない。

なお，距離情報を生成する際や蓄積の際に距離情報を修正する際に，この距離情報が未知であった領域における被写体はカメラＡから見ることができないという条件を用いて，誤った距離情報が生成されるのを防ぐことが可能である。つまり，式（１）のカメラＡとカメラＢとを入れ替えた式を用いて，生成（修正）されたカメラＢに対する距離情報をカメラＡに対する距離情報に変換した際に，変換前が画像の端の距離情報であれば画像の外側に対応画素が求まり，オクルージョン領域であれば変換後の画素においてよりカメラに近いことを示す距離情報が入力された距離情報上に存在しなくてはならない。この条件を用いて生成（修正）後の距離情報の値を制限することで，ある程度誤った距離情報が生成されるのを防ぐことが可能である。

距離情報の生成が終了し，全ての画素に対して有効な値の得られた距離情報は，距離情報メモリ１０８に格納される。そして同時刻の符号化対象画像と参照画像，距離情報がそれぞれ符号化対象画像メモリ１０２，参照画像メモリ１０４，距離情報メモリ１０８に格納されていれば，それらの情報を用いて視差補償画像生成部１０９で視差補償画像を生成する［ステップＳ１４］。

距離情報と画像信号とを用いて行うものであれば，視差補償画像を生成する手法としてどのような手法を用いても構わない。例えば，式（１）のカメラＡをカメラＢに，カメラＢをカメラＣに変更した次の式（２）に従って，カメラＢの画素に対応するカメラＣの画素を決定し，カメラＢの画素値を対応画素位置における視差補償画像の画素値とすることで生成することができる。

座標を表すアルファベットをカメラごとに変えているが，その他の記号の表す意味は式（１）と同じである。また，カメラＢの距離情報は式（１）で求められたものではなく，背景距離情報生成部１０７で修正されたものであるため，区別するためにダッシュ（′）記号を付けた。

非特許文献３のように隣接画素間で連続性を仮定しながら視差補償画像を生成しても構わない。この場合，距離情報を変換するときと異なり，対応画素間で補間される値は画素値となる。もちろん，一度カメラＣにおける距離情報に変換し，カメラＣで撮影された画像の各画素における視差情報を獲得してから，視差補償画像を生成しても構わない。また，各画素を頂点と見立てて，与えられた距離情報から三次元のポリゴンオブジェクトを生成して，それをカメラＣに投影することで視差補償画像を生成する手法もある。

ここで行われる視差補償画像を生成する処理も復号画像においてドリフト歪みを発生させないのであれば，復号側と同じ処理を用いる必要がある。

視差補償画像が生成されたならば，画像符号化部１１０で符号化対象画像が符号化される［ステップＳ１５］。符号化の結果生成されるビットストリームは，映像符号化装置１００の出力となる。なお，視差補償画像を用いる符号化手法であれば，どのような符号化手法でも用いることができる。

例えば，最も単純な方法は，生成された視差補償画像をそのまま予測画像の候補として符号化する方法であるが，非特許文献４のように視差補償画像（合成画像）を符号化対象画像に対する参照画像として用いて，予測先を示すベクトル情報を付加しながら符号化する方法や，特許文献１のように，符号化対象画像と視差補償画像との差分を取り，その差分画像を予測符号化することで符号化対象画像を符号化する方法がある。なお，視差補償画像を使用した映像予測以外に，動き補償やベクトルを用いた視差補償，画面内予測などを組み合わせて用いても構わない。

符号化された符号化対象画像は，復号されて復号画像メモリ１１１に格納される［ステップＳ１６］。蓄積された復号画像は，距離情報メモリ１０８に格納されている距離情報を修正するために用いられる［ステップＳ１７］。この修正は別のフレームにおける距離情報を生成する際に，より正確な情報を予測するために行われる。例えば，カメラＢの画像であるところの参照画像と，カメラＣの画像であるところの復号画像との間でステレオマッチングを行うことで，ステップＳ１３の処理で連続性等を仮定して生成された距離情報を，実際に複数のカメラでどこに撮影されたかという事実に基づいて，より信頼度の高い距離情報へと修正する。すなわち，視差探索手段（図示省略）によって参照カメラ画像と復号画像との間で対応点探索を行い，得られた視差情報をもとに距離情報メモリ１０８に格納されている距離情報を補正する。

本発明では，空間的に隣接する領域の距離情報や時間的に隣接する距離情報を用いて，入力として距離情報の与えられなかった領域に対する距離情報を生成する。このことは，被写体が実空間上で連続である事実や，瞬間的に移動することができないという事実に基づいているため，ある程度正確な距離情報を生成することが可能である。

もちろん未知のものを生成するため，画像の端等では距離情報の生成が非常に困難な場合もある。最悪の場合，実際の距離情報からかけ離れたものが生成されてしまう。しかしながら，一般的な映像符号化装置のように，画像符号化部が複数の予測モードを持ち，最適なものを選択しながら符号化するような場合，正しくない距離情報が生成されても符号化効率を低下させることにはならない。なぜならば，距離情報が未知の領域では視差補償画像を用いる予測モードでは効率的な予測ができないため，従来手法においても別のモードを選択して符号化を行う。つまり誤った距離情報であっても，従来手法と同様に別のモードが選択されるだけであり，符号化する情報は増大しないからである。

次に，第２の実施例（以下，実施例２）について説明する。本発明の実施例２に係る映像復号装置の構成図を図６に示す。図６に示すように，実施例２の映像復号装置２００は，復号対象となるカメラＣの符号化データを入力する符号化データ入力部２０１と，入力された符号化データを格納する符号化データメモリ２０２と，視差補償をする際の参照画像となるカメラＢの復号画像を入力する参照カメラ画像入力部２０３と，入力された参照画像を格納する参照画像メモリ２０４と，視差補償画像を生成する際に用いるカメラＡにおけるカメラから被写体までの距離に関する情報を入力する距離情報入力部２０５と，カメラＡに対する距離情報を参照カメラであるカメラＢに対する距離情報に変換する距離情報変換部２０６と，オクルージョン等によって有効な距離情報が得られなかった領域に対して背景の距離情報を生成する背景距離情報生成部２０７と，距離情報を蓄積する距離情報メモリ２０８と，参照画像と距離情報とから復号対象画像に対する視差補償画像を生成する視差補償画像生成部２０９と，復号対象画像を実際に符号化データから復号する画像復号部２１０と，復号した画像を格納する復号画像メモリ２１１とを備える。

図７に，このようにして構成される映像復号装置２００が実行する処理フローを示す。この処理フローに従って，実施例２の映像復号装置２００が実行する処理を説明する。

まず，符号化データ入力部２０１により，復号対象のカメラＣの画像を符号化した符号化データが入力され，符号化データメモリ２０２に格納される［ステップＳ２１］。また，参照カメラとなるカメラＢの復号した画像が，参照カメラ画像入力部２０３より入力され参照画像メモリ２０４に格納される。さらに，カメラＡにおけるカメラから被写体までの距離に関する情報が距離情報入力部２０５から入力される。なお，ここで全ての情報が同時に入力される必要はなく，復号対象画像の符号化データが入力される以前に入力されていても構わないし，復号対象画像の符号化データが入力された後に入力されても構わない。ただし，以下に示すステップＳ２３，Ｓ２４の処理は同時刻の参照画像と距離情報が揃うまで実行されず，ステップＳ２５，Ｓ２６の処理は同時刻の符号化データと参照画像，距離画像が揃うまでは実行されない。

なお，実施例１と同様に，ここで入力される距離情報は正確なカメラから被写体までの距離を表すような情報である必要はなく，この情報を用いてカメラ間の視差を求められた精度で計算できるものであればよい。ただし，ドリフト歪みの発生を防ぐためには，映像符号化装置で用いられた距離情報と同じ距離情報が入力されなければならない。

入力された距離情報は距離情報変換部２０６でカメラＡに対する距離情報からカメラＢに対する距離情報へと変換される［ステップＳ２２］。最も単純な方法としては，前述の計算式（１）に従って変換することが可能であり，その場合の詳細の手順は実施例１のステップＳ１２の処理の部分に記載済みである。なお，変換にはどのような方法を用いても構わないが，ドリフト歪みの発生を抑えるためには映像符号化装置で用いた方法と同じ方法を用いる必要がある。

次に変換後の距離情報において，有効な値がない参照画像上の領域における距離情報を生成する［ステップＳ２３］。ここでもドリフト歪みを発生させないためには，映像符号化装置と同じ方法を用いる必要があるが，どのような方法を用いても構わない。

例えば，実空間上では被写体は連続しているため，距離情報には空間的な相関があると考えられるため，隣接の既知の距離情報をコピーして生成する方法や，周辺の距離情報からフィルタ処理によって生成する方法がある。また，被写体が瞬間的に移動しないことから距離情報メモリ２０８に格納されている近接時刻の距離情報から推定する方法もある。この場合，被写体が動かないとして同じ位置の距離情報をコピーする方法や，参照画像メモリ２０４に蓄えられている参照画像から被写体の動きを抽出し，距離情報を動き補償して生成する方法がある。なお，前述の実施例１で説明した通り，カメラＢの位置や向きが変化しているような場合には，それに伴って距離情報メモリ２０８上の距離情報を変更する必要がある。

なお，距離情報メモリ２０８に蓄積しておく過去の距離情報は，実際に使用した距離情報をそのまま格納しておいても構わないし，本実施例で説明するように参照画像と復号画像との間でステレオマッチングを取り，より正しいものになるように修正したものを用いても構わない。また，本実施例では入力されないが，カメラＡの復号画像を利用してより正確な距離情報を求め直しても構わない。ただし，ドリフト歪みを発生させないためには，映像符号化装置で行った処理と同じ処理を用いて格納されるべき距離情報を求めなければならない。

距離情報の生成が終了し，全ての画素に対して有効な値の得られた距離情報は，一度距離情報メモリ２０８に格納される。そして復号対象画像の符号化データ，それと同時刻の参照画像，距離情報がそれぞれ符号化データメモリ２０２，参照画像メモリ２０４，距離情報メモリ２０８に格納されていれば，それらの情報を用いて視差補償画像生成部２０９で視差補償画像を生成する［ステップＳ２４］。

実施例１と同様に視差補償画像を生成する方法としては，どのようなものを用いても構わない。ただし，ドリフト歪みの発生を防ぐには，映像符号化装置で用いられた手法と同じ手法を用いる必要がある。

視差補償画像が生成されたら，これを用いて画像復号部２１０で符号化データが復号され，復号画像が得られる［ステップＳ２５］。この復号画像は復号画像メモリ２１１に格納されると共に，映像復号装置２００の出力となる。この実施例では復号順に出力されるが，復号画像メモリ２１１でバッファリングを行い，撮影された順に出力しても構わない。なお，ここでは映像符号化装置で用いられた符号化手法を用いて生成された符号化データを正しく復号できる手法を用いる必要がある。

また，蓄積された復号画像は距離情報メモリ２０８に格納されている距離情報を修正するために用いられる［ステップＳ２６］。この修正は別のフレームにおける距離情報を生成する際に，より正確な情報を予測するために行われる。例えば，カメラＢの画像であるところの参照画像と，カメラＣの画像であるところの復号画像との間でステレオマッチングを行うことで，ステップＳ２３の処理で連続性等を仮定して生成された距離情報を，実際に複数のカメラでどこに撮影されたかという事実に基づいて，より信頼度の高い距離情報へと修正する。すなわち，視差探索手段（図示省略）によって参照カメラ画像と復号画像との間で対応点探索を行い，得られた視差情報をもとに距離情報メモリ２０８に格納されている距離情報を補正する。なお，ここでの処理もドリフト歪みを防ぐためには，映像符号化装置と同じ処理を用いる必要がある。

ここで説明した実施例では，映像符号化装置，映像復号装置として説明を行ったが，複数カメラで取られた多視点画像の符号化及び復号に適用することも可能である。その場合には，時間方向の連続性は利用できず，空間方向の連続性のみを利用して，有効な距離情報が得られなかった領域の距離情報を生成することになる。また，距離情報の変換・無効領域における距離情報の生成を用いて視差補償画像を生成する処理を抽出し，入力映像（上記実施例の中ではカメラＡの映像）とそれに対する距離情報から，その他のカメラで撮影された映像（上記実施例ではカメラＢの映像）を合成する処理に利用することも可能である。この場合においても，別の時刻の距離情報生成のための生成した距離情報の更新（上記実施例では，処理ステップＳ１７，Ｓ２６に相当）を行うことで，より高品質な映像合成が可能となる。

以上説明した処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

また，以上の実施の形態では，映像符号化装置及び映像復号装置を中心に説明したが，これら映像符号化装置及び映像復号装置の各部の動作に対応したステップによって本発明の映像符号化方法及び映像復号方法を実現することができる。

本実施の形態による映像符号化方法及び映像復号方法の特徴を列挙すると，以下のとおりである。

（１）本実施の形態による映像符号化方法は，１つの基準視点カメラを含む複数のカメラにより撮影された多視点画像または多視点動画像における符号化対象画像を，上記基準視点カメラから被写体までの距離を表す距離情報を用いて，カメラ間の画像予測を行うことにより符号化する映像符号化方法であって，符号化対象画像を符号化するにあたってカメラ間の画像信号の予測に用いる，既に符号化済みのカメラ画像を復号した参照カメラ画像を設定する参照カメラ画像設定ステップと，上記距離情報を基準視点カメラで撮影された基準視点カメラ画像に対するものから，上記基準視点カメラ画像と上記参照カメラ画像との対応関係をもとに上記参照カメラ画像におけるカメラから被写体までの距離を表す距離情報へと変換する距離情報変換ステップと，上記変換された距離情報と上記参照カメラ画像とから，上記符号化対象画像に対する視差補償画像を生成する視差補償画像生成ステップと，上記視差補償画像を用いて画像予測を行い，上記符号化対象画像を符号化する画像符号化ステップとを有することを特徴とする。

（２）また，上記（１）の映像符号化方法において，上記距離情報の変換の際に上記基準視点カメラ画像との対応関係が得られなかった上記参照カメラ画像の領域に対して，距離情報を生成することで上記変換された距離情報を修正する距離情報修正ステップを有し，上記視差補償画像生成ステップでは，上記修正された距離情報を用いることを特徴とする。

（３）また，上記（２）の映像符号化方法において，上記距離情報修正ステップでは，上記対応関係が得られなかった領域の距離情報を，その領域の周辺領域における距離情報との連続性を仮定して，その領域の周辺領域における距離情報をもとに生成することを特徴とする。

（４）また，上記（２）の映像符号化方法において，上記参照カメラ画像において同じ被写体が撮影されている領域を検出し，上記参照カメラ画像を上記検出された領域で分割する領域分割ステップを有し，上記距離情報修正ステップでは，上記領域分割ステップにおいて同じ分割に属する周辺領域における距離情報との連続性を仮定して距離情報を生成することを特徴とする。

（５）また，上記（２）の映像符号化方法において，上記視差補償画像生成ステップで使用された距離情報を蓄積する距離情報蓄積ステップを有し，上記距離情報修正ステップでは，蓄積されていた距離情報を用いて距離情報を生成することを特徴とする。

（６）また，上記（２）の映像符号化方法において，上記視差補償画像生成ステップで使用された距離情報を蓄積する距離情報蓄積ステップと，上記視差補償画像生成ステップで使用された参照カメラ画像を蓄積する参照カメラ画像蓄積ステップと，蓄積されていた参照カメラ画像と上記参照カメラ画像との間で対応点探索を行う動き探索ステップとを有し，上記距離情報修正ステップでは，上記対応点探索ステップで得られた被写体の時間的な移動情報を用いて，蓄積されていた距離情報から現時刻における距離情報を生成することを特徴とする。

（７）また，上記（５）または（６）の映像符号化方法において，上記画像符号化ステップで符号化された画像を復号する画像復号ステップと，上記復号された画像と上記参照カメラ画像との間で対応点探索を行う視差探索ステップと，上記視差探索ステップで得られた視差情報から，上記視差補償画像生成ステップで使用された距離情報を補正する距離情報補正ステップとを有し，上記距離情報蓄積ステップでは，距離情報補正ステップで補正された距離情報を蓄積することを特徴とする。

（８）また，上記（２）から（７）までのいずれかの映像符号化方法において，上記距離情報修正ステップでは，生成した距離情報が上記基準視点カメラに対する距離情報へと変換した際に，有効な距離情報とならないように生成を行うことを特徴とする。

（９）また，上記（１）から（８）までのいずれかの映像符号化方法において，上記画像符号化ステップでは，上記視差補償画像を予測画像の候補として使用しながら符号化対象画像を符号化することを特徴とする。

（１０）また，上記（１）から（８）までのいずれかの映像符号化方法において，上記画像符号化ステップでは，上記視差補償画像を映像予測に用いる参照画像の候補として使用しながら符号化対象画像を符号化することを特徴とする。

（１１）また，上記（１）から（８）までのいずれかの映像符号化方法において，上記画像符号化ステップでは，上記視差補償画像と符号化対象画像の差分画像を生成し，その差分画像を符号化することで符号化対象画像を符号化することを特徴とする。

（１２）本実施の形態による映像復号方法は，１つの基準視点カメラを含む複数のカメラにより撮影された多視点画像または多視点動画像を符号化した符号化データを，上記基準視点カメラから被写体までの距離を表す距離情報を用いて，カメラ間の画像予測を行うことにより復号する映像復号方法であって，復号対象画像を符号化する際にカメラ間の画像信号の予測に用いられた，既に復号済みの参照カメラ画像を設定する参照カメラ画像設定ステップと，上記距離情報を基準視点カメラで撮影された基準視点カメラ画像に対するものから，上記基準視点カメラ画像と上記参照カメラ画像との対応関係をもとに上記参照カメラ画像におけるカメラから被写体までの距離を表す距離情報へと変換する距離情報変換ステップと，上記変換された距離情報と上記参照カメラ画像とから，復号対象画像に対する視差補償画像を生成する視差補償画像生成ステップと，上記視差補償画像を用いて画像予測を行い，符号化データから復号対象画像を復号する画像復号ステップとを有することを特徴とする。

（１３）また，上記（１２）の映像復号方法において，上記距離情報の変換の際に上記基準視点カメラ画像との対応関係が得られなかった上記参照カメラ画像の領域に対して，距離情報を生成することで上記変換された距離情報を修正する距離情報修正ステップを有し，上記視差補償画像生成ステップでは，上記修正された距離情報を用いることを特徴とする。

（１４）また，上記（１３）の映像復号方法において，上記距離情報修正ステップでは，上記対応関係が得られなかった領域の距離情報を，その領域の周辺領域における距離情報との連続性を仮定して，その領域の周辺領域における距離情報をもとに生成することを特徴とする。

（１５）また，上記（１３）の映像復号方法において，上記参照カメラ画像において同じ被写体が撮影されている領域を検出し，上記参照カメラ画像を上記検出された領域で分割する領域分割ステップを有し，上記距離情報修正ステップでは，上記領域分割ステップにおいて同じ分割に属する周辺領域における距離情報との連続性を仮定して距離情報を生成することを特徴とする。

（１６）また，上記（１３）の映像復号方法において，上記視差補償画像生成ステップで使用された距離情報を蓄積する距離情報蓄積ステップを有し，上記距離情報修正ステップでは，蓄積されていた距離情報を用いて距離情報を生成することを特徴とする。

（１７）また，上記（１３）の映像復号方法において，上記視差補償画像生成ステップで使用された距離情報を蓄積する距離情報蓄積ステップと，上記視差補償画像生成ステップで使用された参照カメラ画像を蓄積する参照カメラ画像蓄積ステップと，蓄積されていた参照カメラ画像と上記参照カメラ画像との間で対応点探索を行う動き探索ステップとを有し，上記距離情報修正ステップでは，上記対応点探索ステップで得られた被写体の時間的な移動情報を用いて，蓄積されていた距離情報から現時刻における距離情報を生成することを特徴とする。

（１８）上記（１６）または（１７）の映像復号方法において，上記画像復号ステップで復号された画像と上記参照カメラ画像との間で対応点探索を行う視差探索ステップと，上記視差探索ステップで得られた視差情報から，上記視差補償画像生成ステップで使用された距離情報を補正する距離情報補正ステップとを有し，上記距離情報蓄積ステップでは，距離情報補正ステップで補正された距離情報を蓄積することを特徴とする。

（１９）上記（１３）から（１８）までのいずれかの映像復号方法において，上記距離情報修正ステップでは，生成した距離情報が上記基準視点カメラに対する距離情報へと変換した際に，有効な距離情報とならないように生成を行うことを特徴とする。

（２０）上記（１２）から（１９）までのいずれかの映像復号方法において，上記画像復号ステップでは，上記視差補償画像を予測画像の候補として使用しながら符号化データから復号対象画像を復号することを特徴とする。

（２１）上記（１２）から（１９）までのいずれかの映像復号方法において，上記画像復号ステップでは，上記視差補償画像を映像予測に用いる参照画像の候補として使用しながら符号化データから復号対象画像を復号することを特徴とする。

（２２）上記（１２）から（１９）までのいずれかの映像復号方法において，上記画像復号ステップでは，符号化データから上記視差補償画像と復号対象画像の差分画像を復号し，その差分画像と上記視差補償画像を足し合わせることで復号対象画像を復号することを特徴とする。

本実施の形態による効果を，従来技術と対比して説明する。

非特許文献２に記載されているような符号化対象画像に対して視差補償に必要な情報を符号化する従来技術（従来技術１）は，符号化対象画像ごとに予測に最適な参照カメラを選択することができるという利点がある一方，付加情報量（視差補償に必要な情報の量）が膨大になるという欠点がある。

また，特許文献１に記載されているような参照カメラを共通化し，参照画像に対して視差補償に必要な距離情報を符号化する従来技術（従来技術２）は，付加情報量が非常に少ないという利点はあるものの，符号化対象画像ごとに予測に最適な参照カメラを選択できないため，カメラ間隔が大きくなると視差補償による映像予測能力が低下してしまうという欠点がある。

これに対して，本実施の形態は，次のようような効果がある。
〔効果１〕従来技術２と同様の付加情報量で，符号化対象画像ごとに予測に最適な参照カメラを選択して視差補償による映像予測を行うことが可能になる。
〔効果２〕付加情報量を増加させずに，従来手法では全く予測を行うことができなかったオクルージョン領域において，視差補償による映像予測を提供することが可能になる。
〔効果３〕精度に関して信頼度の高い距離情報（視差補償に必要な情報）を生成することが可能になる。

上記効果１が得られる理由は，本実施の形態では，符号化及び復号時に入力された距離情報を参照カメラに対する距離情報へと変換する手段を備えるためである。カメラが物体を撮影して２次元に投影する際の原理を利用する。これは，図５のステップＳ１２及び図７のステップＳ２２で行われる処理である。例えば式（１）などを用いる変換処理がこの処理に相当する。

上記効果２が得られる理由は，本実施の形態では，距離情報の変換を行った際に，有効な距離情報が得られないオクルージョン領域や画像端の領域において，視差補償を行うのに必要な距離情報を生成する手段を備えるためである。異なるカメラで撮影した映像の間では，どちらか一方でしか撮影されていない領域が存在する。距離情報の変換では，あるカメラで撮影された画像に対して与えられる距離情報を別の視点で撮影された画像に対する距離情報へと変換を行うため，変換先のカメラでは撮影されているが，変換前のカメラでは撮影されていない領域に対して有効な距離情報を与えることができない。このような場合に，本実施の形態では，現実空間において物体は空間的に連続しており，時間的に瞬間的に移動や変化することができないという事実に基づいて距離情報を生成する。したがって，生成した距離情報を用いて視差補償画像を生成することができるようになる。この処理は，図５のステップＳ１３及び図７のステップＳ２３で行われる処理である。一般に画像信号よりも距離情報のほうが空間的・時間的な連続性が高いため，生成した視差補償画像上で連続性を仮定した画像信号の生成を行うよりも，距離情報の連続性を仮定した生成を行い，それを用いて視差補償を行うことで，高品質な予測画像を生成することが可能となる。

上記効果３が得られる理由は，本実施の形態では，符号化後に生成された距離情報を，参照画像とローカルデコード（復号）画像とを用いて正確な対応点を示す距離情報へと更新する手段を備えるためである。生成された距離情報は，ある程度は正確であるが誤りを含む。ローカルデコード画像は符号化・復号の両方で同じものが得られるため，これを用いて距離情報を更新することで，符号化順で後に符号化されるフレームにおいては正確な距離情報の利用が可能となる。更新には，画像信号から距離情報を推定するステレオマッチング法などを使用することができる。図５のステップＳ１７及び図７のステップＳ２６で行われる処理である。

以上，図面を参照して本発明の実施の形態を説明してきたが，上記実施の形態は本発明の例示に過ぎず，本発明が上記実施の形態に限定されるものでないことは明らかである。したがって，本発明の精神及び範囲を逸脱しない範囲で構成要素の追加，省略，置換，その他の変更を行っても良い。

カメラ間で生じる視差の概念図である。 エピポーラ幾何拘束の概念図である。 実施例におけるカメラ構成例の概念図である。 本発明の実施例１の映像符号化装置を示す図である。 実施例１における映像符号化フローチャートである。 本発明の実施例２の映像復号装置を示す図である。 実施例２における映像復号フローチャートである。

符号の説明

１００ 映像符号化装置
１０１ 符号化対象画像入力部
１０２ 符号化対象画像メモリ
１０３ 参照カメラ画像入力部
１０４ 参照画像メモリ
１０５ 距離情報入力部
１０６ 距離情報変換部
１０７ 背景距離情報生成部
１０８ 距離情報メモリ
１０９ 視差補償画像生成部
１１０ 画像符号化部
１１１ 復号画像メモリ
２００ 映像復号装置
２０１ 符号化データ入力部
２０２ 符号化データメモリ
２０３ 参照カメラ画像入力部
２０４ 参照画像メモリ
２０５ 距離情報入力部
２０６ 距離情報変換部
２０７ 背景距離情報生成部
２０８ 距離情報メモリ
２０９ 視差補償画像生成部
２１０ 画像復号部
２１１ 復号画像メモリ

Claims (24)

1. １つの基準視点カメラを含む複数のカメラにより撮影された多視点画像または多視点動画像における符号化対象画像を，上記基準視点カメラから被写体までの距離を表す距離情報を用いて，カメラ間の画像予測を行うことにより符号化する映像符号化方法であって，
   符号化対象画像を符号化するにあたってカメラ間の画像信号の予測に用いる，既に符号化済みのカメラ画像を復号した参照カメラ画像を設定する参照カメラ画像設定ステップと，
   上記距離情報を基準視点カメラで撮影された基準視点カメラ画像に対するものから，上記基準視点カメラ画像と上記参照カメラ画像との対応関係をもとに上記参照カメラ画像におけるカメラから被写体までの距離を表す距離情報へと変換する距離情報変換ステップと，
   上記変換された距離情報と上記参照カメラ画像とから，上記符号化対象画像に対する視差補償画像を生成する視差補償画像生成ステップと，
   上記視差補償画像を用いて画像予測を行い，上記符号化対象画像を符号化する画像符号化ステップとを有する
   ことを特徴とする映像符号化方法。
2. 請求項１に記載の映像符号化方法において，
   上記距離情報の変換の際に上記基準視点カメラ画像との対応関係が得られなかった上記参照カメラ画像の領域に対して，距離情報を生成することで上記変換された距離情報を修正する距離情報修正ステップを有し，
   上記視差補償画像生成ステップでは，上記修正された距離情報を用いる
   ことを特徴とする映像符号化方法。
3. 請求項２に記載の映像符号化方法において，
   上記距離情報修正ステップでは，上記対応関係が得られなかった領域の距離情報を，その領域の周辺領域における距離情報との連続性を仮定して，その領域の周辺領域における距離情報をもとに生成する
   ことを特徴とする映像符号化方法。
4. 請求項２に記載の映像符号化方法において，
   上記視差補償画像生成ステップで使用された距離情報を蓄積する距離情報蓄積ステップを有し，
   上記距離情報修正ステップでは，蓄積されていた距離情報を用いて距離情報を生成する
   ことを特徴とする映像符号化方法。
5. 請求項４に記載の映像符号化方法において，
   上記画像符号化ステップで符号化された画像を復号する画像復号ステップと，
   上記復号された画像と上記参照カメラ画像との間で対応点探索を行う視差探索ステップと，
   上記視差探索ステップで得られた視差情報から，上記視差補償画像生成ステップで使用された距離情報を補正する距離情報補正ステップとを有し，
   上記距離情報蓄積ステップでは，上記距離情報補正ステップで補正された距離情報を蓄積する
   ことを特徴とする映像符号化方法。
6. １つの基準視点カメラを含む複数のカメラにより撮影された多視点画像または多視点動画像を符号化した符号化データを，上記基準視点カメラから被写体までの距離を表す距離情報を用いて，カメラ間の画像予測を行うことにより復号する映像復号方法であって，
   復号対象画像を符号化する際にカメラ間の画像信号の予測に用いられた，既に復号済みの参照カメラ画像を設定する参照カメラ画像設定ステップと，
   上記距離情報を基準視点カメラで撮影された基準視点カメラ画像に対するものから，上記基準視点カメラ画像と上記参照カメラ画像との対応関係をもとに上記参照カメラ画像におけるカメラから被写体までの距離を表す距離情報へと変換する距離情報変換ステップと，
   上記変換された距離情報と上記参照カメラ画像とから，復号対象画像に対する視差補償画像を生成する視差補償画像生成ステップと，
   上記視差補償画像を用いて画像予測を行い，符号化データから復号対象画像を復号する画像復号ステップとを有する
   ことを特徴とする映像復号方法。
7. 請求項６に記載の映像復号方法において，
   上記距離情報の変換の際に上記基準視点カメラ画像との対応関係が得られなかった上記参照カメラ画像の領域に対して，距離情報を生成することで上記変換された距離情報を修正する距離情報修正ステップを有し，
   上記視差補償画像生成ステップでは，上記修正された距離情報を用いる
   ことを特徴とする映像復号方法。
8. 請求項７に記載の映像復号方法において，
   上記距離情報修正ステップでは，上記対応関係が得られなかった領域の距離情報を，その領域の周辺領域における距離情報との連続性を仮定して，その領域の周辺領域における距離情報をもとに生成する
   ことを特徴とする映像復号方法。
9. 請求項７に記載の映像復号方法において，
   上記視差補償画像生成ステップで使用された距離情報を蓄積する距離情報蓄積ステップを有し，
   上記距離情報修正ステップでは，蓄積されていた距離情報を用いて距離情報を生成する
   ことを特徴とする映像復号方法。
10. 請求項９に記載の映像復号方法において，
    上記画像復号ステップで復号された画像と上記参照カメラ画像との間で対応点探索を行う視差探索ステップと，
    上記視差探索ステップで得られた視差情報から，上記視差補償画像生成ステップで使用された距離情報を補正する距離情報補正ステップとを有し，
    上記距離情報蓄積ステップでは，距離情報補正ステップで補正された距離情報を蓄積する
    ことを特徴とする映像復号方法。
11. １つの基準視点カメラを含む複数のカメラにより撮影された多視点画像または多視点動画像における符号化対象画像を，上記基準視点カメラから被写体までの距離を表す距離情報を用いて，カメラ間の画像予測を行うことにより符号化する映像符号化装置であって，
    符号化対象画像を符号化するにあたってカメラ間の画像信号の予測に用いる，既に符号化済みのカメラ画像を復号した参照カメラ画像を設定する参照カメラ画像設定手段と，
    上記距離情報を基準視点カメラで撮影された基準視点カメラ画像に対するものから，上記基準視点カメラ画像と上記参照カメラ画像との対応関係をもとに上記参照カメラ画像におけるカメラから被写体までの距離を表す距離情報へと変換する距離情報変換手段と，
    上記変換された距離情報と上記参照カメラ画像とから，上記符号化対象画像に対する視差補償画像を生成する視差補償画像生成手段と，
    上記視差補償画像を用いて画像予測を行い，上記符号化対象画像を符号化する画像符号化手段とを備える
    ことを特徴とする映像符号化装置。
12. 請求項１１に記載の映像符号化装置において，
    上記距離情報の変換の際に上記基準視点カメラ画像との対応関係が得られなかった上記参照カメラ画像の領域に対して，距離情報を生成することで上記変換された距離情報を修正する距離情報修正手段を備え，
    上記視差補償画像生成手段は，上記修正された距離情報を用いる
    ことを特徴とする映像符号化装置。
13. 請求項１２に記載の映像符号化装置において，
    上記距離情報修正手段は，上記対応関係が得られなかった領域の距離情報を，その領域の周辺領域における距離情報との連続性を仮定して，その領域の周辺領域における距離情報をもとに生成する
    ことを特徴とする映像符号化装置。
14. 請求項１２に記載の映像符号化装置において，
    上記視差補償画像生成手段が使用した距離情報を蓄積する距離情報蓄積手段を備え，
    上記距離情報修正手段は，蓄積されていた距離情報を用いて距離情報を生成する
    ことを特徴とする映像符号化装置。
15. 請求項１４に記載の映像符号化装置において，
    上記画像符号化手段で符号化された画像を復号する画像復号手段と，
    上記復号された画像と上記参照カメラ画像との間で対応点探索を行う視差探索手段と，
    上記視差探索手段で得られた視差情報から，上記視差補償画像生成手段で使用された距離情報を補正する距離情報補正手段とを備え，
    上記距離情報蓄積手段は，上記距離情報補正手段で補正された距離情報を蓄積する
    ことを特徴とする映像符号化装置。
16. １つの基準視点カメラを含む複数のカメラにより撮影された多視点画像または多視点動画像を符号化した符号化データを，上記基準視点カメラから被写体までの距離を表す距離情報を用いて，カメラ間の画像予測を行うことにより復号する映像復号装置であって，
    復号対象画像を符号化する際にカメラ間の画像信号の予測に用いられた，既に復号済みの参照カメラ画像を設定する参照カメラ画像設定手段と，
    上記距離情報を基準視点カメラで撮影された基準視点カメラ画像に対するものから，上記基準視点カメラ画像と上記参照カメラ画像との対応関係をもとに上記参照カメラ画像におけるカメラから被写体までの距離を表す距離情報へと変換する距離情報変換手段と，
    上記変換された距離情報と上記参照カメラ画像とから，復号対象画像に対する視差補償画像を生成する視差補償画像生成手段と，
    上記視差補償画像を用いて画像予測を行い，符号化データから復号対象画像を復号する画像復号手段とを備える
    ことを特徴とする映像復号装置。
17. 請求項１６に記載の映像復号装置において，
    上記距離情報の変換の際に上記基準視点カメラ画像との対応関係が得られなかった上記参照カメラ画像の領域に対して，距離情報を生成することで上記変換された距離情報を修正する距離情報修正手段を備え，
    上記視差補償画像生成手段は，上記修正された距離情報を用いる
    ことを特徴とする映像復号装置。
18. 請求項１７に記載の映像復号装置において，
    上記距離情報修正手段は，上記対応関係が得られなかった領域の距離情報を，その領域の周辺領域における距離情報との連続性を仮定して，その領域の周辺領域における距離情報をもとに生成する
    ことを特徴とする映像復号装置。
19. 請求項１７に記載の映像復号装置において，
    上記視差補償画像生成手段が使用した距離情報を蓄積する距離情報蓄積手段を備え，
    上記距離情報修正手段は，蓄積されていた距離情報を用いて距離情報を生成する
    ことを特徴とする映像復号装置。
20. 請求項１９に記載の映像復号装置において，
    上記画像復号手段で復号された画像と上記参照カメラ画像との間で対応点探索を行う視差探索手段と，
    上記視差探索手段で得られた視差情報から，上記視差補償画像生成手段で使用された距離情報を補正する距離情報補正手段とを備え，
    上記距離情報蓄積手段は，距離情報補正手段で補正された距離情報を蓄積する
    ことを特徴とする映像復号装置。
21. 請求項１から請求項５までのいずれか１項に記載の映像符号化方法を，コンピュータに実行させるための映像符号化プログラム。
22. 請求項１から請求項５のいずれか１項に記載の映像符号化方法を，コンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
23. 請求項６から請求項１０までのいずれか１項に記載の映像復号方法を，コンピュータに実行させるための映像復号プログラム。
24. 請求項６から請求項１０までのいずれか１項に記載の映像復号方法を，コンピュータに実行させるための映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images