JPH1118091A

JPH1118091A - 多視点画像の符号化／復号化装置およびその符号化／復号化方法

Info

Publication number: JPH1118091A
Application number: JP16892897A
Authority: JP
Inventors: Hideyuki Ueno; 秀幸上野; Toshinori Otaka; 敏則尾高; Katsumi Takahashi; 克己高橋
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1997-06-25
Filing date: 1997-06-25
Publication date: 1999-01-22

Abstract

(57)【要約】【課題】多視点画像を高い質感を保ったまま少ない情報
量で表現することで、これを用いて再生される任意視点
画像の質感を高め、同時にシステムで使用する情報量を
リーズナブルな範囲に収める。【解決手段】多視点画像をモデリング部１０３によって
被写体面上の点の座標と輝度の情報とからモデル化す
る。このモデルを用いて各視点画像を予測信号生成部１
０５によって予測し、その予測結果と入力視点画像との
予測誤差を符号化する。符号化された予測誤差は、符号
化されたモデルと一緒に多重化される。このように、入
力多視点画像と予測画像との誤差を符号化すると共に、
モデルの情報も選択された視点画像の情報として符号化
することにより、符号化ストリームとして蓄積・伝送さ
れる情報量を十分に低減することが出来ると共に、被写
体の複雑さに関わらず高いリアリティを持った再生を実
現できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、多視点画像を用い
て任意視点から見た画像を作成するような画像処理シス
テムで使用される多視点画像の符号化／復号化装置およ
びその多視点画像の符号化／復号化方法に関する。

【０００２】

【従来の技術】近年、コンピュータ技術、グラフィクス
技術の進展により、バーチャルショッピングモールなど
に代表される仮想空間内のウォークスルーが身近な存在
になりつつある。現状の仮想空間は構成要素がＣＧ（コ
ンピュータグラフィクス）によって生成されるものが大
半であるが、これに対して、最近では、リアリティに注
目した別のアプローチとして、実写画像から仮想３次元
空間を生成しようとの試みがなされてきている。

【０００３】ＣＧの分野では、モデルを精密にし、演算
資源を投入することによりリアリティを追求する努力が
払われてきたが、これとは別に、近年“ｉｍａｇｅｂ
ａｓｅｄｒｅｎｄｅｒｉｎｇ”と称して、実写を利用
してリアリティを高めようという動きがある。このよう
な技術として既に実用に供せられている例として、文献
１（Ｓ．Ｅ．Ｃｈｅｎｅｔａｌ，ＳＩＧＧＲＡＰＨ
‘９５ｐｐ．２９−３８）に開示されているＱｕｉｃ
ｋＴｉｍｅＶＲがあげられる。

【０００４】ＱｕｉｃｋＴｉｍｅＶＲは、１視点から
撮ったパノラマ画像から、視線方向を切り出す技術であ
り、自分の周りの３６０度の視野をインタラクティブに
見渡すような画像表現ができる。但しこの方法では、画
像入力の際の視点はある一点に固定されているので、任
意視点からの画像を再構成することはできない。すなわ
ち、視線方向は選択できるものの視点は常に同一視点に
固定されているので、視点が変わったときに発生するオ
クルージョン（隠れ）の状況の変化を再現することはで
きない。

【０００５】このような物体との距離方向も含めた任意
視点の実現、オブジェクトとしての操作可能性、空間へ
の配置可能性といった更に進んだ機能を実現することが
できる画像表現方法としては、例えば文献２（「光線情
報による３次元実空間の効率的記述へ向けた光線空間射
影法」苗村他、信学技報ＩＥ９５−１１９）に開示され
ている方法が知られている。この方法では３次元空間上
を通る光線を表現する「光線空間」という概念を導入
し、多視点画像と光線空間とを相互に変換することによ
り、入力された多視点画像から任意視点画像を生成して
いる。以下にこの原理につき具体的に説明する。

【０００６】光線情報に基づく記述の考え方は、３次元
空間を伝播する光線の情報を、３次元の直交座標空間上
における光線の通過位置（Ｘ，Ｙ，Ｚ）とその方向
（θ，φ）によって定義される５次元情報空間ｆ（Ｘ，
Ｙ，Ｚ，θ，φ）に記述するというものである。ここ
で、θは、直交座標空間上の任意の点（Ｘ，Ｙ，Ｚ）を
通過する光線の水平方向の傾き、つまりＸ−Ｚ平面上の
角度を示し、φは（Ｘ，Ｙ，Ｚ）を通過する光線の垂直
方向の傾き、つまりＸ−Ｚ平面上からＹ軸方向への角度
を示す。

【０００７】画像情報が、直交座標空間上の任意の点
（Ｘ，Ｙ，Ｚ）に視点を置いたときにそこを通過する
（θ，φ）方向の光線の集合により形成されるものであ
ることを考慮すると、画像情報と前述の光線情報は相互
に変換可能であることがわかる。ここで光線が減衰せず
に直進するとの仮定が成立するような場合には、５次元
情報空間ｆ（Ｘ，Ｙ，Ｚ，θ，φ）を４次元に縮退させ
ることができる。上述した文献２には、光線情報を記録
する面の取り方によって平面記録、円筒記録、球面記録
の３通りの記録方法がある事が記されているが、ここで
は以後の説明を行うために必要な円筒記録について簡単
に説明する。

【０００８】図２３に、円筒記録のための座標を示す。

【０００９】まず空間を４次元に縮退するために、
（Ｘ，Ｙ，Ｚ，θ，φ）から（Ｐ，Ｑ，Ｒ）への座標変
換が行われる。ここで、（Ｐ，Ｑ，Ｒ）座標のＲ軸は、
図示のように、光線の進行方向（θ，φ）と一致するよ
うに規定される。これにより、（Ｘ，Ｙ，Ｚ，θ，φ）
は、（Ｐ，Ｑ，Ｒ）つまり（Ｐ，Ｑ，θ，φ）の４次元
に変換される。θが同一であるφ方向の全ての光線は、
そのθ方向に法線を持つ（Ｐ，Ｑ）平面上の各点に記録
される。これよりＰ＝Ｘｃｏｓθ−Ｚｓｉｎθ …（１）Ｑ＝−Ｘｓｉｎθｔａｎφ＋Ｙ−Ｚｃｏｓθｔａｎφ …（２）の関係が得られる。

【００１０】図２３においては、直交座標系０−ＸＹＺ
の原点（０，０，０）を通る進行方向（θ，φ）の光線
を記録する例である。Ｒ軸からＸ−Ｙ平面上に垂ろした
垂線の足をＭとした場合、Ｏ−Ｍを法線とする（Ｐ，
Ｑ）平面が定義され、そこに、φ方向の全ての光線が記
録されることになる。このようにして、同一θ方向の光
線は、そのφ方向に関わらず、すべて同一の（Ｐ，Ｑ）
平面上の対応する座標位置に記録される。

【００１１】次にこの原理を使って多視点画像から光線
空間への記録を行い、記録された光線空間から任意視点
画像を生成する原理について説明する。

【００１２】上述の原理によって光線空間が４次元に縮
退されたといっても扱うべき多視点画像の数や演算量は
非常に多く現実的ではないので、文献３（「光線情報に
基づく３次元空間操作」石川他、ＰＣＳＪ９６Ｐ−
３．１３）においては、φ方向の視差を無視して（ｐ，
θ）の２次元空間への記録で代用している。

【００１３】また、実際に扱える光線の数には限りがあ
るので、実用にはサンプリングが介在することになる。
すなわち入力として扱われる視点の数は有限個にとどめ
られる。この時Ｙ＝一定の平面上でのある視点の座標
（Ｘ，Ｚ）が決まると、その点を通る光線の軌跡は式
（１）のみで与えられる。Ｙ＝一定の平面上ではＱ方向
の値は変化しないからである。有限個の複数の視点を設
定して画像を入力してやると、光線空間は、ある視点の
座標（Ｘ，Ｚ）を通る光線の軌跡に沿った光線情報によ
って埋められてくる。光線空間上で光線情報の得られて
いない部分は得られている光線情報により内挿等によっ
て補間してやると、密に光線情報で埋まった光線空間が
得られる。再生の際は任意視点（Ｘ，Ｚ）を指定する
と、その点を通る光線の軌跡が式（１）から得られるの
で、その軌跡上の光線情報を入力画像情報から取ってく
ることにより任意視点画像の画面におけるＹ＝一定にお
ける一走査線、つまりある特定のＹの値に対応する一本
の表示ライン上の画像が得られる。

【００１４】こうして得られる走査線をＹ方向に積み重
ねることによって任意視点から見た１画面分の画像を得
ることができる。

【００１５】上述したように、光線空間を用いた原理に
基づく任意視点画像の生成においては、扱うべき情報
は、できる限り少なくて済むように簡略化を施してはい
るが、現状ではこのような簡略化を施しても情報量、処
理量は依然として非常に多く、再生のリアルタイム化、
情報量の削減などが課題としてあげられている。

【００１６】次に情報量削減の観点からそのために用い
られる従来技術につき説明する。

【００１７】通常、情報量の削減のためには符号化が施
される。多視点画像を符号化するとした場合、いろいろ
なやり方が考えられる。１つは各視点からの画像をそれ
ぞれ静止画としてＪＰＥＧなどの方法により符号化する
方法である。しかしこの方法は各視点からの画像同士の
相関を使っておらず無駄がある。２番目の方法は多視点
画像を動画像とみなしてＭＰＥＧなどの方法により符号
化する方法で、動き補償予測によって隣合う視点画像同
士の相関がある程度取り除かれる。特に多視点画像の１
つのケースとしてのステレオ画像の符号化では同様の原
理は視差補償予測と呼ばれており、これは例えば文献４
（特開平２−１００５９２号公報）などに開示されてい
る。

【００１８】また、ＭＰＥＧ２標準においても類似の原
理はマルチビュープロファイルの範疇にてサポートされ
ている。この方法は画像に対して一種のモデル化を行っ
ていることになるが、モデル化がブロックごとにしか行
われておらず画素単位で見たときにはモデルからのずれ
が大きくなりがちである。また、モデルのパラメータと
しても各ブロックに動きベクトルの形でパラメータを与
えることになり全体として、モデルパラメータの情報量
もかなり大きくなる。

【００１９】光線空間の概念を取り入れた多視点画像の
符号化に関する技術としては、文献５（「複合現実感表
示のための光線空間データの圧縮」片山他、ＩＭＰＳ９
６Ｉ−６．１）に開示されている技術がある。この方法
では、同一被写体から得た１２０枚の多視点画像のうち
の何枚かを参照画像として設定してそのまま送り、他の
画像については参照画像中のどの画素値に近いかという
画素を指定する情報として送ることによって情報を圧縮
するとしている。従って上述の動き補償の流用と比較し
てモデル化が画素単位で行われてる点でモデルからのず
れは少なくなるがモデルのパラメータ情報は逆に多くな
る。

【００２０】また、文献６（特開平８−１１５４３４号
公報）では多視点画像の圧縮に関連する別の技術とし
て、（少ない）多視点画像の対応点の軌跡を規定するパ
ラメータを利用することにより受信側で任意視点画像の
ための内挿を行う技術が開示されている。この際にこの
パラメータのみによって光線空間を表現すれば非常に少
ない情報量による表現が可能となる。

【００２１】文献５，６はいずれもモデルのみによって
多視点画像を表現しようとするものであるが、実際には
特に後者の場合多視点画像からのモデルの推定はかなり
難しく、誤差を伴うものとなる。この結果モデルの推定
に誤差が生じた部分については、再生される画像が不自
然になってしまう。

【００２２】これに対して、文献７（「３次元構造推定
に基づく多眼３次元画像の圧縮と補間」藤井、原島３
次元画像コンファレンス’９４１−４）には、３次元
構造モデルから多眼画像の予測信号を生成し予測誤差を
送る方法が開示されている。この文献でのモデルは平面
や平面パッチなどの近似であってこれによる予測の精度
はあまりよいとは言えない。しかし単純にモデルの精度
を良くすると、精度を良くするほどモデル自体の情報量
が大きくなってしまい全体の情報量を減らすことは出来
ない。

【００２３】

【発明が解決しようとする課題】上述した圧縮方法のう
ち従来の符号化の流用による方法（視差保証予測、マル
チビュープロファイルなど）においては、多視点画像の
持つ性質が十分に活用されておらず膨大な情報量を大幅
に圧縮するには至らないという問題点があった。

【００２４】また、文献５，６のようなモデルのみによ
る方法においてはモデルの推定が難しい場合があり、推
定に誤差が生じた場合再生される画像が不自然になって
しまうという問題点があった。例えば、上述の２つの文
献では、被写体面が完全拡散面であるとの仮定のもと
に、前者では近い視点画像には同じ輝度値を持つ画素が
あると考え、後者では同じ被写体面上の点からの輝度値
は代表値によって表されるものと考えてその値で表現す
るものとしている点があげられる。しかし、実際の被写
体は完全拡散面ではない場合もあり、また、オクルージ
ョンや表面のテクスチャの関係により対応点が見えてい
なかったり判断しにくかったりしてモデル化が必ずしも
完全に行えない場合がある。そのような画素に対して強
引にモデルを当てはめると、誤差が非常に大きくなって
しまうという問題がある。

【００２５】本発明は上記事情を考慮してなされたもの
であり、各多視点画像の画素が被写体上の同一点より発
せられた光線である場合にその軌跡は数式によって表現
できることを利用してすべての視点画像に対して共通の
パラメータによりモデル化を行い、多視点画像の持つ大
量の情報量を圧縮して少ない情報量で表現すると共に、
モデル化がうまく行かないような複雑な被写体であって
も自然な任意視点画像の再生がリーズナブルな情報伝送
または蓄積量で行えるようにし、さらにモデル自体の情
報量についても精度を保ちつつもリーズナブルな情報量
に納めることの出来る多視点画像符号化／復号化装置お
よび多視点画像の符号化／復号化方法を提供することを
目的とする。

【００２６】

【課題を解決するための手段】上述の課題を解決するた
めに、請求項１に係る本発明は、被写体との位置関係が
既知の複数の視点からそれぞれ得られた前記被写体につ
いての複数の視点画像を入力し、それら複数の視点画像
を含む多視点画像を符号化する多視点画像符号化装置に
おいて、前記多視点画像をモデル化して前記被写体面上
の各点の座標値および輝度値から構成されるモデル情報
を生成するモデル化手段であって、前記被写体面上の各
点毎にモデルとして使用すべき視点画像を決定し、その
視点画像内の対応する輝度情報を前記モデル情報の対応
する点の輝度値として使用するモデル化手段と、前記被
写体面上の各点の座標値および輝度値から構成されるモ
デル情報を、それら各点のモデルとして使用された視点
画像の画像情報として符号化する手段と、前記モデル情
報から前記各視点画像の画像を予測し、前記各入力視点
画像との予測誤差を符号化する手段と、符号化された前
記モデル情報および予測誤差を多重化して、前記多視点
画像の符号化ストリームを生成する多重化手段とを具備
することを特徴とする。

【００２７】この多視点画像符号化装置においては、複
数の視点画像の画素が被写体上の同一点より発せられた
光線より生成された場合には互いに近い値を持つという
多視点画像の持つ冗長性を利用してモデル化が行われ
る。この場合、モデル化によって生成されるモデル情報
は、被写体面上の各点についての座標値と代表輝度値か
ら構成される。ここで、輝度値とは、ＴＶカメラでいう
と輝度信号Ｙ及び色差信号Ｃｒ，Ｃｂ、または３原色の
信号Ｒ，Ｇ，Ｂなどに対応するものを総称するものであ
る。各点についての代表輝度値としては、複数の視点画
像の中からモデルとして選ばれた１つの視点画像内の該
当する輝度情報に準ずる値が用いられる。各点のモデル
情報は代表輝度として使用された視点画像の輝度情報と
して符号化される。これにより、モデル情報はそれ単独
で存在するのではなく、各視点画像の画像情報の一部と
して存在することになる。

【００２８】各視点画像の符号化においては、まず、モ
デル情報に基づいて各視点画像毎にその画像が予測さ
れ、その予測画像と各入力視点画像との予測誤差が求め
られる。そして、その予測誤差が符号化されて、符号化
されたモデル情報と一緒に符号化ストリームに多重化さ
れる。このように、入力多視点画像と予測画像との誤差
を符号化することにより、符号化ストリームとして蓄積
・伝送される情報量を十分に低減することが出来ると共
に、高いリアリティを持った再生を実現できる。

【００２９】また、モデル情報を１視点画像内の情報と
して符号化することは次のような意味がある。すなわ
ち、モデル情報についても情報量を大幅に圧縮するには
輝度情報、座標情報共にブロック化を行うなどして近接
点同士の相関を用いた空間的な相関の除去を行うような
圧縮をする必要がある。このために何らかのモデル面を
多視点画像から新たに作成するのは手間がかかると同時
に、その方法によってはサンプリング等の影響によりモ
デル面上での近接点同士の相関が十分に得られないこと
が起こりうる。これに対してモデル情報を１視点画像内
の情報として符号化する方法は、人力より得られた情報
を使った方法の中で近接点同士の相関を最大限保証して
くれる方法となっている。このため、モデルの情報につ
いても十分な圧縮を行うことができるわけである。さら
に被写体面上の可視点すべてについてもれなくモデルを
定義することができるという特徴もある。被写体面は一
般に複雑な曲面であるから、これが持つ輝度情報を全て
網羅する平面を定義するのは困難である。しかし実際に
ブロック符号化などを導入しようとすると、モデルは平
面上で定義されているとが好ましい。モデル情報を１視
点画像内の情報として符号化する方法はこの両者を兼ね
備えた方法になっている。

【００３０】さらに、各点のモデル情報はその点の代表
輝度として使用された視点画像の輝度情報として符号化
されているので、代表輝度として使用された画像部分に
ついては、予測誤差情報を用いることなく、モデル情報
だけで再生することができ、その部分の情報量を節約で
きる。よって十分なモデル精度を保ちつつそのモデルの
情報量を少なく押さえることが出来る。

【００３１】また、モデル情報からの予測の性能をよく
するために、請求項２に係る発明においては、前記被写
体面上の点からの法線方向に最も近い視点を持つ視点画
像を、その点のモデルとして使用することを特徴として
いる。これにより、被写体面上の各点毎に、その点から
の法線方向に最も近い視点を持つ視点画像の該当する輝
度情報が代表輝度値として用いられるようになり、予測
の性能向上を図ることが出来る。すなわち、入力多視点
画像として得られている各視点画像は角度的にも空間的
にもサンプルされている画像であるので、代表輝度値と
して使用する視点画像の選択の仕方によっては、再生画
像が粗くなったり余計な情報量を費やすことになったり
する事が懸念されるが、請求項２では、モデル情報で使
用する代表輝度値として被写体面の法線方向から撮った
画素の輝度情報を採用しているので、モデルの解像度が
十分に取れ、必要十分な予測画像が生成できる。よっ
て、被写体の複雑さに関わらず、少ない情報量で高いリ
アリティをもった再生を実現できる。

【００３２】また、復号再生側の処理を必要以上に大き
くしないために、請求項３に係る発明では、前記多重化
手段は、前記被写体面上の各点の座標値および輝度値か
ら構成されるモデル情報を、前記予測誤差情報が多重化
される前記符号化ストリーム上の情報位置とは異なる他
の情報位置にまとめて多重化することを特徴とする。被
写体面上の点の座標と輝度からなるモデル情報はどのよ
うな視点からの画像を再生するにも必ず使用されるもの
であるので、これを、視点によって使用される部分が異
なる予測誤差情報と分けて符号化ストリーム上の特定の
領域にまとめて多重化することにより、復号再生側では
モデル情報にアクセスするためにいちいちすべての情報
を検索する必要が無くなり余計な処理を行う必要が無く
なる。

【００３３】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。

【００３４】以下では、上述した苗村らによる文献２に
示された円筒記録モデルに従う例をもとに説明するが、
他のモデルを使用した場合においても同様に当てはまる
ものである。

【００３５】まず、図２０を参照して、本実施形態で使
用される多視点画像入力部の構成例を説明する。この例
では、被写体１７０１は回転台１７０２に乗せられ、カ
メラ１７０３により撮影される。カメラ１７０３の光軸
１７０６は回転台１７０２の回転軸１７０５を通り、光
軸１７０６と回転軸１７０５はお互い直交しているもの
とする。両者の位置関係は既知であり、その間の距離は
Ｒであるとする。回転台１７０２は制御装置１７０４に
より一定の角度（例えば３度）ずつ回転を制御される。
そのたびにカメラ１７０３によって画像が入力される。
この例ではこの動作により一回転で視点の異なる１２０
枚の画像が入力されることになる。次にこの場合の光線
空間について説明する。

【００３６】上述した苗村らの文献に示されているよう
に、円筒記録の場合、点（Ｘ，Ｙ，Ｚ）を通る光線は、
光線空間上の次式により表現される座標に記録される。

【００３７】Ｐ＝Ｘｃｏｓθ−Ｚｓｉｎθ …（３）Ｑ＝−Ｘｓｉｎθｔａｎφ＋Ｙ−Ｚｃｏｓθｔａｎφ …（４）ここで今、従来技術のところでも説明したように、扱う
情報量、演算量が大きくなりすぎないようにＱ方向の光
線の変化は考えないものとし、また、光線空間は回転軸
１７０５に直交する平面（例えば１７０７）で定義して
Ｙ方向に積み上げて近似するものとする（この場合、φ
方向の変化によるオクルージョンなどは再現されな
い）。

【００３８】図２１は平面１７０７上での被写体の断面
１８０１とカメラ１７０３の位置関係を表している。こ
こで表記上、回転台の回転軸１７０５を中心とする極座
標表現（ｒ，ψ）を図２１に示すように導入すると、Ｘ＝ｒｓｉｎψ …（５）Ｚ＝ｒｃｏｓψ …（６）であるから、式（３）よりＰ＝ｒｃｏｓθｓｉｎψ−ｒｓｉｎθｃｏｓψ ＝ｒｓｉｎ（ψ−θ） …（７）となる。従って、１２０枚の多視点画像の光線空間上に
おける軌跡１９０１は図２２に示すようにＰ＝Ｒｓｉｎ（ｎ* ３°−θ），ｎ＝０，…，１１９ …（８）で表される。軌跡１９０１の中の曲線２００１，２００
２，２００３，２００４，…は、それぞれ３°ずつ異な
る角度から撮影した視点画像を示している。つまり、こ
れら曲線２００１，２００２，２００３，２００４，…
はそれぞれ、互いに３°ずつ異なる角度から撮影した複
数の視点画像における特定のＹ位置に対応する一走査線
分の画像を表している。

【００３９】同様の性質は被写体面上の点においても当
てはまり、被写体面を表す関数ｒ（ψ）を導入すると点
（ｒ（ψ），ψ）から出る光線の軌跡１９０２はＰ＝ｒ（ψ）ｓｉｎ（ψ−θ） …（９）で表される。

【００４０】従って、被写体面上の任意の点（ｒ
（ψ），ψ）から出る光線の軌跡１９０２の光線情報
は、軌跡１９０２と軌跡１９０１の中の各曲線２００
１，２００２，２００３，２００４，…との交点、つま
り２００５，２００６，２００７，２００８で与えられ
ることになる。このことは、被写体面上の点のみなら
ず、（Ｘ，Ｙ，Ｚ）座標上の任意の点についても言え
る。したがって、任意視点画像を再生する場合には、そ
の視点の位置情報によってその視点を通る光線の軌跡が
図２２の光線空間上に決定され、その軌跡と軌跡１９０
１の中の各曲線２００１，２００２，２００３，２００
４，…との交点における光線情報を採ってくることによ
って、任意視点画像の画面の１走査線が再生される。従
ってこの例においては平面１７０７に平行な各平面にて
同様の操作を行い、得られた走査線をＹ方向に積み上げ
ることによって任意視点画像の画面全体、つまり全ての
Ｙについての走査線を再生できる。

【００４１】被写体面上の一点ｒ（ψ）から出る光線の
光線空間上の軌跡が前述の式（９）で表せるということ
は、被写体面が、光線の方向によって光線情報の値があ
まり変わらない完全拡散面に近い性質の面である場合
は、被写体面上の一点ｒ（ψ）に対応する多視点画像
は、その点の座標ｒと輝度の代表値でモデル化でき、ま
た、被写体面が完全拡散面から遠い性質の場合は、座標
ｒとθの関数である輝度Ｌ（θ）でモデル化できること
を示している。ここでいう輝度とは、ＴＶカメラでいう
と輝度信号Ｙ及び色差信号Ｃｒ，Ｃｂ、または３原色の
信号Ｒ，Ｇ，Ｂなどに対応するものを称している点に注
意されたい。参照した文献ではこの輝度は、光線情報と
称せられている。

【００４２】次に図１を用いて本発明に係る多視点画像
符号化装置の一実施形態につき説明する。図で、多視点
画像入力部１００は例えば図２０で具体的な構成例を示
した、被写体とカメラの位置関係が既知の条件で複数の
視点からの画像の撮影が行える画像入力装置である。こ
こで入力された多視点画像はいったんハードディスクの
ような記憶部１０１に蓄えられる。制御部１０２は符号
化全体の制御を行うものである。符号化の手順は、
（１）全体の多視点画像を見てモデル化を行い、（２）
仮の符号化を行って全体の符号量との関係から量子化な
どの符号化のパラメータを決定した後、（３）実際の本
符号化を行うという、３フェーズよりなる。従って制御
部１０２はこれらの手順についての制御も行う。

【００４３】まず制御部１０２はモデリング部１０３に
モデル生成の指示を出し、モデルリング部１０３はその
指示に従って記憶部１０１をアクセスして記憶された多
視点画像を読み込み、上述した原理に基づくモデルを推
定するフェーズを開始する（モデルの推定方法の詳細に
ついては後述）。本実施形態ではモデルを表す情報は被
写体面上の各点の極座標ｒとその点の輝度の代表値とか
ら構成される。輝度の代表値としては、被写体面上の対
応する点からの法線方向に最も近い視点から撮られた視
点画像の該当する輝度情報が用いられる。あるいは、後
述の予測を考慮して全体の予測を最適化する値を求めて
もよい。そして、各点についてのモデル情報の輝度値
は、その点からの法線方向に最も近い視点から撮られた
視点画像の輝度情報としてフレーム内符号化して送られ
る（詳細は後述）。従ってモデルリング部１０３の仕事
は、被写体面上の各点に対応する極座標ｒの推定と、各
点に対応する代表輝度を得るべき視点画像の特定であ
る。

【００４４】この作業が終了すると、被写体面上の各点
の代表輝度として使用される視点画像内の該当するブロ
ックが、対応するｒの値よりなるブロックと共にＤＣＴ
回路１１１、量子化回路（Ｑ）１１２、可変長符号化回
路（ＶＬＣ）１１３よりなるフレーム内符号化回路に送
られる。この部分では、まずＤＣＴ回路１１１にてその
部分の輝度及びｒのブロックがＤＣＴされ、量子化回路
１１２にて量子化、可変長符号化回路１１３にて可変長
符号化され、多重化回路１１６に送られる。量子化回路
１１２にて量子化された信号は、また逆量子化回路（Ｑ
^-1）１１４にて逆量子化、逆ＤＣＴ回路（ＩＤＣＴ）１
１５にて逆ＤＣＴされ、モデル蓄積部１０４に蓄えられ
る。ここで、ｒの値は後述する予測信号の作成の性能に
大きく影響を与えるので、できるだけ細かく量子化する
ことが望ましい。また、ＤＰＣＭなど他の符号化方式を
用いることも考えられる。更に、完全に可逆な符号化を
用いることにしてもよい。また、輝度の値も多視点画像
全体の予測に使われる予測値のもととなるので、細かい
ステップサイズで量子化するのが望ましい。

【００４５】ＭＰＥＧなどの動画像符号化では通常Ｉ，
ＰピクチャをＢピクチャよりも細かく量子化するが、こ
の差別化の度合いよりも大きく差別化する、すなわちモ
デルとして送る輝度は後述する誤差の符号化で用いる量
子化よりもかなり細かく行うことが望ましい。制御部１
０２はトータルの目標符号化ビット数より、これらのモ
デルの量子化ステップサイズを決定し量子化回路１１２
及び逆量子化回路１１４に通知する。但し上述したよう
な理由によりモデル量子化ステップサイズは目標符号化
ビット数にあまり大きく影響されないように細かい値に
設定することが望ましい。

【００４６】モデル情報の符号化が終了すると、次に予
測誤差の仮符号化が行われ、これによって予測誤差符号
化のための量子化ステップサイズが決定される。ここで
は、まず、記憶部１０１より多視点画像が１フレーム
（各視点からの画像がそれぞれここでいうフレームで構
成されているとする）ずつ読み出される。各フレームに
対して、モデル蓄積部１０４に蓄えられたｒと輝度のモ
デル情報から予測信号生成部１０５にて予測信号が作成
される。図２を用いて予測信号が作成される原理を説明
する。

【００４７】図２は図２２のところで説明したｐ−θ平
面の図である。先に述べたように、多視点画像をＹ＝一
定の断面で切った一走査線に対応するものである。フレ
ーム２０１は現在符号化しようとしているフレーム（あ
る特定の角度から被写体を撮影することによって得られ
た視点画像）、フレーム２０２はモデルを含むフレーム
（代表輝度値として使用された部分を含む特定角度の視
点画像）、ブロック２０６はモデルとして符号化され復
号化されたブロックを示している。予測信号の作成は、
各入力される被符号化フレームに対して、ブロック２０
６のようにモデルとして符号化された全てのブロック上
の点からその被符号化フレームに対して投影を行うこと
により行われる。ブロック２０６上の点２０７は復号化
された輝度値及びｒの値を有している。この点も被写体
上の点より投影されてできているものであるから、その
点の輝度値は、既に説明した原理よりこの点の輝度の源
となっている被写体上の点の極座標表現を（ｒ，ψ）と
すれば、ｒｓｉｎ（ψ−θ）とフレーム２０２の交点と
して表現される。このうちｒの値は情報として復号化さ
れており、θの値はフレーム２０２の位置により一意に
決まるため、ψの値を求めればよい。

【００４８】この点を通るｒｓｉｎ（ψ−θ）の曲線は
例えば図の例では２０３，２０４の２通り存在するが、
図３に示すようにｐ−θ平面に見える点として投影され
るのはｚ＝ｒｃｏｓ（ψ−θ）の値が大きい方のψ１で
あることにより一意に求められる。従って、点２０７を
通る光線の軌跡は２０３と確定する。このことから、点
２０７から投影されるフレーム２０１上の点は両曲線２
０３，２０１の交点２０８となる。点２０８に投影され
る光線の軌跡は他にも存在しうる（この例では２０
５）。一点に複数の光線が投影された場合、図３の原理
に従いｚの値が最も大きい光線が最終的に投影されたこ
とになる（図の例では２０３）。モデルとして符号化さ
れた２０７のような全ての点からフレーム２０１への投
影を行うと、フレーム２０１は予測信号で密に埋まる。
モデルはこれを満たすように選択され符号化されてい
る。このようにして、符号化対象の各フレーム毎に、被
写体面上の各点のモデル情報によってそのフレームの画
像が予測される。

【００４９】また、別のやり方として、モデル化の負荷
を小さくし不完全なモデルを許容するやり方も考えられ
る。この場合はモデルの全点を投影し終わっても予測信
号が形成されない点がありうることになる。その場合予
測信号は０であるとしてよい（方法１）あるいは生成さ
れた近隣の予測信号から内挿する（方法２）。また逆
に、本実施形態ではモデルの符号化の最小単位はブロッ
クになっているので、被写体面上の点に対応する視点画
像上の点は被写体面上の点１点に対して複数回符号化さ
れる可能性がありうる。この場合、一点に重複して投影
された場合には、モデルからの投影における規則として
例えば非投影面に角度的に一番近い視点画像上でモデル
として符号化された点からの投影を有効にするなどとし
て、符号化側と復号側で投影による予測信号生成にミス
マッチが起こらないようにすることが必要である。

【００５０】このようにして生成された各フレームの予
測信号は減算器１０６にて、対応する入力フレームとブ
ロック単位で差分が取られ、予測誤差が求められる。こ
の予測誤差は、ＤＣＴ回路１０７に送られる。ここでブ
ロック単位でＤＣＴされた結果は、記憶部１０８に蓄積
されると共に量子化回路（Ｑ）１０９でブロック単位で
量子化される。ステップサイズ決定のための仮の符号化
のステージでは、量子化は固定の２通りのステップサイ
ズＱ_１，Ｑ_２で行われ、それぞれについて符号量カウン
タ１１７にて符号量が全てのフレームについて累積され
る。制御部１０２は２通りのステップサイズに対してそ
れぞれ得られた符号量と、トータルの目標符号量からモ
デルの符号量に費やした符号量及びヘッダ等の付加情報
に費やす符号量を差し引いた残りの符号量とから、トー
タルの符号量が目標内に入るためのステップサイズＱ_Ｅ
を、図４に示すように符号量とステップサイズとの関係
を表す曲線を内挿することによって推定して、この値が
次のステップである実際の予測誤差の符号化に使われ
る。具体的には、ｌｏｇ（符号量）＝α ｌｏｇＱ＋ β …（１０）を仮定し、Ｑ_１，Ｑ_２による符号化結果からαとβを推
定し、目標符号量から逆にＱ_Ｅを求める。ここで、各フ
レームの予測誤差情報はどれも同じ性質を有しており、
ＭＰＥＧのように再生フレーム間に性質の違いはないの
で、どのフレームの予測誤差についても同じステップサ
イズで量子化されるとの前提でステップサイズの推定を
行う。

【００５１】次の本符号化のステップでは、予測誤差情
報の生成およびＤＣＴについては仮符号化のステージで
すでに終了しているので、記憶部１０８に蓄えられたＤ
ＣＴの結果を読み出し、量子化回路１０９で量子化す
る。量子化回路１０９での量子化は先ほど述べた制御部
１０２にて推定された最適なステップサイズＱ_Ｅによっ
て行われ、結果が可変長符号化回路（ＶＬＣ）１１０に
て可変長符号化されて多重化回路１１６に送られる。こ
こで、量子化回路１０９にて量子化された係数情報がす
べて０のブロックについては、無効と判定し、そのブロ
ックについては情報を全く送らないものとする。本実施
形態の予測は物理現象に直接対応したモデルを使用して
いるので、モデル化がうまく行く画像については予測誤
差がほとんど出ないことが期待できる。従って情報量を
大幅に減らすためにこのように有効判定を行って無効な
ブロックを送らなくすることは非常に重要である。

【００５２】なお、図１では記憶装置１０１と１０８は
独立に書かれているがこれらは物理的に同じ物で構成し
てもよい。また、ＤＣＴ回路１０７と１１１、量子化回
路１０９と１１２、可変長符号化回路１１０と１１３に
ついても、モデルの符号化と予測誤差の符号化が同時に
は行われない点を考えるとハード的に共通化できる。

【００５３】次に、多重化回路１１６は可変長符号化回
路１１３からのモデル情報の符号化結果と可変長符号化
回路１１０からの予測誤差の符号化結果とを多重化し
て、多視点画像の符号化ストリームを出力する。この時
の多重化フォーマットを図６に示す。

【００５４】図６の多重化フォーマットの記述はＴＶ会
議用のＩＴＵ−Ｔ勧告Ｈ．２６１の多重化フォーマット
の記述方法に準じている。本実施形態ではフォーマット
は可能な限りＭＰＥＧ等の既存の符号化に似せたフォー
マットとなるようにした。まず、フォーマットは階層的
な構造とした。各レイヤの情報にはスタートコード、エ
ンドコードなどレイヤ固有の情報を含むヘッダおよびト
レイラが存在する。最上位階層は１セットの多視点画像
で表現されるオブジェクトレイヤであり、ＯＳＣ（Ｏｂ
ｊｅｃｔＳｔａｒｔＣｏｄｅ）、ＯＮ（Ｏｂｊｅｃ
ｔＮｕｍｂｅｒ）、被写体上の各点のモデル情報を含
むモデルレイヤ、各フレームの予測誤差情報を含む誤差
レイヤ、およびＯＥＣ（ＯｂｊｅｃｔＥｎｄＣｏｄ
ｅ）から構成されている。オブジェクトは次のレイヤで
モデルレイヤと誤差レイヤに分れる。再生側では、モデ
ルレイヤはどのような視点からの画像を再生する場合で
も必ずそのすべてが復号の初期のステージでアクセスさ
れるのに対して、誤差レイヤは再生すべき視点によって
アクセスされる部分が変わる。従って、必要な情報の検
索を容易にするために、モデルレイヤは図に示すように
オブジェクトレイヤの情報のうち前の方にまとめて配置
され、そのあとに誤差レイヤの情報が続くようになって
いる。

【００５５】モデルレイヤは、ＭＳＣ（ＭｏｄｅｌＳ
ｔａｒｔＣｏｄｅ）、輝度情報の量子化ステップサイ
ズを示すヘッダ（ＱＵＡＮＴ）、座標情報の量子化ステ
ップサイズを示すヘッダ（ＱＵＡＮＴ＿ｒ）、代表輝度
として使用された複数のフレームの情報を含むフレーム
レイヤ、およびＭＥＣ（ＭｏｄｅｌＥｎｄＣｏｄ
ｅ）から構成される。誤差レイヤは、ＥＳＣ（Ｅｒｒｏ
ｒＳｔａｒｔＣｏｄｅ）、誤差情報の量子化ステッ
プサイズを示すヘッダ（ＱＵＡＮＴ）、全てのフレーム
の予測誤差情報を含むフレームレイヤ、およびＥＥＣ
（ＥｒｒｏｒＥｎｄＣｏｄｅ）から構成される。

【００５６】モデルレイヤに含まれるフレームレイヤと
誤差レイヤに含まれるフレームレイヤは共通の構造を持
つ。各フレームレイヤは、ＰＳＣ（ＰｉｃｔｕｒｅＳ
ｔａｒｔＣｏｄｅ）、フレーム番号を示すヘッダ（Ｐ
Ｎ：ＰｉｃｔｕｒｅＮｕｍｂｅｒ）、そのフレームが
撮影された条件を示すヘッダ（Ｒ，ψ）、およびそのフ
レームに属する複数のスライスレイヤから構成されてい
る。Ｒは被写体の中心軸とカメラとの距離を示し、ψは
被写体に対するカメラの角度、つまりカメラの光軸と交
わる被写体面の角度座標を示す。これらＲ，ψの情報は
図２０，２１で説明したように固定距離、固定回転角ス
テップでの撮影である場合に限定すれば、オブジェクト
レイヤのヘッダに入れてもよいが、より一般的にはフレ
ーム毎にカメラとの距離や回転角のステップ幅が異なっ
ても問題無く、本実施形態ではフレームレイヤに存在す
るものとする。また、このＲ，ψの情報は論理的にはモ
デルまたは誤差のいずれか一方のフレームレイヤに入っ
ていれば再生可能であるが、アクセスを簡単にする都合
上ここでは両方に入れておくものとする。

【００５７】フレームレイヤの下は通常はマクロブロッ
ク（ＭＢ）レイヤであるが、ＭＰＥＧのように間にスラ
イスレイヤが入ってもよい（図６の例ではスライスレイ
ヤも記述）。スライスレイヤが入るとスライス毎へのア
クセスがしやすくなり、復号処理が楽になると共にオブ
ジェクトを回転軸に直交する面で切った一部のみの再生
がしやすくなる。

【００５８】各スライスレイヤは、ＳＳＣ（Ｓｌｉｃｅ
ＳｔａｒｔＣｏｄｅ）、ＳＮ（ＳｌｉｃｅＮｕｍ
ｂｅｒ）、およびそのスライスに属する複数のマクロブ
ロックレイヤから構成されている。マクロブロックレイ
ヤの下はブロックレイヤであり、この中はＤＣＴ係数
（Ｔｃｏｅｆｆ）とＥＯＢ（ＥｎｄｏｆＢｌｏｃ
ｋ）よりなる。

【００５９】モデルのマクロブロックは図５に示すよう
にｒ，Ｙ（輝度）、Ｃｒ，Ｃｂ（色差）のブロックより
なる。また、誤差のマクロブロックは、図５からｒのブ
ロックを取り除いたＹ（輝度）、Ｃｒ，Ｃｂ（色差）の
ブロックよりなる。スライス、マクロブロック共にヘッ
ダにはフレーム内でのアドレス情報を含み（ＳＮ及びＭ
ＢＡ）、情報の無いスライス、マクロブロックは送らな
い（スキップ）。マクロブロックレイヤのＣＢＰ（Ｃｏ
ｄｅｄＢｌｏｃｋＰａｔｔｅｒｎ）はマクロブロッ
ク内の情報を含むブロックのパターンを示す情報で、誤
差レイヤのマクロブロックについてのみ送られる。

【００６０】図６の多重化フォーマットの形式で作成さ
れた多視点画像ストリームはコンピュータ読み取り可能
な記録媒体に蓄積、または伝送路を介して再生側に伝送
される。

【００６１】次に図７を用いて図１に示した符号化装置
に対応する復号化装置の構成を説明する。

【００６２】この復号化装置は、視点を示す情報を入力
し、その視点からの画像を再生するような復号化装置で
ある。まず図１の符号化装置で生成された多視点画像ス
トリームが記録媒体から読み出され、または伝送路を介
して受信されて、分離回路６０１に入力される。ここ
で、ストリーム内のオブジェクト情報はモデルと誤差と
に分離される。モデル情報は可変長復号回路（ＶＬＤ）
６０７で可変長復号され、そのうちのＤＣＴ係数情報は
逆量子化回路（Ｑ^-1）６０８で逆量子化、逆ＤＣＴ回路
（ＩＤＣＴ）６０９で逆ＤＣＴされてフレーム番号や
Ｒ，ψの値などのようなヘッダに含まれていた付随する
情報とともにモデル蓄積部６１０に蓄積される。また、
誤差情報は誤差記憶部６０３に蓄積される。これで再生
の準備が整った状態になる。

【００６３】次に、再生の次のステップとして、視点入
力部６００より再生すべき視点の位置を表す情報が入力
される。視点入力部６００の例としては、ＶＲＭＬブラ
ウザで実現されている、表示画面上に仮想的なレバーや
ハンドルを表示し、これをマウスなどのポインティング
装置で仮想的に操作することによって視点位置を入力す
るシステムなどがあげられる。この入力によって対応す
る視点の画像の生成が開始される。この様子を図８を参
照しつつ説明する。

【００６４】まず、視点入力部６００は視点に対応する
パラメータ（視点座標）をアドレス計算回路６０２に送
る。アドレス計算回路６０２は、視点座標と前述の式
（９）からｐ−θ平面上で再生すべき画面を表す曲線７
０１を求め、更にモデル蓄積部６１０からのモデル情報
を参照して被写体面の各点の座標毎にそれに対応する光
線の軌跡を求める。図８においては、被写体面上のある
特定の１点に対応する光線の軌跡７０２たけが示されて
いる。

【００６５】次いで、アドレス計算回路６０２は、曲線
７０１と、軌跡７０２のような被写体面上の各点に対応
する光線の軌跡との各交点について、その交点位置に対
応する画像情報を再生する場合に複数の視点画像の中の
どの視点画像のどの画素位置を参照すべきかを計算によ
って求める。この場合、交点位置から一番近い視点画像
上の画素位置が、参照すべき画素位置として決定され
る。例えば、曲線７０１上における点７０３について
は、それに一番近い視点画像７０５上の画素位置７０４
が参照画素位置となる。この実施形態では、指定された
視点の画像を再生する場合に、参照すべき画素位置（例
えば、７０４）上に完全にその位置に対応する被写体面
上の点の画像が復号される。これは多視点画像としてあ
る程度多くの視点からの画像を用いる場合、受信側で任
意視点の画像を再生する際に、対応する視線方向に近い
光線を選択してこれで代用することに相当する。

【００６６】次に、予測信号生成部６１１は、計算され
た参照画素位置の情報に基づいて、モデル情報の各点か
ら再生すべき画面７０１上の７０３に相当する各点に対
して投影を行い、７０４に相当する位置に予測信号を形
成する。このようにして、指定された視点の予測画像が
モデル情報から作成される。この予測の手順は、図１の
符号化装置における予測信号の生成での説明において各
視点画像への予測信号を形成する時に行った手順と同じ
ものである。

【００６７】この予測信号生成処理と並行して、アドレ
ス計算回路６０２は計算された参照画素位置の情報に基
づいて、フレームメモリ６１３に対して指定された視点
画像を生成すべくアドレスを発生する。この時、誤差蓄
積部６０３に対しては、対応する参照画素をアドレス指
定するのに必要な、誤差情報を含むフレーム番号、マク
ロブロック番号、画素番号を送る。このアドレスに対応
するマクロブロックが誤差蓄積部６０３から読み出され
て可変長復号回路（ＶＬＤ）６０４で可変長復号され、
逆量子化回路（Ｑ^-1）６０５で逆量子化、逆ＤＣＴ回路
（ＩＤＣＴ）６０６で逆ＤＣＴされる。

【００６８】上記作成された予測信号と逆ＤＣＴされた
予測誤差信号とは加算器６１２にて加算され復号され
て、フレームメモリ６１３の対応する位置に書き込まれ
る。ここで、予測信号は画素ごと、予測誤差はブロック
単位で形成されるが、参照すべき画素位置は近い画素で
は同じ参照画面に属している可能性が高く、画素の数だ
け上述した処理を繰り返すのではなく一回の予測誤差ブ
ロックの復号で、そこに使える画素が複数含まれている
場合はそれらの画素はすべてまとめて復号される。この
ようにして、参照すべき画素位置毎に、モデル情報から
生成された予測信号と復号化された予測誤差信号とが加
算されてフレームメモリ６１３の対応する位置に書き込
まれることにより、指定された視点の画像が作成され
る。

【００６９】なお、上記説明では再生すべき視点に対応
する曲線７０１上における各点につき一番近い視点画像
から参照すべき画素位置を求めてそれを参照するように
したが、別の例として、曲面の各点（例えば、７０３）
をはさむ２つの視点画像上（７０５，７０６）上にそれ
ぞれ参照すべき画素位置（７０４，７０７）を求め、そ
れら画素位置についてそれぞれそれを参照して画素を生
成し、それら２つの画素値から内挿によって再生すべき
画素値を決定するようにしてもよい。

【００７０】次に、図９および図１０のフローチャート
を参照して、本発明に係る符号化方法の手順を説明す
る。

【００７１】この符号化方法は図１で説明した符号化装
置の符号化処理と同じ操作をコンピュータプログラムを
用いて実行するものであり、説明は大部分は図１の符号
化装置の説明と重複するため、詳細説明は省略し必要最
低限の説明にとどめる。

【００７２】ここでは、例として多視点画像に含まれる
視点画像の枚数はｎ_max（例えば１２０枚）として説明
する。まずステップ８００で、符号化しようとするオブ
ジェクトの目標総符号量を設定し、この値に基づきモデ
ル情報（＝ｒ及び輝度）を量子化するためのステップサ
イズＱ_ｒ（モデルレイヤのＱＵＡＮＴｒとして符号化
される）、Ｑ_Ｌ（モデルレイヤのＱＵＡＮＴとして符号
化される）が決定される。次にステップ８０１で多視点
画像が入力される。多視点画像は記憶部に蓄えられる。
次にステップ８０２でモデル推定が行われる。このステ
ップでは図１におけるモデル化部１０３で行われるのと
同様に被写体面上の各点の座標と輝度情報の推定が行わ
れる。次にステップ８０３でモデル情報の符号化が行わ
れる。符号化は図１で説明したＤＣＴ回路１１１、量子
化回路１１２で行われる符号化と全く同じであり、それ
らハードウェアを利用することによって、あるいはソフ
トウェアのみによってモデル情報の符号化が行われる。

【００７３】次にステップ８０４で、上記ステップ８０
３で符号化された情報が復号されモデル情報として蓄積
される。並行してステップ８０５で上記ステップ８０３
で符号化された情報を可変長符号化し一時記憶部に蓄え
る。次に各視点画像の仮符号化のフェーズに入る。

【００７４】まずステップ８０６でｎとＳＵＭ１，ＳＵ
Ｍ２を０にセットし、符号化のループが開始する。ステ
ップ８０８で画像ｎが読み出され、ステップ８０９で画
像ｎが符号化される。符号化のステップについては後述
するが、この中の量子化のステップではあらかじめ決め
られた量子化ステップサイズＱ_１およびＱ_２を使って量
子化する。ＤＣＴまでのステップは仮符号化後の本符号
化でも同じなので、ここまでの結果を記憶部に蓄積す
る。この場合、先に蓄積した画像ｎは不要となるのでこ
こに上書きしてよい。次にステップ８１０でＳＵＭ１，
ＳＵＭ２にそれぞれＱ１，Ｑ２で符号化したときに発生
した符号量Ｎｏｂ１，Ｎｏｂ２を加算する。このループ
を画像の枚数分繰り返した後、ステップ８１２でＳＵＭ
１，ＳＵＭ２の値を使って予測誤差を本符号化するため
のステップサイズＱＥ（誤差レイヤのＱＵＡＮＴとして
符号化される）を決定する。決定の方法については既に
図１の符号化装置の説明で述べた通りである。続いてス
テップ８１３以降の本符号化のループに入る。

【００７５】まずステップ８１５で画像ｎに対応するＤ
ＣＴ処理までなされた結果を順次読み出す。次にステッ
プ８１６で、ステップ８１５で読み出されたデータを符
号化する。この場合の符号化は図１で説明した量子化回
路１０９での量子化と可変長符号化回路１１０での可変
長符号化と同じでおり、それらハードウェアを利用する
ことによって、あるいはソフトウェアのみによって符号
化が行われる。

【００７６】量子化においてはステップ８１２で決定し
た量子化ステップサイズＱ_Ｅを使用する。所定の枚数の
画像の符号化処理が終了したら、最後にステップ８１８
においてステップ８０５で得られたモデルの情報の後ろ
に誤差の情報を多重化して１つのオブジェクトの全体の
符号化処理は終了する。

【００７７】次に図１１を用いて図９のフローチャート
におけるステップ８０９の符号化処理の詳細手順につき
説明する。

【００７８】まずステップ９０１で画面ｎに対する予測
信号がモデル情報から計算によって求められる。この求
め方は既に図１で説明した方法と全く同じである。次に
ステップ９０２からの画面内のマクロブロックの処理ル
ープに入る。まずステップ９０４にてｍｂ番目のマクロ
ブロックのデータが読み出され対応する部分の予測信号
との差分がとられる。次にステップ９０５，９０６，９
０８によりそれぞれＤＣＴ、量子化、可変長符号化が施
される。これらの処理は図１で説明したＤＣＴ回路１０
８、量子化回路１０９、可変長符号化回路１１０で行わ
れるのと全く同じ処理であり、それらハードウェアを利
用することによって、あるいはソフトウェアのみによっ
て行われる。なお、ＤＣＴ後のデータはステップ８１６
で読み出すために蓄積される。量子化では先に述べたよ
うにステップサイズＱ_１，Ｑ_２が用いられる。また、ス
テップ９０７はここではスルーである。１画面のマクロ
ブロックをすべて処理し終わったら（ｍｂ＝ｍ
ｂ_last）、その画面の処理は終了する。図１０のフロー
チャートにおけるステップ８１６の符号化処理では図１
１の手順からステップ９０１，９０４，９０５を除き、
ステップ９０６をＤＣＴ処理されたデータを読み込んだ
後に量子化する処理とする。この場合の量子化ステップ
サイズは既に述べたようにＱＥである。次にステップ９
０７にてそのマクロブロックの有効判定が行われ有効な
マクロブロックのみがステップ９０８で可変長符号化さ
れる。

【００７９】次に、図１２および図１３を参照して本発
明に係る復号化方法の処理手順を説明する。

【００８０】この復号化方法は図７で説明した復号化装
置と同じ操作をコンピュータプログラムを用いて行う方
法であり、説明の大部分は復号化装置の説明と重複する
ため、詳細説明は省略し必要最低限の説明にとどめる。

【００８１】まずステップ１０００で符号化されたデー
タを入力する。入力されたデータは既に説明したように
モデルの情報と予測誤差の情報が多重されているので、
ステップ１００１でこの情報を分離する。次に分離され
た情報のうちまずモデルの情報をステップ１００２で復
号し記憶部に蓄える。復号は図７で説明した可変長復号
回路６０７、逆量子化回路６０８、逆ＤＣＴ回路６０９
で行われる処理と全く同じであり、それらハードウェア
を利用することによって、あるいはソフトウェアのみに
よって行われる。次にステップ１００３で視点の位置情
報を入力する。以下このループ内ではこの視点から見た
画像作成の処理が行われる。

【００８２】まず、図８で説明した再生画面のｐ−θ面
上での曲線７０１を計算する。この曲線はＹの値によら
ず共通である。次にスライスのループに入る。この例で
は１マクロブロックラインを１スライスとして符号化さ
れたものとし、復号はスライス毎に行うとして説明す
る。

【００８３】画面７０１の再生においては、被写体の形
状に応じて異なったｐに相当する部分が参照画素として
使用されるが、Ｙ座標は同じ値が参照されるのでマクロ
ブロックライン（＝スライス）毎の処理はこの性質に適
している。

【００８４】次にステップ１００７で再生画像の各点
（例えば７０３）に対する参照画素位置（例えば、７０
４）を計算する。次にステップ１００８で参照画素位置
にモデルから投影を行って予測信号を作成する。これら
の手順は図８を用いて既に説明した通りである。次にス
テップ１００９で再生画像の画素毎にステップ１００６
で得られた情報から参照すべき画像内のマクロブロック
アドレスを計算する。この時点で１つのマクロブロック
を復号することによって再生画像の何点が同時に再生可
能かが認識される。

【００８５】この結果参照すべきマクロブロック数ｍｂ
max が設定される。ここからｍｂmax のループが始ま
る。まずステップ１０１２で誤差が読み出されステップ
１０１３で誤差が復号される。誤差の復号は図７で説明
した可変長復号回路６０４、逆量子化回路６０５、逆Ｄ
ＣＴ回路６０６で行われる処理と全く同じであり、それ
らハードウェアを利用することによって、あるいはソフ
トウェアのみによって行われる。

【００８６】次にステップ１０４で予測信号と予測誤差
が加算されて画像が再生され、ステップ１０１５でフレ
ームメモリの対応するアドレスに書きこまれる。以上の
処理をｍｂmax 個のすべてのマクロブロックに対して行
って１スライスの処理を終了する。全スライスの処理を
終了して入力された視点に対応する再生画像の生成処理
は終了し、別の視点の入力が新たに行われればまた同じ
処理を繰り返す。

【００８７】次に、図１の符号化装置および図９，図１
０の符号化方法で用いられるモデル関係の処理の一例を
説明する。

【００８８】図１４はモデル推定の手順を示すフローチ
ャートである。

【００８９】まずステップ１１００にて各視点からの画
像に対してテクスチャとして特徴のある被写体上の点を
抽出する。この方法としては例えば点を含む所定の大き
さ（あまり大きくない方が望ましいと思われる。例えば
５* ５画素など）のブロックについて水平方向のエッジ
検出を行い、しきい値以上の大きさのエッジが得られた
ブロックを特徴点として抽出する。ステップ１１０１で
は得られた複数の特徴点に対して処理する順序付けを行
う。処理はｐ−θ平面でｐ＝０に近いところにある特徴
点から処理するものとする。次にステップ１１０２から
特徴点の数の処理ループに入る。各点に対応するｒの値
の推定はステップ１１０６で上述したブロックでの動き
ベクトル（ＭＶ）検出を行うことにより行われるが、そ
の際のＭＶの探索範囲がステップ１１０５で制限され
る。この探索範囲の制限が行える原理を図１５を用いて
説明する。

【００９０】今注目している点に対応する光線のｐ−θ
平面上での軌跡を１２０１とする。図１５においてブロ
ック１２０２についてＭＶ検出を行おうとするとき、こ
の軌跡上１２０１でθ＝ψ±９０度に対応する点は、図
１６に示すようにその点が見えていればｒの値が直接見
えている視点である。従って、ｒの値はこの位置での包
絡線のうち小さい方よりも必ず小さい値となる。従って
この値を一画面間隔に換算したＭＶがＭＶ探索すべき範
囲の最大値とする。このように多視点画像から得られる
性質を利用して必要のない計算を避けることができる。
次にステップ１１０６で隣り合った画像同士でのＭＶ探
索が行われる。これは、図１７に示すようにまず特徴点
ｋから隣の画像に対して探索が行われ得られたブロック
から更に隣の画像に対して探索を行うというように連続
して行う。この場合すべて探索の範囲はステップ１１０
５で得られた値が上限である。また、ＭＶ探索で予測誤
差を比較する際に誤差の差があまり無い場合には特徴点
として選ばれた点が優先的に選ばれるように判定基準を
設定する。このステップで特徴点ｋと対応づけられた他
の特徴点ｋ＋αについてはスキップフラグを仮に立て、
後述のステップでこの点につきｒの値が確定した時点で
スキップフラグを確定する。

【００９１】ステップ１１０４の判定条件ではステップ
フラグの立っている特徴点は既にｒが確定した点に対応
するものとして以降の処理をスキップする。次にステッ
プ１１０７において所定の枚数以上の画像間で共通のｒ
の値でつじつまが合うようなＭＶが求められたかを判断
する。ここでＹＥＳであればその点に対してエッジに対
応する画素に対してｒの値がフィットするかをステップ
１１０８で確認しｒの細かい精度に対して微調節を行っ
た後にステップ１１０９でその点に対してｒの値を確定
し対応するψの値と組にして記憶する。以上の操作を特
徴点の数だけ行うと特徴的なテキスチャを持つ点につい
てｒの値が決まるので、ステップ１１１１でｒが決まっ
た点の間の面上の点のｒを求める。この面上の点はテキ
スチャが無いので、ｒが決まった点の間を直線近似した
ｒの値を初期近似として再構成しながら各視点の画像と
比較してｒの値を調整して確定する。最後にステップ１
１１２で得られたモデルの推定値から全体の光線空間を
再構成し比較して微調整を行いモデルの推定を終了す
る。本実施形態においてはモデルの推定がある程度間違
っていてもこれを用いて予測を行った後に誤差を送るの
で、復号再生側で再構成される光線空間は実際と大きく
違ったものになることはない。

【００９２】また、モデルの推定としてより確実に形状
情報を得られる別の方法としては、被写体の形状を入力
された多視点画像から推定するのではなく３Ｄディジタ
イザやレンジファインダといった３Ｄ計測機器で直接形
状情報を取得する方法を用いてもよい。この場合、入力
のフェーズでの手間はかかるが予測が非常によくなるこ
とが期待できる。

【００９３】次に上記により得られた被写体面上の各点
の座標の情報（＝被写体の形状の情報）から、モデルの
情報をどの視点画像の情報として送るかを決定する方法
につき説明する。

【００９４】図１８は上記の形状の推定により得られた
被写体断面を表した図である。断面上は通常離散的にサ
ンプルされた点に対して得られた座標の形で表される。
図で点Ａと点Ｂで挟まれる面を考える。これらの点は極
座標に変換するとそれぞれ（ｒ_１，ψ_１）、（ｒ_２，ψ
_２）で表され、そのなす角度はΔψであるとする。この
ときこの面の法線方向を平均的に近似する角度θＡＢはｒ_１ｃｏｓθ_ＡＢ＝ｒ_２ｃｏｓ（θ_ＡＢ−Δψ）を解く事によって得られる。図１９はｐ−θ平面で点Ａ
および点Ｂに対応する光線の軌跡（それぞれ１６０１，
１６０２）を描いたものである。以上の計算により点Ａ
と点Ｂとの間の面はψ_１からθ_ＡＢだけずれた位置に最
も近い視点画像１６０３上で符号化されるのが最も解像
度が取れていることになる。従ってこの視点画像上で点
Ａの軌跡と点Ｂの軌跡で囲まれた領域１６０４をモデル
情報として前述したようにｒの値と共に符号化する。こ
のときｒの値は画素毎に得られる限りの精度で符号化す
ることは前述した通りである。

【００９５】以上の実施形態においては、多視点画像と
してかなり多く（例えば１２０枚）の画像を扱うものと
して述べてきたが、この枚数は必要とされる画質と情報
量の兼ね合いによって少なくする事が可能である。特
に、上述した実施形態でのモデル化のステージは誤差の
影響を受けやすいので多くの画像を用いる程よい性能が
得られると思われるが、モデル及び誤差として送られる
視点画像の数はたとえモデル化に１２０枚の画像を使用
したとしても例えば３０枚等に落として伝送、蓄積して
再生に用いるとしても十分実用に耐えうるものである。
但し、前述したように送るべき多視点画像の枚数が多く
てもモデルがよくあたるような被写体の場合、送る情報
量は少なくても済む。従って枚数を減らすのはモデルが
あたりにくい複雑な被写体で情報量もかなり少なくした
い場合に有効ということになろう。

【００９６】

【発明の効果】以上説明したように、本発明によれば、
入力多視点画像と予測画像との誤差を符号化することに
より、符号化ストリームとして蓄積・伝送される情報量
を十分に低減することが出来ると共に、被写体の複雑さ
に関わらず高いリアリティを持った再生を実現できる。
さらに、予測画像の生成に用いた各点のモデル情報はそ
の点の代表輝度として使用される視点画像の輝度情報と
して符号化されているので、ブロック符号化等の空間的
な相関の除去を行うような圧縮方法を用いることによっ
てモデルの情報も大幅に圧縮することができる。代表輝
度として使用された画像部分については、予測誤差情報
を用いることが不要となり、その分の情報も節約でき
る。これらより、十分なモデル精度を保ちつつその情報
量を少なく押さえることが出来る。従って、多視点画像
を高い質感を保ちつつ少ない情報量で表現できるように
なり、任意視点画像をリーズナブルな情報量で且つ高い
質感で再生することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る多視点画像符号化装
置の構成を示すブロック図。

【図２】同実施形態の符号化装置で用いられる予測信号
の作成原理を説明する図。

【図３】同実施形態の符号化装置における重なった光線
の処理を説明する図。

【図４】同実施形態の符号化装置において仮符号化によ
り量子化ステップサイズを決定する原理を説明する図。

【図５】同実施形態の符号化装置におけるマクロブロッ
クの構成例を示す図。

【図６】同実施形態の符号化装置で作成される符号化ス
トリームの多重化フォーマットの一例を示す図。

【図７】本発明の一実施形態に係る多視点画像復号化装
置の構成を示すブロック図。

【図８】同実施形態の多視点画像復号化装置で用いられ
る参照画素算出動作の原理を説明する図。

【図９】本発明の一実施形態に係る多視点画像符号化方
法の手順の一部を示すフローチャート。

【図１０】同実施形態に係る多視点画像符号化方法の手
順の残りの一部を示すフローチャート。

【図１１】図９の符号化ステップの詳細を説明するフロ
ーチャート。

【図１２】本発明の一実施形態にかかる多視点画像復号
化方法の手順の一部を示すフローチャート。

【図１３】本発明の一実施形態にかかる多視点画像復号
化方法の手順の残りの一部を示すフローチャート。

【図１４】本発明一実施形態にかかる多視点画像符号化
装置／方法で使用されるモデル化の手順を示すフローチ
ャート。

【図１５】図１４のモデル化処理における探索範囲の制
限について説明するための図。

【図１６】図１４のモデル化処理における探索範囲の制
限について説明するための図。

【図１７】図１４のモデル化処理におけるＭＶ検出につ
いて説明する他の図。

【図１８】本発明一実施形態にかかる多視点画像符号化
装置／方法においてモデルを送る視点画像を求める原理
を説明する図。

【図１９】本発明一実施形態にかかる多視点画像符号化
装置／方法においてモデルを送る視点画像を求める原理
を説明する他の図。

【図２０】本発明一実施形態にかかる多視点画像符号化
装置／方法で使用される画像入力装置の構成を示す斜視
図。

【図２１】図２０において被写体の断面と極座標の関係
を説明する平面図。

【図２２】図２０の画像入力装置から入力された多視点
画像のｐ−θ平面上での位置関係を説明する図。

【図２３】光線空間を円筒記録する原理を説明するため
の図。

【符号の説明】

１００…画像入力部１０１，１０８…記憶部１０２…制御部１０３…モデル化部１０４…モデル蓄積部１０５，６１１…予測信号生成部１０６，６１２…加算器１０７，１１１…ＤＣＴ回路１０９，１１２…量子化回路１１０，１１３…可変長符号化回路１１４，６０４，６０８…逆量子化回路１１５，６０６，６０９…逆ＤＣＴ回路１１６…多重化回路１１７…符号量カウンタ６００…視点入力部６０１…分離回路６０２…アドレス計算回路６０３…誤差記憶部６０４，６０７…可変長復号回路６１０…モデル蓄積部６１３…フレームメモリ

Claims

【特許請求の範囲】

【請求項１】被写体との位置関係が既知の複数の視点
からそれぞれ得られた前記被写体についての複数の視点
画像を入力し、それら複数の視点画像を含む多視点画像
を符号化する多視点画像符号化装置において、前記多視点画像をモデル化して前記被写体面上の各点の
座標値および輝度値から構成されるモデル情報を生成す
るモデル化手段であって、前記被写体面上の各点毎にモ
デルとして使用すべき視点画像を決定し、その視点画像
内の対応する輝度情報を前記モデル情報の対応する点の
輝度値として使用するモデル化手段と、前記被写体面上の各点の座標値および輝度値から構成さ
れるモデル情報を、それら各点のモデルとして使用され
た視点画像の画像情報として符号化する手段と、前記モデル情報から前記各視点画像の画像を予測し、そ
の予測画像と前記各入力視点画像との予測誤差を符号化
する手段と、符号化された前記モデル情報および予測誤差を多重化し
て、前記多視点画像の符号化ストリームを生成する多重
化手段とを具備することを特徴とする多視点画像符号化
装置。
【請求項２】前記被写体面上の点からの法線方向に最
も近い視点を持つ視点画像が、その点のモデルとして使
用されることを特徴とする請求項１記載の多視点画像符
号化装置。
【請求項３】前記多重化手段は、前記被写体面上の各
点の座標値および輝度値から構成されるモデル情報を、
前記予測誤差情報が多重化される前記符号化ストリーム
上の情報位置とは異なる他の情報位置にまとめて多重化
することを特徴とする請求項１または２記載の多視点画
像符号化装置。
【請求項４】被写体との位置関係が既知の複数の視点
からそれぞれ得られた前記被写体についての複数の視点
画像を含む多視点画像の符号化ストリームを復号する多
視点画像復号化装置であって、前記符号化ストリームに
は、前記被写体面上の各点の座標値および輝度値から構
成されたモデル情報と、このモデル情報から前記各視点
画像の画像を予測してその予測結果と前記各入力視点画
像との予測誤差を符号化することによって得られた予測
誤差情報とが多重化されており、前記モデル情報の各点
の輝度は、その点のモデルとして使用された視点画像内
の対応する輝度情報として符号化されている多視点画像
復号化装置において、前記符号化ストリームから前記モデル情報と前記予測誤
差情報とを分離する手段と、前記符号化ストリームから分離された前記予測誤差情報
を復号化する手段と、前記符号化ストリームから分離されたモデル情報を復号
化して、再生対象の視点画像を予測する予測手段と、この予測によって得られた予測画像と前記予測誤差情報
の復号によって得られた画像とを合成して、前記再生対
象の視点画像を再生する手段とを具備することを特徴と
する多視点画像復号化装置。
【請求項５】再生すべき画像の視点を指定する位置情
報を入力する手段と、前記被写体面上の各点の座標値および輝度値から構成さ
れるモデル情報および前記入力位置情報に基づいて、前
記指定された視点からの画像を再生するために前記多視
点画像より参照すべき画素位置を求める手段とをさらに
具備し、前記求められた画素位置毎にそれに対応する前記予測画
像と前記予測誤差情報の復号結果とを合成することによ
り、前記指定された視点からの画像を再生することを特
徴とする請求項４記載の多視点画像復号化装置。
【請求項６】前記符号化ストリームには、前記被写体
面上の各点の座標値および輝度値から構成されるモデル
情報が、前記予測誤差情報が多重化される前記符号化ス
トリーム上の情報位置とは異なる他の情報位置にまとめ
て多重化されており、前記予測手段は、前記第２情報位置のモデル情報をアク
セスして前記求められた各画素位置の予測画像を生成
し、前記前記予測誤差情報を復号する手段は、前記求められ
た各画素位置を復号するのに必要な予測誤差情報のみを
アクセスしてその復号を行うことを特徴とする請求項５
記載の多視点画像復号化装置。
【請求項７】前記符号化ストリームのモデル情報は、
前記被写体面上の点からの法線方向に最も近い視点を持
つ視点画像をその点のモデルとして使用していることを
特徴とする請求項４記載の多視点画像復号化装置。
【請求項８】被写体との位置関係が既知の複数の視点
からそれぞれ得られた前記被写体についての複数の視点
画像を入力し、それら複数の視点画像を含む多視点画像
を符号化する多視点画像符号化方法において、前記被写体面上の各点毎にモデルとして使用すべき視点
画像を決定し、その視点画像内の対応する輝度情報を用
いることによって前記被写体面上の各点の座標値および
輝度値から構成されるモデル情報を生成し、前記被写体面上の各点の座標値および輝度値から構成さ
れるモデル情報を、それら各点のモデルとして使用され
た視点画像の画像情報として符号化し、前記モデル情報から前記各視点画像の画像を予測し、そ
の予測画像と前記各入力視点画像との予測誤差を符号化
し、符号化された前記モデル情報および予測誤差を多重化し
て、前記多視点画像の符号化ストリームを生成すること
を特徴とする多視点画像符号化方法。
【請求項９】前記被写体面上の点からの法線方向に最
も近い視点を持つ視点画像が、その点のモデルとして使
用されることを特徴とする請求項８記載の多視点画像符
号化方法。
【請求項１０】前記被写体面上の各点の座標値および
輝度値から構成されるモデル情報は、前記予測誤差情報
が多重化される前記符号化ストリーム上の情報位置とは
異なる他の情報位置にまとめて多重化されていることを
特徴とする請求項８または９記載の多視点画像符号化方
法。
【請求項１１】被写体との位置関係が既知の複数の視
点からそれぞれ得られた前記被写体についての複数の視
点画像を含む多視点画像の符号化ストリームを復号する
多視点画像復号化方法であって、前記符号化ストリーム
には、前記被写体面上の各点の座標値および輝度値から
構成されたモデル情報と、このモデル情報から前記各視
点画像の画像を予測してその予測結果と前記各入力視点
画像との予測誤差を符号化することによって得られた予
測誤差情報とが多重化されており、前記モデル情報の各
点の輝度は、その点のモデルとして使用された視点画像
内の対応する輝度情報として符号化されている符号化ス
トリームを復号する多視点画像復号化方法において、前記符号化ストリームから前記モデル情報と前記予測誤
差情報とを分離し、前記符号化ストリームから分離された前記予測誤差情報
を復号化し、前記符号化ストリームから分離されたモデル情報を復号
化して、再生対象の視点画像を予測し、この予測によって得られた予測画像と前記予測誤差情報
の復号によって得られた画像とを合成して、前記再生対
象の視点画像を再生することを特徴とする多視点画像復
号化方法。
【請求項１２】再生すべき画像の視点を指定する位置
情報を入力し、前記被写体面上の各点の座標値および輝度値から構成さ
れるモデル情報および前記入力位置情報に基づいて、前
記指定された視点からの画像を再生するために前記多視
点画像より参照すべき画素位置を求め、前記求められた画素位置毎にそれに対応する前記予測画
像と前記予測誤差情報の復号結果とを合成することによ
り、前記指定された視点からの画像を再生することを特
徴とする請求項１１記載の多視点画像復号化方法。。
【請求項１３】前記符号化ストリームには、前記被写
体面上の各点の座標値および輝度値から構成されるモデ
ル情報が、前記予測誤差情報が多重化される前記符号化
ストリーム上の情報位置とは異なる他の情報位置にまと
めて多重化されており、前記各画素位置の予測画像をの生成は、前記モデル情報
をアクセスすることによって行われ、前記各画素位置の予測誤差情報の復号は、その画素位置
をを復号するのに必要な予測誤差情報のみをアクセスす
ることによって行われることを特徴とする請求項１２記
載の多視点画像復号化方法。
【請求項１４】被写体との位置関係が既知の複数の視
点からそれぞれ得られた前記被写体についての複数の視
点画像を含む多視点画像を符号化するためのプログラム
が記録された記録媒体において、前記プログラムには、前記被写体面上の各点毎にモデルとして使用すべき視点
画像を決定し、その視点画像内の対応する輝度情報を用
いることによって前記被写体面上の各点の座標値および
輝度値から構成されるモデル情報を生成する手順と、前記被写体面上の各点の座標値および輝度値から構成さ
れるモデル情報を、それら各点のモデルとして使用され
た視点画像の画像情報として符号化する手順と、前記モデル情報から前記各視点画像の画像を予測し、そ
の予測画像と前記各入力視点画像との予測誤差を符号化
する手順と、符号化された前記モデル情報および予測誤差を多重化し
て、前記多視点画像の符号化ストリームを生成する手順
とが記述されていることを特徴とする記録媒体。
【請求項１５】被写体との位置関係が既知の複数の視
点からそれぞれ得られた前記被写体についての複数の視
点画像を含む多視点画像の符号化ストリームが記録され
る記録媒体であって、前記符号化ストリームには、前記被写体面上の各点の座標値および輝度値から構成さ
れたモデル情報と、このモデル情報から前記各視点画像
の画像を予測してその予測結果と前記各入力視点画像と
の予測誤差を符号化することによって得られた予測誤差
情報とが多重化されており、前記モデル情報の各点の輝度は、その点のモデルとして
使用された視点画像内の対応する輝度情報として符号化
されていることを特徴とする記録媒体。
【請求項１６】被写体との位置関係が既知の複数の視
点からそれぞれ得られた前記被写体についての複数の視
点画像を入力し、それら複数の視点画像を含む多視点画
像を符号化する多視点画像符号化装置において、前記多視点画像をモデル化して、前記被写体面上の各点
の座標値および輝度値から構成されるモデル情報を生成
するモデル化手段と、前記モデル情報から前記各視点画像の画像を予測し、そ
の予測画像と前記各入力視点画像との予測誤差を符号化
する手段と、前記被写体面上の各点の座標値および輝度値から構成さ
れるモデル情報を符号化する手段と、符号化された前記モデル情報および予測誤差を多重化し
て、前記多視点画像の符号化ストリームを生成する多重
化手段とを具備することを特徴とする多視点画像符号化
装置。
【請求項１７】被写体との位置関係が既知の複数の視
点からそれぞれ得られた前記被写体についての複数の視
点画像を入力し、それら複数の視点画像を含む多視点画
像を符号化する多視点画像符号化方法において、前記被写体面上の各点毎にモデルとして使用すべき視点
画像を決定し、その視点画像内の対応する輝度情報を用
いることによって前記被写体面上の各点の座標値および
輝度値から構成されるモデル情報を生成し、前記被写体面上の各点の座標値および輝度値から構成さ
れるモデル情報を符号化し、前記モデル情報から前記各視点画像の画像を予測し、そ
の予測画像と前記各入力視点画像との予測誤差を符号化
し、符号化された前記モデル情報および予測誤差を多重化し
て、前記多視点画像の符号化ストリームを生成すること
を特徴とする多視点画像符号化方法。