JP5859441B2 - ３ｄビデオにおける追加のビューを生成するための視点の選択 - Google Patents

Description

本発明は、ビデオデータ信号を符号化する方法であって、第１視点から見られるシーンの第１画像を少なくとも提供し、レンダリング視点から見られるシーンの少なくとも１つのレンダリング画像の生成を可能にするためのレンダリング情報を提供し、第１画像及びレンダリング情報を表す符号化データを含むビデオデータ信号を生成する方法に関する。

本発明はさらに、ビデオデータ信号を復号する方法、符号器、復号器、符号化又は復号化のためのコンピュータプログラム製品、ビデオデータ信号及びデジタルデータキャリアに関する。

三次元(3D)ビデオの新生の技術において、三次元をビデオデータ信号に符号化するためのさまざまな方法が存在する。一般的に、これは、観察されているシーンの異なるビューを観察者の目に提供することによって実行される。3Dビデオを表すための普及しているアプローチは、１つ以上の二次元(2D)画像に加えて第三の次元の情報を提供する深さ表現を用いることである。このアプローチはさらに、3Dビデオ信号中に含まれる2D画像とは異なる視点及び観察角をもつ2D画像が生成されることを可能にする。そのようなアプローチは、比較的低い複雑度で更なるビューが生成されることを可能にし、効率的なデータ表現を提供して、それによって例えば3Dビデオ信号のための記憶及び通信リソース要求を低減することを含む、複数の利点を提供する。好ましくは、ビデオデータは、利用可能な視点からは見えないが、僅かに異なる視点からは見えるようになるデータによって拡張される。このデータは、遮蔽又は背景データと呼ばれる。実際には、遮蔽データは、異なる視点で複数のカメラによりシーンを取り込むことによって取得されるマルチビュー・データから生成される。

新たに生成されるビュー中で非遮蔽化されるオブジェクトを再構成するためのデータの利用可能性は、フレーム毎に、そして１つのフレーム内でさえ、異なる可能性があることが、上記したアプローチの問題点である。結果として、異なる視点に対して生成される画像の品質が変化する可能性がある。

異なる視点を有するより高い品質の画像を生成することを可能にする、冒頭の段落に記載されるようなビデオデータ信号を符号化する方法を提供することが本発明の目的である。

本発明の第１の態様によれば、この目的は、ビデオデータ信号を符号化する方法を提供することによって達成され、当該方法は、第１視点から見られるシーンの第１画像を少なくとも提供し、レンダリング視点から見られるシーンの少なくとも１つのレンダリングされた画像の生成を可能にするためのレンダリング情報を提供し、第１視点に対するレンダリング視点の好ましい方位を定める好適方向インジケータを提供し、第１画像を表す符号化データ、レンダリング情報及び好適方向インジケータを含むビデオデータ信号を生成する。

上で説明されるように、異なる観察ポイントから生成される画像の品質は、非遮蔽化されるオブジェクトの再構成のために必要とされるデータの利用可能性に関連している。視点を左にシフトするためのデータは利用可能であるが、視点を右にシフトするためのデータは利用可能ではない状況を考える。結果的に、視点を左にシフトすることは、視点を右にシフトすることとは異なる品質を有する画像を生成する可能性がある。

非遮蔽化される領域を充填するために不十分な非遮蔽情報しか利用できないか又はいかなる遮蔽情報も利用できない場合、同様の品質の差が発生する可能性がある。そのような場合、非遮蔽化される領域は、いわゆるホール充填アルゴリズムを用いて充填される場合がある。一般に、そのようなアルゴリズムは、非遮蔽化される領域の直近からの情報を補間する。結果的に、視点を左にシフトすることは、視点を右にシフトすることとは異なる品質を有する画像を生成する可能性がある。

そのような品質の違いは、必要なデータの利用可能性のみならず、視点をシフトするときに非遮蔽化される表面領域のサイズ及び性質によっても、影響される。結果として、3Dビデオ又は画像の品質は、新たに選択される視点によって変化する可能性がある。例えば、新たなビューが既に利用可能な第１画像の視点の左側で生成されるのか又は右側で生成されるのかが問題となる可能性がある。

本発明によれば、好適方向インジケータを生成して、それをビデオ信号中に含めることがソリューションである。好適方向インジケータは、ビデオ信号中にすでに含まれる画像の元の視点に対する、追加のビューのためのレンダリング視点の好ましい方位を定める。ビデオ信号が復号されるときに、好適方向インジケータは、レンダリング視点を選択して、選択された視点からのシーンのレンダリング画像を生成するために用いられることができる。

ビデオデータ信号は、フレーム毎、フレームのグループ毎、シーン毎又はビデオ・シーケンス全体のための好適方向インジケータを含むことができる。より粗い粒度よりむしろフレーム毎にそのような情報を符号化することは、例えば、トリック・プレーをサポートするためのランダムアクセスを可能にする。多くの場合、好適レンダリング・インジケータがさまざまなフレームに対して一定であり、符号化されたビデオ信号のサイズが一般的に重要であるので、重複するインジケータの量は、代わりにフレームのグループを基準として情報を符号化することによって低減されることができる。また更に効率的な符号化は、好ましくはレンダリングの好適な方向はシーンを通して同じに保たれるので、シーン毎に好適な方向を符号化することであり、それによって、シーン内での連続性を保証する。

オプションとして、符号化された信号のサイズがそれ程重要ではない場合、情報は同様に、全てのインジケータが互いに整合して設定されるかぎり、フレーム、フレームのグループ及びシーン・レベルで符号化されることができる。

レンダリング視点の選択における変更がレンダリングにおいてコンテンツの知覚される連続性に影響を及ぼす場合があるので、好適方向インジケータは、好ましくは数フレームの間一定に保たれる。それは、例えば、フレームのグループを通してあるいはシーンを通して一定に保たれることができる。なお、好適方向インジケータが数フレームの間一定に保たれる場合でも、ランダムアクセスを容易にするために厳密に必要であるよりも小さい粒度で一定の好適方向インジケータを符号化することが依然として有利でありえる。

好ましい方位は、左、右、上、下又はそれらの方向の任意の組み合わせであることができる。方位に加えて、好ましい距離又は好ましい最大の距離が、好適方向指標と一緒に提供されることができる。第１画像中の遮蔽されたオブジェクト及び/又はオブジェクトの深さ値に関する十分な情報が利用可能な場合、元の視点からさらに離れた視点からの複数の高品質の追加のビューを生成することが可能である。

レンダリング情報は、例えば、第１画像中の前景オブジェクトによって遮蔽されている背景オブジェクトを表す遮蔽データ、第１画像中のオブジェクトの深さ値を提供する深さマップ又はこれらのオブジェクトのための透明度データを含むことができる。

好適方向インジケータは、どの考えられるレンダリング視点に対して最良のレンダリング情報が利用可能であるかを示す。階層化された深さ画像のレンダリングに関する更なる情報については、国際出願WO2007/063477を参照のこと（この文献は参照として本明細書に組み込まれる）。階層化された深さ画像をレンダリングするときに非遮蔽化される領域を充填するのに用いられるホール充填アルゴリズムに関する更なる情報については、例えばWO2007/099465を参照のこと（この文献は参照として本明細書に組み込まれる）。

本発明のさらに別の態様では、ビデオデータ信号を復号する方法が提供され、当該ビデオデータ信号は、第１視点から見られるシーンの第１画像を表す符号化データ、レンダリング視点から見られるシーンの少なくとも１つのレンダリング画像の生成を可能にするためのレンダリング情報及び第１視点に対するレンダリング視点の好ましい方位を定める好適方向インジケータを有する。この復号方法は、ビデオデータ信号を受信し、好適方向インジケータに依存してレンダリング視点を選択し、そして、選択されたレンダリング視点から見られるシーンのレンダリング画像を生成する。

本発明のこれらの及び他の態様は、以下に記載される実施の形態から明らかであり、それらを参照して説明される。

本発明に従ってビデオデータを符号化するシステムのブロック図。 本発明による符号化方法のフローチャート。 本発明に従ってビデオデータを復号するシステムのブロック図。 本発明による復号化方法のフローチャート。

図1は、本発明に従ってビデオデータを符号化するシステムのブロック図を示す。システムは、２つのデジタルビデオカメラ11、12及び符号器10を含む。第１カメラ11及び第２カメラ12は、僅かに異なる位置から、したがって僅かに異なる角度から、同じシーン100を記録する。ビデオカメラ11, 12の両方からの記録されたデジタルビデオ信号は、符号器10に送信される。符号器は、例えば、専用の符号化ボックスの一部、コンピュータ中のビデオカード、又は、汎用マイクロプロセッサによって実行されるソフトウェアで実装された機能であることができる。別の態様では、ビデオカメラ11, 12はアナログ・ビデオカメラであり、アナログビデオ信号は、それらが符号器10のための入力として提供される前に、デジタルビデオ信号に変換される。ビデオカメラが符号器10に接続される場合、符号化はシーン100を記録する間に行われることができる。最初にシーン100を記録して、記録されたビデオデータを符号器10に後で提供することも可能である。

符号器10は、ビデオカメラ11, 12から、直接的又は間接的に、デジタルビデオデータを受信し、両方のデジタルビデオ信号を１つの3Dビデオ信号15に組み合わせる。なお、両方のビデオカメラ11, 12は１つの3Dビデオカメラに組み合わせられることができる。２つより多い視点からシーン100を取り込むために２つより多いビデオカメラを用いることも可能である。

図2は、本発明による符号化方法のフローチャートを示す。この符号化方法は、図1のシステムの符号器10によって実行されることができる。符号化方法は、カメラ11, 12からの記録されたデジタルビデオデータを用いて、本発明によるビデオデータ信号15を提供する。ベース画像提供ステップ21において、少なくともシーンの第１画像が、ビデオデータ信号15中に含めるために提供される。このベース画像は、２つのカメラ11, 12のうちの１つに由来する標準の2Dビデオデータであることができる。符号器10は、２つのベース画像（１つは第１カメラ11から、１つは第２カメラから）を用いることもできる。ベース画像から、記録されたビデオの各々のフレーム中の全てのピクセルのカラー値が導き出されることができる。ベース画像は、特定の視点から見られる特定の時点におけるシーンを表す。以下において、この特定の視点は、ベース視点と呼ばれる。

3D可能化ステップ22において、ビデオカメラ11, 12からの入力ビデオデータは、ベース画像に情報を追加するために用いられる。この追加される情報は、異なる視点からの同じシーンのレンダリングされた画像を復号器が生成することを可能にする必要がある。以下において、この追加される情報は、レンダリング情報と呼ばれる。レンダリング情報は、例えば、ベース画像中のオブジェクトの深さ情報又は透明度値を含むことができる。レンダリング情報は、同様に、ベース画像中で見えるオブジェクトによってベース視点から観察されることからブロックされるオブジェクトを記述することができる。符号器は、記録された標準的なビデオデータからこのレンダリング情報を導き出すための既知の(好ましくは規格化された)方法を用いる。

方向指示ステップ23において、符号器10はさらにレンダリング情報に好適方向インジケータを追加する。好適方向インジケータは、ベース視点に対する追加のビューのためのレンダリング視点の好ましい方位を定める。後でビデオ信号が復号されるときに、好適方向インジケータは、レンダリング視点を選択して、選択された視点からのシーン100のレンダリング画像を生成するために用いられることができる。上述のように、3Dビデオ又は画像の品質は、新たに選択される視点によって変化する場合がある。例えば、新たなビューが既に利用可能な第１画像の視点の左側で生成されるのか又は右側で生成されるのかが問題となる可能性がある。レンダリング情報に追加される好適方向インジケータは、例えば、左又は右方向を示す単一のビットであることができる。更に進化した好適方向インジケータは、同様に、上若しくは下方向及び/又はベース視点に対する新たな視点の好ましい若しくは最大の距離を示すことができる。

別の態様では、好適方向インジケータは、第１視点に対する複数のレンダリング視点の好ましい方位及び/又は距離を提供することができる。例えば、第１視点の同じ側に２つ又は両側に１つずつ、レンダリング視点を生成することが好ましい場合がある。第１視点に対するレンダリング視点の好ましい位置は、それらの２つのポイント間の距離に依存する場合がある。例えば、両方の視点が互いに近い場合は第１視点の左側の視点から画像をレンダリングすることが望ましく、一方、両方の視点の間のより大きい距離に対しては、第１視点の左側が、レンダリング視点を生成するためにより適している。

どの特定の方向がより有利であるかに関する決定は自動的に決定されることができ、例えば、画像、深さ及び遮蔽表現を用いて、階層化された深さ画像としてステレオ・ペアを符号化するときに、階層化深さ画像の画像として左又は右画像を用いて、それに基づいて他の画像を再構成することが可能である。続いて、差分距離が両方の変形例のために計算されることができ、好ましい符号化及びそれとともに方向は、それに基づいて決定されることができる。

好ましくは、差分は、人間の視覚システムのモデルに基づいて重みづけされる。別の態様では、特に専門環境において、好ましい方向はユーザインタラクションに基づいて選択されることができる。

信号生成ステップ24において、以前のステップ21, 22, 23において提供される情報が、本発明によるビデオデータ信号15を生成するために用いられる。ビデオデータ信号15は、少なくとも第１画像、レンダリング情報及び好適方向インジケータを表す。好適方向インジケータは、各々のフレームのために、フレームのグループのために又は完結したシーン若しくは完結したビデオのために提供されることができる。シーンの間にレンダリング視点の位置を変更することは、知覚される3D画質に関する負の影響を与える場合があるが、一方で、異なる方向のためのレンダリング情報の利用可能性が著しく変化する場合に、必要である場合がある。

図3は、本発明によるビデオデータを復号するシステムのブロック図を示す。システムは、ビデオデータ信号15を受信して、ディスプレイ31によって表示されるために適した表示信号にビデオデータ信号15を変換するための復号器30を含む。ビデオデータ信号15は、例えば、ケーブル又は衛星通信を介して、放送された信号の一部として復号器30に到達することができる。ビデオデータ信号15は、例えば、インターネットを介して、又は、ビデオ・オン・デマンド・サービスを介して、リクエストに応じて提供されることもできる。別の態様では、ビデオデータ信号15は、デジタルデータキャリア(例えばDVD又はブルーレイ・ディスク)で提供される。

ディスプレイ31は、図1のシステムの符号器10によって取り込まれて符号化されたシーン100の3D表示を提供することが可能である。ディスプレイ31は、復号器30を含むことができるか又は復号器30に接続されることができる。例えば、復号器30は、１つ以上の通常のテレビ又はコンピュータ・ディスプレイに接続されるべき3Dビデオ受信機の一部であることができる。好ましくは、ディスプレイは、観察者の異なる目に異なるビューを提供することが可能な専用の3Dディスプレイ31である。

図4は、図3の復号器30によって実行されることができる復号方法のフローチャートを示す。ビデオデータ受信ステップ41において、符号器10によって符号化されるビデオデータ信号15は、復号器30の入力において受信される。受信されたビデオデータ信号15は、少なくともシーン100の第１画像を表す符号化データ、レンダリング情報及び好適方向インジケータを含む。

追加視点選択ステップ42において、好適方向インジケータは、それぞれの追加のビューのための少なくとも１つの追加の視点を選択するために用いられる。追加ビューレンダリングステップ43において、選択された視点からの１つ以上の追加のビューが生成される。表示ステップ44において、異なる視点からの２つ以上のビューが、3Dでシーン100を表示するためにディスプレイ31に提供されることができる。

本発明が、本発明を実施するために適応されたコンピュータプログラム、特にキャリア上の又はキャリア中のコンピュータプログラムにも及ぶことはいうまでもない。プログラムは、ソース・コード、オブジェクト・コード、コード中間ソース及び部分的にコンパイルされた形式のオブジェクト符号の形式、又は、本発明による方法の実施における使用に適した任意の他の形式であることができる。そのようなプログラムは多くの異なる方式設計を有することができることも認識される。例えば、本発明による方法又はシステムの機能を実施するプログラムコードは、１つ以上のサブルーチンに再分割されることができる。これらのサブルーチンの間で機能を分散するための多くの異なる態様は、当業者にとって明らかである。サブルーチンは、自己完結的なプログラムを形成するために１つの実行可能ファイル中に一緒に記憶されることができる。そのような実行可能ファイルは、コンピュータ実行可能命令、例えばプロセッサ命令及び/又はインタプリタ命令(例えばJavaインタプリタ命令を含むことができる。別の態様では、サブルーチンの１つ以上又は全ては、少なくとも１つの外部のライブラリファイル中に記憶されることができて、例えば実行時に、静的に又は動的に、メイン・プログラムにリンクされることができる。メイン・プログラムは、サブルーチンのうちの少なくとも1つに対する少なくとも１つの呼び出しを含む。同様に、サブルーチンは、互いの関数呼出しを含むことができる。コンピュータプログラム製品に関する実施の形態は、述べられた方法のうちの少なくとも１つの処理ステップの各々に対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに再分割されることができ、及び/又は、静的に若しくは動的にリンクされることができる１つ以上のファイル中に記憶されることができる。コンピュータプログラム製品に関する他の実施の形態は、述べられたシステム及び/又は製品のうちの少なくとも１つの手段の各々に対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに再分割されることができ、及び/又は、静的に若しくは動的にリンクされることができる１つ以上のファイル中に記憶されることができる。

コンピュータプログラムのキャリアは、プログラムを伝えることが可能な任意のエンティティ又は装置であることができる。例えば、キャリアは、ROM（例えばCD ROM若しくは半導体ROM）又は磁気記録媒体（例えばフロッピー・ディスク（登録商標）若しくはハードディスク）のような、記憶媒体を含むことができる。さらに、キャリアは、電気的又は光学ケーブルを介して又は無線若しくは他の手段によって伝達されることができる電気又は光学信号のような伝播性キャリアであることができる。プログラムがそのような信号において実現されるときに、キャリアはそのようなケーブル又は他の装置若しくは手段によって構成されることができる。別の態様では、キャリアは、プログラムが組み込まれた集積回路であることができ、この集積回路は、関連する方法を実行するために、又は関連する方法の実行に用いるために、適応されている。

上述の実施の形態は、本発明を制限ではなく説明し、当業者は、添付の請求の範囲から逸脱することなく多くの他の実施の形態を設計することができることに留意すべきである。請求項において、括弧間の如何なる参照符号も、請求の範囲を制限するものとして解釈されてはならない。「有する」「含む」等の動詞及びその活用形の使用は、請求項中に述べられたもの以外の他の要素又はステップの存在を除外しない。単数で表現された要素はそのような要素が複数存在することを除外しない。本発明は、いくつかの別個の素子から成るハードウェアによって、そして適切にプログラムされたコンピュータによって実施されることができる。いくつかの手段を列挙する装置の請求項において、これらの手段のいくつかは、ハードウェアの同じ１つのアイテムによって実現されることができる。ある手段が相互に異なる従属請求項中に述べられていることは、利益を得るためにこれらの手段の組み合わせを用いることができないことを意味しない。

Claims (12)

1. ビデオデータ信号を符号化する方法であって、
   第1視点から見られるシーンの第1画像を少なくとも提供し、
   前記第1視点と異なるレンダリング視点から見られる前記シーンの少なくとも１つのレンダリング画像の生成を可能にするための、前記第1画像中のピクセルのための深さ指示値を有するレンダリング情報を提供し、
   前記第1視点に対する前記レンダリング視点の好ましい方位を定める好適方向インジケータを提供し、
   前記第1画像を表す符号化データ、前記レンダリング情報及び前記好適方向インジケータを含むビデオデータ信号を生成する、
   ビデオデータ信号を符号化する方法。
2. 前記好適方向インジケータが、前記第1視点に対する前記レンダリング視点の好ましい方位が、前記第1視点の左であるか又は右であるかを定めるための単一のビットを有する、請求項１に記載のビデオデータ信号を符号化する方法。
3. 前記好適方向インジケータがフレーム毎に符号化されるオプション、
   前記好適方向インジケータがフレームのグループ毎に符号化されるオプション、
   前記好適方向インジケータがシーン毎に符号化されるオプション、
   のうちの少なくとも１つのオプションを用いて、前記好適方向インジケータが前記ビデオデータ信号中に符号化される、請求項１に記載のビデオデータ信号を符号化する方法。
4. フレームのグループ及びシーンのうちの１つに対して、前記好適方向インジケータの値が一定である、請求項３に記載のビデオデータ信号を符号化する方法。
5. 前記好ましい方位が、前記第1視点と前記レンダリング視点との間の距離に依存する、請求項１から請求項４のいずれか一項に記載のビデオデータ信号を符号化する方法。
6. 前記レンダリング情報が、前記第1画像中のピクセルのためのアルファ値を有し、前記アルファ値は、それぞれのピクセルの透明度を示す、請求項１から請求項４のいずれか一項に記載のビデオデータ信号を符号化する方法。
7. 前記レンダリング情報が、前記第1視点から遮蔽されるデータを表す遮蔽データを有する、請求項１から請求項４のいずれか一項に記載のビデオデータ信号を符号化する方法。
8. ビデオデータ信号を復号する方法であって、前記ビデオデータ信号は、第1視点から見られるシーンの第1画像を表す符号化データ、前記第1視点と異なるレンダリング視点から見られる前記シーンの少なくとも1つのレンダリング画像の生成を可能にするための、前記第1画像中のピクセルのための深さ指示値を有するレンダリング情報、及び、前記第1視点に対する前記レンダリング視点の好ましい方位を定める好適方向インジケータを有し、当該方法は、
   前記ビデオデータ信号を受信し、
   前記好適方向インジケータに依存して、前記レンダリング視点を選択し、
   選択された前記レンダリング視点から見られる前記シーンのレンダリング画像を生成する方法。
9. ビデオデータ信号を符号化するための符号器であって、
   少なくとも第1視点から見られるシーンの第1画像、前記第1視点と異なるレンダリング視点から見られる前記シーンのレンダリング画像の生成を可能にするための、前記第1画像中のピクセルのための深さ指示値を有するレンダリング情報及び前記第1視点に対する前記レンダリング視点の好ましい方位を定める好適方向インジケータを提供するための手段、
   前記第1画像を表す符号化データ、前記レンダリング情報及び前記好適方向インジケータを含むビデオデータ信号を生成するための手段を有する符号器。
10. ビデオデータ信号を復号するための復号器であって、
    第1視点から見られるシーンの第1画像を表す符号化データ、前記第1視点と異なるレンダリング視点から見られる前記シーンのレンダリング画像の生成を可能にするための、前記第1画像中のピクセルのための深さ指示値を有するレンダリング情報、及び、前記第1視点に対する前記レンダリング視点の好ましい方位を定める好適方向インジケータを有するビデオデータ信号を受信するための入力部、
    前記好適方向インジケータに依存して、前記レンダリング視点を選択するための手段、
    選択された前記レンダリング視点から見られる前記シーンのレンダリング画像を生成するための手段、並びに
    前記レンダリング画像を提供するための出力部、
    を有する、復号器。
11. ビデオデータ信号を符号化するためのコンピュータプログラムであって、請求項１に記載の方法をプロセッサに実行させるプログラム。
12. ビデオデータ信号を復号するためのコンピュータプログラムであって、請求項８に記載の方法をプロセッサに実行させるプログラム。

Images