JP2010531585A - ビデオエンコーダ、ビデオデコーダ、エンコードするための方法、デコードするための方法、コンピュータプログラム、およびスケーラブルなビットストリーム - Google Patents

Abstract

ピクセル値解像度に関するスケーラビリティを可能にするためのより効率的な方法が、ビデオ素材の第１および第２の画像を互いに別個に時間的に予測する（１２６、１２２）ことによって達成される。第１の画像は、第２の画像よりも低いピクセル値解像度のものである。第１のピクセル値解像度から第２の画像の時間的な予測によって取得される第２の予測信号によって決定される第２のピクセル値解像度まで、第１の予測残差あるいは第１の予測残差の再構築されたバージョンをマッピングすることと、第２のピクセル値解像度であって第２および第３の予測信号の組合せと第２の画像との差を表わす第２の予測残差をコーディングする（１３２、１３４、１４４）ことによって達成される。

Description

本発明は、スケーラブルなビデオコーディング、特に、ピクセル値の改良のスケーラビリティーをサポートするスケーラブルなビデオコーディングに関する。

ＩＳＯ／ＩＥＣ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）とＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）のＪｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）の現在のプロジェクトは、Ｔ．Ｗｉｅｇａｎｄ、Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ、Ｊ．Ｒｅｉｃｈｅｌ、Ｈ．Ｓｃｈｗａｒｚ、Ｍ．Ｗｉｅｎ著、「Ｊｏｉｎｔ Ｄｒａｆｔ １０ ｏｆ ＳＶＣ Ａｍｅｎｄｍｅｎｔ」、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ編、ＪＶＴ−Ｗ２０１、Ｓａｎ Ｊｏｓｅ、ＣＡ、ＵＳＡ、２００７年４月と、Ｊ．Ｒｅｉｃｈｅｌ、Ｈ．Ｓｃｈｗａｒｚ、Ｍ．Ｗｉｅｎ著、「Ｊｏｉｎｔ Ｓｃａｒａｂｌｅ Ｖｉｄｅｏ Ｍｏｄｅｌ ＪＳＶＭ−１０」、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ編、ＪＶＴ−Ｗ２０２、Ｓａｎ Ｊｏｓｅ、ＣＡ、ＵＳＡ、２００７年４月、で定義されるビデオコーディングの規格であるＨ．２６４／ＭＰＥＧ４−ＡＶＣの最先端の水準のスケーラブルな拡張機能を開発するものであって、動画像列の時間的、空間的、ＳＮＲのスケーラブルなコーディング、またはそれらの組み合わせをサポートするものである。

ＩＴＵ−Ｔ Ｒｅｃ．＆ＩＳＯ／ＩＥＣ １４４９６−１０ ＡＶＣ、「Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｆｏｒ Ｇｅｎｅｒｉｃ Ａｕｄｉｏｖｉｓｕａｌ Ｓｅｒｖｉｃｅｓ」ｖｅｒｓｉｏｎ ３、２００５年、に記載されているＨ．２６４／ＭＰＥＧ４−ＡＶＣは、ハイブリッドなビデオコーディックを指定している。そこでは、マクロブロックな予測信号は、動き補償補償による時間的なドメインにおいて、またはレイヤ内予測による空間的なドメインにおいて発生する。両予測は残差コーディングを伴う。スケーラビリティー拡張機能がないＨ．２６４／ＭＰＥＧ４−ＡＶＣコーディングは、シングルレイヤのＨ．２６４／ＭＰＥＧ４−ＡＶＣコーディングと言われる。シングルレイヤのＨ．２６４／ＭＰＥＧ４−ＡＶＣに相当する歪み率の性能は、典型的に、同じ視覚的な再構築品質が１０％のビットレートで達成されることを意味する。上述したように、スケーラビリティーは、特定の解像度でのシングルレイヤのＨ．２６４／ＭＰＥＧ４−ＡＶＣのコーディングに相当する、サポートされた空間的、時間的またはＳＮＲの解像度でＲ−Ｄの性能を達成する際に、ビットストリームの一部を取り除くための機能として考えられている。

スケーラブルなビデオコーディング（ＳＶＣ）の基本設計は、レイヤのビデオコーディックに分類され得る。各レイヤでは、動き補償予測とレイヤ内予測の基本概念が、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣとして、採用される。しかし、いくつかの空間的またはＳＮＲのレイヤの間の冗長性を低減するために、追加的なレイヤ間予測のメカニズムが組み合わされてきた。ＳＮＲのスケーラビリティーは、基本的に、残差量子化によって達成される。そして、空間的なスケーラビリティーに関しては、動き補償予測とオーバーサンプルされたピラミッド分解との組み合わせが採用される。Ｈ．２６４／ＭＰＥＧ４−ＡＶＣの時間的スケーラビリティーの提案が続けられている。

一般的に、コーダの構造は、アプリケーションによって要求されるスケーラビリティー空間によって決定される。図示するために、図７は、２つの空間的レイヤ９０２ａ、９０２ｂを有する典型的なコーダ構造９００を示す。各レイヤでは、レイヤの特定の動きパラ
メータ９０６ａ，ｂを用いた独立した階層的な動き補償予測構造９０４ａ，ｂが採用される。連続したレイヤ９０２ａ，ｂ間の冗長性は、動きパラメータ９０６ａ，ｂのための予測メカニズムとテクスチャデータ９１０ａ，ｂとを含むレイヤ間予測コンセプト９０８によって低減される。各レイヤ９０２ａ，ｂの入力ピクチャ９１４ａ，ｂのベース画像（representation）９１２ａ，ｂは、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣのものと同類の変換コーディング９１６ａ，９１６ｂによって取得される。対応するＮＡＬ（Network Abstraction Layer）ユニットは、動き情報とテクスチャデータとを含む。最も低いレイヤのベース画像のＮＡＬユニットは、すなわち９１２ａは、シングルレイヤのＨ．２６４／ＭＰＥＧ４−ＡＶＣに相当する。ベース画像の再構築品質は、進歩的な改良スライスと言われる追加的なコーディング９１８ａ，ｂによって改良され得る。ｆｉｎｅ ｇｒａｎｕｌａｒ ｑｕａｌｉｔｙ ｓｃａｌａｂｉｌｉｔｙ（ＦＧＳ）または柔軟性のあるｂｉｔ−ｒａｔｅ ａｄａｐｔａｔｉｏｎをサポートするために、対応のＮＡＬユニットが適宜排除され得る。

スケーラブルなビットストリーム９２２を得るために、ベースレイヤコーディング９１６ａ，ｂと進歩的なＳＮＲの改良テクスチャコーディング９１８ａ，ｂから出力されたそれぞれのレイヤ９０２ａ，ｂの結果のとしてのビットストリームが、それぞれ、マルチプレクサ９２０によって多重送信される。当該ビットストリーム９２２は、時間的、空間的、およびＳＮＲの品質において、スケーラブルなものである。

ビデオコーディング規格であるＨ．２６４／ＭＰＥＧ４−ＡＶＣの上記のスケーラブルな拡張機能に従って、時間的スケーラビリティーの集約は、階層的な予測構造を用いることによって提供される。この階層的な予測構造に関して、シングルレイヤＨ．２６４／ＭＰＥＧ４−ＡＶＣの規格の１つは、何らの変更無しに利用され得る。空間的およびＳＮＲのスケーラビリティーに関し、追加的な手段を、シングルレイヤのＨ．２６４／ＭＰＥＧ４．ＡＶＣに追加する必要がある。組み合わされたスケーラビリティーを大きくサポートするビットストリームを生成するために、３つの全てのスケーラビリティーのタイプが組合され得る。

あるアプリケーションは、低いビット深度、または、より一般的には、低いピクセル値解像度、おそらくは低い空間的解像度のベースレイヤに加えて、高いビット深度の、おそらくは高い空間的解像度の内容を抽出したり、表示したりすることを可能にする強化レイヤから利益を得る。しかし、上述したスケーラブルな拡張機能のバージョンでは、スケーラビリティー手段は、ベースレイヤと強化レイヤとが、対応する輝度値と色度値の配列の同じビット深さ／ピクセル値解像度を有する取得されたビデオ素材（video material）を表わす場合にのみ指定される。

このように、ピクセル値解像度に関するスケーラビリティーをサポートするスケーラブルなビデオスキームを提供することは有益であろう。ビデオコーディングスキームが、ピクセル値解像度の異なるレベル間の、可能なピクセル値解像度のマッピングの広いスペクトルをサポートする場合は、より有益であろう。さらに、ビデオコーディングスキームが、デコーダサイドでの計算量を低く保つことが好ましいだろう。上述したビデオコーディング技術の１つを利用すること、ピクセル値解像度に関するスケーラビリティーを提供することは、異なるピクセル値解像度に基づいてコードされた、完全な自己完結型の２つの別個のビデオビットストリームを、１つの共通のスケーラブルなデータストリームへと合体させる必要があろう。しかし、これの場合は、圧縮率が悪くなってしまう。

このように、本発明の目的は、ピクセル値解像度に関するスケーラビリティーを可能に
するより効率的な方法を可能にする、スケーラブルなビデオコーディングスキームを提供することである。

この目的は、請求項１に従うエンコーダと、請求項１２に従うデコーダと、請求項２１または２２に従う方法と、請求項２４に従うスケーラブルなビデオビットストリームとによって達成される。

本発明は、ピクセル値解像度に関するスケーラビリティーを可能にするより効率的な方法が、第２の画像よりもピクセル値解像度が低い第１の画像に基づいて互いに別個のビデオ素材の第１および第２の画像を時間的に予測し、第１の予測残差または第１の予測残差の再構築されたバージョンを、第１のピクセル値解像度から、時間的に第２の画像を予測することによって取得される第２の予測信号によって決定される第２のピクセル値解像度へとマッピングし、第２と第３の予測信号との組み合わせと第２の画像との間の差分を表わす第２のピクセル値解像度の第２の予測残差をコーディングすることによって達成できるということを発見したことに基づくものである。第１の予測残差または第１の予測残差の再構築されたバージョンを第１のピクセル値解像度から第２のピクセル値解像度へとマップするために、第２の予測信号を使用することによって、第１の予測残差または第１の予測残差の再構築されたバージョンを個別にマップすることは、非線形マッピングスキームが使用される際においても、第１の予測信号とは独立して実行され得る。この方法によって、レイヤ間予測が正確かつ同時に行なわれるものとなり、デコーダは、たとえば、比較的複雑な動き補償を含む第１の画像を時間的に予測する必要がなくなる。そして、このことによって、比較的高い歪み率の性能でのデコーダにおける複雑さの低下が実現される。さらに、スケーラブルなコーディングスキーム自体は、線形的な予測値解像度間のマップに使用されるマッピングスキームを制限するものではない。

以下では、図面を参照しながら、好ましい実施の形態が説明される。特に、各図面は以下のものを示す。

本発明の実施の形態に従うビデオエンコーダのブロック図である。 本発明の実施の形態に従う複数のブロックからなるビデオ素材の概略図である。 本発明の実施の形態に従う逆トーンマッピングの概略図である。 本発明の実施の形態に従う高品質レイヤのピクセルと低品質レイヤのピクセルとの間の空間的な対応を示すビデオ素材のピクチャの左上の角部分を示す概略図である。 本発明の実施の形態に従う図１の逆残差トーンマッピングとアップサンプリングのモジュールの内部構造を示す概略ブロック図である。 本発明の実施の形態に従う図１の逆残差トーンマッピングとアップサンプリングのモジュールの内部構造を示す概略ブロック図である。 本発明の実施の形態に従うビデオデコーダのブロック図である。 スケーラブルなビデオコーディングのための通常のコーダ構造のブロック図である。

図１は、基本レイヤエンコーディングモジュール１０２と、高品質エンコーディングモジュール１０４と、品質低減モジュール１０６と、マルチプレクサ１０８を備えるビデオエンコーダ１００を示す。図１のビデオエンコーダ１００は、高品質ソースビデオ信号を受け取るための入力１１０と、スケーラブルなビデオビットストリームを出力するための
出力１１２とを備える。ビデオエンコーダ１００は、高品質ソースビデオ信号１１０をスケーラブルなビデオビットストリーム１１２にエンコードすることによって、出力１１２でのスケーラブルなビデオビットストリームの第１の部分、以下では低品質基本レイヤという、が自己完結するように構成されている。この部分は、入力１１０での信号の初期の品質よりも低い品質、すなわち低品質で、出力１１２でのスケーラブルなビデオビットストリームの残りの部分の情報または使用が無い状態で、入力１１２における高品質ソースビデオ信号のビデオコンテンツの再構築を可能にする。そして、残りの部分、以下では高品質強化レイヤという、は低品質基本レイヤと高品質強化レイヤとを組み合わせることによって低品質よりも高い品質で入力１１２での高品質ソースビデオ信号の再構築を可能にする。

以下さらに詳細に説明する。一方の高品質強化レイヤと他方の低品質基本レイヤとの間の品質の違いは、少なくとも、ピクセル値のビット深度、輝度および／または色度値のようなピクセル値解像度に関するものである。以下ではピクセル値改良の違いの例として高品質強化レイヤと低品質基本レイヤとのビット深度の違いについて述べるが、ピクセル値解像度の差に関する他の例も可能である。たとえば、低品質基本レイヤのピクセル値解像度よりも高い高品質強化レイヤのピクセル値解像度は、低品質基本レイヤに対して高品質強化レイヤにおけるピクセル毎の色パラメータのより多くの個数の結果となり得る。ビット深度についても同様である。たとえば、低品質基本レイヤは、３つの８ビット値のみを使用することによってビデオコンテンツを表わし、高品質強化レイヤは４つの８ビット値を利用し得る。しかし、以下の説明の理解を容易にするために、以下ではピクセル値解像度の違いのための例として、ビット深度の違いについて説明する。

既に上述したように、アウトプット１１２でのスケーラブルなビットストリームは、一方の高品質強化レイヤと他方の低品質基本レイヤとから構成される。高品質強化レイヤ信号は高品質エンコーディングモジュール１０４によって出力され、低品質エンコーディングモジュール１０２は低品質基本レイヤ信号を出力する。マルチプレクサ１０８は、両方の信号を受け取り、それらをスケーラブルなビットストリーム１１２へと多重化して送信する。たとえば、マルチプレクサ１０８は、低品質基本レイヤが高品質強化レイヤよりも先んじるように、両方の信号をスケーラブルなビットストリーム１１２へと多重送信する。高品質エンコーディングモジュール１０４は、ビデオエンコーダ１００の入力１１０とマルチプレクサ１０８の第１の入力との間に接続される。低品質エンコーディングモジュール１０２の場合、品質低減モジュール１０６が、ソースビデオ信号が低品質エンコーディングモジュール１０２に入る前にソースビデオ信号のピクセル値解像度を減らすために、入力１１０と低品質エンコーディングモジュール１０２の入力との間に接続される。以下さらに詳細に説明する。モジュール１０６上で実行される品質低減は、ピクセル値解像度の低減に加えて他の品質低減を含み得る。以下に説明するように、ピクセル値解像度の低減は、ビット深度の低減によって達成され得る。さらに、品質低減は、空間解像度の低減をさらに備える。特に、以下の例示は、ピクセル値解像度および空間解像度の両方において、低品質が高品質とは異なる場合の実施の形態に関するものである。

基本品質エンコーディングモジュール１０２は、品質低減モジュール１０６の出力とマルチプレクサ１０８の他の入力との間に接続される。そして、マルチプレクサ１０８の出力は、ビデオエンコーダ１００の出力１１２に接続される。

高品質エンコーディングモジュール１０４は、このように接続されるので、高品質ソースビデオ信号を直接エンコーディングするためのものである。一方、低品質エンコーディングモジュール１０２は、品質低減モジュール１０６による出力としてのビデオソース信号の低品質バージョンをエンコードする。以下、さらに詳細に説明する。エンコーディングモジュール１０２および１０４の両者は互いに同時に動作し、エンコーディングモジュ
ール１０２および１０４の両者は別個にそれぞれの入力信号に対する時間的な予測を実行する。モジュール１０２および１０４の以下の実施の形態に従うと、予測残差をそれぞれの出力信号、すなわちモジュール１０４の場合の高品質強化レイヤとモジュール１０２の場合の低品質基本レイヤ、にエンコードするために、両モジュールはそれら独自の動き補償予測ループを備える。しかし、以下さらに詳細に説明すると、高品質エンコーディングモジュール１０４は、少なくとも部分的に、すなわち少なくともビデオ素材のいくつかのブロックに関して、独自の高品質時間予測ループの予測信号を改良するために、低品質エンコーディングモジュール１０２の予測残差または当該予測残差の再構築バージョンとを追加的に使用する。高品質エンコーディングモジュール１０４内で予測を改良するために、低品質基本レイヤの予測残差のみを使用することによって、高品質を得るための出力１１２におけるスケーラブルなビットストリームのデコーディングは、１つの時間的な予測だけを実行することによって可能となる。以下さらに詳細に説明する。低品質基本レイヤの予測残差のみを使用することによって、高品質レイヤの高いビット深度から線形な低品質レイヤへのトーンマッピングが必要でなくなる。むしろ、高品質強化レイヤ予測ループの予測信号は非線形性を正すために用いられる。

装置内部では、基本品質エンコーディングモジュール１０２は、減算器１１４と、変換モジュール１１６と、量子化モジュール１１８と、逆変換モジュール１２０と、加算器１２２と、デブロッキングフィルタ１２４と、予測モジュール１２６と、エントロピーコーディングモジュール１２８とを備える。減算器１１４と、変換モジュール１１６と、量子化モジュール１１８と、逆変換モジュール１２０と、加算器１２２と、デブロッキングフィルタ１２４と、予測モジュール１２６とは、閉じられた予測ループを形成するものであって、すなわち、それらは上述の順序で閉じられたループになるように接続される。特に、減算器１１４の非反転入力は、低品質エンコーディングモジュール１０２の入力を構成するものであって、その場合、減算器１１４の反転入力が予測モジュール１２６の出力に接続される。予測モジュール１２６の出力もまた加算器１２２の第１の入力に接続され、その場合、加算器１２２の他の入力が逆変換モジュール１２０の出力に接続される。逆変換モジュール１２０の入力は、量子化モジュール１１８の出力に接続される。そして、量子化モジュール１１８もまたエントロピーコーディングモジュール１２８の入力に接続される。エントロピーコーディングモジュール１２８の出力は低品質エンコーディングモジュール１０２の出力をも構成する。

同様に、高品質エンコーディングモジュール１０４は、減算器１３０と、変換モジュール１３２と、量子化モジュール１３４と、逆変換モジュール１３６と、加算器１３８と、デブロッキングフィルタ１４０と、予測モジュール１４２と、エントロピーコーディングモジュール１４４とを備える。要素１３０から１４４は、低品質エンコーディングモジュール１０２における要素１１４から１２８と同様の方法で互いに接続される。つまり、要素１３０から１４２は、閉じられたループになるように接続される。減算器１３０の非反転入力は、高品質エンコーディングモジュール１０４の入力を構成する。量子化モジュール１３４の出力は、逆変換モジュール１３６の入力およびエントロピーコーディングモジュール１４６の入力に接続される。予測モジュール１４２の出力は、本ケースにおいては、例示的に、ダイレクトでない方法であって、減算器１３０の反転入力およびさらに加算器１３８の入力に接続される。しかし、これらの要素に加えて、高品質エンコーディングモジュール１０４は、さらに、加算器１４６と、２つのレイヤ間予測パス１４８および１５０とを備える。レイヤ間予測パス１４８は、一方の低品質エンコーディングモジュール１０２の逆変換モジュール１２０の出力と、パス１４８を加算器１４６の入力へ／から接続および非接続するためにパス１４８に接続されるスイッチ１５２を介して、他方の加算器１４６の入力との間に接続される。特に、スイッチ１５２は、加算器１４６の入力に０を適用したり、パス１４８を加算器１４６の入力に接続したりするように構成される。パス１４８は、モジュール１０２からモジュール１０４へと低品質予測残差を提供するため
の低品質予測残差パスを表わし、互いに接続される逆マッピングおよびアップサンプリングモジュール１５４と選択フィルタ１５６とを有する。選択フィルタ１５６は逆マッピングおよびアップサンプリングモジュール１５４と逆変換モジュール１２０との間に接続される。

同様に、パス１５０は、一方で低品質エンコーディングモジュール１０２の加算器１２２の出力から、他方でスイッチ１５８から、延びる基本品質再構築信号提供パスを示す。スイッチ１５８は、減算器１３０の反転入力と加算器１３８の他の入力とを加算器１４６の出力またはパス１５０の他端に接続する。パス１４８と同様に、パス１５０は上述した順序で接続される選択フィルタ１６０と逆マッピングおよびアップサンプリングモジュール１６２とを有する。

逆マッピングおよびアップサンプリングモジュール１６２とは対称的に、残差パス１４８に接続される逆マッピングおよびアップサンプリングモジュール１５４は、さらに、予測モジュール１４２によって出力される予測シグナルを受け取るための入力または、代替的に、予測モジュール１４２によって出力される予測信号と逆変換モジュール１３６の出力との合計、すなわち高品質エンコーディングモジュール１０４の再構築された残差信号、とを備える。このように、逆マッピングおよびアップサンプリングモジュール１５４の別の入力は、予測モジュール１４２の出力に直接的に、または別の加算器１６４の出力に接続される。加算器１６４の入力は、予測モジュール１４２の出力と逆変換モジュール１３６の出力とにそれぞれ接続される。図６によって明確になるが、スイッチは、加算器１６８の入力に、０または逆変換モジュール１３６によって出力される信号を適用する、代替的に、２つの可能性の間で切り換えることを可能にするために、加算器１６４と逆変換モジュール１３６の出力との間にスイッチが接続され得る。

ビデオエンコーダ１００の内部構造を詳細に説明してきたが、以下では動作の一般的なモードについてより詳細に説明する。特に、以下では、動作のモードが、スイッチ１５２および１５８が図１に示される位置にある、すなわち残差パス１４８を加算器１４６の入力に接続し、加算器１４６の出力を減算器１３０の反転入力に接続し、それゆえに基本レイヤ再構築パス１５０を減算器１３０の反転入力から非接続にした例示的なケースとして予め説明されている。この想定に従うと、本発明の別の実施の形態では、スイッチ１５８および１５２は、スイッチ１５２、１５８の実線によって示されるように、要素１３０、１４６、１５４、１６２の間の接続から解除され得る。

既に上述したように、モジュール１０２および１０４の各々は、それぞれの入力信号に対して時間予測を実行する。たとえば、低品質エンコーディングモジュール１０２においては、減算器１１４は、モジュール１０２の入力において受け取られたソースビデオ信号の低品質バージョンから予測モジュール１２６によって出力される低品質予測信号を減じる。その結果、減算器１１４は、低品質残差を出力する。変換モジュール１１６は、低品質残差信号の変換を実行する。この変換は、ＴＣＴ、ＦＦＴ、またはフェーブレット変換のような、空間分解を含み得る。変換された信号は、量子化モジュール１１８によって量子化される。量子化モジュール１１８は取り除くことも可能である。たとえば、変換モジュール１１６によって実行される変換は、本質的に整数の変換係数を生じ得る。変換モジュール１１６によって実行される変換は、たとえば、ブロックワイズな変換であって、変換残差信号は、減算器１１４によって出力される低品質残差信号の空間画像を表わす。この方法によって、変換モジュール１１６と量子化モジュール１１８の組み合わせが、不可逆または可逆的に変換ベースな方法によって、減算器１１４から出力される残差信号をエンコードする。変換され量子化された残差信号は、エントロピーコーディングモジュール１２８によってエントロピーコードされ、それによって、マルチプレクサ１０８によってスケーラブルなビットストリームに多重化される低品質基本レイヤ部分が生じることにな
る。

逆変換モジュール１２０は、逆変換、すなわち変換モジュール１１６の変換と逆の変換、を行なうことによって、量子化モジュール１１８の出力からの低品質残差信号を再構築する。このようにして、逆変換モジュール１２０の出力は、低品質残差信号の再構築されたバージョンを表わす。この残差信号は、下記に示すように、パス１４８を介して高品質エンコーディングモジュール１０４に導かれる。しかしながら、再構築されたバージョンは、低品質エンコーディングモジュール１０２の入力で受け取られる低品質ビデオ信号の再構築されたバージョンを取得するために加算器１２２によっても使用される。特に、加算器１２２は、再構築された残差信号を、予測モジュール１２６の出力、すなわち低品質予測信号に加算する。このようにして取得された低品質ビデオ信号の再構築されたバージョンは、不可逆圧縮に伴う悪い副作用を取り除くために、選択的なデブロッキングフィルタ１２４によってフィルタされ、予測モジュール１２６に送られる。予測モジュール１２６は、低品質入力信号の再構築されて上記のようにデブロックされたバージョンに対して時間的な予測を実行する。時間的な予測は、たとえば動き補償を含む。予測モジュール１２６は、このような方法によって低品質予測信号を計算し、当該信号を減算器１１４の反転入力および加算器１２２の別の入力へと出力する。

既に上述したように、高品質エンコーディングモジュール１０４は、実質的に、低品質エンコーディングモジュール１０２と同様に動作する。つまり、高品質ソースビデオ信号は減算器１３０に受け取られ、減算器１３０は残差パス１４８から導き出される信号に沿って、上記信号から予測モジュール１４２によって出力される予測信号を減ずる。これによって、減算器１３０は、モジュール１０２の要素１０６および１１８に関して上述したように、変換モジュール１３２によって変換されて量子化モジュール１３４によって量子化された高品質予測残差を出力する。エントロピーコーディングモジュール１４４は、マルチプレクサ１０８によってスケーラブルなビットストリームに多重化される高品質強化レイヤの部分を取得するために、変換されて量子化された予測残差をエントロピーコードする。

逆変換モジュール１３６は、変換され量子化された予測残差から、減算器１３０によって出力される予測残差の再構築されたバージョンを再構築し、当該バージョンを加算器１３８に出力する。加算器１３８は、高品質エンコーディングモジュール１０４への入力としての高品質ソースビデオ信号の再構築されたバージョンを取得するために、高品質予測信号の当該再構築されたバージョンに、減算器１３０の反転入力に入力される組み合わされた予測信号を加算する。要素１２６および１２４と同様に、デブロッキングフィルタ１４０は、再構築された高品質ビデオ信号に対するデブロッキングフィルタリングを実行し、予測モジュール１４２はデブロッキングフィルタ１４０の出力結果に時間的な予測を実行する。繰り返しになるが、デブロッキングフィルタは選択的なものであって、モジュール１０４から取り除くことができる。予測モジュール１４２の出力は、高品質予測信号を表わす。加算器１４６では、以下に述べるように、高品質予測信号が、パス１４８の経路を介して低品質エンコーディングモジュール１０２の予測残差から得られる予測によってさらに改良される。加算器１４６の出力は、組み合わされた予測信号を、減算器１３０の反転入力と加算器１３８の別の入力とに提供する。

逆変換モジュール１２０による出力としてパス１４８において再構築された低品質予測残差信号を使用できるように、低品質予測残差信号の低品質レベルが高品質レベルへと送られる。つまり、低品質レイヤのより低いピクセル値解像度が高品質レイヤのピクセル値解像度に合わせられる。さらに、図１の実施の形態に従うと、空間解像度も、高品質レイヤの空間解像度に適合するように増加させられる。それによって、副作用低減フィルタリングのような選択フィルタ１４６によって、いくつかの選択フィルタリングの後に、低品
質予測残差信号が、品質低減モジュール１０６で実行されるトーンマッピングおよびダウンサンプリングを逆にするために、逆トーンマッピングおよびアップサンプリング処理がなされる。この品質適合においては、品質が適合された予測残差信号が加算器１４６に適用される。このように、より小さな高品質予測残差信号が要素１３２、１３４、１４４の手段によってコードされ得るように、予測モジュールによる出力としての予測信号と、品質が適合された予測残差信号との合計が、高品質エンコーディングモジュール１４４への元の入力としての高品質ソースビデオ信号の改良された予測結果となる。そして、これによって、スケーラブルなビデオビットストリーム１１２のより良い歪み率の性能が実現される。

モジュール１５５における逆トーンマッピングおよびアップサンプリングをより詳細に説明する前に、高品質エンコーディングモジュール１０４の動作のモードについて簡単に説明する。ここでは、点線で示すように、スイッチ１５８および１５２が別の位置にある場合についてである。図に示すように、レイヤ間モードにおいては、低品質レイヤからの品質が適合された予測残差は使用されない。代わりに、０が加算器１４６の別の入力に適用される。さらに、スイッチ１５８は、パス１５０を減算器１３０の反転入力に接続する。この方法によって、再構築された低品質ビデオ信号の品質が適合されたバージョンは、予測信号として、減算器１３０の反転入力に適用される。パス１４８と同様に、選択フィルタ１６０は、選択的に、低品質の再構築された信号をフィルタし、逆マッピングおよびアップサンプリングモジュール１６２はピクセル値を逆にマップし選択的にフィルタされ再構築された低品質ビデオ信号をアップサンプルする。

上記の説明から明らかになったように、パス１４８および１５０は同様の動作を行なう。以下に、モジュール１５４および１６２の動作の違いについて説明する。上記の目的を達成するために、以下の説明では、高品質エンコーディングモジュール１０４が、スイッチ１５２および１５８のいくつかのスイッチングモード、それらのうちの２つのモードが説明されている、の間のブロックワイズな切り換えをできるようになる。より正確には、ビデオ素材２００の一部を示す図２が参照される。図に示すように、ビデオ素材は一連のピクチャ２０２を備える。各ピクチャは、共通して複数のブロック２０４に分割される。特に、図２においては、各ピクチャ２０２は、４×３ブロック２０４の配列に構成されているように示されている。しかしながら、図２に例示されたブロックワイズな構成は、単に例として挙げられたものであって、他のブロックワイズな再分割も可能である。

ブロック２０４は、低品質エンコーディングモジュール１０２がレイヤ内およびレイヤ間予測を切り換えられるユニットを示す。特に、ブロック２０４は、マクロブロックに対応し得る。マクロブロックは、これらのマクロブロックのどれが予測モジュール１２６によって時間的に予測されるべきであるか、およびどれが時間的に予測することなくコードされるべきであるかを決定するために、低品質エンコーディングモジュール１０２によって使用されるものである。しかし、ブロック２０４は、マクロブロックサイズ以外のブロックサイズにも対応し得る。

低品質エンコーディングモジュール１０２と高品質エンコーディングモジュール１０４の効果的なマクロブロックのサイズは、両者のレイヤの間の例示的な空間解像度に基づいて、互いに異なり得る。より正確には、高品質エンコーディングモジュール１０４と低品質エンコーディングモジュール１０２の両方において、マクロブロックサイズは１６×１６のサンプルに設定され得る。高品質エンコーディングモジュール１０４のマクロブロックは、例示的な空間解像度の違いが原因で、低品質エンコーディングモジュール１０２のマクロブロックよりも小さなそれぞれのピクチャの部分を想定し得る。さらに、高品質レイヤおよび低品質レイヤの間の空間解像度比率に従って、低品質レイヤのマクロブロックの境界は高品質レイヤのマクロブロックの境界に一致することが可能である。

さらに、図２は、ピクチャ２０２を、第１のピクチャの小さな領域内のブロック２０６に再分割する例を示す。ブロック２０６は、高品質エンコーディング手段がさまざまなレイヤ間の予測モードの間で切り換え可能であるユニットを示す。ブロック２０５は、マクロブロックに対応し得る。マクロブロックは、たとえば、マクロブロックのうちのどれが予測モジュール１４２によって時間的に予測されるべきであるか、およびどれが時間予測なしでコードされるべきであるかを決定するための高品質エンコーディングモジュール１０２で使用される。たとえば、図２は、ブロック２０４およびブロック２０６がそれぞれマクロブロックサイズである場合を示し得る。この場合、図２は、マクロブロックサイズが与えられた低品質レイヤの２倍の空間解像度である高品質レイヤの空間解像度の例を示す。サンプルはモジュール１０２および１０４において同じである。図に示すように、各ブロック２０４はさらに４つのサブブロック２０６に再分割される。ブロック２０４への再分割が低品質エンコーディングモジュール１０２によるレイヤ間およびレイヤ内予測の切換能力を示し、ブロック２０６への再分割が高品質エンコーディングモジュール１０４のスイッチ１５２および１５８の操作能力を示すものとした場合、以下の説明から、高品質エンコーディングモジュール１０４が、ブロック２０４のユニットにおいて実行される低品質エンコーディングモジュール１０２のレイヤ内／レイヤ間予測に基づいて、スイッチ１５２および１５８を操作するように構成される。これによって、低品質エンコーディングモジュール１０２によってレイヤ間予測されたまたは時間的に予測されたブロック２０４をオーバーレイするこれらのブロック２０６に関して、パス１４８が回避されて、代わりにパス１５０が使用される、またはパス１４８および１５０のいずれもが使用されない。他のすべてのブロック２０６では、高品質エンコーディングモジュール１０４が自由に、例示的には固定で、レイヤ間の予測のために残差パス１４８を使用する。以下の説明から明確なものとなるが、この方法によって、より高い品質レイヤをデコードする際であっても、ビデオ素材のピクチャの各部分のために、最大でも１つだけの時間的予測がデコーダサイドで必要なものとなる。

上記の説明から明らかになったように、モジュール１５４および１６２は逆トーンマッピングを実行する。しかし、上記説明から明らかになったように、モジュール１６２に入力される入力信号は、低品質ビデオ信号自体の再構築を示す。それらのものとは対称的に、モジュール１５４に入力される入力信号は、低品質予測残差の再構築されたバージョンを単に表わすものである。モジュール１５４および１６２が厳密に同じものである場合、非線形トーンマッピングが利用される場合には、低品質予測信号パス１４８によって提供される予測の改良が悪化し得る。

このことを説明するために、図３が参照される。図３は、低品質レイヤが８ビットのサンプル値、すなわち輝度および／または色度値、を用いて動作する場合の例を示す。８ビット値は、例示的に３００として示される。さらに、図３では、高品質レイヤが１０ビットサンプル値３０２に基づいて動作することが想定される。８ビット値３００から１０ビット値３０２までをポイントする矢印３０４は、モジュール１５４によって実行される逆マッピングを示し、上記改良のような修正された方法でモジュール１６２に内在するものである。もちろん、８ビット値３００のビットを、１０ビット値３０２の最も重要な８つのビットにコピーすることも可能である。このことは、８ビット深さから１０ビット深さへと線形的にマッピングすることに対応する。しかし、マッピング機能は、線形的なマッピング特性に限定されるものではない。３０６において、図３は、例示的に、８ビット値から１０ビット値への非線形なマッピングを示すグラフを示す。この例に従う特有のマッピングカーブは３０８によって示される。図に示すように、カーブ３０８の傾きは、例示的に８ビット値が高くなるにつれて低くなり、８ビット値が小さくなるにつれて高くなる。さらに、８ビット値に関するグラフ３０６のｘ軸に沿って、図３は予測モジュール１２６によって出力される予測信号の例示的な８ビット値を示す矢印３１０を示す。これによ
って、矢印３１２は、逆変換モジュール１２０による出力としての再構築された予測残差の８ビット値を示すために示される。図に示すように、加算器１２２の手段によって値３１０および３１２の両者を合計することは、モジュール１６２によって正確に１０ビット値３０２に非線形にマッピングする機能３０８によってマップされる比較的高い８ビット値をもたらす。しかし、モジュール１５４が、直接的に小さな８ビットの予測残差値３１２を使用し、この値をカーブ３０８に適用する場合、低品質予測信号値３１０が示す（０で始まるとき）カーブ３０８のエリアの傾きよりも高い非常に小さな８ビット値（または０）のためのマッピング機能３０８の傾きが原因で、結果として生じた１０ビット残差値の過度な増大がもたらされ得ることがわかる。しかし、デコーダサイドで低品質レイヤの時間的な予測を実行する必要があるために、モジュール１５４は、８ビット残差値３１２をマッピングカーブ３０８の正しい位置へとシフトさせるために低品質予測値３１０を使用すべきではない。むしろ、両方、すなわち低品質レイヤおよび高品質レイヤ、の時間的予測を実行する必要性は避けられるべきである。それゆえに、図１に示されるように、高品質エンコーディングモジュール１０４の逆マッピングおよびアップサンプリングモジュール１５４には、逆変換モジュール１３６の出力としての高品質残差信号の再構築されたバージョンに選択的に追加されるべき予測モジュール１５２によって出力される高品質予測信号が与えられる。モジュール１５４は、失われた低品質予測信号値３１０を推定し、８ビット予測残差値３００を加算器１４６へと出力される１０ビットの予測残差値へと正確に逆マップするために、高品質レイヤの当該情報を使用する。逆マッピングおよびアップサンプリングモジュール１５４によって使用される「訂正」／「推定」のための詳細および異なる可能性が以下でより詳細に説明されるであろう。

しかし、逆マッピングおよび逆アップサンプリングモジュール１５４の動作のモードについての詳細な説明を開始する前に、図４を参照する。図４は、図１に従う高品質および低品質レイヤの空間解像度の違いに関する例を示すものである。図に示すように、図４では、モジュール１０６によって実行されるダウンサンプリングが、列方向のピクセルの半分の個数と行方向のピクセルの半分の個数とを有する低品質基本レイヤ画像をもたらすことが想定される。特に、図４は、実線によって低品質レイヤのピクセルを示し、点線によって高品質レイヤに従うピクセルへのピクチャ２０２の再分割を示す。図に示すように、各低品質ピクセルはきっちりと４つの、すなわち２×２の配列の、高品質ピクセルに重ね合わさる。たとえば、ピクセルＡは高品質のピクセルａ₁からａ₄に重ね合わさる。もちろん、図４の例は単なる説明であって、高品質および低品質レイヤの間の他の空間解像度の比率も可能である。上述したように異方性の解像度の比率と同様に、空間解像度の間の差は含まれない。図４は、以下において、現在の低品質予測残差値３１０のための失われた低品質予測信号３１０の代わりを導き出すモジュール１５４の機能を説明するために使用されるだろう。

特に、図１のビデオエンコーダの機能について大まかに説明し終えたので、その機能について、以下で詳細に説明する。上述したように、ビット深さの、選択的に、空間解像度の、品質低減のスケーラビリティーを達成するために、モジュールはまず初めに入力１１０の高品質入力ビデオ信号を低品質エンコーディングモジュール１０２に入力される基本品質ビデオ信号にダウンコンバートする。ダウンコンバージョンのこのような処理は、以下のものに限定されるわけではないが、サンプル値を丸めることを含むトーンマッピングスキームを利用するシングルサンプルのビット深さの低減を含み得る。さらに、ダウンコンバージョンは、ＲＧＢからＹＣｐＣｒへの変換のような入力信号のフィルタリングや、たとえばＨＤＴＢからＳＤＴＢへの解像度の変換のような入力信号の区分解像度の低減や、上述したダウンコンバージョンの方法の組み合わせを含み得る。モジュール１０６は、連続した各々のピクチャの各々のブロック２０４に対して、異なるダウンコンバージョンスキームを用いることもできるし、すべてのピクチャに同じスキームを用いることもできる。

次のステップでは、モジュール１０２に入力される基本品質信号が、たとえばＨ．２６４／ＡＶＣのような、スケーラブルでないビデオコーディングスキームを利用することによってコードされる。このエンコーディング処理から得られる圧縮されたビデオ信号は、基本品質画像を形成し、モジュール１０２によってマルチプレクサ１０８へと出力される。この基本品質画像によって、レガシーなビデオデコーダによるデコードが可能になる。高品質ソース信号のコーディングに関しては、基本品質画像に既に送られた情報が、モジュール１０４によって出力された高品質強化レイヤ信号が入力１１０で入力された元の高品質入力シーケンスに対するコードされた予測の違いのみを格納するように、高品質入力信号の予測を得るために使用される。図１の例においては、Ｈ．２６４／ＡＶＣの場合における各々のマクロブロックのように、各々のピクチャ２０２の各々のブロック２０６に関して、レイヤ間の予測メカニズムが当該ブロック２０６のために使用されるか否かを、状況に順応しながら選択することが可能である。使用されないレイヤ間の予測メカニズムは、スイッチ１５２が点線で示される位置にあって、スイッチ１５８が実線で示される位置にある場合に対応するものである。そのように、高品質エンコーディングモジュール１０４と低品質エンコーディングモジュール１０２とが完全に互いに独立して動作するための同時放送のような動作への交替は、レイヤ間予測メカニズムが失敗するピクチャの領域では常に起こり得ることである。ここでは、基本品質画像からのレイヤ間の予測が実行される方法が詳細に説明される。基本および高品質レイヤに関して、２つの区別できる動き補償予測ループが採用される。

特に以下の詳細な説明では、シングルループのデコーディングの制約下での基本から高品質画像への予測処理について説明する。シングルループのデコーディングは、高品質画像のデコーディングに関し、対応する基本品質画像を完全にデコードする必要がないということを明白にする。特に、動き補償予測の非常に複雑な動作は、高品質ピクチャの使用のためにのみ実行される必要がある。基本品質ピクチャサンプルを使用するほとんど複雑ではないレイヤ内予測処理の実行は、対応する高品質ピクチャをデコードするためにも要求され得る。

まず、「レイヤ内コードされた」基本品質ピクチャブロック２０４の場合、すなわち動き補償予測を使用することなくエンコードされたブロック、について説明する。より正確には、これらのブロックは低品質エンコーディングモジュール１０２における動き補償予測を使用することによってエンコードされたブロック２０４に重ね合わさることについて検討される。これらのブロック２０６に関しては、デコードされた基本品質ピクチャサンプルが、すなわち加算器１２２の出力として提供される再構築された基本品質ビデオシグナルが、高品質エンコーディングモジュール１０４への入力としての対応する高品質ピクチャサンプルの予測を取得するために直接使用される。予測処理は、モジュール１６２および１６０を含み、逆マッピングおよびアップサンプリングモジュール１６２の動作のモードは以下の２つのステップを含み得る。

１．たとえば８ビットから１０ビットのように、より高いビット深度への基本品質サンプル値の逆トーンマッピング。

２．このケースにおいて想定されているように、基本および高品質ピクチャが異なる空間解像度でコードされる場合における、たとえばＣＩＦから４ＣＩＦへの、低解像度基本品質ピクチャブロック２０４の最も高い空間解像度へのアップサンプリング。同じ空間解像度が使用される場合、ステップ２は省略され得るし、または、代替的に、その機能が「非動作」とみなされ得る。

これらの２つの動作またはステップが実行される順序は、固定であってもよいし変更可
能であってもよい。変更可能な場合は、高品質エンコーディングモジュール１０４は、サイド情報として、利用される当該順序をデコーダに送信するように構成されてもよい。すなわち、指示が、それぞれのブロック２０４に関して使用される当該順序を示す、高品質強化レイヤデータストリームに含まれるサイド情報に挿入される。

逆トーンマッピングの処理は、特に、さまざまな方法で実行される。たとえば、ビット深度に関するスケーラビリティーに関しては、モジュール１６２の入力での基本品質サンプルに２^M-Nが掛けられ得る。ここで、Ｍは高品質信号のビット深度であり、Ｎは線形マッピングに対応する基本品質シグナルのビット深度である。代替的に、このことは、ｍｉｎ（２^M-N×２^M−１）に従った、モジュール１６２の入力での基本品質サンプル値のスケーリングおよびクリッピングの実行とみなされ得る。

代替的に、以下のマッピングメカニズムの１つは予測処理のために利用される。たとえば、区分的な線形マッピングは互換点の任意の個数が指定される場合に利用され得る。たとえば、値ｘと２つの与えられた補完点（ｘ_n，ｙ_n）と（ｘ_n+1，ｙ_n+1）とを有する基本品質サンプルに関して、対応する予測サンプルｙは、以下の式に従って、モジュール１６２によって取得される。

この線形の補完は、ｘ_n+1−ｘ_nが２のべき乗に限られている場合においては、分割動作の変わりにビットシフトのみを用いることによって、複雑でない計算によって実行され得る。

他の取り得るマッピングメカニズムは、参照テーブルマッピングを表わす。そこでは、基本品質サンプル値の手段によって、テーブルの参照が参照テーブルにて実行される。そこでは、各々の取り得る基本品質サンプリング値に関して、対応する予測サンプル値が指定される。参照テーブルは、サイド情報として、デコーダ側に提供され、またはデフォルトでデコーダに知られ得る。

さらに、所定のオフセットへの対応が利用され得る。この代替案に従うと、より高いビット深度を有する対応する高品質予測サンプルｙを得るために、たとえば、それぞれに、以下の式の１つに従って、モジュール１６２が基本品質サンプルｘに所定のファクタである２^M-N-Kを掛け、その後、所定のオフセットである２^M-1−２^M-1-Kが加算される。

この方法によって、低品質のダイナミックレンジ［０；２^N−１］が以下のことに従う方法で、第２のダイナミックレンジ［０；２^M−１］にマップされる。すなわち、ｘのアップされた値は、Ｋによって決定される拡張内のｙの取り得るダイナミックレンジ［０；２^M−１］を考慮した集中型の方法によって分配される。Ｋの値は、整数値または実数値を取り得る。Ｋの値は、たとえば、品質的にスケーラブルなデータストリームの中のサイ
ド情報としてデコーダへと送られ得る。これによってデコーダではいくつかの予測手段が、後述するように、予測モジュール１３４と同じ方法で動作する。ＭおよびＮの定義を考慮して、上記説明について述べる。丸め動作は、整数値化されたｙの値を得るために使用され得る。

他の可能性は可変のオフセットに対応する。たとえば以下の式の１つに従って、基本品質サンプルｘには所定のファクタが掛けられ、その後、可変のオフセットが加算される。

この方法によって、低品質ダイナミックレンジが、以下の方法に基づいて第２のダイナミックレンジへとマップされる。すなわち、ｘのマップされた値は、ｙの取り得るダイナミックレンジの一部に分配される。その拡張は、Ｋによって決定される。より低い境界に関するそのオフセットは、Ｄによって決定される。Ｄは、整数または実数であり得る。結果であるｙは、高いビット深度の予測信号のピクチャサンプル値を表わす。ＫおよびＤの値は、たとえば品質的にスケーラブルなデータストリームの中でサイド情報としてデコーダへと送信され得る。再度、丸め動作は、整数値化されたｙの値を得るために利用され得る。繰返しはっきりと述べていなくとも、後者は、ビット深度のマッピングに関して、本出願で提供されている他の例にも当てはまるものである。

さらに別の可能性は重ね合わせに対応する。たとえば以下の式の１つに従って、高いビット深度の予測サンプルｙは、対応する基本品質サンプルｘから取得される。なお、ｆｌｏｏｒ（ａ）は、ａを最も近い整数に丸めるものである。

上述した可能性は組み合わせ得る。たとえば、重ね合わせと所定のオフセットとに対応することが利用され得る。たとえば、以下の式の１つに従って、高いビット深度の予測サンプルｙが取得される。なお、ｆｌｏｏｒ（ａ）は、ａを最も近い整数に丸めるものである。

Ｋの値は、デコーダへのサイド情報として指定され得る。
同様に、重ね合わせと可変のオフセットとに対応することが利用され得る。以下の式に従って、高いビット深度の予測サンプルｙが取得される。なお、ｆｌｏｏｒ（ａ）は、ａを最も近い整数に丸めるものである。

ＤおよびＫの値は、デコーダへのサイド情報として指定され得る。
さらに、確率密度関数のように、統計が異なり得るということに配慮するために、基本品質信号の輝度および色度の成分のための異なるマッピングメカニズムを指定することが可能である。また、領域が必ずしも連続している必要がないピクチャの異なる領域のための異なるマッピングメカニズムを指定することも可能である。さらに、上述したマッピングメカニズムの１つを採用した後に、擬似ランダムノイズ信号（「ギザリング信号」）がエンコーダおよびデコーダの予測モジュールのそれぞれで実行される予測処理においての高いビット深度予測信号に追加されることが指定されてもよい。この信号は、高いビット深度の画像をデコードすることが可能になるように、デコーダにおいて正確に知られている。そのため、擬似ランダム処理の、擬似ランダム生成器の初期値や、分散や形状（たとえば、通常のまたは均一の分布）のようなあるパラメータが、サイド情報として送信される必要があり得る。そのようなサイド情報がスケーラブルなビットストリームの中で送信されない場合、たとえばレンジ［０，２^M-N−１］または［０，２^M-N-K−１］それぞれの擬似ランダム値の均一な分布のようにデフォルトな値が、選択されたマッピングメカニズムに従って使用され得る。

もちろん、完全なシーケンスのための同様のメカニズムの使用と、各々のピクチャの各々のブロックのための異なる逆トーンマッピングメカニズムの使用とを指定することもできる。

どのようなケースにおいても、マッピングカーブは、上記の可能性によって定義されたものによって制限されるものではないということが強調される。特に、マッピングカーブは、線形的なものにも部分的に線形的なものにも限定されるものではない。

モジュール１６２における基本品質ピクチャブロックをより高い空間解像度へとアップサンプリングするための処理に関しては、サンプル補完処理が、空間的なスケーラビリティーの場合のためのＨ．２６４／ＡＶＣビデオコーディング規格のスケーラブルなビデオコーディング拡張に記載されている１つに従い得る。直接的な解決方法としては、低解像度ピクセルサンプルＡ（図４を参照）のための逆マップされた１０ビット値が、対応する４つの共通に配置された高解像度ピクセル位置Ａ₁からＡ₄へと単にコピーされ得る。同様のことが上記の切り換えられる２つのステップの場合における８ビット値にも適用されるだろう。

次に、動き補償予測を用いてエンコードされる、「レイヤ間コードされた」基本品質ピクチャブロック２０４、すなわちブロック、の場合について考える。より正確には、それらのブロック２０６の場合における高品質エンコーディングモジュール１０４の機能について説明する。ブロック２０６は、低品質エンコーディングモジュール１０２内で動き補償予測を使用することによって、エンコードされるブロック２０４に重ね合わさる。上述したシングルループデコーディングの制約が原因で、加算器１２２によって出力されるデコードされた基本品質ピクチャサンプルは、高品質画像をデコードするためにデコーダでは利用できない。それゆえに、この場合には、レイヤ間の予測が、減算器１１４による出力としての基本品質残差データ、または基本品質残差の逆変換モジュール１２０による出力としての再構築されたバージョンを利用することによって実行される。このため、この場合には、レイヤ間の予測がレイヤ間の残差予測としてみなされ得る。

完全性だけの目的のためには、たとえば、予測モジュール１２６によって低品質予測信号を得るために使用されるようなモーションベクトルおよび参照ピクチャインデックスを含むモーションデータは、この情報がデコーダ側で予測モジュール１２６によって実行される動き予測をエミュレートすることに利用可能となるように、低品質基本レイヤに含まれる。もちろん、同じものが予測モジュール１４２にも適用される。予測モジュール１４２も、時間的な予測を実行する際における、モーションベクトルや参照ピクチャインデックスを含むモーションデータを生成する。モーションデータは、モジュール１０４によって出力される高品質強化レイヤ信号に含まれる。この点に関し、基本品質モーションデータは、レイヤ間の動き予測の予測残差のみが高品質強化レイヤにエンコードされ得るように、高品質動きデータのための予測として利用され得る。

図３を参照しながら説明したように、たとえば、ビットシフト操作を介するように、線形的な逆トーンマッピング動作の普通のケースのためには、逆トーンマッピングは、逆マッピングおよびアップサンプリングモジュール１５４に入力される残差データに直接適用することができない。なぜなら、実際に再構築された低いビット深度のサンプル値３１０は、対応する高いビット深度のサンプル値の予測を得られるように、知られている必要があるからである。しかし、残差３１２は、単なる差分信号であって、それゆえに、再構築された基本品質サンプル３１０の値が、高品質予測信号と、低品質残差データと、選択的に高品質残差シグナルとを用いることによって推定されるのに従って、追加的な方法がモジュール１６２に関するモジュール１５４内において採用される。特に、品質的に適合された残差信号は、以下の方法の１つに従って取得される。

１．ここで想定される空間的なスケーラビリティーの場合には、各々の基本品質残差サンプルが、１つの高品質残差サンプルよりも多くに対応する。この目的を達成するために、図４が参照される。ピクセルＡのための基本品質残差サンプルは、空間的に、４つの高品質残差サンプル、すなわちａ₁からａ₄、に対応する。それゆえに、第１のステップにおいては、各々の基本品質残差サンプルＡに関して、高品質画像値に対応するシングルが決定される。最も単純なケースにおいては、特定の基本品質残差サンプルＡに対応する高品質動き補償予測信号サンプル値ａ₁からａ₄だけが、平均値、メジアン値、たとえば代表値としての、左上のサンプル値のような予測信号サンプル値ａ₁からａ₄のセットから取得される他の独特の値を使用することが考えられる。同様のことが、予測信号サンプル値だけの代わりに、予測モジュール１４２による出力としての高品質予測信号サンプル値と逆変換モジュール１３６による出力としての高品質残差サンプルとの合計を用いる際にも適用される。同様の空間解像度が基本および高品質ピクチャの両者に利用される場合、代表値は、単なる共通に配置された高品質予測サンプル値、または共通に配置された高品質残差と予測サンプル値との合計である。

このように、取得される代表値は、第１の取り得る方法に従ってトーンマッピングを訂正するのに利用される。理解を容易にするために、図５Ａを参照する。図５Ａは、品質適合の第１の取り得る方法を内包するモジュール１５４の機能を示す。今説明された代表値の選択は、参照符号５００を用いて図５Ａに示される。今説明したように、代表値の選択は、高品質予測信号５０２、または高品質予測信号５０２と高品質残差信号５０４の両者を含み得る。ここでは、「（）」によって示される高品質残差信号の選択性と、「＋」によって示される組み合わせとを伴う。高品質残差および予測信号を表わす情報系５０２および５０４のそれぞれに含まれる圧着された部分５０６は、これらの信号５０２および５０４内の空間的な位置または空間的な領域を示す。部分５０６は、空間的に、基本品質残差信号５１０内のピクセル５０８に対応し、逆マッピングおよびアップサンプリングモジュール１５４によって処理される必要がある。

ブロック５００で選択された代表値は、シングルループデコーディングの制約が原因で利用できない再構築された低いビット深度のサンプル値の推定値を得るために利用される。この推定値は、同様のトーンマッピング動作、または、高品質画像値の基本品質エンコーディングのための高品質ソースシーケンスのダウンコンバージョン段階中、すなわち品質低減モジュール１０６内で、使用されたものに非常に似通ったものを利用することによって取得される。より正確には、ブロック５００内での代表値の選択の後に、トーンマッピング５１２が、１０ビット値のような取得された代表値を、たとえば８ビットのような、より低いビット深度を有する値へと変換するために実行される。次に、時間がかかるビット深度推定の値がブロック５１２によって出力され、モジュール１５４に入力される低いビット深度の残差サンプル値が低い解像度、低いビット深度の再構築されたサンプル値の改良された推定値を得るために追加的な動作５１４によって合計される。この改良された推定値は、ブロック５１６を用いてブロック５１６内で逆トーンマップされる。ここで想定されているような空間的なスケーラビリティーの場合においては、低い解像度、低いビット深度の再構築された信号の改良された推定値をアップサンプリングする。アップサンプリング処理は、上述したようにレイヤ内でコードされた基本品質ピクチャブロックのために使用される処理に従い得る。最後に、逆トーンマップと、もしかしたら、改良されアップサンプルされた推定値とブロック５００にて選択されたような高品質代表値との間の差分が計算ブロック５１８にて決定される。結果である差分は、モジュール１５４によって加算器１４６に出力される、逆残差トーンマップされアップサンプルされた基本品質残差サンプルを表わす。

２．品質的に適合された残差信号を取得するための第２の方法を、図５Ｂを参照して説明する。この場合には、空間的に、ベース品質残差信号５１０の低品質サンプル値５０８、または、高品質動き補償予測サンプル５０２のサンプル値５０６と高品質残差信号５０４のサンプル値５０６とのサンプルワイズな合計に対応する高品質動き補償予測信号５０２内のサンプル値５０６が、同様のトーンマッピング動作、または高い空間解像度、低いビット深度画像を生じる基本品質エンコーディングのための高品質ソースシーケンスのダウンコンバーティング段階中に使用される非常に似通った動作を使用することによって、サンプルワイズにトーンマップされる５２０。異なる空間解像度が基本および高品質ピクチャに使用されるときに備えて、このケースでは以下のことが例示的に想定される。モジュール１５４に入力される基本品質残差サンプル５０８は高い空間解像度、低いビット深度画像を生じながら、高品質空間解像度にアップサンプルされる５２２。さもなければ、すなわち基本および高品質レイヤ内の空間解像度が同じである場合、元の基本品質残差サンプル５０８は既に高品質解像度となっており、ブロック５２２を用いることなく直接利用される。これらの２つの高い空間解像度、低いビット深度信号は合計され５２４、その後、高い空間解像度、高いビット深度画像を再び生じながら、上述したようにレイヤ内でコードされた基本品質ピクチャブロックのために使用される処理に従って、逆トーンマップされる５２６。高品質動き補償予測信号サンプル値または、（）によって示される選択的な場合において、高品質動き補償予測信号サンプル値と、高品質残差信号サンプルとの合計のそれぞれと逆トーンマップされた高い空間解像度、高いビット深度信号の間の差分が減算器５２８において決定される。結果として生じる逆トーンマップされた高い空間解像度、高いビット深度の信号は、モジュール１５４によって加算器１４６へと出力される「逆残差トーンマップされアップサンプルされた」基本品質残差信号を表わす。

これら２つのレイヤ間残差予測スキームのどちらが使用されるかは、固定であってもよいし変更可能であってもよい。変更可能な場合には、情報が、デコーダ側に図５Ａおよび５Ｂの選択肢のうちのどちらが特定のブロック２０６のために使用されたかを示す高品質強化レイヤ信号に含まれるサイド情報に挿入され得る。

図５Ａおよび５Ｂの両選択肢においては、それぞれ、まず高いビット深度から低いビッ
ト深度のドメインまでの前のトーンマッピング動作を利用し、その後、基本品質残差と低いビット深度のドメインとを加算し、続いて高いビット深度のドメインへと戻る逆トーンマッピング動作を行なう、間接的な方法が使用された。この間接的な方法は、他の実施の形態に従うと、回避することも可能である。たとえば、「逆」トーンマッピングの特性カーブ３０８は、第１のテーラ近似を用いることによって線形化され得る。この場合、モジュール１５４に入力される基本品質残差サンプル値は、取り得るアップサンプリング動作の前に、ブロック５００によって選択されることによって導き出された対応の高品質画像値によって決まるファクタによって、線形的に測定され得る。代替的に、空間的なスケーラビリティーに関しては、アップサンプルされた他の元の基本品質残差サンプル値が、対応する高品質動き補償された予測信号サンプル値、または、高品質動き補償された予測信号サンプル値と高品質残差信号サンプル値との合計によって決まる要因によって、線形的に測定される。換言すれば、ビット深度の適用は、加算器１６８からの高品質信号、すなわち高品質予測信号、または当該高品質予測信号と高品質予測残差との組み合わせ、に従って残差値の測定と組み合わされる。

上述したように、逆トーンマップされた、本実施例に従えば、アップサンプルされた、モジュール１５４によって出力される基本品質残差サンプル値は、予測モジュール１４２によって出力される高品質予測信号を改良するために利用される。

レイヤ間の動き予測に関しては、予測モジュール１４２において高品質画像のコーディングのために利用されるＨ．２６４／ＡＶＣにおけるマクロブロックの領域確保、参照ピクチャインデックス、モーションベクトルのような、動きパラメータが、コーディング効率の向上を達成するために、モジュール１２６において基本品質画像の対応するパラメータを利用することによって、予測との差分として送信され得る。レイヤ間の動き予測スキームは、サンプルのビット深度の観点からはスケーラビリティーとは独立したものであって、それゆえに、Ｈ．２６４／ＡＶＣビデオコーディングの規格のスケーラブルなビデオコーディングの拡張に記述されているメカニズムが利用され得る。

他の実施の形態に従うと、高品質エンコーディングモジュール１０４は、シングルループのデコーディングの制約には縛られない。シングルループのデコーディングでの制約がない場合、すべての再構築された基本品質サンプルが高品質画像のデコーディングのために利用可能であって、ビデオエンコーダ１００は、レイヤ間の予測パス１５０を含む予測メカニズム、または、レイヤ間の予測パス１４８を含む予測メカニズムのいずれかを使用することを自由に選択し得る。両予測メカニズムに関する決定は、出力１１２での結果として生じるスケーラブルなビットストリームの最も良い歪み率の性能が発揮できるようになされ得る。しかしながら、たとえば、要求されたエンコーディングの複雑さを低減させるような、他の決定基準も利用可能である。

ビデオエンコーダについての実施の形態を説明したので、以下では、図６を参照しながらビデオデコーダの実施の形態を説明する。図６のビデオデコーダ６００は、デマルチプレクサ６０２と、基本品質および高品質の残差信号を再構築するためのエントロピーデコーディングおよび逆変換ユニット６０４と、基本品質再構築ユニット６０６と、高品質再構築ユニット６０８とを備える。そして、高品質再構築ユニット６０８は、時間的予測ユニット６１０と、再構築ユニット６１２とを備える。

図６のデコーダ６００は、図１のビデオエンコーダ１００の出力１１２で出力されるスケーラブルなビットストリームをデコードすることができる。特に、ビデオデコーダ６００は、スケーラブルなビットストリームを受信するための入力６１４を備え、当該スケーラブルなビットストリームから基本品質シーケンスと高品質シーケンスの両方を抽出することができる。この目的を達成するために、図６のデコーダ６００は、デコードされた基
本品質シーケンスのための出力６１６と、デコードされた高品質シーケンスのための出力６１８とを備える。デコーダ６００は、高品質シーケンスと低品質シーケンスの両方を抽出できるものであるが、他の実施の形態に従うと、デコーダ６００は出力６１６を備えないことも可能である。

デマルチプレクサ６０２の入力は、入力６１４に接続される。マルチプレクサ６０２は２つの出力を備え、一方は高品質強化レイヤ信号のためのものであって、他方は低品質基本レイヤ信号のためのものである。両方の出力は、残差信号再構築ユニット６０４のそれぞれの入力に接続される。内部では、残差信号再構築ユニット６０４は、それぞれに逆変換ユニット６２４および６２６が続くエントロピーデコーディングユニット６２０および６２２のそれぞれの２つのシリーズ接続を備える。各シリーズ接続は、デマルチプレクサ６０２の出力の他方に接続される。特に、残差信号再構築ユニット６０４は、２つの出力を備える。ここでは、エントロピーデコーディングユニット６２０と逆変換ユニット６２４がこれらの出力の１つとデマルチプレクサ６０２の高品質強化レイヤの出力との間に接続される。一方、エントロピーデコーディングユニット６２２と逆変換ユニット６２６とは、他の出力とデマルチプレクサ６０２の低品質基本レイヤの出力との間に接続される。

エントロピーデコーディングユニット６２０は、エントロピーコーディングユニット１４４によって実行されるエントロピーコーディングの逆の動作を行なう。エントロピーデコーディングユニット６２２は、エントロピーコーディングユニット１２８によって実行されるエントロピーコーディングの逆の動作を行なう。逆変換ユニット６２４は、その動作に関しては、逆変換ユニット１３６と同様である。逆変換ユニット６２６は逆変換ユニット１２０に対応する。このように、逆変換ユニット６２４の出力においては、逆変換ユニット１３６による出力として再構築された高品質残差信号が利用可能なものとなる。逆変換ユニット２６２は、低品質エンコーディングモジュール１０２内の逆変換ユニット１２０の場合と同様に、低品質残差信号の再構築されたバージョンを出力する。

低品質再構築ユニット６０６は、低品質エンコードモジュール１０２の要素１２２から１２６に対応する要素を含む。特に、低品質再構築ユニット６０６は、加算器６２８と、予測ユニット６３０と、デブロッキングユニット６３２と、要素１２２、１２６、１２４のそれぞれに対応する要素とを備える。特に、加算器６２８とデブロッキングユニット６３２とは上述した順序で、逆変換ユニット６２６の出力と出力６１６との間に連続的に結合される。一方、予測ユニット６３０は、デブロッキングフィルタ６３２の出力と加算器６２８の別の入力との間に接続される。

高品質再構築ユニット６０８内では、再構築ユニット６１２が、高品質エンコーディングモジュール１０４の要素１４６、１３８、１４０に対応する要素を含む。同様に、予測ユニット６１０は、要素１４２、１６４、１４８から１６２に対応する要素を含む。より正確には、再構築ユニット６１２は、加算器６３４と他の加算器６３６とデブロッキングフィルタ６３８とを備える。ここでは、加算器６３４とデブロッキングフィルタ６３８とが、上述した順序で、逆変換モジュール６２４の出力と出力６１８との間に連続的に結合される。予測ユニット６１０は、予測ユニット６４０と、加算器６４２と、第１のレイヤ間の予測パス６４４と、第２のレイヤ間の予測パス６４６と、３つのスイッチ６４８、６５０、６５２とを備える。パス６４４および６４６の各々においては、選択フィルタ６５４および６５６のシリーズ接続のそれぞれと逆マッピングおよびアップサンプリングモジュール６５８および６６０とが接続される。機能性と相互接続との観点から、要素６４０から６５２は、図１の要素１４８から１６４および１４２に対応する。追加的なスイッチ６４８は、図１の点線と同様に、モジュール６５８および１５４のそれぞれによって実行される逆マッピングを訂正するために、逆変換ユニット６２４および１３６のそれぞれの出力の寄与率の選択性を示す。特に、スイッチ１４８は、エンコーダ１００が、高品質予
測信号が高品質残差との組み合わせに利用されるか否か、または高品質予測信号がそれだけで利用されるか否かを決定することができるということを明らかにする。この場合、スイッチ６４８は、加算器６４２の別の入力に０を適用する。この場合、高品質強化レイヤ信号内のそれぞれのサイド情報は、スイッチ６４８をどのように操作するかを決定するために、高品質再構築ユニット６０８によって利用され得る。サイド情報は、スケーラブルなビットストリームを介して、高品質エンコーディングモジュール１０４によって提供されるだろう。

完全を期するために、スイッチ６４８は、加算器６４２の他の入力と逆変換ユニット６２４の出力との間に接続される。当該パス６４６は、加算器６２８の出力から、スイッチ６５２を介して、加算器６３４の他の入力まで伸長される。第１のレイヤ間の予測パス６４４は、逆変換ユニット６２６の出力から、スイッチ６５０を介して、加算器６３６の他の入力まで伸長される。さらに、予測ユニット６４０は、デブロッキングフィルタ６３８の出力と加算器６３６の他の入力との間に接続される。加算器６３６の出力は、スイッチ６５２を介して、加算器６３４の他の入力に接続される。

高品質ビデオ信号の再構築においては、デコーダ６００は以下の方法で動作する。まず第１に、入力６１４におけるスケーラブルなビットストリームが、一方では高品質強化レイヤを得るために、他方では低品質基本レイヤを得るために、マルチプレクサ６０２によって逆多重化される。ユニット６２０および６２２のそれぞれによるエントロピーデコーディングの後、結果として生じる変換係数は、逆変換ユニット６２４および６２６のそれぞれによって実行される逆変換のためのものである。逆変換ユニット６２４の出力では、高品質予測残差の再構築されたバージョンが得られる。同様に、逆変換ユニット６２６の出力では、低品質予測残差の再構築されたバージョンが得られる。予測ユニット６４０は、動き補償された予測のような時間的な予測を実行するために、デコードされた高品質のシーケンスを利用する。この目的を達成するために、予測モジュール６４０は、予測モジュール１４２によって生成され、高品質強化レイヤ信号に入力された動きデータのような時間的な予測データを利用する。この高品質予測信号は、レイヤ間の予測パス６４４によって取得される予測残差のための加算器６３６による予測の加算によって改良される。少なくとも、ブロック２０６に関して以下のことが当てはまる。高品質エンコーディングモジュール１０４は、たとえば、スケーラブルなビットストリーム内のそれぞれのサイド情報から、または低品質基本レイヤ信号から、これらのブロックが識別可能であることを利用して、パス１４８を利用した。これらのブロックに関しては、スイッチ６４８および６５０が、図６の実線で示される位置にあるものとする。一方、スイッチ６５２は、点線で示される位置にあるものとする。改良された予測信号は、スイッチ６５２を介して加算器６３４へと送られる。加算器６３４は、再構築された高品質予測残差に改良された予測信号を加算する。その後、デブロッキングフィルタ６３８が、デコードされた高品質シーケンスを取得し、当該シーケンスを出力６１８で出力するために、デブロッキングフィルタリングを実行する。

高品質エンコーディングモジュール１０４がパス１５０を利用する場合の対象となるブロック２０６に関して、スイッチ６５２は、図６において実線で示される位置にあるものとする。一方、スイッチ６５０は、別の位置、すなわち点線、にあるものとする。これらのブロックの識別に関して、他のレイヤ間の予測されたブロックに関する今説明された機能について説明する。これらのブロックの場合には、加算器６３４が、再構築された高品質予測残差に、加算器６２８の出力からパス６４６を介して取得された逆マップされアップサンプルされた形式の再構築された基本品質ビデオ信号を加算する。特に、予測ユニット６３０は、時間的な予測が低品質エンコーディングモジュール１０２にて利用された対象となるブロック２０４のための時間的な予測を実行する。加算器６２８は、パス６４６によって利用される基本品質ビデオ信号の再構築されたバージョンを出力するために、こ
の予測信号を再構築された低品質予測残差に加算する。再度、予測ユニット６３０は、動き補償データのような時間的な予測データに従って、基本品質レイヤに対する時間的な予測を実行するということを述べる。これは、低品質エンコーディングモジュール１０２の予測モジュール１２６によって用いられ、低品質基本レイヤへと挿入されるものである。

これまでに説明されていないデコーダ６００の他のブロックに関して、上記のビデオエンコーダ１００の説明を参照する。これらのブロックに関しては、エンコーダの場合と同様のステップが実行される。このことは、特に、逆マッピングおよびアップサンプリングユニット６５８および６６０と、逆マッピングおよびアップサンプリングユニット６５８によって、予測信号、または、予測ユニット６４０の予測信号とスイッチ６４８を介して加算器６４２に提供される高品質予測残差の再構築されたバージョンとの合計の利用による基本品質予測信号の見積もりとに関して当てはまる。

最後に、リービングユニット６５８としての逆トーンマップされ（もしかすると）アップサンプルされた基本品質残差サンプル値は、加算器６３４に入力されるコードされた高品質残差サンプル値に加算され、それゆえに、効率的な高いビット深度、デコーディング処理において再構築のために利用される高い解像度の予測残差信号、予測信号リービング予測ユニット６４０、高品質シーケンスが取得される。ビデオの各部分に関して、高品質でビデオコンテンツをデコードするために最大で１つの時間的な予測だけが必要になるように、シングルループの制約を満たすことができる。

図６のデコーダの実施の形態をＨ．２６４／ＡＶＣの環境に移す場合、要素６２２、６２６および６０６の使用による基本品質画像のデコーディングは、完全にＨ．２６４／ＡＶＣに従う。上述したＳＶＣに関する提案において記載されたような、ビット深度のスケーラビリティーがない空間的なスケーラビリティーの動作と比較して、高品質画像のデコーディングに要求される追加的なステップは、逆トーンマッピングと、空間的なスケーラビリティーの場合には、ＳＶＣのレイヤ間の解釈の代わりに採用されるデコードされた基本品質ピクチャサンプルのためのアップサンプリング動作と、逆残差トーンマッピングと、空間的なスケーラビリティーの場合における、ＳＶＣのレイヤ間の残差予測の代わりに採用される基本品質残差サンプルのためのアップサンプリング動作である。

換言すれば、上記の実施の形態は、ビデオ信号のレイヤ化された画像をコーディング（エンコーディング／デコーディング）するためのビデオコーダ（エンコーダ／デコーダ）を説明するものである。そして、当該ビデオ信号は、基本品質レイヤをコーディングするための規格化されたビデオコーディング方法と、レイヤ内コードされた基本品質ピクチャブロックまたはシングルループのデコーディングの制約に従うべき場合における再構築された基本品質信号を使用することによって、高品質強化レイヤ信号の予測を実行するための予測方法と、以下では「レイヤ間残差予測」と言われる、レイヤ間コードされた基本品質ピクチャブロックの場合におけるデコードされた基本品質残差信号を用いることによって、高品質強化レイヤ残差信号の予測を実行するための予測方法と、高品質強化レイヤ信号の予測残差をコーディングするための残差コーディング方法と、高品質強化レイヤ予測モードを考慮するためのコーディング方法とを備える。

レイヤ間レイヤ内予測は、空間的なスケーラビリティー（すなわち、基本および高品質レイヤに関する異なる空間解像度の使用）の場合、基本品質レイヤ信号のアップサンプリングと、基本品質レイヤに関連したダイナミックレンジから高品質強化レイヤに関連したダイナミックレンジまでのマッピング機能を利用することによって実行され得る。そして、アップサンプリングおよびマッピング動作の順序は固定であってもよいし、変更可能であってもよい。変更可能な場合、当該順序は、サイド情報としてデコーダへと送信され得る。

レイヤ間レイヤ内予測は、空間的なスケーラビリティー（すなわち、基本および高品質レイヤに関する異なる空間解像度の使用）の場合、基本品質レイヤ信号のアップサンプリングと、以下の式に従う（もしかしたらアップサンプルされた）基本品質レイヤのサンプル値ｘをスケーリングおよびクリッピングすることによっても実行される。

ここで、基本品質レイヤのサンプル値ｘは、Ｎのビット深度によって示される。高品質強化レイヤのサンプル値は、Ｍのビット深度によって示される。Ｍ＞Ｎである。アップサンプリングとスケーリングとクリッピング動作との順序は、固定であってもよいし変更可能であってもよい。変更可能な場合、当該順序がサイド情報としてデコーダへと送信されるべきである。

さらに、レイヤ間レイヤ内予測は、空間的なスケーラビリティー（基本および高品質レイヤに関する異なる空間的解像度の使用）の場合、基本品質レイヤ信号のアップサンプリングと、サイド情報として送信される所定の個数の補完点を用いたピースワイズな線形マッピングとを利用することによっても実行され得る。ここでは、アップサンプリングと線形的な補完マッピング動作との順序が固定であってもよいし、変更可能であってもよい。変更可能な場合、当該順序がサイド情報としてデコーダへと送信されるべきである。

レイヤ間レイヤ内予測は、代替的に、空間的なスケーラビリティー（すなわち、基本および高品質レイヤに関する異なる空間解像度の使用）の場合、基本品質レイヤ信号のアップサンプリングと、対応する高品質サンプル値を含み、サイド情報として送信され得る参照テーブルをインデックスするための（もしかするとアップサンプルされた）基本品質信号サンプルの値を利用することによって実行され得る。ここでは、アップサンプリングと参照テーブルマッピングの動作の順序が、固定であってもよいし、変更可能であってもよい。変更可能な場合、当該順序が、サイド情報としてデコーダへと送信され得る。

他の可能性として、レイヤ間レイヤ内予測は、空間的なスケーラビリティー（すなわち基本および高品質レイヤに関する異なる空間解像度の使用）の場合、基本品質残差信号のアップサンプリングと、基本品質レイヤに関連したダイナミックレンジから高品質強化レイヤに関連したダイナミックレンジへのマッピング機能を利用することと、によって実行される。ここでは、アップサンプリングとマッピングの動作の順序が、固定であってもよいし、変更可能であってもよい。変更可能な場合、当該順序が、サイド情報としてデコーダへと送信され得る。他の実施の形態に従うと、レイヤ間レイヤ内予測は、空間的なスケーラビリティー（すなわち、基本および高品質レイヤに関する異なる空間的な解像度の使用）の場合、基本品質残差信号のアップサンプリングと、サイド情報として送信される所定の個数の補完点を用いたピースワイズな線形マッピングを利用することとによって実行される。ここでは、アップサンプリングと線形補完マッピングの動作との順序が固定であってもよいし、変更可能であってもよい。変更可能な場合、当該順序がサイド情報としてデコーダへと送信され得る。

代替的に、レイヤ間レイヤ内予測は、各々の基本品質サンプルに関して、（同様の空間解像度が基本および高品質ピクチャの両方のために利用される場合に１つのシングル値から構成され得る）共通に配置された高品質予測信号サンプル値のセットから、高品質画像値（平均値、メジアン値、他の特有の値であり得る。）を決定することと、その後の高品
質画像値に対するトーンマッピング動作を実行することと、このトーンマップされた高品質画像値と対応する基本品質残差サンプル値（たとえば、加算操作を介する）とを組み合わせることと、その後の逆トーンマッピングおよび空間的なスケーラビリティー（すなわち、基本および高品質レイヤに関する異なる空間解像度の使用）の場合においては、上述の方法を用いた当該組み合わされた信号のアップサンプリングと、最後に逆トーンマップされ（もしかすると）アップサンプルされ組み合わされた信号と高品質画像値との間の差異を決定することによって実行される。

別の代替案として、レイヤ間レイヤ内予測は、各々の基本品質サンプルに関して、共通して配置された高品質予測信号サンプル値と（同様の空間解像度が基本および高品質ピクチャの両方のために利用される場合において１つのシングル値のみから構成され得る）対応する高品質残差信号サンプル値との合計のセットから、高品質画像値（平均値、メジアン値、または他の特有の値であり得る）を決定することと、その後の高品質画像値に対するトーンマッピング動作を実行することと、当該トーンマップされた高品質画像値と対応する基本品質残差サンプル値（たとえば、加算操作を介する）とを組み合わせることと、その後の逆トーンマッピングおよび、空間的なスケーラビリティー（すなわち、基本および高品質レイヤに関する異なる空間解像度の使用）の場合においては、上述した方法を用いた当該組み合わされた信号のアップサンプリングと、最後に逆トーンマップされ（もしかすると）アップサンプルされ組み合わされた信号と高品質画像値との間の差異を決定することとによって実行される。

他の変形例として、レイヤ間レイヤ内予測は、アップサンプルされた空間的なスケーラビリティー（すなわち、基本および高品質レイヤに関する異なる空間解像度の使用）の場合においては、（たとえば、加算操作を介して、）他の元の基本品質残差サンプル値と、共通に配置されたトーンマップされた高品質予測信号サンプル値とを組み合わせることと、その後のアップサンプリングステップを除いた上述したばかりの方法を用いた当該組み合わされた信号の逆トーンマッピングと、最後に逆トーンマップされ組み合わされた信号と高品質予測信号との間の差分を決定することとによって実行される。

この点に関して、他の変形例として、レイヤ間レイヤ内予測は、アップサンプルされた空間的なスケーラビリティー（すなわち、基本および高品質レイヤに関する異なる空間解像度の使用）の場合においては、（たとえば、加算操作を介して、）他の元の基本品質残差サンプル値と、共通に配置されたトーンマップされた高品質予測信号サンプル値とを組み合わせることと、その後のアップサンプリングステップを除いた上述の代替案として記述したばかりの方法を用いた当該組み合わされた信号の逆トーンマッピングと、最後に逆トーンマップされ組み合わされた信号と高品質予測信号および残差信号の合計との間の差分を決定することとによって実行される。他の代替案においては、レイヤ間レイヤ内予測は、空間的なスケーラビリティー（すなわち、基本および高品質レイヤに関する異なる空間解像度の使用）の場合において、アップサンプリングと、共通に配置された高品質予測信号のサンプル値によって決定され、参照テーブルをインデックスすることによって取得され得るスケーリングファクタを用いて（もしかするとアップサンプルされた）基本品質残差サンプル値のスケーリングによって実行される。この参照テーブルは、サイド情報として送信され、または、既にデコーダに知られ得るものである。アップサンプリングとスケーリング動作の順序は、固定されていてもよいし、変更可能であってもよい。変更可能な場合、当該順序は、サイド情報としてデコーダへと送信され得る。さらに別の代替案に従うと、レイヤ間レイヤ内予測は、空間的なスケーラビリティー（すなわち、基本および高品質レイヤに関する異なる空間解像度の使用）の場合において、アップサンプリングと、共通して配置される高品質予測信号サンプルと対応する高品質残差信号サンプルとの合計の値によって決定され、参照テーブルをインデックスすることによって取得され得るスケーリングファクタを用いることによって（もしかするとアップサンプルされた）基本品
質残差サンプル値をスケーリングすることによって実行される。この参照テーブルは、サイド情報として送信されてもよいし、既にデコーダに知られ得るものであってもよい。アップサンプリングとスケーリング動作の順序は、固定されていてもよいし、変更可能であってもよい。変更可能な場合、当該順序は、サイド情報としてデコーダへと送信され得る。

残差コーディングは、Ｈ．２６４／ＡＶＣの規格に沿って実行され、Ｈ．２６４／ＡＶＣの規格によっても実行され得る。

上述した実施の形態は変更することが可能である。たとえば、予測ユニット１４２の出力と減算機１３０の反転入力との間に加算器１４６を配置する代わりに、逆マッピングおよびアップサンプリングモジュール１５４の出力を、スイッチ１５２を介して、変換モジュール１３２の入力と入力１１０との間に配置される他の減算器と、逆変換モジュール１３６とデブロッキングフィルタ１４０の入力との間に接続される他の加算器に提供してもよい。フィルタ１４０から１２４およびデコーダにおける対応する要素に関しては、取り除くことも可能である。さらに、エントロピーデコーディングおよびエントロピーコーディングモジュールが、他のコーディングモジュールに取替えられてもよいし、取り除かれてもよい。そして、エントロピーコーディングスキームとして、ハフマン（Huffman）コーディング、または可変長コーディングが、算術コーディングのように使用されてもよい。予測残差のコーディングおよびデコーディングに含まれる変換および逆変換は、たとえば、エンコーディングモジュール１０２および１０４が、レイヤ間／レイヤ内予測、またはレイヤ間予測、またはそのどちらでもないもの、のそれぞれを決定するところの、ユニット内におけるマクロブロックよりも小さな、変換のブロックサイズで、ブロックワイズ動作を行ない得る。そして、動き補償または空間的な予測に関して、この予測もまた、たとえば、変換ブロックのものとマクロブロックのものとの間のブロックサイズのブロックワイズな基準に基づいて実行され得る。さらに、上述したレイヤ間モードの間のブロックワイズな切換は必ずしも必要ではない。むしろ、上記実施の形態は、パス６４６および１４８のそれぞれを、使用するレイヤ間予測モードだけが有効となるように修正することが可能である。

さらに、上記においてははっきりと述べられていないが、逆マッピングおよびアップサンプリングモジュールにおいて実行されるステップは、品質低減モジュール１０６において実行される品質低減方法によって決まる、他の品質適用方法を含み得る。さらに、図６でははっきりと説明されなかったが、スケーラブルなビットストリームに挿入されると説明されていたすべてのサイド情報は、必要であれば図６のデコーダにおいて、対応する要素をそれぞれコントロールするために利用される。さらに、上記実施の形態においては、低品質予測残差の再構築されたバージョンは、高品質レイヤにおける予測を改良するために使用されるものであった。しかしながら、予防方法だけのものとして、エンコーダ減算器１１４による出力としての低品質予測残差をも使用することができる。しかしながら、逆変換モジュール１２０による出力としての再構築されたバージョンの使用は、再構築されたバージョンがデコーダ側において利用可能となるという点において有益である。一方、元の低品質予測残差は、単に、再構築されたバージョンに対応するためにデコーダによって推定されるに過ぎない。同様に、上記説明に従うと、閉じられたループの予測は使用されたが、開かれたループの予測も、すなわち、再構築された信号よりもむしろ入力信号に基づいた時間的な予測も使用され得る。

換言すれば、上記の実施形態は、ピクセル値解像度、および選択的に、空間解像度のための例としてのサンプルビット深度に関するスケーラビリティーへのＳＶＣの可能な拡張の提供を可能にする。特に、可能な拡張によって、エンコーダは、レガシーなビデオデコーダによってデコードすることができるビデオシーケンスの基本品質画像を、より高いビ
ット深度、および選択的にレガシーなビデオデコーダによって無視されるより高い空間解像度の強化信号とともに記憶することができるようになる。たとえば、高品質画像は、ＣＩＦ解像度（３５２×２８８サンプル）のビデオシーケンスの８ビットバージョンを含める。そして、高品質強化信号は、同じシーケンスの４ＣＩＦ解像度（７０４×５７６サンプル）の１０ビットバージョンへの「改良」を含む。別の構成においては、基本および強化品質画像の両方に対して同じ空間解像度を使用することもでき、それによって、高品質強化信号は、たとえば８ビットから１０ビットの、サンプルビット深度の改良も含む。さらに換言すると、上述した実施の形態から、ピクセル値解像度、および選択的に空間解像度に関する異なる画像を用いた、ビデオのスケーラブルなコーディングの概念が容易に利用可能となる。ここでは、スケーラブルなＨ．２６４／ＭＰＥＧ４−ＡＶＣ拡張の現在の作業草案において特定されるような時間的および空間的な予測処理の両方が、それらが低いところから高いサンプルビット深度への信頼度または一般的なピクセル値解像度、そして選択的には低いところから高い空間解像度までのマッピングを含む。

最後に、本発明は、ソフトウェア、ハードウェア、またはフィールドプログラマブルゲートアレイのようなプログラム可能なハードウェアで実現される。この点に関して、図１および６に示されるモジュールおよびユニットは、それぞれのエンコーディング／デコーディング方法で実行されるそれぞれのステップに対応し得るが、図５Ａおよび５Ｂに示されるブロックはそれぞれの集積回路のハードウェア部分または上述されたそれぞれの機能を果たすコンピュータプログラムのプログラム部分に対応し得る。

特に、上記実施の形態のある実現化に伴う要求によると、これらの実施の形態は、ハードウェアまたはソフトウェアで実現され得る。実現化は、デジタル記憶媒体、特に、記憶された電気的に読取可能な制御信号を有するディスクまたはＣＤ、を用いることによってなされ得る。それらは、プログラム可能なコンピュータシステムと協働することができ、これによってそれぞれの方法が実行される。それゆえに、一般的に、上記実施の形態は、機械読取可能なキャリアに格納され、コンピュータプログラムがコンピュータ上で走る際に、それぞれの方法を実行するように構成されたプログラムコードを有するコンピュータプログラム製品によって実現され得る。換言すれば、それゆえに、上述したエンコーディング／デコーディングの方法は、コンピュータプログラムがコンピュータ上で走る際に、進歩的な方法を実行するためのプログラムコードを有するコンピュータプログラムである。

Claims (26)

1. ビデオ素材（２００）の第１の画像を時間的に予測することによって第１の予測信号を取得し、前記第１の予測信号と前記第１の画像との差を示す第１の予測残差をコーディングするための第１の手段（１０２）を備え、
   前記第１の画像と前記第１の予測信号と前記第１の予測残差とは、第１のピクセル値解像度（３００）のものであって、
   前記ビデオ素材（２００）の第２の画像を時間的に予測することによって第２の予測信号を取得するための第２の手段（１０４）をさらに備え、
   前記第２の画像と前記第２の予測信号とは、前記第１のピクセル値解像度（３００）よりも高い第２のピクセル値解像度（３０２）のものであって、
   前記第２の手段（１０４）は、前記第１のピクセル値解像度（３００）から前記第２の予測信号によって決まる前記第２のピクセル値解像度（３０２）へと、前記第１の予測残差または前記第１の予測残差の再構築されたバージョンをマップすることによって、第３の予測信号を取得し、前記第２および第３の予測信号との組み合わせと前記第２の画像との間の差を示す前記第２のピクセル値解像度（３０２）の第２の予測残差をコードする、ビデオエンコーダ。
2. 前記第１の手段（１０２）は、
   前記第１の画像から前記第１の予測信号を引くことによって、前記第１の予測残差を取得するための手段（１１４）と、
   前記第１の予測残差を不可逆に変換コードディングすることによって、前記第１の予測残差の変換コードされたバージョンを取得するための手段（１１６，１１８）と、
   前記変換コードされたバージョンから前記第１の予測残差を再構築することによって、前記第１の予測残差の再構築されたバージョンを取得するための手段（１２０）と、
   前記第１の予測残差の再構築されたバージョンと前記第１の予測信号とを合せることによって、前記第１の画像の再構築されたバージョンを取得するための手段（１２２）と、
   前記第１の画像の前記再構築されたバージョンに対して時間的な予測を実行することによって、前記第１の予測信号を取得するための手段（１２６）とを備える、請求項１に記載のビデオエンコーダ。
3. 前記第２の手段（１０４）は、
   前記第２の画像から前記第２の予測信号と前記第３の予測信号とを引くことによって、前記第２の予測残差を取得するための手段（１３０，１４６）と、
   前記第２の予測残差を不可逆に変換コーディングすることによって、前記第２の予測残差の変換コードされたバージョンを取得するための手段（１３２，１３４）と、
   前記第２の予測残差の変換コードされたバージョンから前記第２の予測残差を再構築することによって、前記第２の予測残差の再構築されたバージョンを取得するための手段（１３６）と、
   前記第２の予測残差の再構築されたバージョンと前記第３の予測信号と前記第２の予測信号とを合せることによって、前記第２の画像の再構築されたバージョンを取得するための手段（１３８，１４６）と、
   前記第２の画像の前記再構築されたバージョンに対して時間的な予測を実行することによって、前記第２の予測信号を取得するための手段（１４２）とを備える、請求項１または２に記載のビデオエンコーダ。
4. 前記第２の手段（１０４）は、
   前記第２の予測信号（５０２）、または前記第２の予測信号（５０２）と前記第２の予測残差（５０４）との組み合わせのいずれかを、前記第２のピクセル値解像度（３０２）から前記第１のピクセル値解像度（３００）へとマップする（５１２）ことによって、ダ
   ウンマップされたオフセット信号を取得し、
   前記ダウンマップされたオフセット信号と前記第１の予測残差または前記第１の予測残差（５１０）の再構築されたバージョンの組み合わせを、前記第１のピクセル値解像度（３００）から前記第２のピクセル値解像度（３０２）へとマップする（５１６）ことによって、アップマップされた信号を取得し、
   前記第２の予測信号（５０２）、または前記第２の予測信号（５０２）と前記第２の予測残差（５０４）との組み合わせのいずれかを、前記アップマップされた信号から引くことによって、前記第３の予測信号を取得するように構成される、請求項１から３のいずれかに記載のビデオエンコーダ。
5. 前記第２の手段（１０４）は、さらに、
   前記第２の予測信号（５０２）、または前記第２の予測信号（５０２）と前記第２の予測残差（５０４）との組み合わせのいずれかをマップする際に、前記第２の予測信号（５０２）、または前記第２の予測信号（５０２）と前記第２の予測残差（５０４）との組み合わせのいずれかにおける空間ピクセルサンプリング解像度を減少させ（５００）、当該減少結果を利用することによって、前記ダウンマップされたオフセット信号を取得し、
   前記ダウンマップされたオフセット信号と前記第１の予測残差または前記第１の予測残差（５１０）の再構築されたバージョンの組み合わせをマップする際に、前記ダウンマップされたオフセット信号と前記第１の予測残差または前記第１の予測残差（５１０）の再構築されたバージョンとの組み合わせにおける空間アップサンプリング（５１６）を実行し、当該アップサンプリング結果を利用することによって、前記アップマップされた信号を取得するように構成される、請求項４に記載のビデオエンコーダ。
6. 前記第２の手段（１０４）は、さらに、
   前記ダウンマップされたオフセット信号と前記第１の予測残差または前記第１の予測残差（５１０）の再構築されたバージョンの組み合わせをマップする際に、前記第１の予測残差または前記第１の予測残差（５１０）の再構築されたバージョンに対して空間アップサンプリングを実行し、当該アップサンプリング結果を利用することによって、前記アップマップされた信号を取得するように構成される、請求項４に記載のビデオエンコーダ。
7. 前記第２の手段（１０４）は、さらに、
   第１の動作モードおいて、
   前記第２の予測信号（５０２）、または前記第２の予測信号（５０２）と前記第２の予測残差（５０４）との組み合わせのいずれかをマップする際に、前記第２の予測信号（５０２）、または前記第２の予測信号（５０２）と前記第２の予測残差（５０４）との組み合わせのいずれかにおける空間ピクセルサンプリング解像度を減少させ（５１２）、当該減少結果を利用することによって、前記ダウンマップされたオフセット信号を取得し、
   前記ダウンマップされたオフセット信号と前記第１の予測残差または前記第１の予測残差（５１０）の再構築されたバージョンの組み合わせをマップする際に、前記ダウンマップされたオフセット信号と前記第１の予測残差または前記第１の予測残差（５１０）の再構築されたバージョンとの組み合わせにおける空間アップサンプリング（５１６）を実行し、当該アップサンプリング結果を利用することによって、前記アップマップされた信号を取得し、
   第２の動作モードにおいて、
   前記ダウンマップされたオフセット信号と前記第１の予測残差または前記第１の予測残差（５１０）の再構築されたバージョンの組み合わせをマップする際に、前記第１の予測残差または前記第１の予測残差（５１０）の再構築されたバージョンに対して空間アップサンプリングを実行し、当該アップサンプリング結果を利用することによって、前記アップマップされた信号を取得するように構成され、
   前記ビデオ素材（２００）は複数のブロック（２０６）に分割され、
   前記第２の手段（１０４）は、ブロック毎に選択的に前記第１または前記第２の操作モードで動作し、デコーダ側のためのサイド情報において、予め定められたブロック（２０６）のために前記第１の動作モードまたは前記第２の動作モードのいずれが利用されたのかを示すように構成される、請求項４に記載のビデオエンコーダ。
8. 前記第２の手段（１０４）は、
   前記第２の予測信号（３１０）によって決まるスケーリングファクターを用いて、マップされた第１の予測残差または前記第１の予測残差のマップされ再構築されたバージョンをスケーリングすることによって、前記第１の予測残差または前記第１の予測残差の再構築されたバージョンを、第１のピクセル値ビット深度（３００）から当該第１のピクセル値ビット深度（３００）よりも高い第２のピクセル値ビット深度（３０２）へとマップするように構成される、請求項１から３のいずれかに記載のビデオエンコーダ。
9. 前記ビデオ素材（２００）は、複数のブロック（２０４）に分割され、
   前記第１の手段（１０２）は、少なくとも１つの第１のブロックのために、前記第１の予測残差がコードされ、少なくとも１つの第２のブロックのために、前記第１の画像が時間予測とは独立してコードされるように、ブロックの選択を行なうように構成され、
   前記第２の手段は、前記少なくとも１つの第１のブロックのために、前記第２の予測残差をコードし、前記少なくとも１つの第２のブロックのために、前記第１のピクセル値解像度から前記第２のピクセル値解像度へと前記第１の画像の再構築されたバージョンをマップすることによって、前記第１の画像のアップサンプルされ再構築されたバージョンを取得し、前記第２の画像と前記第１の画像のアップサンプルされ再構築されたバージョンとの間の差をコードするように構成される、請求項１から８のいずれかに記載のビデオエンコーダ。
10. 前記第２の手段（１０４）は、さらに、
    前記第１の画像の再構築されたバージョンをマップする際に、前記第１の画像の再構築されたバージョンに対して空間アップサンプリングを実行し、当該アップサンプリング結果を利用することによって、前記第１の画像のアップサンプリングされ再構築されたバージョンを取得する、請求項９に記載のビデオエンコーダ。
11. 前記第２の手段（１０４）は、ブロック毎に選択的にアップサンプリングとマッピングの実行の順序を変更し、利用された前記順序を、デコーダ側のためのサイド情報において示すように構成される、請求項１０に記載のビデオエンコーダ。
12. 第１および第２のピクセル値解像度（３００，３０２）を有するビデオ素材（２００）を表わすスケーラブルなビデオ信号をデコードするためのビデオデコーダであって、
    前記第２のピクセル値解像度（３０２）は前記第１のピクセル値解像度（３００）よりも高く、
    前記スケーラブルなビデオ信号は、その内部に、前記第１のピクセル値解像度（３００）の第１の予測残差と前記第２のピクセル値解像度（３０２）の第２の予測残差とを有し、
    前記ビデオデコーダは、
    前記スケーラブルなビデオ信号から前記第１および第２の予測残差を再構築するためのデコーディング手段（６０４）と、
    前記ビデオ素材の前記第２の画像を時間的に予測することによって、第２の予測信号と、前記第２の画像と、前記第２のピクセル値解像度（３０２）の前記第２の予測信号とを取得するための手段（６１０）とを備え、
    前記時間的に予測するための手段（６１０）は、前記第１のピクセル値解像度（３００）から前記第２の予測信号によって決まる前記第２のピクセル値解像度（３０２）へと
    前記第１の予測残差をマップすることによって、第３の予測信号を取得し、
    前記ビデオデコーダは、前記第２の予測信号と、前記第３の予測信号と、前記第２の予測残差とに基づいて、前記第２の画像を再構築するための手段（６１２）をさらに備える、ビデオデコーダ。
13. 前記デコーディング手段（６０４）は、逆変換（６２４，６２６）によって、前記第１および第２の予測残差を再構築するように構成されている、請求項１２に記載のビデオデコーダ。
14. 前記時間的に予測するための手段（６１０）は、
    前記再構築するための手段と接続されることによって、前記第２の画像の再構築画像を取得し、
    前記第２の画像の再構築されたバージョンに対して時間的な予測を実行することによって、第２の予測信号を取得するための手段（６４０）を含む、請求項１３に記載のビデオデコーダ。
15. 前記時間的に予測するための手段（６１０）は、
    前記第２の予測信号、または前記第２の予測信号と前記第２の予測残差との組み合わせのいずれかを、前記第２のピクセル値解像度から前記第１のピクセル値解像度へとマップすることによって、前記ダウンマップされたオフセット信号を取得し、
    前記ダウンマップされたオフセット信号と前記第２の予測残差との組み合わせを、前記第１のピクセル値解像度から第２のピクセル値解像度へとマップすることによって、アップマップされた信号を取得し、
    前記第２の予測信号、または前記第２の予測信号と前記第２の予測残差との組み合わせのいずれかを、前記アップマップされた信号から引くことによって、前記第３の予測信号を取得するように構成される、請求項１２から１４のいずれかに記載のビデオデコーダ。
16. 前記時間的に予測するための手段は、さらに、
    前記第２の予測信号、または前記第２の予測信号と前記第２の予測残差との組み合わせのいずれかをマップする際に、前記第２の予測信号、または前記第２の予測信号と前記第２の予測残差との組み合わせのいずれかにおける空間ピクセルサンプリング解像度を減少させ、当該減少結果を利用することによって、前記ダウンマップされたオフセット信号を取得し、
    前記ダウンマップされたオフセット信号と前記第１の予測残差との組み合わせをマップする際に、前記ダウンマップされたオフセット信号と前記第１の予測残差との組み合わせにおける空間アップサンプリングを実行し、当該アップサンプリング結果を利用することによって、前記アップマップされた信号を取得するように構成される、請求項１５に記載のビデオデコーダ。
17. 前記時間的に予測するための手段は、さらに、
    前記ダウンマップされたオフセット信号と前記第１の予測残差との組み合わせをマップする際に、前記第１の予測残差における空間アップサンプリングを実行し、当該アップサンプリング結果を利用することによって、前記アップマップされた信号を取得するように構成される、請求項１５に記載のビデオデコーダ。
18. 前記時間的に予測するための手段は、さらに、
    第１の動作モードおいて、
    前記第２の予測信号、または前記第２の予測信号と前記第２の予測残差との組み合わせのいずれかをマップする際に、前記第２の予測信号、または前記第２の予測信号と前記第２の予測残差との組み合わせのいずれかにおける空間ピクセルサンプリング解像度を減
    少させ、当該減少結果を利用することによって、前記ダウンマップされたオフセット信号を取得し、
    前記ダウンマップされたオフセット信号と前記第１の予測残差との組み合わせをマップする際に、前記ダウンマップされたオフセット信号と前記第１の予測残差との組み合わせにおける空間アップサンプリングを実行し、当該アップサンプリング結果を利用することによって、前記アップマップされた信号を取得し、
    第２の動作モードにおいて、
    前記ダウンマップされたオフセット信号と前記第１の予測残差との組み合わせをマップする際に、前記第１の予測残差に対して空間アップサンプリングを実行し、当該アップサンプリング結果を利用することによって、前記アップマップされた信号を取得するように構成され、
    前記ビデオ素材は複数のブロックに分割され、
    前記時間的に予測するための手段（６１０）は、ブロック毎に選択的に、予め定められたブロック（２０６）に関して当該予め定められたブロックのために前記第１の動作モードまたは前記第２の動作モードのいずれが利用されるべきかを示すスケーラブルなビデオ信号のサイド情報に含まれる情報によって決まる前記第１または前記第２の動作モードで動作するように構成される、請求項１５に記載のビデオデコーダ。
19. 前記時間的に予測するための手段は、
    前記第２の予測信号によって決まるスケーリングファクターを用いて、マップされた第１の予測残差をスケーリングすることによって、前記第１の予測残差を、第１のピクセル値ビット深度から当該第１のピクセル値ビット深度よりも高い第２のピクセル値ビット深度へとマップするように構成される、請求項１２から１４のいずれかに記載のビデオデコーダ。
20. 前記ビデオ素材は、複数のブロック（２０６）に分割され、
    前記スケーラブルなビデオ素材は自己で、第１の複数のブロックにおいて、前記第１の予測残差をコードし、第２の複数のブロックにおいて、前記第２の画像と前記第１の画像のアップサンプルされ再構築されたバージョンとの差をコードし、
    時間的に予測するための手段（６１０）と再構築するための手段（６１２）とは、前記第１の複数のブロックに関してブロックの選択を行なうように構成され、
    前記ビデオデコーダは、
    前記第２の複数のブロックに関して、前記第１の画像を予測する（６３０）ことによって第１の予測信号を取得し、前記第１の予測残差と前記第１の予測信号とを利用して前記第１の画像を再構築（６２８）することによって、前記第１の画像の再構築されたバージョンを取得し、前記第１の画像の再構築されたバージョンを前記第１のピクセル値解像度（３００）から前記第２のピクセル値解像度（３０２）へとマップする（６６０）ことによって、前記第１の画像のアップマップされ再構築されたバージョンを取得し、前記第２の画像と前記第１の画像のアップマップされ再構築されたバージョンと前記第１の画像のアップマップされ再構築されたバージョンとの差を利用して前記第２の画像を再構築する（６３４）ための手段（６０６，６４６）をさらに備える、請求項１２から１９のいずれかに記載のビデオデコーダ。
21. 前記第２の複数のブロックに関して、前記時間的に予測するための手段（６０６，６４６）は、さらに、
    前記第１の画像の再構築されたバージョンをマップする際に、前記第１の画像の再構築されたバージョンに対して空間アップサンプリングを実行し、当該アップサンプリング結果を利用することによって、前記第１の画像のアップサンプリングされ再構築されたバージョンを取得する、請求項２０に記載のビデオデコーダ。
22. 前記第２の複数のブロックに関して、前記時間的に予測することは、さらに、アップサンプリングとマッピングの実行の順序を示すスケーラブルなビデオ信号のサイド情報に含まれる情報に従って、ブロック毎に選択的に当該順序を変更するように構成される、請求項２１に記載のビデオデコーダ。
23. ビデオ素材の第１の画像を時間的に予測することによって第１の予測信号を取得し、前記第１の予測信号と前記第２の画像との差を示す第１の予測残差をコーディングし、
    前記第１の画像と前記第１の予測信号と前記第１の予測残差とは、第１のピクセル値解像度のものであって、
    前記ビデオ素材の第２の画像を時間的に予測することによって第２の予測信号を取得し、
    前記第２の画像と前記第２の予測信号とは、前記第１のピクセル値解像度よりも高い第２のピクセル値解像度のものであって、
    前記時間的に予測することは、前記第１のピクセル値解像度から前記第２の予測信号によって決まる前記第２のピクセル値解像度へと、前記第１の予測残差または前記第１の予測残差の再構築されたバージョンをマップすることによって、第３の予測信号を取得することと、前記第２および第３の予測信号との組み合わせと前記第２の画像との間の差を示す前記第２のピクセル値解像度の第２の予測残差をコードすることを含む、ビデオをエンコードするための方法。
24. 第１および第２のピクセル値解像度を有するビデオ素材を表わすスケーラブルなビデオ信号をデコードするための方法であって、
    前記第２のピクセル値解像度は前記第１のピクセル値解像度よりも高く、
    前記スケーラブルなビデオ信号は、その内部に、前記第１のピクセル値解像度の第１の予測残差と前記第２のピクセル値解像度の第２の予測残差とを有し、
    前記スケーラブルなビデオ信号から前記第１および第２の予測残差を再構築し、
    前記ビデオ素材の前記第２の画像を時間的に予測することによって、第２の予測信号と、前記第２の画像と、前記第２のピクセル値解像度の前記第２の予測信号とを取得し、
    前記時間的に予測することは、前記第１のピクセル値解像度から前記第２の予測信号によって決まる前記第２のピクセル値解像度へと前記第１の予測残差をマップすることによって、第３の予測信号を取得することを含み、
    前記第２の予測信号と、前記第３の予測信号と、前記第２の予測残差とに基づいて、前記第２の画像を再構築する、スケーラブルなビデオ信号をデコードするための方法。
25. コンピュータで実行される、請求項２３または２４に記載の方法を実行するための指示を有するコンピュータプログラム。
26. 第１および第２のピクセル値解像度を有するビデオ素材を表わすスケーラブルなビデオビットストリームであって、
    前記第２のピクセル値解像度は前記第１のピクセル値解像度よりも高く、
    前記スケーラブルなビデオビットストリームは、その内部に、前記第１のピクセル値解像度の第１の予測残差と前記第２のピクセル値解像度の第２の予測残差とを有し、
    前記スケーラブルなビデオビットストリームは、
    前記スケーラブルなビデオ信号から前記第１および第２の予測残差を再構築し、
    前記ビデオ素材の前記第２の画像を時間的に予測することによって、第２の予測信号と、前記第２の画像と、前記第２のピクセル値解像度の前記第２の予測信号とを取得し、
    前記時間的に予測することは、前記第１のピクセル値解像度から前記第２の予測信号によって決まる前記第２のピクセル値解像度へと前記第１の予測残差をマップすることによって、第３の予測信号を取得することを含み、
    前記第２の予測信号と、前記第３の予測信号と、前記第２の予測残差とに基づいて、前
    記第２の画像を再構築することによってデコードされる、スケーラブルなビデオビットストリーム。

Images