JP2020115661A - Ｒｇｂビデオコーディングエンハンスメントのためのシステムおよび方法 - Google Patents

Abstract

【課題】スクリーンコンテンツを符号化する際または受信機に送信する際、カーブおよび／またはテキストが、不鮮明なこと、不明瞭なこと、スクリーンコンテンツ内で認識するのが困難な他の状態となることを回避する、適応残余色空間変換を実行するためのシステム、方法およびデバイスを提供する。【解決手段】ブロックベースのシングルレイヤ復号器９００において、ビデオビットストリームを受信し、ビデオビットストリームに基づいて、第１のフラグを決定し、ビデオビットストリームに基づいて、残差も生成する。残差は、第１のフラグに応答して、第１の色空間から第２の色空間に変換することができる。【選択図】図９

Description

本発明は、ＲＧＢビデオコーディングエンハンスメントのためのシステムおよび方法に関する。

本出願は、各々が「ＲＧＢ ＶＩＤＥＯ ＣＯＤＩＮＧ ＥＮＨＡＮＣＥＭＥＮＴ」と題する、２０１４年３月１４日に出願された米国仮特許出願第６１／９５３１８５号、２０１４年５月１５日に出願された米国仮特許出願第６１／９９４０７１号、および２０１４年８月２１日に出願された米国仮特許出願第６２／０４０３１７号に基づく優先権を主張し、それらの各々は、全体が参照によって本明細書に組み込まれる。

スクリーンコンテンツシェアリングアプリケーションは、デバイスおよびネットワークの能力が改善したので、よりポピュラなものになった。ポピュラなスクリーンコンテンツシェアリングアプリケーションの例は、リモートデスクトップアプリケーション、ビデオ会議アプリケーション、およびモバイルメディア提示アプリケーションを含む。スクリーンコンテンツ（Screen Contents）は、１または複数の（１つ以上の）主要な色および／またはシャープなエッジを有する、数々のビデオおよび／または画像要素を含むことができる。そのような画像およびビデオ要素は、そのような要素の内部に相対的にシャープなカーブおよび／またはテキストを含むことがある。

スクリーンコンテンツを符号化するために、および／またはそのようなコンテンツを受信機に送信するために、様々なビデオ圧縮手段および方法を使用することができるが、そのような方法および手段は、スクリーンコンテンツの特徴を完全には特徴付けることができない。特徴付けのそのような欠如は、再構成された画像またはビデオコンテンツにおいて、低下した圧縮性能をもたらすことがある。そのような実施では、再構成された画像またはビデオコンテンツは、画像またはビデオ品質問題によって悪影響を受けることがある。例えば、そのようなカーブおよび／またはテキストは、不鮮明なこと、不明瞭なこと、またはスクリーンコンテンツ内で認識するのが困難な他の状態にあることがある。

ビデオコンテンツを符号化および復号するためのシステム、方法、およびデバイスが、開示される。実施形態では、システムおよび方法は、適応残余色空間変換を実行するように実施することができる。ビデオビットストリームを受信することができ、ビデオビットストリームに基づいて、第１のフラグを決定することができる。ビデオビットストリームに基づいて、残差（Residual）も生成することができる。残差は、第１のフラグに応答して、第１の色空間から第２の色空間に変換することができる。

実施形態では、第１のフラグを決定することは、符号化（コーディング）ユニットレベルにおいて第１のフラグを受信することを含むことができる。第１のフラグは、符号化（コーディング）ユニットレベルにおける第２のフラグが、非ゼロ値を有する少なくとも１つの残差が符号化（コーディング）ユニットにおいて存在することを示すときに限って、受信することができる。残差を第１の色空間から第２の色空間に変換することは、色空間変換行列を適用することによって実行することができる。この色空間変換行列は、非可逆符号化（コーディング）において適用することができる、ＹＣｇＣｏからＲＧＢへの非可逆変換行列に対応することができる。別の実施形態では、色空間変換行列は、可逆符号化（コーディング）において適用することができる、ＹＣｇＣｏからＲＧＢへの可逆変換行列に対応することができる。残差を第１の色空間から第２の色空間に変換することは、スケールファクタの行列を適用することを含むことができ、その場合、色空間変換行列は、正規化されず、スケールファクタの行列の各行は、正規化されていない色空間変換行列の対応する行のノルムに対応するスケールファクタを含むことができる。色空間変換行列は、少なくとも１つの固定小数点精度の係数を含むことができる。ビデオビットストリームに基づいた第２のフラグは、シーケンスレベル、ピクチャレベル、またはスライスレベルにおいて伝達することができ、第２のフラグは、残差を第１の色空間から第２の色空間に変換するプロセスが、それぞれ、シーケンスレベル、ピクチャレベル、またはスライスレベルに関して有効にされるかどうかを示すことができる。

実施形態では、符号化（コーディング）ユニットの残差は、第１の色空間において符号化することができる。そのような残差を符号化する最良モードは、利用可能な色空間において残差を符号化するコストに基づいて、決定することができる。フラグは、決定された最良モードに基づいて、決定することができ、出力ビットストリーム内に含めることができる。開示される本発明についての上記および他の態様が、以下で説明される。

ビデオコンテンツを符号化および復号するためのシステム、方法、およびデバイスが、提供される。

実施形態による、例示的なスクリーンコンテンツシェアリングシステムを示すブロック図である。 実施形態による、例示的なビデオ符号化システムを示すブロック図である。 実施形態による、例示的なビデオ復号システムを示すブロック図である。 実施形態による、例示的な予測ユニットモードを示す図である。 実施形態による、例示的なカラー画像を示す図である。 開示される本発明の実施形態を実施する例示的な方法を示す図である。 開示される本発明の実施形態を実施する別の例示的な方法を示す図である。 実施形態による、例示的なビデオ符号化システムを示すブロック図である。 実施形態による、例示的なビデオ復号システムを示すブロック図である。 実施形態による、予測ユニットの変換ユニットへの例示的な細分化を示すブロック図である。 本発明を実施できる、例示的な通信システムのシステム図である。 図１１Ａに示された通信システム内で使用することができる、例示的な無線送受信ユニット（ＷＴＲＵ）のシステム図である。 図１１Ａに示された通信システム内で使用することができる、例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。 図１１Ａに示された通信システム内で使用することができる、別の例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。 図１１Ａに示された通信システム内で使用することができる、別の例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。

以下、説明に役立つ例についての、様々な図を参照して詳細に説明する。この説明は、可能な実施についての詳細な例を提供するが、詳細は、専ら例示的であることが意図されており、本出願の範囲を限定することは決して意図されていないことに留意されたい。

スクリーンコンテンツ圧縮方法は、より多くの人々が、例えば、メディア提示およびリモートデスクトップアプリケーションにおいて使用するためのデバイスコンテンツをシェアするようになるにつれて、重要になってきている。モバイルデバイスのディスプレイ能力は、いくつかの実施形態では、高精細または超高精細解像度に高まった。ブロック符号化（コーディング）モードおよび変換などのビデオ符号化（コーディング）ツールは、より高精細なスクリーンコンテンツ符号化に対して最適化されていないことがある。そのようなツールは、コンテンツシェアリングアプリケーションにおいてスクリーンコンテンツを送信するために使用することができる帯域幅を増加させることがある。

図１は、例示的なスクリーンコンテンツシェアリングシステム１９１のブロック図を示している。システム１９１は、受信機１９２と、復号器（デコーダ）１９４と、（「レンダラ」と呼ばれることもある）ディスプレイ１９８とを含むことができる。受信機１９２は、入力ビットストリーム１９３を復号器１９４に提供することができ、復号器１９４は、ビットストリームを復号して、復号されたピクチャ１９５を生成することができ、復号されたピクチャ１９５は、１または複数（１つ以上）の表示ピクチャバッファ１９６に提供することができる。表示ピクチャバッファ１９６は、復号されたピクチャ１９７を、デバイスのディスプレイ上での提示のために、ディスプレイ１９８に提供することができる。

図２は、例えば、ビットストリームを図１のシステム１９１の受信機１９２に提供するために実施することができる、ブロックベースのシングルレイヤビデオ符号化器２００のブロック図を示している。図２に示されるように、符号化器（エンコーダ）２００は、圧縮効率を高める取り組みにおいて、（「イントラ予測」と呼ばれることもある）空間予測および（「インター予測」または「動き補償予測」と呼ばれることもある）時間予測などの技法を使用して、入力ビデオ信号２０１を予測する。符号化器２００は、モード決定、および／または予測の形態を決定することができる他の符号化器制御ロジック２４０を含むことができる。そのような決定は、レートベースの基準、歪みベースの基準、および／またはそれらの組み合わせなどの基準に少なくとも部分的に基づくことができる。符号化器２００は、１または複数の（１つ以上の）予測ブロック２０６を要素２０４に提供することができ、要素２０４は、（入力信号と予測信号との間の差分信号とすることができる）予測残差２０５を生成し、変換要素２１０に提供することができる。符号化器２００は、変換要素２１０において予測残差２０５を変換し、量子化要素２１５において予測残差２０５を量子化することができる。量子化された残差は、モード情報（例えば、イントラ予測またはインター予測）および予測情報（動きベクトル、参照ピクチャインデックス、イントラ予測モードなど）と一緒に、残差係数（Residual coefficient）ブロック２２２として、エントロピー符号化要素２３０に提供することができる。エントロピー符号化要素２３０は、量子化された残差を圧縮し、それを出力ビデオビットストリーム２３５とともに提供することができる。エントロピー符号化要素２３０は、加えて、または代わりに、符号化（コーディング）モード、予測モード、および／または動き情報２０８を、出力ビデオビットストリーム２３５を生成する際に、使用することができる。

実施形態では、符号化器２００は、加えて、または代わりに、逆量子化要素２２５において逆量子化を残差係数ブロック２２２に適用し、また逆変換要素２２０において逆変換を適用して、要素２０９において予測信号２０６に加算し戻すことができる再構成された残差を生成することによって、再構成されたビデオ信号を生成することができる。結果の再構成されたビデオ信号は、いくつかの実施形態では、ループフィルタ要素２５０において実施されるループフィルタプロセスを使用して（例えば、デブロッキングフィルタ、サンプル適応オフセット、および／または適応ループフィルタのうちの１または複数を使用することによって）、処理することができる。結果の再構成されたビデオ信号は、いくつかの実施形態では、再構成されたブロック２５５の形態で、参照ピクチャストア２７０において記憶することができ、その場合、それは、例えば、動き予測（推定および補償）要素２８０および／または空間予測要素２６０によって、将来のビデオ信号を予測するために使用することができる。いくつかの実施形態では、要素２０９によって生成された結果の再構成されたビデオ信号は、ループフィルタ要素２５０などの要素によって処理することなく、空間予測要素２６０に提供することができることに留意されたい。

図３は、図２の符号化器２００によって生成することができるビットストリーム２３５などのビットストリームとすることができる、ビデオビットストリーム３３５を受信することができる、ブロックベースのシングルレイヤ復号器３００のブロック図を示している。復号器３００は、デバイス上における表示のために、ビットストリーム３３５を再構成することができる。復号器３００は、エントロピー復号器要素３３０においてビットストリーム３３５を解析して、残差係数３２６を生成することができる。残差係数３２６は、要素３０９に提供することができる再構成された残差を獲得するために、脱量子化（de-quantization）要素３２５において逆量子化することができ、および／または逆変換要素３２０において逆変換することができる。予測信号を獲得するために、符号化（コーディング）モード、予測モード、および／または動き情報３２７を使用することができ、いくつかの実施形態では、空間予測要素３６０によって提供される空間予測情報および／または時間予測要素３９０によって提供される時間予測情報の一方または両方を使用する。そのような予測信号は、予測ブロック３２９として提供することができる。予測信号と再構成された残差は、要素３０９において加算されて、再構成されたビデオ信号を生成することができ、それは、ループフィルタリングのためにループフィルタ要素３５０に提供することができ、またピクチャを表示する際、および／またはビデオ信号を復号する際に使用するために、参照ピクチャストア３７０内に記憶することができる。予測モード３２８は、ループフィルタリングのためにループフィルタ要素３５０に提供することができる再構成されたビデオ信号を生成する際に使用するために、エントロピー復号要素３３０によって要素３０９に提供することができることに留意されたい。

高効率ビデオコーディング（ＨＥＶＣ）などのビデオ符号化（コーディング）規格は、送信帯域幅および／またはストレージを低減させることができる。いくつかの実施形態では、ＨＥＶＣ実施は、ブロックベースのハイブリッドビデオ符号化（コーディング）として動作することができ、その場合、実施される符号化器および復号器は、一般に、図２および図３を参照して本明細書で説明されるように動作する。ＨＥＶＣは、より大きいビデオブロックの使用を可能にすることができ、４分木分割を使用して、ブロック符号化（コーディング）情報を伝達することができる。そのような実施形態では、ピクチャまたはピクチャのスライスは、各々が同じサイズ（例えば、６４×６４）を有する、符号化（コーディング）ツリーブロック（ＣＴＢ）に分割することができる。各ＣＴＢは、４分木分割を用いて、符号化（コーディング）ユニット（ＣＵ）に分割することができ、各ＣＵは、予測ユニット（ＰＵ）と変換ユニット（ＴＵ）とにさらに分割することができ、それらの各々も、４分木分割を使用して分割することができる。

実施形態では、各インターコーディングされたＣＵについて、関連するＰＵは、８つの例示的な分割モードのうちの１つを使用して、分割することができ、それらの例が、図４において、モード４１０、４２０、４３０、４４０、４６０、４７０、４８０、および４９０として示されている。いくつかの実施形態では、時間予測を適用して、インターコーディングされたＰＵを再構成することができる。線形フィルタを適用して、分数位置におけるピクセル値を獲得することができる。いくつかのそのような実施形態において使用される補間フィルタは、ルーマのための７つもしくは８つのタップ、および／またはクロマのための４つのタップを有することができる。符号化（コーディング）モードの相違、動きの相違、参照ピクチャの相違、ピクセル値の相違などのうちの１または複数を含むことができる、数々の要因に応じて、異なるデブロッキングフィルタ動作を、ＴＵおよびＰＵ境界の各々において、適用することができるように、コンテンツベースとすることができるデブロッキングフィルタを使用することができる。エントロピー符号化の実施形態では、コンテキスト適応型２値算術符号化（コーディング）（ＣＡＢＡＣ）を、１または複数の（１つ以上の）ブロックレベルシンタックス要素に対して使用することができる。いくつかの実施形態では、ＣＡＢＡＣは、高レベルのパラメータに対しては使用されないことがある。ＣＡＢＡＣコーディングにおいて使用することができるビンは、コンテキストベースの符号化（コーディング）を施された通常のビン、およびコンテキストを使用しないバイパスコーディングを施されたビンを含むことができる。

スクリーンコンテンツビデオは、赤−緑−青（ＲＧＢ）フォーマットでキャプチャすることができる。ＲＧＢ信号は、３つの色成分の間に冗長性を含むことがある。そのような冗長性は、ビデオ圧縮を実施する実施形態では、あまり効率的ではないことがあるが、（例えば、ＲＧＢ符号化からＹＣｂＣｒ符号化への）色空間変換は、異なる空間の間で色成分を変換するために使用されることがある丸めおよびクリッピング操作に起因する損失を、元のビデオ信号に導入することがあるので、復号されたスクリーンコンテンツビデオについて高い忠実度が望まれることがあるアプリケーションに対しては、ＲＧＢ色空間の使用が、選択されることがある。いくつかの実施形態では、ビデオ圧縮効率は、色空間の３つの色成分の間の相関を利用することによって、改善することができる。例えば、成分間予測の符号化（コーディング）ツールは、Ｇ成分の残差を使用して、Ｂ成分および／またはＲ成分の残差を予測することができる。ＹＣｂＣｒ実施形態におけるＹ成分の残差は、Ｃｂ成分および／またはＣｒ成分の残差を予測するために使用することができる。

実施形態では、時間的に隣接するピクチャ間の冗長性を利用するために、動き補償予測技法を使用することができる。そのような実施形態では、Ｙ成分については４分の１ピクセル、Ｃｂ成分および／またはＣｒ成分については８分の１ピクセルの精度である動きベクトルをサポートすることができる。実施形態では、半ピクセル位置については分離可能な８タップフィルタ、４分の１ピクセル位置については７タップフィルタを含むことができる、分数サンプル補間を使用することができる。以下の表１は、Ｙ成分の分数補間についての例示的なフィルタ係数を示している。Ｃｂ成分および／またはＣｒ成分の分数補間は、いくつかの実施形態では、分離可能な４タップフィルタを使用することができ、４：２：０ビデオフォーマット実施の場合、動きベクトルがピクセルの８分の１の精度とすることができることを除いて、同様のフィルタ係数を使用して実行することができる。４：２：０ビデオフォーマット実施では、Ｃｂ成分およびＣｒ成分は、Ｙ成分よりも少ない情報を含むことができ、４タップ補間フィルタは、分数補間フィルタリングの複雑性を低減させることができ、８タップ補間フィルタ実施と比較して、Ｃｂ成分およびＣｒ成分についての動き補償予測において獲得することができる効率を犠牲にしないことができる。以下の表２は、Ｃｂ成分およびＣｒ成分の分数補間のために使用することができる、例示的なフィルタ係数を示している。

実施形態では、ＲＧＢカラーフォーマットで最初にキャプチャされたビデオ信号は、例えば、復号されたビデオ信号に対して高い忠実度が望まれる場合、ＲＧＢドメインで符号化することができる。成分間予測ツールは、ＲＧＢ信号を符号化する効率を改善することができる。いくつかの実施形態では、３つの色成分間に存在することがある冗長性は、十分に利用されないことがあるが、その理由は、いくつかのそのような実施形態では、Ｇ成分を利用して、Ｂ成分および／またはＲ成分を予測することができるが、Ｂ成分とＲ成分との間の相関は、使用されないことがあるからである。そのような色成分の脱相関（De-correlation）は、ＲＧＢビデオ符号化（コーディング）の符号化性能を改善することができる。

分数補間フィルタを使用して、ＲＧＢビデオ信号を符号化することができる。４：２：０カラーフォーマットのＹＣｂＣｒビデオ信号を符号化することに重点を置くことができる補間フィルタ設計は、ＲＧＢビデオ信号を符号化するには好ましくないことがある。例えば、ＲＧＢビデオのＢ成分およびＲ成分は、より豊富な色情報を表すことができ、ＹＣｂＣｒ色空間におけるＣｂ成分およびＣｒ成分など、変換された色空間のクロミナンス成分よりも高い周波数特性を所有することができる。Ｃｂ成分および／またはＣｒ成分のために使用することができる４タップ分数フィルタは、ＲＧＢビデオを符号化する場合、Ｂ成分およびＲ成分の動き補償予測について、十分に正確ではないことがある。可逆符号化（コーディング）の実施形態では、動き補償予測のために、参照ピクチャを使用することができ、それは、そのような参照ピクチャと関連付けられた元のピクチャと数学的に同じであることができる。そのような実施形態では、そのような参照ピクチャは、同じ元のピクチャを使用した非可逆符号化（コーディング）の実施形態と比較した場合、より多くのエッジ（すなわち、高周波数信号）を含むことができ、そのような参照ピクチャ内の高周波数情報は、量子化プロセスのせいで、低減されること、および／または歪まされることがある。そのような実施形態では、元のピクチャ内のより高周波数の情報を保存することができる、より短いタップの補間フィルタを、Ｂ成分およびＲ成分に対して使用することができる。

実施形態では、残余色変換方法を使用して、ＲＧＢビデオと関連付けられた残余情報をコーディングするための、ＲＧＢ色空間またはＹＣｇＣｏ色空間を適応的に選択することができる。そのような残余色空間変換方法は、符号化および／または復号プロセス中に過度な計算複雑性オーバヘッドを招くことなく、可逆および非可逆符号化（コーディング）のどちらかまたは両方に適用することができる。別の実施形態では、異なる色成分の動き補償予測において使用するために、補間フィルタを適応的に選択することができる。そのような方法は、シーケンス、ピクチャ、および／またはＣＵレベルにおいて異なる分数補間フィルタを使用する柔軟性を可能にすることができ、動き補償ベースの予測符号化（コーディング）の効率を改善することができる。

実施形態では、元の色空間と異なる色空間において、残差符号化（コーディング）を実行して、元の色空間の冗長性を除去することができる。ＹＣｂＣｒ色空間における符号化は、ＲＧＢ色空間における符号化よりもコンパクトな元のビデオ信号の表現を提供することができ（例えば、成分間相関は、ＲＧＢ色空間よりもＹＣｂＣｒ色空間において低いことができ）、ＹＣｂＣｒの符号化効率は、ＲＧＢのそれよりも高いことができるので、自然なコンテンツ（例えば、カメラキャプチャビデオコンテンツ）のビデオ符号化（コーディング）は、ＲＧＢ色空間の代わりに、ＹＣｂＣｒ色空間において実行することができる。ソースビデオは、ほとんどの場合、ＲＧＢフォーマットでキャプチャすることができ、再構成されたビデオの高い忠実度が、望まれることがある。

色空間変換は、常に可逆であるわけではなく、出力色空間は、入力色空間のそれと同じダイナミックレンジを有することができる。例えば、ＲＧＢビデオが、同じビット深度を有するＩＴＵ−Ｒ ＢＴ．７０９ ＹＣｂＣｒ色空間に変換される場合、そのような色空間変換中に実行されることがある丸めおよび打切り操作に起因する、いくらかの損失が存在することがある。ＹＣｇＣｏは、ＹＣｂＣｒ色空間に類似した特性を有することができる色空間とすることができるが、ＲＧＢとＹＣｇＣｏとの間の変換プロセス（すなわち、ＲＧＢからＹＣｇＣｏ、およびＹＣｇＣｏからＲＧＢ）は、そのような変換中に、シフト演算および加法演算のみを使用することができるので、ＲＧＢとＹＣｂＣｒとの間の変換プロセスよりも計算的に単純であることができる。ＹＣｇＣｏは、中間演算のビット深度を１だけ増加させることによって、十分に可逆変換をサポートすることもできる（すなわち、逆変換の後に導出された色値は、元の色値と数値的に同じとすることができる）。この態様は、それが非可逆および可逆の実施形態の両方に適用可能であることができるので、望ましいことがある。

ＹＣｇＣｏ色空間によって提供される符号化効率および可逆変換を実行する能力のため、実施形態では、残余符号化（コーディング）の前に、残余をＲＧＢからＹＣｇＣｏに変換することができる。ＲＧＢからＹＣｇＣｏへの変換プロセスを適用するかどうかの決定は、シーケンスおよび／またはスライスおよび／またはブロックレベル（例えば、ＣＵレベル）において適応的に実行することができる。例えば、決定は、変換の適用がレート−歪み（ＲＤ）メトリック（例えば、レートと歪みの加重された組み合わせ）に改善を提供するかどうかに基づいて、行うことができる。図５は、ＲＧＢピクチャとすることができる例示的な画像５１０を示している。画像５１０は、ＹＣｇＣｏの３つの色成分に分解することができる。そのような実施形態では、変換行列の可逆および非可逆バージョンの両方を、それぞれ、可逆符号化（コーディング）および非可逆符号化（コーディング）のために指定することができる。残差がＲＧＢドメインにおいて符号化される場合、符号化器は、それぞれ、Ｇ成分をＹ成分として、Ｂ成分およびＲ成分をＣｂ成分およびＣｒ成分として扱うことができる。本開示では、ＲＧＢビデオを表現するために、Ｒ、Ｇ、Ｂという順序ではなく、Ｇ、Ｂ、Ｒという順序が、使用されることがある。本明細書で説明される実施形態は、変換がＲＧＢからＹＣｇＣｏに実行される例を使用して説明されることがあるが、ＲＧＢと他の色空間（例えば、ＹＣｂＣｒ）との間の変換も、開示される実施形態を使用して実施することができることを当業者は理解することに留意されたい。すべてのそのような実施形態は、本開示の範囲内にあることが企図される。

ＧＢＲ色空間からＹＣｇＣｏ色空間への可逆変換は、以下に示される式（１）および（２）を使用して実行することができる。これらの式は、可逆および非可逆符号化の両方に対して使用することができる。式（１）は、ＧＢＲ色空間からＹＣｇＣｏへの可逆変換を実施する、実施形態による、手段を示している。

これは、乗算または除算を用いずに、シフトを使用して実行することができるが、その理由は、
Ｃｏ＝Ｒ・Ｂ
ｔ＝Ｂ＋（Ｃｏ＞＞１）
Ｃｇ＝Ｇ・ｔ
Ｙ＝ｔ＋（Ｃｇ＞＞１）
であるからである。

そのような実施形態では、ＹＣｇＣｏからＧＢＲへの逆変換は、式（２）を使用して実行することができる。

これは、シフトを用いて実行することができるが、その理由は、
ｔ＝Ｙ−（Ｃｇ＞＞１）
Ｇ＝Ｃｇ＋ｔ
Ｂ＝ｔ−（Ｃｏ＞＞１）
Ｒ＝Ｃｏ＋Ｂ
であるからである。

実施形態では、非可逆変換は、以下に示される式（３）および（４）を使用して実行することができる。そのような非可逆変換は、非可逆符号化に対して使用することができ、いくつかの実施形態では、可逆符号化に対して使用することができない。式（３）は、ＧＢＲ色空間からＹＣｇＣｏへの非可逆変換を実施する、実施形態による、手段を示している。

ＹＣｇＣｏからＧＢＲへの逆変換は、実施形態によれば、式（４）を使用して実行することができる。

式（３）に示されるように、非可逆符号化に対して使用することができる、順方向色空間変換行列は、正規化されないことがある。ＹＣｇＣｏドメインにおける残余信号の大きさおよび／またはエネルギーは、ＲＧＢドメインにおける元の残差のそれと比較して、低減されることがある。ＹＣｇＣｏ残差係数は、ＲＧＢドメインにおいて使用することができたのと同じ量子化パラメータ（ＱＰ）を使用することによって、過度に量子化されることがあるので、ＹＣｇＣｏドメインにおける残余信号のこの低減は、ＹＣｇＣｏドメインの非可逆符号化性能を損なうことがある。実施形態では、色空間変換を適用することができるときに、デルタＱＰを元のＱＰ値に加算して、ＹＣｇＣｏ残差信号の大きさの変化を補償することができる、ＱＰ調整方法を使用することができる。同じデルタＱＰを、Ｙ成分と、Ｃｇ成分および／またはＣｏ成分との両方に適用することができる。式（３）を実施する実施形態では、順方向変換行列の異なる行は、同じノルムを有さないことがある。同じＱＰ調整は、Ｙ成分ならびにＣｇ成分および／またはＣｏ成分の両方が、Ｇ成分ならびにＢ成分および／またはＲ成分のそれと類似した振幅レベルを有することを保証しないことがある。

ＲＧＢ残差信号から変換されたＹＣｇＣｏ残差信号がＲＧＢ残差信号と類似する振幅を有することを保証するために、一実施形態では、スケーリングされた順方向および逆方向変換行列のペアを使用して、ＲＧＢドメインとＹＣｇＣｏドメインとの間で残差信号を変換することができる。より具体的には、ＲＧＢドメインからＹＣｇＣｏドメインへの順方向変換行列は、式（５）によって定義することができる。

ここで、

は、２つの行列の同じ位置にあることができる２つの要素の要素どうしの行列乗算を示すことができ、ａおよびｂは、（３）の式において使用されるものなど、元の順方向色空間変換行列内の異なる行のノルムを補償するためのスケーリングファクタとすることができ、それらは、式（６）および（７）を使用して導出することができる。

そのような実施形態では、ＹＣｇＣｏドメインからＲＧＢドメインへの逆方向変換は、式（８）を使用して実施することができる。

式（５）および（８）において、スケーリングファクタは、ＲＧＢとＹＣｇＣｏとの間で色空間を変換するときに、浮動小数点乗算を必要とすることがある、実数とすることができる。実施の複雑性を低減させるために、実施形態では、スケーリングファクタの乗算は、Ｎビットの右シフトによって行われる整数Ｍを用いた計算的に効率的な乗算によって、近似することができる。

開示される色空間変換方法およびシステムは、シーケンス、ピクチャ、またはブロック（例えば、ＣＵ、ＴＵ）レベルにおいて有効にすること、および／または無効にすることができる。例えば、実施形態では、予測残余の色空間変換は、符号化（コーディング）ユニットレベルにおいて適応的に有効にすること、および／または無効にすることができる。符号化器は、各ＣＵに対して、ＧＢＲとＹＣｇＣｏとの間の最適な色変換空間を選択することができる。

図６は、本明細書で説明されるような符号化器における、適応残余色変換を使用するＲＤ最適化プロセスについての例示的な方法６００を示している。ブロック６０５において、ＣＵの残差は、その実施についての符号化の「最良モード」（例えば、イントラコーディングの場合は、イントラ予測、インターコーディングの場合は、動きベクトルおよび参照ピクチャインデックス）を使用して符号化することができ、それは、事前構成された符号化モード、利用可能な中で最良であると以前に決定された符号化モード、または少なくともブロック６０５の機能を実行する時点において最も低いもしくは相対的により低いＲＤコストを有すると決定された別の事前決定された符号化モードとすることができる。ブロック６１０において、この例では「ＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇ」と呼ばれるが、任意の用語または用語の組み合わせを使用して呼ぶことができるフラグを、符号化（コーディング）ユニットの残差の符号化はＹＣｇＣｏ色空間を使用して実行されるべきではないことを示す、「偽」になるように設定すること（または偽、ゼロなどを示す他の任意のインジケータになるように設定すること）ができる。偽またはそれに等価であるとブロック６１０において評価されたフラグに応答して、ブロック６１５において、符号化器は、ＧＢＲ色空間において残差符号化（コーディング）を実行し、そのような符号化についてのＲＤコスト（図６では、「ＲＤＣｏｓｔ_GBR」と呼ばれるが、ここでもやはり、そのようなコストを指し示すために、任意のラベルまたは用語を使用することができる）を計算することができる。

ブロック６２０において、ＧＢＲ色空間符号化についてのＲＤコストが、最良モード符号化についてのＲＤコストよりも低いかどうかに関して、決定を行うことができる。ＧＢＲ色空間符号化についてのＲＤコストが、最良モード符号化についてのＲＤコストよりも低い場合、ブロック６２５において、最良モードについてのＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇを、偽もしくはそれに等価になるように設定することができ（または偽もしくはそれに等価であるように設定したままにしておくことができ）、最良モードについてのＲＤコストは、ＧＢＲ色空間における残差符号化（コーディング）についてのＲＤコストになるように設定することができる。方法６００は、ＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇを真または等価のインジケータになるように設定することができる、ブロック６３０に進むことができる。

ブロック６２０において、ＧＢＲ色空間についてのＲＤコストが、最良モード符号化についてのＲＤコスト以上であると決定された場合、最良モード符号化についてのＲＤコストは、ブロック６２０の評価前にそれが設定された値のままにしておくことができ、ブロック６２５は、バイパスすることができる。方法６００は、ＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇを真または等価のインジケータになるように設定することができる、ブロック６３０に進むことができる。ブロック６３０においてＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇを真（または等価のインジケータ）になるように設定することは、ＹＣｇＣｏ色空間を使用した符号化（コーディング）ユニットの残差の符号化を容易にすることができ、したがって、以下で説明されるような、最良モード符号化のＲＤコストと比較した、ＹＣｇＣｏ色空間を使用した符号化のＲＤコストの評価を容易にすることができる。

ブロック６３５において、符号化（コーディング）ユニットの残差を、ＹＣｇＣｏ色空間を使用して符号化することができ、そのような符号化のＲＤコストを、決定することができる（そのようなコストは、図６では、「ＲＤＣｏｓｔ_YCgCo」と呼ばれるが、ここでもやはり、そのようなコストを指し示すために、任意のラベルまたは用語を使用することができる）。

ブロック６４０において、ＹＣｇＣｏ色空間符号化についてのＲＤコストが、最良モード符号化についてのＲＤコストよりも低いかどうかに関して、決定を行うことができる。ＹＣｇＣｏ色空間符号化についてのＲＤコストが、最良モード符号化についてのＲＤコストよりも低い場合、ブロック６４５において、最良モードについてのＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇを、真もしくはそれに等価になるように設定することができ（または真もしくはそれに等価であるように設定したままにしておくことができ）、最良モードについてのＲＤコストは、ＹＣｇＣｏ色空間における残差符号化（コーディング）についてのＲＤコストになるように設定することができる。方法６００は、ブロック６５０において終了することができる。

ブロック６４０において、ＹＣｇＣｏ色空間についてのＲＤコストが、最良モード符号化についてのＲＤコストよりも高いと決定された場合、最良モード符号化についてのＲＤコストは、ブロック６４０の評価前にそれが設定された値のままにしておくことができ、ブロック６４５は、バイパスすることができる。方法６００は、ブロック６５０において終了することができる。

当業者が理解するように、方法６００およびその任意のサブセットを含む開示される実施形態は、ＧＢＲとＹＣｇＣｏの色空間符号化およびそれぞれのＲＤコストの比較を可能にすることができ、それは、より低いＲＤコストを有する色空間符号化の選択を可能にすることができる。

図７は、本明細書で説明されるような符号化器における、適応残余色変換を使用するＲＤ最適化プロセスについての別の例示的な方法７００を示している。実施形態では、符号化器は、現在の符号化（コーディング）ユニットにおける再構成されたＧＢＲ残差の少なくとも１つがゼロでない場合、残差符号化（コーディング）のためにＹＣｇＣｏ色空間を使用するように試みることができる。再構成された残差のすべてがゼロである場合、それは、ＧＢＲ色空間における予測が、十分であることができ、ＹＣｇＣｏ色空間への変換は、残余符号化（コーディング）の効率をさらに改善することができないことを示すことができる。そのような実施形態では、ＲＤ最適化について検査されるケースの数を、低減させることができ、符号化プロセスを、より効率的に実行することができる。そのような実施形態は、大きい量子化ステップサイズなど、大きい量子化パラメータを使用するシステムにおいて、実施することができる。

ブロック７０５において、ＣＵの残差は、その実施についての符号化の「最良モード」（例えば、イントラコーディングの場合は、イントラ予測、インターコーディングの場合は、動きベクトルおよび参照ピクチャインデックス）を使用して符号化することができ、それは、事前構成された符号化モード、利用可能な中で最良であると以前に決定された符号化モード、または少なくともブロック７０５の機能を実行する時点において最も低いもしくは相対的により低いＲＤコストを有すると決定された別の事前決定された符号化モードとすることができる。ブロック７１０において、この例では「ＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇ」と呼ばれるフラグを、符号化（コーディング）ユニットの残差の符号化はＹＣｇＣｏ色空間を使用して実行されるべきではないことを示す、「偽」になるように設定すること（または偽、ゼロなどを示す他の任意のインジケータになるように設定すること）ができる。ここでもやはり、そのようなフラグは、任意の用語または用語の組み合わせを使用して呼ぶことができることに留意されたい。偽またはそれに等価であるとブロック７１０において評価されたフラグに応答して、ブロック７１５において、符号化器は、ＧＢＲ色空間において残差符号化（コーディング）を実行し、そのような符号化についてのＲＤコスト（図７では、「ＲＤＣｏｓｔ_GBR」と呼ばれるが、ここでもやはり、そのようなコストを指し示すために、任意のラベルまたは用語を使用することができる）を計算することができる。

ブロック７２０において、ＧＢＲ色空間符号化についてのＲＤコストが、最良モード符号化についてのＲＤコストよりも低いかどうかに関して、決定を行うことができる。ＧＢＲ色空間符号化についてのＲＤコストが、最良モード符号化についてのＲＤコストよりも低い場合、ブロック７２５において、最良モードについてのＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇを、偽もしくはそれに等価になるように設定することができ（または偽もしくはそれに等価であるように設定したままにしておくことができ）、最良モードについてのＲＤコストは、ＧＢＲ色空間における残差符号化（コーディング）についてのＲＤコストになるように設定することができる。

ブロック７２０において、ＧＢＲ色空間についてのＲＤコストが、最良モード符号化についてのＲＤコスト以上であると決定された場合、最良モード符号化についてのＲＤコストは、ブロック７２０の評価前にそれが設定された値のままにしておくことができ、ブロック７２５は、バイパスすることができる。

ブロック７３０において、再構成されたＧＢＲ係数の少なくとも１つがゼロでないかどうか（すなわち、すべての再構成されたＧＢＲ係数がゼロに等しいかどうか）に関して、決定を行うことができる。ゼロでない少なくとも１つの再構成されたＧＢＲ係数が存在する場合、ブロック７３５において、ＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇを真または等価のインジケータになるように設定することができる。ブロック７３５においてＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇを真（または等価のインジケータ）になるように設定することは、ＹＣｇＣｏ色空間を使用した符号化（コーディング）ユニットの残差の符号化を容易にすることができ、したがって、以下で説明されるような、最良モード符号化のＲＤコストと比較した、ＹＣｇＣｏ色空間を使用した符号化のＲＤコストの評価を容易にすることができる。

少なくとも１つの再構成されたＧＢＲ係数がゼロでない場合、ブロック７４０において、符号化（コーディング）ユニットの残差を、ＹＣｇＣｏ色空間を使用して符号化することができ、そのような符号化のＲＤコストを、決定することができる（そのようなコストは、図７では、「ＲＤＣｏｓｔ_YCgCo」と呼ばれるが、ここでもやはり、そのようなコストを指し示すために、任意のラベルまたは用語を使用することができる）。

ブロック７４５において、ＹＣｇＣｏ色空間符号化についてのＲＤコストが、最良モード符号化についてのＲＤコストの値よりも低いかどうかに関して、決定を行うことができる。ＹＣｇＣｏ色空間符号化についてのＲＤコストが、最良モード符号化についてのＲＤコストよりも低い場合、ブロック７５０において、最良モードについてのＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇを、真もしくはそれに等価になるように設定することができ（または真もしくはそれに等価であるように設定したままにしておくことができ）、最良モードについてのＲＤコストは、ＹＣｇＣｏ色空間における残差符号化（コーディング）についてのＲＤコストになるように設定することができる。方法７００は、ブロック７５５において終了することができる。

ブロック７４５において、ＹＣｇＣｏ色空間についてのＲＤコストが、最良モード符号化についてのＲＤコスト以上であると決定された場合、最良モード符号化についてのＲＤコストは、ブロック７４５の評価前にそれが設定された値のままにしておくことができ、ブロック７５０は、バイパスすることができる。方法７００は、ブロック７５５において終了することができる。

当業者が理解するように、方法７００およびその任意のサブセットを含む開示される実施形態は、ＧＢＲとＹＣｇＣｏの色空間符号化およびそれぞれのＲＤコストの比較を可能にすることができ、それは、より低いＲＤコストを有する色空間符号化の選択を可能にすることができる。図７の方法７００は、本明細書で説明される例示的なＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｆｌａｇなどのフラグについての適切な設定を決定する、より効率的な手段を提供することができ、一方、図６の方法６００は、本明細書で説明される例示的なＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｆｌａｇなどのフラグについての適切な設定を決定する、より完全な手段を提供することができる。どちらの実施形態でも、またはそれのいずれか１つもしくは複数の態様を使用する任意の変形、サブセット、もしくは実施でも、それらのすべては、本開示の範囲内にあることが企図されており、そのようなフラグの値は、図２に関して、および本明細書で説明される他の任意の符号化器に関して説明されたものなど、符号化されたビットストリームで送信することができる
図８は、例えば、ビットストリームを図１のシステム１９１の受信機１９２に提供するために実施形態に従って実施することができる、ブロックベースのシングルレイヤビデオ符号化器８００のブロック図を示している。図８に示されるように、符号化器８００などの符号化器は、圧縮効率を高める取り組みにおいて、（「イントラ予測」と呼ばれることもある）空間予測および（「インター予測」または「動き補償予測」と呼ばれることもある）時間予測などの技法を使用して、入力ビデオ信号８０１を予測する。符号化器８００は、モード決定、および／または予測の形態を決定することができる他の符号化器制御ロジック８４０を含むことができる。そのような決定は、レートベースの基準、歪みベースの基準、および／またはそれらの組み合わせなどの基準に少なくとも部分的に基づくことができる。符号化器８００は、１または複数の（１つ以上の）予測ブロック８０６を加算器要素８０４に提供することができ、加算器要素８０４は、（入力信号と予測信号との間の差分信号とすることができる）予測残差８０５を生成し、変換要素８１０に提供することができる。符号化器８００は、変換要素８１０において予測残差８０５を変換し、量子化要素８１５において予測残差８０５を量子化することができる。量子化された残差は、モード情報（例えば、イントラ予測またはインター予測）および予測情報（動きベクトル、参照ピクチャインデックス、イントラ予測モードなど）と一緒に、残差係数ブロック８２２として、エントロピー符号化要素８３０に提供することができる。エントロピー符号化要素８３０は、量子化された残差を圧縮し、それを出力ビデオビットストリーム８３５とともに提供することができる。エントロピー符号化要素８３０は、加えて、または代わりに、符号化（コーディング）モード、予測モード、および／または動き情報８０８を、出力ビデオビットストリーム８３５を生成する際に、使用することができる。

実施形態では、符号化器８００は、加えて、または代わりに、逆量子化要素８２５において逆量子化を残差係数ブロック８２２に適用し、また逆変換要素８２０において逆変換を適用して、加算器要素８０９において予測信号８０６に加算し戻すことができる再構成された残差を生成することによって、再構成されたビデオ信号を生成することができる。実施形態では、そのような再構成された残差の残差逆変換は、残差逆変換要素８２７によって生成し、加算器要素８０９に提供することができる。そのような実施形態では、残差符号化（コーディング）要素８２６は、ＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｆｌａｇ８９１（またはＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇ、もしくは説明されたＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｆｌａｇおよび／もしくは説明されたＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇに関する本明細書で説明される機能の実行もしくは表示の提供を行う、他の任意の１もしくは複数のフラグもしくはインジケータ）の値の表示を、制御信号８２３を介して、制御スイッチ８１７に提供することができる。制御スイッチ８１７は、そのようなフラグの受信を示す制御信号８２３を受信したことに応答して、再構成された残差を、再構成された残差の残差逆変換の生成のために、残差逆変換要素８２７に向かわせることができる。フラグ８９１および／または制御信号８２３の値は、順方向残差変換８２４および逆方向残差変換８２７の両方を含むことができる残差変換プロセスを適用するかどうかについての、符号化器による決定を示すことができる。いくつかの実施形態では、符号化器は、残差変換プロセスを適用することまたは適用しないことについてのコストおよび利益を評価するので、制御信号８２３は、異なる値を取ることができる。例えば、符号化器は、残差変換プロセスをビデオ信号の部分に適用することについてのレート−歪みコストを評価することができる。

加算器８０９によって生成された結果の再構成されたビデオ信号は、いくつかの実施形態では、ループフィルタ要素８５０において実施されるループフィルタプロセスを使用して（例えば、デブロッキングフィルタ、サンプル適応オフセット、および／または適応ループフィルタのうちの１または複数を使用することによって）、処理することができる。結果の再構成されたビデオ信号は、いくつかの実施形態では、再構成されたブロック８５５の形態で、参照ピクチャストア８７０において記憶することができ、その場合、それは、例えば、動き予測（推定および補償）要素８８０および／または空間予測要素８６０によって、将来のビデオ信号を予測するために使用することができる。いくつかの実施形態では、加算器要素８０９によって生成された結果の再構成されたビデオ信号は、ループフィルタ要素８５０などの要素によって処理することなく、空間予測要素８６０に提供することができることに留意されたい。

図８に示されるように、実施形態では、符号化器８００などの符号化器は、ＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｆｌａｇ８９１（またはＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇ、もしくは説明されたＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｆｌａｇおよび／もしくは説明されたＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇに関する本明細書で説明される機能の実行もしくは表示の提供を行う、他の任意の１もしくは複数のフラグもしくはインジケータ）の値を、残差符号化（コーディング）要素８２６のための色空間決定において決定することができる。残差符号化（コーディング）要素８２６のための色空間決定は、そのようなフラグの表示を、制御信号８２３を介して、制御スイッチ８０７に提供することができる。制御スイッチ８０７は、ＲＧＢからＹＣｇＣｏへの変換プロセスを残差変換要素８２４において予測残差８０５に適応的に適用することができるように、そのようなフラグの受信を示す制御信号８２３を受信したときに、それに応答して、予測残差８０５を残差変換要素８２４に向かわせることができる。いくつかの実施形態では、この変換プロセスは、変換要素８１０および量子化要素８１５によって処理される符号化（コーディング）ユニットに対して変換および量子化が実行される前に、実行することができる。いくつかの実施形態では、この変換プロセスは、加えて、または代わりに、逆変換要素８２０および逆量子化要素８２５によって処理される符号化（コーディング）ユニットに対して逆変換および逆量子化が実行される前に、実行することができる。いくつかの実施形態では、ＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｆｌａｇ８９１は、加えて、または代わりに、ビットストリーム内に含めるために、エントロピー符号化要素８３０に提供することができる。

図９は、図８の符号化器８００によって生成することができるビットストリーム８３５などのビットストリームとすることができる、ビデオビットストリーム９３５を受信することができる、ブロックベースのシングルレイヤ復号器９００のブロック図を示している。復号器９００は、デバイス上における表示のために、ビットストリーム９３５を再構成することができる。復号器９００は、エントロピー復号器要素９３０においてビットストリーム９３５を解析して、残差係数９２６を生成することができる。残差係数９２６は、加算器要素９０９に提供することができる再構成された残差を獲得するために、脱量子化（de-quantization）要素９２５において逆量子化することができ、および／または逆変換要素９２０において逆変換することができる。予測信号を獲得するために、符号化（コーディング）モード、予測モード、および／または動き情報９２７を使用することができ、いくつかの実施形態では、空間予測要素９６０によって提供される空間予測情報および／または時間予測要素９９０によって提供される時間予測情報の一方または両方を使用する。そのような予測信号は、予測ブロック９２９として提供することができる。予測信号と再構成された残差は、加算器要素９０９において加算されて、再構成されたビデオ信号を生成することができ、それは、ループフィルタリングのためにループフィルタ要素９５０に提供することができ、またピクチャを表示する際、および／またはビデオ信号を復号する際に使用するために、参照ピクチャストア９７０内に記憶することができる。予測モード９２８は、ループフィルタリングのためにループフィルタ要素９５０に提供することができる再構成されたビデオ信号を生成する際に使用するために、エントロピー復号要素９３０によって加算器要素９０９に提供することができることに留意されたい。

実施形態では、復号器９００は、エントロピー復号要素９３０においてビットストリーム９３５を復号して、図８の符号化器８００などの符号化器によってビットストリーム９３５内に符号化することができた、ＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｆｌａｇ９９１（またはＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇ、もしくは説明されたＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｆｌａｇおよび／もしくは説明されたＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇに関する本明細書で説明される機能の実行もしくは表示の提供を行う、他の任意の１もしくは複数のフラグもしくはインジケータ）を決定することができる。ＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ＿ｆｌａｇ９９１の値は、逆変換要素９２０によって生成され、加算器要素９０９に提供される再構成された残差に対して、ＹＣｇＣｏからＲＧＢへの逆変換プロセスを、残差逆変換要素９９９において実行することができるかどうかを決定するために使用することができる。実施形態では、フラグ９９１またはそれの受信を示す制御信号を、制御スイッチ９１７に提供することができ、制御スイッチ９１７は、それに応答して、再構成された残差の残差逆変換を生成するために、再構成された残差を残差逆変換要素９９９に向かわせることができる。

動き補償予測またはイントラ予測の一部としてではなく、適応色空間変換を予測残差に対して実行することによって、実施形態では、ビデオ符号化（コーディング）システムの複雑性を低減させることができるが、その理由は、そのような実施形態は、符号化器および／または復号器が、２つの異なる色空間における予測信号を記憶することを必要としないことができるからである。

残差符号化（コーディング）効率を改善するために、残余ブロックを複数の正方形変換ユニットに分割することによって、予測残余の変換符号化（コーディング）を実行することができ、可能なＴＵサイズは、４×４、８×８、１６×１６、および／または３２×３２とすることができる。図１０は、ＰＵのＴＵへの例示的な分割１０００を示しており、左下のＰＵ１０１０は、ＴＵサイズがＰＵサイズに等しいとすることができる実施形態を表すことができ、ＰＵ１０２０、１０３０、１０４０は、各それぞれの例示的なＰＵを複数のＴＵに分割することができる実施形態を表すことができる。

実施形態では、予測残差の色空間変換は、ＴＵレベルにおいて適応的に有効にすること、および／または無効にすることができる。そのような実施形態は、ＣＵレベルにおいて適応色変換を有効および／または無効にするのと比較して、異なる色空間の間の切り換えについてのより細かい粒度を提供することができる。そのような実施形態は、適応色空間変換が達成することができる符号化利得を改善することができる。

図８の例示的な符号化器８００を再び参照すると、ＣＵの残差符号化（コーディング）のための色空間を選択するために、例示的な符号化器８００などの符号化器は、各符号化（コーディング）モード（例えば、イントラコーディングモード、インターコーディングモード、イントラブロックコピーモード）を２回、１回は色空間変換を行って、１回は色空間変換を行わずに、テストすることができる。いくつかの実施形態では、そのような符号化複雑性の効率を改善するために、本明細書で説明されるような様々な「高速」またはより効率的な符号化ロジックを使用することができる。

実施形態では、ＹＣｇＣｏは、ＲＧＢよりもコンパクトな元の色信号の表現を提供することができるので、色空間変換を有効にしたＲＤコストを決定し、色空間変換を無効にしたＲＤコストと比較することができる。いくつかのそのような実施形態では、色空間変換を無効にしたＲＤコストの計算は、色空間変換を有効にしたときに少なくとも１つの非ゼロ係数が存在する場合に、行うことができる。

テストされる符号化（コーディング）モードの数を低減させるために、いくつかの実施形態では、ＲＧＢおよびＹＣｂＣｒ色空間の両方について、同じ符号化（コーディング）モードを使用することができる。イントラモードの場合、選択されたルーマおよびクロマイントラ予測は、ＲＧＢ空間とＹＣｇＣｏ空間との間で共用することができる。インターモードの場合、選択された動きベクトル、参照ピクチャ、および動きベクトル予測因子は、ＲＧＢ色空間とＹＣｇＣｏ色空間との間で共用することができる。イントラブロックコピーモードの場合、選択されたブロックベクトルおよびブロックベクトル予測因子は、ＲＧＢ色空間とＹＣｇＣｏ色空間との間で共用することができる。符号化複雑性をさらに低減させるために、いくつかの実施形態では、ＴＵ分割を、ＲＧＢ色空間とＹＣｇＣｏ色空間との間で共用することができる。

３つの色成分（ＹＣｇＣｏドメインにおけるＹ、Ｃｇ、Ｃｏ、およびＲＧＢドメインにおけるＧ、Ｂ、Ｒ）の間には相関が存在することがあるので、いくつかの実施形態では、３つの色成分について、同じイントラ予測方向を選択することができる。２つの色空間の各々において、３つの色成分のすべてについて、同じイントラ予測モードを使用することができる。

同じ領域内のＣＵの間には相関が存在することがあるので、１つのＣＵは、その残差信号を符号化するために、そのペアレントＣＵと同じ色空間（例えば、ＲＧＢまたはＹＣｇＣｏ）を選択することができる。あるいは、チャイルドＣＵは、選択された色空間および／または各色空間のＲＤコストなど、そのペアレントと関連付けられた情報から、色空間を導出することができる。実施形態では、符号化複雑性は、ペアレントＣＵの残差がＹＣｇＣｏドメインにおいて符号化されている場合、１つのＣＵについてのＲＧＢドメインにおける残差符号化（コーディング）のＲＤコストをチェックしないことによって、低減させることができる。加えて、または代わりに、ＹＣｇＣｏドメインにおける残差符号化（コーディング）のＲＤコストのチェックは、チャイルドＣＵのペアレントＣＵの残差がＲＧＢドメインにおいて符号化されている場合、スキップすることができる。いくつかの実施形態では、２つの色空間におけるチャイルドＣＵのペアレントＣＵのＲＤコストは、２つの色空間がペアレントＣＵの符号化においてテストされる場合、チャイルドＣＵのために使用することができる。チャイルドＣＵのペアレントＣＵがＹＣｇＣｏ色空間を選択し、ＹＣｇＣｏのＲＤコストがＲＧＢのそれよりも少ない場合、チャイルドＣＵについて、ＲＧＢ色空間をスキップすることができ、その逆も同様である。

多くのイントラ角度予測モード、１もしくは複数のＤＣモード、および／または１もしくは複数の平面予測モードを含むことができる多くのイントラ予測モードを含む多くの予測モードを、いくつかの実施形態によってサポートすることができる。すべてのそのようなイントラ予測モードについて、色空間変換を用いる残差符号化（コーディング）をテストすることは、符号化器の複雑性を増加させることがある。実施形態では、サポートされるすべてのイントラ予測モードについて完全なＲＤコストを計算する代わりに、サポートされるモードから、Ｎ個のイントラ予測候補からなるサブセットを、残差符号化（コーディング）のビットを考慮することなく、選択することができる。Ｎ個の選択されたイントラ予測候補は、残差符号化（コーディング）を適用した後、ＲＤコストを計算することによって、変換された色空間においてテストすることができる。サポートされるモードの中で最も低いＲＤコストを有する最良モードを、変換された色空間におけるイントラ予測モードとして選択することができる。

本明細書で言及されるように、開示される色空間変換システムおよび方法は、シーケンスレベルにおいて、ならびに／またはピクチャおよび／もしくはブロックレベルにおいて有効にすること、および／または無効にすることができる。以下の表３に示される例示的な実施形態では、シンタックス要素（その例は、表３ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）を、シーケンスパラメータセット（ＳＰＳ）内で使用して、残差色空間変換符号化（コーディング）ツールが有効であるかどうかを示すことができる。いくつかのそのような実施形態では、色空間変換は、ルーマ成分とクロマ成分について同じ解像度を有するビデオコンテンツに適用されるので、開示される適応色空間変換システムおよび方法は、「４４４」クロマフォーマットに対して有効であることができる。そのような実施形態では、４４４クロマフォーマットへの色空間変換は、相対的に高いレベルで制約されることがある。そのような実施形態では、非４４４カラーフォーマットを使用することができる場合、色空間変換の無効化を実施するために、ビットストリーム適合制約を適用することができる。

実施形態では、例示的なシンタックス要素「ｓｐｓ＿ｒｅｓｉｄｕａｌ＿ｃｓｃ＿ｆｌａｇ」は、１に等しい場合、残差色空間変換コーディングツールを有効とすることができることを示すことができる。例示的なシンタックス要素ｓｐｓ＿ｒｅｓｉｄｕａｌ＿ｃｓｃ＿ｆｌａｇは、０に等しい場合、残差色空間変換を無効とすることができ、ＣＵレベルにおけるフラグＣＵ＿ＹＣｇＣｏ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇは０であると推測されることを示すことができる。そのような実施形態では、ＣｈｒｏｍａＡｒｒａｙＴｙｐｅシンタックス要素が３に等しくない場合、例示的なｓｐｓ＿ｒｅｓｉｄｕａｌ＿ｃｓｃ＿ｆｌａｇシンタックス要素（またはその等価物）の値は、ビットストリーム適合を維持するために、０に等しくすることができる。

別の実施形態では、以下の表４に示されるように、例示的なｓｐｓ＿ｒｅｓｉｄｕａｌ＿ｃｓｃ＿ｆｌａｇシンタックス要素（その例は、表４ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）は、ＣｈｒｏｍａＡｒｒａｒｙＴｙｐｅシンタックス要素の値に応じて、伝達することができる。そのような実施形態では、入力ビデオが、４４４カラーフォーマットである（すなわち、ＣｈｒｏｍａＡｒｒａｒｙＴｙｐｅが３に等しく、例えば、表において、「ＣｈｒｏｍａＡｒｒａｙＴｙｐｅ＝＝３」である）場合、色空間変換が有効であるかどうかを示すために、例示的なｓｐｓ＿ｒｅｓｉｄｕａｌ＿ｃｓｃ＿ｆｌａｇシンタックス要素を伝達することができる。そのような入力ビデオが、４４カラーフォーマットでない（すなわち、ＣｈｒｏｍａＡｒｒａｒｙＴｙｐｅが３に等しくない）場合、例示的なｓｐｓ＿ｒｅｓｉｄｕａｌ＿ｃｓｃ＿ｆｌａｇシンタックス要素は、伝達されないことがあり、０に等しくなるように設定することができる。

残差色空間変換符号化（コーディング）ツールが有効である場合、実施形態では、ＧＢＲ色空間とＹＣｇＣｏ色空間との間の色空間変換を有効にするために、本明細書で説明されるように、ＣＵレベルおよび／またはＴＵレベルにおいて、別のフラグを追加することができる。

その例が以下の表５に示される実施形態では、例示的な符号化（コーディング）ユニットシンタックス要素「ｃｕ＿ｙｃｇｃｏ＿ｒｅｓｉｄｕｅ＿ｆｌａｇ」（その例は、表５ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）は、１に等しい場合、符号化（コーディング）ユニットの残差をＹＣｇＣｏ色空間において符号化および／または復号することができることを示すことができる。そのような実施形態では、ｃｕ＿ｙｃｇｃｏ＿ｒｅｓｉｄｕｅ＿ｆｌａｇシンタックス要素またはその等価物は、０に等しい場合、コーディングユニットの残差をＧＢＲ色空間において符号化することができることを示すことができる。

その例が以下の表６に示される別の実施形態では、例示的な変換ユニットシンタックス要素「ｔｕ＿ｙｃｇｃｏ＿ｒｅｓｉｄｕｅ＿ｆｌａｇ」（その例は、表６ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）は、１に等しい場合、変換ユニットの残差をＹＣｇＣｏ色空間において符号化および／または復号することができることを示すことができる。そのような実施形態では、ｔｕ＿ｙｃｇｃｏ＿ｒｅｓｉｄｕｅ＿ｆｌａｇシンタックス要素またはその等価物は、０に等しい場合、変換ユニットの残差をＧＢＲ色空間において符号化することができることを示すことができる。

いくつかの補間フィルタは、いくつかの実施形態では、スクリーンコンテンツコーディングにおいて使用することができる動き補償予測のために分数ピクセルを補間する際に、あまり効率的ではないことがある。例えば、４タップフィルタは、ＲＧＢビデオを符号化する場合、分数位置においてＢ成分およびＲ成分を補間する際に、正確ではないことがある。可逆符号化（コーディング）の実施形態では、８タップルーマフィルタは、元のルーマ成分内に含まれる有益な高周波数テクスチャ情報を保存する最も効率的な手段ではないことがある。実施形態では、異なる色成分に対して、補間フィルタの別個の表示を使用することができる。

そのような一実施形態では、分数ピクセル補間プロセスのための候補フィルタとして、１または複数の（１つ以上の）デフォルト補間フィルタ（例えば、８タップフィルタのセット、４タップフィルタのセット）を使用することができる。別の実施形態では、デフォルト補間フィルタとは異なる補間フィルタのセットを、ビットストリームで明示的に伝達することができる。異なる色成分に対する適応フィルタ選択を可能にするために、各色成分のために選択される補間フィルタを指定するシンタックス要素の伝達を使用することができる。開示されるフィルタ選択システムおよび方法は、シーケンスレベル、ピクチャおよび／またはスライスレベル、ならびにＣＵレベルなど、様々な符号化（コーディング）レベルにおいて使用することができる。動作コーディングレベルの選択は、利用可能な実施の符号化効率ならびに／または計算および／もしくは動作複雑性に基づいて、行うことができる。

デフォルト補間フィルタが使用される実施形態では、色成分の分数ピクセル補間のために、８タップフィルタのセットを使用することができるか、それとも４タップフィルタのセットを使用することができるかを、フラグを使用して、示すことができる。１つのそのようなフラグは、Ｙ成分（またはＲＧＢ色空間の実施形態ではＧ成分）のためのフィルタ選択を示すことができ、別のそのようなフラグは、Ｃｂ成分およびＣｒ成分（またはＲＧＢ色空間の実施形態ではＢ成分およびＲ成分）のために使用することができる。以下の表は、シーケンスレベル、ピクチャおよび／またはスライスレベル、ならびにＣＵレベルにおいて伝達することができる、そのようなフラグの例を提供する。

以下の表７は、シーケンスレベルにおけるデフォルト補間フィルタの選択を可能にするために、そのようなフラグが伝達される実施形態を示している。開示されるシンタックスは、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、およびピクチャパラメータセット（ＰＰＳ）を含む、任意のパラメータセットに適用することができる。表７は、例示的なシンタックス要素をＳＰＳで伝達することができる実施形態を示している。

そのような実施形態では、例示的なシンタックス要素「ｓｐｓ＿ｌｕｍａ＿ｕｓｅ＿ｄｅｆａｕｌｔ＿ｆｉｌｔｅｒ＿ｆｌａｇ」（その例は、表７ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）は、１に等しい場合、現在のシーケンスパラメータセットと関連付けられたすべてのピクチャのルーマ成分が、分数ピクセルの補間のために、ルーマ補間フィルタの同じセット（例えば、デフォルトルーマフィルタのセット）を使用することができることを示すことができる。そのような実施形態では、例示的なシンタックス要素ｓｐｓ＿ｌｕｍａ＿ｕｓｅ＿ｄｅｆａｕｌｔ＿ｆｉｌｔｅｒ＿ｆｌａｇは、０に等しい場合、現在のシーケンスパラメータセットと関連付けられたすべてのピクチャのルーマ成分が、分数ピクセルの補間のために、クロマ補間フィルタの同じセット（例えば、デフォルトクロマフィルタのセット）を使用することができることを示すことができる。

そのような実施形態では、例示的なシンタックス要素「ｓｐｓ＿ｃｈｒｏｍａ＿ｕｓｅ＿ｄｅｆａｕｌｔ＿ｆｉｌｔｅｒ＿ｆｌａｇ」（その例は、表７ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）は、１に等しい場合、現在のシーケンスパラメータセットと関連付けられたすべてのピクチャのクロマ成分が、分数ピクセルの補間のために、クロマ補間フィルタの同じセット（例えば、デフォルトクロマフィルタのセット）を使用することができることを示すことができる。そのような実施形態では、例示的なシンタックス要素ｓｐｓ＿ｃｈｒｏｍａ＿ｕｓｅ＿ｄｅｆａｕｌｔ＿ｆｉｌｔｅｒ＿ｆｌａｇは、０に等しい場合、現在のシーケンスパラメータセットと関連付けられたすべてのピクチャのクロマ成分が、分数ピクセルの補間のために、ルーマ補間フィルタの同じセット（例えば、デフォルトルーマフィルタのセット）を使用することができることを示すことができる。

実施形態では、ピクチャおよび／またはスライスレベルにおける補間フィルタの選択を容易にするために、ピクチャおよび／またはスライスレベルにおいてフラグを伝達することができる（すなわち、与えられた色成分について、ピクチャおよび／またはスライス内のすべてのＣＵが、同じ補間フィルタを使用することができる）。以下の表８は、実施形態による、スライスセグメントヘッダ内のシンタックス要素を使用する伝達の例を示している。

そのような実施形態では、例示的なシンタックス要素「ｓｌｉｃｅ＿ｌｕｍａ＿ｕｓｅ＿ｄｅｆａｕｌｔ＿ｆｉｌｔｅｒ＿ｆｌａｇ」（その例は、表８ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）は、１に等しい場合、現在のスライスのルーマ成分が、分数ピクセルの補間のために、ルーマ補間フィルタの同じセット（例えば、デフォルトルーマフィルタのセット）を使用することができることを示すことができる。そのような実施形態では、例示的なｓｌｉｃｅ＿ｌｕｍａ＿ｕｓｅ＿ｄｅｆａｕｌｔ＿ｆｉｌｔｅｒ＿ｆｌａｇシンタックス要素は、０に等しい場合、現在のスライスのルーマ成分が、分数ピクセルの補間のために、クロマ補間フィルタの同じセット（例えば、デフォルトクロマフィルタのセット）を使用することができることを示すことができる。

そのような実施形態では、例示的なシンタックス要素「ｓｌｉｃｅ＿ｃｈｒｏｍａ＿ｕｓｅ＿ｄｅｆａｕｌｔ＿ｆｉｌｔｅｒ＿ｆｌａｇ」（その例は、表８ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）は、１に等しい場合、現在のスライスのクロマ成分が、分数ピクセルの補間のために、クロマ補間フィルタの同じセット（例えば、デフォルトクロマフィルタのセット）を使用することができることを示すことができる。そのような実施形態では、例示的なシンタックス要素ｓｌｉｃｅ＿ｃｈｒｏｍａ＿ｕｓｅ＿ｄｅｆａｕｌｔ＿ｆｉｌｔｅｒ＿ｆｌａｇは、０に等しい場合、現在のスライスのクロマ成分が、分数ピクセルの補間のために、ルーマ補間フィルタの同じセット（例えば、デフォルトルーマフィルタのセット）を使用することができることを示すことができる。

ＣＵレベルにおける補間フィルタの選択を容易にするために、ＣＵレベルにおいてフラグを伝達することができる実施形態では、実施形態では、そのようなフラグは、図９に示されるような符号化（コーディング）ユニットシンタックスを使用して、伝達することができる。そのような実施形態では、ＣＵの色成分は、そのＣＵのための予測信号を提供することができる、１または複数の（１つ以上の）補間フィルタを適応的に選択することができる。そのような選択は、適応補間フィルタ選択によって達成することができるコーディング改善を表すことができる。

そのような実施形態では、例示的なシンタックス要素「ｃｕ＿ｕｓｅ＿ｄｅｆａｕｌｔ＿ｆｉｌｔｅｒ＿ｆｌａｇ」（その例は、表９ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）は、１に等しい場合、ルーマおよびクロマの両方が、分数ピクセルの補間のために、デフォルト補間フィルタを使用することができることを示す。そのような実施形態では、例示的なｃｕ＿ｕｓｅ＿ｄｅｆａｕｌｔ＿ｆｉｌｔｅｒ＿ｆｌａｇシンタックス要素またはその等価物は、０に等しい場合、現在のＣＵのルーマ成分またはクロマ成分のどちらかが、分数ピクセルの補間のために、補間フィルタの異なるセットを使用することができることを示すことができる。

そのような実施形態では、例示的なシンタックス要素「ｃｕ＿ｌｕｍａ＿ｕｓｅ＿ｄｅｆａｕｌｔ＿ｆｉｌｔｅｒ＿ｆｌａｇ」（その例は、表９ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）は、１に等しい場合、現在のｃｕのルーマ成分が、分数ピクセルの補間のために、ルーマ補間フィルタの同じセット（例えば、デフォルトルーマフィルタのセット）を使用することを示すことができる。そのような実施形態では、例示的なシンタックス要素ｃｕ＿ｌｕｍａ＿ｕｓｅ＿ｄｅｆａｕｌｔ＿ｆｉｌｔｅｒ＿ｆｌａｇは、０に等しい場合、現在のｃｕのルーマ成分が、分数ピクセルの補間のために、クロマ補間フィルタの同じセット（例えば、デフォルトクロマフィルタのセット）を使用することができることを示すことができる。

そのような実施形態では、例示的なシンタックス要素「ｃｕ＿ｃｈｒｏｍａ＿ｕｓｅ＿ｄｅｆａｕｌｔ＿ｆｉｌｔｅｒ＿ｆｌａｇ」（その例は、表９ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）は、１に等しい場合、現在のｃｕのクロマ成分が、分数ピクセルの補間のために、クロマ補間フィルタの同じセット（例えば、デフォルトクロマフィルタのセット）を使用することができることを示すことができる。そのような実施形態では、例示的なシンタックス要素ｃｕ＿ｃｈｒｏｍａ＿ｕｓｅ＿ｄｅｆａｕｌｔ＿ｆｉｌｔｅｒ＿ｆｌａｇは、０に等しい場合、現在のｃｕのクロマ成分が、分数ピクセルの補間のために、ルーマ補間フィルタの同じセット（例えば、デフォルトルーマフィルタのセット）を使用することができることを示すことができる。

実施形態では、補間フィルタ候補の係数は、ビットストリームで明示的に伝達することができる。デフォルト補間フィルタと異なることができる任意の補間フィルタは、ビデオシーケンスの分数ピクセル補間処理のために使用することができる。そのような実施形態では、符号化器から復号器へのフィルタ係数の配送を容易にするために、例示的なシンタックス要素「ｉｎｔｅｒｐ＿ｆｉｌｔｅｒ＿ｃｏｅｆ＿ｓｅｔ（）」（その例は、表１０ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）を使用して、ビットストリームでフィルタ係数を搬送することができる。表１０は、補間フィルタ候補のそのような係数を伝達するためのシンタックス構造を示している。

そのような実施形態では、例示的なシンタックス要素「ａｒｂｉｔｒａｒｙ＿ｉｎｔｅｒｐ＿ｆｉｌｔｅｒ＿ｕｓｅｄ＿ｆｌａｇ」（その例は、表１０ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）は、任意の補間フィルタが存在するかどうかを指定することができる。例示的なシンタックス要素ａｒｂｉｔｒａｒｙ＿ｉｎｔｅｒｐ＿ｆｉｌｔｅｒ＿ｕｓｅｄ＿ｆｌａｇが、１であるように設定されている場合、補間プロセスのために、任意の補間フィルタを使用することができる。

やはり、そのような実施形態では、例示的なシンタックス要素「ｎｕｍ＿ｉｎｔｅｒｐ＿ｆｉｌｔｅｒ＿ｓｅｔ」（その例は、表１０ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）またはその等価物は、ビットストリーム内で提示される補間フィルタセットの数を指定することができる。

またやはり、そのような実施形態では、例示的なシンタックス要素「ｉｎｔｅｒｐ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆ＿ｓｈｉｆｔｉｎｇ」（その例は、表１０ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）またはその等価物は、ピクセル補間のために使用される右シフト演算の回数を指定することができる。

またやはり、そのような実施形態では、例示的なシンタックス要素「ｎｕｍ＿ｉｎｔｅｒｐ＿ｆｉｌｔｅｒ［ｉ］」（その例は、表１０ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）またはその等価物は、第ｉの補間フィルタセット内の補間フィルタの数を指定することができる。

ここでもやはり、そのような実施形態では、例示的なシンタックス要素「ｎｕｍ＿ｉｎｔｅｒｐ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆ［ｉ］」（その例は、表１０ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）またはその等価物は、第ｉの補間フィルタセット内の補間フィルタのために使用されるタップの数を指定することができる。

ここでもやはり、そのような実施形態では、例示的なシンタックス要素「ｉｎｔｅｒｐ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆ＿ａｂｓ［ｉ］［ｊ］［ｌ］」（その例は、表１０ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）またはその等価物は、第ｉの補間フィルタセット内の第ｊの補間フィルタの第ｌの係数の絶対値を指定することができる。

またやはり、そのような実施形態では、例示的なシンタックス要素「ｉｎｔｅｒｐ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆ＿ｓｉｇｎ［ｉ］［ｊ］［ｌ］」（その例は、表１０ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される）またはその等価物は、第ｉの補間フィルタセット内の第ｊの補間フィルタの第ｌの係数の符号を指定することができる。

開示されるシンタックス要素は、ＶＰＳ、ＳＰＳ、ＰＰＳなどの任意の高レベルのパラメータセット、およびスライスセグメントヘッダにおいて示すことができる。動作コーディングレベルのための補間フィルタの選択を容易にするために、シーケンスレベル、ピクチャレベル、および／またはＣＵレベルにおいて、追加のシンタックス要素を使用することができることも留意されたい。開示されるフラグは、選択されたフィルタセットを示すことができる変数によって置き換えることができることも留意されたい。企図される実施形態では、補間フィルタの任意の数（例えば、２つ、３つ、またはより多く）のセットを、ビットストリームで伝達することができることに留意されたい。

開示される実施形態を使用すると、動き補償予測プロセス中に、補間フィルタの任意の組み合わせを使用して、分数位置におけるピクセルを補間することができる。例えば、（ＲＧＢまたはＹＣｂＣｒのフォーマットの）４：４：４ビデオ信号の非可逆符号化（コーディング）を実行することができる実施形態では、３つの色成分（すなわち、Ｒ、Ｇ、およびＢ成分）についての分数ピクセルを生成するために、デフォルトの８タップフィルタを使用することができる。ビデオ信号の可逆符号化（コーディング）を実行することができる別の実施形態では、３つの色成分（すなわち、ＹＣｂＣｒ色空間におけるＹ、Ｃｂ、およびＣｒ成分、ＲＧＢ色空間におけるＲ、Ｇ、およびＢ成分）についての分数ピクセルを生成するために、デフォルトの４タップフィルタを使用することができる。

図１１Ａは、１または複数の開示される実施形態を実施することができる例示的な通信システム１００の図である。通信システム１００は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムとすることができる。通信システム１００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通して、そのようなコンテンツにアクセスすることを可能にすることができる。例えば、通信システム１００は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、およびシングルキャリアＦＤＭＡ（ＳＣ−ＦＤＭＡ）など、１または複数の（１つ以上の）チャネルアクセス方法を利用することができる。

図１１Ａに示されるように、通信システム１００は、（一般にまたは一括してＷＴＲＵ１０２と呼ばれることがある）無線送受信ユニット（ＷＴＲＵ）１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄ、無線アクセスネットワーク（ＲＡＮ）１０３／１０４／１０５、コアネットワーク１０６／１０７／１０９、公衆交換電話網（ＰＳＴＮ）１０８、インターネット１１０、ならびに他のネットワーク１１２を含むことができるが、開示されるシステムおよび方法は、任意の数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素を企図していることが理解されよう。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの各々は、無線環境において動作および／または通信するように構成された任意のタイプのデバイスとすることができる。例を挙げると、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、無線信号を送信および／または受信するように構成することができ、ユーザ機器（ＵＥ）、移動局、固定もしくは移動加入者ユニット、ページャ、セルラ電話、携帯情報端末（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、および家電製品などを含むことができる。

通信システム１００は、基地局１１４ａおよび基地局１１４ｂも含むことができる。基地局１１４ａ、１１４ｂの各々は、コアネットワーク１０６／１０７／１０９、インターネット１１０、および／またはネットワーク１１２などの１または複数の（１つ以上の）通信ネットワークへのアクセスを容易にするために、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの少なくとも１つと無線でインターフェースを取るように構成された、任意のタイプのデバイスとすることができる。例を挙げると、基地局１１４ａ、１１４ｂは、基地送受信機局（ＢＴＳ）、ノードＢ、ｅノードＢ、ホームノードＢ、ホームｅノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、および無線ルータなどとすることができる。基地局１１４ａ、１１４ｂは各々、単一の要素として示されているが、基地局１１４ａ、１１４ｂは、任意の数の相互接続された基地局および／またはネットワーク要素を含むことができることが理解されよう。

基地局１１４ａは、ＲＡＮ１０３／１０４／１０５の部分とすることができ、ＲＡＮ１０３／１０４／１０５は、他の基地局、および／または基地局コントローラ（ＢＳＣ）、無線ネットワークコントローラ（ＲＮＣ）、中継ノードなどのネットワーク要素（図示されず）も含むことができる。基地局１１４ａおよび／または基地局１１４ｂは、セル（図示されず）と呼ばれることがある特定の地理的領域内で、無線信号を送信および／または受信するように構成することができる。セルは、さらにセルセクタに分割することができる。例えば、基地局１１４ａに関連付けられたセルは、３つのセクタに分割することができる。したがって、一実施形態では、基地局１１４ａは、送受信機を３つ、例えば、セルのセクタ毎に１つずつ含むことができる。別の実施形態では、基地局１１４ａは、多入力多出力（ＭＩＭＯ）技術を利用することができ、したがって、セルのセクタ毎に複数の送受信機を利用することができる。

基地局１１４ａ、１１４ｂは、エアインターフェース１１５／１１６／１１７上で、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの１または複数と通信することができ、エアインターフェース１１５／１１６／１１７は、任意の適切な無線通信リンク（例えば、無線周波（ＲＦ）、マイクロ波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光など）とすることができる。エアインターフェース１１５／１１６／１１７は、任意の適切な無線アクセス技術（ＲＡＴ）を使用して確立することができる。

より具体的には、上で言及されたように、通信システム１００は、多元接続システムとすることができ、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、およびＳＣ−ＦＤＭＡなどの、１または複数の（１つ以上の）チャネルアクセス方式を利用することができる。例えば、ＲＡＮ１０３／１０４／１０５内の基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、広帯域ＣＤＭＡ（ＷＣＤＭＡ）を使用してエアインターフェース１１５／１１６／１１７を確立することができる、ユニバーサル移動体通信システム（ＵＭＴＳ）地上無線アクセス（ＵＴＲＡ）などの無線技術を実施することができる。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）および／または進化型ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含むことができる。ＨＳＰＡは、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）および／または高速アップリンクパケットアクセス（ＨＳＵＰＡ）を含むことができる。

別の実施形態では、基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ロングタームエボリューション（ＬＴＥ）および／またはＬＴＥアドバンスト（ＬＴＥ−Ａ）を使用してエアインターフェース１１５／１１６／１１７を確立することができる、進化型ＵＭＴＳ地上無線アクセス（Ｅ−ＵＴＲＡ）などの無線技術を実施することができる。

他の実施形態では、基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＩＥＥＥ８０２．１６（すなわち、マイクロ波アクセス用の世界的相互運用性（ＷｉＭＡＸ））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ ＥＶ−ＤＯ、暫定標準２０００（ＩＳ−２０００）、暫定標準９５（ＩＳ−９５）、暫定標準８５６（ＩＳ−８５６）、移動体通信用グローバルシステム（ＧＳＭ）、ＧＳＭエボリューション用の高速データレート（ＥＤＧＥ）、およびＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）などの無線技術を実施することができる。図１１Ａの基地局１１４ｂは、例えば、無線ルータ、ホームノードＢ、ホームｅノードＢ、またはアクセスポイントとすることができ、職場、家庭、乗物、およびキャンパスなどの局所的エリアにおける無線接続性を容易にするために、任意の適切なＲＡＴを利用することができる。一実施形態では、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１１などの無線技術を実施して、無線ローカルエリアネットワーク（ＷＬＡＮ）を確立することができる。別の実施形態では、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１５などの無線技術を実施して、無線パーソナルエリアネットワーク（ＷＰＡＮ）を確立することができる。また別の実施形態では、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、セルラベースのＲＡＴ（例えば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ−Ａなど）を利用して、ピコセルまたはフェムトセルを確立することができる。図１１Ａに示されるように、基地局１１４ｂは、インターネット１１０への直接的な接続を有することがある。したがって、基地局１１４ｂは、コアネットワーク１０６／１０７／１０９を介して、インターネット１１０にアクセスする必要がないことがある。

ＲＡＮ１０３／１０４／１０５は、コアネットワーク１０６／１０７／１０９と通信することができ、コアネットワーク１０６／１０７／１０９は、音声、データ、アプリケーション、および／またはボイスオーバインターネットプロトコル（ＶｏＩＰ）サービスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの１または複数に提供するように構成された、任意のタイプのネットワークとすることができる。例えば、コアネットワーク１０６／１０７／１０９は、呼制御、請求サービス、モバイルロケーションベースのサービス、プリペイド通話、インターネット接続性、ビデオ配信などを提供することができ、および／またはユーザ認証など、高レベルのセキュリティ機能を実行することができる。図１１Ａには示されていないが、ＲＡＮ１０３／１０４／１０５および／またはコアネットワーク１０６／１０７／１０９は、ＲＡＮ１０３／１０４／１０５と同じＲＡＴまたは異なるＲＡＴを利用する他のＲＡＮと直接的または間接的に通信することができることが理解されよう。例えば、Ｅ−ＵＴＲＡ無線技術を利用することができるＲＡＮ１０３／１０４／１０５に接続するのに加えて、コアネットワーク１０６／１０７／１０９は、ＧＳＭ無線技術を利用する別のＲＡＮ（図示されず）とも通信することができる。

コアネットワーク１０６／１０７／１０９は、ＰＳＴＮ１０８、インターネット１１０、および／または他のネットワーク１１２にアクセスするための、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのためのゲートウェイとしての役割も果たすことができる。ＰＳＴＮ１０８は、基本電話サービス（ＰＯＴＳ）を提供する回線交換電話網を含むことができる。インターネット１１０は、ＴＣＰ／ＩＰインターネットプロトコルスイート内の伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、およびインターネットプロトコル（ＩＰ）など、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークおよびデバイスからなるグローバルシステムを含むことができる。ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される有線または無線通信ネットワークを含むことができる。例えば、ネットワーク１１２は、ＲＡＮ１０３／１０４／１０５と同じＲＡＴまたは異なるＲＡＴを利用することができる１または複数の（１つ以上の）ＲＡＮに接続された、別のコアネットワークを含むことができる。

通信システム１００内のＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのいくつかまたはすべては、マルチモード機能を含むことができ、例えば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、異なる無線リンク上で異なる無線ネットワークと通信するための複数の送受信機を含むことができる。例えば、図１１Ａに示されたＷＴＲＵ１０２ｃは、セルラベースの無線技術を利用することができる基地局１１４ａと通信するように、またＩＥＥＥ８０２無線技術を利用することができる基地局１１４ｂと通信するように構成することができる。

図１１Ｂは、例示的なＷＴＲＵ１０２のシステム図である。図１１Ｂに示されるように、ＷＴＲＵ１０２は、プロセッサ１１８と、送受信機１２０と、送信／受信要素１２２と、スピーカ／マイクロフォン１２４と、キーパッド１２６と、ディスプレイ／タッチパッド１２８と、着脱不能メモリ１３０と、着脱可能メモリ１３２と、電源１３４と、全地球測位システム（ＧＰＳ）チップセット１３６と、他の周辺機器１３８とを含むことができる。ＷＴＲＵ１０２は、実施形態との整合性を保ちながら、上記の要素の任意のサブコンビネーションを含むことができることが理解されよう。また、実施形態は、基地局１１４ａ、１１４ｂ、ならびに／またはとりわけ、基地局（ＢＴＳ）、ノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、ホームノードＢ、進化型ノードＢ（ｅノードＢ）、ホーム進化型ノードＢ（ＨｅＮＢ）、ホーム進化型ノードＢゲートウェイ、およびプロキシノードなどの、しかし、それらに限定されない、基地局１１４ａ、１１４ｂが表すことができるノードが、図１１Ｂに示され、本明細書で説明される要素のいくつかまたはすべてを含むことができることを企図している。

プロセッサ１１８は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと連携する１または複数の（１つ以上の）マイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、他の任意のタイプの集積回路（ＩＣ）、および状態機械などとすることができる。プロセッサ１１８は、信号コーディング、データ処理、電力制御、入力／出力処理、および／またはＷＴＲＵ１０２が無線環境で動作することを可能にする他の任意の機能を実行することができる。プロセッサ１１８は、送受信機１２０に結合することができ、送受信機１２０は、送信／受信要素１２２に結合することができる。図１１Ｂは、プロセッサ１１８と送受信機１２０を別々の構成要素として示しているが、プロセッサ１１８と送受信機１２０は、電子パッケージまたはチップ内に一緒に統合することができることが理解されよう。

送信／受信要素１２２は、エアインターフェース１１５／１１６／１１７上で、基地局（例えば、基地局１１４ａ）に信号を送信し、または基地局から信号を受信するように構成することができる。例えば、一実施形態では、送信／受信要素１２２は、ＲＦ信号を送信および／または受信するように構成されたアンテナとすることができる。別の実施形態では、送信／受信要素１２２は、例えば、ＩＲ、ＵＶ、または可視光信号を送信および／または受信するように構成された放射器／検出器とすることができる。また別の実施形態では、送信／受信要素１２２は、ＲＦ信号と光信号の両方を送信および受信するように構成することができる。送信／受信要素１２２は、無線信号の任意の組み合わせを送信および／または受信するように構成することができることが理解されよう。

加えて、図１１Ｂでは、送信／受信要素１２２は単一の要素として示されているが、ＷＴＲＵ１０２は、任意の数の送信／受信要素１２２を含むことができる。より具体的には、ＷＴＲＵ１０２は、ＭＩＭＯ技術を利用することができる。したがって、一実施形態では、ＷＴＲＵ１０２は、エアインターフェース１１５／１１６／１１７上で無線信号を送信および受信するための２つ以上の送信／受信要素１２２（例えば、複数のアンテナ）を含むことができる。

送受信機１２０は、送信／受信要素１２２によって送信される信号を変調し、送信／受信要素１２２によって受信された信号を復調するように構成することができる。上で言及されたように、ＷＴＲＵ１０２は、マルチモード機能を有することができる。したがって、送受信機１２０は、ＷＴＲＵ１０２が、例えば、ＵＴＲＡおよびＩＥＥＥ８０２．１１などの複数のＲＡＴを介して通信することを可能にするための、複数の送受信機を含むことができる。

ＷＴＲＵ１０２のプロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８（例えば、液晶表示（ＬＣＤ）ディスプレイユニットもしくは有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合することができ、それらからユーザ入力データを受信することができる。プロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８にユーザデータを出力することもできる。加えて、プロセッサ１１８は、着脱不能メモリ１３０および／または着脱可能メモリ１３２など、任意のタイプの適切なメモリから情報を入手することができ、それらにデータを記憶することができる。着脱不能メモリ１３０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ハードディスク、または他の任意のタイプのメモリ記憶デバイスを含むことができる。着脱可能メモリ１３２は、加入者識別モジュール（ＳＩＭ）カード、メモリスティック、およびセキュアデジタル（ＳＤ）メモリカードなどを含むことができる。他の実施形態では、プロセッサ１１８は、ＷＴＲＵ１０２上に物理的に配置されたメモリではなく、サーバまたはホームコンピュータ（図示されず）上などに配置されたメモリから情報を入手することができ、それらにデータを記憶することができる。

プロセッサ１１８は、電源１３４から電力を受け取ることができ、ＷＴＲＵ１０２内の他の構成要素への電力の分配および／または制御を行うように構成することができる。電源１３４は、ＷＴＲＵ１０２に給電するための任意の適切なデバイスとすることができる。例えば、電源１３４は、１または複数の（１つ以上の）乾電池（例えば、ニッケル−カドミウム（ＮｉＣｄ）、ニッケル−亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉ−ｉｏｎ）など）、太陽電池、および燃料電池などを含むことができる。

プロセッサ１１８は、ＧＰＳチップセット１３６にも結合することができ、ＧＰＳチップセット１３６は、ＷＴＲＵ１０２の現在位置に関する位置情報（例えば、経度および緯度）を提供するように構成することができる。ＧＰＳチップセット１３６からの情報に加えて、またはその代わりに、ＷＴＲＵ１０２は、基地局（例えば、基地局１１４ａ、１１４ｂ）からエアインターフェース１１５／１１６／１１７上で位置情報を受信することができ、および／または２つ以上の近くの基地局から受信した信号のタイミングに基づいて、自らの位置を決定することができる。ＷＴＲＵ１０２は、実施形態との整合性を保ちながら、任意の適切な位置決定方法を用いて、位置情報を獲得することができることが理解されよう。

プロセッサ１１８は、他の周辺機器１３８にさらに結合することができ、他の周辺機器１３８は、追加的な特徴、機能、および／または有線もしくは無線接続を提供する、１または複数の（１つ以上の）ソフトウェアモジュールおよび／またはハードウェアモジュールを含むことができる。例えば、周辺機器１３８は、加速度計、ｅコンパス、衛星送受信機、（写真またはビデオ用の）デジタルカメラ、ユニバーサルシリアルバス（ＵＳＢ）ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、およびインターネットブラウザなどを含むことができる。

図１１Ｃは、実施形態による、ＲＡＮ１０３およびコアネットワーク１０６のシステム図である。上で言及されたように、ＲＡＮ１０３は、ＵＴＲＡ無線技術を利用して、エアインターフェース１１５上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信することができる。ＲＡＮ１０３は、コアネットワーク１０６とも通信することができる。図１１Ｃに示されるように、ＲＡＮ１０３は、ノードＢ１４０ａ、１４０ｂ、１４０ｃを含むことができ、それらは各々、エアインターフェース１１５上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１または複数の（１つ以上の）送受信機を含むことができる。ノードＢ１４０ａ、１４０ｂ、１４０ｃは各々、ＲＡＮ１０３内の特定のセル（図示されず）に関連付けることができる。ＲＡＮ１０３は、ＲＮＣ１４２ａ、１４２ｂも含むことができる。ＲＡＮ１０３は、実施形態との整合性を保ちながら、任意の数のノードＢおよびＲＮＣを含むことができることが理解されよう。

図１１Ｃに示されるように、ノードＢ１４０ａ、１４０ｂは、ＲＮＣ１４２ａと通信することができる。加えて、ノードＢ１４０ｃは、ＲＮＣ１４２ｂと通信することができる。ノードＢ１４０ａ、１４０ｂ、１４０ｃは、Ｉｕｂインターフェースを介して、それぞれのＲＮＣ１４２ａ、１４２ｂと通信することができる。ＲＮＣ１４２ａ、１４２ｂは、Ｉｕｒインターフェースを介して、互いに通信することができる。ＲＮＣ１４２ａ、１４２ｂの各々は、それが接続されたそれぞれのノードＢ１４０ａ、１４０ｂ、１４０ｃを制御するように構成することができる。加えて、ＲＮＣ１４２ａ、１４２ｂの各々は、アウタループ電力制御、負荷制御、アドミッションコントロール、パケットスケジューリング、ハンドオーバ制御、マクロダイバーシティ、セキュリティ機能、およびデータ暗号化など、他の機能を実施またはサポートするように構成することができる。

図１１Ｃに示されるコアネットワーク１０６は、メディアゲートウェイ（ＭＧＷ）１４４、モバイル交換センタ（ＭＳＣ）１４６、サービングＧＰＲＳサポートノード（ＳＧＳＮ）１４８、および／またはゲートウェイＧＰＲＳサポートノード（ＧＧＳＮ）１５０を含むことができる。上記の要素の各々は、コアネットワーク１０６の部分として示されているが、これらの要素は、どの１つにしても、コアネットワークオペレータとは異なるエンティティによって所有および／または運営することができることが理解されよう。

ＲＡＮ１０３内のＲＮＣ１４２ａは、ＩｕＣＳインターフェースを介して、コアネットワーク１０６内のＭＳＣ１４６に接続することができる。ＭＳＣ１４６は、ＭＧＷ１４４に接続することができる。ＭＳＣ１４６とＭＧＷ１４４は、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来の陸線通信デバイスとの間の通信を容易にすることができる。

ＲＡＮ１０３内のＲＮＣ１４２ａは、ＩｕＰＳインターフェースを介して、コアネットワーク１０６内のＳＧＳＮ１４８にも接続することができる。ＳＧＳＮ１４８は、ＧＧＳＮ１５０に接続することができる。ＳＧＳＮ１４８とＧＧＳＮ１５０は、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にすることができる。

上で言及されたように、コアネットワーク１０６は、ネットワーク１１２にも接続することができ、ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される他の有線または無線ネットワークを含むことができる。

図１１Ｄは、実施形態による、ＲＡＮ１０４およびコアネットワーク１０７のシステム図である。上で言及されたように、ＲＡＮ１０４は、Ｅ−ＵＴＲＡ無線技術を利用して、エアインターフェース１１６上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信することができる。ＲＡＮ１０４は、コアネットワーク１０７とも通信することができる。

ＲＡＮ１０４は、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃを含むことができるが、ＲＡＮ１０４は、実施形態との整合性を保ちながら、任意の数のｅノードＢを含むことができることが理解されよう。ｅノードＢ１６０ａ、１６０ｂ、１６０ｃは、各々が、エアインターフェース１１６上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１または複数の（１つ以上の）送受信機を含むことができる。一実施形態では、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃは、ＭＩＭＯ技術を実施することができる。したがって、ｅノードＢ１６０ａは、例えば、複数のアンテナを使用して、ＷＴＲＵ１０２ａに無線信号を送信し、ＷＴＲＵ１０２ａから無線信号を受信することができる。

ｅノードＢ１６０ａ、１６０ｂ、１６０ｃの各々は、特定のセル（図示されず）に関連付けることができ、無線リソース管理決定、ハンドオーバ決定、ならびにアップリンクおよび／またはダウンリンクにおけるユーザのスケジューリングなどを処理するように構成することができる。図１１Ｄに示されるように、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃは、Ｘ２インターフェース上で互いに通信することができる。

図１１Ｄに示されるコアネットワーク１０７は、モビリティ管理ゲートウェイ（ＭＭＥ）１６２、サービングゲートウェイ１６４、およびパケットデータネットワーク（ＰＤＮ）ゲートウェイ１６６を含むことができる。上記の要素の各々は、コアネットワーク１０７の部分として示されているが、これらの要素は、どの１つにしても、コアネットワークオペレータとは異なるエンティティによって所有および／または運営することができることが理解されよう。

ＭＭＥ１６２は、Ｓ１インターフェースを介して、ＲＡＮ１０４内のｅノードＢ１６０ａ、１６０ｂ、１６０ｃの各々に接続することができ、制御ノードとしての役割を果たすことができる。例えば、ＭＭＥ１６２は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのユーザの認証、ベアラアクティブ化／非アクティブ化、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃの初期接続中における特定のサービングゲートウェイの選択などを担うことができる。ＭＭＥ１６２は、ＲＡＮ１０４とＧＳＭまたはＷＣＤＭＡなどの他の無線技術を利用する他のＲＡＮ（図示されず）との間の交換のためのコントロールプレーン機能も提供することができる。

サービングゲートウェイ１６４は、Ｓ１インターフェースを介して、ＲＡＮ１０４内のｅノードＢ１６０ａ、１６０ｂ、１６０ｃの各々に接続することができる。サービングゲートウェイ１６４は、一般に、ユーザデータパケットのＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃへの／からの経路選択および転送を行うことができる。サービングゲートウェイ１６４は、ｅノードＢ間ハンドオーバ中におけるユーザプレーンのアンカリング、ダウンリンクデータがＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに利用可能な場合に行うページングのトリガ、ならびにＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのコンテキストの管理および記憶など、他の機能も実行することができる。

サービングゲートウェイ１６４は、ＰＤＮゲートウェイ１６６にも接続することができ、ＰＤＮゲートウェイ１６６は、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にすることができる。

コアネットワーク１０７は、他のネットワークとの通信を容易にすることができる。例えば、コアネットワーク１０７は、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来の陸線通信デバイスとの間の通信を容易にすることができる。例えば、コアネットワーク１０７は、コアネットワーク１０７とＰＳＴＮ１０８との間のインターフェースとしての役割を果たすＩＰゲートウェイ（例えば、ＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含むことができ、またはＩＰゲートウェイと通信することができる。加えて、コアネットワーク１０７は、ネットワーク１１２へのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供することができ、ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される他の有線または無線ネットワークを含むことができる。

図１１Ｅは、実施形態による、ＲＡＮ１０５およびコアネットワーク１０９のシステム図である。ＲＡＮ１０５は、ＩＥＥＥ８０２．１６無線技術を利用して、エアインターフェース１１７上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信する、アクセスサービスネットワーク（ＡＳＮ）とすることができる。以下でさらに説明されるように、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、ＲＡＮ１０５、およびコアネットワーク１０９の異なる機能エンティティ間の通信リンクは、参照点として定義することができる。

図１１Ｅに示されるように、ＲＡＮ１０５は、基地局１８０ａ、１８０ｂ、１８０ｃと、ＡＳＮゲートウェイ１８２とを含むことができるが、ＲＡＮ１０５は、実施形態との整合性を保ちながら、任意の数の基地局とＡＳＮゲートウェイとを含むことができることが理解されよう。基地局１８０ａ、１８０ｂ、１８０ｃは、各々が、ＲＡＮ１０５内の特定のセル（図示されず）に関連付けることができ、各々が、エアインターフェース１１７上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１または複数の（１つ以上の）送受信機を含むことができる。一実施形態では、基地局１８０ａ、１８０ｂ、１８０ｃは、ＭＩＭＯ技術を実施することができる。したがって、基地局１８０ａは、例えば、複数のアンテナを使用して、ＷＴＲＵ１０２ａに無線信号を送信し、ＷＴＲＵ１０２ａから無線信号を受信することができる。基地局１８０ａ、１８０ｂ、１８０ｃは、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類、およびサービス品質（ＱｏＳ）方針実施などの、モビリティ管理機能も提供することができる。ＡＳＮゲートウェイ１８２は、トラフィック集約ポイントとしての役割を果たすことができ、ページング、加入者プロファイルのキャッシング、およびコアネットワーク１０９への経路選択などを担うことができる。

ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＲＡＮ１０５との間のエアインターフェース１１７は、ＩＥＥＥ８０２．１６仕様を実施する、Ｒ１参照点として定義することができる。加えて、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃの各々は、コアネットワーク１０９との論理インターフェース（図示されず）を確立することができる。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとコアネットワーク１０９との間の論理インターフェースは、Ｒ２参照点として定義することができ、Ｒ２参照点は、認証、認可、ＩＰホスト構成管理、および／またはモビリティ管理のために使用することができる。

基地局１８０ａ、１８０ｂ、１８０ｃの各々の間の通信リンクは、ＷＴＲＵハンドオーバおよび基地局間でのデータの転送を容易にするためのプロトコルを含む、Ｒ８参照点として定義することができる。基地局１８０ａ、１８０ｂ、１８０ｃとＡＳＮゲートウェイ１８２との間の通信リンクは、Ｒ６参照点として定義することができる。Ｒ６参照点は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃの各々と関連付けられたモビリティイベントに基づいたモビリティ管理を容易にするためのプロトコルを含むことができる。

図１１Ｅに示されるように、ＲＡＮ１０５は、コアネットワーク１０９に接続することができる。ＲＡＮ１０５とコアネットワーク１０９との間の通信リンクは、例えば、データ転送およびモビリティ管理機能を容易にするためのプロトコルを含む、Ｒ３参照点として定義することができる。コアネットワーク１０９は、モバイルＩＰホームエージェント（ＭＩＰ−ＨＡ）１８４と、認証認可課金（ＡＡＡ）サーバ１８６と、ゲートウェイ１８８とを含むことができる。上記の要素の各々は、コアネットワーク１０９の部分として示されているが、これらの要素は、どの１つにしても、コアネットワークオペレータとは異なるエンティティによって所有および／または運営することができることが理解されよう。

ＭＩＰ−ＨＡは、ＩＰアドレス管理を担うことができ、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃが、異なるＡＳＮの間で、および／または異なるコアネットワークの間でローミングを行うことを可能にすることができる。ＭＩＰ−ＨＡ１８４は、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にすることができる。ＡＡＡサーバ１８６は、ユーザ認証、およびユーザサービスのサポートを担うことができる。ゲートウェイ１８８は、他のネットワークとの網間接続を容易にすることができる。例えば、ゲートウェイ１８８は、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来の陸線通信デバイスとの間の通信を容易にすることができる。加えて、ゲートウェイ１８８は、ネットワーク１１２へのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供し、ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される他の有線または無線ネットワークを含むことができる。

図１１Ｅには示されていないが、ＲＡＮ１０５は、他のＡＳＮに接続することができ、コアネットワーク１０９は、他のコアネットワークに接続することができることが理解されよう。ＲＡＮ１０５と他のＡＳＮとの間の通信リンクは、Ｒ４参照点として定義することができ、Ｒ４参照点は、ＲＡＮ１０５と他のＡＳＮとの間で、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのモビリティを調整するためのプロトコルを含むことができる。コアネットワーク１０９と他のコアネットワークとの間の通信リンクは、Ｒ５参照として定義することができ、Ｒ５参照点は、ホームコアネットワークと在圏コアネットワークとの間の網間接続を容易にするためのプロトコルを含むことができる。

上では特徴および要素が特定の組み合わせで説明されたが、各特徴または要素は、単独で使用することができ、または他の特徴および要素との任意の組み合わせで使用することができることを当業者は理解されよう。加えて、本明細書で説明された方法は、コンピュータまたはプロセッサによって実行するための、コンピュータ可読媒体内に包含された、コンピュータプログラム、ソフトウェア、またはファームウェアで実施することができる。コンピュータ可読媒体の例は、（有線または無線接続上で送信される）電子信号、およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび着脱可能ディスクなどの磁気媒体、光磁気媒体、ならびにＣＤ−ＲＯＭディスクおよびデジタル多用途ディスク（ＤＶＤ）などの光媒体を含むが、それらに限定されない。ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ、または任意のホストコンピュータにおいて使用するための無線周波送受信機を実施するために、ソフトウェアと連携するプロセッサを使用することができる。

本発明は、ビデオコンテンツを符号化および復号するためのシステム、方法、およびデバイスに利用することができる。

１０２、１０２ａ〜１０２ｄ、 ＷＴＲＵ
１０３、１０４、１０５ ＲＡＮ
１０６、１０７、１０９ コアネットワーク
１０８ ＰＳＴＮ
１１０ インターネット

Claims (20)

1. ビデオコンテンツを復号するための方法であって、
   ビデオビットストリームを受信するステップと、
   前記ビデオビットストリームに基づいて、第１のフラグを決定するステップと、
   前記ビデオビットストリームに基づいて、残差を生成するステップと、
   前記第１のフラグに基づいて、前記残差を第１の色空間から第２の色空間に変換することを決定するステップと、
   前記残差を前記第１の色空間から前記第２の色空間に変換するステップと
   を含むことを特徴とする方法。
2. 前記第１のフラグを決定するステップは、コーディングユニットレベルにおいて前記第１のフラグを受信するステップを含み、前記第１のフラグは、コーディングユニットと関連付けられることを特徴とする請求項１に記載の方法。
3. 前記第１のフラグは、前記コーディングユニットレベルにおける第２のフラグが、非ゼロ値を有する少なくとも１つの残差が前記コーディングユニットにおいて存在することを示すときに限って、受信されることを特徴とする請求項２に記載の方法。
4. 前記残差を前記第１の色空間から前記第２の色空間に変換するステップは、色空間変換行列を適用するステップを含むことを特徴とする請求項１に記載の方法。
5. 前記色空間変換行列は、ＹＣｇＣｏからＲＧＢへの非可逆変換行列またはＹＣｇＣｏからＲＧＢへの可逆変換行列の一方に対応することを特徴とする請求項４に記載の方法。
6. 前記色空間変換行列は、前記ＹＣｇＣｏからＲＧＢへの非可逆変換行列に対応し、前記ＹＣｇＣｏからＲＧＢへの非可逆変換行列は、非可逆コーディングにおいて適用され、
   前記色空間変換行列は、前記ＹＣｇＣｏからＲＧＢへの可逆変換行列に対応し、前記ＹＣｇＣｏからＲＧＢへの可逆変換行列は、可逆コーディングにおいて適用される
   ことを特徴とする請求項５に記載の方法。
7. 前記残差を前記第１の色空間から前記第２の色空間に変換するステップは、スケールファクタの行列を適用するステップをさらに含むことを特徴とする請求項４に記載の方法。
8. 前記色空間変換行列は、正規化されず、スケールファクタの前記行列の各行は、前記正規化されていない色空間変換行列の対応する行のノルムに対応するスケールファクタを含むことを特徴とする請求項７に記載の方法。
9. 前記色空間変換行列は、少なくとも１つの固定小数点精度の係数を含むことを特徴とする請求項４に記載の方法。
10. 前記ビデオビットストリームに基づいて、第２のフラグを決定するステップをさらに含み、前記第２のフラグは、シーケンスレベル、ピクチャレベル、またはスライスレベルのうちの１つにおいて伝達され、前記第２のフラグは、前記残差を前記第１の色空間から前記第２の色空間に変換するプロセスが、それぞれ、前記シーケンスレベル、ピクチャレベル、またはスライスレベルに関して有効にされるかどうかを示すことを特徴とする請求項１に記載の方法。
11. ビデオビットストリームを受信するように構成された受信機と、
    プロセッサであって、
    前記ビデオビットストリームに基づいて、第１のフラグを決定することと、
    前記ビデオビットストリームに基づいて、残差を生成することと、
    前記第１のフラグに基づいて、前記残差を第１の色空間から第２の色空間に変換することを決定することと、
    前記残差を前記第１の色空間から前記第２の色空間に変換することと
    を行うように構成されたプロセッサと
    を備えることを特徴とする無線送受信ユニット（ＷＴＲＵ）。
12. 前記受信機は、コーディングユニットレベルにおいて前記第１のフラグを受信するようにさらに構成され、前記第１のフラグは、コーディングユニットと関連付けられることを特徴とする請求項１１に記載のＷＴＲＵ。
13. 前記受信機は、前記コーディングユニットレベルにおける第２のフラグが、非ゼロ値を有する少なくとも１つの残差が前記コーディングユニットにおいて存在することを示すときに限って、前記第１のフラグを受信するようにさらに構成されることを特徴とする請求項１２に記載のＷＴＲＵ。
14. 前記プロセッサは、色空間変換行列を適用することによって、前記残差を前記第１の色空間から前記第２の色空間に変換するように構成されることを特徴とする請求項１１に記載のＷＴＲＵ。
15. 前記色空間変換行列は、ＹＣｇＣｏからＲＧＢへの非可逆変換行列またはＹＣｇＣｏからＲＧＢへの可逆変換行列の一方に対応することを特徴とする請求項１４に記載のＷＴＲＵ。
16. 前記色空間変換行列は、前記ＹＣｇＣｏからＲＧＢへの非可逆変換行列に対応し、前記ＹＣｇＣｏからＲＧＢへの非可逆変換行列は、非可逆コーディングにおいて適用され、
    前記色空間変換行列は、前記ＹＣｇＣｏからＲＧＢへの可逆変換行列に対応し、前記ＹＣｇＣｏからＲＧＢへの可逆変換行列は、可逆コーディングにおいて適用される
    ことを特徴とする請求項１５に記載のＷＴＲＵ。
17. 前記プロセッサは、スケールファクタの行列を適用することによって、前記残差を前記第１の色空間から前記第２の色空間に変換するようにさらに構成されることを特徴とする請求項１４に記載のＷＴＲＵ。
18. 前記色空間変換行列は、正規化されず、スケールファクタの前記行列の各行は、前記正規化されていない色空間変換行列の対応する行のノルムに対応するスケールファクタを含むことを特徴とする請求項１７に記載のＷＴＲＵ。
19. 前記色空間変換行列は、少なくとも１つの固定小数点精度の係数を含むことを特徴とする請求項１４に記載のＷＴＲＵ。
20. 前記プロセッサは、前記ビデオビットストリームに基づいて、第２のフラグを決定するようにさらに構成され、前記第２のフラグは、シーケンスレベル、ピクチャレベル、またはスライスレベルのうちの１つにおいて伝達され、前記第２のフラグは、前記残差を前記第１の色空間から前記第２の色空間に変換するプロセスが、それぞれ、前記シーケンスレベル、ピクチャレベル、またはスライスレベルに関して有効にされるかどうかを示すことを特徴とする請求項１１に記載のＷＴＲＵ。