JP6989491B2 - ビデオの符号化および復号における量子化の方法および装置 - Google Patents

Description

本発明は、ビデオの符号化および復号の方法および装置に関し、より具体的には、ビデオを符号化および復号する際にグレアマスキング効果に基づいて量子化パラメータを調整する方法および装置に関する。

この項目は、以下で説明および／または特許請求される本発明の様々な態様に関連し得る当技術分野の様々な態様を読者に紹介することが意図される。この論考は、本発明の様々な態様のより良い理解を促進するための背景情報を読者に提供するうえで役立つと思われる。それに従って、これらの記載は、この観点で読まれるべきであり、先行技術を容認するものとして読まれるべきではないことを理解すべきである。

ＨＤＲ（高ダイナミックレンジ）ビデオは、一般に、通常、８または１０ビットダイナミックレンジを有する従来のＳＤＲ（標準ダイナミックレンジ）ビデオによって達成できる輝度レベルより広い範囲の輝度レベルを表す。ＨＤＲビデオを圧縮するかまたは表すため、図１に示されるように、いくつかの既存の方法は、最初に前方変換（forward conversion）（１１０）を実行し、前方変換（１１０）は、ＨＤＲ線形信号から非線形信号への変換、色空間変換、ビット深度低減／量子化およびクロマ下方変換を含み得る。前方変換後、信号は、次いで、例えば８ビットおよび１０ビットのビデオフォーマットをサポートするＨＥＶＣ（高効率ビデオ符号化）エンコーダなどのビデオエンコーダ（１２０）を使用して圧縮することができる。デコーダ側では、ビットストリームは、例えばＨＥＶＣデコーダなどのビデオデコーダ（１３０）を使用して復号され、次いで逆方向変換（backward conversion）（１４０）を使用してＨＤＲビデオ信号に変換され、逆方向変換（１４０）は、色空間変換、ビット深度逆量子化、クロマ上方変換および非線形信号からＨＤＲ線形信号への変換を含み得る。

ＳＭＰＴＥ ２０８４は、輝度に対するＨＶＳ（人間の視覚系）の感度を考慮する伝達関数を定義し、ＯＥＴＦ（光電子伝達関数）曲線を各画素に独立して適用する。前方変換モジュール（１１０）は、ＯＥＴＦ曲線およびビット深度量子化を使用して、ＳＭＰＴＥ ２０８４に従って、例えば１０または１２ビット信号などのより少ないビットで表されるビデオ信号にＨＤＲビデオを変換することができ、逆方向変換モジュール（１４０）は、例えば知覚量子化（ＰＱ）ＥＯＴＦ曲線など、ＯＥＴＦ曲線に対応する逆ＯＥＴＦ曲線を使用することができる。

ビデオを符号化する方法であって、前記ビデオの画像のブロックにアクセスすることと、前記ブロックに対する量子化パラメータに基づいて前記ブロックを符号化することであって、前記量子化パラメータが、前記ブロックの輝度および前記ブロックの近傍のブロックの輝度に基づいて決定され、前記ブロックの前記輝度が、前記ブロックにおける少なくとも１つの変換係数を使用して決定される、符号化することと、符号化に応答してビットストリームを生成することとを含む、方法が提示される。

一態様では、前記量子化パラメータは、前記ブロックの前記近傍のブロックの１つまたは複数の画素と前記ブロックの１つまたは複数の画素との間のグレアマスキング効果に基づいて決定される。一例では、グレアマスキング効果に関連するグレアファクタは、詳細な説明の式（４）および（５）のように計算することができる。

別の態様では、方法は、前記グレアマスキング効果に応じて前記ブロックの画素に対するＪＮＤ（丁度可知差異）を決定することであって、前記量子化パラメータが、前記決定されたＪＮＤおよび前記ブロックの前記輝度に基づいて決定される、決定することをさらに含む。例えば、前記ＪＮＤは、詳細な説明の式（２）および（３）を使用して決定することができる。

別の態様では、前記ブロックの前記輝度は、前記ブロックのＤＣ変換係数および前記ブロックに対する予測ブロックを使用して決定される。

別の態様では、前記ブロックのＡＣ変換係数の量子化は、前記決定された量子化パラメータに基づき、および前記ＤＣ変換係数の量子化は、別の量子化パラメータに基づく。

別の態様では、方法は、前記ブロックの前記輝度および前記ブロックの近傍のブロックの前記輝度に基づいて量子化比率を決定することであって、前記量子化パラメータが、第２の量子化パラメータおよび前記量子化比率に基づいて決定される、決定することをさらに含む。一例では、前記量子化比率は、詳細な説明の式（７）〜（９）で説明されるように決定することができる。

また、本開示は、ビデオを符号化する装置であって、メモリと、上記で説明される方法のいずれかを実行するように構成された１つまたは複数のプロセッサとを含む、装置も提供する。

また、本開示は、上記で説明される方法のいずれかに従って生成されたビットストリームを格納している非一時的コンピュータ可読記憶媒体も提供する。

ビットストリームからビデオを復号する方法であって、前記ビデオを表す前記ビットストリームにアクセスすることと、前記ビデオの画像のブロックに対する量子化パラメータに基づいて前記ブロックを復号することであって、前記決定された量子化パラメータが、前記ブロックの輝度および前記ブロックの近傍のブロックの輝度に基づいて決定され、前記ブロックの前記輝度が、前記ブロックにおける少なくとも１つの変換係数を使用して決定される、復号することと、ディスプレイ、記憶装置および通信インタフェースの少なくとも１つに前記ビデオを出力することとを含む、方法が提示される。

一態様によれば、前記ブロックの前記輝度は、前記ブロックのＤＣ変換係数および前記ブロックに対する予測ブロックを使用して決定される。

別の態様では、前記ブロックのＡＣ変換係数の非量子化（de-quantization）は、前記決定された量子化パラメータに基づき、および前記ＤＣ変換係数の非量子化は、別の量子化パラメータに基づく。

別の態様では、方法は、前記ブロックの前記輝度および前記ブロックの近傍のブロックの前記輝度に基づいて量子化比率を決定することであって、前記量子化パラメータが、第２の量子化パラメータおよび前記量子化比率に基づいて決定される、決定することをさらに含む。一例では、前記量子化比率は、詳細な説明の式（７）〜（９）で説明されるように決定することができる。

また、本開示は、ビットストリームを復号する装置であって、メモリと、上記で説明される方法のいずれかを実行するように構成された１つまたは複数のプロセッサとを含む、装置も提供する。

また、本開示は、上記で説明される方法のいずれかを実行するための命令を格納している非一時的コンピュータ可読記憶媒体も提供する。

量子化パラメータに基づいて符号化された前記ビデオの画像のブロックを含むようにフォーマットされたビットストリームであって、前記量子化パラメータが、前記ブロックの輝度および前記ブロックの近傍のブロックの輝度に基づいて決定され、前記ブロックの前記輝度が、前記ブロックにおける少なくとも１つの変換係数を使用して決定される、ビットストリームが提示される。

ＨＤＲ信号の符号化および復号の例示的なフレームワークを示すブロック図である。 例示的なＨＤＲ画像を示す図の例である。 例示的なＨＤＲ画像におけるグレアマスキング効果を示す図の例である。 本原理の実施形態による、グレアマスキング効果を使用して量子化比率を計算する例示的なフレームワークを示す。 本原理の実施形態による、グレアマスキング効果を考慮してＨＤＲ画像を符号化する例示的なフレームワークを示す。 本原理の実施形態による、グレアマスキング効果を考慮してＨＤＲ画像を符号化する別の例示的なフレームワークを示す。 現在のブロックの例示的な因果関係を示すエリアを示す図の例である。 例示的なＨＥＶＣエンコーダを示す図の例である。 本原理の実施形態による、ビデオエンコーダにおいて量子化パラメータを調整する例示的な方法を示す。 例示的なＨＥＶＣデコーダを示す図の例である。 本原理の実施形態による、ビデオデコーダにおいて量子化パラメータを調整する例示的な方法を示す。 本原理の例示的な実施形態の様々な態様を実装することができる例示的なシステムを描写するブロック図を示す。 １つまたは複数の実装形態で使用することができるビデオ処理システムの例を描写するブロック図を示す。 １つまたは複数の実装形態で使用することができるビデオ処理システムの別の例を描写するブロック図を示す。

本原理は、ビデオの符号化および復号のためのＨＶＳ特性に基づく量子化調整を対象とする。ビデオの表現において異なる段階で量子化を使用できることに留意すべきである。図１に示される例に戻ると、量子化は、ビット深度を低減するために前方変換において使用され、また変換係数を量子化するためにビデオエンコーダでも使用される。同様に、逆量子化は、ビット深度を増加させるために逆方向変換において使用され、また変換係数を非量子化するためにビデオデコーダでも使用される。

人間の目は、ビデオにおける非常に明るいエリアの周りの暗いエリアに対して感度が低くなり得るため（グレアマスキングまたは輝度マスキングとして知られる）、そのような暗いエリアにおいてより粗い量子化（すなわち、詳細をあまり保存しないかまたは詳細をさらに取り除く）を使用することができる。一実施形態では、前方変換において追加の量子化プロセスを使用することも、前方変換内でビット深度量子化を調整することもできる。別の実施形態では、ビデオエンコーダおよびデコーダで使用される量子化パラメータを調整する。

グレアマスキングは、ＨＤＲビデオにおいてより一般的であり、また、例えばＴＶセットによって強いバックライトおよび高いコントラストでＳＤＲまたはＬＤＲ（低ダイナミックレンジ）ビデオが表示される場合、ＳＤＲビデオでも見られることがある。ＳＤＲビデオを圧縮するため、前方変換および逆方向変換に変更を加えて、図１に示されるものと同様のフレームワークを使用することができる。前方変換モジュール（１１０）は、例えば、ＳＭＰＴＥ ＢＴ７０９で説明されるようなガンマ伝達関数を使用した入力ＳＤＲ線形信号から非線形信号への変換、色空間変換、ビット深度低減／量子化およびクロマ下方変換を含み得る。復号された信号をＳＤＲビデオ信号に変換する逆方向変換モジュール（１４０）は、色空間変換、ビット深度逆量子化、クロマ上方変換、および例えば逆ガンマ伝達関数を使用した非線形信号からＳＤＲ線形信号への変換を含み得る。ほとんどの事例では、逆ガンマ処理の前の信号をディスプレイに送信できることに留意されたい。以下では、ＨＤＲ信号を使用した例示的な実施形態について論じるが、本原理はＳＤＲ信号にも適用することができる。

図２Ａは、例示的なＨＤＲ画像を示し、図２Ｂは、例示的なＨＤＲ画像におけるグレアマスキング効果を示す。図２Ｂでは、黒色のエリアは、マスキング効果が低い領域（すなわち、この領域では、人間の目は歪みに対する感度がより高い）を示し、白色のエリアは、マスキング効果が高い領域を示す。図２Ｂから、明るい窓は暗いエリアおよび近くのエリアに強いマスキング効果を及ぼし、マスキング効果は窓までの距離の増加と共に減衰することを観察し得る。

グレアマスキング効果を測定するために、ＪＮＤ（丁度可知差異）を使用することができる。ＪＮＤは、人間の観察者が知覚できないことを理由に、画像またはビデオにおいて許容できる歪みのレベルを示す。感覚および知覚（精神物理学）に焦点を置く実験的な心理学の部門では、ＪＮＤは、少なくともたびたび差異が認識可能、検出可能であるように何かしら変化しなければならない量である。また、ＪＮＤは、差閾、差閾値または最小可知差異としても知られている。ＪＮＤは主観的なものであり、多くのＪＮＤモデルが利用可能である。本出願に関連して、以下でさらに詳細に説明されるように、２つの異なるＪＮＤ（ＪＮＤ_ＬおよびＪＮＤ_Ｇ）が定義される。より一般的には、ＪＮＤ尺度の代わりに、他の歪みまたは品質メトリクス（例えば、近傍の情報を考慮するもの）を使用することができる。

ＪＮＤ_Ｌ
ＪＮＤ_Ｌは、グレアマスキングを考慮しない１つの画素のＪＮＤに対応する。ＪＮＤ_Ｌは、現在の画素の輝度にのみ依存する。実際に、ＪＮＤ_Ｌは、グレアマスキングを考慮せずに人間の目が現在の画素における変動を認識できるように、画像の現在の画素に存在すべき輝度の変動を説明する。

ＪＮＤ_Ｌは、実験的に決定することができる。例えば、所与の輝度Ｌに対し、人間の観察者が変化を見るための輝度の最小Δを表す値ｄＬを見出すことができる。これらの値は、典型的には、ＬとｄＬとの間のマッピングテーブルとして与えられる。

別の実施形態では、ＪＮＤ_Ｌは、ＨＤＲ信号のＰＱ ＯＥＴＦ曲線、またはＢＴ７０９で定義されるＯＥＴＦおよびＳＤＲ信号の対象とするピーク輝度から決定することができる。ＯＥＴＦ曲線は、以下の伝達関数ＴＦ（）を使用して線形信号（Ｌ）を非線形信号（Ｙ）にマッピングすることを目標とする。
ＴＦ（Ｌ）＝Ｙ （１）
ＨＤＲ信号の場合、伝達関数（例えば、ＰＱ曲線）は、ＴＦ（Ｌ＋０．９^＊ＪＮＤ（Ｌ））≒Ｙ＋１（すなわち、線形信号Ｌにおける０．９^＊ＪＮＤのステップは、非線形信号（Ｙ）に対するステップ１以下である）となるように設計することができる。従って、以下のようにＴＦ曲線からＪＮＤ_Ｌを推測することができる。
ＪＮＤ_Ｌ（Ｌ）＝ＴＦ^−１（Ｙ＋１）−ＴＦ^−１（Ｙ）＝ＴＦ^−１（ＴＦ（Ｌ）＋１）−ＴＦ^−１（ＴＦ（Ｌ）） （２）

本出願では、線形信号（Ｌ）が配置される空間を線形空間と呼び、非線形信号（Ｙ）が配置される空間を知覚空間と呼ぶ。線形空間では、画素の輝度値は、物理的な輝度に直接比例する（例えば、ニトまたはカンデラ毎平方メートル（ｃｄ／ｍ２）で表現される）。知覚空間では、目標は、画素の輝度を人間の視覚系に対して線形にすることである（すなわち、画素輝度Ｌに関係なく、この空間における同じ量の輝度の差異（ｄＬ）は、人間の目に対する同じ量の輝度の差異として知覚されるべきである）。知覚空間は、実験的に定義され、主観的なものである。当業者に知られているように、いくつかの知覚空間が利用可能である。

ＪＮＤ_Ｇ
ＪＮＤ_Ｇは、明るい近傍の画素に起因して、グレアマスキングを考慮した１つの画素のＪＮＤに対応する。この状況では、ＪＮＤ_Ｇは、現在の画素の輝度および近傍の画素の輝度に依存する。実際に、ＪＮＤ_Ｇは、グレアマスキングの効果を考慮して人間の目が現在の画素における輝度の差異に気付くことができるように、現在の画素に存在すべき輝度の最小変動を説明する。

ＪＮＤ_Ｇは、実験的に決定することができ、例えば、輝度、明るいスポットおよび現在の画素までの距離が与えられた場合、マッピングテーブルを得ることができる。次いで、モデリングを使用して、マッピングに最も適合する解析関数を得ることができる。

別の実施形態では、ＪＮＤ_Ｌと、グレアマスキング効果を考慮したグレアファクタ（Ｇｆ）とを演算する。数学的には、明るいエリアから暗いエリアへのマスキング効果に基づくＪＮＤ_Ｇの演算は、以下のように説明することができる。
ＪＮＤ_Ｇ＝Ｇｆ^＊ＪＮＤ_Ｌ （３）
定義により、Ｇｆファクタは１より大きい（すなわち、画素は、ＪＮＤ_Ｌより小さいＪＮＤ_Ｇを有することができない）。Ｇｆファクタは、現在の画素の輝度、周辺の画素の輝度および現在の画素に対する周辺の画素の位置（距離）に依存する。

以下では、輝度値は線形空間において表現される（例えば、ニトまたはｃｄ／ｍ２）。ビデオ入力が知覚空間において表現される場合（例えば、ＯＥＴＦ関数の後）は、線形輝度値を得るために画素の強度値に逆関数を適用することができる。

グレアファクタのモデリングは、グレアマスキングを考慮するために使用されるＨＶＳモデルに応じて複雑であり得る。ここで、主観的な心理視覚テスト中に得られた結果のモデリングに基づいて、グレアファクタをモデリングするための扱いやすい簡単な方法を紹介する。具体的には、画素ｐ_２の影響を受ける画素ｐ_１（Ｌ（ｐ_２）＞Ｌ（ｐ_１））のグレアファクタは、以下：
Ｇｆ（ｐ_１，ｐ_２）＝ｍａｘ｛１，［ａ_０＋（Ｌ（ｐ_２）−Ｌ（ｐ_１））^ａ１］．［（Ｌ（ｐ_２）−Ｌ（ｐ_１））^＊ａ_２ ^＊ｄ（ｐ_１，ｐ_２）＋ａ_３］｝ （４）
のように計算することができる。ここで、Ｌ（ｐ）は、画素ｐの輝度であり、ｄ（ｐ_１，ｐ_２）は、画素ｐ_１と画素ｐ_２との間のユークリッド距離であり、［ａ_０．．．ａ_３］は、主観テスト全体を通じて経験的に決定された定数である。［ａ_０．．．ａ_３］に対する値の典型的な集合は、ＳＭＰＴＥ ２０８４ ＯＥＴＦが使用される場合、例えば［６．７５，０．３５２，−３．７４ｅ−００８，３．３６０ｅ−００５］であり得る。例えば、ＳＭＰＴＥ ＢＴ７０９で定義されるガンマ伝達関数がＳＤＲ信号に対して使用される場合など、別のＯＥＴＦが使用される場合は、値を適応させ得る。

上記のグレアファクタモデルによれば、グレアファクタは、ａ_２が負の値であるために距離と共に減少し、画素ｐ_２が明るいほど増加し、ｐ_１が暗いほど増加し、グレアマスキング効果の知覚と一致している。

演算上の複雑性を低減するため、画素に対する上記の演算は簡略化され得る。例えば、「暗い」画素（すなわち、閾値（典型的には１００ニト）を下回る暗度を有する画素）に対するグレアファクタのみを演算することができ、「明るい」画素（すなわち、閾値（典型的には１０００ニト）を上回る明度を有する画素）に対するマスキングへの寄与のみを演算することができる。演算が省略されるそれらの画素について、Ｇｆを１に設定する（すなわち、ＪＮＤ_Ｇ＝ＪＮＤ_Ｌ）。

上記では、入力画像の個々の画素に対するグレアファクタをどのように演算するかを示している。マスキングは、付加的な現象として考慮する（特定の閾値まで）。従って、所与の画素に対する総グレアファクタを演算するため、他のすべての画素の寄与は、以下：
Ｇｆ（ｐ）＝ｍｉｎ（Ｍ，Σ_ｐｉＧｆ（ｐ，ｐ_ｉ）） （５）
に従って総計することができる。ここで、ｐ_ｉは、画素ｐの近傍のものを表し、Ｍは、それを上回るとマスキングが飽和する経験閾値であり、一例では、Ｍ＝２０と設定する。処理時間の制約がない場合、全画像を画素ｐの近傍のものと見なすことができる。演算を低減するため、画素ｐの近傍のものとしてより小さい画素の集合（例えば、その明度が閾値を上回り、十分に近い画素）を考慮することができ、例えば、式（３）から、明るい画素がそれ以上Ｇｆファクタに寄与しない距離の閾値を推測することができる（すなわち、［ａ_０＋（Ｌ（ｐ_２）−Ｌ（ｐ_１））^ａ１］．［（Ｌ（ｐ_２）−Ｌ（ｐ_１））^＊ａ_２ ^＊ｄ（ｐ_１，ｐ_２）＋ａ_３］が１を下回る場合）。

図３は、本原理の実施形態による、グレアマスキング効果に基づいて量子化比率を計算する例示的な方法３００を示す。

方法３００は、入力として線形空間におけるオリジナルのビデオにアクセスする（例えば、ＳＭＰＴＥ ２０６５−４：２０１３によって定義されるように、ＯｐｅｎＥＸＲファイルフォーマットを使用して）。オリジナルの画像は、例えば、ピーク輝度として４０００ニトの原色に対してＢＴ２０２０フォーマットを使用して浮動小数点で表されるＲＧＢ線形フォーマットのものであり得る。グレアマスキングを考慮するため、オリジナルの画像から輝度値（Ｌ）を計算することができる（３１０）。例えば、入力ＲＧＢ（線形空間、ニト単位の浮動値）画像Ｉ_ｒｇｂは、以下のようにＲＧＢ ＢＴ２０２０色空間からＸＹＺ色空間に変換することができる。
Ｌ＝０．２６２７００Ｒ＋０．６７７９９８Ｇ＋０．０５９３０２Ｂ （６）
次いで、個々の画素に対し、例えば、式（３）を使用してＪＮＤ_Ｇを計算することができる（３２０）。具体的には、式（２）を使用してＬからＪＮＤ_Ｌを計算し、式（４）および式（５）を使用してＬからグレアファクタを計算し、次いで式（３）を使用してＪＮＤ_ＬおよびグレアファクタからＪＮＤ_Ｇを計算することができる。ビデオ信号が他のフォーマットで表される場合、例えば、ＳＭＰＴＥ ＢＴ７０９で定義されるものを使用して色空間変換が適応され得る。

符号化前に入力ビデオを知覚空間に変換するために使用される伝達関数を知っていることで、以下のように画素に対する量子化比率を演算することができる（３３０）。

元来、ＯＥＴＦは、線形空間におけるＪＮＤのステップが知覚空間において１つ以上のステップであるように設計された。ここで、グレアマスキング効果を考慮する際に、いかなる可知差異もなくさらにどの程度多くの画素を量子化できるかを演算する。具体的には、Ｌ値をＪＮＤ_Ｇだけ上回るもの（ＴＦ（Ｌ（ｐ）＋ＪＮＤ_Ｇ（ｐ））およびＬ値をＪＮＤ_Ｇだけ下回るもの（ＴＦ（Ｌ（ｐ）−ＪＮＤ_Ｇ（ｐ））を取る。次いで、ＴＦを使用して両方の値を知覚空間に移動し、ＴＦ（Ｌ（ｐ）＋ＪＮＤ_Ｇ（ｐ））およびＴＦ（Ｌ（ｐ）−ＪＮＤ_Ｇ（ｐ））を得る。知覚空間における２つの値間の差異は、知覚空間において許容できる歪みを表すために平均される。それに続いて、平均差異

に基づいて量子化をスケールアップすることができると考える。すなわち、平均差異は、前方変換においてまたは符号化中に量子化パラメータを調整するために、量子化比率として使用することができる。

量子化比率の計算の他の変形形態は、
Ｑｒ（ｐ）＝ｍａｘ｛１，ｍａｘ［ＴＦ（Ｌ（ｐ）＋ＪＮＤ_Ｇ（ｐ）），ＴＦ（Ｌ（ｐ）−ＪＮＤ_Ｇ（ｐ））］｝ （８）
または
Ｑｒ（ｐ）＝ｍａｘ｛１，ｍｉｎ［ＴＦ（Ｌ（ｐ）＋ＪＮＤ_Ｇ（ｐ）），ＴＦ（Ｌ（ｐ）−ＪＮＤ_Ｇ（ｐ））］｝ （９）
であり得る。

ＪＮＤ_ＧがＪＮＤ_Ｌに等しい場合、ＯＥＴＦ関数はＪＮＤ_Ｌ未満となるように設計されるため、結果として得られるＱｒは１に等しいはずである。グレアマスキングの影響を受けた画素は、１より大きいグレアファクタと関連付けられ、結果として得られるＱｒも１より大きい。

図４は、本原理の実施形態による、グレアマスキング効果を考慮してＨＤＲ画像を符号化する例示的な方法４００を示す。この実施形態では、グレアマスキング効果は、量子化ステップサイズを調整するために使用される。具体的には、個々の画素に対する量子化比率は、例えば、方法３００を使用して計算することができる（４５０）。入力ＨＤＲ信号は、前方変換（４１０）を使用してビデオエンコーダが受け入れられ得る信号に変換される。符号化（４２０）中、量子化ステップサイズは、量子化比率に基づいて調整される。ビデオ符号化は、通常、ブロックベースで進むため、個々の画素に対して計算された量子化比率を使用してブロックに対する量子化比率をさらに計算する。ここで、ブロックのサイズは、量子化比率をどのように適用するかに依存する。例えば、ブロックは、Ｈ．２６４／ＡＶＣの１つもしくは複数のマクロブロックまたはＨＥＶＣの１つもしくは複数の変換単位（ＴＵ）に対応し得る。

一実施形態では、ブロックに対する量子化比率は、ブロック内の画素の量子化比率のｍａｘ関数を使用して計算することができる。すなわち、ブロックの画素に対する最大量子化比率がブロックに対する量子化比率として使用される。この手法は、視覚品質を犠牲にして圧縮性能を向上させることができる。

別の実施形態では、ブロックに対する量子化比率は、ブロックの視覚品質をより良く保存することができる最小関数を使用して計算することができる。さらなる別の実施形態では、ブロックに対する量子化比率として量子化比率の中央値または平均値を使用することができ、それにより圧縮効率と視覚品質との間のバランスを提供することができる。

グレアマスキングを考慮することなく、エンコーダが選択するオリジナルの量子化ステップサイズを所与のブロックに対してＱ_１と想定すると、提案される量子化調整が行われた量子化ステップサイズは、以下：
Ｑ_２＝ｍｉｎ（Ｑ_ｍａｘ，Ｑｒ^＊Ｑ_１） （１０）
のように計算することができる。ここで、Ｑ_ｍａｘは、量子化ステップサイズの上限である。概念的には、量子化ステップサイズＱ_２が与えられた場合、変換係数Ｔは、［（｜Ｔ｜＋Ｏ）／Ｑ_２］のように量子化することができ、Ｏは、量子化丸めオフセットである。量子化行列などの他の量子化パラメータも量子化中に使用することができる。

コーデックに応じてＱ_２の値をさらに適応させ得る。コーデックが異なれば、ブロックに対して設定することができる量子化ステップサイズに対する制約も異なる。例えば、ＶＰ９では、限られた数の異なる量子化ステップサイズ（Ｑｐｓ）のみが利用可能である。この事例では、追加のＱｐクラスタリングプロセスを実行することができる。ＨＥＶＣでは、ΔＱｐが代わりに符号化され、可能なＱ_２の値が制限される。

量子化は、エンコーダ内の別個のステップとして独立して実行できない場合があることに留意すべきである。例えば、量子化は、変換と統合される場合がある。さらに、量子化の変動の範囲を制限するためまたは整数実装を使用するために、量子化パラメータの値に対する他の制約があり得る。従って、量子化ステップサイズは、量子化のために使用される前に処理することができる。また、量子化パラメータが符号化される場合、それらは、符号化される前に量子化インデックスにマッピングすることができる。表記を容易にするため、量子化ステップサイズに対応する異なる表現を量子化ステップサイズと呼ぶ。

方法４００における量子化比率調整は、ビデオ符号化を改善する前処理ステップと見なすこともできる。復号側では、ビットストリームは、復号され（４３０）、次いで逆方向変換（４４０）を通じてＨＤＲ信号に変換される。

図５は、本原理の実施形態による、グレアマスキング効果を考慮してＨＤＲ画像を符号化する別の例示的な方法５００を示す。この実施形態では、グレアマスキング効果は、量子化比率の送信を必要としない量子化ステップサイズを調整するために使用され、すなわち、グレアマスキングに基づく量子化比率は、デコーダにおいて推測することができる。量子化調整は、エンコーダとデコーダとの両方において実行され、量子化比率を導き出すプロセスは、エンコーダおよびデコーダで同じである。

図６は、現在のブロック６１０の例示的な因果関係を示すエリア（既に符号化されたあるいは復号されたエリアおよび画素が利用可能なエリア）を示す。この例における因果関係を示すエリアは、現在のブロックの左側および上側のブロックを含む。

デコーダ側では、因果関係を示すエリアの再構築画素のみが利用可能であるため、グレアファクタの演算を調整する。従って、画素またはブロックに対する近傍のものを決定する場合、因果関係を示すエリアのみが考慮される。前に論じられたように、近傍のものは、閾値を上回る明度を有する画素およびある距離内の画素にさらに限定され得る。

図５に戻ると、前方変換（５１０）を使用して入力ＨＤＲ信号が変換された後、ビデオエンコーダ（５２０）は、グレアマスキングに基づいて、量子化調整（５５０）を使用して、変換された信号を符号化する。デコーダ側では、ビデオデコーダ（５３０）は、グレアマスキングに基づいて、量子化調整（５６０）を使用してビットストリームを復号する。次いで、復号された信号は、逆方向変換（５４０）を使用して出力ＨＤＲ信号に変換される。

以下では、ＨＥＶＣエンコーダ／デコーダを使用してビデオエンコーダおよびデコーダにおいて適用された量子化調整を示す。提案される量子化調整は、他のビデオ圧縮規格で使用され得ることに留意すべきである。

図７は、本原理を適用することができる例示的なＨＥＶＣエンコーダ７００を示す。エンコーダ７００の入力は、符号化されるビデオを含む。例示的なエンコーダ７００では、ブロックがイントラモードで符号化される場合、ブロックは、イントラ予測（７７０）を実行する。インターモードでは、ブロックは、動き推定（７６０）および動き補償（７６５）を実行する。エンコーダは、ブロックを符号化するためにイントラモードまたなインターモードのいずれを使用するかを決定し（７７５）、オリジナルの画像ブロックから予測ブロックを減算すること（７０５）によって予測残差が計算される。

予測残差は、変換（７１０）および量子化（７２０）される。量子化された変換係数ならびに動きベクトルおよび他の構文要素は、ビットストリームを生成するためにエントロピーコード化される（７３０）。エンコーダは、さらなる予測のための参照を提供するために、符号化されたブロックを復号する。量子化された変換係数は、予測残差を復号するために非量子化（７４０）および逆変換（inverse transform）（７５０）される。復号された予測残差と予測ブロックとを組み合わせる（７５５）ことで、画像ブロックが再構築される。デブロッキングフィルタ（７８０）およびＳＡＯ（サンプル適応オフセット）フィルタ（７８５）は、再構築ブロックに適用される。フィルタ処理された画像は、参照メモリ（７９０）で格納される。

図８は、本原理の実施形態による、ビデオエンコーダにおいて量子化パラメータを調整する例示的な方法８００を示す。方法８００は、エンコーダ７００の量子化モジュール（７２０）において使用することができる。この実施形態では、ＤＣ係数およびＡＣ係数は２段階で量子化され、ＤＣ係数は、グレアマスキングを考慮せずに量子化ステップサイズＱｐ＝Ｑ_１を使用して量子化されると想定する。Ｑ_１は、ビットレート制約を満たすためにレート制御アルゴリズムによって決定することができ、ブロックごとおよびピクチャごとに異なり得る。次いで、ＤＣ係数は、輝度を推定し、現在のブロックに対するグレアファクタを推定するために使用される。それに続いて、調整された量子化ステップサイズＱ_２に基づいてＡＣ係数が量子化される。

方法８００への入力は、オリジナルのブロック（Ｂ）および対応する予測ブロック（Ｐ）を含む。予測ブロックは、例えば、イントラ予測または動き補償からのものであり得る。現在のブロックの残差は、Ｒ＝Ｂ−Ｐとして形成することができる（８１０）。残差ブロックは、Ｔ＝ＤＣＴ（Ｒ）として変換される（８２０）。

ＤＣ係数は、グレアマスキングを考慮せずに量子化ステップサイズＱ_１を使用して量子化され（Ｃ（ＤＣ）＝Ｄ（ＤＣ，Ｑ_１））（８３０）、ＤＣは、ＤＣ係数であり、Ｄ（．）は、量子化を示し、Ｃは、量子化された変換係数である。次いで、量子化された変換係数は、以下：
［ＤＣ］＝Ｄ^−１（Ｄ（ＤＣ，Ｑ_１）） （１１）
のように非量子化される（８４０）。ここで、［ＤＣ］は、再構築されたＤＣ係数である。次いで、予測ブロックの平均（８５０）および再構築されたＤＣ係数を使用して、以下：

に従ってブロックの強度を推定する。ここで、Ｐ（ｉ）は、予測ブロックからの各画素の強度であり、Ｎは、ブロック内の画素数であり、Ａは、ブロックの推定平均輝度である。

推定された輝度値Ａは、全ブロックに対する現在の値として使用され、現在のブロックに対する画像の因果関係を示す部分のみを使用して、グレアファクタが演算される。この時点では、因果関係を示す部分からの再構築画素の輝度値を使用することができる。

グレアファクタは線形空間における輝度を使用して演算することができるため、ブロックに対する推定輝度および近傍の因果関係を示すブロックの輝度は、逆ＯＥＴＦ（８６０、Ｌ＝ＯＥＴＦ^−１（Ａ））を使用して、変換して線形空間に戻すことができる。次いで、現在のブロックに対する推定された輝度値（Ｌ）および因果関係を示すブロックに対する推定された輝度値（｛Ｌ_ｉ｝）に基づいて量子化比率（Ｑｒ）を推定することができる（８７０）。具体的には、ブロックに対するグレアファクタは、以下：
Ｇｆ（Ｂ）＝ｍｉｎ（Ｍ，Σ_ＢｉＮ^２＊Ｇｆ（Ｂ，Ｂｉ）） （１３）
のように演算することができる。ここで、｛Ｂｉ｝は、近傍のブロックであり、Ｇｆ（Ｂ，Ｂｉ）は、ブロックＢとブロックＢｉとの間のグレアファクタである。グレアファクタ計算は、画素間のものと同様であるが、ブロック間の距離を演算するためにブロックの中心を使用し、画素の輝度の代わりにブロックの平均輝度を使用する。

量子化比率および量子化ステップサイズＱｐ＝Ｑ_１を使用することで、Ｑ_２＝Ｑｒ^＊Ｑ_１としてＡＣ係数に対する量子化ステップサイズＱ_２を計算することができる（８７５）。それに続いて、ＡＣ係数が量子化される（８８０）。次いで、ビットストリームに含めるために、量子化ステップサイズＱｐ、量子化されたＤＣ係数（ＤＣ_ｑ）およびＡＣ係数（ＡＣ_ｑ）をエントロピー符号化することができる（８９０）。量子化比率（Ｑｒ）はビットストリームで送信されず、むしろデコーダで導き出されることに留意すべきである。

図９は、本原理を適用することができる例示的なＨＥＶＣビデオデコーダ９００のブロック図を描写する。デコーダ９００の入力は、ビデオビットストリームを含み、ビデオビットストリームは、ビデオエンコーダ７００によって生成することができる。ビットストリームは、最初に、変換係数、動きベクトルおよび他のコード化情報を得るためにエントロピー復号される（９４５）。変換係数は、予測残差を復号するために非量子化（９５０）および逆変換（９５５）される。復号された予測残差と予測ブロックとを組み合わせる（９２５）ことで画像ブロックが再構築される。予測ブロックは、イントラ予測（９６０）または動き補償予測（９７０）から得ることができる。デブロッキングフィルタ（９９０）およびＳＡＯフィルタ（９９５）は、再構築ブロックまたは再構築画像に適用される。フィルタ処理された画像は、参照メモリ（９８０）で格納される。

図１０は、本原理の実施形態による、デコーダにおいて量子化パラメータを調整する例示的な方法１０００を示す。方法１０００は、デコーダ９００の非量子化モジュール（９５０）において使用することができる。方法８００と同様に、ＤＣ係数およびＡＣ係数は２段階で非量子化され、ＤＣ係数は、ビットストリームから復号された量子化ステップサイズＱｐ＝Ｑ_１を使用して非量子化されると想定する。次いで、ＤＣ係数は、輝度を推定し、現在のブロックに対するグレアファクタを推定するために使用される。それに続いて、調整された量子化ステップサイズＱ_２に基づいてＡＣ係数が非量子化される。

予測ブロック（Ｐ）は、例えば、イントラ予測または動き補償からのものであり得る。ＤＣ係数（ＤＣ_ｑ）、ＡＣ係数（ＡＣ_ｑ）およびブロックに対する量子化ステップサイズ（Ｑｐ＝Ｑ_１）は、エントロピーデコーダ（１０１０）から得ることができる。ＤＣ係数は、以下：
［ＤＣ］＝Ｄ^−１（ＤＣ_ｑ，Ｑ_１） （１４）
のように量子化ステップサイズＱ_１を使用して非量子化される（１０４０）。ここで、［ＤＣ］は、再構築されたＤＣ係数である。次いで、予測ブロックの平均（１０５０）および復号されたＤＣ係数を使用して、以下：

に従ってブロックの強度を推定する。ここで、Ｐ（ｉ）は、予測ブロックからの各画素の強度であり、Ｎは、ブロック内の画素数であり、Ａは、ブロックの推定平均輝度である。

推定された輝度値Ａは、全ブロックに対する現在の値として使用され、現在のブロックに対する画像の因果関係を示す部分のみを使用してグレアファクタが演算される。この時点では、因果関係を示す部分からの復号された画素の輝度値を使用することができる。

グレアファクタは線形空間における輝度を使用して演算することができるため、ブロックに対する推定輝度および近傍の因果関係を示すブロックの輝度は、逆ＯＥＴＦ（１０６０、Ｌ＝ＯＥＴＦ^−１（Ａ））を使用して、変換して線形空間に戻すことができる。次いで、現在のブロックに対する推定された輝度値（Ｌ）および因果関係を示すブロックに対する推定された輝度値（｛Ｌ_ｉ｝）に基づいて量子化比率（Ｑｒ）を推定することができる（１０７０）。

量子化比率および量子化ステップサイズＱｐ＝Ｑ_１を使用することで、Ｑ_２＝Ｑｒ^＊Ｑ_１としてＡＣ係数に対する量子化ステップサイズＱ_２を計算することができる（１０７５）。それに続いて、ＡＣ係数が非量子化される（１０８０）。次いで、非量子化されたＤＣ係数およびＡＣ係数を逆変換することができる（１０９０）。量子化比率（Ｑｒ）はビットストリームで受信されず、むしろデコーダで導き出されることに留意すべきである。

エンコーダおよびデコーダにおいて実行された量子化比率計算は、互いに対応すべきであることに留意されたい。例えば、方法１０００において実行される１０４０〜１０７５のステップは、方法８００の８４０〜８７５のステップにそれぞれ対応する。

適応された量子化は、適応量子化比率の送信を回避するためにデコーダの側で推測することができるため、本実施形態は、ビデオコード化効率を向上させることができる。また、各ブロックの適応量子化は、マスキング効果も考慮し、視覚品質を向上させることもできる。

上記では、グレアマスキング効果を考慮することによって量子化ステップサイズを調整できることを論じた。量子化丸めオフセットおよび量子化行列などの他の量子化パラメータも本原理に従って調整することができる。例えば、量子化比率を使用して量子化行列をスケーリングすることも、量子化比率に基づいて量子化丸めオフセットをシフトまたはスケーリングすることもできる。

量子化パラメータを調整する際のグレアマスキング効果について論じているが、本原理は、ブロックまたはエリアの知覚が周辺のエリアまたはブロックの影響を受ける他のシナリオ（例えば、これらに限定されないが、色知覚またはテクスチャ知覚）に適用できることに留意すべきである。

ＨＤＲビデオにおいてグレアマスキングがより明白であるため、ＨＤＲビデオに関連して例を示す。しかし、現在のディスプレイは、非常に高いコントラスト比を有し得、ＨＤＲビデオと同様の問題を提示し得る。従って、グレアマスキング効果は、ＳＤＲビデオに対しても考慮することができ、本原理は、ＳＤＲビデオを符号化および復号する際にも適用することができる。具体的には、グレアマスキングがディスプレイ（例えば、ディスプレイの高いコントラスト比）によって生じる場合、量子化調整を設計する際にディスプレイ特性を考慮する必要もあり得る。

図１１は、本原理の例示的な実施形態の様々な態様を実装することができる例示的なシステムのブロック図を示す。システム１１００は、以下で説明される様々なコンポーネントを含むデバイスとして具体化することができ、上記で説明されるプロセスを実行するように構成されている。そのようなデバイスの例は、これらに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ記録システム、接続された家庭用電化製品およびサーバを含む。システム１１００は、図１１に示されるように通信チャネルを介しておよび上記で説明される例示的なビデオシステムを実装するために当業者によって知られているように、他の同様のシステムおよびディスプレイに通信可能に結合することができる。

システム１１００は、上記で論じられるように、様々なプロセスを実装するためにロードされた命令を実行するように構成された少なくとも１つのプロセッサ１１１０を含み得る。プロセッサ１１１０は、埋め込みメモリ、入力出力インタフェースおよび当技術分野で知られているような他の様々な回路を含み得る。また、システム１１００は、少なくとも１つのメモリ１１２０（例えば、揮発性メモリデバイス、不揮発性メモリデバイス）も含み得る。加えて、システム１１００は、これらに限定されないが、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブおよび／または光ディスクドライブを含む不揮発性メモリを含み得る記憶装置１１４０を含み得る。記憶装置１１４０は、非限定的な例として、内部記憶装置、取り付けられた記憶装置および／またはネットワークアクセス可能記憶装置を含み得る。また、システム１１００は、符号化されたビデオまたは復号されたビデオを提供するためにデータを処理するように構成されたエンコーダ／デコーダモジュール１１３０も含み得る。

エンコーダ／デコーダモジュール１１３０は、符号化および／または復号機能を実行するためにデバイスに含めることができるモジュールを表す。知られているように、デバイスは、符号化および復号モジュールの一方または両方を含み得る。加えて、エンコーダ／デコーダモジュール１１３０は、当業者に知られているように、システム１１００の別個の要素として実装することも、ハードウェアとソフトウェアとの組合せとしてプロセッサ１１１０内に組み込むこともできる。

本明細書の上記で説明される様々なプロセスを実行するためにプロセッサ１１１０にロードされるプログラムコードは、記憶装置１１４０に格納し、その後、プロセッサ１１１０による実行のためにメモリ１１２０にロードすることができる。本原理の例示的な実施形態によれば、プロセッサ１１１０、メモリ１１２０、記憶装置１１４０およびエンコーダ／デコーダモジュール１１３０の１つまたは複数は、本明細書の上記で論じられるプロセスを実行する間、これらに限定されないが、ＨＤＲビデオ、ビットストリーム、方程式、公式、行列、変数、演算および演算論理を含む様々なアイテムの１つまたは複数を格納することができる。

また、システム１１００は、通信チャネル１１６０を介して他のデバイスとの通信を可能にする通信インタフェース１１５０も含み得る。通信インタフェース１１５０は、これに限定されないが、通信チャネル１１６０からデータを送信および受信するように構成されたトランシーバを含み得る。通信インタフェースは、これらに限定されないが、モデムまたはネットワークカードを含み得、通信チャネルは、有線および／または無線媒体内で実装することができる。システム１１００の様々なコンポーネントは、これらに限定されないが、内部バス、ワイヤおよびプリント基板を含む様々な適切な接続を使用して、共に接続することもまたは通信可能に結合することもできる。

本原理による例示的な実施形態は、プロセッサ１１１０によって実装されるコンピュータソフトウェアにより、ハードウェアにより、またはハードウェアとソフトウェアとの組合せにより実行することができる。非限定的な例として、本原理による例示的な実施形態は、１つまたは複数の集積回路によって実装することができる。メモリ１１２０は、技術環境に適切な任意のタイプのものでよく、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリおよび取り外し可能メモリなど、任意の適切なデータ格納技術を使用して実装することができる。プロセッサ１１１０は、技術環境に適切な任意のタイプのものでよく、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づくプロセッサの１つまたは複数を包含し得る。

図１２を参照すると、上記で説明される特徴および原理を適用することができるデータ送信システム１２００が示されている。データ送信システム１２００は、例えば、衛星、ケーブル、電話回線または地上波放送などの各種の媒体のいずれかを使用して信号を送信するヘッドエンドまたは送信システムであり得る。また、データ送信システム１２００は、格納のための信号を提供するために使用することもできる。送信は、インターネットまたは他の何らかのネットワーク上で提供することができる。データ送信システム１２００は、例えば、ビデオコンテンツおよび他のコンテンツの生成および伝達が可能である。

データ送信システム１２００は、プロセッサ１２０１から処理データおよび他の情報を受信する。一実装形態では、プロセッサ１２０１は、前方変換を実行する。また、プロセッサ１２０１は、例えば、ビデオのフォーマットを示すメタデータを１２００に提供することもできる。

データ送信システムまたは装置１２００は、エンコーダ１２０２と、符号化された信号の送信が可能な送信機１２０４とを含む。エンコーダ１２０２は、プロセッサ１２０１からデータ情報を受信する。エンコーダ１２０２は、符号化された信号を生成する。

エンコーダ１２０２は、例えば、様々な情報片を受信し、格納または送信のための構造化フォーマットに組み立てるアセンブリユニットを含むサブモジュールを含み得る。様々な情報片は、例えば、コード化または非コード化ビデオおよびコード化または非コード化要素を含み得る。いくつかの実装形態では、エンコーダ１２０２は、プロセッサ１２０１を含み、従ってプロセッサ１２０１の動作を実行する。

送信機１２０４は、エンコーダ１２０２から符号化された信号を受信し、１つまたは複数の出力信号で符号化された信号を送信する。送信機１２０４は、例えば、符号化されたピクチャおよび／またはそれに関連する情報を表す１つまたは複数のビットストリームを有するプログラム信号を送信するように適応され得る。典型的な送信機は、例えば、エラー訂正コード化を提供すること、信号のデータをインタリーブすること、信号のエネルギーをランダム化すること、および変調器１２０６を使用して１つまたは複数の搬送波上に信号を変調することの１つまたは複数などの機能を実行する。送信機１２０４は、アンテナ（図示せず）を含むことも、アンテナ（図示せず）とインタフェースを取ることもできる。さらに、送信機１２０４の実装形態は、変調器１２０６に限定することができる。

また、データ送信システム１２００は、格納ユニット１２０８に通信可能に結合される。一実装形態では、格納ユニット１２０８は、エンコーダ１２０２に結合され、エンコーダ１２０２からの符号化されたビットストリームを格納する。別の実装形態では、格納ユニット１２０８は、送信機１２０４に結合され、送信機１２０４からのビットストリームを格納する。送信機１２０４からのビットストリームは、例えば、送信機１２０４によってさらに処理される１つまたは複数の符号化されたビットストリームを含み得る。格納ユニット１２０８は、異なる実装形態では、標準ＤＶＤ、Blu-Rayディスク、ハードドライブまたは他の何らかの記憶装置の１つまたは複数である。

図１３を参照すると、上記で説明される特徴および原理を適用することができるデータ受信システム１３００が示されている。データ受信システム１３００は、記憶装置、衛星、ケーブル、電話回線または地上波放送などの各種の媒体上で信号を受信するように構成することができる。信号は、インターネットまたは他の何らかのネットワーク上で受信することができる。

データ受信システム１３００は、例えば、携帯電話、コンピュータ、セットトップボックス、テレビ、または符号化されたビデオを受信し、例えば、表示のため（例えば、ユーザに表示するため）、処理のためもしくは格納のために復号されたビデオ信号を提供する他のデバイスであり得る。従って、データ受信システム１３００は、例えば、テレビの画面、コンピュータモニタ、コンピュータ（格納、処理または表示のため）、または他の何らかの格納、処理もしくは表示デバイスにその出力を提供することができる。

データ受信システム１３００は、データ情報の受信および処理が可能である。データ受信システムまたは装置１３００は、例えば、本出願の実装形態で説明される信号などの符号化された信号を受信する受信機１３０２を含む。受信機１３０２は、例えば、ビットストリームを提供する信号、または図１２のデータ送信システム１２００から出力された信号を受信することができる。

受信機１３０２は、例えば、符号化されたピクチャを表す複数のビットストリームを有するプログラム信号を受信するように適応され得る。典型的な受信機は、例えば、変調および符号化されたデータ信号を受信すること、復調器１３０４を使用して１つまたは複数の搬送波からデータ信号を復調すること、信号のエネルギーを非ランダム化すること、および信号のデータをデインタリーブすること、信号をエラー訂正復号することの１つまたは複数などの機能を実行する。受信機１３０２は、アンテナ（図示せず）を含むことも、アンテナ（図示せず）とインタフェースを取ることもできる。受信機１３０２の実装形態は、復調器１３０４に限定することができる。

データ受信システム１３００は、デコーダ１３０６を含む。受信機１３０２は、受信信号をデコーダ１３０６に提供する。受信機１３０２によってデコーダ１３０６に提供される信号は、１つまたは複数の符号化されたビットストリームを含み得る。デコーダ１３０６は、例えば、ビデオ情報を含む復号されたビデオ信号などの復号された信号を出力する。

また、データ受信システムまたは装置１３００は、格納ユニット１３０７に通信可能に結合される。一実装形態では、格納ユニット１３０７は、受信機１３０２に結合され、受信機１３０２は、格納ユニット１３０７からのビットストリームにアクセスする。別の実装形態では、格納ユニット１３０７は、デコーダ１３０６に結合され、デコーダ１３０６は、格納ユニット１３０７からのビットストリームにアクセスする。格納ユニット１３０７からアクセスされるビットストリームは、異なる実装形態では、１つまたは複数の符号化されたビットストリームを含む。格納ユニット１３０７は、異なる実装形態では、標準ＤＶＤ、Blu-Rayディスク、ハードドライブまたは他の何らかの記憶装置の１つまたは複数である。

デコーダ１３０６からの出力データは、一実装形態では、プロセッサ１３０８に提供される。プロセッサ１３０８は、一実装形態では、後処理を実行するように構成されたプロセッサである。いくつかの実装形態では、デコーダ１３０６は、プロセッサ１３０８を含み、従ってプロセッサ１３０８の動作を実行する。他の実装形態では、プロセッサ１３０８は、例えば、セットトップボックスまたはテレビなどの下流のデバイスの一部である。

本明細書で説明される実装形態は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装することができる。実装の単一の形態に関連してのみ論じられる（例えば、方法としてのみ論じられる）場合であっても、論じられる特徴の実装形態は、他の形態（例えば、装置またはプログラム）で実装することもできる。装置は、例えば、適切なハードウェア、ソフトウェアおよびファームウェアで実装することができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路またはプログラマブル論理デバイスを含む、例えば、一般に処理デバイスを指す装置（例えば、プロセッサなど）で実装することができる。また、プロセッサは、例えば、コンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスも含む。

本原理の「一実施形態」もしくは「実施形態」または「一実装形態」もしくは「実装形態」およびその他の変形形態への言及は、実施形態と関係して説明される特定の特徴、構造、特性などが本原理の少なくとも１つの実施形態に含まれることを意味する。従って、本明細書全体を通じて様々な箇所に現れる「一実施形態では」もしくは「実施形態では」または「一実装形態では」もしくは「実装形態では」という記載および他の変形形態の出現は、必ずしもすべてが同じ実施形態を指すわけではない。

加えて、本出願またはその請求項は、様々な情報片を「決定すること」について言及し得る。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、またはメモリから情報を回収することの１つまたは複数を含み得る。

さらに、本出願またはその請求項は、様々な情報片に「アクセスすること」について言及し得る。情報にアクセスすることは、例えば、情報を受信すること、情報を回収すること（例えば、メモリから）、情報を格納すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することの１つまたは複数を含み得る。

加えて、本出願またはその請求項は、様々な情報片を「受信すること」について言及し得る。受信することは、「アクセスすること」と同様に、幅広い用語であることを意図する。情報を受信することは、例えば、情報にアクセスすることまたは情報を回収すること（例えば、メモリから）の１つまたは複数を含み得る。さらに、「受信すること」は、典型的には、例えば、情報を格納すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することなどの動作中に様々な方法で関与する。

当業者に明らかであるように、実装形態は、例えば、格納または送信することができる、情報を伝えるようにフォーマットされた様々な信号を生成することができる。情報は、例えば、方法を実行するための命令または説明される実装形態の１つによって生成されたデータを含み得る。例えば、信号は、説明される実施形態のビットストリームを伝えるようにフォーマットすることができる。そのような信号は、例えば、電磁波として（例えば、スペクトルの高周波部分を使用して）またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することおよび符号化されたデータストリームで搬送波を変調することを含み得る。信号が伝える情報は、例えば、アナログまたはデジタル情報であり得る。信号は、知られているように、様々な異なる有線または無線リンク上で送信することができる。信号は、プロセッサ可読媒体上に格納することができる。
上記実施形態の一部又は全部は、以下の付記のようも記載され得るが、以下には限定されない。
（付記１）
ビデオを符号化する方法であって、
前記ビデオの画像のブロックにアクセスすることと、
前記ブロックに対する量子化パラメータに基づいて前記ブロックを符号化すること（８８０）であって、前記量子化パラメータは、前記ブロックの輝度および前記ブロックの近傍のブロックの輝度に基づいて決定され、前記ブロックの前記輝度は、前記ブロックにおける少なくとも１つの変換係数に基づく、符号化すること（８８０）と、
前記符号化に応答してビットストリームを生成すること（８９０）と
を含む、方法。
（付記２）
前記量子化パラメータは、前記ブロックの前記近傍のブロックの１つまたは複数の画素と前記ブロックの１つまたは複数の画素との間のグレアマスキング効果に基づいて決定される、付記１に記載の方法。
（付記３）
前記グレアマスキング効果に応じて前記ブロックの画素に対するＪＮＤ（丁度可知差異）を決定することであって、前記量子化パラメータは、前記決定されたＪＮＤおよび前記ブロックの前記輝度に基づいて決定される、決定することをさらに含む、付記２に記載の方法。
（付記４）
前記ブロックの前記輝度は、前記ブロックのＤＣ変換係数および前記ブロックに対する予測ブロックに基づく、付記１〜３のいずれかに記載の方法。
（付記５）
前記ブロックのＡＣ変換係数の量子化は前記量子化パラメータに基づき、前記ＤＣ変換係数の量子化は別の量子化パラメータに基づく、付記４に記載の方法。
（付記６）
前記ブロックの前記輝度および前記ブロックの近傍のブロックの前記輝度に基づいて量子化比率を決定すること（８７０）であって、前記量子化パラメータは、第２の量子化パラメータおよび前記量子化比率に基づいて決定される、決定すること（８７０）をさらに含む、付記１〜５のいずれかに記載の方法。
（付記７）
ビデオを符号化する装置であって、メモリと、請求項１〜６のいずれか一項に記載の方法を実行するように構成された１つまたは複数のプロセッサとを含む、装置。
（付記８）
ビットストリームからビデオを復号する方法であって、
前記ビデオを表す前記ビットストリームにアクセスすること（１０１０）と、
量子化パラメータに基づいて画像のブロックを復号すること（１０８０）であって、前記量子化パラメータは、前記ブロックの輝度および前記ブロックの近傍のブロックの輝度に基づいて決定され、前記ブロックの前記輝度は、前記ブロックにおける少なくとも１つの変換係数に基づく、復号すること（１０８０）と、
ディスプレイ、記憶装置および通信インタフェースの少なくとも１つに前記ビデオを出力することと
を含む、方法。
（付記９）
前記ブロックの前記輝度は、前記ブロックのＤＣ変換係数および前記ブロックに対する予測ブロックに基づく、請求項８に記載の方法。
（付記１０）
前記ブロックのＡＣ変換係数の非量子化は前記量子化パラメータに基づき、前記ＤＣ変換係数の非量子化は別の量子化パラメータに基づく、請求項９に記載の方法。
（付記１１）
前記ブロックの前記輝度および前記ブロックの近傍のブロックの前記輝度に基づいて量子化比率を決定すること（１０７０）であって、前記量子化パラメータは、第２の量子化パラメータおよび前記量子化比率に基づいて決定される、決定すること（１０７０）をさらに含む、請求項８〜１０のいずれか一項に記載の方法。
（付記１２）
ビットストリームを復号する装置であって、メモリと、請求項８〜１１のいずれか一項に記載の方法を実行するように構成された１つまたは複数のプロセッサとを含む、装置。
（付記１３）
請求項１〜６のいずれか一項に従って生成されたビットストリームを格納している非一時的コンピュータ可読記憶媒体。
（付記１４）
請求項１〜６または８〜１１のいずれか一項に記載の方法を実行するための命令を格納している非一時的コンピュータ可読記憶媒体。
（付記１５）
量子化パラメータに基づいて符号化されたビデオの画像のブロックを含むようにフォーマットされたビットストリームであって、前記量子化パラメータは、前記ブロックの輝度および前記ブロックの近傍のブロックの輝度に基づいて決定され、前記ブロックの前記輝度は、前記ブロックにおける少なくとも１つの変換係数に基づく、ビットストリーム。

Claims (10)

1. ビデオを符号化する方法であって、
   前記ビデオの画像のブロックに対応する量子化パラメータおよび残差ブロックにアクセスすることと、
   前記残差ブロックを変換して、ＤＣ変換係数と、１以上のＡＣ変換係数とを形成することと、
   前記量子化パラメータに応じて前記ＤＣ変換係数を量子化および非量子化することで、再構築されたＤＣ変換係数を形成することと、
   前記再構築されたＤＣ変換係数と、前記ブロックに対する予測ブロックの平均との合計を求めることと、
   前記ブロックと、前記１以上の近傍のブロックの各々との間のそれぞれのファクタを決定することであって、前記ファクタは、それぞれの近傍のブロックと前記ブロックとの間の距離、前記合計、および前記それぞれの近傍のブロックの平均輝度に応じたものであり、前記ファクタは、前記距離にともなって減少し、前記合計と前記それぞれの近傍のブロックの前記平均輝度のうちの大きい方にともなって増加し、前記合計と前記それぞれの近傍のブロックの前記平均輝度のうちの小さい方にともなって減少する、前記ファクタを決定することと、
   前記ファクタの平均に基づいて量子化比率を決定することと、
   前記量子化比率によって前記ブロックの前記量子化パラメータをスケーリングし、調整された量子化パラメータを形成することと、
   前記ブロックに対する前記調整された量子化パラメータに基づいて前記ブロックの前記１以上のＡＣ変換係数を符号化することと、
   を含む、方法。
2. ビデオを符号化する装置であって、
   前記ビデオの画像のブロックに対応する量子化パラメータおよび残差ブロックにアクセスする手段と、
   前記残差ブロックを変換して、ＤＣ変換係数と、１以上のＡＣ変換係数とを形成する手段と、
   前記量子化パラメータに応じて前記ＤＣ変換係数を量子化および非量子化することで、再構築されたＤＣ変換係数を形成する手段と、
   前記再構築されたＤＣ変換係数と、前記ブロックに対する予測ブロックの平均との合計を求める手段と、
   前記ブロックと、前記１以上の近傍のブロックの各々との間のそれぞれのファクタを決定する手段であって、前記ファクタは、それぞれの近傍のブロックと前記ブロックとの間の距離、前記合計、および前記それぞれの近傍のブロックの平均輝度に応じたものであり、前記ファクタは、前記距離にともなって減少し、前記合計と前記それぞれの近傍のブロックの前記平均輝度のうちの大きい方にともなって増加し、前記合計と前記それぞれの近傍のブロックの前記平均輝度のうちの小さい方にともなって減少する、前記ファクタを決定する手段と、
   前記ファクタの平均に基づいて量子化比率を決定する手段と、
   前記量子化比率によって前記ブロックの前記量子化パラメータをスケーリングし、調整された量子化パラメータを形成する手段と、
   前記ブロックに対する前記調整された量子化パラメータに基づいて前記ブロックの前記１以上のＡＣ変換係数を符号化する手段と、
   を備える、装置。
3. 前記ブロックの前記ＡＣ変換係数の量子化は、前記調整された量子化パラメータに基づく、請求項２に記載の装置。
4. 前記ブロックの前記ＡＣ変換係数の量子化は、前記調整された量子化パラメータに基づく、請求項１に記載の方法。
5. ビデオを復号する方法であって、
   画像のブロックの量子化パラメータにアクセスすることと、
   前記画像の前記ブロックに対する変換係数にアクセスすることであって、前記変換係数が、ＤＣ変換係数と、１以上のＡＣ変換係数とを含む、前記変換係数にアクセスすることと、
   前記量子化パラメータに応じて前記ＤＣ変換係数を非量子化して、再構築されたＤＣ変換係数を形成することと、
   前記再構築されたＤＣ変換係数と、前記ブロックに対する予測ブロックの平均との合計を求めることと、
   前記ブロックと、前記１以上の近傍のブロックの各々との間のそれぞれのファクタを決定することであって、前記ファクタは、それぞれの近傍のブロックと前記ブロックとの間の距離、前記合計、および前記それぞれの近傍のブロックの平均輝度に応じたものであり、前記ファクタは、前記距離にともなって減少し、前記合計と前記それぞれの近傍のブロックの前記平均輝度のうちの大きい方にともなって増加し、前記合計と前記それぞれの近傍のブロックの前記平均輝度のうちの小さい方にともなって減少する、前記ファクタを決定することと、
   前記ファクタの平均に基づいて量子化比率を決定することと、
   前記量子化比率によって前記ブロックの前記量子化パラメータをスケーリングし、調整された量子化パラメータを形成することと、
   前記調整された量子化パラメータに基づいて前記１以上のＡＣ変換係数を復号することと、
   を含む、方法。
6. ビデオを復号する装置であって、
   画像のブロックの量子化パラメータにアクセスする手段と、
   前記画像の前記ブロックに対する変換係数にアクセスする手段であって、前記変換係数が、ＤＣ変換係数と、１以上のＡＣ変換係数とを含む、前記変換係数にアクセスする手段と、
   前記量子化パラメータに応じて前記ＤＣ変換係数を非量子化して、再構築されたＤＣ変換係数を形成する手段と、
   前記再構築されたＤＣ変換係数と、前記ブロックに対する予測ブロックの平均との合計を求める手段と、
   前記ブロックと、前記１以上の近傍のブロックの各々との間のそれぞれのファクタを決定する手段であって、前記ファクタは、それぞれの近傍のブロックと前記ブロックとの間の距離、前記合計、および前記それぞれの近傍のブロックの平均輝度に応じたものであり、前記ファクタは、前記距離にともなって減少し、前記合計と前記それぞれの近傍のブロックの前記平均輝度のうちの大きい方にともなって増加し、前記合計と前記それぞれの近傍のブロックの前記平均輝度のうちの小さい方にともなって減少する、前記ファクタを決定する手段と、
   前記ファクタの平均に基づいて量子化比率を決定する手段と、
   前記量子化比率によって前記ブロックの前記量子化パラメータをスケーリングし、調整された量子化パラメータを形成する手段と、
   前記調整された量子化パラメータに基づいて前記１以上のＡＣ変換係数を復号する手段と、
   を含む、装置。
7. 前記ブロックのＡＣ変換係数の非量子化は、前記調整された量子化パラメータに基づく、請求項６に記載の装置。
8. 前記ブロックのＡＣ変換係数の非量子化は、前記調整された量子化パラメータに基づく、請求項５に記載の方法。
9. 請求項１または４の方法を実行するための命令を格納している非一時的コンピュータ可読記憶媒体。
10. 請求項５または８の方法を実行するための命令を格納している非一時的コンピュータ可読記憶媒体。
    
    
    

Images