JP2017538381A - ビデオ符号化における成分間予測 - Google Patents

Abstract

ビデオシーケンスのピクチャをビデオビットストリームに符号化する機構が提供される。ピクチャは、少なくとも第１の色成分および第２の色成分を含み、第１の色成分は、第１のサンプルブロックを含み、第２の色成分は、第２のサンプルブロックを含む。この方法は、第１のブロックおよび第２のブロック内に同じ位置を有するサンプルが同じセグメントに属するように、第１のサンプルブロックおよび第２のサンプルブロックを少なくとも第１のセグメントおよび第２のセグメントにセグメント化することを含む。この方法は、同じセグメントに属する第１のサンプルブロック内のサンプル値に基づいて第２のサンプルブロック内のサンプル値を予測することを含む。ビデオシーケンスの符号化ピクチャを含むビットストリームを復号する機構が提供される。符号化ピクチャは、少なくとも第１の符号化色成分および第２の符号化色成分を含み、第１の符号化色成分は、第１の符号化サンプルブロックを含み、第２の符号化色成分は、第２の符号化サンプルブロックを含む。この方法は、第１の符号化サンプルブロックおよび第２の符号化サンプルブロックを少なくとも第１のセグメントおよび第２のセグメントにセグメント化することを含む。この方法は、同じセグメントに属する第１の符号化サンプルブロック内のサンプル値から第２の符号化サンプルブロック内のサンプル値を予測することを含む。【選択図】図３

Description

本明細書の実施形態は、高効率ビデオ符号化（ＨＥＶＣ）などのビデオ符号化の分野に関する。詳細には、本明細書の実施形態は、ビデオシーケンスのピクチャを符号化する方法および符号器ならびにビデオシーケンスの符号化ピクチャを含むビットストリームを復号する方法および復号器に関する。これに対応するコンピュータプログラムも開示される。

画像およびビデオ符号化技法では、異なるカラーフォーマットを使用して、ピクチャ要素（画素またはサンプル）の色情報を表す。色情報は、ユースケースに応じて異なる形で表現することができる。たとえば、ディスプレイは、３つの色要素、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）を有することが一般的であり、これらの色要素は、何の色が表示されるべきかに応じて異なる強度で照明される。したがって、画素情報はＲＧＢカラーフォーマットでディスプレイへ送ることが好都合になる。信号がデジタルであるため、画素の各成分の強度は、成分のビット深度と呼ばれる固定の数のビットで表さなければならない。ｎのビット深度は、２^ｎ個の異なる値、すなわち８ビットの場合は１成分当たり２５６個の値、１０ビットの場合は１成分当たり１０２４個の値を表すことができる。

ＹＵＶカラーフォーマットは、ルミナンス（輝度）色成分Ｙならびに２つのクロミナンス（色差）色成分ＵおよびＶ（またはそれぞれＣｂおよびＣｒ）を使用することによって色を記述する。ルミナンス色成分（Ｙ）は明るさを表し、クロミナンス成分（ＵおよびＶ）は色差を含む。ＹＵＶ（ＹＣｂＣｒ）フォーマットで画素を表すことは、ビデオ符号化にとって好都合である。すなわち、人間視覚システム（ＨＶＳ）は、クロミナンスよりルミナンスに敏感であり、これはクロミナンスより高い精度でルミナンスを表すことができることを意味する。

ＨＶＳは、線形光強度におけるすべてのレベルのルミナンスに対して等しい感度を有するわけではないため、ビデオは通常、知覚ドメインＹ’ＵＶ（Ｙ’ＣｂＣｒ）に転送される。ここでＹ’は輝度を指す。ＨＤＴＶに対するＲＧＢとＹ’ＵＶとの間の変換は、次の行列乗算を使用して行われるべきである。

Ｆｏｕｒｃｃ．ｏｒｇは、規定のＹＵＶおよびＲＧＢフォーマットのリストを保持している。標準化されたビデオコーデック（たとえば、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−４、ＨＥＶＣ）で最も一般に使用される画素フォーマットは、２次元のＹ’ＵＶ４：２：０（別名ＹＶ１２またはＹ’ＣｂＣｒ４：２：０）であり、ＵおよびＶクロミナンス成分は、垂直方向と水平方向の両方にサブサンプリングされ、Ｙ’、Ｕ、およびＶ成分が、ピクチャごとに別個のチャンク内に記憶される。したがって、ビット深度が１成分当たり８ビットである場合、１画素当たりのビット数は１２であり、８つのビットがルミナンスを表し、４つのビットが２つのクロミナンス成分を表す。いずれの成分でもサブサンプリングを行わない画素フォーマットは、４：４：４サンプリングフォーマット、たとえばＹ’ＣｂＣｒ４：４：４またはＲＧＢ４：４：４を有することを指す。

Ｈ．２６５としても知られている高効率ビデオ符号化（ＨＥＶＣ）は、サンプル（画素）のルミナンスブロックの残余からサンプル（画素）のクロミナンスブロックの残余を予測する成分間予測（ＣＣＰ）ツールを有する。このツールは、当初、ＨＥＶＣに対するより大きいビット深度ならびに４：２：２および４：４：４色差サンプリングフォーマットに対応するＨ．２６５／ＨＥＶＣ ＲＥｘｔの開発中に提案されたものである。

色差成分の残余は、次のように計算される。

上式で、

は、ルミナンス成分残余であり、

は、同じ空間位置に残っている成分の残余であり、αは、重み係数である。αパラメータは、２つの色差成分の各々に対してビットストリーム内でブロックレベルでシグナリングされる。

線形モデル（ＬＭ）を使用する色差イントラ予測は、ＨＥＶＣの開発中に提案された別のツールである。このツールでは、次の線形モデルを使用することによって、ダウンサンプリングされて再構築された輝度サンプルから、色差ブロックのサンプルが予測される。

上式で、ｐｒｅｄ_Ｃ（ｉ，ｊ）は、予測されるべき色差サンプルであり、ｒｅｃ_Ｌ（ｉ，ｊ）は、対応するダウンサンプリングされて再構築された輝度サンプルであり、αおよびβは、モデルパラメータである。αおよびβの値は、現在のブロックの再構築された隣接サンプルから導出される。輝度参照サンプルと色差参照サンプルとの間の正規化された共分散が計算され、αとして得られる。オフセットβは、既知のαを考慮し、上記の関数を利用して、参照サンプルに線形モデルを適合させることによって取得される。

寄書ＩＴＵ−Ｔ ＣＯＭ１６−Ｃ ８０６−Ｅは、ＨＥＶＣに比べて大きな改善を示す複数のツールを調査している。この寄書は、後に、ＨＥＶＣ後の次世代ビデオコーデックの初期開発に対するＫＴＡ試験モデルとなる。ＫＴＡのツールの１つは、線形モデル（ＬＭ）を使用する色差イントラ予測であり、ここではさらに、次式にしたがって、色差成分の１つの残余を他の色差成分の残余から予測することもできる。

成分間予測および線形モデルを使用する色差イントラ予測などの現況技術の成分間予測方法は、ブロック内のほとんどのクロミナンスサンプルがルミナンスサンプルに対して同じ線形関係を有することに依拠する。これは、Ｒ、Ｇ、およびＢ成分の各々がルミナンス成分の強度をある程度含むＲＧＢ色空間では当てはまることがある。Ｙ’ＣｂＣｒの場合、これらの成分は、異なる形で互いから切り離されている。これを図１に示す。図１では、グレースケール版のピクチャならびにＹ’ＵＶおよびＲＧＢにおけるその各成分が、１６×１６のサンプルブロックで示されている。

ＣＣＰおよび線形モデルを使用する色差イントラ予測は、単色のブロックの場合、引き続きうまく機能することができる。しかし、上記の例のように２つ以上の色を有するブロックでは、成分間の非線形性のため、同様にはうまく機能することができない。これを図１に示す。

異なる色成分間の線形関係を想定するとき、その関係が想定通りでない場合、その結果、予測の品質が悪くなることがある。予測の品質が悪いということは、元のサンプルブロックと予測されたサンプルブロックとの間の差がより大きいことを示唆することがあり、そのような場合、ビットレートがより高くなることをさらに示唆する。

したがって、ビットレートを低減させるために、サンプルブロックを可能な限り正確に予測することが非常に重要である。

上記その他の目的は、本明細書に開示される実施形態によって達成される。

実施形態の第１の態様は、ビデオシーケンスのピクチャをビットストリームに符号化するために符号器によって実行される方法を規定する。ピクチャは、少なくとも第１の色成分および第２の色成分を含み、第１の色成分は、第１のサンプルブロックを含み、第２の色成分は、第２のサンプルブロックを含む。この方法は、第１のブロックおよび第２のブロック内に同じ位置を有するサンプルが同じセグメントに属するように、第１のサンプルブロックおよび第２のサンプルブロックを少なくとも第１のセグメントおよび第２のセグメントにセグメント化することを含む。この方法は、同じセグメントに属する第１のサンプルブロック内のサンプル値に基づいて第２のサンプルブロック内のサンプル値を予測することを含む。

実施形態の第２の態様は、ビデオシーケンスのピクチャをビットストリームに符号化する符号器を規定する。ピクチャは、少なくとも第１の色成分および第２の色成分を含み、第１の色成分は、第１のサンプルブロックを含み、第２の色成分は、第２のサンプルブロックを含む。符号器は、第１のブロックおよび第２のブロック内に同じ位置を有するサンプルが同じセグメントに属するように、第１のサンプルブロックおよび第２のサンプルブロックを少なくとも第１のセグメントおよび第２のセグメントにセグメント化するように動作する処理手段を備える。符号器は、同じセグメントに属する第１のサンプルブロック内のサンプル値に基づいて第２のサンプルブロック内のサンプル値を予測するように動作する処理手段を備える。

実施形態の第３の態様は、ビデオシーケンスのピクチャを符号化するコンピュータプログラムを規定する。ピクチャは、少なくとも第１の色成分および第２の色成分を含み、第１の色成分は、第１のサンプルブロックを含み、第２の色成分は、第２のサンプルブロックを含む。コンピュータプログラムは、コンピュータ上で実行されると、コンピュータに対して、第１のブロックおよび第２のブロック内に同じ位置を有するサンプルが同じセグメントに属するように、第１のサンプルブロックおよび第２のサンプルブロックを少なくとも第１のセグメントおよび第２のセグメントにセグメント化させる符号化手段を備える。コンピュータプログラムは、コンピュータ上で実行されると、コンピュータに対して、同じセグメントに属する第１のサンプルブロック内のサンプル値に基づいて第２のサンプルブロック内のサンプル値を予測させる符号化手段を備える。

実施形態の第４の態様は、コンピュータ可読手段と、コンピュータ可読手段上に記憶された第３の態様によるコンピュータプログラムとを備えるコンピュータプログラム製品を規定する。

実施形態の第５の態様は、ビデオシーケンスの符号化ピクチャを含むビットストリームを復号するために復号器によって実行される方法を規定する。符号化ピクチャは、少なくとも第１の符号化色成分および第２の符号化色成分を含み、第１の符号化色成分は、第１の符号化サンプルブロックを含み、第２の符号化色成分は、第２の符号化サンプルブロックを含む。この方法は、第１の符号化サンプルブロックおよび第２の符号化サンプルブロックを少なくとも第１のセグメントおよび第２のセグメントにセグメント化することを含む。この方法は、同じセグメントに属する第１の符号化サンプルブロック内のサンプル値に基づいて第２の符号化サンプルブロック内のサンプル値を予測することを含む。

実施形態の第６の態様は、ビデオシーケンスの符号化ピクチャを含むビットストリームを復号する復号器を規定する。符号化ピクチャは、少なくとも第１の符号化色成分および第２の符号化色成分を含み、第１の符号化色成分は、第１の符号化サンプルブロックを含み、第２の符号化色成分は、第２の符号化サンプルブロックを含む。復号器は、第１の符号化サンプルブロックおよび第２の符号化サンプルブロックを少なくとも第１のセグメントおよび第２のセグメントにセグメント化するように動作する処理手段を備える。復号器は、同じセグメントに属する第１の符号化サンプルブロック内のサンプル値に基づいて第２の符号化サンプルブロック内のサンプル値を予測するように動作する処理手段を備える。

実施形態の第７の態様は、ビデオシーケンスの符号化ピクチャを含むビットストリームを復号するコンピュータプログラムを規定する。符号化ピクチャは、少なくとも第１の符号化色成分および第２の符号化色成分を含み、第１の符号化色成分は、第１の符号化サンプルブロックを含み、第２の符号化色成分は、第２の符号化サンプルブロックを含む。コンピュータプログラムは、コンピュータ上で実行されると、コンピュータに対して、第１の符号化サンプルブロックおよび第２の符号化サンプルブロックを少なくとも第１のセグメントおよび第２のセグメントにセグメント化させる符号化手段を備える。コンピュータプログラムは、コンピュータ上で実行されると、コンピュータに対して、同じセグメントに属する第１の符号化サンプルブロック内のサンプル値から第２の符号化サンプルブロック内のサンプル値を予測させる符号化手段を備える。

実施形態の第８の態様は、コンピュータ可読手段と、コンピュータ可読手段上に記憶された第７の態様によるコンピュータプログラムとを備えるコンピュータプログラム製品を規定する。

有利には、実施形態の少なくともいくつかは、ビデオシーケンスの異なる色成分間のより正確な予測を提供する。

さらに有利には、実施形態の少なくともいくつかは、より高い圧縮効率を提供する。

第１、第２、第３、第４、第５、第６、第７、および第８の態様の任意の特徴を、適当なときはいつでも、任意の他の態様に適用することができることに留意されたい。同様に、第１の態様の任意の利点を、それぞれ第２、第３、第４、第５、第６、第７、および第８の態様に等しく適用することができ、逆も同様である。含まれる実施形態の他の目的、特徴、および利点は、次の詳細な開示、添付の従属請求項、および図面から明らかになるであろう。

概して、特許請求の範囲で使用されるすべての用語は、本明細書に別途明示しない限り、当技術分野での一般的な意味にしたがって解釈されるべきである。「要素、装置、成分、手段、ステップなど」に対するすべての言及は、別途明示しない限り、要素、装置、成分、手段、ステップなどのうちの少なくとも１つの例について言及していると非限定的に解釈されるべきである。本明細書に開示するいずれの方法のステップも、明示しない限り、開示された通りの順序で実行される必要はない。

本発明は、そのさらなる目的および利点とともに、添付の図面ともに次の説明を参照することによって、最もよく理解することができる。

ルミナンス成分とクロミナンス成分との間の非線形性の一例を示す図である。 本発明の実施形態による符号化されるべきピクチャを示す図である。 本発明の実施形態によるビデオシーケンスのピクチャを符号化する方法の流れ図である。 ルミナンスサンプルブロック内のサンプル値の閾値処理に基づくセグメント化の一例を示す図であり、この特定の例では、閾値１５０が手動で選択されている。 エッジ検出フィルタが「キャニー」フィルタであるエッジ検出によるセグメント化の一例を示す図である。 ４分木構造を使用して符号化された８×８の２値マスクの一例を示す図であり、０は第１のセグメントを表し、１は第２のセグメントを表している。 本発明の実施形態による復号されるべきビットストリームを示す図である。 本発明の実施形態によるビデオシーケンスのピクチャを復号する方法の流れ図である。 本発明の実施形態によるビデオシーケンスのピクチャを符号化する符号器の機能ユニットを示す概略ブロック図である。 本発明の実施形態によるビデオシーケンスのピクチャを符号化するコンピュータプログラムを有するコンピュータプログラム製品を備えるコンピュータを示す概略ブロック図である。 本発明の実施形態によるビデオシーケンスのピクチャを符号化する符号器の機能ユニットを示す概略ブロック図である。 本発明の実施形態によるビデオシーケンスの符号化ピクチャを含むビットストリームを復号する復号器の機能ユニットを示す概略ブロック図である。 本発明の実施形態によるビデオシーケンスの符号化ピクチャを含むビットストリームを復号するコンピュータプログラムを有するコンピュータプログラム製品を備えるコンピュータを示す概略ブロック図である。 本発明の実施形態によるビデオシーケンスの符号化ピクチャを含むビットストリームを復号する復号器の機能ユニットを示す概略ブロック図である。

添付の図面は、本明細書に組み込まれており、本明細書の一部を形成するものであり、本発明の様々な実施形態を示し、さらに本説明とともに、本発明の原理について説明し、当業者が本発明を作製および使用することを可能にする働きをする。図面全体にわたって、類似または対応する要素に対して同じ参照番号が使用される。

説明全体にわたって、「ビデオ」および「ビデオシーケンス」、「サンプルブロック」および「ブロック」、「画素」および「サンプル」、「ルミナンス」および「輝度」、「クロミナンス」および「色差」という用語は、区別なく使用される。

本発明の説明は、ＨＥＶＣコーデックに基づくが、本発明は、任意の他の現況技術および将来のブロックに基づくビデオ符号化標準にも適用することができることを、当業者には理解されたい。

本実施形態は、概して、ビデオシーケンスのピクチャをビットストリームに符号化する方法および符号器ならびにビデオシーケンスの符号化ピクチャを含むビットストリームを復号する方法および復号器に関する。

ＨＥＶＣは、ＩＴＵ−ＴおよびＭＰＥＧによって標準化されたブロックに基づくビデオコーデックであり、時間と空間の両方の予測を利用する。空間予測は、現在のピクチャ内からのイントラ（Ｉ）予測を使用して実現される。時間予測は、以前に復号された参照ピクチャからのブロックレベルのインター（Ｐ）または双方向インター（Ｂ）予測を使用して実現される。予測誤差と呼ばれる元の画素データと予測された画素データとの間の差が、周波数ドメインに変換され、量子化およびエントロピー符号化され（たとえばＨＥＶＣの場合はコンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）、またはたとえばＨ．２６４／ＡＶＣの場合はコンテキスト適応型可変長符号化（ＣＡＶＬＣ）による）、エントロピー符号化後、モード選択および運動ベクトルなどの必要な予測パラメータともに伝送される。変換された予測誤差を量子化することによって、ビットレートとビデオの品質との間のトレードオフを制御することができる。量子化のレベルは、量子化パラメータ（ＱＰ）によって決定される。復号器は、エントロピー復号、逆量子化、および逆変換を実行して、残余と呼ばれる予測誤差の復号されたものを取得し、次いで、この残余をイントラまたはインター予測に加えて、ピクチャを再構築する。

ＣＣＰは、輝度ブロックの残余から色差ブロックの残余を予測するＨＥＶＣにおけるツールである。色差成分の残余は、次のように計算される。

上式で、

は、輝度成分残余であり、

は、同じ空間位置に残っている成分の残余であり、αは、重み係数である。αパラメータ（標準仕様および以下でＲｅｓＳｃａｌｅＶａｌと示す）は、ＨＥＶＣ（Ｈ．２６５）仕様［１］の第７．３．８．１２章に記載され、表１に示すように、２つのパラメータ、ｌｏｇ２＿ｒｅｓ＿ｓｃａｌｅ＿ａｂｓ＿ｐｌｕｓ１およびｒｅｓ＿ｓｃａｌｅ＿ｓｉｇｎ＿ｆｌａｇに分割され、２つの色差成分の各々に対してビットストリーム内でブロックレベルでシグナリングされる。

この表によれば、ｌｏｇ２＿ｒｅｓ＿ｓｃａｌｅ＿ａｂｓ＿ｐｌｕｓ１［ｃ］から１を引いた値が、成分間残余予測で使用されるスケーリング係数ＲｅｓＳｃａｌｅＶａｌの大きさの底を２とする対数を指定する。存在しないとき、ｌｏｇ２＿ｒｅｓ＿ｓｃａｌｅ＿ａｂｓ＿ｐｌｕｓ１は、０に等しいと推論される。

加えて、ｒｅｓ＿ｓｃａｌｅ＿ｓｉｇｎ＿ｆｌａｇ［ｃ］は、次のように、成分間残余予測で使用されるスケーリング係数の符号を指定する。ｒｅｓ＿ｓｃａｌｅ＿ｓｉｇｎ＿ｆｌａｇ［ｃ］が０に等しい場合、対応するＲｅｓＳｃａｌｅＶａｌは正の値を有する。そうでない場合（ｒｅｓ＿ｓｃａｌｅ＿ｓｉｇｎ＿ｆｌａｇ［ｃ］が１に等しい）、対応するＲｅｓＳｃａｌｅＶａｌは負の値を有する。

変数ＲｅｓＳｃａｌｅＶａｌ［ｃＩｄｘ］［ｘ０］［ｙ０］は、成分間残余予測で使用されるスケーリング係数を指定する。配列インデックスｘ０、ｙ０は、ピクチャの左上輝度サンプルに対する当該変換ブロックの左上輝度サンプルの位置（ｘ０，ｙ０）を指定する。配列インデックスｃＩｄｘは、色成分の標識を指定し、Ｃｂの場合は１に等しく、Ｃｒの場合は２に等しい。

変数ＲｅｓＳｃａｌｅＶａｌ［ｃＩｄｘ］［ｘ０］［ｙ０］は、次のように導出される。ｌｏｇ２＿ｒｅｓ＿ｓｃａｌｅ＿ａｂｓ＿ｐｌｕｓ１［ｃＩｄｘ−１］が０に等しい場合、次式が当てはまる。ＲｅｓＳｃａｌｅＶａｌ［ｃＩｄｘ］［ｘ０］［ｙ０］＝０。そうでない場合（ｌｏｇ２＿ｒｅｓ＿ｓｃａｌｅ＿ａｂｓ＿ｐｌｕｓ１［ｃＩｄｘ−１］が０に等しくない）、次式が当てはまる。ＲｅｓＳｃａｌｅＶａｌ［ｃＩｄｘ］［ｘ０］［ｙ０］＝（１＜＜（ｌｏｇ２＿ｒｅｓ＿ｓｃａｌｅ＿ａｂｓ＿ｐｌｕｓ１［ｃＩｄｘ−１］−１））＊（１−２＊ｒｅｓ＿ｓｃａｌｅ＿ｓｉｇｎ＿ｆｌａｇ［ｃＩｄｘ−１］）。

したがって、ＲｅｓＳｃａｌｅＶａｌ（または同等にα）は、次の値｛−８、−４、−２、−１、０、１、２、４、８｝をとることができる。

ＨＥＶＣでは、ＣＣＰは、４：４：４サンプルフォーマットに対してのみ指定される。

ＣＣＰおよび線形モデルを使用する色差イントラ予測は、線形モデリングを使用して、対応する輝度サンプルブロックの残余またはサンプルから色差サンプルブロックの残余またはサンプルを予測する。しかし、色差ブロックと輝度ブロックとの間の関係は、特にサンプルブロックが２つ以上の色を含むとき、必ずしもサンプルブロック全体にわたって線形であるとは限らない。

本発明の実施形態の概念は、ＣＣＰの方法、線形モデルを使用する色差イントラ予測、または類似の方法を使用するとき、サンプルブロックを２つ以上のセグメントにセグメント化して、すべてのセグメントを別個に処理することである。

一態様によれば、図３に示すように、ビデオシーケンスのピクチャをビットストリームに符号化するために符号器１００によって実行される方法が提供される。ピクチャ１は、図２に示すように、少なくとも第１の色成分４および第２の色成分５を含み、第１の色成分４は、第１のサンプルブロック６を含み、第２の色成分５は、第２のサンプルブロック７を含む。この方法は、第１のサンプルブロック６および第２のサンプルブロック７内に同じピクチャ位置を有するサンプルが同じセグメントに属するように、第１のサンプルブロック６および第２のサンプルブロック７を少なくとも第１のセグメント８および第２のセグメント９にセグメント化するステップＳ１を含む。この方法は、同じセグメントに属する第１のサンプルブロック６内のサンプル値に基づいて第２のサンプルブロック７内のサンプル値を予測するステップＳ２をさらに含む。この方法は、任意選択で、セグメント化Ｓ１に関係するパラメータおよび／または予測Ｓ２に関係するパラメータをビットストリーム３内でシグナリングするステップＳ３をさらに含む。

第１の色成分は、ルミナンス色成分とすることができ、第２の色成分は、クロミナンス色成分とすることができる。その場合、実際には一般に行われるように、クロミナンス色成分からのサンプルブロックは、ルミナンス色成分からの対応するサンプルブロックから予測される。しかし、本発明の実施形態は、ルミナンス色成分からのクロミナンス色成分の予測のみに限定されるものではなく、ルミナンス色成分で予測のためにクロミナンス色成分を使用することができることも想定される。実施形態のいくつかについて、以下に説明する。

サンプルブロックは、符号化プロセスで異なるステップから発生することができる。たとえば、サンプルブロックは、符号化されるべきピクチャから発生することができる。サンプルブロックは、イントラ／インター予測から発生することができる。別法として、サンプルブロックは、残余サンプルブロックに対応することができる。さらに別の代替形態は、サンプルブロックがイントラ／インター予測と残余サンプルブロックとの組合せであることである。

第１および第２のサンプルブロックのセグメント化は、閾値処理によって実行することができる。その場合、セグメント化は、閾値より小さい値を有するサンプルが１つのセグメントに属し、閾値以上の値を有するサンプルが別のセグメントに属するように実行される。閾値は、サンプルブロック内のサンプル値の平均、中央値、または何らかの他の尺度として選択することができる。セグメントの数が２より大きい場合、複数の閾値を規定することができ、類似の手順を適用して、サンプルをセグメントに割り当てることができる。

別法として、セグメント化は、エッジ検出、大津の閾値処理方法、色に基づくセグメント化、Ｋ平均クラスタリング、画像テキスチャフィルタ、および空間変換に基づくセグメント化方法のうちの１つを使用することによって実行することができる。

一実施形態によれば、セグメント化は、第１のサンプルブロック上のみで実行され、このサンプルブロックからのセグメントは、第２のサンプルブロックにコピーされ、したがって第１のサンプルブロックおよび第２のサンプルブロック内に同じ位置を有するサンプルは、同じセグメントに属する。これを図４に示す。図４では、セグメント化は、ルミナンスブロックＹ’内のサンプル値を閾値処理することによって実行され、これによって、図の上段に見ることができるように、２つのセグメント、Ｙ’セグメント１およびＹ’セグメント２が得られる。次いで、同じセグメント化パターンが第２のサンプルブロック内で繰り返される。このセグメント化パターンは、任意の形状をとることができ、すなわち方形である必要はなく、図４にセグメント２によって示されるように関連する必要もない。図４の中段は、第２のサンプルブロックがＵクロミナンス成分である場合に対応し、対応するセグメント、Ｕセグメント１およびＵセグメント２をやはり見ることができる。同様に、下段は、セグメント化されたＶクロミナンスサンプルブロックの一例を示す。

第１のサンプルブロックおよび第２のサンプルブロックを少なくとも第１および第２のセグメントにセグメント化した後、第２のセグメントブロック内のサンプル値が、同じセグメントに属する第１のサンプルブロック内のサンプル値に基づいて予測される。予測は、ＣＣＰおよび線形モデルを使用する色差イントラ予測で行われるように、たとえば線形モデルを使用することによって行うことができる。

上記のセグメント化Ｓ１および予測Ｓ２ステップは、符号器側で実行される。復号器がビデオシーケンスを再構築するときに同じステップを実行するためには、セグメント化および／または予測に関係するパラメータのいくつかを復号器側へ伝送することが必要になることがある。これは、以下に示すように、これらのパラメータをビットストリーム内でシグナリングすることによって行うことができる。

一実施形態によれば、ルミナンスサンプルブロックのセグメント化は、このサンプルブロックに対する閾値を選択することに基づく。閾値を下回るルミナンスサンプルブロックのサンプル値は、第１のセグメントに割り当てられ、閾値以上のルミナンスサンプルブロックのサンプル値は、第２のセグメントに割り当てられる。図４は、これを示す。閾値は、符号器で行われるのと同じ方法（たとえば、サンプルブロックからのサンプル値の平均）で、復号側で導出することもできる。しかし、閾値はまた、以下に示すように、ビットストリーム内でシグナリングすることもできる。

セグメント化に続いて、クロミナンスサンプルブロックの第１のセグメント内のサンプル値は、ルミナンスサンプルブロックの第１のセグメント内のサンプル値に基づいて予測される。この予測は、ＣＣＰに基づいて行うことができ、その場合、第１のセグメントに対する係数α_１（ＲｅｓＳｃａｌｅＶａｌ１）が取得される。同様に、クロミナンスサンプルブロックの第２のセグメント内のサンプル値が、ルミナンスサンプルブロックの第２のセグメント内のサンプル値に基づいて予測される。この予測により、第２のセグメントに対する係数α_２（ＲｅｓＳｃａｌｅＶａｌ２）が得られる。

セグメント化および異なるセグメントに対する異なる予測によってＣＣＰを拡張するときにシグナリングを行う方法の一例を表２に示す。表２では、ＨＥＶＣにおけるＣＣＰと比較した変化が灰色で示されている。

パラメータｌｏｇ２＿ｒｅｓ＿ｓｃａｌｅ＿ａｂｓ＿ｐｌｕｓ１およびｒｅｓ＿ｓｃａｌｅ＿ｓｉｇｎ＿ｆｌａｇは、クロミナンスサンプルブロック内の第１のセグメントの予測で取得された係数ＲｅｓＳｃａｌｅＶａｌ１に関係する。これらのパラメータは、ＨＥＶＣにおけるサンプルブロック全体で規定される。

ｄｏ＿ｓｅｇｍｅｎｔ＿ｂｌｏｃｋは、現在のサンプルブロックに対してＣＣＰでセグメント化が実行されるべきかどうかを示す。実行されるべきである場合、ｓｅｇｍｅｎｔ＿ｔｈｒｅｓｈｏｌｄがシグナリングされる。加えて、第２のセグメントに対する予測係数ＲｅｓＳｃａｌｅＶａｌ２に関係するパラメータｌｏｇ２＿ｒｅｓ＿ｓｃａｌｅ＿ａｂｓ＿ｓｅｇ２＿ｐｌｕｓ１およびｒｅｓ＿ｓｃａｌｅ＿ｓｉｇｎ＿ｓｅｇ２＿ｆｌａｇがシグナリングされる。

シグナリングされたｓｅｇｍｅｎｔ＿ｔｈｒｅｓｈｏｌｄは、絶対値とすることができ、サンプルブロック内のサンプル値から計算される。別法として、隣接サンプルブロック内のｓｅｇｍｅｎｔ＿ｔｈｒｅｓｈｏｌｄ値と比較した相対値としてシグナリングすることができ、その場合、平均または中央値など、隣接ブロックからのｓｅｇｍｅｎｔ＿ｔｈｒｅｓｈｏｌｄ値の関数として計算される。

別法として、ｓｅｇｍｅｎｔ＿ｔｈｒｅｓｈｏｌｄは、サンプルブロックごとにシグナリングするのではなく、サンプルブロックのグループごとに計算することができる。たとえば、ｍ個のサンプルブロックからなるグループに対して計算し、それぞれ第ｍのサンプルブロックごとにシグナリングすることができ、ここでｍ≧２である。これは、隣接サンプルブロックが類似の構造を有するとき、効率的な解決策となることができる。

セグメント閾値が復号側で輝度残余またはサンプルブロックから導出される実施形態の代替変形形態では、パラメータｓｅｇｍｅｎｔ＿ｔｈｒｅｓｈｏｌｄをシグナリングする必要はない。これを表３に示す。

この実施形態の代替変形形態では、セグメント化は、予測に使用されたサンプルブロックではなく、予測されるべきサンプルブロックで実行することができる。すなわち、クロミナンスサンプルブロックでセグメント化を実行することができ、このブロック内のセグメントは、ルミナンスサンプルブロック内の対応するセグメントに基づいて予測することができる。

ＨＥＶＣでは、ＣＣＰは、４：４：４のサンプリングフォーマットに対してのみ指定される。しかし、本発明の実施形態はまた、４：２：２または４：２：０サンプリングフォーマットなど、サブサンプリングが成分間で異なる他のフォーマットでも機能するはずである。４：２：２では、第２および第３の成分が、水平方向にのみ２倍にサブサンプリングされる。４：２：０では、第２および第３の成分は、水平方向と垂直方向の両方で２倍にサブサンプリングされる。第１のサンプルブロック内のサンプル値に基づいて第２のサンプルブロック内のサンプル値を予測するには、第１のサンプルブロック内のサンプルを、第２のサンプルブロック内の対応するサンプルブロックの寸法にサンプリングする必要があるはずである。たとえば、Ｙ’ＣｂＣｒ４：２：０でルミナンスサンプルブロック内のサンプル値からクロミナンスサンプルブロック内のサンプル値を予測するとき、ルミナンスサンプルブロック内のサンプルを、クロミナンスサンプルブロック内のサンプルブロックの寸法にダウンサンプリングしなければならない。ダウンサンプリングは、復号器が符号器と同じダウンサンプリングされたルミナンスサンプルブロックを導出することができるように指定される必要がある。セグメント化は、クロミナンス成分内のダウンサンプリングされたサンプルブロックで実行することができることにも留意されたい。

本発明の別の実施形態では、セグメントは、第１のサンプルブロック上でエッジ検出を使用することによって決定される。エッジ検出フィルタは、たとえば、ソーベルフィルタ、キャニーフィルタ、プレヴィットフィルタ、ロバーツフィルタ、ラプラス−ガウスフィルタ、またはゼロ交差フィルタのうちの１つとすることができる。キャニーフィルタによってルミナンスサンプルブロック内で検出されたエッジの一例を図５に示す。エッジが検出された後、セグメントは、エッジの側面の１つを塗りつぶすことによって決定することができる。エッジが閉じている場合、同じエッジによって閉じられた区域内のサンプルは、同じセグメントに割り当てられる。エッジが閉じていない場合、ある種の形態学的な動作を適用してエッジを閉じることができ、その後、セグメントの割り当てが同じ方法で実行される。閉じた区域が第１のセグメントに属するか、それとも第２のセグメントに属するかは、２つの隣接する閉じた区域の各々のサンプルに対して平均値を計算し、最も低い平均を有する閉じた区域を第１のセグメントに割り当て、最も高い平均を有する閉じた区域を第２のセグメントに割り当てることによって決定することができる。閉じた区域が、より低い平均値を有する隣接する閉じた区域と、より高い平均値を有する別の隣接する閉じた区域とを有する場合、現在の閉じた区域のサンプルが、現在の閉じた区域の平均値に最も近い平均値を有する隣接する閉じた区域に割り当てられる。

セグメントを導出する他の方法には、大津の閾値処理方法、Ｋ平均クラスタリングなどの色に基づくセグメント化、ウォーターシェッドセグメント化などの変換方法、または画像テキスチャフィルタといったセグメント化方法が含まれる。

この実施形態によれば、復号器で同じステップを実行するために、上記のエッジ検出またはセグメント化方法のいずれかに関係するパラメータをビットストリーム内でシグナリングすることができる。

加えて、この実施形態によれば、上記の方法のいずれかによるセグメント化は、ルミナンスサンプルブロックならびにクロミナンスサンプルブロックの両方に適用することができる。さらに、クロミナンスサンプルブロックはルミナンスサンプルブロックに基づいて予測され、逆も同様であることが想定される。

本発明の別の実施形態では、セグメントは、符号器側で決定され、ビットストリーム内で２値マスクとしてシグナリングされる。表４は、ｓｅｇｍｅｎｔ＿ｍａｓｋを使用することによるセグメントのシグナリングを行う方法を示す。

ここで、ｓｉｚｅ＿ｘおよびｓｉｚｅ＿ｙは、それぞれ水平方向および垂直方向におけるサンプルブロック内のサンプルの寸法を表す。たとえば、１６×１６のサンプルブロックの場合、ｓｉｚｅ＿ｘ＝ｓｉｚｅ＿ｙ＝１６である。パラメータｓｅｇｍｅｎｔ＿ｍａｓｋは、サンプルブロック内の各サンプルに対して値０および１をとることができ、サンプルがセグメントマスクに属する（値１）か否（値０）かを示す。第２のセグメントの予測係数ＲｅｓＳｃａｌｅＶａｌ２に関係するパラメータｌｏｇ２＿ｒｅｓ＿ｓｃａｌｅ＿ａｂｓ＿ｓｅｇ２＿ｐｌｕｓ１およびｒｅｓ＿ｓｃａｌｅ＿ｓｉｇｎ＿ｓｅｇ２＿ｆｌａｇは、上記の実施形態と同じ方法で規定される。

ｓｅｇｍｅｎｔ＿ｍａｓｋはまた、異なる形で符号化することができる。別法として、ランレングス符号化を使用して符号化することもできる。走査順序は、水平もしくは垂直ラスタ走査またはＺ走査とすることができる。セグメントマスクはまた、ＨＥＶＣにおけるＣＡＢＡＣなどの算術符号化でエントロピー符号化することができる。

この実施形態の一変形形態では、２値マスクは、符号化される前に、より低い分解能にダウンサンプリングされる。復号側では、この２値マスクは、セグメント化が適用される前に、元の分解能にアップサンプリングされる。

実施形態のさらに別の変形形態では、２値マスクは、分割フラグが設定されるとブロックが４つのより小さいブロックに分割されるＨＥＶＣにおける符号化単位（ＣＵ）４分木構造に類似の４分木構造を使用して符号化される。これを行う方法の一例を図６に示す。

上記の４分木セグメントマスク例では、４分木がＺ走査順序で横切られる場合、次のビットを符号化する必要があるはずである。
分割フラグ：１ ０ １ ００１１ １ １１００ ０
セグメントＩＤ：１ １ １ １１１０ １０００ １１１０ １０１０ ０ ０ ０
２値マスクに対する４分木構造がない場合、次のビットを符号化する必要があるはずである。
セグメントＩＤ：１１１１１１１１ １１１１１１１１ １１１１１１１０ １１１１１０００ １１１０００００ １０１０００００ ００００００００ ００００００００

４分木セグメントマスクは、ＨＥＶＣにおけるＣＡＢＡＣなどの算術符号化でエントロピー符号化することができる。異なるＣＡＢＡＣコンテキストを、分割フラグおよびセグメントＩＤに割り当てることもできる。

上記の実施形態では、シグナリングされるべきパラメータについて、ＨＥＶＣにおけるＣＣＰ構文を修正することによって例示した。しかし、これらのパラメータは、他のタイプの予測でも同様にシグナリングすることができることを理解されたい。たとえば、線形モデル（ＬＭ）による色差イントラ予測の場合、パラメータα_１、β_１、α_２、およびβ_２をシグナリングする必要があるはずであり、これらのパラメータは各々、大きさのそれぞれの底を２とする対数およびパラメータの符号によって同様に表すことができる。

セグメント化パラメータおよび予測パラメータはまた、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、スライスヘッダ、またはブロックヘッダでシグナリングすることができる。

上記の例では、ブロックをセグメント化するとき、１６×１６のサンプルからなるブロック寸法を使用した。しかし、セグメント化は、現在の符号化単位（ＣＵ）の寸法、たとえば８×８、１６×１６、３２×３２、６４×６４などに応じて、異なるブロック寸法に対して適用することができる。

一態様によれば、図８に示すように、ビデオシーケンスの符号化ピクチャを含むビットストリームを復号するために復号器２００によって実行される方法が提供される。符号化ピクチャ１１は、図７に示すように、少なくとも第１の符号化色成分１４および第２の符号化色成分１５を含み、第１の符号化色成分１４は、第１の符号化サンプルブロック１６を含み、第２の符号化色成分１５は、第２の符号化サンプルブロック１７を含む。この方法は、第１の符号化サンプルブロック１６および第２の符号化サンプルブロック１７を少なくとも第１のセグメント１８および第２のセグメント１９にセグメント化するステップＳ５を含む。この方法は、同じセグメントに属する第１の符号化サンプルブロック１６内のサンプル値から第２の符号化サンプルブロック１７内のサンプル値を予測するステップＳ６をさらに含む。

この方法は、任意選択で、符号化サンプルブロックのセグメント化および／または予測に関係する構文情報を取得するためにビットストリーム３を構文解析するステップＳ４を含む。このステップは、図８に示すように、ステップＳ５の前に実行される。

第１の符号化色成分１４は、符号化ルミナンス色成分とすることができ、第２の符号化色成分１５は、符号化クロミナンス色成分とすることができる。実際には一般的である上記の場合、符号化クロミナンス成分からの符号化サンプルブロックは、符号化ルミナンス成分からの対応する符号化サンプルブロックから予測される。しかし、本発明の実施形態は、符号化ルミナンス色成分からの符号化クロミナンス色成分の予測のみに限定されるものではなく、符号化ルミナンス色成分で予測のために符号化クロミナンス色成分を使用することができることも想定される。

第１の符号化サンプルブロック１６は、符号化プロセスで異なるステップから発生することができる。たとえば、第１の符号化サンプルブロック１６は、復号されたピクチャから発生することができる。第１の符号化サンプルブロック１６は、符号化イントラ／インター予測から発生することができる。別法として、第１の符号化サンプルブロック１６は、符号化残余サンプルブロックに対応することができる。さらに別の代替形態は、第１の符号化サンプルブロック１６が符号化イントラ／インター予測と符号化残余サンプルブロックとの組合せであることである。

符号化サンプルブロック内のサンプルがどのセグメントに属するかに関する情報は、復号側で導出することができ、またはビットストリーム内でシグナリングすることができる。たとえば、上記の表２に示すように、復号器でセグメント化を実行するときに使用されるべき閾値をシグナリングすることが可能である。その場合、同じ閾値が符号器と復号器の両方で使用される。別の選択肢は、正確な閾値をシグナリングするのではなく、復号されたサンプル値に基づいて復号器でセグメント化を実行することである。閾値は、サンプルブロック内のサンプル値の平均もしくは中央値として、または任意の他の方法によって得ることができる。しかし、この場合、符号器および復号器が閾値を決定するときに同じ方法を使用することが重要であり、これは、復号器で閾値を導出する方法をシグナリングすることによって確実にすることができる。別法として、上記のように、たとえばセグメント化マスクを使用することによって、サンプルがどのセグメントに属するかに関する正確な情報をシグナリングすることができる。

別法として、セグメント化は、エッジ検出、大津の閾値処理方法、色に基づくセグメント化、Ｋ平均クラスタリング、画像テキスチャフィルタ、および空間変換に基づくセグメント化方法のうちの１つを使用することによって実行することができる。この場合、符号器で実行されたステップと同じステップを復号器が実行するために、エッジ検出または上記のセグメント化方法のいずれかに関係するパラメータがビットストリーム内でシグナリングされる。

一実施形態によれば、セグメント化は、第１の符号化サンプルブロック１６上のみで実行され、このサンプルブロックからのセグメントは、第２の符号化サンプルブロック１７にコピーされ、したがって第１のサンプルブロック１６および第２のサンプルブロック１７内に同じ位置を有するサンプルは、同じセグメントに属する。

セグメントの少なくとも１つの中の第２の符号化サンプルブロック１７内のサンプル値は、第１の符号化サンプルブロック１６内の対応するセグメント内のサンプル値に基づいて予測される。これは、たとえば、線形モデルを使用することによって行うことができる。ＣＣＰおよび線形モデル（ＬＭ）を使用する色差イントラ予測は、線形予測モデルの例の一部にすぎない。ＣＣＰの場合、予測係数は、復号器にシグナリングすることができ、したがって復号器は、符号器と同じ予測パラメータに基づいて予測を実行することができる。このシグナリングについては上述した。予測パラメータは、任意の他の予測方法に対して同様にシグナリングすることもできる。

図９は、ビデオシーケンスのピクチャをビデオビットストリームに符号化する符号器１００の概略ブロック図である。ピクチャ１は、図２に示すように、少なくとも第１の色成分４および第２の色成分５を含み、第１の色成分４は、第１のサンプルブロック６を含み、第２の色成分５は、第２のサンプルブロック７を含む。符号器は、第１のブロック６および第２のブロック７内に同じピクチャ位置を有するサンプルが同じセグメントに属するように、第１のサンプルブロック６および第２のサンプルブロック７を少なくとも第１のセグメント８および第２のセグメント９にセグメント化するように設定されたセグメント化ユニット１７０を備える。符号器は、同じセグメントに属する第１のサンプルブロック６内のサンプル値に基づいて第２のサンプルブロック７内のサンプル値を予測するように設定された予測ユニット１８０をさらに備える。符号器は、任意選択で、セグメント化および／または予測に関係するパラメータをビットストリーム内でシグナリングするように設定されたシグナリングユニット１９０を備えることができる。セグメント化ユニット１７０、予測ユニット１８０、およびシグナリングユニット１９０は、ハードウェアベース、ソフトウェアベース（この場合、それぞれセグメント化モジュール、予測モジュール、およびシグナリングモジュールと呼ばれる）とすることができ、またはハードウェアとソフトウェアとの組合せとすることができる。

符号器１００は、ＨＥＶＣもしくはＨ．２６４／ＡＶＣに基づく符号器、または別の色成分に基づく１つの色成分の予測を利用する任意の他の現況技術の符号器とすることができる。

セグメント化ユニット１７０は、閾値より小さい値を有するサンプルが１つのセグメントに属し、閾値以上の値を有するサンプルが別のセグメントに属するように、閾値処理によってサンプルブロックをセグメント化することができる。セグメント化ユニット１７０はまた、エッジ検出、大津の閾値処理方法、色に基づくセグメント化、Ｋ平均クラスタリング、画像テキスチャフィルタ、および空間変換に基づくセグメント化方法のうちの１つを使用することによってサンプルブロックをセグメント化することができる。セグメント化ユニット１７０は、上記の技法の１つで第１のサンプルブロック６をセグメント化し、次いで、第１のサンプルブロック６および第２のサンプルブロック７内に同じピクチャ位置を有するサンプルが同じセグメントに属するように、第２のサンプルブロック７をセグメント化することができる。

予測ユニット１８０は、線形モデルを使用して、第１のサンプルブロック６内のサンプル値に基づいて第２のサンプルブロック７内のサンプル値を予測することができる。予測ユニットは、ＨＥＶＣで規定された成分間予測（ＣＣＰ）ツールを使用して、２つのセグメントに対する予測係数α_１（ＲｅｓＳｃａｌｅＶａｌ１）およびα_２（ＲｅｓＳｃａｌｅＶａｌ２）を取得することができる。本発明によれば、予測ユニットは、第１のサンプルブロック６内の第１のセグメント８内のサンプル値から第２のサンプルブロック７の第１のセグメント８内のサンプル値を予測する。加えて、予測ユニットは、第１のサンプルブロック６内の第２のセグメント９内のサンプル値に基づいて第２のサンプルブロック７内の第２のセグメント９内のサンプル値を予測する。したがって、予測ユニットは、２つの予測係数、ＲｅｓＳｃａｌｅＶａｌ１およびＲｅｓＳｃａｌｅＶａｌ２を決定する。予測ユニットは、線形モデル（ＬＭ）または任意の他のモデルを使用する色差イントラ予測など、任意の他の線形モデルを使用して、同じセグメントに属する第１のサンプルブロック６内のサンプル値に基づいて第２のサンプルブロック７内のサンプル値を予測することができる。

シグナリングユニット１９０は、セグメント閾値およびセグメント閾値処理方法など、セグメント化に関係するパラメータをシグナリングするように設定することができる。セグメント化がエッジ検出により実行される場合、シグナリングユニット１９０はまた、エッジ検出フィルタのタイプまたはそれに関連する任意の閾値など、エッジ検出に関係するパラメータをシグナリングするように設定することができる。シグナリングユニット１９０は同様に、２値セグメント化マスクをシグナリングするように設定することができる。セグメント化に関係するパラメータとは別に、シグナリングユニットは、線形予測モデルおよび対応する係数など、予測に関係するパラメータをシグナリングするように設定することができる。

符号器１００は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組合せで実施することができる。符号器１００は、移動電話、タブレット、デスクトップ、ネットブック、マルチメディアプレーヤ、ビデオストリーミングサーバ、セットトップボックス、またはコンピュータなどのユーザ機器内で実施することができる。符号器１００はまた、通信ネットワークまたはシステムにおいて、無線基地局などのネットワークノードの形をとりまたはネットワークノードに接続されたネットワークデバイス内で実施することができる。

図９に関連して開示するそれぞれのユニットは、デバイス内で物理的に別個のユニットとして開示されており、すべてＡＳＩＣ（特定用途向け集積回路）などの特殊目的回路とすることができるが、ユニットの一部またはすべてが汎用プロセッサ上で実行されるコンピュータプログラムモジュールとして実施されるデバイスの代替実施形態も可能である。そのような実施形態を図１０に開示する。

図１０は、ＤＳＰ（デジタル信号プロセッサ）またはＣＰＵ（中央演算処理装置）などの処理ユニット１１０を有するコンピュータ１６０の一実施形態を概略的に示す。処理ユニット１１０は、本明細書に記載する方法の異なるステップを実行する単一のユニットまたは複数のユニットとすることができる。コンピュータはまた、ビデオシーケンスを受け取る入出力（Ｉ／Ｏ）ユニット１２０を備える。Ｉ／Ｏユニット１２０は、図１０には単一のユニットとして示されているが、同様に、別個の入力ユニットおよび別個の出力ユニットの形をとることもできる。

さらに、コンピュータ１６０は、不揮発性メモリ、たとえばＥＥＰＲＯＭ（電気的消去可能プログラマブル読み取り専用メモリ）、フラッシュメモリ、またはディスクドライブの形をとる少なくとも１つのコンピュータプログラム製品１３０を備える。コンピュータプログラム製品１３０は、コンピュータプログラム１４０を備え、コンピュータプログラム１４０は、処理ユニット１１０などによってコンピュータ１６０上で実行されると、コンピュータ１６０に対して、図３に関連して上述した方法のステップを実行させる符号化手段を備える。

さらなる態様によれば、図１１に示す符号器１００が提供される。処理手段は、ＣＰＵ（中央演算処理装置）１１０によって例示される。処理手段は、図３に関連して上述した方法のステップを実行するように動作する。このことは、処理手段１１０が、第１のブロック６および第２のブロック７内に同じピクチャ位置を有するサンプルが同じセグメントに属するように、第１のサンプルブロック６および第２のサンプルブロック７を少なくとも第１のセグメント８および第２のセグメント９にセグメント化するように動作することを示唆する。そのことは、処理手段１１０が、同じセグメントに属する第１のサンプルブロック６内のサンプル値に基づいて第２のサンプルブロック７内のサンプル値を予測するように動作することをさらに示唆する。

図１２は、ビデオシーケンス２の符号化ピクチャ１１を含むビットストリーム３を復号する復号器２００の概略ブロック図である。符号化ピクチャ１１は、少なくとも第１の符号化色成分１４および第２の符号化色成分１５を含み、第１の符号化色成分１４は、第１の符号化サンプルブロック１６を含み、第２の符号化色成分１５は、第２の符号化サンプルブロック１７を含む。復号器２００は、第１の符号化サンプルブロック１６および第２の符号化サンプルブロック１７を少なくとも第１のセグメント１８および第２のセグメント１９にセグメント化するように設定されたセグメント化ユニット２８０を備える。復号器２００は、同じセグメントに属する第１の符号化サンプルブロック１６内のサンプル値から第２の符号化サンプルブロック１７内のサンプル値を予測するように設定された予測ユニット２９０を備える。復号器２００は、任意選択で、サンプルブロックのセグメント化および／または予測に関係する構文情報を取得するためにビットストリームを構文解析するように設定された構文解析ユニット２７０を備える。構文解析ユニット２７０、セグメント化ユニット２８０、および予測ユニット２９０は、ハードウェアベース、ソフトウェアベース（この場合、それぞれセグメント化モジュール、予測モジュール、およびシグナリングモジュールと呼ばれる）とすることができ、またはハードウェアとソフトウェアとの組合せとすることができる。

復号器２００は、ＨＥＶＣもしくはＨ．２６４／ＡＶＣに基づく復号器、または別の符号化色成分に基づく１つの符号化色成分の予測を利用する任意の他の現況技術の復号器とすることができる。

セグメント化ユニット２８０は、閾値より小さい値を有するサンプルが１つのセグメントに属し、閾値以上の値を有するサンプルが別のセグメントに属するように、閾値処理によって符号化サンプルブロックをセグメント化することができる。セグメント化ユニット２８０はまた、エッジ検出、大津の閾値処理方法、色に基づくセグメント化、Ｋ平均クラスタリング、画像テキスチャフィルタ、および空間変換に基づくセグメント化方法のうちの１つを使用することによって符号化サンプルブロックをセグメント化することができる。

予測ユニット２９０は、線形モデルを使用して、同じセグメントに属する第１の符号化サンプルブロック１６内のサンプル値に基づいて第２の符号化サンプルブロック１７内のサンプル値を予測することができる。予測ユニット２９０は、上記のＣＣＰツール、またはたとえば線形モデルによる色差イントラ予測などの任意の他の線形予測モデルを使用することができる。

任意選択の構文解析ユニット２７０は、サンプルブロックのセグメント化および／または予測に関係する構文情報を取得するためにビットストリームを構文解析するように設定することができる。たとえば、構文解析ユニット２７０は、ビットストリームからのセグメント化閾値を構文解析するように設定することができる。別法として、セグメント化がエッジ検出によって実行される場合、構文解析ユニット２７０は、使用されるエッジ検出フィルタに対するタイプおよび閾値を構文解析するように設定することができる。構文解析ユニット２７０は、ＣＣＰの場合はＲｅｓＳｃａｌｅＶａｌ１およびＲｅｓＳｃａｌｅＶａｌ２などの線形予測モデル係数、または任意の他の予測係数を構文解析するように設定することができる。

復号器２００は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組合せで実施することができる。復号器２００は、移動電話、タブレット、デスクトップ、ネットブック、マルチメディアプレーヤ、ビデオストリーミングサーバ、セットトップボックス、またはコンピュータなどのユーザ機器内で実施することができる。復号器２００はまた、通信ネットワークまたはシステムにおいて、無線基地局などのネットワークノードの形をとりまたはネットワークノードに接続されたネットワークデバイス内で実施することができる。

図１２に関連して開示するそれぞれのユニットは、デバイス内で物理的に別個のユニットとして開示されており、すべてＡＳＩＣ（特定用途向け集積回路）などの特殊目的回路とすることができるが、ユニットの一部またはすべてが汎用プロセッサ上で実行されるコンピュータプログラムモジュールとして実施されるデバイスの代替実施形態も可能である。そのような実施形態を図１３に開示する。

図１３は、ＤＳＰ（デジタル信号プロセッサ）またはＣＰＵ（中央演算処理装置）などの処理ユニット２１０を有するコンピュータ２６０の一実施形態を概略的に示す。処理ユニット２１０は、本明細書に記載する方法の異なるステップを実行する単一のユニットまたは複数のユニットとすることができる。コンピュータはまた、ビデオシーケンスを受け取る入出力（Ｉ／Ｏ）ユニット２２０を備える。Ｉ／Ｏユニット２２０は、図１３には単一のユニットとして示されているが、同様に、別個の入力ユニットおよび別個の出力ユニットの形をとることもできる。

さらに、コンピュータ２６０は、不揮発性メモリ、たとえばＥＥＰＲＯＭ（電気的消去可能プログラマブル読み取り専用メモリ）、フラッシュメモリ、またはディスクドライブの形をとる少なくとも１つのコンピュータプログラム製品２３０を備える。コンピュータプログラム製品２３０は、コンピュータプログラム２４０を備え、コンピュータプログラム２４０は、処理ユニット２１０などによってコンピュータ２６０上で実行されると、コンピュータ２６０に対して、図８に関連して上述した方法のステップを実行させる符号化手段を備える。

さらなる態様によれば、図１４に示す復号器２００が提供される。処理手段は、ＣＰＵ（中央演算処理装置）２１０によって例示される。処理手段は、図８に関連して上述した方法のステップを実行するように動作する。このことは、処理手段２１０が、第１の符号化サンプルブロック１６および第２の符号化サンプルブロック１７を少なくとも第１のセグメント１８および第２のセグメント１９にセグメント化するように動作することを示唆する。処理手段２１０は、同じセグメントに属する第１の符号化サンプルブロック１６内のサンプル値から第２の符号化サンプルブロック１７内のサンプル値を予測するようにさらに動作する。処理手段２１０は、任意選択で、サンプルブロックのセグメント化および／または予測に関係する構文情報を取得するためにビットストリーム３を構文解析するようにさらに動作する。

上記の実施形態は、本発明のいくつかの説明的な例であると理解されたい。本発明の範囲から逸脱することなく、様々な修正、組合せ、および変更を実施形態に加えることができることが、当業者には理解されよう。特に、技術的に可能な場合、異なる実施形態における異なる部分的な解決策を、他の構成で組み合わせることができる。

Claims (27)

1. ビデオシーケンス（２）のピクチャ（１）をビットストリーム（３）に符号化するために符号器（１００）によって実行される方法であって、前記ピクチャ（１）が、少なくとも第１の色成分（４）および第２の色成分（５）を含み、前記第１の色成分（４）が、第１のサンプルブロック（６）を含み、前記第２の色成分（５）が、第２のサンプルブロック（７）を含み、前記方法が、
   前記第１のサンプルブロック（６）および前記第２のサンプルブロック（７）内に同じ位置を有するサンプルが同じセグメントに属するように、前記第１のサンプルブロック（６）および前記第２のサンプルブロック（７）を少なくとも第１のセグメント（８）および第２のセグメント（９）にセグメント化すること（Ｓ１）と、
   前記同じセグメントに属する前記第１のサンプルブロック（６）内のサンプル値に基づいて前記第２のサンプルブロック（７）内のサンプル値を予測すること（Ｓ２）とを含む、方法。
2. 前記第１の色成分（４）が、ルミナンス色成分であり、前記第２の色成分（５）が、クロミナンス色成分である、請求項１に記載の方法。
3. 前記第１のサンプルブロック（６）が、符号化されるべき前記ピクチャ、イントラ／インター予測、残余、またはイントラ／インター予測と残余との組合せのうちの１つから発生する、請求項１または２に記載の方法。
4. セグメント化（Ｓ１）が、閾値より小さい値を有するサンプルが１つのセグメントに属し、前記閾値以上の値を有するサンプルが別のセグメントに属するように、閾値処理によって実行される、請求項１から３のいずれか一項に記載の方法。
5. セグメント化（Ｓ１）が、エッジ検出、大津の閾値処理方法、色に基づくセグメント化、Ｋ平均クラスタリング、画像テキスチャフィルタ、および空間変換に基づくセグメント化方法のうちの１つを使用することによって実行される、請求項１から３のいずれか一項に記載の方法。
6. 前記セグメントの少なくとも１つの中の前記第２のサンプルブロック（７）内の前記サンプル値が、線形モデルを使用することによって、前記第１のサンプルブロック（６）内の対応するセグメント内の前記サンプル値に基づいて予測される、請求項１から５のいずれか一項に記載の方法。
7. セグメント化（Ｓ１）に関係するパラメータおよび／または予測（Ｓ２）に関係するパラメータを前記ビットストリーム（３）内でシグナリングすること（Ｓ３）
   をさらに含む、請求項１から６のいずれか一項に記載の方法。
8. セグメント化（Ｓ１）および／または予測（Ｓ２）に関係する前記パラメータが、セグメント閾値、セグメント閾値処理方法、線形予測モデル係数、および２値セグメントマスクのうちの少なくとも１つを含む、請求項７に記載の方法。
9. 前記２値マスクが、４分木構造により符号化される、請求項８に記載の方法。
10. ビデオシーケンス（２）の符号化ピクチャ（１１）を含むビットストリーム（３）を復号するために復号器（２００）によって実行される方法であって、前記符号化ピクチャ（１１）が、少なくとも第１の符号化色成分（１４）および第２の符号化色成分（１５）を含み、前記第１の符号化色成分（１４）が、第１の符号化サンプルブロック（１６）を含み、前記第２の符号化色成分（１５）が、第２の符号化サンプルブロック（１７）を含み、前記方法が、
    前記第１の符号化サンプルブロック（１６）および前記第２の符号化サンプルブロック（１７）を少なくとも第１のセグメント（１８）および第２のセグメント（１９）にセグメント化すること（Ｓ５）と、
    同じセグメントに属する前記第１の符号化サンプルブロック（１６）内のサンプル値に基づいて前記第２の符号化サンプルブロック（１７）内のサンプル値を予測すること（Ｓ６）とを含む、方法。
11. 前記第１の符号化成分（１４）が、符号化ルミナンス色成分であり、前記第２の符号化成分（１５）が、符号化クロミナンス色成分である、請求項１０に記載の方法。
12. 前記第１の符号化サンプルブロック（１６）が、符号化イントラ／インター予測、残余、および符号化イントラ／インター予測と残余との組合せのうちの１つから発生する、請求項１０または１１に記載の方法。
13. セグメント化（Ｓ５）が、閾値より小さい値を有するサンプルが１つのセグメントに属し、前記閾値以上の値を有するサンプルが別のセグメントに属するように、閾値処理によって実行される、請求項１０から１２のいずれか一項に記載の方法。
14. 前記セグメントの少なくとも１つの中の前記第２の符号化サンプルブロック（１７）内の前記サンプル値が、線形モデルを使用することによって、前記第１の符号化サンプルブロック（１６）内の前記対応するセグメント内の前記サンプル値に基づいて予測される、請求項１０から１３のいずれか一項に記載の方法。
15. サンプルブロックのセグメント化および／または予測に関係する構文情報を取得するために前記ビットストリーム（３）を構文解析すること（Ｓ４）
    をさらに含む、請求項１０に記載の方法。
16. ビデオシーケンス（２）のピクチャ（１）をビデオビットストリーム（３）に符号化する符号器（１００）であって、前記ピクチャ（１）が、少なくとも第１の色成分（４）および第２の色成分（５）を含み、前記第１の色成分（４）が、第１のサンプルブロック（６）を含み、前記第２の色成分（５）が、第２のサンプルブロック（７）を含み、前記符号器（１００）が、処理手段（１１０）を備え、前記処理手段（１１０）が、
    前記第１のサンプルブロック（６）および前記第２のサンプルブロック（７）内に同じ位置を有するサンプルが同じセグメントに属するように、前記第１のサンプルブロック（６）および前記第２のサンプルブロック（７）を少なくとも第１のセグメント（８）および第２のセグメント（９）にセグメント化し、
    前記同じセグメントに属する前記第１のサンプルブロック（６）内のサンプル値に基づいて前記第２のサンプルブロック（７）内のサンプル値を予測するように動作する、符号器（１００）。
17. 前記処理手段（１１０）が、プロセッサ（１５０）およびメモリ（１３０）を備え、前記メモリ（１３０）が、前記プロセッサ（１５０）によって実行可能な命令を含む、請求項１６に記載の符号器（１００）。
18. 前記処理手段（１１０）が、
    セグメント化に関係するパラメータおよび／または予測に関係するパラメータを前記ビットストリーム（３）内でシグナリングするようにさらに動作する、請求項１６または１７に記載の符号器（１００）。
19. ビデオシーケンス（２）の符号化ピクチャ（１１）を含むビットストリーム（３）を復号する復号器（２００）であって、前記符号化ピクチャ（１１）が、少なくとも第１の符号化色成分（１４）および第２の符号化色成分（１５）を含み、前記第１の符号化色成分（１４）が、第１の符号化サンプルブロック（１６）を含み、前記第２の符号化色成分（１５）が、第２の符号化サンプルブロック（１７）を含み、前記復号器（２００）が、処理手段（２１０）を備え、前記処理手段（２１０）が、
    前記第１の符号化サンプルブロック（１６）および前記第２の符号化サンプルブロック（１７）を少なくとも第１のセグメント（１８）および第２のセグメント（１９）にセグメント化し、
    同じセグメントに属する前記第１の符号化サンプルブロック（１６）内のサンプル値から前記第２の符号化サンプルブロック（１７）内のサンプル値を予測するように動作する、復号器（２００）。
20. 前記処理手段（２１０）が、プロセッサ（２５０）およびメモリ（２３０）を備え、前記メモリ（２３０）が、前記プロセッサ（２５０）によって実行可能な命令を含む、請求項１９に記載の復号器（２００）。
21. 前記処理手段（２１０）が、
    サンプルブロックのセグメント化および／または予測に関係する構文情報を取得するために前記ビットストリーム（３）を構文解析するようにさらに動作する、請求項１９または２０に記載の復号器（２００）。
22. ビデオシーケンス（２）のピクチャ（１）をビデオビットストリーム（３）に符号化するコンピュータプログラム（１４０）であって、前記ピクチャ（１）が、少なくとも第１の色成分（４）および第２の色成分（５）を含み、前記第１の色成分（４）が、第１のサンプルブロック（６）を含み、前記第２の色成分（５）が、第２のサンプルブロック（７）を含み、前記コンピュータプログラム（１４０）が、符号化手段を備え、前記符号化手段が、コンピュータ（１６０）上で実行されると、前記コンピュータ（１６０）に対して、
    前記第１のブロック（６）および前記第２のブロック（７）内に同じ位置を有するサンプルが同じセグメントに属するように、前記第１のサンプルブロック（６）および前記第２のサンプルブロック（７）を少なくとも第１のセグメント（８）および第２のセグメント（９）にセグメント化させ、
    前記同じセグメントに属する前記第１のサンプルブロック（６）内のサンプル値に基づいて前記第２のサンプルブロック（７）内のサンプル値を予測させる、コンピュータプログラム（１４０）。
23. 前記コンピュータ（１６０）に対してさらに、セグメント化に関係するパラメータおよび／または予測に関係するパラメータを前記ビットストリーム（３）内でシグナリングさせる、請求項２２に記載のコンピュータプログラム（１４０）。
24. ビデオシーケンスの符号化ピクチャ（１１）を含むビットストリーム（３）を復号するコンピュータプログラム（２４０）であって、前記符号化ピクチャ（１１）が、少なくとも第１の符号化色成分（１４）および第２の符号化色成分（１５）を含み、前記第１の符号化色成分（１４）が、第１の符号化サンプルブロック（１６）を含み、前記第２の符号化色成分（１５）が、第２の符号化サンプルブロック（１７）を含み、前記コンピュータプログラム（２４０）が、符号化手段を備え、前記符号化手段が、コンピュータ（２６０）上で実行されると、前記コンピュータ（２６０）に対して、
    前記第１の符号化サンプルブロック（１６）および前記第２の符号化サンプルブロック（１７）を少なくとも第１のセグメント（１８）および第２のセグメント（１９）にセグメント化させ、
    同じセグメントに属する前記第１の符号化サンプルブロック（１６）内のサンプル値から前記第２の符号化サンプルブロック（１７）内のサンプル値を予測させる、コンピュータプログラム（２４０）。
25. 前記コンピュータ（２６０）に対してさらに、サンプルブロックのセグメント化および／または予測に関係する構文情報を取得するために前記ビットストリーム（３）を構文解析させる、請求項２４に記載のコンピュータプログラム（２４０）。
26. コンピュータ可読手段（３１０）と、前記コンピュータ可読手段（３１０）上に記憶された請求項２２または２３に記載のコンピュータプログラム（１４０）とを備えるコンピュータプログラム製品（３００）。
27. コンピュータ可読手段（４１０）と、前記コンピュータ可読手段（４１０）上に記憶された請求項２４または２５に記載のコンピュータプログラム（２４０）とを備えるコンピュータプログラム製品（４００）。