JP2018107692A - 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体 - Google Patents

Abstract

【課題】イントラ予測の予測確度を高める。
【解決手段】動画像復号装置１０２は、イントラ予測を用いて符号化されるブロックを含む動画像を表すビットストリームを復号するエントロピー復号部６０２と、復号の結果得られるブロックのレベル値を逆量子化および逆変換してブロックの差分値を生成する逆量子化・逆変換部６０４と、ブロックの周りの再構成済みブロックに基づくイントラ予測によりブロックの予測値を生成するイントラ予測部６１０と、生成された差分値および生成された予測値に基づいてブロックを再構成する再構成部６０６と、を備える。イントラ予測部は、ブロックの輝度成分と色差成分との間の非線形モデルを用いて、ブロックの色差成分の予測値を生成する。
【選択図】図６

Description

本発明は、動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体に関する。

イントラ予測またはインター予測と、残差変換と、エントロピー符号化とを用いた動画像符号化方式が提案されている。イントラ予測を用いることにより、画像の空間的な冗長性を減少させることができる。イントラ予測の基本的なメカニズムは以下の通りである。まず、予測ブロック（の上および左）に隣接する参照ラインを生成し、予測ブロック中の原サンプルを選択された予測方向に沿って参照ラインに投影する。その後、参照ラインのサンプルとそこに投影された原サンプルとの差分（残差、誤差）は変換、量子化される。

一般に、処理対象のブロックの輝度成分および色差成分のそれぞれに対してイントラ予測が行われる。特許文献１には、輝度成分と色差成分との間の線形モデルを用いて、色差成分のイントラ予測を行う技術が開示されている。

特開２０１４−１９５１４２号公報

Siwei Ma, Shiqi Wang, Shanshe Wang, Liang Zhao, Qin Yu, Wen Gao, "Low Complexity Rate Distortion Optimization for HEVC", 2013 Data Compression Conference.

特許文献１に記載の技術によると、良好なイントラ予測を実現することができる。しかしながら、これにとどまることなく、イントラ予測の確度をさらに高めることが望まれている。

本発明はこうした課題に鑑みてなされたものであり、その目的は、イントラ予測の確度を高めることができる技術の提供にある。

本発明のある態様は、動画像復号装置に関する。この動画像復号装置は、イントラ予測を用いて符号化されるブロックを含む動画像を表すビットストリームを復号する復号手段と、復号の結果得られるブロックのレベル値を逆量子化および逆変換してブロックの差分値を生成する逆処理手段と、ブロックの周りの再構成済みブロックに基づくイントラ予測によりブロックの予測値を生成するイントラ予測手段と、生成された差分値および生成された予測値に基づいてブロックを再構成する再構成手段と、を備える。イントラ予測手段は、ブロックの輝度成分と色差成分との間の非線形モデルを用いて、ブロックの色差成分の予測値を生成する。

本発明の別の態様は、動画像符号化装置である。この動画像符号化装置は、動画像のブロックの周りの符号化済みブロックに基づくイントラ予測によりブロックの予測値を生成するイントラ予測手段と、生成された予測値に基づいてブロックの差分値を生成する差分生成手段と、生成された差分値を変換および量子化し、レベル値を生成する処理手段と、生成されたレベル値を符号化してビットストリームを生成する符号化手段と、を備える。イントラ予測手段は、ブロックの輝度成分と色差成分との間の非線形モデルを用いて、ブロックの色差成分の予測値を生成する。

なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、イントラ予測の確度を高めることができる。

実施の形態に係る配信システムの構成を示す模式図である。 図１の動画像符号化装置の機能および構成を示すブロック図である。 図２のイントラ予測部における一連の処理の流れを示すフローチャートである。 ＣＣＮＭモードにおける一連の処理の流れを示すフローチャートである。 図５（ａ）、（ｂ）は、処理対象Ｙブロックおよび処理対象Ｃｂブロックをそれぞれ示す模式図である。 図１の動画像復号装置の機能および構成を示すブロック図である。 図６のイントラ予測部における一連の処理の流れを示すフローチャートである。 図８（ａ）、（ｂ）は、処理対象Ｙブロックおよび処理対象Ｃｂブロックに対して選択される第１変形例に係る参照ラインを示す模式図である。 図９（ａ）、（ｂ）は、参照ラインが複数のブロックに跨がる場合の重み付けを説明するための模式図である。 図１０（ａ）、（ｂ）は、ひとつのブロックから複数の参照ラインが選択される場合の重み付けを説明するための模式図である。 第２変形例に係るイントラ予測部における一連の処理の流れを示すフローチャートである。 図１２（ａ）、（ｂ）は、第４変形例に係る予測モデルの説明図である。

以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

実施の形態では、動画像符号化／復号（video encoding/decoding）のイントラ予測（intra-prediction、画面内予測）において、色差成分（chroma component）の予測値を対応する輝度成分（luma component）を入力とする非線形モデルから算出する。その際、非線形モデルのパラメータは、予測対象のブロックの周りの符号化済み／再構成済みブロックの輝度成分、色差成分それぞれの参照ラインに基づき算出される。これにより、シグナリングされるデータ量の増大を抑えつつ、より確度の高い色差成分のイントラ予測を実現することができる。

図１は、実施の形態に係る配信システム１００の構成を示す模式図である。配信システム１００は、動画像を配信する動画像配信サービスにおいて使用されるシステムである。動画像配信サービスは例えばＶＯＤ（Video On Demand）であってもよい。配信システム１００はインターネットなどのネットワーク１０６を介して、ユーザサイトに設置されているセットトップボックスやパーソナルコンピュータなどの動画像復号装置１０２と接続される。動画像復号装置１０２は、テレビ受像機やモニタなどの表示装置１０４と接続される。動画像復号装置１０２および表示装置１０４は合わせてスマートフォンなどの携帯端末を構成してもよい。

なお、動画像配信サービスにおける配信システムは一例であり、動画像の符号化または復号を含む任意のシステムやサービスに、本実施の形態に係る技術的思想を適用できることは、本明細書に触れた当業者には明らかである。

配信システム１００は、ネットワーク１０６を介してユーザから観たい動画コンテンツの指定を受ける。配信システム１００は、指定された動画コンテンツのデータを符号化してビットストリームＢＳを生成する。配信システム１００は、生成されたビットストリームＢＳをネットワーク１０６を介して要求元のユーザの動画像復号装置１０２に送信する。動画像復号装置１０２は受信したビットストリームＢＳを復号して動画像データを生成し、表示装置１０４に送信する。表示装置１０４は、受信した動画像データを処理し、指定された動画コンテンツを出力する。

配信システム１００は、動画像ＤＢ（データベース）１０８と、動画像符号化装置１１０と、を備える。動画像ＤＢ１０８は、動画像のデータを保持する。動画像符号化装置１１０は、指定された動画コンテンツに対応する動画像データを動画像ＤＢ１０８から取得し、取得された動画像データを符号化し、動画像を表すビットストリームＢＳを生成する。

図２は、図１の動画像符号化装置１１０の機能および構成を示すブロック図である。本明細書のブロック図に示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解される。動画像符号化装置１１０を実現するコンピュータプログラムは、コンピュータが読み取り可能な記録媒体に記憶されて、又は、ネットワーク経由で配布が可能なものであってもよい。

動画像符号化装置１１０は、フレームバッファ２０２と、インループフィルタ２０４と、インター予測部２０６と、イントラ予測部２０８と、変換・量子化部２１０と、エントロピー符号化部２１２と、逆量子化・逆変換部２１４と、減算部２１８と、加算部２２０と、ブロック分割部２２２と、を備える。

ブロック分割部２２２は、動画像ＤＢ１０８からの動画像データ（video data）に含まれる符号化対象のピクチャ（picture）を複数のブロック（block）に分割する。ブロックのサイズは様々であり、複数のブロックは四分木構造を有する。複数のブロックは二分木構造を有してもよい。ブロック分割部２２２におけるピクチャのブロックへの分割はＨＥＶＣ（High Efficiency Video Coding）におけるピクチャのブロックへの分割に準じる。ブロック分割部２２２は処理対象ブロックを減算部２１８とインター予測部２０６とイントラ予測部２０８とに出力する。

インター予測部２０６には、フレームバッファ２０２から処理対象ブロックに対応する参照ピクチャが入力される。インター予測部２０６は、入力された参照ピクチャに基づき、インター予測（inter-prediction、画面間予測）により処理対象ブロックの動き補償画像を出力する。

イントラ予測部２０８には、処理対象ブロックの周りの符号化済みブロック（既に符号化処理されたブロック）の画像データが加算部２２０から入力される。イントラ予測部２０８は、入力された符号化済みブロックの画素値に基づくイントラ予測により、処理対象ブロックの画素の予測値を生成し、出力する。処理対象ブロックにインター予測を適用するか、イントラ予測を適用するかに応じて、インター予測部２０６の出力またはイントラ予測部２０８の出力のいずれか一方が減算部２１８に出力される。

画素値は輝度成分と色差成分とを含む。本実施の形態では輝度成分としてＹを、色差成分としてＣｂ、Ｃｒを用い、カラーフォーマットとして４：２：０を用いる場合を説明する。しかしながら、他の輝度成分／色差成分や他のカラーフォーマット（例えば、４：４：４、４：２：２）が採用される場合にも本実施の形態に係る技術的思想を適用できることは、本明細書に触れた当業者には明らかである。

以下、処理対象ブロックの輝度成分（Ｙ）からなるブロックを処理対象Ｙブロック、二つの色差成分（Ｃｂ、Ｃｒ）からなるブロックをそれぞれ処理対象Ｃｂブロック、処理対象Ｃｒブロックと称す。カラーフォーマットは４：２：０であるから、処理対象Ｙブロックのサイズが１６×１６画素であれば、対応する処理対象Ｃｂブロック（処理対象Ｃｒブロック）のサイズはダウンサンプリングにより８×８画素となり、処理対象Ｙブロックのサイズよりも小さい。

減算部２１８は、処理対象Ｙブロック、処理対象Ｃｂブロック、処理対象Ｃｒブロックのそれぞれについて、画素の実際の画素値と、インター予測またはイントラ予測で生成される対応する予測値と、の間で減算を行い、画素の差分値（予測残差信号）を生成する。減算部２１８は、生成された差分値を変換・量子化部２１０に出力する。

変換・量子化部２１０は、減算部２１８から取得された処理対象ブロックの画素の差分値を変換（例えば、直交変換）および量子化し、レベル値を生成する。変換・量子化部２１０は、生成されたレベル値をエントロピー符号化部２１２および逆量子化・逆変換部２１４に出力する。

エントロピー符号化部２１２は、変換・量子化部２１０によって生成されたレベル値と、インター予測部２０６やイントラ予測部２０８から取得されるサイド情報と、をエントロピー符号化して、ビットストリームＢＳを生成する。

なお、サイド情報（side information）は、復号装置において使用される画素値の再構成に必要な情報であり、イントラ予測またはインター予測の何れを使用したかを示す予測モード、インター予測における動き情報、量子化パラメータ、ブロックサイズ等の関連情報を含む。

輝度成分のイントラ予測の種別を示す予測モードとして、ＨＥＶＣで規定される３５種類のイントラ予測モード（intra prediction mode）を採用する。３５種類のイントラ予測モードは、Ｐｌａｎａｒモード、ＤＣモードおよび３３種類の方向性モード（directional mode）からなる。３３種類の方向性モードはそれぞれ異なる予測方向（prediction direction）を有する。

色差成分のイントラ予測の種別を示す予測モードとして、ＨＥＶＣで規定される５種類のイントラ予測モードに本実施の形態に係るＣＣＮＭ（Cross Component Nonlinear prediction Model）モードを加えた６種類を採用する。５種類の既存のイントラ予測モードはＰｌａｎａｒモード、ＤＣモード、２種類の方向性モード（Horizontal, Vertical）およびＤｅｒｉｖｅｄ／Ｕｐｒｉｇｈｔモードからなる。

逆量子化・逆変換部２１４は、変換・量子化部２１０における処理とは逆の処理を行って処理対象ブロックの画素の差分値を生成する。
加算部２２０は、逆量子化・逆変換部２１４が出力する差分値と、インター予測またはイントラ予測で生成される対応する予測値と、を加算して処理対象ブロックの画素の画素値を再構成する。加算部２２０は、再構成されたブロックを、イントラ予測部２０８とインループフィルタ２０４とに出力する。

インループフィルタ２０４は、処理対象のフレームに対応する局所復号画像を生成してフレームバッファ２０２に出力する。フレームバッファ２０２は、局所復号画像を保持する。この局所復号画像は、インター予測部２０６におけるインター予測に使用される。

図３は、図２のイントラ予測部２０８における一連の処理の流れを示すフローチャートである。イントラ予測部２０８は、ブロック分割部２２２から処理対象ブロックを取得する（Ｓ３０２）。イントラ予測部２０８は、取得された処理対象ブロックの周りの符号化済みブロックに基づくイントラ予測により、処理対象ブロックの輝度成分に適用されるべきイントラ予測モードを決定し、かつ、決定されたイントラ予測モードにしたがい予測値を生成し、出力する（Ｓ３０４）。ステップＳ３０４における輝度成分のイントラ予測は、ＨＥＶＣのイントラ予測により実現されてもよい。イントラ予測部２０８は、ステップＳ３０４で決定された輝度成分のイントラ予測モードを含むサイド情報を生成し、エントロピー符号化部２１２に出力する。

イントラ予測部２０８は、処理対象ブロックの色差成分について、ＣＣＮＭモードを含む６種類のイントラ予測モードのそれぞれで予測した場合のＲ−Ｄコストを算出する（Ｓ３０６）。Ｒ−Ｄコストは、例えば非特許文献１に記載されるｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎで用いられるｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｃｏｓｔであってもよい。イントラ予測部２０８は、算出されたＲ−Ｄコストに基づいて、処理対象ブロックの色差成分に適用されるべきイントラ予測モードを決定する（Ｓ３０８）。例えばイントラ予測部２０８は、６種類のイントラ予測モードのなかから、算出されたＲ−Ｄコストが最小となるイントラ予測モードを適用されるべきイントラ予測モードとして選択する。イントラ予測部２０８は、処理対象ブロックの色差成分の予測値を決定されたイントラ予測モードにしたがい生成し、出力する（Ｓ３１０）。イントラ予測部２０８は、上述の通り輝度成分のサイド情報が生成された後、ステップＳ３０８で決定された色差成分のイントラ予測モードを含むサイド情報を生成し、エントロピー符号化部２１２に出力する（Ｓ３１０）。

図３のステップＳ３０６で用いられるＣＣＮＭモードについてより詳細に説明する。ＣＣＮＭモードでは、イントラ予測部２０８は、処理対象Ｙブロックと処理対象Ｃｂブロックとの間の非線形モデルを用いて、該処理対象Ｃｂブロックの予測値を生成する。処理対象Ｃｒブロックについても同様であるから、以下では処理対象Ｃｂブロックの予測値の生成を説明し、処理対象Ｃｒブロックの予測値の生成については説明を省略する。

図４は、ＣＣＮＭモードにおける一連の処理の流れを示すフローチャートである。図５（ａ）、（ｂ）は、処理対象Ｙブロック５０２および処理対象Ｃｂブロック５０４をそれぞれ示す模式図である。本例では、処理対象ブロックおよびその周りの符号化済みブロックはいずれも１６×１６画素とする。したがって、処理対象Ｙブロック５０２は１６×１６画素のサイズを有し、処理対象Ｃｂブロック５０４は８×８画素のサイズを有する。なお、３２×３２画素、８×８画素などの他のサイズの対称的な処理対象ブロックや、１６×８画素、１６×４画素、８×１６画素、８×３２画素などの非対称的な処理対象ブロックに、本実施の形態に係る技術的思想を適用できることは、本明細書に触れた当業者には明らかである。

図５（ａ）、（ｂ）に示される例では、処理対象ブロックの周りには５つの符号化済みブロックがあり、そのそれぞれはＹブロック（以下、符号化済みＹブロックと称す）およびＣｂブロック（以下、符号化済みＣｂブロックと称す）を有する。

ピクチャは左上のブロックから水平方向にジグザグに符号化されていく。したがって、処理対象Ｙブロック５０２の周りには、処理対象Ｙブロック５０２の上に接する第２符号化済みＹブロック５０８と、処理対象Ｙブロック５０２の左に接する第４符号化済みＹブロック５１２と、第２符号化済みＹブロック５０８の左に接する第１符号化済みＹブロック５０６と、第２符号化済みＹブロック５０８の右に接する第３符号化済みＹブロック５１０と、第４符号化済みＹブロック５１２の下に接する第５符号化済みＹブロック５１４と、がある。処理対象Ｃｂブロック５０４の周りには、処理対象Ｃｂブロック５０４の上に接する第２符号化済みＣｂブロック５１８と、処理対象Ｃｂブロック５０４の左に接する第４符号化済みＣｂブロック５２２と、第２符号化済みＣｂブロック５１８の左に接する第１符号化済みＣｂブロック５１６と、第２符号化済みＣｂブロック５１８の右に接する第３符号化済みＣｂブロック５２０と、第４符号化済みＣｂブロック５２２の下に接する第５符号化済みＣｂブロック５２４と、がある。

イントラ予測部２０８は、処理対象ブロックの周りの符号化済みブロックに含まれる複数のラインから参照ラインを選択する（Ｓ４０２）。イントラ予測部２０８は、第４符号化済みＣｂブロック５２２に含まれる上下方向に延びるラインのうち処理対象Ｃｂブロック５０４に隣接するラインと、該ラインと繋がる第５符号化済みＣｂブロック５２４のラインと、を合わせた左隣接Ｃｂ参照ライン５２６を選択する。イントラ予測部２０８は、第２符号化済みＣｂブロック５１８に含まれる左右方向に延びるラインのうち処理対象Ｃｂブロック５０４に隣接するラインと、該ラインと繋がる第３符号化済みＣｂブロック５２０のラインと、を合わせた上隣接Ｃｂ参照ライン５２８を選択する。

なお、イントラ予測の際に第５符号化済みＣｂブロック５２４が利用可能でない場合、左隣接Ｃｂ参照ライン５２６のうち利用可能でない部分の画素の画素値は、第４符号化済みＣｂブロック５２２のラインの下端の画素の画素値を複製することにより構成される。第３符号化済みＣｂブロック５２０が利用可能でない場合も同様である。

イントラ予測部２０８は、選択された左隣接Ｃｂ参照ライン５２６および上隣接Ｃｂ参照ライン５２８のそれぞれに対応する符号化済みＹブロック５０６、５０８、５１０、５１２、５１４の左隣接Ｙ参照ライン５３０、上隣接Ｙ参照ライン５３２を特定する。左隣接Ｙ参照ライン５３０は第４符号化済みＹブロック５１２、第５符号化済みＹブロック５１４に跨がるラインであり、上隣接Ｙ参照ライン５３２は第２符号化済みＹブロック５０８、第３符号化済みＹブロック５１０に跨がるラインである。

イントラ予測部２０８は、ステップＳ３０４において実行された輝度成分のイントラ予測により既に生成されている処理対象Ｙブロック５０２の再構成値ならびにステップＳ４０２で特定された左隣接Ｙ参照ライン５３０および上隣接Ｙ参照ライン５３２、をダウンサンプリングする（Ｓ４０４）。このダウンサンプリングは、動画像のカラーフォーマットに応じたレートで行われる。例えば、図５（ａ）、（ｂ）の例では、Ｙブロックの２×２画素（＝４画素）を１画素にするダウンサンプリングが行われ、これはカラーフォーマット４：２：０に対応する。図５（ａ）において右上から左下へと向かう斜線でハッチングされた丸５３４は、対応する２×２画素の領域５３６がそれらの画素の再構成値の内挿により得られる画素値を有する１画素にダウンサンプリングされることを示す。白抜きの丸５３８は、対応する３×２画素の領域５４０がそれらの画素の再構成値の内挿により得られる画素値を有する１画素にダウンサンプリングされることを示す。他の実施の形態において輝度成分のサイズと色差成分のサイズとが同じである場合はダウンサンプリングは行われない。

イントラ予測部２０８は、ダウンサンプリングの結果得られる処理対象Ｙブロック５０２の画素（白抜きの丸５３８）の画素値、左隣接Ｙ参照ライン５３０および上隣接Ｙ参照ライン５３２（右上から左下へと向かう斜線でハッチングされた丸５３４）をフィルタリングする（Ｓ４０６）。フィルタリングは色差成分とダウンサンプリング後の輝度成分との整合の度合いを高めるための処理であり、例えば平滑化処理であってもよい。この平滑化処理で用いられるフィルタはローパスフィルタ、例えばガウシアンフィルタであってもよい。フィルタ係数の一例は（１／４、１／２、１／４）であるが、これに限定されない。

あるいはまた、処理対象Ｙブロック５０２のイントラ予測モードがＰｌａｎａｒモード、ＤＣモードのいずれでもない場合、方向性フィルタ（directional filter）によるフィルタリングが行われてもよい。この方向性フィルタの方向は、処理対象Ｙブロック５０２に適用された方向性モードの予測方向に基づいて決定されてもよい。処理対象Ｙブロック５０２のイントラ予測モードがＰｌａｎａｒモードまたはＤＣモードのいずれかである場合、非方向性フィルタ（non-directional filter）によるフィルタリングが行われてもよい。このように、輝度成分のイントラ予測における予測方向の有無およびその角度に応じて、適用するフィルタを変えてもよい。

イントラ予測部２０８は、フィルタリングの結果得られる左隣接Ｙ参照ライン５３０および上隣接Ｙ参照ライン５３２ならびにステップＳ４０２で選択された左隣接Ｃｂ参照ライン５２６および上隣接Ｃｂ参照ライン５２８に基づいて非線形モデルのパラメータを決定する（Ｓ４０８）。本実施の形態では、非線形モデルは、色差成分を対応する輝度成分の多項式で表すモデルである。ｃをＣｂ成分の値、ｙを対応するＹ成分の値とすると、ｃはｙの多項式として以下の式１で表される。

…（式１）
ここで、

は、多項式モデルのパラメータである。Ｎは３以上の自然数であり、予め定められた同じ値が符号化装置および復号装置の両方に保持される。あるいはまた、符号化装置は適応的にＮの値を決定し、ビットストリームに含めて復号装置に伝送してもよい。なお、Ｎ＝２は線形モデルに対応する。Ｎの値を増やすと予測の確度は向上するが、モデルはより複雑となり、演算量が増大する。したがって、Ｎの値を、例えば予測の確度の向上による影響と、演算量の増大による影響と、が拮抗する値、例えば３に設定してもよい。

ステップＳ４０８では、イントラ予測部２０８はパラメータａ_ｉを決定するために最小二乗法（Least squares method）による線形回帰（Linear regression）分析を行う。上記の多項式モデルを以下の式２で書き直すことができる。

…（式２）
ここで、

Ｍはパラメータの評価に用いられるサンプルの総数であり、図５（ａ）、（ｂ）の例では左隣接Ｃｂ参照ライン５２６および上隣接Ｃｂ参照ライン５２８に含まれる画素の総数（＝３２）である。式２を解くことにより、パラメータベクトルＡは以下の式３により求められる。

…（式３）
イントラ予測部２０８は、処理対象Ｃｂブロック５０４の参照ラインおよび処理対象Ｙブロック５０２の参照ラインから得られる再構成値を式３に代入することでパラメータベクトルＡを算出する。その際、処理対象Ｃｂブロック５０４の参照ラインの画素（例えば、丸５４２の画素）の再構成値と、処理対象Ｙブロック５０２の参照ラインの対応するダウンサンプリング後の画素（例えば、丸５３４の画素）の再構成値と、が測定値の組（ｃ_ｊ、ｙ_ｊ）とされる。

図５（ａ）、（ｂ）の例では、左隣接Ｃｂ参照ライン５２６に含まれる１６個の画素の再構成されたＣｂ値を下からｃ_０〜ｃ_１５とし、左隣接Ｙ参照ライン５３０に含まれるダウンサンプリングおよびフィルタリング後の１６個の画素の再構成されたＹ値を下からｙ_０〜ｙ_１５とする。上隣接Ｃｂ参照ライン５２８に含まれる１６個の画素の再構成されたＣｂ値を左からｃ_１６〜ｃ_３１とし、上隣接Ｙ参照ライン５３２に含まれるダウンサンプリングおよびフィルタリング後の１６個の画素の再構成されたＹ値を左からｙ_１６〜ｙ_３１とする。

イントラ予測部２０８は、非線形モデルを用いて処理対象Ｃｂブロック５０４の予測値を生成する（Ｓ４１０）。イントラ予測部２０８は、ステップＳ４０８で決定されたパラメータａ_ｉを式１に適用する。イントラ予測部２０８は、ステップＳ４０６におけるフィルタリングの結果得られる処理対象Ｙブロック５０２の画素の再構成値を式１のｙに代入することで、処理対象Ｃｂブロック５０４の対応する画素の予測値ｃを算出する。図５（ａ）、（ｂ）の例では、例えば処理対象Ｃｂブロック５０４の画素５４４の予測値は、処理対象Ｙブロック５０２のダウンサンプリング後の対応する画素５４６の再構成値を式１に代入することで算出される。イントラ予測部２０８は処理対象Ｃｂブロック５０４の全ての画素について同様に予測値を算出する。

図６は、図１の動画像復号装置１０２の機能および構成を示すブロック図である。動画像復号装置１０２は、エントロピー復号部６０２と、逆量子化・逆変換部６０４と、加算部６０６と、インター予測部６０８と、イントラ予測部６１０と、フレームバッファ６１２と、インループフィルタ６１４と、を備える。動画像復号装置１０２は、基本的には動画像符号化装置１１０で行われる手順と逆の手順により、ビットストリームＢＳから出力動画像データを得る。

エントロピー復号部６０２は、ネットワーク１０６を介して配信システム１００からビットストリームＢＳを受信する。エントロピー復号部６０２は、受信したビットストリームをエントロピー復号し、レベル値とサイド情報とを取り出す。なお、ビットストリームからサイド情報およびレベル値を得る処理はパース（parse）処理と称される。このようにして得られたサイド情報およびレベル値を用いて画素値を再構成することは、復号処理と称される。

逆量子化・逆変換部６０４は、エントロピー復号の結果得られる処理対象ブロックのレベル値を逆量子化および逆変換して処理対象ブロックの画素の差分値を生成する。
加算部６０６は、処理対象ブロックがイントラ予測されたものであるかインター予測されたものであるかに応じて、インター予測部６０８またはイントラ予測部６１０で生成される予測値を取得する。加算部６０６は、Ｙ、Ｃｂ、Ｃｒの各成分について、逆量子化・逆変換部６０４によって生成された差分値と、取得された対応する予測値と、を加算して処理対象ブロックの各成分の画素の画素値を再構成する。加算部６０６は、再構成された処理対象ブロックの各成分をイントラ予測部６１０とインループフィルタ６１４とに出力する。

インター予測部６０８には、フレームバッファ６１２から処理対象ブロックに対応する参照ピクチャが入力される。インター予測部６０８は、入力された参照ピクチャに基づき、インター予測により処理対象ブロックの動き補償画像を出力する。

イントラ予測部６１０には、処理対象ブロックの周りの再構成済みブロック（既に復号処理されたブロック、または既に再構成されたブロック）の画像データが加算部６０６から入力される。イントラ予測部６１０は、入力された再構成済みブロックの画素値に基づくイントラ予測により、処理対象ブロックの画素の予測値を生成し、出力する。

インループフィルタ６１４は例えばデブロックフィルタである。インループフィルタ６１４は、処理対象のフレームに対応する局所復号画像を生成してフレームバッファ６１２に出力する。この局所復号画像は、インター予測部６０８におけるインター予測に使用されると同時に、出力動画像データとして表示装置１０４に出力される。

図７は、図６のイントラ予測部６１０における一連の処理の流れを示すフローチャートである。イントラ予測部６１０は、エントロピー復号部６０２で取り出されたサイド情報のうち、処理対象ブロックの輝度成分についてのイントラ予測モードを取得する（Ｓ７０２）。イントラ予測部６１０は、取得されたイントラ予測モードに基づき、処理対象ブロックの周りの再構成済みブロックの輝度成分に含まれるラインのなかから参照ラインを特定する（Ｓ７０４）。イントラ予測部６１０は、ステップＳ７０２で取得されたイントラ予測モードにしたがい、ステップＳ７０４で特定された参照ラインを用いて輝度成分のイントラ予測を行う（Ｓ７０６）。イントラ予測部６１０は、イントラ予測により生成された輝度成分の予測値を出力する。ステップＳ７０６における輝度成分のイントラ予測は、ＨＥＶＣのイントラ予測により実現されてもよい。

イントラ予測部６１０は、エントロピー復号部６０２で取り出されたサイド情報のうち、処理対象ブロックの色差成分についてのイントラ予測モードを取得する（Ｓ７０８）。イントラ予測部６１０は、取得されたイントラ予測モードに基づき、処理対象ブロックの周りの再構成済みブロックの色差成分に含まれるラインのなかから参照ラインを特定する（Ｓ７１０）。イントラ予測部６１０は、ステップＳ７０８で取得されたイントラ予測モードにしたがい、ステップＳ７１０で特定された参照ラインを用いて色差成分のイントラ予測を行う（Ｓ７１２）。イントラ予測部６１０は、イントラ予測により生成された色差成分の予測値を出力する。

ステップＳ７０８で取得されたイントラ予測モードがＣＣＮＭモードである場合、ステップＳ７１０およびＳ７１２において図４に示される処理と同様の処理が行われる。特にステップＳ７１０はステップＳ４０２に対応し、ステップＳ７１２はステップＳ４０４、Ｓ４０６、Ｓ４０８、Ｓ４１０に対応する。図４の説明における「符号化済みブロック」を「再構成済みブロック」に読み替えることにより、ここでの説明を省略する。

本実施の形態に係る動画像符号化装置１１０または動画像復号装置１０２によると、輝度成分と色差成分との間の非線形モデルを用いて色差成分のイントラ予測が行われるので、線形モデルを用いる場合と比べて予測値の確度を高めることができる。特にイントラピクチャが複雑なテクスチャを有し、線形モデルでは対応しきれない場合に、本実施の形態に係る非線形モデルは有効である。

また、本実施の形態では、色差成分のイントラ予測の際に用いられる参照ラインは複数の符号化済み／再構成済みブロックに跨がる。したがって、単に隣接する符号化済み／再構成済みブロックのラインのみを参照ラインとする場合と比べてサンプル数が多くなるので、非線形モデルのパラメータの評価の精度を高めることができる、または該パラメータの評価の堅牢性（robustness）を高めることができる。また、参照ラインが右上および／または左下に延びることで、左下から右上に向かう方向性のテクスチャが存在する場合にも、精度の高いパラメータの評価が実現される。

また、本実施の形態では、輝度成分のダウンサンプリングの後にフィルタリングが行われる。したがって、ダウンサンプリングにより生じうる輝度成分と色差成分との乖離を抑えることができる。さらに、本実施の形態で採用されたカラーフォーマット４：２：０のように、色差成分がそもそもダウンサンプリングにより生成される場合であっても、輝度成分の再構成値には量子化ノイズ等によるノイズ成分が含まれうる。本実施の形態によると、フィルタリングにより輝度成分の参照ラインおよび輝度成分の再構成値の両方からそのようなノイズ成分を低減または除去できる。

また、本実施の形態に係るＣＣＮＭモードでは、動画像復号装置１０２および動画像符号化装置１１０のそれぞれで輝度成分の参照ラインと色差成分の参照ラインとから非線形モデルのパラメータａ_ｉが決定される。したがって、そのパラメータａ_ｉをビットストリームＢＳに含めて伝送する必要はないので、符号量の増大を抑えるか無くすことができる。

以上、実施の形態の構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。

（第１変形例）
実施の形態では複数のブロックに跨がる参照ラインを用いる場合について説明したが、これに限られない。例えば、処理対象ブロックの周りの符号化済み／再構成済みブロックの輝度成分の複数の参照ラインおよび色差成分の対応する複数の参照ラインに基づいて非線形モデルのパラメータが決定されてもよい。この場合、ひとつの参照ラインを用いる場合と比べてサンプル数が多くなるので、非線形モデルのパラメータの評価の精度を高めることができる、または該パラメータの評価の堅牢性（robustness）を高めることができる。

図８（ａ）、（ｂ）は、処理対象Ｙブロック５０２および処理対象Ｃｂブロック５０４に対して選択される第１変形例に係る参照ラインを示す模式図である。第１変形例に係る動画像符号化装置のイントラ予測部は、第４符号化済みＣｂブロック５２２に含まれる上下方向に延びるラインのうち処理対象Ｃｂブロック５０４に隣接するラインと、該ラインの左隣のラインと、を合わせた左隣接Ｃｂ参照ライン８２６を選択する。イントラ予測部は、第２符号化済みＣｂブロック５１８に含まれる左右方向に延びるラインのうち処理対象Ｃｂブロック５０４に隣接するラインと、該ラインの上に隣接するラインと、を合わせた上隣接Ｃｂ参照ライン８２８を選択する。

イントラ予測部は、選択された左隣接Ｃｂ参照ライン８２６および上隣接Ｃｂ参照ライン８２８のそれぞれに対応する符号化済みＹブロック５０８、５１２の左隣接Ｙ参照ライン８３０、上隣接Ｙ参照ライン８３２を特定する。左隣接Ｙ参照ライン８３０は第４符号化済みＹブロック５１２に含まれる（ダウンサンプリング後における）二つのラインであり、上隣接Ｙ参照ライン８３２は第２符号化済みＹブロック５０８に含まれる（ダウンサンプリング後における）二つのラインである。動画像復号装置のイントラ予測部は上記と同様の処理を行う。

（第２変形例）
実施の形態では、参照ラインに含まれる画素値を用いて非線形モデルのパラメータを決定する場合について説明したが、これに限られない。例えば、複数の参照ラインのそれぞれに割り当てられた重みに基づいて非線形モデルのパラメータが決定されてもよい。この場合、各参照ラインの信頼性（reliability）を個別に考慮することができるので、より正確なパラメータの評価が実現される。重みは、ブロックのサイズや輝度成分のイントラ予測モードに応じて決定されてもよい。

図９（ａ）、（ｂ）は、参照ラインが複数のブロックに跨がる場合の重み付けを説明するための模式図である。図１０（ａ）、（ｂ）は、ひとつのブロックから複数の参照ラインが選択される場合の重み付けを説明するための模式図である。第２変形例に係る動画像符号化装置のイントラ予測部は、参照ラインを構成する画素を４つのゾーン（Zone）に分類する。ゾーンＡ（ZONEA）およびゾーンＢ（ZONEB）には重みｗ_ＡＢ＝０．６が、ゾーンＣ（ZONEC）およびゾーンＤ（ZONED）には重みｗ_ＣＤ＝０．４が、それぞれ割り当てられる。

イントラ予測部は、ゾーンＡおよびゾーンＢの画素を用いて以下の第１非線形モデルのパラメータａ_ｉ ^ＡＢを決定する。

イントラ予測部は、ゾーンＣおよびゾーンＤの画素を用いて以下の第２非線形モデルのパラメータａ_ｉ ^ＣＤを決定する。

イントラ予測部は、
Ｃ＝ｗ_ＡＢ＊Ｃ_ＡＢ＋ｗ_ＣＤ＊Ｃ_ＣＤ
を演算することにより色差成分の予測値を生成する。動画像復号装置のイントラ予測部は上記と同様の処理を行う。本例では重みを０．６：０．４としたが、これは一例であって他の重みが用いられてもよい。

図１１は、第２変形例に係るイントラ予測部における一連の処理の流れを示すフローチャートである。イントラ予測部は、処理対象ブロックの周りの符号化済み／再構成済みブロックに含まれる参照ラインの画素を複数のグループに分類し、各グループに重みを割り当てる（Ｓ１５２）。イントラ予測部は、参照ラインの画素の再構成値に基づいて、複数のイントラ予測モデルのパラメータを決定する（Ｓ１５４）。上述の例では、第１非線形モデルのパラメータａ_ｉ ^ＡＢおよび第２非線形モデルのパラメータａ_ｉ ^ＣＤが決定される。イントラ予測部は、パラメータ評価時の誤差ｅが所定のしきい値δよりも小さいか、またはステップＳ１５４の繰り返し数Ｔが所定のしきい値ｔｈ＿ｉｔｅｒよりも大きい場合（Ｓ１５６のＹＥＳ）、その時点でのパラメータを保持する。イントラ予測部は、保持されたパラメータで構成される複数のモデルを用いた、色差成分のイントラ予測を行う（Ｓ１５８）。ステップＳ１５６においてｅ≧δかつＴ≦ｔｈ＿ｉｔｅｒの場合、処理はステップＳ１５２に戻る。

（第３変形例）
第２変形例では、まず参照ラインの画素が複数のグループに分類され、各グループに重みが割り当てられる。最終的なモデルは各グループから導出された多項式モデルの重み付け和として表される。第３変形例では、複数の予測モデル、例えば線形モデルおよび非線形モデルを用意し、そのそれぞれのパラメータを参照ラインの画素全てを用いて決定する。具体的には、図１１のステップＳ１５４における複数のモデルとして、線形モデルおよび非線形モデルを採用し、各モデルのパラメータを参照ラインの画素全てを用いて決定する。

第３変形例に係る動画像符号化装置のイントラ予測部は、参照ラインの画素を用いて以下の線形モデルのパラメータａ、ｂを決定する。

イントラ予測部は、参照ラインの画素を用いて以下の非線形モデルのパラメータａ_０、ａ_１、ａ_２を決定する。

イントラ予測部は、
Ｃ＝ｗ_Ｌ＊Ｃ_Ｌ＋ｗ_Ｎ＊Ｃ_Ｎ
を演算することにより色差成分の予測値を生成する。ｗ_Ｌおよびｗ_Ｎはそれぞれ線形モデル、非線形モデルに割り当てられた重みである。動画像復号装置のイントラ予測部は上記と同様の処理を行う。

（第４変形例）
第２変形例および第３変形例では、複数の予測モデルを用いて色差成分の各画素の予測値を算出する場合を説明した。第４変形例では、イントラ予測部はまず処理対象Ｃｂブロック５０４を複数のサブグループに分ける。イントラ予測部は、各サブグループに個別に予測モデルを設定する。すなわち、予測モデルの種別（線形モデル／非線形モデル）や予測パラメータはサブグループごとに異なりうる。イントラ予測部は、サブグループごとに該サブグループに設定された予測モデルを用いて色差成分の予測値を算出する。

（第５変形例）
実施の形態では、ＣＣＮＭモードによりＹ成分の再構成値からＣｂ成分およびＣｒ成分のイントラ予測値を算出する場合について説明したが、これに限られない。図１２（ａ）、（ｂ）は、第５変形例に係る予測モデルの説明図である。図１２（ａ）では、Ｙ成分とＣｂ成分との間の第１予測モデル１８０を用いてＣｂ成分の予測値が生成される。Ｙ成分とＣｒ成分との間の第２予測モデル１８２およびＣｂ成分とＣｒ成分との間の第３予測モデル１８４を用いてＣｒ成分の予測値が生成される。第１予測モデル１８０、第２予測モデル１８２および第３予測モデル１８４のうちの少なくともひとつは非線形モデルである。例えば、Ｃｒ成分の予測値は、
Ｃｒ＝α＊Ｙ＋（１−α）＊Ｃｂ
により算出される。ここで、αは０以上１以下の重み付け係数である。

図１２（ｂ）では、Ｙ成分とＣｒ成分との間の第４予測モデル１８６を用いてＣｒ成分の予測値が生成される。Ｙ成分とＣｂ成分との間の第５予測モデル１８８およびＣｒ成分とＣｂ成分との間の第６予測モデル１９０を用いてＣｂ成分の予測値が生成される。第４予測モデル１８６、第５予測モデル１８８および第６予測モデル１９０のうちの少なくともひとつは非線形モデルである。例えば、Ｃｂ成分の予測値は、
Ｃｂ＝β＊Ｙ＋（１−β）＊Ｃｒ
により算出される。ここで、βは０以上１以下の重み付け係数である。

実施の形態では、非線形モデルとして多項式モデルを採用する場合を説明したが、これに限られず、例えば指数関数や対数関数で展開したモデルを用いてもよい。

実施の形態では、色差成分の予測値を非線形モデルから算出する際に該非線形モデルに対応する輝度成分の再構成値を入力する場合について説明したが、これに限られず、例えば対応する輝度成分の予測値を入力してもよい。

実施の形態では、図４のステップＳ４０６においてＹブロックの再構成値およびＹブロックの参照ラインの両方をフィルタリングする場合を説明したが、これに限られず、例えばステップＳ４０６においてＹブロックの参照ラインをフィルタリングし、ステップＳ４０８の前にＹブロックの再構成値をフィルタリングしてもよい。あるいはまた、フィルタリングを行わなくてもよい。

１００ 配信システム、 １０２ 動画像復号装置、 １０４ 表示装置、 １０６ ネットワーク、 １１０ 動画像符号化装置。

Claims (13)

1. イントラ予測を用いて符号化されるブロックを含む動画像を表すビットストリームを復号する復号手段と、
   復号の結果得られる前記ブロックのレベル値を逆量子化および逆変換して前記ブロックの差分値を生成する逆処理手段と、
   前記ブロックの周りの再構成済みブロックに基づくイントラ予測により前記ブロックの予測値を生成するイントラ予測手段と、
   生成された前記差分値および生成された前記予測値に基づいて前記ブロックを再構成する再構成手段と、を備え、
   前記イントラ予測手段は、前記ブロックの輝度成分と色差成分との間の非線形モデルを用いて、前記ブロックの色差成分の予測値を生成する動画像復号装置。
2. 前記非線形モデルは、色差成分を対応する輝度成分の多項式で表すモデルである請求項１に記載の動画像復号装置。
3. 前記イントラ予測手段は、前記ブロックの周りの再構成済みブロックの輝度成分の参照ラインおよび色差成分の対応する参照ラインに基づいて前記非線形モデルのパラメータを決定する請求項１または２に記載の動画像復号装置。
4. 前記ブロックの周りの再構成済みブロックは、前記ブロックに隣接する第１再構成済みブロックと、第１再構成済みブロックの輝度成分の第１参照ラインが延びる方向に第１再構成済みブロックと隣接する第２再構成済みブロックと、を含み、
   前記イントラ予測手段は、前記第１参照ラインおよび前記第２再構成済みブロックの輝度成分の第２参照ラインに基づいて前記非線形モデルのパラメータを決定する請求項３に記載の動画像復号装置。
5. 前記イントラ予測手段は、前記ブロックの周りの再構成済みブロックの輝度成分の複数の参照ラインおよび色差成分の対応する複数の参照ラインに基づいて前記非線形モデルのパラメータを決定する請求項３に記載の動画像復号装置。
6. 前記イントラ予測手段は、各参照ラインに割り当てられた重みに基づいて前記非線形モデルのパラメータを決定する請求項４または５に記載の動画像復号装置。
7. 前記ブロックの色差成分のサイズは前記ブロックの輝度成分のサイズよりも小さく、
   前記イントラ予測手段は、
   前記ブロックの輝度成分と前記ブロックの周りの再構成済みブロックの輝度成分の参照ラインとをダウンサンプリングする手段と、
   ダウンサンプリングの結果得られる輝度成分および参照ラインに対してフィルタリングを行う手段と、
   フィルタリングの結果得られる参照ラインおよび色差成分の対応する参照ラインに基づいて前記非線形モデルのパラメータを決定する手段と、
   決定されたパラメータおよびフィルタリングの結果得られる輝度成分を用いて、対応する色差成分の予測値を生成する手段と、を含む請求項３から６のいずれか一項に記載の動画像復号装置。
8. 前記フィルタリングを行う手段は、前記ブロックの輝度成分のイントラ予測に用いられた方向性モードの方向に応じた方向性フィルタである請求項７に記載の動画像復号装置。
9. 前記ブロックの色差成分は第１色差成分と第２色差成分とを含み、
   前記イントラ予測手段は、前記ブロックの輝度成分と第１色差成分との間の第１予測モデルを用いて前記ブロックの第１色差成分の予測値を生成し、かつ、前記ブロックの輝度成分と第２色差成分との間の第２予測モデルおよび前記ブロックの第１色差成分と第２色差成分との間の第３予測モデルを用いて前記ブロックの第２色差成分の予測値を生成し、
   前記第１予測モデル、前記第２予測モデルおよび前記第３予測モデルのうちの少なくともひとつは非線形モデルである請求項１から８のいずれか一項に記載の動画像復号装置。
10. イントラ予測を用いて符号化されるブロックを含む動画像を表すビットストリームを復号する復号ステップと、
    復号の結果得られる前記ブロックのレベル値を逆量子化および逆変換して前記ブロックの差分値を生成する逆処理ステップと、
    前記ブロックの周りの再構成済みブロックに基づくイントラ予測により前記ブロックの予測値を生成するイントラ予測ステップと、
    生成された前記差分値および生成された前記予測値に基づいて前記ブロックを再構成する再構成ステップと、を含み、
    前記イントラ予測ステップは、前記ブロックの輝度成分と色差成分との間の非線形モデルを用いて、前記ブロックの色差成分の予測値を生成するステップを含む動画像復号方法。
11. 動画像のブロックの周りの符号化済みブロックに基づくイントラ予測により前記ブロックの予測値を生成するイントラ予測手段と、
    生成された前記予測値に基づいて前記ブロックの差分値を生成する差分生成手段と、
    生成された前記差分値を変換および量子化し、レベル値を生成する処理手段と、
    生成されたレベル値を符号化してビットストリームを生成する符号化手段と、を備え、
    前記イントラ予測手段は、前記ブロックの輝度成分と色差成分との間の非線形モデルを用いて、前記ブロックの色差成分の予測値を生成する動画像符号化装置。
12. 動画像のブロックの周りの符号化済みブロックに基づくイントラ予測により前記ブロックの予測値を生成するイントラ予測ステップと、
    生成された前記予測値に基づいて前記ブロックの差分値を生成する差分生成ステップと、
    生成された前記差分値を変換および量子化し、レベル値を生成する処理ステップと、
    生成されたレベル値を符号化してビットストリームを生成する符号化ステップと、を含み、
    前記イントラ予測ステップは、前記ブロックの輝度成分と色差成分との間の非線形モデルを用いて、前記ブロックの色差成分の予測値を生成するステップを含む動画像符号化方法。
13. 請求項１から９のいずれか一項に記載の動画像復号装置または請求項１１に記載の動画像符号化装置としてコンピュータを機能させるプログラムを有することを特徴とするコンピュータ可読記録媒体。

Images