JP2015076781A - 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 - Google Patents

Abstract

【課題】ＹＵＶ４：４：４信号、ＲＧＢ信号や３原色より更に多くの色成分を含む信号の符号化を行う場合でも、回路規模を小さく抑えつつ、輝度信号と色差信号あるいは各色成分の符号化効率を高めるようにする。
【解決手段】画像における第１の色成分については、前記第１の色成分の符号化済み領域内の位置情報で指定される位置のブロックから予測画像を生成するとともに、前記画像における前記第１の色成分以外の色成分については、該色成分の符号化済み領域内の位置情報で指定される位置のブロックから予測画像を生成する、あるいは、符号化済みの同一ピクチャに含まれる該色成分以外の符号化済み色成分の局部復号画像を用いて、フレーム間予測を実施することで予測画像を生成する予測画像生成部を備える。
【選択図】図４０

Description

この発明は、画像を高効率で符号化を行う画像符号化装置及び画像符号化方法と、高効率で符号化されている画像を復号する画像復号装置及び画像復号方法とに関するものである。

例えば、以下の非特許文献１に記載されている従来の画像符号化装置では、入力された画像を所定の大きさの最大符号化ブロックに分割し、さらに、最大符号化ブロックをより細かい符号化ブロックに階層分割する。
また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数をエントロピー符号化することで高い圧縮率を達成している。

変換ブロックについては、予測ブロックが２Ｎ×Ｎサイズや、２Ｎ×０．５Ｎサイズの長方形である場合には、図１３に示すように、長辺と短辺が２Ｎ×０．５Ｎの長さとなる非正方形変換ブロックに、変換ブロックを四分木状に階層的に分割することにより、変換ブロックが予測ブロックの境界を跨がないようにするとともに、変換係数のエントロピー符号化をＮ×Ｎサイズの正方形変換ブロックと共通する手段で圧縮して、高い圧縮率を達成している。

従来の画像符号化装置では、ＹＵＶ４：２：０信号の符号化を行う場合、色差信号の予測ブロックおよび変換ブロックのサイズを、輝度信号（輝度成分）の変換ブロックサイズの縦横半分のサイズに固定することで、色差信号（色差成分）の変換ブロックサイズに係る情報を符号化する必要をなくすとともに、変換係数のエントロピー符号化を輝度信号と共通する変換係数エントロピー符号化手段で圧縮することで、少ない回路規模で色差信号の符号化効率を高めている。

B. Bross，W.-J. Han，J.-R. Ohm，G. J. Sullivan，Y.-K. Wang and T. Wiegand，"High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)"，doc. JCTVC-L1003_v34，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，12th Meeting，2013

従来の画像符号化装置は以上のように構成されているので、ＹＵＶ４：２：０信号の符号化を行う場合、色差信号の変換ブロックのエントロピー符号化手段を輝度信号のエントロピー符号化手段と共有することができる。このため、少ない回路規模で色差信号を効率よく符号化することができるが、ＹＵＶ４：２：２信号やＹＵＶ４：４：４信号の符号化を行う場合、色差信号の形状がＹＵＶ４：２：０信号の色差信号の形状と異なるため、ＹＵＶ４：２：２信号やＹＵＶ４：４：４信号、ＲＧＢ信号や３原色より更に多くの色成分を含む信号の符号化をサポートするには追加の回路規模が大きくなってしまう課題があった。

この発明は上記のような課題を解決するためになされたもので、ＹＵＶ４：４：４信号、ＲＧＢ信号や３原色より更に多くの色成分を含む信号の符号化を行う場合でも、回路規模を小さく抑えつつ、輝度信号と色差信号あるいは各色成分の符号化効率を高めることができる画像符号化装置及び画像符号化方法を得ることを目的とする。
また、この発明は、符号化効率の改善が図られている符号化データから正確に動画像を復号することができる画像復号装置及び画像復号方法を得ることを目的とする。

この発明に係る画像符号化装置は、予測画像生成部が、画像における第１の色成分については、前記第１の色成分の符号化済み領域内の位置情報で指定される位置のブロックから予測画像を生成するとともに、前記画像における前記第１の色成分以外の色成分については、該色成分の符号化済み領域内の位置情報で指定される位置のブロックから予測画像を生成する、あるいは、符号化済みの同一ピクチャに含まれる該色成分以外の符号化済み色成分の局部復号画像を用いて、フレーム間予測を実施することで予測画像を生成するようにしたものである。

この発明によれば、予測画像生成部が、画像における第１の色成分については、前記第１の色成分の符号化済み領域内の位置情報で指定される位置のブロックから予測画像を生成するとともに、前記画像における前記第１の色成分以外の色成分については、該色成分の符号化済み領域内の位置情報で指定される位置のブロックから予測画像を生成する、あるいは、符号化済みの同一ピクチャに含まれる該色成分以外の符号化済み色成分の局部復号画像を用いて、フレーム間予測を実施することで予測画像を生成するように構成したので、ＹＵＶ４：４：４信号、ＲＧＢ信号や３原色より更に多くの色成分を含む信号の符号化を行う場合でも、回路規模を小さく抑えつつ、輝度信号と色差信号あるいは各色成分の符号化効率を高めることができる効果がある。

この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置の処理内容を示すフローチャートである。 この発明の実施の形態１による画像符号化装置の可変長符号化部１３を示す構成図である。 この発明の実施の形態１による画像復号装置を示す構成図である。 この発明の実施の形態１による画像復号装置の処理内容を示すフローチャートである。 この発明の実施の形態１による画像復号装置の可変長復号部４１を示す構成図である。 最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。 符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎを示す説明図である。 分割後のパーティションの分布や、階層分割後のパーティションに符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示す説明図である。 符号化ブロックＢ^ｎに属する各パーティションＰ_ｉ ^ｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。 ｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合において、パーティションＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。 ４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 ４：２：２フォーマット及び４：４：４フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 ４×４直交変換係数のスキャン順を示す説明図である。 ４×４直交変換係数の逆スキャン順を示す説明図である。 周波数位置に応じて予め定められたコンテキストインデックス値を示す説明図である。 周波数位置に応じて予め定められたコンテキストインデックス値を示す説明図である。 この発明の実施の形態２、３、４による画像符号化装置を示す構成図である。 この発明の実施の形態２、３、４による画像符号化装置の相関利用予測部６１を示す構成図である。 参照画像として利用する局部復号画像を示す説明図である。 画面間参照画素Ｒｅｃ’_Ｌ及び画面内参照画素Ｒｅｃ_Ｃを示す説明図である。 この発明の実施の形態２、３、４による画像復号装置を示す構成図である。 この発明の実施の形態２、３、４による画像復号装置の相関利用予測部７１を示す構成図である。 この発明の実施の形態２、３、４による画像符号化装置を示す構成図である。 この発明の実施の形態２、３、４による画像符号化装置の相関利用適応予測部８１を示す構成図である。 この発明の実施の形態２、３、４による画像復号装置を示す構成図である。 この発明の実施の形態２、３、４による画像復号装置の相関利用適応予測部９１を示す構成図である。 参照ブロック内の画素Ｒｅｃ’_Ｌ及び符号化対象ブロック内の画素Ｒｅｃ_Ｃを示す説明図である。 参照ブロック内の画素をクラスに分類した例を示す説明図である。 この発明の実施の形態４による画像符号化装置を示す構成図である。 この発明の実施の形態４による画像符号化装置のインター予測部１０１を示す構成図である。 参照画像として利用する局部復号画像を示す説明図である。 マージ候補リストに登録するＰＵのうち空間的に隣接するＰＵの画素位置を示す説明図である。 第１の色成分の参照画像の中からインター予測パラメータ参照画像が選択されることを示す説明図である。 第２または第３の色成分の場合のインター予測パラメータ参照画像上のマージ候補ＰＵの決定手順を示す説明図である。 隣接する画素から内挿補間画素を生成して予測値とすることを示す説明図 この発明の実施の形態４による画像復号装置を示す構成図である。 この発明の実施の形態４による画像復号装置のインター予測部１１１を示す構成図である。 この発明の実施の形態５による画像符号化装置を示す構成図である。 画面内コピー予測処理の例を示す説明図である。 この発明の実施の形態５による画像符号化装置のイントラ適用予測部２０１を示す構成図である。 この発明の実施の形態５による画像復号装置を示す構成図である。 この発明の実施の形態５による画像復号装置のイントラ適用予測部２１１を示す構成図である。 この発明の実施の形態５による画面内コピー予測と相関利用予測を組み合わせた予測方式を示す構成図である。

実施の形態１．
図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
この実施の形態１の画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。

ただし、以下の説明においては、特に断らない限り、入力される映像信号が、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、縦横ともに２分の１にサブサンプルされたＹＵＶ４：２：０フォーマット、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、横方向に２分の１にサブサンプルされたＹＵＶ４：２：２フォーマット、あるいは、２つの色差成分Ｕ，Ｖが輝度成分Ｙと同じサンプル数である４：４：４フォーマット（例えば、ＹＵＶ４：４：４やＲＧＢなど）の信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

図１において、符号化制御部１はイントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
なお、符号化制御部１は符号化制御手段を構成している。

ここで、図１３は４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理（変換処理、量子化処理）を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図１３に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。

輝度信号については、例えば、図１３に示すように、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。

色差信号については、図１３に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。

図１４に示すように、入力信号フォーマットがＹＵＶ４：２：２信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は、常に垂直方向の画素数が水平方向の画素数の２倍となる長方形となる。
また、図１４に示すように、入力信号フォーマットが４：４：４信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
輝度信号の変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部１３に出力する。

ブロック分割部２は入力カラー画像（カレントピクチャ）を示すカラー画像信号を入力すると、その入力カラー画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。

イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、その符号化ブロックに対して、イントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、ブロック分割部２により分割された符号化ブロックにおける色差成分については、入力信号フォーマットがＹＵＶ４：２：０信号又はＹＵＶ４：２：２信号である場合には、符号化制御部１により選択された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。

また、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分に対して、方向性フレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。

入力信号フォーマットが４：４：４信号である場合には、上記輝度色差共通イントラ予測モード又は上記輝度相関利用色差信号予測モードの処理を実施し、方向性予測モードは選択しないように構成してもよい。
４：４：４信号では、色成分間のエッジ位置に高い相関関係があるため、ＹＵＶの輝度信号に相当する第一の色成分と異なる方向性予測モードをその他の色成分信号に適用することを禁止することにより、その他の色成分信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
当然、その他の色成分信号に対しても、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。

動き補償予測部５はブロック分割部２により分割された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ３、イントラ予測部４及び動き補償予測部５から予測画像生成部が構成されている。

減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。

即ち、変換・量子化部７は減算部６により生成された符号化ブロックの差分画像に対する変換・量子化処理（圧縮処理）を実施する場合、輝度信号については、例えば、図１３に示すように、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。

色差信号については、図１３に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。

入力信号フォーマットがＹＵＶ４：２：２信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は、常に垂直方向の画素数が水平方向の画素数の２倍となる長方形となる。
また、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
変換・量子化部７はブロック分割部２による分割後のブロック単位で差分画像の変換・量子化処理を実施する。
なお、変換・量子化部７は画像圧縮手段を構成している。

逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。

加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。

ループフィルタ部１１は加算部９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。

可変長符号化部１３は入力信号フォーマットを特定する入力信号フォーマット情報と、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ及び動き情報とを算術符号化によって可変長符号化して、その入力信号フォーマット情報、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報などの符号化データが多重化されているビットストリームを生成する処理を実施する。

即ち、可変長符号化部１３は変換・量子化部７から出力された圧縮データである変換係数を可変長符号化する際、入力カラー画像の信号フォーマットがＹＵＶ４：２：０である場合、差分画像の色差信号における各変換係数のコンテキスト値が当該変換係数の周波数位置に応じて割り当てられているＹＵＶ４：２：０用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術符号化する。
入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、入力カラー画像の色差信号における各変換係数のコンテキスト値として、信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、その色差信号における各変換係数を算術符号化する。
なお、可変長符号化部１３は可変長符号化手段を構成している。

図１では、画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン、あるいは、メモリなど）で構成されているものを想定しているが、画像符号化装置がコンピュータなどで構成されていてもよい。
画像符号化装置がコンピュータで構成される場合、イントラ予測用メモリ１０及び動き補償予測フレームメモリ１２をコンピュータのメモリ上に構成するとともに、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による画像符号化装置の処理内容を示すフローチャートである。

ここで、図３はこの発明の実施の形態１による画像符号化装置の可変長符号化部１３を示す構成図である。
図３において、変換係数可変長符号化部２１は変換・量子化部７から出力された圧縮データである直交変換係数を可変長符号化する処理を実施する。
符号化パラメータ可変長符号化部２２は入力信号フォーマット情報、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ及び動き情報、符号化ブロックの分割状況を示すブロック分割情報などの符号化パラメータを可変長符号化する処理を実施する。
変換係数可変長符号化部２１により可変長符号化された圧縮データの符号化データと、符号化パラメータ可変長符号化部２２により可変長符号化された符号化パラメータとは多重化されてビットストリームが生成される。

図４はこの発明の実施の形態１による画像復号装置を示す構成図である。
図４において、可変長復号部４１はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、入力信号フォーマット情報、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報などを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する処理を実施する。

即ち、可変長復号部４１は各々の符号化データから符号化ブロックに係る圧縮データである変換係数を可変長復号する際、入力信号フォーマット情報が示す信号フォーマットがＹＵＶ４：２：０である場合、差分画像の色差信号における各変換係数のコンテキスト値が当該変換係数の周波数位置に応じて割り当てられているＹＵＶ４：２：０用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、その色差信号における各変換係数を算術復号する。
入力フォーマット情報が示す信号フォーマットがＹＵＶ４：２：２である場合、入力カラー画像の色差信号における各変換係数のコンテキスト値として、信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、その色差信号における各変換係数を算術復号する。
なお、可変長復号部４１は可変長復号手段を構成している。

切替スイッチ４２は可変長復号部４１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する処理を実施する。
イントラ予測部４３はイントラ予測用メモリ４７により格納されている符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ４２から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。

即ち、イントラ予測部４３は、符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、符号化ブロックにおける色差成分については、入力信号フォーマットがＹＵＶ４：２：０信号又はＹＵＶ４：２：２信号である場合には、可変長復号部４１により可変長復号された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。

また、可変長復号部４１により可変長復号された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、符号化ブロックにおける色差成分に対して、方向性フレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、可変長復号部４１により可変長復号された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。

入力信号フォーマットが４：４：４信号である場合には、上記輝度色差共通イントラ予測モード又は上記輝度相関利用色差信号予測モードの処理を実施し、方向性予測モードは選択しないように構成してもよい。
ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる方向性予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
当然、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。

動き補償部４４は動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、切替スイッチ４２から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ４２、イントラ予測部４３及び動き補償部４４から予測画像生成部が構成されている。

逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。
即ち、逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグに基づいて階層的に分割された輝度信号の変換ブロック形状を特定し、変換ブロック単位で逆量子化処理・逆変換処理を行う。

具体的には、輝度信号については、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードである場合、その変換ブロック分割フラグに基づいて符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードである場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。

色差信号については、入力信号フォーマットがＹＵＶ４：２：０信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードであれば、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードであれば、輝度信号と同様に、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。

入力信号フォーマットがＹＵＶ４：２：２信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は常に垂直方向の画素数が水平方向の画素数の２倍となる長方形となる。
また、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
なお、逆量子化・逆変換部４５は差分画像生成手段を構成している。

加算部４６は逆量子化・逆変換部４５から出力された復号予測差分信号とイントラ予測部４３又は動き補償部４４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部４６は復号画像生成手段を構成している。
イントラ予測用メモリ４７はイントラ予測部４３により次回のイントラ予測処理で用いられる画像として、加算部４６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。

ループフィルタ部４８は加算部４６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に出力するとともに、その復号画像を再生画像として外部に出力する処理を実施する。
動き補償予測フレームメモリ４９は動き補償部４４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部４８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。

図４では、画像復号装置の構成要素である可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６、イントラ予測用メモリ４７、ループフィルタ部４８及び動き補償予測フレームメモリ４９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン、あるいは、メモリなど）で構成されているものを想定しているが、画像復号装置がコンピュータなどで構成されていてもよい。
画像復号装置がコンピュータで構成される場合、イントラ予測用メモリ４７及び動き補償予測フレームメモリ４９をコンピュータのメモリ上に構成するとともに、可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図５はこの発明の実施の形態１による画像復号装置の処理内容を示すフローチャートである。

図６はこの発明の実施の形態１による画像復号装置の可変長復号部４１を示す構成図である。
図６において、変換係数可変長復号部５１はビットストリームに多重化された符号化データから圧縮データである直交変換係数を可変長復号する処理を実施する。
符号化パラメータ可変長復号部５２はビットストリームに多重化された符号化データから入力信号フォーマット情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長復号する処理を実施する。

次に動作について説明する。
最初に、図１の画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。

符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力カラー画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力カラー画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力カラー画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。

また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。予め用意されているＭ種類のイントラ符号化モードについては後述する。
ただし、後述するブロック分割部２により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態１では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部１による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

また、符号化制御部１は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部１は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部４に出力する。

ブロック分割部２は、入力カラー画像を示す映像信号を入力すると、その入力カラー画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する（ステップＳＴ３）。
ここで、図７は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図７の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ^０であり、輝度成分で（Ｌ^０，Ｍ^０）のサイズを有している。
また、図７の例では、最大サイズの符号化ブロックＢ^０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢ^ｎを得ている。

深さｎにおいては、符号化ブロックＢ^ｎはサイズ（Ｌ^ｎ，Ｍ^ｎ）の画像領域である。
ただし、Ｌ^ｎとＭ^ｎは同じであってもよいし異なっていてもよいが、図７の例ではＬ^ｎ＝Ｍ^ｎのケースを示している。
以降、符号化ブロックＢ^ｎのサイズは、符号化ブロックＢ^ｎの輝度成分におけるサイズ（Ｌ^ｎ，Ｍ^ｎ）と定義する。
ブロック分割部２では、４分木分割を行うため、常に（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌ^ｎ，Ｍ^ｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌ^ｎ／２，Ｍ^ｎ／２）である。
以降、第ｎ階層の符号化ブロックＢ^ｎで選択しうる符号化モードをｍ（Ｂ^ｎ）と表記する。

複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂ^ｎ）は、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂ^ｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」）、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢ^ｎに対して最も符号化効率がよい符号化モードを選択する。

符号化ブロックＢ^ｎは、図７に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢ^ｎに属するパーティションをＰ_ｉ ^ｎ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。図８は符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎを示す説明図である。
符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎの分割がどのようになされているかは符号化モードｍ（Ｂ^ｎ）の中に情報として含まれる。
パーティションＰ_ｉ ^ｎは、すべて符号化モードｍ（Ｂ^ｎ）に従って予測処理が行われるが、パーティションＰ_ｉ ^ｎ毎に、個別の予測パラメータを選択することができる。

符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図９に示すようなブロック分割状態を生成して、符号化ブロックＢ^ｎを特定する。
図９（ａ）の斜線部分は分割後のパーティションの分布を示し、また、図９（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示している。
図９（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂ^ｎ）が割り当てられたノード（符号化ブロックＢ^ｎ）を示している。
また、符号化制御部１は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。

切替スイッチ３は、符号化制御部１がイントラ符号化モードを選択すると（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡ）、ブロック分割部２により分割された符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎをイントラ予測部４に出力し、符号化制御部１がインター符号化モードを選択すると（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲ）、その符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎを動き補償予測部５に出力する。

イントラ予測部４は、切替スイッチ３から符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎを受けると（ステップＳＴ４）、符号化制御部１により決定されたイントラ予測パラメータに基づいて、各パーティションＰ_ｉ ^ｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐ_ｉ ^ｎ）を生成する（ステップＳＴ５）。
以下、この明細書では、Ｐ_ｉ ^ｎはパーティションを示し、（Ｐ_ｉ ^ｎ）はパーティションＰ_ｉ ^ｎの予測画像を示すものとする。

イントラ予測画像（Ｐ_ｉ ^ｎ）の生成に用いられるイントラ予測パラメータは、画像復号装置側でも、全く同じイントラ予測画像（Ｐ_ｉ ^ｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
例えば、４×４画素パーティションや８×８画素パーティションでは３４方向、１６×１６画素パーティションでは１７方向、３２×３２画素パーティションでは９方向などのように構成してもよい。

ここで、イントラ予測部４の処理内容を具体的に説明する。
図１０は符号化ブロックＢ^ｎに属する各パーティションＰ_ｉ ^ｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
図１０の例では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。

まず、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
以下、輝度成分に対する予測画像の生成処理を具体的に説明するが、ここでは、イントラ予測部４が、パーティションＰ_ｉ ^ｎの輝度信号に対するイントラ予測パラメータ（イントラ予測モード）に基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
説明の便宜上、パーティションＰ_ｉ ^ｎのサイズをｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ画素とする。

図１１はｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合において、パーティションＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図１１の例では、パーティションＰ_ｉ ^ｎに隣接している符号化済みの上パーティションの画素（（２×ｌ_ｉ ^ｎ＋１）個の画素）と、左パーティションの画素（（２×ｍ_ｉ ^ｎ）個の画素）を予測に用いる参照画素としているが、予測に用いる画素は、図１１に示す画素より多くても少なくてもよい。
また、図１１の例では、隣接している１行又は１列分の画素を予測に用いているが、２行又は２列分の画素、あるいは、それ以上の画素を予測に用いてもよい。

イントラ予測部４は、例えば、パーティションＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰ_ｉ ^ｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖ_ｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰ_ｉ ^ｎ内の画素の予測値を生成する。
予測値を生成する画素（予測対象画素）のパーティションＰ_ｉ ^ｎ内の相対座標（パーティションの左上画素を原点とする）を（ｘ，ｙ）とすると、予測に用いる参照画素の位置は、下記に示すＬと、隣接画素の交点となる。

ただし、ｋは正のスカラ値である。

参照画素が整数画素位置にある場合、その整数画素を予測対象画素の予測値とする。参照画素が整数画素位置にない場合、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図１１の例では、参照画素が整数画素位置にないので、参照画素に隣接する２画素の平均値を予測値としている。
なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。

イントラ予測部４は、同様の手順で、パーティションＰ_ｉ ^ｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐ_ｉ ^ｎ）を出力する。
イントラ予測画像（Ｐ_ｉ ^ｎ）の生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部１３に出力される。

なお、イントラ予測は、画面内の未知の領域を既知の領域から予測する手段であるが、輝度信号と色差信号のテクスチャには相関があり、空間方向については、近傍画素同士は画素値の変化が小さいため、予測ブロックに隣接する復号済の輝度信号と色差信号を利用して輝度信号と色差信号の相関パラメータを算出し、その輝度信号と相関パラメータから色差信号を予測することにより、予測効率を向上させることができる。

ここでは、符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成するものを示したが、色差成分対する予測画像は次のように生成する。
図１２は色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
入力信号フォーマットがＹＵＶ４：２：０信号又はＹＵＶ４：２：２信号である場合には、符号化制御部１により選択された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。

符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分に対して、方向性フレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。

入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記輝度色差共通イントラ予測モード又は上記輝度相関利用色差信号予測モードの処理を実施し、方向性予測モードは選択しないように構成してもよい。
ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる方向性予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
当然、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。

動き補償予測部５は、切替スイッチ３から符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎを受けると（ステップＳＴ４）、符号化制御部１により決定されたインター予測パラメータに基づいて、各パーティションＰ_ｉ ^ｎに対するインター予測処理を実施することにより、インター予測画像（Ｐ_ｉ ^ｎ）を生成する（ステップＳＴ６）。
即ち、動き補償予測部５は、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像（Ｐ_ｉ ^ｎ）を生成する。
インター予測画像（Ｐ_ｉ ^ｎ）の生成に用いられるインター予測パラメータは、画像復号装置側でも、全く同じインター予測画像（Ｐ_ｉ ^ｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。

減算部６は、イントラ予測部４又は動き補償予測部５から予測画像（Ｐ_ｉ ^ｎ）を受けると、ブロック分割部２により分割された符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎから、その予測画像（Ｐ_ｉ ^ｎ）を減算することで、その差分画像を示す予測差分信号ｅ_ｉ ^ｎを生成する（ステップＳＴ７）。

変換・量子化部７は、減算部６が予測差分信号ｅ_ｉ ^ｎを生成すると、符号化制御部１で決定された変換ブロックサイズ単位で、その予測差分信号ｅ_ｉ ^ｎに対する変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ｅ_ｉ ^ｎの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ８）。
即ち、変換・量子化部７は、減算部６が予測差分信号ｅ_ｉ ^ｎを生成すると、予測差分信号ｅ_ｉ ^ｎの輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施する。
つまり、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。

色差信号については、図１３に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。

図１４に示すように、入力信号フォーマットがＹＵＶ４：２：２信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は、常に垂直方向の画素数が水平方向の画素数の２倍となる長方形となる。
また、図１４に示すように、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。

逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ９）。

加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（Ｐ_ｉ ^ｎ）を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像（以下、「局所復号画像」と称する）を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部１１に出力する（ステップＳＴ１０）。
また、イントラ予測用メモリ１０には、イントラ予測に用いるために、当該局所復号画像が格納される。

ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１１）。
ここで、符号化歪は、変換ブロックの境界に沿って発生するため、変換ブロックの境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロックの境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ、符号化歪補償を適用するように構成してもよい。このようにすれば、不要な符号化歪補償を省略することができるので、画質を保ちつつ演算量を削減することができる。

また、符号化歪は、画像のエッジ付近や平坦部分に画素値のオフセットとして発生することも知られている。
このような符号化歪に対しては、所定のブロック毎に、局部復号画像のエッジ方向や画素値の分布などを分析し、エッジ方向又は画素値のレベル情報である適応画素オフセットタイプを決定するとともに、当該ブロック内のエッジの種類や画素値のサブレベル毎に、画素値のオフセットとして発生した符号化歪みを補償する画素オフセット値を決定し、その画素オフセット値を局部復号画像に加算することで符号化歪みを補償するように構成してもよい。
この場合には、上記の適応画素オフセットタイプ及び画素オフセット値を可変長符号化部１３で可変長符号化するようにする。

ここで、入力信号が４：４：４フォーマットである場合、エッジ部分については、各色成分で共通である可能性が高いので、当該ブロックにおいて、エッジ部分の画素オフセットを補償するか、その他の部分の画素オフセットを補償するかを示すテクスチャタイプを決定し、そのテクスチャタイプを示すテクスチャタイプ情報を可変長符号化部１３で可変長符号化する。
テクスチャタイプがエッジ部分を示す場合には、全色成分で共通のエッジ方向を決定して（例えば、各色成分のエッジ方向の中で、符号化効率が最高になるエッジ方向を全色成分で共通のエッジ方向に決定する）、そのエッジ方向を示すエッジ方向情報を可変長符号化部１３で可変長符号化するとともに、全色成分で共通のエッジの種類を決定し、エッジの種類毎に各色成分独立に画素オフセット値を決定して（例えば、エッジの種類に対応する画素オフセット値を記録しているテーブルを参照して、画素オフセット値を決定する）、その画素オフセット値を可変長符号化部１３で可変長符号化する。

一方、テクスチャタイプがエッジ部分でないことを示す場合には、各色成分独立に画素値のレベルを決定して（例えば、画素値が０〜２５５の範囲にあるとき、４つのレベル（レベル１（０〜６３）、レベル２（６４〜１２７）、レベル３（１２８〜１９１）、レベル４（１９２〜２５５）が規定されていれば、仮に、画素値が「１０２」であれば、レベル２に決定し、画素値が「１８５」であれば、レベル３に決定する）、そのレベルを示すレベル情報を可変長符号化部１３で可変長符号化する。
また、各色成分独立に当該ブロック内の画素値のサブレベル毎に画素オフセット値を決定して（例えば、画素値のレベルを更に細かくサブレベル（例えば、１６のレベル）に分類し、そのサブレベルに対応する画素オフセット値を記録しているテーブルを参照して、画素オフセット値を決定する）、その画素オフセット値を可変長符号化部１３で可変長符号化する。

このようにすれば、エッジ部分については、全色成分で共通の情報を可変長符号化することになるため、少ない情報量でエッジ部分の情報をシグナリングすることができる。一方、各色成分で異なる情報については独立に決定して可変長符号化することにより、画素値のオフセットとして発生する符号化歪を色成分毎に適切に補償して画質を向上させることができる。

また、輝度信号と色差信号では、変換ブロックの分割形状が異なるので、符号化歪補償は、輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するように構成する。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が入力された後に１画面分まとめて行ってもよい。

ステップＳＴ４〜ＳＴ１０の処理は、ブロック分割部２により分割された全ての符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ１２）。
可変長符号化部１３は、入力信号フォーマット情報、変換・量子化部７から出力された圧縮データ、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ及び動き情報などを可変長符号化して、その入力信号フォーマット情報、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報などの符号化データが多重化されているビットストリームを生成する（ステップＳＴ１３）。

可変長符号化部１３は、上述したように、イントラ予測部４から出力されたイントラ予測パラメータを可変長符号化して、そのイントラ予測パラメータの符号語をビットストリームに多重化するが、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル（予測方向代表ベクトル）を選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス（予測方向代表インデックス）と予測方向代表ベクトルからの差分を表すインデックス（予測方向差分インデックス）で表して、それぞれのインデックス毎に、確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化するように構成してもよい。

以下、可変長符号化部１３の処理内容を具体的に説明する。
可変長符号化部１３は、図３に示すように、変換・量子化部７から出力された圧縮データである直交変換係数を可変長符号化する変換係数可変長符号化部２１と、入力信号フォーマット情報、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長符号化する符号化パラメータ可変長符号化部２２とから構成されており、変換係数可変長符号化部２１により可変長符号化された圧縮データの符号化データと、符号化パラメータ可変長符号化部２２により可変長符号化された符号化パラメータとは多重化されてビットストリームが生成される。

可変長符号化部１３の変換係数可変長符号化部２１は、変換・量子化部７から出力された圧縮データである直交変換係数のコンテキスト値に対応する生起確率を用いて、当該直交変換係数を算術符号化する。
即ち、変換係数可変長符号化部２１は、輝度成分、ＹＵＶ４：２：０フォーマットの色差成分又はＹＵＶ４：４：４フォーマットの色差成分の変換ブロックを次のように算術符号化してブロック符号化データとして出力する。

（１）図１５に示す斜めスキャン順に各直交変換係数を走査するとともに、斜めスキャン順で最も後ろにある非零の直交変換係数の位置を“ＰｏｓＬａｓｔ”として特定する。
（２）ＰｏｓＬａｓｔの水平成分であるＰｏｓＬａｓｔＸと、ＰｏｓＬａｓｔの垂直成分であるＰｏｓＬａｓｔＹを算術符号化する。
（３）斜めスキャンと逆順である逆斜めスキャン順（図１６を参照）に、ＰｏｓＬａｓｔから以下の（４）〜（８）の処理を行う。

（４）逆斜めスキャン順に、各周波数成分の位置にある直交変換係数が非零であるか否かを示すsignificant_coeff_flagを算術符号化する。
（５）逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が１より大きいか否かを示すcoeff_abs_level_greater1_flagを算術符号化する。
（６）逆斜めスキャン順に、coeff_abs_level_greater1_flagが、直交変換係数の絶対値が１より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が２より大きいか否かを示すcoeff_abs_level_greater2_flagを算術符号化する。
（７）逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の正負の符号を示すcoeff_sign_flagを算術符号化する。
（８）逆斜めスキャン順に、coeff_abs_level_greater2_flagが、直交変換係数の絶対値が２より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値から３を減じた値であるcoeff_abs_level_minus3を算術符号化する。
（９）最後のサブブロックに至るまで（３）を繰り返し実施する。

なお、変換ブロックの縦横比が２Ｎ：０．５Ｎ、あるいは、０．５Ｎ：２Ｎである長方形ブロックについては、同様の斜めスキャンを施すことにより、Ｎ×Ｎサイズのブロックに直交変換係数をマッピングした後に上記と同様の処理を行う。
ここで、significant_coeff_flagの算術符号化に用いる生起確率としては、画素サイズが４×４や８×８のサイズであれば、例えば、図１７に示すようなＹＵＶ４：２：０用のコンテキストインデックス値（コンテキスト値情報）を参照して、色差信号における各変換係数のコンテキストインデックス値を特定し、そのコンテキストインデックス値に対応する生起確率（例えば、図示せぬ確率状態メモリの各領域には、周波数位置毎に定められたコンテキストインデックス値に対応する生起確率が格納されている）を用いる。

ただし、入力信号がＹＵＶ４：２：２フォーマットである場合の色差信号については、変換ブロックの形状が、横に対して縦が２倍の長方形となるため、図１８に示すようなＹＵＶ４：２：２用のコンテキストインデックス値（コンテキスト値情報）を参照する。
ＹＵＶ４：２：２用のコンテキストインデックス値は、上記の確率状態メモリの領域を示すコンテキストインデックス値の割り当てが垂直方向に２個ずつ繰り返し適用されている。
このようにすれば、入力信号がＹＵＶ４：２：２フォーマットである場合でも、ＹＵＶ４：２：０フォーマットの色差成分のコンテキストインデックス値の割り当て表を再利用することができ、少ない回路規模で圧縮効率を高めることができる。

次に、図４の画像復号装置の処理内容を説明する。
可変長復号部４１は、図１の画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図５のステップＳＴ４１）、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部４１は、フレームサイズを復号すると、図１の画像符号化装置で決定された最大符号化ブロックサイズ（イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ）と、分割階層数の上限（最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数）を画像符号化装置と同様の手順で決定する（ステップＳＴ４２）。

例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図１の画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。

可変長復号部４１は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部４１は、その符号化モードに含まれている符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションＰ_ｉ ^ｎに係る符号化データを特定する（ステップＳＴ４３）。
可変長復号部４１は、各パーティションＰ_ｉ ^ｎに係る符号化データから圧縮データ、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する（ステップＳＴ４４）。

例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。

以下、可変長復号部４１の処理内容を具体的に説明する。
可変長復号部４１は、図６に示すように、ビットストリームに多重化された符号化データから圧縮データである直交変換係数を可変長復号する変換係数可変長復号部５１と、ビットストリームに多重化された符号化データから入力信号フォーマット情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長復号する符号化パラメータ可変長復号部５２とから構成されている。

可変長復号部４１の変換係数可変長復号部５１は、直交変換係数のコンテキスト値に対応する生起確率を用いて、当該直交変換係数を算術復号する。
即ち、変換係数可変長復号部５１は、輝度成分、ＹＵＶ４：２：０フォーマットの色差成分又はＹＵＶ４：４：４フォーマットの色差成分の変換ブロックを次のように算術復号する。

（１）図１６に示す逆斜めスキャン順に、ＰｏｓＬａｓｔを含むサブブロックから始めて、当該サブブロック内に非零の直交変換係数が含まれているか否かを示すSigCoeffGroupFlagを算術復号する。
SigCoeffGroupFlagが当該サブブロック内に非零の直交変換係数が含まれている旨を示している場合、以下の（２）〜（６）の処理を行う。
（２）逆斜めスキャン順に、各周波数成分の位置にある直交変換係数が非零であるか否かを示すsignificant_coeff_flagを算術復号する。

（３）逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が１より大きいか否かを示すcoeff_abs_level_greater1_flagを算術復号する。
coeff_abs_level_greater1_flagが、直交変換係数の絶対値が１より大きくないことを示す場合には、当該周波数成分位置の直交変換係数の絶対値として１を出力する。
（４）逆斜めスキャン順に、coeff_abs_level_greater1_flagが、直交変換係数の絶対値が１より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が２より大きいか否かを示すcoeff_abs_level_greater2_flagを算術復号する。
coeff_abs_level_greater2_flagが、直交変換係数の絶対値が２より大きくないことを示す場合には、当該周波数成分位置の直交変換係数の絶対値として２を出力する。

（５）逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の正負の符号を示すcoeff_sign_flagを算術復号し、当該周波数成分位置の直交変換係数の絶対値に対する正負の符号を決定する。
（６）逆斜めスキャン順に、coeff_abs_level_greater2_flagが、直交変換係数の絶対値が２より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値から３を減じた値であるcoeff_abs_level_minus3を算術復号する。
当該周波数成分位置の直交変換係数の絶対値をcoeff_abs_level_minus3の値に３を加えた値とし、coeff_sign_flagにより当該周波数成分位置の直交変換係数の絶対値に対する正負の符号を決定する。

ここで、significant_coeff_flagの算術復号に用いる生起確率としては、画素サイズが４×４や８×８のサイズであれば、例えば、図１７に示すようなＹＵＶ４：２：０用のコンテキストインデックス値を参照して、色差信号における各変換係数のコンテキストインデックス値を特定し、そのコンテキストインデックス値に対応する生起確率（例えば、図示せぬ確率状態メモリの各領域には、周波数位置毎に定められたコンテキストインデックス値に対応する生起確率が格納されている）を用いる。

ただし、入力信号がＹＵＶ４：２：２フォーマットである場合の色差信号については、変換ブロックの形状が、横に対して縦が２倍の長方形となるため、図１８に示すようなＹＵＶ４：２：２用のコンテキストインデックス値を参照する。
ＹＵＶ４：２：２用のコンテキストインデックス値は、上記の確率状態メモリの領域を示すコンテキストインデックス値の割り当てが垂直方向に２個ずつ繰り返し適用されている。
このようにすれば、入力信号がＹＵＶ４：２：２フォーマットである場合でも、ＹＵＶ４：２：０フォーマットの色差成分のコンテキストインデックス値の割り当て表を再利用することができ、少ない回路規模で圧縮効率を高めることができる。

切替スイッチ４２は、可変長復号部４１から出力された符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎの符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する。

イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると（ステップＳＴ４５）、図１のイントラ予測部４と同様に、そのイントラ予測パラメータに基づいて、各パーティションＰ_ｉ ^ｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐ_ｉ ^ｎ）を生成する（ステップＳＴ４６）。
即ち、イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると、図１のイントラ予測部４と同様に、例えば、パーティションＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰ_ｉ ^ｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖ_ｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰ_ｉ ^ｎ内の画素の予測値を生成する。
イントラ予測部４３は、同様の手順で、パーティションＰ_ｉ ^ｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐ_ｉ ^ｎ）を出力する。

動き補償部４４は、切替スイッチ４２からインター予測パラメータを受けると、画像符号化装置の動き補償予測部５と同様に、そのインター予測パラメータに基づいて、各パーティションＰ_ｉ ^ｎに対するインター予測処理を実施することにより、インター予測画像（Ｐ_ｉ ^ｎ）を生成する（ステップＳＴ４７）。
即ち、動き補償部４４は、動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションＰ_ｉ ^ｎに対する動き補償予測処理を実施することで、インター予測画像（Ｐ_ｉ ^ｎ）を生成する。

逆量子化・逆変換部４５は、可変長復号部４１から変換ブロック分割フラグを含む予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換ブロック分割フラグに従って決定される変換ブロックサイズ毎に、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部４６に出力する（ステップＳＴ４８）。

加算部４６は、逆量子化・逆変換部４５から出力された復号予測差分信号と、イントラ予測部４３又は動き補償部４４により生成された予測画像（Ｐ_ｉ ^ｎ）を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部４８に出力する（ステップＳＴ４９）。
また、イントラ予測用メモリ４７には、イントラ予測に用いるために、当該復号画像が格納される。

ループフィルタ部４８は、加算部４６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に格納するとともに、その復号画像を再生画像として出力する（ステップＳＴ５０）。
ここで、符号化歪は、変換ブロックの境界に沿って発生するため、変換ブロックに境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロックの境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するように構成してもよい。このようにすれば、不要な符号化歪補償を省略することができるので、画質を保ちつつ演算量を削減することができる。

また、符号化歪は、画像のエッジ付近や平坦部分に画素値のオフセットとして発生することも知られている。
このような符号化歪に対しては、所定のブロック毎に、可変長復号部４１が適応画素オフセットタイプ及び画素オフセット値を可変長復号し、その適応画素オフセットタイプがエッジ部分の画素オフセット値を補償することを示している場合には、当該ブロック内のエッジの種類毎の画素値のオフセット値を復号画像に加算することで符号化歪みを補償する。
また、その適応画素オフセットタイプがエッジ部分でない部分の画素オフセット値を補償することを示している場合には、当該ブロック内の画素値のサブレベル毎の画素オフセット値を復号画像に加算することで符号化歪を補償する。

ここで、復号する信号が４：４：４フォーマットである場合、当該ブロックにおいて、エッジ部分の画素オフセットを補償するか、その他の部分の画素オフセットを補償するかを示すテクスチャタイプのテクスチャタイプ情報を可変長復号部４１で可変長復号する。
テクスチャタイプがエッジ部分を示す場合には、全色成分で共通のエッジ方向情報を可変長復号部４１で可変長復号するとともに、全色成分で共通のエッジの種類を決定して、エッジの種類毎に各色成分独立に画素オフセット値を可変長復号部４１で可変長復号し、画素オフセットの補償処理を実施する。

一方、テクスチャタイプがエッジ部分でないことを示す場合には、各色成分独立に画素値のレベル情報を可変長復号部４１で可変長復号するとともに、各色成分独立に当該ブロック内の画素値のサブレベル毎に画素オフセット値を可変長復号部４１で可変長復号し、画素オフセットの補償処理を実施する。
このようにすれば、図１の画像符号化装置で符号化された４：４：４フォーマットの符号化データを好適に復号することができる。

また、輝度信号と色差信号では、変換ブロックの分割形状が異なるので、符号化歪補償は、輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するように構成する。
なお、ループフィルタ部４８によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が入力された後に１画面分まとめて行ってもよい。
ステップＳＴ４３〜ＳＴ４９の処理は、全ての符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ５１）。

以上で明らかなように、この実施の形態１によれば、変換・量子化部７が、減算部６により生成された差分画像の輝度信号に対する変換・量子化処理を実施する場合、入力信号がＹＵＶ４：２：２フォーマットであれば、色差信号の変換ブロック形状を常に縦が横の２倍となる長方形に分割し、得られる変換係数を可変長符号化部１３で符号化する際には、ＹＵＶ４：２：０の色差成分の変換係数に適用するコンテキストインデックス値の割り当てを垂直方向に２個ずつ繰り返したものを適用することにより、回路規模を増加させることなく、ＹＵＶ４：２：２の色差信号の符号化効率を高めることができる効果を奏する。

また、画像復号装置においても、入力信号がＹＵＶ４：２：２フォーマットであれば、色差信号の変換ブロック形状を常に縦が横の２倍となる長方形に分割し、得られる変換係数を可変長復号部４１で復号する際には、ＹＵＶ４：２：０の色差成分の変換係数に適用するコンテキストインデックス値の割り当てを垂直方向に２個ずつ繰り返したものを適用することにより、画像符号化装置で生成されるビットストリームを好適に復号することができる。

実施の形態２．
実施の形態２の画像符号化装置では、ＹＵＶ信号の輝度成分（Ｙ成分）に相当する第一の色成分については、信号フォーマットが４：０：０フォーマットであるとした場合の実施の形態１の処理（図１）と同様の処理を実施する。すなわち、フレーム内予測符号化を実施するか、あるいは、符号化済みの他のピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
また、ＹＵＶ信号の他の色成分（Ｕ成分およびＶ成分）に相当する第二の色成分及び第三の色成分については、図１９に示す画像符号化装置による符号化処理を実施する。図１９において、図１と同一符号は同一または相当部分を示すので説明を省略する。相関利用予測部６１は符号化制御部１により決定された符号化モードが相関利用予測モードである場合、符号化済みの同一ピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
なお、相関利用予測部６１は予測画像生成部を構成している。

図１９では、画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、相関利用予測部６１、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン、あるいは、メモリなど）で構成されているものを想定しているが、画像符号化装置がコンピュータなどで構成されていてもよい。
画像符号化装置がコンピュータで構成される場合、イントラ予測用メモリ１０及び動き補償予測フレームメモリ１２をコンピュータのメモリ上に構成するとともに、符号化制御部１、ブロック分割部２、切替スイッチ３、相関利用予測部６１、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。

図２０はこの発明の実施の形態２による画像符号化装置の相関利用予測部６１を示す構成図である。
図２０において、相関算出部６２は参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Ｒｅｃ’_Ｌ（図２２（ａ）において、斜線が施されている画素）と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値であるイントラ予測用メモリ１０に格納された画面内参照画素Ｒｅｃ_Ｃ（図２２（ｂ）において、斜線が施されている画素）とを用いて、予測に用いる相関パラメータα，βを算出する処理を実施する。
相関利用予測画像生成部６３は相関算出部６２により算出された相関パラメータα，βと画面間参照画素Ｒｅｃ’_Ｌを用いて予測画像Ｐｒｅｄ_Ｃを生成する処理を実施する。

実施の形態２の画像復号装置では、ＹＵＶ信号の輝度成分（Ｙ成分）に相当する第一の色成分については、信号フォーマットが４：０：０フォーマットであるとした場合の実施の形態１の処理（図１）と同様の処理を実施する。すなわち、フレーム内予測復号を実施するか、あるいは、復号済みの他のピクチャに含まれている第一の色成分の復号画像を参照画像として利用してフレーム間予測復号を実施することで予測画像を生成する処理を実施する。
また、ＹＵＶ信号の他の色成分（Ｕ成分およびＶ成分）に相当する第二の色成分及び第三の色成分については、図２３に示す画像復号装置による復号処理を実施する。図２３において、図４と同一符号は同一または相当部分を示すので説明を省略する。相関利用予測部７１は可変長復号部４１により可変長復号された符号化モードが相関利用予測モードである場合、復号済みの同一ピクチャに含まれている第一の色成分の復号画像を参照画像として利用してフレーム間予測復号を実施することで予測画像を生成する処理を実施する。
なお、相関利用予測部７１は予測画像生成部を構成している。

図２３では、画像復号装置の構成要素である可変長復号部４１、切替スイッチ４２、相関利用予測部７１、動き補償部４４、逆量子化・逆変換部４５、加算部４６、イントラ予測用メモリ４７、ループフィルタ部４８及び動き補償予測フレームメモリ４９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン、あるいは、メモリなど）で構成されているものを想定しているが、画像復号装置がコンピュータなどで構成されていてもよい。
画像復号装置がコンピュータで構成される場合、イントラ予測用メモリ４７及び動き補償予測フレームメモリ４９をコンピュータのメモリ上に構成するとともに、可変長復号部４１、切替スイッチ４２、相関利用予測部７１、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。

図２４はこの発明の実施の形態２による画像復号装置の相関利用予測部７１を示す構成図である。
図２４において、相関算出部７２は参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Ｒｅｃ’_Ｌ（図２２（ａ）において、斜線が施されている画素）と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値であるイントラ予測用メモリ４７に格納された画面内参照画素Ｒｅｃ_Ｃ（図２２（ｂ）において、斜線が施されている画素）とを用いて、予測に用いる相関パラメータα，βを算出する処理を実施する。
相関利用予測画像生成部７３は相関算出部７２により算出された相関パラメータα，βと画面間参照画素Ｒｅｃ’_Ｌを用いて予測画像Ｐｒｅｄ_Ｃを生成する処理を実施する。

上記実施の形態１では、画像符号化装置が、輝度信号と色差信号を同時に符号化するものを示したが、画像符号化装置が、入力信号が４：４：４フォーマットである場合、それぞれの成分をＹＵＶ４：０：０フォーマットであるとみなして、最初にＹＵＶ信号の輝度成分（Ｙ成分）に相当する第一の色成分のみを符号化して、第一の色成分の局部復号画像を動き補償予測フレームメモリ１２に格納し、次に、動き補償予測フレームメモリ１２に格納された第一の色成分の局部復号画像を参照画像として利用して、その他の色成分（Ｕ成分およびＶ成分）の画像をＹＵＶ４：０：０フォーマットであるとみなして符号化するようにしてもよい。

可変長符号化部１３は、上記のように、入力信号が４：４：４フォーマットである場合、それぞれの色成分をＹＵＶ４：０：０フォーマットのピクチャとしてピクチャ単位に符号化を行うのか、上記実施の形態１のように、ブロック単位に４：４：４フォーマットの色成分（例えば、輝度成分と色差成分）をまとめて符号化するのかを示す予測構成フラグをヘッダ情報等として可変長符号化してビットストリームに多重化する。
また、予測構成フラグが４：４：４フォーマットのそれぞれの色成分をＹＵＶ４：０：０フォーマットのピクチャとしてピクチャ単位に符号化を行う構成で符号化を行うことを示す場合、上記のように生成された３つのＹＵＶ４：０：０画像をまとめて、表示などのためのアクセスの単位となる１つのピクチャ（アクセスユニット）と認識するための情報であるアクセスユニットデリミタをピクチャの先頭に多重化する。
また、可変長符号化部１３は、相関利用予測が使用可能か否かを示すフラグをヘッダ情報として可変長符号化するようにしても良い。このようにすることで、色成分間の相関を利用した予測の効率が低い映像では予め使用不可とすることで符号化モードとして相関利用予測モードを用意せずに済み、符号化ブロック単位の符号化モードの符号量を削減することができる。

図２１は参照画像として利用する局部復号画像を示す説明図である。
次のピクチャでは、図２１に示すように、Ｙ成分に相当する第一の色成分については、動き補償予測フレームメモリ１２に格納された前ピクチャの第一の色成分の局部復号画像を参照画像として利用して、ＹＵＶ４：０：０フォーマットとして符号化する。
Ｕ成分及びＶ成分に相当するその他の色成分については、前ピクチャと同様に、当該ピクチャの第一の色成分の局部復号画像を参照画像として利用して、それぞれ符号化を行う。

ここで、Ｕ成分及びＶ成分に相当する色成分の予測においては、参照画像からの動き補償予測に加えて、参照画像を用いて、例えば、相関利用信号予測も選択できるよう構成してもよい。また、Ｕ成分及びＶ成分に相当する色成分の動き補償予測処理においては、動きベクトルが零、参照画像が特定されているため、動きベクトル及び参照画像選択情報の可変長符号化は行わない。
あるいは、Ｕ成分及びＶ成分に相当する色成分の動き補償予測処理においては、Ｙ成分に相当する第一の色成分と同様に動き補償予測フレームメモリ１２に格納された同一色成分の局部復号画像を参照画像とし、当該ピクチャの第一の色成分の局部復号画像も含めた参照ピクチャリストの中から参照ピクチャを選択して動き補償予測を実施しても良い。このとき、どのピクチャを参照したかの参照画像選択情報と動きベクトルを可変長符号化する。ただし、当該ピクチャの第一の色成分の局部復号画像を参照する場合は、動きベクトルの可変長符号化は行わない。また、Ｕ成分及びＶ成分に相当する色成分の動き補償予測処理において、当該ピクチャの第一の色成分の局部復号画像の参照を禁止し、相関利用信号予測でのみ当該ピクチャの第一の色成分の局部復号画像を参照できるよう構成してもよい。

次に動作について説明する。
最初に、画像符号化装置の処理内容を説明する。
ただし、イントラ予測部４の代わりに、相関利用予測部６１を設けている点以外は、上記実施の形態１と同様であるため、ここでは、相関利用予測部６１の処理内容だけを説明する。
相関利用予測部６１の相関算出部６２は、符号化制御部１により決定された符号化モードが相関利用予測モードである場合、図２２に示すように、参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Ｒｅｃ’_Ｌ（図２２（ａ）において、斜線が施されている画素）と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値であるイントラ予測用メモリ１０に格納された画面内参照画素Ｒｅｃ_Ｃ（図２２（ｂ）において、斜線が施されている画素）とを用いて、下記の式（１）及び式（２）に示すように、予測に用いる相関パラメータα，βを算出する処理を実施する。

式（１），（２）において、Ｉは処理対象となる予測ブロックの１辺の画素数の２倍の値である。

相関利用予測部６１の相関利用予測画像生成部６３は、相関算出部６２が相関パラメータα，βを算出すると、その相関パラメータα，βと画面間参照画素Ｒｅｃ’_Ｌを用いて、下記の式（３）に示すように、予測画像Ｐｒｅｄ_Ｃを生成する。

これにより、色成分間の予測処理において、残差の小さい予測画像を生成することができるため、符号化効率を向上させることができる。
また、輝度成分の符号化回路のみで４：４：４フォーマットの画像を高効率に圧縮することができる。
なお、上記相関パラメータα，βは算出せず、処理対象の色成分と参照画像の色成分との組み合わせ毎に固定値を定めておいても良いし、色成分に関わらず特定の値（例えばα＝１，β＝０）に固定化しても良い。このようにすることで予測効率は低下するが演算量が少なくなるため、低演算性が強く求められる場合は相関パラメータα，βを固定化した方が好ましい。
また、画面間参照画素Ｒｅｃ’_Ｌについては白黒反転した値を用いても良い。これは、色成分間で色黒が反転（ネガポジ反転）したような相関関係を有する場合があるためである。具体的には、画面間参照画素Ｒｅｃ’_Ｌの取り得る輝度値の最小値をＶＡＬ＿ＭＩＮ、最大値をＶＡＬ＿ＭＡＸとした場合、
（反転後の値）＝ＶＡＬ＿ＭＡＸ−（反転前の値）＋ＶＡＬ＿ＭＩＮ
となる。画面間参照画素Ｒｅｃ’_Ｌに対して上記反転処理を行うか否かについては各色成分のヘッダ情報にフラグとして符号化・復号しても良いし、相関利用予測で参照する色成分と符号化対象の色成分の組み合わせによって固定的に決定しても良い。ヘッダ情報にフラグとして符号化・復号する場合は、符号化装置側で最適な方を選択することができる点が利点である。一方、固定的に決定する場合は、フラグ符号化するための符号量が発生しないことと、符号化装置側での選択処理が不要となるため装置化が容易になる点が利点である。

次に、画像復号装置の処理内容を説明する。
可変長復号部４１が符号化データから予測構成フラグを復号し、その予測構成フラグが４：４：４フォーマットの各色成分間で予測符号化を行う構成にすることを示していれば、アクセスユニットデリミタを復号することで、３つのＹＵＶ４：０：０フォーマットの画像を、表示などのためのアクセスの単位となる１つのピクチャ（アクセスユニット）として認識する。
そして、第一の色成分をＹＵＶ４：０：０フォーマットとして復号して、第一の色成分の復号画像を動き補償予測フレームメモリ４９に格納し、その動き補償予測フレームメモリ４９に格納された第一の色成分の復号画像を参照画像として利用して、その他の色差成分（例えばＵ成分およびＶ成分）の画像をＹＵＶ４：０：０フォーマットであるとみなして復号するように構成する。

次のピクチャでは、第一の色成分については、その動き補償予測フレームメモリ４９に格納された前ピクチャの第一の色成分の復号画像を参照画像として利用して、ＹＵＶ４：０：０フォーマットとして復号し、その他の色成分（Ｕ成分およびＶ成分）については、前ピクチャと同様に、当該ピクチャの第一の色成分の復号画像を参照画像として利用して、それぞれ復号を行う。

即ち、相関利用予測部７１の相関算出部７２は、可変長復号部４１により可変長復号された符号化モードが相関利用予測モードである場合、図２０の相関算出部６２と同様に、参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Ｒｅｃ’_Ｌ（図２２（ａ）において、斜線が施されている画素）と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値であるイントラ予測用メモリ４７に格納された画面内参照画素Ｒｅｃ_Ｃ（図２２（ｂ）において、斜線が施されている画素）とを用いて、上記の式（１）及び式（２）に示すように、予測に用いる相関パラメータα，βを算出する処理を実施する。

相関利用予測部７１の相関利用予測画像生成部７３は、相関算出部７２が相関パラメータα，βを算出すると、図２０の相関利用予測画像生成部６３と同様に、その相関パラメータα，βと画面間参照画素Ｒｅｃ’_Ｌを用いて、上記の式（３）に示すように、予測画像Ｐｒｅｄ_Ｃを生成する。

ここで、Ｕ成分及びＶ成分に相当する色成分の予測を行う場合、可変長復号部４１では、ブロック毎に、符号化モードとして、インター予測モード又は相関利用予測モードのいずれを適用するかを示す符号化モード情報を可変長復号する。
符号化モード情報が符号化モードとして、インター予測モードを適用する旨を示す場合には、第一の色成分を参照画像として、動きベクトルが零で特定される領域のブロックを予測値として動き補償予測処理を行う。従って、色成分間のインター予測モードの場合には、動きベクトル及び参照画像選択情報の可変長復号は行わない。あるいは、Ｕ成分及びＶ成分に相当する色成分の動き補償予測処理においては、Ｙ成分に相当する第一の色成分と同様に当該ピクチャと同一色成分の復号画像を参照画像とし、当該ピクチャの第一の色成分の復号画像も含めた参照ピクチャリストの中から参照ピクチャを選択して動き補償予測を実施するように本実施の形態２の画像符号化装置が構成されている場合、対応する画像復号装置も同様の処理を実施する。このとき、どのピクチャを参照したかの参照画像選択情報と動きベクトルを可変長復号する。ただし、可変長復号した参照画像選択情報が、当該ピクチャの第一の色成分の復号画像を参照することを示す場合は、動きベクトルの可変長復号は行わない。
符号化モード情報が符号化モードとして、相関利用予測モードを適用する旨を示す場合には、上記の相関利用予測処理を行うことによって予測画像を生成する。
即ち、この実施の形態２の画像復号装置では、Ｕ成分及びＶ成分に相当する色成分における符号化モードとして、インター予測モードと相関利用予測モードを備える。その他の処理は、上記実施の形態１の画像復号装置と同様の処理を行う。
ただし、Ｕ成分及びＶ成分に相当する色成分の動き補償予測処理において、当該ピクチャの第一の色成分の復号画像の参照を禁止し、相関利用信号予測でのみ当該ピクチャの第一の色成分の復号画像を参照できるように本実施の形態２の画像符号化装置が構成されている場合、対応する画像復号装置も同様の処理を実施する。

上記より、この実施の形態２の画像復号装置では、上記のようにして圧縮された符号化データを輝度成分の復号回路のみで好適に復号することができるため、回路規模を小さく抑えることができる。

この実施の形態２では、イントラ予測部４の代わりに、相関利用予測部６１を実装している画像符号化装置を示したが、図２５に示すように、イントラ予測部４の代わりに、相関利用適応予測部８１を実装するようにしてもよい。
図２６はこの発明の実施の形態２による画像符号化装置の相関利用適応予測部８１を示す構成図である。
図２６において、切替スイッチ８２は符号化制御部１により決定された符号化モードがイントラ予測モードである場合、画面内参照画素をイントラ予測部８３に出力し、その符号化モードが相関利用予測モードである場合、画面内参照画素を相関利用予測部８４に出力する処理を実施する。

イントラ予測部８３は符号化制御部１により決定された符号化モードがイントラ予測モードである場合、図１のイントラ予測部４と同様のイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
相関利用予測部８４は符号化制御部１により決定された符号化モードが相関利用予測モードである場合、図１９の相関利用予測部６１と同様の相関利用予測処理を実施してイントラ予測画像を生成する処理を実施する。
したがって、イントラ予測部４の代わりに、相関利用適応予測部８１を実装すると、符号化制御部１により決定された符号化モードがイントラ予測モードであれば、上記実施の形態１の方法でイントラ予測画像が生成され、符号化制御部１により決定された符号化モードが相関利用予測モードであれば、この実施の形態２の方法（相関利用予測）でイントラ予測画像が生成される。
この場合、可変長符号化部１３で符号化する符号化モードは、イントラ予測モード、相関利用予測モード、インター符号化モードのいずれを適用するかを示す符号化モード情報を示す。

この実施の形態２では、イントラ予測部４３の代わりに、相関利用予測部７１を実装している画像復号装置を示したが、図２７に示すように、イントラ予測部４３の代わりに、相関利用適応予測部９１を実装するようにしてもよい。
図２８はこの発明の実施の形態２による画像復号装置の相関利用適応予測部９１を示す構成図である。
図２８において、切替スイッチ９２は可変長復号部４１により可変長復号された符号化モードがイントラ予測モードである場合、画面内参照画素をイントラ予測部９３に出力し、その符号化モードが相関利用予測モードである場合、画面内参照画素を相関利用予測部９４に出力する処理を実施する。

イントラ予測部９３は可変長復号部４１により可変長復号された符号化モードがイントラ予測モードである場合、図４のイントラ予測部４３と同様のイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
相関利用予測部９４は可変長復号部４１により可変長復号された符号化モードが相関利用予測モードである場合、図２３の相関利用予測部７１と同様の相関利用予測処理を実施してイントラ予測画像を生成する処理を実施する。
したがって、イントラ予測部４３の代わりに、相関利用適応予測部９１を実装すると、可変長復号部４１により可変長復号された符号化モードがイントラ予測モードであれば、上記実施の形態１の方法でイントラ予測画像が生成され、可変長復号部４１により可変長復号された符号化モードが相関利用予測モードであれば、この実施の形態２の方法でイントラ予測画像が生成される。
また、この実施の形態２では、４：４：４フォーマットの画像を例として説明したが、当然、それぞれの色成分のサイズが等しければ、マルチチャンネル画像やハイパースペクトル画像などといった複数の色成分を持つ画像フォーマットについて同様の処理を行うことができる。
さらに、スケーラブル符号化のようにそれぞれの色成分のサイズが異なる場合においても、それぞれの色成分を符号化する際に予測参照する色成分を符号化対象の色成分のサイズの拡大または縮小して用いることで同様の処理を行うことができる。

実施の形態３．
実施の形態３では、上記実施の形態２で説明した符号化、復号処理とは別の符号化、復号処理について説明する。
図１９は、本実施の形態３による画像符号化装置を示す構成図であるが、上記実施の形態２で説明した画像符号化装置を示す構成図と同一であるため、説明を省略する。
図２０は、上記実施の形態２で説明した相関利用予測部６１を示す構成図と同一であるが、本実施の形態３において、相関利用予測部６１の相関算出部６２は、符号化制御部１により決定された符号化モードが相関利用予測モードである場合、予測に用いる相関パラメータα、βを符号化済の画素値を用いて算出するか（相関パラメータα、βのビットストリームへの多重が不要なモード）、予測に用いる相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出するか（相関パラメータα、βのビットストリームへの多重が必要なモード）、いずれかの処理を実施する。
相関利用予測画像生成部６３は相関算出部６２により算出された相関パラメータα、βと画面間参照画素Ｒｅｃ’_Ｌを用いて予測画像Ｐｒｅｄ_Ｃを生成する処理を実施する。

図２３は、本実施の形態３による画像復号装置を示す構成図であるが、上記実施の形態２で説明した画像復号装置を示す構成図と同一であるため、説明を省略する。
図２４は、上記実施の形態２で説明した相関利用予測部７１を示す構成図と同一であるが、本実施の形態３において、相関利用予測部７１の相関算出部７２は、可変長復号部より復号された符号化モードが相関利用予測モードで予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するモードの場合（相関パラメータα、βのビットストリームへの多重が不要なモード）、予測に用いる相関パラメータα、βを復号済の画素値を用いて算出し、算出した相関パラメータα、βを相関利用予測画像生成部７３へ出力する。可変長復号部より復号された符号化モードが相関利用予測モードで予測に用いる相関パラメータα、βがビットストリームに多重化されているモードの場合に（相関パラメータα、βのビットストリームへの多重が必要なモード）、可変長復号部より復号された相関パラメータα、βを、相関利用予測画像生成部７３へ出力する。
相関利用予測画像生成部７３は相関算出部７２より出力された相関パラメータα、βと画面間参照画素Ｒｅｃ’_Ｌを用いて予測画像Ｐｒｅｄ_Ｃを生成する処理を実施する。

次に符号化処理の動作について説明する。
最初に画像符号化装置の処理内容を説明する。ただし、画像符号化装置の構成、相関利用予測部６１の構成は、上記実施の形態２と同様である。
本実施の形態３の相関利用予測部６１の相関算出部６２は、符号化制御部１により決定された符号化モードが相関利用予測モードである場合、予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するか（相関パラメータα、βのビットストリームへの多重が不要なモード）、予測に用いる相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出するか（相関パラメータα、βのビットストリームへの多重が必要なモード）、いずれかの処理を実施する。
相関パラメータα、βを復号済の画素値を用いて算出するモードの場合には（相関パラメータα、βのビットストリームへの多重が不要なモード）、図２２に示すように、参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Ｒｅｃ’_Ｌ（図２２（ａ）において、斜線が施されている画素）と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値であるイントラ予測用メモリ１０に格納された画面内参照画素Ｒｅｃ_Ｃ（図２２（ｂ）において、斜線が施されている画素）とを用いて、上記実施の形態２と同様に、式（１）及び式（２）に示すように、予測に用いる相関パラメータα、βを算出する処理を実施する。
式（１）、（２）において、Ｉは処理対象となる予測ブロックの１辺の画素数の２倍の値である。
相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出するモードの場合には（相関パラメータα、βのビットストリームへの多重が必要なモード）、復号済の参照ブロック内の画素Ｒｅｃ’_Ｌ(図２９（ａ）において、網掛けが施されている画素)と、符号化対象ブロック内の画素Ｒｅｃ_Ｃ（図２９（ｂ）において、網掛けが施されている画素）とを用いて、上記の式（１）及び式（２）に示すように、予測に用いる相関パラメータα、βを算出する処理を実施する。
予測に用いる相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出するモードの場合には、復号側で用いる相関パラメータα、βをビットストリームに多重化する必要があるため、相関パラメータα、βを可変長符号化部へ出力する。
なお、予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するモードの場合には（相関パラメータα、βのビットストリームへの多重が不要なモード）、復号側で符号化側と同様の処理を実施することにより相関パラメータα、βを算出することができるため、相関パラメータα、βをビットストリームに多重化する必要はない。
予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するモードと、予測に用いる相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出するモードのいずれを選択するかは、符号化制御部１により決定される。
相関利用予測部６１の相関利用予測画像生成部６３は、相関算出部６２が相関パラメータα、βを算出すると、その相関パラメータα、βと画面間参照画素Ｒｅｃ’_Ｌを用いて、上記実施の形態２と同様に、式（３）に示すように、予測画像Ｐｒｅｄ_Ｃを生成する。

これにより、色成分間の予測処理において、残差の小さい予測画像を生成することができるため、符号化効率を向上させることができる。

なお、相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出するモードの場合には、相関パラメータα、βをビットストリームに多重化する必要があり、相関パラメータα、βにかかわる符号量を抑えるために、符号化対象ブロック内の画素値を用いて算出するモード（相関パラメータα、βのビットストリームへの多重が必要なモード）を適用できるブロックサイズを所定のサイズより大きい場合に制限してもよい。すなわち、符号化制御部１により符号化対象ブロック内の画素値を用いて算出するモード（相関パラメータα、βのビットストリームへの多重が必要なモード）を適用できるブロックサイズを所定のサイズより大きい場合に制限することにより、ブロックサイズが所定サイズより大きい場合は、相関パラメータα、βのビットストリームへの多重が必要となるが、ブロックサイズが所定サイズより小さい場合は、相関パラメータα、βのビットストリームへの多重が不要となる。つまり、ブロックサイズが大きければ、相関パラメータα、βをビットストリームに多重しても、データ量に対するオーバーヘッドの割合が少なくて済むため、符号量を抑えることができる。
また、相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出する方法（相関パラメータα、βのビットストリームへの多重が必要なモード）の別の実施の形態として、相関パラメータα、βの値を直接多重化せずに、相関パラメータα、βの候補値をインデックス化し、そのインデックスを多重化するようにしてもよい。このようにすることで相関パラメータα、βに関する符号量を抑えることができる。

さらに、相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出する方法（相関パラメータα、βのビットストリームへの多重が必要なモード）の別の実施の形態として、復号済の参照ブロック内の画素Ｒｅｃ’_Ｌ(図２９（ａ）において、網掛けが施されている画素)を用いて所定の方法でクラスタリングを行い、参照ブロック内の画素Ｒｅｃ’_Ｌを所定の数のクラスに分類する。図３０は参照ブロック内の画素を例えば４つのクラスに分類した例である。符号化対象ブロック内の画素Ｒｅｃ_Ｃは参照ブロック内の同じ位置の画素と同じクラスに分類する。参照ブロックと符号化対象ブロックと同じクラスに属する画素を用いて、クラスごとに上記の式（１）及び式（２）に示すように、予測に用いる相関パラメータα、βを算出する処理を実施する。クラスごとに算出した相関パラメータα、βはビットストリームに多重化するため可変長符号化部へ出力する。なお、復号済の画素を用いてクラスタリングを行っているため、各画素がどのクラスに分類されたかといったクラスタリングに関わる情報はビットストリーム多重化する必要はない。また相関パラメータα、βに関わる符号量を抑えるために、符号化対象ブロック内の画素値を用いて算出するモード（相関パラメータα、βのビットストリームへの多重が必要なモード）を適用できるブロックサイズを所定のサイズより大きい場合に制限してもよい。すなわち、符号化制御部１により符号化対象ブロック内の画素値を用いて算出するモード（相関パラメータα、βのビットストリームへの多重が必要なモード）を適用できるブロックサイズを所定のサイズより大きい場合に制限することにより、ブロックサイズが所定サイズより大きい場合は、相関パラメータα、βのビットストリームへの多重が必要となるが、ブロックサイズが所定サイズより小さい場合は、相関パラメータα、βのビットストリームへの多重が不要となる。つまり、ブロックサイズが大きければ、相関パラメータα、βをビットストリームに多重しても、データ量に対するオーバーヘッドの割合が少なくて済むため、符号量を抑えることができる。
なお、上記の動作以外の符号化処理の動作については、上記実施の形態２と同様であるため、説明は省略する。

次に復号処理の動作について説明する。
可変長復号部４１の動作については、上記実施の形態２と同様であるため、説明は省略する。
以下、可変長復号部より復号された符号化モードが相関利用予測モードである場合について説明する。
相関利用予測部７１の相関算出部７２は、予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するモードである場合（相関パラメータα、βのビットストリームへの多重が不要なモード）、図２２に示すように、参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Ｒｅｃ’_Ｌ（図２２（ａ）において、網掛け(斜線)が施されている画素）と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値であるイントラ予測用メモリ４７に格納された画面内参照画素Ｒｅｃ_Ｃ（図２２（ｂ）において、網掛け(斜線)が施されている画素）とを用いて、上記の式（１）及び式（２）に示すように、予測に用いる相関パラメータα、βを算出する処理を実施する。
式（１）、（２）において、Ｉは処理対象となる予測ブロックの１辺の画素数の２倍の値である。
予測に用いる相関パラメータα、βをビットストリームより復号するモードの場合には、可変長復号部４１にて復号された相関パラメータα、βを相関利用予測画像生成部７３へ出力する。

相関利用予測部７１の相関利用予測画像生成部７３は、相関算出部７２が相関パラメータα、βを算出すると、図２０の相関利用予測画像生成部６３と同様に、その相関パラメータα、βと画面間参照画素Ｒｅｃ’_Ｌを用いて、上記の式（３）に示すように、予測画像Ｐｒｅｄ_Ｃを生成する。

また相関パラメータα、βをビットストリームより復号するモードの場合の別の実施の形態として、復号済の参照ブロック内の画素Ｒｅｃ’_Ｌ(図２９（ａ）において、網掛けが施されている画素)を用いて、符号化装置と同じ方法でクラスタリングを行い、参照ブロック内の画素Ｒｅｃ’_Ｌを所定の数のクラスに分類する。図３０は参照ブロック内の画素を４つのクラスに分類した例である。復号対象ブロック内の画素Ｒｅｃ_Ｃは参照ブロック内の同じ位置の画素と同じクラスに分類する。参照ブロックと符号化対象ブロックと同じクラスに属する画素を用いて、クラスごとに可変長復号される相関パラメータα、βを用いて上記の式（３）に示すように、予測画像Ｐｒｅｄ_Ｃを生成する。

なお符号化装置にて、予測に用いる相関パラメータα、βを復号対象ブロック内の画素値を用いて算出するモードである場合（相関パラメータα、βのビットストリームへの多重が必要なモード）を適用できるブロックサイズを所定のサイズより大きい場合に制限している場合には、復号対象ブロックのブロックサイズが所定のサイズより大きい場合にのみ、予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するか（相関パラメータα、βのビットストリームへの多重が不要なモード）、予測に用いる相関パラメータα、βをビットストリームより復号するか（相関パラメータα、βのビットストリームへの多重が必要なモード）を示すモード情報を復号し、復号されたモードに従って上記の処理を行う。復号対象ブロックのブロックサイズが所定のサイズ以下の場合には予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するモード（相関パラメータα、βのビットストリームへの多重が不要なモード）を常に適用する。
なお、画面間参照画素Ｒｅｃ’_Ｌについては白黒反転した値を用いても良い。これは、色成分間で色黒が反転（ネガポジ反転）したような相関関係を有する場合があるためである。具体的には、画面間参照画素Ｒｅｃ’_Ｌの取り得る輝度値の最小値をＶＡＬ＿ＭＩＮ、最大値をＶＡＬ＿ＭＡＸとした場合、
（反転後の値）＝ＶＡＬ＿ＭＡＸ−（反転前の値）＋ＶＡＬ＿ＭＩＮ
となる。画面間参照画素Ｒｅｃ’_Ｌに対して上記反転処理を行うか否かについては各色成分のヘッダ情報にフラグとして符号化・復号しても良いし、相関利用予測で参照する色成分と符号化対象の色成分の組み合わせによって固定的に決定しても良い。ヘッダ情報にフラグとして符号化・復号する場合は、符号化装置側で最適な方を選択することができる点が利点である。一方、固定的に決定する場合は、フラグ符号化するための符号量が発生しないことと、符号化装置側での選択処理が不要となるため装置化が容易になる点が利点である。

これにより、この実施の形態３の画像符号化装置、画像復号装置では、上記のようにして色成分間の予測処理において、残差の小さい予測画像を生成することができるため、符号化効率を高めることができる。なお、本実施の形態３の特徴部分は、予測画像生成部であり、この予測画像生成部があれば、本実施の形態３の画像符号化装置、画像復号装置の上記効果を得ることができる。
また、上記では図１９の画像符号化装置及び図２３の画像復号装置による実施の形態について説明したが、実施の形態２で説明した図２５の画像符号化装置及び図２７の画像復号装置の構成とする場合も上記と同様の処理を実施する。すなわち、本実施の形態３では、図２６の相関利用予測部８４は本実施の形態３の相関利用予測部６１と同様の処理を実施し、図２８の相関利用予測部９４は本実施の形態３の相関利用予測部７１と同一の処理を実施する。

なお、上記の動作以外の復号処理の動作については、上記実施の形態２と同様であるため、説明は省略する。

実施の形態４．
実施の形態４では、上記実施の形態２、３で説明した符号化、復号処理とは別の符号化、復号処理について説明する。
なお以下の説明においては、特に断らない限り、入力される映像信号が、ＹＵＶ４：４：４信号であるとし、第１、第２、第３色成分がそれぞれＹ、Ｕ、Ｖ成分であるとして説明するが、入力される映像信号はＲＧＢ信号であるとし、第１、第２、第３色成分は３成分のいずれの組み合わせであってもよい。また入力される映像信号が３原色より更に多くの色成分を含む信号であってもよく、第４以降の色成分については、第２、第３色成分と同様の処理手順を適用することができる。
また、本実施の形態４は、特に断らない限り、それぞれの色成分をＹＵＶ４：０：０フォーマットであるとみなして符号化する。

図３１は、本実施の形態４による画像符号化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
インター予測部１０１は符号化制御部１により決定された符号化モードがインター予測モードである場合、ＹＵＶ信号の輝度成分（Ｙ成分）に相当する第１の色成分については、符号化済みの異なるＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）を持つ第１の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
また、ＹＵＶ信号のＵ成分およびＶ成分に相当する第２の色成分及び第３の色成分について、符号化済みの同じＰＯＣを持つ異なる色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成するか、符号化済みの異なるＰＯＣを持ち、符号化対象の色成分と同じ色成分の局部復号画像を参照画像として利用して、フレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
なお、インター予測部１０１は予測画像生成部を構成している。

図３２はこの発明の実施の形態４による画像符号化装置のインター予測部１０１を示す構成図である。
図３２において、動き補償予測部５は動き補償予測フレームメモリ１２に格納され、符号化対象の色成分と同じ色成分で異なるＰＯＣを持つ局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
相関利用予測部６１は動き補償予測フレームメモリ１２に格納され、符号化対象の色成分と異なる色成分で、同じＰＯＣを持つ局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像生成する処理を実施する。

インター予測部１０１より出力されるインター予測パラメータは可変長符号化部１３にてエントロピー符号化されビットストリームに多重化される。
なお、図３２の相関利用予測部６１は、上記実施の形態２、３で説明した相関利用予測部６１を示す構成図と同一であるため、説明を省略する。ただし、予測に用いる相関パラメータα、βを復号済の画素値を用いて算出する場合（相関パラメータα、βのビットストリームへの多重が不要な場合）には、相関利用予測部６１にイントラ予測用メモリ１０に格納された画面内参照画素Ｒｅｃ_Ｃを入力するように画像符号化装置を構成する必要がある。また、実施の形態２で説明したように、上記相関パラメータα，βは算出せず、処理対象の色成分と参照画像の色成分との組み合わせ毎に固定値を定めておいても良いし、色成分に関わらず特定の値（例えばα＝１，β＝０）に固定化しても良い。このようにすることで予測効率は低下するが演算量が少なくなるため、低演算性が強く求められる場合は相関パラメータα，βを固定化した方が好ましい。
また、図３８は、本実施の形態４による画像復号装置を示す構成図であり、図において、図４と同一符号は同一または相当分を示すので説明を省略する。
インター予測部１１１は可変長復号部４１にて復号された符号化モードがインター予測モードである場合、ＹＵＶ信号の輝度成分(Ｙ成分)に相当する第1の色成分については、復号済みの異なるＰＯＣを持つ第１の色成分の復号画像を参照画像として利用して、フレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
また、ＹＵＶ信号のＵ成分およびＶ成分に相当する第２の色成分および第３の色成分について、復号済みの同じＰＯＣを持つ異なる色成分の復号画像を参照画像として利用して、フレーム間予測符号化を実施することで予測画像を生成するか、復号済みの異なるＰＯＣを持ち、復号対象の色成分と同じ色成分の復号画像を参照画像として利用して、フレーム間予測を実施することで予測画像を生成する処理を実施する。
また、図３９はこの発明の実施の形態４による画像復号装置のインター予測部１１１を示す構成図である。
図３９において、動き補償部４４は動き補償予測フレームメモリ４９に格納され、復号対象の色成分と同じ色成分で異なるＰＯＣを持つ復号画像を参照画像として利用してフレーム間予測を実施することで予測画像を生成する処理を実施する。
相関利用予測部７１は動き補償予測フレームメモリ４９に格納され、復号対象の色成分と異なる色成分で、同じＰＯＣを持つ復号画像を参照画像として利用してフレーム間予測を実施することで予測画像を生成する処理を実施する。ただし、予測に用いる相関パラメータα、βを復号済の画素値を用いて算出する場合（相関パラメータα、βのビットストリームへの多重が不要な場合）には、相関利用予測部７１にイントラ予測用メモリ４７に格納された画面内参照画素Ｒｅｃ_Ｃを入力するように画像符号化装置を構成する必要がある。また、本実施の形態４の画像符号化装置が、上記相関パラメータα，βを算出せずに処理対象の色成分と参照画像の色成分との組み合わせ毎や、色成分に関わらず特定の値に固定化している場合、画像復号装置でも同一の固定値を用いるように構成する。

図３３は、参照画像として利用する局部復号画像を示す説明図である。本実施の形態４において、最初にＹＵＶ信号の輝度成分（Ｙ成分）に相当する第１の色成分のみから構成されるピクチャ(以下第１色成分ピクチャ)をＩピクチャとしてフレーム内予測符号化を行い、第１の色成分の局部復号画像を動き補償予測フレームメモリ１２に格納する。次の第１色成分ピクチャでは、図３３に示すように、動き補償予測フレームメモリ１２に格納された前第１色成分ピクチャの局部復号画像を参照画像(時間方向予測参照画像)として利用して、４：０：０フォーマットとして符号化する。
Ｖ成分に相当する第３の色成分のみから構成されるピクチャ(以下第３色成分ピクチャ)については、第１の色成分の動き補償予測と同様に、動き補償予測フレームメモリに格納された符号化対象と同じ色成分ピクチャ(第３色成分ピクチャ)の局部復号画像を参照画像(時間方向予測参照画像)として利用して予測画像を生成するか、動き補償予測フレームメモリに格納された同じＰＯＣを持つ第１色成分ピクチャの局部復号画像を参照画像(色成分間予測参照画像)として利用して、予測画像を生成する。
Ｕ成分に相当する第２の色成分のみから構成されるピクチャ(以下第２色成分ピクチャ)については、第１の色成分の動き補償予測と同様に、動き補償予測フレームメモリに格納された符号化対象と同じ色成分ピクチャ(第２色成分ピクチャ)の局部復号画像を参照画像(時間方向予測参照画像)として利用して予測画像を生成するか、動き補償予測フレームメモリに格納された同じＰＯＣを持つ第１または第３色成分ピクチャの局部復号画像を参照画像(色成分間予測参照画像)として利用して、予測画像を生成する。このとき、第１または第３色成分ピクチャの局部復号画像のどちらを参照するかはシーケンスレベル、ピクチャレベル、スライスレベルのヘッダ情報として決定するようにしてもよいし、予めいずれか一方に固定するようにしてもよい。なお、ヘッダ情報として用意する場合は、画像符号化装置で本ヘッダ情報を符号化し、画像復号装置で復号するように構成する。
なお時間方向予測参照画像を用いて予測画像を生成する処理は動き補償予測部５にて行い、色成分間予測参照画像を用いて予測画像を生成する処理は相関利用予測部６１にて行う。
また、上記の通り、相関利用予測部６１による、色成分間予測参照画像を用いて予測画像を生成する処理は第１の色成分以外の色成分のみで行うことができる。

次に動作について説明する。
最初に、画像符号化装置の処理内容を説明する。
ただし、動き補償予測部５の代わりに、インター予測部１０１を設け、インター予測部１０１の中に動き補償予測部５と相関利用予測部６１を設けている点以外は、上記実施の形態１と同様である。実施の形態２における相関利用予測部６１は、参照画像内で当該予測対象ブロックと同じ位置にあるブロックを参照ブロックとしているが、本実施の形態４における相関利用予測部６１は、参照画像内の任意の位置にあるブロックを参照ブロックとする点が異なる。すなわち動き補償予測フレームメモリ１２に格納された符号化対象と同じ色成分ピクチャの局部復号画像を参照画像（時間方向予測参照画像）として利用して予測画像を生成する動き補償予測部５と同様、参照ブロックの位置を示す動きベクトル（インター予測パラメータに含まれる）が可変長符号化部１３にて符号化される。実施の形態２における相関利用予測部６１と同様、参照画像内で当該予測対象ブロックと同じ位置にあるブロックを参照ブロックとすることにし、すなわち動きベクトルを零に固定とし、動きベクトルの可変長符号化を行わないようにしてもよい（動きベクトルも、参照画像インデックスも可変長符号化しないモード）。
このように相関利用予測では予測対象ブロックと同じ位置にあるブロックのみを参照するようにした場合、符号化ブロック内の全色成分を一つの符号化単位としたブロック単位の符号化処理を行う画像符号化装置を構成することもできる。このとき、同一符号化ブロックの各色成分の符号化モードを個別に設定しても良いし、共通としてもよい。個別に設定した場合、各色成分で適切な予測を選択することができ画像の品質を改善することができる。一方、共通とした場合は符号化モードの符号量を削減できると共に、各色成分での符号化モードの最適な組み合わせを算出する必要がなく、符号化装置を簡易化することができる。なお、符号化モードを個別とする場合も共通とする場合も、第１色成分では相関利用予測の参照色成分が存在しないため、相関利用予測を利用できない。したがって、個別とする場合は、第１色成分以外の色成分で相関利用予測が選択可能となる。一方、共通とする場合は第１色成分以外の色成分で相関利用予測を行うか否かの情報を符号化ブロックあるいは予測ブロック単位に別途符号化する必要がある。上記ブロック単位の相関利用予測の有無情報は第１色成分以外の全ての色成分で共通でも良いし、色成分毎に独立でも良い。独立に設定した場合、各色成分で適切な予測を選択することができ画像の品質を改善することができる。一方、共通とした場合は上記ブロック単位の相関利用予測の有無情報の符号量を削減することができる。
また、相関利用予測において動きベクトルを零に固定するか否かはシーケンスレベル、ピクチャレベル、スライスレベル等のヘッダ情報として符号化するようにしてもよい。このようにすることで相関利用予測における動きベクトルの有無を適応的に制御でき、符号化効率を改善することができる。

なお動き補償予測部において、動きベクトルは１/４画素精度まで表現でき、図３７に示すように、動きベクトルが指し示す参照画素が小数画素位置にある場合には隣接するＮ画素(Ｎ≧２)から内挿補間画素を生成して予測値とする。図３７に示すように、動きベクトルが指し示す小数画素位置の画素値(y₃₀)を隣接する８個の整数画素値を参照して、下式により求める。以下の式（４）においてa_iは内挿フィルタ係数である。

なおＮの値および内挿フィルタ係数を色成分ごとに異なる値に設定するようにしてもよい。
相関利用予測部６１においても動き補償予測部５と同様に、動きベクトルは１/４画素精度まで表現でき、小数画素位置の画素値は、隣接する整数画素から補間して生成する。内挿補間画素を生成する際のＮの値および内挿フィルタ係数を動き補償予測部と同様に色成分によって切り替えるようにしてもよいし、参照画像(色成分間予測参照画像)の色成分によって切り替えるようにしてもよい。
Ｎの値を増やすことにより、演算量の増大または１つの小数画素を生成するために必要な参照画素数が増えるため、メモリバンド幅の増大になるが、より正確に画素を予測することができるため、動き補償予測効率や相関利用予測効率が高まる。逆にＮの値を減らすことにより、演算量およびメモリバンド幅を抑えることができる。従って各色成分の持つ特徴に応じてＮの値および内挿フィルタ係数を切り替えることで、回路規模を抑えて符号化効率を高めることができる。
別の実施の形態として、相関利用予測部６１においては、小数画素の精度を切り替えて、例えば１/２画素精度まで、あるいは整数画素のみにする、逆に１/８画素精度まで利用できるようにするなどしてもよい。

上記のような相関利用予測部６１により、色成分間の予測処理において、残差の小さい予測画像を生成することができるため、回路規模を小さく抑えつつ、符号化効率を向上させることができる。
また、輝度成分の符号化回路のみで４：４：４フォーマットの画像を高効率に圧縮することができる。

以下、可変長符号化部１３の処理内容を具体的に説明する。
可変長符号化部１３は、図３に示すように、変換・量子化部７から出力された圧縮データである直交変換係数を可変長符号化する変換係数可変長符号化部２１と、入力信号フォーマット情報、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、ブロック分割情報などの符号化パラメータを可変長符号化する符号化パラメータ可変長符号化部２２とから構成されており、変換係数可変長符号化部２１により可変長符号化された圧縮データの符号化データと、符号化パラメータ可変長符号化部２２により可変長符号化された符号化パラメータとは多重化されてビットストリームが生成される。

符号化パラメータ可変長符号化部２２のインター予測パラメータを符号化する処理について説明する。
インター予測部１０１より出力されるインター予測パラメータには、予測ブロック（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ：以下ＰＵ）の単位にマージモード指示フラグやマージモード動きベクトル指示情報、予測方向指示情報、参照画像識別情報、予測ベクトル指示情報、差分動きベクトル情報などのインター予測に必要なパラメータが含まれる。
マージモードとは、符号化対象の予測ブロック(以下、カレントＰＵ)に関わるインター予測パラメータを空間的に隣接する周囲のＰＵまたは参照画像のＰＵのインター予測パラメータにて代用するモードである。なおインター予測パラメータを参照するための参照画像のことを、予測画像を生成するための参照画像と区別するため、インター予測パラメータ参照画像と呼ぶこととする。マージモードが選択された場合(マージモード指示フラグがカレントＰＵがマージモードであることを指示する値である場合)には、空間的に隣接する周囲のＰＵまたはインター予測パラメータ参照画像のＰＵのインター予測パラメータからマージ候補リストを生成し、リストの中からカレントＰＵに代用するインター予測パラメータとして最適なインター予測パラメータを選択し、そのインデックス(マージモード動きベクトル指示情報)を符号化する。マージ候補リストに登録するインター予測パラメータの候補数の上限は、ピクチャまたはスライスごとに決定される。

次にマージ候補リストの生成方法について説明する。
図３４にマージ候補リストに登録するＰＵのうち、空間的に隣接するＰＵの画素位置を示す。図３４に示す６つの画素位置のＰＵのインター予測パラメータをマージ候補リストに登録する。なお図３４に示す隣接ＰＵのうち、符号化済みではないＰＵやイントラ符号化モードで符号化されたＰＵの場合や、登録済みの候補と同一のインター予測パラメータの場合には候補として登録しない。
次にインター予測パラメータ参照画像上でカレントＰＵと同一空間位置にあるＰＵをマージ候補リストに登録する。選択可能なインター予測パラメータ参照画像は、色成分によって異なる。第１の色成分の場合には、図３５に示すように第１の色成分の参照画像(時間方向予測参照画像)の中からインター予測パラメータ参照画像(時間近傍参照画像)が選択される（時間方向予測のみを用いたマージモード）。時間近傍参照画像上でカレントＰＵと同一空間位置にあるＰＵをマージ候補ＰＵとする。時間近傍参照画像上のマージ候補ＰＵのインター予測パラメータがカレントＰＵのインター予測パラメータとして適用される場合には、マージ候補ＰＵの動きベクトルは、時間近傍参照画像とマージ候補ＰＵの参照画像の距離(ＰＯＣの差分値)(td)とカレントピクチャとカレントＰＵの参照画像の距離(ＰＯＣの差分値)(tb)に基づいて、マージ候補ＰＵの動きベクトル(mv_col)はスケーリングされ、スケーリング後の動きベクトル(mv_{merge_cand})がカレントＰＵの動きベクトルとして適用される（時間方向予測のみを用いたマージモードでスケーリング有）。

次に第１の色成分以外の色成分（例えば第２または第３の色成分）の場合のインター予測パラメータ参照画像上のマージ候補ＰＵの決定手順について図３６を用いて説明する。
第１の色成分以外の色成分である第２または第３の色成分の場合には、第１の色成分と同様に時間近傍参照画像をインター予測パラメータ参照画像とするか（時間方向予測のみを用いたマージモード）、色成分間予測に用いる参照画像の中からインター予測パラメータ参照画像(色成分間参照画像)を選択する（時間方向予測及び色成分間予測を用いたマージモード）。色成分間参照画像上で第１の色成分以外の色成分である第２または第３の色成分のカレントＰＵと同一空間位置にある第１の色成分のＰＵをマージ候補ＰＵとする。色成分間参照画像上のマージ候補ＰＵのインター予測パラメータがカレントＰＵのインター予測パラメータとして適用される場合には、マージ候補ＰＵの動きベクトルは、色成分間参照画像とマージ候補ＰＵの参照画像の距離(ＰＯＣの差分値)(tf)とカレントピクチャとカレントＰＵの参照画像の距離(ＰＯＣの差分値)(tb)に基づいて、マージ候補ＰＵの動きベクトル(mv_col)はスケーリングされ、スケーリング後の動きベクトル(mv_{merge_cand})がカレントＰＵの動きベクトルとして適用される（時間方向予測及び色成分間予測を用いたマージモードでスケーリング有）。なおtfとtbが等しい場合にはスケーリングは不要であり、mv_colがmv_{merge_cand}としてそのまま適用される（時間方向予測及び色成分間予測を用いたマージモードでスケーリング無）。なおカレントＰＵの時間方向予測参照画像の中から、マージ候補ＰＵの参照画像と同じＰＯＣを持つ参照画像をカレントＰＵの参照画像として選択し、スケーリング処理が常に不要になるようにしてもよい（時間方向予測及び色成分間予測を用いたマージモードで常にスケーリング無）。
マージモードが選択されない場合(マージモード指示フラグが、当該ＰＵがマージモードではないことを指示する値である場合)には(マージモードを用いずにインター予測を行うモード)、当該ＰＵに用いられるインター予測パラメータ(当該ＰＵの予測方向指示情報や動きベクトル情報、参照画像識別情報)が直接符号化される。なお動きベクトルの符号化では、空間的に隣接する周囲のＰＵまたは参照画像のＰＵの動きベクトルから動きベクトル候補リストを生成し、リストの中から最適な予測値候補を選択し、そのインデックス(予測ベクトル指示情報)と選択された予測値と動きベクトルの差分値(差分動きベクトル情報)を符号化する。動きベクトル候補リストの生成方法は、マージ候補リストの生成方法と同様である。
なおマージ候補リストまたは動きベクトル候補リストの生成に用いるインター予測パラメータ参照画像は、ピクチャ単位に選択できるようにし、ピクチャやスライスヘッダでインター予測パラメータ参照画像指示情報を符号化する。

次に変換係数可変長符号化部２１の動作について説明する。符号化対象の色成分ピクチャの各変換ブロックは、実施の形態１の変換係数可変長符号化部２１の輝度成分の変換ブロックに適用される算術符号化処理により算術符号化され、ブロック符号化データとして出力される。
なおsignificant_coeff_flagなど、変換ブロックを構成する変換係数パラメータの算術符号化に用いる生起確率が、色成分ごとに異なる場合には、色成分ごとに異なるコンテキストインデックス値(コンテキスト情報)を割り当てるようにしてもよい（コンテキスト情報を色成分ごとに切り替えるモード）。

次に、画像復号装置の処理内容を説明する。
ただし、動き補償部４４の代わりにインター予測部１１１を設け、インター予測部１１１の中に動き補償部４４と相関利用予測部７１を設けている点以外は、上記実施の形態１と同様である。
可変長復号部４１が符号化データから予測構成フラグを復号し、その予測構成フラグが４：４：４フォーマットの各色成分間で予測符号化を行う構成にすることを示していれば、アクセスユニットデリミタを復号することで、３つのＹＵＶ４：０：０フォーマットの画像を、表示などのためのアクセスの単位となる１つのアクセスユニットとして認識する。
そして１つのアクセスユニットに含まれ第１の色成分のみから構成されるピクチャ(第１色成分ピクチャ)をＹＵＶ４：０：０フォーマットとして復号して、第１色成分ピクチャの復号画像を動き補償予測フレームメモリ４９に格納し、その動き補償予測フレームメモリ４９に格納された第１色成分ピクチャの復号画像を参照画像として利用して、第１の色成分以外の色差成分（例えばＵ成分およびＶ成分）の画像をＹＵＶ４：０：０フォーマットであるとみなして復号するように構成する。
このとき、画像復号装置で各４：０：０フォーマットのピクチャがどの色成分であるか識別できるように、色成分識別情報をヘッダ情報として画像符号化装置で符号化し、画像復号装置で復号するようにしてもよい。これにより、復号される情報のみでカラー画像を正しく表示することができる。

次の第１色成分ピクチャについては、その動き補償予測フレームメモリ４９に格納された前第１色成分ピクチャの復号画像を参照画像として利用して、ＹＵＶ４：０：０フォーマットとして復号し、第１の色成分以外の色成分（例えばＵ成分およびＶ成分）については、第１の色成分の動き補償予測と同様に、動き補償予測フレームメモリ４９に格納された復号対象と同じ色成分ピクチャの復号画像を参照画像(時間方向予測参照画像)として利用して予測画像を生成するか、動き補償予測フレームメモリ４９に格納された同じＰＯＣを持つ第１色成分の復号画像を参照画像(色成分間予測参照画像)として利用して、予測画像を生成する。なお、時間方向予測参照画像を用いて予測画像を生成する処理は動き補償部４４にて行い、色成分間予測参照画像を用いて予測画像を生成する処理は相関利用予測部７１にて行う。
予測構成フラグが４：４：４フォーマットの各色成分間で予測符号化を行う構成にすることを示している場合の各色成分ピクチャの可変長復号処理内容について具体的に説明する。

可変長復号部４１は、図６に示すように、ビットストリームに多重化された符号化データから圧縮データである直交変換係数を可変長復号する変換係数可変長復号部５１と、ビットストリームに多重化された符号化データから入力信号フォーマット情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、ブロック分割情報などの符号化パラメータを可変長復号する符号化パラメータ可変長復号部５２とから構成されている。
符号化パラメータ可変長復号部５２のインター予測パラメータを復号する処理について説明する。
可変長復号部４１にて復号されるインター予測パラメータには、予測ブロック(ＰＵ)の単位にマージモード指示フラグやマージモード動きベクトル指示情報、予測方向指示情報、参照画像識別情報(参照画像インデックス)、予測ベクトル指示情報、差分動きベクトル情報などのインター予測に必要なパラメータが含まれる。
まずピクチャまたはスライスの単位にマージ候補リストまたは動きベクトル候補リストの生成に用いるインター予測パラメータの予測参照候補を指示する情報(インター予測パラメータ参照画像指示情報)が可変長復号される。インター予測パラメータ参照画像指示情報は、第１色成分ピクチャの復号時には、時間近傍参照画像の中から予測参照候補を指示する情報であるが、第１の色成分以外の色成分である第２または第３色成分ピクチャの復号時には、時間近傍参照画像及び色成分間参照画像の中から予測参照候補を指示する情報である。
次にＰＵの単位に可変長復号されたマージモード指示フラグが、カレントＰＵがマージモードであることを示している場合には、インター予測パラメータ参照画像指示情報に基づき特定されたインター予測パラメータ参照画像を用いて、マージ候補リストを生成する。

マージ候補リストの生成法について説明する。
図３４にマージ候補リストに登録するＰＵのうち、空間的に隣接するＰＵの画素位置を示す。図３４に示す６つの画素位置のＰＵのインター予測パラメータをマージ候補リストに登録する。なお図３４に示す隣接ＰＵのうち、復号済みではないＰＵやイントラ符号化モードで符号化されたＰＵの場合や、登録済みの候補と同一のインター予測パラメータの場合には候補として登録しない。
次にインター予測パラメータ参照画像上でカレントＰＵと同一空間位置にあるＰＵをマージ候補リストに登録する。図３５に示すように第１の色成分の場合のインター予測パラメータ参照画像は時間近傍参照画像である（時間方向予測のみを用いたマージモード）。時間近傍参照画像上でカレントＰＵと同一空間位置にあるＰＵをマージ候補ＰＵとする。時間近傍参照画像上のマージ候補ＰＵのインター予測パラメータがカレントＰＵのインター予測パラメータとして適用される場合には、マージ候補ＰＵの動きベクトルは、時間近傍参照画像とマージ候補ＰＵの参照画像の距離(ＰＯＣの差分値)(td)とカレントピクチャとカレントＰＵの参照画像の距離(ＰＯＣの差分値)(tb)に基づいて、マージ候補ＰＵの動きベクトル(mv_col)はスケーリングされ、スケーリング後の動きベクトル(mv_{merge_cand})がカレントＰＵの動きベクトルとして適用される（時間方向予測のみを用いたマージモードでスケーリング有）。なおカレントＰＵの時間方向予測参照画像の中から、マージ候補ＰＵの参照画像と同じＰＯＣを持つ参照画像をカレントＰＵの参照画像として選択し、スケーリング処理が常に不要になるようにしてもよい（時間方向予測のみを用いたマージモードで常にスケーリング無）。

次に第１の色成分以外の色成分である第２または第３の色成分の場合のインター予測パラメータ参照画像上のマージ候補ＰＵの決定手順について図３６を用いて説明する。
第１の色成分以外の色成分である第２または第３の色成分の場合にはインター予測パラメータ参照画像は、時間近傍参照画像（時間方向予測のみを用いたマージモード）か色成分間参照画像（時間方向予測及び色成分間予測を用いたマージモード）のいずれかである。色成分間参照画像が用いられる場合においても第１の色成分以外の色成分である第２または第３の色成分のカレントＰＵと同一空間位置にある第１の色成分のＰＵをマージ候補ＰＵとする。色成分間参照画像上のマージ候補ＰＵのインター予測パラメータがカレントＰＵのインター予測パラメータとして適用される場合には、マージ候補ＰＵの動きベクトルは、色成分間参照画像とマージ候補ＰＵの参照画像の距離(ＰＯＣの差分値)(tf)とカレントピクチャとカレントＰＵの参照画像の距離(ＰＯＣの差分値)(tb)に基づいて、マージ候補ＰＵの動きベクトル(mv_col)はスケーリングされ、スケーリング後の動きベクトル(mv_{merge_cand})がカレントＰＵの動きベクトルとして適用される（時間方向予測及び色成分間予測を用いたマージモードでスケーリング有）。なおtfとtbが等しい場合にはスケーリングは不要であり、mv_colがmv_{merge_cand}としてそのまま適用される（時間方向予測及び色成分間予測を用いたマージモードでスケーリング無）。なおカレントＰＵの時間方向予測参照画像の中から、マージ候補ＰＵの参照画像と同じＰＯＣを持つ参照画像をカレントＰＵの参照画像として選択し、スケーリング処理が常に不要になるようにしてもよい（時間方向予測及び色成分間予測を用いたマージモードで常にスケーリング無）。
マージモード動きベクトル指示情報に基づいて、生成されたマージ候補リストの中からマージ候補ＰＵを選択し、選択されたマージ候補ＰＵのインター予測パラメータからカレントＰＵに適用する予測方向指示情報、動きベクトルと参照画像インデックスが導出される。
マージモード指示フラグが、カレントＰＵがマージモードではないことを示している場合には(マージモードを用いずにインター予測を行うモード)、マージ候補リストと同様の手順で動きベクトル候補リストを生成し、可変長復号された予測ベクトル指示情報に基づいて、動きベクトル候補リストの中からカレントＰＵの動きベクトル予測値を導出する。動きベクトル予測値と可変長復号された差分動きベクトル情報に基づいてカレントＰＵの動きベクトルが導出される。

次に変換係数可変長復号部５１の動作について説明する。復号対象の色成分ピクチャの各変換ブロックの符号化データは、実施の形態１の変換係数可変長復号部５１の輝度成分の変換ブロックの符号化データに適用される算術復号処理により算術復号される。
なおsiginificant_coeff_flagなど、変換ブロックを構成する変換係数パラメータに対し、色成分ごとに異なるコンテキストインデックス値(コンテキスト情報)を参照して、変換係数パラメータの算術復号に用いる生起確率を特定するようにしてもよい（コンテキスト情報を色成分ごとに切り替えるモード）。

上記実施の形態３における相関利用予測部７１は、参照画像内で当該予測対象ブロックと同じ位置にあるブロックを参照ブロックとしているが、本実施の形態４における相関利用予測部７１は、可変長復号部４１より復号された動きベクトル(インター予測パラメータに含まれる)が示す位置にある参照画像内のブロックを参照ブロックとする点が異なる（参照画像インデックスは可変長復号しないが、動きベクトルは可変長復号するモード）。なお、動きベクトルについては、ビットストリームに多重化されていない、すなわち動きベクトルの可変長復号を行わないようにし、実施の形態１における相関利用予測部と同様、常に参照画像内で当該予測対象ブロックと同じ位置にあるブロックを参照ブロックとするようにしてもよい（動きベクトルも、参照画像インデックスも可変長復号しないモード）。
このように相関利用予測では予測対象ブロックと同じ位置にあるブロックのみを参照し、符号化ブロック内の全色成分を一つの符号化単位としたブロック単位の符号化処理を行うように本実施の形態４の画像符号化装置が構成されている場合、画像復号装置も同様にブロック単位の復号処理を行う。このとき、画像符号化装置が同一符号化ブロックの各色成分の符号化モードを個別に設定している場合、画像復号装置は各色成分それぞれで符号化モードを復号することで復号画像を正しく復号することできる。一方、画像符号化装置が符号化モードを共通としている場合、画像復号装置は全色成分で符号化ブロック単位に一つの符号化モードを復号すると共に、第１色成分以外の色成分で相関利用予測を行うか否かの情報を符号化ブロックあるいは予測ブロック単位に復号することで復号画像を正しく復号することできる。
また、相関利用予測において動きベクトルを零に固定するか否かをシーケンスレベル、ピクチャレベル、スライスレベル等のヘッダ情報として符号化する画像符号化装置が構成されている場合、画像復号装置では上記ヘッダ情報を復号し相関利用予測における動きベクトルの有無を識別することで復号画像を正しく復号することができる。

ここで、第１の色成分以外の色成分であるＵ成分及びＶ成分において色成分間の予測を行う場合、可変長復号部４１では、ブロック毎に、予測モードとして、動き補償予測モード又は相関利用予測モードのいずれを適用するかを示す予測方式情報を可変長復号する。
予測方式情報が予測モードとして、動き補償予測モードを適用する旨を示す場合には、動き補償予測フレームメモリ４９に格納された時間方向予測参照画像の中から参照画像インデックスが指し示す画像を参照画像として利用して、動きベクトルで特定される位置にあるブロックを予測画像とする（動きベクトルと参照画像インデックスは可変長復号部にて可変長復号されたインター予測パラメータに含まれる）。
予測方式情報が予測モードとして、相関利用予測モードを適用する旨を示す場合には、上記の相関利用予測処理を行うことによって予測画像を生成する（動きベクトルは可変長復号部にて可変長復号されたインター予測パラメータに含まれる。）。
なお、上記予測方式情報は画像符号化装置及び画像復号装置において、参照画像インデックスの一部として構成しても良い。すなわち、参照画像インデックスの中の特定のインデックスを、相関利用予測モードを適用することを示すインデックスと定義することで上記予測方式情報と参照画像インデックスを統合することができる。

なお動き補償部４４において、動きベクトルは１/４画素精度まで表現でき、図３７に示すように、動きベクトルが指し示す参照画素が小数画素位置にある場合には隣接するＮ画素(Ｎ≧２)から内挿補間画素を生成して予測値とする。図３７に示すように、動きベクトルが指し示す小数画素位置の画素値(y₃₀)を隣接する８個の整数画素値を参照して、下式により求める。以下の式（４）においてa_iは内挿フィルタ係数である。
なおＮの値および内挿フィルタ係数を色成分ごとに異なる値に設定するようにしてもよい。
相関利用予測部７１においても動き補償部４４と同様に、動きベクトルは1/4画素精度まで表現でき、小数画素位置の画素値は、隣接する整数画素から補間して生成する。内挿補間画素を生成する際のＮの値および内挿フィルタ係数を動き補償予測部と同様に色成分によって切り替えるようにしてもよいし、参照画像(色成分間予測参照画像)の色成分によって切り替えるようにしてもよい。
Ｎの値を増やすことにより、演算量の増大または１つの小数画素を生成するために必要な参照画素数が増えるため、メモリバンド幅の増大になるが、より正確に画素を予測することができるため、動き補償予測効率や相関利用予測効率が高まる。逆にＮの値を減らすことにより、演算量およびメモリバンド幅を抑えることができる。従って各色成分の持つ特徴に応じてＮの値および内挿フィルタ係数を切り替えることで、回路規模を抑えて符号化効率を高めることができる。
別の実施の形態として、相関利用予測部７１においては、小数画素の精度を切り替えて、例えば１/２画素精度まで、あるいは整数画素のみにする、逆に１/８画素精度まで利用できるようにするなどしてもよい。
この実施の形態４の画像復号装置では、予測モードとして、動き補償予測モードと相関利用予測モードを備える。
これにより、この実施の形態４の画像符号化装置、画像復号装置では、上記のようにして圧縮された符号化データを輝度成分の復号回路のみで好適に復号することができるため、回路規模を小さく抑えつつ、符号化効率を高めることができる。なお、本実施の形態４の特徴部分は、予測画像生成部であり、この予測画像生成部があれば、本実施の形態４の画像符号化装置、画像復号装置の上記効果を得ることができる。

なお、上記の動作以外の符号化処理、復号処理の動作については、上記実施の形態１と同様であるため、説明は省略する。

実施の形態５．
実施の形態５では、上記実施の形態２、３、４で説明した符号化、復号処理とは別の符号化、復号処理について説明する。
なお以下の説明においては、特に断らない限り、入力される映像信号が、ＹＵＶ４：４：４信号であるとし、第１、第２、第３色成分がそれぞれＹ、Ｕ、Ｖ成分であるとして説明するが、入力される映像信号はＲＧＢ信号であるとし、第１、第２、第３色成分は３成分のいずれの組み合わせであってもよい。また入力される映像信号が３原色より更に多くの色成分を含む信号であってもよく、第４以降の色成分については、第２、第３色成分と同様の処理手順を適用することができる。
また、本実施の形態５は、特に断らない限り、それぞれの色成分をＹＵＶ４：０：０フォーマットであるとみなして符号化する。

図４０は、本実施の形態５による画像符号化装置を示す構成図であり、図において、動き補償予測部５と相関利用予測部６１とを有するインター予測部１０１を含め、図３１と同一符号は同一または相当部分を示すので説明を省略する。
イントラ適応予測部２０１は符号化制御部１により決定された符号化モードがイントラ予測モードである場合、図１のイントラ予測部４と同様のイントラ予測処理を実施することで予測画像を生成するか、符号化対象ピクチャの符号化済み画素領域内の指定される位置情報（画面内シフトベクトル）で定まるブロックをコピーする画面内コピー予測処理を実施することで予測画像を生成する処理を実施する。図４１は画面内コピー予測処理の例を示す説明図であり、符号化対象ピクチャの符号化済み画素のうち、画面内シフトベクトルの分移動した先の画素を予測画像として用いることを示している。
なお、イントラ適応予測部２０１は予測画像生成部を構成している。

図４２はイントラ適応予測部２０１を示す構成図である。イントラ予測パラメータがイントラ予測部４の予測処理を実施することを示している場合、図３１のイントラ予測部４と同様のイントラ予測処理を、イントラ予測用メモリ１０に格納された画面内参照画素を用いて実施することで予測画像を生成する。イントラ予測パラメータが画面内コピー予測部２０３の予測処理を実施することを示している場合、符号化対象ピクチャの符号化済み画素であるイントラ予測用メモリ１０に格納された画面内参照画素の領域内の画面内シフトベクトルで定まる位置のブロックを予測画像としてコピーすることで予測画像を生成する。また、イントラ適応予測部２０１は、符号化制御部１により決定されたイントラ予測パラメータを出力する。

イントラ適応予測部２０１より出力されるイントラ予測パラメータは可変長符号化部１３にてエントロピー符号化されビットストリームに多重化される。

上記では、符号化モードがイントラ予測モードかインター予測モードかを決定し、符号化モードがイントラ予測モードである場合、イントラ予測パラメータによってイントラ予測処理か画面内コピー予測処理かを決定し、符号化モードがインター予測モードである場合は動き補償予測処理または相関利用予測処理を行うように構成したが、符号化モードがイントラ予測モードか画面内コピー予測モードかインター予測モードかを決定し、符号化モードがイントラ予測モードである場合イントラ予測処理を実施し、符号化モードが画面内コピー予測モードである場合画面内コピー予測処理を実施し、符号化モードがインター予測モードである場合動き補償予測処理または相関利用予測処を実施するように構成しても同様の予測処理を実施することができる。

また、図４３は、本実施の形態５による画像復号装置を示す構成図であり、図において、動き補償部４４と相関利用予測部７１とを有するインター予測部１１１を含め、図３８と同一符号は同一または相当分を示すので説明を省略する。
イントラ適応予測部２１１は可変長復号部４１にて復号された符号化モードがイントラ予測モードである場合、図３８のイントラ予測部４３と同様のイントラ予測処理を実施することで予測画像を生成するか、符号化対象ピクチャの符号化済み画素領域内の指定される位置情報（画面内シフトベクトル）で定まるブロックをコピーする画面内コピー処理を実施することで予測画像を生成する処理を実施する。

図４４はイントラ適応予測部２１１を示す構成図である。可変長復号部４１にて復号されたイントラ予測パラメータがイントラ予測部４３の予測処理を実施することを示している場合、図３８のイントラ予測部４３と同様のイントラ予測処理を、イントラ予測用メモリ４７に格納された画面内参照画素を用いて実施することで予測画像を生成する。一方、上記イントラ予測パラメータが画面内コピー予測部２１３の予測処理を実施することを示している場合、復号対象ピクチャの復号済み画素であるイントラ予測用メモリ４７に格納された画面内参照画素の領域内の画面内シフトベクトルで定まる位置のブロックを予測画像としてコピーすることで予測画像を生成する。

上記では、符号化モードがイントラ予測モードかインター予測モードかを決定し、符号化モードがイントラ予測モードである場合、イントラ予測パラメータによってイントラ予測処理か画面内コピー予測処理かを決定し、符号化モードがインター予測モードである場合は動き補償予測処理または相関利用予測処理を行うように構成した符号化装置による符号化ビットストリームを復号する画像復号装置について説明したが、符号化モードがイントラ予測モードか画面内コピー予測モードかインター予測モードかを決定し、符号化モードがイントラ予測モードである場合イントラ予測処理を実施し、符号化モードが画面内コピー予測モードである場合画面内コピー予測処理を実施し、符号化モードがインター予測モードである場合動き補償予測処理または相関利用予測処を実施するように画像符号化装置を構成した場合、同様に符号化モードをイントラ予測モードか画面内コピー予測モードかインター予測モードかを決定するパラメータとして復号し、上記画像符号化装置による符号化ビットストリームを正しく復号するように画像復号装置を構成しても同様の予測処理を実施することができる。

なお、本実施の形態５の画像符号化装置及び画像復号装置はインター予測モードである場合動き補償予測処理または相関利用予測処を実施すると説明したが、第１色成分では相関利用予測で参照する同一時刻の符号化済み色成分が存在しないため、相関利用予測を利用できない。したがって、第１色成分ではインター予測モードとして動き補償予測処理のみ利用できる。

次に動作について説明する。
最初に、画像符号化装置の処理内容を説明する。
ただし、イントラ予測部４の代わりに、イントラ適応予測部２０１を設け、イントラ適応予測部２０１の中にイントラ予測部４と画面内コピー予測部２０３を設けている点以外は、上記実施の形態４と同様である。

イントラ適応予測部２０１は、イントラ予測パラメータがイントラ予測処理を実施することを示している場合、図３１のイントラ予測部４と同様のイントラ予測処理を、イントラ予測用メモリ１０に格納された画面内参照画素を用いて実施することで予測画像を生成する。一方、イントラ予測パラメータが画面内コピー予測処理を実施することを示している場合、符号化対象ピクチャの符号化済み画素であるイントラ予測用メモリ１０に格納された画面内参照画素の領域内の画面内シフトベクトルで定まる位置のブロックを予測画像としてコピーすることで予測画像を生成する。また、イントラ適応予測部２０１は、符号化制御部１により決定されたイントラ予測パラメータを出力する。またこのとき、イントラ予測パラメータの一部として画面内シフトベクトルも含めて出力する。

ここで、画面内コピー予測は、図３２に示すインター予測部１０１の相関利用予測部６１による相関利用予測の動きベクトルが非零であるケースと予測効率改善効果が重複する。いずれの予測も同一時刻の周囲の領域から予測対象ブロックに近い絵柄を検出し、それを予測画像とするものである。さらに、相関利用予測の場合、予測対象ブロックの属する色成分と異なる色成分から探索するため、色成分間における信号電力差やネガポジ反転のような信号値分布の発生等の影響から絵柄が似ていても残差信号が大きく発生してしまう問題がある。一方、画面内コピー予測は同一色成分内を探索するため、上記のような問題は発生しない。したがって、同一時刻の周囲の領域から予測対象ブロックに近い絵柄を検出するという目的において、画面内コピー予測の方が予測効率が高いブロックを検出できる可能性が高い。
一方、相関利用予測は同一時刻の同一位置のブロックを参照できるため、色成分間に信号電力差やネガポジ反転のような信号値分布が生じていない場合、同一オブジェクトを参照していることから絵柄の一致度が高く、画面内コピー予測と比較して非常に予測効率の高い予測画像が得られる。
以上より、本実施の形態５では、相関利用予測は予測対象ブロックと同じ位置にあるブロックを参照ブロックとするように、すなわち、動きベクトルを零に固定とするように画像符号化装置を構成しても良い。このようにすることで、相関利用予測の動きベクトルの可変長符号化を行なわずに済み、符号化の必要なパラメータを削減することができると共に、動きベクトルが非零の場合は画面内コピー予測で代用可能なため本制限による予測効率低下を防ぐことができる。さらに、相関利用予測の探索処理が不要となるため、画像符号化装置の演算量を削減することができる。

また、同一時刻から予測する画面内コピー予測と相関利用予測を一つの予測方式として組み合わせる方法として、相関利用予測を動き補償予測と同じインター予測の一部として構成せずに、図４５に示すように、画面内コピー予測の画面内シフトベクトルが零の場合、予測対象ブロックと同じ位置にある符号化済み色成分のブロックを参照するように構成しても上記と同一の予測参照領域を有する画像符号化装置が実現できる。

また、上記のように相関利用予測は予測対象ブロックと同じ位置にあるブロックのみを参照するようにした場合、符号化ブロック内の全色成分を一つの符号化単位としたブロック単位の符号化処理を行う画像符号化装置を構成することもできる。このとき、同一符号化ブロックの各色成分の符号化モードを個別に設定しても良いし、共通としてもよい。個別に設定した場合、各色成分で適切な予測を選択することができ画像の品質を改善することができる。一方、共通とした場合は符号化モードの符号量を削減できると共に、各色成分での符号化モードの最適な組み合わせを算出する必要がなく、符号化装置を簡易化することができる。なお、符号化モードを個別とする場合も共通とする場合も、第１色成分では相関利用予測の参照色成分が存在しないため、相関利用予測を利用できない。したがって、個別とする場合は、第１色成分以外の色成分で相関利用予測が選択可能となる。一方、共通とする場合は第１色成分以外の色成分で相関利用予測を行うか否かの情報を符号化ブロックあるいは予測ブロック単位に別途符号化する必要がある。上記ブロック単位の相関利用予測の有無情報は第１色成分以外の全ての色成分で共通でも良いし、色成分毎に独立でも良い。独立に設定した場合、各色成分で適切な予測を選択することができ画像の品質を改善することができる。一方、共通とした場合は上記ブロック単位の相関利用予測の有無情報の符号量を削減することができる。

また、図４５のように画面内コピー予測と相関利用予測を一つの予測方式として組み合わせる場合、第１色成分では予測対象ブロックと同じ位置にある符号化済み色成分のブロックは参照できない。したがって、符号化ブロック内の全色成分を一つの符号化単位としたブロック単位の符号化処理を行い、符号化モードを共通とする場合、第１色成分以外の色成分では、予測対象ブロックと同じ位置にある符号化済み色成分のブロックを参照する予測を行うか否かの情報を符号化ブロックあるいは予測ブロック単位に別途符号化する必要がある。上記ブロック単位の有無情報は第１色成分以外の全ての色成分で共通でも良いし、色成分毎に独立でも良い。独立に設定した場合、各色成分で適切な予測を選択することができ画像の品質を改善することができる。一方、共通とした場合は上記ブロック単位の有無情報の符号量を削減することができる。

上記の予測処理によって残差の小さい予測画像を生成することができるため、回路規模を小さく抑えつつ、符号化効率を向上させることができる。
また、輝度成分の符号化回路のみで４：４：４フォーマットの画像を高効率に圧縮することができる。

可変長符号化部１３の処理内容についても上記実施の形態４と同様であり、画面内コピー予測に関するパラメータをイントラ予測パラメータの一部として符号化する点のみ異なる。すなわち、可変長符号化部１３は、符号化モードがイントラ予測モードである場合、イントラ予測パラメータの一部であるイントラ予測処理と画面内コピー予測処理のいずれを実施するかを識別する情報を符号化すると共に、その情報が画面内コピー予測を示している場合、イントラ予測パラメータの一部として画面内シフトベクトルを符号化する。

次に、画像復号装置の処理内容を説明する。
ただし、イントラ予測部４３の代わりにイントラ適応予測部２１１を設け、イントラ適応予測部２１１の中にイントラ予測部４３と画面内コピー予測部２１３を設けている点以外は、上記実施の形態４と同様である。
可変長復号部４１が符号化データから予測構成フラグを復号し、その予測構成フラグが４：４：４フォーマットの各色成分間で予測符号化を行う構成にすることを示していれば、アクセスユニットデリミタを復号することで、３つのＹＵＶ４：０：０フォーマットの画像を、表示などのためのアクセスの単位となる１つのアクセスユニットとして認識する。
そして１つのアクセスユニットに含まれ第１の色成分のみから構成されるピクチャ(第１色成分ピクチャ)をＹＵＶ４：０：０フォーマットとして復号して、第１色成分ピクチャの復号画像を動き補償予測フレームメモリ４９に格納し、その動き補償予測フレームメモリ４９に格納された第１色成分ピクチャの復号画像を参照画像として利用して、第１の色成分以外の色差成分（例えばＵ成分およびＶ成分）の画像をＹＵＶ４：０：０フォーマットであるとみなして復号するように構成する。

イントラ適応予測部２１１は、可変長復号部４１にて復号されたイントラ予測パラメータがイントラ予測処理を実施することを示している場合、図３８のイントラ予測部４３と同様のイントラ予測処理を、イントラ予測用メモリ４７に格納された画面内参照画素を用いて実施することで予測画像を生成する。一方、上記イントラ予測パラメータが画面内コピー予測処理を実施することを示している場合、復号対象ピクチャの復号済み画素であるイントラ予測用メモリ４７に格納された画面内参照画素に対して、可変長復号部４１にて復号された画面内シフトベクトルで定まる位置のブロックを予測画像としてコピーすることで予測画像を生成する。

可変長復号部４１の可変長復号処理内容については画面内コピー予測に関するパラメータ（イントラ予測パラメータの一部）の復号処理が追加される以外は上記実施の形態４と同様である。すなわち、可変長復号部４１は、復号した符号化モードがイントラ予測モードである場合、復号したイントラ予測パラメータの一部であるイントラ予測処理と画面内コピー予測処理のいずれを実施するかを識別する情報を参照し、その情報が画面内コピー予測を示している場合、イントラ予測パラメータの一部として画面内シフトベクトルを復号する。

ここで、本実施の形態５の画像符号化装置が、相関利用予測は予測対象ブロックと同じ位置にあるブロックを参照ブロックとする、すなわち動きベクトルを零に固定とするように画像符号化装置を構成している場合、画像復号装置も同一の構成をとる。

また、同一時刻から予測する画面内コピー予測と相関利用予測を一つの予測方式として組み合わせる方法として、相関利用予測を動き補償予測と同じインター予測の一部として構成せずに、図４５に示すように、画面内コピー予測の画面内シフトベクトルが零の場合、予測対象ブロックと同じ位置にある符号化済み色成分のブロックを参照するように画像符号化装置を構成している場合、画像復号装置も同一の構成をとる。

また、上記のように相関利用予測は予測対象ブロックと同じ位置にあるブロックのみを参照し、符号化ブロック内の全色成分を一つの符号化単位としたブロック単位の符号化処理を行うように本実施の形態５の画像符号化装置が構成されている場合、画像復号装置も同様にブロック単位の復号処理を行う。このとき、画像符号化装置が同一符号化ブロックの各色成分の符号化モードを個別に設定している場合、画像復号装置は各色成分それぞれで符号化モードを復号することで復号画像を正しく復号することできる。一方、画像符号化装置が符号化モードを共通としている場合、画像復号装置は全色成分で符号化ブロック単位に一つの符号化モードを復号すると共に、第１色成分以外の色成分で相関利用予測を行うか否かの情報を符号化ブロックあるいは予測ブロック単位に復号することで復号画像を正しく復号することできる。

また、図４５のように画面内コピー予測と相関利用予測を一つの予測方式として組み合わせる場合、第１色成分では予測対象ブロックと同じ位置にある符号化済み色成分のブロックは参照できない。したがって、符号化ブロック内の全色成分を一つの符号化単位としたブロック単位の符号化処理を行い、符号化モードを共通とするように本実施の形態５の画像符号化装置が構成されている場合、第１色成分以外の色成分では、予測対象ブロックと同じ位置にある符号化済み色成分のブロックを参照する予測を行うか否かの情報を符号化ブロックあるいは予測ブロック単位に復号する。

これにより、この実施の形態５の画像符号化装置、画像復号装置では、上記のようにして圧縮された符号化データを輝度成分の復号回路のみで好適に復号することができるため、回路規模を小さく抑えつつ、符号化効率を高めることができる。なお、本実施の形態５の特徴部分は、予測画像生成部であり、この予測画像生成部があれば、本実施の形態５の画像符号化装置、画像復号装置の上記効果を得ることができる。

なお、上記の動作以外の符号化処理、復号処理の動作については、上記実施の形態４と同様であるため、説明は省略する。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 符号化制御部（符号化制御手段）、２ ブロック分割部（ブロック分割手段）、３ 切替スイッチ（予測画像生成部）、４ イントラ予測部（予測画像生成部）、５ 動き補償予測部（予測画像生成部）、６ 減算部（差分画像生成手段）、７ 変換・量子化部（画像圧縮手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ、１３ 可変長符号化部（可変長符号化手段）、２１ 変換係数可変長符号化部、２２ 符号化パラメータ可変長符号化部、４１ 可変長復号部（可変長復号手段）、４２ 切替スイッチ（予測画像生成部）、４３ イントラ予測部（予測画像生成部）、４４ 動き補償部（予測画像生成部）、４５ 逆量子化・逆変換部（差分画像生成手段）、４６ 加算部（復号画像生成手段）、４７ イントラ予測用メモリ、４８ ループフィルタ部、４９ 動き補償予測フレームメモリ、５１ 変換係数可変長復号部、５２ 符号化パラメータ可変長復号部、６１ 相関利用予測部（予測画像生成部）、６２ 相関算出部、６３ 相関利用予測画像生成部、７１ 相関利用予測部（予測画像生成部）、７２ 相関算出部、７３ 相関利用予測画像生成部、８１ 相関利用適応予測部（予測画像生成部）、８２ 切替スイッチ、８３ イントラ予測部、８４ 相関利用予測部、９１ 相関利用適応予測部（予測画像生成部）、９２ 切替スイッチ、９３ イントラ予測部、９４ 相関利用予測部、１０１ インター予測部（予測画像生成部）、１０２ 切替スイッチ、１１１ インター予測部（予測画像生成部）、１１２ 切替スイッチ、２０１ イントラ適応予測部（予測画像生成部）、２０２ 切替スイッチ、２０３ 画面内コピー予測部、２１１ イントラ適応予測部（予測画像生成部）、２１２ 切替スイッチ、２１３ 画面内コピー予測部。

Claims (4)

1. 画像の各色成分において同一の変換ブロックサイズで変換処理を行う画像符号化装置であって、
   前記画像における第１の色成分については、前記第１の色成分の符号化済み領域内の位置情報で指定される位置のブロックから予測画像を生成するとともに、前記画像における前記第１の色成分以外の色成分については、該色成分の符号化済み領域内の位置情報で指定される位置のブロックから予測画像を生成する、あるいは、符号化済みの同一ピクチャに含まれる該色成分以外の符号化済み色成分の局部復号画像を用いて、フレーム間予測を実施することで予測画像を生成する予測画像生成部を備えることを特徴とする画像符号化装置。
2. 画像の各色成分において同一の変換ブロックサイズで変換処理を行う画像復号装置であって、
   前記画像における第１の色成分については、前記第１の色成分の復号済み領域内の位置情報で指定される位置のブロックから予測画像を生成するとともに、前記画像における前記第１の色成分以外の色成分については、該色成分の復号済み領域内の位置情報で指定される位置のブロックから予測画像を生成する、あるいは、復号済みの同一ピクチャに含まれる該色成分以外の復号済み色成分の局部復号画像を用いて、フレーム間予測を実施することで予測画像を生成する予測画像生成部を備えることを特徴とする画像復号装置。
3. 画像の各色成分において同一の変換ブロックサイズで変換処理を行う画像符号化方法であって、
   前記画像における第１の色成分については、前記第１の色成分の符号化済み領域内の位置情報で指定される位置のブロックから予測画像を生成するとともに、前記画像における前記第１の色成分以外の色成分については、該色成分の符号化済み領域内の位置情報で指定される位置のブロックから予測画像を生成する、あるいは、符号化済みの同一ピクチャに含まれる該色成分以外の符号化済み色成分の局部復号画像を用いて、フレーム間予測を実施することで予測画像を生成する予測画像生成ステップを備えることを特徴とする画像符号化方法。
4. 画像の各色成分において同一の変換ブロックサイズで変換処理を行う画像復号方法であって、
   前記画像における第１の色成分については、前記第１の色成分の復号済み領域内の位置情報で指定される位置のブロックから予測画像を生成するとともに、前記画像における前記第１の色成分以外の色成分については、該色成分の復号済み領域内の位置情報で指定される位置のブロックから予測画像を生成する、あるいは、復号済みの同一ピクチャに含まれる該色成分以外の復号済み色成分の局部復号画像を用いて、フレーム間予測を実施することで予測画像を生成する予測画像生成ステップを備えることを特徴とする画像復号方法。

Images