JP2014045434A - 画像符号化装置、画像復号装置及びそれらのプログラム - Google Patents

Abstract

【課題】インター符号化において、符号化効率を向上させる。
【解決手段】画像が複数に分割された符号化ブロックに対し、符号化ブロック以下のサイズの予測ブロックによる画面間予測を用いて画像を符号化する画像符号化装置であって、符号化ブロックが階層分割により１又は複数に分割された変換ブロックと、予測ブロックとの位置関係に基づいて、水平方向及び垂直方向それぞれで、複数の直交変換の中から１つの直交変換を選択する選択部と、選択部により選択された水平方向の直交変換及び垂直方向の直交変換を、それぞれの方向で行う変換部と、を備え、選択部は、水平方向及び垂直方向それぞれで、前記変換ブロックの対向する両辺共が予測ブロックの辺と一致しない場合はＤＳＴ−ＩＩを選択する。
【選択図】図１５

Description

本発明は、画面間予測を行う画像符号化装置、画像復号装置及びそれらのプログラムに関する。

近年マルチメディア化が進み、動画像を扱う機会が多くなってきている。画像データは情報量が大きく、画像の集合である動画像は、テレビ放送の主流であるハイビジョン（１９２０×１０８０）放送で１Ｇｂｉｔ／ｓｅｃを超える情報量である。

そのため、動画像データは、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）（例えば非特許文献１参照）や規格化作業中のＨＥＶＣ（High Efficiency Video Coding）などに代表される符号化標準技術によって、情報量を圧縮して伝送・蓄積が行われている。

ＨＥＶＣでは、従来の符号化技術のように画面を左上から符号化単位であるブロック状に単純に分割するのではなく、新たに階層分割を採用し、複数階層のブロック分割を可能とする。また、複数のブロックに分割された符号化単位は、ＣＵ（Coding Unit）や符号化ブロックとも称す。

図１は、ＨＥＶＣによるブロック分割の一例を示す図である。図１に示すように、ＨＥＶＣでは、４×４、８×８、１６×１６、３２×３２などのサイズに画像を分割して、符号化を行うことができる。

また、ＨＥＶＣでは、予測誤差信号を効率的に表現するため、ＣＵを階層分割し、変換単位に分けることができる。変換単位は、ＴＵ（Transform Unit）や変換ブロックとも称す。

図２は、ＣＵとＴＵとの関係を示す図である。図２に示すように、例えば３２×３２のＣＵに対し、階層分割０回のＴＵは３２×３２のＣＵと同じブロックであり、階層分割１回のＴＵは、１６×１６に分割されたブロックである。また、階層分割２回のＴＵは、８×８に分割されたブロックである。

なお、ＴＵは、ＣＵのサイズに応じて階層分割されるので、各階層におけるＴＵのサイズはＣＵのサイズに応じてそれぞれ異なる。

また、ＨＥＶＣでは、ＣＵを複数種類の矩形領域である予測単位に分割し、それぞれの予測単位で予測処理が行われる。この予測単位は、ＰＵ（Prediction Unit）や予測ブロックとも称す。

ここで、分割されたブロックに対し、次の符号化が行われる。画面内符号化（イントラ符号化）は、画面内の空間的な信号予測を行って画像を符号化する。この技術は、画面内予測（イントラ予測）とも称す。また、画面間予測（インター符号化）は、異なるフレーム間で類似した領域を探索し、予測に用いて画像を符号化する。この技術は、動き補償予測（インター予測）とも称す。

図３は、ブロックにおける動き補償の予測誤差信号の一例を示す図である。図３に示すように、動き補償予測による予測残差信号は、予測に用いた領域の境界部において、領域の中心部に比べて、わずかに誤差が大きいという傾向がある（非特許文献２参照）。

現在標準化の検討がなされているＨＥＶＣでは、動き補償予測ブロック（予測ブロック）と直交変換ブロック（変換ブロック）とは個々にブロックサイズを柔軟に選択することができる。よって、動き補償予測と直交変換とでそれぞれ適切なブロックサイズを決定することができ、効率的な圧縮を実現することができる。

上記信号特性を考慮して、ＤＣＴ（Discrete Cosine Transform）−ＩＶ又はＤＳＴ（Discrete Sine Transform）−ＶＩＩを使用した符号化方式が提案されている（例えば非特許文献３参照）。以下では、この手法を手法１とも称す。この手法１では、予測ブロックの境界部において誤差が大きく、内部において誤差が小さいことを利用する。

つまり、手法１では、予測ブロックと一致する境界を持つ変換ブロックにおいて、低域成分の直交変換基底が開放端となり、逆端が短絡端となる直交変換を使用する。図４は、変換ブロックと予測ブロックとの関係の一例を示す図である。図４に示すように、予測ブロックの中央では誤差を小さく、周縁部では誤差が大きい。このことから、図４に示す変換ブロックでは、垂直方向には、ＤＣＴ−ＩＶ／Ｆｌｉｐｐｅｄ ＤＳＴ−ＶＩＩを行い、水平方向には、Ｆｌｉｐｐｅｄ ＤＣＴ−ＩＶ／ＤＳＴ−ＶＩＩを行う。なお、図4に示す波形は、ＤＣＴ−ＩＶの波形である。また、Ｆｌｉｐｐｅｄとは、例えばＤＣＴ−ＩＶの場合、入力信号の信号線を上位、下位を入れ替えてＤＣＴ−ＩＶすることをいう。

なお、Ｆｌｉｐｐｅｄ ＤＣＴ−ＩＶ／ＤＳＴ−ＶＩＩは、ＤＣＴ−ＩＶ／ＤＳＴ−ＶＩＩの向きを反転した関数を意味する。図５は、ＤＣＴ−ＩＶとＦｌｉｐｐｅｄ ＤＣＴ−ＩＶとの関係を示す図である。図５に示すように、Ｆｌｉｐｐｅｄ ＤＣＴ−ＩＶは、ＤＣＴ−ＩＶの向きが反転した関数である。

ＤＣＴ−ＩＶやＤＳＴ−ＶＩＩは、その条件を満たし、動き補償予測残差ブロックの変換ブロックの符号化に使用される。変換ブロックと予測ブロックで境界を共有しない場合は、ＤＣＴが選択される。

また、手法１では、ブロックサイズが例えば４×４の場合などには、ＤＣＴ−ＩＶの代わりにＤＳＴ−ＶＩＩが用いられてもよい。よって、手法１では、ブロックサイズや変換ブロックと予測ブロックの境界条件に基づいて直交変換を切り替えることができる。

図６は、手法１の場合の各変換ブロックにおける直交変換の例を示す図である。図６に示す変換ブロックｂ１０１〜ｂ１０３は、予測ブロックの境界と一致する境界の方向について、ＤＣＴ−ＩＶやＦｌｉｐｐｅｄ ＤＣＴ−ＩＶの直交変換が用いられる。また、予測ブロックの境界と一致しない変換ブロックｂ１０４は、水平方向及び垂直方向でＤＣＴ−ＩＩの直交変換が用いられる。

また、手法１の実装上の利点は、非対称な直交変換としてＤＣＴ−ＩＶを用いる場合、ＤＣＴ−ＩＩのバタフライ演算を流用して実現することができる。これにより、ハードウェアのコスト増加を抑えることができる。

図７は、ＤＣＴ−ＩＶの実現方法を示す図である。図７に示すように、ＤＣＴ−ＩＩの一部を流用してＤＣＴ−ＩＶを実現することができる。

また、実装の容易さに注目し、ＤＣＴ−ＩＩと相補関係を持つＤＳＴ−ＩＩを使用して符号化する手法が提案されている（例えば非特許文献４参照）。以下では、この手法を手法２とも称す。

手法２は、動き補償予測の残差信号に対し、ＲＤ（Rate-Distortion）最適化法によりＤＣＴ−ＩＩとＤＳＴ−ＩＩとを切り替えて符号化する方法である。これにより、各変換ブロックで最適な直交変換を選択することができ、高能率な圧縮効果を実現することができる。

図８は、変換ブロックの分割例を示す図である。図８に示す各変換ブロックについて、手法２では、ＲＤ最適化を行って、ＤＣＴとＤＳＴとを切り替える。図９は、ＤＣＴ−ＩＩを用いたＤＳＴ−ＩＩの実装例を示す図である。図９に示すように、ＤＳＴ−ＩＩは、比較的容易に実装することができる。

一方で、手法２では、どちらの直交変換が適用されたのかを復号側に伝送する必要があり、どちらの直交変換かを示す識別情報が符号量の削減効果を妨げる要因となっている（非特許文献５、特許文献１，２参照）。このため、手法２では、水平、垂直方向で最適な直交変換を切り替えるのではなく二次元の直交変換をブロック単位で切り替えている。

大久保榮監修，「改訂三版 Ｈ．２６４／ＡＶＣ 教科書」，インプレス Ｒ＆Ｄ，２００９年１月１日 J. Schmidt, B. Edler and J. Ostermann,"Prediction od DCT Coefficients Considering Motion Compensation Error Distributions", VCIP 2011 J. An, X. Zhao X. Guo, and S. Lei "CE7: Boundary-dependent Transform for Inter-Predicted Residue," JCTVC-H0309 (Jan.2012) A. Ichigaya and S. Sakaida, "Performance report of adaptive DCT/DST selection"JCTVC-D182 (Jan.2011) 市ヶ谷敦郎，杉藤泰子，境田慎一，"ＤＣＴとＤＳＴを適応的に用いたインター符号化"，映情学技報，vol.36, no.9 ME2012-59,PP.213-218,2012

特開２０１１−２０５６０２号公報 特開２０１１−２２３０６８号公報

しかしながら、手法１では、予測ブロックと境界を共有しない変換ブロックは、直交変換として従来のＤＣＴのみを利用しており、改善が行われていない。また、手法２では、ブロック毎に識別情報を付与しており、識別情報の増加分が符号量の削減効果の妨げの要因となっている。

そこで、本発明は、インター符号化において、符号化効率を向上させることができる画像符号化装置、画像復号装置及びプログラムを提供することを目的とする。

本発明の一態様における画像符号化装置は、画像が複数に分割された符号化ブロックに対し、該符号化ブロック以下のサイズの予測ブロックによる画面間予測を用いて画像を符号化する画像符号化装置であって、前記符号化ブロックが階層分割により１又は複数に分割された変換ブロックと、前記予測ブロックとの位置関係に基づいて、水平方向及び垂直方向それぞれで、複数の直交変換の中から１つの直交変換を選択する選択部と、前記選択部により選択された水平方向の直交変換及び垂直方向の直交変換を、それぞれの方向で行う変換部と、を備え、前記選択部は、水平方向及び垂直方向それぞれで、前記変換ブロックの対向する両辺共が前記予測ブロックの辺と一致しない場合はＤＳＴ−ＩＩを選択する。

また、前記選択部は、水平方向及び垂直方向それぞれで、前記変換ブロックの対向する両辺が前記予測ブロックの辺と一致する場合はＤＣＴ−ＩＩを選択し、前記変換ブロックの１辺が前記予測ブロックの辺と一致する場合はＤＣＴ−ＩＶ、Ｆｌｉｐｐｅｄ ＤＣＴ−ＩＶ、ＤＳＴ−ＶＩＩ、又はＦｌｉｐｐｅｄ ＤＳＴ−ＶＩＩのいずれかを選択してもよい。

また、実装を優先する第１モード又は性能を優先する第２モードのいずれかを設定する設定部をさらに備え、前記選択部は、前記第１モードが設定された場合、前記変換ブロックの１辺が前記予測ブロックの辺と一致するときはＤＣＴ−ＩＶ又はＦｌｉｐｐｅｄ ＤＣＴ−ＩＶを選択し、前記第２モードが設定された場合、前記変換ブロックの１辺が前記予測ブロックの辺と一致するときはＤＳＴ−ＶＩＩ又はＦｌｉｐｐｅｄ ＤＳＴ−ＶＩＩを選択してもよい。

また、他の態様における画像符号化プログラムは、画像が複数に分割された符号化ブロックに対し、該符号化ブロック以下のサイズの予測ブロックによる画面間予測を用いて画像を符号化するために、コンピュータに、前記符号化ブロックが階層分割により１又は複数に分割された変換ブロックと、前記予測ブロックとの位置関係に基づいて、水平方向及び垂直方向それぞれで、複数の直交変換の中から１つの直交変換を選択する選択ステップと、前記選択部により選択された水平方向の直交変換及び垂直方向の直交変換を、それぞれの方向で行う変換ステップと、を実行させる画像符号化プログラムであって、前記選択ステップは、水平方向及び垂直方向それぞれで、前記変換ブロックの対向する両辺共が前記予測ブロックの辺と一致しない場合はＤＳＴ−ＩＩを選択する。

また、他の態様における画像復号装置は、上記記載の画像符号化装置により符号化されたストリームを復号する画像復号装置であって、前記ストリームをエントロピー復号する復号部と、前記復号部により復号された前記変換ブロックと、画面内予測時に用いられた予測ブロックとの位置関係に基づいて、水平方向及び垂直方向それぞれで、複数の逆直交変換の中から１つの逆直交変換を選択する選択部と、前記選択部により選択された水平方向の逆直交変換及び垂直方向の逆直交変換を、それぞれの方向で行う逆変換部と、を備え、前記選択部は、水平方向及び垂直方向それぞれで、前記変換ブロックの対向する両辺共が前記予測ブロックの辺と一致しない場合はＩＤＳＴ−ＩＩを選択してもよい。

また、他の態様における画像復号プログラムは、上記記載の画像符号化装置により符号化されたストリームを復号するコンピュータに、前記ストリームを復号する復号ステップと、復号された前記変換ブロックと、画面内予測時に用いられた予測ブロックとの位置関係に基づいて、水平方向及び垂直方向それぞれで、複数の逆直交変換の中から１つの逆直交変換を選択する選択ステップと、選択された水平方向の逆直交変換及び垂直方向の逆直交変換を、それぞれの方向で行う逆変換ステップと、を実行させる画像復号プログラムであって、前記選択ステップは、水平方向及び垂直方向それぞれで、前記変換ブロックの対向する両辺共が前記予測ブロックの辺と一致しない場合はＩＤＳＴ−ＩＩを選択する。

本発明によれば、インター符号化において、符号化効率を向上させることができる。

ＨＥＶＣによるブロック分割の一例を示す図。 ＣＵとＴＵとの関係を示す図。 ブロックにおける動き補償の予測誤差信号の一例を示す図。 変換ブロックと予測ブロックとの関係の一例を示す図。 ＤＣＴ−ＩＶとＦｌｉｐｐｅｄ ＤＣＴ−ＩＶとの関係を示す図。 手法１の場合の各変換ブロックにおける直交変換の例を示す図。 ＤＣＴ−ＩＶの実現方法を示す図。 変換ブロックの分割例を示す図。 ＤＣＴ−ＩＩを用いたＤＳＴ−ＩＩの実装例を示す図。 実施例１における画像符号化装置の概略構成の一例を示すブロック図。 実施例１における直交変換部の構成の一例を示すブロック図。 変換ブロックの位置による手法の適用分布例を示す図。 実施例１における水平方向の直交変換の適用例を示す図。 実施例１におけるインター予測の直交変換処理の一例を示すフローチャート。 実施例２における直交変換部の構成の一例を示すブロック図。 実施例２における水平方向の直交変換の適用例を示す図。 実施例２におけるインター予測の直交変換処理の一例を示すフローチャート。 実施例３における画像復号装置の概略構成の一例を示すブロック図。 実施例３における逆直交変換部の構成の一例を示すブロック図。 実施例４における画像処理装置の構成の一例を示すブロック図。

以下、手法１や手法２よりも符号化効率を改善する各実施例について、添付図面を参照しながら詳細に説明する。

［実施例１］
実施例１では、予測ブロックと境界が一致する変換ブロックに対しては手法１を用い、予測ブロックと境界が一致しない変換ブロックに対しては手法２を用いる。これにより、全ての変換ブロックにおいて適した直交変換を行うことができるので、符号化効率を向上させることができる。

＜構成＞
図１０は、実施例１における画像符号化装置１０の概略構成の一例を示すブロック図である。図１０に示す例では、画像符号化装置１０は、前処理部１００、予測誤差信号生成部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆直交変換部１０６、復号画像生成部１０７、ループフィルタ部１０９、復号画像記憶部１１０、イントラ予測部１１１、インター予測部１１２、動きベクトル計算部１１３及び予測画像選択部１１５を有する。各部についての概略を以下に説明する。

前処理部１００は、ピクチャタイプに合わせてピクチャを並べ替え、ピクチャタイプ及びフレームごとのフレーム画像等を順次出力する。また、前処理部１００は、ブロック分割なども行う。

予測誤差信号生成部１０１は、入力された動画像データの符号化対象画像が、例えば３２×３２、１６×１６、８×８画素などのブロックに分割されたブロックデータを取得する。

予測誤差信号生成部１０１は、そのブロックデータと、予測画像選択部１１５から出力される予測画像のブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部１０１は、生成された予測誤差信号を直交変換部１０２に出力する。

直交変換部１０２は、入力された予測誤差信号を直交変換処理する。直交変換部１０２は、インター予測の場合の予測誤差信号に対し、予測ブロックと変換ブロックとの位置関係に基づいて直交変換を切り替える。直交変換部１０２の詳細は、図１１を用いて後述する。直交変換部１０２は、直交変換処理によって水平及び垂直方向の周波数成分に分離された信号を量子化部１０３に出力する。

量子化部１０３は、直交変換部１０２からの出力信号を量子化する。量子化部１０３は、量子化することによって出力信号の符号量を低減し、この出力信号をエントロピー符号化部１０４及び逆量子化部１０５に出力する。

エントロピー符号化部１０４は、量子化部１０３からの出力信号や動きベクトル計算部１１３から出力された動きベクトル情報やループフィルタ部１０９からのフィルタ係数などをエントロピー符号化して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。

逆量子化部１０５は、量子化部１０３からの出力信号を逆量子化してから逆直交変換部１０６に出力する。逆直交変換部１０６は、逆量子化部１０５からの出力信号を逆直交変換処理してから復号画像生成部１０７に出力する。これら逆量子化部１０５及び逆直交変換部１０６によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。

復号画像生成部１０７は、インター予測部１１２で動き補償された画像のブロックデータと、逆量子化部１０５及び逆直交変換部１０６により復号処理された予測誤差信号とを加算する。復号画像生成部１０７は、加算して生成した復号画像のブロックデータを、ループフィルタ部１０９に出力する。

ループフィルタ部１０９は、例えばＡＬＦ（Adaptive Loop Filter）やデブロッキングフィルタであり、いずれか又は両方を備えてもよい。

例えば、ループフィルタ部１０９は、入力画像を所定サイズ毎のグループに分け、グループ毎に適切なフィルタ係数を生成する。ループフィルタ部１０９は、フィルタ処理された復号画像を、所定サイズ毎にグループ分けし、生成したフィルタ係数を用いてグループ毎にフィルタ処理を行う。ループフィルタ部１０９は、フィルタ処理結果を復号画像記憶部１１０に出力し、参照画像として蓄積させる。所定サイズは、例えば、直交変換サイズである。

復号画像記憶部１１０は、入力した復号画像のブロックデータを新たな参照画像のデータとして記憶し、イントラ予測部１１１、インター予測部１１２及び動きベクトル計算部１１３に出力する。

イントラ予測部１１１は、符号化対象画像の処理対象ブロックに対して、すでに符号化された参照画素から予測画像のブロックデータを生成する。イントラ予測部１１１は、複数の予測方向を用いて予測を行い、最適な予測方向を決定する。

インター予測部１１２は、復号画像記憶部１１０から取得した参照画像のデータを動きベクトル計算部１１３から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。インター予測部１１２は、動き補償に用いた予測ブロックの情報を直交変換部１０２に出力する。

動きベクトル計算部１１３は、符号化対象画像におけるブロックデータと、復号画像記憶部１１０から取得する参照画像とを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像内から処理対象ブロックに最も類似している位置を探索するブロックマッチング技術などを用いて求められるブロック単位の空間的なずれを示す値である。

動きベクトル計算部１１３は、求めた動きベクトルをインター予測部１１２に出力し、動きベクトルや参照画像を示す情報を含む動きベクトル情報をエントロピー符号化部１０４に出力する。

イントラ予測部１１１とインター予測部１１２から出力されたブロックデータは、予測画像選択部１１５に入力される。

予測画像選択部１１５は、イントラ予測部１１１とインター予測部１１２から取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部１０１に出力される。

なお、図１０に示す画像符号化装置１０の構成は一例であり、必要に応じて各構成を組み合わせたり、各構成を適宜変更したりしてもよい。

＜直交変換部の構成＞
次に、直交変換部１０２の構成について説明する。図１１は、実施例１における直交変換部１０２の構成の一例を示すブロック図である。図１１に示す直交変換部１０２は、本発明にかかるインター予測の予測誤差信号に対する直交変換についての構成を示す。

図１１に示す直交変換部１０２は、選択部２０１、コスト算出部２０２、変換部２０３、及び設定部２０４を有する。選択部２０１は、予測ブロックの情報をインター予測部１１２から取得する。また、選択部２０１は、予測誤差信号生成部１０１から予測誤差信号を取得する。

選択部２０１は、予測誤差信号のうち、直交変換の対象である変換ブロックの位置と、取得した予測ブロックの情報に基づく予測ブロックの位置との関係に基づいて、水平方向及び垂直方向それぞれに対し、複数の直交変換の中から１つの直交変換を選択する。複数の直交変換とは、例えばＤＣＴ−ＩＩ、ＤＣＴ−ＩＶ、Ｆｌｉｐｐｅｄ ＤＣＴ−ＩＶ、ＤＳＴ−ＩＩ、ＤＳＴ−ＶＩＩ、Ｆｌｉｐｐｅｄ ＤＳＴ−ＶＩＩである。

選択部２０１は、水平方向及び垂直方向のそれぞれにおいて、変換ブロックと予測ブロックとの境界（辺）が少なくとも１つ一致していれば、手法１と同じ方法で直交変換を選択する。選択部２０１は、選択した直交変換を変換部２０３に通知する。

また、選択部２０１は、変換ブロックと予測ブロックとの辺が一致しなければ、手法２と同じようにしてＤＣＴ−ＩＩとＤＳＴ−ＩＩとのうち、最適な方をコスト算出部２０２に選択させる。例えば、選択部２０１は、ＤＣＴ−ＩＩとＤＳＴ−ＩＩとを行うよう変換部２０３に指示し、コスト算出部２０２に符号化コスト（単にコストとも呼ぶ）を算出するよう指示する。

コスト算出部２０２は、レート歪み最適化法（例えば、http://www.tom.comm.waseda.ac.jp/~tsukuba/source/avm20050609.pdfを参照されたい）を用いて、複数の直交変換（例えばＤＣＴ−ＩＩとＤＳＴ−ＩＩ）のコスト（例えば符号量）を計算し、コストが最も小さい直交変換を選択する。説明の都合上、コスト算出部２０２が、量子化部、エントロピー符号化部を有し、各直交変換での符号量を算出するとするが、実装上はエントロピー符号化部１０４からフィードバックされて符号量を取得してもよい。また、コスト算出部２０２は、選択部２０１に含まれるようにしてもよい。

変換部２０３は、ＤＣＴ部２０５、ＤＳＴ部２０６を有し、複数の直交変換を有する。ＤＣＴ部２０５は、ＤＣＴ系の直交変換を行う。ＤＳＴ部２０６は、ＤＳＴ系の直交変換を行う。変換部２０３は、予測誤差信号生成部１０１から取得した変換対象の予測誤差信号に対し、選択部２０１により選択された１つの直交変換を行い、変換後の係数を量子化部１０３に出力する。

なお、変換部２０３は、説明を分かりやすくするため、ＤＣＴ部２０５と、ＤＳＴ部２０６とを分けた構成で説明した。しかし、実装上では、図７や図９に示したように、変換部２０３は、ＤＣＴ−ＩＩをコアにしてＤＣＴ−ＩＶ、ＤＳＴ−ＩＩを実装することができる。よって、変換部２０３は、ＤＣＴ−ＩＶを行う場合、ＤＣＴ−ＩＩの処理の一部を行い（図７参照）、ＤＳＴ−ＩＩを行う場合、入力と出力とに若干の修正を加えたＤＣＴ−ＩＩの処理を行うこと（図９参照）で各処理を実現することができる。つまり、変換部２０３は、ＤＣＴ−ＩＩ、ＤＣＴ−ＩＶ、ＤＳＴ−ＩＩを行う処理部と、ＤＳＴ−ＶＩＩを行う処理部とに分けてもよい。例えば、変換部２０３の実装については、適宜自由に変更することができる。

また、変換部２０３は、選択部２０１によりＤＣＴ−ＩＩとＤＳＴ−ＩＩの処理が指示された場合は、ＤＣＴ−ＩＩとＤＳＴ−ＩＩの処理を実行する。変換部２０３は、ＤＣＴ−ＩＩとＤＳＴ−ＩＩの処理を行った場合は、それぞれの直交変換係数をコスト算出部２０２に出力する。

変換部２０３は、コスト算出部２０２により選択された直交変換の変換係数、及び選択された直交変換を識別する識別情報を量子化部１０３に出力する。なお、変換部２０３は、コスト算出部２０２が処理を行った場合は、選択された直交変換のエントロピー符号化データをエントロピー符号化部１０４に出力してもよい。また、直交変換部１０２は、コスト算出部２０２がエントロピー符号化部１０４からフィードバックされる場合、どちらの符号化データを用いるかを示す情報をエントロピー符号化部１０４に指示すればよい。

なお、選択部２０１は、ＤＣＴ−ＩＶ又はＤＳＴ−ＶＩＩのどちらを用いるかについて、設定部２０４により設定されたモードに基づいて選択してもよい。選択部２０１は、例えば実装優先の第１モードが設定部２０４により設定されていた場合、ＤＣＴ−ＩＶを選択し、性能優先の第２モードが設定部２０４により設定されていた場合、ＤＳＴ−ＶＩＩを用いる。ＤＳＴ−ＶＩＩは、ＤＣＴ−ＩＶよりも性能が良いと言われている。よって、実装を優先する場合はＤＣＴ−ＩＶが用いられ、性能を優先する場合はＤＳＴ−ＶＩＩが用いられるようにしてもよい。

設定部２０４は、第１モードか第２モードのいずれかを設定する。モードについては、ユーザにより予め設定されればよい。なお、変換部２０３がＤＣＴ−ＩＶ又はＤＳＴ−ＶＩＩのいずれかしか有していない場合、設定手段２０４は、必ずしも必要な構成ではない。

また、設定手段２０４は、所定のブロックサイズを設定し、設定されたブロックサイズには例えばＤＳＴ−ＶＩＩを処理させるようにしてもよい。所定のブロックサイズは、例えば４×４である。

＜手法の適用例＞
次に、変換ブロックに対する手法の適用例について説明する。図１２は、変換ブロックの位置による手法の適用分布例を示す図である。図１２に示す例では、予測ブロックは、縦長の長方形に分割される。図１２に示す変換ブロックｂ２０１は、全ての辺において予測ブロックの辺と一致しないため、手法２が適用される。図９に示す変換ブロックｂ２０１以外の変換ブロックは、予測ブロックの辺と少なくとも１辺が一致するので、手法１が適用される。

＜直交変換の適用例＞
次に、変換ブロックに対する直交変換の適用例について説明する。図１３は、実施例１における水平方向の直交変換の適用例を示す図である。図１３に示す例では、選択部２０１は以下のように直交変換を選択する。図１３に示す変換ブロックは、正方形の形状をしているが、正方形に限られず、長方形でもよい。また、図１３に示す例では、変換部２０３は、ＤＳＴ−ＶＩＩを有していないか、設定部２０４により第１モードが設定されているとする。図１３に示す太線の辺は、予測ブロックの辺と一致する辺を示す。

（１）両辺が一致
選択部２０１は、変換ブロックの左右の両辺が予測ブロックの辺と一致する場合、直交変換としてＤＣＴ−ＩＩを選択する。

（２）左辺が一致
選択部２０１は、変換ブロックの左辺が予測ブロックの辺と一致する場合、直交変換としてＤＣＴ−ＩＶを選択する。

（３）右辺が一致
選択部２０１は、変換ブロックの右辺が予測ブロックの辺と一致する場合、直交変換としてＦｌｉｐｐｅｄ ＤＣＴ−ＩＶを選択する。

（４）両辺とも不一致
選択部２０１は、変換ブロックの両辺とも予測ブロックの辺と一致しない場合、直交変換として、ＤＣＴ−ＩＩ、ＤＳＴ−ＩＩを選択する。コスト算出部２０２は、コストの低い直交変換を選択する。

なお、選択部２０１は、垂直方向でも、水平方向と同様にして処理すればよい。選択部２０１は、垂直方向の場合、左辺を上辺、右辺を下辺に置き換えて処理すればよい。

＜動作＞
次に、実施例１における画像符号化装置１０の動作について説明する。図１４は、実施例１におけるインター予測の直交変換処理の一例を示すフローチャートである。図１４に示す処理は、水平方向及び垂直方向のそれぞれで実行される。

ステップＳ１０１で、選択部２０１は、変換ブロックと予測ブロックとの境界のいずれかが一致しているか否かを判定する。つまり、選択部２０１は、変換ブロックの少なくとも１辺が予測ブロックの辺と一致しているかを判定する。少なくとも１辺が一致していれば（ステップＳ１０１−ＹＥＳ）ステップＳ１０２に進み、１辺も一致していなければ（ステップＳ１０１−ＮＯ）ステップＳ１０７に進む。

ステップＳ１０２で、選択部２０１は、変換ブロックの左辺（または上辺）のみが予測ブロックの辺と一致するか否かを判定する。変換ブロックの左辺（または上辺）のみが予測ブロックの辺と一致すれば（ステップＳ１０２−ＹＥＳ）ステップＳ１０３に進み、変換ブロックの左辺（または上辺）のみが予測ブロックの辺と一致しなければ（ステップＳ１０２−ＮＯ）ステップＳ１０４に進む。

ステップＳ１０３で、変換部２０３は、変換ブロックに対し、ＤＣＴ−ＩＶの処理を実行する。

ステップＳ１０４で、選択部２０１は、変換ブロックの右辺（または下辺）のみが予測ブロックの辺と一致するか否かを判定する。変換ブロックの右辺（または下辺）のみが予測ブロックの辺と一致すれば（ステップＳ１０４−ＹＥＳ）ステップＳ１０５に進み、変換ブロックの右辺（または下辺）のみが予測ブロックの辺と一致しなければ（ステップＳ１０４−ＮＯ）ステップＳ１０６に進む。

ステップＳ１０５で、変換部２０３は、変換ブロックに対し、Ｆｌｉｐｐｅｄ ＤＣＴ−ＩＶの処理を実行する。

ステップＳ１０６で、変換部２０３は、変換ブロックに対し、ＤＣＴ−ＩＩの処理を実行する。

ステップＳ１０７で、変換部２０３は、変換ブロックに対し、ＤＣＴ−ＩＩの処理を実行する。

ステップＳ１０８で、変換部２０３は、変換ブロックに対し、ＤＳＴ−ＩＩの処理を実行する。

ステップＳ１０９で、コスト算出部２０２は、ＤＣＴ−ＩＩとＤＳＴ−ＩＩとのコストを算出してＲＤ判定を行い、コストが低い方の直交変換を選択する。

よって、直交変換部１０２は、ステップＳ１０１〜Ｓ１０６では、手法１を用いて適切な直交変換を行うことができ、ステップＳ１０７〜Ｓ１０９では、手法２を用いて適切な直交変換を行うことができる。

以上、実施例１によれば、インター符号化において、符号化効率を向上させることができる。また、実施例１によれば、予測ブロックと境界が一致する変換ブロックに対しては手法１を用い、予測ブロックと境界が一致しない変換ブロックに対しては手法２を用いることで、全ての変換ブロックにおいて適した直交変換を行うことができる。

［実施例２］
次に、実施例２における画像符号化装置について説明する。実施例２では、ＲＤ判定を用いず、変換ブロックと予測ブロックの位置関係に基づいて、全ての変換ブロックの直交変換を選択する。ＲＤ判定は、他の処理と比べて処理量が大きい。よって、実施例２では、ＲＤ判定を行わないことで処理量の低減を図りつつ、符号化効率を実施例１とほぼ同等にすることができる。

＜構成＞
実施例２における画像符号化装置の構成は、実施例１の図１０に示す構成と同様であるため、同じ符号を用いて説明する。実施例２では、直交変換部１０２の処理が実施例１と異なるため、以下では実施例２の直交変換部１０２を主に説明する。

＜直交変換部＞
図１５は、実施例２における直交変換部１０２の構成の一例を示すブロック図である。図１５に示す直交変換部１０２の構成のうち、図１１に示す構成と同様のものは同じ符号を付す。以下では、選択部２５０を主に説明する。

選択部２５０は、予測誤差信号１０１から取得した変換ブロックと、インター予測部１１２から取得した予測ブロックの情報に基づく予測ブロックとの位置関係のみに基づいて、水平方向及び垂直方向それぞれで、複数の直交変換の中から１つの直交変換を選択する。例えば、選択部２５０は、変換ブロックの水平方向又は垂直方向の対向する両辺が予測ブロックの辺と一致しない場合は、予測ブロック内部における誤差信号の直流成分が小さいことから、ＤＣＴ−ＩＩよりも小さい誤差表現に適したＤＳＴ−ＩＩを選択する。

また、選択部２５０は、変換ブロックの対向する両辺が予測ブロックの辺と一致する場合はＤＣＴ−ＩＩを選択し、変換ブロックの１辺が予測ブロックの辺と一致する場合はＤＣＴ−ＩＶ、Ｆｌｉｐｐｅｄ ＤＣＴ−ＩＶ、ＤＳＴ−ＶＩＩ、又はＦｌｉｐｐｅｄ ＤＳＴ−ＶＩＩのいずれかを選択する。また、選択部２５０は、変換ブロックと予測ブロックとの一致する辺の位置に応じて、いずれかの直交変換を選択する。選択部２５０は、選択した直交変換を変換部２０３に通知する。

また、実施例１同様、選択部２５０は、設定部２０４により実装優先の第１モードが設定されていれば、ＤＣＴ−ＩＶを選択し、性能優先の第２モードが設定されていれば、ＤＳＴ−ＶＩＩを選択する。

＜直交変換の適用例＞
次に、変換ブロックに対する直交変換の適用例について説明する。図１６は、実施例２における水平方向の直交変換の適用例を示す図である。図１６に示す例では、選択部２５０は以下のように直交変換を選択する。図１６に示す変換ブロックは、正方形の形状をしているが、正方形に限られず、長方形でもよい。また、図１６に示す例では、変換部２０３は、ＤＳＴ−ＶＩＩを有していないか、設定部２０４により第１モードが設定されているとする。図１６に示す太線の辺は、予測ブロックの辺と一致する辺を示す。

（１）両辺が一致
選択部２５０は、変換ブロックの左右の両辺が予測ブロックの辺と一致する場合、直交変換としてＤＣＴ−ＩＩを選択する。

（２）左辺が一致
選択部２５０は、変換ブロックの左辺が予測ブロックの辺と一致する場合、直交変換としてＤＣＴ−ＩＶを選択する。

（３）右辺が一致
選択部２５０は、変換ブロックの右辺が予測ブロックの辺と一致する場合、直交変換としてＦｌｉｐｐｅｄ ＤＣＴ−ＩＶを選択する。

（４）両辺とも不一致
選択部２５０は、変換ブロックの両辺とも予測ブロックの辺と一致しない場合、直交変換としてＤＳＴ−ＩＩを選択する。

これは、予測ブロックと変換ブロックとで、水平方向又は垂直方向の両辺の境界が一致しない場合、両端が短絡端の基底を有するＤＳＴ―ＩＩが適しているからである。

なお、選択部２５０は、垂直方向でも、水平方向と同様にして処理すればよい。選択部２５０は、垂直方向の場合、左辺を上辺、右辺を下辺に置き換えて処理すればよい。

これにより、選択部２５０は、変換ブロックと予測ブロックとの位置関係のみに基づいて直交変換を選択することができるので、ＲＤ判定を用いる必要がなく、さらに直交変換種別を示す識別情報を付加する必要もない。

＜動作＞
次に、実施例２における画像符号化装置１０の動作について説明する。図１７は、実施例２におけるインター予測の直交変換処理の一例を示すフローチャートである。図１７に示す処理は、水平方向及び垂直方向のそれぞれで実行される。

ステップＳ２０１で、選択部２５０は、変換ブロックと予測ブロックとの境界の両端が一致しているか否かを判定する。両端が一致していれば（ステップＳ２０１−ＹＥＳ）ステップＳ２０２に進み、１辺が一致する又は両端が一致していなければ（ステップＳ２０１−ＮＯ）ステップＳ２０３に進む。

ステップＳ２０２で、選択部２５０は、例えば図１６に従って、ＤＣＴ−ＩＩを選択する。選択部２５０は、選択した直交変換を変換部２０３に通知する。変換部２０３は、変換ブロックに対し、ＤＣＴ−ＩＩの処理を実行する。

ステップＳ２０３で、選択部２５０は、変換ブロックと予測ブロックとの境界の両端が共に一致していないかを判定する。両端が共に一致していなければ（ステップＳ２０３−ＹＥＳ）ステップＳ２０４に進み、少なくとも１辺が一致していれば（ステップＳ２０３−ＮＯ）ステップＳ２０５に進む。

ステップＳ２０４で、選択部２５０は、例えば図１６に従って、ＤＳＴ−ＩＩを選択する。選択部２５０は、選択した直交変換を変換部２０３に通知する。変換部２０３は、変換ブロックに対し、ＤＳＴ−ＩＩの処理を実行する。

ステップＳ２０５で、選択部２５０は、変換ブロックの左辺（または上辺）が予測ブロックの辺と一致するか否かを判定する。変換ブロックの左辺（または上辺）が予測ブロックの辺と一致すれば（ステップＳ２０５−ＹＥＳ）ステップＳ２０６に進み、変換ブロックの左辺（または上辺）が予測ブロックの辺と一致しなければ（ステップＳ２０５−ＮＯ）ステップＳ２０７に進む。

ステップＳ２０６で、変換部２０３は、変換ブロックに対し、ＤＣＴ−ＩＶの処理を実行する。

ステップＳ２０７で、変換部２０３は、変換ブロックに対し、Ｆｌｉｐｐｅｄ ＤＣＴ−ＩＶの処理を実行する。なお、図１６、１７のＤＣＴ−ＩＶは、ＤＳＴ−ＶＩＩを用いてもよい。

以上、実施例２によれば、インター符号化において、符号化効率を向上させることができる。また、実施例２によれば、変換ブロックと予測ブロックとの位置関係のみに基づいて直交変換を選択することができるので、ＲＤ判定を用いる必要がなく、さらに直交変換種別を示す識別情報を付加する必要もない。なお、実施例２における符号化効率は、実施例１とほぼ同等にすることができる。

［実施例３］
次に、実施例３における画像復号装置３０について説明する。実施例３における画像復号装置３０は、実施例１や実施例２における画像符号化装置１０で符号化されたビットストリームを復号する装置である。

＜構成＞
図１８は、実施例３における画像復号装置３０の概略構成の一例を示すブロック図である。図１８に示すように、画像復号装置３０は、エントロピー復号部３０１、逆量子化部３０２、逆直交変換部３０３、イントラ予測部３０４、復号情報記憶部３０５、インター予測部３０６、予測画像選択部３０７、復号画像生成部３０８、ループフィルタ部３１０、及びフレームメモリ３１１を有する。各部についての概略を以下に説明する。

エントロピー復号部３０１は、ビットストリームが入力されると、画像符号化装置１０のエントロピー符号化に対応するエントロピー復号を行う。エントロピー復号部３０１により復号された予測誤差信号などは逆量子化部３０２に出力される。また、復号したフィルタ係数や、インター予測されている場合の、復号された動きベクトルなどは復号情報記憶部３０５に出力される。

また、エントロピー復号部３０１は、イントラ予測の場合、イントラ予測部３０４にその旨通知する。また、エントロピー復号部３０１は、復号対象画像がインター予測されているか、イントラ予測されているかを予測画像選択部３０７に通知する。

逆量子化部３０２は、エントロピー復号部３０１からの出力信号に対して逆量子化処理を行う。逆量子化された出力信号は逆直交変換部３０３に出力される。

逆直交変換部３０３は、逆量子化部３０２からの出力信号の復号ブロックに対して逆直交変換処理を行い、残差信号を生成する。逆直交変換部３０３は、インター予測の場合、逆ＤＣＴ（ＩＤＣＴ）処理をするか、逆ＤＳＴ（ＩＤＳＴ）処理をするかを制御する。逆直交変換部３０３の詳細は、図１９を用いて後述する。残差信号は復号画像生成部３０８に出力される。

イントラ予測部３０４は、フレームメモリ３１１から取得する復号対象画像のすでに復号化された周辺画素から、複数の予測方向を用いて予測画像を生成する。

復号情報記憶部３０５は、復号されたループフィルタのフィルタ係数や動きベクトルや分割モードなどの復号情報を記憶する。

インター予測部３０６は、フレームメモリ３１１から取得した参照画像のデータを復号情報記憶部３０５から取得する動きベクトルや分割モードを用いて動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。インター予測部３０６は、予測ブロックの情報を逆直交変換部３０３に通知する。

予測画像選択部３０７は、イントラ予測画像、又はインター予測画像どちらか一方の予測画像を選択する。選択されたブロックデータは、復号画像生成部３０８に出力される。

復号画像生成部３０８は、予測画像選択部３０７から出力される予測画像と、逆直交変換部３０３から出力される残差信号とを加算し、復号画像を生成する。生成された復号画像はループフィルタ部３１０に出力される。

ループフィルタ部３１０は、復号画像生成部３０８から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ループフィルタ処理後の復号画像をフレームメモリ３１１に出力する。なお、ループフィルタ後の復号画像は表示装置などに出力されてもよい。

フレームメモリ３１１は、参照画像となる復号画像などを記憶する。なお、復号情報記憶手段３０５とフレームメモリ３１１は、分けた構成にしているが、同じ記憶部であってもよい。

＜逆直交変換部の構成＞
次に、逆直交変換部３０３の構成について説明する。図１９は、実施例３における逆直交変換部３０３の構成の一例を示すブロック図である。図１９に示す逆直交変換部３０３は、選択部４０１、逆変換部４０２を有する。

選択部４０１は、予測ブロックの情報をインター予測部３０６から取得し、逆量子化部３０２から変換ブロックに関する情報を取得する。選択部４０１は、その他の処理は、図１１や図１５に示す選択部と同様の機能を有する。なお、選択部４０１は、直交変換を示す識別情報をエントロピー復号部３０１から取得した場合は、その識別情報に対応する逆直交変換を選択する。選択部４０１は、選択した逆直交変換を逆変換部４０２に通知する。

逆変換部４０２は、逆量子化部３０２から取得した、変換ブロックの逆量子化された信号に対し、逆直交変換を行う。逆変換部４０２は、ＩＤＣＴ部４０３とＩＤＳＴ部４０４とを有する。

ＩＤＣＴ部４０３は、逆量子化された信号に対し、選択部４０１により選択された水平方向又は垂直方向のＩＤＣＴ−ＩＩ、ＩＤＣＴ−ＩＶ又はＦｌｉｐｐｅｄ ＩＤＣＴ−ＩＶの処理を行い、復号画像生成部３０８に逆直交変換された信号を出力する。

ＩＤＳＴ部４０４は、逆量子化された信号の水平方向又は垂直方向に対し、選択部４０１により選択されたＩＤＳＴ−ＩＩ、ＩＤＳＴ−ＶＩＩ又はＦｌｉｐｐｅｄ ＩＤＳＴ−ＶＩＩの処理を行い、逆直交変換された信号を復号画像生成部３０８に出力する。

これにより、選択部４０１及び逆直交変換部４０２は、画像符号化装置１０の処理と同様の処理を行うことができる。

＜動作＞
画像復号装置３０における逆直交変換処理は、基本的には、図１４、１７に示す処理と同様である。異なるところは、直交変換が逆直交変換になることと、図１４のステップＳ１０１−ＮＯの後に、直交変換を示す識別情報に基づいてＩＤＣＴ−ＩＩ又はＩＤＳＴ−ＩＩが選択されることである。

以上、実施例３によれば、実施例１や実施例２における画像符号化装置１０で符号化されたビットストリームを適切に復号することができる。

［実施例４］
図２０は、実施例４における画像処理装置５０の構成の一例を示すブロック図である。図２０に示す画像処理装置５０は、上述した実施例１や実施例２で説明した画像符号化処理又は実施例３で説明した画像復号処理をソフトウェアで実装した装置の一例である。

図２０に示すように、画像処理装置５０は、制御部５０１、主記憶部５０２、補助記憶部５０３、ドライブ装置５０４、ネットワークＩ／Ｆ部５０６、入力部５０７、表示部５０８を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部５０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部５０１は、主記憶部５０２又は補助記憶部５０３に記憶された直交変換制御処理を含む画像符号化処理のプログラム、又は逆直交変換制御処理を含む画像復号処理のプログラムを実行する演算装置である。制御部５０１は、入力部５０７や記憶装置からデータを受け取り、演算、加工した上で、表示部５０８や記憶装置などに出力する。

また、制御部５０１は、直交変換制御処理を含む画像符号化処理、又は逆直交変換制御処理を含む画像復号処理のプログラムを実行することで、各実施例で説明した処理を実現することができる。

主記憶部５０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部５０２は、制御部５０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部５０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置５０４は、記録媒体５０５、例えばフレキシブルディスクからプログラムを読み出し、記憶部にインストールする。

また、記録媒体５０５に、所定のプログラムを格納し、この記録媒体５０５に格納されたプログラムはドライブ装置５０４を介して画像処理装置５０にインストールされる。インストールされた所定のプログラムは、画像処理装置５０により実行可能となる。

ネットワークＩ／Ｆ部５０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置５０とのインターフェースである。

入力部５０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部５０８の表示画面上でキーの選択等を行うためのマウスやスライドパット等を有する。表示部５０８は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部５０１から入力される表示データに応じた表示が行われる。

なお、図１０に示す復号画像記憶部１１１は、例えば主記憶部５０２又は補助記憶部５０３により実現され、図１０に示す復号画像記憶部１１１以外の構成は、例えば制御部５０１及びワークメモリとしての主記憶部５０２により実現されうる。

また、図１８に示す復号情報記憶部３０５及びフレームメモリ３１１は、例えば主記憶部５０２又は補助記憶部５０３により実現され、図１８に示す復号情報記憶部３０５及びフレームメモリ３１１以外の構成は、例えば制御部５０１及びワークメモリとしての主記憶部５０２により実現されうる。

画像処理装置５０で実行されるプログラムは、実施例１〜３で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部５０１が補助記憶部５０３からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部５０２上にロードされ、１又は複数の各部が主記憶部５０２上に生成されるようになっている。

このように、上述した実施例１や実施例２で説明した画像符号化処理や実施例３で説明した画像復号処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、各実施例で説明した処理を実現することができる。

また、このプログラムを記録媒体５０５に記録し、このプログラムが記録された記録媒体５０５をコンピュータや携帯端末に読み取らせて、前述した処理を実現させることも可能である。なお、記録媒体５０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、上述した各実施例で説明した処理は、１つ又は複数の集積回路に実装してもよい。

なお、実施例４における画像処理装置５０は、上記の通り、画像符号化装置１０、画像復号装置３０としての機能を有する。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。

１０ 画像符号化装置
３０ 画像復号装置
５０ 画像処理装置
１０１ 予測画像生成部
１０２ 直交変換部
１０３ 量子化部
１０４ エントロピー符号化部
１０５ 逆量子化部
１０６ 逆直交変換部
１０７ 復号画像生成部
１０９ ループフィルタ部
１１０ 復号画像記憶部
１１１ イントラ予測部
１１２ インター予測部
１１３ 動きベクトル計算部
１１５ 予測画像選択部
２０１、２５０ 選択部
２０２ コスト算出部
２０３ 変換部
２０４ 設定部
３０３ 逆直交変換部
４０１ 選択部
４０２ 逆変換部
５０１ 制御部
５０２ 主記憶部
５０３ 補助記憶部
５０４ ドライブ装置

Claims (6)

1. 画像が複数に分割された符号化ブロックに対し、該符号化ブロック以下のサイズの予測ブロックによる画面間予測を用いて画像を符号化する画像符号化装置であって、
   前記符号化ブロックが階層分割により１又は複数に分割された変換ブロックと、前記予測ブロックとの位置関係に基づいて、水平方向及び垂直方向それぞれで、複数の直交変換の中から１つの直交変換を選択する選択部と、
   前記選択部により選択された水平方向の直交変換及び垂直方向の直交変換を、それぞれの方向で行う変換部と、を備え、
   前記選択部は、
   水平方向及び垂直方向それぞれで、前記変換ブロックの対向する両辺共が前記予測ブロックの辺と一致しない場合はＤＳＴ−ＩＩを選択する画像符号化装置。
2. 前記選択部は、水平方向及び垂直方向それぞれで、
   前記変換ブロックの対向する両辺が前記予測ブロックの辺と一致する場合はＤＣＴ−ＩＩを選択し、
   前記変換ブロックの１辺が前記予測ブロックの辺と一致する場合はＤＣＴ−ＩＶ、Ｆｌｉｐｐｅｄ ＤＣＴ−ＩＶ、ＤＳＴ−ＶＩＩ、又はＦｌｉｐｐｅｄ ＤＳＴ−ＶＩＩのいずれかを選択する請求項１記載の画像符号化装置。
3. 実装を優先する第１モード又は性能を優先する第２モードのいずれかを設定する設定部をさらに備え、
   前記選択部は、
   前記第１モードが設定された場合、前記変換ブロックの１辺が前記予測ブロックの辺と一致するときはＤＣＴ−ＩＶ又はＦｌｉｐｐｅｄ ＤＣＴ−ＩＶを選択し、
   前記第２モードが設定された場合、前記変換ブロックの１辺が前記予測ブロックの辺と一致するときはＤＳＴ−ＶＩＩ又はＦｌｉｐｐｅｄ ＤＳＴ−ＶＩＩを選択する請求項２記載の画像符号化装置。
4. 画像が複数に分割された符号化ブロックに対し、該符号化ブロック以下のサイズの予測ブロックによる画面間予測を用いて画像を符号化するために、コンピュータに、
   前記符号化ブロックが階層分割により１又は複数に分割された変換ブロックと、前記予測ブロックとの位置関係に基づいて、水平方向及び垂直方向それぞれで、複数の直交変換の中から１つの直交変換を選択する選択ステップと、
   前記選択部により選択された水平方向の直交変換及び垂直方向の直交変換を、それぞれの方向で行う変換ステップと、を実行させる画像符号化プログラムであって、
   前記選択ステップは、
   水平方向及び垂直方向それぞれで、前記変換ブロックの対向する両辺共が前記予測ブロックの辺と一致しない場合はＤＳＴ−ＩＩを選択する画像符号化プログラム。
5. 請求項１乃至３いずれか一項に記載の画像符号化装置により符号化されたストリームを復号する画像復号装置であって、
   前記ストリームをエントロピー復号する復号部と、
   前記復号部により復号された前記変換ブロックと、画面内予測時に用いられた予測ブロックとの位置関係に基づいて、水平方向及び垂直方向それぞれで、複数の逆直交変換の中から１つの逆直交変換を選択する選択部と、
   前記選択部により選択された水平方向の逆直交変換及び垂直方向の逆直交変換を、それぞれの方向で行う逆変換部と、を備え、
   前記選択部は、
   水平方向及び垂直方向それぞれで、前記変換ブロックの対向する両辺共が前記予測ブロックの辺と一致しない場合はＩＤＳＴ−ＩＩを選択する画像復号装置。
6. 請求項１乃至３いずれか一項に記載の画像符号化装置により符号化されたストリームを復号するために、コンピュータに、
   前記ストリームを復号する復号ステップと、
   復号された前記変換ブロックと、画面内予測時に用いられた予測ブロックとの位置関係に基づいて、水平方向及び垂直方向それぞれで、複数の逆直交変換の中から１つの逆直交変換を選択する選択ステップと、
   選択された水平方向の逆直交変換及び垂直方向の逆直交変換を、それぞれの方向で行う逆変換ステップと、を実行させる画像復号プログラムであって、
   前記選択ステップは、
   水平方向及び垂直方向それぞれで、前記変換ブロックの対向する両辺共が前記予測ブロックの辺と一致しない場合はＩＤＳＴ−ＩＩを選択する画像復号プログラム。