JP2011205693A - 画像復号装置及び画像符号化装置 - Google Patents

Abstract

【課題】符号化又は復号の処理対象ブロックに対する予測画像を局所的に復号した画像から探索して生成するに際し、精度良く探索でき且つ候補ブロック数を削減して処理量を低減する。
【解決手段】画像符号化，復号装置に画面内予測部１６，２５を設ける。画面内予測部１６，２５は、処理対象ブロックの特徴ベクトルを近傍領域内の画素値に基づき導出する導出手段（３１で例示）、処理対象ブロックの特徴ベクトルと復号済みブロックの特徴ベクトルを比較して類似度を計算し、類似度が最も高い特徴ベクトルに対応する復号済ブロックの位置を中心とし、そこから所定の距離以内の領域を探索範囲に決定する探索範囲決定手段（３３で例示）、探索範囲の中から処理対象ブロックに類似する領域を予測領域として選択する予測領域決定手段（３４で例示）、及び予測領域の画像に基づき処理対象ブロックに対する予測画像を生成する予測画像生成手段（３５で例示）を備える。
【選択図】図６

Description

本発明は、画像復号装置及び画像符号化装置に関し、より詳細には、画像を複数のブロックに分割しブロック毎に入力画像と予測画像の差分画像を符号化して生成した符号化データを、復号して画像を再生する画像復号装置、及びその符号化データを生成する画像符号化装置に関するものである。

近年、画像のデータ量増加に伴い、画像の空間的な相関を利用して画像を符号化することで画像のデータ量を削減する画像符号化技術の重要性が増している。

特に、画像を複数の小領域（ブロック）に分割して符号化を行うブロックベースの画像符号化方式は、動画像符号化方式Ｈ．２６４／ＡＶＣ（非特許文献１）において採用されており、広く用いられている。

非特許文献１で採用されているブロックベースの画像符号化方式は、動画像におけるフレーム内の空間的な相関を利用して符号化を行う。そのため、動画像符号化において利用される画像符号化方式は画面内予測方式とも呼ばれる。

非特許文献１に記載の画面内予測方式では、符号化対象であるブロックの予測画像を生成するために、隣接するブロックの局所復号画像を利用する。しかしながら、その場合には隣接ブロックと符号化対象ブロック間の相関のみしか予測画像の生成に利用することができない。すなわち、符号化対象ブロックから離れた場所に位置する領域と当該符号化対象ブロックとの間の相関を利用することができない。従って、生成される予測画像と原画像の差が大きい、すなわち予測画像の精度が低いという問題があった。

そのため、符号化対象ブロックから離れた場所に位置する領域における局所復号画像に基づいて予測画像を生成する画面内予測方式が提案されている。なお、そのような方式においては、予測画像の生成に用いる領域に関する位置情報を復号時に特定する必要がある。位置情報を特定する方法の一例として、位置情報を符号化する方法が挙げられる。

非特許文献２及び特許文献１では、その位置情報を特定するためにテンプレートマッチングと呼ばれる探索を用いる方式が提案されている。この方式では、テンプレートマッチングを用いることで位置情報を符号化することなく特定できる。そのため、位置情報を符号化する場合に較べて符号化データのデータ量を削減することができる。

ここで、非特許文献２及び特許文献１に記載されているテンプレートマッチングを用いた予測画像生成処理について、さらに詳しく説明する。なお、以下では簡単のため、図１に示すように画像を正方形のブロックに分割して、左上からラスタスキャン順に処理を行うものとして説明する。また、ブロック単位の処理を説明する場合においては、ｋ番目のブロックが処理対象であるものとしてそのブロックを処理対象ブロックＢｋと呼ぶ。また、処理対象ブロックＢｋを処理する時点で、符号化又は復号処理が完了していて局所復号画像が存在する領域を復号済領域と呼ぶこととする。

以下、図２１のフローチャートに従って、テンプレートマッチングを用いた予測画像生成処理の手順を説明する。まず、最小評価値Ｄｍｉｎの値を最大値に設定する（ステップＳ１０１）。次に、処理対象ブロックＢｋに対応する複数の候補領域の中から、処理対象となる候補領域を順次選択する（ステップＳ１０２）。なお、候補領域としては、「候補領域の大きさ及び形状はブロックＢｋのものと一致する」且つ「候補領域は復号済領域内に位置する」という２つの条件を満たす領域（Ｎ個あるとする）を用いる。そして、選択された候補領域（候補領域Ｒｎ）に対して、ループ終了（ステップＳ１０６）までの、ステップＳ１０３〜Ｓ１０５の処理を行う。

ステップＳ１０３では、処理対象ブロックＢｋと候補領域Ｒｎの間の類似度を表す評価値Ｄｓを以下の方法で計算する。なお、各ブロック／候補領域に関連付けられた所定の形状の領域のことを、ブロック／候補領域に対するテンプレートとして定義する。以下では簡単のため、図２２に示すようなブロック／候補領域の上辺及び左辺に隣接するブロック外の画素群及びブロックの左上に位置する画素を含むカギ型の領域を当該ブロック／候補領域に対するテンプレートとして用いることとする。

ブロックＢｋに対するテンプレート上の画素群と、候補領域Ｒｎに対するテンプレート上の画素群の間の相関を表す量として、評価値Ｄｓを次の式により求める。

ここで、ｌＢｋ（ｉｏ，ｊｏ）、ｌＲｎ（ｉｏ，ｊｏ）は、それぞれ処理対象ブロックＢｋ又は候補領域Ｒｎにおいて、ブロック／候補領域内の左上の画素から水平方向にｉｏ画素、垂直方向にｊｏ画素離れた場所に位置する画素の画素値を表す。また、Ｔはテンプレート上の各画素のブロック／候補領域内の左上の画素に対する相対位置の集合である。例えば、テンプレートが図２２に示すカギ型の形状である場合には、集合Ｔは次式で表される。
Ｔ＝｛(-1,-1), (0,-1), (1,-1), (2,-1), (3,-1), (-1,0), (-1,1), (-1,2), (-1,3)｝

ステップＳ１０４では、ステップＳ１０１又はステップＳ１０５にて設定された最小評価値Ｄｍｉｎ以下の値を評価値Ｄｓがもつ場合はステップＳ１０５に進む。そうでない場合、ループを終了し、次の候補領域を選択してステップＳ１０３へ移行する。ステップＳ１０５では、最小評価値Ｄｍｉｎの値を評価値Ｄｓとする。そして、予測画像候補として候補領域Ｒｎを設定する。その後、ループを終了し、次の候補領域を選択してステップＳ１０３へ移行する。Ｎ回のループが終了した時点で、ステップＳ１０５にて設定された予測画像候補を処理対象ブロックＢｋの予測画像として出力する（ステップＳ１０７）。

以上に示した手順によって、処理対象ブロックＢｋに対する予測画像を生成することができる。その際、予測画像として利用する領域の位置をテンプレートマッチングにより特定するので、その領域の位置情報をサイド情報として符号化する必要がない。すなわち、テンプレートマッチングを用いることで、余分なサイド情報を符号化することなく、符号化対象ブロックから離れた場所に位置する領域の局所復号画像に基づいて精度の高い予測画像が生成できるため、符号化効率を向上させることができる。

また、特許文献２では、ブロックマッチングによって予測領域位置の探索を行う技術が提案されている。図２３は従来技術（特許文献２）における画像符号化装置の構成を示すブロック図である。図２３に示す画像符号化装置１００は、入力される差分画像に対し直交変換を行う直交変換部１０１と、直交変換の結果得られる変換係数の量子化を行う量子化部１０２と、量子化部１０２の逆操作にあたる逆量子化を行う逆量子化部１０３と、直交変換部１０１の逆操作にあたる逆直交変換を行う逆直交変換部１０４と、画像を一時的に記憶するフレームメモリ１０５とを備える。さらに、画像符号化装置１００は、処理対象ブロックに対する予測画像を生成する画面内予測部１０６と、入力画像と復号済画像を入力として、予測領域位置を決定する予測領域探索部１０７と、入力データに対し可変長符号化を行う可変長符号化部１０８とを備える。

次に、図２４に示したフローチャートを参照して、画像符号化装置１００の概略動作を説明する。まず、画像を構成するブロックを符号化処理順に従って選択し（ステップＳ１１１）、選択されたブロックを符号化対象ブロックＢｋとして、ループ終了（ステップＳ１１７）までの、ステップＳ１１２〜Ｓ１１６の処理を行う。

ステップＳ１１２では、予測領域探索部１０７が、入力画像上で処理対象ブロックＢｋに対応する領域と相関の高い領域をフレームメモリ１０５に記録されている復号済画像領域内から選択して、予測領域位置を求める。なお、処理対象ブロックＢｋとある領域の間の相関は、領域内全ての画素における対応する画素間の誤差の自乗和により推定することができる。

ステップＳ１１３では、求めた予測領域位置を画面内予測部１０６に入力し、画面内予測部１０６が、当該予測領域位置が示す復号済画像上の領域に基づいて予測画像を生成する。ステップＳ１１４では、符号化対象ブロックとステップＳ１１３にて生成された予測画像の差分である予測残差画像を、直交変換部１０１、量子化部１０２の順に入力し、直交変換、量子化処理を施し、変換係数レベル画像を得る。

ステップＳ１１５では、この変換係数レベル画像を、逆量子化部１０３、逆直交変換部１０４の順に入力し、逆量子化処理、逆直交変換を施した後、ステップＳ１１３にて生成された予測画像と足し合わすことで、当該符号化対象ブロックＢｋの局所復号画像を得て、それをフレームメモリ１０５に記録する。ステップＳ１１６では、変換係数レベル画像及び予測領域位置を可変長符号化部１０８にも入力し、可変長符号化を施した後、符号化データとして出力する。そして、全ての符号化対象ブロック分に相当するＫ回のループが終了した時点で処理を終了する。以上に示した手順により、画像符号化装置１００は入力画像を符号化し、その入力画像に対応する符号化データを出力することができる。

図２５は従来技術（特許文献２）における画像復号装置の構成を示すブロック図である。図２５で示す画像復号装置１１０は、図２３における逆量子化部１０３、逆直交変換部１０４、フレームメモリ１０５、画面内予測部１０６とそれぞれ同じ機能を有する逆量子化部１１２、逆直交変換部１１３、フレームメモリ１１４、画面内予測部１１５を備え、さらに、可変長符号化された入力データに対し、復号処理を行う可変長復号部１１１を備える。

次に、図２６に示したフローチャートを参照して、画像復号装置１１０の概略動作を説明する。まず、符号化処理順に従って復号対象ブロックを順次選択し（ステップＳ１２１）、選択されたブロックを復号対象ブロックＢｋとして、ループ終了（ステップＳ１２６）までの、ステップＳ１２２〜Ｓ１２５の処理を行う。

ステップＳ１２２では、可変長復号部１１１が、復号対象ブロックにＢｋ対応する符号化データを復号して変換係数レベル画像及び予測領域位置を再生する。ステップＳ１２３では、予測領域位置情報を画面内予測部１１５に入力し、当該予測領域位置が示す復号済画像上の領域に基づいて予測画像を生成する。ステップＳ１２４では、変換係数レベル画像を、逆量子化部１１２、逆直交変換部１１３の順に入力し、逆量子化処理、逆直交変換を施した後、ステップＳ１２３にて生成された予測画像と足し合わされることで、当該復号対象ブロックＢｋの復号画像を生成する。ステップＳ１２５では、生成された復号画像を局所復号画像としてフレームメモリ１０５へ記録すると共に、復号画像として出力する。そして、全て復号対象ブロック分に相当するＫ回のループが終了した時点で処理を終了する。以上に示した手順により、画像符号化装置１００で生成した符号化データを入力として、その符号化データに対応する復号画像を画像復号装置１１０により出力することができる。

以上説明した通り、特許文献２に記載された画像符号化装置では、処理対象ブロックとの相関が高い領域をブロックマッチングにより復号済画像領域内から探索し、その領域の位置（予測領域位置）を処理対象ブロックの位置に対する予測領域の位置の変位として符号化する。そして、画像復号装置では、復号された予測領域位置に基づいて処理対象ブロックの予測画像を生成する。このように、特許文献２に記載の画像符号化／復号装置では、処理対象ブロックから空間的に離れた位置にある領域に基づいて予測画像を生成することができる。

特開２００７−０４３６５１号公報 特開２００５−１５９９４７号公報

ITU-T Recommendation H.264:"Advanced Video Coding for generic audiovisual services" (2003) T.-K. Tan et al. "Intra Prediction by Template Matching," International Conference of Image Processing 2006, Oct. 2006

しかしながら、非特許文献２及び特許文献１に記載のごときテンプレートマッチングを用いた予測画像生成処理を行う場合、多数の候補領域と処理対象ブロックとの間の評価値を計算する必要がある。そのため、符号化及び復号時における処理量が多いという問題があった。

テンプレートマッチングの処理量を低減するための方法としては、候補領域の数を削減するという方法が考えられる。例えば図２７において斜線で示したように、処理対象ブロックＢｋから一定の距離の範囲内にある復号済画像上の領域を、候補領域（候補ブロック）Ｒｎが存在し得る領域として設定することで、候補ブロック数を削減することができる。言い換えると、前述のテンプレートマッチングを用いた予測画像生成処理の手順において、候補領域を次の（I）〜（III）の３つの条件を満たす領域として定義することで、処理量を低減することができる。

（I）候補領域の大きさ及び形状は、ブロックＢｋのものと一致する。
（II）候補領域は復号済領域内に位置する。
（III）候補領域Ｒｎの位置ＶＲｎとブロックＢｋの位置ＶＢｋが次の条件式を満たす。
‖ＶＲｎ−ＶＢｋ‖≦ＬＳ１
ここで、ＬＳ１はテンプレートマッチングによる探索範囲の広さを定める所定の定数である。例えばＬＳ１＝１６［画素］といった値を設定する。

しかし、上述した方法によって候補領域に制限を設けた場合、候補領域の位置が処理対象ブロックの近辺に限定されてしまう。そのため、処理対象ブロックから距離ＬＳ１より離れた位置に、その処理対象ブロックと類似の特徴を有する領域がある場合には、その領域を予測画像の導出に用いることができない。従って、図２７に示すように候補ブロックの存在する範囲を制限した場合、制限しない場合に較べて生成される予測画像の精度は低下してしまう。

一方、特許文献２に記載の画像符号化装置では、予測領域位置を処理対象ブロックの位置を基準として符号化するため、処理対象ブロックの位置と予測領域位置の間の距離が大きい場合に、処理対象ブロックの位置から予測領域位置への変位を符号化した際の符号量が大きくなるという問題がある。

本発明は、上述のごとき実状に鑑みてなされたものであり、符号化又は復号の処理対象ブロックに対する予測画像を、局所的に復号した画像から探索して生成するに際し、精度良く探索でき、且つ候補ブロック数を削減して処理量を低減することが可能な、画像復号装置及び画像符号化装置を提供することを、その目的とする。

上述のごとき課題を解決するために、本発明の第１の技術手段は、符号化データから復号された差分画像を予測画像と足し合わせることで、複数のブロックに分割された画像における各ブロックの画像を再生する画像復号装置において、処理対象ブロックの近傍領域内の画素値に基づいて、該処理対象ブロックの特徴ベクトルを導出する特徴ベクトル導出手段と、前記処理対象ブロックに対応する特徴ベクトルと復号済ブロックに対応する特徴ベクトルとを比較して類似度を計算し、前記類似度が最も高い特徴ベクトルに対応する復号済ブロックの位置を中心として、該中心から所定の距離以内の領域を、探索範囲に決定する探索範囲決定手段と、前記探索範囲の中から前記処理対象ブロックに類似する領域を、予測領域として選択する予測領域決定手段と、前記予測領域の画像に基づいて前記処理対象ブロックに対する予測画像を生成する予測画像生成手段とを備えることを特徴としたものである。

第２の技術手段は、第１の技術手段において、当該画像復号装置は、前記予測画像生成手段とは別に、前記処理対象ブロックに対する予測画像を生成する１又は複数の異なる予測画像生成手段と、予測モードを復号する予測モード復号手段とをさらに備え、前記符号化データより復号される予測モードに応じて使用する予測画像生成手段を選択し、該選択された予測画像生成手段により予測画像を生成することを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記予測モード復号手段は、前記処理対象ブロックの予測モードを推定する推定予測モードを導出し、前記処理対象ブロックの予測モードと前記推定予測モードが一致するか否かの情報を符号化データより読み出し、一致する場合は、前記処理対象ブロックの予測モードとして前記推定予測モードを復号し、一致しない場合は、予測モードを示す情報を符号化データから読み出して、前記処理対象ブロックの予測モードとして、前記読み出した予測モードを復号することを特徴としたものである。

第４の技術手段は、複数のブロックに分割された画像における各ブロック毎に、入力画像と予測画像の差分画像を符号化する画像符号化装置において、処理対象ブロックの近傍領域内の画素値に基づいて、該処理対象ブロックの特徴ベクトルを導出する特徴ベクトル導出手段と、前記処理対象ブロックに対応する特徴ベクトルと復号済ブロックに対応する特徴ベクトルとを比較して類似度を計算し、前記類似度が最も高い特徴ベクトルに対応する復号済ブロックの位置を中心として、該中心から所定の距離以内の領域を、探索範囲に決定する探索範囲決定手段と、前記探索範囲の中から前記処理対象ブロックに類似する領域を、予測領域として選択する予測領域決定手段と、前記予測領域の画像に基づいて前記処理対象ブロックに対する予測画像を生成する予測画像生成手段とを備えることを特徴としたものである。

第５の技術手段は、第４の技術手段において、当該画像符号化装置は、前記予測画像生成手段とは別に、前記処理対象ブロックに対する予測画像を生成する１又は複数の異なる予測画像生成手段と、当該画像符号化装置の備える各予測画像生成手段によって生成された予測画像と入力画像を比較することで１つの予測画像生成手段を選択する予測画像判定手段と、該選択された１つの予測画像生成手段を示す予測モードを符号化する予測モード符号化手段とをさらに備え、前記選択された１つの予測画像生成手段により生成された予測画像を、前記処理対象ブロックにおける予測画像とすることを特徴としたものである。

第６の技術手段は、第５の技術手段において、前記予測モード符号化手段は、前記処理対象ブロックの予測モードを推定する推定予測モードを導出し、前記処理対象ブロックの予測モードと前記推定予測モードが一致するか否かの情報を符号化し、前記予測モードが前記推定予測モードと一致しない場合は、前記選択された１つの予測画像生成手段を示す予測モードの情報を符号化することを特徴としたものである。

本発明によれば、画像復号装置又は画像符号化装置において、復号又は符号化の処理対象ブロックに対する予測画像を、局所的に復号した画像から探索して生成するに際し、精度良く探索でき、且つ候補ブロック数を削減して処理量を低減することが可能となる。

本発明に係る画像符号化装置又は画像復号装置において、符号化対象又は復号対象となる処理対象ブロックの一例、及びその処理対象ブロックの処理順序の一例を説明するための図である。 本発明の第１の実施形態に係る画像符号化装置の一構成例を示すブロック図である。 図２の画像符号化装置における動作例を概略的に説明するためのフロー図である。 本発明の第１の実施形態に係る画像復号装置の一構成例を示すブロック図である。 図４の画像復号装置における動作例を概略的に説明するためのフロー図である。 図２及び図４における画面内予測部の一構成例を示すブロック図である。 図６の画面内予測部における予測画像生成動作の一例を説明するためのフロー図である。 図６における予測領域決定部でテンプレートマッチングを実行する際の候補領域の一例を示す概念図である。 本発明の第２の実施形態に係る画像符号化装置の一構成例を示すブロック図である。 図９の画像符号化装置における動作例を概略的に説明するためのフロー図である。 本発明の第２の実施形態に係る画像復号装置の一構成例を示すブロック図である。 図１１の画像復号装置における動作例を概略的に説明するためのフロー図である。 図９及び図１１における画面内予測部の一構成例を示すブロック図である。 図１３の画面内予測部における探索中心決定動作の一例を説明するためのフロー図である。 本発明の第３の実施形態に係る画像符号化装置の一構成例を示すブロック図である。 図１５の画像符号化装置における動作例を概略的に説明するためのフロー図である。 本発明の第３の実施形態に係る画像復号装置の一構成例を示すブロック図である。 図１７の画像復号装置における動作例を概略的に説明するためのフロー図である。 図１５及び図１７における画面内予測部の一構成例を示すブロック図である。 図１９の画面内予測部における予測画像生成動作の一例を説明するためのフロー図である。 従来技術のテンプレートマッチングによる予測画像生成動作を説明するためのフロー図である。 図２１の動作において利用するテンプレート形状の例を示す図である。 従来技術による画像符号化装置の構成を示すブロック図である。 図２３の画像符号化装置における動作を説明するためのフロー図である。 従来技術による画像復号装置の構成を表すブロック図である。 図２５の画像復号装置における動作を説明するためのフロー図である。 図２１の動作に対し候補領域を制限する方法を説明するための概念図である。

（第１の実施形態）
図１を参照しながら、図２〜図８に基づき本発明の第１の実施形態に係る画像符号化装置及び画像復号装置について説明する。図１は、本発明に係る画像符号化装置又は画像復号装置において、符号化対象又は復号対象となる処理対象ブロックの一例、及びその処理対象ブロックの処理順序の一例を説明するための図である。なお、本発明に係る以下の説明においても、従来技術の説明の際と同様に、図１に示すように画像を正方形のブロックに分割して、画像上で左上からラスタスキャン順にブロックの符号化処理又は復号処理を実行するものとする。また、その際に分割されたブロックのサイズは簡単のため４×４画素であるものとする。

図２は、本発明の第１の実施形態に係る画像符号化装置の一構成例を示すブロック図で、図３は、図２の画像符号化装置における動作例を概略的に説明するためのフロー図である。

図２で例示する画像符号化装置１は、複数のブロックに分割された画像における各ブロック毎に、入力画像と予測画像の差分画像を符号化する装置である。画像符号化装置１は、入力される差分画像に対し、直交変換を行う直交変換部１１と、直交変換の結果得られる変換係数の量子化を行う量子化部１２と、量子化部１２の逆操作にあたる逆量子化を行う逆量子化部１３と、直交変換部１１の逆操作にあたる逆直交変換を行う逆直交変換部１４と、画像を一時的に記憶するフレームメモリ１５と、処理対象ブロックに対する予測画像を生成する画面内予測部１６と、入力データに対し可変長符号化を行う可変長符号化部１７とを備える。

次に、図３を参照して画像符号化装置１の概略動作例を説明する。まず、画像を構成するブロックを符号化処理順に従って選択し（ステップＳ１）、選択されたブロックを符号化対象ブロックＢｋとして、ループ終了（ステップＳ６）までの、ステップＳ２〜Ｓ５の処理を行う。

ステップＳ２では、画面内予測部１６が、入力画像上で当該符号化対象ブロックＢｋの位置に対応する領域の画像を推定する予測画像を生成する。なお、画面内予測部１６における予測画像生成処理は、本発明における特長的な処理であるため、詳細は後述する。ステップＳ３では、符号化対象ブロックＢｋとステップＳ２で生成した予測画像の差分である予測残差画像を、直交変換部１１、量子化部１２の順に入力し、直交変換、量子化処理を施し、変換係数レベル画像を得る。

ステップＳ４では、この変換係数レベル画像を、逆量子化部１３、逆直交変換部１４の順に入力し、逆量子化処理、逆直交変換を施した後、ステップＳ２にて生成された予測画像と足し合わすことで、当該符号化対象ブロックＢｋの局所復号画像を得て、それをフレームメモリ１５に記録する。ステップＳ５では、変換係数レベル画像を可変長符号化部１７にも入力し、可変長符号化を施した後、符号化データとして出力する。そして、全ての符号化対象ブロック分に相当するＫ回のループが終了した時点で処理を終了する。以上に示した手順により、画像符号化装置１は入力画像を符号化し、その入力画像に対応する符号化データを出力することができる。

図４は、本発明の第１の実施形態に係る画像復号装置の一構成例を示すブロック図で、図５は、図４の画像復号装置における動作例を概略的に説明するためのフロー図である。

図４で例示する画像復号装置２は、符号化データから復号された差分画像を予測画像と足し合わせることで、複数のブロックに分割された画像における各ブロックの画像を再生する装置である。画像復号装置２は、図２における逆量子化部１３、逆直交変換部１４、フレームメモリ１５、画面内予測部１６とそれぞれ同じ機能を有する逆量子化部２２、逆直交変換部２３、フレームメモリ２４、画面内予測部２５を備え、さらに、可変長符号化された入力データに対し、復号処理を行う可変長復号部２１を備える。

次に、図５を参照して画像復号装置２の概略動作例を説明する。まず、符号化処理順に従って復号対象ブロックＢｋを順次選択し（ステップＳ１１）、選択されたブロックを復号対象ブロックＢｋとして、ループ終了（ステップＳ１６）までの、ステップＳ１２〜Ｓ１５の処理を行う。

ステップＳ１２では、画面内予測部２５が、復号対象ブロックＢｋに対応する予測画像を生成する。ステップＳ１３では、可変長復号部２１が、復号対象ブロックＢｋに対応する符号化データを復号して変換係数レベル画像を生成する。ステップＳ１４では、変換係数レベル画像を、逆量子化部２２、逆直交変換部２３の順に入力し、逆量子化処理、逆直交変換を施した後、ステップＳ１２にて生成された予測画像と足し合わすことで、当該復号対象ブロックＢｋの復号画像を生成する。ステップＳ５では、生成された復号画像を、局所復号画像としてフレームメモリ２４に記憶すると共に、復号画像として出力する。そして、全ての復号対象ブロック分に相当するＫ回のループが終了した時点で処理を終了する。以上に示した手順により、画像符号化装置１で生成した符号化データを入力として、その符号化データに対応する復号画像を画像復号装置２により出力することができる。

画像符号化装置１及び画像復号装置２は、画面内予測部１６，２５で例示するように、双方、次の特徴ベクトル導出手段、特徴ベクトル記録部、探索範囲決定手段、予測領域決定手段、及び予測画像生成手段を備える。特徴ベクトル導出手段は、処理対象ブロック近傍領域内の画素値に基づいて、該処理対象ブロック近傍の画像の性質を表す特徴ベクトルを求める。特徴ベクトル記録部は、特徴ベクトル導出手段で求めた特徴ベクトルを記録（記憶）する。探索範囲決定手段は、処理対象ブロックに対応する特徴ベクトルと特徴ベクトル記録部に記録された特徴ベクトルとを比較して、探索範囲を決定する。予測領域決定手段は、その探索範囲の中から処理対象ブロックに類似する領域を、予測領域として選択する。予測画像生成手段は、その予測領域の画像に基づいて処理対象ブロックに対する予測画像を生成する。

次に、図２に示した画像符号化装置１及び図４に示した画像復号装置２における特長的な構成要素である画面内予測部１６，２５について、図６〜図８を参照して詳細に説明する。図６は、図２及び図４における画面内予測部の一構成例を示すブロック図、図７は、図６の画面内予測部における予測画像生成動作の一例を説明するためのフロー図、図８は、図６における予測領域決定部でテンプレートマッチングを実行する際の候補領域の一例を示す概念図である。

図６で例示する画面内予測部１６，２５は、指定されるブロック周辺の所定の領域内の局所復号画像の画素値に基づいて該ブロックの周辺領域の性質を表す特徴ベクトル（周辺特徴ベクトル）を出力する周辺特徴ベクトル計算部３１と、入力される周辺特徴ベクトルを対応するブロックの位置と関連付けて保持する周辺特徴ベクトル記録部３２とを備える。周辺特徴ベクトル計算部３１は特徴ベクトル導出手段の一例であり、周辺特徴ベクトル記録部３２は特徴ベクトル記録部の一例である。

また、画面内予測部１６，２５は、処理対象ブロックに対する周辺特徴ベクトルと周辺特徴ベクトル記録部３２に記録されている周辺特徴ベクトルを比較することでテンプレートマッチングの探索中心を決定する探索中心決定部３３を備える。探索中心決定部３３は、探索範囲決定手段の一例に含まれる部位であり、探索範囲決定手段は、ここで決定（設定）された探索中心から所定の距離以内の領域を探索範囲に決定する（探索範囲と設定する）ことになる。

さらに、画面内予測部１６，２５は、入力される探索中心に基づいてテンプレートマッチングを行うことで、処理対象ブロックに対する予測画像の導出に用いる領域の位置（予測領域位置）を出力する予測領域決定部３４と、入力される予測領域位置及び復号済画像に基づいて処理対象ブロックに対する予測画像を生成する予測画像生成部３５とを備える。予測領域決定部３４は予測領域決定手段の一例であり、この例ではテンプレートマッチングによって探索範囲の中から処理対象ブロックに類似する領域を予測領域として選択している。また、予測画像生成部３５は予測画像生成手段の一例である。

次に、図７及び図８を参照して画面内予測部１６，２５における予測画像生成動作例を説明する。まず、処理対象ブロックＢｋが画面の左端又は上端に位置するか否かを判定し（ステップＳ２１）、位置する場合はステップＳ２７へ進む。それ以外の場合はステップＳ２２〜Ｓ２６を順次実行する。

ステップＳ２２では、周辺特徴ベクトル計算部３１において、処理対象ブロックＢｋに対する周辺特徴ベクトルＰＢｋを計算する。この際、ブロックＢａに対する周辺特徴ベクトルＰＢａは以下の式により計算されるものとする。

ここで、Ｑは周辺特徴ベクトルＰＢａの各要素を量子化するための量子化ステップであり、１以上の任意の実数を設定する。ここで、上記の式により導出される周辺特徴ベクトルＰＢａの意味を補足説明しておく。ＦＨａ，ｍはブロックＢａの上辺に接するテンプレート上の画素を離散コサイン変換した際の変換係数を表す。すなわち、ＦＨａ，ｍはブロックＢａの上辺に接するテンプレート上の領域の水平方向の各周波数成分の大きさを表す量である。同様に、ＦＶ，ｍはブロックＢａの左辺に接するテンプレート上の領域の鉛直方向の各周波数成分の大きさを表す量である。また、ｆＨａ，ｍ、ｆＶａ，ｍはそれぞれＦＨａ，ｍ、ＦＶａ，ｍを量子化ステップＱにより量子化した値である。従って、周辺特徴ベクトルＰＢａはブロックＢａの周辺領域の水平方向及び鉛直方向の周波数成分を含むベクトルである。

このように、周辺特徴ベクトル計算部３１は、処理対象ブロック上端に隣接する領域の画素値を周波数変換及び量子化して得られる水平周波数成分と、処理対象ブロック左端に隣接する領域の画素値を周波数変換及び量子化して得られる垂直周波数成分とを、それぞれ要素とするベクトルを、処理対象ブロックに対応する特徴ベクトルとする。

ステップＳ２３では、探索中心決定部３３が、まず周辺特徴ベクトル記録部３２に記録されている周辺特徴ベクトルの中から、ステップＳ２２で求めた周辺特徴ベクトルＰＢｋに類似した性質を持つ周辺特徴ベクトルを選択する。具体的には、周辺特徴ベクトル記録部３２に記録されている全ての周辺特徴ベクトルについて、周辺特徴ベクトルＰＢｋとの類似度Ｓを計算して、類似度Ｓを最大とする周辺特徴ベクトルを選択する。なお、２つの周辺特徴ベクトルＰＢａとＰＢｂの間の類似度Ｓは次式により計算する。

ステップＳ２３では、続いて探索中心決定部３３が、周辺特徴ベクトル記録部３２から、選択された周辺特徴ベクトルに関連付けられているブロックの位置を読み出し、読み出したブロック位置をテンプレートマッチングにおける探索中心Ｖｃとする。

このように、探索中心決定部３３は、処理対象ブロックに対応する特徴ベクトルと周辺特徴ベクトル記録部３２に記録されている復号済のブロックに対応する特徴ベクトルとを比較して類似度を計算し、その類似度が最も高い特徴ベクトルに対応する復号済ブロックの位置を探索範囲の中心に設定する。

ステップＳ２４では、予測領域決定部３４が、ステップＳ２３で求めた探索中心位置Ｖｃに基づいてテンプレートマッチングを行うことで予測領域位置ＶＲを決定する。このステップＳ２４における処理は、従来技術として説明した、テンプレートマッチングを用いた画面内予測方式における予測領域位置の決定処理（図２１）と基本的に同一の処理とするが、候補領域に対して以下の制約を加える。すなわち、候補領域は次の（i）〜（iii）の３つの条件を満たす領域とする。

（i）候補領域の大きさ及び形状は、ブロックＢｋのものと一致する。
（ii）候補領域は復号済領域内に位置する。
（iii）候補領域の位置ＶＲｎとステップＳ２３で求めた探索中心の位置Ｖｃが次の条件式を満たす。
‖ＶＲｎ−Ｖｃ‖≦ＬＳ２

ここで、ＬＳ２は探索範囲の広さ（上記所定の距離）を表す所定の定数であり、探索範囲決定手段で決定・設定される。例えばＬＳ２＝１６［画素］といった値を設定する。なお、上記の式は図８に示すように、探索中心位置Ｖｃから距離ＬＳ以内に候補ブロックＢの位置を制限することを意味する。

ステップＳ２５では、予測画像生成部３５が、ステップＳ２４で求めた予測領域位置ＶＲによって示される位置に対応する復号済画像上の４×４画素領域を予測画像として出力する。ステップＳ２６では、周辺特徴ベクトルＰＢｋを当該処理対象ブロックの位置と関連付けて、周辺特徴ベクトル記録部３２に記録し、処理を終了する。

一方、ステップＳ２７では、各画素値に所定の値を設定した４×４画素から成る画像を処理対象ブロックＢｋの予測画像として出力し、処理を終了する。なお、例えば画素値のとり得る値の範囲の中間値を、その所定の値として用いることができる。

以上の手順により画面内予測部１６，２５は、処理対象ブロックＢｋに対する予測画像を生成することができる。この手順において候補領域の位置が復号済画像領域の一部に制限されているため、従来技術に較べて、テンプレートマッチングにおいて生成される予測画像の精度を保った上で、テンプレートマッチング処理に要する処理量を低減することができる。また、この手順においては周辺特徴ベクトルを比較することで、処理対象ブロックと類似した特性を持つ領域をテンプレートマッチングの探索中心として設定する。そのため、処理対象ブロックと類似した画像を持つ領域が、当該処理対象ブロックから空間的に離れた位置にある場合でも、その領域を予測画像とすることができる。

第１の実施形態における予測画像生成処理で採用可能な、他の記録方法、記録した情報の消去（スライス単位のリフレッシュ）、特徴ベクトルの類似度に応じた探索範囲の切り替え、並びに、他の探索中心決定方法について説明する。

周辺特徴ベクトル記録部３２における記録方法としては、他の方法を採用することができる。すなわち、前述した第１の実施形態における予測画像生成処理では、ステップＳ２６において周辺特徴ベクトルＰＢｋを周辺特徴ベクトル記録部３２に記録している。その際に、周辺特徴ベクトルＰＢｋと同一もしくは類似の周辺特徴ベクトルＰＢａが既に記録されている場合には、必ずしも両方の周辺特徴ベクトルを記録しておく必要はない。例えば、周辺特徴ベクトルＰＢｋとブロックＢｋの位置情報により、既存の周辺特徴ベクトルＰＢａ及びブロックＢａの位置情報を上書きしても構わない。その場合、周辺特徴ベクトル記録部３２のメモリ容量を少なく抑えることができるという利点がある。

また、周辺特徴ベクトル記録部３２で記録した情報を消去するようにしてもよい。すなわち、前述した第１の実施形態における予測画像生成処理では、周辺特徴ベクトル記録部３２に記録した情報を消去しないものとしたが、本発明はこれに限らない。例えば、符号化単位／復号単位として、処理順の連続する複数の処理対象ブロックをまとめた領域（スライス）を考えて、画像を複数のスライスに分割して符号化／復号処理を行うようにしてもよい。

そして、スライス内で処理順が最も早い処理対象ブロックの符号化／復号処理を開始する前（好ましくは直前）に、周辺特徴ベクトル記録部３２の情報を全て消去する。これにより符号化単位／復号単位毎の処理が可能となる。その場合、テンプレートマッチングにおける候補領域の位置を同一スライス内に制限することによって、各スライスを独立に符号化／復号できるようになるため、符号化／復号処理の並列性が高まるという利点がある。

また、特徴ベクトルの類似度に応じて探索範囲を切り替えてもよい。すなわち、前述した第１の実施形態における探索範囲決定手段（予測領域決定部３４の処理として説明）では、探索範囲の広さを表す値ＬＳ２を所定の定数であるとしたが、本発明はこれに限らない。例えば、探索中心決定部３３において探索中心を決定する際に得られる類似度Ｓの最大値Ｓｍａｘを参照して、Ｓｍａｘの大きさに応じてＬＳ２の値を決定しても構わない。以下、ＬＳ２の決定手順について詳しく説明する。

まず、ＬＳ２の候補としてＬＳ２ａ，ＬＳ２ｂの２つの値を用意しておく。ここでＬＳ２ａはＬＳ２ｂよりも大きい値であるものとする。また、Ｓｍａｘの大きさを判定する閾値ＴＨ１をあらかじめ定めておく。そして、ＬＳ２を次式により決定する。
ＬＳ２ ＝ Ｌｓ２ａ（Ｓｍａｘ＜ＴＨ１）， Ｌｓ２ｂ（Ｓｍａｘ≧ＴＨ１）

Ｓｍａｘが小さい場合は、探索中心の周辺領域の特性と処理対象ブロックの周辺領域の特性の間の類似度が低いことを意味する。逆にＳｍａｘが大きい場合は類似度が高いことを意味する。また、前記類似度が高い場合は探索中心近辺に処理対象ブロックに近い性質を持つ領域が存在する可能性が高いので、テンプレートマッチングの探索範囲を狭く設定できる。逆に前記類似度が低い場合は前記可能性が低いので、探索範囲を広く設定する必要がある。従って、前述の式によりＬＳ２を設定することで、Ｓｍａｘが大きい場合に探索範囲を狭くできるため、テンプレートマッチングに要する処理量を低減できる。

このように、探索範囲決定手段は、計算により求めた類似度のうち最も高い類似度を記録しておき、最も低い類似度の値が所定の閾値未満である場合には第一の距離を所定の距離として設定し、所定の閾値以上である場合には第一の距離より小さい第二の距離を所定の距離として設定するようにしてもよい。

また、探索中心決定部３３における探索中心決定方法としては、他の方法を採用することができる。すなわち、探索中心決定部３３では、周辺特徴ベクトル記録部３２に記録されている全ての周辺特徴ベクトルと、処理対象ブロックＢｋの周辺特徴ベクトルＰＢｋとの間の類似度Ｓをそれぞれ計算して探索中心位置を決定するものとしたが、本発明はこれに限らない。

例えば、探索中心決定部３３におけるステップＳ２３（探索中心位置決定処理）を、以下のステップＳ２３−１〜Ｓ２３−３（図示せず）を順に施す処理に置き換えることもできる。まず、ステップＳ２３−１では、周辺特徴ベクトル記録部３２に記録されている全ての周辺特徴ベクトルについて、周辺特徴ベクトルＰＢｋとの間の類似度Ｓ０を計算する。ここで、周辺特徴ベクトルＰＢａと周辺特徴ベクトルＰＢｂの間の類似度Ｓ０は次式で計算する。

そして、類似度Ｓ０が所定の閾値ＴＨ０以下となる周辺特徴ベクトルを類似度の大きいベクトルとして記録して、類似度Ｓ０が閾値ＴＨ０未満となる周辺特徴ベクトルを類似度の小さいベクトルとして記録する。

ステップＳ２３−２では、ステップＳ２３−１において、類似度の大きいベクトルとして記録された全ての周辺特徴ベクトルについて、周辺特徴ベクトルＰＢｋとの間の類似度Ｓを計算する。類似度Ｓは、探索中心決定部３３におけるステップＳ２３で説明した計算式により求める。

ステップＳ２３−３では、ステップＳ２３−２において求めた類似度Ｓを最大とする周辺特徴ベクトルを選択して、その周辺特徴ベクトルに関連付けられているブロックの位置を周辺特徴ベクトル記録部３２から読み出す。そして、読み出したブロックの位置をテンプレートマッチングにおける探索中心Ｖｃとする。

以上示したステップＳ２３−１〜Ｓ２３−３の処理は、周辺特徴ベクトルの部分ベクトルを用いて比較することで探索中心位置の候補を絞り込み、その後に周辺特徴ベクトル全体を比較することで探索中心位置を決定する処理に相当する。この処理では、計算に要する処理量が少ない類似度Ｓ０を始めに計算して探索中心位置の候補を絞り込むことで、計算に要する処理量が多い類似度Ｓの計算回数を減らすことができる。従って、探索中心位置の決定に必要な処理量を減らすことができる。

このように、探索中心決定部３３は、処理対象ブロックに対応する特徴ベクトルと周辺特徴ベクトル記録部３２に記録されている復号済ブロックに対応する特徴ベクトルとを比較して第一の類似度を計算し、第一の類似度が予め設定している所定の閾値よりも高い復号済みブロックに対応する特徴ベクトルのみ、処理対象ブロックに対応する特徴ベクトルとの間の第二の類似度（第一の類似度よりも複雑な計算により導出される類似度）を計算し、第二の類似度が最も高い特徴ベクトルに対応する復号済ブロックの位置を探索範囲の中心に設定するようにしてもよい。

（第２の実施形態）
図９〜図１４に基づき本発明の第２の実施形態に係る画像符号化装置及び画像復号装置について説明する。第１の実施形態に係る画像符号化装置では、決定された探索中心位置に基づいてテンプレートマッチングを行うことで予測領域位置を決定したが、ここで説明する第２の実施形態に係る画像符号化装置では、決定された探索中心位置に基づいてブロックマッチングにより予測領域位置の探索を行い、予測領域位置の探索中心位置からの変位を符号化している。このように、まずブロックの周辺特徴量に基づいて探索中心を決定し当該探索中心から予測領域位置への変位を符号化することで、予測領域位置の符号化に要する符号量を低減することができる。

図９は、本発明の第２の実施形態に係る画像符号化装置の一構成例を示すブロック図で、図１０は、図９の画像符号化装置における動作例を概略的に説明するためのフロー図である。

図９で例示する画像符号化装置４は、図２における直交変換部１１、量子化部１２、逆量子化部１３、逆直交変換部１４、フレームメモリ１５とそれぞれ同じ機能を有する直交変換部４１、量子化部４２、逆量子化部４３、逆直交変換部４４、フレームメモリ４５を備える。

さらに、画像符号化装置４は、入力画像と復号済画像を入力として予測領域探索における探索中心を決定すると共に、入力される予測領域位置の示す復号済画像上の領域に基づいて予測画像を生成する画面内予測部５５と、入力画像と復号済画像と探索中心を入力として、予測領域位置を決定する予測領域探索部４７と、入力データに対し可変長符号化を行う可変長符号化部４８とを備える。予測領域探索部４７及び画面内予測部４６は、ブロックマッチングによって探索範囲の中から処理対象ブロックに類似する領域を予測領域として選択する符号化側の予測領域決定手段と、その予測領域の画像に基づき予測画像を生成する予測画像生成手段との一例である。

次に、図１０を参照して画像符号化装置４の概略動作例を説明する。まず、画像を構成するブロックを符号化処理順に従って選択し（ステップＳ３１）、選択されたブロックを符号化対象ブロックＢｋとして、ループ終了（ステップＳ３８）までの、ステップＳ３２〜Ｓ３７の処理を行う。

ステップＳ３２では、画面内予測部４６が、処理対象ブロックＢｋの周辺領域に近い特性を有する探索中心を決定する。この処理は本発明における特長的な処理であり、詳細は後述する。ステップＳ３３では、予測領域探索部４７が、ステップＳ３２にて得られた探索中心を中心に、入力画像上の処理対象ブロックＢｋと相関の高い領域をフレームメモリ４５に記録されている復号済画像内から選択して、選択した領域の位置を予測領域位置とする。

ステップＳ３４では、この予測領域位置を画面内予測部４６に入力し、当該予測領域位置が示す復号済画像上の領域に基づいて予測画像を生成する。このようにして、予測領域探索部４７及び画面内予測部４６は、ブロックマッチングによって探索範囲の中から処理対象ブロックに類似する領域を予測領域として選択する。ステップＳ３５では、符号化対象ブロックＢｋとステップＳ３４にて生成された予測画像の差分である予測残差画像を、直交変換部４１、量子化部４２の順に入力し、直交変換、量子化処理を施して、変換係数レベル画像を得る。

ステップＳ３６では、変換係数レベル画像を、逆量子化部４３、逆直交変換部４４の順に入力し、逆量子化処理、逆直交変換を施した後、ステップＳ３４にて生成された予測画像と足し合わすことで、当該符号化対象ブロックＢｋの局所復号画像を得て、それをフレームメモリ４５に記録する。

ステップＳ３７では、変換係数レベル画像及び予測領域位置を、可変長符号化部４８にも入力し、可変長符号化を施した後、符号化データとして出力する。ここで、予測領域位置は探索中心からの相対的な位置として符号化される。このように、探索範囲の中心から処理対象ブロックに類似する領域（予測領域）への変位も、画像符号化装置４で符号化され、出力される。そして、全ての符号化対象ブロック分に相当するＫ回のループが終了した時点で処理を終了する。以上に示した手順により、画像符号化装置４は入力画像を符号化し、その入力画像に対応する符号化データを出力することができる。

図１１は、本発明の第２の実施形態に係る画像復号装置の一構成例を示すブロック図で、図１２は、図１１の画像復号装置における動作例を概略的に説明するためのフロー図である。

図１１で例示する画像復号装置５は、図９における逆量子化部４３、逆直交変換部４４、フレームメモリ４５、画面内予測部４６とそれぞれ同じ機能を有する逆量子化部５２、逆直交変換部５３、フレームメモリ５４、画面内予測部５５を備える。

さらに、画像復号装置５は、予測領域の探索中心からの相対的な位置及び探索中心を入力として、予測領域位置を決定する予測領域位置計算部５６と、可変長符号化された入力データに対し、復号処理を行う可変長復号部５１とを備える。予測領域位置計算部５６は、符号化データから復号して得た、探索範囲の中心から処理対象ブロックに類似する領域への変位に基づいて、処理対象ブロックに類似する領域の位置を決定（選択）する復号側の予測領域決定手段の一例である。

次に、図１２を参照して画像復号装置５の概略動作例を説明する。まず、符号化処理順に従って復号対象ブロックＢｋを順次選択し（ステップＳ４１）、選択されたブロックを復号対象ブロックＢｋとして、ループ終了（ステップＳ４８）までの、ステップＳ４２〜Ｓ４７の処理を行う。

ステップＳ４２では、可変長復号部５１が、復号対象ブロックＢｋに対応する符号化データを復号して、変換係数レベル画像及び予測領域の探索中心からの相対的な位置を再生する。

ステップＳ４３では、画面内予測部５５が予測領域の探索中心を決定する。この処理は本発明における特長的な処理であり、詳細は後述する。ステップＳ４４では、予測領域位置計算部５６が、ステップＳ４３にて決定された探索中心に、ステップＳ４２で再生された予測領域の探索中心からの相対的な位置を加えることで、予測領域位置を決定する。このようにして、予測領域位置計算部５６は、ステップＳ４２により符号化データから復号して得た、探索範囲の中心から処理対象ブロックに類似する領域への変位（相対的な位置）に基づいて、処理対象ブロックに類似する領域（予測領域）の位置を決定する。

ステップＳ４５では、予測領域位置を画面内予測部５５に入力し、当該予測領域位置が示す復号済画像上の領域に基づいて予測画像を生成する。ステップＳ４６では、変換係数レベル画像を、逆量子化部５２、逆直交変換部５３の順に入力し、逆量子化処理、逆直交変換を施した後、ステップＳ４２にて生成された予測画像と足し合わすことで、当該復号対象ブロックＢｋの復号画像を生成する。

ステップＳ４７では、生成された復号画像を、局所復号画像としてフレームメモリ５４へ記録すると共に、復号画像として出力する。そして、全ての復号対象ブロック分に相当するＫ回のループが終了した時点で処理を終了する。以上に示した手順により、画像符号化装置４で生成した符号化データを入力として、その符号化データに対応する復号画像を画像復号装置５により出力することができる。

次に、図９に示した画像符号化装置４及び図１１に示した画像復号装置５における特長的な構成要素である画面内予測部４６，５５について、図１３及び図１４を参照して詳細に説明する。図１３は、図９及び図１１における画面内予測部の一構成例を示すブロック図で、図１４は、図１３の画面内予測部における探索中心決定動作の一例を説明するためのフロー図である。

図１３で例示する画面内予測部４６，５５は、図６における周辺特徴ベクトル計算部３１、周辺特徴ベクトル記録部３２、探索中心決定部３３、予測画像生成部３５とそれぞれ同じ機能を有する周辺特徴ベクトル計算部６１、周辺特徴ベクトル記録部６２、探索中心決定部６３、予測画像生成部６５を備える。

次に、図１４を参照して画面内予測部４６，５５における探索中心決定動作例を説明する。まず、処理対象ブロックＢｋが画面の左端又は上端に位置するか否かを判定し（ステップＳ５１）、位置する場合はステップＳ５６へ進む。それ以外の場合はステップＳ５２〜Ｓ５５を順次実行する。

ステップＳ５２では、周辺特徴ベクトル計算部６１において、処理対象ブロックＢｋに対する周辺特徴ベクトルＰＢｋを計算する。この際、ブロックＢａに対する周辺特徴ベクトルＰＢａは第１の実施形態で説明した方法で計算する。ステップＳ５３では、ステップＳ５２にて導出した周辺特徴ベクトルＰＢｋを周辺特徴ベクトル記録部６２に記録する。

ステップＳ５４では、探索中心決定部６３では、まず周辺特徴ベクトル記録部６２に記録されている周辺特徴ベクトルの中から、ステップＳ５２で求めた周辺特徴ベクトルＰＢｋに類似した性質を持つ周辺特徴ベクトルを選択する。この際の選択方法は第１の実施形態で説明した方法とする。

ステップＳ５５では、探索中心決定部６３が、周辺特徴ベクトル記録部６２から、選択された周辺特徴ベクトルに関連付けられているブロックの位置を読み出す。そして、読み出したブロック位置を探索中心として出力し、処理を終了する。

一方、ステップＳ５６では、処理対象ブロックＢｋの位置を探索中心として出力して処理を終了する。以上に示した手順により、画面内予測部４６，５５は処理対象ブロックＢｋの周辺特徴ベクトルと、周辺特徴ベクトル記録部６２に記録されている周辺特徴ベクトルに基づいて、探索中心を決定する。

以上説明した通り、第２の実施形態に係る画像符号化装置では、処理対象ブロックから空間的に離れた位置の領域に基づいて予測画像を生成することができる。また、この画像符号化装置では、予測領域位置を特定するための情報を、探索中心から予測領域位置への変位として符号化する。ここで、処理対象ブロック近傍の領域の特性と、探索中心周辺の領域の特性は近いため、探索中心から予測領域位置への変位は小さい確率が高い。そのためこの変位のばらつきが少なくなるため、この変位を少ないデータ量で符号化できる。従って、第２の実施形態に係る画像符号化装置では、予測領域位置を表す情報を少ないデータ量で符号化することができる。

（第３の実施形態）
図１５〜図２０に基づき本発明の第３の実施形態に係る画像符号化装置及び画像復号装置について説明する。第１，第２の実施形態に係る画像符号化／復号装置では唯一の画面内予測方式によって予測画像を生成したが、ここで説明する第３の実施形態に係る画像符号化装置では複数の画面内予測方式のうち最適な方式を選択して、選択された方式により予測画像を生成している。すなわち、この画像符号化装置では、合計少なくとも２つの予約画像生成手段と、各予測画像生成手段によって生成された予測画像と入力画像を比較することで１つの予測画像生成手段を選択する予測画像判定手段とを備え、選択された１つの予測画像生成手段により生成された予測画像を、処理対象ブロックにおける予測画像とする。さらに、この画像符号化装置では、復号可能なように、選択された１つの予測画像生成手段を示す予測モードを符号化する予測モード符号化手段を備える。

なお、以下の説明では各画面内予測方式を特定するための情報を予測モードと呼ぶ。また、特に断りのない限り、次の４つの画面内予測方式のうちブロック毎に１つの予測方式を選択して予測画像を生成することとする。

テンプレートマッチングを用いる予測方式（ＴＭ予測）
処理対象ブロックに隣接する画素の平均値を用いる予測方式（ＤＣ予測）
処理対象ブロックの左側に隣接する画素の画素値を用いる予測方式（Ｈ予測）
処理対象ブロックの上側に隣接する画素の画素値を用いる予測方式（Ｖ予測）

図１５は、本発明の第３の実施形態に係る画像符号化装置の一構成例を示すブロック図で、図１６は、図１５の画像符号化装置における動作例を概略的に説明するためのフロー図である。

図１５で例示する画像符号化装置７は、図２における直交変換部１１、量子化部１２、逆量子化部１３、逆直交変換部１４、フレームメモリ１５とそれぞれ同じ機能を有する直交変換部７１、量子化部７２、逆量子化部７３、逆直交変換部７４、フレームメモリ７５を備える。さらに、画像符号化装置７は、入力される複数の予測画像それぞれを入力画像と比較することで一つの予測画像を選択して、該予測画像に対応する予測モードを出力する画面内予測判定部７７と、入力される予測モードに基づいて、復号済画像を利用して予測画像を生成する画面内予測部７６と、入力データに対し、可変長符号化を行う可変長符号化部７８とを備える。ここで、画面内予測部７６は、合計少なくとも２つの予約画像生成手段を有する。

次に、図１６を参照して画像符号化装置７の概略動作例を説明する。まず、画像を構成するブロックを符号化処理順に従って選択し（ステップＳ６１）、選択されたブロックを符号化対象ブロックＢｋとして、ループ終了（ステップＳ６８）までの、ステップＳ６２〜Ｓ６７の処理を行う。

ステップＳ６２では、画面内予測判定部７７が、ＴＭ予測、ＤＣ予測、Ｈ予測、Ｖ予測の各予測モードを画面内予測部７６に入力して、予測画像Ｉｍ＿ＴＭ、Ｉｍ＿ＤＣ、Ｉｍ＿Ｈ、Ｉｍ＿Ｖを得る。なお、画面内予測部７６における、各予測モードに対応する予測画像生成処理の詳細は後述する。

ステップＳ６３では、画面内予測判定部７７が、ステップＳ６２で得られた各予測画像の入力画像に対する評価値Ｒを以下の式により計算し、評価値を最小とする予測画像に対応する予測モードを処理対象ブロックに適用する予測モードとして設定する。

ここで、ｌＩｍ（ｉ，ｊ）は評価対象である予測画像（４×４画素ブロック）内の各画素の画素値を表す。また、ＬＢｋ（ｉ，ｊ）は入力画像における処理対象ブロックＢｋ内の各画素の画素値を表す。

ステップＳ６４では、画面内予測部７６が、ステップＳ６３にて設定された予測モードに対応する予測画像を生成する。ステップＳ６５では、符号化対象ブロックＢｋとステップＳ６４にて生成された予測画像の差分である予測残差画像を、直交変換部７１、量子化部７２の順に入力し、直交変換、量子化処理を施して、変換係数レベル画像を得る。

ステップＳ６６では、その変換係数レベル画像を、逆量子化部７３、逆直交変換部７４の順に入力し、逆量子化処理、逆直交変換を施した後、ステップＳ６４にて生成された予測画像と足し合わすことで、当該符号化対象ブロックＢｋの局所復号画像を得て、それをフレームメモリ７５に記録する。

ステップＳ６７では、変換係数レベル画像及びステップＳ６３にて設定された予測モードを、可変長符号化部７８にも入力し、可変長符号化を施した後、符号化データとして出力する。そして、全ての符号化対象ブロック分に相当するＫ回のループが終了した時点で処理を終了する。以上に示した手順により、画像符号化装置７は入力画像を符号化し、その入力画像に対応する符号化データを出力することができる。

図１７は、本発明の第３の実施形態に係る画像復号装置の一構成例を示すブロック図で、図１８は、図１７の画像復号装置における動作例を概略的に説明するためのフロー図である。

図１７で例示する画像復号装置８は、図１５における逆量子化部７３、逆直交変換部７４、フレームメモリ７５、画面内予測部７６とそれぞれ同じ機能を有する逆量子化部８２、逆直交変換部８３、フレームメモリ８４、画面内予測部８５を備え、さらに、図４における可変長復号部２１と同じ機能を有する可変長復号部８１を備える。ここで、画面内予測部８５は、合計少なくとも２つの予約画像生成手段を有する。

次に、図１８を参照して画像復号装置８の概略動作例を説明する。まず、符号化処理順に従って復号対象ブロックＢｋを順次選択し（ステップＳ７１）、選択されたブロックを復号対象ブロックＢｋとして、ループ終了（ステップＳ７６）までの、ステップＳ７２〜Ｓ７５の処理を行う。

ステップＳ７２では、可変長復号部８１が、復号対象ブロックＢｋに対応する符号化データを復号して、変換係数レベル画像及び予測モードを再生する。このように、画像復号装置８は、予測モードを復号する予測モード復号手段を備えるものとする。ステップＳ７３では、画面内予測部８５が、フレームメモリ８４に記録されている復号済画像を利用して、ステップＳ７２で再生された予測モードに対応する予測画像を生成する。このように、画像復号装置８は、符号化データより復号される予測モードに応じて使用する予測画像生成手段を選択し、選択された予測モードで予測画像を生成する。

ステップＳ７４では、ステップＳ７２で再生された変換係数レベル画像を、逆量子化部８２、逆直交変換部８３の順に入力し、逆量子化処理、逆直交変換を施した後、ステップＳ７３にて生成された予測画像と足し合わすことで、当該復号対象ブロックＢｋの復号画像を生成する。

ステップＳ７５では、生成された復号画像を、局所復号画像としてフレームメモリ８４へ記録すると共に、復号画像として出力する。そして、全ての復号対象ブロック分に相当するＫ回のループが終了した時点で処理を終了する。以上に示した手順により、画像符号化装置７で生成した符号化データを入力として、その符号化データに対応する復号画像を画像復号装置８により出力することができる。

次に、図１５に示した画像符号化装置７及び図１７に示した画像復号装置８における特長的な構成要素である画面内予測部７６，８５について、図１９及び図２０を参照して詳細に説明する。図１９は、図１５及び図１７における画面内予測部の一構成例を示すブロック図で、図２０は、図１９の画面内予測部における予測画像生成動作の一例を説明するためのフロー図である。

図１９で例示する画面内予測部７６，８５は、図６における周辺特徴ベクトル計算部３１、周辺特徴ベクトル記録部３２、探索中心決定部３３、予測領域決定部３４、予測画像生成部３５とそれぞれ同じ機能を有する周辺特徴ベクトル計算部９１、周辺特徴ベクトル記録部９２、探索中心決定部９３、予測領域決定部９４、予測画像生成部９５を備える。

さらに、画面内予測部７６，８５は、局所復号画像を利用してＤＣ予測による予測画像を生成するＤＣ予測画像生成部９６と、局所復号画像を利用してＨ予測による予測画像を生成するＨ予測画像生成部９７と、局所復号画像を利用してＶ予測による予測画像を生成するＶ予測画像生成部９８と、入力される予測モードに応じて、対応する予測画像を選択するためのスイッチ９９とを備える。

次に、図２０を参照して画面内予測部７６，８５における予測画像生成動作例を説明する。まず、周辺特徴ベクトル計算部９１が、処理対象ブロックＢｋに対する周辺特徴ベクトルＰＢｋを計算する（ステップＳ８１）。周辺特徴ベクトルＰＢｋの具体的な計算方法は、第１の実施形態において説明した方法を用いるため、詳細は省略する。次に、周辺特徴ベクトル計算部９１がその周辺特徴ベクトルＰＢｋを周辺特徴ベクトル記録部９２に渡し、周辺特徴ベクトル記録部９２がその周辺特徴ベクトルＰＢｋを当該処理対象ブロックＢｋの位置と関連付けて記録する（ステップＳ８２）。

続いて、スイッチ９９が、予測モード値の評価によって選ばれた結果として入力された予測モードに応じて、各予測画像生成部９５〜９８のいずれかからの入力を出力するように、内部スイッチを切り替える（ステップＳ８３）。ステップＳ８３では、予測モードがＴＭ予測である場合は、予測画像生成部９５の出力が予測画像となるよう出力を切り替えてステップＳ８４へ移行する。また、予測モードがＤＣ予測である場合は、ＤＣ予測画像生成部９６の出力が予測画像となるよう出力を切り替えてステップＳ８５へ移行する。また、予測モードがＨ予測である場合は、Ｈ予測画像生成部９７の出力が予測画像となるよう出力を切り替えてステップＳ８６へ移行する。また、予測モードがＶ予測である場合は、Ｖ予測画像生成部９８の出力が予測画像となるよう出力を切り替えてステップＳ８７へ移行する。

ステップＳ８４では、探索中心決定部９３がテンプレートマッチングにおける探索中心Ｖｃを決定して、予測領域決定部９４に出力する。そして、予測領域決定部９４がその探索中心Ｖｃから予測領域位置ＶＲを決定して、予測画像生成部９５に出力する。さらに、予測画像生成部９５がその予測領域位置ＶＲから予測画像を生成し、生成した予測画像をスイッチ９９経由で出力して、処理を終了する。なお、ステップＳ８４における具体的な処理については、第１の実施形態における予測画像生成処理のステップＳ２２〜Ｓ２５（図７）と同様であるため、詳細は省略する。

ステップＳ８５では、ＤＣ予測画像生成部９６が、下式により予測画像Ｉｍ＿ＤＣを生成し、生成した予測画像Ｉｍ＿ＤＣをスイッチ９９経由で出力して、処理を終了する。下式において、ｌＩｍ＿ＤＣ（ｉ，ｊ）は４×４画素からなる予測画像Ｉｍ＿ＤＣ内の各画素の画素値を表す。

ステップＳ８６では、Ｈ予測画像生成部９７が、下式により予測画像Ｉｍ＿Ｈを生成し、生成した予測画像Ｉｍ＿Ｈをスイッチ９９経由で出力して、処理を終了する。下式において、ｉ＝０，１，２，３、ｊ＝０，１，２，３とし、ｌＩｍ＿Ｈ（ｉ，ｊ）は４×４画素からなる予測画像Ｉｍ＿Ｈ内の各画素の画素値を表す。
ｌＩｍ＿Ｈ（ｉ，ｊ）＝ｌＢｋ（−１，ｊ）

ステップＳ８７では、Ｖ予測画像生成部９８が、下式により予測画像Ｉｍ＿Ｖを生成し、生成した予測画像Ｉｍ＿Ｖをスイッチ９９経由で出力して、処理を終了する。下式において、ｉ＝０，１，２，３、ｊ＝０，１，２，３とし、ｌＩｍ＿Ｖ（ｉ，ｊ）は４×４画素からなる予測画像Ｉｍ＿Ｖ内の各画素の画素値を表す。
ｌＩｍ＿Ｖ（ｉ，ｊ）＝ｌＢｋ（ｉ，−１）

以上の処理により、画面内予測部７６，８５は入力された予測モードに応じた予測画像を生成して出力することができる。このように、第３の実施形態に係る画像符号化装置では、テンプレートマッチングを用いる予測を含む複数の予測方式の中から１つの予測方式を選択して、選択した予測方式に基づく予測画像を用いて入力画像を符号化することができる。テンプレートマッチングを用いた予測方式は、対象ブロックと空間的に離れた場所に位置する領域と対象ブロック上の画像の相関が高い場合に効果の高い方式である。一方、処理対象ブロックに隣接する領域と処理対象ブロック上の画像の相関が高い場合には、隣接ブロックの画像に基づいて予測する方式の方が高い効果が望める。従って、ブロック毎に両方式のうち最適な方式を選択することで、高い効果が望める。すなわち、入力画像を高い圧縮率で符号化することが可能である。

第３の実施形態における予測画像生成処理で採用可能な、他の予測モードについて例を挙げる。第３の実施形態における画像符号化装置７は、ＴＭ予測、ＤＣ予測、Ｈ予測、Ｖ予測の４つの予測方式を候補として、その予測方式候補の中からブロック毎に１つの方式を選択して予測画像を生成するものとしたが、本発明はこれに限らない。例えば、第２の実施形態において説明した図９の画像符号化装置４や従来技術で説明した図２３の画像符号化装置１００における予測方式を、予測方式の候補として加えても構わない。もしくは、Ｈ．２６４／ＡＶＣにおいて規定されている画面内予測方式を予測方式の候補として加えても構わない。

また、第３の実施形態における予測画像生成処理では、画像符号化装置７において可変長符号化部７８がブロック毎に予測モードを符号化するものと説明したが、例えば、以下の手順により予測モード情報を符号化するようにしてもよい。

まず、処理対象ブロックの予測モードを推定する推定予測モードを、隣接ブロックの予測モードに基づいて導出する。推定予測モードの決定方法は、次の（ａ）〜（ｄ）の通りとする。

（ａ）上又は左に位置する隣接ブロックの予測モードがＴＭ予測の場合、ＴＭ予測を推定予測モードとする。
（ｂ）他方、上又は左に位置する隣接ブロックの予測モードがＨ予測の場合、Ｈ予測を推定予測モードとする。
（ｃ）他方、上又は左に位置する隣接ブロックの予測モードがＶ予測の場合、Ｖ予測を推定予測モードとする。
（ｄ）他方、ＤＣ予測を推定予測モードとする。

次に、予測モードと推定予測モードが一致する場合には、ビット「０」を符号化して処理を終了する。一方、一致しない場合には、ビット「１」を符号化して、予測モードがＴＭ予測ならビット列「００」、ＤＣ予測ならビット列「１１」、Ｈ予測ならビット列「１０」、Ｖ予測ならビット列「０１」を符号化する。

このように、予測モード符号化手段は、処理対象ブロックの予測モードを推定する推定予測モードを導出し、処理対象ブロックの予測モードと推定予測モードが一致するか否かの情報を符号化し、予測モードがその推定予測モードと一致しない場合は選択された１つの予測モードの情報を符号化するよう構成することが好ましい。

上記の手順により、予測モード情報を符号化できる。隣接するブロック間における予測モードの相関は高いため、推定予測モードが予測モードと一致する可能性は高い。そのため、上記の方式によると、短い符号が符号化される可能性が高くなる。従って、上記の方法によると、予測モードを直接符号化する場合に較べて、予測モード情報の符号化に要する符号量を削減することができる。

また、このようにして符号化して予測モードは、同様に推定予測モードを導出することで、符号化データから画像復号装置８で復号することができる。より具体的には、予測モード復号手段が、処理対象ブロックの予測モードを推定する推定予測モードを導出し、処理対象ブロックの予測モードと推定予測モードが一致するか否かの情報を符号化データより読み出す。予測モード復号手段は、一致する場合には処理対象ブロックの予測モードとして推定予測モードを復号し、一致しない場合には予測モードを示す情報を符号化データから読み出して、処理対象ブロックの予測モードとして、読み出した予測モードを復号するとよい。

以上、図１〜図２０を参照しながら、本発明に係る画像符号化装置及び画像復号装置について各実施形態を説明してきたが、その処理の流れを説明したように、本発明はこのような処理手順でなる画像符号化方法や画像復号方法としての形態も採用してもよい。

また、上述した本発明に係る画像符号化装置や画像復号装置は、処理速度の観点からはハードウェアで構成とすることが望ましいが、その機能の一部をファームウェアとして既存の画像符号化器や画像復号器に実行可能に組み込んでもよいし、例えばＬＳＩ（Large Scale Integrated Circuit）チップに実行可能に組み込んでもよい。さらには、本発明に係る画像符号化装置や画像復号装置の機能の全てをソフトウェアとして、汎用コンピュータに実行可能に搭載してもよい。汎用コンピュータは、一般的に、ＣＰＵ（Central Processing Unit）等の演算処理装置、プログラム格納領域としてのＲＯＭ（Read Only Memory）等、作業領域としてのＲＡＭ（Random Access Memory）等、データ等の記憶領域としてのＨＤＤ（ハードディスクドライブ）等のハードウェアを備える。上述のソフトウェアをＲＯＭ（又は書き換え可能ＲＯＭ）やＨＤＤ等に格納しておき、ＣＰＵが格納されたソフトウェアをＲＡＭ上に読み出して実行するようにしておけばよい。いずれの場合でも、本発明に係る画像符号化や画像復号の機能を果たすことができる。

また、このようなプログラム（ファームウェアやソフトウェア）は、それを記録したコンピュータ読み取り可能な記録媒体としての配布することや、ネットワーク経由或いは放送波などで配信することができ、対応する機器に実行可能に組み込むことができる。

１，４，７…画像符号化装置、２，５，８…画像復号装置、１１，４１，７１…直交変換部、１２，４２，７２…量子化部、１３，２２，４３，５２，７３，８２…逆量子化部、１４，２３，４４，５３，７４，８３…逆直交変換部、１５，２４，４５，５４，７５，８４…フレームメモリ、１６，２５，４６，５５，７６，８５…画面内予測部、１７，４８，７８…可変長符号化部、２１，５１，８１…可変長復号部、３１，６１，９１…周辺特徴ベクトル計算部、３２，６２，９２…周辺特徴ベクトル記録部、３３，６３，９３…探索中心決定部、３４，９４…予測領域決定部、３５，６５，９５…予測画像生成部、４７…予測領域探索部、５６…予測領域位置計算部、７７…画面内予測判定部、９６…ＤＣ予測画像生成部、９７…Ｈ予測画像生成部、９８…Ｖ予測画像生成部、９９…スイッチ。

Claims (6)

1. 符号化データから復号された差分画像を予測画像と足し合わせることで、複数のブロックに分割された画像における各ブロックの画像を再生する画像復号装置において、
   処理対象ブロックの近傍領域内の画素値に基づいて、該処理対象ブロックの特徴ベクトルを導出する特徴ベクトル導出手段と、
   前記処理対象ブロックに対応する特徴ベクトルと復号済ブロックに対応する特徴ベクトルとを比較して類似度を計算し、前記類似度が最も高い特徴ベクトルに対応する復号済ブロックの位置を中心として、該中心から所定の距離以内の領域を、探索範囲に決定する探索範囲決定手段と、
   前記探索範囲の中から前記処理対象ブロックに類似する領域を、予測領域として選択する予測領域決定手段と、
   前記予測領域の画像に基づいて前記処理対象ブロックに対する予測画像を生成する予測画像生成手段とを備えることを特徴とする画像復号装置。
2. 当該画像復号装置は、前記予測画像生成手段とは別に、前記処理対象ブロックに対する予測画像を生成する１又は複数の異なる予測画像生成手段と、予測モードを復号する予測モード復号手段とをさらに備え、
   前記符号化データより復号される予測モードに応じて使用する予測画像生成手段を選択し、該選択された予測画像生成手段により予測画像を生成することを特徴とする請求項１に記載の画像復号装置。
3. 前記予測モード復号手段は、
   前記処理対象ブロックの予測モードを推定する推定予測モードを導出し、
   前記処理対象ブロックの予測モードと前記推定予測モードが一致するか否かの情報を符号化データより読み出し、
   一致する場合は、前記処理対象ブロックの予測モードとして前記推定予測モードを復号し、
   一致しない場合は、予測モードを示す情報を符号化データから読み出して、前記処理対象ブロックの予測モードとして、前記読み出した予測モードを復号することを特徴とする請求項２に記載の画像復号装置。
4. 複数のブロックに分割された画像における各ブロック毎に、入力画像と予測画像の差分画像を符号化する画像符号化装置において、
   処理対象ブロックの近傍領域内の画素値に基づいて、該処理対象ブロックの特徴ベクトルを導出する特徴ベクトル導出手段と、
   前記処理対象ブロックに対応する特徴ベクトルと復号済ブロックに対応する特徴ベクトルとを比較して類似度を計算し、前記類似度が最も高い特徴ベクトルに対応する復号済ブロックの位置を中心として、該中心から所定の距離以内の領域を、探索範囲に決定する探索範囲決定手段と、
   前記探索範囲の中から前記処理対象ブロックに類似する領域を、予測領域として選択する予測領域決定手段と、
   前記予測領域の画像に基づいて前記処理対象ブロックに対する予測画像を生成する予測画像生成手段とを備えることを特徴とする画像符号化装置。
5. 当該画像符号化装置は、前記予測画像生成手段とは別に、前記処理対象ブロックに対する予測画像を生成する１又は複数の異なる予測画像生成手段と、当該画像符号化装置の備える各予測画像生成手段によって生成された予測画像と入力画像を比較することで１つの予測画像生成手段を選択する予測画像判定手段と、該選択された１つの予測画像生成手段を示す予測モードを符号化する予測モード符号化手段とをさらに備え、
   前記選択された１つの予測画像生成手段により生成された予測画像を、前記処理対象ブロックにおける予測画像とすることを特徴とする請求項４に記載の画像符号化装置。
6. 前記予測モード符号化手段は、
   前記処理対象ブロックの予測モードを推定する推定予測モードを導出し、
   前記処理対象ブロックの予測モードと前記推定予測モードが一致するか否かの情報を符号化し、
   前記予測モードが前記推定予測モードと一致しない場合は、前記選択された１つの予測画像生成手段を示す予測モードの情報を符号化することを特徴とする請求項５に記載の画像符号化装置。

Images