JP5358485B2 - 画像符号化装置 - Google Patents

Description

本発明は、画像符号化装置に関し、特に、単位ブロックごとの符号化を高符号化効率で行うことができる画像符号化装置に関する。

従来、画像符号化における符号化効率を向上させるために、空間冗長性を削減する方法が知られている。H.264における画面内予測符号化では、符号化済みの近接画素を利用して符号化対象ブロックの予測を行う。H.264については、非特許文献１に開示されている。

特許文献１では、符号化済みの隣接画素をテンプレートとして符号化済みの領域から類似する箇所を探索し、符号化対象ブロックと同じ位置関係にある隣接領域を符号化対象ブロックの予測値として利用する動画像符号化装置が提案されている。

特許文献２では、符号化対象ブロックを複数に分割し、分割したブロックの一部を符号化および復号し、残りの画素に対する予測に復号したブロックの一部の画素を利用する映像のイントラ予測符号化装置が提案されている。

特許文献３では、隣接する画素間の高い相関を利用し、ブロック間の隣接画素だけでなく符号化対象ブロック内の隣接画素も予測値として用いる動画像符号化装置が提案されている。

特開２００７−０４３６５１号公報 特開２００７−０７４７２５号公報 特開２００９−０４９９６９号公報

角野他，「Ｈ．２６４／ＡＶＣ教科書インプレス標準教科書シリーズ」，インプレスネットビジネスカンパニー，２００４年

H.264のイントラ(Intra)予測では、符号化済みの近接画素を基準として符号化対象ブロックの予測値を決定するので、符号化対象ブロックの画素が予測の基準となる画素から離れるほど大きな予測誤差が生じるという課題がある。

特許文献１の動画像符号化装置では、符号化対象ブロックの予測に用いるブロックを表す場所情報を格納する必要はないが、テンプレートとなる近接画素同士が類似していたとしても、ブロック同士が類似するとは限らない。そのため、予測精度が十分とならない恐れがあるという課題がある。

特許文献２の映像のイントラ予測符号化装置では、分割した符号化対象ブロックを予測する場合、最初に符号化するブロックの一部ではH.264と同じ課題を抱える。

特許文献３の動画像符号化装置では、隣接する画素が符号化されていない状態がある場合、原画像における隣接画素との差分値を符号化するため、量子化誤差が伝播する恐れがあるという課題がある。

本発明の目的は、上記の課題を解決し、符号化効率の高い符号化を行うことができる画像符号化装置を提供することにある。

上記課題を解決するため、本発明は、予測を利用して符号化の単位ブロックごとに入力画像の符号化を行う画像符号化装置において、符号化済み信号を用いて再構成された信号の中から、符号化対象ブロックの信号と間での類似性を評価して最も類似性の高い単位ブロックの信号を基準信号として選択し、該基準信号を用いて符号対象ブロックの信号についての単位ブロック全体の信号を線形予測するための予測情報を算出する予測手段と、符号化済み信号を用いて再構成された信号と前記予測手段により算出された予測情報を用いて予測信号を生成する補償手段と、前記符号化対象ブロックについての信号と前記補償手段により生成された予測信号の差分である予測残差信号を生成する差分算出手段と、前差分算出手段により生成された予測残差信号を直交変換する変換手段と、前記変換手段により直交変換された予測残差信号を量子化する量子化手段と、前記量子化手段により量子化された予測残差信号および前記予測手段により選択された基準信号の場所情報を含む予測情報を符号化する符号化手段を備えたことを基本的特徴としている。

本発明では、符号化対象ブロックの画像信号の符号化に際し、符号化済み信号を用いて再構成された信号の中から単位ブロック単位に基準信号を選択して線形予測するので、予測残差における空間冗長性を削減し、符号化対象ブロックの画像信号の情報量を削減して符号化効率を向上させることができる。

本発明に係る画像符号化装置の第１実施形態を示す機能ブロック図である。 図１の画像符号化装置により符号化された画像を復号する画像復号装置を示す機能ブロック図である。 本発明に係る画像符号化装置の第２実施形態を示す機能ブロック図である。 基準信号となる再構成画面内予測残差信号の単位ブロックを選択ための手法を概念的に示す図である。 基準信号となる再構成画面内予測残差信号の単位ブロックを選択ための他の手法を概念的に示す図である。 図３の画像符号化装置により符号化された画像を復号する画像復号装置を示す機能ブロック図である。

以下、図面を参照し、本発明を説明する。まず、本発明に係る画像符号化装置の第１実施形態について説明する。なお。本発明が符号化の対象とする画像は、動画像でも静止画像でもよい。

図１は、本発明に係る画像符号化装置の第１実施形態を示す機能ブロック図であり、予測手段11、補償手段12、直交変換手段13、量子化手段14 符号化手段15、逆量子化手段16、逆直交変換手段17、蓄積手段18、減算器19および加算器20を備える。

減算器19は、符号化の単位ブロックごとに、入力画像信号と補償手段12からの予測信号の差分を算出する。すなわち、減算器19は、符号化対象ブロックについての予測残差信号を生成し、空間冗長性を削減する。減算器19により生成された予測残差信号は、直交変換手段13に送られる。

加算器20は、空間冗長性を補償するためのものであり、逆変換手段17からの予測残差信号と補償手段12からの予測信号を加算して再構成画素信号を生成する。再構成画素信号は、予測で生成された予測信号と入力画像信号との残分である予測残差信号が再構成された信号であり、符号化済み信号から再構成されたものであるので、量子化誤差を含んでいる。加算器20により生成された再構成画素信号は、蓄積手段18に送られる。その後、予測手段11および補償手段12にそれぞれ送られる。

蓄積手段18は、加算器20が出力する再構成画素信号を蓄積する。蓄積手段18は、予測手段11および補償手段12での予測および補償に利用される単位ブロック分の容量を有すればよい。蓄積手段18に蓄積された再構成画素信号は、予測手段11での予測および補償手段12での予測信号の生成に利用される。

直交変換手段13は、減算器19からの予測残差信号を直交変換して周波数領域に変換し、変換係数を生成する。直交変換手段13により生成された変換係数は、量子化手段14に送られる。直交変換手段13での直交変換には、DCTやDCTの近似変換、あるいはDWTなどを用いることができる。入力画像信号の各ピクチャ(フレーム)は、予め規定された数の画素(例えば、32x32画素、16x16画素、8x8画素、4x4画素あるいはそれらの組み合わせ)から構成される単位ブロックに分割され、単位ブロックごとに直交変換される。

量子化手段14は、直交変換手段13からの変換係数を量子化する。量子化手段14により生成された量子化値は、符号化手段15および逆量子化手段16にそれぞれ送られる。量子化手段14での量子化に用いられる量子化パラメータは、定数値の組み合わせとして設定してもよく、変換係数の情報量に応じて制御してもよい。変換係数の情報量に応じて量子化パラメータを制御すれば、出力側のビットレートを一定に保つようにすることができる。

符号化手段15は、量子化手段14からの量子化値および予測手段11からの予測情報を符号化し、符号化済み画像信号(符号情報)を出力する。符号化手段15での符号化には、符号間の冗長性を取り除く可変長符号化や算術符号化などを用いることができる。

逆量子化手段16は、量子化手段14での量子化と逆の処理を行うものであり、量子化手段14からの量子化値を逆量子化して変換係数を生成する。この変換係数は、量子化誤差を含んでいる。逆量子化手段16により生成された変換係数は、逆変換手段17に送られる。

逆変換手段17は、直交変換手段13での直交変換と逆の処理を行うものであり、逆量子化手段16からの変換係数を逆直交変換し、予測残差信号を生成する。この予測残差信号も、量子化誤差を含んでいる。逆変換手段17により生成された予測残差信号は、加算器20に送られる。

予測手段11は、単位ブロック内の画素信号の空間冗長性を削減する予測情報を決定する。そのために、予測手段11は、まず、蓄積手段18に蓄積されている再構成画素信号の中から符号化対象ブロックの画素信号を予測する再構成画素信号の単位ブロックを選択し、該単位ブロックの再構成画素信号を基準信号とする。なお、符号化対象ブロックの画素信号を予測する再構成画素信号は、同一フレームに存在するものに限らず、時間的に異なるフレームに存在するものでもよい。

以下、符号化対象ブロックの画素信号を予測する再構成画素信号の単位ブロックを選択する手法について説明する。

予測手段11における、符号化対象ブロックの画素信号を予測する再構成画素信号の単位ブロックの選択では、入力画像信号における符号化対象ブロックの画素信号と蓄積手段18に蓄積されている各単位ブロックの再構成画素信号の類似性を評価し、符号化対象ブロックの画素信号に最も類似性が高い再構成画素信号の単位ブロックを選択する。なお、画像の入力当初などでも単位ブロックの選択を可能するため、一様値(例えば、最高・最低画素値の中間値)を持つ単位ブロックを想定しておく。

符号化対象ブロックの画素信号と蓄積手段18に蓄積されている各単位ブロックの再構成画素信号の類似性の評価には、相関やSAD(Sum of Absolute Difference)、SATD(Sum of Absolute Transformed Difference)、SSD(Sum of Squared Difference)、MAD(Mean of Absolute Difference)などを利用することができる。ここで、SADは、画素信号の差分絶対値の和を意味し、SATDは、アダマール変換(Hadamard transform)を適用して生成された係数の差分絶対値の和を意味する。また、SSDは、画素信号の差分平方和を意味し、MADは、画素信号の差分絶対値平均を意味する。符号化対象ブロックの画素信号を予測する再構成画素信号の単位ブロックの選択に際しての類似性の評価対象は、符号化の単位ブロックごとの画素信号である。

また、符号化対象ブロックの画素信号に類似性が高い再構成画素信号の単位ブロックを、符号化コストが最小となるように選択するようにしてもよい。

符号化コストCostは、発生符号量Rと符号化歪D、およびラグランジュ定数λを用いて式(1)により算出できる。

予測手段11は、符号化対象ブロックの画素信号に最も類似性が高い再構成画素信号の単位ブロックの場所情報を予測情報として出力する。また、予測手段11は、選択された単位ブロックの再構成画素信号を基準信号として、符号化対象ブロックの画素信号を線形予測(近似)する予測係数を算出する。

以下に、符号化対象ブロックの画素信号を線形予測する予測係数を算出する手法について説明する。

予測手段11が、例えば、一次式で符号化対象ブロックの画素信号を予測する場合、符号化対象ブロックの画素信号Ｓ_ｉは、選択された再構成画素信号Ｒ_ｉと予測係数ａ，ｂ(乗数ａと補正値ｂ)を使って式(2)で与えられる。ここで、ｎは、単位ブロックの画素数を表す。

予測係数ａ，ｂは、予測による誤差の２乗を最小にするように決定すればよい。具体的には、以下の手法で予測係数ａ，ｂを算出することができる。予測による誤差の２乗(２乗誤差)Ｅは、式(3)で表される。

このとき、予測係数ａ，ｂによる２乗誤差Ｅの偏微分は、式(4)で表される。

２乗誤差Ｅを最小にするには、式(3)が０になることが必要である。したがって、式(5)を解けば予測係数ａ，ｂを算出することができる。

式(5)を解くと、２乗誤差Ｅを最小にする予測係数ａ，ｂは、式(6)で求められる。

なお、予測係数(補正値)ｂは、直交変換手段13で直流成分として保持され得るので、改めて明示的に保持する必要はない。予測手段11では、予測係数(乗数)ａのみを求めればよい。

予測手段11において探索された再構成画素信号の単位ブロックの場所情報と算出された予測係数は、予測情報として補償手段12および符号化手段15にそれぞれ送られる。

補償手段12は、空間冗長性を予測して予測信号を生成する。具体的には、蓄積手段18に蓄積されている再構成画素信号の中から予測情報に含まれる場所情報に該当する位置の再構成画素信号を読み出し、これに予め設定された予測関数および算出された予測係数を適用して予測信号を生成する。

例えば、予測手段11が予測関数として一次関数を利用し、予測情報が予測係数ａ，ｂから構成されている場合、予測信号Ｓ_ｉは、式(1)で生成される。予測係数は、乗数ａ(ｂ＝０)だけ、あるいは補正値ｂ(ａ＝１)だけでもよい。したがって、予測手段11では、乗数ａあるいは補正値ｂを算出するだけでよい。この場合の残差予測信号Ｓ_ｉは、式(7)あるいは式(8)で生成される。

補償手段12で生成された予測信号は、減算器19および加算器20にそれぞれ送られる。

以上のように、図１の画像符号化装置では、減算器19からの予測残差信号が直交変換、量子化および符号化される。この予測残差信号は、ブロック単位での線形予測により生成された予測信号を用いて生成されるので、予測残差における空間冗長性が削減されている。これにより、画面に明暗部分などがある場合などでも予測精度を高め、符号化対象ブロックの画像信号の情報量を削減して符号化効率を向上させることができる。

図２は、図１の画像符号化装置により符号化された画像を復号する画像復号装置を示す機能ブロック図である。この画像復号装置は、復号手段21、逆量子化手段22、逆直交変換手段23、補償手段24および蓄積手段25および加算器26備える。

復号手段21、逆量子化手段22、逆直交変換手段23はそれぞれ、図１の符号化手段15、量子化手段14、直交変換手段13と逆の処理を行う。蓄積手段25は、加算器26が出力する画素信号を蓄積する。蓄積手段25は、補償手段24での補償に利用される単位ブロック分の容量を有すればよい。蓄積手段25に蓄積された再構成画素信号は、補償手段24での予測信号の生成に利用される。

補償手段24は、図１の補償手段12と同様に動作し、復号手段21からの予測情報に含まれる場所情報に該当する場所の単位ブロックの画素信号を蓄積手段25から読み出し、該画素信号に予測係数を適用して予測信号を生成する。

加算器26は、逆直交変換手段23からの予測残差信号と補償手段24からの予測信号を加算して画素信号を生成する。

次に、本発明に係る画像符号化装置の第２実施形態について説明する。第１実施形態は、画素信号を符号化対象とするものであるが、第２実施形態は、画面内予測により生成される画面内予測残差信号を符号化対象とするものである。

図３は、本発明に係る画像符号化装置の第２実施形態を示す機能ブロック図であり、図１と同一あるいは同等部分には同じ符号を付してある。

本発明の第２実施形態の画像符号化装置は、画面内予測手段31、画面内補償手段32、予測手段11、補償手段12、直交変換手段13、量子化手段14 符号化手段15、逆量子化手段16、逆直交変換手段17、蓄積手段18,33、減算器19,34および加算器20,35を備える。

画面内予測手段31、画面内補償手段32、蓄積手段33、減算器34および加算器35は、画面内予測により画面内予測残差信号を生成する。すなわち、減算器34は、符号化の単位ブロックごとに、入力画像信号と画面内補償手段32からの画面内予測信号の差分を求めることにより画面内予測残差信号を生成する。画面内予測手段31は、蓄積手段33に蓄積されている再構成画素信号を利用して入力画像信号を予測する画面内予測情報を決定する。画面内補償手段32は、画面内予測情報と蓄積手段33に蓄積されている再構成画素信号を利用して画面内予測信号を生成する。加算器35は、画面内予測信号と再構成画面内予測残差信号を加算して再構成画素信号を生成し、蓄積手段33は、画面内予測および補償に利用される単位ブロック分の再構成画素信号を蓄積する。

再構成画面内予測残差信号および再構成画素信号は、符号化済み信号から再構成されたものであるので、量子化誤差を含んでいる。

従来の画面内予測符号化では、画面内予測残差信号を直交変換、量子化および符号化するが、図３に示す画像符号化装置では、画面内予測残差信号に対して本発明を適用して残差予測残差信号を生成し、この残差予測残差信号を直交変換、量子化および符号化することで、空間冗長性をさらに削減するようにしている。

以下、図３の画像符号化装置の各部の機能について詳細に説明する。

減算器34は、符号化の単位ブロックごとに、入力画像信号と画面内補償手段32からの画面内予測信号の差分を算出する。すなわち、減算器34は、符号化対象ブロックについての画面内予測残差信号を生成することにより、空間冗長性を削減する。減算器34により生成された画面内予測残差信号は、予測手段11および減算器19にそれぞれ送られる。

減算器19は、減算器34からの画面内予測残差信号と補償手段12からの残差予測信号の差分を算出する。すなわち、減算器19は、符号化対象ブロックについての残差予測残差信号を生成し、空間冗長性をさらに削減する。減算器19により生成された残差予測残差信号は、直交変換手段13に送られる。

加算器20は、空間冗長性を補償するためのものであり、逆変換手段17からの残差予測残差信号と補償手段12からの残差予測信号を加算して再構成画面内予測残差信号を生成する。再構成画面内予測残差信号は、画面内予測で生成された画面内予測信号と入力画像信号との差分である画面内予測残差信号が再構成された信号である。これは、符号化済み信号から再構成されたものであるので、量子化誤差を含んでいる。加算器20により生成された再構成画面内予測残差信号は、蓄積手段18および加算器35にそれぞれ送られる。

加算器35は、空間冗長性をさらに補償するためのものであり、加算器20からの再構成画面内予測残差信号と画面内補償手段32からの画面内予測信号を加算して再構成画素信号を生成する。再構成画素信号も符号化済み信号から再構成された信号であるので、量子化誤差を含んでいる。加算器35により生成された再構成画素信号は、蓄積手段33に送られる。

直交変換手段13は、減算器19からの残差予測残差信号を直交変換によって周波数領域に変換することにより変換係数を生成する。直交変換手段13により生成された変換係数は、量子化手段14に送られる。直交変換手段13での直交変換には、DCTやDCTの近似変換、あるいはDWTなどを用いることができる。入力画像信号の各ピクチャ(フレーム)は、予め規定された数の画素(例えば、32x32画素、16x16画素、8x8画素、4x4画素あるいはそれらの組み合わせ)から構成される単位ブロックに分割され、単位ブロックごとに直交変換される。

量子化手段14は、直交変換手段13からの変換係数を量子化する。量子化手段14により生成された量子化値は、符号化手段15および逆量子化手段16にそれぞれ送られる。量子化手段14での量子化処理に用いられる量子化パラメータは、定数値の組み合わせとして設定してもよく、変換係数の情報量に応じて制御してもよい。変換係数の情報量に応じて量子化パラメータを制御すれば、出力側のビットレートを一定に保つようにすることができる。

符号化手段15は、量子化手段14からの量子化値、画面内予測手段31からの画面内予測情報および予測手段11からの残差予測情報を符号化する。符号化手段15での符号化処理には、符号間の冗長性を取り除く可変長符号化や算術符号化などを用いることができる。

逆量子化手段16は、量子化手段14での量子化処理と逆の処理を行うものであり、量子化手段14からの量子化値を逆量子化して変換係数を生成する。この変換係数は、量子化誤差を含んでいる。逆量子化手段16により生成された変換係数は、逆変換手段17に送られる。

逆変換手段17は、直交変換手段13での直交変換処理と逆の処理を行うものであり、逆量子化手段17からの変換係数を逆直交変換し、残差予測残差信号を生成する。この残差予測残差信号も、量子化誤差を含んでいる。逆変換手段17により生成された残差予測残差信号は、加算器20に送られる。

画面内予測手段31は、画面内予測により空間冗長性を削減する画面内予測情報を決定するものであり、蓄積手段33に蓄積されている再構成画素信号を元に、入力画像信号を予測する画面内予測情報を決定する。蓄積手段33に蓄積されている再構成画素信号は、符号化済み信号から再構成されるものであり、量子化誤差を含んでいる。画面内予測手段31で決定された画面内予測情報は、画面内補償手段32および符号化手段15にそれぞれ送られる。

画面内予測については種々の手法が知られている。画面内予測手段11での画面内予測には、種々の手法を利用することができる。例えば、規格化されているH.264のIntra予測を利用する場合、各Intra予測モードで個別に符号化し、符号量と歪量から算出される符号化コストを最小化するIntra予測モードを選択し、画面内予測情報とする。符号化コストを最小化する手法は、例えば、非特許文献１に記載されている。

画面内補償手段32は、空間冗長性を予測して画面内予測信号を生成するものであり、画面内予測手段31からの画面内予測情報と蓄積手段33に蓄積されている再構成画素信号から符号化対象ブロックの画面内予測信号を生成する。画面内補償手段32で生成された画面内予測信号は、減算器34および加算器35にそれぞれ送られる。

予測手段11は、単位ブロック内の画面内予測残差信号に残存する空間冗長性を削減する残差予測情報を決定する。そのために、予測手段11は、まず、蓄積手段18に蓄積されている再構成画面内予測残差信号の中から符号化対象ブロックの画面内予測残差信号を予測する再構成画面内予測残差信号の単位ブロックを選択し、該単位ブロックの再構成画面内予測残差信号を基準信号とする。なお、符号化対象ブロックの画面内予測残差信号を予測する再構成画面内予測残差信号は、同一フレームに存在するものに限定されず、時間的に異なるフレームに存在するものでもよい。また、画像の入力当初などでも単位ブロックの選択を可能するため、一様値(例えば、画面内予測残差信号の最高・最低値の中間値)を持つ単位ブロックを想定しておく。

以下、符号化対象ブロックの画面内予測残差信号を予測する再構成画面内予測残差信号(基準信号)の単位ブロックの選択の手法について説明する。

符号化対象ブロックの画面内予測残差信号を予測する再構成画面内予測残差信号の単位ブロックの選択では、蓄積手段18に蓄積されている再構成画面内予測残差信号と符号化対象ブロックの画面内予測残差信号の類似性を評価し、再構成画面内予測残差信号の中から符号化対象ブロックの画面内予測残差信号と最も類似性が高い再構成画面内予測残差信号の単位ブロックを選択する。

再構成画面内予測残差信号と符号化対象ブロックの画面内予測残差信号の類似性の評価には、相関やSAD(Sum of Absolute Difference)、SATD(Sum of Absolute Transformed Difference)、SSD(Sum of Squared Difference)、MAD(Mean of Absolute Difference)などを利用することができる。ここで、SADは、画面内予測残差信号と再構成画面内予測残差信号の差分の絶対値和を意味し、SATDは、アダマール変換(Hadamard transform)を適用して生成された係数の差分絶対値の和を意味する。また、SSDは、画面内予測残差信号と再構成画面内予測残差信号の差分の平方和を意味し、MADは、画面内予測残差信号と再構成画面内予測残差信号の差分の絶対値平均を意味する。

符号化対象ブロックの画面内予測残差信号を予測する再構成画面内予測残差信号の単位ブロックの選択に際しての評価対象は、単位ブロックごとの再構成画面内予測残差であり、画面内予測手段31で画面内予測が適用された単位ブロックと同じブロック単位で類似性を評価する。

符号化対象ブロックの画面内予測残差信号を予測する再構成画面内予測残差信号の単位ブロックの選択に際しては、蓄積手段18に蓄積されている再構成画面内予測残差信号の全ての単位ブロックを対象として探索しても構わない。しかし、その探索範囲を妥当なものに限定することにより、符号化対象ブロックの画面内予測残差信号を予測する再構成画面内予測残差信号の単位ブロックの選択を高速に行うことができる。

以下に、符号化対象ブロックの画面内予測残差信号を予測する再構成画面内予測残差信号の単位ブロックの選択を高速化する手法について説明する。

図４は、符号化対象ブロックの画面内予測残差信号を予測する再構成画面内予測残差信号の単位ブロックの選択を高速化する手法を概念的に示す図である。符号化対象単位ブロック(A)より前の領域については既に符号化され、単位ブロックごとの再構成画面内予測残差信号および画面内予測情報(予測モード)が既に得られている。２つの単位ブロックについての画面内予測残差信号に着目した場合、同じ画面内予測情報を持つ単位ブロック同士では、各画素についての予測残差は同じ傾向となる。すなわち、単位ブロック内での各画素についての予測残差は、参照画素との距離が遠くなるほど大きくなる傾向があるので、画面内予測情報が同じであれば、単位ブロック内での各画素についての予測残差は同じ傾向となる。

そこで、探索対象を、画面内予測情報が符号化対象ブロックと同じ単位ブロックに限定する。例えば、図４に示すように、符号化対象ブロック(A)の画面内予測情報が予測モード0である場合、予測モード0を持つ単位ブロック(B),(C),・・・だけを探索対象とし、他の予測モードを持つ単位ブロックは探索対象としない。

上記したように、画面内予測情報が同じ符号化対象ブロック(A)と単位ブロック(B),(C),・・・では、単位ブロック内の各画素についての予測残差が同じ傾向であるので、探索対象をそのような単位ブロック(B),(C),・・・だけに限定することにより、符号化効率を向上させる上で探索対象を妥当なものに制限しつつ、符号化対象ブロックの画面内予測残差信号を予測する再構成画面内予測残差信号の単位ブロックの選択を高速化できる。

なお、探索対象を制限した結果、探索対象の単位ブロックが１つも存在しない場合、例えば、(1)画面内予測情報が最も近い単位ブロックを探索対象に含め、選択された単位ブロックの再構成画面内予測残差信号をそのまま利用する、(2)画面内予測情報が最も近い単位ブロックを同じ予測情報で再符号化し、再符号化された単位ブロックを探索対象に含め、選択され、再符号化された単位ブロックの再構成画面内予測残差信号を利用する、(3)予測手段11および補償手段12による予測を適用しない、ただし、この場合には単位ブロックごとに予測の適用の有無を予測情報(残差予測情報)の一部とする、などの手法を採用すればよい。

図５は、符号化対象ブロックの画面内予測残差信号を予測する再構成画面内予測残差信号の単位ブロックの選択を高速化する他の手法を概念的に示す図である。この手法では、探索対象を、符号化対象ブロックが参照する画素を含む単位ブロックの画面内予測情報と、相対的に同じ場所に位置する単位ブロックの画面内予測情報が同じ単位ブロックに限定する。

例えば、図５に示すように、符号化対象ブロック(A)の画面内予測情報が予測モード0であり、その予測用画素を含む単位ブロック(A')の画面内予測情報が予測モード0である場合、相対的に同じ直上の単位ブロック(B'),(C'),・・・の画面内予測情報が予測モード0である単位ブロック(B),(C),・・・だけを探索対象とする。この手法によっても、符号化効率を向上させる上で探索対象を妥当なものに制限しつつ、符号化対象ブロックの画面内予測残差信号を予測する再構成画面内予測残差信号の単位ブロックの選択を高速化できる。このように探索対象を制限した結果、探索対象の単位ブロックが１つも存在しない場合には、上記と同様に、画面内予測情報を利用して探索対象を拡げたり、予測手段11および補償手段12による予測を適用しないようにすればよい。

予測手段11は、符号化対象ブロックの画面内予測残差信号に最も類似性が高い再構成画面内予測残差信号の単位ブロックの場所情報を予測情報として出力する。また、予測手段11は、選択された単位ブロックの再構成画面内予測残差信号を基準信号として、符号化対象ブロックの画面内予測残差信号を線形予測(近似)する予測係数を算出する。予測係数を算出する手法は、符号化対象ブロックの画面内予測残差信号をＳ_ｉとし、選択された再構成画面内予測残差信号Ｒ_ｉとすれば、第１実施形態と同様であるので、説明は省略する。

予測手段11により選択された再構成画面内予測残差信号の単位ブロックの場所情報と算出された予測係数は、残差予測情報として補償手段12および符号化手段15に送られる。

補償手段12は、空間冗長性を予測して残差予測信号を生成する。具体的には、蓄積手段18に蓄積されている再構成画面内予測残差信号の中から予測情報に含まれる場所情報に該当する位置の再構成画面内予測残差信号を読み出し、これに予め設定された予測関数および算出された予測係数を適用して残差予測信号を生成する。補償手段12で生成された残差予測信号は、減算器10および加算器20に送られる。

以上のように、第２実施形態の画像符号化装置では、減算器19からの残差予測残差信号を直交変換、量子化および符号化するようにしている。残差予測残差信号は、既に符号化された再構成画素信号と再構成画面内予測残差信号から画面内予測および残差予測を行うことで生成される。このように、第２実施形態では、符号化対象ブロックの画像信号の符号化に際し、既に符号化された単位ブロックの画素信号を用いて画面内予測を行うとともに、符号化済みの予測残差信号を用いて予測残差予測を行うので、予測残差における空間冗長性を削減し、符号化対象ブロックの画像信号の情報量を削減して符号化効率を向上させることができる。

図６は、図３の画像符号化装置により符号化された画像を復号する画像復号装置を示す機能ブロック図であり、図２と同一あるいは同等部分には同じ符号を付してある。

この画像復号装置は、復号手段21、逆量子化手段22、逆直交変換手段23、補償手段24、蓄積手段25および加算器26,43を備える。

復号手段21、逆量子化手段22、逆直交変換手段23はそれぞれ、図３の符号化手段13、量子化手段14、直交変換手段15と逆の処理を行う。蓄積手段25は、加算器26が出力する画面内予測残差信号を蓄積する。蓄積手段25は、補償手段24での補償に利用される単位ブロック分の容量を有すればよい。蓄積手段25に蓄積された再構成画面内予測残差信号は、補償手段24での残差予測信号の生成に利用される。

補償手段24は、図３の補償手段12と同様に動作し、復号手段21からの予測情報に含まれる場所情報に該当する場所の単位ブロックの画面内予測残差信号を蓄積手段25から読み出し、該画面内予測残差信号に予測係数を適用して残差予測信号を生成する。

加算器26は、逆直交変換手段23からの残差予測残差信号と補償手段24からの残差予測信号を加算して画面内予測信号を生成する。

画面内補償手段41は、図３の画面内補償手段32と同様に動作し、復号手段21からの予測情報に従って予測に利用された画素信号を蓄積手段42から読み出し、画面内予測信号を生成する。

加算器43は、加算器26からの画面内予測残差信号に画面内補償手段41からの画面内予測信号を加算することにより入力画像に対する画素信号を生成する。

以上、実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。例えば、予測手段11において、発生符号量と歪量との重み和から算出される符号化コストの最小値が予め設定した閾値より大きい場合、ここでの予測を適用しても高い符号化効率が得られないと判断される。このような場合には、予測手段11および補償手段12による予測を適用しないようにしてもよい。ただし、この場合、単位ブロックごとに予測の適用の有無を予測情報(残差予測情報)の一部とすることが必要である。

また、画面内予測手段31において、発生符号量と歪量との重み和から算出される符号化コストの最小値が予め設定した閾値より小さい場合、画面内予測で十分に高い符号化効率が得られていることになる。このような場合にも、予測手段11および補償手段12による予測を適用しないようにしてもよい。ただし、この場合、単位ブロックごとに予測の適用の有無を残差予測情報の一部とすることが必要である。

さらに、時間的冗長性を削減する従来の予測方式と組み合わせることも可能であり、これにより更なる符号化効率を向上させることができる。

11・・・予測手段、12・・・補償手段、13・・直交変換手段、14・・・量子化手段、15・・・符号化手段、16,22・・・逆量子化手段、17,23・・・逆直交変換手段、18,25,33・・・蓄積手段、19,34・・・減算器、20,26,35,43・・・加算器、21・・・復号手段、31・・・画面内予測手段、32,41・・・画面内補償手段、

Claims (11)

1. 予測を利用して符号化の単位ブロックごとに入力画像の符号化を行う画像符号化装置において、
   符号化済み信号を用いて再構成された信号の中から、符号化対象ブロックの信号と間での類似性を評価して最も類似性の高い単位ブロックの信号を基準信号として選択し、該基準信号を用いて符号対象ブロックの信号についての単位ブロック全体の信号を線形予測するための予測情報を算出する予測手段と、
   符号化済み信号を用いて再構成された信号と前記予測手段により算出された予測情報を用いて予測信号を生成する補償手段と、
   前記符号化対象ブロックについての信号と前記補償手段により生成された予測信号の差分である予測残差信号を生成する差分算出手段と、
   前差分算出手段により生成された予測残差信号を直交変換する変換手段と、
   前記変換手段により直交変換された予測残差信号を量子化する量子化手段と、
   前記量子化手段により量子化された予測残差信号および前記予測手段により選択された基準信号の場所情報を含む予測情報を符号化する符号化手段を備えたことを特徴とする画像符号化装置。
2. 前記符号化済み信号を用いて再構成された信号は、再構成画素信号であり、前記予測手段は、符号化済み信号を用いて再構成された再構成画素信号の中から単位ブロック単位に基準信号を選択し、該基準信号を用いて符号対象ブロックの画素信号を線形予測するための予測情報を算出することを特徴とする請求項１に記載の画像符号化装置。
3. 前記符号化済み信号を用いて再構成された信号は、画面内予測による再構成画面内予測残差信号であり、前記予測手段は、符号化済み信号を用いて再構成された再構成画面内予測残差信号の中から単位ブロック単位に基準信号を選択し、該基準信号を用いて符号対象ブロックの画面内予測残差信号を線形予測するための予測情報を算出することを特徴とする請求項１に記載の画像符号化装置。
4. 前記予測手段は、発生符号量と歪量との重み和から算出される符号化コストを最小化するように基準信号を選択し、該基準信号の単位ブロックの場所情報を予測情報の一部として算出することを特徴とする請求項１に記載の画像符号化装置。
5. 前記予測手段は、発生符号量と歪量との重み和から算出される符号化コストの最小値が予め設定した閾値より大きい場合は前記予測手段および前記手段予測による予測を適用しないように決定すると共に、単位ブロックごとに予測の適用の有無を予測情報の一部として生成することを特徴とする請求項１に記載の画像符号化装置。
6. 前記予測手段は、画面内予測における発生符号量と歪量との重み和から算出される符号化コストの最小値が予め設定した閾値より小さい場合は前記予測手段および前記手段予測による予測を適用しないように決定すると共に、単位ブロックごとに予測の適用の有無を予測情報の一部として生成することを特徴とする請求項３に記載の画像符号化装置。
7. 前記予測手段は、基準信号を選択するに際し、画面内予測情報が符号化対象ブロックと同じ単位ブロックに選択範囲を限定することを特徴とする請求項３に記載の画像符号化装置。
8. 前記予測手段は、基準信号を選択するに際し、符号化対象ブロックが参照する画素、該画素を含む単位ブロックおよび該単位ブロックの画面内予測情報と、参照する画素、該画素を含む単位ブロックおよび該単位ブロックの画面内予測情報が同じ関係にある単位ブロックに選択範囲を限定することを特徴とする請求項３に記載の画像符号化装置。
9. 前記予測手段は、予測係数を予測情報として算出することを特徴とする請求項１に記載の画像符号化装置。
10. 前記予測係数は、一次式の乗数と補正値の一方あるいは両方から構成されることを特徴とする請求項９に記載の画像符号化装置。
11. 前記予測係数は、基準信号と符号対象ブロックの信号についての単位ブロック全体の信号の誤差が最小になるよう算出されることを特徴とする請求項９に記載の画像符号化装置。

Images