JP5667269B2 - 画像符号化装置、画像復号装置、画像符号化・復号装置、画像符号化・復号方法及び画像符号化・復号プログラム - Google Patents

Description

本発明は、画像を圧縮して符号化する場合の画像符号化技術に関し、特に、画像内における相関のある情報から符号対象を予測し、予測誤差を符号化することで符号化効率の向上を図る画像符号化装置、画像復号装置、画像符号化・復号装置、画像符号化・復号方法及び画像符号化・復号プログラムに関する。

従来の画像符号化において符号化効率を向上させる方式としては、時間冗長性を削減する方法と空間冗長性を削減する方法が存在した。
時間冗長性を削減する方法としては、フレーム差分方式や動き補償方式がある。フレーム差分方式は、連続する２枚の画像を単純に減算し差分を符号化するものである。
動き補償方式は、参照フレームに対して動きベクトルを適用することで符号対象フレームの近似画像を生成し、符号対象フレームとの差分を符号化する。この動き補償方式は、画像間の相違を小さくした上で符号化するため、フレーム差分方式より符号化効率の面で優れている。
その一方、動き補償方式で用いる動きベクトルの推定方法は、時間冗長度の削減を可能とするものの、静止画には利用できないという課題があった。

符号化効率の向上のための空間冗長性削減方法としては、例えば直交変換係数を量子化する方式が存在する。この方式は、直交変換は画素信号を周波数領域に写像し、エネルギーを低域に集中させるものである。この方式によれば、人間の視覚特性が高域に敏感でないことを利用して、高域成分を量子化で除去することで符号化効率を上げることが可能となる。

また、符号化を行う場合、特許文献１に示されるように、符号化の処理対象となっている領域の周囲に存在する符号化済みブロックに対して局部復号を行うことで復号信号を生成し、この復号信号を用いて面内予測（イントラ予測）を行うことで予測信号を生成し、符号化対象となっているブロック内の信号成分と、生成した予測信号との差分によって得られる残差信号に対して、所定の直交変換および量子化を行うことで空間冗長性削減し、符号化効率の改善を図ることが一般的に行われている。

特許第３７３４４９２号

上述した直交変換と量子化の組み合わせや空間予測方法による空間冗長性削減方法は、フレーム内の空間冗長性を削減するが、同一フレームの異なる色信号については独立して処理するため、色信号の冗長性まで削減することはできないという課題があった。

本発明は上記事情に鑑みて提案されたもので、画像を分離して得られた複数の色信号の中から基準となる基準信号を適応的に選択し、この基準信号から他の信号（被予測信号）を予測することで、被予測信号の情報量を削減し符号化効率を向上させる画像符号化装置、画像復号装置、画像符号化・復号装置、画像符号化・復号方法及び画像符号化・復号プログラムを提供することを目的としている。

上記目的を達成するため本発明は、複数の画素から構成される単位ブロックの各画素に対して信号内予測される各画素との間で差分処理を行って得られた信号内予測残差信号について直交変換・量子化・符号化を行って単位ブロック毎に符号化を行うに際し、単位ブロック内の信号内予測残差信号を一つの基準信号と被予測信号で構成される複数信号に分離し、信号間予測を行うことで色信号の冗長性の削減を可能とする。

請求項１は、複数画素を有する複数の単位ブロックから構成される入力画像信号を直交変換・量子化・符号化を行って単位ブロック毎に符号化を行う画像符号化装置において、
直交変換・量子化された画像信号を復号することで得られた符号化済領域に該当する再構成画像信号を基に前記入力画像信号の符号化対象領域に該当する各画素に対して信号内予測するための信号内予測情報を算出する信号内予測手段と、
前記信号内予測手段からの前記信号内予測情報と前記再構成画像信号とから信号内予測信号を得る信号内補償手段と、
符号化対象領域となっている入力画像信号と前記信号内予測信号との差分処理により得られた信号内予測残差信号について基準信号と被予測信号とに分離し基準信号の各画素に対応する被予測信号の各画素について信号間予測するための信号間予測情報を算出する信号間予測手段と、
直交変換・量子化された画像信号を復号することで得られた復号信号内予測残差信号と前記信号間予測手段からの信号間予測情報とから符号化対象領域の信号間予測信号を得る信号間補償手段とを有し、
前記信号内予測残差信号と前記信号間予測信号との差分処理を行って得られた信号間予測残差信号について直交変換・量子化・符号化を行うことで前記被予測信号の各画素の符号化を行う一方、
前記信号間予測手段における基準信号及び被予測信号は、前記信号内予測残差信号を色信号に分離した分離信号であり、
前記信号間予測手段は、
分離した信号から基準信号の選択及び被予測信号への信号間予測の適用の可否の組み合わせを決定する場合に、適用する信号の組み合わせを近傍画素の分散又は振幅、平均、信号内予測情報を用いて算出することで、
当該組み合わせを符号化することなく信号間予測情報とする
ことを特徴としている。

請求項２は、請求項１に記載の画像符号化装置により前記信号間予測残差信号について直交変換・量子化・符号化を行って得られる符号列を復号する画像復号装置であって、
前記信号間予測信号と前記信号内予測信号を使用して復号する場合に、
前記基準信号の選択及び前記被予測信号への信号間予測の適用の可否の組み合わせについて、前記した符号化しない信号間予測情報を使用して、復号される画像信号を得る
ことを特徴としている。

請求項３は、複数画素を有する複数の単位ブロックから構成される入力画像信号を直交変換・量子化・符号化した信号の復号を行う画像符号化・復号装置において、
直交変換・量子化された画像信号を復号することで得られた符号化済領域に該当する再構成画像信号を基に前記入力画像信号の符号化対象領域に該当する各画素に対して信号内予測するための信号内予測情報を算出する信号内予測手段と、
前記信号内予測手段からの前記信号内予測情報と前記再構成画像信号とから信号内予測信号を得る信号内補償手段と、
符号化対象領域となっている入力画像信号と前記信号内予測信号との差分処理により得られた信号内予測残差信号について基準信号と被予測信号とに分離し基準信号の各画素に対応する被予測信号の各画素について信号間予測するための信号間予測情報を算出する信号間予測手段と、
直交変換・量子化された画像信号を復号することで得られた復号信号内予測残差信号と前記信号間予測手段からの信号間予測情報とから符号化対象領域の信号間予測信号を得る信号間補償手段とを有し、
前記信号内予測残差信号と前記信号間予測信号との差分処理を行って得られた信号間予測残差信号について直交変換・量子化・符号化を行うことで前記被予測信号の各画素の符号化を行う一方、
前記信号間予測手段における基準信号及び被予測信号は、前記信号内予測残差信号を色信号に分離した分離信号であり、
前記信号間予測手段は、色信号に分離した信号から基準信号の選択及び各被予測信号への信号間予測の適用の可否について、基準信号の選択及び各被予測信号への信号間予測の全て非適用を含めた色信号の全ての組み合わせを決定する場合に、適用する信号の組み合わせを発生符号量と歪量との重み和から算出される符号化コストを最小化するように選定し、当該組み合わせを信号間予測情報として符号化を行い、
前記信号間予測残差信号について直交変換・量子化・符号化を行うことで得られた符号列に対して復号を行うに際して、
符号化された前記信号間予測情報から得られる信号間予測信号と、前記信号内予測信号を使用して復号される画像信号を得る
ことを特徴としている。

請求項４は、請求項３の画像符号化・復号装置において、前記信号間予測手段は、基準信号と被予測信号との信号間の信号を予測する場合に、前記単位ブロック毎に予測可能とし、予測する場合は単位ブロック内の画素信号毎に予測の有無を設定可能としたことを特徴としている。

請求項５は、請求項３の画像符号化・復号装置において、前記信号間予測手段は、分離した信号から基準信号の選択及び被予測信号への信号間予測の適用の可否の組み合わせを決定する場合に、前記組み合わせを近傍画素の分散又は振幅、平均、信号内予測情報を用いて算出することを特徴としている。

請求項６は、請求項３の画像符号化・復号装置において、前記信号間予測手段は，分離した信号から基準信号の選択及び被予測信号への信号間予測の適用の可否の組み合わせを決定する場合に、発生符号量と歪量との重み和から算出される符号化コストを最小化する基準信号及び最適な組み合わせと入力信号とから統計的機械学習によって予め辞書を作成しておき、該辞書をもとに入力された信号に対する前記組み合わせを推定することを特徴としている。

請求項７は、請求項３の画像符号化・復号装置において、前記信号間予測手段は、変化の小さい信号を基準信号としない選択することを特徴としている。

請求項８は、請求項３の画像符号化・復号装置において、前記信号間予測手段は、変化の大きい信号を被予測信号としない選択することを特徴としている。

請求項９は、請求項３の画像符号化・復号装置において、前記信号間予測手段は、基準信号が選定され被予測信号について信号間予測を適用する場合に、前記信号間予測は、領域毎に予測係数を推定して行うことを特徴としている。

請求項１０は、請求項９の画像符号化・復号装置において、前記信号間予測手段における予測係数は、乗数と補正値で構成することを特徴としている。

請求項１１は、請求項９の画像符号化・復号装置において、前記信号間予測手段における予測係数は、基準信号による予測信号と被予測信号との誤差を最小になるよう推定することを特徴としている。

請求項１２は、複数画素を有する複数の単位ブロックから構成される入力画像信号を直交変換・量子化・符号化した信号の復号を行う画像符号化・復号方法において、
直交変換・量子化された画像信号を復号することで得られた符号化済領域に該当する再構成画像信号を基に前記入力画像信号の符号化対象領域に該当する各画素に対して信号内予測するための信号内予測情報を算出する手順と、
前記信号内予測手段からの前記信号内予測情報と前記再構成画像信号とから信号内予測信号を得る手順と、
符号化対象領域となっている入力画像信号と前記信号内予測信号との差分処理により得られた信号内予測残差信号について基準信号と被予測信号とに分離し基準信号の各画素に対応する被予測信号の各画素について信号間予測するための信号間予測情報を算出する手順と、
直交変換・量子化された画像信号を復号することで得られた復号信号内予測残差信号と前記信号間予測手段からの信号間予測情報とから符号化対象領域の信号間予測信号を得る手順と、
前記信号内予測残差信号と前記信号間予測信号との差分処理を行って得られた信号間予測残差信号について直交変換・量子化・符号化を行うことで前記被予測信号の各画素の符号化を行う手順と、を有し、
前記信号間予測情報における基準信号及び被予測信号は、前記信号内予測残差信号を色信号に分離した分離信号であり、
分離した信号から基準信号の選択及び被予測信号への信号間予測の適用の可否の組み合わせを決定する場合に、適用する信号の組み合わせを近傍画素の分散又は振幅、平均、信号内予測情報を用いて算出することで、
当該組み合わせを符号化することなく信号間予測情報とする一方、
前記信号間予測信号と前記信号内予測信号を使用して復号する場合に、
前記基準信号の選択及び前記被予測信号への信号間予測の適用の可否の組み合わせについて、前記した符号化しない信号間予測情報を使用して、復号される画像信号を得る
ことを特徴としている。

請求項１３は、複数画素を有する複数の単位ブロックから構成される入力画像信号を直交変換・量子化・符号化した信号の復号を行う画像符号化・復号方法において、
直交変換・量子化された画像信号を復号することで得られた符号化済領域に該当する再構成画像信号を基に前記入力画像信号の符号化対象領域に該当する各画素に対して信号内予測するための信号内予測情報を算出する手順と、
前記信号内予測手段からの前記信号内予測情報と前記再構成画像信号とから信号内予測信号を得る手順と、
符号化対象領域となっている入力画像信号と前記信号内予測信号との差分処理により得られた信号内予測残差信号について基準信号と被予測信号とに分離し基準信号の各画素に対応する被予測信号の各画素について信号間予測するための信号間予測情報を算出する手順と、
直交変換・量子化された画像信号を復号することで得られた復号信号内予測残差信号と前記信号間予測手段からの信号間予測情報とから符号化対象領域の信号間予測信号を得る手順と、
前記信号内予測残差信号と前記信号間予測信号との差分処理を行って得られた信号間予測残差信号について直交変換・量子化・符号化を行うことで前記被予測信号の各画素の符号化を行う手順と、を有し、
前記信号間予測情報における基準信号及び被予測信号は、前記信号内予測残差信号を色信号に分離した分離信号であり、
色信号に分離した信号から基準信号の選択及び各被予測信号への信号間予測の適用の可否について、基準信号の選択及び各被予測信号への信号間予測の全て非適用を含めた色信号の全ての組み合わせを決定する場合に、適用する信号の組み合わせを発生符号量と歪量との重み和から算出される符号化コストを最小化するように選定し、当該組み合わせを信号間予測情報として符号化を行い、
前記信号間予測残差信号について直交変換・量子化・符号化を行うことで得られた符号列に対して復号を行うに際して、
符号化された前記信号間予測情報から得られる信号間予測信号と、前記信号内予測信号を使用して復号される画像信号を得る
ことを特徴としている。

請求項１４は、前記請求項１２又は請求項１３に記載の各手順をコンピュータに実行させることを特徴とする画像符号化・復号プログラムである。

請求項１の画像符号化装置によれば、画像符号化装置において、画像信号を分離して得られた複数の信号の中から基準となる基準信号を適応的に選択し、その他の信号を基準信号から予測することで、空間冗長性を削減して被予測信号の情報量を削減し、符号化効率を向上させることができる。
また、基準信号及び被予測信号を色信号に分離した分離信号で信号間予測を行うことで、色信号の冗長性の削減を可能とする。
また、基準信号の選択及び被予測信号への信号間予測の適用の可否の組み合わせについて、符号化することなく信号間予測情報とすることで、情報削減効果を図ることができる。

請求項２の画像復号装置によれば、符号化しない信号間予測情報を使用して復号を行うため、情報削減効果を図ることができる。

請求項３の画像符号化・復号装置によれば、画像符号化装置において、画像信号を分離して得られた複数の信号の中から基準となる基準信号を適応的に選択し、その他の信号を基準信号から予測することで、空間冗長性を削減して被予測信号の情報量を削減し、符号化効率を向上させることができる。
また、基準信号及び被予測信号を色信号に分離した分離信号で信号間予測を行うことで、色信号の冗長性の削減を可能とする。
分離した信号から基準信号の選択及び各被予測信号への信号間予測の適用の可否の組み合わせを決定する信号間予測情報について、適用する信号の組み合わせを符号量及び歪み量から算出される符号化コストを最小化するように選定することで、適正な信号予測を行うことができる。

請求項４の画像符号化・復号装置によれば、信号間の信号予測について、単位ブロック毎に予測可能とするとともに、単位ブロック内の画素信号毎に予測の有無を設定できるので、画素毎に適した信号予測を行うことができる。

請求項５の画像符号化・復号装置によれば、分離した信号から基準信号の選択及び被予測信号への信号間予測の適用の可否の組み合わせを決定する場合に、適用する信号の組み合わせを近傍画素の分散又は振幅、平均、信号内予測情報を用いて算出することができる。

請求項６の画像符号化・復号装置によれば、辞書をもとに入力された信号に対する基準信号及び組み合わせを推定することで、適正な信号予測を行うことができる。

請求項７の画像符号化・復号装置によれば、変化の小さい信号を基準信号としない選択することで画質向上を図ることができる。

請求項８の画像符号化・復号装置によれば、変化の大きい信号を被予測信号としない選択することで符号量削減を図ることができる。

請求項９の画像符号化・復号装置によれば、基準信号が選定され被予測信号について信号間予測を適用する場合に、領域毎に予測係数を推定して行うことで、領域毎に適した信号間予測を行うことができる。

請求項１０の画像符号化・復号装置によれば、基準信号が選定され被予測信号について信号間予測を適用する場合に、乗数と補正値で構成する予測係数により信号間予測を行うことができる。

請求項１１の画像符号化・復号装置によれば、信号間予測手段における予測係数について、基準信号による予測信号と被予測信号との誤差を最小になるよう推定することで、精度良好な信号間予測を行うことができる。

本発明の画像符号化装置の実施の形態の一例を示すブロック図である。 画像符号化装置に入力される入力画像の説明図である。 画像符号化装置の信号間予測手段及び信号間補償手段における信号間予測情報及び信号間予測信号の算出手順を示すフローチャート図である。

本発明による画像符号化装置の実施形態の一例について、図１及び図２を参照しながら説明する。
本発明の画像符号化装置は、従来から存在する複数の画素から構成される単位ブロックの各画素に対して、符号化済画素から信号内予測される各画素との間で差分処理を行って得られた信号内予測残差信号について直交変換・量子化・符号化を行って単位ブロック毎に符号化を行う画像符号化装置に対して、前記単位ブロック内の信号内予測残差信号を一つの基準信号と被予測信号で構成される複数信号に分離し、複数の信号間の信号を予測する機能を付加した構成を特徴とするものである。

すなわち、本発明の画像符号化装置は、図１に示すように、直交変換で周波数領域に変換する変換手段１と、直交変換係数を量子化する量子化手段２と、量子化された直交変換係数を可変長符号化する符号化手段３と、量子化された直交変換係数を逆量子化する逆量子化手段４と、逆量子化された直交変換係数を逆変換する逆変換手段５と、空間冗長性を削減する信号内予測情報を決定する信号内予測手段６と、空間冗長性を予測して信号内予測信号を再構成する信号内補償手段７とを備えた画像符号化装置に対して、複数の信号間の信号を予測する信号間予測手段８及び信号間予測信号を得る信号間補償手段９を備えて構成されている。

第一の差分器１１は、空間冗長性を削減するもので、符号化対象領域の画素について、入力画像信号と、信号内補償手段７から送られる符号化済画素から予測された信号内予測信号との差分を計算する。差分して得られた信号内予測残差信号は、信号間予測手段８及び第二の差分器１２にそれぞれ送られる。

第二の差分器１２は、信号間冗長性を削減するもので、符号化対象領域の画素について、第一の差分器１１から送られる信号内予測残差信号と、信号間補償手段９から送られる符号化済画素から予測された信号間予測信号との差分を計算する。差分して得られた信号間予測残差信号は、変換手段１に送られる。

第一の加算器１３は、信号間冗長性を補償するもので、逆変換手段５から送られる再生（復号）された信号間予測残差信号と、信号間補償手段９から送られる信号間予測信号との合計を計算することで信号内予測残差信号を再構成（復号）する。加算して得られた信号内予測残差信号は、信号間予測手段８，信号間補償手段９，第二の加算器１４にそれぞれ送られる。

第二の加算器１４は、信号間冗長性を補償するもので、第一の加算器１３から送られる信号内予測残差信号と、信号内補償手段７から送られる信号内予測信号との合計を計算することで符号化済画素に対応する画像信号（再構成画像信号）を再構成する。加算して得られた再構成画素信号は、信号内予測手段６及び信号内補償手段７にそれぞれ送られる。

変換手段１へは、入力画像及び第二の差分器１２から送られる信号間予測誤差信号が入力され、直交変換によって周波数領域に変換し、直交変換によって得られた変換係数を量子化手段２に出力する。直交変換としてはＤＣＴ乃至ＤＣＴの近似変換またはＤＷＴなどを利用することができる。
入力画像の各ピクチャ（フレーム）は、予め規定された数の画素（例えば、３２×３２画素、１６×１６画素、８×８画素、４×４画素あるいはそれらの組み合わせ）から構成される単位ブロックに分割され、単位ブロック毎に符号化が行われる。入力画像の各ピクチャ（フレーム）は、図２に示すように、例えば色空間においてＲＧＢ信号に分離されるＲ信号フレーム２０，Ｇ信号フレーム３０，Ｂ信号フレーム４０から構成される。各単位ブロックは、Ｒ信号ブロック２１に対して、空間的に対応するＧ信号ブロック及びＢ信号ブロックを有して構成されている。

従前の方法で画像符号化を行う場合、ＲＧＢ信号の各フレームについて、信号内予測信号に基づいて空間冗長性を削減する処理のみが行われていた。例えば、Ｒ信号ブロック２１の画像に輪郭や模様等（斜線部分）が存在するような場合、画像内における相関のある周囲の情報から符号対象を予測し、予測誤差を符号化することが行われている。
本例では、変換手段１に対して、各ピクチャが単位ブロックに分割された入力画像が入力され、変換手段１では、ＲＧＢの各信号ブロックの各画素の信号若しくは、第二の差分器１２から入力される信号間予測残差信号に基づいて空間的に対応する各画素との間で求めた差分値を変換することで信号間冗長性を削減する処理が行われる。

量子化手段２は、変換手段１から送られた変換係数を量子化する。量子化によって得られた量子化値は、符号化手段３及び逆量子化手段４に出力される。
量子化処理に用いられる量子化パラメータは、定数値の組み合わせとして設定することが可能である。または、変換係数の情報量に応じて制御することで出力するビットレートを一定に保つことも可能である。

符号化手段３は、量子化手段２から送られた量子化された変換係数を符号化し、符号情報として出力する。符号化は、符号間の冗長性を取り除く可変長符号又は算術符号などを利用することができる。

逆量子化手段４は、量子化処理の逆の手順を行うことで、量子化手段２から送られた量子化された変換係数を逆量子化する。逆量子化によって得られた量子化誤差を含む変換係数は逆変換手段５に送られる。

逆変換手段５は、直交変換の逆の手順を行うことで、逆量子化手段４から送られた量子化誤差を含む変換係数を逆直交変換する。逆変換によって得られた量子化誤差を含む信号間予測残差信号は第一の加算器１３に送られる。

次に、本発明の画像符号化装置の特徴的構成である変換手段１に入力される信号間予測残差信号を得るために第二の差分器１２に入力される信号間予測信号の算出について説明する。
信号間予測信号の算出は、信号内予測手段６及び信号内補償手段７に対して、第一の加算器１３を介して信号内予測残差信号が入力される信号間予測手段８及び信号間補償手段９を設けることで行われる。以下、信号内予測手段６，信号内補償手段７，信号間予測手段８及び信号間補償手段９の各機能について説明する。

信号内予測手段６は、空間冗長性を削減する信号内予測情報を決定するものであり、第二の加算器１４から送られた量子化誤差を含む符号化済画素に対応する再構成画素信号を基に、入力信号を近似するための信号内予測情報を決定する。決定された信号内予測情報は信号内補償手段７及び符号化手段３に送られる。図１中、量子化手段２への線は省略しているが、信号内予測情報の一部は量子化され符号化される。
信号内予測については、従来から各種方法が行われている。例えば一例として、規格化されているＨ．２６４のイントラ予測を利用する場合は、各イントラ予測モードで個別に符号化し、符号量と歪量から算出される符号化コストを最小化するイントラ予測モード（レート歪み最適化法）を選択し、信号内予測情報とする。例えば、図２において、Ｒ信号ブロック（単位ブロック）２１の符号化を行う場合、既に符号化されている同じＲ信号フレーム２１における斜線部分の画像（特に、直上や左部の画像）２２から予測して信号内予測情報を求める。

信号内補償手段７は、空間冗長性を予測して信号内予測信号を再構成するものであり、信号内予測手段６から送られる信号内予測情報と第二の加算器１４から送られる再構成画素信号から当該領域の信号内予測信号を生成する。信号内予測信号は第一の差分器１１及び第二の加算器１４に送られる。

信号間予測手段８は、信号間冗長性を削減する信号間予測情報を決定するものである。
信号間予測手段８は、前記単位ブロック内の信号内予測残差信号を一つの基準信号と被予測信号で構成される複数信号に分離することで複数の信号間の信号を予測する。
信号間予測手段８は、第一の加算器１３から送られた量子化誤差を含む信号内予測残差信号を基に、第一の差分器１１から送られた信号内予測残差信号を近似するための係数を算出する。
算出された予測係数は、信号間予測情報として信号間補償手段９及び符号化手段３に送られる。図１中、量子化手段２への線は省略しているが、信号間予測情報の一部は量子化され符号化される。

以下、信号間予測手段８による予測係数の算出及び信号間補償手段９による信号間予測信号の生成手順について、図３を参照しながら説明する。
先ず、信号間予測手段８において、予測係数の算出には入力された信号を複数の信号に分離する（ステップ５１）。信号を分離する種類や数は問わないが、一例として上述したように、単位ブロックを色空間のＲＧＢ信号に分離する。また、色空間の信号に分離する場合、ＹＵＶ信号，ＹＣｂＣｒ信号等の色空間の信号を利用することも可能である。

次に、分離された信号を信号間予測手段８の基準となる基準信号と予測される被予測信号とに分類するとともに、被予測信号に対して信号間予測情報の適用の可否を判断し（ステップ５２）、基準信号から信号間予測情報を算出する（ステップ５３）。基準信号と被予測信号は、いずれも単一であっても複数であっても良い。基準信号は予め決定したものを固定して使用してもよいし、また、領域など一定範囲で基準信号を変化させるようにしてもよい。

例えば、入力画像に対してＲＧＢ信号で信号分離を行った場合、木の葉等の緑が多い画像に対しては、Ｇ信号を基準信号とすることで、被予測信号の滑らかさを正確に再現できるため被予測信号と予測信号との差を小さくして符号化の効率化を図ることができる。
すなわち、画像信号として変化の大きい信号を基準信号として選択することで、画質向上を図ることができる。逆に、画像信号として変化の大きい信号は符号量も多く占めるため、変化の大きい信号を被予測信号として選択することで、符号量削減を図ることができる。

被予測信号を求めるに際しては、基準信号からの信号間予測を適用するかどうかの選択が行われる。この選択は、信号間予測情報等を考慮したレート歪み最適化法で決める。
信号間予測情報の算出は、単位ブロック毎に予測可能とし、予測する場合は単位ブロック内の画素信号毎に予測の有無を設定可能とすることが好ましい。

基準信号を領域などに応じて変化させる場合は、基準信号の選定及び信号予測を適用するかどうかを表す情報を符号化（明示）することも、符号化しない（暗示する）ことも可能である。
明示する場合は、全ての信号を個別に符号化し符号量と歪量から算出される符号化コストを最小化する信号を選択し、その信号を表す情報を信号間予測情報に含める。被予測信号を限定する場合も同様に、その信号を表す情報を信号間予測情報に含める。例えば、符号化コストは、符号量をＲ、歪量をＤとした場合、重み和（Ｒ＋λＤ）で算出する。

すなわち、ＲＧＢの各色信号に対して、基準信号の選定及び信号間予測の適用の可否については、下のような１０通りの組み合わせが存在する。
（１）Rを基準信号とする（基準），G信号間予測を適用する（適用），B適用
（２）R基準，G適用，B信号間予測を適用しない（非適用）
（３）R基準，G非適用，B適用
（４）G基準，R適用，B適用
（５）G基準，R適用，B非適用
（６）G基準，R非適用，B適用
（７）B基準，G適用，R適用
（８）B基準，G適用，R非適用
（９）B基準，G非適用，R適用
（10）非適用
これらの全ての符号化コストを求め、符号化コストが最小となるものを選択することで、ＲＧＢ信号に対する基準信号の選定、及び、各被予測信号に対する信号予測の適用の可否を判断することができる。

この場合（明示する場合）は、信号間予測情報に対して、例えば基準信号がＲＧＢのどの信号であるか表示する２ビットと、被予測信号について信号間予測を適用するかどうか表示する２ビットで表現し、可変長符号化で符号化できる。

一方、暗示する場合は、変化に富んだ信号を基準信号として用いると予測の精度が向上するので、近傍画素の分散又は振幅、平均が最大となる信号を選択し、復号側も同様の手段で基準信号を選択することで、その信号を表す情報を信号間予測情報に含めないようにする。
または、変化に富んだ信号を被予測信号として用いると符号化効率が向上するので、基準信号と被予測信号との近傍画素同士の分散又は振幅、平均が最大となる信号を選択し、復号側も同様の手段で被予測信号を選択することで、その信号を表す情報を信号間予測情報に含めないようにする。
または、信号内予測が原画像の高い相関を損なわないモードを選択していれば、信号内予測誤差信号に信号間の冗長性が残るため、信号内予測情報に基づいて信号間予測の適用の是非を決定することもできる。

前記信号間予測手段は，分離した信号から基準信号と被予測信号の組み合わせを決定する場合に、予め入力信号と最適な組み合わせを統計的に機械学習させておき、生成された辞書をもとに入力された信号に対する基準信号及び組み合わせを推定するように構成してもよい。機械学習には公知のDecision Tree やRandom Forest，Neural Network など任意の識別器を用いることができる。識別器に用いる特徴量としては、符号化対象領域の近傍画素情報や信号内予測情報、入力画像信号そのものを用いる。動画像の符号化においては、辞書を予め作成しておくだけでなく、一定のフレーム毎若しくはカット点毎に上述の符号化コスト（発生符号量と歪量との重み和から算出される値）を最小化する最適な組み合わせを全探索し逐次学習を適用しても良い。

次に、基準信号が決定され、信号間予測を適用する場合に、基準信号から被予測信号を近似するための予測式と予測係数について説明する。
一例として、ＹＵＶ信号の色空間の信号に分離し、Ｙ信号を基準信号、Ｕ信号及びＶ信号を被予測信号とする場合、予測手段は線形結合の乗数ａ及び補正値ｂを予測係数とし、小領域単位で推定できる。ある小領域Ｒに属する座標ベクトルｘのＵ信号及びＶ信号の予測式は数１で与えられる。

ここで、Ｙ（ｘ），Ｕ（ｘ），Ｖ（ｘ）は、それぞれＹＵＶ信号の画素値を表す。（）内のｘはベクトルである。ただし、基準信号には誤差の伝播を防ぐため量子化誤差が含まれている。

予測係数は、予測誤差の２乗を最小にするように推定する。
具体的にＵ信号に対する予測係数ａ_ｕ及びｂ_ｕについて、算出方法の一例を述べる。予測誤差の２乗Ｅ²は、数２で表される。

このとき、２乗誤差Ｅ_ｕ ²の係数ａ及びｂによる偏微分は数３で表される。

ここで、ｎは小領域Ｒに属する画素数を表す。
２乗誤差Ｅ²を最小化するには数３が「０」になることが必要なので、数４を解けば、予測係数ａ_ｕ及びｂ_ｕを算出できる。

数４を解くと２乗誤差Ｅ²を最小にする乗数ａ_ｕと補正値ｂ_ｕは数５で求められる。

なお、補正値ｂ_ｕは乗数ａ_ｕを用いて導出できるので、乗数ａ_ｕを量子化して符号化する場合は、量子化誤差を含む乗数で補正値を算出することで予測精度を向上させることが可能となる。
上述の計算では、Ｕ信号に対する予測係数ａ_ｕ及びｂ_ｕを求めたが、Ｖ信号に対する予測係数ａ_ｖ及びｂ_ｖも数５のＵ（ベクトルｘ）をＶ（ベクトルｘ）に差し替えるだけで同様の方式を用いることが可能である。

信号間補償手段９は、信号間冗長性を予測して信号間予測信号を再構成するもので、信号間予測手段８からの信号間予測情報と、第一の加算器１３からの信号内予測残差信号とから信号間予測信号を得る（ステップ５４）。すなわち、信号間補償手段９は、信号間予測手段８から送られる信号間予測情報と第一の加算器１３から送られる信号間予測残差信号から被予測信号を近似する信号間予測信号を生成する。生成された信号間予測信号は、第一の加算器１３及び第二の差分器１２に出力される。
上述の例で、信号間予測手段８が線形結合を利用し、信号間予測情報が乗数ａおよび補正値ｂから構成されている場合は、予測信号は上述した数１で生成される。

上述した構成の画像符号化装置によれば、変換手段１で各単位ブロックの符号化対象領域の画素についての変換を行うに際して、色空間で分離された信号（ＲＧＢ信号，ＹＵＶ信号，ＹＣｂＣｒ信号等）について、第二の差分器１２から入力される信号間予測誤差信号に基づいて空間的に対応する各画素の差分値を変換し、量子化手段２及び符号化手段３により符号化される。
変換手段１に入力される信号間予測誤差信号は、既に符号化された画像領域の再生画素信号及び再生された信号内予測誤差信号から信号内予測及び信号間予測を行うことで算出する。

すなわち、単位ブロックの符号化対象領域の各画素信号について符号化を行う場合、符号化対象画素の周辺の符号化済の画素信号について、逆量子化手段４及び逆変換手段５を介することで、信号間予測残差信号を再生し、第一の加算器１３及び第二の加算器１４を介して信号内予測残差信号を再生し、信号内予測手段６及び信号内補償手段７に出力される。同時に、第一の加算器１３を介して信号内予測残差信号が再生され、信号間予測手段８及び信号間補償手段９に出力される。

信号内予測手段６へは、入力画像が入力され、信号内予測情報により信号内補償手段７で信号内予測信号が生成され、第一の差分器１１に出力される。
第一の差分器１１では、入力画像と信号内予測信号の差分により信号内予測残差信号が生成され、信号間予測手段８及び第二の差分器１２に出力される。

信号間予測手段８では、第一の差分器１１からの信号内予測残差信号と、第一の加算器１３からの信号内予測残差信号により信号間予測情報が算出されて信号間予測信号が生成され、第二の差分器１２に出力される。
第二の差分器１２では、第一の差分器１１からの信号内予測残差信号と信号間予測信号の差分により信号間予測残差信号が生成され、この信号間予測残差信号が変換手段１に入力されることで、既に符号化された画像領域の画素信号からのイントラ予測を行うとともに、色空間における基準信号から他の信号を予測して被予測信号とすることで、空間冗長性を削減して被予測信号の情報量を削減し、符号化効率を向上させることができる。

上述した画像符号化装置によれば、入力信号を複数の信号に分離し、基準となる信号から他の信号を予測して被予測信号における情報の発生量を削減する信号予測を採用することで、高い符号化効率が可能となる。また、時間的冗長性などを削減する従来の予測方式と組み合わせることが可能であり、更なる符号化効率の向上を図ることが可能となる。
また、上述した信号間予測残差信号について直交変換・量子化・符号化を行って得られる符号列は符号化手段３から出力されるが、画像復号装置（図示せず）において、前記符号列を基に復号、逆量子化、逆変換して得られる信号間残差信号と、前記信号間予測信号と、前記信号内予測信号を使用して画像符号化装置と逆の処理を行うことで復号することができる。

１…変換手段、 ２…量子化手段、 ３…符号化手段、 ４…逆量子化手段、 ５…逆変換手段、 ６…信号内予測手段、 ７…信号内補償手段、 ８…信号間予測手段、 ９…信号間補償手段、 １１…第一の差分器、 １２…第二の差分器、 １３…第一の加算器、 １４…第二の加算器、 ２０…Ｒ信号フレーム、 ２１…Ｒ信号ブロック（単位ブロック）。

Claims (14)

1. 複数画素を有する複数の単位ブロックから構成される入力画像信号を直交変換・量子化・符号化を行って単位ブロック毎に符号化を行う画像符号化装置において、
   直交変換・量子化された画像信号を復号することで得られた符号化済領域に該当する再構成画像信号を基に前記入力画像信号の符号化対象領域に該当する各画素に対して信号内予測するための信号内予測情報を算出する信号内予測手段と、
   前記信号内予測手段からの前記信号内予測情報と前記再構成画像信号とから信号内予測信号を得る信号内補償手段と、
   符号化対象領域となっている入力画像信号と前記信号内予測信号との差分処理により得られた信号内予測残差信号について基準信号と被予測信号とに分離し基準信号の各画素に対応する被予測信号の各画素について信号間予測するための信号間予測情報を算出する信号間予測手段と、
   直交変換・量子化された画像信号を復号することで得られた復号信号内予測残差信号と前記信号間予測手段からの信号間予測情報とから符号化対象領域の信号間予測信号を得る信号間補償手段とを有し、
   前記信号内予測残差信号と前記信号間予測信号との差分処理を行って得られた信号間予測残差信号について直交変換・量子化・符号化を行うことで前記被予測信号の各画素の符号化を行う一方、
   前記信号間予測手段における基準信号及び被予測信号は、前記信号内予測残差信号を色信号に分離した分離信号であり、
   前記信号間予測手段は、
   分離した信号から基準信号の選択及び被予測信号への信号間予測の適用の可否の組み合わせを決定する場合に、適用する信号の組み合わせを近傍画素の分散又は振幅、平均、信号内予測情報を用いて算出することで、
   当該組み合わせを符号化することなく信号間予測情報とする
   ことを特徴とする画像符号化装置。
2. 請求項１に記載の画像符号化装置により前記信号間予測残差信号について直交変換・量子化・符号化を行って得られる符号列を復号する画像復号装置であって、
   前記信号間予測信号と前記信号内予測信号を使用して復号する場合に、
   前記基準信号の選択及び前記被予測信号への信号間予測の適用の可否の組み合わせについて、前記した符号化しない信号間予測情報を使用して、復号される画像信号を得る
   ことを特徴とする画像復号装置。
3. 複数画素を有する複数の単位ブロックから構成される入力画像信号を直交変換・量子化・符号化を行って単位ブロック毎に符号化した信号の復号を行う画像符号化・復号装置において、
   直交変換・量子化された画像信号を復号することで得られた符号化済領域に該当する再構成画像信号を基に前記入力画像信号の符号化対象領域に該当する各画素に対して信号内予測するための信号内予測情報を算出する信号内予測手段と、
   前記信号内予測手段からの前記信号内予測情報と前記再構成画像信号とから信号内予測信号を得る信号内補償手段と、
   符号化対象領域となっている入力画像信号と前記信号内予測信号との差分処理により得られた信号内予測残差信号について基準信号と被予測信号とに分離し基準信号の各画素に対応する被予測信号の各画素について信号間予測するための信号間予測情報を算出する信号間予測手段と、
   直交変換・量子化された画像信号を復号することで得られた復号信号内予測残差信号と前記信号間予測手段からの信号間予測情報とから符号化対象領域の信号間予測信号を得る信号間補償手段とを有し、
   前記信号内予測残差信号と前記信号間予測信号との差分処理を行って得られた信号間予測残差信号について直交変換・量子化・符号化を行うことで前記被予測信号の各画素の符号化を行う一方、
   前記信号間予測手段における基準信号及び被予測信号は、前記信号内予測残差信号を色信号に分離した分離信号であり、
   前記信号間予測手段は、色信号に分離した信号から基準信号の選択及び各被予測信号への信号間予測の適用の可否について、基準信号の選択及び各被予測信号への信号間予測の全て非適用を含めた色信号の全ての組み合わせを決定する場合に、適用する信号の組み合わせを発生符号量と歪量との重み和から算出される符号化コストを最小化するように選定し、当該組み合わせを信号間予測情報として符号化を行い、
   前記信号間予測残差信号について直交変換・量子化・符号化を行うことで得られた符号列に対して復号を行うに際して、
   符号化された前記信号間予測情報から得られる信号間予測信号と、前記信号内予測信号を使用して復号される画像信号を得る
   ことを特徴とする画像符号化・復号装置。
4. 前記信号間予測手段は、基準信号と被予測信号との信号間の信号を予測する場合に、前記単位ブロック毎に予測可能とし、予測する場合は単位ブロック内の画素信号毎に予測の有無を設定可能とした請求項３に記載の画像符号化・復号装置。
5. 前記信号間予測手段は、分離した信号から基準信号の選択及び被予測信号への信号間予測の適用の可否の組み合わせを決定する場合に、適用する信号の組み合わせを近傍画素の分散又は振幅、平均、信号内予測情報を用いて算出する請求項３に記載の画像符号化・復号装置。
6. 前記信号間予測手段は，分離した信号から基準信号の選択及び被予測信号への信号間予測の適用の可否の組み合わせを決定する場合に、発生符号量と歪量との重み和から算出される符号化コストを最小化する基準信号及び最適な組み合わせと入力信号とから統計的機械学習によって予め辞書を作成しておき、該辞書をもとに入力された信号に対する前記組み合わせを推定する請求項３に記載の画像符号化・復号装置。
7. 前記信号間予測手段は、変化の小さい信号を基準信号としない選択する請求項３に記載の画像符号化・復号装置。
8. 前記信号間予測手段は、変化の大きい信号を被予測信号としない選択する請求項３に記載の画像符号化・復号装置。
9. 前記信号間予測手段は、基準信号が選定され被予測信号について信号間予測を適用する場合に、前記信号間予測は、領域毎に予測係数を推定して行う請求項３に記載の画像符号化・復号装置。
10. 前記信号間予測手段における予測係数は、乗数と補正値で構成する請求項９に記載の画像符号化・復号装置。
11. 前記信号間予測手段における予測係数は、基準信号による予測信号と被予測信号との誤差を最小になるよう推定する請求項９に記載の画像符号化・復号装置。
12. 複数画素を有する複数の単位ブロックから構成される入力画像信号を直交変換・量子化・符号化を行って単位ブロック毎に符号化した信号の復号を行う画像符号化・復号方法において、
    直交変換・量子化された画像信号を復号することで得られた符号化済領域に該当する再構成画像信号を基に前記入力画像信号の符号化対象領域に該当する各画素に対して信号内予測するための信号内予測情報を算出する手順と、
    前記信号内予測手段からの前記信号内予測情報と前記再構成画像信号とから信号内予測信号を得る手順と、
    符号化対象領域となっている入力画像信号と前記信号内予測信号との差分処理により得られた信号内予測残差信号について基準信号と被予測信号とに分離し基準信号の各画素に対応する被予測信号の各画素について信号間予測するための信号間予測情報を算出する手順と、
    直交変換・量子化された画像信号を復号することで得られた復号信号内予測残差信号と前記信号間予測手段からの信号間予測情報とから符号化対象領域の信号間予測信号を得る手順と、
    前記信号内予測残差信号と前記信号間予測信号との差分処理を行って得られた信号間予測残差信号について直交変換・量子化・符号化を行うことで前記被予測信号の各画素の符号化を行う手順と、を有し、
    前記信号間予測情報における基準信号及び被予測信号は、前記信号内予測残差信号を色信号に分離した分離信号であり、
    分離した信号から基準信号の選択及び被予測信号への信号間予測の適用の可否の組み合わせを決定する場合に、適用する信号の組み合わせを近傍画素の分散又は振幅、平均、信号内予測情報を用いて算出することで、
    当該組み合わせを符号化することなく信号間予測情報とする一方、
    前記信号間予測信号と前記信号内予測信号を使用して復号する場合に、
    前記基準信号の選択及び前記被予測信号への信号間予測の適用の可否の組み合わせについて、前記した符号化しない信号間予測情報を使用して、復号される画像信号を得る
    ことを特徴とする画像符号化・復号方法。
13. 複数画素を有する複数の単位ブロックから構成される入力画像信号を直交変換・量子化・符号化を行って単位ブロック毎に符号化した信号の復号を行う画像符号化・復号方法において、
    直交変換・量子化された画像信号を復号することで得られた符号化済領域に該当する再構成画像信号を基に前記入力画像信号の符号化対象領域に該当する各画素に対して信号内予測するための信号内予測情報を算出する手順と、
    前記信号内予測手段からの前記信号内予測情報と前記再構成画像信号とから信号内予測信号を得る手順と、
    符号化対象領域となっている入力画像信号と前記信号内予測信号との差分処理により得られた信号内予測残差信号について基準信号と被予測信号とに分離し基準信号の各画素に対応する被予測信号の各画素について信号間予測するための信号間予測情報を算出する手順と、
    直交変換・量子化された画像信号を復号することで得られた復号信号内予測残差信号と前記信号間予測手段からの信号間予測情報とから符号化対象領域の信号間予測信号を得る手順と、
    前記信号内予測残差信号と前記信号間予測信号との差分処理を行って得られた信号間予測残差信号について直交変換・量子化・符号化を行うことで前記被予測信号の各画素の符号化を行う手順と、を有し、
    前記信号間予測情報における基準信号及び被予測信号は、前記信号内予測残差信号を色信号に分離した分離信号であり、
    色信号に分離した信号から基準信号の選択及び各被予測信号への信号間予測の適用の可否について、基準信号の選択及び各被予測信号への信号間予測の全て非適用を含めた色信号の全ての組み合わせを決定する場合に、適用する信号の組み合わせを発生符号量と歪量との重み和から算出される符号化コストを最小化するように選定し、当該組み合わせを信号間予測情報として符号化を行い、
    前記信号間予測残差信号について直交変換・量子化・符号化を行うことで得られた符号列に対して復号を行うに際して、
    符号化された前記信号間予測情報から得られる信号間予測信号と、前記信号内予測信号を使用して復号される画像信号を得る
    ことを特徴とする画像符号化・復号方法。
14. 前記請求項１２又は請求項１３に記載の各手順をコンピュータに実行させることを特徴とする画像符号化・復号プログラム。

Images