JP2012095099A - 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム - Google Patents

Abstract

【課題】従来の動画像符号化／復号では、動き補償予測のブロックサイズが固定であるため、ブロック内で異なる動きが発生している場合でも、ブロックを更に分割した動き補償予測を行うことができず、符号化効率が低下する。
【解決手段】動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３は、符号化対象ブロックに対して動きベクトルを検出し、符号化対象ブロックに隣接する未符号化ブロックの領域を分割して一部の領域を符号化対象ブロックの拡張領域に設定するかどうかを決定する。動き補償部１０４は、符号化対象ブロックの動きベクトルを用いて、参照画像から符号化対象ブロックに対応する予測ブロックを生成するとともに、未符号化ブロック内に拡張領域が設定された場合は、拡張領域について符号化対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成する。
【選択図】図１

Description

本発明は、動画像の符号化及び復号技術に関し、特に動き補償予測を利用した動画像の符号化及び復号技術に関する。

ＭＰＥＧ（Moving Picture Experts Group）に代表される動画像の圧縮符号化では、フレーム間の相関を用いて符号量を圧縮する動き補償予測符号化が多く用いられる。動き補償予測符号化では、符号化画像と参照画像の各ブロックの相対位置関係を示す動きベクトルが必要である。この動きベクトルは、ブロック間の誤差評価値が小さいほど動き補償予測の精度が向上し、符号化効率が向上する。

ここで、上記の誤差評価値とは、一般に、ブロックマッチングを用いて、ブロック間の相違をＳＡＤ（Sum of Absolute Difference：絶対差分和）やＳＳＤ（Sum of Squared Difference：差分二乗和）などで表現した予測誤差や、動きベクトル符号量やＤＣＴ（離散コサイン変換：Discrete Cosine Transform）係数符号量に基づいた符号量換算などで表現したものである。

最新の動画像符号化標準であるＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）などの符号化では、動き補償予測を行うことが可能なブロックサイズ（１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４）を予め定義している。このように動き補償予測のブロックサイズを定義しておくことは、動き補償予測に関する最大処理量を定義することに結び付くため、特に復号装置のハードウェア化などに非常に有用である。

しかしながら、このように動き補償予測のブロックサイズを固定的に定義してしまうと、ブロック内で異なる動きが発生している場合に、ブロックを更に分割した動き補償予測を行うことができず、符号化効率が低下してしまうという課題がある。

そこで、特許文献１のように、さまざまな形状の動き補償ブロックを符号化のモードとして定義し、より柔軟な形状で動き補償予測を行う技術が既に開示されている。

再公表特許第ＷＯ２００３−０２６３１５号公報

しかしながら、特許文献１に開示された方法では、すべての形状の動き補償予測に対応するには膨大なモード数を定義する必要があり、伝送するモードの符号量も増加する。また、ブロックを分割した分だけ動きベクトルが余分に必要になるため、動きベクトルの符号量が増加する。さらに、モードを増加させた分だけ符号化／復号の処理が複雑になり、符号化／復号装置の規模が大きくなってしまうなどの課題がある。

このように、従来の動画像符号化／復号では、動き補償予測のブロックサイズを固定していたため、ブロック内で異なる動きが発生している場合に、ブロックを更に分割した動き補償予測を行うことができず、符号化効率が低下してしまう。

本発明はこうした状況に鑑みてなされたものであり、その目的は、ブロック内で異なる動きが発生している場合にもそれぞれの動きに対応した効率の良い動き補償予測を可能にすることで、予測誤差を減少させて符号化効率を向上させる技術を提供することにある。

上記課題を解決するために、本発明のある態様の動画像符号化装置は、符号化対象ブロックに対して動きベクトルを検出する動きベクトル検出部（１０３）と、前記符号化対象ブロックに隣接する未符号化ブロックの領域を分割して、前記符号化対象ブロックに接する領域を符号化対象ブロックの拡張領域に設定するか否かを決定する領域拡張決定部（１０３）と、前記符号化対象ブロックの動きベクトルを用いて、参照画像から前記符号化対象ブロックに対応する予測ブロックを生成するとともに、前記未符号化ブロック内に前記拡張領域が設定された場合は、前記拡張領域について前記符号化対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成する動き補償部（１０４）と、前記符号化対象ブロックに対応する予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、前記動きベクトルと、前記拡張領域に関する情報とを符号化する符号化部（１０５）とを備える。

本発明の別の態様は、動画像符号化方法である。この方法は、符号化対象ブロックに対して動きベクトルを検出するステップと、前記符号化対象ブロックに隣接する未符号化ブロックの領域を分割して、前記符号化対象ブロックに接する領域を符号化対象ブロックの拡張領域に設定するか否かを決定するステップと、前記符号化対象ブロックの動きベクトルを用いて、参照画像から前記符号化対象ブロックに対応する予測ブロックを生成するとともに、前記未符号化ブロック内に前記拡張領域が設定された場合は、前記拡張領域について前記符号化対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成するステップと、前記符号化対象ブロックに対応する予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、前記動きベクトルと、前記拡張領域に関する情報とを符号化するステップとを備える。

本発明のさらに別の態様は、動画像復号装置である。この装置は、符号化ストリームより、復号対象ブロックに対する動きベクトルと、前記復号対象ブロックに隣接する未復号ブロック内に設定されうる拡張領域に関する情報とを復号する復号部（２０１）と、前記復号対象ブロックの動きベクトルを用いて、参照画像から前記復号対象ブロックに対応する予測ブロックを生成するとともに、前記未復号ブロック内に前記拡張領域が設定されていた場合は、前記拡張領域について前記復号対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成する動き補償部（２０３）と、前記復号対象ブロックに対応する予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックとを加算することにより、復号画像を生成する加算部（２０９）とを備える。

本発明のさらに別の態様は、動画像復号方法である。この方法は、符号化ストリームより、復号対象ブロックに対する動きベクトルと、前記復号対象ブロックに隣接する未復号ブロック内に設定されうる拡張領域に関する情報とを復号するステップと、前記復号対象ブロックの動きベクトルを用いて、参照画像から前記復号対象ブロックに対応する予測ブロックを生成するとともに、前記未復号ブロック内に前記拡張領域が設定されていた場合は、前記拡張領域について前記復号対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成するステップと、前記復号対象ブロックに対応する予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックとを加算することにより、復号画像を生成するステップとを備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ブロック内で異なる動きが発生している場合にもそれぞれの動きに対応した効率の良い動き補償予測を可能にすることで、予測誤差を減少させて符号化効率を向上させることができる。

実施の形態に係る動画像符号化装置の構成を示すブロック図である。 図１の動きベクトル検出・未符号化隣接ブロック領域拡張決定部による未符号化ブロックの領域分割を決定する手順を説明するフローチャートである。 符号化対象ブロックに隣接する２つの未符号化ブロックの内、一方については領域分割し、他方については領域分割しないと決定した場合のブロック拡張動き補償を説明する図である。 未符号化ブロック領域拡張の決定方法を説明する図である。 未符号化領域拡張情報のシンタックスを示す図である。 未符号化領域拡張情報を説明する図である。 実施の形態に係る動画像復号装置の構成を示すブロック図である。

以下、本発明の実施の形態について図面を参照して説明する。

図１は、実施の形態に係る動画像符号化装置の構成を示すブロック図である。動画像符号化装置は、直交変換・量子化部１０１、逆量子化・逆直交変換部１０２、動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３、動き補償部１０４、可変長符号化部１０５、参照画像メモリ１０６、動き補償キャッシュ１０７、減算部１０８、および加算部１０９を備える。

動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３は、入力された原画像信号と、参照画像メモリ１０６に蓄積された復号済の参照画像信号とから、動きベクトルを検出する。動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３は、符号化対象ブロックに隣接する未符号化ブロックについて予測誤差評価値を算出して、未符号化ブロックを領域分割して未符号化ブロックの一部の領域を符号化対象ブロックの拡張領域に設定するかどうかを決定する。動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３の動作の詳細については後述する。

動き補償部１０４は、動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３により検出された動きベクトルを用いて、動き補償予測を行う。動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３によって符号化対象ブロックに隣接する未符号化ブロックの一部が当該符号化対象ブロックの拡張領域に設定された場合は、動き補償部１０４は、符号化対象ブロックの拡張領域についても符号化対象ブロックと同一の動きベクトルを用いて動き補償予測し、拡張領域に対応する動き補償予測画像を動き補償キャッシュ１０７に格納する。動き補償部１０４の動作の詳細については後述する。

減算部１０８は、符号化対象原画像と動き補償部１０４で算出した動き補償予測画像との差分により、予測残差成分を算出し、直交変換・量子化部１０１に与える。直交変換・量子化部１０１は、予測残差成分の直交変換・量子化を行う。

ここで、直交変換・量子化部１０１は、動き補償予測のサイズに対応した直交変換サイズを使用して直交変換を行う。つまり、動き補償予測のサイズとして１６×４／１６×８／１６×１２（垂直方向に４の倍数）が許容されている場合、少なくとも１６×４又は８×４又は４×４（垂直方向に４の倍数）の直交変換サイズを使用できるようにする。他の例として、動き補償予測のサイズとして１６×２／１６×４／１６×６／１６×８／１６×１０／１６×１２（垂直方向に２の倍数）が許容されている場合、少なくとも１６×２又は８×２又は４×２（垂直方向に２の倍数）の直交変換サイズを使用できるようにする。これにより、動き補償予測の予測誤差を直交変換する際に、直交変換する予測誤差集合の中に動き補償予測の境界が含まれることがなくなる。これにより、動き補償予測の境界をまたいだ画素を予測誤差として一緒に直交変換することによる直交変換効率の低下を防止することができ、符号化効率を一層向上させる効果を奏する。

可変長符号化部１０５は、直交変換・量子化部１０１で直交変換・量子化された予測残差成分を可変長符号化するとともに、動き補償部１０４で用いられた動きベクトルと動き補償の拡張領域を示す情報（「未符号化領域拡張情報」と呼ぶ）とを可変長符号化する。動きベクトルと未符号化領域拡張情報はラスタ順（すなわち、左上のブロックから右下のブロックへの順）で伝送する。

逆量子化・逆直交変換部１０２は、直交変換・量子化部１０１によって直交変換・量子化された予測残差成分に対して、逆量子化及び逆直交変換を行う。直交変換・量子化部１０１と同様に、動き補償予測のサイズに対応したサイズで逆直交変換できるようにしておく。

加算部１０９は、逆量子化・逆直交変換部１０２により復号された予測残差成分と、動き補償部１０４により算出された動き補償予測画像とを加算することで参照画像を生成し、参照画像メモリ１０６に格納する。

参照画像メモリ１０６には、局部復号された参照画像が蓄積される。動き補償キャッシュ１０７は、符号化対象ブロックに隣接する未符号化ブロック内の拡張領域について、動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３により検出された動きベクトルを用いて、参照画像メモリ１０６に蓄積された参照画像から動き補償予測された画像を一時的に格納する。なお、参照画像メモリ１０６と比較して動き補償キャッシュ１０７は、高速アクセスできる物理デバイスであるとする。

以上の構成による動画像符号化装置の動作、特に、動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３の動作を説明する。

図２は、動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３による未符号化ブロックの領域分割を決定する手順を説明するフローチャートである。

まず、従来の動きベクトル検出手順と同様に、設定したサーチ範囲内において、符号化対象ブロックの動きベクトルを検出する（Ｓ１１）。

ここで、動きベクトルはブロックマッチング法を用いて検出する。動きベクトル検出のアルゴリズムは指定した探索領域内の候補ベクトルをすべて評価するフルサーチの他、演算量を削減するため、さまざまな動き特性から探索する候補ベクトルを絞り込んで探索する高速サーチなどいろいろな方法が存在するが、どのようなアルゴリズムを用いても構わない。

次に、動きベクトルをサーチした中で、誤差評価値が最小のベクトルを符号化対象ブロックの動きベクトルに決定する（Ｓ１２）。ここまでは従来の動きベクトル検出手順と何ら変わりはない。本実施の形態では更に、決定した動きベクトルについて、隣接する未符号化ブロックの誤差評価値を算出・評価し、未符号化ブロックの領域分割方法を決定する（Ｓ１３）。

図３および図４を参照して、隣接する未符号化ブロックの領域分割方法の詳細について説明する。

図３は、符号化対象ブロックに隣接する２つの未符号化ブロックの内、一方については領域分割し、他方については領域分割しないと決定した場合のブロック拡張動き補償を説明する図である。

符号化対象ブロック１０の右側には未符号化ブロックＡ（符号１２）が隣接しており、符号化対象ブロック１０の下側には未符号化ブロックＢ（符号１４）が隣接している。ここでは符号化対象ブロック１０の右側に隣接する未符号化ブロックＡについては領域分割しないと決定され、下側に隣接する未符号化ブロックＢについては領域分割すると決定されたとする。

符号化対象ブロック１０について動きベクトルＭＶ１を用いて動き補償予測し、符号化対象ブロック１０の動き補償予測画像２０を得る。未符号化ブロックＡは領域分割しないと決定されたため、符号化対象ブロックの符号化の際は、未符号化ブロックＡについては従来の符号化と同様に何も行われない。

一方、未符号化ブロックＢは領域分割すると決定されたため、未符号化ブロックＢの一部の分割領域１３を符号化対象ブロック１０の拡張領域として、拡張領域についても符号化対象ブロックと同じ動きベクトルＭＶ１を用いて動き補償予測し、拡張領域に対応する動き補償予測画像２３を動き補償キャッシュ１０７に格納する。

領域分割された未符号化ブロックＢを符号化する際、拡張領域については動き補償キャッシュ１０７から拡張領域に対応する動き補償予測画像２３を取得し、拡張領域以外については通常通り、動きベクトルＭＶ２を検出して、動きベクトルＭＶ２を用いた動き補償予測を行い、拡張領域以外の領域に対応する動き補償予測画像２５を生成する。このように、領域分割された未符号化ブロックＢの動き補償予測では、拡張領域については既に符号化済みのブロック１０と同一の動きベクトルＭＶ１による動き補償予測画像２３が用いられ、拡張領域以外の領域については当該未符号化ブロックＢの動きベクトルＭＶ２による動き補償予測画像２５が用いられる。

図４（ａ）、（ｂ）は、未符号化ブロック領域拡張の決定方法を説明する図である。同図に示す値は、符号化対象ブロックに隣接する未符号化ブロックを符号化対象ブロックと同一の動きベクトルで動き補償予測した時の原画像との差分値（予測誤差）である。

図４（ａ）は、図３の未符号化ブロックＡの各画素の予測誤差を示す。未符号化ブロックＡは、符号化対象ブロック１０の右方向に隣接しているため、水平方向の動きベクトルの連続性を期待することができる。そこで、垂直方向のライン毎に各画素の予測誤差の絶対値の総和、すなわち原画像との絶対差分和（ＳＡＤ）を算出する。そして、各垂直ラインの絶対差分和が水平方向に連続しているかどうか判断する。

本例では、未符号化ブロックＡの第１垂直ライン、第２垂直ライン、第３垂直ライン、第４垂直ラインの絶対差分和はそれぞれ３２、２６、２４、９である。連続する２つの垂直ライン間で絶対差分和に所定の閾値を超える差はないため、未符号化ブロックＡについては領域を分割しないことを決定する。

図４（ｂ）は、図３の未符号化ブロックＡの各画素の予測誤差を示す。未符号化ブロックＢは、符号化対象ブロック１０の下方向に隣接しているため、垂直方向の動きベクトルの連続性を期待することができる。そこで、水平方向のライン毎に各画素の予測誤差の絶対値の総和、すなわち原画像との絶対差分和（ＳＡＤ）を算出する。そして、各水平ラインの絶対差分和が垂直方向に連続しているかどうか判断する。

本例では、未符号化ブロックＢの第１水平ライン、第２水平ライン、第３水平ライン、第４水平ラインの絶対差分和はそれぞれ５、４、３９、６０である。上側２ライン（第１、第２水平ライン）と下側２ライン（第３、第４水平ライン）の絶対差分和が所定の閾値を超えて大きく異なっており、且つ、上側２ラインの絶対差分和の値が所定の閾値（例えば１０）よりも小さい。これは、未符号化ブロックＢの上側２ライン分は、符号化対象ブロック１０と動きの連続性があることを意味している。そこで、未符号化ブロックＢについては、上側２ラインと下側２ラインで領域分割し、上側２ライン分を符号化対象ブロック１０の拡張領域とし、未符号化ブロックＢの拡張領域については符号化対象ブロック１０と同一の動きベクトルを用いて動き補償予測を行うことを決定する。

隣接する未符号化ブロックを領域分割すると決定した場合、動きベクトル検出・未符号化隣接ブロック領域拡張決定部１０３は、隣接する未符号化ブロックをどのように領域分割したかを示す情報（「未符号化領域拡張情報」）を動き補償部１０４に供給する。未符号化領域拡張情報は、符号化対象ブロックを右方向または下方向に拡張した場合の拡張領域のサイズ（画素数）に関する情報を含む。

次に、動き補償部１０４の動作の詳細について説明する。符号化対象ブロックに隣接する未符号化ブロックの領域を分割して拡張領域として用いることが決定された場合、動き補償部１０４は、符号化対象ブロックの動きベクトルを用いて符号化対象ブロックの動き補償予測を行うと共に、符号化対象ブロックに隣接する未符号化ブロック内の拡張領域についても符号化対象ブロックと同一の動きベクトルを用いて拡張領域の動き補償予測を行い、拡張領域に対応する動き補償予測画像を動き補償キャッシュ１０７に格納する。また、動き補償部１０４は、隣接する未符号化ブロックの拡張領域に関する情報（「未符号化領域拡張情報」）を可変長符号化部１０５に供給する。

その後、動き補償部１０４が未符号化ブロックを新たな符号化対象ブロックとして符号化する際、未符号化ブロックが領域分割されている場合は、動き補償部１０４は、拡張領域については動き補償キャッシュ１０７から拡張領域に対応する動き補償画像を取得し、拡張領域以外の領域については通常通り、動きベクトルを検出し、参照画像メモリ１０６に蓄積された参照画像から動き補償予測を行う。動き補償部１０４は、拡張領域に対応する動き補償画像と拡張領域以外の領域に対応する動き補償画像とを合わせて当該未符号化ブロックに対応する動き補償画像を生成する。

図５および図６を参照して、未符号化領域拡張情報のシンタックスについて説明する。図５は、未符号化領域拡張情報のシンタックスを示す図である。図６は、未符号化領域拡張情報を説明する図である。

図５に示すように、未符号化領域拡張情報はマクロブロック単位で伝送する。まず、未符号化領域を分割するかどうかを示すフラグｕｓｅ＿ｍｃ＿ｂｌｏｃｋ＿ｅｘｐａｎｓｉｏｎを伝送する。ｕｓｅ＿ｍｃ＿ｂｌｏｃｋ＿ｅｘｐａｎｓｉｏｎ＝０の場合、従来と同様にマクロブロック内で完結した動き補償予測を行う。ｕｓｅ＿ｍｃ＿ｂｌｏｃｋ＿ｅｘｐａｎｓｉｏｎ＝１の場合は、本実施の形態の未符号化領域拡張を行うことを示し、この場合、水平方向のブロック拡張サイズを示す値ｅｘｐａｎｓｉｏｎ＿ｗｉｄｔｈと、垂直方向のブロック拡張サイズを示す値ｅｘｐａｎｓｉｏｎ＿ｈｅｉｇｈｔを続けて伝送する。

図６は、符号化対象ブロック１０の右に隣接する未符号化ブロック１２内の拡張領域の幅を示すｅｘｐａｎｓｉｏｎ＿ｗｉｄｔｈと、符号化対象ブロック１０の下に隣接する未符号化ブロック１４内の拡張領域の高さを示すｅｘｐａｎｓｉｏｎ＿ｗｉｄｔｈを示す。ここで、ｅｘｐａｎｓｉｏｎ＿ｗｉｄｔｈとｅｘｐａｎｓｉｏｎ＿ｈｅｉｇｈｔはそれぞれ独立して設定可能であり、０以上マクロブロックサイズ未満の範囲の値となる。ただし、ｅｘｐａｎｓｉｏｎ＿ｗｉｄｔｈとｅｘｐａｎｓｉｏｎ＿ｈｅｉｇｈｔが両方同時に０に設定されることはない。

また、別のシンタックスの例として、ｅｘｐａｎｓｉｏｎ＿ｗｉｄｔｈとｅｘｐａｎｓｉｏｎ＿ｈｅｉｇｈｔの代わりに、ｅｘｐａｎｓｉｏｎ＿ｒｉｇｈｔとｅｘｐａｎｓｉｏｎ＿ｄｏｗｎを伝送することも可能である。この場合、各シンタックスはそれぞれ、右の未符号化ブロックに対して未符号化領域拡張動き補償予測を行うかどうか、下の未符号化ブロックに対して未符号化領域拡張動き補償予測を行うかどうかの１ビット情報のみを伝送する。未符号化領域拡張動き補償を行う場合、未符号化ブロック全体に対して同一動きベクトルによる動き補償予測が実行される。そのため、ｅｘｐａｎｓｉｏｎ＿ｗｉｄｔｈとｅｘｐａｎｓｉｏｎ＿ｈｅｉｇｈｔを伝送する場合と比較して、詳細な動き補償予測領域分割情報を示すことはできないが、伝送する情報量符号量が少なく済む。

このように、本実施の形態では、動画像符号化装置において動きベクトル検出及び動き補償予測を行う際に、符号化対象ブロックに隣接する未符号化ブロック内に拡張した領域の動きも同時に評価し、隣接する未符号化ブロックの領域の一部に同一の動きが発生していると判断した場合は、未符号化ブロックを領域分割する。そして、未符号化ブロック内の拡張した領域に対して符号化対象ブロックと同一の動きベクトルを用いた動き補償予測を行うことで、未符号化ブロック内で異なる動きが発生している場合にもそれぞれの動きに対応した効率の良い動き補償予測が可能となり、符号化効率を向上させることができる。

また、未符号化領域ブロック内の拡張した領域の動き補償予測では、隣接する符号化対象ブロックと同一の動きベクトルを利用するため、動きベクトルは既に伝送済みであり、動きベクトルを伝送する必要がないため、動きベクトルの符号量が増加しない。

さらに、符号化対象ブロックと同一の動きベクトルを使用する場合に、拡張した領域の動き補償予測画像を予め動き補償キャッシュに格納しておくことで、参照画像へのメモリアクセスを増やすことなく１つのブロック内で複数の動きベクトルを利用した動き補償を行うことができる。

図７は、実施の形態に係る動画像復号装置の構成を示すブロック図である。動画像復号装置は、可変長復号部２０１、逆量子化・逆直交変換部２０２、動き補償部２０３、参照画像メモリ２０４、動き補償キャッシュ２０５、および加算部２０９を備える。

可変長復号部２０１は、直交変換・量子化されている予測残差成分信号、動きベクトル、および未符号化領域拡張情報を可変長復号する。

動き補償部２０３は、図１の動画像符号化装置の動き補償部１０４と同一の機能を持ち、可変長復号部２０１で復号された動きベクトルを用いて、復号対象ブロックについて参照画像メモリ２０４に蓄積されている参照画像から動き補償予測を行うとともに、復号対象ブロックに隣接する未復号ブロック内に拡張領域が設定されている場合は、拡張領域についても復号対象ブロックと同一の動きベクトルを用いて動き補償予測し、拡張領域に対応する動き補償予測画像を動き補償キャッシュ２０５に格納する。動き補償部２０３の動作の詳細は後述する。

逆量子化・逆直交変換部２０２は、図１の動画像符号化装置の逆量子化・逆直交変換部１０２と同一の機能を持ち、可変長復号部２０１で復号された予測残差成分に対して逆量子化及び逆直交変換を行う。

加算部２０９は、逆量子化・逆直交変換部２０２により復号された予測残差成分と、動き補償部２０３により算出された動き補償予測画像とを加算することにより、画像信号を復号する。

参照画像メモリ２０４は、図１の動画像符号化装置の参照画像メモリ１０６と同一であり、復号された参照画像を蓄積する。動き補償キャッシュ２０５は、復号対象ブロックに隣接する未復号ブロック内の拡張領域について、可変長復号部２０１で復号された動きベクトルを用いて、参照画像メモリ２０４に蓄積された参照画像から動き補償予測した画像を一時的に格納する。なお、参照画像メモリ２０４と比較して動き補償キャッシュ２０５は、高速アクセスできる物理デバイスであるとする。

動き補償部２０３の動作を詳細に説明する。可変長復号部２０１により復号された未符号化領域拡張情報が当該復号対象ブロックは領域拡張されていないことを示している、すなわちｕｓｅ＿ｍｃ＿ｂｌｏｃｋ＿ｅｘｐａｎｓｉｏｎ＝０の場合は、従来と同様にマクロブロック内で完結した動き補償予測を行う。復号された未符号化領域拡張情報が当該復号対象ブロックは領域拡張されていることを示している、すなわちｕｓｅ＿ｍｃ＿ｂｌｏｃｋ＿ｅｘｐａｎｓｉｏｎ＝１の場合は、復号対象ブロックを領域拡張する。具体的には、動き補償部２０３は、復号された動きベクトルを用いて復号対象ブロックの動き補償予測を行うと共に、復号対象ブロックに隣接する未復号ブロック内の拡張領域についても復号対象ブロックと同一の動きベクトルを用いて動き補償予測し、拡張領域に対応する動き補償予測画像を動き補償キャッシュ２０５に格納する。

その後、未復号ブロックを新たな復号対象ブロックとして復号する際、動き補償部２０３は、拡張領域については動き補償キャッシュ２０５から拡張領域に対応する動き補償画像を取得し、拡張領域以外の領域については通常通り、復号した動きベクトルを用いて参照画像メモリ２０４に蓄積された参照画像から動き補償予測を行う。動き補償部２０３は、拡張領域に対応する動き補償画像と拡張領域以外の領域に対応する動き補償画像とを合わせて当該未復号ブロックに対応する動き補償画像を生成する。よって、参照画像メモリ２０４にアクセスして動き補償予測を行うのは拡張領域以外だけであり、従来の動画像復号と比較して参照画像メモリ２０４へのアクセスを、増やすことなく１つのブロック内で複数の動きベクトルを利用した動き補償が可能となる。

以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０１ 直交変換・量子化部、 １０２ 逆量子化・逆直交変換部、 １０３ 動きベクトル検出・未符号化隣接ブロック領域拡張決定部、 １０４ 動き補償部、 １０５ 可変長符号化部、 １０６ 参照画像メモリ、 １０７ 動き補償キャッシュ、 １０８ 減算部、 １０９ 加算部、 ２０１ 可変長復号部、 ２０２ 逆量子化・逆直交変換部、 ２０３ 動き補償部、 ２０４ 参照画像メモリ、 ２０５ 動き補償キャッシュ、 ２０９ 加算部。

Claims (9)

1. 符号化対象ブロックに対して動きベクトルを検出する動きベクトル検出部と、
   前記符号化対象ブロックに隣接する未符号化ブロックの領域を分割して、前記符号化対象ブロックに接する領域を符号化対象ブロックの拡張領域に設定するか否かを決定する領域拡張決定部と、
   前記符号化対象ブロックの動きベクトルを用いて、参照画像から前記符号化対象ブロックに対応する予測ブロックを生成するとともに、前記未符号化ブロック内に前記拡張領域が設定された場合は、前記拡張領域について前記符号化対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成する動き補償部と、
   前記符号化対象ブロックに対応する予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、前記動きベクトルと、前記拡張領域に関する情報とを符号化する符号化部とを備えることを特徴とする動画像符号化装置。
2. 前記領域拡張決定部は、前記符号化対象ブロックの動きベクトルを用いたときの前記未符号化ブロックの予測誤差に関する評価値にもとづいて、前記拡張領域に設定すべき前記未符号化ブロックの領域を決定することを特徴とする請求項１に記載の動画像符号化装置。
3. 前記未符号化ブロック内の前記拡張領域について前記符号化対象ブロックの動きベクトルを用いて生成された前記拡張領域に対応する予測ブロックを一時的に格納するキャッシュメモリをさらに備え、
   前記動き補償部は、前記未符号化ブロックを新たな符号化対象ブロックとして動き補償する際、前記拡張領域については前記キャッシュメモリから前記拡張領域に対応する予測ブロックを取得し、前記未符号化ブロックの前記拡張領域以外の領域については、前記動きベクトル検出部により検出された動きベクトルを用いて、参照画像から前記拡張領域以外の領域に対応する予測ブロックを生成し、前記拡張領域に対応する予測ブロックと前記拡張領域以外の領域に対応する予測ブロックとを合わせて前記新たな符号化対象ブロックに対応する予測ブロックとすることを特徴とする請求項１または２に記載の動画像符号化装置。
4. 符号化対象ブロックに対して動きベクトルを検出するステップと、
   前記符号化対象ブロックに隣接する未符号化ブロックの領域を分割して、前記符号化対象ブロックに接する領域を符号化対象ブロックの拡張領域に設定するか否かを決定するステップと、
   前記符号化対象ブロックの動きベクトルを用いて、参照画像から前記符号化対象ブロックに対応する予測ブロックを生成するとともに、前記未符号化ブロック内に前記拡張領域が設定された場合は、前記拡張領域について前記符号化対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成するステップと、
   前記符号化対象ブロックに対応する予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、前記動きベクトルと、前記拡張領域に関する情報とを符号化するステップとを備えることを特徴とする動画像符号化方法。
5. 符号化対象ブロックに対して動きベクトルを検出する機能と、
   前記符号化対象ブロックに隣接する未符号化ブロックの領域を分割して、前記符号化対象ブロックに接する領域を符号化対象ブロックの拡張領域に設定するか否かを決定する機能と、
   前記符号化対象ブロックの動きベクトルを用いて、参照画像から前記符号化対象ブロックに対応する予測ブロックを生成するとともに、前記未符号化ブロック内に前記拡張領域が設定された場合は、前記拡張領域について前記符号化対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成する機能と、
   前記符号化対象ブロックに対応する予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、前記動きベクトルと、前記拡張領域に関する情報とを符号化する機能とをコンピュータに実現させることを特徴とする動画像符号化プログラム。
6. 符号化ストリームより、復号対象ブロックに対する動きベクトルと、前記復号対象ブロックに隣接する未復号ブロック内に設定されうる拡張領域に関する情報とを復号する復号部と、
   前記復号対象ブロックの動きベクトルを用いて、参照画像から前記復号対象ブロックに対応する予測ブロックを生成するとともに、前記未復号ブロック内に前記拡張領域が設定されていた場合は、前記拡張領域について前記復号対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成する動き補償部と、
   前記復号対象ブロックに対応する予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックとを加算することにより、復号画像を生成する加算部とを備えることを特徴とする動画像復号装置。
7. 前記未復号ブロック内の前記拡張領域について前記復号対象ブロックの動きベクトルを用いて生成された前記拡張領域に対応する予測ブロックを一時的に格納するキャッシュメモリをさらに備え、
   前記動き補償部は、前記未復号ブロックを新たな復号対象ブロックとして動き補償する際、前記拡張領域については前記キャッシュメモリから前記拡張領域に対応する予測ブロックを取得し、前記未復号ブロックの前記拡張領域以外の領域については、前記復号部により復号された動きベクトルを用いて、参照画像から前記拡張領域以外の領域に対応する予測ブロックを生成し、前記拡張領域に対応する予測ブロックと前記拡張領域以外の領域に対応する予測ブロックとを合わせて前記新たな復号対象ブロックに対応する予測ブロックとすることを特徴とする請求項６に記載の動画像復号装置。
8. 符号化ストリームより、復号対象ブロックに対する動きベクトルと、前記復号対象ブロックに隣接する未復号ブロック内に設定されうる拡張領域に関する情報とを復号するステップと、
   前記復号対象ブロックの動きベクトルを用いて、参照画像から前記復号対象ブロックに対応する予測ブロックを生成するとともに、前記未復号ブロック内に前記拡張領域が設定されていた場合は、前記拡張領域について前記復号対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成するステップと、
   前記復号対象ブロックに対応する予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックとを加算することにより、復号画像を生成するステップとを備えることを特徴とする動画像復号方法。
9. 符号化ストリームより、復号対象ブロックに対する動きベクトルと、前記復号対象ブロックに隣接する未復号ブロック内に設定されうる拡張領域に関する情報とを復号する機能と、
   前記復号対象ブロックの動きベクトルを用いて、参照画像から前記復号対象ブロックに対応する予測ブロックを生成するとともに、前記未復号ブロック内に前記拡張領域が設定されていた場合は、前記拡張領域について前記復号対象ブロックの動きベクトルを用いて参照画像から前記拡張領域に対応する予測ブロックを生成する機能と、
   前記復号対象ブロックに対応する予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックとを加算することにより、復号画像を生成する機能とをコンピュータに実現させることを特徴とする動画像復号プログラム。