JP2010288182A

JP2010288182A - 動画像復号化方法、動画像復号化装置及び動画像復号化プログラム

Info

Publication number: JP2010288182A
Application number: JP2009141996A
Authority: JP
Inventors: Shigeru Fukushima; 茂福島
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2009-06-15
Filing date: 2009-06-15
Publication date: 2010-12-24

Abstract

【課題】符号化側において誤差の平均化により予測誤差を大幅に減少し符号化効率を向上させた動画像符号化信号を、符号化側でのメリットを的確に反映させて動画像を復号する。
【解決手段】動き補償・画像合成部３０３は、フィルタ３０７〜３０９から供給されるアップサンプリングされた参照画像信号に対して、エントロピー復号化部３０２から供給される１本の動きベクトルを用いて動き補償予測処理を施して、３つの動き補償予測画像信号を生成する。動き補償・画像合成部３０２は、選択又は合成して得た動き補償予測画像信号を予測画像信号として加算器３０５へ供給する。加算器３０５はこの予測画像信号と逆量子化・逆直交変換部３０４からの復号された予測誤差信号とを加算して、復号化した画像信号を出力する。
【選択図】図１０

Description

本発明は動画像復号化方法、動画像復号化装置及び動画像復号化プログラムに係り、特に動き補償予測処理を搭載した動画像復号化方法、動画像復号化装置及び動画像復号化プログラムに関する。

ＭＰＥＧ（Moving Picture Experts Group）に代表される動画像の圧縮符号化では、フレーム間の相関を用いて符号量を圧縮する動き補償予測符号化が多く用いられる。動き補償予測符号化では、符号化画像と参照画像の各ブロックの相対位置関係を示す動きベクトルが必要である。この動きベクトルは、ブロック間の誤差評価値が小さいほど動き補償予測の精度が向上し、符号化効率が向上する。

ここで、上記の誤差評価値とは、一般に、ブロックマッチングを用いて、ブロック間の相違を絶対差分和や差分二乗和などで表現した予測誤差や、動きベクトル符号量やＤＣＴ（離散コサイン変換：Discrete Cosine Transform）係数符号量に基づいた符号量換算などで表現したものである。

動き補償予測の精度を向上させる技術として、（１）Ｂピクチャ（双方向予測ピクチャ）を用いた双方向予測、（２）分数精度の動き補償予測、が知られている。

上記（１）のＢピクチャを用いた双方向予測は、参照画像を２枚設定し、それぞれの参照画像について検出した動きベクトルを用いて動き補償予測した２枚の画像を合成することで、誤差の平均化により予測誤差を小さくする技術である。ただし、双方向予測には動きベクトルが２本必要となり、片方向予測に対して動きベクトル情報が１本分増えるため、予測誤差情報の減少分より動きベクトル情報の増加分の方が大きい場合は、符号化効率を向上させることはできない。

一方、上記（２）の分数精度の動き補償予測は、参照画像の画素を内挿処理又は補間処理（本明細書ではこれを「アップサンプリング」という）して動き補償予測を行う際に、実際に算出した参照画像上の整数画素位置の画素を用いてアップサンプリングし、１／２画素位置や１／４画素位置の画素値を算出し、その画素位置の画素値を用いて動きベクトルを探索することでより精度良く動き補償予測することができる技術である。これにより、ビデオ信号内のオブジェクトの動きを分数精度で正確に表現できるため、更に符号化効率を向上させることが可能である。

上記の分数精度の動き補償予測について更に詳しく説明する。参照画像を分数精度にアップサンプリングする手法として、ＩＳＯ(International Organization for Standardization;国際標準化機構)とＩＥＣ(International Electrotechnical Commission;国際電気標準会議)とが、合同で設立した第１合同技術委員会で標準化された最新の動画像圧縮符号化標準であるＭＰＥＧ-４ＡＶＣ(Advanced Video Coding)では、上記の分数精度の画素値を、線形フィルタである６タップフィルタにより参照画像をフィルタリングすることで得る。

この６タップフィルタでは、例えば、符号化対象画像信号のブロックとの間でブロックマッチングにより動きベクトルが探索されるべき参照画像信号が、図１１に丸印で示す１画素精度の画素位置で表される画像信号であるものとすると、１画素精度の各画素の中間位置にある例えばｂで示す１／２画素精度の画素の画素値は、画素ｂを中心とする周囲の横方向に配列されたＥ、Ｆ、Ｇ、Ｈ、Ｉ及びＪで示す６つの１画素精度の画素の画素値に基づいて生成する。一方、ｈで示す１／２画素精度の画素の画素値は、画素ｈを中心とする周囲の縦方向に配列されたＡ、Ｃ、Ｇ、Ｍ、Ｒ及びＴで示す６つの１画素精度の画素の画素値に基づいて生成する。同様に、１／２画素精度のａａ、ｂｂ、ｃｃ、ｄｄ、ｅｅ、ｆｆ、ｇｇ、ｈｈ、ｂ、ｍ、ｓ等の各画素の画素値は、その画素を中心とする縦方向だけ又は横方向だけに配列された１画素精度の６つの画素の画素値から生成される（６タップフィルタを縦方向のみ又は横方向のみ用いて生成される。）。

一方、図１１にｊで示す１／２画素精度の画素の画素値は、その画素ｊを中心とする横方向に配列された１／２画素精度の６つの画素ｃｃ、ｄｄ、ｈ、ｍ、ｅｅ、ｆｆの画素値（又は縦方向に配列された１／２画素精度の６つの画素ａａ、ｂｂ、ｂ、ｓ、ｇｇ、ｈｈの画素値）から生成される。この画素ｊを生成するための６つの画素ｃｃ、ｄｄ、ｈ、ｍ、ｅｅ、ｆｆの画素値は、それぞれその画素を中心とする周囲の縦方向の６つの１画素精度の画素の画素値に基づいて生成されるので、結局、画素ｊの画素値は、６タップフィルタを縦方向と横方向の両方に適用して求められることになる。

更に、１／４画素精度である画素ｆ、ｉ、ｋ、ｑの各画素値は、それぞれ先に算出した上記の画素ｊとその画素ｊに隣接する１／２画素精度の画素ｂ、ｈ、ｍ、ｓの画素値とから生成される。従って、これらの画素ｆ、ｉ、ｋ、ｑの各画素値も画素ｊの値を用いるので、６タップフィルタを縦方向と横方向の両方に適用して求められることになる。他の１／２画素精度の画素同士から画素値が求められる１／４画素精度の画素についても同様である。これらをまとめると、６タップフィルタにより図１２に示すような式で演算された画素値の各画素が得られる。なお、図１１では、６タップフィルタを縦方向と横方向の両方に適用してアップサンプリングされた画素の位置を×印で示している。

図１２に示すようなフィルタ係数が(1,-5,20,20,-5,1)に固定された６タップフィルタを用いて１／４画素精度の画素値を生成するアップサンプリング手法は、フィルタ係数が固定されているため、符号化装置において、フィルタ係数を決定する演算量が不要であるとともに、符号化／復号化の両装置において定められている１つのフィルタリング手法に対応した回路を用意するだけで済むため、回路規模が小さくなる。

しかし、参照画像の状態に関係なく、すべての参照画像について固定のフィルタ係数によりアップサンプリングを施してしまうと、参照画像が劣化している場合などには、最適なアップサンプリングを施すことができず、符号化効率が低下してしまう。これは、固定のフィルタ係数を用いる場合、通常、符号化劣化を考慮せずにフィルタを設計していることが原因である。その結果、符号化劣化を含む参照画像を用いて動き補償予測する場合には、最適なアップサンプリングが施せない。

そこで、特許文献１などでは、各参照画像に対して最適なアップサンプリングを施すために、各参照画像に対して原画像と動き補償予測した画像との誤差評価値が最小になるようにフィルタ係数を決定している。

原画像と動き補償予測した画像との誤差評価値が最小になるようなフィルタ係数の決定について具体的に説明する。フィルタ係数の決定は、符号化装置側で行う処理である。まず、動き補償予測の対象となる参照画像に対して、固定のフィルタ係数のフィルタを用いて参照画像をアップサンプリングし、動きベクトルを検出する。

次に、符号化対象の原画像と、検出された動きベクトルを用いて動き補償予測した画像との誤差評価値が小さくなるようにアップサンプリングフィルタの係数を決定する。例えば、非分離二次元ウィナーフィルタを用いて次式により計算する。

ただし、上式中、Ｓx,yは原画像を表し、Ｐx,yは参照画像を表す。また、(ｅSP)2は誤差評価値（ここでは差分二乗和を用いる）であり、(ｅSP)2が最小となるようにフィルタ係数ｈi,jSPを決定する。

上記に代表されるフィルタ係数決定アルゴリズムは、様々な手法が提案されており、そのうちのどの手法を採用するかは符号化効率と演算量のバランスを考慮して適宜決定するのがよい。符号化効率と演算量の間にはトレードオフの関係が存在するためである。

所定のフィルタ係数決定アルゴリズムを用いて、６タップフィルタのフィルタ係数を（2,-4,18,18,-4,2）のように算出した場合、この６タップフィルタを用いて参照画像の画素をアップサンプリングすると、ピクチャ全体としては符号化効率が向上する。しかし、局所的（ブロック単位等）には、必ずしも算出されたフィルタ係数が他のフィルタ係数よりも符号化効率が良いとは限らない。

そこで、特許文献２のように、複数のフィルタリング手法を用意し、フィルタ係数の選択をブロック単位などで適応的に選択することで、符号化効率を更に向上させる技術も提案されている。

特表２００８−５３６４１４号公報特表２００８−５４４７０８号公報

このように、従来の動画像符号化装置では、分散精度の動き補償予測画像を生成する際に、原画像との誤差が小さくなるようにアップサンプリング用のフィルタの係数を決定している。その結果、伝送する予測誤差が減少し符号化効率が向上する。更に、複数のフィルタ係数を用意し、そのフィルタ係数の選択をブロック単位などの所定の単位で適応的に選択することで、符号化効率を更に向上させることも可能である。

しかしながら、このような複数のフィルタ係数から適応的にフィルタ係数を選択するだけでは、誤差の平均化を利用して予測誤差を更に小さくするために双方向予測を用いる場合、動きベクトルが２本必要なことに何ら変わりはない。よって、双方向予測による予測誤差情報の減少分より動きベクトル情報の増加分の方が大きい場合は、符号化効率を向上させることはできない。また、Ｐピクチャ（順方向予測ピクチャ）のように参照画像を１枚しか使用できない場合、誤差の平均化を利用して予測誤差を更に小さくする手段がない。

本発明は以上の点に鑑みなされたもので、符号化側において誤差の平均化により予測誤差を大幅に減少し符号化効率を向上させた動画像符号化信号を、符号化側でのメリットを的確に反映させて動画像を復号するための動画像復号化方法、動画像復号化装置及び動画像復号化プログラムを提供することを目的とする。

上記の目的を達成するため、本発明の動画像復号化方法は、符号化側で動画像信号における符号化対象画像信号の動きベクトルを検出し、その動きベクトルを用いた動き補償予測処理とフィルタ処理とにより参照画像信号から得られた予測画像信号と、符号化対象画像信号との差分信号に対して、直交変換及び量子化して得られた量子化後信号に所定の符号化処理をして生成した動画像符号化信号に、動きベクトルを示す動きベクトル特定情報を含む所定の特定情報が付加された信号が入力され、その入力信号に所定の復号化処理をして、入力信号における現復号化対象画像信号の量子化後信号と特定情報とを出力する第１のステップと、第１のステップで復号した特定情報に含まれる参照画像信号特定情報により特定した参照画像信号を、参照画像記憶手段から得て、特定情報に含まれるフィルタ処理特定情報により特定したフィルタ処理を１つずつ用いたフィルタ処理と、特定情報に含まれる動きベクトル特定情報により特定した動きベクトルに基づいた動き補償予測処理とを、特定した参照画像信号に対して行って、動き補償予測画像信号を生成する第２のステップと、第２のステップにおいてフィルタ処理特定情報により特定したフィルタ処理が１つの場合には、第２のステップで生成した動き補償予測画像信号を予測画像信号とし、第２のステップにおいてフィルタ処理特定情報により特定したフィルタ処理が複数の場合には、その特定された各フィルタ処理に対応して得られた複数の動き補償予測画像信号を合成して予測画像信号を生成する第３のステップと、第１のステップで復号した量子化後信号を逆量子化及び逆直交変換して得た信号に、第３のステップで生成した予測画像信号を加算することにより、現復号化対象画像信号の復号画像信号を生成する第４のステップと、第４のステップで生成した復号画像信号を新たな参照画像として参照画像記憶手段に記憶させる第５のステップとを含むことを特徴とする。

ここで、動画像復号化プログラムの上記第３のステップは、上記第２のステップにおいてフィルタ処理特定情報により特定したフィルタ処理が複数の場合に、第２のステップで生成した複数の動き補償予測画像信号を、特定情報に含まれる合成比率情報に基づき重み付け合成して予測画像信号を生成するようにしてもよい。

また、上記の目的を達成するため、本発明の動画像復号化装置は、符号化側で動画像信号における符号化対象画像信号の動きベクトルを検出し、その動きベクトルを用いた動き補償予測処理とフィルタ処理とにより参照画像信号から得られた予測画像信号と、符号化対象画像信号との差分信号に対して、直交変換及び量子化して得られた量子化後信号に所定の符号化処理をして生成した動画像符号化信号に、動きベクトルを示す動きベクトル特定情報を含む所定の特定情報が付加された信号が入力され、その入力信号に所定の復号化処理をして、入力信号における現復号化対象画像信号の量子化後信号と特定情報とを出力する復号化手段と、生成済みの参照画像信号を記憶する参照画像記憶手段と、復号化手段で復号した特定情報に含まれる参照画像信号特定情報により特定した参照画像信号を、参照画像記憶手段から得て、特定情報に含まれるフィルタ処理特定情報により特定したフィルタ処理を１つずつ用いたフィルタ処理と、特定情報に含まれる動きベクトル特定情報により特定した動きベクトルに基づいた動き補償予測処理とを、特定した参照画像信号に対して行って、動き補償予測画像信号を生成する動き補償予測画像信号生成手段と、動き補償予測画像信号生成手段においてフィルタ処理特定情報により特定したフィルタ処理が１つの場合には、動き補償予測画像信号生成手段で生成した動き補償予測画像信号を予測画像信号とし、動き補償予測画像信号生成手段においてフィルタ処理特定情報により特定したフィルタ処理が複数の場合には、その特定された各フィルタ処理に対応して得られた複数の動き補償予測画像信号を合成して予測画像信号を生成する予測画像信号生成手段と、復号化手段で復号した量子化後信号を逆量子化及び逆直交変換して得た信号に、予測画像信号生成手段により生成した予測画像信号を加算することにより、現復号化対象画像信号の復号画像信号を生成すると共に、その復号画像信号を新たな参照画像として参照画像記憶手段に記憶させる復号画像信号生成手段とを有することを特徴とする。

ここで、上記の予測画像信号生成手段は、上記の動き補償予測画像信号生成手段においてフィルタ処理特定情報により特定したフィルタ処理が複数の場合に、記動き補償予測画像信号生成手段で生成した複数の動き補償予測画像信号を、特定情報に含まれる合成比率情報に基づき合成して予測画像信号を生成するようにしてもよい。

更に、上記の目的を達成するため、本発明の動画像復号化プログラムは、動画像復号化処理をコンピュータに実行させる動画像復号化プログラムにおいて、上記コンピュータに、符号化側で動画像信号における符号化対象画像信号の動きベクトルを検出し、その動きベクトルを用いた動き補償予測処理とフィルタ処理とにより参照画像信号から得られた予測画像信号と、符号化対象画像信号との差分信号に対して、直交変換及び量子化して得られた量子化後信号に所定の符号化処理をして生成した動画像符号化信号に、動きベクトルを示す動きベクトル特定情報を含む所定の特定情報が付加された信号が入力され、その入力信号に所定の復号化処理をして、入力信号における現復号化対象画像信号の量子化後信号と特定情報とを出力する第１のステップと、第１のステップで復号した特定情報に含まれる参照画像信号特定情報により特定した参照画像信号を、参照画像記憶手段から得て、特定情報に含まれるフィルタ処理特定情報により特定したフィルタ処理を１つずつ用いたフィルタ処理と、特定情報に含まれる動きベクトル特定情報により特定した動きベクトルに基づいた動き補償予測処理とを、特定した参照画像信号に対して行って、動き補償予測画像信号を生成する第２のステップと、第２のステップにおいてフィルタ処理特定情報により特定したフィルタ処理が１つの場合には、第２のステップで生成した動き補償予測画像信号を予測画像信号とし、第２のステップにおいてフィルタ処理特定情報により特定したフィルタ処理が複数の場合には、その特定された各フィルタ処理に対応して得られた複数の動き補償予測画像信号を合成して予測画像信号を生成する第３のステップと、第１のステップで復号した量子化後信号を逆量子化及び逆直交変換して得た信号に、第３のステップで生成した予測画像信号を加算することにより、現復号化対象画像信号の復号画像信号を生成する第４のステップと、第４のステップで生成した復号画像信号を新たな参照画像として参照画像記憶手段に記憶させる第５のステップとを実行させることを特徴とする。

本発明によれば、符号化側において誤差の平均化により予測誤差を大幅に減少し符号化効率を向上させた動画像符号化信号を入力信号として受け、符号化側でのメリットを的確に反映させて動画像を復号することができる。

動画像符号化装置の第１の例のブロック図である。図１中の動き補償・画像合成選択部１１１の動作説明用フローチャートである。画像の合成方法の一例の説明図である。図１中の動き補償・画像合成選択部１１１による画像合成モードの一例の説明図である。画像合成モード情報のシンタックスの一例を示す図である。図５中のmix_modeのセマンティックスの一例を示す図である。重み付け予測のシンタックスの一例を示す図である。図７中のweight_idxのセマンティックスの一例を示す図である。動画像符号化装置の第２の例のブロック図である。本発明の動画像復号化装置の一実施の形態のブロック図である。ＭＰＥＧ-４ＡＶＣで用いられるアップサンプルフィルタの説明図（その１）である。ＭＰＥＧ-４ＡＶＣで用いられるアップサンプルフィルタの説明図（その２）である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明は、動き補償予測の際に、参照画像を複数のアップサンプリング手法を用いて複数の動き補償予測画像を生成し、生成した動き補償予測画像を合成した画像を予測画像にすることで、符号化効率の向上を実現したものである。

ここで、本発明の動画像復号化方法、動画像復号化装置及び動画像復号化プログラムは、所定のビットストリームを復号することを前提とするので、この所定のビットストリームについて、この所定のビットストリームを生成する動画像符号化装置の各例と共に、まず説明する。

（第１の例）
図１は、動画像符号化装置の第１の例のブロック図を示す。第１の例の動画像符号化装置１００は、局部復号部１０２と、減算器１０３と、直交変換・量子化部１０４と、動きベクトル検出部１１２と、エントロピー符号化部１１３とからなる。

局部復号部１０２は、逆量子化・逆直交変換部１０５と、加算器１０６と、参照画像メモリ１０７と、３つのフィルタ１０８、１０９及び１１０と、動き補償・画像合成選択部１１１とからなり、動き補償・画像合成選択部１１１から局部復号により得られた予測画像信号を減算器１０３へ出力する。また、動き補償・画像合成選択部１１１は、画像合成モード情報をエントロピー符号化部１１３へ供給する。

減算器１０３は、入力端子１０１よりの動画像信号である入力画像信号（入力動画像信号）と後述する動き補償・画像合成選択部１１１からの予測画像信号とを減算し、それらの差分信号である予測誤差信号を生成する。直交変換・量子化部１０４は、減算器１０３からの予測誤差信号を直交変換・量子化して量子化後信号を生成する。

逆量子化・逆直交変換部１０５は、直交変換・量子化部１０４から出力される量子化後信号を逆量子化・逆直交変換する。加算器１０６は、逆量子化・逆直交変換部１０５から出力される逆量子化・逆直交変換された信号と、動き補償・画像合成選択部１１１からの予測画像信号とを加算して、局部復号された参照画像信号を生成する。参照画像メモリ１０７は、局部復号された参照画像信号を蓄積する。

フィルタ１０８、１０９及び１１０は、それぞれ参照画像メモリ１０７から読み出される同じ参照画像信号に対して、互いに異なるフィルタ係数によりフィルタリングを行い、参照画像信号をアップサンプリングする。

ここで、フィルタ１０８、１０９及び１１０でそれぞれ用いるフィルタリング方法の一例を紹介する。フィルタ１０８は、その出力信号が動きベクトル検出部１１２におけるアップサンプリングにも用いられるため、固定フィルタ係数のフィルタリングを行うことが望ましい。例えば、フィルタ１０８は、ＭＰＥＧ-４ＡＶＣで用いられる６タップフィルタ(フィルタ係数；1,-5,20,20,-5,1)であるものとする。

一方、フィルタ１０９とフィルタ１１０のフィルタ係数は、ピクチャ単位で切り替わる。例えば、フィルタ１０９のフィルタ係数は、符号化対象ピクチャの原画像（入力画像信号）と、復号画像（局部復号部１０２において局部復号された参照画像信号）との誤差が最小となるように、前述した数１で示した演算式のフィルタリングを行うウィナーフィルタを用いて決定する。ただし、符号化対象ピクチャについて最適なフィルタ係数を算出することは、一度ピクチャ内のすべてのブロックについて動き補償予測を行い、フィルタ係数を決定してから再度ブロック毎に最適なフィルタ手段を選択する必要があるため、実質２パスエンコードとなる。そのため、１パスエンコードが要求される場合は、フィルタ１０９は用いない。

フィルタ１１０は、１つ前の符号化対象ピクチャについてフィルタ１０９においてウィナーフィルタを用いて算出したフィルタ係数をそのまま用いる。１つ前の符号化対象ピクチャについて算出したフィルタ係数をそのまま用いることは、既にフィルタ係数が決定されているため、１パスエンコードで行うことができると共に、フィルタ係数伝送の符号量を削減することも可能である。ただし、ここで説明したフィルタリング方法はほんの一例であり、他の方法で生成したフィルタ係数を用いたとしても本発明に含まれるものである。

動きベクトル検出部１１２は、入力画像信号と、参照画像メモリ１０７に蓄積された復号化済の参照画像信号に対してフィルタ１０８を用いてアップサンプリングした信号とから、入力画像信号における現符号化対象画像信号の動きベクトルを検出する。

動き補償・画像合成選択部１１１は、動きベクトル検出部１１２で検出した動きベクトルを用いて、参照画像信号をフィルタ１０８〜１１０でアップサンプリングして得られた各画像信号に対してそれぞれ動き補償予測を行う。また、動き補償・画像合成選択部１１１は、各動き補償予測された画像信号を選択又は合成することで、原画像信号との予測誤差が少ない予測画像信号を生成する。この予測画像信号の生成方法については後で詳しく述べる。

エントロピー符号化部１１３は、直交変換・量子化部１０４で直交変換・量子化された画像信号をエントロピー符号化して動画像符号化信号のビットストリームを出力する。また、エントロピー符号化部１１３は、動き補償・画像合成選択部１１１で用いられた参照画像信号のアップサンプリング手法を示す情報と、アップサンプリングされた画像信号をどのように合成したかを示す情報などの付加情報（画像合成モード情報）をエントロピー符号化し、上記動画像符号化信号に付加する。エントロピー符号化部１１３は、エントロピー符号化して得られた動画像符号化信号と画像合成モード情報などからなるビットストリームを出力端子１１４を介して装置外部へ出力する。

ここで、上記の画像合成モード情報は、後述するように、動き補償画像合成選択部１１１により選択された予測画像信号の生成に用いた参照画像信号を特定するための参照画像信号特定情報、フィルタ１０８〜１１０で用いる同一の動きベクトルを特定する動きベクトル特定情報、フィルタ１０８〜１１０のうち選択された予測画像信号の生成に用いた参照画像信号を生成するフィルタ処理を特定するためのフィルタ処理特定情報を含む。

このように、本実施形態の動画像符号化装置１００は、参照画像信号をアップサンプリングするフィルタを３つ用意し、これにより得られた３つの動き補償予測画像信号と、これら３つの動き補償予測画像信号に基づいて画像合成して得られた複数の動き補償予測画像信号との中から、所定の一の予測画像信号を選択して予測画像信号に用いる点に特徴がある。

次に、本実施形態の要部の動き補償・画像合成選択部１１１について図２のフローチャート等を用いて詳細に説明する。図２のフローチャートは、動き補償のブロック単位で実行される。

まず、動き補償・画像合成選択部１１１は、フィルタ１０８、１０９、１１０によってそれぞれ別々にアップサンプリングされた参照画像信号に対して、動きベクトル検出部１１２で検出した動きベクトルを用いて動き補償予測を行って、それぞれ動き補償予測画像信号を生成する（ステップＳ１１）。次に、動き補償・画像合成選択部１１１は、上記の３つのフィルタ１０８、１０９、１１０のうち、２つのフィルタ（ここではフィルタ１０８と１０９、フィルタ１０９と１１０、フィルタ１０８と１１０）でアップサンプリングされた参照画像信号からステップＳ１１で得られた２つの動き補償予測画像信号を合成して、合成画像信号を生成する（ステップＳ１２）。

画像信号を合成する手法は、２つの画像信号の平均値を用いる場合が最も一般的である。図３は、平均値を用いる場合の画像合成の様子を模式的に示す。図３において、上記の２つのフィルタの一方の第１のフィルタのアップリング参照画像１６０の、入力画像信号である符号化対象画像１５０中の符号化対象ブロック１５１に対応する参照画像ブロック１６１に対して、動きベクトル検出部１１２で検出された動きベクトルで指示される動き補償予測された参照画像ブロックを１６２で示す。一方、上記の２つのフィルタの他方の第２のフィルタのアップリング参照画像１７０の、入力画像信号である符号化対象画像１５０中の符号化対象ブロック１５１に対応する参照画像ブロック１７１に対して、上記と同一の動きベクトルで指示される動き補償予測された参照画像ブロックを１７２で示す。

この場合、動き補償・画像合成選択部１１１は、２つの動き補償予測された参照画像ブロック１６２と１７２との和を２で除算することで、それらの平均値である合成画像信号を算出する。又は、より精度良く平均値を算出する場合には、参照画像ブロック１６２と１７２の和に１を加算してから２で除算する。これは、四捨五入に相当する演算である。なお、画像合成方法のうち、平均値以外の他の合成方法（重み付け予測）については後述する。

最後に、動き補償・画像合成選択部１１１は、上記の３つのフィルタ１０８、１０９、１１０でそれぞれ別々にアップサンプリングした参照画像信号から得られた３つの動き補償予測画像信号と、ステップＳ１２で生成された３つの合成画像信号の中から、最小誤差評価値を持つ画像信号を予測画像信号に採用する（ステップＳ１３）。

このように、動き補償・画像合成選択部１１１は、３つのフィルタ１０８、１０９、１１０でそれぞれ別々にアップサンプリングした参照画像信号から得られた３つの動き補償予測画像信号の中から、どの動き補償予測画像信号を選択するか、又は、３つの動き補償予測画像信号の中からどの２つの動き補償予測画像信号を選択して合成するか（画像合成モード）を決定している。

図４は、画像合成モードの説明図を示す。この画像合成モードは、３つのフィルタ１０８、１０９、１１０のうちの１つのフィルタでアップサンプリングした参照画像信号から生成される動き補償予測画像信号を単独で選択する場合がＳ２１、Ｓ２２、Ｓ２３で示すように３通りある。また、３つのフィルタ１０８、１０９、１１０のうち２つのフィルタでアップサンプリングした参照画像信号から生成される２つの動き補償予測画像信号を合成した画像信号を選択する場合がＳ２４、Ｓ２５、Ｓ２６で示すように３通りある。従って、この画像合成モードでは、上記の合計の６通りの選択肢のうちの一つの選択肢を選ぶ。

この画像合成モードの選択肢の数は、フィルタから出力される動き補償予測画像信号を単独で何通り用いるかに依存する。例えば、最も単純なフィルタが２通りの場合は、画像合成モードの選択肢の数は、単独の動き補償予測画像信号２通り、合成画像信号１通りの合計３通りである。

上記の画像合成モードによりどの信号が選択・合成されたかを、本発明の動画像復号化装置で識別しないと復号化できないので、画像合成モード情報は、図１のエントロピー符号化手段１１３によりエントロピー符号化され、ビットストリーム内の情報として伝送される。

次に、画像合成モード情報の伝送方法について説明する。

図５は、画像合成モードのシンタックスの一例を示す。まず、１つのピクチャの画面を１６ラインずつスライスしたときの１６ライン幅のスライス単位で適応フィルタを使用するかどうかのフラグ（use_adaptive_filter_flag）を送る。ただし、１６ラインを１スライスとする本分割方法はほんの一例であり、１ピクチャを１スライスとする場合もある。デフォルト以外のフィルタを使用する場合にはこのフラグをオンにする。上記の場合には、フィルタ１０８をデフォルトフィルタとし、フィルタ１０９及び１１０を自ら定義するフィルタとして説明する。

次に、図５に示すようにスライス単位で、デフォルト以外に定義するフィルタの数（num_of_filter）を送る。本実施形態では、フィルタの数（num_of_filter）は「２」である。そして、各フィルタについてそのフィルタ係数を送る。このフィルタ係数の伝送方法は、フィルタの対称性を利用したりすることで、すべての係数を送らなくてもよい。

また、１６ライン幅のスライスは、１６ライン幅の複数個のマクロブロックからなる。そこで、水平方向１６画素、垂直方向１６画素の輝度ブロックと、それぞれ水平方向８画素、垂直方向８画素の２つの色差ブロックとからなるマクロブロック単位（又はサブマクロブロック単位）では、図５に示すように画像合成モード（mix_mode）を送る。この画像合成モード（mix_mode）は、参照画像を示す番号（ref_idx）と動きベクトル差分（ｍｖｄ）と一緒に送られる。

図６は、画像合成モード（mix_mode）のセマンティックスの一例を示す。シンタックスの意味を示すセマンティックスは、図６では、値が「０」のとき使用フィルタがフィルタ＃１、値が「１」のとき使用フィルタがフィルタ＃２、値が「２」のとき使用フィルタがフィルタ＃３、値が「４」のとき使用フィルタがフィルタ＃１と＃２、値が「５」のとき使用フィルタがフィルタ＃２と＃３、値が「６」のとき使用フィルタがフィルタ＃１と＃３であることを示す。ここで、フィルタ＃１、＃２、＃３は、それぞれ図１のフィルタ１０８、１０９、１１０のことである。

ただし、図６はＰピクチャの場合のほんの一例である。本来は、最も選択される可能性が高い事象を小さい番号に割り当てるとよい。この割り当ては固定でもよいが、スライスヘッダなどで順序を変更できるようにしてもよい。

また、この画像合成モード情報を伝送する場合のシンタックスはほんの一例であり、例えばスライス単位で送信するフラグをピクチャ単位で送信するなどしてもよい。

このように、本実施形態の動画像符号化装置１００では、動き補償予測の際に参照画像信号に対して複数のアップサンプリング手法を用いて複数の動き補償予測画像信号を生成し、生成した複数の動き補償予測画像信号と、複数の動き補償予測画像信号を合成した複数の合成画像信号とのうち選択した一つの画像信号を予測画像信号にすることで、誤差の平均化により予測誤差が大幅に減少し符号化効率を向上させることができる。

つまり、従来、片方向予測しか用いることができなかったＰピクチャにおいても、Ｂピクチャの双方向予測に相当するような複数の動き補償予測画像信号を合成した画像信号を予測画像信号とすることができる。その結果、合成を用いない場合と比較して、予測誤差が減少し符号化効率が大幅に向上する。

また、従来のＢピクチャの双方向予測では、複数の動き補償予測画像の生成に動きベクトルが２本必要であり、片方向予測と比較して動きベクトルの情報量が増加してしまう。これに対し、本実施形態の動画像符号化装置１００では３つのフィルタを用いて複数の動き補償予測画像信号を生成し、それらの中から一つの予測画像信号を選択する方法では、動きベクトルが１本のままで済むため、動きベクトルの情報量は増加しない。そのため、従来のＢピクチャの双方向予測のように、予測誤差は小さくなるが動きベクトルの符号量がそれ以上に増加してしまう課題が解決され、動きベクトル情報の増加なく精度の高い予測画像信号を生成できる。

ここで、アップサンプリング用フィルタ１０８、１０９、１１０は線形フィルタであるため、複数のフィルタの合成画像を単独フィルタとして表現して伝送することも可能であるが、その場合は以下の欠点がある。
（１）合成画像を生成するフィルタの係数を伝送する必要があり、符号量が増加する。
（２）限られたビット深度の整数フィルタでは、合成画像と同一の画像を生成するフィルタを厳密に表現できない。
（３）単独フィルタとして表現するためのフィルタ係数算出演算量が必要となる。
（４）後述する重み付け予測に対応するためには、それぞれの重み付け係数に対応したフィルタ係数を算出／伝送する必要がある。

従って、複数のフィルタの合成画像を単独フィルタで生成するよりも、上記の合成画像生成方法の方が優れているのは明白である。

次に、画像の合成方法の他の例について説明する。上記の説明では、画像の合成方法として２つの動き補償予測画像信号の平均値を用いる場合の例を示したが、画像の合成方法はこれに限らず、ＭＰＥＧ−４ＡＶＣで用いられている重み付け予測のように、２つの動き補償予測画像信号を所定の比率で合成したものを予測画像信号とするようにしてもよい。この場合は、更に効率の良い予測画像信号を生成することが可能である。

図７は、重み付け予測のシンタックスの一例を示す。まず、図７に示すように、スライス単位で重み付け予測を行うかどうかのフラグ（adaptive_filter_weighted_flag）をビットストリーム内に含めて送る。重み付け予測を使用する場合は、重み付け予測の精度（weighted_accuracy_idx）を指定する。ここでは、weighted_accuracy_idx＝０の場合の精度（画像合成計算時の分母に相当）は「３」であるとし、weighted_accuracy_idx＝１の場合の精度は「４」であるとする。

マクロブロック単位（又はサブマクロブロック単位）では、図７に示すように、重み付け予測の精度（weighted_accuracy_idx）毎に定義した重み付けインデックス（weighted_idx）を送る。

図８は、重み付けインデックス(weighted_idx)のセマンティックスの一例を示す。weighted_accuracy_idx＝０の場合、weighted_idx＝０は１つ目のフィルタリング画像の比率を「２」、２つ目のフィルタリング画像の比率を「１」として画像を合成することを意味する。例えば、フィルタ１０８のフィルタリング画像の比率を「２」、フィルタ１０９のフィルタリング画像の比率を「１」として、合成することなどが挙げられる。また、weighted_idx＝１は１つ目のフィルタリング画像の比率を「１」、２つ目のフィルタリング画像の比率を「２」として画像を合成することを意味する。

また、weighted_accuracy_idx＝１の場合、weighted_idx＝０は１つ目のフィルタリング画像の比率を「２」、２つ目のフィルタリング画像の比率を「２」として画像を合成することを意味する。例えば、フィルタ１０８のフィルタリング画像の比率を「２」、フィルタ１０９のフィルタリング画像の比率を「２」として、合成することなどが挙げられる。また、weighted_accuracy_idx＝１で、weighted_idx＝１は１つ目のフィルタリング画像の比率を「３」、２つ目のフィルタリング画像の比率を「１」として画像を合成することを意味し、
weighted_idx＝２は１つ目のフィルタリング画像の比率を「１」、２つ目のフィルタリング画像の比率を「３」として画像を合成することを意味する。

この重み付け比率はいろいろな手法で決定することが考えられるが、重み付け比率の候補を複数用意し、それぞれの候補の重み付け比率に基づいて実際に画像を合成し、合成された画像と原画像の誤差評価値が最も小さくなる重み付け比率を採用するアルゴリズムが最も符号化効率が良い。

（第２の例）
図９は、動画像符号化装置の第２の例のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。第２の例の動画像符号化装置２００は、局部復号部２０１と、減算器１０３と、直交変換・量子化部１０４と、動きベクトル検出部１１２と、エントロピー符号化部１１３とからなり、局部復号部２０１の構成が図１の局部復号部１０２と異なる。

局部復号部２０１は、逆量子化・逆直交変換部１０５と、加算器１０６と、参照画像メモリ１０７と、フィルタ１０８と、動き補償部２０２と、フィルタ２０３及び２０４と、画像合成・選択部２０５とからなり、画像合成・選択部２０５から局部復号により得られた予測画像信号を減算器１０３へ出力する。また、画像合成・選択部２０５は、画像合成モード情報をエントロピー符号化部１１３へ供給する。

動き補償部２０２は、動きベクトル検出部１１２で検出した動きベクトルを用いて、参照画像信号をフィルタ１０８でアップサンプリングした画像信号に対して動き補償予測を行う。

フィルタ２０３及び２０４は、互いに異なるフィルタ係数を有し、動き補償部２０２で動き補償した画像をそれぞれ別々にフィルタリングする。フィルタ２０３及び２０４は、フィルタ１０８のようなアップサンプリング用フィルタではなく、出力画像信号が入力画像信号と同一サンプル数であるフィルタリングを行う。

画像合成・選択部２０５は、フィルタ２０３及び２０４でそれぞれフィルタリングされた２つの動き補償予測画像信号と、この２つの動き補償予測画像信号を所定の方法で合成した一つの合成画像信号とのうち、最小誤差評価値を持つ画像信号（入力画像信号との予測誤差が少ない一つの画像信号）を予測画像信号として選択する。この予測画像信号の生成方法については、第１の例で説明した生成方法と同一であるので説明は省略する。

減算器１０３は、入力画像信号と画像合成・選択部２０５により選択されて出力された予測画像信号とを減算することで予測誤差信号を生成し、直交変換・量子化部１０４へ供給する。

第１の例の動画像符号化装置１００との相違点は、動画像符号化装置１００では参照画像信号に対して、互いに異なるフィルタ係数の３つのフィルタ１０８〜１１０でアップサンプリングを施して得た３つのアップサンプリング後の動き補償予測画像信号を選択・合成しているのに対して、本実施の形態の動画像符号化装置２００では１つのアップサンプリング後の動き補償予測画像信号に対して、フィルタ２０３及び２０４でそれぞれフィルタリングを施した２つの画像信号を選択・合成していることである。

ただし、動画像符号化装置２００も、動画像符号化装置１００と同様に複数の動き補償予測画像信号を生成し、生成した複数の動き補償予測画像信号と、複数の動き補償予測画像信号を合成した合成画像信号とのうち、最小誤差評価値を持つ画像信号を選択するようにしているため、誤差の平均化により予測誤差が大幅に減少し符号化効率を向上させることができる。

また、この動画像符号化装置２００も、予測誤差は小さくなるが動きベクトルの符号量がそれ以上に増加してしまう従来のＢピクチャの双方向予測の課題が解決され、動きベクトル情報の増加なく精度の高い予測画像信号を生成できる。

（一実施の形態）
次に、動画像符号化装置１００又は２００により符号化して得られたビットストリームを復号する本発明の動画像復号化装置について説明する。

図１０は、本発明になる動画像復号化装置の一実施の形態のブロック図を示す。図１０に示すように、本実施の形態の動画像復号化装置３００は、入力端子３０１を介して入力されるビットストリームをエントロピー復号化するエントロピー復号化部３０２と、動き補償・画像合成部３０３と、逆量子化・逆直交変換部３０４と、加算器３０５と、参照画像メモリ３０６と、３つのアップサンプリング用のフィルタ３０７、３０８及び３０９と、出力端子３１０とからなる。

入力端子３０１には、図１の動画像符号化装置１００又は図９の動画像符号化装置２００により生成されたビットストリーム、あるいは動画像符号化装置１００や２００の各構成要素の動作をコンピュータにより実行させて得られたビットストリームが入力される。

エントロピー復号化部３０２は、入力端子３０１に入力された上記のビットストリームをエントロピー復号化して直交変換・量子化されている画像信号を復号すると共に、動きベクトルや画像合成モード情報などの付加情報を復号する。

動き補償・画像合成部３０３は、エントロピー復号化部３０２から供給された動きベクトルを用いて、フィルタ３０７〜３０９からそれぞれ供給されるアップサンプリングされた参照画像信号に対して、動き補償予測を行って複数の動き補償予測画像信号を生成すると共に、更にエントロピー復号化部３０２から供給された画像合成モード情報に基づいて、上記の複数の動き補償予測画像信号を用いて画像合成モードに対応した画像合成を行う。この画像合成方法は、前述した動画像符号化装置における画像合成方法と同じである。

逆量子化・逆直交変換部３０４は、エントロピー復号化部３０２から出力された直交変換・量子化されている画像信号を逆量子化・逆直交変換して差分信号（予測誤差信号）を復号する。加算器３０５は、逆量子化・逆直交変換部３０４から出力された予測誤差信号と、動き補償・画像合成部３０３から出力された動き補償予測画像信号とを加算して画像信号を復号化して出力端子３１０へ出力すると共に、参照画像メモリ３０６へ出力する。参照画像メモリ３０６は、加算器３０５から供給される復号化された画像信号を参照画像信号として蓄積する。

フィルタ３０７、３０８及び３０９は、それぞれ互いに異なるフィルタ係数を用いて、参照画像メモリ３０６から供給される同じ参照画像信号に対して、別々にフィルタリングして、アップサンプリングされた予測画像信号を生成し、その予測画像信号を動き補償・画像合成部３０３へ出力する。これらフィルタ３０７、３０８及び３０９は、図１のフィルタ１０８、１０９及び１１０に対応した構成のフィルタである。

上記の動画像復号化装置３００は、参照画像信号をアップサンプリングするフィルタを３つ（フィルタ３０７〜３０９）用意し、動き補償・画像合成部３０３においてこれら３つのフィルタ３０７〜３０９でそれぞれアップサンプリングされた３つの参照画像信号に基づいて、エントロピー復号化部３０２からの画像合成モード情報に応じて生成した画像信号を予測画像に用いることに特徴がある。

次に、本実施の形態の動画像復号化装置３００の要部である動き補償・画像合成部３０３の詳細について説明する。

動き補償・画像合成部３０３は、まず、フィルタ３０７〜３０９からそれぞれ供給されるアップサンプリングされた参照画像信号に対して、エントロピー復号化部３０２から供給される１本の動きベクトルを用いて動き補償予測処理を施して、３つの動き補償予測画像信号を生成する。

続いて、動き補償・画像合成部３０３は、エントロピー復号化部３０２から供給される画像合成モード情報が所定の２つの動き補償予測画像信号を合成することを示している場合は、上記の３つの動き補償予測画像信号から画像合成モードで指定された２つの動き補償予測画像信号を合成する。この画像合成の手法は、図３と共に説明した２つの画像信号の平均値を算出する方法が一般的であるが、図７、図８と共に説明した重み付けをした画像合成でもよい。いずれにしても、その画像合成方法は、画像合成モード情報により示された画像合成方法が採用される。

また、動き補償・画像合成部３０３は、エントロピー復号化部３０２から供給される画像合成モード情報が上記の３つの動き補償予測画像信号のうちの所定の一つの動き補償予測画像信号を選択することを示している場合は、上記の３つの動き補償予測画像信号から画像合成モードで指定された１つの動き補償予測画像信号を選択して出力する。

このようにして、動き補償・画像合成部３０２は、選択又は合成して得た動き補償予測画像信号を予測画像信号として加算器３０５へ供給する。加算器３０５はこの予測画像信号と逆量子化・逆直交変換部３０４からの復号された予測誤差信号とを加算して、復号化した画像信号を出力する。

この動画像復号化装置３００によれば、動き補償予測の際に参照画像信号に対して複数のアップサンプリング手法を用いて複数の動き補償予測画像信号を生成し、生成した複数の動き補償予測画像信号と、複数の動き補償予測画像信号を合成した複数の合成画像信号とのうち、入力信号に含まれる画像合成モード情報により指定された一つの画像信号を予測画像信号にすることで、誤差の平均化により予測誤差が大幅に減少し符号化効率を向上させるという符号化側でのメリットを的確に反映させて復号することができる。

つまり、従来、片方向予測しか用いることができなかったＰピクチャにおいても、Ｂピクチャの双方向予測に相当するような複数の動き補償予測画像信号を合成した画像信号を予測画像信号とすることができる。その結果、動画像復号化装置３００においても、合成を用いない場合と比較して、予測誤差が減少し符号化効率が大幅に向上する。

また、従来のＢピクチャの双方向予測では動きベクトルが２本必要であり、片方向予測と比較して動きベクトルの情報量が増加してしまう。これに対し、動画像復号化装置３００のような、３つのフィルタを用いて複数の動き補償予測画像信号を生成し、それらの中から一つの予測画像信号を選択する方法では、動きベクトルが１本のままで済むため、動きベクトルの情報量は増加しない。そのため、従来のＢピクチャの双方向予測のように、予測誤差は小さくなるが動きベクトルの符号量がそれ以上に増加してしまう課題が解決され、動きベクトル情報の増加なく精度の高い予測画像信号を生成できる。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば、合成画像の生成要素の動き補償予測画像の数は２つに限らず、３つ以上でもよい。また、本発明は、ＭＰＥＧ-４ＡＶＣのダイレクトモード、スキップモードのように、所定の計算方法により自動的に動きベクトルを決定し、動きベクトル情報を伝送しないようなモードに対して適用できることも明白である。例えば、所定の計算方法により自動決定された動きベクトル対して、画像合成モード情報だけを伝送することで予測画像を生成することや、動きベクトルだけでなく、画像合成モードも自動的に決定することで予測画像を生成することなどが考えられる。

また、本発明はＢピクチャにも適用できる。例えば、ＭＰＥＧ-４ＡＶＣのＢピクチャは、２つのリスト（Ｌ０、Ｌ１）からそれぞれ参照画像を選択し、各参照画像を合成することができる。本発明を適用すると、リスト（Ｌ０、Ｌ１）毎に画像を合成し、合成された画像に対して更に画像を合成することができる。つまり、各リストの画像を本発明で合成した上で、さらにＭＰＥＧ-４ＡＶＣのＢピクチャのように、各リストで選択した画像を合成することも可能である。

このように、本発明は，１本の動きベクトルを用いて複数の動き補償予測画像を生成しその画像を合成して予測画像とすることを特徴とするものであり、そのような復号化装置はすべて本発明に含まれる。

また、本発明は、上記の動画像復号化装置３００の機能をコンピュータに実現させるための動画像復号化プログラムも含むものである。この動画像復号化プログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。更に、本発明は、上記のビットストリームがパケット化されて送信された場合、そのパケットを受信して復号化する受信装置にも適用することができる。

本発明は、動画像復号化装置及び動画像復号化プログラムに関するもので、特に動画像復号化の符号化効率を向上させる技術として非常に有用である。

１００、２００動画像符号化装置
１０１画像信号入力端子
１０２、２０１局部復号部
１０３減算器
１０４直交変換・量子化部
１０５逆量子化・逆直交変換部
１０６加算器
１０７参照画像メモリ
１０８、１０９、１１０アップサンプリング用フィルタ
１１１動き補償・画像合成選択部
１１２動きベクトル検出部
１１３エントロピー符号化部
１１４ビットストリーム出力端子
２０２動き補償部
２０３、２０４フィルタ
２０５画像合成・選択部

Claims

符号化側で動画像信号における符号化対象画像信号の動きベクトルを検出し、その動きベクトルを用いた動き補償予測処理とフィルタ処理とにより参照画像信号から得られた予測画像信号と、前記符号化対象画像信号との差分信号に対して、直交変換及び量子化して得られた量子化後信号に所定の符号化処理をして生成した動画像符号化信号に、前記動きベクトルを示す動きベクトル特定情報を含む所定の特定情報が付加された信号が入力され、その入力信号に所定の復号化処理をして、前記入力信号における現復号化対象画像信号の前記量子化後信号と前記特定情報とを出力する第１のステップと、
前記第１のステップで復号した前記特定情報に含まれる参照画像信号特定情報により特定した参照画像信号を、参照画像記憶手段から得て、前記特定情報に含まれるフィルタ処理特定情報により特定したフィルタ処理を１つずつ用いたフィルタ処理と、前記特定情報に含まれる動きベクトル特定情報により特定した動きベクトルに基づいた動き補償予測処理とを、前記特定した参照画像信号に対して行って、動き補償予測画像信号を生成する第２のステップと、
前記第２のステップにおいて前記フィルタ処理特定情報により特定したフィルタ処理が１つの場合には、前記第２のステップで生成した前記動き補償予測画像信号を予測画像信号とし、前記第２のステップにおいて前記フィルタ処理特定情報により特定したフィルタ処理が複数の場合には、その特定された各前記フィルタ処理に対応して得られた複数の前記動き補償予測画像信号を合成して予測画像信号を生成する第３のステップと、
前記第１のステップで復号した前記量子化後信号を逆量子化及び逆直交変換して得た信号に、前記第３のステップで生成した前記予測画像信号を加算することにより、現復号化対象画像信号の復号画像信号を生成する第４のステップと、
前記第４のステップで生成した復号画像信号を新たな参照画像として前記参照画像記憶手段に記憶させる第５のステップと
を含むことを特徴とする動画像復号化方法。
前記第３のステップは、前記第２のステップにおいて前記フィルタ処理特定情報により特定したフィルタ処理が複数の場合に、前記第２のステップで生成した複数の動き補償予測画像信号を、前記特定情報に含まれる合成比率情報に基づき重み付け合成して前記予測画像信号を生成することを特徴とする請求項１記載の動画像復号化方法。
符号化側で動画像信号における符号化対象画像信号の動きベクトルを検出し、その動きベクトルを用いた動き補償予測処理とフィルタ処理とにより参照画像信号から得られた予測画像信号と、前記符号化対象画像信号との差分信号に対して、直交変換及び量子化して得られた量子化後信号に所定の符号化処理をして生成した動画像符号化信号に、前記動きベクトルを示す動きベクトル特定情報を含む所定の特定情報が付加された信号が入力され、その入力信号に所定の復号化処理をして、前記入力信号における現復号化対象画像信号の前記量子化後信号と前記特定情報とを出力する復号化手段と、
生成済みの参照画像信号を記憶する参照画像記憶手段と、
前記復号化手段で復号した前記特定情報に含まれる参照画像信号特定情報により特定した参照画像信号を、前記参照画像記憶手段から得て、前記特定情報に含まれるフィルタ処理特定情報により特定したフィルタ処理を１つずつ用いたフィルタ処理と、前記特定情報に含まれる動きベクトル特定情報により特定した動きベクトルに基づいた動き補償予測処理とを、前記特定した参照画像信号に対して行って、動き補償予測画像信号を生成する動き補償予測画像信号生成手段と、
前記動き補償予測画像信号生成手段において前記フィルタ処理特定情報により特定したフィルタ処理が１つの場合には、前記動き補償予測画像信号生成手段で生成した前記動き補償予測画像信号を予測画像信号とし、前記動き補償予測画像信号生成手段において前記フィルタ処理特定情報により特定したフィルタ処理が複数の場合には、その特定された各前記フィルタ処理に対応して得られた複数の動き補償予測画像信号を合成して予測画像信号を生成する予測画像信号生成手段と、
前記復号化手段で復号した前記量子化後信号を逆量子化及び逆直交変換して得た信号に、前記予測画像信号生成手段により生成した前記予測画像信号を加算することにより、現復号化対象画像信号の復号画像信号を生成すると共に、その復号画像信号を新たな参照画像として前記参照画像記憶手段に記憶させる復号画像信号生成手段と
を有することを特徴とする動画像復号化装置。
前記予測画像信号生成手段は、前記動き補償予測画像信号生成手段において前記フィルタ処理特定情報により特定したフィルタ処理が複数の場合に、前記記動き補償予測画像信号生成手段で生成した複数の動き補償予測画像信号を、前記特定情報に含まれる合成比率情報に基づき合成して前記予測画像信号を生成することを特徴とする請求項３記載の動画像復号化装置。
動画像復号化処理をコンピュータに実行させる動画像復号化プログラムにおいて、
前記コンピュータに、
符号化側で動画像信号における符号化対象画像信号の動きベクトルを検出し、その動きベクトルを用いた動き補償予測処理とフィルタ処理とにより参照画像信号から得られた予測画像信号と、前記符号化対象画像信号との差分信号に対して、直交変換及び量子化して得られた量子化後信号に所定の符号化処理をして生成した動画像符号化信号に、前記動きベクトルを示す動きベクトル特定情報を含む所定の特定情報が付加された信号が入力され、その入力信号に所定の復号化処理をして、前記入力信号における現復号化対象画像信号の前記量子化後信号と前記特定情報とを出力する第１のステップと、
前記第１のステップで復号した前記特定情報に含まれる参照画像信号特定情報により特定した参照画像信号を、参照画像記憶手段から得て、前記特定情報に含まれるフィルタ処理特定情報により特定したフィルタ処理を１つずつ用いたフィルタ処理と、前記特定情報に含まれる動きベクトル特定情報により特定した動きベクトルに基づいた動き補償予測処理とを、前記特定した参照画像信号に対して行って、動き補償予測画像信号を生成する第２のステップと、
前記第２のステップにおいて前記フィルタ処理特定情報により特定したフィルタ処理が１つの場合には、前記第２のステップで生成した前記動き補償予測画像信号を予測画像信号とし、前記第２のステップにおいて前記フィルタ処理特定情報により特定したフィルタ処理が複数の場合には、その特定された各前記フィルタ処理に対応して得られた複数の動き補償予測画像信号を合成して予測画像信号を生成する第３のステップと、
前記第１のステップで復号した前記量子化後信号を逆量子化及び逆直交変換して得た信号に、前記第３のステップで生成した前記予測画像信号を加算することにより、現復号化対象画像信号の復号画像信号を生成する第４のステップと、
前記第４のステップで生成した復号画像信号を新たな参照画像として前記参照画像記憶手段に記憶させる第５のステップと
を実行させることを特徴とする動画像復号化プログラム。
前記第３のステップは、前記第２のステップにおいて前記フィルタ処理特定情報により特定したフィルタ処理が複数の場合に、前記第２のステップで生成した複数の動き補償予測画像信号を、前記特定情報に含まれる合成比率情報に基づき重み付け合成して前記予測画像信号を生成することを特徴とする請求項５記載の動画像復号化プログラム。