JP2006311265A - 映像符号化装置、映像復号化装置、映像符号化方法、映像復号化方法、映像符号化プログラムおよび映像復号化プログラム - Google Patents

Abstract

【課題】重要度の高い領域の画質を向上するためには、量子化パラメータを符号化して映像ストリームに格納しなければならなかった。
【解決手段】ＭＣＴＦ（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒｉｎｇ）の動き予測補償で生成する動きベクトルを用いて、領域間の参照関係をあらわす参照マップを生成し、量子化パラメータを符号化することなく、重要な領域を高画質化する。
【選択図】図１

Description

本発明は、映像を符号化し映像ストリームを生成する映像符号化装置および方法と、映像ストリームを復号化して復号化映像を生成する映像復号化装置および方法に関するものである。

映像は、もはや我々の生活とは切り離せない関係にあり、インターネットや携帯電話網、放送波、蓄積メディアなどの伝送手段を通じ、パソコンや携帯端末、テレビ、ハイビジョンテレビなどの多様な表示端末において、視覚的な情報を享受させてくれる重要な存在となった。

伝送手段を通じて伝送される映像は、効率良く情報を伝達するために、映像符号化技術を用いてより少ないデータ量を持つ映像ストリームに圧縮される。しかしながら、近年のカメラや映像ディスプレイの高解像度化によって映像の持つ情報は膨大となり、さらなる高効率の映像符号化技術が求められている。ここで、映像とは連続した画像、すなわち動画像のことを指す。

映像符号化技術では、入力した連続する複数の画像内や画像間の相関関係を利用して、もとの画像データをより多くの０を含む情報へと変換し、０を効率よく符号化できるハフマン符号化（Ｈｕｆｆｍａｎ Ｅｎｃｏｄｉｎｇ）や算術符号化を用いて情報を圧縮することにより符号化効率を向上させる。

ここで、全く同じ復号化画像を得ることが可能な２つの映像ストリームがある場合、より符号量の少ない映像ストリームを、符号化効率が良いという。また、全く同じ符号量の映像ストリームが２つある場合、復号化画像と符号化対象である映像との誤差がより少ない映像ストリームを、符号化効率が良いという。ここで、より綺麗な画像とは種々の定義があるが、人間が見てより綺麗と感じる画像や、原画像との誤差が少ない画像を言う。

非特許文献１では、符号化する領域に対して、時間的に前後する画像から似た領域を探し出し領域間で差分をとって、より０を多く含む情報へと変換し符号化効率を向上させる。

図１５は、非特許文献１に開示された映像符号化装置の構成を示す構成図である。

まず、映像信号入力部１５０１が、映像を入力し動き予測補償符号化部１５０２に原映像として出力する。次に、動き予測補償符号化部１５０２が、原映像とデブロック部１５０６から入力した復号化映像を用いて、動き予測補償符号化を行い、差分画像を生成する。

次に、ＤＣＴ部１５０３が、差分画像をＤＣＴ変換する。次に、量子化部１５０４が、ＤＣＴ変換した差分画像を量子化する。量子化とは、ある値を適当な数値で除算し、より少ない情報量を持つ小さい値に変換する処理である。次に、可変長符号化部１５０５が、ハフマン符号化や算術符号化を用いて可変長符号化を行い、映像ストリームを生成する。次に、ストリーム出力部１５０６が、映像ストリームを出力する。次に、逆量子化部１５０８が、量子化した差分画像を逆量子化する。次に、逆ＤＣＴ部１５０７が、逆量子化した差分画像を逆ＤＣＴ変換する。次に、デブロック部１５０９が、逆ＤＣＴ変換した差分画像をデブロック処理し復号化画像を生成する。

逆量子化部１５０８と逆ＤＣＴ部１５０７とデブロック部１５０９の処理により、符号化処理において、復号化処理で得ることのできる復号化画像と同一の画像を生成することが可能である。これにより、動き予測補償符号化部１５０２では、復号化処理で用いられる復号化画像と同一の画像を用いて、時間的に前後する画像から似た領域を探し出すことができ、符号化と復号化処理の間での誤差をなくすことが可能である。

この非特許文献２の８．４項に記載する、動き予測補償符号化部１５０２の操作を動き予測補償と呼び、符号化する領域から差分をとった似た領域までの方向と距離を動きベクトルと呼び、領域間の関係を参照関係と呼ぶ。動き予測補償を用いる符号化では、動きベクトルと差分をとった残りの情報である残差を符号化して映像ストリームを生成する。

非特許文献２では、ＭＣＴＦ（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒｉｎｇ）という動き予測補償を用いて、符号化効率を向上している。

ＭＣＴＦについて簡単に説明する。ＭＣＴＦでは、２＾Ｎ枚の連続する画像から時間方向に平均した１枚の時間的平均画像を生成する。まず、２のＮ乗枚の連続する画像から、半分の枚数である２の（Ｎ−１）乗枚の時間的平均画像を生成し、さらにそこから半分の枚数の時間的平均画像を生成し、順次、最後の１枚になるまで繰り返す。これら時間的平均画像に加えることによりもとの２倍の枚数の画像を復号化することのできる画像を時間的差分画像と呼ぶ。ＭＣＴＦでは、最後の１枚の時間的平均画像と全ての時間的差分画像を符号化する。時間的差分画像の情報が０を多く含むほど符号化効率が高く、０を多く含ませるためＭＣＴＦでは時間的に前後する画像から似た領域を探し出し領域間で差分をとる。

以下に、より詳しいＭＣＴＦの説明を行う。図１６は連続する２枚の画像にＭＣＴＦを適用した場合の概念図である。１６０１は１枚目の画像、１６０２は２枚目の画像を表す。画像１６０１と画像１６０２の時間的平均画像１６０３と時間的差分画像１６０４を生成する。時間的平均画像１６０３は画像１６０１と画像１６０２を平均した画像であり、時間的差分画像１６０４と時間的平均画像１６０３を用いると画像１６０１と画像１６０２が復号化可能である。

以下の（数１）は時間的平均画像１６０３の中の１画素の計算方法を示したものである。（数１）のＡは画像１６０１の１画素の値を示し、Ｂは画像１６０２の対応する１画素の値を示し、Ｌは画像１６０３の対応する１画素の値を示す。

以下の（数２）は時間的差分画像１６０４の中の１画素の計算方法を示したものである。（数２）のＡとＢは数式１と同様であり、Ｈは画像１６０４の対応する１画素の値を示す。

以下の（数３）と（数４）は時間的平均画像１６０３と時間的差分画像１６０４から、画像１６０１と画像１６０２の対応する画素を計算する方法を示したものである。

ただし、（数１）から（数４）は説明の簡単のための一例であり、その他の式を用いることも可能である。

ＭＣＴＦでは（数２）のＨの値を０に近づけることにより、符号化効率を向上させる。そのため、数式内のＡとＢの対応する画素は同位置である必要はない。例えば、２枚の画像内の物体が移動しており、画像１６０１で物体を描画する画素の領域１６０５と画像１６０２の領域１６０６が似るならば、領域１６０５の各画素の値を（数１）および（数２）におけるＡの値とし、領域１６０６の各画素の値を（数１）および（数２）におけるＢの値とすると、Ｈの値が小さくなり符号化効率が向上する。その際、(数１）および（数２）のＬの値は時間的平均画像１６０３の領域１６０７にあたり、Ｈの値は時間的差分画像１６０４の領域１６０８にあたり、領域１６０７と領域１６０８の関係を参照と呼び、領域１６０８から領域１６０７への相対的位置を動きベクトル１６０９で表す。ＭＣＴＦの動き予測補償では、Ｌの値である時間的平均画像と、残差のＨの値である時間的差分画像と、動きベクトルとを符号化して映像ストリームを生成する。

ここで、似た領域であるということは、対応する画素ごとの誤差の２乗和がより小さい値であること、実際に映像ストリームに変換した場合の符号量が小さいこと、などを指す。

動きベクトルの数が多くなると動きベクトルそのものの符号量が多くなり符号化効率が下がるので、動き予測補償は４×４画素や８×８画素の複数画素単位の領域である符号化ブロックごとで行う。

また、動き予測補償の後、ＬやＨの値を適当な数値で除算することで、絶対値のより小さな値や０に変換し符号化効率を向上させる。これを量子化と呼び、復号化の際には同じ画素を同じ数値で掛算する逆量子化を行い元のＬやＨと近い値を復元する。量子化の際の除算する数値を決定するパラメータを量子化パラメータと呼ぶ。一般的に量子化パラメータの値が大きいほど除算する数値が大きく、画質が悪くなる。

ＭＣＴＦで得た時間的平均画像１６０３と時間的差分画像１６０４と動きベクトルとを復号化する方法について述べる。例えば、動きベクトル１６０９によって領域１６０７と領域１６０８が参照関係にあり、復号化すると画像１６０１の領域１６０５と画像１６０２の領域１６０６になることが分かる。領域１６０７の各画素の値を（数３）および（数４）におけるＬの値とし、領域１６０８の各画素の値をＨの値として、領域１６０５の各画素を表すＡの値、および、領域１６０８の各画素を表すＢの値を求める。

ただし、符号化の際に量子化などの処理を行うと、原画像を完全に復号化できるとは限らない。

図１７は階層的に秒間３０枚で入力する映像のうち、８枚の画像にＭＣＴＦを階層的に適用した概念図である。入力する８枚の原画像に対して２枚ずつＭＣＴＦを適用し、得られた時間的平均画像４枚に対して再度２枚ずつＭＣＴＦを適用し、時間的平均画像が１枚の１７０１になるまで繰り返す。この際、時間的差分画像１７０２〜１７０８は動き予測補償の後に量子化によって、効率よく符号化する。

ここで、段階的に繰り返し適用したＭＣＴＦの数が多い時間的平均画像および時間的差分画像ほど高いレベルであるという。図１７において、原画像がレベル０である。原画像にＭＣＴＦを施した時間的平均画像１７０７、１７０９、１７１１、１７１３および時間的差分画像１７０８、１７１０、１７１２、１７１４がレベル１である。レベル１の時間的平均画像１７０７、１７０９、１７１１、１７１３にＭＣＴＦを施した時間的平均画像１７０３、１７０５および時間的差分画像１７０４、１７０６がレベル２である。レベル２の時間的平均画像１７０３、１７０５にＭＣＴＦを施した時間的平均画像１７０１および時間的差分画像１７０２がレベル３である。上位の時間的平均画像と時間的差分画像があれば、下位の時間的平均画像を復号化することができるので、図１７において、映像ストリームに格納するのは時間的平均画像１７０１と時間的差分画像１７０２、１７０４、１７０６、１７０８、１７１０、１７１２、１７１４だけでよい。

段階的にＭＣＴＦを適用した後に、量子化などの処理を行うことが可能である。

また、この段階的なＭＣＴＦ構造を利用してフレームレート（秒間の画像枚数）を選択することが可能である。例えば、原画像を秒間３０枚で入力している場合に、８枚ずつ３段階のＭＣＴＦを適用したレベル３の時間的平均画像１７０１のみを復号化すると秒間３．７５枚の復号化画像が得られる。時間的平均画像１７０１にレベル３の時間的差分画像１７０２を用いてＭＣＴＦの復号化を行うと時間的平均画像１７０３、１７０５が得られ、秒間７．５枚となる。さらにレベル２の時間的平均画像１７０４、１７０６を加えると秒間１５枚となる。さらにレベル１の時間的差分画像１７０８、１７１０、１７１２、１７１４を加えると秒間３０枚の復号化画像が得られる。このように、復号化に用いる時間的差分画像のレベルを選択することにより、通信速度に応じてフレームレートを調整することなどが可能である。
"Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ"、ＩＳＯ／ＩＥＣ、１４４９６−１０、２００３−１２−０１ Ｊｕｌｉａｎ Ｒｅｉｃｈｅｌ他著、"Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ−Ｗｏｒｋｉｎｇ Ｄｒａｆｔ１"、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ａｎｄ ＩＴＵ−Ｔ ＳＧ１６ Ｑ．６、１４ｔｈ Ｍｅｅｔｉｎｇ：Ｈｏｎｇ Ｋｏｎｇ、ＣＮ、１７−２１、Ｊａｎｕａｒｙ、２００５

しかしながら、非特許文献１の方法では、参照される領域の画質が悪くノイズを多く含むと、参照する領域の画質も低下する。これはドリフトノイズと呼ばれ、解決するためには、参照される領域の画質を向上すれば良い。非特許文献１の方法では、参照する画像として、ＤＣＴ部１５０３、量子化部１５０４での符号化処理の後、逆量子化部１５０８、逆ＤＣＴ部１５０７、デブロック部１５０６での復号化処理を行った復号化画像を用いている。よって、参照される領域の画質を向上するには、符号化と復号化処理を再度行わねばならず、処理負荷の面で効率が悪い。

非特許文献２の方法では、たとえば、図１７において、３段階のＭＣＴＦを行った後で量子化の処理を施すことが可能で、多く参照される領域は量子化パラメータを小さくして高画質にするといった処理が可能である。

しかしながら、非特許文献２では、多く参照される領域を高画質化する場合、その領域をどう量子化するかを示す量子化パラメータが必要であり、この符号が多いと符号化効率が悪くなる。非特許文献２に記載するＳ．７．３．８とＳ．７．３．９．１とＳ．７．３．９．２項のｍｂ＿ｑｐ＿ｄｅｌｔａがこれに当たる。

また、非特許文献２では、単独で復号化可能な基本レイヤと、基本レイヤを高画質化する拡張レイヤと、に階層化して符号化することが可能である。ここで、基本レイヤにて多く参照される領域を拡張レイヤで高画質化する場合を考える。

例えば、時間的平均画像１７０１の基本レイヤストリームを拡張レイヤストリームで高画質化する。この場合、拡張レイヤストリームの符号が基本レイヤのどの領域を高画質化するか、を示す符号が必要であり、その符号の分だけ符号化効率が悪くなる。非特許文献２に記載するＳ．７．３．８とＳ．７．３．９．１とＳ．７．３．９．２項のｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎやｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿ｂｉｔが、その領域の符号を含むかどうかを示しており、これに当たる。

本発明の映像符号化装置は、ＭＣＴＦ（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒｉｎｇ）により動きベクトルを生成する動き予測補償符号化手段と、前記動きベクトルを用いて複数画像の領域間の参照関係を表す参照マップを生成する参照マップ生成手段と、前記参照マップを用いて領域の画素を表すビットの集まりのうちどのビットを符号化して映像ストリームに格納するのかを指定するビット指定パラメータを生成するビット指定パラメータ生成手段と、領域の画素を表すビットから前記ビット指定パラメータが指定するビットを抽出するビット抽出手段と、前記ビット抽出手段が抽出したビットを可変長符号化する可変長符号化手段と、を有する構成をとる。

この構成により、動き予測補償符号化を行った後に前記参照マップに応じて画質への影響度の大きい領域を特定し、前記ビット指定パラメータを用いてその領域に多くの符号を割当てることができ、また、符号化処理と復号化処理で同一の前記参照マップを生成することが可能であるので前記ビット指定パラメータを符号化せずに映像ストリームが生成でき、符号化効率を向上することが可能である。

また、本発明の映像符号化装置は上記の構成において、前記参照マップ生成手段が、画像の領域ごとに前記動きベクトルが参照する回数が多いほど値が大きくなる参照度合を算出し、前記ビット指定パラメータ生成手段が、前記参照マップの参照度合に応じて前記ビット指定パラメータを生成する、ことを特徴とする。

この構成により、領域ごとの前記参照度合に基づき影響度の大きい領域を特定し、影響度の大きい領域を高画質化することができ、符号化効率を向上することが可能である。

また、本発明の映像符号化装置は上記の構成において、前記参照マップ生成手段が、ある領域がもつ前記参照度合が大きいほど、その領域が参照する領域の前記参照度合を大きくする、ことを特徴とする。

この構成により、前記参照マップが、前記動きベクトルが表す２枚の画像間の参照関係だけでなく、２枚以上の複数の画像の参照関係を表し、影響度の大きい領域を特定し、影響度の大きい領域を高画質化することができ、符号化効率を向上することが可能である。

また、本発明の映像符号化装置は上記の構成において、前記参照マップ生成手段が、前記動きベクトルが参照する領域の画素をあらかじめ定めた数以上含む領域に対して前記参照度合を大きくする、ことを特徴とする。

この構成により、前記動きベクトルが参照する領域が前記参照度合を定義する領域の境界を跨ぐ場合にでも、画質への影響度の大きい領域の前記参照度合を大きくでき、符号化効率を向上することが可能である。

また、本発明の映像符号化装置は上記の構成において、前記参照マップ生成手段が、段階的に行うＭＣＴＦによる動き予測補償のうち高いレベルの段階で生成した前記動きベクトルが参照する領域ほど参照度合を大きくする、ことを特徴とする。

この構成により、より画質への影響の大きい、段階的に行うＭＣＴＦによる動き予測補償の遅い段階で生成する時間的平均画像および時間的差分画像に対して前記参照度合を大きくでき、符号化効率を向上することが可能である。

また、本発明の映像符号化装置は上記の構成において、前記ビット抽出手段が、前記ビット指定パラメータに基づき量子化を行う、ことを特徴とする。

この構成により、前記ビット抽出手段が、前記ビット指定パラメータが指定する画質への影響度の大きい領域ほど小さい値で除算することにより、その領域を高画質化することができ、符号化効率を向上することが可能である。

また、本発明の映像符号化装置は上記の構成において、前記ビット抽出手段が、前記ビット指定パラメータに基づき複数のビット列の同じ位のビット毎に符号化を行う、ことを特徴とする。

この構成により、前記ビット抽出手段が、前記ビット指定パラメータが指定する画質への影響度の大きい領域ほど多くのビット平面を割り当てることにより、その領域を高画質化することができ、符号化効率を向上することが可能である。

ここで、ビット平面とは、複数のビット列の同じ位のビットの集まりのことである。

また、本発明の映像符号化装置は上記の構成において、映像を単独で復号化可能な基本レイヤと基本レイヤの画質を向上する拡張レイヤに階層化して符号化するものであり、前記ビット指定パラメータ生成手段が、拡張レイヤに対する前記ビット指定パラメータを生成する、特徴を有する。

この構成により、符号化処理と復号化処理で同一の前記参照マップを生成することが可能であるので前記ビット指定パラメータを符号化せずに拡張レイヤの映像ストリームである拡張レイヤストリームを生成でき、符号化効率を向上することが可能である。

本発明の映像復号化装置は、映像ストリームを可変長復号化する可変長復号化手段と、動きベクトルを用いてＭＣＴＦ（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒｉｎｇ）を行う動き予測補償復号化手段と、前記動きベクトルを用いて複数画像の領域間の参照関係を表す参照マップを生成する参照マップ生成手段と、前記参照マップを用いて映像ストリームを復号化して得たビットが領域の画素を表すビットのどれに当たるかを指定するビット指定パラメータを生成するビット指定パラメータ生成手段と、領域の画素を表すビットに前記ビット指定パラメータが指定するビットを配置するビット配置手段と、を有する構成をとる。

この構成により、前記参照マップに応じて画質への影響度の大きい領域を特定し、前記ビット指定パラメータを用いてその領域に多くの符号を割当てることができ、また、符号化処理と復号化処理で同一の前記参照マップを生成することが可能であるので前記ビット指定パラメータを符号化せずに映像ストリームが生成でき、符号化効率を向上することが可能である。

また、本発明の映像復号化装置は上記の構成において、前記参照マップ生成手段が、画像の領域ごとに前記動きベクトルが参照する回数が多いほど値が大きくなる参照度合を算出し、前記ビット指定パラメータ生成手段が、前記参照マップの参照度合に応じて前記ビット指定パラメータを生成する、ことを特徴とする。

この構成により、領域ごとの前記参照度合に基づき影響度の大きい領域を特定し、影響度の大きい領域を高画質化することができ、符号化効率を向上することが可能である。

また、本発明の映像復号化装置は上記の構成において、前記参照マップ生成手段が、ある領域がもつ前記参照度合が大きいほど、その領域が参照する領域の前記参照度合を大きくする、ことを特徴とする。

この構成により、前記参照マップが、前記動きベクトルが表す２枚の画像間の参照関係だけでなく、２枚以上の複数の画像の参照関係を表し、影響度の大きい領域を特定し、影響度の大きい領域を高画質化することができ、符号化効率を向上することが可能である。

また、本発明の映像復号化装置は上記の構成において、前記参照マップ生成手段が、前記動きベクトルが参照する領域の画素をあらかじめ定めた数以上含む領域に対して前記参照度合を大きくする、ことを特徴とする。

この構成により、前記動きベクトルが参照する領域が前記参照度合を定義する領域の境界を跨ぐ場合にでも、画質への影響度の大きい領域の前記参照度合を大きくでき、符号化効率を向上することが可能である。

また、本発明の映像復号化装置は上記の構成において、前記参照マップ生成手段が、段階的に行うＭＣＴＦによる動き予測補償のうち遅い段階で生成した前記動きベクトルが参照する領域ほど参照度合を大きくする、ことを特徴とする。

この構成により、より画質への影響の大きい、段階的に行うＭＣＴＦによる動き予測補償の遅い段階で生成する時間的平均画像および時間的差分画像に対して前記参照度合を大きくでき、符号化効率を向上することが可能である。

また、本発明の映像復号化装置は上記の構成において、前記ビット配置手段が、前記ビット指定パラメータに基づき逆量子化を行う、ことを特徴とする。

この構成により、前記ビット抽出手段が、前記ビット指定パラメータが指定する画質への影響度の大きい領域ほど小さい値で除算することにより、その領域を高画質化することができ、符号化効率を向上することが可能である。

また、本発明の映像復号化装置は上記の構成において、前記ビット配置手段が、前記ビット指定パラメータに基づき複数のビット列の同じ位のビット毎に復号化を行う、ことを特徴とする。

この構成により、前記ビット抽出手段が、前記ビット指定パラメータが指定する画質への影響度の大きい領域ほど多くのビット平面を割り当てることにより、その領域を高画質化することができ、符号化効率を向上することが可能である。

また、本発明の映像復号化装置は上記の構成において、映像を単独で復号化可能な基本レイヤと基本レイヤの画質を向上する拡張レイヤに階層化した映像ストリームを復号化するものであり、前記ビット指定パラメータ生成手段が、拡張レイヤに対する前記ビット指定パラメータを生成する、特徴を有する。

この構成により、符号化処理と復号化処理で同一の前記参照マップを生成することが可能であるので前記ビット指定パラメータを格納していない拡張レイヤの映像ストリームである拡張レイヤストリームを復号化でき、符号化効率を向上することが可能である。

本発明の映像符号化方法は、ＭＣＴＦにより動きベクトルを生成する動き予測補償符号化処理ステップと、前記動きベクトルを用いて複数画像の領域間の参照関係を表す参照マップを生成する参照マップ生成処理ステップと、前記参照マップを用いて領域の画素を表すビットの集まりのうちどのビットを符号化して映像ストリームに格納するのかを指定するビット指定パラメータを生成するビット指定パラメータ生成処理ステップと、領域の画素を表すビットから前記ビット指定パラメータが指定するビットを抽出するビット抽出処理ステップと、前記ビット抽出処理ステップで抽出したビットを可変長符号化する可変長符号化処理ステップと、を有する構成をとる。

本発明の映像符号化プログラムは、ＭＣＴＦにより動きベクトルを生成する動き予測補償符号化処理ステップと、前記動きベクトルを用いて複数画像の領域間の参照関係を表す参照マップを生成する参照マップ生成処理ステップと、前記参照マップを用いて領域の画素を表すビットの集まりのうちどのビットを符号化して映像ストリームに格納するのかを指定するビット指定パラメータを生成するビット指定パラメータ生成処理ステップと、領域の画素を表すビットから前記ビット指定パラメータが指定するビットを抽出するビット抽出処理ステップと、前記ビット抽出処理ステップで抽出したビットを可変長符号化する可変長符号化処理ステップと、を有する構成をとる。

本発明の映像復号化方法は、映像ストリームを可変長復号化する可変長復号化処理ステップと、動きベクトルを用いてＭＣＴＦを行う動き予測補償復号化処理ステップと、前記動きベクトルを用いて複数画像の領域間の参照関係を表す参照マップを生成する参照マップ生成処理ステップと、前記参照マップを用いて映像ストリームを復号化して得たビットが領域の画素を表すビットのどれに当たるかを指定するビット指定パラメータを生成するビット指定パラメータ生成処理ステップと、領域の画素を表すビットに前記ビット指定パラメータが指定するビットを配置するビット配置処理ステップと、を有する構成をとる。

本発明の映像復号化装置は、映像ストリームを可変長復号化する可変長復号化処理ステップと、動きベクトルを用いてＭＣＴＦを行う動き予測補償復号化処理ステップと、前記動きベクトルを用いて複数画像の領域間の参照関係を表す参照マップを生成する参照マップ生成処理ステップと、前記参照マップを用いて映像ストリームを復号化して得たビットが領域の画素を表すビットのどれに当たるかを指定するビット指定パラメータを生成するビット指定パラメータ生成処理ステップと、領域の画素を表すビットに前記ビット指定パラメータが指定するビットを配置するビット配置処理ステップと、を有する構成をとる。

本発明では、映像符号化において符号化効率を向上し、映像復号化における復号化画像の画質を向上することが可能である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
第１の実施の形態では、映像符号化において、領域ごとの画質を決定する量子化パラメータを省略して符号化する。

図１は、本実施の形態１に関わる映像符号化方法を適用した映像符号化装置１００の構成を示す。

図１において、映像符号化装置１００は、映像信号入力部１０１、ＭＣＴＦ符号化部１０２、参照マップ生成部１０３、量子化パラメータ生成部１０４、量子化部１０５、可変長符号化部１０６、ストリーム出力部１０７を有する。

映像信号入力部１０１は、映像符号化装置１００の外部から映像を原画像として入力し、ＭＣＴＦ符号化部１０２に出力する。また、映像符号化装置１００の外部から入力する映像の有無を判定し、映像の入力がなければ処理を終了する。

ここで、映像信号入力部１０１は、図１７のように、８枚の原画像に対して３回のＭＣＴＦを行う場合は、画像を８枚ずつ入力する。１６枚に対して４回のＭＣＴＦを行う場合は、１６枚ずつ入力する。

ＭＣＴＦ符号化部１０２は、映像信号入力部１０１から入力した複数の原画像をＭＣＴＦにより動き予測補償符号化し、動きベクトルを可変長符号化部１０６と参照マップ生成部１０３に出力する。また、時間的平均画像と時間的差分画像を生成し、量子化部１０５に出力する。

参照マップ生成部１０３は、ＭＣＴＦ符号化部１０２から入力した動きベクトルを用いて参照マップを生成し、量子化パラメータ生成部１０４に出力する。参照マップの生成方法については後述する。

量子化パラメータ生成部１０４は、参照マップ生成部１０３から入力した参照マップを用いて画像内の領域ごとに量子化パラメータを生成し、量子化部１０５と可変長符号化部１０６に出力する。ここで、量子化パラメータはスカラー値で、小さい値を持つ方が量子化で除算する数値が小さく、すなわち、その領域を高画質化するものとする。量子化パラメータの生成については後述する。

量子化部１０５は、ＭＣＴＦ符号化部１０２から入力した時間的平均画像と時間的差分画像を、量子化パラメータ生成部１０４から入力した量子化パラメータを用いて量子化し、可変長符号化部１０６に出力する。

なお、量子化の前に時間的平均画像と時間的差分画像にＤＣＴ変換（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を行うなどしても良い。その場合は、復号化の処理の際に逆ＤＣＴ変換を必要とする。本発明の主旨ではないので説明は割愛する。

可変長符号化部１０６は、ＭＣＴＦ符号化部１０２から入力した動きベクトルと、量子化部１０５から入力した量子化後の時間的平均画像と時間的差分画像と、を可変長符号化し映像ストリームを生成して、ストリーム出力部１０７に出力する。

ここで、可変長符号化は、量子化後の時間的平均画像および時間的差分画像ごとにレベルの高いものから行う。なぜならば、映像ストリームはレベルの高いものから復号化を行い順次レベルの低い時間的平均画像を生成していくので、レベルの高いものほど映像ストリームの先頭になければならないからである。動きベクトルは、参照される側の量子化後の時間的平均画像および時間的差分画像ではなく、参照する側の量子化後の時間的差分画像とともに符号化する。なぜならば、時間的平均画像と動きベクトルだけではより低いレベルの時間的平均画像を復号化できず、動きベクトルの情報は時間的差分画像の情報があって初めて意味をなすからである。

ここで、可変長符号化には算術符号化やハフマン符号化などを用いる。本発明の主旨ではないので説明は割愛する。

ストリーム出力部１０７は、可変長符号化部１０６から入力した映像ストリームを、映像符号化装置１００の外部に出力する。

なお、ＭＣＴＦ符号化部１０２が本発明の動き予測補償符号化手段に相当し、参照マップ生成部１０３が参照マップ生成手段に相当し、量子化パラメータ生成部１０４がビット指定パラメータ生成手段に相当し、量子化部１０５がビット抽出手段に相当し、可変長符号化部１０６が可変長符号化手段に相当する。また、量子化パラメータがビット指定パラメータに相当する。

以下に、本発明の骨子の一つである、参照マップの生成と量子化パラメータの生成について述べる。

ここでは、説明の簡単のため、２段階のＭＣＴＦについて説明する。

図２は、ＭＣＴＦにおける画像間の参照の関係を示す図である。２０１〜２０４は時間的に連続する４枚の画像に対してＭＣＴＦを施したもので、２０１はレベル１の時間的平均画像を表し、２０２は２０１に対するレベル１の時間的差分画像を表す。同様に２０３と２０４はレベル１の時間的平均画像と時間的差分画像を表す。２０５と２０６はレベル１の時間的平均画像２０１と２０３に更にＭＣＴＦを施したもので、２０５はレベル２の時間的平均画像を表し、２０６はレベル２の時間的差分画像を表す。動きベクトル２２２は、ＭＣＴＦにおいて時間的差分画像２０２の領域２２１が時間的平均画像２０１の領域２１１を参照することを表す。動きベクトル２４２は領域２４１が領域２３１を、動きベクトル２６２は領域２６１が領域２５１を、動きベクトル２６４は領域２６２が領域２５２を参照することを表す。

図３は、図２のうち符号化する必要のないレベル１の時間的平均画像２０１と２０３を省略して参照の関係を示したものである。レベル１の時間的平均画像２０１と２０３はレベル２の時間的平均画像２０５と時間的差分画像２０６から生成することができる。

よって、時間的平均画像２０１の領域２１１と時間的差分画像２０２の領域２２１に対する動きベクトル２２２は、レベル１の領域２１１とレベル２の時間的差分画像２０６の領域２６２に対する動きベクトル３２２に置き換えることができる。同様に、時間敵平均画像２０３の領域２３１と時間的差分画像２０４の領域２４１に対する動きベクトル２４２は、時間的差分画像２０６の領域Ｃ６３と領域２４１に対する動きベクトル３４２に置き換えることができる。

この動きベクトルの参照関係から、ある領域の画質を向上するためには、他のどの領域を高画質化すればよいかの情報が得られる。たとえば、動きベクトル３２２の参照関係から、レベル１の時間的平均画像２０２の領域２２１を復号化した画像の画質を向上するためには、レベル２の時間的差分画像２０６の領域２６２の画質を向上すればよいことがわかる。また、動きベクトル２６４の参照関係から、領域２６２の画質を向上するためには、時間的平均画像２０５の領域２５２の画質を向上すればよいことがわかる。

本発明では、ある領域が他の画像の領域からどの程度参照されているかを示す参照度合を定義し、ＭＣＴＦによる段階的な参照関係を順に追って、画像ごとに、その画像の領域ごとの参照度合を示す参照マップを生成し、参照度合が大きい領域を高画質化する。以下に、詳細を示す。ここで、全ての参照度合の初期値は０であるとする。

また、量子化パラメータは符号化ブロックごとに生成するので、参照度合も符号化ブロックごとに用意する。しかし、参照される側の領域、例えば領域Ｃ６３などは符号化ブロックの領域と必ずしも一致するとは限らない。この場合、領域Ｃ６３と一部でも画素を共有する符号化ブロック全ての参照度合を増やす。また、領域Ｃ６３の４分の１以上の画素を共有する符号化ブロックのみ参照度合を増やすなどしても良い。

時間的差分画像２０２の領域２２１は、１つレベルの高い時間的差分画像２０６の領域２６２を参照しているので、領域２６２の参照度合を１増やす。同様に、領域２４１との関係から領域Ｃ６３の参照度合を１増やす。

時間的差分画像２０６の領域２６１は、時間的平均画像２０５の領域２５１を参照しているので、領域２５１の参照度合を１増やす。同様に領域２６２との関係から領域２５２の参照度合を１増やすが、領域２６２は既に参照度合が１であるので、さらに領域２５２の参照度合を１増やす。

よって、領域２５２の参照度合が２、領域２５１と領域２６２と領域Ｃ６３が１となる。参照度合が大きい領域ほど、小さい量子化パラメータを生成し高画質化する。

図４は、１６枚の画像に対してＭＣＴＦを４段階行った場合の参照マップの例である。領域ごとに参照度合を記載している。空白部分は参照度合０である。４０１、４０２、４０３、４０４はレベル２の時間的差分画像に対する参照マップである。４０５、４０６はレベル３の時間的差分画像に対する参照マップである。４０８はレベル４の時間的差分画像に対する参照マップである。４０７はレベル４の時間的平均画像に対する参照マップである。レベル１に関しては参照されないので参照マップは生成しない。

ここで、ＭＣＴＦの高レベルほど参照度合の増やし方を多くしても良い。これによって、より他の復号化画像への影響の大きい高レベルの画像を優先的に高画質化することが可能である。

１６枚の画像に対してＭＣＴＦを４段階行い、それら全ての動きベクトルを用いて参照マップを生成し量子化パラメータを生成する場合、復号化の処理においても１６枚の画像に対する４段階のＭＣＴＦの全ての動きベクトルが必要である。本実施の形態１は、符号化と復号化で同一の動きベクトルを用いて同一の参照マップを生成し、同一の量子化パラメータを生成することにより、量子化パラメータの符号化を省略することが可能である。

なお、例えば、監視カメラを固定し同じ位置を撮影し続ける監視映像においては、参照される回数が多くとも動きベクトルの方向と大きさが０の領域であれば、監視上重要でない背景などである。また、監視カメラが上下左右に動く場合、動きベクトルの方向と大きさがカメラの動きと完全に対応している領域であれば、監視上重要でない背景である。これらのケースは監視映像以外でも考えられ、その場合は参照度合を増やさず高画質化しなくとも良い。

次に、以上のように構成された映像符号化装置１００の動作を説明する。図５は、図１に示す第１の実施の形態の映像符号化装置１００の動作の一例を示すフローチャートである。なお、図５に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納されたプログラムを、同じく図示しないＣＰＵが実行し、プログラムによりソフトウエア的に実行することも可能である。

最初に、ステップＳ５０１において、映像信号入力部１０１が、映像符号化装置１００の外部から映像を原画像として入力し、ＭＣＴＦ符号化部１０２に出力する。

次に、ステップＳ５０２において、ＭＣＴＦ符号化部１０２が、映像信号入力部１０１から入力した複数の原画像をＭＣＴＦにより動き予測補償符号化し、動きベクトルを可変長符号化部１０６と参照マップ生成部１０３に出力する。また、時間的平均画像と時間的差分画像を生成し、量子化部１０５に出力する。

次に、ステップＳ５０３において、参照マップ生成部１０３が、ＭＣＴＦ符号化部１０２から入力した動きベクトルを用いて参照マップを生成し、量子化パラメータ生成部１０４に出力する。参照マップの生成方法については後述する。

次に、ステップＳ５０４において、量子化パラメータ生成部１０４が、参照マップ生成部１０３から入力した参照マップを用いて画像内の領域ごとに量子化パラメータを生成し、量子化部１０５と可変長符号化部１０６に出力する。

次に、ステップＳ５０５において、量子化部１０５が、ＭＣＴＦ符号化部１０２から入力した時間的平均画像と時間的差分画像を、量子化パラメータ生成部１０４から入力した量子化パラメータを用いて量子化し、可変長符号化部１０６に出力する。

次に、ステップＳ５０６において、可変長符号化部１０６が、ＭＣＴＦ符号化部１０２から入力した動きベクトルと、量子化部１０５から入力した量子化後の時間的平均画像と時間的差分画像と、を可変長符号化し映像ストリームを生成して、ストリーム出力部１０７に出力する。

次に、ステップＳ５０７において、ストリーム出力部１０７が、可変長符号化部１０６から入力した映像ストリームを、映像符号化装置１００の外部に出力する。

最後に、ステップＳ５０８において、映像信号入力部１０１が、映像符号化装置１００の外部から入力する映像の有無を判定し、映像の入力がなければ処理を終了する。そうでなければ、ステップＳ５０１に戻る。

なお、ステップＳ５０２が本発明の動き予測補償符号化処理ステップに相当し、ステップＳ５０３が参照マップ生成処理ステップに相当し、ステップＳ５０４がビット指定パラメータ生成処理ステップに相当し、ステップＳ５０５がビット抽出処理ステップに相当し、ステップＳ５０６が可変長符号化処理ステップに相当する。

以上のように、本実施の形態１によれば、映像符号化装置１００は、ＭＣＴＦによる動き予測補償符号化の動きベクトルに基づき参照マップを生成し、参照マップに基づき量子化パラメータを生成することにより、量子化パラメータを符号化することなく、多く参照される重要な領域を高画質化することが可能で、符号化効率を向上することができる。

（実施の形態２）
第２の実施の形態では、第１の実施の形態を適用した映像符号化装置８００が出力した映像ストリームを復号化する。領域ごとの画質を決定する量子化パラメータがなくとも復号化する。

図６は、本実施の形態２に関わる映像復号化方法を適用した映像復号化装置６００の構成を表す。

図６において、映像復号化装置６００は、ストリーム入力部６０１、可変長復号化部６０２、参照マップ生成部６０３、量子化パラメータ生成部６０４、逆量子化部６０５、ＭＣＴＦ復号化部６０６、映像信号出力部６０７を有する。

ストリーム入力部６０１は、映像復号化装置６００の外部から映像ストリームを入力し、可変長復号化部６０２に出力する。また、映像復号化装置６００の外部から入力する映像ストリームの有無を判定し、映像ストリームの入力がなければ処理を終了する。

可変長復号化部６０２は、ストリーム入力部６０１から入力した映像ストリームを可変長復号化して、量子化後の時間的平均画像と時間的差分画を生成し、逆量子化部６０５に出力する。また、動きベクトルを生成し、ＭＣＴＦ復号化部６０６と参照マップ生成部６０３に出力する。

参照マップ生成部６０３は、可変長復号化部６０３から入力した動きベクトルを用いて、参照マップを生成する。参照マップの生成は実施の形態１と同様であるので詳細は割愛する。

量子化パラメータ生成部６０４は、参照マップ生成部６０３から入力した参照マップを用いて画像内の領域ごとに量子化パラメータを生成し、逆量子化部６０５に出力する。量子化パラメータの生成は実施の形態１と同様であるので詳細は割愛する。

逆量子化部６０５は、可変長復号化部６０２から入力した量子化後の時間的平均画像と時間的差分画像を、量子化パラメータ生成部６０４から入力した量子化パラメータを用いて逆量子化して、ＭＣＴＦ復号化部６０６に出力する。

ＭＣＴＦ復号化部６０６は、逆量子化部６０５から入力した逆量子化後の時間的平均画像と時間的差分画像を、可変長復号化部６０２から入力した動きベクトルを用いてＭＣＴＦによる動き予測補償復号化して復号化画像を生成し、映像信号出力部６０７に出力する。

映像信号出力部６０７は、ＭＣＴＦ復号化部６０６から入力した復号化画像を、映像復号化装置６００の外部に出力する。

なお、ＭＣＴＦ復号化部６０２が本発明の動き予測補償復号化手段に相当し、参照マップ生成部６０３が参照マップ生成手段に相当し、量子化パラメータ生成部６０４がビット指定パラメータ生成手段に相当し、逆量子化部１０５がビット配置手段に相当し、可変長復号化部６０２が可変長復号化手段に相当する。また、量子化パラメータがビット指定パラメータに相当する。

次に、以上のように構成された映像復号化装置６００の動作を説明する。図７は、図６に示す第２の実施の形態の映像復号化装置６００の動作の一例を示すフローチャートである。なお、図７に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納されたプログラムを、同じく図示しないＣＰＵが実行し、プログラムによりソフトウエア的に実行することも可能である。

最初に、ステップＳ７０１において、ストリーム入力部６０１が、映像復号化装置６００の外部から映像ストリームを入力し、可変長復号化部６０２に出力する。

次に、ステップＳ７０２において、可変長復号化部６０２が、ストリーム入力部６０１から入力した映像ストリームを可変長復号化して、量子化後の時間的平均画像と時間的差分画を生成し、逆量子化部６０５に出力する。また、動きベクトルを生成し、ＭＣＴＦ復号化部６０６と参照マップ生成部６０３に出力する。

次に、ステップＳ７０３において、次に、ステップＳ７０１において、参照マップ生成部６０３が、可変長復号化部６０３から入力した動きベクトルを用いて、参照マップを生成する。

次に、ステップＳ７０４において、量子化パラメータ生成部６０４が、参照マップ生成部６０３から入力した参照マップを用いて画像内の領域ごとに量子化パラメータを生成し、逆量子化部６０５に出力する。

次に、ステップＳ７０５において、逆量子化部６０５が、可変長復号化部６０２から入力した量子化後の時間的平均画像と時間的差分画像を、量子化パラメータ生成部６０４から入力した量子化パラメータを用いて逆量子化して、ＭＣＴＦ復号化部６０６に出力する。

次に、ステップＳ７０６において、ＭＣＴＦ復号化部６０６が、逆量子化部６０５から入力した逆量子化後の時間的平均画像と時間的差分画像を、可変長復号化部６０２から入力した動きベクトルを用いてＭＣＴＦによる動き予測補償復号化して復号化画像を生成し、映像信号出力部６０７に出力する。

次に、ステップＳ７０７において、映像信号出力部６０７が、ＭＣＴＦ復号化部６０６から入力した復号化画像を、映像復号化装置６００の外部に出力する。

最後に、ステップＳ７０８において、映像復号化装置６００の外部から入力する映像ストリームの有無を判定し、映像ストリームの入力がなければ処理を終了する。そうでなければ、ステップＳ７０１に戻る。

なお、ステップＳ７０６が本発明の動き予測補償復号化処理ステップに相当し、ステップＳ７０３が参照マップ生成処理ステップに相当し、ステップＳ７０４がビット指定パラメータ生成処理ステップに相当し、ステップＳ７０５がビット配置処理ステップに相当し、ステップＳ７０２が可変長復号化処理ステップに相当する。

以上のように、本実施の形態２によれば、映像復号化装置６００は、実施の形態１の映像符号化装置１００の出力する映像ストリームを復号化できる。ＭＣＴＦによる動き予測補償符号化の動きベクトルに基づき参照マップを生成し、参照マップに基づき量子化パラメータを生成することにより、量子化パラメータの符号を省略することが可能で、符号化効率を向上することができる。

（実施の形態３）
第３の実施の形態では、映像を基本レイヤと拡張レイヤに階層化して符号化する階層符号化において、拡張レイヤの符号が基本レイヤのどの領域を高画質化するかを特定するパラメータを省略して符号化する。

図８は、本実施の形態３に関わる映像符号化方法を適用した映像符号化装置８００の構成を示す。

図８において、映像符号化装置８００は、映像信号入力部８０１、基本レイヤ符号化部８０２、拡張レイヤ符号化部８０３、ストリーム出力部８０４を有する。

映像信号入力部８０１は、映像符号化装置８００の外部から映像を原画像として入力し、基本レイヤ符号化部８０２に出力する。また、映像符号化装置８００の外部から入力する映像の有無を判定し、映像の入力がなければ処理を終了する。

ここで、映像信号入力部８０１は、図１７のように、８枚の原画像に対して３回のＭＣＴＦを行う場合は、画像を８枚ずつ入力する。１６枚に対して４回のＭＣＴＦを行う場合は、１６枚ずつ入力する。

基本レイヤ符号化部８０２は、映像信号入力部８０１から入力する原画像を符号化し基本レイヤストリームを生成して、ストリーム出力部８０４に出力する。また、基本レイヤを符号化する際に得られる中間情報である、動きベクトル、量子化パラメータ、時間的平均画像と時間的差分画像、量子化後の時間的平均画像と時間的差分画像、を拡張レイヤ符号化部８０３に出力する。

基本レイヤ符号化部８０２の符号化は、ＭＣＴＦを用いた動き予測補償符号化を行うものとするが、フレームレートの選択ができないので実施の形態１を適用するものではないものとする。詳しくは後述する。

拡張レイヤ符号化部８０３は、基本レイヤ符号化部８０２から入力した、動きベクトル、量子化パラメータ、時間的平均画像と時間的差分画像、量子化した時間的平均画像と時間的差分画像、を用いて拡張レイヤストリームを生成し、ストリーム出力部８０４に出力する。

ストリーム出力部８０４は、基本レイヤ符号化部８０２から入力した基本レイヤストリームと拡張レイヤ符号化部０３から入力した拡張レイヤストリームを映像ストリームとして、映像符号化装置８００の外部に出力する。

拡張レイヤ符号化部８０３は、差分部８３２、参照マップ生成部８３３、組替パラメータ生成部８３６、組替部８３４、可変長符号化部８３５を有する。

差分部８３２は、基本レイヤ符号化部８０２から拡張レイヤ符号化部８０３に入力した時間的平均画像と時間的差分画像と、量子化した時間的平均画像と時間的差分画像を入力する。そして、時間的平均画像と量子化した時間的平均画像との差分をとり、また、時間的差分画像と量子化した時間的差分画像との差分をとり、空間的差分画像を生成して、組替部８３４に出力する。

ここで、時間的差分画像とはＭＣＴＦにおける時間的に前後する画像同士の差分を表したが、空間的差分画像は、ある画像とそれと同一の時間を表す他の画像との差分を表す。基本レイヤが生成した量子化した時間的平均画像および時間的差分画像は、量子化の除算の処理により、精細な画素の情報、すなわち、幾つかの空間的情報を失う。空間的差分情報は、量子化によって失われたそれら空間的な情報を有する。

参照マップ生成部８３３は、基本レイヤ符号化部８０２から拡張レイヤ符号化部８０３に入力した動きベクトルを用いて参照マップを生成し、組替パラメータ生成部８３６に出力する。

組替パラメータ生成部８３６は、基本レイヤ符号化部８０２から拡張レイヤ符号化部８０３に入力した量子化パラメータと、参照マップ生成部８３３から入力した参照マップを用いて組替パラメータを生成し、組替部８３４に出力する。

組替パラメータとは、２進化した空間的差分画像のビットの映像ストリームに格納する順序を、符号化効率が向上するように組み替える方法を指定するものである。組替パラメータの生成については後述する。

組替部８３４は、差分部８３２から入力した空間的差分画像を、組替パラメータ生成部８３６から入力した組替パラメータを用いてデータ構造を組み換え、可変長符号化部８３５に出力する。空間的差分画像のデータ構造の組み替えについては後述する。

なお、組み替えの前に空間的差分画像にＤＣＴ変換を行うなどしても良い。その場合は、復号化の処理の際に逆ＤＣＴ変換を必要とする。本発明の主旨ではないので説明は割愛する。

可変長符号化部８３５は、組替部８３４から入力した組替後の空間的差分画像を、可変長符号化し拡張レイヤストリームを生成し、ストリーム出力部８０４に出力する。

なお、基本レイヤ符号化部８０２が本発明の動き予測補償符号化手段に相当し、参照マップ生成部８３３が参照マップ生成手段に相当し、組替パラメータ生成部８３６がビット指定パラメータ生成手段に相当し、組替部１０５がビット抽出手段に相当し、可変長符号化部８３５が可変長符号化手段に相当する。また、組替パラメータがビット指定パラメータに相当する。

以下に、本発明の骨子の一つである、組替パラメータの生成と、空間的差分画像のデータ構造の組み替えについて述べる。

ここで、基本レイヤが実施の形態１と本実施の形態の違いについて説明する。

実施の形態１では、８枚の画像に対して３段階のＭＣＴＦを行う場合、それら全ての動きベクトルを用いて参照マップを生成し量子化パラメータを生成するので、復号化の処理においても８枚の画像に対する３段階のＭＣＴＦの全ての動きベクトルが必要であった。すなわち、８枚の画像で３段階のＭＣＴＦを行う場合、８枚のうち４枚だけ復号化するというようにフレームレートを選択することができない。

しかし、実施の形態３では、基本レイヤ符号化部８０２に非特許文献２のような通常のＭＣＴＦを用いており、フレームレートを選択することが可能である。

以下、説明の簡単のため、２段階のＭＣＴＦについて説明する。

図９は、本実施の形態３の映像符号化装置８００が出力する映像ストリームの構造を示す。２０２、２０４、２０５、２０６は図３に示した時間的平均画像および時間的差分画像である。図を見やすくするため、そして、説明の簡単のため、図３中の幾つかの部品は省略した。

時間的平均画像２０５を量子化し可変長符号化したものが基本レイヤストリーム９０１で、対応する拡張レイヤストリームが９１１である。そして、時間的差分画像２０２と２０６と２０４の基本レイヤストリームが９０２と９０３と９０４、それらに対応する拡張レイヤストリームが９１２と９１３と９１４である。ＭＣＴＦの動きベクトルの符号、例えば、動きベクトル２６４、３２２の符号は、基本レイヤストリームが含む。

基本レイヤと拡張レイヤの画素のビット構造に関して説明する。

図１０は、ビット構造を示した図である。ある領域の画素の値を２進数で表して縦に並べたものであり、左のビットほど上位のビットを示す。画素の値は上位のビットほど重要であり、基本レイヤでは量子化を行って下位のビットを省略し上位のビットのみ、例えばビット群１００１のみ、を符号化する。拡張レイヤでは、基本レイヤが量子化して省略した下位のビット群１００２〜１００４を符号化する。

なお、ＤＣＴ変換などの処理を行う場合は画素ではなく係数となるが、ビット構造の考え方は同様である。

図６は、本発明の実施の形態３による映像ストリームの構造とビット構造の関係を示す図である。図６は、図１０のビット構造が、図３における時間的平均画像２０５の領域２５２のビット構造であることを示す。

上位のビット群１００１は、時間的平均画像２０５の基本レイヤストリーム９０１が格納する。１ビット下位のビット群１００２は、時間的平均画像２０５の拡張レイヤストリーム９１１が格納する。さらに１ビット下位のビット群１００３は、領域２５２を参照する時間的差分画像２０６の領域２６２の拡張レイヤストリーム９１３が格納する。さらに１ビット下位のビット群１００４は、領域２５２を参照する２６２をさらに参照する時間的差分画像２０２の領域２２１の拡張レイヤストリーム９１２が格納する。

どのビット群をどの時間的平均画像または時間的差分画像の拡張レイヤストリームに格納するかは、基本レイヤストリームが含む動きベクトル２６４、３２２を用いて生成する参照マップにより特定することが可能であり、この情報を組替パラメータとして生成する。例えば、図６において、ビット群１００２を拡張レイヤストリーム９１１に、ビット群１００３を拡張レイヤストリーム９１３に、ビット群１００４を拡張レイヤストリーム９１２に格納する、という情報である。そして、組替パラメータが指定する、どのビット群をどの拡張レイヤストリームに格納するか、の情報に基づきデータ構造の組替を行う。例えば、図６において、ビット群１００２を拡張レイヤストリーム９１１に、ビット群１００３を拡張レイヤストリーム９１３に、ビット群１００４を拡張レイヤストリーム９１２に格納する。

本発明の方法を用いて、このような映像ストリームの構造をとると、フレームレートを増やし時間的差分画像の映像ストリームを多く復号化する場合に、より多く参照される領域ほど多くの情報を映像ストリーム中に符号化するので、参照される領域の画質が向上し、ドリフトノイズの発生を防ぐことが可能である。そして、基本レイヤストリームが持つＭＣＴＦによる時間的差分画像の動きベクトルの情報を参照マップに追加するごとに、拡張レイヤが高画質化する領域のビット群を順次特定していくことが可能である。よって、参照度合の多い重要な領域の画質を向上することが可能で、かつ、復号化の処理でフレームレートを選択して復号化することが可能で、かつ、ある符号がどのビット群を表すかを示す符号が必要ないので高い符号化効率が得られる。

次に、以上のように構成された映像符号化装置８００の動作を説明する。図１２は、図８に示す第３の実施の形態の映像符号化装置８００の動作の一例を示すフローチャートである。なお、図１２に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納されたプログラムを、同じく図示しないＣＰＵが実行し、プログラムによりソフトウエア的に実行することも可能である。

最初に、ステップＳ１２０１において、映像信号入力部８０１が、映像符号化装置８００の外部から映像を原画像として入力し、基本レイヤ符号化部８０２に出力する。

次に、ステップＳ１２０２において、基本レイヤ符号化部８０２が、映像信号入力部８０１から入力する原画像を符号化し基本レイヤストリームを生成して、ストリーム出力部８０４に出力する。また、基本レイヤを符号化する際に得られる中間情報である、動きベクトル、量子化パラメータ、時間的平均画像と時間的差分画像、量子化後の時間的平均画像と時間的差分画像、を拡張レイヤ符号化部８０３に出力する。

次に、ステップＳ１２０４において、差分部８３２が、基本レイヤ符号化部８０２から拡張レイヤ符号化部８０３に入力した時間的平均画像と時間的差分画像と、量子化した時間的平均画像と時間的差分画像を入力する。そして、時間的平均画像と量子化した時間的平均画像の差分をとり、また、時間的差分画像と量子化した時間的差分画像の差分をとり、空間的差分画像を生成して、組替部８３４に出力する。

次に、ステップＳ１２０５において、参照マップ生成部８３３が、基本レイヤ符号化部８０２から拡張レイヤ符号化部８０３に入力した動きベクトルを用いて参照マップを生成し、組替パラメータ生成部８３６に出力する。

次に、ステップＳ１２１０において、組替パラメータ生成部８３６が、基本レイヤ符号化部８０２から拡張レイヤ符号化部８０３に入力して量子化パラメータと、参照マップ生成部８３３から入力した参照マップを用いて組替パラメータを生成し、組替部８３４に出力する。

次に、ステップＳ１２０６において、組替部８３４が、差分部８３２から入力した空間的差分画像を、組替パラメータ生成部８３６から入力した組替パラメータを用いてデータ構造を組み換え、可変長符号化部８３５に出力する。

次に、ステップＳ１２０７において、可変長符号化部８３５が、組替部８３４から入力した組替後の空間的差分画像を、可変長符号化し拡張レイヤストリームを生成し、ストリーム出力部８０４に出力する。

次に、ステップＳ１２０８において、ストリーム出力部８０４が、基本レイヤ符号化部８０２から入力した基本レイヤストリームと拡張レイヤ符号化部から入力した拡張レイヤストリームを映像ストリームとして、映像符号化装置８００の外部に出力する。

最後に、ステップＳ１２０９において、映像信号入力部８０１が、映像符号化装置８００の外部から入力する映像の有無を判定し、映像の入力がなければ処理を終了する。

なお、ステップＳ１２０２が本発明の動き予測補償符号化処理ステップに相当し、ステップＳ１２０５が参照マップ生成処理ステップに相当し、ステップＳ１２１０がビット指定パラメータ生成処理ステップに相当し、ステップＳ１２０６がビット抽出処理ステップに相当し、ステップＳ１２０７が可変長符号化処理ステップに相当する。

以上のように、本実施の形態３によれば、映像符号化装置８００は、基本レイヤにおけるＭＣＴＦによる動き予測補償符号化の動きベクトルに基づき参照マップを生成し、参照マップに基づき多く参照される重要な領域を特定することにより、拡張レイヤの符号が基本レイヤのどの領域を高画質化するかを特定するパラメータを省略して符号化することが可能で、符号化効率を向上することができる。

（実施の形態４）
第４の実施の形態では、第３の実施の形態を適用した映像符号化装置８００が出力した基本レイヤと拡張レイヤの映像ストリームを復号化する。拡張レイヤの符号が基本レイヤのどの領域を高画質化するかを特定するパラメータがなくとも復号化する。

図１３は、本実施の形態４に関わる映像復号化方法を適用した映像復号化装置１３００の構成を表す。

図１３において、映像復号化装置１３００は、ストリーム入力部１３０１、基本レイヤ復号化部１３０２、拡張レイヤ復号化部１３０３、映像信号出力部１３０４を有する。

ストリーム入力部１３０１は、映像復号化装置１３００の外部から映像ストリームを入力し、その中で基本レイヤストリームを基本レイヤ復号化部１３０２に、拡張レイヤストリームを拡張レイヤ復号化部１３０３に出力する。また、映像復号化装置１３００の外部から入力する映像ストリームの有無を判定し、映像ストリームの入力がなければ処理を終了する。

基本レイヤ復号化部１３０２は、ストリーム入力部１３０１から入力した基本レイヤストリームを復号化し、動きベクトル、量子化パラメータ、量子化後の時間的平均画像と時間的差分画像、を生成して拡張レイヤ復号化部１３０３に出力する。

基本レイヤ復号化部１３０２の復号化は、ＭＣＴＦを用いた動き予測補償復号化を行うものとするが、実施の形態２を適用するものではないものとする。

拡張レイヤ復号化部１３０３は、ストリーム入力部１３０１から入力した拡張レイヤストリームと、基本レイヤ復号化部１３０２から入力した動きベクトル、量子化パラメータ、量子化後の時間的平均画像と時間的差分画像、を用いて復号化画像を生成し、映像信号出力部１３０４に出力する。

映像信号出力部１３０４は、拡張レイヤ復号化部１３０３から入力した復号化画像を、映像復号化装置１３００の外部に出力する。

拡張レイヤ復号化部１３０３は、可変長復号化部１３３１、参照マップ生成部１３３２、組直部１３３３、加算部１３３４、組替パラメータ生成部１３３５を有する。

可変長復号化部１３３１は、ストリーム入力部１３０１から入力した拡張レイヤストリームを可変長復号化して組替後の空間的差分画像を生成し、組直部１３３３に出力する。

参照マップ生成部１３３２は、基本レイヤ復号化部１３０２から拡張レイヤ復号化部１３０２に入力した動きベクトルを用いて、参照マップを生成し、組替パラメータ生成部１３３５に出力する。

組替パラメータ生成部１３３５は、基本レイヤ復号化部１３０２から拡張レイヤ復号化部１３０２に入力した量子化パラメータと、参照マップ生成部１３３２から入力した参照マップを用いて、組替パラメータを生成し、組直部１３３３に出力する。

組替パラメータの生成は実施の形態３と同様である。

組直部１３３３は、可変長復号化部１３３１から入力した組替後の空間的差分画像と、組替パラメータ生成部１３３５から入力した組替パラメータと、組替後の時間的平均画像と時間的差分画像、を用いてデータ構造を組み直し復号化後の空間的差分画像を生成し、加算部１３３４に出力する。

組替パラメータを用いたデータ構造を組み直しは実施の形態３と逆手順である。例えば、図６において、拡張レイヤストリーム９１１からビット群１００２にあたる情報を復号化し、拡張レイヤストリーム９１３からビット群１００３にあたる情報を復号化し、拡張レイヤストリーム９１２からビット群１００４にあたる情報を復号化する。

加算部１３３４は、基本レイヤ復号化部１３０２から拡張レイヤ復号化部１３０３に入力した量子化後の時間的平均画像と時間的差分画像と、組直部１３３３から入力した復号化後の空間的差分画像を用いて、ＭＣＴＦによる動き予測補償復号化して復号化画像を生成し、映像信号出力部１３０４に出力する。

なお、基本レイヤ復号化部１３０２が本発明の動き予測補償復号化手段に相当し、参照マップ生成部１３３２が参照マップ生成手段に相当し、組替パラメータ生成部１３３５がビット指定パラメータ生成手段に相当し、組直部１３３３がビット配置手段に相当し、可変長復号化部１３３１が可変長復号化手段に相当する。また、組替パラメータがビット指定パラメータに相当する。

次に、以上のように構成された映像復号化装置１３００の動作を説明する。図１４は、図１３に示す第４の実施の形態の映像復号化装置１３００の動作の一例を示すフローチャートである。なお、図１４に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納されたプログラムを、同じく図示しないＣＰＵが実行し、プログラムによりソフトウエア的に実行することも可能である。

最初に、ステップＳ１４０１において、ストリーム入力部１３０１が、映像復号化装置１３００の外部から映像ストリームを入力し、その中で基本レイヤストリームを基本レイヤ復号化部１３０２に、拡張レイヤストリームを拡張レイヤ復号化部１３０３に出力する。

次に、ステップＳ１４０２において、基本レイヤ復号化部１３０２は、ストリーム入力部１３０１から入力した基本レイヤストリームを復号化し、動きベクトル、量子化パラメータ、量子化後の時間的平均画像と時間的差分画像、を生成して拡張レイヤ復号化部１３０３に出力する。

次に、ステップＳ１４０３において、可変長復号化部１３３１が、ストリーム入力部１３０１から入力した拡張レイヤストリームを可変長復号化して組替後の空間的差分画像を生成し、組直部１３３３に出力する。

次に、ステップＳ１４０４において、参照マップ生成部１３３２が、基本レイヤ復号化部１３０２から拡張レイヤ復号化部１３０２に入力した動きベクトルを用いて、参照マップを生成し、組替パラメータ生成部１３３５に出力する。

次に、ステップＳ１４０９において、組替パラメータ生成部１３３５が、基本レイヤ復号化部１３０２から拡張レイヤ復号化部１３０２に入力した量子化パラメータと、参照マップ生成部１３３２から入力した参照マップを用いて、組替パラメータを生成し、組直部１３３３に出力する。

次に、ステップＳ１４０５において、組直部１３３３が、可変長復号化部１３３１から入力した組替後の空間的差分画像と、組替パラメータ生成部１３３５から入力した組替パラメータと、基本レイヤ復号化部１３０２から入力した量子化パラメータ、組替後の時間的平均画像と時間的差分画像、を用いてデータ構造を組み直し復号化後の空間的差分画像を生成し、加算部１３３４に出力する。

次に、ステップＳ１４０６において、加算部１３３４が、基本レイヤ復号化部１３０２から拡張レイヤ復号化部１３０２に入力した量子化後の時間的平均画像と時間的差分画像と、組直部１３３３から入力した復号化後の空間的差分画像を用いて、ＭＣＴＦによる動き予測補償復号化して復号化画像を生成し、映像信号出力部１３０４に出力する。

次に、ステップＳ１４０７において、映像信号出力部１３０４が、拡張レイヤ復号化部１３０３から入力した復号化画像を、映像復号化装置１３００の外部に出力する。

最後に、ステップＳ１４０８において、ストリーム入力部１３０１が、映像復号化装置１３００の外部から入力する映像ストリームの有無を判定し、映像ストリームの入力がなければ処理を終了する。そうでなければ、ステップＳ１４０１に戻る。

なお、ステップＳ１４０２が本発明の動き予測補償復号化処理ステップに相当し、ステップＳ１４０４が参照マップ生成処理ステップに相当し、ステップＳ１４０９がビット指定パラメータ生成処理ステップに相当し、ステップＳ１４０５がビット配置処理ステップに相当し、ステップＳ１４０３が可変長復号化処理ステップに相当する。

以上のように、本実施の形態４によれば、映像復号化装置１３００は、実施の形態３の映像符号化装置８００の出力する映像ストリームを復号化できる。基本レイヤにおけるＭＣＴＦによる動き予測補償符号化の動きベクトルに基づき参照マップを生成し、参照マップに基づき多く参照される重要な領域を特定することにより、拡張レイヤの符号が基本レイヤのどの領域を高画質化するかを特定するパラメータの符号を省略することが可能で、符号化効率が向上する。

本発明は、ＭＣＴＦによる動き予測補償を用いた映像符号化装置および映像復号化装置の符号化効率を向上することができ、有用である。また、本発明は、特に階層符号化方式に適用することが可能で、有用である。

よって、映像ストリームを符号化した後、符号量やフレームレートを調整して復号化する用途に適している。すなわち、通信速度の変動するネットワークを介して映像ストリームの量を動的に変化させながら映像を送受信するシステムの映像符号化方式に適している。また、１つの映像コンテンツを通信速度や端末の処理能力の異なる複数のユーザに、それぞれ異なるフレームレートや通信速度で配信するシステムの映像符号化方式に適している。また、映像ストリームを蓄積した後に、復号化して再度符号化することなく、蓄積容量を変更する映像蓄積装置の映像符号化方式に適している。

本発明の実施の形態１による映像符号化装置の構成を示す図 ＭＣＴＦにおける画像間の参照の関係を示す図 ＭＣＴＦにおける符号化すべき画像間の参照の関係を示す図 参照マップを示す図 本発明の実施の形態１による映像符号化装置の動作を示すフローチャート 本発明の実施の形態２による映像復号化装置の構成を示す図 本発明の実施の形態２による映像復号化装置の動作を示すフローチャート 本発明の実施の形態３による映像符号化装置の構成を示す図 本発明の実施の形態３による映像ストリームの構造を示す図 ビット構造を示す図 本発明の実施の形態３による映像ストリームの構造とビット構造の関係を示す図 本発明の実施の形態３による映像符号化装置の動作を示すフローチャート 本発明の実施の形態４による映像復号化装置の構成を示す図 本発明の実施の形態４による映像復号化装置の動作を示すフローチャート 非特許文献１による映像符号化装置の構成を示す図 非特許文献２によるＭＣＴＦの概念図 非特許文献２による段階的なＭＣＴＦの概念図

符号の説明

１０１ 映像信号入力部
１０２ ＭＣＴＦ符号化部
１０３ 参照マップ生成部
１０４ 量子化パラメータ生成部
１０５ 量子化部
１０６ 可変長符号化部
１０７ ストリーム出力部
６０１ ストリーム入力部
６０２ 可変長復号化部
６０３ 参照マップ生成部
６０４ 量子化パラメータ生成部
６０５ 量子化部
６０６ ＭＣＴＦ復号化部
６０７ 映像信号出力部
８０１ 映像信号入力部
８０２ 基本レイヤ符号化部
８０３ 拡張レイヤ符号化部
８０４ ストリーム出力部
８３１ 中間情報取得部
８３２ 差分部
８３３ 参照マップ生成部
８３６ 組替パラメータ生成部
８３４ 組替部
８３５ 可変長符号化部
１３０１ ストリーム入力部
１３０２ 基本レイヤ復号化部
１３０３ 拡張レイヤ復号化部
１３０４ 映像信号出力部
１３３１ 可変長復号化部
１３３２ 参照マップ生成部
１３３５ 組替パラメータ生成部
１３３３ 組直部
１３３４ 加算部
１５０１ 映像信号入力部
１５０２ 動き予測補償符号化部
１５０３ ＤＣＴ部
１５０４ 量子化部
１５０５ 可変長符号化部
１５０６ ストリーム出力部
１５０７ 逆ＤＣＴ部
１５０８ 逆量子化部
１５０９ デブロック部

Claims (20)

1. ＭＣＴＦ（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒｉｎｇ）により動きベクトルを生成する動き予測補償符号化手段と、
   前記動きベクトルを用いて複数画像の領域間の参照関係を表す参照マップを生成する参照マップ生成手段と、
   前記参照マップを用いて領域の画素を表すビットの集まりのうちどのビットを符号化して映像ストリームに格納するのかを指定するビット指定パラメータを生成するビット指定パラメータ生成手段と、
   領域の画素を表すビットから前記ビット指定パラメータが指定するビットを抽出するビット抽出手段と、
   前記ビット抽出手段が抽出したビットを可変長符号化する可変長符号化手段と、
   を有する映像符号化装置。
2. 前記参照マップ生成手段が、画像の領域ごとに前記動きベクトルが参照する回数が多いほど値が大きくなる参照度合を算出し、
   前記ビット指定パラメータ生成手段が、前記参照マップの参照度合に応じて前記ビット指定パラメータを生成する、請求項１記載の映像符号化装置。
3. 前記参照マップ生成手段が、ある領域がもつ前記参照度合が大きいほど、その領域が参照する領域の前記参照度合を大きくする、請求項２記載の映像符号化装置。
4. 前記参照マップ生成手段が、前記動きベクトルが参照する領域の画素をあらかじめ定めた数以上含む領域に対して前記参照度合を大きくする、請求項２記載の映像符号化装置。
5. 前記参照マップ生成手段が、段階的に行うＭＣＴＦによる動き予測補償のうち遅い段階で生成した前記動きベクトルが参照する領域ほど参照度合を大きくする、請求項２記載の映像符号化装置。
6. 前記ビット抽出手段が、前記ビット指定パラメータに基づき量子化を行う、請求項１記載の映像符号化装置。
7. 前記ビット抽出手段が、前記ビット指定パラメータに基づき複数のビット列の同じ位のビット毎に符号化を行う、請求項１記載の映像符号化装置。
8. 映像を単独で復号化可能な基本レイヤと基本レイヤの画質を向上する拡張レイヤに階層化して符号化するものであり、前記ビット指定パラメータ生成手段が、拡張レイヤに対する前記ビット指定パラメータを生成する、請求項１記載の映像符号化装置。
9. 映像ストリームを可変長復号化する可変長復号化手段と、
   動きベクトルを用いてＭＣＴＦ（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒｉｎｇ）を行う動き予測補償復号化手段と、
   前記動きベクトルを用いて複数画像の領域間の参照関係を表す参照マップを生成する参照マップ生成手段と、
   前記参照マップを用いて映像ストリームを復号化して得たビットが領域の画素を表すビットのどれに当たるかを指定するビット指定パラメータを生成するビット指定パラメータ生成手段と、
   領域の画素を表すビットに前記ビット指定パラメータが指定するビットを配置するビット配置手段と、
   を有する映像復号化装置。
10. 前記参照マップ生成手段が、画像の領域ごとに前記動きベクトルが参照する回数が多いほど値が大きくなる参照度合を算出し、前記ビット指定パラメータ生成手段が、前記参照マップの参照度合に応じて前記ビット指定パラメータを生成する、請求項９記載の映像復号化装置。
11. 前記参照マップ生成手段が、ある領域がもつ前記参照度合が大きいほど、その領域が参照する領域の前記参照度合を大きくする、請求項１０記載の映像復号化装置。
12. 前記参照マップ生成手段が、前記動きベクトルが参照する領域の画素をあらかじめ定めた数以上含む領域に対して前記参照度合を大きくする、請求項１０記載の映像復号化装置。
13. 前記参照マップ生成手段が、段階的に行うＭＣＴＦによる動き予測補償のうち遅い段階で生成した前記動きベクトルが参照する領域ほど参照度合を大きくする、請求項１０記載の映像復号化装置。
14. 前記ビット配置手段が、前記ビット指定パラメータに基づき逆量子化を行う、請求項９記載の映像復号化装置。
15. 前記ビット配置手段が、前記ビット指定パラメータに基づき複数のビット列の同じ位のビット毎に復号化を行う、請求項９記載の映像復号化装置。
16. 映像を単独で復号化可能な基本レイヤと基本レイヤの画質を向上する拡張レイヤに階層化した映像ストリームを復号化するものであり、前記ビット指定パラメータ生成手段が、拡張レイヤに対する前記ビット指定パラメータを生成する、請求項９記載の映像復号化装置。
17. ＭＣＴＦにより動きベクトルを生成する動き予測補償符号化処理ステップと、前記動きベクトルを用いて複数画像の領域間の参照関係を表す参照マップを生成する参照マップ生成処理ステップと、前記参照マップを用いて領域の画素を表すビットの集まりのうちどのビットを符号化して映像ストリームに格納するのかを指定するビット指定パラメータを生成するビット指定パラメータ生成処理ステップと、領域の画素を表すビットから前記ビット指定パラメータが指定するビットを抽出するビット抽出処理ステップと、前記ビット抽出処理ステップで抽出したビットを可変長符号化する可変長符号化処理ステップと、を有する映像符号化方法。
18. ＭＣＴＦにより動きベクトルを生成する動き予測補償符号化処理ステップと、
    前記動きベクトルを用いて複数画像の領域間の参照関係を表す参照マップを生成する参照マップ生成処理ステップと、
    前記参照マップを用いて領域の画素を表すビットの集まりのうちどのビットを符号化して映像ストリームに格納するのかを指定するビット指定パラメータを生成するビット指定パラメータ生成処理ステップと、
    領域の画素を表すビットから前記ビット指定パラメータが指定するビットを抽出するビット抽出処理ステップと、
    前記ビット抽出処理ステップで抽出したビットを可変長符号化する可変長符号化処理ステップと、
    を有する映像符号化プログラム。
19. 映像ストリームを可変長復号化する可変長復号化処理ステップと、
    動きベクトルを用いてＭＣＴＦを行う動き予測補償復号化処理ステップと、
    前記動きベクトルを用いて複数画像の領域間の参照関係を表す参照マップを生成する参照マップ生成処理ステップと、
    前記参照マップを用いて映像ストリームを復号化して得たビットが領域の画素を表すビットのどれに当たるかを指定するビット指定パラメータを生成するビット指定パラメータ生成処理ステップと、
    領域の画素を表すビットに前記ビット指定パラメータが指定するビットを配置するビット配置処理ステップと、
    を有する映像復号化方法。
20. 映像ストリームを可変長復号化する可変長復号化処理ステップと、
    動きベクトルを用いてＭＣＴＦを行う動き予測補償復号化処理ステップと、
    前記動きベクトルを用いて複数画像の領域間の参照関係を表す参照マップを生成する参照マップ生成処理ステップと、
    前記参照マップを用いて映像ストリームを復号化して得たビットが領域の画素を表すビットのどれに当たるかを指定するビット指定パラメータを生成するビット指定パラメータ生成処理ステップと、
    領域の画素を表すビットに前記ビット指定パラメータが指定するビットを配置するビット配置処理ステップと、
    を有する映像復号化プログラム。

Images