JP2004048711A - 動画像の符号化方法および復号化方法およびデータ記録媒体 - Google Patents
動画像の符号化方法および復号化方法およびデータ記録媒体 Download PDFInfo
- Publication number
- JP2004048711A JP2004048711A JP2003136452A JP2003136452A JP2004048711A JP 2004048711 A JP2004048711 A JP 2004048711A JP 2003136452 A JP2003136452 A JP 2003136452A JP 2003136452 A JP2003136452 A JP 2003136452A JP 2004048711 A JP2004048711 A JP 2004048711A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- motion vector
- decoding
- encoding
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】表示順で後方にあるピクチャを参照することが出来ない環境下においても、Ｂピクチャおよび直接モードを使用することを可能とし高い符号化効率を維持することを実現する。
【解決手段】時間的に後方にあるピクチャを参照出来ない環境下において、直接モードを用いて予測符号化する際に同一ピクチャ内の符号化済みブロックの動きベクトルを参照することにより、時間的に後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、さらに、符号化モードのテーブルから後方のピクチャを参照する項目を除くことによりテーブルの項目数を少なくすることにより、前方向のみの動き補償においても高い符号化効率を実現する。
【選択図】 図１
【解決手段】時間的に後方にあるピクチャを参照出来ない環境下において、直接モードを用いて予測符号化する際に同一ピクチャ内の符号化済みブロックの動きベクトルを参照することにより、時間的に後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、さらに、符号化モードのテーブルから後方のピクチャを参照する項目を除くことによりテーブルの項目数を少なくすることにより、前方向のみの動き補償においても高い符号化効率を実現する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像の符号化方法および復号化方法に関し、特に時間的に前方または後方にある既に符号化済みの複数のピクチャを参照して予測符号化を行うＢピクチャを対象とした予測符号化方法および予測復号化方法に関する。
【０００２】
【従来の技術】
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とするピクチャ間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および動き補償を行い、得られた予測画像と現在のピクチャとの差分値に対して符号化を行う。
【０００３】
現在標準化中の動画像符号化方法であるＨ．２６Ｌでは、ピクチャ内予測符号化をのみを行うピクチャ（Ｉピクチャ）、および時間的に前方にある１枚のピクチャを参照してピクチャ間予測符号化を行うピクチャ（Ｐピクチャ）、さらに時間的に前方にある２枚のピクチャもしくは時間的に後方にある２枚のピクチャもしくは時間的に前方および後方にあるそれぞれ１枚ずつのピクチャを参照してピクチャ間予測符号化を行うピクチャ（Ｂピクチャ）が提案されている。Ｈ．２６Ｌ以前の符号化方法であるＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）１およびＭＰＥＧ２およびＭＰＥＧ４では、Ｂピクチャは同一方向には１枚のピクチャしか参照できなかったが、Ｈ．２６Ｌでは２枚参照できるように変更されていることが１つの大きな特徴である。
【０００４】
図１６は、従来の動画像符号化方法における各ピクチャと、それによって参照されるピクチャとの参照関係の例を示す図である。同図において、ピクチャＩ１〜ピクチャＢ２０は、この順で表示される。図１７（ａ）は、図１６に示したピクチャＢ１８の周辺にあるピクチャを表示順で抜き出して示す図である。図１７（ｂ）は、ピクチャＢ１８を図１７（ａ）に示した参照関係で符号化する場合におけるピクチャＢ１８の周辺ピクチャの符号化順を示す図である。
【０００５】
ピクチャＩ１は参照ピクチャを持たずピクチャ内予測符号化を行い、ピクチャＰ１０は時間的に前方にあるピクチャＰ７を参照しピクチャ間予測符号化を行っている。また、ピクチャＢ６は時間的に前方にある２つのピクチャ（ピクチャＩ１およびピクチャＰ４）を参照し、ピクチャＢ１２は時間的に後方にある２つのピクチャ（ピクチャＰ１３およびピクチャＰ１６）を参照し、ピクチャＢ１８は時間的に前方および後方にあるそれぞれ１枚ずつのピクチャ（ピクチャＰ１６およびピクチャＰ１９）を参照してピクチャ間予測符号化を行っている。このようにＢピクチャを使用する符号化では時間的に後方にあるピクチャを参照するため、表示される順番では符号化を行うことが出来ない。つまり、図１７（ａ）におけるピクチャＢ１８のようなＢピクチャがあった場合は、それが参照するピクチャＰ１９を先に符号化する必要がある。そのため、ピクチャＢ１６からピクチャＢ１９を図１７（ｂ）のような順番に並び替えて符号化を行わなくてはならない。
【０００６】
時間的に前方にある１枚のピクチャを参照してピクチャ間予測符号化を行うＰピクチャの予測モードのひとつとしてスキップモードがある。スキップモードでは符号化対象ブロックに直接動きベクトルの情報を持たせずに、周辺に位置する符号化済みブロックの動きベクトルを参照して符号化対象ブロックの動き補償に使用する動きベクトルを決定し、符号化対象ブロックの属するピクチャの時間的に直前にあるＰピクチャから予測画像を生成することによって動き補償を行う。
【０００７】
図１８は、同一ピクチャ内で対象ブロックの周辺に位置する符号化済みブロックの動きベクトルを参照する場合に、動きベクトルを参照される符号化済みブロックと対象ブロックとの位置関係を表した図である。図１８（ａ）は符号化を行う符号化対象ブロックＢＬ５１が１６画素×１６画素のサイズであった場合の例であり、図１８（ｂ）は符号化を行うブロックＢＬ５２が８画素×８画素のサイズであった場合の例を示している。ここでは、Ｐピクチャのスキップモードの際に動きベクトルを参照される符号化済みブロックと符号化対象ブロックとの位置関係を示している。ブロックＢＬ５１がスキップモードを用いて符号化を行う１６画素×１６画素のブロックであり、基本的にＡ、Ｂ、Ｃの位置関係にある３つの符号化済みブロック（以下、Ａの位置にあるブロックをブロックＡ、Ｂの位置にあるブロックをブロックＢ、Ｃの位置にあるブロックをブロックＣという。）の動きベクトルを参照する。ただし、下記の条件に該当する場合は動きベクトルの参照を行わず、符号化対象ブロックの動きベクトルの値を「０」として直前のＰピクチャを参照し、直接モードによる動き補償を行う。
【０００８】
１、ブロックＡもしくはブロックＢが、符号化対象ブロックが属するピクチャの外部もしくはスライスの外部であった場合。
２、ブロックＡもしくはブロックＢが、直前のピクチャを参照する値「０」の動きベクトルを持つ場合。
【０００９】
参照の対象となったブロックＡ、Ｂ、Ｃの３つのブロックが持つ動きベクトルの中から直前のＰピクチャを参照する動きベクトルのみを取り出し、その中央値を取ることによって実際に直接モードにおいて使用する動きベクトルとする。ただし、ブロックＣが参照不可の場合は代わりにブロックＤの動きベクトルを用いるものとする。
【００１０】
図１９は、Ｐピクチャのスキップモードの際に参照される動きベクトルとその動きベクトルによって参照される符号化済みピクチャとの一例を示した図である。ピクチャＰ６４に属するブロックＢＬ５１を現在符号化しているブロックとする。この例では直前のピクチャを参照する動きベクトルは動きベクトルＭＶＡ１のみとなり、直接モードにおいて用いられる動きベクトルＭＶ１は、動きベクトルＭＶＡ１の値をそのまま使用することになる。このような参照方法を使用することにより動きベクトルを符号化する必要がないため、出力符号列のビット量を減らすことが可能となる。また、周辺のブロックを参照して動きベクトルを決定するため、カメラのパーン等の影響によって撮像物が一定方向に移動するような場合においてその効果が大きく得られる。
【００１１】
時間的に前方にある２枚のピクチャもしくは時間的に後方にある２枚のピクチャもしくは時間的に前方および後方にあるそれぞれ１枚ずつのピクチャを参照してピクチャ間予測符号化を行うＢピクチャの予測モードのひとつとして直接モードがある。直接モードでは、符号化対象のブロックには直接動きベクトルを持たせず、符号化対象ピクチャの時間的に直後にある符号化済みピクチャ内の同じ位置にあるブロックの動きベクトルを参照することによって、実際に符号化対象ブロックの動き補償を行うための２つの動きベクトルを算出し、予測画像を作成する。
【００１２】
図２０は、直接モードにおいて動きベクトルを決定する方法を説明するための図である。ピクチャＢ７３が現在符号化の対象としているＢピクチャであり、ピクチャＰ７２およびピクチャＰ７４を参照ピクチャとして、直接モードによる双方向予測を行うものである。符号化を行うブロックをブロックＢＬ７１とすると、このとき必要とされる２つの動きベクトルは、符号化済みの後方参照ピクチャであるピクチャＰ７４の同じ位置にあるブロックＢＬ７２の持つ動きベクトルＭＶ７１を用いて決定される。動きベクトルＭＶ７１に対してピクチャ間隔ＴＲ７２、ＴＲ７３を用いてスケーリングを適用することによって、もしくは動きベクトルＭＶ７１に対して所定の係数をかけることによって、直接モードによって使用する２つの動きベクトルＭＶ７２、ＭＶ７３が算出される。この２つの動きベクトルによって指定された２つの参照画像の画素値の平均をとることによって、ブロックＢＬ７１の符号化に必要とされる予測画像が生成される。このように、直接モードで符号化を行うブロックでは、動きベクトルを符号化する必要がないため出力符号列のビット量を減らすことが可能となる。
【００１３】
【非特許文献１】
Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ａｎｄ ＩＴＵ−Ｔ ＶＣＥＧ −− ＪｏｉｎｔＣｏｍｍｉｔｔｅｅ Ｄｒａｆｔ （２００２−５−１０） Ｐ．９９ １１ Ｂ ｐｉｃｔｕｒｅｓ
【００１４】
【発明が解決しようとする課題】
しかしながら、Ｂピクチャの直接モードを用いた動画像の符号化では、時間的に後方にあるピクチャを参照して符号化が行われるため、前記参照される可能性のあるピクチャを符号化対象のピクチャよりも先に符号化しておく必要があった。そのため、時間的に後方にあるピクチャを先に符号化および復号化することが出来ない環境下ではＢピクチャの直接モードを用いた符号化を行うことが出来なかった。
【００１５】
本発明は上記のような問題点を解決するものであり、時間的に後方にあるピクチャが符号化対象ピクチャまたは復号化対象ピクチャよりも先に符号化および復号化されていない環境下においても、Ｂピクチャ、特に直接モードを矛盾なく使用することを可能とする方法を提案することを第１の目的とする。さらに、本発明は、符号化モードとその識別番号とを対応付けるテーブルの効率の良い参照方法を提案することによって、Ｂピクチャを使用した高効率による動画像の符号化方法および復号化方法を提案することを第２の目的とする。
【００１６】
【課題を解決するための手段】
上記目的を達成するために、本発明の動画像符号化方法は、動画像を符号化して符号列を生成する動画像符号化方法であって、時間的に前方または後方にある符号化済みの複数のピクチャを参照して予測符号化を行うＢピクチャの符号化において、符号化済みのブロックが持つ動きベクトルを参照して符号化対象ブロックの動き補償を行う直接モードを使用することを可能とする符号化ステップを含み、前記符号化ステップは、前記符号化対象ブロックの属するピクチャから表示順で一方向にある符号化済みのピクチャのみを参照して前記Ｂピクチャの予測符号化を行う場合、前記直接モードとして前記符号化対象ブロックの周辺に位置する同一ピクチャ内の符号化済みブロックの動きベクトルを参照して動き補償を行う動き補償ステップを含むことを特徴とする。
【００１７】
また本発明の動画像符号化方法は、動画像を符号化して符号列を生成する動画像符号化方法であって、時間的に前方または後方にある符号化済みの複数のピクチャを参照して予測符号化を行うＢピクチャの符号化において、符号化済みのブロックが持つ動きベクトルを参照して符号化対象ブロックの動き補償を行う直接モードを使用することを可能とする符号化ステップを含み、前記符号化ステップは、前記符号化対象ブロックの属するピクチャから表示順で一方向にある符号化済みのピクチャのみを参照して前記Ｂピクチャの予測符号化を行う場合、前記直接モードとして前記符号化対象ブロックの動きベクトルの値を「０」として、時間的に近い方から順に１つまたは複数のピクチャを参照して動き補償を行うことを特徴とする。
【００１８】
さらに本発明の動画像符号化方法では、前記符号化ステップは、前記Ｂピクチャの予測符号化方法と前記予測符号化方法を識別するための識別子とを対応付けたテーブルの中から後方を参照する予測符号化方法を除いて、前記テーブルを再生成するテーブル再生成ステップを含み、前記符号化ステップでは、再生成された前記テーブルを用いて当該Ｂピクチャの予測符号化方法を示す前記識別子を符号化するとしてもよい。
【００１９】
上記目的を達成するために、本発明の動画像復号化方法は、動画像を符号化して得られる符号列を復号化する動画像復号化方法であって、時間的に前方または後方にある復号化済みの複数のピクチャを参照して予測復号化を行うＢピクチャの復号化において、復号化済みのブロックが持つ動きベクトルを参照して復号化対象ブロックの動き補償を行う直接モードを使用することを可能とする復号化ステップを含み、前記復号化ステップは、前記復号化対象ブロックの属するピクチャから時間的に一方向にある復号化済みのピクチャのみを参照して前記Ｂピクチャの予測復号化を行う場合、前記直接モードとして前記復号化対象ブロックの周辺に位置する同一ピクチャ内の復号化済みブロックの動きベクトルを参照して動き補償を行う動き補償ステップを含むことを特徴とする。
【００２０】
また、本発明の動画像復号化方法は、動画像を符号化して得られる符号列を復号化する動画像復号化方法であって、時間的に前方または後方にある復号化済みの複数のピクチャを参照して予測復号化を行うＢピクチャの復号化において、復号化済みのブロックが持つ動きベクトルを参照して復号化対象ブロックの動き補償を行う直接モードを使用することを可能とする復号化ステップを含み、前記復号化ステップは、前記復号化対象ブロックの属するピクチャから時間的に一方向にある復号化済みのピクチャのみを参照して前記Ｂピクチャの予測復号化を行う場合、前記直接モードとして前記復号化対象ブロックの動きベクトルの値を「０」として、時間的に近い方から順に１つまたは複数のピクチャを参照して動き補償を行うことを特徴とする。
【００２１】
さらに本発明の動画像復号化方法では、前記復号化ステップは、前記Ｂピクチャの予測復号化方法と前記予測復号化方法を識別するための識別子とを対応付けた、予め保持しているテーブルの中から後方を参照する予測復号化方法を除いて、前記テーブルを再生成するテーブル再生成ステップを含み、前記復号化ステップでは、前記符号化列から前記Ｂピクチャの予測復号化方法を識別するための識別子を復号化し、再生成されたテーブルを用いて、当該Ｂピクチャの予測復号化方法を識別し、識別された前記予測復号化方法に従って復号化対象ブロックの予測復号化を行うとしてもよい。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
（実施の形態１）
図１は、実施の形態１の動画像符号化方法を実行する動画像符号化装置１００の構成を示すブロック図である。動画像符号化装置１００は、直接モードによるＢピクチャの符号化時に、符号化対象ピクチャより表示順で前方にあるピクチャのみを参照する場合には、同一ピクチャ内で符号化対象ブロックの周辺にある符号化済みブロックの動きベクトルを参照して符号化対象ブロックの動きベクトルを決定する動画像符号化装置であって、フレームメモリ１０１、予測残差符号化部１０２、符号列生成部１０３、予測残差復号化部１０４、フレームメモリ１０５、動きベクトル検出部１０６、モード選択部１０７、動きベクトル記憶部１０８、後方ピクチャ判定部１０９、差分演算部１１０、加算演算部１１１、スイッチ１１２およびスイッチ１１３を備える。
【００２３】
フレームメモリ１０１、フレームメモリ１０５および動きベクトル記憶部１０８は、ＲＡＭ等によって実現されるメモリであって、フレームメモリ１０１は、表示順で入力される動画像の各ピクチャを符号化順に並べ替えるための記憶領域を提供する。
【００２４】
予測残差符号化部１０２は、差分演算部１１０で求められた予測残差にＤＣＴ変換などの周波数変換を施し、量子化して出力する。符号列生成部１０３は、予測残差符号化部１０２からの符号化結果を可変長符号化した後、出力用の符号化列のフォーマットに変換し、予測符号化方法に関連する情報を記述したヘッダなどの付加情報を付して符号列を生成する。予測残差復号化部１０４は、予測残差符号化部１０２からの符号化結果を可変長復号化し、逆量子化した後、ＩＤＣＴ変換などの逆周波数変換を施して復号化予測残差を生成する。
【００２５】
フレームメモリ１０５は、予測ピクチャをピクチャ単位で保持するための記憶領域を提供する。動きベクトル検出部１０６は、マクロブロックまたはマクロブロックをさらに分割して得られるブロックなどの所定の単位ごとに、動きベクトルを検出する。モード選択部１０７では動きベクトル記憶部１０８に記憶されている符号化済みのピクチャで用いた動きベクトルを参照しつつ最適な予測モードを選択し、動きベクトル検出部１０６によって検出された動きベクトルで示される予測ピクチャ中の各ブロックをフレームメモリ１０５から読み出して差分演算部１１０に出力する。
【００２６】
動きベクトル記憶部１０８は、符号化済みピクチャのブロックごとに検出された動きベクトルを保持するための記憶領域を提供する。後方ピクチャ判定部１０９は、符号化対象ピクチャよりも表示順で後方にあるピクチャが既に符号化されているかどうかを判定する。差分演算部１１０は、符号化対象のマクロブロックと、動きベクトルによって決定された予測画像のマクロブロックとの差分を出力する。
【００２７】
加算演算部１１１は、予測残差復号化部１０４から出力される復号化予測残差と、モード選択部１０７から出力される予測ピクチャのブロックとを加算して、加算結果（予測ピクチャを構成するブロック）をフレームメモリ１０５に格納する。スイッチ１１２は、符号化対象ピクチャのピクチャタイプに応じて切り替えられ、画面内予測符号化を行うＩピクチャではフレームメモリ１０１の読み出し線と予測残差符号化部１０２とを導通させる。これにより、フレームメモリ１０１から読み出された符号化対象ピクチャの各マクロブロックは、直接、予測残差符号化部１０２に入力される。
【００２８】
また、画面間予測符号化を行うＰピクチャおよびＢピクチャでは、差分演算部１１０の出力側と予測残差符号化部１０２とを導通させる。これにより、差分演算部１１０の演算結果が予測残差符号化部１０２に入力される。スイッチ１１３は、符号化対象ピクチャのピクチャタイプに応じて導通と遮断とに切り替えられる。画面内予測符号化を行うＩピクチャでは、モード選択部１０７の出力側と加算演算部１１１の入力側とが遮断され、画面間予測符号化を行うＰピクチャおよびＢピクチャでは、モード選択部１０７の出力側と加算演算部１１１の入力側とが導通される。これにより、画面内予測符号化を行うＩピクチャでは、予測残差復号化部１０４によって復号化された復号化予測残差がフレームメモリ１０５に出力される。
【００２９】
以下、本発明の実施の形態１の動画像符号化方法を図１に示したブロック図を用いて説明する。
符号化対象となる動画像は時間順にピクチャ単位でフレームメモリ１０１に入力される。各々のピクチャはマクロブロックと呼ばれる例えば水平１６画素×垂直１６画素のブロックに分割されブロック単位で以降の処理が行われる。
【００３０】
フレームメモリ１０１から読み出されたマクロブロックは動きベクトル検出部１０６に入力される。動きベクトル検出部１０６では、フレームメモリ１０５に蓄積されている画像（符号化済みのピクチャをさらに復号化して得られた画像）を参照ピクチャとして用いて、符号化対象としているマクロブロックの動きベクトル検出を行う。動きベクトル検出部１０６では、直接モード以外の予測モードにおいて、マクロブロックごとに、もしくはマクロブロックを分割した領域（例えば、１６画素×８画素、８画素×１６画素および８画素×８画素などの大きさに分割した小ブロック）ごとに動きベクトルの検出が行われる。
【００３１】
動きベクトル検出部１０６では、符号化の対象としているマクロブロックに対し、既に符号化済みのピクチャを参照ピクチャとし、そのピクチャ内の探索領域において最も符号化対象ブロックの画素値の構成に近いと予測されるブロックの位置を示す動きベクトルが検出される。モード選択部１０７では、動きベクトル記憶部１０８に記憶されている、符号化済みのピクチャで用いられた動きベクトルを参照しつつ、最適な予測モードを選択する。このとき表示順で後方にあるピクチャが既に符号化されているかどうかを後方ピクチャ判定部１０９において判定する。もし後方のピクチャが符号化されていないと判定された場合、モード選択部１０７は、Ｂピクチャの符号化において、表示順で後方にあるピクチャを参照しない予測モードを選択する。
【００３２】
モード選択部１０７によって選択された予測モードに従って、動きベクトル検出部１０６で検出された動きベクトルのうち最適な動きベクトルが決定され、決定された動きベクトルによって参照される予測ブロックがフレームメモリ１０５から読み出されて差分演算部１１０に入力される。差分演算部１１０では、予測ブロックと符号化対象のマクロブロックとの差分をとることにより予測残差画像が生成される。生成された予測残差画像は予測残差符号化部１０２に入力され、予測残差符号化部１０２内で周波数変換および量子化が施される。以上の処理の流れはピクチャ間予測符号化が選択された場合の動作であったが、スイッチ１１２によってピクチャ内予測符号化との切り替えがなされる。最後に符号列生成部１０３によって、動きベクトル等の制御情報および予測残差符号化部１０２から出力される画像情報等に対し可変長符号化が施され、最終的に出力される符号列が生成される。
【００３３】
以上符号化の流れの概要を示したが、以下では、モード選択部１０７における直接モードでの処理の詳細について説明する。ただし、ここでは後方ピクチャ判定部１０９において後方のピクチャが符号化されていないと判定された場合について説明する。図２は、符号化対象ブロックが属するピクチャから表示順で後方にあるピクチャを参照することが出来ない場合の各ピクチャの参照関係の一例を示す図である。図のように、ピクチャの表示順シーケンスに含まれる全てのＢピクチャは表示順で前方にある１枚もしくは複数の符号化済みピクチャを参照して予測符号化を行っている。例えば、いずれもＢピクチャであるピクチャＢ８２とピクチャＢ８３とは、表示順で前方にある符号化済みピクチャがピクチャＰ８１のみであるので、それぞれ、ピクチャＰ８１だけを参照し動き補償を行う。
【００３４】
また、いずれもＢピクチャであるピクチャＢ８５とピクチャＢ８６とについては、ピクチャＢ８５は表示順で前方にある２枚の符号化済みピクチャ（ピクチャＰ８１とピクチャＰ８４）を参照するが、例えば、ピクチャＢ８６は表示順で時間的に遠いピクチャＰ８１を参照せず、表示順で時間的により近いピクチャＰ８４のみを参照して動き補償を行っている。このような場合、各Ｂピクチャの動きベクトルは、すべて、符号化対象ピクチャよりも表示順で前方にある符号化済みピクチャを参照している。
【００３５】
本実施の形態では、表示順で後方のピクチャが符号化されていない環境下において、Ｂピクチャの予測符号化を行う際にモード選択部１０７によって直接モードが選択された場合、従来のように、表示順で符号化対象ピクチャの直後のピクチャに属する符号化済みブロックの動きベクトルを参照して符号化対象ブロックの動きベクトルを生成する（以下、「時間的予測」という）代わりに、同一ピクチャ内で符号化対象ブロックの周辺に位置する符号化済みブロックの動きベクトルを参照して符号化対象ブロックの動きベクトルを生成する（以下、「空間的予測」という）ことによって直接モードを実現する。
【００３６】
図３は、直接モードが選択された場合のモード選択部１０７の動作の一例を示すフローチャートである。モード選択部１０７は、直接モードが選択された場合、まず、後方ピクチャ判定部１０９に符号化対象ピクチャよりも表示順で後方にあるピクチャが符号化済みであるか否かを判定させ（Ｓ５０１）、判定の結果、表示順で後方にあるピクチャが符号化済みであれば、従来のように、時間的予測を用いて符号化対象ブロックの予測符号化を行う（Ｓ５０２）。そして、モード選択部１０７は、当該符号化対象ブロックの処理を終了し、次の符号化対象ブロックの処理にうつる。
【００３７】
また、ステップＳ５０１における判定の結果、表示順で後方にあるピクチャが符号化されていなければ、上記の空間的予測を用いて符号化対象ブロックの予測符号化を行う（Ｓ５０３）。さらに、モード選択部１０７は、上記の空間的予測を行ったことを示すフラグｓｐａｔｉａｌ＿ｆｌａｇの値を「１」にセットし、符号列生成部１０３に出力する（Ｓ５０４）。その後、モード選択部１０７は、当該符号化対象ブロックの処理を終了し、次の符号化対象ブロックの処理にうつる。
【００３８】
以下では、図３のステップＳ５０３において行われる空間的予測の具体的方法について説明する。
図１９を用いて説明したスキップモードの例は、参照される符号化済みブロックが１つずつの動きベクトルを持っている場合についてのものであった。しかし、Ｂピクチャの予測モードの中には、図２に示したように、表示順で前方にある２枚のピクチャを同時に参照して動き補償を行うものも含まれている。そのようなモードの場合は１つのブロックが２つの動きベクトルを持っていることになる。図４は、動きベクトルを参照される符号化済みブロックに２つの動きベクトルを持つブロックが含まれている場合の動きベクトルの参照関係の一例を示す図である。ピクチャＰ９４が現在符号化を行っているピクチャであり、ブロックＢＬ５１が直接モードによる予測符号化を行うブロックである。
【００３９】
まず、第１の方法として、モード選択部１０７は、直接モードによる予測符号化を行うブロックＢＬ５１が図１８（ａ）および図１８（ｂ）に示したいずれの場合も、ブロックＢＬ５１（またはブロックＢＬ５２）に対して基本的にＡ、Ｂ、Ｃの位置にあるブロックの動きベクトルを参照する。ただし、下記の条件に従って参照が変更される。
【００４０】
１、ブロックＣが参照不可の場合は、Ａ、Ｂ、Ｄの位置にあるブロックを参照する。
２、Ａ、Ｂ、ＣまたはＡ、Ｂ、Ｄの位置にある３つのブロックにおいて、動きベクトルを参照できないブロックがあれば、そのブロックを動きベクトルの参照の対象から除く。
【００４１】
モード選択部１０７は、参照の対象となったＡ、Ｂ、Ｃ（またはＡ、Ｂ、Ｄ）の３つのブロックが持つ動きベクトルのうちで、動きベクトルによって参照されるピクチャと符号化対象ピクチャとの表示順での遠近を比較する。比較されたうちで、符号化対象ピクチャから表示順で最も近い位置にあるピクチャを参照している動きベクトルを取り出す。取り出された動きベクトルが複数ある場合には、それらの中央値もしくは平均値を取る。例えば、取り出された動きベクトルが奇数個ある場合には中央値、偶数個ある場合には平均値をとるとしてもよい。これによって得られた動きベクトルを、表示順で符号化対象ピクチャよりも前方にあるピクチャのみを参照して動き補償する場合に、直接モードが選択されたときの符号化対象ブロックの動きベクトルとする。また、Ａ、Ｂ、Ｃ（またはＡ、Ｂ、Ｄ）の全てのブロックが参照できない場合は、符号化対象ブロックの動きベクトルを０とし、参照するピクチャを直前のピクチャとして直接モードによる予測符号化を行う。
【００４２】
図５は、図１に示したモード選択部１０７が第１の方法を用いて符号化対象ブロックの空間的予測を行う場合の処理手順の一例を示すフローチャートである。以下では、図４に示した符号化対象ブロックＢＬ５１を例として説明する。まず、モード選択部１０７は、符号化対象ブロックＢＬ５１に対してＣの位置にあるブロックが参照可能であるか否かを調べる（Ｓ６０１）。図４においてＣの位置にあるブロックはピクチャＰ９３を参照する動きベクトルＭＶＣ１とピクチャＰ９２を参照する動きベクトルＭＶＣ２とを持っている。従って、モード選択部１０７は、Ａ、Ｂ、Ｃの位置にあるブロックの動きベクトルを参照する（Ｓ６０２）。
【００４３】
Ａの位置にあるブロックは、ピクチャＰ９３を参照する動きベクトルＭＶＡ１を持ち、Ｂの位置にあるブロックはピクチャＰ９３を参照する動きベクトルＭＶＢ１とピクチャＰ９１を参照する動きベクトルＭＶＢ３を持っている。ステップＳ６０１において、Ｃの位置にあるブロックが、符号化対象ピクチャＰ９４の外にあったり、または符号化対象ブロックＢＬ５１が属するスライスの外にあったり、または画面内予測などの符号化を行ったために動きベクトルを持っていない場合には、Ｃの位置にあるブロックの代わりに、図１８（ａ）および図１８（ｂ）に示したＤの位置にあるブロックの動きベクトルを参照する（Ｓ６０３）。すなわち、Ａ、Ｂ、Ｄの位置にある３つのブロックを参照する。
【００４４】
次いで、モード選択部１０７は、参照された３つのブロック（Ａ、Ｂ、ＣまたはＡ、Ｂ、Ｄ）のうち、符号化対象ピクチャＰ９４の外にあったり、または符号化対象ブロックＢＬ５１が属するスライスの外にあったり、または画面内予測などの符号化を行ったために動きベクトルを持っていない場合には、そのブロックを参照の候補から除いて、符号化対象ブロックの動きベクトルの計算を行う（Ｓ６０４）。
【００４５】
また、３つのブロック（Ａ、Ｂ、ＣまたはＡ、Ｂ、Ｄ）のうち、全てのブロックを参照できない場合は、符号化対象ブロックの動きベクトルを「０」とし、符号化対象ピクチャの直前のピクチャを参照する。モード選択部１０７は、参照されたこれらの動きベクトルの中から、符号化対象ピクチャに表示順で最も近いピクチャを参照するもののみを取り出すと、ピクチャＰ９３を参照する動きベクトルＭＶＡ１、動きベクトルＭＶＢ１および動きベクトルＭＶＣ１が得られる。モード選択部１０７は、さらに、これらの中央値もしくは平均値を取る。例えば、ここでは３個の動きベクトルが得られたので中央値を取る。これにより、ブロックＢＬ５１の動き補償を行うための１つの動きベクトルＭＶ１を決定することができる。
【００４６】
図６は、図１に示した符号列生成部１０３で生成される符号列のスライスごとのデータ構造の一例を示す図である。各ピクチャの符号列は、複数のスライスデータから構成され、各スライスデータは複数のマクロブロックデータから構成されている。同図に示すように、符号列中の各スライスデータには、それぞれスライスヘッダが付加されており、スライスヘッダにはスライスに関する情報などが書き込まれる。スライスに関する情報には、例えば、スライスの属するフレームの番号、および上記の直接モードの符号化方法の種類を示すフラグｓｐａｔｉａｌ＿ｆｌａｇなどが記述される。
【００４７】
以上のように上記実施の形態では、表示順で後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測符号化する際に表示順で後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、高い符号化効率を実現する符号化方法を示した。
【００４８】
なお上記第１の方法では、参照された動きベクトルのうちで符号化対象ピクチャに表示順で一番近いピクチャを参照するものを取り出したが、参照された動きベクトルの中から符号化対象ピクチャの直前のピクチャを参照するもののみを取り出すとしてもよい。図４に示した例の場合、参照された動きベクトルに参照されるピクチャのうち、符号化対象ピクチャに表示順で最も近いピクチャは、符号化対象ピクチャの直前のピクチャであるので、得られる動きベクトルは同じである。もし、表示順で一番近いピクチャを参照する動きベクトルが１つも無かった場合は、符号化対象ブロックの動きベクトルを「０」として直接モードによる符号化を行う。
【００４９】
また上記第１の方法では、直接モードにおいて用いる動きベクトルを決定する際に、周辺の符号化済みブロックが参照するピクチャの中から表示順で符号化対象ピクチャから最も手前にあるピクチャを参照している動きベクトルだけを取り出して最終的に１個の動きベクトルを算出したが、その代わりに、第２の方法として、表示順で符号化対象ピクチャの手前からＮ枚のピクチャを参照する動きベクトルを取り出し、参照しているピクチャごとに１つずつの動きベクトルを決定し、得られたＮ個の動きベクトルを直接モードでの予測符号化に用いる動きベクトルとして前方向のみを参照する動き補償を行うことも可能である。このとき予測画像はＮ個の動きベクトルによって指定されたＮ個の領域の画素値の平均を算出することによって生成される。
【００５０】
なお、単純な平均ではなく、各領域の画素値に重みを付けて平均をとる方法によって予測画像を生成することも可能である。この方法を用いることにより、表示順で画素値が序々に変化するような画像列に対してより精度の高い動き補償を実現することが可能となる。
【００５１】
図７は、表示順で符号化対象ピクチャの手前から２枚のピクチャを参照する動きベクトルを取り出して２個の動きベクトルを算出する場合の動きベクトル参照方法の一例を表した図である。ピクチャＰ１０４が現在符号化を行っているピクチャであり、ＢＬ５１が直接モードによる予測符号化を行うブロックである。参照の対象となる複数の動きベクトルが参照しているピクチャの中で表示順で最も手前にあるピクチャＰ１０３を参照している動きベクトルＭＶＡ１、動きベクトルＭＶＢ１および動きベクトルＭＶＣ１を用いてその中央値もしくは平均値を取ることにより動きベクトルＭＶ１が決定され、さらに表示順で２つ前にあるピクチャＰ１０２を参照している動きベクトルの中央値もしくは平均値、つまりＭＶＣ２そのものを取ることにより動きベクトルＭＶ２が決定され、これら２つの動きベクトルを用いて直接モードによる符号化がなされる。
【００５２】
なお、図１８（ａ）および図１８（ｂ）において参照されるブロックの動きベクトルの中から表示順で手前から１枚もしくはＮ枚のピクチャを参照するもののみを使用するという方法の代わりに、指定されたピクチャを参照する動きベクトルのみを取り出して直接モードにおいて使用される符号化対象ブロックの動きベクトルの値を決定し、前記指定されたピクチャから動き補償を行うということも可能である。
【００５３】
なお、直接モードを用いて符号化を行う際に、図１８（ａ）および図１８（ｂ）のような位置関係にある符号化済みのブロックを参照して動き補償を行う代わりに、符号化対象ブロックの動きベクトルの値を「０」、参照するピクチャを直前のピクチャとして直接モードによる動き補償を行うことも可能である。この方法を用いると、直接モードに使用する動きベクトルを算出するステップを行う必要がなくなるため、符号化処理の単純化を図ることが出来る。
【００５４】
なお、このとき直接モードにおいて時間的予測を行うか空間的予測を行うかを示すｓｐａｔｉａｌ＿ｆｌａｇの代わりに、符号化済みのブロックを参照せずに符号化対象ブロックの動きベクトルの値を「０」として動き補償を行うことを示すフラグをスライスヘッダに記述してもよい。
【００５５】
なお、上記の方法では、３つのブロックを参照して得られた動きベクトルのうちから、それらが参照しているピクチャの中で符号化対象ピクチャに表示順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしたが、本発明はこれに限定されない。例えば、符号化対象ピクチャに符号化順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしてもよい。
【００５６】
（実施の形態２）
本発明の実施の形態２の動画像復号化方法を図８に示したブロック図を用いて説明する。ただし、本動画像復号化方法では、実施の形態１の動画像符号化方法で生成された符号列を復号化するものとする。
【００５７】
図８は、本実施の形態の動画像復号化装置２００の構成を示すブロック図である。動画像復号化装置２００は、直接モードで符号化された復号化対象ブロックに対し、直接モードによる復号化の方法を示すフラグが「１」のとき空間的予測を用いて復号化を行う動画像復号化装置であって、符号列解析部２０１、予測残差復号化部２０２、フレームメモリ２０３、動き補償復号部２０４、動きベクトル記憶部２０５、後方ピクチャ判定部２０６、加算演算部２０７およびスイッチ２０８を備える。
【００５８】
符号列解析部２０１は、入力された符号列を解析し、符号列から予測残差符号化データ、動きベクトル情報および予測モードなどの情報を抽出し、抽出された動きベクトル情報および予測モードなどの情報を動き補償復号部２０４に、予測残差符号化データを予測残差復号化部２０２にそれぞれ出力する。予測残差復号化部２０２は、抽出された予測残差符号化データに可変長復号化、逆量子化および逆周波数変換などを施し、予測残差画像を生成する。
【００５９】
フレームメモリ２０３は、復号化された画像をピクチャ単位で格納し、格納しているピクチャを表示順に外部のモニタなどに出力画像として出力する。動き補償復号部２０４は、予測モードの復号化と、その予測モードで用いる動きベクトルの復号化とを行い、フレームメモリ２０３に蓄積されている復号化画像を参照ピクチャとし、入力された動きベクトル情報に基づいて復号化対象ブロックに対する予測画像を生成する。動きベクトルの復号化の際には、動きベクトル記憶部６０５に記憶されている復号化済みの動きベクトルを利用する。
【００６０】
動きベクトル記憶部２０５は、動き補償復号部２０４において復号化された動きベクトルを格納する。後方ピクチャ判定部２０６は、動き補償復号部２０４による予測画像の生成時に、復号化対象ピクチャよりも表示順で後方にあるピクチャが復号化されているか否かを判定する。なお、後方ピクチャ判定部２０６は、実施の形態４で用いられるが、本実施の形態では不要である。加算演算部２０７は、予測残差復号化部２０２で復号化された予測残差画像と、動き補償復号部２０４で生成された予測画像とを加算し、復号化対象ブロックの復号化画像を生成する。
【００６１】
まず入力された符号列から符号列解析部２０１によって動きベクトル情報および予測残差符号化データ等の各種の情報が抽出される。ここで抽出された動きベクトル情報は動き補償復号部２０４に、予測残差符号化データは予測残差復号化部２０２にそれぞれ出力される。動き補償復号部２０４では、フレームメモリ２０３に蓄積されている復号化済みのピクチャの復号化画像を参照ピクチャとし、復号化された動きベクトルに基づいて予測画像を生成する。
【００６２】
このようにして生成された予測画像は加算演算部２０７に入力され、予測残差復号化部２０２において生成された予測残差画像との加算を行うことにより復号化画像が生成される。予測方向が制限されていない場合は、生成された復号化画像はフレームメモリ２０３において表示される順にピクチャの並び替えを行うが、表示順で後方にあるピクチャを参照することが出来ない場合は、並び替えを行うことなく復号化された順に表示することが可能となる。以上の実施の形態はピクチャ間予測符号化がなされている符号列に対する動作であったが、スイッチ２０８によってピクチャ内予測符号化がなされている符号列に対する復号化処理との切り替えがなされる。
【００６３】
以上復号化の流れの概要を示したが、動き補償復号部２０４における処理の詳細について以下で説明する。
図９は、図８に示した動き補償復号部２０４における直接モードによる復号化の処理手順を示すフローチャートである。
【００６４】
予測モードおよび動きベクトル情報はマクロブロックごともしくはマクロブロックを分割したブロックごとに付加されている。これらの情報は、符号列のスライスデータ領域の中に、スライス中のマクロブロックの順に記述されている。前記予測モードＭｏｄｅが直接モードを示している場合、動き補償復号部２０４は、スライスヘッダに復号化されるフラグｓｐａｔｉａｌ＿ｆｌａｇに「０」がセットされているか「１」がセットされているかを調べる（Ｓ９０１）。後方のピクチャが復号化されていないときには、フラグｓｐａｔｉａｌ＿ｆｌａｇに「１」がセットされており、空間的予測を用いて復号化を行うことが指示されている。
【００６５】
フラグｓｐａｔｉａｌ＿ｆｌａｇに「１」がセットされている場合には、動き補償復号部２０４は、直接モードの空間的予測を用いて復号化対象ブロックの予測画像を作成し（Ｓ９０２）、「０」がセットされている場合には、動き補償復号部２０４は、直接モードの時間的予測を用いて復号化対象ブロックの予測画像を作成する（Ｓ９０３）。スライスヘッダ中の予測モードＭｏｄｅが直接モード以外の予測モードを示している場合、動き補償復号部２０４は、復号化の対象としているマクロブロックに対して、既に復号化済みのピクチャを参照ピクチャとし、復号化された動きベクトルによってその参照ピクチャ内のブロックを特定し、特定されたブロックから動き補償を行うための予測画像切り出して、予測画像を作成する。
【００６６】
以下では、図９のステップＳ９０２において行われる空間的予測の具体的方法について説明する。
図１９を用いて説明したスキップモードの例は、参照される復号化済みブロックが１つずつの動きベクトルを持っている場合についてのものであった。しかし、Ｂピクチャの予測モードの中には、図２に示したように、表示順で前方にある２枚のピクチャを同時に参照して動き補償を行うものも含まれている。そのようなモードの場合は１つのブロックが２つの動きベクトルを持っていることになる。
【００６７】
図４は、動きベクトルを参照される復号化済みブロックに２つの動きベクトルを持つブロックが含まれている場合の動きベクトルの参照関係の一例を示している。ピクチャＰ９４が現在復号化を行っているピクチャであり、ブロックＢＬ５１が直接モードによる予測復号化を行うブロックである。
【００６８】
まず、第１の方法として、動き補償復号部２０４は、直接モードによる予測復号化を行うブロックＢＬ５１が図１８（ａ）および図１８（ｂ）に示したいずれの場合も、ブロックＢＬ５１（またはブロックＢＬ５２）に対して基本的にＡ、Ｂ、Ｃの位置にあるブロックの動きベクトルを参照する。ただし、下記の条件に従って参照が変更される。
【００６９】
１、ブロックＣが参照不可の場合は、Ａ、Ｂ、Ｄの位置にあるブロックを参照する。
２、Ａ、Ｂ、ＣまたはＡ、Ｂ、Ｄの位置にある３つのブロックにおいて、動きベクトルを参照できないブロックがあれば、そのブロックを動きベクトルの参照の対象から除く。
【００７０】
動き補償復号部２０４は、参照の対象となったＡ、Ｂ、Ｃ（またはＡ、Ｂ、Ｄ）の３つのブロックが持つ動きベクトルのうちで、動きベクトルによって参照されるピクチャと復号化対象ピクチャとの表示順での遠近を比較する。比較されたうちで、復号化対象ピクチャから表示順で最も近い位置にあるピクチャを参照している動きベクトルを取り出す。取り出された動きベクトルが複数ある場合には、それらの中央値もしくは平均値を取る。例えば、取り出された動きベクトルが奇数個ある場合には中央値、偶数個ある場合には平均値をとるとしてもよい。
【００７１】
これによって得られた動きベクトルを、表示順で復号化対象ピクチャよりも前方にあるピクチャのみを参照して動き補償する場合に、直接モードが選択されたときの復号化対象ブロックの動きベクトルとする。また、Ａ、Ｂ、Ｃ（またはＡ、Ｂ、Ｄ）の全てのブロックが参照できない場合は、復号化対象ブロックの動きベクトルを０とし、参照するピクチャを直前のピクチャとして直接モードによる予測復号化を行う。
【００７２】
図５のフローチャートは、図８に示した動き補償復号部２０４が第１の方法を用いて復号化対象ブロックの空間的予測を行う場合の処理手順の一例を示している。以下では、図４に示した復号化対象ブロックＢＬ５１を例として説明する。
【００７３】
まず、動き補償復号部２０４は、復号化対象ブロックＢＬ５１に対してＣの位置にあるブロックが参照可能であるか否かを調べる（Ｓ６０１）。図４においてＣの位置にあるブロックはピクチャＰ９３を参照する動きベクトルＭＶＣ１とピクチャＰ９２を参照する動きベクトルＭＶＣ２とを持っている。従って、動き補償復号部２０４は、Ａ、Ｂ、Ｃの位置にあるブロックの動きベクトルを参照する（Ｓ６０２）。
【００７４】
Ａの位置にあるブロックは、ピクチャＰ９３を参照する動きベクトルＭＶＡ１を持ち、Ｂの位置にあるブロックはピクチャＰ９３を参照する動きベクトルＭＶＢ１とピクチャＰ９１を参照する動きベクトルＭＶＢ３を持っている。ステップＳ６０１において、Ｃの位置にあるブロックが、復号化対象ピクチャＰ９４の外にあったり、または復号化対象ブロックＢＬ５１が属するスライスの外にあったり、または画面内予測などの復号化を行ったために動きベクトルを持っていない場合には、Ｃの位置にあるブロックの代わりに、図１８（ａ）および図１８（ｂ）に示したＤの位置にあるブロックの動きベクトルを参照する（Ｓ６０３）。すなわち、Ａ、Ｂ、Ｄの位置にある３つのブロックを参照する。
【００７５】
次いで、動き補償復号部２０４は、参照された３つのブロック（Ａ、Ｂ、ＣまたはＡ、Ｂ、Ｄ）のうち、復号化対象ピクチャＰ９４の外にあったり、または復号化対象ブロックＢＬ５１が属するスライスの外にあったり、または画面内予測などの復号化を行ったために動きベクトルを持っていない場合には、そのブロックを参照の候補から除いて、復号化対象ブロックの動きベクトルの計算を行う（Ｓ６０４）。
【００７６】
また、３つのブロック（Ａ、Ｂ、ＣまたはＡ、Ｂ、Ｄ）のうち、全てのブロックを参照できない場合は、復号化対象ブロックの動きベクトルを「０」とし、復号化対象ピクチャの直前のピクチャを参照する。動き補償復号部２０４は、参照されたこれらの動きベクトルの中から、復号化対象ピクチャに表示順で最も近いピクチャを参照するもののみを取り出すと、ピクチャＰ９３を参照する動きベクトルＭＶＡ１、動きベクトルＭＶＢ１および動きベクトルＭＶＣ１が得られる。動き補償復号部２０４は、さらに、これらの中央値もしくは平均値を取る。例えば、ここでは３個の動きベクトルが得られたので中央値を取る。これにより、ブロックＢＬ５１の動き補償を行うための１つの動きベクトルＭＶ１を決定することができる。
【００７７】
以上のように上記実施の形態では、表示順で後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測復号化する際に表示順で後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、高い符号化効率を実現する復号化方法を示した。
【００７８】
なお上記第１の方法では、参照された動きベクトルのうちで復号化対象ピクチャに表示順で一番近いピクチャを参照するものを取り出したが、参照された動きベクトルの中から復号化対象ピクチャの直前のピクチャを参照するもののみを取り出すとしてもよい。図４に示した例の場合、参照された動きベクトルに参照されるピクチャのうち、復号化対象ピクチャに表示順で最も近いピクチャは、復号化対象ピクチャの直前のピクチャであるので、得られる動きベクトルは同じである。もし、表示順で一番近いピクチャを参照する動きベクトルが１つも無かった場合は、復号化対象ブロックの動きベクトルを「０」として直接モードによる復号化を行う。
【００７９】
また上記第１の方法では、直接モードにおいて用いる動きベクトルを決定する際に、周辺の復号化済みブロックが参照するピクチャの中から表示順で復号化対象ピクチャから最も手前にあるピクチャを参照している動きベクトルだけを取り出して最終的に１個の動きベクトルを算出したが、その代わりに、第２の方法として、表示順で復号化対象ピクチャの手前からＮ枚のピクチャを参照する動きベクトルを取り出し、参照しているピクチャごとに１つずつの動きベクトルを決定し、得られたＮ個の動きベクトルを直接モードでの予測復号化に用いる動きベクトルとして前方向のみを参照する動き補償を行うことも可能である。このとき予測画像はＮ個の動きベクトルによって指定されたＮ個の領域の画素値の平均を算出することによって生成される。
【００８０】
なお、単純な平均ではなく、各領域の画素値に重みを付けて平均をとる方法によって予測画像を生成することも可能である。この方法を用いることにより、表示順で画素値が序々に変化するような画像列に対してより精度の高い動き補償を実現することが可能となる。
【００８１】
図７は、表示順で復号化対象ピクチャの手前から２枚のピクチャを参照する動きベクトルを取り出して２個の動きベクトルを算出する場合の動きベクトル参照方法の一例を表している。ピクチャＰ１０４が現在復号化を行っているピクチャであり、ＢＬ５１が直接モードによる予測復号化を行うブロックである。参照の対象となる複数の動きベクトルが参照しているピクチャの中で表示順で最も手前にあるピクチャＰ１０３を参照している動きベクトルＭＶＡ１、動きベクトルＭＶＢ１および動きベクトルＭＶＣ１を用いてその中央値もしくは平均値を取ることにより動きベクトルＭＶ１が決定され、さらに表示順で２つ前にあるピクチャＰ１０２を参照している動きベクトルの中央値もしくは平均値、つまりＭＶＣ２そのものを取ることにより動きベクトルＭＶ２が決定され、これら２つの動きベクトルを用いて直接モードによる復号化がなされる。
【００８２】
なお、図１８（ａ）および図１８（ｂ）において参照されるブロックの動きベクトルの中から表示順で手前から１枚もしくはＮ枚のピクチャを参照するもののみを使用するという方法の代わりに、指定されたピクチャを参照する動きベクトルのみを取り出して直接モードにおいて使用される復号化対象ブロックの動きベクトルの値を決定し、前記指定されたピクチャから動き補償を行うということも可能である。
【００８３】
なお、直接モードを用いて復号化を行う際に、図１８（ａ）および図１８（ｂ）のような位置関係にある符号化済みのブロックを参照して動き補償を行う代わりに、復号化対象ブロックの動きベクトルの値を「０」、参照するピクチャを直前のピクチャとして直接モードによる動き補償を行うことも可能である。この方法を用いると、直接モードに使用する動きベクトルを算出するステップを行う必要がなくなるため、復号化処理の単純化を図ることが出来る。
【００８４】
なお、対応する符号化処理において、直接モードで符号化済みのブロックを参照せずに符号化対象ブロックの動きベクトルの値を「０」として動き補償を行うことを示すフラグが符号化されていた場合は、前記フラグの値を解釈することにより前記動作に切り替えて直接モードによる動き予測を行うことができる。
【００８５】
なお、上記の方法では、３つのブロックを参照して得られた動きベクトルのうちから、それらが参照しているピクチャの中で復号化対象ピクチャに表示順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしたが、本発明はこれに限定されない。例えば、復号化対象ピクチャに復号化順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしてもよい。
【００８６】
（実施の形態３）
本発明の実施の形態３の動画像符号化方法を図１に示したブロック図を用いて説明する。
符号化対象となる動画像は時間順にピクチャ単位でフレームメモリ１０１に入力される。各々のピクチャはマクロブロックと呼ばれる例えば水平１６×垂直１６画素のブロックに分割されブロック単位で以降の処理が行われる。
【００８７】
フレームメモリ１０１から読み出されたマクロブロックは動きベクトル検出部１０６に入力される。ここではフレームメモリ１０５に蓄積されている符号化済みのピクチャを復号化した画像を参照ピクチャとして用いて、符号化対象としているマクロブロックの動きベクトル検出を行う。
【００８８】
モード選択部１０７では動きベクトル記憶部１０８に記憶されている符号化済みのピクチャで用いた動きベクトルを参照しつつ最適な予測モードを決定する。このとき表示順で後方にあるピクチャが既に符号化されているかどうかを後方ピクチャ判定部１０９において判定し、もし後方のピクチャが符号化されていないと判定された場合は、Ｂピクチャの符号化において表示順で後方にあるピクチャを参照する予測モードは選択されないように制限される。
【００８９】
図１０はＢピクチャにおける予測モードを識別するためのコードと符号化モードとを対応付けるテーブルの例を示したものである。予測方向が制限されていない場合は図１０（ａ）のように全ての参照パターンを示すテーブルを用いるが、予測方向が前方のみに制限されている場合は図１０（ｂ）のように後方を参照するパターンを全て除いたテーブルに作り直してそれを参照する。これにより、予測モードを識別するための符号に必要とされるビット量を削減することが可能となる。なお、図１０（ａ）および図１０（ｂ）のテーブルにおける各項目は、これ以外の値を用いた場合も同様に扱うことができる。
【００９０】
図２は表示順で後方のピクチャを参照することが出来ない場合の各ピクチャの参照関係を示したものである。シーケンスに含まれる全てのＢピクチャは表示順で前方にある１枚もしくは複数の符号化済みピクチャを参照して予測符号化を行っている。
【００９１】
得られた動きベクトルによって決定された予測画像が差分演算部１１０に入力され、符号化対象のマクロブロックとの差分をとることにより予測残差画像が生成され、予測残差符号化部１０２において符号化が行われる。以上の処理の流れはピクチャ間予測符号化が選択された場合の動作であったが、スイッチ１１２によってピクチャ内予測符号化との切り替えがなされる。最後に符号列生成部１０３によって、動きベクトル等の制御情報および予測残差符号化部１０２から出力される画像情報等に対し可変長符号化を施し、最終的に出力される符号列が生成される。
【００９２】
以上符号化の流れの概要を示したが、動きベクトル検出部１０６およびモード選択部１０７における処理の詳細について以下で説明する。ただし、ここでは後方ピクチャ判定部１０９において後方のピクチャが符号化されていないと判定された場合を考える。
【００９３】
動きベクトルの検出はマクロブロックごともしくはマクロブロックを分割した領域ごとに行われる。符号化の対象としているマクロブロックは既に符号化済みのピクチャを参照ピクチャとし、そのピクチャ内の探索領域において最適と予測される位置を示す動きベクトルおよび予測モードを決定することにより予測画像を作成する。
【００９４】
表示順で後方のピクチャが符号化されていない環境下において、Ｂピクチャの予測符号化を行う際にモード選択部１０７によって直接モードが選択された場合、従来の技術で述べた表示順で直後のピクチャを参照して動きベクトルとして用いる代わりに、符号化対象のブロックの周辺に位置する符号化済みブロックの動きベクトルを参照することによって直接モードを実現する。
【００９５】
まず、符号化対象ブロックの周辺に位置する符号化済みブロックがそれぞれ１つの動きベクトルを持っている場合について説明する。図１８は参照するブロックの位置関係を表したものである。図１８（ａ）は直接モードでの符号化を行うブロックＢＬ５１が１６画素×１６画素のサイズであった場合の例であり、図１８（ｂ）は直接モードでの符号化を行うブロックＢＬ５２が８画素×８画素のサイズであった場合の例である。いずれの場合も基本的にＡ、Ｂ、Ｃの位置関係にある３つのブロックの動きベクトルを参照する。ただし、下記の条件の場合は参照を行わず、符号化対象ブロックの動きベクトルの値を「０」として直前のピクチャを参照して直接モードによる動き補償を行う。
【００９６】
１、ＡもしくはＢがピクチャの外部もしくはスライスの外部であった場合。
２、ＡもしくはＢが直前のピクチャを参照する値「０」の動きベクトルを持つ場合。
参照の対象となったＡ、Ｂ、Ｃの３つのブロックが持つ動きベクトルの中から直前のピクチャを参照するもののみを取り出し、その中央値もしくは平均値を取ることによって実際に直接モードにおいて使用する動きベクトルとする。ただし、ブロックＣが参照不可の場合は代わりにブロックＤを用いるものとする。
【００９７】
図１９はそのときの動きベクトルの参照関係の例を示したものである。ピクチャＰ６４に属するブロックＢＬ５１を現在符号化しているブロックとする。この例では直前のピクチャを参照する動きベクトルはＭＶＡ１のみとなり、直接モードにおいて用いられる動きベクトルＭＶ１はＭＶＡ１の値をそのまま使用することになる。なお、参照するブロックの位置関係は図１８（ａ）および図１８（ｂ）で示したＡ、Ｂ、Ｃ，Ｄ以外の場所を用いた場合も同様である。
【００９８】
図１９の例は参照される符号化済みブロックが１つずつの動きベクトルを持っている場合についてのものであった。しかし、Ｂピクチャの予測モードの中には表示順で前方にある２枚のピクチャを同時に参照して動き補償を行うものも含まれている。そのようなモードの場合は１つのブロックが２つの動きベクトルを持っていることになる。
【００９９】
以下では、符号化対象ブロックの周辺に位置する符号化済みブロックに２つの動きベクトルを持つブロックが含まれている場合について説明する。図４は、符号化対象ブロックの周辺に位置する符号化済みブロックに２つの動きベクトルを持つブロックが含まれている場合の動きベクトルの参照関係の例を表した図である。ピクチャＰ９４が現在符号化を行っているピクチャであり、ブロックＢＬ５１が直接モードによる予測符号化を行うブロックである。参照の対象となるブロックの持つ全ての動きベクトルが参照しているピクチャの中で、表示順で最も直前にあるピクチャであるピクチャＰ９３を参照している動きベクトルＭＶＡ１、ＭＶＢ１およびＭＶＣ１を用いてその中央値もしくは平均値を取ることにより、直接モードでの予測符号化に用いる動きベクトルＭＶ１が決定され前方向のみを参照する動き補償を行う。
【０１００】
以上のように上記実施の形態では、表示順で後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測符号化する際に表示順で後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、さらに、符号化モードのテーブルから後方のピクチャを参照する項目を除くことによりテーブルの項目数を少なくすることが可能となり、高い符号化効率を実現する符号化方法を示した。
【０１０１】
なお、直接モードにおいて用いる動きベクトルを決定する際に、周辺の符号化済みブロックが参照するピクチャの中から最も表示順で手前にあるピクチャを参照している動きベクトルだけを取り出して１個の動きベクトルを算出する代わりに、手前からＮ枚のピクチャを参照する動きベクトルを取り出し、参照しているピクチャごとに１つずつの動きベクトルを決定し、得られたＮ個の動きベクトルを直接モードでの予測符号化に用いる動きベクトルとして前方向のみを参照する動き補償を行うことも可能である。このとき予測画像はＮ個の動きベクトルによって指定されたＮ個の領域の画素値の平均を算出することによって生成される。
【０１０２】
なお、単純な平均ではなく、各領域の画素値に重みを付けて平均をとる方法によって予測画像を生成することも可能である。この方法を用いることにより、表示順で画素値が序々に変化するような画像列に対してより精度の高い動き補償を実現することが可能となる。
【０１０３】
図７は上記のケースにおけるＮ＝２のときの動きベクトル参照方法の例を表したものである。Ｐ１０４が現在符号化を行っているピクチャであり、ＢＬ５１が直接モードによる予測符号化を行うブロックである。参照の対象となる複数の動きベクトルが参照しているピクチャの中で表示順で最も手前にあるピクチャＰ１０３を参照している動きベクトルＭＶＡ１およびＭＶＢ１およびＭＶＣ１を用いてその中央値もしくは平均値を取ることにより動きベクトルＭＶ１が決定され、さらに表示順で２つ前にあるピクチャＰ１０２を参照している動きベクトルの中央値もしくは平均値、つまりＭＶＣ２そのものを取ることにより動きベクトルＭＶ２が決定され、これら２つの動きベクトルを用いて直接モードによる符号化がなされる。
【０１０４】
なお、図１８（ａ）および図１８（ｂ）において動きベクトルを参照されるブロックを決定する方法として、前記実施の形態で述べた方法の代わりに、下記の条件を用いることも可能である。
１、ＡおよびＤが参照不可の場合はそれらの動きベクトルを「０」として参照する。
２、ＢおよびＣおよびＤが参照不可の場合はＡのみを参照する。
３、Ｃのみが参照不可の場合はＡ、Ｂ、Ｄを参照する。
４、上記２および３以外の場合はＡ、Ｂ、Ｃを参照する。
【０１０５】
なお、図１８（ａ）および図１８（ｂ）において参照されるブロックの動きベクトルの中から表示順で手前から１枚もしくはＮ枚のピクチャを参照するもののみを使用するという方法の代わりに、指定されたピクチャを参照する動きベクトルのみを取り出して直接モードにおいて使用される符号化対象ブロックの動きベクトルの値を決定し、前記指定されたピクチャから動き補償を行うということも可能である。
【０１０６】
なお、直接モードを用いて符号化を行う際に、図１８（ａ）および図１８（ｂ）のような位置関係にあるブロックを参照して動き補償を行う代わりに、符号化対象ブロックの動きベクトルの値を「０」、参照するピクチャを直前のピクチャとして直接モードによる動き補償を行うことも可能である。この方法を用いると、直接モードに使用する動きベクトルを算出するステップを行う必要がなくなるため、符号化処理の単純化を図ることが出来る。
【０１０７】
なお、上記実施の形態では、３つのブロックを参照して得られた動きベクトルのうちから、それらが参照しているピクチャの中で符号化対象ピクチャに表示順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしたが、本発明はこれに限定されない。例えば、符号化対象ピクチャに符号化順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしてもよい。
【０１０８】
（実施の形態４）
本発明の実施の形態４の動画像復号化方法を図８に示したブロック図を用いて説明する。ただし、実施の形態３の動画像符号化方法で生成された符号列が入力されるものとする。
【０１０９】
まず入力された符号列から符号列解析部２０１によって動きベクトル情報および予測残差符号化データ等の各種の情報が抽出される。ここで抽出された動きベクトル情報は動き補償復号部２０４に、予測残差符号化データは予測残差復号化部２０２にそれぞれ出力される。動き補償復号部２０４ではフレームメモリ２０３に蓄積されている復号化済みのピクチャの復号化画像を参照ピクチャとし、入力された動きベクトル情報に基づいて予測画像を生成する。このとき表示順で後方にあるピクチャが既に符号化されているかどうかを後方ピクチャ判定部２０６において判定し、もし後方のピクチャが符号化されていないと判定された場合は、Ｂピクチャの符号化において表示順で後方にあるピクチャを参照する予測モードは選択されないように制限される。
【０１１０】
図１０はＢピクチャにおける予測モードを識別するためのコードと符号化モードとを対応付けるテーブルの例を示したものである。予測方向が制限されていない場合は図１０（ａ）のように全ての参照パターンを示すテーブルを用いるが、予測方向が前方のみに制限されている場合は図１０（ｂ）のように後方を参照するパターンを全て除いたテーブルに作り直してそれを参照する。なお、図１０（ａ）および図１０（ｂ）のテーブルにおける各項目は、これ以外の値を用いた場合も同様に扱うことができる。
【０１１１】
このようにして生成された予測画像は加算演算部２０７に入力され、予測残差復号化部２０２において生成された予測残差画像との加算を行うことにより復号化画像が生成される。予測方向が制限されていない場合は、生成された復号化画像はフレームメモリ２０３において表示される順にピクチャの並び替えを行うが、表示順で後方にあるピクチャを参照することが出来ない場合は、並び替えを行うことなく復号化された順に表示することが可能となる。以上の実施の形態はピクチャ間予測符号化がなされている符号列に対する動作であったが、スイッチ２０８によってピクチャ内予測符号化がなされている符号列に対する復号化処理との切り替えがなされる。
【０１１２】
以上復号化の流れの概要を示したが、動き補償復号部２０４における処理の詳細について以下で説明する。ただし、ここでは後方ピクチャ判定部２０６において後方のピクチャが復号化されていないと判定された場合を考える。
動きベクトル情報はマクロブロックごともしくはマクロブロックを分割した領域ごとに付加されている。復号化の対象としているマクロブロックは既に復号化済みのピクチャを参照ピクチャとし、復号化された動きベクトルによってそのピクチャ内から動き補償を行うための予測画像を作成する。
【０１１３】
表示順で後方のピクチャが復号化されていない環境下において、Ｂピクチャの予測復号化において直接モードが指示された場合、従来の技術で述べた表示順で直後のピクチャを参照して動きベクトルとして用いる代わりに、復号化対象のブロックの周辺に位置する復号化済みブロックの動きベクトルを参照することによって直接モードを実現する。
【０１１４】
まず、復号化対象ブロックの周辺に位置する復号化済みブロックがそれぞれ１つの動きベクトルを持っている場合について説明する。図１８は参照するブロックの位置関係を表したものである。図１８（ａ）は直接モードでの復号化を行うブロックＢＬ５１が１６画素×１６画素のサイズであった場合の例であり、図１８（ｂ）は直接モードでの復号化を行うブロックＢＬ５２が８画素×８画素のサイズであった場合の例である。いずれの場合も基本的にＡ、Ｂ、Ｃの位置関係にある３つのブロックの動きベクトルを参照する。ただし、下記の条件の場合は参照を行わず、復号化対象ブロックの動きベクトルの値を「０」として直前のピクチャを参照して直接モードによる動き補償を行う。
１、ＡもしくはＢがピクチャの外部もしくはスライスの外部であった場合。
２、ＡもしくはＢが直前のピクチャを参照する値「０」の動きベクトルを持つ場合。
【０１１５】
参照の対象となったＡ、Ｂ、Ｃの３つのブロックが持つ動きベクトルの中から直前のピクチャを参照するもののみを取り出し、その中央値もしくは平均値を取ることによって実際に直接モードにおいて使用する動きベクトルとする。ただし、ブロックＣが参照不可の場合は代わりにブロックＤを用いるものとする。
【０１１６】
図１９はそのときの動きベクトルの参照関係の例を示したものである。ピクチャＰ６４に属するブロックＢＬ５１を現在復号化しているブロックとする。この例では直前のピクチャを参照する動きベクトルはＭＶＡ１のみとなり、直接モードにおいて用いられる動きベクトルＭＶ１はＭＶＡ１の値をそのまま使用することになる。なお、参照するブロックの位置関係は図１８（ａ）および図１８（ｂ）で示したＡ、Ｂ、Ｃ，Ｄ以外の場所を用いた場合も同様である。
【０１１７】
図１９の例は参照される復号化済みブロックが１つずつの動きベクトルを持っている場合についてのものであった。しかし、Ｂピクチャの予測モードの中には表示順で前方にある２枚のピクチャを同時に参照して動き補償を行うものも含まれている。そのようなモードの場合は１つのブロックが２つの動きベクトルを持っていることになる。
【０１１８】
以下では、復号化対象ブロックの周辺に位置する復号化済みブロックに２つの動きベクトルを持つブロックが含まれている場合について説明する。図４はそのような場合の動きベクトルの参照関係の例を表したものである。Ｐ９４が現在復号化を行っているピクチャであり、ＢＬ５１が直接モードによる予測復号化を行うブロックである。参照の対象となるブロックの持つ全ての動きベクトルが参照しているピクチャの中で、表示順で最も直前にあるピクチャであるピクチャＰ９３を参照している動きベクトルＭＶＡ１およびＭＶＢ１およびＭＶＣ１を用いてその中央値もしくは平均値を取ることにより、直接モードでの予測復号化に用いる動きベクトルＭＶ１が決定され前方向のみを参照する動き補償を行う。
【０１１９】
以上のように上記実施の形態では、表示順で後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測復号化する際に表示順で後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、さらに、符号化モードのテーブルから後方のピクチャを参照する項目を除くことによりテーブルの項目数を少なくし、高い符号化効率を実現する復号化方法を示した。
【０１２０】
なお、直接モードにおいて用いる動きベクトルを決定する際に、周辺の復号化済みブロックが参照するピクチャの中から最も表示順で手前にあるピクチャを参照している動きベクトルだけを取り出して１個の動きベクトルを算出する代わりに、手前からＮ枚のピクチャを参照する動きベクトルを取り出し、参照しているピクチャごとに１つずつの動きベクトルを決定し、得られたＮ個の動きベクトルを直接モードでの予測復号化に用いる動きベクトルとして前方向のみを参照する動き補償を行うことも可能である。このとき予測画像はＮ個の動きベクトルによって指定されたＮ個の領域の画素値の平均を算出することによって生成される。
【０１２１】
なお、単純な平均ではなく、各領域の画素値に重みを付けて平均をとる方法によって予測画像を生成することも可能である。この方法を用いることにより、表示順で画素値が序々に変化するような画像列に対してより精度の高い動き補償を実現することが可能となる。
【０１２２】
図７は上記のケースにおけるＮ＝２のときの動きベクトル参照方法の例を表したものである。Ｐ１０４が現在復号化を行っているピクチャであり、ＢＬ５１が直接モードによる予測復号化を行うブロックである。参照の対象となる複数の動きベクトルが参照しているピクチャの中で表示順で最も手前にあるピクチャＰ１０３を参照している動きベクトルＭＶＡ１およびＭＶＢ１およびＭＶＣ１を用いてその中央値もしくは平均値を取ることにより動きベクトルＭＶ１が決定され、さらに表示順で２つ前にあるピクチャＰ１０２を参照している動きベクトルの中央値もしくは平均値、つまりＭＶＣ２そのものを取ることにより動きベクトルＭＶ２が決定され、これら２つの動きベクトルを用いて直接モードによる復号化がなされる。
【０１２３】
なお、図１８（ａ）および図１８（ｂ）において動きベクトルを参照されるブロックを決定する方法として、前記実施の形態で述べた方法の代わりに、下記の条件を用いることも可能である。
１、ＡおよびＤが参照不可の場合はそれらの動きベクトルを「０」として参照する。
２、ＢおよびＣおよびＤが参照不可の場合はＡのみを参照する。
３、Ｃのみが参照不可の場合はＡ、Ｂ、Ｄを参照する。
４、上記２および３以外の場合はＡ，Ｂ、Ｃを参照する。
【０１２４】
なお、図１８（ａ）および図１８（ｂ）において参照されるブロックの動きベクトルの中から表示順で手前から１枚もしくはＮ枚のピクチャを参照するもののみを使用するという方法の代わりに、指定されたピクチャを参照する動きベクトルのみを取り出して直接モードにおいて使用される復号化対象ブロックの動きベクトルの値を決定し、前記指定されたピクチャから動き補償を行うということも可能である。
【０１２５】
なお、直接モードを用いて復号化を行う際に、図１８（ａ）および図１８（ｂ）のような位置関係にあるブロックを参照して動き補償を行う代わりに、復号化対象ブロックの動きベクトルの値を「０」、参照するピクチャを直前のピクチャとして直接モードによる動き補償を行うことも可能である。この方法を用いると、直接モードに使用する動きベクトルを算出するステップを行う必要がなくなるため、復号化処理の単純化を図ることが出来る。
【０１２６】
（実施の形態５）
さらに、上記実施の形態で示した動画像符号化方法または動画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態１で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１２７】
図１１は、上記実施の形態１の動画像符号化方法または動画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
【０１２８】
図１１（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１１（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての動画像符号化方法が記録されている。
【０１２９】
また、図１１（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての動画像符号化方法または動画像復号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記動画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【０１３０】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１３１】
（実施の形態６）
さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。
【０１３２】
図１２は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０１３３】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０１３４】
しかし、コンテンツ供給システムｅｘ１００は図１２のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【０１３５】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０１３６】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。
【０１３７】
また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。
【０１３８】
なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０１３９】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。
【０１４０】
このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０１４１】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
【０１４２】
図１３は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０１４３】
さらに、携帯電話ｅｘ１１５について図１４を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【０１４４】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０１４５】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０１４６】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０１４７】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０１４８】
画像符号化部ｅｘ３１２は、本願発明で説明した動画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した動画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０１４９】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０１５０】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０１５１】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０１５２】
次に、画像復号化部ｅｘ３０９は、本願発明で説明した動画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０１５３】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１５に示すようにディジタル放送用システムにも上記実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報のビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置によりビットストリームを復号化してこれを再生する。
【０１５４】
また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録したビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでも良い。
【０１５５】
また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０１５６】
更に、画像信号を上記実施の形態で示した動画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した動画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０１５７】
なお、カーナビゲーションｅｘ４１３の構成は例えば図１４に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
【０１５８】
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０１５９】
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
本発明に係る動画像符号化装置は、通信機能を備えるパーソナルコンピュータ、ＰＤＡ、ディジタル放送の放送局および携帯電話機などに備えられる動画像符号化装置として有用である。
【０１６０】
また、本発明に係る動画像復号化装置は、通信機能を備えるパーソナルコンピュータ、ＰＤＡ、ディジタル放送を受信するＳＴＢおよび携帯電話機などに備えられる動画像復号化装置として有用である。
【０１６１】
【発明の効果】
以上のように、本発明の動画像符号化方法によると、時間的に後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測符号化する際に時間的に後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、さらに、符号化モードのテーブルから後方のピクチャを参照する項目を除くことによりテーブルの項目数を少なくし高い符号化効率を実現することを可能とする。
【０１６２】
また、本発明の動画像復号化方法によると、時間的に後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測復号化する際に時間的に後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、さらに、符号化モードのテーブルから後方のピクチャを参照する項目を除くことによりテーブルの項目数を少なくし、高い符号化効率によって符号化された符号列を矛盾無く復号化することを可能とする。
【図面の簡単な説明】
【図１】実施の形態１の動画像符号化方法を実行する動画像符号化装置の構成を示すブロック図である。
【図２】符号化対象ブロックが属するピクチャから表示順で後方にあるピクチャを参照することが出来ない場合の各ピクチャの参照関係の一例を示す図である。
【図３】直接モードが選択された場合のモード選択部の動作の一例を示すフローチャートである。
【図４】動きベクトルを参照される符号化済みブロックに２つの動きベクトルを持つブロックが含まれている場合の動きベクトルの参照関係の一例を示す図である。
【図５】図１に示したモード選択部が第１の方法を用いて符号化対象ブロックの空間的予測を行う場合の処理手順の一例を示すフローチャートである。
【図６】図１に示した符号列生成部で生成される符号列のスライスごとのデータ構造の一例を示す図である。
【図７】表示順で符号化対象ピクチャの手前から２枚のピクチャを参照する動きベクトルを取り出して２個の動きベクトルを算出する場合の動きベクトル参照方法の一例を表した図である。
【図８】本実施の形態の動画像復号化装置の構成を示すブロック図である。
【図９】図８に示した動き補償復号部における直接モードによる復号化の処理手順を示すフローチャートである。
【図１０】（ａ）Ｂピクチャにおける予測モードを識別するためのコードと符号化モードとを対応付けるテーブルの一例を示す図である。
（ｂ）予測方向が前方のみに制限されている場合のＢピクチャにおける予測モードを識別するためのコードと符号化モードとを対応付けるテーブルの一例を示す図である。
【図１１】（ａ）記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示す図である。
（ｂ）フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す図である。
（ｃ）フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す図である。
【図１２】コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。
【図１３】携帯電話の外観の一例を示す図である。
【図１４】携帯電話の構成を示すブロック図である。
【図１５】上記実施の形態で示した符号化処理または復号化処理を行う機器、およびこの機器を用いたシステムを説明する図である。
【図１６】従来の動画像符号化方法における各ピクチャと、それによって参照されるピクチャとの参照関係の例を示す図である。
【図１７】（ａ）図１６に示したピクチャＢ１８の周辺にあるピクチャを表示順で抜き出して示す図である。
（ｂ）ピクチャＢ１８を図１７（ａ）に示した参照関係で符号化する場合におけるピクチャＢ１８の周辺ピクチャの符号化順を示す図である。
【図１８】同一ピクチャ内で対象ブロックの周辺に位置する符号化済みブロックの動きベクトルを参照する場合に、動きベクトルを参照される符号化済みブロックと対象ブロックとの位置関係を表した図である。
（ａ）対象ブロックＢＬ５１が１６画素×１６画素のサイズであった場合の例である。
（ｂ）対象ブロックＢＬ５２が８画素×８画素のサイズであった場合の例である。
【図１９】Ｐピクチャのスキップモードの際に参照される動きベクトルとその動きベクトルによって参照される符号化済みピクチャとの一例を示した図である。
【図２０】直接モードにおいて動きベクトルを決定する方法を説明するための図である。
【符号の説明】
１００ 動画像符号化装置
１０１ フレームメモリ
１０２ 予測誤差符号化部
１０３ 符号列生成部
１０４ 予測残差復号化部
１０５ フレームメモリ
１０６ 動きベクトル検出部
１０７ モード選択部
１０８ 動きベクトル記憶部
１０９ 後方ピクチャ判定部
２００ 動画像復号化装置
２０１ 符号列解析部
２０２ 予測残差復号化部
２０３ フレームメモリ
２０４ 動き補償復号部
２０５ 動きベクトル記憶部
２０６ 後方ピクチャ判定部
Ｓｅ セクタ
Ｔｒ トラック
ＦＤ フレキシブルディスク
Ｆ フレキシブルディスクケース
Ｃｓ コンピュータシステム
ＦＤＤ フレキシブルディスクドライブ
【発明の属する技術分野】
本発明は、動画像の符号化方法および復号化方法に関し、特に時間的に前方または後方にある既に符号化済みの複数のピクチャを参照して予測符号化を行うＢピクチャを対象とした予測符号化方法および予測復号化方法に関する。
【０００２】
【従来の技術】
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とするピクチャ間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および動き補償を行い、得られた予測画像と現在のピクチャとの差分値に対して符号化を行う。
【０００３】
現在標準化中の動画像符号化方法であるＨ．２６Ｌでは、ピクチャ内予測符号化をのみを行うピクチャ（Ｉピクチャ）、および時間的に前方にある１枚のピクチャを参照してピクチャ間予測符号化を行うピクチャ（Ｐピクチャ）、さらに時間的に前方にある２枚のピクチャもしくは時間的に後方にある２枚のピクチャもしくは時間的に前方および後方にあるそれぞれ１枚ずつのピクチャを参照してピクチャ間予測符号化を行うピクチャ（Ｂピクチャ）が提案されている。Ｈ．２６Ｌ以前の符号化方法であるＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）１およびＭＰＥＧ２およびＭＰＥＧ４では、Ｂピクチャは同一方向には１枚のピクチャしか参照できなかったが、Ｈ．２６Ｌでは２枚参照できるように変更されていることが１つの大きな特徴である。
【０００４】
図１６は、従来の動画像符号化方法における各ピクチャと、それによって参照されるピクチャとの参照関係の例を示す図である。同図において、ピクチャＩ１〜ピクチャＢ２０は、この順で表示される。図１７（ａ）は、図１６に示したピクチャＢ１８の周辺にあるピクチャを表示順で抜き出して示す図である。図１７（ｂ）は、ピクチャＢ１８を図１７（ａ）に示した参照関係で符号化する場合におけるピクチャＢ１８の周辺ピクチャの符号化順を示す図である。
【０００５】
ピクチャＩ１は参照ピクチャを持たずピクチャ内予測符号化を行い、ピクチャＰ１０は時間的に前方にあるピクチャＰ７を参照しピクチャ間予測符号化を行っている。また、ピクチャＢ６は時間的に前方にある２つのピクチャ（ピクチャＩ１およびピクチャＰ４）を参照し、ピクチャＢ１２は時間的に後方にある２つのピクチャ（ピクチャＰ１３およびピクチャＰ１６）を参照し、ピクチャＢ１８は時間的に前方および後方にあるそれぞれ１枚ずつのピクチャ（ピクチャＰ１６およびピクチャＰ１９）を参照してピクチャ間予測符号化を行っている。このようにＢピクチャを使用する符号化では時間的に後方にあるピクチャを参照するため、表示される順番では符号化を行うことが出来ない。つまり、図１７（ａ）におけるピクチャＢ１８のようなＢピクチャがあった場合は、それが参照するピクチャＰ１９を先に符号化する必要がある。そのため、ピクチャＢ１６からピクチャＢ１９を図１７（ｂ）のような順番に並び替えて符号化を行わなくてはならない。
【０００６】
時間的に前方にある１枚のピクチャを参照してピクチャ間予測符号化を行うＰピクチャの予測モードのひとつとしてスキップモードがある。スキップモードでは符号化対象ブロックに直接動きベクトルの情報を持たせずに、周辺に位置する符号化済みブロックの動きベクトルを参照して符号化対象ブロックの動き補償に使用する動きベクトルを決定し、符号化対象ブロックの属するピクチャの時間的に直前にあるＰピクチャから予測画像を生成することによって動き補償を行う。
【０００７】
図１８は、同一ピクチャ内で対象ブロックの周辺に位置する符号化済みブロックの動きベクトルを参照する場合に、動きベクトルを参照される符号化済みブロックと対象ブロックとの位置関係を表した図である。図１８（ａ）は符号化を行う符号化対象ブロックＢＬ５１が１６画素×１６画素のサイズであった場合の例であり、図１８（ｂ）は符号化を行うブロックＢＬ５２が８画素×８画素のサイズであった場合の例を示している。ここでは、Ｐピクチャのスキップモードの際に動きベクトルを参照される符号化済みブロックと符号化対象ブロックとの位置関係を示している。ブロックＢＬ５１がスキップモードを用いて符号化を行う１６画素×１６画素のブロックであり、基本的にＡ、Ｂ、Ｃの位置関係にある３つの符号化済みブロック（以下、Ａの位置にあるブロックをブロックＡ、Ｂの位置にあるブロックをブロックＢ、Ｃの位置にあるブロックをブロックＣという。）の動きベクトルを参照する。ただし、下記の条件に該当する場合は動きベクトルの参照を行わず、符号化対象ブロックの動きベクトルの値を「０」として直前のＰピクチャを参照し、直接モードによる動き補償を行う。
【０００８】
１、ブロックＡもしくはブロックＢが、符号化対象ブロックが属するピクチャの外部もしくはスライスの外部であった場合。
２、ブロックＡもしくはブロックＢが、直前のピクチャを参照する値「０」の動きベクトルを持つ場合。
【０００９】
参照の対象となったブロックＡ、Ｂ、Ｃの３つのブロックが持つ動きベクトルの中から直前のＰピクチャを参照する動きベクトルのみを取り出し、その中央値を取ることによって実際に直接モードにおいて使用する動きベクトルとする。ただし、ブロックＣが参照不可の場合は代わりにブロックＤの動きベクトルを用いるものとする。
【００１０】
図１９は、Ｐピクチャのスキップモードの際に参照される動きベクトルとその動きベクトルによって参照される符号化済みピクチャとの一例を示した図である。ピクチャＰ６４に属するブロックＢＬ５１を現在符号化しているブロックとする。この例では直前のピクチャを参照する動きベクトルは動きベクトルＭＶＡ１のみとなり、直接モードにおいて用いられる動きベクトルＭＶ１は、動きベクトルＭＶＡ１の値をそのまま使用することになる。このような参照方法を使用することにより動きベクトルを符号化する必要がないため、出力符号列のビット量を減らすことが可能となる。また、周辺のブロックを参照して動きベクトルを決定するため、カメラのパーン等の影響によって撮像物が一定方向に移動するような場合においてその効果が大きく得られる。
【００１１】
時間的に前方にある２枚のピクチャもしくは時間的に後方にある２枚のピクチャもしくは時間的に前方および後方にあるそれぞれ１枚ずつのピクチャを参照してピクチャ間予測符号化を行うＢピクチャの予測モードのひとつとして直接モードがある。直接モードでは、符号化対象のブロックには直接動きベクトルを持たせず、符号化対象ピクチャの時間的に直後にある符号化済みピクチャ内の同じ位置にあるブロックの動きベクトルを参照することによって、実際に符号化対象ブロックの動き補償を行うための２つの動きベクトルを算出し、予測画像を作成する。
【００１２】
図２０は、直接モードにおいて動きベクトルを決定する方法を説明するための図である。ピクチャＢ７３が現在符号化の対象としているＢピクチャであり、ピクチャＰ７２およびピクチャＰ７４を参照ピクチャとして、直接モードによる双方向予測を行うものである。符号化を行うブロックをブロックＢＬ７１とすると、このとき必要とされる２つの動きベクトルは、符号化済みの後方参照ピクチャであるピクチャＰ７４の同じ位置にあるブロックＢＬ７２の持つ動きベクトルＭＶ７１を用いて決定される。動きベクトルＭＶ７１に対してピクチャ間隔ＴＲ７２、ＴＲ７３を用いてスケーリングを適用することによって、もしくは動きベクトルＭＶ７１に対して所定の係数をかけることによって、直接モードによって使用する２つの動きベクトルＭＶ７２、ＭＶ７３が算出される。この２つの動きベクトルによって指定された２つの参照画像の画素値の平均をとることによって、ブロックＢＬ７１の符号化に必要とされる予測画像が生成される。このように、直接モードで符号化を行うブロックでは、動きベクトルを符号化する必要がないため出力符号列のビット量を減らすことが可能となる。
【００１３】
【非特許文献１】
Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ａｎｄ ＩＴＵ−Ｔ ＶＣＥＧ −− ＪｏｉｎｔＣｏｍｍｉｔｔｅｅ Ｄｒａｆｔ （２００２−５−１０） Ｐ．９９ １１ Ｂ ｐｉｃｔｕｒｅｓ
【００１４】
【発明が解決しようとする課題】
しかしながら、Ｂピクチャの直接モードを用いた動画像の符号化では、時間的に後方にあるピクチャを参照して符号化が行われるため、前記参照される可能性のあるピクチャを符号化対象のピクチャよりも先に符号化しておく必要があった。そのため、時間的に後方にあるピクチャを先に符号化および復号化することが出来ない環境下ではＢピクチャの直接モードを用いた符号化を行うことが出来なかった。
【００１５】
本発明は上記のような問題点を解決するものであり、時間的に後方にあるピクチャが符号化対象ピクチャまたは復号化対象ピクチャよりも先に符号化および復号化されていない環境下においても、Ｂピクチャ、特に直接モードを矛盾なく使用することを可能とする方法を提案することを第１の目的とする。さらに、本発明は、符号化モードとその識別番号とを対応付けるテーブルの効率の良い参照方法を提案することによって、Ｂピクチャを使用した高効率による動画像の符号化方法および復号化方法を提案することを第２の目的とする。
【００１６】
【課題を解決するための手段】
上記目的を達成するために、本発明の動画像符号化方法は、動画像を符号化して符号列を生成する動画像符号化方法であって、時間的に前方または後方にある符号化済みの複数のピクチャを参照して予測符号化を行うＢピクチャの符号化において、符号化済みのブロックが持つ動きベクトルを参照して符号化対象ブロックの動き補償を行う直接モードを使用することを可能とする符号化ステップを含み、前記符号化ステップは、前記符号化対象ブロックの属するピクチャから表示順で一方向にある符号化済みのピクチャのみを参照して前記Ｂピクチャの予測符号化を行う場合、前記直接モードとして前記符号化対象ブロックの周辺に位置する同一ピクチャ内の符号化済みブロックの動きベクトルを参照して動き補償を行う動き補償ステップを含むことを特徴とする。
【００１７】
また本発明の動画像符号化方法は、動画像を符号化して符号列を生成する動画像符号化方法であって、時間的に前方または後方にある符号化済みの複数のピクチャを参照して予測符号化を行うＢピクチャの符号化において、符号化済みのブロックが持つ動きベクトルを参照して符号化対象ブロックの動き補償を行う直接モードを使用することを可能とする符号化ステップを含み、前記符号化ステップは、前記符号化対象ブロックの属するピクチャから表示順で一方向にある符号化済みのピクチャのみを参照して前記Ｂピクチャの予測符号化を行う場合、前記直接モードとして前記符号化対象ブロックの動きベクトルの値を「０」として、時間的に近い方から順に１つまたは複数のピクチャを参照して動き補償を行うことを特徴とする。
【００１８】
さらに本発明の動画像符号化方法では、前記符号化ステップは、前記Ｂピクチャの予測符号化方法と前記予測符号化方法を識別するための識別子とを対応付けたテーブルの中から後方を参照する予測符号化方法を除いて、前記テーブルを再生成するテーブル再生成ステップを含み、前記符号化ステップでは、再生成された前記テーブルを用いて当該Ｂピクチャの予測符号化方法を示す前記識別子を符号化するとしてもよい。
【００１９】
上記目的を達成するために、本発明の動画像復号化方法は、動画像を符号化して得られる符号列を復号化する動画像復号化方法であって、時間的に前方または後方にある復号化済みの複数のピクチャを参照して予測復号化を行うＢピクチャの復号化において、復号化済みのブロックが持つ動きベクトルを参照して復号化対象ブロックの動き補償を行う直接モードを使用することを可能とする復号化ステップを含み、前記復号化ステップは、前記復号化対象ブロックの属するピクチャから時間的に一方向にある復号化済みのピクチャのみを参照して前記Ｂピクチャの予測復号化を行う場合、前記直接モードとして前記復号化対象ブロックの周辺に位置する同一ピクチャ内の復号化済みブロックの動きベクトルを参照して動き補償を行う動き補償ステップを含むことを特徴とする。
【００２０】
また、本発明の動画像復号化方法は、動画像を符号化して得られる符号列を復号化する動画像復号化方法であって、時間的に前方または後方にある復号化済みの複数のピクチャを参照して予測復号化を行うＢピクチャの復号化において、復号化済みのブロックが持つ動きベクトルを参照して復号化対象ブロックの動き補償を行う直接モードを使用することを可能とする復号化ステップを含み、前記復号化ステップは、前記復号化対象ブロックの属するピクチャから時間的に一方向にある復号化済みのピクチャのみを参照して前記Ｂピクチャの予測復号化を行う場合、前記直接モードとして前記復号化対象ブロックの動きベクトルの値を「０」として、時間的に近い方から順に１つまたは複数のピクチャを参照して動き補償を行うことを特徴とする。
【００２１】
さらに本発明の動画像復号化方法では、前記復号化ステップは、前記Ｂピクチャの予測復号化方法と前記予測復号化方法を識別するための識別子とを対応付けた、予め保持しているテーブルの中から後方を参照する予測復号化方法を除いて、前記テーブルを再生成するテーブル再生成ステップを含み、前記復号化ステップでは、前記符号化列から前記Ｂピクチャの予測復号化方法を識別するための識別子を復号化し、再生成されたテーブルを用いて、当該Ｂピクチャの予測復号化方法を識別し、識別された前記予測復号化方法に従って復号化対象ブロックの予測復号化を行うとしてもよい。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
（実施の形態１）
図１は、実施の形態１の動画像符号化方法を実行する動画像符号化装置１００の構成を示すブロック図である。動画像符号化装置１００は、直接モードによるＢピクチャの符号化時に、符号化対象ピクチャより表示順で前方にあるピクチャのみを参照する場合には、同一ピクチャ内で符号化対象ブロックの周辺にある符号化済みブロックの動きベクトルを参照して符号化対象ブロックの動きベクトルを決定する動画像符号化装置であって、フレームメモリ１０１、予測残差符号化部１０２、符号列生成部１０３、予測残差復号化部１０４、フレームメモリ１０５、動きベクトル検出部１０６、モード選択部１０７、動きベクトル記憶部１０８、後方ピクチャ判定部１０９、差分演算部１１０、加算演算部１１１、スイッチ１１２およびスイッチ１１３を備える。
【００２３】
フレームメモリ１０１、フレームメモリ１０５および動きベクトル記憶部１０８は、ＲＡＭ等によって実現されるメモリであって、フレームメモリ１０１は、表示順で入力される動画像の各ピクチャを符号化順に並べ替えるための記憶領域を提供する。
【００２４】
予測残差符号化部１０２は、差分演算部１１０で求められた予測残差にＤＣＴ変換などの周波数変換を施し、量子化して出力する。符号列生成部１０３は、予測残差符号化部１０２からの符号化結果を可変長符号化した後、出力用の符号化列のフォーマットに変換し、予測符号化方法に関連する情報を記述したヘッダなどの付加情報を付して符号列を生成する。予測残差復号化部１０４は、予測残差符号化部１０２からの符号化結果を可変長復号化し、逆量子化した後、ＩＤＣＴ変換などの逆周波数変換を施して復号化予測残差を生成する。
【００２５】
フレームメモリ１０５は、予測ピクチャをピクチャ単位で保持するための記憶領域を提供する。動きベクトル検出部１０６は、マクロブロックまたはマクロブロックをさらに分割して得られるブロックなどの所定の単位ごとに、動きベクトルを検出する。モード選択部１０７では動きベクトル記憶部１０８に記憶されている符号化済みのピクチャで用いた動きベクトルを参照しつつ最適な予測モードを選択し、動きベクトル検出部１０６によって検出された動きベクトルで示される予測ピクチャ中の各ブロックをフレームメモリ１０５から読み出して差分演算部１１０に出力する。
【００２６】
動きベクトル記憶部１０８は、符号化済みピクチャのブロックごとに検出された動きベクトルを保持するための記憶領域を提供する。後方ピクチャ判定部１０９は、符号化対象ピクチャよりも表示順で後方にあるピクチャが既に符号化されているかどうかを判定する。差分演算部１１０は、符号化対象のマクロブロックと、動きベクトルによって決定された予測画像のマクロブロックとの差分を出力する。
【００２７】
加算演算部１１１は、予測残差復号化部１０４から出力される復号化予測残差と、モード選択部１０７から出力される予測ピクチャのブロックとを加算して、加算結果（予測ピクチャを構成するブロック）をフレームメモリ１０５に格納する。スイッチ１１２は、符号化対象ピクチャのピクチャタイプに応じて切り替えられ、画面内予測符号化を行うＩピクチャではフレームメモリ１０１の読み出し線と予測残差符号化部１０２とを導通させる。これにより、フレームメモリ１０１から読み出された符号化対象ピクチャの各マクロブロックは、直接、予測残差符号化部１０２に入力される。
【００２８】
また、画面間予測符号化を行うＰピクチャおよびＢピクチャでは、差分演算部１１０の出力側と予測残差符号化部１０２とを導通させる。これにより、差分演算部１１０の演算結果が予測残差符号化部１０２に入力される。スイッチ１１３は、符号化対象ピクチャのピクチャタイプに応じて導通と遮断とに切り替えられる。画面内予測符号化を行うＩピクチャでは、モード選択部１０７の出力側と加算演算部１１１の入力側とが遮断され、画面間予測符号化を行うＰピクチャおよびＢピクチャでは、モード選択部１０７の出力側と加算演算部１１１の入力側とが導通される。これにより、画面内予測符号化を行うＩピクチャでは、予測残差復号化部１０４によって復号化された復号化予測残差がフレームメモリ１０５に出力される。
【００２９】
以下、本発明の実施の形態１の動画像符号化方法を図１に示したブロック図を用いて説明する。
符号化対象となる動画像は時間順にピクチャ単位でフレームメモリ１０１に入力される。各々のピクチャはマクロブロックと呼ばれる例えば水平１６画素×垂直１６画素のブロックに分割されブロック単位で以降の処理が行われる。
【００３０】
フレームメモリ１０１から読み出されたマクロブロックは動きベクトル検出部１０６に入力される。動きベクトル検出部１０６では、フレームメモリ１０５に蓄積されている画像（符号化済みのピクチャをさらに復号化して得られた画像）を参照ピクチャとして用いて、符号化対象としているマクロブロックの動きベクトル検出を行う。動きベクトル検出部１０６では、直接モード以外の予測モードにおいて、マクロブロックごとに、もしくはマクロブロックを分割した領域（例えば、１６画素×８画素、８画素×１６画素および８画素×８画素などの大きさに分割した小ブロック）ごとに動きベクトルの検出が行われる。
【００３１】
動きベクトル検出部１０６では、符号化の対象としているマクロブロックに対し、既に符号化済みのピクチャを参照ピクチャとし、そのピクチャ内の探索領域において最も符号化対象ブロックの画素値の構成に近いと予測されるブロックの位置を示す動きベクトルが検出される。モード選択部１０７では、動きベクトル記憶部１０８に記憶されている、符号化済みのピクチャで用いられた動きベクトルを参照しつつ、最適な予測モードを選択する。このとき表示順で後方にあるピクチャが既に符号化されているかどうかを後方ピクチャ判定部１０９において判定する。もし後方のピクチャが符号化されていないと判定された場合、モード選択部１０７は、Ｂピクチャの符号化において、表示順で後方にあるピクチャを参照しない予測モードを選択する。
【００３２】
モード選択部１０７によって選択された予測モードに従って、動きベクトル検出部１０６で検出された動きベクトルのうち最適な動きベクトルが決定され、決定された動きベクトルによって参照される予測ブロックがフレームメモリ１０５から読み出されて差分演算部１１０に入力される。差分演算部１１０では、予測ブロックと符号化対象のマクロブロックとの差分をとることにより予測残差画像が生成される。生成された予測残差画像は予測残差符号化部１０２に入力され、予測残差符号化部１０２内で周波数変換および量子化が施される。以上の処理の流れはピクチャ間予測符号化が選択された場合の動作であったが、スイッチ１１２によってピクチャ内予測符号化との切り替えがなされる。最後に符号列生成部１０３によって、動きベクトル等の制御情報および予測残差符号化部１０２から出力される画像情報等に対し可変長符号化が施され、最終的に出力される符号列が生成される。
【００３３】
以上符号化の流れの概要を示したが、以下では、モード選択部１０７における直接モードでの処理の詳細について説明する。ただし、ここでは後方ピクチャ判定部１０９において後方のピクチャが符号化されていないと判定された場合について説明する。図２は、符号化対象ブロックが属するピクチャから表示順で後方にあるピクチャを参照することが出来ない場合の各ピクチャの参照関係の一例を示す図である。図のように、ピクチャの表示順シーケンスに含まれる全てのＢピクチャは表示順で前方にある１枚もしくは複数の符号化済みピクチャを参照して予測符号化を行っている。例えば、いずれもＢピクチャであるピクチャＢ８２とピクチャＢ８３とは、表示順で前方にある符号化済みピクチャがピクチャＰ８１のみであるので、それぞれ、ピクチャＰ８１だけを参照し動き補償を行う。
【００３４】
また、いずれもＢピクチャであるピクチャＢ８５とピクチャＢ８６とについては、ピクチャＢ８５は表示順で前方にある２枚の符号化済みピクチャ（ピクチャＰ８１とピクチャＰ８４）を参照するが、例えば、ピクチャＢ８６は表示順で時間的に遠いピクチャＰ８１を参照せず、表示順で時間的により近いピクチャＰ８４のみを参照して動き補償を行っている。このような場合、各Ｂピクチャの動きベクトルは、すべて、符号化対象ピクチャよりも表示順で前方にある符号化済みピクチャを参照している。
【００３５】
本実施の形態では、表示順で後方のピクチャが符号化されていない環境下において、Ｂピクチャの予測符号化を行う際にモード選択部１０７によって直接モードが選択された場合、従来のように、表示順で符号化対象ピクチャの直後のピクチャに属する符号化済みブロックの動きベクトルを参照して符号化対象ブロックの動きベクトルを生成する（以下、「時間的予測」という）代わりに、同一ピクチャ内で符号化対象ブロックの周辺に位置する符号化済みブロックの動きベクトルを参照して符号化対象ブロックの動きベクトルを生成する（以下、「空間的予測」という）ことによって直接モードを実現する。
【００３６】
図３は、直接モードが選択された場合のモード選択部１０７の動作の一例を示すフローチャートである。モード選択部１０７は、直接モードが選択された場合、まず、後方ピクチャ判定部１０９に符号化対象ピクチャよりも表示順で後方にあるピクチャが符号化済みであるか否かを判定させ（Ｓ５０１）、判定の結果、表示順で後方にあるピクチャが符号化済みであれば、従来のように、時間的予測を用いて符号化対象ブロックの予測符号化を行う（Ｓ５０２）。そして、モード選択部１０７は、当該符号化対象ブロックの処理を終了し、次の符号化対象ブロックの処理にうつる。
【００３７】
また、ステップＳ５０１における判定の結果、表示順で後方にあるピクチャが符号化されていなければ、上記の空間的予測を用いて符号化対象ブロックの予測符号化を行う（Ｓ５０３）。さらに、モード選択部１０７は、上記の空間的予測を行ったことを示すフラグｓｐａｔｉａｌ＿ｆｌａｇの値を「１」にセットし、符号列生成部１０３に出力する（Ｓ５０４）。その後、モード選択部１０７は、当該符号化対象ブロックの処理を終了し、次の符号化対象ブロックの処理にうつる。
【００３８】
以下では、図３のステップＳ５０３において行われる空間的予測の具体的方法について説明する。
図１９を用いて説明したスキップモードの例は、参照される符号化済みブロックが１つずつの動きベクトルを持っている場合についてのものであった。しかし、Ｂピクチャの予測モードの中には、図２に示したように、表示順で前方にある２枚のピクチャを同時に参照して動き補償を行うものも含まれている。そのようなモードの場合は１つのブロックが２つの動きベクトルを持っていることになる。図４は、動きベクトルを参照される符号化済みブロックに２つの動きベクトルを持つブロックが含まれている場合の動きベクトルの参照関係の一例を示す図である。ピクチャＰ９４が現在符号化を行っているピクチャであり、ブロックＢＬ５１が直接モードによる予測符号化を行うブロックである。
【００３９】
まず、第１の方法として、モード選択部１０７は、直接モードによる予測符号化を行うブロックＢＬ５１が図１８（ａ）および図１８（ｂ）に示したいずれの場合も、ブロックＢＬ５１（またはブロックＢＬ５２）に対して基本的にＡ、Ｂ、Ｃの位置にあるブロックの動きベクトルを参照する。ただし、下記の条件に従って参照が変更される。
【００４０】
１、ブロックＣが参照不可の場合は、Ａ、Ｂ、Ｄの位置にあるブロックを参照する。
２、Ａ、Ｂ、ＣまたはＡ、Ｂ、Ｄの位置にある３つのブロックにおいて、動きベクトルを参照できないブロックがあれば、そのブロックを動きベクトルの参照の対象から除く。
【００４１】
モード選択部１０７は、参照の対象となったＡ、Ｂ、Ｃ（またはＡ、Ｂ、Ｄ）の３つのブロックが持つ動きベクトルのうちで、動きベクトルによって参照されるピクチャと符号化対象ピクチャとの表示順での遠近を比較する。比較されたうちで、符号化対象ピクチャから表示順で最も近い位置にあるピクチャを参照している動きベクトルを取り出す。取り出された動きベクトルが複数ある場合には、それらの中央値もしくは平均値を取る。例えば、取り出された動きベクトルが奇数個ある場合には中央値、偶数個ある場合には平均値をとるとしてもよい。これによって得られた動きベクトルを、表示順で符号化対象ピクチャよりも前方にあるピクチャのみを参照して動き補償する場合に、直接モードが選択されたときの符号化対象ブロックの動きベクトルとする。また、Ａ、Ｂ、Ｃ（またはＡ、Ｂ、Ｄ）の全てのブロックが参照できない場合は、符号化対象ブロックの動きベクトルを０とし、参照するピクチャを直前のピクチャとして直接モードによる予測符号化を行う。
【００４２】
図５は、図１に示したモード選択部１０７が第１の方法を用いて符号化対象ブロックの空間的予測を行う場合の処理手順の一例を示すフローチャートである。以下では、図４に示した符号化対象ブロックＢＬ５１を例として説明する。まず、モード選択部１０７は、符号化対象ブロックＢＬ５１に対してＣの位置にあるブロックが参照可能であるか否かを調べる（Ｓ６０１）。図４においてＣの位置にあるブロックはピクチャＰ９３を参照する動きベクトルＭＶＣ１とピクチャＰ９２を参照する動きベクトルＭＶＣ２とを持っている。従って、モード選択部１０７は、Ａ、Ｂ、Ｃの位置にあるブロックの動きベクトルを参照する（Ｓ６０２）。
【００４３】
Ａの位置にあるブロックは、ピクチャＰ９３を参照する動きベクトルＭＶＡ１を持ち、Ｂの位置にあるブロックはピクチャＰ９３を参照する動きベクトルＭＶＢ１とピクチャＰ９１を参照する動きベクトルＭＶＢ３を持っている。ステップＳ６０１において、Ｃの位置にあるブロックが、符号化対象ピクチャＰ９４の外にあったり、または符号化対象ブロックＢＬ５１が属するスライスの外にあったり、または画面内予測などの符号化を行ったために動きベクトルを持っていない場合には、Ｃの位置にあるブロックの代わりに、図１８（ａ）および図１８（ｂ）に示したＤの位置にあるブロックの動きベクトルを参照する（Ｓ６０３）。すなわち、Ａ、Ｂ、Ｄの位置にある３つのブロックを参照する。
【００４４】
次いで、モード選択部１０７は、参照された３つのブロック（Ａ、Ｂ、ＣまたはＡ、Ｂ、Ｄ）のうち、符号化対象ピクチャＰ９４の外にあったり、または符号化対象ブロックＢＬ５１が属するスライスの外にあったり、または画面内予測などの符号化を行ったために動きベクトルを持っていない場合には、そのブロックを参照の候補から除いて、符号化対象ブロックの動きベクトルの計算を行う（Ｓ６０４）。
【００４５】
また、３つのブロック（Ａ、Ｂ、ＣまたはＡ、Ｂ、Ｄ）のうち、全てのブロックを参照できない場合は、符号化対象ブロックの動きベクトルを「０」とし、符号化対象ピクチャの直前のピクチャを参照する。モード選択部１０７は、参照されたこれらの動きベクトルの中から、符号化対象ピクチャに表示順で最も近いピクチャを参照するもののみを取り出すと、ピクチャＰ９３を参照する動きベクトルＭＶＡ１、動きベクトルＭＶＢ１および動きベクトルＭＶＣ１が得られる。モード選択部１０７は、さらに、これらの中央値もしくは平均値を取る。例えば、ここでは３個の動きベクトルが得られたので中央値を取る。これにより、ブロックＢＬ５１の動き補償を行うための１つの動きベクトルＭＶ１を決定することができる。
【００４６】
図６は、図１に示した符号列生成部１０３で生成される符号列のスライスごとのデータ構造の一例を示す図である。各ピクチャの符号列は、複数のスライスデータから構成され、各スライスデータは複数のマクロブロックデータから構成されている。同図に示すように、符号列中の各スライスデータには、それぞれスライスヘッダが付加されており、スライスヘッダにはスライスに関する情報などが書き込まれる。スライスに関する情報には、例えば、スライスの属するフレームの番号、および上記の直接モードの符号化方法の種類を示すフラグｓｐａｔｉａｌ＿ｆｌａｇなどが記述される。
【００４７】
以上のように上記実施の形態では、表示順で後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測符号化する際に表示順で後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、高い符号化効率を実現する符号化方法を示した。
【００４８】
なお上記第１の方法では、参照された動きベクトルのうちで符号化対象ピクチャに表示順で一番近いピクチャを参照するものを取り出したが、参照された動きベクトルの中から符号化対象ピクチャの直前のピクチャを参照するもののみを取り出すとしてもよい。図４に示した例の場合、参照された動きベクトルに参照されるピクチャのうち、符号化対象ピクチャに表示順で最も近いピクチャは、符号化対象ピクチャの直前のピクチャであるので、得られる動きベクトルは同じである。もし、表示順で一番近いピクチャを参照する動きベクトルが１つも無かった場合は、符号化対象ブロックの動きベクトルを「０」として直接モードによる符号化を行う。
【００４９】
また上記第１の方法では、直接モードにおいて用いる動きベクトルを決定する際に、周辺の符号化済みブロックが参照するピクチャの中から表示順で符号化対象ピクチャから最も手前にあるピクチャを参照している動きベクトルだけを取り出して最終的に１個の動きベクトルを算出したが、その代わりに、第２の方法として、表示順で符号化対象ピクチャの手前からＮ枚のピクチャを参照する動きベクトルを取り出し、参照しているピクチャごとに１つずつの動きベクトルを決定し、得られたＮ個の動きベクトルを直接モードでの予測符号化に用いる動きベクトルとして前方向のみを参照する動き補償を行うことも可能である。このとき予測画像はＮ個の動きベクトルによって指定されたＮ個の領域の画素値の平均を算出することによって生成される。
【００５０】
なお、単純な平均ではなく、各領域の画素値に重みを付けて平均をとる方法によって予測画像を生成することも可能である。この方法を用いることにより、表示順で画素値が序々に変化するような画像列に対してより精度の高い動き補償を実現することが可能となる。
【００５１】
図７は、表示順で符号化対象ピクチャの手前から２枚のピクチャを参照する動きベクトルを取り出して２個の動きベクトルを算出する場合の動きベクトル参照方法の一例を表した図である。ピクチャＰ１０４が現在符号化を行っているピクチャであり、ＢＬ５１が直接モードによる予測符号化を行うブロックである。参照の対象となる複数の動きベクトルが参照しているピクチャの中で表示順で最も手前にあるピクチャＰ１０３を参照している動きベクトルＭＶＡ１、動きベクトルＭＶＢ１および動きベクトルＭＶＣ１を用いてその中央値もしくは平均値を取ることにより動きベクトルＭＶ１が決定され、さらに表示順で２つ前にあるピクチャＰ１０２を参照している動きベクトルの中央値もしくは平均値、つまりＭＶＣ２そのものを取ることにより動きベクトルＭＶ２が決定され、これら２つの動きベクトルを用いて直接モードによる符号化がなされる。
【００５２】
なお、図１８（ａ）および図１８（ｂ）において参照されるブロックの動きベクトルの中から表示順で手前から１枚もしくはＮ枚のピクチャを参照するもののみを使用するという方法の代わりに、指定されたピクチャを参照する動きベクトルのみを取り出して直接モードにおいて使用される符号化対象ブロックの動きベクトルの値を決定し、前記指定されたピクチャから動き補償を行うということも可能である。
【００５３】
なお、直接モードを用いて符号化を行う際に、図１８（ａ）および図１８（ｂ）のような位置関係にある符号化済みのブロックを参照して動き補償を行う代わりに、符号化対象ブロックの動きベクトルの値を「０」、参照するピクチャを直前のピクチャとして直接モードによる動き補償を行うことも可能である。この方法を用いると、直接モードに使用する動きベクトルを算出するステップを行う必要がなくなるため、符号化処理の単純化を図ることが出来る。
【００５４】
なお、このとき直接モードにおいて時間的予測を行うか空間的予測を行うかを示すｓｐａｔｉａｌ＿ｆｌａｇの代わりに、符号化済みのブロックを参照せずに符号化対象ブロックの動きベクトルの値を「０」として動き補償を行うことを示すフラグをスライスヘッダに記述してもよい。
【００５５】
なお、上記の方法では、３つのブロックを参照して得られた動きベクトルのうちから、それらが参照しているピクチャの中で符号化対象ピクチャに表示順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしたが、本発明はこれに限定されない。例えば、符号化対象ピクチャに符号化順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしてもよい。
【００５６】
（実施の形態２）
本発明の実施の形態２の動画像復号化方法を図８に示したブロック図を用いて説明する。ただし、本動画像復号化方法では、実施の形態１の動画像符号化方法で生成された符号列を復号化するものとする。
【００５７】
図８は、本実施の形態の動画像復号化装置２００の構成を示すブロック図である。動画像復号化装置２００は、直接モードで符号化された復号化対象ブロックに対し、直接モードによる復号化の方法を示すフラグが「１」のとき空間的予測を用いて復号化を行う動画像復号化装置であって、符号列解析部２０１、予測残差復号化部２０２、フレームメモリ２０３、動き補償復号部２０４、動きベクトル記憶部２０５、後方ピクチャ判定部２０６、加算演算部２０７およびスイッチ２０８を備える。
【００５８】
符号列解析部２０１は、入力された符号列を解析し、符号列から予測残差符号化データ、動きベクトル情報および予測モードなどの情報を抽出し、抽出された動きベクトル情報および予測モードなどの情報を動き補償復号部２０４に、予測残差符号化データを予測残差復号化部２０２にそれぞれ出力する。予測残差復号化部２０２は、抽出された予測残差符号化データに可変長復号化、逆量子化および逆周波数変換などを施し、予測残差画像を生成する。
【００５９】
フレームメモリ２０３は、復号化された画像をピクチャ単位で格納し、格納しているピクチャを表示順に外部のモニタなどに出力画像として出力する。動き補償復号部２０４は、予測モードの復号化と、その予測モードで用いる動きベクトルの復号化とを行い、フレームメモリ２０３に蓄積されている復号化画像を参照ピクチャとし、入力された動きベクトル情報に基づいて復号化対象ブロックに対する予測画像を生成する。動きベクトルの復号化の際には、動きベクトル記憶部６０５に記憶されている復号化済みの動きベクトルを利用する。
【００６０】
動きベクトル記憶部２０５は、動き補償復号部２０４において復号化された動きベクトルを格納する。後方ピクチャ判定部２０６は、動き補償復号部２０４による予測画像の生成時に、復号化対象ピクチャよりも表示順で後方にあるピクチャが復号化されているか否かを判定する。なお、後方ピクチャ判定部２０６は、実施の形態４で用いられるが、本実施の形態では不要である。加算演算部２０７は、予測残差復号化部２０２で復号化された予測残差画像と、動き補償復号部２０４で生成された予測画像とを加算し、復号化対象ブロックの復号化画像を生成する。
【００６１】
まず入力された符号列から符号列解析部２０１によって動きベクトル情報および予測残差符号化データ等の各種の情報が抽出される。ここで抽出された動きベクトル情報は動き補償復号部２０４に、予測残差符号化データは予測残差復号化部２０２にそれぞれ出力される。動き補償復号部２０４では、フレームメモリ２０３に蓄積されている復号化済みのピクチャの復号化画像を参照ピクチャとし、復号化された動きベクトルに基づいて予測画像を生成する。
【００６２】
このようにして生成された予測画像は加算演算部２０７に入力され、予測残差復号化部２０２において生成された予測残差画像との加算を行うことにより復号化画像が生成される。予測方向が制限されていない場合は、生成された復号化画像はフレームメモリ２０３において表示される順にピクチャの並び替えを行うが、表示順で後方にあるピクチャを参照することが出来ない場合は、並び替えを行うことなく復号化された順に表示することが可能となる。以上の実施の形態はピクチャ間予測符号化がなされている符号列に対する動作であったが、スイッチ２０８によってピクチャ内予測符号化がなされている符号列に対する復号化処理との切り替えがなされる。
【００６３】
以上復号化の流れの概要を示したが、動き補償復号部２０４における処理の詳細について以下で説明する。
図９は、図８に示した動き補償復号部２０４における直接モードによる復号化の処理手順を示すフローチャートである。
【００６４】
予測モードおよび動きベクトル情報はマクロブロックごともしくはマクロブロックを分割したブロックごとに付加されている。これらの情報は、符号列のスライスデータ領域の中に、スライス中のマクロブロックの順に記述されている。前記予測モードＭｏｄｅが直接モードを示している場合、動き補償復号部２０４は、スライスヘッダに復号化されるフラグｓｐａｔｉａｌ＿ｆｌａｇに「０」がセットされているか「１」がセットされているかを調べる（Ｓ９０１）。後方のピクチャが復号化されていないときには、フラグｓｐａｔｉａｌ＿ｆｌａｇに「１」がセットされており、空間的予測を用いて復号化を行うことが指示されている。
【００６５】
フラグｓｐａｔｉａｌ＿ｆｌａｇに「１」がセットされている場合には、動き補償復号部２０４は、直接モードの空間的予測を用いて復号化対象ブロックの予測画像を作成し（Ｓ９０２）、「０」がセットされている場合には、動き補償復号部２０４は、直接モードの時間的予測を用いて復号化対象ブロックの予測画像を作成する（Ｓ９０３）。スライスヘッダ中の予測モードＭｏｄｅが直接モード以外の予測モードを示している場合、動き補償復号部２０４は、復号化の対象としているマクロブロックに対して、既に復号化済みのピクチャを参照ピクチャとし、復号化された動きベクトルによってその参照ピクチャ内のブロックを特定し、特定されたブロックから動き補償を行うための予測画像切り出して、予測画像を作成する。
【００６６】
以下では、図９のステップＳ９０２において行われる空間的予測の具体的方法について説明する。
図１９を用いて説明したスキップモードの例は、参照される復号化済みブロックが１つずつの動きベクトルを持っている場合についてのものであった。しかし、Ｂピクチャの予測モードの中には、図２に示したように、表示順で前方にある２枚のピクチャを同時に参照して動き補償を行うものも含まれている。そのようなモードの場合は１つのブロックが２つの動きベクトルを持っていることになる。
【００６７】
図４は、動きベクトルを参照される復号化済みブロックに２つの動きベクトルを持つブロックが含まれている場合の動きベクトルの参照関係の一例を示している。ピクチャＰ９４が現在復号化を行っているピクチャであり、ブロックＢＬ５１が直接モードによる予測復号化を行うブロックである。
【００６８】
まず、第１の方法として、動き補償復号部２０４は、直接モードによる予測復号化を行うブロックＢＬ５１が図１８（ａ）および図１８（ｂ）に示したいずれの場合も、ブロックＢＬ５１（またはブロックＢＬ５２）に対して基本的にＡ、Ｂ、Ｃの位置にあるブロックの動きベクトルを参照する。ただし、下記の条件に従って参照が変更される。
【００６９】
１、ブロックＣが参照不可の場合は、Ａ、Ｂ、Ｄの位置にあるブロックを参照する。
２、Ａ、Ｂ、ＣまたはＡ、Ｂ、Ｄの位置にある３つのブロックにおいて、動きベクトルを参照できないブロックがあれば、そのブロックを動きベクトルの参照の対象から除く。
【００７０】
動き補償復号部２０４は、参照の対象となったＡ、Ｂ、Ｃ（またはＡ、Ｂ、Ｄ）の３つのブロックが持つ動きベクトルのうちで、動きベクトルによって参照されるピクチャと復号化対象ピクチャとの表示順での遠近を比較する。比較されたうちで、復号化対象ピクチャから表示順で最も近い位置にあるピクチャを参照している動きベクトルを取り出す。取り出された動きベクトルが複数ある場合には、それらの中央値もしくは平均値を取る。例えば、取り出された動きベクトルが奇数個ある場合には中央値、偶数個ある場合には平均値をとるとしてもよい。
【００７１】
これによって得られた動きベクトルを、表示順で復号化対象ピクチャよりも前方にあるピクチャのみを参照して動き補償する場合に、直接モードが選択されたときの復号化対象ブロックの動きベクトルとする。また、Ａ、Ｂ、Ｃ（またはＡ、Ｂ、Ｄ）の全てのブロックが参照できない場合は、復号化対象ブロックの動きベクトルを０とし、参照するピクチャを直前のピクチャとして直接モードによる予測復号化を行う。
【００７２】
図５のフローチャートは、図８に示した動き補償復号部２０４が第１の方法を用いて復号化対象ブロックの空間的予測を行う場合の処理手順の一例を示している。以下では、図４に示した復号化対象ブロックＢＬ５１を例として説明する。
【００７３】
まず、動き補償復号部２０４は、復号化対象ブロックＢＬ５１に対してＣの位置にあるブロックが参照可能であるか否かを調べる（Ｓ６０１）。図４においてＣの位置にあるブロックはピクチャＰ９３を参照する動きベクトルＭＶＣ１とピクチャＰ９２を参照する動きベクトルＭＶＣ２とを持っている。従って、動き補償復号部２０４は、Ａ、Ｂ、Ｃの位置にあるブロックの動きベクトルを参照する（Ｓ６０２）。
【００７４】
Ａの位置にあるブロックは、ピクチャＰ９３を参照する動きベクトルＭＶＡ１を持ち、Ｂの位置にあるブロックはピクチャＰ９３を参照する動きベクトルＭＶＢ１とピクチャＰ９１を参照する動きベクトルＭＶＢ３を持っている。ステップＳ６０１において、Ｃの位置にあるブロックが、復号化対象ピクチャＰ９４の外にあったり、または復号化対象ブロックＢＬ５１が属するスライスの外にあったり、または画面内予測などの復号化を行ったために動きベクトルを持っていない場合には、Ｃの位置にあるブロックの代わりに、図１８（ａ）および図１８（ｂ）に示したＤの位置にあるブロックの動きベクトルを参照する（Ｓ６０３）。すなわち、Ａ、Ｂ、Ｄの位置にある３つのブロックを参照する。
【００７５】
次いで、動き補償復号部２０４は、参照された３つのブロック（Ａ、Ｂ、ＣまたはＡ、Ｂ、Ｄ）のうち、復号化対象ピクチャＰ９４の外にあったり、または復号化対象ブロックＢＬ５１が属するスライスの外にあったり、または画面内予測などの復号化を行ったために動きベクトルを持っていない場合には、そのブロックを参照の候補から除いて、復号化対象ブロックの動きベクトルの計算を行う（Ｓ６０４）。
【００７６】
また、３つのブロック（Ａ、Ｂ、ＣまたはＡ、Ｂ、Ｄ）のうち、全てのブロックを参照できない場合は、復号化対象ブロックの動きベクトルを「０」とし、復号化対象ピクチャの直前のピクチャを参照する。動き補償復号部２０４は、参照されたこれらの動きベクトルの中から、復号化対象ピクチャに表示順で最も近いピクチャを参照するもののみを取り出すと、ピクチャＰ９３を参照する動きベクトルＭＶＡ１、動きベクトルＭＶＢ１および動きベクトルＭＶＣ１が得られる。動き補償復号部２０４は、さらに、これらの中央値もしくは平均値を取る。例えば、ここでは３個の動きベクトルが得られたので中央値を取る。これにより、ブロックＢＬ５１の動き補償を行うための１つの動きベクトルＭＶ１を決定することができる。
【００７７】
以上のように上記実施の形態では、表示順で後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測復号化する際に表示順で後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、高い符号化効率を実現する復号化方法を示した。
【００７８】
なお上記第１の方法では、参照された動きベクトルのうちで復号化対象ピクチャに表示順で一番近いピクチャを参照するものを取り出したが、参照された動きベクトルの中から復号化対象ピクチャの直前のピクチャを参照するもののみを取り出すとしてもよい。図４に示した例の場合、参照された動きベクトルに参照されるピクチャのうち、復号化対象ピクチャに表示順で最も近いピクチャは、復号化対象ピクチャの直前のピクチャであるので、得られる動きベクトルは同じである。もし、表示順で一番近いピクチャを参照する動きベクトルが１つも無かった場合は、復号化対象ブロックの動きベクトルを「０」として直接モードによる復号化を行う。
【００７９】
また上記第１の方法では、直接モードにおいて用いる動きベクトルを決定する際に、周辺の復号化済みブロックが参照するピクチャの中から表示順で復号化対象ピクチャから最も手前にあるピクチャを参照している動きベクトルだけを取り出して最終的に１個の動きベクトルを算出したが、その代わりに、第２の方法として、表示順で復号化対象ピクチャの手前からＮ枚のピクチャを参照する動きベクトルを取り出し、参照しているピクチャごとに１つずつの動きベクトルを決定し、得られたＮ個の動きベクトルを直接モードでの予測復号化に用いる動きベクトルとして前方向のみを参照する動き補償を行うことも可能である。このとき予測画像はＮ個の動きベクトルによって指定されたＮ個の領域の画素値の平均を算出することによって生成される。
【００８０】
なお、単純な平均ではなく、各領域の画素値に重みを付けて平均をとる方法によって予測画像を生成することも可能である。この方法を用いることにより、表示順で画素値が序々に変化するような画像列に対してより精度の高い動き補償を実現することが可能となる。
【００８１】
図７は、表示順で復号化対象ピクチャの手前から２枚のピクチャを参照する動きベクトルを取り出して２個の動きベクトルを算出する場合の動きベクトル参照方法の一例を表している。ピクチャＰ１０４が現在復号化を行っているピクチャであり、ＢＬ５１が直接モードによる予測復号化を行うブロックである。参照の対象となる複数の動きベクトルが参照しているピクチャの中で表示順で最も手前にあるピクチャＰ１０３を参照している動きベクトルＭＶＡ１、動きベクトルＭＶＢ１および動きベクトルＭＶＣ１を用いてその中央値もしくは平均値を取ることにより動きベクトルＭＶ１が決定され、さらに表示順で２つ前にあるピクチャＰ１０２を参照している動きベクトルの中央値もしくは平均値、つまりＭＶＣ２そのものを取ることにより動きベクトルＭＶ２が決定され、これら２つの動きベクトルを用いて直接モードによる復号化がなされる。
【００８２】
なお、図１８（ａ）および図１８（ｂ）において参照されるブロックの動きベクトルの中から表示順で手前から１枚もしくはＮ枚のピクチャを参照するもののみを使用するという方法の代わりに、指定されたピクチャを参照する動きベクトルのみを取り出して直接モードにおいて使用される復号化対象ブロックの動きベクトルの値を決定し、前記指定されたピクチャから動き補償を行うということも可能である。
【００８３】
なお、直接モードを用いて復号化を行う際に、図１８（ａ）および図１８（ｂ）のような位置関係にある符号化済みのブロックを参照して動き補償を行う代わりに、復号化対象ブロックの動きベクトルの値を「０」、参照するピクチャを直前のピクチャとして直接モードによる動き補償を行うことも可能である。この方法を用いると、直接モードに使用する動きベクトルを算出するステップを行う必要がなくなるため、復号化処理の単純化を図ることが出来る。
【００８４】
なお、対応する符号化処理において、直接モードで符号化済みのブロックを参照せずに符号化対象ブロックの動きベクトルの値を「０」として動き補償を行うことを示すフラグが符号化されていた場合は、前記フラグの値を解釈することにより前記動作に切り替えて直接モードによる動き予測を行うことができる。
【００８５】
なお、上記の方法では、３つのブロックを参照して得られた動きベクトルのうちから、それらが参照しているピクチャの中で復号化対象ピクチャに表示順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしたが、本発明はこれに限定されない。例えば、復号化対象ピクチャに復号化順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしてもよい。
【００８６】
（実施の形態３）
本発明の実施の形態３の動画像符号化方法を図１に示したブロック図を用いて説明する。
符号化対象となる動画像は時間順にピクチャ単位でフレームメモリ１０１に入力される。各々のピクチャはマクロブロックと呼ばれる例えば水平１６×垂直１６画素のブロックに分割されブロック単位で以降の処理が行われる。
【００８７】
フレームメモリ１０１から読み出されたマクロブロックは動きベクトル検出部１０６に入力される。ここではフレームメモリ１０５に蓄積されている符号化済みのピクチャを復号化した画像を参照ピクチャとして用いて、符号化対象としているマクロブロックの動きベクトル検出を行う。
【００８８】
モード選択部１０７では動きベクトル記憶部１０８に記憶されている符号化済みのピクチャで用いた動きベクトルを参照しつつ最適な予測モードを決定する。このとき表示順で後方にあるピクチャが既に符号化されているかどうかを後方ピクチャ判定部１０９において判定し、もし後方のピクチャが符号化されていないと判定された場合は、Ｂピクチャの符号化において表示順で後方にあるピクチャを参照する予測モードは選択されないように制限される。
【００８９】
図１０はＢピクチャにおける予測モードを識別するためのコードと符号化モードとを対応付けるテーブルの例を示したものである。予測方向が制限されていない場合は図１０（ａ）のように全ての参照パターンを示すテーブルを用いるが、予測方向が前方のみに制限されている場合は図１０（ｂ）のように後方を参照するパターンを全て除いたテーブルに作り直してそれを参照する。これにより、予測モードを識別するための符号に必要とされるビット量を削減することが可能となる。なお、図１０（ａ）および図１０（ｂ）のテーブルにおける各項目は、これ以外の値を用いた場合も同様に扱うことができる。
【００９０】
図２は表示順で後方のピクチャを参照することが出来ない場合の各ピクチャの参照関係を示したものである。シーケンスに含まれる全てのＢピクチャは表示順で前方にある１枚もしくは複数の符号化済みピクチャを参照して予測符号化を行っている。
【００９１】
得られた動きベクトルによって決定された予測画像が差分演算部１１０に入力され、符号化対象のマクロブロックとの差分をとることにより予測残差画像が生成され、予測残差符号化部１０２において符号化が行われる。以上の処理の流れはピクチャ間予測符号化が選択された場合の動作であったが、スイッチ１１２によってピクチャ内予測符号化との切り替えがなされる。最後に符号列生成部１０３によって、動きベクトル等の制御情報および予測残差符号化部１０２から出力される画像情報等に対し可変長符号化を施し、最終的に出力される符号列が生成される。
【００９２】
以上符号化の流れの概要を示したが、動きベクトル検出部１０６およびモード選択部１０７における処理の詳細について以下で説明する。ただし、ここでは後方ピクチャ判定部１０９において後方のピクチャが符号化されていないと判定された場合を考える。
【００９３】
動きベクトルの検出はマクロブロックごともしくはマクロブロックを分割した領域ごとに行われる。符号化の対象としているマクロブロックは既に符号化済みのピクチャを参照ピクチャとし、そのピクチャ内の探索領域において最適と予測される位置を示す動きベクトルおよび予測モードを決定することにより予測画像を作成する。
【００９４】
表示順で後方のピクチャが符号化されていない環境下において、Ｂピクチャの予測符号化を行う際にモード選択部１０７によって直接モードが選択された場合、従来の技術で述べた表示順で直後のピクチャを参照して動きベクトルとして用いる代わりに、符号化対象のブロックの周辺に位置する符号化済みブロックの動きベクトルを参照することによって直接モードを実現する。
【００９５】
まず、符号化対象ブロックの周辺に位置する符号化済みブロックがそれぞれ１つの動きベクトルを持っている場合について説明する。図１８は参照するブロックの位置関係を表したものである。図１８（ａ）は直接モードでの符号化を行うブロックＢＬ５１が１６画素×１６画素のサイズであった場合の例であり、図１８（ｂ）は直接モードでの符号化を行うブロックＢＬ５２が８画素×８画素のサイズであった場合の例である。いずれの場合も基本的にＡ、Ｂ、Ｃの位置関係にある３つのブロックの動きベクトルを参照する。ただし、下記の条件の場合は参照を行わず、符号化対象ブロックの動きベクトルの値を「０」として直前のピクチャを参照して直接モードによる動き補償を行う。
【００９６】
１、ＡもしくはＢがピクチャの外部もしくはスライスの外部であった場合。
２、ＡもしくはＢが直前のピクチャを参照する値「０」の動きベクトルを持つ場合。
参照の対象となったＡ、Ｂ、Ｃの３つのブロックが持つ動きベクトルの中から直前のピクチャを参照するもののみを取り出し、その中央値もしくは平均値を取ることによって実際に直接モードにおいて使用する動きベクトルとする。ただし、ブロックＣが参照不可の場合は代わりにブロックＤを用いるものとする。
【００９７】
図１９はそのときの動きベクトルの参照関係の例を示したものである。ピクチャＰ６４に属するブロックＢＬ５１を現在符号化しているブロックとする。この例では直前のピクチャを参照する動きベクトルはＭＶＡ１のみとなり、直接モードにおいて用いられる動きベクトルＭＶ１はＭＶＡ１の値をそのまま使用することになる。なお、参照するブロックの位置関係は図１８（ａ）および図１８（ｂ）で示したＡ、Ｂ、Ｃ，Ｄ以外の場所を用いた場合も同様である。
【００９８】
図１９の例は参照される符号化済みブロックが１つずつの動きベクトルを持っている場合についてのものであった。しかし、Ｂピクチャの予測モードの中には表示順で前方にある２枚のピクチャを同時に参照して動き補償を行うものも含まれている。そのようなモードの場合は１つのブロックが２つの動きベクトルを持っていることになる。
【００９９】
以下では、符号化対象ブロックの周辺に位置する符号化済みブロックに２つの動きベクトルを持つブロックが含まれている場合について説明する。図４は、符号化対象ブロックの周辺に位置する符号化済みブロックに２つの動きベクトルを持つブロックが含まれている場合の動きベクトルの参照関係の例を表した図である。ピクチャＰ９４が現在符号化を行っているピクチャであり、ブロックＢＬ５１が直接モードによる予測符号化を行うブロックである。参照の対象となるブロックの持つ全ての動きベクトルが参照しているピクチャの中で、表示順で最も直前にあるピクチャであるピクチャＰ９３を参照している動きベクトルＭＶＡ１、ＭＶＢ１およびＭＶＣ１を用いてその中央値もしくは平均値を取ることにより、直接モードでの予測符号化に用いる動きベクトルＭＶ１が決定され前方向のみを参照する動き補償を行う。
【０１００】
以上のように上記実施の形態では、表示順で後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測符号化する際に表示順で後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、さらに、符号化モードのテーブルから後方のピクチャを参照する項目を除くことによりテーブルの項目数を少なくすることが可能となり、高い符号化効率を実現する符号化方法を示した。
【０１０１】
なお、直接モードにおいて用いる動きベクトルを決定する際に、周辺の符号化済みブロックが参照するピクチャの中から最も表示順で手前にあるピクチャを参照している動きベクトルだけを取り出して１個の動きベクトルを算出する代わりに、手前からＮ枚のピクチャを参照する動きベクトルを取り出し、参照しているピクチャごとに１つずつの動きベクトルを決定し、得られたＮ個の動きベクトルを直接モードでの予測符号化に用いる動きベクトルとして前方向のみを参照する動き補償を行うことも可能である。このとき予測画像はＮ個の動きベクトルによって指定されたＮ個の領域の画素値の平均を算出することによって生成される。
【０１０２】
なお、単純な平均ではなく、各領域の画素値に重みを付けて平均をとる方法によって予測画像を生成することも可能である。この方法を用いることにより、表示順で画素値が序々に変化するような画像列に対してより精度の高い動き補償を実現することが可能となる。
【０１０３】
図７は上記のケースにおけるＮ＝２のときの動きベクトル参照方法の例を表したものである。Ｐ１０４が現在符号化を行っているピクチャであり、ＢＬ５１が直接モードによる予測符号化を行うブロックである。参照の対象となる複数の動きベクトルが参照しているピクチャの中で表示順で最も手前にあるピクチャＰ１０３を参照している動きベクトルＭＶＡ１およびＭＶＢ１およびＭＶＣ１を用いてその中央値もしくは平均値を取ることにより動きベクトルＭＶ１が決定され、さらに表示順で２つ前にあるピクチャＰ１０２を参照している動きベクトルの中央値もしくは平均値、つまりＭＶＣ２そのものを取ることにより動きベクトルＭＶ２が決定され、これら２つの動きベクトルを用いて直接モードによる符号化がなされる。
【０１０４】
なお、図１８（ａ）および図１８（ｂ）において動きベクトルを参照されるブロックを決定する方法として、前記実施の形態で述べた方法の代わりに、下記の条件を用いることも可能である。
１、ＡおよびＤが参照不可の場合はそれらの動きベクトルを「０」として参照する。
２、ＢおよびＣおよびＤが参照不可の場合はＡのみを参照する。
３、Ｃのみが参照不可の場合はＡ、Ｂ、Ｄを参照する。
４、上記２および３以外の場合はＡ、Ｂ、Ｃを参照する。
【０１０５】
なお、図１８（ａ）および図１８（ｂ）において参照されるブロックの動きベクトルの中から表示順で手前から１枚もしくはＮ枚のピクチャを参照するもののみを使用するという方法の代わりに、指定されたピクチャを参照する動きベクトルのみを取り出して直接モードにおいて使用される符号化対象ブロックの動きベクトルの値を決定し、前記指定されたピクチャから動き補償を行うということも可能である。
【０１０６】
なお、直接モードを用いて符号化を行う際に、図１８（ａ）および図１８（ｂ）のような位置関係にあるブロックを参照して動き補償を行う代わりに、符号化対象ブロックの動きベクトルの値を「０」、参照するピクチャを直前のピクチャとして直接モードによる動き補償を行うことも可能である。この方法を用いると、直接モードに使用する動きベクトルを算出するステップを行う必要がなくなるため、符号化処理の単純化を図ることが出来る。
【０１０７】
なお、上記実施の形態では、３つのブロックを参照して得られた動きベクトルのうちから、それらが参照しているピクチャの中で符号化対象ピクチャに表示順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしたが、本発明はこれに限定されない。例えば、符号化対象ピクチャに符号化順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしてもよい。
【０１０８】
（実施の形態４）
本発明の実施の形態４の動画像復号化方法を図８に示したブロック図を用いて説明する。ただし、実施の形態３の動画像符号化方法で生成された符号列が入力されるものとする。
【０１０９】
まず入力された符号列から符号列解析部２０１によって動きベクトル情報および予測残差符号化データ等の各種の情報が抽出される。ここで抽出された動きベクトル情報は動き補償復号部２０４に、予測残差符号化データは予測残差復号化部２０２にそれぞれ出力される。動き補償復号部２０４ではフレームメモリ２０３に蓄積されている復号化済みのピクチャの復号化画像を参照ピクチャとし、入力された動きベクトル情報に基づいて予測画像を生成する。このとき表示順で後方にあるピクチャが既に符号化されているかどうかを後方ピクチャ判定部２０６において判定し、もし後方のピクチャが符号化されていないと判定された場合は、Ｂピクチャの符号化において表示順で後方にあるピクチャを参照する予測モードは選択されないように制限される。
【０１１０】
図１０はＢピクチャにおける予測モードを識別するためのコードと符号化モードとを対応付けるテーブルの例を示したものである。予測方向が制限されていない場合は図１０（ａ）のように全ての参照パターンを示すテーブルを用いるが、予測方向が前方のみに制限されている場合は図１０（ｂ）のように後方を参照するパターンを全て除いたテーブルに作り直してそれを参照する。なお、図１０（ａ）および図１０（ｂ）のテーブルにおける各項目は、これ以外の値を用いた場合も同様に扱うことができる。
【０１１１】
このようにして生成された予測画像は加算演算部２０７に入力され、予測残差復号化部２０２において生成された予測残差画像との加算を行うことにより復号化画像が生成される。予測方向が制限されていない場合は、生成された復号化画像はフレームメモリ２０３において表示される順にピクチャの並び替えを行うが、表示順で後方にあるピクチャを参照することが出来ない場合は、並び替えを行うことなく復号化された順に表示することが可能となる。以上の実施の形態はピクチャ間予測符号化がなされている符号列に対する動作であったが、スイッチ２０８によってピクチャ内予測符号化がなされている符号列に対する復号化処理との切り替えがなされる。
【０１１２】
以上復号化の流れの概要を示したが、動き補償復号部２０４における処理の詳細について以下で説明する。ただし、ここでは後方ピクチャ判定部２０６において後方のピクチャが復号化されていないと判定された場合を考える。
動きベクトル情報はマクロブロックごともしくはマクロブロックを分割した領域ごとに付加されている。復号化の対象としているマクロブロックは既に復号化済みのピクチャを参照ピクチャとし、復号化された動きベクトルによってそのピクチャ内から動き補償を行うための予測画像を作成する。
【０１１３】
表示順で後方のピクチャが復号化されていない環境下において、Ｂピクチャの予測復号化において直接モードが指示された場合、従来の技術で述べた表示順で直後のピクチャを参照して動きベクトルとして用いる代わりに、復号化対象のブロックの周辺に位置する復号化済みブロックの動きベクトルを参照することによって直接モードを実現する。
【０１１４】
まず、復号化対象ブロックの周辺に位置する復号化済みブロックがそれぞれ１つの動きベクトルを持っている場合について説明する。図１８は参照するブロックの位置関係を表したものである。図１８（ａ）は直接モードでの復号化を行うブロックＢＬ５１が１６画素×１６画素のサイズであった場合の例であり、図１８（ｂ）は直接モードでの復号化を行うブロックＢＬ５２が８画素×８画素のサイズであった場合の例である。いずれの場合も基本的にＡ、Ｂ、Ｃの位置関係にある３つのブロックの動きベクトルを参照する。ただし、下記の条件の場合は参照を行わず、復号化対象ブロックの動きベクトルの値を「０」として直前のピクチャを参照して直接モードによる動き補償を行う。
１、ＡもしくはＢがピクチャの外部もしくはスライスの外部であった場合。
２、ＡもしくはＢが直前のピクチャを参照する値「０」の動きベクトルを持つ場合。
【０１１５】
参照の対象となったＡ、Ｂ、Ｃの３つのブロックが持つ動きベクトルの中から直前のピクチャを参照するもののみを取り出し、その中央値もしくは平均値を取ることによって実際に直接モードにおいて使用する動きベクトルとする。ただし、ブロックＣが参照不可の場合は代わりにブロックＤを用いるものとする。
【０１１６】
図１９はそのときの動きベクトルの参照関係の例を示したものである。ピクチャＰ６４に属するブロックＢＬ５１を現在復号化しているブロックとする。この例では直前のピクチャを参照する動きベクトルはＭＶＡ１のみとなり、直接モードにおいて用いられる動きベクトルＭＶ１はＭＶＡ１の値をそのまま使用することになる。なお、参照するブロックの位置関係は図１８（ａ）および図１８（ｂ）で示したＡ、Ｂ、Ｃ，Ｄ以外の場所を用いた場合も同様である。
【０１１７】
図１９の例は参照される復号化済みブロックが１つずつの動きベクトルを持っている場合についてのものであった。しかし、Ｂピクチャの予測モードの中には表示順で前方にある２枚のピクチャを同時に参照して動き補償を行うものも含まれている。そのようなモードの場合は１つのブロックが２つの動きベクトルを持っていることになる。
【０１１８】
以下では、復号化対象ブロックの周辺に位置する復号化済みブロックに２つの動きベクトルを持つブロックが含まれている場合について説明する。図４はそのような場合の動きベクトルの参照関係の例を表したものである。Ｐ９４が現在復号化を行っているピクチャであり、ＢＬ５１が直接モードによる予測復号化を行うブロックである。参照の対象となるブロックの持つ全ての動きベクトルが参照しているピクチャの中で、表示順で最も直前にあるピクチャであるピクチャＰ９３を参照している動きベクトルＭＶＡ１およびＭＶＢ１およびＭＶＣ１を用いてその中央値もしくは平均値を取ることにより、直接モードでの予測復号化に用いる動きベクトルＭＶ１が決定され前方向のみを参照する動き補償を行う。
【０１１９】
以上のように上記実施の形態では、表示順で後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測復号化する際に表示順で後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、さらに、符号化モードのテーブルから後方のピクチャを参照する項目を除くことによりテーブルの項目数を少なくし、高い符号化効率を実現する復号化方法を示した。
【０１２０】
なお、直接モードにおいて用いる動きベクトルを決定する際に、周辺の復号化済みブロックが参照するピクチャの中から最も表示順で手前にあるピクチャを参照している動きベクトルだけを取り出して１個の動きベクトルを算出する代わりに、手前からＮ枚のピクチャを参照する動きベクトルを取り出し、参照しているピクチャごとに１つずつの動きベクトルを決定し、得られたＮ個の動きベクトルを直接モードでの予測復号化に用いる動きベクトルとして前方向のみを参照する動き補償を行うことも可能である。このとき予測画像はＮ個の動きベクトルによって指定されたＮ個の領域の画素値の平均を算出することによって生成される。
【０１２１】
なお、単純な平均ではなく、各領域の画素値に重みを付けて平均をとる方法によって予測画像を生成することも可能である。この方法を用いることにより、表示順で画素値が序々に変化するような画像列に対してより精度の高い動き補償を実現することが可能となる。
【０１２２】
図７は上記のケースにおけるＮ＝２のときの動きベクトル参照方法の例を表したものである。Ｐ１０４が現在復号化を行っているピクチャであり、ＢＬ５１が直接モードによる予測復号化を行うブロックである。参照の対象となる複数の動きベクトルが参照しているピクチャの中で表示順で最も手前にあるピクチャＰ１０３を参照している動きベクトルＭＶＡ１およびＭＶＢ１およびＭＶＣ１を用いてその中央値もしくは平均値を取ることにより動きベクトルＭＶ１が決定され、さらに表示順で２つ前にあるピクチャＰ１０２を参照している動きベクトルの中央値もしくは平均値、つまりＭＶＣ２そのものを取ることにより動きベクトルＭＶ２が決定され、これら２つの動きベクトルを用いて直接モードによる復号化がなされる。
【０１２３】
なお、図１８（ａ）および図１８（ｂ）において動きベクトルを参照されるブロックを決定する方法として、前記実施の形態で述べた方法の代わりに、下記の条件を用いることも可能である。
１、ＡおよびＤが参照不可の場合はそれらの動きベクトルを「０」として参照する。
２、ＢおよびＣおよびＤが参照不可の場合はＡのみを参照する。
３、Ｃのみが参照不可の場合はＡ、Ｂ、Ｄを参照する。
４、上記２および３以外の場合はＡ，Ｂ、Ｃを参照する。
【０１２４】
なお、図１８（ａ）および図１８（ｂ）において参照されるブロックの動きベクトルの中から表示順で手前から１枚もしくはＮ枚のピクチャを参照するもののみを使用するという方法の代わりに、指定されたピクチャを参照する動きベクトルのみを取り出して直接モードにおいて使用される復号化対象ブロックの動きベクトルの値を決定し、前記指定されたピクチャから動き補償を行うということも可能である。
【０１２５】
なお、直接モードを用いて復号化を行う際に、図１８（ａ）および図１８（ｂ）のような位置関係にあるブロックを参照して動き補償を行う代わりに、復号化対象ブロックの動きベクトルの値を「０」、参照するピクチャを直前のピクチャとして直接モードによる動き補償を行うことも可能である。この方法を用いると、直接モードに使用する動きベクトルを算出するステップを行う必要がなくなるため、復号化処理の単純化を図ることが出来る。
【０１２６】
（実施の形態５）
さらに、上記実施の形態で示した動画像符号化方法または動画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態１で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１２７】
図１１は、上記実施の形態１の動画像符号化方法または動画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
【０１２８】
図１１（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１１（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての動画像符号化方法が記録されている。
【０１２９】
また、図１１（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての動画像符号化方法または動画像復号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記動画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【０１３０】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１３１】
（実施の形態６）
さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。
【０１３２】
図１２は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０１３３】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０１３４】
しかし、コンテンツ供給システムｅｘ１００は図１２のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【０１３５】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０１３６】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。
【０１３７】
また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。
【０１３８】
なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０１３９】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。
【０１４０】
このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０１４１】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
【０１４２】
図１３は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０１４３】
さらに、携帯電話ｅｘ１１５について図１４を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【０１４４】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０１４５】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０１４６】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０１４７】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０１４８】
画像符号化部ｅｘ３１２は、本願発明で説明した動画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した動画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０１４９】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０１５０】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０１５１】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０１５２】
次に、画像復号化部ｅｘ３０９は、本願発明で説明した動画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０１５３】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１５に示すようにディジタル放送用システムにも上記実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報のビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置によりビットストリームを復号化してこれを再生する。
【０１５４】
また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録したビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでも良い。
【０１５５】
また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０１５６】
更に、画像信号を上記実施の形態で示した動画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した動画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０１５７】
なお、カーナビゲーションｅｘ４１３の構成は例えば図１４に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
【０１５８】
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０１５９】
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
本発明に係る動画像符号化装置は、通信機能を備えるパーソナルコンピュータ、ＰＤＡ、ディジタル放送の放送局および携帯電話機などに備えられる動画像符号化装置として有用である。
【０１６０】
また、本発明に係る動画像復号化装置は、通信機能を備えるパーソナルコンピュータ、ＰＤＡ、ディジタル放送を受信するＳＴＢおよび携帯電話機などに備えられる動画像復号化装置として有用である。
【０１６１】
【発明の効果】
以上のように、本発明の動画像符号化方法によると、時間的に後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測符号化する際に時間的に後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、さらに、符号化モードのテーブルから後方のピクチャを参照する項目を除くことによりテーブルの項目数を少なくし高い符号化効率を実現することを可能とする。
【０１６２】
また、本発明の動画像復号化方法によると、時間的に後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測復号化する際に時間的に後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、さらに、符号化モードのテーブルから後方のピクチャを参照する項目を除くことによりテーブルの項目数を少なくし、高い符号化効率によって符号化された符号列を矛盾無く復号化することを可能とする。
【図面の簡単な説明】
【図１】実施の形態１の動画像符号化方法を実行する動画像符号化装置の構成を示すブロック図である。
【図２】符号化対象ブロックが属するピクチャから表示順で後方にあるピクチャを参照することが出来ない場合の各ピクチャの参照関係の一例を示す図である。
【図３】直接モードが選択された場合のモード選択部の動作の一例を示すフローチャートである。
【図４】動きベクトルを参照される符号化済みブロックに２つの動きベクトルを持つブロックが含まれている場合の動きベクトルの参照関係の一例を示す図である。
【図５】図１に示したモード選択部が第１の方法を用いて符号化対象ブロックの空間的予測を行う場合の処理手順の一例を示すフローチャートである。
【図６】図１に示した符号列生成部で生成される符号列のスライスごとのデータ構造の一例を示す図である。
【図７】表示順で符号化対象ピクチャの手前から２枚のピクチャを参照する動きベクトルを取り出して２個の動きベクトルを算出する場合の動きベクトル参照方法の一例を表した図である。
【図８】本実施の形態の動画像復号化装置の構成を示すブロック図である。
【図９】図８に示した動き補償復号部における直接モードによる復号化の処理手順を示すフローチャートである。
【図１０】（ａ）Ｂピクチャにおける予測モードを識別するためのコードと符号化モードとを対応付けるテーブルの一例を示す図である。
（ｂ）予測方向が前方のみに制限されている場合のＢピクチャにおける予測モードを識別するためのコードと符号化モードとを対応付けるテーブルの一例を示す図である。
【図１１】（ａ）記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示す図である。
（ｂ）フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す図である。
（ｃ）フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す図である。
【図１２】コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。
【図１３】携帯電話の外観の一例を示す図である。
【図１４】携帯電話の構成を示すブロック図である。
【図１５】上記実施の形態で示した符号化処理または復号化処理を行う機器、およびこの機器を用いたシステムを説明する図である。
【図１６】従来の動画像符号化方法における各ピクチャと、それによって参照されるピクチャとの参照関係の例を示す図である。
【図１７】（ａ）図１６に示したピクチャＢ１８の周辺にあるピクチャを表示順で抜き出して示す図である。
（ｂ）ピクチャＢ１８を図１７（ａ）に示した参照関係で符号化する場合におけるピクチャＢ１８の周辺ピクチャの符号化順を示す図である。
【図１８】同一ピクチャ内で対象ブロックの周辺に位置する符号化済みブロックの動きベクトルを参照する場合に、動きベクトルを参照される符号化済みブロックと対象ブロックとの位置関係を表した図である。
（ａ）対象ブロックＢＬ５１が１６画素×１６画素のサイズであった場合の例である。
（ｂ）対象ブロックＢＬ５２が８画素×８画素のサイズであった場合の例である。
【図１９】Ｐピクチャのスキップモードの際に参照される動きベクトルとその動きベクトルによって参照される符号化済みピクチャとの一例を示した図である。
【図２０】直接モードにおいて動きベクトルを決定する方法を説明するための図である。
【符号の説明】
１００ 動画像符号化装置
１０１ フレームメモリ
１０２ 予測誤差符号化部
１０３ 符号列生成部
１０４ 予測残差復号化部
１０５ フレームメモリ
１０６ 動きベクトル検出部
１０７ モード選択部
１０８ 動きベクトル記憶部
１０９ 後方ピクチャ判定部
２００ 動画像復号化装置
２０１ 符号列解析部
２０２ 予測残差復号化部
２０３ フレームメモリ
２０４ 動き補償復号部
２０５ 動きベクトル記憶部
２０６ 後方ピクチャ判定部
Ｓｅ セクタ
Ｔｒ トラック
ＦＤ フレキシブルディスク
Ｆ フレキシブルディスクケース
Ｃｓ コンピュータシステム
ＦＤＤ フレキシブルディスクドライブ
Claims (21)
- 動画像を符号化して符号列を生成する動画像符号化方法であって、
時間的に前方または後方にある符号化済みの複数のピクチャを参照して予測符号化を行うＢピクチャの符号化において、符号化済みのブロックが持つ動きベクトルを参照して符号化対象ブロックの動き補償を行う直接モードを使用することを可能とする符号化ステップを含み、
前記符号化ステップは、前記符号化対象ブロックの属するピクチャから表示順で一方向にある符号化済みのピクチャのみを参照して前記Ｂピクチャの予測符号化を行う場合、前記直接モードとして前記符号化対象ブロックの周辺に位置する同一ピクチャ内の符号化済みブロックの動きベクトルを参照して動き補償を行う動き補償ステップを含む
ことを特徴とする動画像符号化方法。 - 前記動き補償ステップでは、前記予測符号化を行うために参照する全ての前記符号化済みのピクチャが、前記符号化対象ブロックの属するピクチャより時間的に前方にあるピクチャである場合、前記動き補償を行う
ことを特徴とする請求項１記載の動画像符号化方法。 - 前記動き補償ステップでは、前記符号化対象ブロックの属するピクチャより時間的に後方に、前記予測符号化を行うために参照することのできる前記符号化済みのピクチャがない場合、前記動き補償を行う
ことを特徴とする請求項１記載の動画像符号化方法。 - 前記動き補償ステップは、前記動き補償を行う際に、前記符号化済みブロックの動きベクトルによって参照される複数のピクチャのうち、前記符号化対象ブロックの属するピクチャに時間的に近い方から順に１つまたは複数のピクチャを参照する動きベクトルを参照し、その中央値または平均値を取ることによって前記符号化対象ブロックの動きベクトルを算出する動きベクトル算出ステップを含み、
前記動き補償ステップでは、前記動きベクトル算出ステップにおいて得られた１つもしくは複数の動きベクトルを使用して、前記直接モードによる動き補償を行う
ことを特徴とする請求項１記載の動画像符号化方法。 - 前記動きベクトル算出ステップでは、前記符号化済みブロックの動きベクトルによって参照される複数のピクチャのうち、前記符号化対象ブロックの属するピクチャに表示順で近い方から順に、１つまたは複数のピクチャを参照する動きベクトルを参照し、前記動きベクトルを算出する
ことを特徴とする請求項４記載の動画像符号化方法。 - 前記動き補償ステップでは、前記動き補償を行う際に、前記符号化済みブロックの位置が前記符号化対象ブロックの属するピクチャまたはスライスの外部であった場合、もしくは前記符号化済みブロックの持つ動きベクトルの値が「０」であった場合、もしくは前記符号化済みブロックが動きベクトルを持っていなかった場合、前記符号化対象ブロックの動きベクトルの値を「０」として、時間的に近い方から順に１つまたは複数のピクチャを参照して動き補償を行う
ことを特徴とする請求項１記載の動画像符号化方法。 - 動画像を符号化して符号列を生成する動画像符号化方法であって、
時間的に前方または後方にある符号化済みの複数のピクチャを参照して予測符号化を行うＢピクチャの符号化において、符号化済みのブロックが持つ動きベクトルを参照して符号化対象ブロックの動き補償を行う直接モードを使用することを可能とする符号化ステップを含み、
前記符号化ステップは、前記符号化対象ブロックの属するピクチャから表示順で一方向にある符号化済みのピクチャのみを参照して前記Ｂピクチャの予測符号化を行う場合、前記直接モードとして前記符号化対象ブロックの動きベクトルの値を「０」として、時間的に近い方から順に１つまたは複数のピクチャを参照して動き補償を行う
ことを特徴とする動画像符号化方法。 - 前記符号化ステップは、前記Ｂピクチャの予測符号化方法と前記予測符号化方法を識別するための識別子とを対応付けたテーブルの中から後方を参照する予測符号化方法を除いて、前記テーブルを再生成するテーブル再生成ステップを含み、
前記符号化ステップでは、再生成された前記テーブルを用いて当該Ｂピクチャの予測符号化方法を示す前記識別子を符号化する
ことを特徴とする請求項１〜請求項７のいずれか１項に記載の動画像符号化方法。 - 動画像を符号化して得られる符号列を復号化する動画像復号化方法であって、
時間的に前方または後方にある復号化済みの複数のピクチャを参照して予測復号化を行うＢピクチャの復号化において、復号化済みのブロックが持つ動きベクトルを参照して復号化対象ブロックの動き補償を行う直接モードを使用することを可能とする復号化ステップを含み、
前記復号化ステップは、前記復号化対象ブロックの属するピクチャから時間的に一方向にある復号化済みのピクチャのみを参照して前記Ｂピクチャの予測復号化を行う場合、前記直接モードとして前記復号化対象ブロックの周辺に位置する同一ピクチャ内の復号化済みブロックの動きベクトルを参照して動き補償を行う動き補償ステップを含む
ことを特徴とする動画像復号化方法。 - 前記動き補償ステップでは、前記予測復号化を行うために参照する全ての前記復号化済みのピクチャが、前記復号化対象ブロックの属するピクチャより時間的に前方にあるピクチャのみである場合、前記動き補償を行う
ことを特徴とする請求項９記載の動画像復号化方法。 - 前記動き補償ステップでは、前記復号化対象ブロックの属するピクチャより時間的に後方に、前記予測復号化を行うために参照することのできる前記復号化済みのピクチャがない場合、前記動き補償を行う
ことを特徴とする請求項９記載の動画像復号化方法。 - 前記動き補償ステップは、前記動き補償を行う際に、前記復号化済みブロックの動きベクトルによって参照される複数のピクチャのうち、前記復号化対象ブロックの属するピクチャに時間的に近い方から順に１つもしくは複数のピクチャを参照する動きベクトルを参照し、その中央値または平均値を取ることによって前記復号化対象ブロックの動きベクトルを算出する動きベクトル算出ステップを含み、
前記動き補償ステップでは、前記動きベクトル算出ステップにおいて得られた１つもしくは複数の動きベクトルを使用して、前記直接モードによる動き補償を行う
ことを特徴とする請求項９記載の動画像復号化方法。 - 前記動きベクトル算出ステップでは、前記復号化済みブロックの動きベクトルによって参照される複数のピクチャのうち、前記復号化対象ブロックの属するピクチャに表示順で近い方から順に、１つまたは複数のピクチャを参照する動きベクトルを参照し、前記動きベクトルを算出する
ことを特徴とする請求項１２記載の動画像復号化方法。 - 前記動き補償ステップでは、前記動き補償を行う際に、前記復号化済みブロックの位置が前記復号化対象ブロックの属するピクチャまたはスライスの外部であった場合、もしくは前記復号化済みブロックの持つ動きベクトルの値が「０」であった場合、もしくは前記復号化済みブロックが動きベクトルを持っていなかった場合、前記復号化対象ブロックの動きベクトルの値を「０」として、時間的に近い方から順に１つまたは複数のピクチャを参照して動き補償を行う
ことを特徴とする請求項９記載の動画像復号化方法。 - 動画像を符号化して得られる符号列を復号化する動画像復号化方法であって、
時間的に前方または後方にある復号化済みの複数のピクチャを参照して予測復号化を行うＢピクチャの復号化において、復号化済みのブロックが持つ動きベクトルを参照して復号化対象ブロックの動き補償を行う直接モードを使用することを可能とする復号化ステップを含み、
前記復号化ステップは、前記復号化対象ブロックの属するピクチャから時間的に一方向にある復号化済みのピクチャのみを参照して前記Ｂピクチャの予測復号化を行う場合、前記直接モードとして前記復号化対象ブロックの動きベクトルの値を「０」として、時間的に近い方から順に１つまたは複数のピクチャを参照して動き補償を行う
ことを特徴とする動画像復号化方法。 - 前記復号化ステップは、前記Ｂピクチャの予測復号化方法と前記予測復号化方法を識別するための識別子とを対応付けた予め保持しているテーブルの中から後方を参照する予測復号化方法を除いて、前記テーブルを再生成するテーブル再生成ステップを含み、
前記復号化ステップでは、前記符号化列から前記Ｂピクチャの予測復号化方法を識別するための識別子を復号化し、再生成されたテーブルを用いて、当該Ｂピクチャの予測復号化方法を識別し、識別された前記予測復号化方法に従って復号化対象ブロックの予測復号化を行う
ことを特徴とする請求項９〜請求項１５のいずれか１項に記載の動画像復号化方法。 - 動画像を符号化して符号列を生成する動画像符号化装置であって、
時間的に前方または後方にある符号化済みの複数のピクチャを参照して予測符号化を行うＢピクチャの符号化において、符号化済みのブロックが持つ動きベクトルを参照して符号化対象ブロックの動き補償を行う直接モードを使用することを可能とする符号化手段を備え、
前記符号化手段は、前記符号化対象ブロックの属するピクチャから時間的に一方向にある符号化済みのピクチャのみを参照して前記Ｂピクチャの予測符号化を行う場合、前記直接モードとして前記符号化対象ブロックの周辺に位置する同一ピクチャ内の符号化済みブロックの動きベクトルを参照して動き補償を行う動き補償部を備える
ことを特徴とする動画像符号化装置。 - 動画像を符号化して得られる符号列を復号化する動画像復号化装置であって、
時間的に前方または後方にある復号化済みの複数のピクチャを参照して予測復号化を行うＢピクチャの復号化において、復号化済みのブロックが持つ動きベクトルを参照して復号化対象ブロックの動き補償を行う直接モードを使用することを可能とする復号化手段を備え、
前記復号化手段は、前記復号化対象ブロックの属するピクチャから時間的に一方向にある復号化済みのピクチャのみを参照して前記Ｂピクチャの予測復号化を行う場合、前記直接モードとして前記復号化対象ブロックの周辺に位置する同一ピクチャ内の復号化済みブロックの動きベクトルを参照して動き補償を行う動き補償部を備える
ことを特徴とする動画像復号化装置。 - コンピュータに、請求項１〜請求項１６のいずれか１項に記載の動画像符号化方法または動画像復号化方法の各ステップを実行させるためのプログラムを格納したことを特徴とするデータ記録媒体。
- コンピュータに、請求項１〜請求項１６のいずれか１項に記載の動画像符号化方法または動画像復号化方法の各ステップを実行させることを特徴とするプログラム。
- ピクチャを構成するスライスごとに、ヘッダ部とデータ部とが繰り返し配置されて構成される符号化データストリームであって、
各スライスのヘッダ部に、時間的に前方または後方にある符号化済みの複数のピクチャを参照して予測符号化を行うＢピクチャの直接モードにおいて、符号化対象ブロックの属するピクチャから時間的に一方向にある符号化済みのピクチャのみを参照して予測符号化する場合、前記符号化対象ブロックの周辺に位置する同一ピクチャ内の複数の符号化済みブロックの動きベクトルを参照して動き補償を行うことを示すフラグ、もしくは前記符号化対象ブロックの動きベクトルの値を「０」として動き補償を行うことを示すフラグが配置され、
各スライスのデータ部に、請求項１〜請求項８のいずれか１項に記載の動画像符号化方法によって符号化された動画像符号化データが配置されている
ことを特徴とする符号化データストリーム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003136452A JP2004048711A (ja) | 2002-05-22 | 2003-05-14 | 動画像の符号化方法および復号化方法およびデータ記録媒体 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002148218 | 2002-05-22 | ||
| JP2003136452A JP2004048711A (ja) | 2002-05-22 | 2003-05-14 | 動画像の符号化方法および復号化方法およびデータ記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004048711A true JP2004048711A (ja) | 2004-02-12 |
Family
ID=31719647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003136452A Pending JP2004048711A (ja) | 2002-05-22 | 2003-05-14 | 動画像の符号化方法および復号化方法およびデータ記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004048711A (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007504760A (ja) * | 2003-09-07 | 2007-03-01 | マイクロソフト コーポレーション | インターレース・ビデオおよびプログレッシブ・ビデオのマクロブロックおよび動き情報の符号化および復号における新機軸 |
| WO2007074543A1 (ja) * | 2005-12-27 | 2007-07-05 | Sharp Kabushiki Kaisha | 動画像復号装置および動画像符号化装置 |
| US7924920B2 (en) | 2003-09-07 | 2011-04-12 | Microsoft Corporation | Motion vector coding and decoding in interlaced frame coded pictures |
| US7936821B2 (en) | 2002-07-15 | 2011-05-03 | Hitachi Consumer Electronics Co., Ltd. | Moving picture encoding method and decoding method |
| US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
| WO2011155171A1 (ja) * | 2010-06-09 | 2011-12-15 | 株式会社Ｊｖｃケンウッド | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法及び動画像復号プログラム |
| JP2011259230A (ja) * | 2010-06-09 | 2011-12-22 | Jvc Kenwood Corp | 動画像復号装置、動画像復号方法及び動画像復号プログラム |
| JP2011259229A (ja) * | 2010-06-09 | 2011-12-22 | Jvc Kenwood Corp | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム |
| WO2012081225A1 (ja) * | 2010-12-14 | 2012-06-21 | パナソニック株式会社 | 画像符号化方法、及び画像復号方法 |
| WO2012081246A1 (ja) * | 2010-12-17 | 2012-06-21 | パナソニック株式会社 | 画像符号化方法および画像復号化方法 |
| WO2012090478A1 (ja) * | 2010-12-28 | 2012-07-05 | パナソニック株式会社 | 動画像符号化方法、および、動画像復号化方法 |
| WO2012098866A1 (ja) * | 2011-01-18 | 2012-07-26 | パナソニック株式会社 | 動画像符号化方法および動画像復号化方法 |
| US8687697B2 (en) | 2003-07-18 | 2014-04-01 | Microsoft Corporation | Coding of motion vector information |
| JP2015027111A (ja) * | 2014-11-05 | 2015-02-05 | 三菱電機株式会社 | 画像符号化装置 |
| JP2016167853A (ja) * | 2016-04-26 | 2016-09-15 | 三菱電機株式会社 | 画像復号装置、画像符号化装置およびビットストリーム |
| JP2019087829A (ja) * | 2017-11-03 | 2019-06-06 | 株式会社デンソー | 復号装置 |
-
2003
- 2003-05-14 JP JP2003136452A patent/JP2004048711A/ja active Pending
Cited By (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9832473B2 (en) | 2002-07-15 | 2017-11-28 | Hitachi Maxell, Ltd. | Moving picture encoding method and decoding method with motion vectors of blocks adjacent to target blocks and motion vectors at a same position to target blocks in other frames |
| US8571108B2 (en) | 2002-07-15 | 2013-10-29 | Hitachi Consumer Electronics Co., Ltd. | Moving picture encoding method and decoding method |
| US10327004B2 (en) | 2002-07-15 | 2019-06-18 | Maxell, Ltd. | Moving picture encoding method and decoding method considering motion vectors of blocks adjacent to target block |
| US7936821B2 (en) | 2002-07-15 | 2011-05-03 | Hitachi Consumer Electronics Co., Ltd. | Moving picture encoding method and decoding method |
| US7936823B2 (en) | 2002-07-15 | 2011-05-03 | Hitach Consumer Electronics Co., Ltd. | Moving picture encoding method and decoding method |
| US7936822B2 (en) | 2002-07-15 | 2011-05-03 | Hitachi Consumer Electronics Co., Ltd. | Moving picture encoding method and decoding method |
| US7970058B2 (en) | 2002-07-15 | 2011-06-28 | Hitachi Consumer Electronics Co., Ltd. | Moving picture encoding method and decoding method |
| US8036272B2 (en) | 2002-07-15 | 2011-10-11 | Hitachi Consumer Electronics Co., Ltd. | Moving picture encoding method and decoding method |
| US10110906B2 (en) | 2002-07-15 | 2018-10-23 | Maxell, Ltd. | Moving picture encoding method and decoding method considering motion vectors of blocks adjacent to target block |
| US10104383B2 (en) | 2002-07-15 | 2018-10-16 | Maxell, Ltd. | Moving picture encoding method and decoding method considering motion vectors of blocks adjacent to target block |
| JP2018129835A (ja) * | 2002-07-15 | 2018-08-16 | マクセル株式会社 | 動画像復号化方法 |
| JP6336228B1 (ja) * | 2002-07-15 | 2018-06-06 | マクセル株式会社 | 動画像復号化方法 |
| US10349062B2 (en) | 2002-07-15 | 2019-07-09 | Maxell, Ltd. | Moving picture encoding method and decoding method considering motion vectors of blocks adjacent to target block |
| JP2016034142A (ja) * | 2002-07-15 | 2016-03-10 | 日立マクセル株式会社 | 動画像復号化方法 |
| US8837594B2 (en) | 2002-07-15 | 2014-09-16 | Hitachi Consumer Electronics Co., Ltd. | Moving picture encoding method and decoding method considering motion vectors of blocks adjacent to target block |
| JP2014003663A (ja) * | 2002-07-15 | 2014-01-09 | Hitachi Consumer Electronics Co Ltd | 動画像復号化方法 |
| JP2014225921A (ja) * | 2002-07-15 | 2014-12-04 | 日立コンシューマエレクトロニクス株式会社 | 動画像復号化方法 |
| US8320459B2 (en) | 2002-07-15 | 2012-11-27 | Hitachi Consumer Electronics Co., Ltd. | Moving picture encoding method and decoding method |
| US8325816B2 (en) | 2002-07-15 | 2012-12-04 | Hitachi Consumer Electronics Co., Ltd. | Moving picture encoding method and decoding method |
| US8340190B2 (en) | 2002-07-15 | 2012-12-25 | Hitachi Consumer Electronics Co., Ltd. | Moving picture encoding method and decoding method |
| US8571107B2 (en) | 2002-07-15 | 2013-10-29 | Hitachi Consumer Electronics Co., Ltd. | Moving picture encoding method and decoding method |
| JP2017085590A (ja) * | 2002-07-15 | 2017-05-18 | 日立マクセル株式会社 | 動画像復号化方法 |
| US8917768B2 (en) | 2003-07-18 | 2014-12-23 | Microsoft Corporation | Coding of motion vector information |
| US9148668B2 (en) | 2003-07-18 | 2015-09-29 | Microsoft Technology Licensing, Llc | Coding of motion vector information |
| US8687697B2 (en) | 2003-07-18 | 2014-04-01 | Microsoft Corporation | Coding of motion vector information |
| US8625669B2 (en) | 2003-09-07 | 2014-01-07 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
| US7924920B2 (en) | 2003-09-07 | 2011-04-12 | Microsoft Corporation | Motion vector coding and decoding in interlaced frame coded pictures |
| US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
| JP2007504760A (ja) * | 2003-09-07 | 2007-03-01 | マイクロソフト コーポレーション | インターレース・ビデオおよびプログレッシブ・ビデオのマクロブロックおよび動き情報の符号化および復号における新機軸 |
| JP4921971B2 (ja) * | 2003-09-07 | 2012-04-25 | マイクロソフト コーポレーション | インターレース・ビデオおよびプログレッシブ・ビデオのマクロブロックおよび動き情報の符号化および復号における新機軸 |
| WO2007074543A1 (ja) * | 2005-12-27 | 2007-07-05 | Sharp Kabushiki Kaisha | 動画像復号装置および動画像符号化装置 |
| JP2011259230A (ja) * | 2010-06-09 | 2011-12-22 | Jvc Kenwood Corp | 動画像復号装置、動画像復号方法及び動画像復号プログラム |
| WO2011155171A1 (ja) * | 2010-06-09 | 2011-12-15 | 株式会社Ｊｖｃケンウッド | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法及び動画像復号プログラム |
| JP2011259229A (ja) * | 2010-06-09 | 2011-12-22 | Jvc Kenwood Corp | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム |
| WO2012081225A1 (ja) * | 2010-12-14 | 2012-06-21 | パナソニック株式会社 | 画像符号化方法、及び画像復号方法 |
| WO2012081246A1 (ja) * | 2010-12-17 | 2012-06-21 | パナソニック株式会社 | 画像符号化方法および画像復号化方法 |
| US10778969B2 (en) | 2010-12-17 | 2020-09-15 | Sun Patent Trust | Image coding method and image decoding method |
| US10986335B2 (en) | 2010-12-17 | 2021-04-20 | Sun Patent Trust | Image coding method and image decoding method |
| WO2012090478A1 (ja) * | 2010-12-28 | 2012-07-05 | パナソニック株式会社 | 動画像符号化方法、および、動画像復号化方法 |
| WO2012098866A1 (ja) * | 2011-01-18 | 2012-07-26 | パナソニック株式会社 | 動画像符号化方法および動画像復号化方法 |
| JP2015027111A (ja) * | 2014-11-05 | 2015-02-05 | 三菱電機株式会社 | 画像符号化装置 |
| JP2016167853A (ja) * | 2016-04-26 | 2016-09-15 | 三菱電機株式会社 | 画像復号装置、画像符号化装置およびビットストリーム |
| JP2019087829A (ja) * | 2017-11-03 | 2019-06-06 | 株式会社デンソー | 復号装置 |
| JP7056084B2 (ja) | 2017-11-03 | 2022-04-19 | 株式会社デンソー | 復号装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4130783B2 (ja) | 動きベクトル符号化方法および動きベクトル復号化方法 | |
| CN1685732B (zh) | 画像编码方法及装置、画像解码方法及装置 | |
| KR100948714B1 (ko) | 동화상 부호화 방법 및 동화상 복호화 방법 | |
| EP1418762A1 (en) | Moving image encoding method, moving image decoding method, and data recording medium | |
| JP2004007563A (ja) | 動画像符号化方法および動画像復号化方法 | |
| JP2008187734A (ja) | フィルタリング強度決定方法 | |
| JP4313710B2 (ja) | 画像符号化方法および画像復号化方法 | |
| JP2004040816A (ja) | 動画像符号化装置及び動画像復号化装置 | |
| JP2004048711A (ja) | 動画像の符号化方法および復号化方法およびデータ記録媒体 | |
| JP3878591B2 (ja) | 動画像符号化方法および動画像復号化方法 | |
| JP4580626B2 (ja) | フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法 | |
| JP2004088736A (ja) | 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム | |
| CN101431681B (zh) | 图像解码方法及图像解码装置 | |
| JP2004260236A (ja) | 動画像の符号化方法および復号化方法 | |
| JP2005142986A (ja) | 動画像符号化方法、動画像符号化装置および動画像符号化プログラム | |
| JP2004048632A (ja) | 動画像符号化方法および動画像復号化方法 | |
| JP3884472B2 (ja) | 動画像符号化方法および動画像復号化方法 | |
| JP2004040512A (ja) | 画像符号化方法および画像復号方法 | |
| JP2004088731A (ja) | 動きベクトル導出方法、動画像符号化方法、および動画像復号化方法 | |
| JP2004194283A (ja) | 動き補償方法、画像符号化方法および画像復号化方法 | |
| JP2006187039A (ja) | 動画像符号化方法および動画像復号化方法 |