JP2007228560A - 動画像符号化方法および動画像符号化装置 - Google Patents

Abstract

【課題】時間的ダイレクトモード符号化における動きベクトルの予測の精度低下による画質劣化を防ぎ、動画像を効率良く圧縮することが可能な動画像符号化装置を提供する。
【解決手段】動画像符号化装置は、Ｂピクチャのダイレクトモード処理として、時間的に近傍にある符号化済みピクチャの有する動きベクトルを参照して、対象ブロックの動きベクトルを予測して生成する時間的ダイレクトモード処理部と、対象ブロックの空間的周辺に位置する符号化済みブロックの有する動きベクトルを参照して、対象ブロックの動きベクトルを予測して生成する空間的ダイレクトモード処理部と、符号化対象の条件によって、時間的ダイレクトモードの使用の禁止を判定する時間的ダイレクトモード禁止判定部とを備え、判定部で時間的ダイレクトモードが禁止された場合に符号化対象に対して空間的ダイレクトモード処理部のみを用いてダイレクトモード符号化を行うことを特徴とする。
【選択図】図１

Description

本発明は、動画像符号化方法および動画像符号化装置に関し、特にダイレクトモードにおける動きベクトルの予測の精度低下による画質劣化を防止する技術に関する。

近年、音声や画像などを統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔｓ／ｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ：Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）によって既に実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とは、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格では対象とする品質を伝送速度が主として約１．５Ｍｂｐｓで実現できる程度の中程度の品質としたことから、さらに高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号を２〜１５ＭｂｐｓでＴＶ放送品質を実現する。さらに現状では、ＭＰＥＧ−１およびＭＰＥＧ−２の標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって、ＭＰＥＧ−１、ＭＰＥＧ−２を上回る圧縮率を達成し、さらに物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。

さらに、２００３年に、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔが共同でより高圧縮率の次世代画像符号化方式として、ＭＰＥＧ−４ ＡＶＣおよびＩＴＵ Ｈ．２６４が標準化されている（例えば、非特許文献１参照。）。Ｈ．２６４規格では、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像などに適したＨｉｇｈ Ｐｒｏｆｉｌｅ対応の規格も策定されており、ＢＤ−ＲＯＭ（Ｂｌｕ−ｒａｙ Ｄｉｓｋ ＲＯＭ）等の次世代メディアの圧縮規格として採用が決定されている。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方又は後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造又はフィールド構造として処理したりすることができる。

参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化および復号化の基本単位であるブロック毎に指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。

Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。

動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。

Ｈ．２６４方式では、Ｂピクチャの符号化において、ダイレクトモードという符号化モードを選択することができる。このダイレクトモードには時間的方法（時間的ダイレクトモード）と空間的方法（空間的ダイレクトモード）との２種類の方法がある。ダイレクトモードは符号化対象のスライス（ブロック群）に対して、時間的方法と空間的方法のどちらか１つのみを使用することができる。

時間的ダイレクトモードでは、符号化対象ブロック自体は動きベクトルを持たず、符号化済みの他ピクチャの動きベクトルを参照動きベクトルとして、ピクチャ間の表示時間的位置関係に基づいてスケーリング処理を行うことによって、符号化対象ブロックで用いる動きベクトルを予測して生成している。

図１１は、時間ダイレクトモードにおける動きベクトルの予測生成方法を示す模式図である。なお、同図に示されるＰはＰピクチャ、ＢはＢピクチャを示し、ピクチャタイプに付している数字は各ピクチャの表示順を示している。また、各ピクチャＰ１、Ｂ２、Ｂ３、Ｐ４はそれぞれ表示順情報Ｔ１、Ｔ２、Ｔ３、Ｔ４を有している。ここでは図１１に示されるピクチャＢ３のブロックＢＬ０を時間的ダイレクトモードで符号化する場合について説明する。

ピクチャＢ３の表示時間的に近傍に位置し、既に符号化済みであるピクチャＰ４に含まれ、ブロックＢＬ０と同じ位置にあるブロックＢＬ１の動きベクトルＭＶ１を利用する。この動きベクトルＭＶ１はブロックＢＬ１が符号化された際に用いられた動きベクトルであり、ピクチャＰ１を参照している。この場合、ブロックＢＬ０を符号化する際に用いる動きベクトルは、ピクチャＰ１に対しては動きベクトルＭＶ＿Ｆ、ピクチャＰ４に対しては動きベクトルＭＶ＿Ｂとなる。この際、動きベクトルＭＶ１の大きさをＭＶ、動きベクトルＭＶ＿Ｆの大きさをＭＶｆ、動きベクトルＭＶ＿Ｂの大きさをＭＶｂとすると、ＭＶｆ、ＭＶｂはそれぞれ式（１）、式（２）によって得られる。

ＭＶｆ＝（Ｔ３−Ｔ１）／（Ｔ４−Ｔ１）×ＭＶ …（１）
ＭＶｂ＝（Ｔ３−Ｔ４）／（Ｔ４−Ｔ１）×ＭＶ …（２）

このように動きベクトルＭＶ１からスケーリング処理を行うことによって得られた動きベクトルＭＶ＿Ｆ、動きベクトルＭＶ＿Ｂを用いて、参照ピクチャであるピクチャＰ１とピクチャＰ４からブロックＢＬ０の動き補償を行う。

なお、スケーリング処理のために参照するブロックＢＬ１が画面内予測符号化を行ったブロックであり動きベクトルを持たなかった場合、動きベクトルＭＶ＿Ｆ、ＭＶ＿Ｂの大きさが共に「０」であるものとして動き補償を行う。

空間的ダイレクトモードでは、時間的ダイレクトモードと同様に、符号化対象ブロック自体は動きベクトルを持たず、符号化対象ブロックの空間的に周辺に位置する符号化済みブロックの持つ動きベクトルを参照し、それを用いて符号化を行う。

図１２は、空間的ダイレクトモードにおける動きベクトルの予測生成方法を示す模式図である。なお、同図に示されるＰはＰピクチャ、ＢはＢピクチャを示し、ピクチャタイプに付している数字は各ピクチャの表示順序を示している。ここでは、図１２に示されるピクチャＢ３のブロックＢＬ０を空間的ダイレクトモードで符号化する場合について説明する。

符号化対象であるブロックＢＬ０の周辺の３画素Ａ、Ｂ、Ｃを含む符号化済みのブロックのそれぞれの動きベクトルＭＶＡ１、ＭＶＢ１、ＭＶＣ１のうち、符号化対象ピクチャから表示時間的に最も近くにある既に符号化されたピクチャを参照した動きベクトルを、符号化対象ブロックの動きベクトルの候補として決定する。この決定した動きベクトルが３つある場合には、それらの中央値を符号化対象ブロックの動きベクトルとして選択する。また２つである場合には、それらの平均値を求め、符号化対象ブロックの動きベクトルとする。また１つだけである場合には、その動きベクトルを符号化対象ブロックの動きベクトルとする。

図１２に示される例では、動きベクトルＭＶＡ１、ＭＶＣ１はピクチャＰ２を参照して求められ、動きベクトルＭＶＢ１はピクチャＰ１を参照して求められている。よって、符号化対象ピクチャから表示時間的に最も近くにある既に符号化されたピクチャであるピクチャＰ２を参照した動きベクトルＭＶＡ１、ＭＶＣ１の平均値を求め、符号化対象ブロックの１つ目の動きベクトルであるＭＶ＿Ｆとする。２つ目の動きベクトルであるＭＶ＿Ｂを求める場合も同様である。
ＩＳＯ／ＩＥＣ １４４９６−１０， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ： "Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ − Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ − Ｐａｒｔ １０ ： Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ"（２００３−１２−０１）．

ところで、映画などのフィルムメディアは、その多くが１秒間に２４枚のフレームで構成されている（２４ｆｐｓ）。それら２４ｆｐｓの素材をテレビで放映する場合には、テレビ（ＮＴＳＣ）が２９．９７ｆｐｓのため、２４ｆｐｓから２９．９７ｆｐｓといったようにピクチャの表示時間間隔を変換する必要がある。この変換はテレシネ変換（２−３変換）と呼ばれる。

図１３は、テレシネ変換の変換方法を示す図である。
テレシネ変換において、図１３に示されるように、２４ｆｐｓの最初のフレームを２フィールドに、次のフレームを３フィールドに、以降順に２フィールド、３フィールドと変換し、変換されたフィールドを２フィールド毎に１フレームとすることによって、２４ｆｐｓから３０ｆｐｓへの変換が行われる。

ここで、テレシネ変換する場合、３０ｆｐｓではＮＴＳＣの２９．９７ｆｐｓとはずれてしまうため、ある一定時間毎にコマ落ちをさせて、タイミングを合わせるという処理が行われる。

上記の変換を行うと図１３の３０Ｐフレーム１のフィールド１−０と、３０Ｐフレーム２のフィールド１−０のように、異なる表示時刻に同じフィールドの画像が表示されることになる。これはテレシネ変換を行った画像の表示時間の間隔と、表示する画像の記録時間間隔が完全に一致していないことを意味する。

このようなテレシネ変換を行った動画像に対して、時間的ダイレクト符号化モードを用いて符号化を行うと、動きベクトル予測のスケーリング処理に問題が発生する。

すなわち、時間的ダイレクトモード符号化では、上記したように、式（１）、式（２）を用いて動きベクトルを予測する。これは符号化対象の動画像の表示順序情報に基づいて計算されることを意味しているが、表示する画像の記録時間間隔に基づいてはいない。

よって、表示順序情報と記録時間間隔が一致していない場合は、時間的ダイレクトモードの動きベクトル予測におけるスケーリング処理が意味をなさない。この一例を、図１４に示す。

図１４は、テレシネ変換を行った画像における時間的ダイレクトモードの符号化を示す図である。ここでＩはＩピクチャ、ＰはＰピクチャ、ＢはＢピクチャとして符号化していることを意味し、数字は表示順序を示している。また括弧内に図１３のどのフィールドに対応するかを示している。

この場合、Ｂ４の時間的ダイレクトモード符号化において、フィールドＢ４の表示時間的に近傍に位置する既に符号化済みピクチャであるフィールドＰ６のブロックＢＬ２と同じ位置にあるブロックＢＬ３の動きベクトルＭＶ＿Ｐ６と、フィールドＢ４、フィールドＰ６、ＢＬ３が参照するフィールドＩ０の表示順情報Ｔｂ６、Ｔｐ２、Ｔｉ０を用いて以下の式で動きベクトルを予測する。

ＭＶｆ＿ｂ６＝（Ｔｂ６−Ｔｉ０）／（Ｔｐ２−Ｔｉ０）×ＭＶ＿Ｐ２ …（３）
ＭＶｂ＿ｂ６＝（Ｔｂ６−Ｔｐ２）／（Ｔｐ２−Ｔｉ０）×ＭＶ＿Ｐ２ …（４）

ここでフィールドの表示順序情報間隔をＴａとすると、上記の式（３），（４）は、下記の式（５），（６）で表される。

ＭＶｆ＿ｂ６＝（４×Ｔａ／６×Ｔａ）×ＭＶ＿Ｐ２＝（２／３）×ＭＶ＿Ｐ２
…（５）
ＭＶｂ＿ｂ６＝（−２×Ｔａ／６×Ｔａ）×ＭＶ＿Ｐ２＝−（１／３）×ＭＶ＿Ｐ２
…（６）

上記のＭＶｆ＿ｂ６、ＭＶｂ＿ｂ６の結果は実際にピクチャを記録した時刻とはずれている表示順情報を用いているため、誤ったスケーリングを行うことになる。例えば図１５のように、元の素材においてピクチャ内のオブジェクトが一定の間隔で移動している場合、フィールドＩ０、フィールドＢ４、フィールドＰ６は記録時刻の間隔が一定のため、フィールドＩ０に対して、フィールドＰ６でのオブジェクトの移動距離をＬとすると、フィールドＢ４での移動距離はＬ／２となる。ここで記録時刻を基準にして上記のスケーリング処理を行ったとすると、時刻Ｔｉ０、Ｔｂ６、Ｔｐ２の間隔は一定となるため、予測される動きベクトルは下記式（７），（８）のようになる。

ＭＶｆ＿ｂ６＝（１／２）×ＭＶ＿Ｐ２ …（７）
ＭＶｂ＿ｂ６＝−（１／２）×ＭＶ＿Ｐ２ …（８）

これは図１５の例における、移動距離のスケーリングと一致している。一般的に動画像では一定の速度でピクチャ内の背景やオブジェクトが動いていることが多いため、記録時間を基準にして動きベクトルの予測を行えば、高い精度で予測ができる。

しかし、上記のようにテレシネ変換を行った動画像に対して、時間的ダイレクトモードの動きベクトル予測を行うと、記録時刻間隔とずれた表示順序情報を用いて予測してしまうため、誤ったスケーリングを行ってしまい、予測精度が悪くなってしまう。その結果画質の劣化につながってしまう。

このようにテレシネ変換など、表示順情報と記録時間間隔がずれてしまうような表示時間間隔の変換を行った動画像に対して時間的ダイレクトモードを用いると、画質が劣化してしまうという課題がある。

また動きベクトルの参照に用いる表示時間的に近傍に位置する既に符号化済みピクチャがＩピクチャである場合、上記のブロックＢＬ１が画面内符号化された場合と同じように時間的ダイレクトモード符号化される。つまり、符号化対象ピクチャの全てのブロックについて、（空間的）ダイレクトモードでの動きベクトルの予測が行われないこととなり、予測精度が悪くなってしまい、画質の劣化につながるという課題がある。

そこで、本発明は、時間的ダイレクトモード符号化における動きベクトルの予測の精度低下による画質劣化を防ぎ、動画像を効率良く圧縮することが可能な動画像符号化方法および動画像符号化装置を提供することを目的とする。

上記課題を解決するために、本発明に係る動画像符号化方法においては、時間的に前方又は後方にある符号化済みのピクチャを複数、参照して予測符号化を行うＢピクチャを含む動画の符号化方法であって、前記Ｂピクチャのダイレクトモード処理として、時間的に近傍にある符号化済みピクチャの有する動きベクトルを参照して、対象ブロックの動きベクトルを予測して生成する時間的ダイレクトモード処理ステップと、符号化対象の条件によって、前記時間的ダイレクトモードの使用の禁止を判定する時間的ダイレクトモード禁止判定ステップとを含み、前記判定ステップで時間的ダイレクトモードが禁止された場合に、前記符号化対象に対して前記時間的ダイレクトモード処理ステップ以外の処理ステップを用いて前記予測符号化を行うことを特徴とする。

これにより、時間的ダイレクトモード符号化を使用した場合に画質の劣化が起きると予測される場合に、時間的ダイレクトモード符号化を行わないことによって、時間的ダイレクトモード符号化における動きベクトルの予測の精度低下による画質劣化を防ぎ、結果的に動画像を効率良く圧縮することが可能となる。

また、本発明に係る動画像符号化方法においては、前記時間的ダイレクトモード処理ステップ以外の処理ステップには、前記Ｂピクチャのダイレクトモード処理として、前記対象ブロックの空間的周辺に位置する符号化済みブロックの有する動きベクトルを参照して、前記対象ブロックの動きベクトルを予測して生成する空間的ダイレクトモード処理ステップが含まれており、前記判定ステップで時間的ダイレクトモードが禁止された場合に、前記符号化対象に対して前記空間的ダイレクトモード処理ステップを用いて前記予測符号化を行うことを特徴とすることができる。

これにより、時間的ダイレクトモード符号化における動きベクトルの予測の精度低下による画質劣化を防ぎ、結果的に動画像を効率良く圧縮することが可能となる。

また、本発明に係る動画像符号化方法においては、前記時間的ダイレクトモード禁止判定ステップにおいて、符号化対象を構成するピクチャの時間間隔が一定ではないと判定された場合に、前記時間的ダイレクトモードの使用を禁止すると判定されることを特徴とすることができる。

これにより、ピクチャが画像として記録された時間間隔が一定でない場合に発生する時間的ダイレクトモード符号化の動きベクトル予測の精度低下による画質の劣化を防ぐことが可能となる。

また、本発明に係る動画像符号化方法においては、前記時間的ダイレクトモード禁止判定ステップにおいて、符号化対象がピクチャの表示時間間隔の変換を行ったものであると判定された場合に、前記時間的ダイレクトモードの使用を禁止すると判定されることを特徴とすることができる。

これによっても、ピクチャの表示時間間隔の変換が行われた動画像は構成するピクチャ間の時間間隔が一定でない場合があり、この場合における時間的ダイレクトモード符号化の動きベクトル予測の精度低下による画質の劣化を防ぐことが可能となる。

また、本発明に係る動画像符号化方法においては、前記時間的ダイレクトモード禁止判定ステップにおいて、前記時間的ダイレクトモードで動きベクトルの参照に用いる符号化済みピクチャが画面内予測符号化を行うＩピクチャであると判定された場合に、時間的ダイレクトモードの使用を禁止すると判定されることを特徴とすることもできる。

これによっても、Ｉピクチャを参照する場合に生じる時間的ダイレクトモード符号化における動きベクトル予測の精度の低下による画質の劣化を防ぐことが可能となる。

また、本発明に係る動画像符号化方法においては、前記時間的ダイレクトモード禁止判定ステップにおいて、符号化対象を構成するピクチャの時間間隔が一定ではないと判定された場合、符号化対象がピクチャの表示時間間隔の変換を行ったものであると判定された場合、および前記時間的ダイレクトモードで動きベクトルの参照に用いる符号化済みピクチャが画面内予測符号化を行うＩピクチャであると判定された場合の少なくとも２つのうちのいずれかに該当するか否か判定し、前記少なくとも２つのうちのいずれかに該当する場合に、前記時間的ダイレクトモードの使用を禁止すると判定されることを特徴としてもよい。

これにより、時間的ダイレクトモード符号化における動きベクトル予測の精度の低下を確実に防ぐことができ、画質の劣化をより防ぐことが可能となる。

なお、本発明は、このような画像符号化方法として実現することができるだけでなく、このような画像符号化方法が含む特徴的なステップを手段とする画像符号化装置として実現したり、当該画像符号化装置が備える手段を集積化した集積回路として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。

以上の説明から明らかなように、本発明の動画像符号化方法によれば、時間的ダイレクトモード符号化における動きベクトルの予測の精度低下による画質劣化を防ぎ、動画像を効率良く圧縮することが可能となる。

よって、本発明により、圧縮率が高く、高画質の動画像の配信が可能となり、インターネットが普及してきた今日における本願発明の実用的価値は極めて高い。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における動画像符号化装置１００ａの機能構成を示すブロック図である。

動画像符号化装置１００ａは、ＡＶ機器等から入力される画像を圧縮符号化する装置であり、図１に示されるように、予測残差符号化部１０１と、符号列生成部１０２と、予測残差復号化部１０３と、面内予測部１０４と、フレームメモリ１０５と、動き検出部１０６と、動き補償部１０７と、動きベクトル記憶部１０８と、時間的ダイレクトモード処理部１０９と、空間的ダイレクトモード処理部１１０と、ダイレクト処理判定部１１１と、減算部１１２と、モード選択部１１３と、加算部１１４と、フレームメモリ１１５と、時間的ダイレクトモード禁止判定部１１６と、モード選択部１２１とを備える。

動き検出部１０６は、符号化済みの再構成画像データを参照ピクチャとして用いて、そのピクチャ内の探索領域において最適と予測される位置を示す動きベクトルの検出を行う。

動き補償部１０７は、動き検出部１０６で検出された動きベクトルを用いてブロックの画面間符号化における符号化モードを決定し、この符号化モードに基づいて予測画像データを生成する。この符号化モードは、マクロブロックをどのような方法で符号化するか示すものである。

動きベクトル記憶部１０８は、動き検出部１０６で検出された動きベクトルを記憶する。

時間的ダイレクトモード禁止判定部１１６は、符号化対象の動画像情報から時間的ダイレクトモードの使用の可否、つまり時間的ダイレクトモードの使用禁止の可否を判定し、判定結果をダイレクト処理判定部１１１に通知する。

ダイレクト処理判定部１１１は、時間的ダイレクトモード禁止判定部１１６の通知を元に、符号化対象画像に対して、ダイレクト符号化モードとして時間的ダイレクトモードを使用するのか、時間的ダイレクトモード以外の処理を用いて予測符号化を行うのかの判定を行う。

時間的ダイレクトモード処理部１０９は、ダイレクト符号化モードが時間的ダイレクトモードである場合に、動きベクトル記憶部１０８に記憶してある符号化対象画像の表示時間的に近傍に位置する既に符号化済み画像の符号化対象ブロックと同じ位置にあるブロックの動きベクトルを参照して、スケーリング処理を行い動きベクトルの予測を行う。

空間的ダイレクトモード処理部１１０は、ダイレクト符号化モードが空間的ダイレクトモードである場合に、動きベクトル記憶部１０８に記憶してある符号化対象ブロックの符号化済み隣接ブロックの動きベクトルを参照して動きベクトルの予測を行う。

モード選択部１２１は、時間的ダイレクトモード処理部１０９の判定結果に基づいて、時間的ダイレクトモード処理部１０９による動きベクトルの予測と空間的ダイレクトモード処理部１１０による動きベクトルの予測とのいずれかを、動き補償部１０７に出力する。

面内予測部１０４は、面内予測の符号化モードとして符号化対象ブロックの隣接画素を利用して予測画像データを生成する。

モード選択部１１３は、動き補償部１０７が決定した画面間予測の符号化モードと、面内予測部１０４の符号化モードにおいて、符号化効率の良いモードを選択する。

減算部１１２は、フレームメモリ１１５より読み出された画像データと動き補償部１０７、もしくは面内予測部１０４の予測画像データとの差分を演算し、予測残差画像データを生成する。

予測残差符号化部１０１は、入力された予測残差画像データに対して周波数変換や量子化等の符号化処理を行い、符号化データを生成する。

符号列生成部１０２は、入力された符号化データに対して可変長符号化等を行い、さらにモード選択部１１３から入力される符号化モード情報等を付加することにより符号列を生成する。

予測残差復号化部１０３は、入力された符号化データに対して、逆量子化や逆周波数変換等の復号化処理を行い、符号化データを生成する。

加算部１１４は、予測残差復号化部１０３より入力された復号化差分画像データと、モード選択部１１３が選択したモードの予測画像データとを加算して再構成画像データを生成する。

フレームメモリ１０５は、加算部１１４で生成された再構成画像データを格納する。
次に、上記のように構成された動画像符号化装置１００ａの動作について説明する。

図２は、フレームメモリ１１５におけるピクチャの順序を示す説明図であり、特に図２（ａ）は入力された順序を、図２（ｂ）は並び替えられた順序を、それぞれ示す説明図である。ここで、縦線はピクチャを示し、各ピクチャの右下に示される記号は１文字目のアルファベットがピクチャタイプ（Ｉ、Ｐ、Ｂ）を示し、２文字目以降の数字は表示時間順のピクチャ番号を示している。またＰピクチャは、表示時間順で前方にある近傍のＩピクチャ又はＰピクチャを参照ピクチャとし、Ｂピクチャは、表示時間順で前方にある近傍のＩピクチャ、Ｐピクチャ、参照可能なＢピクチャと、表示時間順で後方にある近傍の１枚のＩピクチャ又はＰピクチャを参照ピクチャとして用いるものとしている。

入力画像は、例えば図２（ａ）に示されるように表示時間順にピクチャ単位でフレームメモリ１１５に入力される。フレームメモリ１１５に入力された各ピクチャは、符号化するピクチャタイプが決定されると、例えば図２（ｂ）に示されるように符号化が行われる順に並び替えられる。この符号化順への並び替えは、画面間予測符号化における参照関係に基づいて行われ、参照ピクチャとして用いられるピクチャが先に符号化されるように並び替えられる。

フレームメモリ１１５で並び替えが行われた各ピクチャは、例えば水平１６×垂直１６画素のグループに分割されたマクロブロック単位で読み出される。また、動き補償および動き検出は、例えば水平１６×垂直１６画素、水平８×垂直１６画素、水平１６×垂直８画素、水平８×垂直８画素のグループに分割されたブロック単位で行っている。

以降の動作については、符号化対象のピクチャがＢピクチャである場合について説明する。

Ｂピクチャでは、２方向参照を用いた画面間予測符号化を行っている。例えば、図２（ａ）に示される例でピクチャＢ１１の符号化処理を行う場合、表示時間順で前方にある参照ピクチャはピクチャＰ１０、Ｐ７、Ｐ４、表示時間順で後方にある参照ピクチャはピクチャＰ１３となる。ここでは、Ｂピクチャが他のピクチャの符号化時に、参照ピクチャとして用いられない場合を考える。

フレームメモリ１１５より読み出されたピクチャＢ１１のマクロブロックは、動き検出部１０６および減算部１１２に入力される。動き検出部１０６はフレームメモリ１０５に格納された参照ピクチャを用いて、マクロブロック内の各ブロックに対して前方動きベクトルと後方動きベクトルの検出を行う。ここでは、フレームメモリ１０５に格納されたピクチャＰ１０、Ｐ７、Ｐ４の再構成画像データを前方参照ピクチャとして、ピクチャＰ１３の再構成画像データを後方参照ピクチャとして用いることになる。動き検出部１０６は検出した動きベクトルを動き補償部１０７に対して出力する。

動き補償部１０７は動き検出部１０６で検出された動きベクトルを用いて、マクロブロックの画面間予測における符号化モードを決定する。ここでＢピクチャの画面間符号化モードは、例えば前方動きベクトルを用いた画面間予測符号化、後方動きベクトルを用いた画面間予測符号化、双方向動きベクトルを用いた画面間予測符号化、ダイレクトモードの中から、いずれの方法で符号化するかを選択することができるものとする。ダイレクトモードはダイレクト処理判定部１１１で時間的ダイレクトモード、又は空間的ダイレクトモードのどちらを用いるかをある特定の単位で決めている。なお、上記のある特定の単位とは、スライス単位、ピクチャ単位、ＧＯＰ単位、シーケンス単位など、スライスよりも大きな単位であればどのようなものでもよい。

モード選択部１１３は動き補償部１０７で決定した画面間予測の符号化モードと面内予測部１０４で決定した面内予測の符号化モードを入力として、最も符号化効率が高くなる符号化モードを選択し、そのモードがそのマクロブロックの符号化モードとなる。

次に、時間的ダイレクトモード禁止判定部１１６における処理の動作を説明する。この時間的ダイレクトモード禁止判定の動作は、以下に説明する方法１によって行うことができる。

（方法１）
図３は、方法１による時間的ダイレクトモード禁止判定の動作を示すフローチャートである。

時間的ダイレクトモード禁止判定部１１６は、符号化対象の動画像情報を元に判定を行う。まず、時間的ダイレクトモード禁止判定部１１６は、符号化対象の動画像を構成しているピクチャの時間間隔が一定か否かを判定する（ステップＳ２０１）。一定でない場合（ステップＳ２０１でＮＯ）、時間的ダイレクトモード禁止判定部１１６は、時間的ダイレクトモードの使用を禁止する（ステップＳ２０２）。ここで、時間間隔が一定でない場合は、例えばコマ落ちが発生した場合に生じる。一方、一定の場合（ステップＳ２０１でＹＥＳ）、時間的ダイレクトモード禁止判定部１１６は、時間的ダイレクトモードの使用を許可する（ステップＳ２０３）。そして、時間的ダイレクトモード禁止判定部１１６は、時間的ダイレクトモードの使用の可否をダイレクト処理判定部１１１に通知する。

なお、上記のステップＳ２０１での判定は、符号化装置に与えられるピクチャ毎の時間情報を用いて行ってもよく、もしくは符号化装置に与えられる時間間隔が一定であるかどうかの情報を用いて行ってもよく、もしくは符号化装置が入力されたピクチャ毎に実際に符号化を行なったかそれとも符号化をスキップしたかを判別することによって得られる時間間隔情報を用いて行ってもよい。つまり、外部からの情報であってもよく、内部の時間管理部１２０で得られた情報であってもよい。

なお、本実施の形態における時間的ダイレクトモード禁止判定処理は、ピクチャ単位で行っても、もしくは複数のピクチャを１つのグループにしたＧＯＰ単位で行なっても、もしくはある特定のピクチャで区切られるシーケンス単位で行なっても、もしくは符号化対象の動画像列全体であるストリーム単位で行なってもよい。つまり、時間的ダイレクトモードを禁止する範囲は、参照ピクチャと符号化対象のピクチャとの間にコマ落ちが発生している場合の最小の範囲だけ禁止してもよく、最小の範囲を超えたタイムスケールにおいてコマ落ちが発生している場合の広い範囲の単位についても禁止するようにしてもよい。

以上の方法１により、時間的ダイレクトモード符号化の動きベクトル予測におけるスケーリング処理によって、予測精度の低い動きベクトルを算出することがなくなり、画質の劣化を防ぐことができる。

（実施の形態２）
次いで、本発明の他の実施の形態について説明する。

図４は、本発明の実施の形態２における動画像符号化装置１００ｂの機能構成を示すブロック図である。なお、同図にはテレシネ変換装置２００も併せて図示されている。また、図１に示される動画像符号化装置１００ａの構成と対応する動画像符号化装置１００ｂの部分に同じ番号を付し、その説明を省略し、異なる部分を詳細に説明する。

ここで、この動画像符号化装置１００ｂにおいては、テレシネ変換装置２００等から受け取った符号化対象の動画像情報に基づいて、時間的ダイレクトモード禁止判定部１１６が、符号化対象がピクチャの表示時間間隔の変換を行った動画像であるか否かを判断するように構成されている点が、図１に示される動画像符号化装置１００ａの構成と異なっている。

次に、上記のように構成された動画像符号化装置１００ｂの動作について説明する。

（方法２）
図５は、方法２による時間的ダイレクトモード禁止判定の動作を示すフローチャートである。

時間的ダイレクトモード禁止判定部１１６は、符号化対象の動画像情報を元に判定を行う。まず、符号化対象がピクチャの表示時間間隔の変換を行った動画像か否かを判定する（ステップＳ３０１）。変換を行った動画像の場合（ステップＳ３０１でＹＥＳ）、時間的ダイレクトモード禁止判定部１１６は、時間的ダイレクトモードの使用を禁止する（ステップＳ３０２）。一方、変換を行っていない動画像の場合（ステップＳ３０１でＮＯ）、時間的ダイレクトモード禁止判定部１１６は、時間的ダイレクトモードの使用を許可する（ステップＳ３０３）。そして、時間的ダイレクトモードの使用の可否をダイレクト処理判定部１１１に通知する。

なお、ここではピクチャの表示時間間隔の変換を判定に用いたが、表示時間間隔の変換をテレシネ変換（２−３変換）に限定しても良い。

また、上記のステップＳ３０１での判定に用いるピクチャの表示時間間隔の変換を行ったかどうかを示す情報は、符号化装置の外部のテレシネ変換装置２００から与えられてもよく、動画像符号化装置１００ａ内部で画像の特徴からピクチャの表示時間間隔の変換を行ったかどうかを決定してもよい。

また、テレシネ変換（２−３変換）を行なった場合、通常テレシネ変換された全範囲について時間的ダイレクトモードの使用を禁止するようにしてもよいが、符号化対象ピクチャと時間的ダイレクトモードで動きベクトルの参照を行なうピクチャとの位置関係によっては、表示時間間隔の変換の変換前と変換後で時間間隔の関係が同じになっている場合がある。つまり、時間間隔のスケーリングに支障がない場合がある。そのような条件を検出し、上記条件に該当する場合は、従来どおり時間的ダイレクトモードを使用することを許可するような判定処理としてもよい。

以上の方法２により、時間的ダイレクトモード符号化の動きベクトル予測におけるスケーリング処理によって、予測精度の低い動きベクトルを算出することがなくなり、画質の劣化を防ぐことができる。

（実施の形態３）
次いで、本発明のさらに他の実施の形態について説明する。

図６は、本発明の実施の形態３における動画像符号化装置１００ｃの機能構成を示すブロック図である。なお、図１，図４に示される動画像符号化装置１００ａ，１００ｂの構成と対応する動画像符号化装置１００ｃの部分に同じ番号を付し、その説明を省略し、異なる部分を詳細に説明する。

ここで、この動画像符号化装置１００ｃにおいては、例えばモード選択部１１３から送られてくる参照ピクチャの種別に基づいて、時間的ダイレクトモード禁止判定部１１６が時間ダイレクトモードで動きベクトルの参照に用いる符号化済みピクチャがＩピクチャであるか否か判定するように構成されている点が、図１，図４に示される動画像符号化装置１００ａ，１００ｂの構成と異なっている。

次に、上記のように構成された動画像符号化装置１００ｃの動作について説明する。

（方法３）
図７は、方法３による時間的ダイレクトモード禁止判定の動作を示すフローチャートである。

時間的ダイレクトモード禁止判定部１１６は、符号化対象の動画像情報を元に判定を行う。まず、時間的ダイレクトモード禁止判定部１１６は、時間的ダイレクトモードで動きベクトルの参照に用いる符号化済みピクチャはＩピクチャか否かを判定する（ステップＳ４０１）。この判定は、例えば、モード選択部１１３から送られてくる参照ピクチャの種別によって行われる。Ｉピクチャの場合（ステップＳ４０１でＹＥＳ）、時間的ダイレクトモード禁止判定部１１６は、時間的ダイレクトモードの使用を禁止する（ステップＳ４０２）。

一方、Ｉピクチャでない場合（ステップＳ４０１でＮＯ）、時間的ダイレクトモード禁止判定部１１６は、時間的ダイレクトモードの使用を許可する（ステップＳ４０３）。そして、時間的ダイレクトモード禁止判定部１１６は、時間的ダイレクトモードの使用の可否をダイレクト処理判定部１１１に通知する。

以上の方法３により、時間的ダイレクトモード符号化の動きベクトル予測におけるスケーリング処理によって、予測精度の低い動きベクトルを算出することがなくなり、画質の劣化を防ぐことができる。

（実施の形態４）
実施の形態１から３では、方法１から３を別々な方法として説明したが、これらの方法を少なくとも２つ組み合わせて実施するようにしても良い。以下ではその例として、方法２と方法３とを組み合わせた場合を説明する。

図８は、本発明の実施の形態４における動画像符号化装置１００ｄのブロック図である。なお、図１，図４，図６に示される動画像符号化装置１００ａ，１００ｂ，１００ｃの構成と対応する動画像符号化装置１００ｄの部分に同じ番号を付し、異なる部分を詳細に説明する。

ここで、この動画像符号化装置１００ｄは、上記の方法２と方法３とを組み合わせて行うように構成されている点が、図１，図４，図６に示される動画像符号化装置１００ａ，１００ｂ，１００ｃの構成と異なっている。

次に、上記のように構成された動画像符号化装置１００ｄの動作について説明する。
図９は、方法２と方法３を組みせた場合のフローチャートである。

まず、時間的ダイレクトモード禁止判定部１１６は、符号化対象がピクチャの表示時間間隔の変換を行った動画像であるか否かを判定する（ステップＳ５０１）。変換を行った動画像の場合（ステップＳ５０１でＹＥＳ）、時間的ダイレクトモード禁止判定部１１６は、時間的ダイレクトモードの使用を禁止する（ステップＳ５０３）。一方、変換を行っていない動画の場合（ステップＳ５０１でＮＯ）、時間的ダイレクトモード禁止判定部１１６は、時間的ダイレクトモードで動きベクトルの参照に用いる符号化済みピクチャはＩピクチャか否かを判定する（ステップＳ５０２）。Ｉピクチャの場合（ステップＳ５０２でＹＥＳ）、時間的ダイレクトモード禁止判定部１１６は、時間的ダイレクトモードの使用を禁止する（ステップＳ５０３）。

一方、Ｉピクチャでない場合（ステップＳ５０２でＮＯ）、時間的ダイレクトモード禁止判定部１１６は、時間的ダイレクトモードの使用を許可する（ステップＳ５０４）。

そして、時間的ダイレクトモード禁止判定部１１６は、時間的ダイレクトモードの使用の可否をダイレクト処理判定部１１１に通知する。

このような方法で、方法１と方法２と方法３、方法１と方法２、方法１と方法３を組み合わせることにより、時間的ダイレクトモード符号化の動きベクトル予測におけるスケーリング処理によって、予測精度の低い動きベクトルを算出する頻度がさらに少なくでき、画質の劣化を防ぐことができる。ここで、例えば図９では、ステップＳ５０１、Ｓ５０２の順番に処理したが、この逆の順番に処理してもよく、他の組み合わせにおいても処理の順番の如何は限定されるものではない。

（実施の形態５）
さらに、上記各実施の形態１〜４で示した動画像符号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１０は、上記各実施の形態の動画像符号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図１０（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、およびフレキシブルディスクを示し、図１０（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図１０（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。動画像符号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより動画像符号化方法を実現する上記動画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

なお、上記各実施の形態で示した動画像符号化方法を実現するための処理を集積回路であるＬＳＩとして実現してもよい。これらは一部又は全てを含むように１チップ化されてもよい。

ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらに、半導体技術の進歩又は派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

また、上記実施の形態では、動画像符号化装置１００ａの外部にテレシネ変換装置２００を設けるようにしたが、動画像符号化装置１００ａの内部にテレシネ変換装置２００を設けて実施するようにしてもよい。

本発明に係る動画像符号化方法は、例えばＤＶＤ装置、携帯電話、およびパーソナルコンピューター等で、動画像を構成する各ピクチャを符号化して符号列を生成する方法として有用である。

本発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図である。 ピクチャメモリにおけるピクチャの順序を示す図であり、図２（ａ）は入力された順序を示す図であり、図２（ｂ）は並び替えられた順序を示す図である。 時間的ダイレクトモード禁止判定部での方法１による時間的ダイレクトモードの使用の可否を決定する動作を示すフローチャートである。 本発明の実施の形態２に係る動画像符号化装置の構成を示すブロック図である。 時間的ダイレクトモード禁止判定部での方法２による時間的ダイレクトモードの使用の可否を決定する動作を示すフローチャートである。 本発明の実施の形態３に係る動画像符号化装置の構成を示すブロック図である。 時間的ダイレクトモード禁止判定部での方法３による時間的ダイレクトモードの使用の可否を決定する動作を示すフローチャートである。 本発明の実施の形態４に係る動画像符号化装置の構成を示すブロック図である。 時間的ダイレクトモード禁止判定部での方法２と方法３の組み合わせによる時間的ダイレクトモードの使用の可否を決定する動作を示すフローチャートである。 実施の形態１〜４の動画像符号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。 時間的ダイレクトモードにおける動きベクトルの予測生成方法を示す模式図である。 空間的ダイレクトモードにおける動きベクトルの予測生成方法を示す模式図である。 テレシネ変換（２−３変換）の例を示す図である。 テレシネ変換（２−３変換）した動画像における時間的ダイレクトモードの動きベクトル予測の例を示す図である。 テレシネ変換（２−３変換）した動画像における時間的ダイレクトモードの動きベクトル予測の例を示す図である。

符号の説明

１００ａ，１００ｂ，１００ｃ，１００ｄ 動画像符号化装置
１０１ 予測残差符号化部
１０２ 符号列生成部
１０３ 予測残差復号化部
１０４ 面内予測部
１０５，１１５ フレームメモリ
１０６ 動き検出部
１０７ 動き補償部
１０８ 動きベクトル記憶部
１０９ 時間的ダイレクトモード処理部
１１０ 空間的ダイレクトモード処理部
１１１ ダイレクト処理判定部
１１２ 減算部
１１３ モード選択部
１１４ 加算部
１１６ 時間的ダイレクトモード禁止判定部
１２０ 時間管理部
１２１ モード選択部
２００ テレシネ変換装置

Claims (9)

1. 時間的に前方又は後方にある符号化済みのピクチャを複数、参照して予測符号化を行うＢピクチャを含む動画の符号化方法であって、
   前記Ｂピクチャのダイレクトモード処理として、時間的に近傍にある符号化済みピクチャの有する動きベクトルを参照して、対象ブロックの動きベクトルを予測して生成する時間的ダイレクトモード処理ステップと、
   符号化対象の条件によって、前記時間的ダイレクトモードの使用の禁止を判定する時間的ダイレクトモード禁止判定ステップとを含み、
   前記判定ステップで時間的ダイレクトモードが禁止された場合に、前記符号化対象に対して前記時間的ダイレクトモード処理ステップ以外の処理ステップを用いて前記予測符号化を行う
   ことを特徴とする動画像符号化方法。
2. 前記時間的ダイレクトモード処理ステップ以外の処理ステップには、前記Ｂピクチャのダイレクトモード処理として、前記対象ブロックの空間的周辺に位置する符号化済みブロックの有する動きベクトルを参照して、前記対象ブロックの動きベクトルを予測して生成する空間的ダイレクトモード処理ステップが含まれており、
   前記判定ステップで時間的ダイレクトモードが禁止された場合に、前記符号化対象に対して前記空間的ダイレクトモード処理ステップを用いて前記予測符号化を行う
   ことを特徴とする請求項１記載の動画像符号化方法。
3. 前記時間的ダイレクトモード禁止判定ステップにおいて、符号化対象を構成するピクチャの時間間隔が一定ではないと判定された場合に、前記時間的ダイレクトモードの使用を禁止すると判定される
   ことを特徴とする請求項１記載の動画像符号化方法。
4. 前記時間的ダイレクトモード禁止判定ステップにおいて、符号化対象がピクチャの表示時間間隔の変換を行ったものであると判定された場合に、前記時間的ダイレクトモードの使用を禁止すると判定される
   ことを特徴とする請求項１記載の動画像符号化方法。
5. 前記時間的ダイレクトモード禁止判定ステップにおいて、前記時間的ダイレクトモードで動きベクトルの参照に用いる符号化済みピクチャが画面内予測符号化を行うＩピクチャであると判定された場合に、時間的ダイレクトモードの使用を禁止すると判定される
   ことを特徴とする請求項１記載の動画像符号化方法。
6. 前記時間的ダイレクトモード禁止判定ステップにおいて、符号化対象を構成するピクチャの時間間隔が一定ではないと判定された場合、符号化対象がピクチャの表示時間間隔の変換を行ったものであると判定された場合、および前記時間的ダイレクトモードで動きベクトルの参照に用いる符号化済みピクチャが画面内予測符号化を行うＩピクチャであると判定された場合の少なくとも２つのうちのいずれかに該当するか否か判定し、前記少なくとも２つのうちのいずれかに該当する場合に、前記時間的ダイレクトモードの使用を禁止すると判定される
   ことを特徴とする請求項１記載の動画像符号化方法。
7. 時間的に前方又は後方にある符号化済みのピクチャを複数、参照して予測符号化を行うＢピクチャを含む動画の符号化装置であって、
   前記Ｂピクチャのダイレクトモードとして、時間的に近傍にある符号化済みピクチャの有する動きベクトルを参照して前記対象ブロックの動きベクトルを予測して生成する時間的ダイレクトモード処理手段と、
   符号化対象の条件によって、前記時間的ダイレクトモードの使用の禁止を判定する時間的ダイレクトモード禁止判定手段とを備え、
   前記判定手段で時間的ダイレクトモードが禁止された場合に、前記符号化対象に対して前記時間的ダイレクトモード処理手段以外の手段を用いて前記予測符号化を行う
   ことを特徴とする動画像符号化装置。
8. 請求項１に記載の動画像符号化方法に含まれるステップをコンピュータに実行させるプログラム。
9. 請求項７に記載の動画像符号化装置に含まれる手段を集積化した集積回路。

Images