JP5061355B2 - 画像符号化方法、装置およびプログラムならびに画像処理機器 - Google Patents

Description

本発明は、動画像を符号化・復号化する技術に関し、特に、少ない遅延時間により動画像の符号化・復号化を行う方法および装置に適用して有効な技術に関するものである。

従来から知られているＪＰＥＧ、ＭＰＥＧ−２に代表される動画像の符号化技術では、画像情報が一般的に持つ特性、すなわち隣接画素間とフレーム間に高い相関を持つという特性を利用し、更に人間の視覚にとって変化を知覚しにくい高周波成分などの冗長な情報を削減することにより、広い伝送帯域（例えば、ＨＤ−ＳＤＩ（High Definition Serial Digital Interface）では約１．５Ｇｂｐｓ）にある入力画像を、低い伝送帯域（例えば、地上波デジタル放送での約１５Ｍｂｐｓ）に適用させることができるようにしている。

このような技術としては、例えば、特開平５−３００４９２号公報（特許文献１）、特開平１１−４４３７号公報（特許文献２）、特開平１１−２３４６７１号公報（特許文献３）、特開２００３−３４８５３８号公報（特許文献４）などの技術が提案されている。

近年では、ＩＳＯ／ＭＰＥＧ（International Organization for Standardization / Moving Picture Experts Group）とＩＴＵ−Ｔ／ＶＣＥＧ（International Telecommunication Union - Telecommunication standardization sector / Video Coding Experts Group）の共同プロジェクトによって策定されたＨ．２６４／ＡＶＣ画像符号化方式がその圧縮率性能で広く使用されるに至っている。このＨ．２６４／ＡＶＣ規格については、例えば、Joint Video Team (JVT) of ISO / IEC MPEG & ITU-T VCEG : Text of ISO / IEC 14496-10 Advanced Video Coding 3rd Edition (2004).（非特許文献１）などに詳細に記載されている。

特開平５−３００４９２号公報 特開平１１−４４３７号公報 特開平１１−２３４６７１号公報 特開２００３−３４８５３８号公報

Joint Video Team (JVT) of ISO / IEC MPEG & ITU-T VCEG : Text of ISO / IEC 14496-10 Advanced Video Coding 3rd Edition (2004).

ところで、上記Ｈ．２６４／ＡＶＣ規格では、マクロブロックと呼ばれる１６×１６画素ブロック単位で符号化処理を行う。画面内あるいは画面間予測においては、１６×１６画素や、８×８画素、４×４画素等にマクロブロックをブロック単位に分割し、各ブロック単位で予測処理によって符号化を行うことが規定されている。この技術によると、入力画像の細かな動きあるいは模様に応じて、規定されている多数の予測モードを使い分けることによって、符号化効率を向上することができる。

以下、Ｈ．２６４／ＡＶＣ規格を例にして画面内予測処理と画面間予測処理の概要を説明する。

画面内予測は、同一画面内の隣接画素の画素相関を利用して圧縮率を向上させる方法である。例えば、画面内予測モードの一つであるＩｎｔｒａ４×４ＤＣ予測処理は、４×４画素単位での予測であり、該当４×４画素ブロックの上辺に隣接する４画素および左辺に隣接する４画素の計８画素の値の平均値を予測値として使用する。該当ブロックの各画素値と予測値との差分を変換し、量子化、可変長符号化を施して、ビットストリームに格納する。Ｈ．２６４／ＡＶＣにおける画面内予測モードは、４×４画素単位で８モード、８×８画素単位で８モード、１６×１６画素単位で４モード設定されている。なお、以上は輝度データに関してであり、色差データに関しては輝度とは別に４モードが設定されている。

画面間予測は、画像の画面間の画素相関を利用して圧縮率を向上させる方法である。例えば、前方予測モードの１つであるＰ４×４予測処理は、符号化対象ブロックに対して処理時間で前方（過去）に位置するピクチャの類似した領域を用いて予測画像を生成する。画面間予測は予測画素サイズに応じた複数の予測モードを有し、そのモードに従って予測画像が生成される。Ｈ．２６４／ＡＶＣでは、前方予測では、４×４画素、８×４画素、４×８画素、８×８画素、１６×８画素、８×１６画素、１６×１６画素、スキップの８種類のモードがある。また、双方向予測では２３種類の予測モードがある。これらの中から最も符号化コスト値が小さくなるモードを一つ選択して符号化を行う。

一般的に、画面内予測と画面間予測とでは、画面間予測の方がより高い精度の予測値が得られる。そのため、画面間予測の使用率を上げることにより各画素値と予測値との差分を小さくすることができ、高い圧縮率を得ることが可能となる。一方、画面間予測は予測値を算出するために他の画面を使用するため、対象画面の復号化の際に予測に使用した画面が復号化されていない場合は、正常に復号化できない。一般的には、画面内予測のみで構成されたピクチャ（Ｉピクチャ）を定期的に挿入し、復号化時に画面間予測で使用するピクチャの範囲を限定している。その結果、ランダムアクセスが可能となる。

また、ランダムアクセスを必要としない動画像ストリームに関しては、先頭のピクチャのみをＩピクチャとし、その他のピクチャは画面間予測を含むピクチャ（Ｐピクチャ）として構成し、最初のピクチャ以外での圧縮率を向上させる方法もある。しかしながらこの方法では、途中位置からの再生ができないことから、利用方法は限定されてしまう。

一方、画像符号化では、符号化および復号化時に遅延が発生することが一般的に知られている。画像符号化装置に画像を入力後、画像符号化装置より出力された符号を画像復号化装置に入力し、復号化処理を実行して表示を行うシステムなどにおいて、同一ピクチャの画像入力から表示までの時間差が遅延時間であり、一般的な画像符号化および復号化装置では、数１００ミリ秒から数秒程度の遅延となっている。昨今、非圧縮画像データとの同時使用などを目的として、例えば遅延時間が１６ミリ秒以下といったような、画像符号化および復号化の低遅延化の必要性が出てきている。

低遅延の画像符号化および復号化を実現するためには、データ発生量の変動を抑えることが必要である。一般に、画像データは、画像データ全体のデータ量から決定される固定のビットレートにより伝送され、伝送された画像データはバッファに格納されて処理される。

ここで、画像ピクチャのある領域においてビットレート以上の大量のビット量を生成した場合、当該領域については、処理の際にバッファ内にあるデータでは足りず、バッファへのデータの伝送待ちが生じてしまう。当該領域について全ての処理が完了しないと当該領域を表示することができないため、結果として画像全体の表示としては遅延時間が大きくなってしまう。つまり、遅延時間は想定される最大ビット発生量を処理する時間によって設定され、この時間は、ビットレートと最大ビット発生量との差、すなわち発生データの変動量に大きく影響されることになる。

従来の技術では、以下の３種類の方法で画像の符号化を行うことが考えられる。まず、一般的な画像符号化方法では、連続するＰピクチャの間に定期的にＩピクチャを挿入している。ＩピクチャはＰピクチャと比較して発生ビット量が多いため、遅延時間をＩピクチャの処理に合わせて設定する必要がある。この場合、データ発生量の変動が大きいため、遅延時間が増大することとなっていた。例えば、地上波デジタル放送では、０．５秒に１度の割合でＩピクチャ（Ｉフレーム）が挿入されることになっている。そのため、５００ミリ秒から数秒程度の符号化および復号化遅延が生じている。

別の方法として、全てＩピクチャにて符号を構成することも可能である。この場合、ビットレートが大きくなり、データ発生量の変動も小さいことから、遅延時間を低減することは可能である。しかしながらＩピクチャは一般的に予測精度がＰピクチャに比べて低いため圧縮率が低くなり、全てＩピクチャで構成した場合には圧縮率の向上が困難となる。

その他の方法として、先頭のピクチャのみＩピクチャとし、その他をＰピクチャとした構成が考えられるが、この方法では、前述したように途中位置からの再生ができず、利用方法が非常に限定されてしまう。

そこで本発明の目的は、低遅延かつ高圧縮で、ランダムアクセス可能な動画像の符号化を可能とする画像符号化方法および装置を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

本発明の代表的な実施の形態による画像符号化方法は、画像の符号化時に影響の有るピクチャの範囲の最大値を定義する値を設定しておき、予測処理時に該当ピクチャがどの程度時間的に離れた過去のピクチャからの影響を受けるかを管理し、実際に影響を受けるピクチャの範囲が上記で設定した値より少なくなるように制御を行うことを特徴とするものである。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

本発明の代表的な実施の形態によれば、定期的なＩピクチャの挿入を必要とせず、低遅延かつ高圧縮で、ランダムアクセス可能な動画像の符号化方法および装置を提供することが可能となる。

本発明の実施の形態１の画像符号化装置における処理モジュールの構成を示した図である。 本発明の実施の形態１の画像符号化装置における符号化処理モジュールの処理の流れを表したフローチャートである。 本発明の実施の形態１の画像符号化装置における影響ピクチャ数情報テーブルの概要を表した図である。 本発明の実施の形態１の画像符号化装置における画像符号化時に処理する順番でピクチャを並べた概念図である。 本発明の実施の形態１の画像符号化装置における画像出力開始ピクチャ数Ｎｓの設定時のフローチャートである。 本発明の実施の形態１の画像符号化装置における影響ピクチャ数情報テーブルの初期化動作を示すフローチャートである。 本発明の実施の形態１の画像符号化装置における予測処理実行時の影響ピクチャ数制御部の動作を示すフローチャートである。 本発明の実施の形態１の画像符号化装置における影響ピクチャ数情報テーブルの更新時の影響ピクチャ数制御部の動作を示すフローチャートである。 本発明の実施の形態２の画像符号化装置における影響ピクチャ数情報テーブルの概要を表した図である。 本発明の実施の形態２の画像符号化装置における参照に使用するピクチャの概念図である。 本発明の実施の形態２の画像符号化装置における予測処理実行時の影響ピクチャ数制御部の動作を示すフローチャートである。 本発明の実施の形態２の画像符号化装置における影響ピクチャ数情報テーブルの更新時の影響ピクチャ数制御部の動作を示すフローチャートである。

＜本発明の実施の形態の概要＞
動画像の符号化において、Ｐピクチャによる符号化の問題点は、該当ピクチャの処理がどの程度時間的に離れた各ピクチャの影響を受けるかが画素やブロック毎に異なるため不明な点にあり、この点が復号化時にランダムアクセスができない要因ともなっている。時間的に離れたピクチャの影響の有無を明確にすれば、影響のあるピクチャから復号化を開始することにより該当ピクチャが問題なく復号可能となり、ランダムアクセスが可能となる。

そこで、本発明の一実施の形態である画像符号化装置は、ピクチャ間の時間的距離をピクチャ番号の差分を基に算出したピクチャ数で把握し、画像の符号化時に影響の有るピクチャの範囲の最大値、すなわち、最大でもこれだけの数のピクチャを処理すれば、該当ピクチャを復号化して画像出力することができるという画像出力可能パラメータとして、画像出力開始ピクチャ数Ｎｓを設定しておく。さらに、予測処理時に該当ピクチャが実際にどの程度時間的に離れた過去のピクチャからの影響を受けるかという影響範囲情報として、影響ピクチャ数Ｎｅを算出して管理し、影響ピクチャ数Ｎｅが画像出力開始ピクチャ数Ｎｓより少なくなるように制御を行うものである。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。

＜実施の形態１＞
以下、本発明の実施の形態１である画像符号化装置（エンコーダ）について説明する。図１は、本実施の形態の画像符号化装置における処理モジュールの構成を示した図である。当該画像符号化装置は、例えばＬＳＩなどに実装され、テレビ／ビデオカメラ、ＤＶＤ／ＨＤＤレコーダ、携帯電話、デジタルカメラなど、動画像の符号化処理を行う種々の画像処理機器に搭載することができる。また、各処理モジュールの機能をコンピュータシステム上で稼動するソフトウェアとして実装することなども可能である。

本実施の形態の画像符号化装置における符号化処理モジュールは、予測部１０２、変換・量子化部１０３、可変長符号化部１０４、逆量子化・逆変換部１０５、フレームメモリ１０６、影響ピクチャ数制御部１０８、影響ピクチャ数情報テーブル１０９、Ｎｓ格納領域１１０を有する構成となっている。

入力画像１０１が予測部１０２に入力され、予測処理が行われる。予測処理の結果、予測部１０２から予測画像が出力され、入力画像１０１との差分が変換・量子化部１０３へ出力される。変換・量子化部１０３により変換・量子化されたデータは、可変長符号化部１０４にて符号化され、ビットストリーム１０７として出力される。一方、変換・量子化されたデータは、逆量子化・逆変換部１０５にて逆量子化・逆変換された後、予測画像と加算され、次段階での予測処理のためにフレームメモリ１０６に格納される。

Ｎｓ格納領域１１０は、画像出力可能パラメータである画像出力開始ピクチャ数Ｎｓ１１１を保持する手段であり、影響ピクチャ数情報テーブル１０９は、影響範囲情報である影響ピクチャ数Ｎｅを保持する手段であり、影響ピクチャ数制御部１０８は、符号化における予測処理時に参照ピクチャの範囲を制御する手段である。

予測部１０２は、予測処理実行時に、影響ピクチャ数制御部１０８より予測処理に使用する参照ピクチャの領域が使用可能であるかの情報を取得し、使用不可（ＮＧ）である場合は参照ピクチャとして使用しない。影響ピクチャ数制御部１０８は、予測部１０２から予測処理に使用する参照ピクチャの領域情報を取得し、該当領域の影響ピクチャ数情報を影響ピクチャ数情報テーブル１０９から取得する。取得した影響ピクチャ数情報と、Ｎｓ格納領域１１０に格納されている画像出力開始ピクチャ数Ｎｓ１１１とを比較し、影響ピクチャ数情報のほうが小さければＯＫ信号を、大きければＮＧ信号を予測部１０２に出力する。

次に、本実施の形態の画像符号化装置における処理の流れを説明する。図２は、本実施の形態の画像符号化装置における符号化処理モジュールの処理の流れを表したフローチャートである。

まず、画像符号化装置が初期化される（ステップ２０１）。次に、画像出力開始ピクチャ数Ｎｓ１１１がＮｓ格納領域１１０に入力される（ステップ２０２）。その後、影響ピクチャ数情報テーブル１０９を初期化する（ステップ２０３）。その際の初期値は、画像出力開始ピクチャ数Ｎｓ１１１より大きな値を用いる。

以下の部分は、符号化処理が終了するまでループ処理される。まず入力画像１０１が入力され（ステップ２０４）、予測部１０２が予測領域を設定する（ステップ２０５）。予測部１０２は、影響ピクチャ数制御部１０８から予測領域が使用可能（ＯＫ）か使用不可（ＮＧ）かの情報を取得し（ステップ２０６）、その判定を行う（ステップ２０７）。ＯＫの場合は、予測領域の予測誤差の評価を実施し（ステップ２０８）、ＮＧの場合は、予測領域の評価を実施せずに、その後、全予測領域の評価が終了したかの判定を行う（ステップ２０９）。全予測領域の評価が終了していない場合は、次の予測領域の設定（ステップ２０５）に戻る。なお、全予測領域が使用不可（ＮＧ）であった場合には、画面内予測とするなどの処理を行うことになる。

全予測領域の評価終了後に、決定した予測領域の情報に基づき、影響ピクチャ数情報テーブル１０９の更新を行う（ステップ２１０）。その後、入力画像１０１と予測値との差分値が生成され（ステップ２１１）、差分値に対して変換・量子化部１０３において変換・量子化処理を実施する（ステップ２１２）。変換・量子化データは、逆量子化・逆変換部１０５において逆量子化・逆変換され（ステップ２１３）、再構成画像としてフレームメモリ１０６に書き込まれる（ステップ２１４）。さらに変換・量子化データは、可変長符号化部１０４において可変長符号化処理され（ステップ２１５）、ビットストリーム１０７として出力される。この後、符号化処理の終了判定がされ（ステップ２１６）、終了でない場合は、画像の入力（ステップ２０４）に戻り、終了の場合は処理を終了する。

次に、本実施の形態の画像符号化装置における影響ピクチャ数情報テーブル１０９について説明する。図３は、本実施の形態の画像符号化装置における影響ピクチャ数情報テーブル１０９の概要を表した図である。本テーブルの各要素が持つビット数は、影響ピクチャ数の最大値に応じて規定される。本テーブルは、符号化対象画像の画素数と同数の要素を持つテーブルが参照ピクチャ数＋１以上用意される。１が足されているのは、現在符号化処理を行っているピクチャについての影響ピクチャ数情報を格納するテーブル分である。

現在符号化処理を行っているピクチャのテーブルを「０」、直前のピクチャのテーブルを「１」、２ピクチャ前のテーブルを「２」とし、以下、同様に扱う。影響ピクチャ数情報の格納は、図３に示す通り、各画素に対応する位置に格納し、例えば一番左上の画素についての影響ピクチャ数情報は、一番左上の位置（３０１）に格納される。

次に、本実施の形態の画像符号化装置における影響ピクチャ数Ｎｅについて説明する。図４は、本実施の形態の画像符号化装置における、画像符号化時に処理する順番でピクチャを並べた概念図である。現在符号化処理を行っているピクチャはピクチャ４０１であり、ピクチャ番号はｎとする。直前に処理を行ったピクチャはピクチャ４０２で、ピクチャ番号はｎ−１である。このように、符号化処理を行った順序に従ってピクチャ番号が付与されるものとする。

影響ピクチャ数Ｎｅは、該当領域が過去のどのピクチャまで遡って影響を受けているかを示す指標である。例えば、ピクチャ番号ｎ−１（ピクチャ４０２）の影響を受けている領域の影響ピクチャ数Ｎｅは１となる。また、ピクチャ番号ｎ−４（ピクチャ４０５）からピクチャ番号ｎ（ピクチャ４０１）までの影響を受けている領域の影響ピクチャ数Ｎｅは４となる。なお、ピクチャ番号ｎ（ピクチャ４０１）のみの影響を受けている領域の影響ピクチャ数Ｎｅは０とする。

次に、本実施の形態の画像符号化装置における画像出力開始ピクチャ数Ｎｓ１１１の設定について説明する。図５は、本実施の形態の画像符号化装置における画像出力開始ピクチャ数Ｎｓ１１１の設定時のフローチャートである。画像出力開始ピクチャ数Ｎｓ１１１が入力されると（ステップ５０１）、Ｎｓ格納領域１１０に画像出力開始ピクチャ数Ｎｓ１１１を格納し（ステップ５０２）、処理を終了する。

ここで、Ｎｓ格納領域１１０については、メモリやレジスタなどを用いることが考えられる。また、画像出力開始ピクチャ数Ｎｓ１１１は、当該画像符号化装置が実装された画像処理機器の操作により外部からユーザが入力・設定しても良いし、何らかの手法により算出して設定しても良い。また、画像符号化装置の構築時にＮｓ格納領域１１０にあらかじめ書き込んでおいても良く、その場合、本動作は不要となる。

次に、本実施の形態の画像符号化装置における影響ピクチャ数情報テーブル１０９の初期化について説明する。図６は、本実施の形態の画像符号化装置における影響ピクチャ数情報テーブル１０９の初期化動作を示すフローチャートである。まず、Ｎｓ格納領域１１０より画像出力開始ピクチャ数Ｎｓ１１１を取得する（ステップ６０１）。次に、画像出力開始ピクチャ数Ｎｓ１１１より大きな数値であるＮ、例えばＮ＝Ｎｓ＋１を用いて、本テーブルの該当領域、例えば図３の３０１の位置へＮを書き込む（ステップ６０２）。次に、全テーブルの全要素に対する書き込みが終了したかを判定する（ステップ６０３）。書き込みが終了していない場合はステップ６０２に戻って書き込みを継続し、終了している場合は処理を終了する。

次に、本実施の形態の画像符号化装置における予測処理実行時の影響ピクチャ数制御部１０８の動作について説明する。図７は、本実施の形態の画像符号化装置における予測処理実行時の影響ピクチャ数制御部１０８の動作を示すフローチャートである。ここでは、画面間予測において直前のピクチャを参照した場合について説明する。

まず、予測部１０２より予測領域の画素位置情報および予測モードを取得する（ステップ７０１）。予測モードは、画面内予測、画面間予測のいずれによる予測かという情報と、さらに画面間予測の場合はどのピクチャを参照しているかの情報を含む。本実施の形態の画像符号化装置では、予測ピクチャは直前のピクチャとしている。次に、予測モードを判定し（ステップ７０２）、画面間予測である場合は、影響ピクチャ数情報テーブル１０９の「１」のテーブルを選択し（ステップ７０４）、画面間予測でない場合は、「０」のテーブルを選択する（ステップ７０３）。

次に、取得した予測領域の画素位置情報に基づき、選択したテーブルの対応する画素位置の影響ピクチャ数Ｎｅを取得する（ステップ７０５）。その後、予測モードを判定し（ステップ７０６）、画面間予測の場合は、影響ピクチャ数Ｎｅに１を加算する（ステップ７０７）。ここで、予測領域の全画素位置の処理が終了したかを判定し（ステップ７０８）、終了していない場合は、次の画素位置についての予測モードの判定（ステップ７０２）に戻る。

全画素位置の処理が終了した場合は、影響ピクチャ数Ｎｅの最大値Ｎｅ＿ｍａｘを算出し（ステップ７０９）、画像出力開始ピクチャ数Ｎｓ１１１を取得して（ステップ７１０）、Ｎｅ＿ｍａｘと画像出力開始ピクチャ数Ｎｓ１１１との比較を行う（ステップ７１１）。Ｎｅ＿ｍａｘ＜Ｎｓの場合にはＯＫ信号を出力し（ステップ７１２）、Ｎｅ＿ｍａｘ＜Ｎｓでない場合にはＮＧ信号を出力して（ステップ７１３）、処理を終了する。

次に、本実施の形態の画像符号化装置における影響ピクチャ数情報テーブル１０９の更新時の影響ピクチャ数制御部１０８の動作について説明する。図８は、本実施の形態の画像符号化装置における影響ピクチャ数情報テーブル１０９の更新時の影響ピクチャ数制御部１０８の動作を示すフローチャートである。ここでは、画面間予測において直前のピクチャを参照した場合について説明する。

まず、予測部１０２より予測領域の画素位置情報および予測モードを取得する（ステップ８０１）。予測モードは、画面内予測、画面間予測のいずれによる予測かという情報と、さらに画面間予測の場合はどのピクチャを参照しているかの情報を含む。本実施の形態の画像符号化装置では、予測ピクチャは直前のピクチャとしている。次に、予測モードを判定し（ステップ８０２）、画面間予測である場合は、影響ピクチャ数情報テーブル１０９の「１」のテーブルを選択し（ステップ８０４）、画面間予測でない場合は、「０」のテーブルを選択する（ステップ８０３）。

次に、取得した予測領域の画素位置情報に基づき、選択したテーブルの対応する画素位置の影響ピクチャ数Ｎｅを取得する（ステップ８０５）。その後、予測モードを判定し（ステップ８０６）、画面間予測の場合は、影響ピクチャ数Ｎｅに１を加算する（ステップ８０７）。その後、処理結果の影響ピクチャ数Ｎｅを、影響ピクチャ数情報テーブル１０９の「０」のテーブルにおける該当の処理画素位置に書き込む（ステップ８０８）。次に、予測領域の全画素位置の処理が終了したかを判定する（ステップ８０９）。終了していない場合は、次の画素位置についての予測モードの判定（ステップ８０２）に戻り、終了している場合は処理を終了する。

以上に説明したように、本実施の形態の画像符号化装置では、画像出力開始ピクチャ数Ｎｓ１１１を設定しておき、予測処理時に該当ピクチャが実際に影響を受ける影響ピクチャ数Ｎｅを画素単位で算出して管理し、影響ピクチャ数Ｎｅが画像出力開始ピクチャ数Ｎｓ１１１より少なくなるように制御を行う。これにより、画像符号化時のデータ発生量の変動を抑え、定期的なＩピクチャの挿入を必要とせず、低遅延かつ高圧縮で、ランダムアクセス可能な画像の符号化を行うことができる。

なお、本実施の形態では、画面間予測時の参照ピクチャとして直前のピクチャを使用する場合のみについて説明したが、予測に使用するピクチャは直前に限定する必要はなく、Ｈ．２６４／ＡＶＣにおけるマルチリファレンスのように、双方向を含む複数の参照ピクチャであっても良い。

また、本実施の形態では、画像出力開始ピクチャ数Ｎｓ１１１に対する画像符号化装置側の処理について説明したが、画像出力開始ピクチャ数Ｎｓ１１１をビットストリーム１０７に格納し、画像復号化装置側に送信しても良い。その場合、画像復号化装置は画像出力開始ピクチャ数Ｎｓ１１１を利用して画像出力のタイミングを調整することが可能となる。

＜実施の形態２＞
以下、本発明の実施の形態２である画像符号化装置（エンコーダ）について説明する。画像符号化装置の処理モジュールの構成は、実施の形態１での図１の構成と同様であるので、ここでの再度の説明は省略する。

まず、本実施の形態の画像符号化装置における影響ピクチャ数情報テーブル１０９について説明する。図９は、本実施の形態の画像符号化装置における影響ピクチャ数情報テーブル１０９の概要を表した図である。本テーブルの各要素が持つビット数は、影響ピクチャ数の最大値に応じて規定される。

本実施の形態の画像符号化装置における影響ピクチャ数情報テーブル１０９では、実施の形態１と異なり、ブロック単位で影響ピクチャ数情報の格納を行い、例えば、４画素×４画素を１ブロックとした場合は、４画素×４画素単位に１つのテーブルの要素を有する。従って、符号化対象ピクチャのブロック数と同数の要素を持つテーブルが参照ピクチャ数＋１以上用意される。１が足されているのは現在符号化処理を行っているピクチャについての影響ピクチャ数情報を格納するテーブル分である。

現在符号化処理を行っているピクチャのテーブルを「０」、直前のピクチャのテーブルを「１」、２ピクチャ前のテーブルを「２」とし、以下、同様に扱う。影響ピクチャ数情報の格納は、図９に示す通り、各ブロックに対応する位置に格納し、例えば４画素×４画素をブロックとした場合は、一番左上の４画素×４画素についての影響ピクチャ数情報は、一番左上の位置（９０１）に格納される。

次に、本実施の形態の画像符号化装置における影響ピクチャ数Ｎｅの決定について説明する。本実施の形態の画像符号化装置では、画素ではなくブロックを単位として影響ピクチャ数Ｎｅを扱うために以下の処理が必要である。

図１０は、本実施の形態の画像符号化装置における、参照に使用するピクチャの概念図である。参照ピクチャ１００１は、影響ピクチャ数Ｎｅを管理する単位となるブロックと同じ画素数で構成するブロックに分割する。ブロック１００３〜１００６はその一部を示している。例えば、現在符号化処理を行っている対象領域が参照する領域が、図１０の領域１００２であったとする。領域１００２は、図１０に示す通り、ブロック１００３〜１００６の影響を受ける。ブロック単位での管理を行うために、影響ピクチャ数Ｎｅはブロックで１つの値とする必要がある。そこで、関係ブロック（ブロック１００３〜１００６）の影響ピクチャ数Ｎｅの最大値を選択して、領域１００２についての影響ピクチャ数Ｎｅとして使用する。

次に、本実施の形態の画像符号化装置における予測処理実行時の影響ピクチャ数制御部１０８の動作について説明する。図１１は、本実施の形態の画像符号化装置における予測処理実行時の影響ピクチャ数制御部１０８の動作を示すフローチャートである。ここでは、画面間予測において直前のピクチャを参照した場合について説明する。

まず、予測部１０２より予測領域の画素位置情報および予測モードを取得する（ステップ１１０１）。予測モードは、画面内予測、画面間予測のいずれによる予測かという情報と、さらに画面間予測の場合はどのピクチャを参照しているかの情報を含む。本実施の形態の画像符号化装置では、予測ピクチャは直前のピクチャとしている。次に、予測モードを判定し（ステップ１１０２）、画面間予測である場合は、影響ピクチャ数情報テーブル１０９の「１」のテーブルを選択し（ステップ１１０４）、画面間予測でない場合は、「０」のテーブルを選択する（ステップ１１０３）。

次に、取得した予測領域の画素位置情報から予測領域の該当ブロックの位置を算出し（ステップ１１０５）、該当ブロック位置に基づき、選択したテーブルの対応するブロック位置の影響ピクチャ数Ｎｅを取得する（ステップ１１０６）。その後、予測モードを判定し（ステップ１１０７）、画面間予測時には、影響ピクチャ数Ｎｅに１を加算する（ステップ１１０８）。ここで、予測領域の全画素位置の処理が終了したかを確認し（ステップ１１０９）、終了していない場合は、次の画素位置についての予測モードの判定（ステップ１１０２）に戻る。

全画素位置の処理が終了した場合は、影響ピクチャ数Ｎｅの最大値Ｎｅ＿ｍａｘを算出し（ステップ１１１０）、画像出力開始ピクチャ数Ｎｓ１１１を取得して（ステップ１１１１）、Ｎｅ＿ｍａｘと画像出力開始ピクチャ数Ｎｓ１１１との比較を行う（ステップ１１１２）。Ｎｅ＿ｍａｘ＜Ｎｓの場合にはＯＫ信号を出力し（ステップ１１１３）、Ｎｅ＿ｍａｘ＜Ｎｓでない場合にはＮＧ信号を出力して（ステップ１１１４）、処理を終了する。

次に、本実施の形態の画像符号化装置における影響ピクチャ数情報テーブル１０９の更新時の影響ピクチャ数制御部１０８の動作について説明する。図１２は、本実施の形態の画像符号化装置における影響ピクチャ数情報テーブル１０９の更新時の影響ピクチャ数制御部１０８の動作を示すフローチャートである。ここでは、画面間予測において直前のピクチャを参照した場合について説明する。

まず、予測部１０２より予測領域の画素位置情報および予測モードを取得する（ステップ１２０１）。予測モードは、画面内予測、画面間予測のいずれによる予測かという情報と、さらに画面間予測の場合はどのピクチャを参照しているかの情報を含む。本実施の形態の画像符号化装置では、予測ピクチャは直前のピクチャとしている。次に、予測モードを判定し（ステップ１２０２）、画面間予測である場合は、影響ピクチャ数情報テーブル１０９の「１」のテーブルを選択し（ステップ１２０４）、画面間予測でない場合は、「０」のテーブルを選択する（ステップ１２０３）。

次に、取得した予測領域の画素位置情報から予測領域の該当ブロックの位置を算出し（ステップ１２０５）、該当ブロック位置に基づき、選択したテーブルの対応するブロック位置の影響ピクチャ数Ｎｅを取得する（ステップ１２０６）。その後、予測モードを判定し（ステップ１２０７）、画面間予測の場合は、影響ピクチャ数Ｎｅに１を加算する（ステップ１２０８）。その後、処理結果の影響ピクチャ数Ｎｅを、一時的に保存しておく（ステップ１２０９）。このとき、処理結果の影響ピクチャ数Ｎｅが、すでに保存されている影響ピクチャ数Ｎｅよりも大きい場合のみ上書き保存することで、最終的に予測領域での影響ピクチャ数Ｎｅの最大値が保持されるようにすることができる。

ここで、予測領域の全画素位置の処理が終了したかを判定し（ステップ１２１０）、終了していない場合は、次の画素位置についての予測モードの判定（ステップ１２０２）に戻る。全画素位置の処理が終了している場合は、ステップ１２０９にて一時的に保存してある影響ピクチャ数Ｎｅの最大値を、影響ピクチャ数情報テーブル１０９の「０」のテーブルにおける該当の処理ブロック位置に書き込んで（ステップ１２１１）、処理を終了する。

なお、本実施の形態の画像符号化装置では、予測領域における影響ピクチャ数Ｎｅの最大値を求める際に、予測領域の各画素について該当ブロック位置を算出し、そのブロック位置での影響ピクチャ数Ｎｅを取得して、予測領域の全画素位置における最大値を求める方法をとっているが、この方法は一例であり、これに限られるものではない。

このように、ブロック単位で影響ピクチャ数情報の管理を行うことにより、実施の形態１での画素単位での影響ピクチャ数情報の管理と比較して、予測精度は劣るが、影響ピクチャ数情報テーブル１０９の容量を小さくすることが可能となる。

以上に説明したように、本実施の形態における画像符号化装置では、画像出力開始ピクチャ数Ｎｓ１１１を設定しておき、予測処理時に該当ピクチャが実際に影響を受ける影響ピクチャ数Ｎｅをブロック単位で算出して管理し、影響ピクチャ数Ｎｅが画像出力開始ピクチャ数Ｎｓ１１１より少なくなるように制御を行う。これにより、画像符号化時のデータ発生量の変動を抑え、定期的なＩピクチャの挿入を必要とせず、低遅延かつ高圧縮で、ランダムアクセス可能な画像の符号化を行うことができる。

なお、実施の形態１と同様に、本実施の形態でも画面間予測時の参照ピクチャとして直前のピクチャを使用する場合のみについて説明したが、予測に使用するピクチャは直前に限定する必要はなく、Ｈ．２６４／ＡＶＣにおけるマルチリファレンスのように、双方向を含む複数の参照ピクチャであっても良い。

また、実施の形態１と同様に、本実施の形態でも画像出力開始ピクチャ数Ｎｓ１１１に対する画像符号化装置側の処理について説明したが、画像出力開始ピクチャ数Ｎｓ１１１をビットストリーム１０７に格納し、画像復号化装置側に送信しても良い。その場合、画像復号化装置は画像出力開始ピクチャ数Ｎｓ１１１を利用して画像出力のタイミングを調整することが可能となる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

本発明は、少ない遅延時間かつ高圧縮で、ランダムアクセス可能な動画像の符号化・復号化を行う方法に利用可能であり、特に、画像符号化装置や、これを実装した画像処理機器などに利用可能である。

１０１…入力画像、１０２…予測部、１０３…変換・量子化部、１０４…可変長符号化部、１０５…逆量子化・逆変換部、１０６…フレームメモリ、１０７…ビットストリーム、１０８…影響ピクチャ数制御部、１０９…影響ピクチャ数情報テーブル、１１０…Ｎｓ格納領域、１１１…画像出力開始ピクチャ数Ｎｓ、
３０１…影響ピクチャ数情報格納位置、
９０１…影響ピクチャ数情報格納位置、
１００１…参照ピクチャ、１００２…参照領域、１００３〜１００６…ブロック。

Claims (7)

1. 画像データを入力し、所定のブロック毎に、少なくとも画面内予測符号化と、該画像データについての参照ピクチャおよび該参照ピクチャと該画像データとの間の差分を用いて該画像データの画面間予測符号化とを選択的に行う画像符号化装置における画像符号化方法であって、
   前記画像符号化装置は、
   該画像符号化方法によって符号化された前記画像データを復号化して出力するために必要となる、過去のピクチャの数の最大値を画像出力可能パラメータとして設定する手順と、
   現在符号化処理を行っているピクチャ及び前記参照ピクチャのそれぞれについて、符号化対象の前記画像データにおけるブロック数と同数の要素を有して前記ブロックの各画素の復号化に必要となる過去のピクチャの数を示す影響ピクチャ数を格納するテーブルを用意する手順と、
   前記画像データの符号化の際に、符号化対象の前記ブロックについての予測領域について、前記ブロックを単位として、該予測領域に対応する前記テーブルの、該予測領域の各画素位置が属するブロックに対応する要素から前記影響ピクチャ数を取得し、該予測領域における該影響ピクチャ数の最大値を影響範囲情報として算出する手順と、
   画面間予測符号化が選択された際、算出された前記影響範囲情報が前記画像出力可能パラメータを越えるときは、前記予測領域を他の前記予測領域に設定し、いずれの前記予測領域においても算出された前記影響範囲情報が前記画像出力可能パラメータを超えるときは、画面内予測符号化を選択することにより、符号化時における前記参照ピクチャの範囲を制御する手順と、
   前記予測領域毎に、該予測領域に対応する前記テーブルの、該予測領域の各画素位置が属するブロックに対応する要素から前記影響ピクチャ数を取得し、該予測領域が直前のピクチャから画面間予測符号化により予測されたものである場合は、取得した前記影響ピクチャ数に１を加算し、該予測領域の全画素位置について算出した前記影響ピクチャ数の最大値を、前記現在符号化処理を行っているピクチャにおける前記テーブルの、該予測領域により予測符号化処理される対象の前記ブロックに対応する要素に書き込む手順と、を実行することを特徴とする画像符号化方法。
2. 請求項１記載の画像符号化方法において、
   前記用意されたテーブルの全要素に、所定の前記影響ピクチャ数を書き込んで初期化する手順をさらに実行することを特徴とする画像符号化方法。
3. 請求項２記載の画像符号化方法において、
   前記制御する手順は、画面内予測符号化が選択された際、前記現在符号化処理を行っているピクチャにおける前記テーブルの、該画面内予測符号化が予測に使用する前記予測領域の各画素位置が属するブロックに対応する要素から前記影響ピクチャ数をそれぞれ取得し、取得した前記影響ピクチャ数の最大値を前記影響範囲情報とするものであることを特徴とする画像符号化方法。
4. 請求項１記載の画像符号化方法において、
   前記画像符号化装置は、前記画像符号化方法によって符号化され出力されるビットストリームに、前記画像出力可能パラメータを格納して、画像復号化装置に送信することを特徴とする画像符号化方法。
5. 画像データを入力し、所定のブロック毎に、少なくとも画面内予測符号化と、該画像データについての参照ピクチャおよび該参照ピクチャと該画像データとの間の差分を用いて該画像データの画面間予測符号化とを選択的に行う画像符号化装置であって、
   該画像符号化装置によって符号化された前記画像データを復号化して出力するために必要となる、過去のピクチャの数の最大値を画像出力可能パラメータとして設定する手段と、
   現在符号化処理を行っているピクチャ及び前記参照ピクチャのそれぞれについて、符号化対象の前記画像データにおけるブロック数と同数の要素を有して前記ブロックの各画素の復号化に必要となる過去のピクチャの数を示す影響ピクチャ数を格納するテーブルを用意する手段と、
   前記画像データの符号化の際に、符号化対象の前記ブロックについての予測領域について、前記ブロックを単位として、該予測領域に対応する前記テーブルの、該予測領域の各画素位置が属するブロックに対応する要素から前記影響ピクチャ数を取得し、該予測領域における該影響ピクチャ数の最大値を影響範囲情報として算出する手段と、
   画面間予測符号化が選択された際、算出された前記影響範囲情報が前記画像出力可能パラメータを越えるときは、前記予測領域を他の前記予測領域に設定し、いずれの前記予測領域においても算出された前記影響範囲情報が前記画像出力可能パラメータを超えるときは、画面内予測符号化を選択することにより、符号化時における前記参照ピクチャの範囲を制御する手段と、
   前記予測領域毎に、該予測領域に対応する前記テーブルの、該予測領域の各画素位置が属するブロックに対応する要素から前記影響ピクチャ数を取得し、該予測領域が直前のピクチャから画面間予測符号化により予測されたものである場合は、取得した前記影響ピクチャ数に１を加算し、該予測領域の全画素位置について算出した前記影響ピクチャ数の最大値を、前記現在符号化処理を行っているピクチャにおける前記テーブルの、該予測領域により予測符号化処理される対象の前記ブロックに対応する要素に書き込む手段と、を有することを特徴とする画像符号化装置。
6. 請求項５記載の画像符号化装置を実装していることを特徴とする画像処理機器。
7. 画像データを入力し、所定のブロック毎に、少なくとも画面内予測符号化と、該画像データについての参照ピクチャおよび該参照ピクチャと該画像データとの間の差分を用いて該画像データの画面間予測符号化とを選択的に行う画像符号化装置における画像符号化プログラムであって、
   該画像符号化プログラムによって符号化された前記画像データを復号化して出力するために必要となる、過去のピクチャの数の最大値を画像出力可能パラメータとして設定する処理と、
   現在符号化処理を行っているピクチャ及び前記参照ピクチャのそれぞれについて、符号化対象の前記画像データにおけるブロック数と同数の要素を有して前記ブロックの各画素の復号化に必要となる過去のピクチャの数を示す影響ピクチャ数を格納するテーブルを用意する処理と、
   前記画像データの符号化の際に、符号化対象の前記ブロックについての予測領域について、前記ブロックを単位として、該予測領域に対応する前記テーブルの、該予測領域の各画素位置が属するブロックに対応する要素から前記影響ピクチャ数を取得し、該予測領域における該影響ピクチャ数の最大値を影響範囲情報として算出する処理と、
   画面間予測符号化が選択された際、算出された前記影響範囲情報が前記画像出力可能パラメータを越えるときは、前記予測領域を他の前記予測領域に設定し、いずれの前記予測領域においても算出された前記影響範囲情報が前記画像出力可能パラメータを超えるときは、画面内予測符号化を選択することにより、符号化時における前記参照ピクチャの範囲を制御する処理と、
   前記予測領域毎に、該予測領域に対応する前記テーブルの、該予測領域の各画素位置が属するブロックに対応する要素から前記影響ピクチャ数を取得し、該予測領域が直前のピクチャから画面間予測符号化により予測されたものである場合は、取得した前記影響ピクチャ数に１を加算し、該予測領域の全画素位置について算出した前記影響ピクチャ数の最大値を、前記現在符号化処理を行っているピクチャにおける前記テーブルの、該予測領域により予測符号化処理される対象の前記ブロックに対応する要素に書き込む処理と、を実行することを特徴とする画像符号化プログラム。

Images