JP2013128189A - 画像符号化装置 - Google Patents

Abstract

【課題】
シーン変化に対して良好な画質で画像を符号化する。
【解決手段】
プレ符号化難易度算出部（１１３ａ）は縮小画像に基づく予測誤差から符号化難易度を算出し、符号化難易度フィードバック部（１１６ａ）は符号化難易度を符号化済みピクチャから算出する。符号化難易度選択部（１１６ｂ）は、プレ符号化難易度算出部（１１３ａ）による符号化難易度に従い、符号化対象ピクチャ用に符号化難易度フィードバック部又はプレ符号化難易度算出部による符号化難易度を選択する。符号化難易度更新部（１１６ｃ）は、符号化難易度選択部がプレ符号化難易度算出部による符号化難易度を選択した場合に、その後に符号化するピクチャ用に符号化難易度フィードバック部又はプレ符号化難易度算出部による符号化難易度を選択する。符号量制御部（１１６）はこのように決定した符号化難易度に従い量子化部（１０６）を制御する。
【選択図】 図１

Description

本本発明は、画像符号化装置に関する。

近年、動画像データの圧縮符号化方式として、ＭＰＥＧ−２（Moving Picture Experts Group phase 2）及びＨ．２６４／ＡＶＣ（Advanced Video Coding）が知られている。１フレーム（または１フィールド）をマクロブロックと呼ばれる所定画素数の領域に分割し、このマクロブロックを単位に、動き補償予測、ＤＣＴ変換処理、量子化及びエントロピー符号化を適用する。これらの圧縮符号化方式では、Ｉピクチャ、Ｐピクチャ及びＢピクチャの３つのピクチャタイプを規定している。Ｉピクチャは、ピクチャ内符号化画像（イントラ符号化画像）であり、Ｐピクチャは、ピクチャ間順方向予測符号化画像（インター符号化画像）、Ｂピクチャは、ピクチャ間双予測符号化画像（インター符号化画像）である。

これらの圧縮符号化方式で用いられる符号量制御として、ＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５方式（以下、ＴＭ５という。）が一般的に知られている。ＴＭ５では、符号化終了後に、Ｉ、Ｐ及びＢのピクチャタイプ毎に画像の複雑さ指標を発生符号量と平均量子化スケールから求め、次に符号化を行うピクチャの発生符号量を予測し、符号量を制御する。画像の内容が大きく変化（シーンチェンジ）するシーンや、フェードイン及びフェードアウトのようなシーンでは、符号化終了後のピクチャと符号化対象のピクチャとで相関が少ない。ＴＭ５では、このようなシーンに対して、複雑さ指標の誤差が大きくなり、画質が劣化するといった問題があった。

ＴＭ５のこのような問題を回避するためにプリ画像処理部を設け、ピクチャの残差情報と分散値から発生符号量と量子化スケールを予測決定して、符号量を制御することが提案されている（特許文献１）。また、画像特定検出器を設けてピクチャの分散値を算出し、この分散値の変化量からシーンチェンジを判定し、シーンチェンジ後の目標符号量と量子化スケールを予測決定して符号量を制御する技術も知られている（特許文献２）。

特開２０００−１３８９３６号公報 特開２００１−２３８２１５号公報

特許文献１に記載の技術では、動き探索を実際の探索範囲で行うわけではなく、あくまで予測画像と同じ位置のマクロブロックを用いて残差情報を求めるので、実際の残差情報と乖離する問題があった。また、参照ピクチャとの時間的距離によっては、ピクチャをバッファリングしておくフレームメモリが大きくなってしまい、現実的ではなかった。また、画像メモリからプリ画像処理部の処理のために画像を読み込む必要があるので、画像メモリの帯域が圧迫されてしまうという問題がある。

特許文献２に記載の技術ではピクチャの分散値を用いるが、これが必ずしも符号化難易度とは一致せず、誤差が発生してしまう。画像特性として画素間差分値を用いると説明されているが、その具体的な構成は不明であり、実現性に乏しい。

本発明は、上記の問題点に鑑み、シーンの変化に対して適切な複雑さ指標を生成できる画像符号化装置を提示することを目的とする。

上記目的を達成するために、本発明に係る画像符号化手段は、入力画像を複数の画素からなるブロック単位で符号化する符号化手段と、符号化難易度を符号化済みのピクチャから算出する符号化難易度フィードバック手段と、符号化難易度を符号化の前に算出するプレ符号化難易度算出手段と、前記プレ符号化難易度算出手段が算出した符号化難易度に応じて、符号化対象ピクチャの符号化難易度として、前記符号化難易度フィードバック手段が算出した符号化難易度を用いるか、前記プレ符号化難易度算出手段が算出した符号化難易度を用いるかを選択する符号化難易度選択手段と、前記符号化難易度選択手段が、前記プレ符号化難易度算出手段が算出した符号化難易度を選択した場合に、その後に符号化するピクチャの符号化難易度として、前記符号化難易度フィードバック手段が算出した符号化難易度を用いるか、前記プレ符号化難易度算出手段が算出した符号化難易度を用いるかを決定する符号化難易度更新手段と、前記符号化難易度選択手段及び前記符号化難易度更新手段によりそれぞれ選択及び決定される符号化難易度に従い、前記符号化手段を制御する制御手段とを有することを特徴とする。

本発明によれば、シーンに変化のある画像でも複雑さ指標を適切に生成することで、良好な画質が得られる。

本発明の一実施例の概略構成ブロック図である。 本実施例の複雑度を決定する動作フローチャートである。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例である画像符号化装置の概略構成ブロック図を示す。以下の説明では、Ｉピクチャはピクチャ内符号化ピクチャであり、Ｐピクチャはピクチャ間順方向予測符号化ピクチャであり、Ｂピクチャはピクチャ間双予測符号化ピクチャである。

画像符号化装置１００において、フレーム並び替え部１０１は、画像符号化装置１００に入力される入力画像を符号化順序に応じて並び替える。ブロック化部１０２は、所定数の画素から構成されるマクロブロックと呼ばれるブロック単位に画面内を行列上に分割する。

減算器１０３は、ブロック化部１０２から入力される画像データから予測画像データを減算し、画像残差データとして直交変換部１０４に出力する。直交変換部１０４は、減算器１０３から出力された画像残差データに直交変換処理を行い、得られるＤＣＴ係数を量子化部１０５に出力する。量子化部１０５は、符号量制御部１１６から出力される量子化パラメータを用いてＤＣＴ係数を量子化し、エントロピー符号化部１１４に出力する。量子化部１０５で量子化されたＤＣＴ係数は、予測画像データの生成用に、逆量子化部１０６にも供給される。

逆量子化部１０６は、量子化部１０５で量子化されたＤＣＴ係数を逆量子化する。逆直交変換部１０７は、逆量子化部１０６で逆量子化されたＤＣＴ係数を逆直交変換し、ローカルデコード画像データを生成し、出力する。加算器１０８は、ローカルデコード画像データに後述する予測画像データを加算して、フレームメモリ１０９に出力する。

縮小画像生成部１１１は、フレーム並び替え部１０１によって並べ替えられた画像データから所定の画素を間引く方法か、複数の画素の平均で１画素を代表するようにする方法で縮小画像データを生成する。ブロック化部１１２は、縮小画像生成部１１１で生成された縮小画像データの、ブロック化部１０２に対応する部分の画素をマクロブロックとして画面内を行列上に分割する。動き検出部１１３は、縮小画像データからマクロブロック毎の動きベクトルを検出して動き検出補償部１１０に供給し、予測誤差値を符号量制御部１１６に供給する。

動き検出補償部１１０は、フレームメモリ１０９に保存された画像データを用いて、符号化対象のピクチャタイプに応じて、フレーム内予測処理又はフレーム間予測処理を行い、予測画像データを生成する。フレーム間予測処理では、動き検出補償部１１０は、マクロブロック毎に動きベクトルを検出し、検出した動きベクトル情報に基づいて予測画像データを生成する。動き検出補償部１１０は、動き検出部１１３からの縮小画像による動きベクトル情報により、本来のサイズの画像データに対する動きベクトルの検出範囲を制限できる。これにより、少ない演算量で効率的に動きベクトルの検出が可能となる。

エントロピー符号化部１１４は、量子化部１０５により量子化されたＤＣＴ係数データをエントロピー符号化して、得られた符号化データ又は符号化画像データをストリームバッファ１１５に出力する。また、エントロピー符号化部１１４は、マクロブロック単位での発生符号量を符号量制御部１１６に出力する。

ストリームバッファ１１５は、エントロピー符号化部１１４からの符号化データを一時記憶し、目標ビットレートに従ったビットレートで後段に出力する。また、ストリームバッファ１１５は、入力された符号化データの符号量をカウントして発生符号量を計算し、バッファ位置情報とともに符号量制御部１１６に供給する。

符号量制御部１１６は、エントロピー符号化部１１４から出力されるストリームのビットレートとストリームバッファ１１５のバッファ容量とから、ピクチャの目標符号量Ｔｉ，Ｔｐ，Ｔｂを決定する。これらの目標符号量Ｔｉ，Ｔｐ，Ｔｂは、ストリームバッファ１１５がオーバーフロー又はアンダーフローしないように、下記式に従って、決定される。すなわち、

Ｋｐ，Ｋｂは量子化マトリクスに依存する定数であり、通常、Ｋｐ＝１．０、Ｋｂ＝１．４である。Ｒは、ＧＯＰ内で割り当てることができる残りビット数である。Ｎｐ，ＮｂはＧＯＰ中の残り（未符号化）のＰ，Ｂピクチャ数である。Ｓｉ，Ｓｐ，Ｓｂは、直前のピクチャタイプ毎の発生符号量である。Ｑｉ，Ｑｐ，Ｑｂは、直前の同ピクチャタイプの量子化パラメータ平均値である。Ｘｉ，Ｘｐ，Ｘｂは、ピクチャの符号化難易度（Ｃｏｍｐｌｅｘｉｔｙ）である。Ｘｉ＿ｉｎｉｔ，Ｘｐ＿ｉｎｉｔ，Ｘｂ＿ｉｎｉｔは、Ｘｉ，Ｘｐ，Ｘｂの初期値を示す。

符号量制御部１１６は、符号化難易度フィードバック手段１１６ａ、符号化難易度選択手段１１６ｂ及び符号化難易度更新手段１１６ｃを有し、動き検出部１１３のプレ符号化難易度算出手段１１３ａを有する。符号化難易度選択手段１１６ｂは、動き検出部１１３が出力する予測誤差値と符号化難易度との対応を示す符号化難易度テーブルを有する。符号量制御部１１６は、プレ符号化難易度算出手段１１３ａから出力される予測誤差値を用いて符号化難易度を更新し、量子化パラメータを更新する。この動作は、後述する。

図２は、本実施例の動作フローチャートを示す。ステップＳ２００で、符号量制御部１１６は、動き検出部１１３から出力された予測誤差値の、符号化対象ピクチャとその直前の符号化済みのピクチャでの差分が所定値以上かどうかを判別する。これにより、シーンチェンジがあったかどうかを判断できる。所定値以上の場合、ステップＳ２０１に進み、そうでなければ、ステップＳ２０６に進む。

ステップＳ２０１で、符号量制御部１１６は、動き検出部１１３から出力された予測誤差値の、符号化対象ピクチャとその直後に符号化するピクチャでの差分が所定値以上かどうかを判別する。これにより、シーンチェンジが連続しているか否かを判断できる。所定値以上の場合、ステップＳ２０２に進み、そうでなければ、ステップＳ２０５に進む。

ステップＳ２０２で、符号量制御部１１６は、動き検出部１１３から出力された予測誤差値の、符号化対象ピクチャのその直前と直後のピクチャでの差分が所定値以下かどうかを判別する。これにより、ステップＳ２００で判断した符号化対象ピクチャのシーンチェンジがストロボのような瞬間的に輝度差分が大きくなるようなものによるか否かを判断できる。所定値以下の場合、ステップＳ２０３に進み、そうでなければ、ステップＳ２０４に進む。

ステップＳ２０３で、符号化難易度選択手段１１６ｂは、符号化対象ピクチャに対し、動き検出部１１３が出力する予測誤差値で符号化難易度テーブルを参照して符号化難易度を算出する。符号量制御部１１６は、算出された符号化難易度から、上式で求めた目標符号量に最適な量子化ステップを生成し、量子化部１０５にセットする。符号化対象ピクチャ後のピクチャに関しては、符号化難易度フィードバック手段１１６ａが符号化済みのピクチャから符号化難易度を算出する。符号量制御部１１６は、符号化難易度フィードバック手段１１６ａにより算出された符号化難易度から目標符号量に最適な量子化ステップを生成し、量子化部１０５にセットする。符号化難易度の状況によっては、すなわち、極端に易しいとか、難しい等の状況では、目標符号量を適宜、変更して、量子化ステップを生成してもよい。

ステップＳ２０４で、符号化難易度選択手段１１６ｂは、ステップＳ２０３でと同じ方法で、符号化対象ピクチャとその次に符号化するピクチャに対して符号化難易度を生成する。符号量制御部１１６は、生成された符号化難易度を用いて量子化ステップを決定する。これら以降のピクチャに関しては、符号化難易度フィードバック手段１１６ａが算出する符号化難易度を用いて量子化ステップを決定する。

ステップＳ２０５で、符号化難易度選択手段１１６ｂは、ステップＳ２０３と同じ方法で、符号化対象ピクチャの符号化難易度を生成し、符号量制御部１１６は、生成された符号化難易度を用いて量子化ステップを決定する。これ以降のピクチャに関しては、符号化難易度更新手段１１６ｃは、次のように、符号化難易度を決定し更新する。すなわち、符号化難易度選択手段１１６ｂは先ず、動き検出部１１３が出力する予測誤差値に従い符号化難易度テーブルから決定した符号化難易度か、符号化対象ピクチャの符号化結果から符号化難易度フィードバック手段が算出した符号化難易度を選択する。そして、符号化難易度選択手段１１６ｂは、選択した符号化難易度にピクチャタイプに応じた係数を掛けた値で、この後の符号化に用いる符号化難易度を更新する。

ステップＳ２０６で、符号量制御部１１６は、動き検出部１１３から出力された予測誤差値の、符号化対象ピクチャと、符号化対象ピクチャと同タイプの表示順序で一番近いピクチャとの差分値が所定値以上かどうかを判別する。所定値以上の場合、シーンチェンジがあったと判断し、ステップＳ２０７に進み、そうでなければ終了する。

ステップＳ２０７で、符号化難易度選択手段１１６ｂは、ステップＳ２０３と同じ方法で、符号化対象ピクチャの符号化難易度を生成し、符号量制御部１１６は、生成された符号化難易度を用いて量子化ステップを決定する。これ以降のピクチャに関しては、符号量制御部１１６は、符号化難易度フィードバック手段１１６ａが算出する符号化難易度を用いて量子化ステップを決定する。

以上、説明したように、本実施例によれば、シーンに変化のある画像でも符号化難易度を適切に生成、更新することので、良好な画質が得られる。

Claims (8)

1. 入力画像を複数の画素からなるブロック単位で符号化する符号化手段と、
   符号化難易度を符号化済みのピクチャから算出する符号化難易度フィードバック手段と、
   符号化難易度を符号化の前に算出するプレ符号化難易度算出手段と、
   前記プレ符号化難易度算出手段が算出した符号化難易度に応じて、符号化対象ピクチャの符号化難易度として、前記符号化難易度フィードバック手段が算出した符号化難易度を用いるか、前記プレ符号化難易度算出手段が算出した符号化難易度を用いるかを選択する符号化難易度選択手段と、
   前記符号化難易度選択手段が、前記プレ符号化難易度算出手段が算出した符号化難易度を選択した場合に、その後に符号化するピクチャの符号化難易度として、前記符号化難易度フィードバック手段が算出した符号化難易度を用いるか、前記プレ符号化難易度算出手段が算出した符号化難易度を用いるかを決定する符号化難易度更新手段と、
   前記符号化難易度選択手段および前記符号化難易度更新手段によりそれぞれ選択および決定される符号化難易度に従い、前記符号化手段を制御する制御手段
   とを有することを特徴とする画像符号化装置。
2. 前記符号化難易度選択手段は、前記符号化対象ピクチャと直前の異なるピクチャタイプのピクチャの、前記プレ符号化難易度算出手段が算出した前記符号化難易度の差分値が所定値以下であり、かつ、前記符号化対象ピクチャと直前の同じピクチャタイプのピクチャの、前記プレ符号化難易度算出手段が算出した前記符号化難易度の差分値が所定値以上の場合に、前記プレ符号化難易度算出手段が算出した前記符号化難易度を選択することを特徴とする請求項１に記載の画像符号化装置。
3. 前記符号化難易度選択手段は、前記符号化対象ピクチャと直前のピクチャの、前記プレ符号化難易度算出手段が算出した前記符号化難易度の差分値が所定値以上の場合に、前記プレ符号化難易度算出手段が算出した前記符号化難易度を選択することを特徴とする請求項１又は２に記載の画像符号化装置。
4. 前記符号化難易度更新手段は、前記符号化難易度選択手段による前記プレ符号化難易度算出手段が算出した符号化難易度の選択に基づく符号化の後のピクチャにおいて、前記符号化難易度フィードバック手段が算出した符号化難易度を用いると決定することを特徴とする請求項２に記載の画像符号化装置。
5. 前記符号化難易度更新手段は、前記符号化対象ピクチャとその直後のピクチャにおいて、前記プレ符号化難易度算出手段が算出した符号化難易度の差分値が所定値以下の場合に、前記符号化対象ピクチャを含んだ前記符号化難易度フィードバック手段が算出した符号化難易度を用いて前記直後のピクチャの符号化難易度を算出することを特徴とする請求項３に記載の画像符号化装置。
6. 前記符号化難易度更新手段は、前記符号化対象ピクチャとその直後のピクチャにおいて、前記プレ符号化難易度算出手段が算出した符号化難易度の差分値が所定値以上で、かつ、前記直前のピクチャと前記直後のピクチャにおいて、前記プレ符号化難易度算出手段が算出した符号化難易度の差分値が所定値以下の場合、前記符号化対象ピクチャを除いた前記符号化難易度フィードバック手段が算出した符号化難易度を用いて前記直後のピクチャの符号化難易度を算出することを特徴とする請求項３に記載の画像符号化装置。
7. 前記プレ符号化難易度算出手段は、縮小画像を用いた動き検出で得られる予測誤差を前記符号化難易度とすることを特徴とする請求項１から６の何れか１項に記載の画像符号化装置。
8. 前記ピクチャには、ピクチャ内符号化ピクチャ、ピクチャ間順方向予測符号化ピクチャ及びピクチャ間双予測符号化ピクチャがあることを特徴とする請求項１から７の何れか１項に記載の画像符号化装置。

Images