JP2010035025A - 符号化装置およびその方法 - Google Patents

Abstract

【課題】 実装が容易で、効率的なフレーム内予測が可能な符号化を行う。
【解決手段】 フレームバッファ10は予測符号化された画像をローカルデコードした画像を記憶し、参照予測モードメモリ102は使用した予測モードを示す情報を記憶する。SAD算出部107は予測モードそれぞれに対する予測対象画像の予測誤差のSADを算出する。予測対象画像に隣接する画像の予測符号化に使用した予測モードの情報に基づき、シンタクス長算出部108は予測対象画像のシンタクス長を算出し、確率算出部109は予測対象画像の予測符号化に当該予測モードが選択される確率を算出する。評価値算出部110は、SAD、シンタクス長、確率、および、量子化スケールQPから、予測モードそれぞれに対する評価値を算出する。選択部111は、評価値に基づき、予測モードを選択する。
【選択図】 図4

Description

本発明は、フレーム内予測を行う動画像の符号化に関する。

近年のディジタル信号処理技術の飛躍的な進歩により、従来困難であった記憶メディアへの動画像の記録や、伝送路を介した動画像の伝送が容易になった。このような記録や伝送を行う場合、動画像を構成するそれぞれのピクチャに圧縮符号化処理を施して、符号化ストリームのデータ量を大幅に削減する。動画像の圧縮符号化方式としてH.264/AVCが標準化されている。

H.264/AVCは、ピクチャを連続する、分割単位である複数のマクロブロック(MB)で区切ったスライスが符号化の基本単位である。一つのピクチャは、P (predictive)スライス、B (bi-predictive)スライス、I (intra)スライス、並びに、ストリーム切替用の特殊なP、IスライスであるSP、SIスライスの少なくとも一つから構成される。各スライスのMBは、フレーム内の画素および情報を用いて予測符号化するイントラ予測を用いた符号化モードと、フレーム間の画素および情報を用いて予測符号化するインタ予測がサポートされている。

H.264/AVCによれば、輝度情報のイントラ予測には4×4画素、8×8画素、および、16×16画素の予測単位があり、クロマ情報のイントラ予測には8×8画素の予測単位がある。4×4画素のイントラ予測モードを「イントラ4×4」、8×8画素のイントラ予測モードを「イントラ8×8」、16×16画素のイントラ予測モードを「イントラ16×16」、8×8画素のクロマ情報のイントラ予測モードを「イントラクロマ」と呼ぶ。イントラ4×4には九種類の予測モードと対応する九つの予測演算式、イントラ8×8には九種類の予測モードと対応する九つの予測演算式、イントラ16×16には四種類の予測モードと対応する四つの予測演算式がそれぞれ規定されている。また、イントラクロマには四種類の予測モードと対応する四つの予測値演算式が規定されている。

予測対象画像に応じて、輝度情報のイントラ予測にイントラ4×4、イントラ8×8またはイントラ16×16を選択、言い換えれば予測単位（画像サイズ）を選択する。さらに、選択した画像サイズに対応する予測モードを一つ選択する。同様に、クロマ情報のイントラ予測に一つの予測モードを選択する。

輝度情報、クロマ情報の各イントラ予測モードの予測値演算式には、予測値演算式を示す番号が与えられている。これは、H.264の規格化段階において、発生頻度が高い順に番号を割り当てたものである。

輝度情報のイントラ予測においてイントラ16×16が選択された場合の予測値演算式は、図7に示すように、5ビットのシンタックス(mb_type)で表現される。

一方、輝度情報のイントラ予測においてイントラ4×4が選択された場合は、一つの4×4ブロックのシンタックスが1ビットまたは4ビットで表現され、1マクロブロック(MB)当たり16の画像についてそれぞれ設定される。

イントラ4×4の予測値演算式のシンタックスは、上、または、左に隣接する符号化済み4×4ブロックにおいて選択した予測値演算式の番号のうち、小さい値と一致するか否かを1ビットで表現する。不一致の場合は、さらに3ビットで予測値演算式の番号を示す。その際、隣接する符号化済み4×4ブロックにおいて選択した最小の予測値演算式の番号より小さい場合は、選択した予測値演算式の番号で表現する。また、隣接する符号化済み4×4ブロックにおいて選択した最小の予測値演算式の番号より大きい場合は、選択した予測値演算式の番号から1を減算した番号で表現する。

しかし、H.264には、予測モードの決定方法が規格化されていない。そこで、H.264の基本ソフトウェアであるJM (Joint Model)には、選択方式として、差分絶対値和(SAD: sum of absolute differences)方式とRDO(rate distortion optimization)方式が実装されている。SAD方式は、JMの外部入力パラメータRDOptimization=‘0’のときに使用され、RDO方式は、RDOptimization=‘1’のときに使用される。

図1はSAD方式により予測モードを決定する構成を説明するブロック図である。

予測値算出部11〜13は、予め定められた予測モードにより、フレームバッファ10に格納された参照画像を参照して、予測単位の予測対象画像の予測値を算出する。なお、参照画像は符号化済みのフレーム画像をローカルデコードした復号画像（再構成画像）である。減算器14〜16は、予測単位の予測対象画像（入力画像）と予測値から予測誤差を算出し、予測誤差をメモリ17〜19に格納する。

SAD算出部20〜22は、メモリ17〜19に格納された予測誤差のSADを評価値として計算する。ここまでの処理は、予測モードの数分、並列に行われ、予測モードの数分のSADが算出される。

選択部23は、算出されたSADの中で最小の値を示すSADに対応する予測モードを選択する。予測誤差選択部24は、選択部23が選択した予測モードに対応する予測誤差をメモリ17、18または19から読み出して出力する。

つまり、SAD方式は、予測モードの数分のSADを計算し、SADに基づき、予測モードを決定する。なお、上述したように、イントラ4×4の予測モードは九種類、イントラ16×16の予測モードは四種類ある。言い換えれば、輝度情報を予測する場合、予測モードは13種類あることになる。図1は、説明を簡単にするために、予測モードが三種類の場合を示している。以下でも、予測モードが三種類の場合を説明する。

図2はRDO方式により予測モードを決定する構成を説明するブロック図である。なお、図1に示すSAD方式と略同様の構成には同一符号を付して、その詳細説明は省略する。

評価値算出部25〜27は、メモリ17〜19に格納された予測誤差に基づき、式(1)を用いて評価値Jを算出する。
J = D + λ(QP)×R …(1)
ここで、Dは符号化歪、
Rは予測対象画像の符号長、
QPは量子化スケール、
λはQPをパラメータとするラグランジェ乗数。

なお、式(1)において、符号化歪Dは、予測対象画像を符号化した後にローカルデコードした復号画像と予測対象画像の差分二乗和として計算する。また、量子化スケールQPが大きくなると（高ビットレートでは）、ラグランジェ乗数λの値もべき乗で大きくなる。

選択部23は、SAD方式と同様に、算出された評価値の中で最小の値を示す評価値に対応する予測モードを選択する。予測誤差選択部24は、選択部23が選択した予測モードに対応する予測誤差をメモリ17、18または19から読み出して出力する。

RDO方式とSAD方式を比較すると、符号長Rと符号化歪Dから最適な予測モードを選択するRDO方式はより高い符号化効率を示す。しかし、式(1)に示すように、符号化歪Dと符号長Rの演算量が非常に多く、実装コストは非常に高い。一方、SAD方式は、実装の容易性が高いが、符号量を考慮しないためRDO方式に比べて5%以上、符号化効率が悪化する傾向がある。

特開2003-299102公報

本発明は、実装が容易で、効率的なフレーム内予測が可能な符号化を目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明は、フレーム内予測を行う動画像の符号化方法であって、予測単位の予測対象画像に隣接する、符号化済みの前記予測単位の復号画像を参照して、予測モードそれぞれに対する前記予測対象画像の予測誤差を計算し、前記予測モードそれぞれに対する前記予測対象画像の予測誤差の絶対値和を算出し、前記予測対象画像に隣接する復号画像の符号化に使用した予測モードの情報に基づき、前記予測対象画像のシンタクス長を算出し、前記予測対象画像に隣接する復号画像の符号化に使用した予測モードの情報に基づき、前記予測対象画像の予測符号化に前記予測モードが選択される確率を算出し、前記絶対値和、前記シンタクス長、前記確率、および、前記予測対象画像に対応する量子化スケールから、前記予測モードそれぞれに対する評価値を算出し、前記予測モードそれぞれに対する評価値に基づき、前記予測モードを選択し、前記選択の結果に基づき、前記予測誤差を選択的に出力することを特徴とする。

本発明によれば、実装が容易で、効率的なフレーム内予測が可能な符号化が得られる。

以下、本発明にかかる実施例の動画像処理を図面を参照して詳細に説明する。

［装置の構成］
図3は実施例の動画像符号化装置の基本的な構成例を示すブロック図である。なお、図1、2と略同様の構成には同一符号を付して、その詳細説明を省略する。

イントラ予測部31は、フレームバッファ10に格納されたローカルデコード画像を参照して、予測単位ごとに、予測対象画像のフレーム内予測を行い、予測対象画像の予測誤差を出力する。インタ予測部32は、ローカルデコードしたフレーム画像33を参照して、フレーム単位ごとに、予測対象画像のフレーム間予測を行い、予測対象画像の予測誤差を出力する。なお、参照するフレーム画像33はフレームバッファに格納されている。

整数変換部34は、予測誤差を入力して整数変換を行い、変換係数を出力する。量子化部(Q)35は、変換係数を量子化する。エントロピ符号化部36は、量子化された変換係数をエントロピ符号化する。バッファ37は、エントロピ符号化部36が出力する符号をバッファして、符号ストリームとして装置外に出力する。

逆量子化部(Q^-1)38は、量子化された変換係数を逆量子化する。逆整数変換部39は、逆量子化された変換係数に逆整数変換を施す。再構成画素算出部40は、イントラ予測部31の予測値またはインタ予測部32の予測値と、逆整数変換によって復元された予測誤差を加算して復号画素を算出する。復号画素は、フレームバッファ10に格納され、参照画像として利用される。また、デブロッキングフィルタ41は、ブロックノイズを低減するフィルタである。

［イントラ予測部］
図4はイントラ予測部31の一部の構成例を示すブロック図である。なお、図1〜3と略同様の構成には同一符号を付して、その詳細説明を省略する。また、後述するが、イントラ予測部31は、図4に示す構成をイントラ4×4、イントラ16×16、イントラクロマごとに備える。

絶対値和算出部（SAD算出部）107a〜107cは、メモリ17〜19に格納された予測誤差のSADを計算する。なお、本実施例においては、メモリ17〜19を介さずに処理を行っても構わず、その場合、メモリ17〜19は不要である。

シンタクス長算出部108a〜108cは、参照予測モードメモリ102に格納された、予測対象画像に隣接する符号化済みの画像ブロックに適用した予測モードの情報から、予測モードの番号に対応するシンタクス長を算出する。

確率算出部109a〜109cは、参照予測モードメモリ102に格納された、予測対象画像に隣接する符号化済みの画像ブロックに適用した予測モードの情報から、当該予測モードが選択される確率を算出する。

評価値算出部110a〜110cは、下式を用いて当該予測値演算式の評価値を算出する。
Cost = [{λ(QP)×SAD + 1} ≪ Rh] + Cost_th …(2)
ここで、SADは対応するSAD算出部から入力されるSAD、
Rhは対応するシンタクス長算出部から入力されるシンタクス長、
Cost_thは対応する確率算出部から入力される選択確率に応じたオフセット、
λ(QP)は量子化スケールQPをパラメータとするラグランジェ乗数。

なお、式(2)において「≪」はビットシフトを表し、「y ≪ x」はyをxビット左シフトする、言い換えればyを2^x倍することを意味する。

選択部111は、算出された評価値の中で最小の値を示す評価値に対応する予測モードを選択し、選択結果を示す情報（予測値演算式の番号）を参照予測モードメモリ102に格納する。また、評価値算出部110a〜110cが算出した評価値の和を出力する。予測誤差選択部24は、選択部111が選択した予測モードに対応する予測誤差をメモリ17、18または19から読み出して選択的に出力する。

図5はイントラ予測部31の構成例を示すブロック図である。

選択部124は、イントラ4×4予測部121から出力される評価値和を16の画像ブロック分入力し、イントラ16×16予測部122から出力される評価値和を一つの画像ブロック(MB)分入力する。そして、16画像ブロック分の評価値和の合計ΣA（総和）と、1MB分の評価値和Aを比較する。そして、ΣA＞Aならばイントラ16×16予測部122が出力する予測誤差を、ΣA≦Aならばイントラ4×4予測部121が出力する予測誤差を選択するように、予測誤差選択部125を制御する。つまり、16×16画素ブロック単位に輝度情報の予測単位が選択される。

そして、予測誤差選択部125は、輝度情報の予測誤差を出力する。また、イントラクロマ予測部123は、クロマ情報の予測誤差を出力する。

以下、本発明にかかる実施例2の動画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

図6は実施例2のイントラ予測部31の一部の構成例を示すブロック図である。なお、図1〜4と略同様の構成には同一符号を付して、その詳細説明を省略する。また、イントラ予測部31は、図6に示す構成をイントラ4×4、イントラ16×16、イントラクロマごとに備える。

符号長算出部112a〜112cは、対応するSAD算出部107a〜107cが算出したSADに基づき、SADをインデックスとする符号長テーブルから符号長R_ecs[SAD]を導出する。

評価値算出部110a〜110cは、下式を用いて当該予測値演算式の評価値を算出する。
Cost = λ(QP)×R_ecs[SAD] + Rh + Cost_th …(3)
ここで、R_ecs[SAD]は対応する符号長算出部から入力される符号長、
Rhは対応するシンタクス長算出部から入力されるシンタクス長、
Cost_thは対応する確率算出部から入力される選択確率に応じたオフセット、
λ(QP)は量子化スケールQPをパラメータとするラグランジェ乗数。

なお、イントラ予測部31全体の構成は、図5に示した実施例1の構成と同様である。

実施例1、2に示すイントラ予測部31の構成によれば、H.264に準拠するイントラ予測において、イントラ4×4は隣接する符号化済みの画像ブロックと同一の予測値演算式（予測方向）の選択率を上げて符号量を削減する。また、量子化スケールQPが大きいときはイントラ16×16の選択率を上げて、画質を劣化させることなく符号量を削減することができる。言い換えれば、画像全体の特徴を捉えて、高い符号化効率でイントラ予測符号化を行うことができる。

本実施例では、説明を簡単にするため、輝度のイントラ予測にイントラ4×4とイントラ16×16のみを用いて説明したが、イントラ4×4とイントラ16×16のほかにイントラ8×8を用いても構わない。また、予測単位はマクロブロックを均等に分割することができるサイズであればよく、4×4画素、8×8画素、16×16画素に限らない。

［他の実施例］
なお、本発明は、複数の機器（例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置、制御装置など）に適用してもよい。

また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記録媒体または記憶媒体をシステムまたは装置に供給する。そして、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記コンピュータプログラムを実行することでも達成される。この場合、記録媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記録媒体は本発明を構成する。

また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一の、第二の、第三の、…プログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一の、第二の、第三の、…デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

本発明を前記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。

SAD方式により予測モードを決定する構成を説明するブロック図、 RDO方式により予測モードを決定する構成を説明するブロック図、 実施例の動画像符号化装置の基本的な構成例を示すブロック図、 イントラ予測部の一部の構成例を示すブロック図、 イントラ予測部の構成例を示すブロック図、 実施例2のイントラ予測部の一部の構成例を示すブロック図、 イントラ16×16が選択された場合の予測値演算式シンタックスを示す図である。

Claims (8)

1. フレーム内予測を行う動画像の符号化装置であって、
   予測単位の予測対象画像に隣接する、符号化済みの前記予測単位の復号画像を参照して、予測モードそれぞれに対する前記予測対象画像の予測誤差を計算する計算手段と、
   前記予測モードそれぞれに対する前記予測対象画像の予測誤差の絶対値和を算出する絶対値和算出手段と、
   前記予測対象画像に隣接する復号画像の符号化に使用した予測モードの情報に基づき、前記予測対象画像のシンタクス長を算出するシンタクス長算出手段と、
   前記予測対象画像に隣接する復号画像の符号化に使用した予測モードの情報に基づき、前記予測対象画像の予測符号化に前記予測モードが選択される確率を算出する確率算出手段と、
   前記絶対値和、前記シンタクス長、前記確率、および、前記予測対象画像に対応する量子化スケールから、前記予測モードそれぞれに対する評価値を算出する評価値算出手段と、
   前記予測モードそれぞれに対する評価値に基づき、前記予測モードを選択する選択手段と、
   前記選択の結果に基づき、前記予測誤差を選択的に出力する出力手段とを有することを特徴とする符号化装置。
2. 前記選択手段は、最小の評価値に対応する前記予測モードを選択することを特徴とする請求項1に記載された符号化装置。
3. さらに、前記予測モードそれぞれに対する前記絶対値和から、前記予測モードそれぞれに対する符号長を算出する符号長算出手段を有し、
   前記評価値算出手段は、前記絶対値和の代わりに、前記符号長を使用することを特徴とする請求項1または請求項2に記載された符号化装置。
4. さらに、前記符号長は、テーブルを参照して前記絶対値和から算出することを特徴とする請求項3に記載された符号化装置。
5. さらに、前記予測単位のサイズごとに前記評価値の和を計算する計算手段と、
   前記計算手段より各予測単位ごとに算出された評価値の総和を比較し、前記予測対象画像の前記予測単位を決定する決定手段を有することを特徴とする請求項1から請求項3の何れか一項に記載された符号化装置。
6. フレーム内予測を行う動画像の符号化方法であって、
   予測単位の予測対象画像に隣接する、符号化済みの前記予測単位の復号画像を参照して、予測モードそれぞれに対する前記予測対象画像の予測誤差を計算し、
   前記予測モードそれぞれに対する前記予測対象画像の予測誤差の絶対値和を算出し、
   前記予測対象画像に隣接する復号画像の符号化に使用した予測モードの情報に基づき、前記予測対象画像のシンタクス長を算出し、
   前記予測対象画像に隣接する復号画像の符号化に使用した予測モードの情報に基づき、前記予測対象画像の予測符号化に前記予測モードが選択される確率を算出し、
   前記絶対値和、前記シンタクス長、前記確率、および、前記予測対象画像に対応する量子化スケールから、前記予測モードそれぞれに対する評価値を算出し、
   前記予測モードそれぞれに対する評価値に基づき、前記予測モードを選択し、
   前記選択の結果に基づき、前記予測誤差を選択的に出力することを特徴とする符号化方法。
7. コンピュータ装置を制御して、請求項1から請求項5の何れか一項に記載された符号化装置の各手段として機能させることを特徴とするプログラム。
8. 請求項7に記載されたプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。

Images