JP2007006390A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 前記動画像内の前記複数の領域の各々に対し、当該領域の特性に基づいて保護レベルを設定する保護レベル設定手段と、前記保護領域に対し、前記保護レベル設定手段が設定した前記保護レベルに応じて前記保護領域の復号画像の画質を向上させる画質向上処理を行う画質向上手段とを有する画像処理装置を提供する。
【解決手段】 保護領域特定回路２２が処理対象画像データに対し、保護領域と保護レベルを設定し、ＤＣＴ係数コントロール回路２７が画質に影響を与えない程度にＤＣＴ係数を除去し、ＭＢタイプコントロール回路３８とイントラ予測モードコントロール回路３９が、イントラ予測回路３６が行うイントラ予測の予測モードを決定し、量子化スケールコントロール回路４１が量子化回路２８で使用される量子化パラメータＱＰを作成する。
【選択図】 図２

Description

本発明は、人間の視覚特性から劣化の目立ちやすい平坦領域の主観画質を向上させる画像処理装置、画像処理方法及びプログラムに関する。

近年、画像データをデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して離散コサイン変換等のＤＣＴ変換と動き補償により圧縮するＭＰＥＧ（Moving Picture Experts Group）等の方式に準拠した装置が、情報配信、受信、蓄積等の目的で普及している。

しかし、ＭＰＥＧ等の画像圧縮技術は不可逆圧縮を行う技術であるため、画質の劣化を伴う。近年、Ｈ．２６４／ＭＰＥＧ４ＡＶＣ等の新規格が登場し、高画質化と高圧縮化の両立が図られているが、不可逆圧縮であることは変わりないので、再生画像が僅かながら劣化してしまう。
特に、圧縮された画像の再生時において、人間の分解能が高い明るさ・色を有する領域では、僅かな明るさや色の差が知覚され、画質の劣化が認識されやすいという不利益がある。

本発明は、上述した不利益を解消するために、人間の視覚特性から劣化の目立ちやすい領域の主観画質を向上させる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

上述した不利益を解消するために、第１の発明の画像処理装置は、複数の画像上の領域を有する動画像を圧縮し符号化を行う画像処理装置であって、前記動画像内の前記複数の領域の各々に対し、当該領域の特性に基づいて保護レベルを設定する保護レベル設定手段と、前記保護領域に対し、前記保護レベル設定手段が設定した前記保護レベルに応じて前記保護領域の復号画像の画質を向上させる画質向上処理を行う画質向上手段とを有する。

好適には、前記画像処理装置は、前記画質向上手段が行った画質向上操作に伴って増大したビットレートを削減するために、前記保護領域に対し、前記保護レベル設定手段が設定した前記保護レベルに応じてレート削減操作を行うレート削減手段を更に有する。

好適には、前記保護領域の前記特性は、輝度信号の値、色差信号の値、輝度信号の分散値、色差信号の分散値の少なくとも１つである。

好適には、前記画質向上手段は、量子化スケールコントロール手段と、イントラ予測モードコントロール手段と、プリフィルタの少なくとも１つを有する。

更に好適には、前記量子化スケールコントロール手段は、前記保護領域に対し、前記保護レベル設定手段が設定した前記保護レベルに応じて、新たな量子化パラメータを生成し、前記イントラ予測モードコントロール手段は、前記保護領域に対し、前記保護レベル設定手段が設定した前記保護レベルに応じてマクロブロックタイプの制限や予測方向の決定を行い、前記プリフィルタは、前記保護領域に対し、高周波成分をカットする。

前記量子化スケールコントロール手段により、量子化ステップが小さくなり僅かな画素値の差がトレースされるため、前記保護領域の復号時再生画質が向上する。
また、前記イントラ予測モードコントロール手段により、平坦な前記保護領域に対し歪みが最小になり、またブロックノイズが軽減されるので、前記保護領域の画質が向上する。
また、前記プリフィルタにより、前記保護領域において僅かな画素差が原因で起きるブロックノイズを除去することができる。

好適には、前記レート削減手段は、直交変換係数コントロール手段と、マクロブロックタイプコントロール手段の少なくとも１つを有する。

更に好適には、前記直交変換係数コントロール手段は、前記保護領域に対し、直交変換後に絶対値の小さい直交変換係数を所定の数だけ除去し、前記マクロブロックタイプコントロール手段は、前記保護領域に対し、イントラ予測におけるマクロブロックタイプ選択時に、発生するレートが小さくなるようなマクロブロックタイプを優先的に選択する。

前記ＤＣＴ変換係数コントロール手段により、主観的な画質の劣化なしに前記保護領域の圧縮を行い、レートを削減することができる。
また、前記マクロブロックタイプコントロール手段により、前記保護領域を圧縮する際のレートを削減することができる。

第２の発明の画像処理方法は、複数の画像上の領域を有する動画像を圧縮し符号化を行う画像処理方法であって、前記動画像内の前記複数の領域の各々に対し、当該領域の特性に基づいて保護レベルを設定する第１の工程と、第１の工程において設定された前記保護領域に対し、前記保護レベルに応じて前記保護領域の復号画像の画質を向上させる画質向上処理を行う第２の工程とを有する。

第３の発明のプログラムは、複数の画像上の領域を有する動画像を圧縮し符号化を行う画像処理装置が実行するプログラムであって、前記動画像内の前記複数の領域の各々に対し、当該領域の特性に基づいて保護レベルを設定する第１の手順と、第１の手順において設定された前記保護領域に対し、前記保護レベルに応じて前記保護領域の復号画像の画質を向上させる画質向上処理を行う第２の手順とを前記画像処理装置に実行させる。

本発明によれば、人間の視覚特性から劣化の目立ちやすい領域の主観画質を向上させる画像処理装置、画像処理方法及びプログラムを提供することができる。

以下、本発明の実施形態に係わる画像処理装置、画像処理方法及びプログラムについて説明する。

本実施形態の符号化装置２は本発明の画像処理装置の、本実施形態の保護領域は本発明の保護領域の、本実施形態の保護レベルは本発明の保護レベルの、本実施形態の量子化パラメータは本発明の量子化パラメータの、それぞれ一例である。
また、本実施形態の保護領域特定回路は本発明の保護レベル設定手段の、本実施形態の量子化スケールコントロール回路及びイントラ予測モードコントロール回路は本発明の画質向上手段の、本実施形態のＭＢタイプコントロール回路及び直交変換係数コントロール回路は本発明のレート削減手段の、本実施形態の量子化スケールコントロール回路は本発明の量子化スケールコントロール手段の、本実施形態のイントラ予測モードコントロール回路は本発明のイントラ予測モードコントロール手段の、本実施形態のＭＢタイプコントロール回路は本発明のＭＢタイプコントロール手段の、本実施形態のＤＣＴ係数コントロール回路は本発明の直交変換係数コントロール手段の、それぞれ一例である。

図１は、本発明の実施形態に係わる通信システム１の全体構成図である。
図１に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。
通信システム１では、送信側の符号化装置２において、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ(ビットストリーム)を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網等の伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスク及び半導体メモリ等の記録媒体であってもよい。
復号装置３は、符号化装置２の符号化に対応した復号を行う。

図２は、図１に示す符号化装置２の一例を示すブロック図である。
図２に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２１、保護領域特定回路２２、プリフィルタ２３、画面並べ替え回路２４、演算回路２５、直交変換回路２６、ＤＣＴ係数コントロール回路２７、量子化回路２８、可逆符号化回路２９、バッファ３０、逆量子化回路３１、逆直交変換回路３２、加算回路３３、デブロックフィルタ３４、フレームメモリ３５、イントラ予測回路３６、動き予測・補償回路３７、ＭＢタイプコントロール回路３８、イントラ予測モードコントロール回路３９、レート制御回路４０、量子化スケールコントロール回路４１を有する。

以下、符号化回路２の各構成要素について説明する。
Ａ／Ｄ変換回路２１は、入力されたアナログの輝度信号Ｙ、色差信号Ｃｂ、Ｃｒから構成される原画像信号をデジタルの画像信号に変換し、これを保護領域特定回路２２及びプリフィルタ２３に出力する。
保護領域特定回路２２は、Ａ／Ｄ変換回路２１から入力されたデジタルの画像信号内のノイズが知覚されやすい領域をその視覚特性の統計データから検出・特定し、ノイズの目立ちやすさの度合いに応じて保護レベルを設定する。

人間の視覚は、画像の複雑度が小さい領域、すなわち平坦な領域では、画像を圧縮した際にノイズや劣化を発見しやすい、という特性を持つ。
更に、人間の視覚は、視覚の分解能が高い明るさ・色においては、僅かな色相の差を知覚することができる、という特性を持つ。
以上の点から、画像データ内の各領域の平坦性、色相、輝度の各要素を基に、該当する領域が劣化の目立ちやすい領域であるか否かを特定する。

以下、保護領域特定回路２２の行う保護領域特定処理について説明する。
まず、保護領域特定回路２２は、画像データ内の各ブロック・マクロブロックに対し、以下の各パラメータを抽出する。
・８×８ブロック、マクロブロック、画面内の輝度信号の分散値
・８×８ブロック、マクロブロック、画面内の色差信号の分散値
・８×８ブロック、マクロブロック、画面内の輝度信号の値
・８×８ブロック、マクロブロック、画面内の色差信号の値
輝度信号の分散値は、対象の領域の輝度信号Ｙのばらつきを示す値である。
色差信号の分散値は、対象の領域の色差信号Ｃｂ及びＣｒのばらつきを示す値である。
輝度信号の値は対象の領域の輝度信号Ｙのとる値である。
色差信号の値は対象の領域の色差信号Ｃｂ及びＣｒのとる値である。

これらのパラメータを基に、保護領域特定回路２２は処理対象画像データにおける各領域に対し保護レベル（弱、中、強、境界、通常）を設定する。
図３は、保護領域特定処理の一例を表すフローチャートである。

ステップＳＴ１：
保護領域特定回路２２は、処理対象の画像データ内のＭＢ（マクロブロック）の輝度信号Ｙの値（輝度信号値）、色差信号Ｃｂ、Ｃｒの値（色差信号値）が特定の範囲Ａ内にあるか否かを判定し、ある場合はステップＳＴ２へ、無い場合はステップＳＴ３に進む。
ステップＳＴ２：
保護領域特定回路２２は、処理対象の画像データ内のＭＢの輝度信号分散値、色差信号分散値が特定の範囲Ｂ内にあるか否かを判定し、ある場合はステップＳＴ４へ、無い場合はステップＳＴ６に進む。
ステップＳＴ３：
保護領域特定回路２２は、処理対象の画像データ内の８×８ブロックの輝度信号分散値、色差信号分散値が特定の範囲Ｃ内にあるか否かを判定し、ある場合はステップＳＴ５へ、無い場合はステップＳＴ１５に進む。

ステップＳＴ４：
保護領域特定回路２２は、処理対象領域に対し、以下の判断基準から保護レベル（弱、中、強）を設定し、保護レベル弱の場合にはステップＳＴ６へ、保護レベル中の場合にはステップＳＴ７へ、保護レベル強の場合にはステップＳＴ８へ進む。
・マクロブロック分散値がある程度小さい、もしくはマクロブロック分散値がかなり小さいが、劣化がそれほど目立たない画素値（以下、輝度信号値、色差信号値をあわせて画素値と呼ぶ）を持つ領域である場合、保護レベルを弱に設定
・マクロブロック分散値がかなり小さく、劣化がある程度目立ちやすい画素値を持つ領域である場合、保護レベルを中に設定
・マクロブロック分散値がかなり小さく、劣化が目立ちやすい画素値を持つ領域である場合、保護レベルを強に設定
ステップＳＴ５：
保護領域特定回路２２は、処理対象画像データに対し、上述の判断基準から保護レベル（弱、中、強）を設定し、保護レベル中或いは強の場合にはステップＳＴ９へ、それ以外の場合にはステップＳＴ１５へ進む。

ステップＳＴ１０：
保護領域特定回路２２は、処理対象領域の面積が小さく、劣化が目立たない、或いは処理対象領域が幅１マクロブロックの線状の領域である場合はステップＳＴ１５に進み、そうでない場合は上述した保護レベルにあわせてステップＳＴ１１、ＳＴ１２、ＳＴ１３、ＳＴ１４のいずれかに進む。

上記ステップＳＴ１、ＳＴ２及びＳＴ３における範囲Ａ、Ｂ及びＣは、統計データを基にあらかじめ決定された値である。
また、ステップＳＴ４における判断基準は、その領域内における画素値（Ｙ,Ｃｂ,Ｃｒ）の平均値と劣化の目立ち度との関係から、統計データを基にあらかじめ決定されているレンジデータによる。

上述したように、本実施形態の保護領域特定回路２２が設定する保護レベルは弱、中、強、境界、通常の５種類あり、それに伴い各領域を保護レベルに従って、弱保護領域、中保護領域、強保護領域、境界保護領域、通常領域のように呼ぶ。
以下各領域について説明する。

・弱保護領域
マクロブロック分散値がある程度小さい、もしくはマクロブロック分散値がかなり小さいが、劣化がそれほど目立たない画素値を持つ領域。
・中保護領域
マクロブロック分散値がかなり小さく、劣化がある程度目立ちやすい画素値を持つ領域。
・強保護領域
マクロブロック分散値がかなり小さく、劣化が目立ちやすい画素値を持つ領域。
・境界保護領域
保護領域に接しており、８×８ブロック分散値がかなり小さく、劣化がある程度以上目立ちやすい領域。
・通常領域
保護対象外の領域。劣化が目立たない領域、もしくは保護領域と設定されるべき画素値・画素分散値を有するが、面積が小さい、或いは細長い等の理由から劣化が目立ちにくい領域。

上述したように、保護領域特定回路２２によれば、処理対象画像データの複数の領域に対し、保護領域とするか否かを判断し、更に保護領域にすると判断された領域に対し、保護レベルを設定することができる。

保護領域特定回路２２は、上述のように設定した保護レベル情報を、プリフィルタ２３、ＤＣＴ係数コントロール回路２７、ＭＢタイプコントロール回路３８、イントラ予測モードコントロール回路３９及び量子化スケールコントロール回路４１に出力する。

プリフィルタ２３は、保護領域特定回路２２から入力された保護レベル情報を基に、処理対象画像データの通常領域以外の領域の高周波成分をカットし、画面並べ替え回路２４に出力する。
これにより、僅かな画素差で起きるブロック状のノイズをなくすことができる。
また、処理対象画像データの通常領域に対しては何もせず画面並べ替え回路２４に出力する。
画面並べ替え回路２４は、プリフィルタ２３から入力された処理対象画像データのフレーム画像信号を、そのピクチャタイプＩ、Ｐ、ＢからなるＧＯＰ（Group of Pictures）構造に応じて、符号化する順番に並べ替えた原画像データ（フレーム画像データ）を演算回路２５及び動き予測・補償回路３７に出力する。

演算回路２５は、原画像データと、イントラ予測回路３６或いは動き予測・補償回路３７から入力された予測画像データＰＩとの差分を示す画像データを生成し、これを直交変換回路２６に出力する。
直交変換回路２６は、画像データに離散コサイン変換やカルーネン・レーベ変換等の直交変換を施して画像データ（例えばＤＣＴ係数信号）を生成し、これをＤＣＴ係数コントロール回路２７に出力する。

ＤＣＴ係数コントロール回路２７は、保護領域特定回路２２から入力された保護レベル情報を基に、直交変換回路２６から入力されたＤＣＴ係数信号の値を操作する。
具体的には、保護レベルが中或いは強の場合、ＤＣＴ係数コントロール回路２７は、例えば、画像がイントラマクロブロックであれば、ＤＣ成分とＭ個（Ｍは任意の自然数）の低域成分を除き、全てのＤＣＴ係数を除去する。インターマクロブロックであれば、全てのＤＣＴ係数を除去する。
また、保護レベルが境界の場合、ＤＣＴ係数コントロール回路２７は、例えば、画像がイントラマクロブロックであればＤＣ成分とＮ個（Ｎは任意の自然数）の低域成分を除いて、全てのＤＣＴ係数を除去する。インターマクロブロックであれば、全てのＤＣＴ係数を除去する。
上述した自然数ＭとＮは、ＭまたはＮ個の低域成分を除去しても当該保護領域の主観的画質への影響が少ないように決定される数である。
保護レベルが通常或いは弱の場合には、ＤＣＴ係数コントロール回路２７は係数操作を行わない。

これにより、本実施形態の符号化装置２は、主観画質への影響が少ないＤＣＴ係数を除去し、その結果画質を維持できる範囲でレートを削減することができる。
また、ＤＣＴ係数コントロール回路２７は、上述した操作を終えた画像データ（ＤＣＴ係数信号）を、量子化回路２８に出力する。

量子化回路２８は、量子化スケールコントロール回路４１から入力された量子化パラメータを使用して、画像データを量子化して変換係数を生成し、これを可逆符号化回路２９及び逆量子化回路３１に出力する。

可逆符号化回路２９は、変換係数を可変長符号化或いは算術符号化し、符号化済み画像データとしてバッファ３０に格納する。

バッファ３０に格納された符号化済み画像データは、変調等された後に送信される。
逆量子化回路３１は、変換係数を逆量子化した信号を生成し、逆直交変換回路３２に出力する。
逆直交変換回路３２は、逆量子化回路３１から入力された信号に、直交変換回路２６における直交変換の逆変換を施して生成した画像データを加算回路３３に出力する。
加算回路３３は、逆直交変換回路３２から入力された画像データと、イントラ予測回路３６或いは動き予測・補償回路３７から入力された予測画像データＰＩとを加算して再構成画像データを生成し、これをデブロックフィルタ３４に出力する。

デブロックフィルタ３４は、加算回路３３から入力された再構成画像データのブロック歪みを除去した画像データを、参照画像データＲＥＦとしてフレームメモリ３５に書き込む。
フレームメモリ３５には、例えば、動き予測・補償回路３７による動き予測・補償処理、ならびにイントラ予測回路３６におけるイントラ予測処理の対象となっている原画像データの再構成画像データが、処理を終了したマクロブロックを単位として順に書き込まれる。

イントラ予測回路３６は、ＭＢタイプコントロール回路３８が決定した複数のサイズのブロックデータ（マクロブロックタイプ）を単位とし、イントラ予測モードコントロール回路３９が決定したイントラ予測モードに従って、イントラ予測符号化を行い、予測画像データPIと、原画像データと予測画像データPIとの差分ＤＩＦとを演算回路２５に出力する。

動き予測・補償回路３７は、原画像データ内のマクロブロックアドレスと、参照画像データ内のマクロブロックアドレスとを基に動きベクトルＭＶを生成し、動きベクトルＭＶを基に更に予測画像データＰＩと、原画像データと予測画像データPIとの差分ＤＩＦとを生成し、演算回路２５に出力する。

ＭＢタイプコントロール回路３８は、イントラ予測回路３６におけるイントラ予測の際に発生レートが小さくなるマクロブロックタイプを優先的に選択し、決定して、決定したマクロブロックタイプをイントラ予測回路３６に出力する。
具体的には、画質が破綻しない範囲でスキップモード、１６×１６モード等を優先して選択する。
これにより、保護領域のレートを画質を劣化させずに削減することができる。

イントラ予測モードコントロール回路３９は、保護領域特定回路２２が設定した保護レベル情報を基に、イントラ予測回路３６がイントラ予測符号化を行う際のマクロブロックタイプの制限や優先、特定のマクロブロックモードにおける予測方向の導出法の変更を行い、イントラ予測回路３６で使用されるマクロブロックタイプを決定して、決定したマクロブロックタイプ情報をイントラ予測回路３６に出力する。
具体的には、例えば、以下のような処理を行う。
・イントラ１６×１６モードを禁止する。
・イントラ４×４モードにおいて、歪みが最小となるように予測方向を決定する。
これにより、ブロックノイズをなくす、或いは目立たなくさせることができ、更に歪みを小さくすることができる。すなわち、保護領域の画質を向上させることができる。

レート制御回路４０は、原画像データと、バッファ３０から読み出した符号化済み画像データを基に、量子化回路２８における基本ＱＰ（Quantization parameter：量子化パラメータ）を決定し、量子化スケールコントロール回路４１に出力する。
量子化スケールコントロール回路４１は、レート制御回路４０から入力された基本ＱＰと、保護領域特定回路２２から入力された保護レベル情報を基に、新たにＱＰ４０を決定する量子化スケールコントロール操作を行った後、ＱＰ４０を量子化回路２８に出力する。

具体的には、例えば、保護レベルが通常或いは弱の場合は基本量子化パラメータをそのまま、保護レベルが中、強或いは境界の場合には、新たに決定した保護用のＱＰ４０を量子化回路２８に出力する。
上述の量子化スケールコントロール操作を行うことにより、本実施形態の符号化装置２は、量子化ステップを小さくし僅かな画素差をトレースするため、保護すべき領域の画質を向上させることができる。

図４は、ＤＣＴ係数コントロール回路２７、ＭＢタイプコントロール回路３８、イントラ予測モードコントロール回路３９及び量子化スケールコントロール回路４１が各領域に対して行う操作をまとめた図である。

以上説明したように、本実施形態の符号化装置２によれば、図４に示す操作を行うことにより、人間の視覚特性を鑑みて劣化の目立ちやすい領域を輝度・色相の観点から統計データを基に特定し、当該領域を複数の保護レベルに分類し、当該領域に対する画質向上と、画質向上に伴うレート増加を抑えるためのレート削減を行うことができる。

すなわち、上述した本実施形態の符号化装置２によれば、劣化の目立ちやすい領域を特定し、その領域に対して量子化スケールコントロール、画面内予測モードコントロール及びプリフィルタといった画質向上操作を施し、更に当該画質向上操作に伴うレート増加を抑えるために、ＤＣＴ係数コントロール及びＭＢタイプコントロールといったレート削減操作を施すことができる。
これにより、通常の符号化において劣化の目立ちやすい領域の劣化を抑えると共に、劣化を抑えることによるレートの増加、すなわち圧縮率の低下を防ぐことができる。

本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
本実施形態の符号化装置２では、平坦性を特定するパラメータとして輝度信号の分散値と色差信号の分散値を使用しているが、この他にも、例えば、ローカル画像のブロック度、原画像データとローカル画像データとの画素値の差、及びＤＣＴ後の非０係数の数等のパラメータを利用することもできる。

図１は、本発明の実施形態に係わる通信システムの全体構成図である。 図２は、図１に示す符号化装置２の一例を示すブロック図である。 図３は、保護領域特定処理の一例を示すフローチャートである。 図４は、ＤＣＴ係数コントロール回路２７、ＭＢタイプコントロール回路３８イントラ予測モードコントロール回路３９及び量子化スケールコントロール回路４１が各領域に対して行う操作を示す図である。

符号の説明

１…通信システム、２…符号化装置、３…復号化装置、２１…Ａ／Ｄ変換回路、２２…保護領域特定回路、２３…プリフィルタ、２４…画面並べ替え回路、２５…演算回路、２６…直交変換回路、２７…ＤＣＴ係数コントロール回路、２８…量子化回路、２９…可逆符号化回路、３０…バッファ、３１…逆量子化回路、３２…逆直交変換回路、３３…加算回路、３４…デブロックフィルタ、３５…フレームメモリ、３６…イントラ予測回路、３７…動き予測・補償回路、３８…ＭＢタイプコントロール回路、３９…イントラ予測モードコントロール回路、４０…レート制御回路、４１…量子化スケールコントロール回路

Claims (9)

1. 複数の画像上の領域を有する動画像を圧縮し符号化を行う画像処理装置であって、
   前記動画像内の前記複数の領域の各々に対し、当該領域の特性に基づいて保護レベルを設定する保護レベル設定手段と、
   前記保護領域に対し、前記保護レベル設定手段が設定した前記保護レベルに応じて前記保護領域の復号画像の画質を向上させる画質向上処理を行う画質向上手段と、
   を有する画像処理装置。
2. 前記画質向上手段が行った画質向上操作に伴って増大したビットレートを削減するために、前記保護領域に対し、前記保護レベル設定手段が設定した前記保護レベルに応じてレート削減操作を行うレート削減手段
   を更に有する請求項１に記載の画像処理装置。
3. 前記保護領域の前記特性は、輝度信号の値、色差信号の値、輝度信号の分散値、色差信号の分散値の少なくとも１つである
   請求項１に記載の画像処理装置。
4. 前記画質向上手段は、量子化スケールコントロール手段と、イントラ予測モードコントロール手段と、プリフィルタの少なくとも１つ
   を更に有する請求項１に記載の画像処理装置。
5. 前記量子化スケールコントロール手段は、前記保護領域に対し、前記保護レベル設定手段が設定した前記保護レベルに応じて、新たな量子化パラメータを生成し、
   前記イントラ予測モードコントロール手段は、前記保護領域に対し、前記保護レベル設定手段が設定した前記保護レベルに応じてマクロブロックタイプの制限や予測方向の決定を行い、
   前記プリフィルタは、前記保護領域に対し、高周波成分をカットする
   請求項４に記載の画像処理装置。
6. 前記レート削減手段は、直交変換係数コントロール手段と、マクロブロックタイプコントロール手段の少なくとも１つ
   を有する請求項２に記載の画像処理装置。
7. 前記直交変換係数コントロール手段は、前記保護領域に対し、直交変換後に絶対値の小さい直交変換係数を所定の数だけ除去し、
   前記マクロブロックタイプコントロール手段は、前記保護領域に対し、イントラ予測におけるマクロブロックタイプ選択時に、発生するレートが小さくなるようなマクロブロックタイプを優先的に選択する
   請求項６に記載の画像処理装置。
8. 複数の画像上の領域を有する動画像を圧縮し符号化を行う画像処理方法であって、
   前記動画像内の前記複数の領域の各々に対し、当該領域の特性に基づいて保護レベルを設定する第１の工程と、
   第１の工程において設定された前記保護領域に対し、前記保護レベルに応じて前記保護領域の復号画像の画質を向上させる画質向上処理を行う第２の工程と
   を有する画像処理方法。
9. 複数の画像上の領域を有する動画像を圧縮し符号化を行う画像処理装置が実行するプログラムであって、
   前記動画像内の前記複数の領域の各々に対し、当該領域の特性に基づいて保護レベルを設定する第１の手順と、
   第１の手順において設定された前記保護領域に対し、前記保護レベルに応じて前記保護領域の復号画像の画質を向上させる画質向上処理を行う第２の手順と
   を前記画像処理装置に実行させるプログラム。
   
   

Images