JP2016111473A - 客観画質評価装置及びプログラム - Google Patents

Abstract

【課題】視覚特性を考慮した主観評価に近い客観画質評価値を測定する。【解決手段】客観画質評価装置１は、評価画像及び該評価画像の原画像を複数のブロックに分割してブロックサイズのブロック評価画像及びブロック原画像を生成する画像分割部１０と、ブロック評価画像及びブロック原画像から、ブロックごとに前記評価画像の客観画質評価値を算出する客観画質評価値算出部２０と、評価画像の動きベクトルに関する情報、又は評価画像のブロック歪量に関する情報を含む視覚特性情報を生成する視覚特性検出部３０と、客観画質評価値を視覚特性情報に基づいて修正する客観画質評価値修正部４０と、を備える。【選択図】図１

Description

本発明は、評価画像の客観画質評価を行う客観画質評価装置及びプログラムに関する。

従来、原画像と評価画像の客観画質の測定手法として、ＰＳＮＲ（Peak Signal to Noise Ratio）やＳＳＩＭ（Structural SIMilarity）がよく知られている。例えば、特許文献１には、２系統で伝送された圧縮符号化信号の分散値から、基準画像無しに受信画像の信号対雑音比を推定するノンリファレンス型客観画質評価装置が記載されている。また、非特許文献１には、ＳＳＩＭを用いて客観的に画質を評価する手法が記載されている。

ＰＳＮＲは、画像の最大階調数をＭＡＸとすると、式（１）により算出される。８ｂｉｔ深度画像の場合、ＭＡＸ＝２５６である。式（１）における平均二乗誤差（ＭＳＥ；Mean Square Error）は、水平ｍ画素、垂直ｎラインの基準画像Ｉ及び評価画像Ｋにおいて、式（２）により算出される。

また、ＳＳＩＭは、基準画像及び評価画像の平均をμ₁，μ₂とし、分散をσ_x，σ_y、共分散をσ_xyとすると、式（３）で算出される。ここで、Ｃ₁，Ｃ₂は式（４）により算出される。

ここで、Ｋ₁及びＫ₂は定数であり、通常Ｋ₁＝０．０１、Ｋ₂＝０．０３とされる。また、Ｌは画像の最大輝度値であり、通常８ｂｉｔ深度画像ではＬ＝２５５とされる。なお、ＳＳＩＭ値の計算法の詳細については、非特許文献１に記されている。

特許第３５２７１４５号公報

Z.Wang, A.C.Bovik, H.R.Sheikh and E.P.Simoncelli, "Image quality assessment: From error visibility to structural simi1arity, "IEEE Transactions on Image Processing, vol.13, no.4, pp.600-612, Apr.2004.

しかし、ＰＳＮＲは原画像を基準とした評価画像の差分値を求めるものであり、ＰＳＮＲ値が高いからといって必ずしも主観画質が高いとはいえない。また、ＳＳＩＭは、一般に主観評価に近い評価結果が得られると考えられているが、特に視覚特性を考慮して評価している訳ではなかった。

かかる事情に鑑みてなされた本発明の目的は、視覚特性を考慮して評価画像の画質評価を行うことが可能な客観画質評価装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る客観画質評価装置は、評価画像の客観画質評価を行う客観画質評価装置であって、評価画像及び該評価画像の原画像を複数のブロックに分割してブロックサイズのブロック評価画像及びブロック原画像を生成する画像分割部と、前記ブロック評価画像及び前記ブロック原画像から、ブロックごとに前記評価画像の客観画質評価値を算出する客観画質評価値算出部と、前記評価画像の動きベクトルに関する情報、又は前記評価画像のブロック歪量に関する情報を含む視覚特性情報を生成する視覚特性検出部と、前記客観画質評価値を前記視覚特性情報に基づいて修正する客観画質評価値修正部と、を備えることを特徴とする。

さらに、本発明に係る客観画質評価装置において、前記視覚特性検出部は、前記ブロック評価画像と前記ブロック原画像との絶対値差分値を画素値とするブロック差分画像を生成する差分画像生成部と、前記ブロック差分画像の水平方向及び垂直方向にＬＰＣ解析を適用して、ＬＰＣスペクトル包絡を示す情報であるＬＰＣスペクトル包絡情報を生成するＬＰＣ解析部と、前記ＬＰＣスペクトル包絡情報に基づいて、ブロックごとのスペクトルの振幅の大きさを前記ブロック歪量として算出するブロック歪量検出部と、を備えることを特徴とする。

さらに、本発明に係る客観画質評価装置において、前記視覚特性検出部は、前記評価画像の動きベクトルを、該評価画像の１フレーム前の評価画像を参照画像とする動き推定により生成する注視領域検出部を備えることを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記客観画質評価装置として機能させることを特徴とする。

本発明によれば、視覚特性を考慮することにより、主観評価に近い客観画質評価値を測定することができるようになる。

本発明の第１の実施形態に係る客観画質評価装置の構成例を示すブロック図である。 本発明の第２の実施形態に係る客観画質評価装置の構成例を示すブロック図である。 本発明の第２の実施形態に係る客観画質評価装置におけるＬＰＣスペクトル包絡情報の例を示す図である。 本発明の第３の実施形態に係る客観画質評価装置の構成例を示すブロック図である。

本発明に係る客観画質評価装置は、評価画像及び該評価画像の原画像を入力し、視覚特性を考慮して評価画像の客観画質評価値を出力するものである。評価画像は、原画像を符号化して復号するなどにより、原画像に対して画質の劣化が生じた画像である。本発明では、通常の手法により算出した客観画質評価値を、評価画像の動きベクトルに関する情報、又は評価画像のブロック歪量に関する情報を含む視覚特性情報に基づいて修正する。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照して詳細に説明する。第１の実施形態では、原画像及び評価画像は動画像である。

図１は、本発明の一実施形態に係る客観画質評価装置の構成例を示すブロック図である。図１に示す例では、客観画質評価装置１は、画像分割部１０と、客観画質評価値算出部２０と、視覚特性検出部３０と、客観画質評価値修正部４０とを備える。

画像分割部１０は、評価画像を複数のブロックに分割してブロック評価画像を生成し、客観画質評価値算出部２０と視覚特性検出部３０とに出力する。また、画像分割部１０は、原画像を複数のブロックに分割してブロック原画像を生成し、客観画質評価値算出部２０に出力する。ブロック評価画像とブロック原画像のサイズは同じサイズであり、以下、「ブロックサイズ」と称する。ブロックサイズは、例えば３２×３２画素や６４×６４画素とする。ブロックサイズはあらかじめ決定されていてもよいし、外部からブロックサイズの情報を入力してもよい。

客観画質評価値算出部２０は、画像分割部１０により生成されたブロック評価画像とブロック原画像とを入力し、ブロックごとに客観画質評価値を算出し、客観画質評価値修正部４０に出力する。客観画質評価値は、例えばＭＳＥ，ＰＳＮＲ又はＳＳＩＭとする。

視覚特性検出部３０は、第１の実施形態ではブロックごとの動きベクトルを生成する。図１に示す例では、視覚特性検出部３０は注視領域検出部３１を備える。

注視領域検出部３１は、画像分割部１０により生成されたブロック評価画像と、該ブロック評価画像の１フレーム前の評価画像とを入力する。そして、注視領域検出部３１は、ブロック評価画像を基準画像とし、１フレーム前の評価画像を参照画像として、ブロックマッチングによる動き推定を行い、動きベクトルに関する情報（注視領域情報）を生成し、客観画質評価値修正部４０に出力する。

注視領域検出部３１が出力する注視領域情報は、動きベクトルの大きさを示す情報とすることができる。また、注視領域情報は、動きベクトルの大きさが閾値Ｔｈを超えるか否か（すなわち、注視領域であるか否か）を示す情報とすることができる。動きベクトルの大きさが閾値Ｔｈ以下である場合には、該評価画像は静領域であるため、注視領域（映像中で人間が注視する領域）ではないと判定する。一方、動きベクトルの大きさが閾値Ｔｈを超える場合には、該評価画像は動領域であるため、注視領域であると判定する。閾値Ｔｈは、例えば画面を２秒で横切る速い動きとする。その場合、ＨＤＴＶだと閾値Ｔｈ＝１９２０［画素］／（６０［フィールド／秒］×２［秒］）＝１６［画素／フィールド］となる。

客観画質評価値修正部４０は、客観画質評価値算出部２０により算出されたブロックごとの客観画質評価値に、注視領域検出部３１により生成された注視領域情報に応じた係数αを乗じ、ブロックごとに修正された客観画質評価値を算出する。そして、評価画像に対する最終的な客観画質評価値（修正客観画質評価値）を算出し、外部に出力する。

具体的には、客観画質評価値算出部２０の算出する客観画質評価値がブロックごとのＭＳＥである場合、客観画質評価値修正部４０は、ブロックごとのＭＳＥに係数αをかけて各ブロックのＭＳＥ修正値を算出する。つぎに、各ブロックのＭＳＥ修正値をフレーム内の全ブロックについて合計してフレーム単位のＭＳＥ修正値を算出した後、式（１）により、フレーム単位のＰＳＮＲ修正値を算出し、修正客観画質評価値として出力する。

また、客観画質評価値算出部２０の算出する客観画質評価値がブロックごとのＰＳＮＲである場合、客観画質評価値修正部４０は、ブロックごとのＰＳＮＲに係数αをかけて各ブロックのＰＳＮＲ修正値を算出する。ここから直接フレーム単位のＰＳＮＲは算出できないため、いったん式（１）により、ブロックごとにＰＳＮＲ修正値に基づくＭＳＥ修正値を算出する。つぎに、各ブロックのＭＳＥ修正値をフレーム内の全ブロックについて合計してフレーム単位のＭＳＥ修正値を算出した後、再度式（１）により、フレーム単位のＰＳＮＲ修正値を算出し、修正客観画質評価値として出力する。

つぎに、客観画質評価値算出部２０の算出する客観画質評価値がＭＳＥである場合の係数αについて説明する。注視領域情報が注視領域であるか否かを示す情報である場合、注視領域情報が注視領域であることを示していればＭＳＥに係数α１を乗算し、注視領域情報が注視領域でないことを示していればＭＳＥにα１よりも大きい係数α２を乗算する。また、注視領域情報が動きベクトルの大きさを示す情報である場合、ＭＳＥに動きベクトルの大きさと負の相関を有する係数α３を乗算する。なお、客観画質評価がＭＳＥの場合は、客観画質評価値修正部４０は、係数乗算後のＭＳＥを用いて、式（１）によりＰＳＮＲを算出する。

また、客観画質評価値算出部２０の算出する客観画質評価値がＰＳＮＲ又はＳＳＩＭである場合の係数αについて説明する。注視領域情報が注視領域であるか否かを示す情報である場合、注視領域情報が注視領域であることを示していればＰＳＮＲ又はＳＳＩＭに係数α４を乗算し、注視領域情報が注視領域でないことを示していればＰＳＮＲ又はＳＳＩＭにα４よりも小さい係数α５を乗算する。また、注視領域情報が動きベクトルの大きさを示す情報である場合、ＰＳＮＲ又はＳＳＩＭに動きベクトルの大きさと正の相関を有する係数α６を乗算する。

上述したように、本実施形態の客観画質評価装置１は、画像分割部１０により評価画像及び該評価画像の原画像を複数のブロックに分割してブロックサイズのブロック評価画像及びブロック原画像を生成する。そして、客観画質評価値算出部２０によりブロック評価画像及びブロック原画像から、ブロックごとに評価画像の客観画質評価値を算出し、視覚特性検出部３０により評価画像の動きベクトルに関する情報を生成する。最後に、客観画質評価値修正部４０により客観画質評価値を視覚特性情報に基づいて修正する。このようにして、客観画質評価装置１は、評価画像の動きベクトルに基づく視覚特性を考慮することにより、主観評価に近い客観画質評価値を測定することができるようになる。

（第２の実施形態）
つぎに、本発明の第２の実施形態について、図面を参照して詳細に説明する。第２の実施形態では、原画像及び評価画像は、静止画像であってもよいし、動画像であってもよい。

図２は、第２の実施形態に係る客観画質評価装置２の構成例を示すブロック図である。視覚特性検出部３０以外の構成については、第１の実施形態と同一である。

画像分割部１０は、評価画像を複数のブロックに分割しブロックサイズのブロック評価画像を生成し、客観画質評価値算出部２０と視覚特性検出部３０とに出力する。また、画像分割部１０は、原画像を複数のブロックに分割してブロックサイズのブロック原画像を生成し、客観画質評価値算出部２０と視覚特性検出部３０とに出力する。

客観画質評価値算出部２０は、画像分割部１０により生成されたブロック評価画像とブロック原画像とを入力し、ブロックごとに客観画質評価値を算出し、客観画質評価値修正部４０に出力する。

視覚特性検出部３０は、第２の実施形態ではブロックごとのブロック歪量を生成する。図２に示す例では、視覚特性検出部３０は、差分画像生成部３２と、ＬＰＣ解析部３３と、ブロック歪量検出部３４とを備える。

差分画像生成部３２は、画像分割部１０により生成されたブロック評価画像とブロック原画像との画素ごとの絶対値差分値を画素値とするブロック差分画像を生成し、ＬＰＣ解析部３３に出力する。

ＬＰＣ解析部３３は、差分画像生成部３２により生成されたブロック差分画像の水平方向及び垂直方向にＬＰＣ解析を適用して、ブロックごとのＬＰＣスペクトル包絡を示す情報であるＬＰＣスペクトル包絡情報を生成し、ブロック歪量検出部３４に出力する。ＬＰＣ解析は、音声認識の分野でスペクトル包絡を求めるのに用いられており、人間の声が声帯振動と声道からなると定義してスペクトル包絡を求めることで、声帯振動による音の強さと周波数、声道共振によるフォルマントを効果的に表現できる。本発明ではこれを画像のブロック歪解析に応用することにより、画像が映像信号とブロック歪雑音からなると定義してスペクトル包絡を求めることで、評価画像に含まれるブロック歪（周期的位相位置のインパルス成分）のレベル及びブロックサイズを効果的に表現することを可能とした。

図３は、ＬＰＣ解析部３３により生成されるＬＰＣスペクトル包絡情報の例を示す図である。ここでは、水平方向又は垂直方向のＬＰＣスペクトル包絡情報をグラフ化して表示しており、横軸を周波数、縦軸をレベルとしている。ＬＰＣスペクトル包絡情報のピークは、ブロック差分画像に含まれるブロック歪の周期ごとに現れ、その値はブロック歪がインパルスに近いほど、つまり画像に対して目立ちやすいほど、横軸（周波数軸）の高い値まで大きくなる。ブロックサイズをａ×ａ画素とすると、スペクトルのピークは水平周波数方向及び垂直周波数方向にａサンプル間隔で現れる。

ブロック歪量検出部３４は、ＬＰＣ解析部３３により生成されるＬＰＣスペクトル包絡情報に基づいて、ブロックごとのスペクトルの振幅の大きさをブロック歪量として算出し、ブロック歪量に関する情報（ブロック歪量情報）を客観画質評価値修正部４０に出力する。例えば、ブロック歪量検出部３４は、ａサンプル間隔で現れるスペクトルのピーク値の合計値をブロック歪量とする。なお、ブロックサイズはあらかじめ決定されていてもよいし、外部からブロックサイズの情報を入力してもよい。

客観画質評価値修正部４０は、客観画質評価値算出部２０により算出されたブロックごとの客観画質評価値に、視覚特性検出部３０により生成されたブロック歪量情報に応じた係数βを乗じて修正し、ブロックごとに修正された客観画質評価値を算出する。そして、評価画像に対する最終的な客観画質評価値（修正客観画質評価値）を外部に出力する。

例えば、客観画質評価値算出部２０の算出する客観画質評価値がＭＳＥである場合、ＭＳＥにブロック歪量と正の相関を有する係数β１を乗算する。また、客観画質評価値がＰＳＮＲ又はＳＳＩＭである場合、ＰＳＮＲ又はＳＳＩＭにブロック歪量と負の相関を有する係数β２を乗算する。

上述したように、本実施形態の客観画質評価装置２は、画像分割部１０により評価画像及び該評価画像の原画像を複数のブロックに分割してブロックサイズのブロック評価画像及びブロック原画像を生成する。そして、客観画質評価値算出部２０によりブロック評価画像及びブロック原画像から、ブロックごとに評価画像の客観画質評価値を算出し、視覚特性検出部３０により評価画像のブロック歪量に関する情報を生成する。最後に、客観画質評価値修正部４０により客観画質評価値を視覚特性情報に基づいて修正する。このようにして、客観画質評価装置２は、評価画像のブロック歪量に基づく視覚特性を考慮することにより、主観評価に近い客観画質評価値を測定することができるようになる。

（第３の実施形態）
つぎに、本発明の第３の実施形態について、図面を参照して詳細に説明する。第３の実施形態では、原画像及び評価画像は動画像である。

図４は、第３の実施形態に係る客観画質評価装置３の構成例を示すブロック図である。視覚特性検出部３０以外の構成については、第１の実施形態及び第２の実施形態と同一である。図４に示す例では、視覚特性検出部３０は、注視領域検出部３１と、差分画像生成部３２と、ＬＰＣ解析部３３と、ブロック歪量検出部３４とを備える。

画像分割部１０は、評価画像を複数のブロックに分割しブロックサイズのブロック評価画像を生成し、客観画質評価値算出部２０と注視領域検出部３１と、差分画像生成部３２とに出力する。また、画像分割部１０は、原画像を複数のブロックに分割してブロックサイズのブロック原画像を生成し、客観画質評価値算出部２０と差分画像生成部３２とに出力する。

客観画質評価値算出部２０は、画像分割部１０により生成されたブロック評価画像とブロック原画像とを入力し、ブロックごとに客観画質評価値を算出し、客観画質評価値修正部４０に出力する。

視覚特性検出部３０は、第３の実施形態ではブロックごとの動きベクトル及びブロック歪量を生成する。図３に示す例では、視覚特性検出部３０は注視領域検出部３１と、差分画像生成部３２と、ＬＰＣ解析部３３と、ブロック歪量検出部３４とを備える。

注視領域検出部３１は、第１の実施形態と同様に、ブロック評価画像を基準画像とし、１フレーム前の評価画像を参照画像として、ブロックマッチングによる動き推定を行い、注視領域情報を客観画質評価値修正部４０に出力する。

差分画像生成部３２は、第２の実施形態と同様に、画像分割部１０により生成されたブロック評価画像とブロック原画像との画素ごとの絶対値差分値を画素値とするブロック差分画像を生成し、ＬＰＣ解析部３３に出力する。ＬＰＣ解析部３３は、第２の実施形態と同様に、差分画像生成部３２により生成されたブロック差分画像にＬＰＣ解析を水平方向及び垂直方向に適用してＬＰＣスペクトル包絡情報を生成し、ブロック歪量検出部３４に出力する。ブロック歪量検出部３４は、第２の実施形態と同様に、ＬＰＣ解析部３３により生成されるＬＰＣスペクトル包絡情報に基づいて、ブロック歪量情報を生成し、客観画質評価値修正部４０に出力する。

客観画質評価値修正部４０は、客観画質評価値算出部２０により算出されたブロックごとの客観画質評価値に、注視領域検出部３１により生成された注視領域情報に応じた係数α、及びブロック歪量検出部３４により生成されたブロック歪量情報に応じた係数βを乗じ、ブロックごとに修正された客観画質評価値を算出する。そして、評価画像に対する最終的な客観画質評価値（修正客観画質評価値）を外部に出力する。

客観画質評価値算出部２０が算出する客観画質評価値がＭＳＥの場合の係数について説明する。注視領域情報が注視領域であるか否かを示す情報である場合、注視領域情報が注視領域であることを示していれば係数αをα１（例えば０．８）とし、注視領域情報が注視領域でないことを示していれば係数αをα１よりも大きな値であるα２（例えば０．９５）とする。また、係数βは、ブロック歪量と正の相関を有する値とする。例えば、係数βをブロック歪量のとり得る最大値を１に正規化したときのブロック歪量の値をとする。なお、客観画質評価値がＭＳＥの場合は、客観画質評価値修正部４０は、係数α及びβの乗算後のＭＳＥを用いて、式（１）によりＰＳＮＲを算出する。

つぎに、客観画質評価値算出部２０の算出する客観画質評価値がＰＳＮＲ又はＳＳＩＭである場合の係数について説明する。注視領域情報が注視領域であるか否かを示す情報である場合、注視領域情報が注視領域であることを示していれば係数αをα３（例えば０．９５）とし、注視領域情報が注視領域でないことを示していれば係数αをα３よりも小さな値であるα４（例えば０．８）とする。また、係数βは、ブロック歪量と負の相関を有する値とする。例えば、とり得る最大値を１に正規化したときのブロック歪量の値をβ１とすると、係数βを１−β１とする。

上述したように、本実施形態の客観画質評価装置３は、評価画像及び該評価画像の原画像を複数のブロックに分割してブロックサイズのブロック評価画像及びブロック原画像を生成する。そして、客観画質評価値算出部２０によりブロック評価画像及びブロック原画像から、ブロックごとに評価画像の客観画質評価値を算出し、視覚特性検出部３０により評価画像の動きベクトルに関する情報及びブロック歪量に関する情報を生成する。最後に、客観画質評価値修正部４０により客観画質評価値を動きベクトルに関する情報及びブロック歪量に関する情報に基づいて修正する。このようにして、客観画質評価装置３は、評価画像の動きベクトル及びブロック歪量に基づく視覚特性を考慮することにより、主観評価に近い客観画質評価値を測定することができるようになる。

また、上述した客観画質評価装置１，２，３を画像符号化や画像超解像に利用することで、従来よりも主観評価に近い最適化されたパラメータを得ることができる。

なお、上述した客観画質評価装置１，２，３として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、客観画質評価装置１，２，３の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１，２，３ 客観画質評価装置
１０ 画像分割部
２０ 客観画質評価値算出部
３０ 視覚特性検出部
３１ 注視領域検出部
３２ 差分画像生成部
３３ ＬＰＣ解析部
３４ ブロック歪量検出部
４０ 客観画質評価値修正部

Claims (4)

1. 評価画像の客観画質評価を行う客観画質評価装置であって、
   評価画像及び該評価画像の原画像を複数のブロックに分割してブロックサイズのブロック評価画像及びブロック原画像を生成する画像分割部と、
   前記ブロック評価画像及び前記ブロック原画像から、ブロックごとに前記評価画像の客観画質評価値を算出する客観画質評価値算出部と、
   前記評価画像の動きベクトルに関する情報、又は前記評価画像のブロック歪量に関する情報を含む視覚特性情報を生成する視覚特性検出部と、
   前記客観画質評価値を前記視覚特性情報に基づいて修正する客観画質評価値修正部と、
   を備えることを特徴とする客観画質評価装置。
2. 前記視覚特性検出部は、
   前記ブロック評価画像と前記ブロック原画像との絶対値差分値を画素値とするブロック差分画像を生成する差分画像生成部と、
   前記ブロック差分画像の水平方向及び垂直方向にＬＰＣ解析を適用して、ＬＰＣスペクトル包絡を示す情報であるＬＰＣスペクトル包絡情報を生成するＬＰＣ解析部と、
   前記ＬＰＣスペクトル包絡情報に基づいて、ブロックごとのスペクトルの振幅の大きさを前記ブロック歪量として算出するブロック歪量検出部と、
   を備えることを特徴とする、請求項１に記載の客観画質評価装置。
3. 前記視覚特性検出部は、前記評価画像の動きベクトルを、該評価画像の１フレーム前の評価画像を参照画像とする動き推定により生成する注視領域検出部を備えることを特徴とする、請求項１又は２に記載の客観画質評価装置。
4. コンピュータを、請求項１から３のいずれか一項に記載の客観画質評価装置として機能させるためのプログラム。

Images