JP2009260941A - 映像品質客観評価方法、映像品質客観評価装置、及びプログラム - Google Patents

Abstract

【課題】人間が映像を見て体感した品質（主観品質）を客観的に評価する映像品質客観評価を行う際に、上記主観品質の推定を効率的かつ精度良く行う。
【解決手段】符号化された映像のビット列の内部に存在し、シーンの違いを表すパラメータである動きベクトルやＤＣＴ係数、または符号化された映像のビット列から部分的に復号した画素情報や符号化制御情報を映像品質客観評価に用いる。その結果、全映像のビット列を復号して得た画素情報を用いて映像品質客観評価を行った場合に比べて、非常に多くの計算量を要する画素情報への復号処理の量を節約できるため、安価な計算機を利用して短時間で映像品質客観評価が可能になる。
【選択図】 図１

Description

本発明は、映像データの損失による映像品質の劣化を対象とした映像品質客観評価技術に関し、特に人間が映像を見て体感した品質（主観品質）を評価する場合に、多数の被験者が特殊な実験設備内で、実際に映像を視聴して品質を評価する主観品質評価実験を行うことなく、ユーザが視聴する映像の符号化ビット列情報から客観的に主観品質を導出する映像品質客観評価方法、映像品質客観評価装置、及びプログラムに関する。

従来、符号化された映像のビット列を保存もしくは伝送する際に、ビット列に欠損が発生した場合、映像符号化やＩＰ通信のパラメータ情報を用いて客観的に映像品質評価を行う技術（非特許文献１および非特許文献２参照）や、符号化された映像のビット列を画素信号まで復号し、画素情報を基に客観的に映像品質評価を行う技術（非特許文献３参照）が検討されてきた。

増田征貴，富永聡子，林孝典，"無効フレーム率を用いたインサービス映像品質管理法"，信学技報，CQ2005-59，pp.55-60，Sept. 2005． ITU-T G.1070,"Opinion model for video-telephony applications," Apr. 2007． ITU-T J.144,"Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference,"Feb. 2000．

非特許文献１や非特許文献２に記載の技術では、評価者が想定する数シーンの平均的な主観品質の推定を行う。しかし実際の映像ではシーン毎にビット列の構成が大きく異なるため、ビット列に損失が発生した場合には、映像のシーンの違いにより主観品質が大きく変動する。従って非特許文献１や非特許文献２の技術では映像シーンの違いを考慮することが難しく良好な推定精度の実現には問題がある。更にＩＰ通信のパラメータ情報を使って主観品質の推定を行う場合、ＩＰ通信以外のプロトコルを利用すると、主観品質の推定が不可能となる。
また、非特許文献３では、符号化された映像のビット列を復号した映像の画素情報を用いて主観品質の推定を試みているが、画素情報への復号には莫大な計算量を要するためリアルタイムに主観品質を推定するには非常に多くの演算量を必要とし、したがって１台当たりの製造コストが高騰することから、低コストが要求されるユーザの映像再生端末（セットトップボックス）等への実装が難しくなる。

このような課題を解決するために本発明は、現在主流である動き補償フレーム間予測とＤＣＴ変換を用いる符号化方式、特にＨ．２６４方式のビット列に損失が発生した場合に、ビット列のみ、もしくはこれを部分的にデコードした画素情報を解析して、ビット列をデコードして得られる映像内における劣化発生領域を検出する領域を検出するステップと、それらの劣化領域が人間に与える影響を重み係数として導出するステップと、映像をデコードする際にデコーダが映像内の劣化を検知しにくくする劣化隠蔽処理による効果を推定するステップと、劣化が発生するフレーム／スライス／動きベクトルのＩＰＢ属性を検出するステップと、これらの情報を総合して映像内の単一フレームにおける劣化の強さを表す値を導出するステップと、単一フレームにおける劣化の強さを，全てのフレームについて導出して，それらを統合してビット列の損失による全フレームの劣化の代表値を導出するステップと，符号化劣化に対する主観品質を推定するステップと、符号化劣化に対する主観品質とビット列の損失による全フレームの劣化の代表値を合わせて総合的な主観品質を推定するステップを備える符号化された映像のビット列に損失が生じた場合の主観品質を推定するものである。
すなわち、本発明は、視聴者が映像を見た時に体感する映像の品質を表す主観品質の推定を行う映像品質客観評価方法であって、動き補償とＤＣＴ変換を利用して符号化された映像のビット列に損失が生じた場合に、損失したビット列と残ったビット列を用いてシーンの違いが主観品質に及ぼす影響を考慮し、かつデコードを必要とせずに主観品質を推定することを特徴とする。

ここで、ビット列の損失が発生した場合に、失われたビット列で保存されていたフレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）の空間もしくは時系列の位置情報を用いて主観品質を推定する 。
また、動き補償機能において他のフレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）から参照される参照先フレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）のビット列に損失が生じている場合は、参照先のフレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）のビット列の損失により参照元のフレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）に与えられる損失に基づいて主観品質を推定する。

また、符号化処理により劣化した主観品質を、ビット列の損失が発生した場合の主観品質の最大値とする。
また、単一のフレーム内で生じた劣化の代表値として、ビット列の損失が起きたブロックの数を重み付きで加算した値を映像品質の客観評価に用いる。
この場合、単一フレーム内で生じた劣化の代表値を、映像を構成する全てのフレームで導出して、それらを重み付きで加算した値を映像品質の客観評価に用いる。
ここで、映像品質の客観評価に用いる重みを、動きベクトルデータの統計量または映像の再生端末が行う劣化隠蔽処理または劣化が発生した位置またはＤＣＴ係数の統計量または局所的な画素情報、またはそれらの組み合わせに応じて決定する。

なお、動きベクトルデータの統計量としては、フレーム内のすべてまたは一部のマクロブロックの動きベクトルの大きさまたは向きに関する統計量を使用する。
また、ＤＣＴ係数の統計量として、フレーム内のすべてまたは一部のマクロブロックのＤＣＴ係数の統計量を使用する。
また、各種の劣化隠蔽処理による主観品質の改善量を予め主観品質評価実験を行うことにより測定してデータベース化し、映像品質の客観評価時には前記データベースを参照して、各劣化隠蔽処理に対してチューニングを行った主観品質を導出する。
また、符号化された映像のビット列もしくは局所的な画素信号として復号された情報を用いて、劣化隠蔽処理による主観品質の改善量を推定する。
また、局所的な画素情報として、損失したビット列中に含まれるマクロブロックに隣接するマクロブロックの画素情報を用いる。

また、本発明は、ビット列の損失が発生した際に、失われたビット列で保存されていた情報が符号化の制御情報である場合は、その符号化制御情報が主観品質に与える影響の度合いに応じて主観品質を推定する。
また、映像品質の客観評価を行う時に符号化方式またはフレームレートまたは映像解像度に応じて評価式の最適化を行う。

このように、現在主流である動き補償フレーム間予測とＤＣＴ変換による符号化方式を用いた映像のビット列の内部は、主に動きベクトルやＤＣＴ係数、また符号化の制御情報（例えば量子化をコントロールする量子化係数／パラメータ等）から構成され、これらの情報は映像のシーン毎にその内容が大きく異なるため、これらの情報を利用することにより映像シーンの違いを考慮した主観品質の評価が可能になる。更にビット列に埋め込まれた情報をそのまま利用し、画素情報を利用しない場合には、取得に莫大な計算量を要する画素情報を必要とせず計算量を大きく低減することが可能になる。また映像のビット列を部分的にデコードした画素情報を取得するには、ビット列に埋め込まれた情報のみを用いる場合に比べて少々負荷が増加するが、映像全体をデコードする場合に比べると大きく計算量を節約できるため、映像シーンの違いを画素情報として考慮するために、この情報を付加的に加えて主観品質の推定を行っても良い。これにより安価な計算機を利用して短時間で精度の良い映像品質客観評価が可能になり、例えば映像サービスにおいて視聴者毎に見ている映像は一般的に異なるが、これらの違いを考慮したが見ている映像毎に主観品質の推定が可能となることで、視聴者毎にきめ細かい品質に関するサポートが可能となることや、映像サービス事業者のヘッドエンドで効率的かつ安価かつチャンネル毎・シーン毎に映像の主観品質を管理すること等が可能になる。更に映像のビット列を取得できれば良いので、ビット列を伝送するプロトコルに依存しない映像品質客観評価が可能である。つまりＩＰ通信以外の通信方式にも拡張可能であるため、様々な通信方式で伝送される映像に対して本方式は適用が可能である。

本発明では、符号化ビット列に欠損が発生した場合に、符号化された映像のビット列情報を利用するようにしたことにより、主観品質の推定を効率的かつ精度良く行うことが可能となり、その結果、主観品質評価法や従来の客観品質評価法を本発明に置き換えることにより多大な労力と時間を必要としなくなる。従って、ユーザが感じている主観品質を大規模かつリアルタイムに取得することが可能となる。

本発明に係る映像品質客観評価装置の構成を示すブロック図である。 上記映像品質客観評価装置を構成する各機能部の概略動作を示すフローチャートである。 フレーム内のマクロブロック復号状況を示す図である。 損失マクロブロック内のエッジ推定方法を説明する図である。 損失マクロブロックとその隣接マクロブロックにおけるエッジの代表値を表す図である。 損失マクロブロック内のエッジ推定方法を説明する図である。 ８×８ＤＣＴ係数の３次元表示を示す図である。 ８×８ＤＣＴ係数の２次元表示を示す図である。 動きベクトル導出対象フレームからの相対位置を示す図である。 動きベクトルを動きベクトル導出対象フレームから１フレーム後方への射影例を示す図である。 動きベクトルを動きベクトル導出対象フレームから１フレーム前方への射影例を示す図である。 損失マクロブロック付近の動きベクトル導出対象マクロブロックの状況を示す図である。 動きベクトルの向きを説明する図である。 注目領域の定義を説明する図である。 フレーム内のマクロブロックの座標系を表す図である。 上記映像品質評価装置のハードウェア構成を示す図である。 フレーム内の劣化したブロックとその隣接ブロックを示す図である。 時間方向の劣化隠蔽処理の効果推定方法を説明する図である。

以下、本発明の実施の形態について図面を参照して説明する。
（実施の形態１）
本実施の形態の映像品質客観評価装置は、符号化映像のビット列を入力するためのインターフェースと、サーバ装置やパーソナルコンピュータなどの演算装置と、記憶装置とからなる情報処理装置から構成され、符号化映像のビット列を入力し、入力映像に対応した主観品質を出力するものである。そのハードウェア構成としては、図１６に示すように、受信部２、演算部３、記憶媒体４および出力部５からなる。ここで、図１６に示すＨ．２６４符号化装置６は、入力映像を後述するＨ．２６４方式により符号化する。そして、符号化された映像ビット列は伝送網内を伝送データとして通信され映像品質客観評価装置１に送信される。

映像品質客観評価装置１は、その伝送データ、すなわち前記符号化されたビット列を受信部２で受信する。そして、ＣＰＵが記憶媒体４に記憶されたプログラムを読み出して実行することにより、演算部３の機能を実現する。すなわち、演算部３は受信部２で受信されたビット列の情報を利用して各種の演算処理を行い、その演算処理結果を表示部などの出力部５に出力することにより、映像の主観品質を推定するものである。
ここで、演算部３の演算処理機能としては、具体的には、図１に示すように、係数データベースＤ１１〜Ｄ１７と、劣化発生領域特定機能部Ｆ１１と、劣化発生領域の重み判定機能部Ｆ１２と、劣化隠蔽処理特定機能部Ｆ１３と、単一フレームの劣化代表値導出機能部Ｆ１４と、全フレームの劣化代表値導出機能部Ｆ１５と、符号化劣化に対する主観品質推定機能部Ｆ１６と、主観品質推定機能部Ｆ１７とがある。

ここで、この映像品質客観評価装置１では、動き補償とＤＣＴ変換を用いるＨ．２６４方式の符号化された映像のビット列に欠損が生じた場合に、符号化された映像のビット列の正常部分と欠損部分の内容を利用して映像の主観品質の推定を行う。原理的には動き補償とＤＣＴ変換を用いる符号化方式に応用可能である。

以下、図１を参照して、この映像品質客観評価装置を構成する各機能部の機能について具体的に説明する。各機能部には必要なメモリを備えている。
劣化発生領域（位置、数）特定機能部Ｆ１１は、入力された符号化映像のビット列を走査してビット列に欠損が生じている場合に、フレーム内で劣化が発生したマクロブロックの位置と数を特定して劣化情報１１ａと１１ｂをそれぞれ劣化代表値導出機能部Ｆ１４と、重み判定機能部Ｆ１２とに出力する。

劣化発生領域の重み判定機能部Ｆ１２は、劣化発生領域特定機能部Ｆ１１から入力した劣化情報１１ｂを走査して、劣化が発生したマクロブロックの位置や、その周辺に存在するマクロブロックの動きや絵柄の複雑さから、劣化したマクロブロックの主観品質への影響度を測定し、劣化量情報１２ａとして劣化代表値導出機能部Ｆ１４に出力する。

劣化隠蔽処理特定機能部Ｆ１３は、予めデータベース化された、もしくは動的に導出された劣化隠蔽処理による主観品質への影響度に関する重みを、利用する劣化隠蔽処理によって切り替え、その結果を劣化隠蔽処理情報１３ａとして劣化代表値導出機能部Ｆ１４に出力する。

単一フレームの劣化代表値導出機能部Ｆ１４は、各機能部Ｆ１１、Ｆ１２，Ｆ１３からの出力である劣化情報１１ａ，劣化量情報１２ａ，劣化隠蔽処理情報１３ａに基づいて、単一フレームに存在する劣化した全てのマクロブロックの影響を加味した劣化の強さの代表値を導出して、フレーム劣化代表値１４ａとして全フレームの劣化代表値導出機能部Ｆ１５に出力する。

全フレームの劣化代表値導出機能部Ｆ１５は、単一フレームの劣化代表値導出機能部Ｆ１４からの出力であるフレーム劣化代表値１４ａに基づいて、評価対象映像中に存在する全てのフレームの劣化の強さの代表値を導出し、評価対象映像全体の劣化の強さとしてまとめ、そのまとめた値を代表値として導出して全フレーム劣化代表値１５ａとして主観品質推定機能部Ｆ１７に出力する。

符号化劣化に対する主観品質推定機能部Ｆ１６は、符号化による映像の劣化のみを加味した主観品質を導出して符号化主観品質１６ａとして主観品質推定機能部Ｆ１７に出力する。この場合、主観品質推定機能部Ｆ１６は、符号化処理により劣化した主観品質を主観品質の最大値とする。主観品質推定機能部Ｆ１７は、全フレームの劣化代表値導出機能部Ｆ１５からの全フレーム劣化代表値１５ａと、符号化劣化に対する主観品質推定機能部Ｆ１６からの符号化主観品質１６ａに基づいて、符号化とビット列の損失による映像の劣化を加味した主観品質を導出する。

なお、各機能部Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６，Ｆ１７には、各機能部でそれぞれ利用する評価式の係数のデータベースＤ１１，Ｄ１２，Ｄ１３，Ｄ１４，Ｄ１５，Ｄ１６，Ｄ１７が前述したようにそれぞれ付属している。各データベースＤ１１〜Ｄ１７には、評価式の最適化を行うための評価対象映像の符号化方式や解像度やフレームレート毎に異なる係数が格納されている。これらの係数は、予め実施された主観品質評価実験の結果に基づいて、各評価式で回帰分析を実施することで決定しても良いし、任意の値を利用しても良い。

次に、図１に示すブロック図と図２に示すフローチャートを中心とし他の図も参照しながら、本映像品質客観評価装置を構成する各機能部の詳細な動作を説明する。なお、以下で示す画素信号やＤＣＴ係数は全て輝度に関するものとする。ただし、色差信号について同様の処理を適用することもできる。

劣化発生領域（位置、数）特定機能部Ｆ１１では、映像の符号化ビット列を入力として、まずＨ．２６４方式の可変長符号を復号する必要がある。これを行うためには、参考文献１（ITU-T H.264, “Advanced video coding for generic audiovisual services,”Feb. 2000．）に準拠するＨ．２６４復号器を利用する。そして、復号後には、Ｈ．２６４符号化の制御情報を含むＳＰＳ（Sequence Parameter Set）やＰＰＳ（Picture Parameter Set）等のシンタックス情報に加えて、動き補償やＤＣＴ変換符号化で用いられる動きベクトルやＤＣＴ係数等の符号化情報が、マクロブロックもしくはサブマクロブロック毎に取得できる。具体的には参考文献１に記載されている仕様に従う。

符号化されたビット列に損失が発生した場合には機能部Ｆ１１で正常に復号できなくなるため、マクロブロックやサブマクロブロックで画素信号を計算するための動きベクトルやＤＣＴ係数等の情報、また符号化制御情報が正常に取得できなくなる。映像品質客観評価装置の記憶領域にマクロブロック単位の復号の成功と失敗を集計するためのフラグを用意し、符号化ビット列を走査して復号するために十分なデータが存在しないマクロブロックやサブマクロブロックについてはフラグを立てると、図３に示すような復号成否状況を得ることができる。

図３に示すような復号成否状況により、復号を失敗して劣化したマクロブロックやサブマクロブロックの位置と数を検出できる。また、ＳＰＳやＰＰＳなどの符号化制御情報に損失が起きている場合は、ＳＰＳについては対応するシーケンス（評価対象映像全体）の全てのマクロブロックが損失、ＰＰＳについては対応するピクチャ（フレームもしくはフィールド）の全てのマクロブロックが損失したとみなす。図中のマクロブロックの数とスライスの形状は一例である。

更に、Ｈ．２６４方式の動き推定機能を使って、復号を失敗したマクロブロックやサブマクロブロックが他のマクロブロックやサブマクロブロックから参照されている場合、参照元のマクロブロックやサブマクロブロックにもそのＩＰＢ属性に応じて劣化が生じる。ＩＰＢの属性については上記参考文献１に記載されている。参照先のマクロブロックやサブマクロブロックの復号に失敗している場合、参照元のマクロブロックがＰフレームの場合は予め係数データベースＤ１１に格納されている劣化重みε＝ａ₁、Ｂフレームの場合は劣化重みε＝ａ₂を選択する。これに加えてＩフレームではフレーム内予測がＨ．２６４では用いられるため、同様に参照先のマクロブロックやサブマクロブロックの復号が失敗している場合、劣化重みε＝ａ₃を選択し、予測を使わない場合は劣化重みε＝ａ₄を選択する。これらの処理により、評価対象映像中で欠損が生じたマクロブロックやサブマクロブロックの特定が可能となる。

この段階で、サブマクロブロック単位で損失が発生している場合は、そのサブマクロブロックを包含するマクロブロック単位で損失が発生しているとみなす。復号を失敗して劣化したマクロブロックの位置と数に加えて、映像の符号化ビット列、重みεを劣化情報１１ａ，１１ｂとして劣化代表値導出機能部Ｆ１４と、重み判定機能部Ｆ１２とに出力する。

劣化発生領域の重み判定機能部Ｆ１２については、劣化情報１１ｂを入力情報として、以下に示す劣化発生領域を表す重みパラメータを出力する。まず絵柄の複雑さによる、劣化したマクロブロックの主観品質への影響度の変化を測定する機能から説明する。
第一に部分的な画素信号の取得が可能である場合について示す。画素信号は、Ｈ．２６４符号化の制御情報に加えて、動き補償やＤＣＴ変換符号化で用いられる動きベクトルやＤＣＴ係数を上記の参考文献１で示されるアルゴリズムに適用して取得できる。

具体的には損失したマクロブロックの上下左右のマクロブロックのみ画素信号の取得をし、これは上記参考文献１に従って行う。絵柄の複雑さの代表的な指標の一つとしてＳｏｂｅｌフィルタを利用したエッジの大きさと方向が挙げられる。ここでは劣化したマクロブロックにおけるエッジの有無が主観品質を変動させると考え、劣化したマクロブロックに隣接するマクロブロックから、劣化したマクロブロックに対してエッジが連続的に存在するかどうか推定する。

具体的には図４と図５を用いて説明する。まず図４では劣化したマクロブロックと隣接する４つのマクロブロックを示している。各隣接マクロブロックには、劣化したマクロブロックとの境界に１列の画素が並んでおり、その更に１列奥の画素列（劣化したマクロブロックと隣接マクロブロックの境界から数えて２列目の隣接マクロブロック内の画素列）をＳｏｂｅｌフィルタによるエッジ導出に用いる。Ｓｏｂｅｌフィルタを利用するとエッジは大きさと方向を持つ量、つまりベクトル量として導出されるため、各隣接マクロブロックのエッジ導出対象画素列で求めたエッジを以下のように定義する。

ただし、ｉは隣接マクロブロックの識別子（図４のマクロブロック１〜マクロブロック４に相当）、ｊは劣化したマクロブロックと隣接マクロブロックの境界に存在する画素数、ここでｍはＳｏｂｅｌフィルタによるエッジ導出対象画素列に存在する画素数を表す。これより各隣接マクロブロックにおいて、Ｓｏｂｅｌフィルタによるエッジ導出対象画素列で導出したエッジの代表値

を以下のように導出する。

ただし、演算子

は、自然数Ａ₁〜Ａ_mを参照して最大となる値を出力し、θは図５に示すように劣化したマクロブロックと隣接マクロブロックの境界面に対するベクトルＥ｛i｝jの角度である。ここでは、演算子maxを使って大きさが最大となるベクトルを出力するように設定したが、代わりに任意の統計量、例えば最小値や平均値や分散などを使用しても良い。
更に各隣接マクロブロックで導出したベクトルＥ｛i｝の代表値（即ち、ベクトルＥ）を以下のように導出する。

ここで、μはデータベースＤ１２に格納されている係数である。ここでは演算子maxを使って大きさが最大となるベクトルを出力するように設定したが、代わりに任意の統計量、例えば最小値や平均値や分散などを使用しても良い。ただし、隣接マクロブロックが劣化している、もしくは存在しない場合には、その隣接マクロブロックは代表値（即ち、ベクトルＥ）の導出に利用しない。また全ての隣接するマクロブロックでベクトルＥ｛i｝が導出できない場合は、ベクトルＥの絶対値をデータベース１２に格納されている任意の定数（例えば０）とする。これにより単一フレーム内に存在する全ての劣化したマクロブロックについて、絵柄の複雑さによる、劣化したマクロブロックの主観品質へ与える影響を測定できる。

絵柄の複雑さによる、劣化したマクロブロックの主観品質への影響度の変化を測定する機能について、第二に符号化された映像のビット列情報のみが利用できる場合を示す。第一の場合と同様に、劣化したマクロブロックにおけるエッジの有無が主観品質を変動させると考え、劣化したマクロブロックに隣接するマクロブロックから、劣化したマクロブロックに対してエッジが連続的に存在するかどうか推定する。具体的には図６、図７、図８を用いて説明する。

図６では劣化したマクロブロックと隣接する４つのマクロブロックを示している。図４と類似しているが、図４では各マクロブロックは画素情報で構成されていたのに対し、図６ではＤＣＴ係数で構成されている。図６の各隣接マクロブロックがＩスライスやＩフレームの一部であれば以下に記載の処理をそのまま実行するが、隣接マクロブロックの中にＰ属性またはＢ属性のマクロブロックが存在している場合は、フレーム内の空間的な位置は全く同じで、最も時系列で近い位置にあるＩ属性のマクロブロックを代替として用いてもよいし、代替せずそのまま処理を続行しても良い。

各マクロブロックのＤＣＴ係数の例は具体的には図７のように配置されている。ここで、ｘ軸が水平方向周波数を表し、ｙ軸が垂直方向周波数を表し、ｚ軸にＤＣＴ係数が表わされている。なお図７は８×８画素のブロックに対してＤＣＴ変換を適用した場合を示しており、４×４画素のブロックに対してＤＣＴ変換を適用した場合は、水平方向周波数、垂直方向周波数ともに、１以上４以下の整数値が変動範囲となる。また１６×１６画素のブロックに対してＤＣＴ変換を適用した場合は、水平方向周波数、垂直方向周波数ともに、１以上１６以下の整数値が変動範囲となる。つまりｎ×ｎ画素（ｎは１以上の整数値）のブロックに対してＤＣＴ変換を適用した場合は、水平方向周波数、垂直方向周波数ともに、１以上ｎ以下の整数値が変動範囲となる。

図８に、図７のｘ軸である水平方向周波数、ｙ軸である垂直方向周波数を表示した図を示す。図８では、ｘ軸とｙ軸が同等の値になる対角線Ａ上のＤＣＴ係数群の上方に存在するＤＣＴ係数群をグループ１、下方に存在するＤＣＴ係数群をグループ２とする。グループ１は垂直方向周波数が水平方向周波数より高くなる領域、つまり横方向のエッジが縦方向のエッジよりも強めとなる領域であり、グループ２は水平方向周波数が垂直方向周波数より高くなる領域、つまり縦方向のエッジが横方向のエッジよりも強めとなる領域である。

図８の座標を（水平方向周波数、垂直方向周波数）として、座標（ｐ，ｑ）のＤＣＴ係数をＤｐｑとし、以下の計算式で縦方向のエッジＥ_V（即ち、ベクトルＥ_V）の強さ

と、横方向のエッジＥｈ（即ち、ベクトルＥｈ）の強さであるベクトルＥｈの絶対値を計算する。ただし式中のｎは、エッジ導出対象のマクロブロックがｎ×ｎであることを示している。

このエッジの強さの導出処理を使って、図６の隣接マクロブロック１と隣接マクロブロック３ではベクトルＥνの絶対値導出を行い、隣接マクロブロック２と隣接マクロブロック４ではベクトルＥｈの絶対値導出を行う。これらのエッジの強さを各隣接マクロブロックのエッジの強さの代表値ベクトルＥ｛i｝とし、ｉは隣接マクロブロックの識別子（１≦ｉ≦４）とする。更に各隣接マクロブロックで導出したベクトルＥ｛i｝の代表値ベクトルＥを以下のように導出する。

ここで、μはデータベースＤ１２に格納されている係数である。ここでは演算子maxを使って大きさが最大となるベクトルを出力するように設定したが、代わりに任意の統計量、例えば最小値や平均値や分散などを使用しても良い。ただし、隣接マクロブロックが劣化している、もしくは存在しない場合には、その隣接マクロブロックはベクトルＥの導出に利用しない。また全ての隣接するマクロブロックでベクトルＥ｛i｝が導出できない場合は、ベクトルＥの絶対値をデータベースＤ１２に格納されている任意の定数（例えば０）とする。これにより単一フレーム内に存在する全ての劣化したマクロブロックについて、絵柄の複雑さが劣化したマクロブロックの主観品質へ与える影響の大きさを測定できる。

劣化発生領域の重み判定機能部Ｆ１２について、次に劣化が発生したマクロブロックの周辺に存在するマクロブロックの動きの大きさが、主観品質へ与える影響を測定する機能を説明する。動きの大きさによる主観品質への影響は動きベクトルの代表値に基づいて判定し、動きベクトルの代表値の導出方法については、図９、図１０、図１１、図１２を用いて説明する。

まずフレーム全体の動きベクトルの代表値の導出方法を示す。図９に示すように、Ｈ．２６４方式では動きベクトルの導出に用いる参照フレームを、前方、後方に限らず、マクロブロック・サブマクロブロック単位で任意の２つ選ぶことが可能である。これは原理的にはＭＰＥＧ２やＭＰＥＧ４の双方向フレームに応用可能である。そこでマクロブロック・サブマクロブロック毎に設定される動きベクトルの大きさを各ブロックについて比較可能とするために正規化を行い、動きベクトルの導出対象フレームの前方、後方１フレームに各マクロブロック・サブマクロブロックの動きベクトルを射影する。具体的な処理を図１０、図１１で説明する。

図１０は、動きベクトルの導出対象フレームｓ中のｔ番目のブロックＭＢｓｔの参照フレームが、フレームｓの（ｒ＋１）フレーム後方にある場合を示している。図１０のように動きベクトルの導出対象フレームｓから参照フレーム上に動きベクトル

が存在しており（ベクトルＭＶ_stと表記）、以下のようにしてベクトルＭＶ_stを、動きベクトルの導出対象フレームｓから１フレーム後方のフレーム上に存在するベクトルＭＶ’_stに射影する。

また図１１は、動きベクトルの導出対象フレームｓ中のｔ番目のブロックＭＢ_stの参照フレームが、フレームｓの（ｒ＋１）フレーム前方にある場合を示している。図１１のように動きベクトルの導出対象フレームｓから参照フレーム上に動きベクトルＭＶ_stが存在しており、以下のようにしてベクトルＭＶ_stを動きベクトルの導出対象フレームｓから１フレーム前方へのベクトルＭＶ’_stに射影する。

以上の処理により、動きベクトルの導出対象フレームｓの全てのマクロブロック・サブマクロブロックｔ（１≦ｔ≦ｘ）毎に設定される動きベクトルを、ｓ±１フレーム上のベクトルへ射影することが可能となる。ただし、ｘはフレームｓ内のブロック数である。なお、動きベクトルの導出対象フレームｓの参照フレームが２フレームある場合は，両方の参照フレームについて上記処理により射影した動きベクトルを導出し、その平均ベクトルを動きベクトルの導出対象フレームｓの各ブロックのＭＶ’_stとする。
以上で導出した動きベクトルの導出対象フレームｓ上のベクトルＭＶ’_stを用いて、以下の式で動きベクトルの導出対象フレームｓの統計量であるベクトルの大きさの平均を導出する。ただし平均以外にも最大値や最小値や標準偏差や分散等の各種統計量を代替として用いることが可能である。また下式中の

はベクトルの大きさを表すものとする。

ただし、演算子

は自然数Ａ₁〜Ａ_mを参照して平均となる値を出力する。
また図１２に示すように、劣化したマクロブロックを囲む２４個のマクロブロックについて、フレーム全体の動きベクトル統計量を導出した場合と同様の処理を行い、２４個のマクロブロックの動きベクトルの代表値

を各劣化マクロブロック毎に導出する。ただし、フレームｓで劣化したマクロブロックの数をＴとする。
このようにして求めたＭＶ_ave（ｓ）とベクトルＭＶ_ave（ｔ）とを利用して、損失が発生したマクロブロックの周辺に存在するマクロブロック群の動きの大きさが劣化したマクロブロックの主観品質へ与える影響度を表す重みを以下の式で導出する。

ただし、α、βはデータベースＤ１２に格納されている係数である。また、式内のａｖｅによる平均演算は、最大値・最小値・その他の統計量に置き換えが可能である。
以上の処理は損失したマクロブロックがＰ属性またはＢ属性の場合に適用され、Ｉ属性の場合には、Ｍ^weightはデータベースＤ１２に格納されている任意の定数とする（例えば１）。また、計算に必要となるマクロブロックやサブマクロブロックが劣化している場合は、それらの存在は無視し、存在するマクロブロックやサブマクロブロックから上記統計量を導出する。

また劣化発生領域の重み判定機能部Ｆ１２について、次に劣化が発生したマクロブロックの周辺に存在するマクロブロックの動きの向きによる、主観品質への影響を測定する機能を説明する。動きの向きによる主観品質への影響度合いは動きベクトルの代表値に基づいて判定し、動きベクトルの代表値の導出方法については、図１３を用いて説明する。

まず評価対象映像中に存在する全てのマクロブロックを参照し、動きベクトルが設定されているマクロブロックについては、図１３に基づいて、領域１〜領域８までのどの領域に存在するか判定を行う。例として動きベクトル０を示しているが、動きベクトル０は領域２に存在していることを示している。評価対象映像フレームに存在する全マクロブロックについて同様の処理を適用し、各領域に存在する動きベクトルの数をカウントし、各領域の動きベクトルの総数ＭＶＮ_NUM（１≦ＮＵＭ≦８）を導出する。ただしＮＵＭは領域の識別子である。こうして導出したＭＶＮ_NUMについて、各ＭＶＮ_NUMの標本分散σ_MVNを導出する。こうして求めたσ_MVNをマクロブロックの動きの向きが劣化したマクロブロックの主観品質へ与える影響度合を表す重みとする。

劣化発生領域の重み判定機能部Ｆ１２について、次に劣化したマクロブロックの発生位置が劣化したマクロブロックの主観品質へ与える影響度を導出する。詳細を図１４に示す。図１４に示す通り、縦横の長さ５０％となる中心の領域を注目領域と設定し、劣化したマクロブロックが注目領域上である場合、劣化したマクロブロックの発生位置が劣化したマクロブロックの主観品質へ与える影響度を表す重みＣをＣ＝c₁とし、劣化したマクロブロックが注目領域上ではない場合はＣ＝c₂とする。ただし、c₁，c₂はデータベースＤ１２に格納されている定数である。劣化したマクロブロックの発生位置が劣化したマクロブロックの主観品質へ与える影響度を表す重みＣは、評価対象映像のマクロブロック毎に計算される。

また劣化発生領域の重み判定機能部Ｆ１２では、劣化の局所性が主観品質に及ぼす影響についても導出を行う。マクロブロックの座標系は図１５に示すように、左下を原点として右方向にＸ座標、上方向にＹ座標を取り、各マクロブロックの座標を（Ｘ，Ｙ）と表記する。次に損失が発生したマクロブロック群のＸ座標、Ｙ座標の標本分散値を導出し、以下の式で劣化の局所性が主観品質に及ぼす影響を計算する。
Ｌ＝fＬ（σ_x，σ_y）
ただし、ここでは、fＬ（σ_x，σ_y）＝σ_x×σ_yとするが、乗算以外の任意の演算を行っても良い。劣化の局所性Ｌは評価対象映像のフレーム毎に計算される。このようにして劣化発生領域の重み判定機能部Ｆ１２で導出した各ブロックにおける、ベクトルＥ、Ｍ^weight、σ_MVN、Ｃ、Ｌを劣化量情報１２ａとして単一フレームの劣化代表値導出機能部Ｆ１４へ出力する。

次に劣化隠蔽処理特定機能部Ｆ１３の詳細を説明する。データベースＤ１３に格納されている劣化隠蔽に関する情報を入力として、劣化隠蔽処理による主観品質の向上を表すパラメータを出力する。まず劣化隠蔽処理が主観品質へ及ぼす影響を、主観品質評価実験の結果に従って判断する場合を説明する。具体的には表１と表２を使って説明する。

まず表１に示すように、評価対象とする劣化隠蔽処理の各方式と劣化隠蔽処理を適用しない場合について、シーンの種類とビット列の損失パターンを変えた場合に適用し、それぞれの場合について主観品質を取得する。ただし主観品質評価尺度として、劣化映像の主観品質を絶対値として評価する絶対尺度を用いる。表１では主観品質の例としてMean Opinion Score（ＭＯＳ）を用いており、ＭＯＳ_efgは、シーンｅ（１≦ｅ≦Ｓ）、損失パターンｆ（１≦ｆ≦Ｍ）、劣化隠蔽方式ｇ（０≦ｇ≦Ｎ）を適用した場合のＭＯＳとなる。ただしｇ＝０の場合は、劣化隠蔽を行わない場合を示している。

このようにして取得した主観品質を表２に示すように、各条件で取得したＭＯＳについて、劣化隠蔽特性を適用しなかった場合のＭＯＳに対する割合Ｗ_efgを算出する。Ｗ_efgは、シーンｅ（１≦ｅ≦Ｓ）、データ損失パターンｆ（１≦ｆ≦Ｍ）、劣化隠蔽方式ｇ（０≦ｇ≦Ｎ）を適用した場合の劣化隠蔽方式ｇの主観品質改善作用を表す。各劣化隠蔽方式について、各シーン・データ損失パターンに対する主観品質改善作用の平均化を行う。具体的には以下の式のようになる。

この値を各劣化隠蔽方式に対する主観品質の改善作用の代表値とする。主観品質評価尺度には原映像の品質からの差分で表す劣化尺度（ＤＭＯＳ等）も存在するが、表３と表４に示すように、絶対尺度の場合と同様に導出する。

ただしこの場合は、各劣化隠蔽方式に対する主観品質の改善作用の代表値は以下のように導出する。利用する品質評価尺度の種類に従ってＷ_gの選択を行えば良い。

以上で利用した各係数はデータベースＤ１３に格納されている係数である。
また劣化隠蔽処理特定機能部Ｆ１３では主観品質評価実験の結果に従って構築されたデータベースを用いる以外に、符号化された映像のビットストリームや画素信号として復号された情報を用いて、評価対象映像毎に動的に劣化隠蔽処理が主観品質に及ぼす影響を推定する方法を用いても良い。

具体的には、劣化隠蔽処理の効果と周囲のエッジ量には相関関係があることが知られていることから、上記劣化発生領域の重み判定機能部Ｆ１２における絵柄の複雑さが劣化したマクロブロックの主観品質への影響度を測定する機能の第一もしくは第二の場合において導出したベクトルＥを用いて劣化隠蔽特性の重みＷを以下の式で導出する。

ただし、ωはデータベースＤ１３またはＤ１２に格納されている係数で、Ｗは各マクロブロック毎に導出される。この場合のみＷを劣化発生領域の重み判定機能部Ｆ１２で計算して、劣化量情報１２ａとして単一フレームの劣化代表値導出機能部Ｆ１４に出力しても良い。
このようにして劣化隠蔽処理特定機能部Ｆ１３で導出した各マクロブロックにおけるＷ_gもしくはＷを劣化隠蔽処理情報１３ａとして単一フレームの劣化代表値導出機能部Ｆ１４に出力する。

次に、単一フレームの劣化代表値導出機能部Ｆ１４の詳細を説明する。単一フレームの劣化代表値導出機能部Ｆ１４では、劣化発生領域（位置、数）特定機能部Ｆ１１、劣化発生領域の重み判定機能部Ｆ１２、劣化隠蔽処理特定機能部Ｆ１３の出力１１ａ，１２ａ，１３ａを入力として、あるフレーム内に存在する劣化した全てのマクロブロックの影響を加味した劣化代表値と劣化の局所性をフレーム劣化代表値１４ａとして出力する。具体的には重み関数を用いて以下の式で導出される。

ここで、τはデータベースＤ１４に格納されている係数である。ただし、εは劣化発生領域（位置、数）特定機能部Ｆ１１が導出する、参照先のブロックがＰ属性かＢ属性かＩ属性かで決定される重みである。

は、劣化発生領域の重み判定機能部Ｆ１２が導出する劣化したマクロブロックｉにおけるエッジが主観品質に及ぼす影響ベクトルＥで、Ｍ^weight（ｉ）は劣化発生領域の重み判定機能部Ｆ１２が導出する劣化したマクロブロックｉにおける動きの大きさが主観品質に与える影響Ｍ^weightで、σ_MVNは劣化発生領域の重み判定機能部Ｆ１２が導出する動きの向きが主観品質に与える影響で、Ｃ_iは劣化発生領域の重み判定機能部Ｆ１２が導出する劣化したマクロブロックｉの位置が主観品質に与える影響Ｃで、Ｗ_gは劣化隠蔽処理特定機能部Ｆ１３で導出する劣化隠蔽方式ｋの主観品質の改善効果を表し、Ｗ_gの代わりに数式１９より、

を用いることも可能である。ただし、ｘはフレーム内に存在する劣化したマクロブロックの総数である。重み関数ＷＦ₁（ｗ）は任意の関数を取ることが可能であるが、ここでは例として以下の関数を利用する。
ＷＦ₁（ｗ）＝ｕ₁＊log（ｗ−ｕ₂）＋ｕ₃
ただし、ｕ₁，ｕ₂，ｕ₃はデータベースＤ１４に格納されている係数である。

また単一フレームの劣化代表値導出機能部Ｆ１４では、オプションとして劣化発生領域（位置、数）特定機能部Ｆ１１、劣化発生領域の重み判定機能部Ｆ１２、劣化隠蔽処理特定機能部Ｆ１３の出力１１ａ，１２ａ，１３ａに基づいて或るスライス内に存在する劣化した全てのマクロブロックの影響を加味した劣化代表値ＤＳを導出する機能がある。具体的には重み関数ＷＦ₁（ｗ）を用いて以下の式で導出される。

ただし、ＳＮは劣化したスライス内に存在する劣化したマクロブロックの総数であり、Ｗ_gの代わりに

を用いることも可能である。そして、フレーム劣化代表値１４ａを全フレームの劣化代表値導出機能部Ｆ１５に出力する。

次に全フレームの劣化代表値導出機能部Ｆ１５の詳細を説明する。全フレームの劣化代表値導出機能部Ｆ１５では、単一フレームの劣化代表値導出機能部Ｆ１４から出力された評価対象映像中に存在する全てのフレームの劣化代表値と劣化の局所性を入力として、評価対象映像の劣化代表値Ｄを全フレーム劣化代表値１５ａとして出力する。劣化代表値Ｄは重み関数ＷＦ₂（ｗ）を用いて以下の式で導出される。

ここで、Ｌ_fは劣化発生領域の重み判定機能部Ｆ１２で導出される、フレームｆにおける劣化の局所性が主観品質に与える影響である。重み関数ＷＦ₂（ｗ）は任意の関数を取ることが可能であるが、ここでは例として以下の関数を利用する。
ＷＦ₂（ｗ）＝ｈ₁＊log（ｗ−ｈ₂）＋ｈ₃
ただし、ｈ₁，ｈ₂，ｈ₃はデータベースＤ１５に格納されている係数であり、Ｆは評価対象映像中に存在する全フレーム数である。またＤ_fの代わりにＤ_Sを用いても良く、その際は以下の式で評価対象映像の劣化代表値Ｄを導出する。

ただし、ＡＳＮは評価対象映像中に存在する全スライス数である。そして、全フレーム劣化代表値１５ａを主観品質推定機能部Ｆ１７に出力する。

次に符号化劣化に対する主観品質推定機能部Ｆ１６の詳細を説明する。符号化劣化に対する主観品質推定機能部Ｆ１６は、符号化による映像の劣化のみを加味した主観品質Ｅ_codedを導出する機能であり、本機能部Ｆ１６では符号化主観品質１６ａとして任意の従来法の出力を利用可能である。Ｅ_codedをデータベースＤ１６に格納しておいて符号化主観品質１６ａとして出力しても良い。

次に全フレームの劣化代表値導出機能部Ｆ１５と符号化劣化に対する主観品質推定機能部Ｆ１６の出力を入力として、符号化とパケット損失による映像の劣化を加味した主観品質Ｅ_allを出力する主観品質推定機能部Ｆ１７の詳細を説明する。主観品質推定機能部Ｆ１７は、関数ｅｖ（ｘ，ｙ）を用いて以下の式で主観品質Ｅ_allを導出する。

Ｅ_all＝ｅｖ（Ｅ_coded，Ｄ）
関数ｅｖ（ｖ₁，ｖ₂）は任意の関数を取ることが可能であるが、ここでは例として以下の関数を利用する。
ｅｖ（ｖ₁，ｖ₂）＝ｌ₁（ｖ₁／ｖ₂）＋ｌ₂
ただし、ｌ₁，ｌ₂はデータベースＤ１７に格納されている係数である。

以上により、符号化ビット列に欠損が発生した場合に、精度良く効率的に映像の主観品質を導出することが可能となる。

（実施の形態２）
本実施の形態は、劣化隠蔽処理の影響を表すパラメータＷ_gの導出方法以外は、実施の形態１と同様の処理を行う。Ｗ_gは、空間方向の劣化隠蔽処理の影響を表すＷ_gSと時間方向の劣化隠蔽処理の影響を表すＷ_gTを用いて以下の式で導出する。

Ｗ_g＝ω₁×Ｗ_gS×Ｗ_gT＋ω₂×Ｗ_gS＋ω₃×Ｗ_gT
ただし、ω₁，ω₂，ω₃はデータベースＤ１３に格納してある係数である。

空間方向の劣化隠蔽処理の影響を表すＷ_gSの導出方法を図１７を用いて説明する。
Ｗ_gSを導出する際には、まず図１７において、単一フレーム内の劣化領域と縦横ななめで隣接する周囲マクロブロック（図１７ではマクロブロック１３，１４，１５，２３，２５，２６，３３，３６，４３，４４，４５，４６）に注目する。次に周囲マクロブロック各々について、全ての隣接する周囲マクロブロックとの類似度を計算する。本実施の形態では類似度として、２つのマクロブロックの全画素の輝度情報の平均二乗誤差を用いる。ただし類似度導出はこの方法のみでなく、公知の全ての類似度導出アルゴリズムを用いることができる。本実施の形態では、具体的にマクロブロック１とマクロブロック２が存在する場合に、類似度を以下の式で導出する。

ただし、Ｐ_1iとＰ_2iは、マクロブロック１とマクロブロック２で空間的に同一位置の画素である。

次に周囲マクロブロック各々について、全ての隣接する周囲マクロブロックとの類似度を導出する（例えば図１７の周囲マクロブロック１４については、隣接する周囲マクロブロック１３と１５の両方と類似度の導出を行う）。周囲マクロブロック各々について、全ての隣接する周囲マクロブロックとの間で導出された類似度を平均し、その値を周囲マクロブロックの類似度代表値とし、全ての周囲マクロブロックの類似度代表値を平均して単一フレームの類似度Ｓ_frameとする。またそのフレーム内で劣化したマクロブロックの数をＮ_frameとし、Ｗ_gSを以下の式で導出する。

ただし、ω₄，ω₅，ω₆，ω₇，ω₈はデータベースＤ１３に格納してある係数である。

次に、時間方向の劣化隠蔽処理の影響を表すＷ_gTの導出方法についても図１７を用いて説明する。Ｗ_gTを導出する際には、まず図１７で単一フレームｉ（ｉは時系列でｉ番目のフレーム）内の劣化領域（マクロブロック２４，３４，３５）と縦横ななめで隣接する周囲マクロブロック（図１７ではマクロブロック１３，１４，１５，２３，２５，２６，３３，３６，４３，４４，４５，４６）に注目する。同時に時系列でフレームｉと前後するフレームｉ−１とフレームｉ＋１に注目する。まず図１８で示すように、フレームｉの周囲マクロブロック各々について動きベクトルの大きさと向きを検出し、同時にフレームｉ−１とフレームｉ＋１について、フレームｉの周囲マクロブロックの位置と空間的に同一位置の動きベクトルの向きと大きさを検出する。これは参考文献１に従って行う。

更にフレームｉ−１とフレームｉ＋１の動きベクトルについて、フレームｉの周囲マクロブロックの動きベクトルの内積を計算し、例えば図１７中の周囲マクロブロック１４についてであれば、それぞれＩＰ_14iとＩＰ_14(i+1)を導出する。そしてＩＰ_14iとＩＰ_14(i+1)を平均した値としてＡＩＰ_14iを導出する。ただし、内積を計算する際の各ベクトルの大きさは一律に１としても良い。同様にしてフレームｉ内の全ての周囲マクロブロックについてＡＩＰ_Δi（Δは周囲マクロブロック番号）を計算し、全ての周囲マクロブロックのＡＩＰ_Δiを平均した値を、フレームｉの時間方向の劣化隠蔽処理の影響を表すＷ_gT＝ＡＩＰ_iとする。ただしフレームｉ−１とフレームｉ＋１について、フレームｉの周囲マクロブロックと空間的に対応するマクロブロックに動きベクトルが設定されていない場合や損失で失われている場合は、そのマクロブロックの動きベクトルは０ベクトルとしてＷ_gTを計算する。また本実施の形態では劣化が起きた前後のフレームから内積計算用の動きベクトルを算出したが、任意の２フレームから内積計算用の動きベクトルを算出しても良い。
なお、Ｗ_gSやＷ_gTは劣化が起きたフレーム毎に再計算される値である。

１…映像品質客観評価装置、２…受信部、３…演算部、４…記憶媒体、５…出力部、６…Ｈ．２６４符号化装置、Ｆ１１…劣化発生領域（位置、数）特定機能部、Ｆ１２…劣化発生領域の重み判定機能部、Ｆ１３…劣化隠蔽処理特定機能部、Ｆ１４…単一フレームの劣化代表値導出機能部、Ｆ１５…全フレームの劣化代表値導出機能部、Ｆ１６…符号化劣化に対する主観品質推定機能部、Ｆ１７…主観品質推定機能部、Ｄ１１〜Ｄ１７…データベース。

Claims (19)

1. 視聴者が映像を見た時に体感する映像の主観品質を推定することにより映像の品質を客観的に評価する映像品質客観評価方法であって、
   動き補償とＤＣＴ変換を利用して符号化された前記映像のビット列を受信するステップと、
   受信した前記映像のビット列に損失が生じている場合、失われたビット列と残ったビット列を用いて所定の演算を行う演算ステップと、
   前記演算ステップの演算結果に基づいて前記映像の主観品質を推定する演算を行う推定ステップとを有し、
   前記演算ステップは、失われたビット列で保存されていたブロックの空間もしくは時系列の位置情報を抽出し、
   前記推定ステップは、抽出された前記空間の位置情報もしくは前記時系列の位置情報に基づいて前記映像の主観品質を推定することを特徴とする映像品質客観評価方法。
2. 請求項１において、
   前記演算ステップは、動き補償機能を用いて他のブロックから参照される参照先ブロックのビット列に損失が生じている場合、参照先のブロックのビット列の損失が参照元のブロックに与える損失を演算し、
   前記推定ステップは、前記演算ステップの演算結果に基づいて前記映像の主観品質を推定することを特徴とする映像品質客観評価方法。
3. 請求項１において、
   前記演算ステップは、符号化処理により劣化した主観品質を、ビット列の損失が生じた場合の主観品質の最大値とすることを特徴とする映像品質客観評価方法。
4. 請求項１において、
   前記演算ステップは、単一のフレーム内で生じた劣化の代表値として、ビット列の損失が生じたブロックの数を重み付きで演算した値を算出し、
   前記推定ステップは、前記算出された値を前記主観品質の推定に用いることを特徴とする映像品質客観評価方法。
5. 請求項４において、
   前記演算ステップは、単一フレーム内で生じた劣化の代表値を、映像を構成する全てのフレームで導出して、それらを重み付きで演算した値を算出し、
   前記推定ステップは、前記算出された値を前記主観品質の推定に用いることを特徴とする映像品質客観評価方法。
6. 請求項４または請求項５において、
   前記演算ステップでは、前記主観品質の推定に用いる重みを、動きベクトルデータの統計量または映像の再生端末が行う劣化隠蔽処理または劣化が発生した位置またはＤＣＴ係数の統計量または局所的な画素情報、またはそれらの組み合わせに応じて決定することを特徴とする映像品質客観評価方法。
7. 請求項６において、
   前記演算ステップでは、動きベクトルデータの統計量として、フレーム内のすべてまたは一部のマクロブロックの動きベクトルの大きさまたは向きに関する統計量を用いることを特徴とする映像品質客観評価方法。
8. 請求項６において、
   前記演算ステップでは、ＤＣＴ係数の統計量として、フレーム内のすべてまたは一部のマクロブロックのＤＣＴ係数の統計量を用いることを特徴とする映像品質客観評価方法。
9. 請求項６において、
   各種の劣化隠蔽処理による主観品質の改善量を予め主観品質評価実験を行うことにより測定してデータベース化するステップをさらに有し、
   前記推定ステップは、映像品質の客観評価時には前記データベースを参照して、各劣化隠蔽処理に対してチューニングを行った主観品質を導出することを特徴とする映像品質客観評価方法。
10. 請求項６において、
    前記推定ステップは、符号化された映像のビット列もしくは局所的な画素信号として復号された情報を用いて、前記劣化隠蔽処理による主観品質の改善量を推定することを特徴とする映像品質客観評価方法。
11. 請求項６において、
    前記演算ステップでは、局所的な画素情報として、損失したビット列中に含まれるマクロブロックの近辺のマクロブロックの画素情報を用いることを特徴とする映像品質客観評価方法。
12. 請求項１において、
    前記演算ステップは、失われたビット列で保存されていた情報が符号化の制御情報である場合、その符号化制御情報が主観品質に与える影響の度合いを演算し、
    前記推定ステップは、前記演算ステップの演算結果に応じて前記映像の主観品質を推定することを特徴とする 映像品質客観評価方法。
13. 請求項１において、
    前記推定ステップは、前記映像の主観品質を推定する映像品質の客観評価を行う時に、符号化方式またはフレームレートまたは前記映像の解像度に応じて評価式の最適化を行うことを特徴とする映像品質客観評価方法。
14. 請求項１，２，４の何れかにおいて、
    前記ブロックは、フレームまたはスライスまたはマクロブロックまたはサブマクロブロックの何れかであることを特徴とする映像品質客観評価方法。
15. 視聴者が映像を見た時に体感する映像の主観品質を推定することにより前記映像の品質を客観的に評価する映像品質客観評価装置であって、
    動き補償とＤＣＴ変換を用いて符号化された前記映像のビット列を受信する受信部と、
    受信した前記映像のビット列に損失が生じている場合、失われたビット列と残ったビット列を用いて所定の演算を行う演算部と、
    前記演算部の演算結果に基づいて前記映像の主観品質を推定する演算を行う推定部とを備え、
    前記演算部は、失われたビット列で保存されていたフレームまたはスライスまたはマクロブロックまたはサブマクロブロックの空間もしくは時系列の位置情報を抽出し、
    前記推定部は、抽出された前記空間の位置情報もしくは前記時系列の位置情報に基づいて前記映像の主観品質を推定することを特徴とする映像品質客観評価装置。
16. 動き補償とＤＣＴ変換を用いて符号化された映像のビット列を受信する処理と、
    受信した前記映像のビット列に損失が生じている場合、失われたビット列で保存されていたフレームまたはスライスまたはマクロブロックまたはサブマクロブロックの空間もしくは時系列の位置情報を抽出する処理と、
    抽出された前記空間の位置情報もしくは前記時系列の位置情報に基づいて前記映像の主観品質を推定する処理をコンピュータに実行させるプログラム。
17. 請求項６において、
    前記推定ステップは、空間方向の劣化隠蔽処理の影響を表現する値と、時間方向の劣化隠蔽処理の影響を表現する値とを用いて、前記劣化隠蔽処理による主観品質の改善量を推定することを特徴とする映像品質客観評価方法。
18. 請求項１７において、
    前記空間方向の劣化隠蔽処理の影響を表現する値は、劣化領域の周辺の類似度と劣化領域の大きさとを用いて算出することを特徴とする映像品質客観評価方法。
19. 請求項１７において、
    前記時間方向の劣化隠蔽処理の影響を表現する値は、フレーム間の動きベクトルの大きさおよび向きの変化量を用いて算出することを特徴とする映像品質客観評価方法。

Images