JP2009003599A

JP2009003599A - 計測装置および方法、プログラム、並びに記録媒体

Info

Publication number: JP2009003599A
Application number: JP2007162169A
Authority: JP
Inventors: Kazunori Kamio; 和憲神尾; Yoshiaki Matsubara; 義明松原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-06-20
Filing date: 2007-06-20
Publication date: 2009-01-08
Anticipated expiration: 2027-06-20
Also published as: JP4962159B2

Abstract

【課題】より適切なノイズの補正を行うことができるようにする。
【解決手段】入力映像信号は、有効領域制御部２１に供給されてノイズを除去すべき領域に関する制御信号が生成され、有効領域制御部２１から出力される制御信号に基づいてノイズ計測部２２によるノイズの計測が制御される。フレーム差分取得部３１は、フレーム間の対応する画素の輝度値の差分絶対値をそれぞれ演算する。ヒストグラム生成部３２は、フレーム差分取得部３１から出力されるデータに基づいて、ノイズ量を算出するための統計データであるヒストグラムを、有効領域制御部２１から供給される制御信号に基づいて生成する。ノイズ量算出部３３は、ヒストグラム生成部３２から供給されるヒストグラムのデータに基づいて映像信号のノイズ量を算出する。
【選択図】図１

Description

本発明は、計測装置および方法、プログラム、並びに記録媒体に関し、特に、より適切なノイズの補正を行うことができるようにする計測装置および方法、プログラム、並びに記録媒体に関する。

ノイズレベルを画像データ値から算出する方式は多くあり、ある固定値以下の時間的差分をノイズと定義する方式、その応用として動き補正をした後に同様の判別をする方式、画像データを周波数成分に変換して、ある固定パワー以下をノイズと定義する方式などがある。

また、固定値を用いずにノイズを判別する方式として入力映像信号を画面上で複数の小さなブロックに分割し、分割された各小ブロックの画素毎に、映像信号と各前記小ブロック内で時間軸方向に平均化した信号との差分を求め、それら差分の分布をあらかじめＳ／Ｎ値検出用に用意した統計的分布則のノイズ分布と比較して有意度を求め、有意度ありと判定された当該小ブロックの差分によるＳ／Ｎ値の発生頻度を求め、その発生頻度の分布から有効なＳ／Ｎ値を検出することも提案されている（例えば、特許文献１参照）。

さらに、１番小さな揺らぎ集合をノイズと仮定する方式、画像の動き補正をした後に同様のノイズの判別を行う方式もある。

特開平８−２０１４６４号公報

しかしながら、従来の技術では、画像データの各画素値からノイズ量を算出するものであり、このようにして得られたノイズ量は、実際に人が認識するノイズのレベルとは異なることがある。例えば、数値として同じノイズ量であったとしても、動きの小さい画像、エッジの少ない画像などの場合、人はノイズが多いと感じ、動きの大きい画像、エッジの多い画像などの場合、人はノイズが少ないと感じる。

すなわち、動きの小さい画像やエッジの少ない画像（例えば、画面の中で、同じオブジェクトが同じ場所に大きく、長時間写っている画像など）は、ある程度の時間同じ画像が表示され続けるので微小な変化を感じやすくなる。

また、画像の中でも、例えば、人間の顔の部分など、人が注目する部分のノイズは、微小であっても気になる。

本発明はこのような状況に鑑みてなされたものであり、より適切なノイズの補正を行うことができるようにするものである。

本発明の一側面は、映像信号のノイズレベルを計測する計測装置であって、入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報を生成する制御情報生成手段と、前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データを、それぞれ取得する差分データ取得手段と、前記差分データ取得手段により取得された前記差分データのヒストグラムデータを、前記制御情報生成手段により生成された制御情報に基づいて生成するヒストグラムデータ生成手段と、前記ヒストグラムデータ生成手段により生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量を算出するノイズ量算出手段とを備える計測装置である。

前記差分データ取得手段は、前記制御情報が生成された複数の領域のそれぞれについて、前記領域の時間的に前の画素の値と、時間的に後の画素の値との差分値を前記差分データとして取得し、前記ヒストグラムデータ生成手段は、前記複数の領域のそれぞれの画素の値の差分値の頻度に、当該領域の前記制御情報に対応して定まる係数を乗じて前記画素の値の差分値の頻度を設定し、前記ヒストグラムデータを生成するようにすることができる。

前記制御情報生成手段は、前記領域における画像のエッジ数に基づいて前記制御情報を生成するようにすることができる。

前記制御情報生成手段は、前記領域の画像に、予め定められたオブジェクトが存在するか否かを表す情報に基づいて前記制御情報を生成するようにすることができる。

前記制御情報生成手段は、前記領域における画素の輝度に基づいて前記制御情報を生成するようにすることができる。

前記制御情報生成手段は、前記領域における画素の動き量に基づいて前記制御情報を生成するようにすることができる。

本発明の一側面は、映像信号のノイズレベルを計測する計測装置の計測方法であって、入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報を生成し、前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データを、それぞれ取得し、前記取得された前記差分データのヒストグラムデータを、前記生成された制御情報に基づいて生成し、前記生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量を算出するステップを含む計測方法である。

本発明の一側面は、コンピュータに映像信号のノイズレベルを計測させるプログラムであって、コンピュータを、入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報を生成する制御情報生成手段と、前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データを、それぞれ取得する差分データ取得手段と、前記差分データ取得手段により取得された前記差分データのヒストグラムデータを、前記制御情報生成手段により生成された制御情報に基づいて生成するヒストグラムデータ生成手段と、前記ヒストグラムデータ生成手段により生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量を算出するノイズ量算出手段とを備える計測装置として機能させるプログラムである。

本発明の一側面においては、入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報が生成され、前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データが、それぞれ取得され、前記取得された前記差分データのヒストグラムデータが、前記生成された制御情報に基づいて生成され、前記生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量が算出される。

本発明によれば、より適切なノイズの補正を行うことができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の計測装置は、映像信号のノイズレベルを計測する計測装置（例えば、図１のノイズレベル計測装置１０）であって、入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報を生成する制御情報生成手段（例えば、図１の有効領域制御部２１）と、前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データを、それぞれ取得する差分データ取得手段（例えば、図１のフレーム差分取得部３１）と、前記差分データ取得手段により取得された前記差分データのヒストグラムデータを、前記制御情報生成手段により生成された制御情報に基づいて生成するヒストグラムデータ生成手段（例えば、図１のヒストグラム生成部３２）と、前記ヒストグラムデータ生成手段により生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量を算出するノイズ量算出手段（例えば、図１のノイズ量算出部３３）とを備える。

この計測装置は、前記制御情報生成手段が、前記領域の画像に、予め定められたオブジェクト（例えば、顔画像）が存在するか否かを表す情報に基づいて前記制御情報を生成するようにすることができる。

本発明の一側面の計測方法は、映像信号のノイズレベルを計測する計測装置（例えば、図１のノイズレベル計測装置１０）の計測方法であって、入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報を生成し（例えば、図３のステップＳ１１の処理）、前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データを、それぞれ取得し（例えば、図３のステップＳ１２の処理）、前記取得された前記差分データのヒストグラムデータを、前記生成された制御情報に基づいて生成し（例えば、図３のステップＳ１３およびステップＳ１４の処理）、前記生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量を算出する（例えば、図３のステップＳ１５の処理）ステップを含む。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明の一実施の形態に係るノイズレベル計測装置の構成例を示すブロック図である。

このノイズレベル計測装置１０は、例えば、入力映像信号に基づいて、その映像信号のノイズレベルを計測し、計測結果を出力するようになされており、ノイズレベル計測装置１０から出力される計測結果は、例えば、画像（映像）のノイズを除去するノイズリデューサなどの制御に用いられる。

同図に示されるように、このノイズレベル計測装置１０は、有効領域制御部２１とノイズ計測部２２により構成されている。入力映像信号は、有効領域制御部２１に供給されて後述するようにノイズを除去すべき領域に関する制御信号が生成され、有効領域制御部２１から出力される制御信号に基づいてノイズ計測部２２によるノイズの計測が制御されるようになされている。

ノイズ計測部２２は、フレーム差分取得部３１、ヒストグラム生成部３２、およびノイズ量算出部３３により構成されている。

フレーム差分取得部３１は、入力映像信号に基づいて、時間的に前のフレームの画像を構成するそれぞれの画素の輝度値と、時間的に後のフレームの画像を構成するそれぞれの画素の輝度値との差分絶対値を演算する。すなわち、フレーム差分取得部３１は、フレーム間（時間的に前のフレームと時間的に後のフレーム）の対応する画素の輝度値の差分絶対値をそれぞれ演算するようになされている。

ヒストグラム生成部３２は、フレーム差分取得部３１から出力されるデータに基づいて、ノイズ量を算出するための統計データであるヒストグラムを生成する。このヒストグラムは、例えば、横軸がフレーム間の画素毎の差分絶対値を表し、縦軸が頻度（その差分絶対値を有する画素の数）を表すものとされる。

フレーム間の輝度値の変化が大きい場合、フレーム間の差分絶対値が大きい値となる画素が増えることになるので、ヒストグラムのピークは右側（横軸の値がゼロから遠い位置）に形成され、フレーム間の輝度値の変化が小さい場合、フレーム間の差分絶対値が小さい値となる画素が増えることになるので、ヒストグラムのピークは左側（横軸の値がゼロに近い位置）に形成されることになる。

また、ヒストグラム生成部３２は、有効領域制御部２１から供給される制御信号に基づいてヒストグラムを生成する。例えば、ヒストグラム生成部３２は、有効領域制御部２１から供給された制御信号に含まれる重み係数に基づいて、所定のフレーム間の画素毎の差分絶対値に対応する頻度を、実際の頻度より高くまたは低く設定する。

なお、フレーム間の差分絶対値は、画素単位ではなく、所定数の画素で構成されるブロック単位で演算され、ヒストグラムが生成されるようにしてもよい。この場合、例えば、１つのブロックを構成する画素のフレーム間の差分絶対値に基づいて、そのブロックの分散値が演算され、ブロックの分散値を横軸とし、その分散値を有するブロックの数で表される頻度を縦軸としてヒストグラムが生成されるようにすればよい。

ノイズ量算出部３３は、ヒストグラム生成部３２から供給されるヒストグラムのデータ（例えば、画素毎の差分絶対値のそれぞれに対応する頻度を表す情報）に基づいて映像信号のノイズ量を算出する。ノイズ量算出部３３は、映像信号のフレーム間の変化に応じて、その変化がノイズである可能性が高いものであるか否かを識別できるよう、映像信号のフレーム間の変化に対応するノイズ量を算出するようになされている。

すなわち、ノイズ量算出部３３は、ヒストグラム生成部３２により生成されたヒストグラムにおいて、そのピークの位置が右側にあるほど、比較的大きな値のノイズ量を算出するようになされており、ヒストグラム生成部３２により生成されたヒストグラムにおいて、そのピークの位置が左側にあるほど、比較的小さな値のノイズ量を算出するようになされている。

ノイズ量算出部３３により算出されたノイズ量は、例えば、所定の基準で正規化されるなどしてノイズレベルとされ、ノイズレベル計測装置１０の計測結果として出力されることになる。

ところで、映像信号、画像データなどの各画素値からノイズ量を算出した場合、算出されたノイズ量が、実際に人が認識するノイズと対応しないことがある。例えば、映像信号、画像データなどの各画素値から算出されたノイズ量の数値が同じであったとしても、動きの小さい画像やエッジの少ない画像の場合、人はノイズが多いと感じ、動きの大きい画像やエッジの多い画像の場合、人はノイズが少ないと感じる。

すなわち、動きの小さい画像やエッジの少ない画像は、ある程度の時間同じ画像が表示され続けるので微小な変化を感じやすくなる。このような、人間の視感度の特性に応じたノイズ量を算出しなければ、例えば、ノイズリデューサなどでノイズ除去の処理を行って得られる画像が、不自然なものとなってしまうことがある。

そこで、本発明のノイズレベル計測装置１０には、有効領域制御部２１が設けられている。有効領域制御部２１は、上述のような人間の視感度の特性を考慮して、画像の中でノイズを除去すべき有効領域を特定し、その有効領域におけるヒストグラムの生成を、所定の基準に基づいて制御するようになされている。

図２は、有効領域制御部２１の構成例を示すブロック図である。同図に示されるように、有効領域制御部２１は、ブロック分散演算部１０１と重み設定部１０２とにより構成されている。

ブロック分散演算部１０１は、入力映像信号に基づいて、例えば、１フレーム分の画面の画像データを取得し、その１画面分の画像データを、それぞれ所定の画素数で構成される複数のブロックに分割する。そして、ブロック分散演算部１０１は、それぞれのブロックの分散値を演算する。

分散値が大きいブロックは、エッジが多くノイズが目立たない画像（人がノイズを視覚しにくい画像）といえる。また、分散値が大きいブロックは、画像の中で動きが大きい部分である可能性が高く、やはりノイズが目立たない画像といえる。

一方、分散値が小さいブロックは、エッジが少なくノイズが目立つ画像（人がノイズを視覚しやすい画像）といえる。また、分散値が大きいブロックは、画像の中で動きが小さい部分である可能性が高く、やはりノイズが目立つ画像といえる。

重み設定部１０２は、ブロック分散演算部１０１により演算されたブロックの分散値に基づいて、当該ブロックに対応する重み係数を設定するようになされている。重み設定部１０２は、例えば、ブロック分散演算部１０１により演算されたブロックの分散値が大きいほど、重み係数を小さく設定し、ブロック分散演算部１０１により演算されたブロックの分散値が小さいほど、重み係数を大きく設定するようになされている。

具体的には、例えば、重み設定部１０２に予め閾値を記憶させておき、ブロック分散演算部１０１により演算されたブロックの分散値を、閾値と比較させ、重み係数が設定されるようにすればよい。

このように、ブロックと重み係数が対応付けられた情報を含む制御信号が、重み設定部１０２から出力され、上述したように、ヒストグラム生成部３２に供給されることになる。これにより、ヒストグラム生成部３２は、ヒストグラムを生成するとき、例えば、あるブロックの画素のフレーム間の差分値の頻度に、そのブロックに対応付けられた重み係数を乗じてヒストグラムを生成する。

その結果、分散値が小さく、エッジの少ないノイズが目立つ画像のブロックについては、ヒストグラムの頻度が高くなり、エッジの多いノイズが目立たない画像のブロックについては、ヒストグラムの頻度が低くなる。これにより、例えば、エッジの少ない画像のブロックにおいてフレーム間の画素の輝度の変化があった場合は、エッジの多い画像のブロックでフレーム間の画素の輝度の変化があまりなかったときでも、ヒストグラムのピークが右側に形成される可能性が高くなる。

このようにすることで、上述したノイズ量算出部３３が、エッジの少ない画像のブロックにおいてフレーム間の画素の輝度の変化があった場合は、エッジの多い画像のブロックでフレーム間の画素の輝度の変化があまりなかったときでも、比較的大きな値のノイズ量を算出するようになる。

従って、本発明によれば、動きの小さい画像やエッジの少ない画像の場合、人はノイズが多いと感じ、動きの大きい画像やエッジの多い画像の場合、人はノイズが少ないと感じる、人間の視感度の特性に応じたノイズ量を算出することが可能となる。すなわち、有効領域制御部２１から制御信号の供給を受けたノイズ計測部２２は、上述したように、画像の中のエッジの少ない部分は、フレーム間の輝度値の変化に対して比較的大きなノイズレベルを計測するが、画像の中のエッジの多い部分は、フレーム間の輝度値の変化に対して、通常のノイズレベルを計測するようにすることができる。

次に、図３のフローチャートを参照して、本発明のノイズレベル計測装置１０によるノイズレベル計測処理の例について説明する。

ステップＳ１１において、有効領域制御部２１は、図４を参照して後述する有効領域制御信号出力処理を実行する。これにより、各ブロックに対応する重み係数の値を含む制御信号が生成されることになる。

ステップＳ１２において、フレーム差分取得部３１は、入力映像信号に基づいて、フレーム間差分絶対値を取得する。このとき、例えば、上述したように、時間的に前のフレームの画像を構成するそれぞれの画素の輝度値と、時間的に後のフレームの画像を構成するそれぞれの画素の輝度値との差分絶対値が演算される。

ステップＳ１３において、ヒストグラム生成部３２は、ステップＳ１２の処理により、フレーム差分取得部３１から出力されるデータに基づいて、上述したように、ノイズ量を算出するための統計データであるヒストグラムを生成する。

ステップＳ１４において、ヒストグラム生成部３２は、ステップＳ１１の処理で生成された制御信号に基づいて、ヒストグラムの頻度に重みづけを行う。このとき、上述したように、ヒストグラム生成部３２は、例えば、あるブロックの画素のフレーム間の差分値の頻度に、そのブロックに対応付けられた重み係数を乗じてヒストグラムを生成する。

ステップＳ１５において、ノイズ量算出部３３は、ステップＳ１４の処理によりヒストグラム生成部３２から供給されるヒストグラムのデータに基づいて映像信号のノイズ量を算出する。

そして、ノイズ量算出部３３により算出されたノイズ量は、例えば、所定の基準で正規化されるなどしてノイズレベルとされ、ステップＳ１６においてノイズレベル計測装置１０の計測結果として出力される。

ここで、図３のステップＳ１１の有効領域制御信号出力処理の詳細な例について図４のフローチャートを参照して説明する。

ステップＳ３１において、有効領域制御部２１のブロック分散演算部１０１は、入力映像信号に基づくブロックの分散値を演算する。このとき、ブロック分散演算部１０１は、上述したように、入力映像信号に基づいて、例えば、１フレーム分の画面の画像データを取得し、その１画面分の画像データを、それぞれ所定の画素数で構成される複数のブロックに分割する。そして、ブロック分散演算部１０１は、それぞれのブロックの分散値を演算する。

ステップＳ３２において、有効領域制御部２１の重み設定部１０２は、ステップＳ３１の処理で演算された分散値に基づいて、当該ブロックの重み係数を設定する。このとき、重み設定部１０２は、例えば、予め記憶している閾値と、ステップＳ３１の処理で演算されたブロックの分散値とを比較し、分散値が閾値以上の場合、重み係数の値を「１」に設定し、分散値が閾値未満の場合、重み係数の値を「１」より大きい値に設定する。

そして、ステップＳ３３において、ステップＳ３２の処理で設定された重み係数の値と、その重み係数が設定されたブロックを識別するための情報を含む制御信号が出力される。

この後、上述したステップＳ１２乃至ステップＳ１６の処理が実行されることになる。

このようにして、ノイズレベルの計測が行われる。このようにすることで、動きの小さい画像やエッジの少ない画像の場合、人はノイズが多いと感じ、動きの大きい画像やエッジの多い画像の場合、人はノイズが少ないと感じる、人間の視感度の特性に応じたノイズ量を算出してノイズレベルを計測することができる。また、このようにして、計測されたノイズレベルを用いてノイズリデューサなどを制御し、画像（映像）のノイズを除去するようにすれば、より自然な画像の補正を行うことができる。

あるいはまた、このようにして、ノイズレベル計測装置１０から出力される計測結果に基づいて、その画像にノイズが含まれているか否かが判定されるようにすることも可能である。例えば、時間的に前の画像と時間的に後の画像において微小な変化が検出された場合、その変化がノイズであるか否かを判定することは困難である。本発明のノイズレベル計測装置１０から出力される計測結果は、上述したように、人間の視感度の特性に応じたノイズ量を算出してノイズレベルを計測することができるので、この計測結果に基づいて画像処理を行えば、例えば、動きの小さい画像やエッジの少ない画像の領域で生じた微小な変化は、ノイズとして処理し、例えば、動きの大きい画像やエッジの多い画像の領域で生じた微小な変化は、ノイズではないものとして処理することも可能である。

以上においては、動きの小さい画像やエッジの少ない画像の場合、人はノイズが多いと感じ、動きの大きい画像やエッジの多い画像の場合、人はノイズが少ないと感じる、人間の視感度の特性を考慮して、有効領域制御部２１によりエッジの少ない部分が検出されて重み係数が設定される例について説明したが、他の方式により重み係数が設定されるようにしてもよい。

例えば、画像の中でも、人間の顔の部分など、人が注目する部分のノイズは、微小であっても目立つので、有効領域制御部２１により人間の顔の部分が検出されて重み係数が設定されるようにしてもよい。

図５は、有効領域制御部２１の別の構成例を示すブロック図である。この例では、有効領域制御部２１が、顔画像検出部１１１と重み設定部１１２とにより構成されている。

顔画像検出部１１１は、入力映像信号に基づいて、例えば、１フレーム分の画面の画像データを取得し、その画像から、肌色領域を抽出し、標準的な顔の画像であるテンプレートなどを用いて、抽出した肌色領域が顔の画像の領域であるかを判定し、顔画像の領域であると判定された場合、肌色領域を含む方形領域を顔画像の領域として検出するようになされている。

顔画像検出部１１１は、例えば、１画面分の画像データを、それぞれ所定の画素数で構成される複数のブロックに分割し、個々のブロックについて顔画像の領域であるか否かを表すフラグなどを付加して重み設定部１１２に供給する。

重み設定部１１２は、顔画像検出部１１１により顔画像の領域であると判定されたブロックに対応する重み係数を設定するようになされている。重み設定部１１２は、例えば、顔画像の領域のブロックに対しては、「１」より大きい重み係数を設定し、顔画像の領域のブロック以外のブロックに対しては、重み係数を「１」に設定するようになされている。

このように、ブロックと重み係数が対応付けられた情報を含む制御信号が、重み設定部１１２から出力され、上述したように、ヒストグラム生成部３２に供給されることになる。これにより、ヒストグラム生成部３２は、ヒストグラムを生成するとき、例えば、あるブロックの画素のフレーム間の差分値の頻度に、そのブロックに対応付けられた重み係数を乗じてヒストグラムを生成する。

その結果、顔画像のブロックについては、ヒストグラムの頻度が高くなり、顔画像のブロック以外のブロックについては、ヒストグラムの頻度が低くなる。

従って、有効領域制御部２１を、図５に示されるように構成すれば、有効領域制御部２１から制御信号の供給を受けたノイズ計測部２２は、上述したように、人が注目する人間の顔の部分は、フレーム間の輝度値の変化に対して比較的大きなノイズレベルを計測するが、人間の顔以外の部分は、フレーム間の輝度値の変化に対して、通常のノイズレベルを計測するようにすることができる。また、このようにして、計測されたノイズレベルを用いてノイズリデューサなどを制御し、画像（映像）のノイズを除去するようにすれば、やはり自然な画像の補正を行うことができる。

あるいはまた、有効領域制御部２１により、画像の暗い部分が検出されて重み係数が設定されるようにしてもよい。映像信号、画像データなどの各画素値から算出されたノイズ量の数値が同じであったとしても、暗い画像の場合、人はノイズが多いと感じ、明るい画像の場合、人はノイズが少ないと感じる。

図６は、有効領域制御部２１のさらに別の構成例を示すブロック図である。この例では、有効領域制御部２１が、重み設定部１２２により構成されている。

重み設定部１２２は、入力映像信号に基づいて、例えば、１フレーム分の画面の画像データを取得し、１画面分の画像データを、それぞれ所定の画素数で構成される複数のブロックに分割し、それらのブロックを構成する画素の輝度の平均値を算出する。そして、重み設定部１２２は、例えば、算出された輝度の平均値を予め記憶している閾値と比較し、輝度の平均値が閾値以上の場合、重み係数の値を「１」に設定し、輝度の平均値が閾値未満の場合、重み係数の値を「１」以上の値に設定する。

このように、ブロックと重み係数が対応付けられた情報を含む制御信号が、重み設定部１２２から出力され、上述したように、ヒストグラム生成部３２に供給されることになる。これにより、ヒストグラム生成部３２は、ヒストグラムを生成するとき、例えば、あるブロックの画素のフレーム間の差分値の頻度に、そのブロックに対応付けられた重み係数を乗じてヒストグラムを生成する。

その結果、暗い画像のブロックについては、ヒストグラムの頻度が高くなり、明るい画像のブロックについては、ヒストグラムの頻度が低くなる。

従って、有効領域制御部２１を、図６に示されるように構成すれば、有効領域制御部２１から制御信号の供給を受けたノイズ計測部２２は、上述したように、画像の中の暗い部分は、フレーム間の輝度値の変化に対して比較的大きなノイズレベルを計測するが、画像の中の明るい部分は、フレーム間の輝度値の変化に対して、通常のノイズレベルを計測するようにすることができる。また、このようにして、計測されたノイズレベルを用いてノイズリデューサなどを制御し、画像（映像）のノイズを除去するようにすれば、やはり自然な画像の補正を行うことができる。

あるいはまた、有効領域制御部２１の重み設定部１２２に、他の装置から供給される情報に基づいて重み係数を設定させるようにしてもよい。例えば、画像の中の各画素について動き量を演算する装置などにより、演算された動き量に基づいて、重み設定部１２２が、上述した場合と同様に重み係数を設定するようにしてもよい。このようにすることで、例えば、ノイズ計測部２２が、画像の中の動きの小さい部分は、フレーム間の輝度値の変化に対して比較的大きなノイズレベルを計測するが、画像の中の動きの大きい部分は、フレーム間の輝度値の変化に対して、通常のノイズレベルを計測するようにすることができる。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図７に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図７において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図７に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明の一実施の形態に係るノイズレベル計測装置の構成例を示すブロック図である。図１の有効領域制御部の構成例を示すブロック図である。ノイズレベル計測処理の例を説明するフローチャートである。有効領域制御信号出力処理を説明するフローチャートである。図１の有効領域制御部の別の構成例を示すブロック図である。図１の有効領域制御部のさらに別の構成例を示すブロック図である。パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１０ノイズレベル計測装置，２１有効領域制御部，２２ノイズ計測部，３１フレーム差分取得部，３２ヒストグラム生成部，３３ノイズ量算出部，１０１ブロック分散演算部，１０２重み設定部，１１１顔画像検出部，１１２重み設定部，１２２重み設定部，７０１ＣＰＵ，７１１リムーバブルメディア

Claims

映像信号のノイズレベルを計測する計測装置であって、
入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報を生成する制御情報生成手段と、
前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データを、それぞれ取得する差分データ取得手段と、
前記差分データ取得手段により取得された前記差分データのヒストグラムデータを、前記制御情報生成手段により生成された制御情報に基づいて生成するヒストグラムデータ生成手段と、
前記ヒストグラムデータ生成手段により生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量を算出するノイズ量算出手段と
を備える計測装置。
前記差分データ取得手段は、
前記制御情報が生成された複数の領域のそれぞれについて、前記領域の時間的に前の画素の値と、時間的に後の画素の値との差分値を前記差分データとして取得し、
前記ヒストグラムデータ生成手段は、
前記複数の領域のそれぞれの画素の値の差分値の頻度に、当該領域の前記制御情報に対応して定まる係数を乗じて前記画素の値の差分値の頻度を設定し、前記ヒストグラムデータを生成する
請求項１に記載の計測装置。
前記制御情報生成手段は、
前記領域における画像のエッジ数に基づいて前記制御情報を生成する
請求項１に記載の計測装置。
前記制御情報生成手段は、
前記領域の画像に、予め定められたオブジェクトが存在するか否かを表す情報に基づいて前記制御情報を生成する
請求項１に記載の計測装置。
前記制御情報生成手段は、
前記領域における画素の輝度に基づいて前記制御情報を生成する
請求項１に記載の計測装置。
前記制御情報生成手段は、
前記領域における画素の動き量に基づいて前記制御情報を生成する
請求項１に記載の計測装置。
映像信号のノイズレベルを計測する計測装置の計測方法であって、
入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報を生成し、
前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データを、それぞれ取得し、
前記取得された前記差分データのヒストグラムデータを、前記生成された制御情報に基づいて生成し、
前記生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量を算出するステップ
を含む計測方法。
コンピュータに映像信号のノイズレベルを計測させるプログラムであって、
コンピュータを、
入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報を生成する制御情報生成手段と、
前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データを、それぞれ取得する差分データ取得手段と、
前記差分データ取得手段により取得された前記差分データのヒストグラムデータを、前記制御情報生成手段により生成された制御情報に基づいて生成するヒストグラムデータ生成手段と、
前記ヒストグラムデータ生成手段により生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量を算出するノイズ量算出手段とを備える計測装置として機能させる
プログラム。
請求項８に記載のプログラムが記録されている記録媒体。