JP2010050607A - 画像処理装置、ノイズ低減方法及びプログラム - Google Patents

Abstract

【課題】画像信号のノイズをより低減してＳ／Ｎを改善できる画像処理装置、ノイズ低減方法及びプログラムを提供する。
【解決手段】ｍを０．５以上１未満としたとき、画像信号に含まれる画素毎の輝度値を複数フレームに亘って積分し、該積分結果をフレーム積分数のｍ乗で除算する。または、画像信号に含まれる画素毎の輝度値を該画素位置から所定範囲内の各画素の輝度値と積分し、該積分結果を積分画素数のｍ乗で除算する。
【選択図】図１

Description

本発明は、画像信号のノイズを低減するための画像処理装置、ノイズ低減方法及びプログラムに関する。

近年、デジタルカメラ、携帯電話機、ビデオカメラ等の撮像装置、あるいはディスプレイやプロジェクター等の画像表示装置は、小型化、高画素化、高機能化が進み、高速に動作するＣＰＵや所要の処理を専用に実行するＬＳＩ等の様々な回路が搭載されている。そのため、撮像装置や画像表示装置等では、ノイズの発生源が増大し、発生したノイズが撮像した画像信号や表示すべき画像信号に重畳して再生画像の品位が劣化する問題がある。

画像信号に重畳するノイズを低減するための手法は従来から種々検討され、例えば画素毎の輝度値を複数フレームに亘って積分し、その積分結果（フレーム積分値）をフレーム積分数で除算するフレーム積分、あるいは画素毎の輝度値を該画素位置から所定範囲（平均値フィルタ）の各画素の輝度値と積分し、その積分結果（画素積分値）を画素積分数で除算する画素積分等が知られている。

フレーム積分を用いて画像信号のＳ／Ｎを改善する手法は、例えば特許文献１に記載されている。また、画素積分を用いて画像信号のＳ／Ｎを改善する手法は、例えば特許文献２に記載されている。

以下、背景技術の画像処理装置がフレーム積分で用いる式を下記（１）式で示す。

ここで、ｋは水平方向の画素番号（１，２，３，…，ｋｍａｘ）、ｌは垂直方向の画素番号（１，２，３，…，ｌｍａｘ）、ｉはフレーム番号（ｉ＝１，２，３，…，ｎ）、ｎはフレーム積分数を示している。また、ｙ（ｋ、ｌ）は、水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素のフレーム積分後の輝度値を示し、ｘ_i（ｋ、ｌ）は、第ｉ番目のフレームの水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素のフレーム積分前の輝度値を示している。なお、ｋｍａｘは水平方向の画素数であり、ｌｍａｘは垂直方向の画素数である。

また、背景技術の画像処理装置が画素積分で用いる式を下記（２）式で示す。

ここで、ｋは水平方向の画素番号（１，２，３，…，ｋｍａｘ）、ｌは垂直方向の画素番号（１，２，３，…，ｌｍａｘ）、ｈは平均値フィルタ内の水平方向の画素番号、ｉは平均値フィルタ内の垂直方向の画素番号、ｊは平均値フィルタの垂直方向及び水平方向の画素数（ｊ×ｊ画素）、ｎは画素積分数（ｊ²）を示している。また、ｙ（ｋ、ｌ）は、水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素の画素積分後の輝度値を示し、ｘ（ｋ、ｌ）は、水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素の画素積分前の輝度値を示している。なお、ｋｍａｘは水平方向の画素数であり、ｌｍａｘは垂直方向の画素数である。
特開２００８−２１４６６２号公報 特開２００６−０７４１９０号公報

上述した背景技術のフレーム積分について、本出願人が実験結果で得たフレーム積分数に対するフレーム積分後の画像信号のＳ／Ｎの関係を図６に示す。

なお、図６は、フレーム積分数ｎが１のときのＳ／Ｎの値を１に正規化した場合の、フレーム積分数に対するフレーム積分後の撮像素子（ＣＭＯＳ撮像素子）ａ〜ｅの画像信号のＳ／Ｎの測定値をそれぞれ示している。

画像信号に重畳されるノイズをホワイトノイズと仮定した場合、フレーム積分後の画像信号のＳ／Ｎは、理論的には√ｎ（ｎはフレーム積分回数）に比例して改善される。図６に示す「ＷＮ」はこの理論特性を示している。

図６の実験結果で示すように、フレーム積分後の各撮像素子ａ〜ｅの画像信号のＳ／Ｎは、固体差による特性ばらつきに関係なく、フレーム積分数を１６以上に増やしてもほとんど改善されない。これは、画像信号処理に起因して発生する量子化誤差によるノイズがＳ／Ｎを改善できない一因と考えられる。また、撮像素子が半導体素子であることに起因して発生する１／ｆノイズ等の半固定パターンのノイズが画像信号に含まれているからと考えられる。このような積分数を増やしてもＳ／Ｎが改善されない現象は上述した画素積分でも同様に発生する。

本発明は上記したような従来の技術が有する問題点を解決するためになされたものであり、画像信号のノイズをより低減してＳ／Ｎを改善できる画像処理装置、ノイズ低減方法及びプログラムを提供することを目的とする。

上記目的を達成するため本発明の画像処理装置は、画像信号のノイズを低減するための画像処理装置であって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を複数フレームに亘って積分し、該積分結果をフレーム積分数のｍ乗で除算し、該除算後の画素毎の輝度値を出力する処理装置と、
前記画像信号を記憶するメモリと、
を有する。

または、画像信号のノイズを低減するための画像処理装置であって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を該画素位置から所定範囲内の各画素の輝度値と積分し、該積分結果を画素積分数のｍ乗で除算し、該除算後の画素毎の輝度値を出力する処理装置と、
前記画像信号を記憶するメモリと、
を有する。

本発明のノイズ低減方法は、画像信号のノイズを低減するためのノイズ低減方法であって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を複数フレームに亘って積分し、
該積分結果をフレーム積分数のｍ乗で除算し、
該除算後の画素毎の輝度値を出力する方法である。

または、画像信号のノイズを低減するためのノイズ低減方法であって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を該画素位置から所定範囲内の各画素の輝度値と積分し、
該積分結果を画素積分数のｍ乗で除算し、
該除算後の画素毎の輝度値を出力する方法である。

本発明のプログラムは、コンピュータに画像信号のノイズを低減するための処理を実行させるプログラムであって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を複数フレームに亘って積分し、
該積分結果をフレーム積分数のｍ乗で除算し、
該除算後の画素毎の輝度値を出力させるためのものである。

または、コンピュータに画像信号のノイズを低減するための処理を実行させるプログラムであって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を該画素位置から所定範囲内の各画素の輝度値と積分し、
該積分結果を画素積分数のｍ乗で除算し、
該除算後の画素毎の輝度値を出力させるためのものである。

本発明によれば、背景技術の画像処理装置よりもノイズを低減して画像信号のＳ／Ｎを改善できる。

次に本発明について図面を用いて説明する。
（第１の実施の形態）
図１は第１の実施の形態の画像処理装置の構成を示すブロック図である。

図１に示すように、第１の実施の形態の画像処理装置は、プログラムにしたがって処理を実行するＣＰＵ１１を含む処理装置（コンピュータ）１０で実現可能であり、ＣＰＵ１１と、ＣＰＵ１１の処理で必要な情報を一時的に記憶する主記憶装置１２と、ＣＰＵ１１に所要の処理を実行させるためのプログラムが記録された記録媒体１３と、画像信号をフレーム単位で蓄積するデータ蓄積装置（メモリ）１４と、主記憶装置１２、記録媒体１３及びデータ蓄積装置１４とのデータ転送を制御するメモリ制御インタフェース部１５と、図１に示す画像処理装置が組み込まれた機器が備える各種の装置とデータを送受信するための複数のインタフェース部１６（図１では２つ）とを備えている。ＣＰＵ１１と、メモリ制御インタフェース部１５及びインタフェース部１６とはバス１８を介して接続されている。なお、図１では処理装置１０に画像信号をフレーム単位で蓄積するデータ蓄積装置１４を内部に備える構成例を示しているが、データ蓄積装置１４は処理装置１０の外部に独立して備えていてもよい。

画像処理装置は、記録媒体１３に格納されたプログラムにしたがってＣＰＵ１１により処理を実行することで以下に記載する画像信号のノイズを低減するための処理を実行する。記録媒体１３は、磁気ディスク、半導体メモリ、光ディスクあるいはその他の記録媒体であってもよい。

なお、画像信号がアナログ信号である場合、図１に示す画像処理装置には、該画像信号をデジタル信号に変換するためのＡ／Ｄ（Analog to Digital）変換器、及び処理後のデータをアナログ信号に変換するためのＤ／Ａ（Digital to
Analog）変換器を備えていてもよい。

また、画像処理装置は、下記に示すノイズ低減処理を実行できれば、演算処理を行うＬＳＩ等を含む論理回路でも実現可能である。

次に、第１の実施の形態の画像処理装置の動作について図面を用いて説明する。

第１の実施の形態の画像処理装置は、ノイズを低減するための処理として上述したフレーム積分を実施する例である。

但し、本実施形態では、上記（１）式で示したフレーム積分値をフレーム積分数ｎで除算する変わりに√ｎで除算する。このようにフレーム積分値を√ｎで除算すると、信号成分Ｓが√ｎ倍されるため、フレーム積分後の画像信号のＳ／Ｎが図６で示した理論特性ＷＮにより近づく。フレーム積分値を√ｎで除算するとノイズが最も低減するために望ましいが、フレーム積分値は√ｎに限らずｎ^m（０．５≦ｍ＜１）で除算してもよい。すなわち、本実施形態では下記（３）式を用いてフレーム積分を実行する。

ここで、ｋは水平方向の画素番号（１，２，３，…，ｋｍａｘ）、ｌは垂直方向の画素番号（１，２，３，…，ｌｍａｘ）、ｉはフレーム番号（ｉ＝１，２，３，…，ｎ）、ｎはフレーム積分数を示している。また、ｙ（ｋ、ｌ）は、水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素のフレーム積分後の輝度値を示し、ｘ_i（ｋ、ｌ）は、第ｉ番目のフレームの水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素のフレーム積分前の輝度値を示している。なお、ｋｍａｘは水平方向の画素数であり、ｌｍａｘは垂直方向の画素数である。

図２はフレーム積分値を√ｎで除算する場合のフレーム積分数に対するフレーム積分後の撮像素子（ＣＭＯＳ撮像素子）ａ〜ｅの画像信号のＳ／Ｎの測定値をそれぞれ示している。なお、図２では、図６と同様に、フレーム積分数ｎが１のときのＳ／Ｎの値を１に正規化した場合の、フレーム積分数に対する撮像素子ａ〜ｅのＳ／Ｎの測定値をそれぞれ示している。また、図２に示す「ＷＮ」はノイズをホワイトノイズとした場合のフレーム積分数に対するＳ／Ｎの理論特性を示している。

図２に示すように、フレーム積分値を√ｎで除算することで、フレーム積分後の各撮像素子ａ〜ｅの画像信号のＳ／Ｎは、理論特性ＷＮには及ばないものの図６に示した背景技術よりも向上していることが分かる。また、フレーム積分後の各撮像素子ａ〜ｅの画像信号のＳ／Ｎはフレーム積分数の増大に伴って徐々に向上する。

例えば、フレーム積分数を２５６とした場合、フレーム積分値をｎで除算する背景技術と比べて本実施形態の画像処理装置では画像信号のＳ／Ｎが約１．７倍改善される。

図３はフレーム積分値をｎで除算する背景技術の画像処理装置から出力されるノイズデータを示し、図４はフレーム積分値を√ｎで除算する第１の実施の形態の画像処理装置から出力されるノイズデータの一例を示している。なお、図３及び図４に示すノイズデータは、同一の撮像素子をそれぞれ同一の温度下で測定したものである。また、フレーム積分数はどちらも２５６である。

図３及び図４のグラフを比べれば分かるように、本実施形態の画像処理装置から出力されるノイズデータの方が背景技術の画像処理装置から出力されるノイズデータよりも振幅値が小さく、ＲＭＳ（Root Mean Square）ノイズが小さくなることが分かる。

本実施形態の画像処理装置によれば、画素毎の輝度値のフレーム積分値をフレーム積分数ｎのｍ乗（０．５≦ｍ＜１）で除算することで、背景技術の画像処理装置よりもノイズを低減して画像信号のＳ／Ｎを改善できる。
（第２の実施の形態）
第２の実施の形態の画像処理装置は、ノイズを低減するための処理として上述した画素積分を実施する例である。画像処理装置の構成は第１の実施の形態と同様であるため、その説明は省略する。

本実施形態では、上記（２）式で示した画素積分値を画素積分数ｎで除算する変わりに√ｎで除算する。このように画素積分値を√ｎで除算すると、第１の実施の形態と同様に、信号成分Ｓが√ｎ倍されるため、画素積分後の画像信号のＳ／Ｎが理論特性により近づく。なお、画素積分値を√ｎで除算するとノイズが最も低減するために望ましいが、画素積分値は√ｎに限らずｎ^m（０．５≦ｍ＜１）で除算してもよい。すなわち、本実施形態では下記（４）式を用いて画素積分を実行する。

ここで、ｋは水平方向の画素番号（１，２，３，…，ｋｍａｘ）、ｌは垂直方向の画素番号（１，２，３，…，ｌｍａｘ）、ｈは平均値フィルタ内の水平方向の画素番号、ｉは平均値フィルタ内の垂直方向の画素番号、ｊは平均値フィルタの垂直方向及び水平方向の画素数（ｊ×ｊ画素）、ｎは画素積分数（ｊ²）を示している。また、ｙ（ｋ、ｌ）は、水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素の画素積分後の輝度値を示し、ｘ（ｋ、ｌ）は、水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素の画素積分前の輝度値を示している。なお、ｋｍａｘは水平方向の画素数であり、ｌｍａｘは垂直方向の画素数である。

図５は画素積分値を√ｎで除算する場合の画素積分数に対する画素積分後の撮像素子（ＣＭＯＳ撮像素子）Ａ〜Ｅの画像信号のＳ／Ｎの測定値をそれぞれ示している。なお、図５では、図６と同様に、画素積分数ｎが１のときのＳ／Ｎの値を１に正規化した場合の、画素積分数に対する画素積分後の撮像素子Ａ〜ＥのＳ／Ｎの測定値をそれぞれ示している。

図５に示すように、本実施形態の画像処理装置では、画素積分後の各撮像素子ａ〜ｅの画像信号のＳ／Ｎが画素積分数の増大に伴って向上することが分かる。

本実施形態の画像処理装置によれば、画素積分値を画素積分数ｎのｍ乗（０．５≦ｍ＜１）で除算することで、第１の実施の形態と同様に、背景技術の画像処理装置よりもノイズを低減して画像信号のＳ／Ｎを改善できる。

第１の実施の形態の画像処理装置の構成を示すブロック図である。 第１の実施の形態の画像処理装置のフレーム積分数に対する画像信号のＳ／Ｎの測定値を示すグラフである。 背景技術の画像処理装置から出力されるノイズデータを示すグラフである。 第１の実施の形態の画像処理装置から出力されるノイズデータの一例を示すグラフである。 第２の実施の形態の画像処理装置の画素積分数に対する画像信号のＳ／Ｎの測定値を示すグラフである。 背景技術の画像処理装置のフレーム積分数に対する画像信号のＳ／Ｎの測定値を示すグラフである。

符号の説明

１０ 処理装置
１１ ＣＰＵ
１２ 主記憶装置
１３ 記録媒体
１４ データ蓄積装置
１５ メモリ制御インタフェース部
１６ インタフェース部
１８ バス

Claims (15)

1. 画像信号のノイズを低減するための画像処理装置であって、
   ｍを０．５以上１未満としたとき、
   前記画像信号に含まれる画素毎の輝度値を複数フレームに亘って積分し、該積分結果をフレーム積分数のｍ乗で除算し、該除算後の画素毎の輝度値を出力する処理装置と、
   前記画像信号を記憶するメモリと、
   を有する画像処理装置。
2. 前記処理装置は、
   ｋを水平方向の画素番号、ｌを垂直方向の画素番号、ｉをフレーム番号、ｎはフレーム積分数、ｙ（ｋ、ｌ）を水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素のフレーム積分後の輝度値、ｘ_i（ｋ、ｌ）を第ｉ番目のフレームの水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素のフレーム積分前の輝度値としたとき、
   

   

   で算出されるｙ（ｋ、ｌ）を出力する請求項１記載の画像処理装置。
3. 画像信号のノイズを低減するための画像処理装置であって、
   ｍを０．５以上１未満としたとき、
   前記画像信号に含まれる画素毎の輝度値を該画素位置から所定範囲内の各画素の輝度値と積分し、該積分結果を画素積分数のｍ乗で除算し、該除算後の画素毎の輝度値を出力する処理装置と、
   前記画像信号を記憶するメモリと、
   を有する画像処理装置。
4. 前記処理装置は、
   ｋを水平方向の画素番号、ｌを垂直方向の画素番号、ｈを前記所定範囲内の水平方向の画素番号、ｉを前記所定範囲内の垂直方向の画素番号、ｊを前記所定範囲の垂直方向及び水平方向の画素数、ｎを画素積分数、ｙ（ｋ、ｌ）を水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素の画素積分後の輝度値、ｘ（ｋ、ｌ）を水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素の画素積分前の輝度値としたとき、
   

   

   で算出されるｙ（ｋ、ｌ）を出力する請求項３記載の画像処理装置。
5. ｍは０．５である請求項１から４のいずれか１項記載の画像処理装置。
6. 画像信号のノイズを低減するためのノイズ低減方法であって、
   ｍを０．５以上１未満としたとき、
   前記画像信号に含まれる画素毎の輝度値を複数フレームに亘って積分し、
   該積分結果をフレーム積分数のｍ乗で除算し、
   該除算後の画素毎の輝度値を出力するノイズ低減方法。
7. ｋを水平方向の画素番号、ｌを垂直方向の画素番号、ｉをフレーム番号、ｎはフレーム積分数、ｙ（ｋ、ｌ）を水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素のフレーム積分後の輝度値、ｘ_i（ｋ、ｌ）を第ｉ番目のフレームの水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素のフレーム積分前の輝度値としたとき、
   

   

   で算出されるｙ（ｋ、ｌ）を出力する請求項６記載のノイズ低減方法。
8. 画像信号のノイズを低減するためのノイズ低減方法であって、
   ｍを０．５以上１未満としたとき、
   前記画像信号に含まれる画素毎の輝度値を該画素位置から所定範囲内の各画素の輝度値と積分し、
   該積分結果を画素積分数のｍ乗で除算し、
   該除算後の画素毎の輝度値を出力するノイズ低減方法。
9. ｋを水平方向の画素番号、ｌを垂直方向の画素番号、ｈを前記所定範囲内の水平方向の画素番号、ｉを前記所定範囲内の垂直方向の画素番号、ｊを前記所定範囲の垂直方向及び水平方向の画素数、ｎを画素積分数、ｙ（ｋ、ｌ）を水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素の画素積分後の輝度値、ｘ（ｋ、ｌ）を水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素の画素積分前の輝度値としたとき、
   

   

   で算出されるｙ（ｋ、ｌ）を出力する請求項８記載のノイズ低減方法。
10. ｍは０．５である請求項６から９のいずれか１項記載のノイズ低減方法。
11. コンピュータに画像信号のノイズを低減するための処理を実行させるプログラムであって、
    ｍを０．５以上１未満としたとき、
    前記画像信号に含まれる画素毎の輝度値を複数フレームに亘って積分し、
    該積分結果をフレーム積分数のｍ乗で除算し、
    該除算後の画素毎の輝度値を出力させるためのプログラム。
12. ｋを水平方向の画素番号、ｌを垂直方向の画素番号、ｉをフレーム番号、ｎはフレーム積分数、ｙ（ｋ、ｌ）を水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素のフレーム積分後の輝度値、ｘ_i（ｋ、ｌ）を第ｉ番目のフレームの水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素のフレーム積分前の輝度値としたとき、
    

    

    で算出されるｙ（ｋ、ｌ）を出力させるための請求項１１記載のプログラム。
13. コンピュータに画像信号のノイズを低減するための処理を実行させるプログラムであって、
    ｍを０．５以上１未満としたとき、
    前記画像信号に含まれる画素毎の輝度値を該画素位置から所定範囲内の各画素の輝度値と積分し、
    該積分結果を画素積分数のｍ乗で除算し、
    該除算後の画素毎の輝度値を出力させるためのプログラム。
14. ｋを水平方向の画素番号、ｌを垂直方向の画素番号、ｈを前記所定範囲内の水平方向の画素番号、ｉを前記所定範囲内の垂直方向の画素番号、ｊを前記所定範囲の垂直方向及び水平方向の画素数、ｎを画素積分数、ｙ（ｋ、ｌ）を水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素の画素積分後の輝度値、ｘ（ｋ、ｌ）を水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素の画素積分前の輝度値としたとき、
    

    

    で算出されるｙ（ｋ、ｌ）を出力させるための請求項１３記載のプログラム。
15. ｍは０．５である請求項１１から１４のいずれか１項記載のプログラム。

Images