JP5198449B2 - デジタル画像のノイズを低減する方法 - Google Patents

Description

本明細書は、デジタル画像のノイズを低減する方法に関する。

ＣＭＯＳ画像センサによって生成されるデジタル画像などのデジタル画像に現れる特徴が（例えば、医学的応用においてなど）量的に分析されることになっているとき、分析の前に画像からノイズを低減するかまたは除去することは有用である。デジタル画像を生成する信号がノイズと比べて低い場合に、画像からノイズを低減するかまたは除去することは同様に有用である。

画像を作るピクセル値におけるある特定の種類のノイズ（暗電流ノイズと称される。図１を参照せよ）は、ランダムなノイズレベルを示す。ノイズレベルは、光がセンサによって受信されていてもいなくても、ＣＭＯＳセンサアレイのそれぞれのピクセルによって生成される。（文言「ピクセル」は２つの異なる意味で用いられることがある。即ち、一つは、センサアレイの特定の位置にある光電性エレメントを言い、もう一つは、画像の特定の位置にありかつ輝度に対応する値を有するピクチャエレメントを言う。用語「デジタル画像」は、画像を作るピクセルアレイの値を述べるのに用いられることがある。）温度は別として、その暗電流レベルに影響を与える各センサピクセルの物理的特徴は、時間とともに変化しない。しかしながら、ピクセルの暗電流レベルは、ピクセルの温度による。さらに、ピクセルの暗電流は、時間とともに帯電を形成させる。それゆえピクセル値への暗電流の影響はピクセルの露光時間による。

画像の他のアーチファクトは、縦縞パターン（固定パターンノイズとも称される）、オフセット、及びショットノイズを含む。縦縞パターン（図２を参照せよ）は、アレイの異なるカラムのそれぞれの読み出し回路の動作における意図せざる差によるものであり、通常、時間がたっても変化しない。オフセットは、画像から画像までの全信号レベル（輝度）における差を示し、差は、読み出し回路の特定の電気特性における変化によって生じる。センサアレイによって生成される各ピクセル値は、信号値に比例する変動を有するランダムなショットノイズを含む。

他の種類の画像センサによって生成されるデジタル画像も暗電流ノイズの影響を受けやすいかもしれない。

一般に、ターゲットデジタル画像は、画像センサから受信される。画像は、参照デジタル画像で表される大きさのわからないノイズが混入されている。ターゲットデジタル画像及び参照デジタル画像の統計的分析を用いてターゲットデジタル画像の少なくともいくつかのピクセルについてノイズの大きさを評価するプロセスが用いられる。

実施には以下の特徴のうちの１つまたは複数が含まれてもよい。センサは、ＣＭＯＳセンサまたはＣＣＤセンサである。ノイズは、暗電流ノイズを含む。プロセスは、ターゲットデジタル画像のあらゆるピクセルについて暗電流の大きさを評価する。プロセスは、プログラム命令を含む。統計的分析は、ターゲットデジタル画像と参照デジタル画像に関する無相関分析を含む。暗電流の大きさの評価は、センサ温度または露光時間についての情報を必要とせずに生成される。参照デジタル画像は暗電流デジタル画像に基づいており、暗電流デジタル画像は、実質的に縦縞パターンがなくて、それぞれ異なる露光時間を用いて得られるグレーデジタル画像と黒デジタル画像とから生成される。参照デジタル画像は、修正された暗電流デジタル画像に基づいており、修正された暗電流デジタル画像は、ＣＭＯＳセンサのピクセルにわたって低頻度空間トレンドの影響を低減するように処理されている。参照デジタル画像は、トレンド除去された暗電流画像と黒デジタル画像との無相関性に基づいている。プロセスは、ターゲットデジタル画像からピクセルごとに縦縞パターンを引いて、縦縞パターンが修正されたデジタル画像を生成する。プロセスは、暗電流除去関数を縦縞パターンが修正されたデジタル画像に適用して、暗電流が修正されたデジタル画像を生成する。ターゲットデジタル画像のあらゆるピクセルのノイズは、評価された暗電流レベルを用いて低減される。プロセスは、オフセット評価及び減算関数を暗電流が修正されたデジタル画像に適用してオフセットを除去する。ノイズの低減されたターゲットデジタル画像は、ＣＭＯＳセンサによって捕捉された画像の特徴の分析に用いるプロセッサに与えられる。ターゲットデジタル画像は、悪性病変を含んでいることがあるかもしれない。

これらの特徴及び他の特徴並びに態様は、装置、方法、システム、プログラム製品、及び他の方法で表現されてもよい。

他の利点及び特徴は、以下の詳細な説明及び請求の範囲から明らかにされる。

暗電流の画像を示す図である。 縦縞パターンの画像を示す図である。 フローチャートである。 フローチャートである。 フローチャートである。 較正プロセス段階の画像を示す図である。 較正プロセス段階の別の画像を示す図である。 較正プロセス段階のまた別の画像を示す図である。 グラフを示す図である。 別のグラフを示す図である。

図３に示すように、ターゲットシーン１６（例えば、色素性病変１８のある皮膚）から光学素子２０を介して受信される光１４に応じてＣＭＯＳセンサアレイ１２によって生成される入力デジタル画像１０（ターゲットとして、Ｔと称される）は、ノイズリダクションソフトウェア２２（プロセッサ２４によって実行される）によって（ストレージ３８で一時的に記憶された後に）処理されて（例えば、ニューヨーク州アーヴィントンのエレクトロ‐オプティカルサイエンス社のメラノーマ検出製品であるメラファインド（ＭｅｌａＦｉｎｄ）（登録商標）を用いて、病斑が悪性メラノーマであるか否かを判断する(３０)ために）、定量分析２８で用いる出力デジタル画像２６（Ｏと称される）を生成することができる。

ノイズリダクションを医学的診断との関係におけるデジタル画像で実行する例が説明されているが、本ノイズリダクションプロセスは、いかなる目的に対するかついかなる状況下におけるいかなる画像センサアレイによって生成されるいかなるデジタル画像に対しても広く適用できる。例には、ノイズを低減したデジタル画像が、デジタル画像のノイズが問題になる最近の分析の対象となるいかなる例をも含んでいる。

縦縞パターン及びオフセットを低減する特定の方法も説明されているが、本明細書で説明されるデジタル画像の暗電流（及び参照デジタル画像で特徴付けられる他のノイズ）を低減する技術は、縦縞パターン及びオフセットがない限り、様々な用途で用いられてもよいし、または、当該技術において、他の種類のノイズが低減されてもよいし低減されなくてもよく、低減される場合には、リダクションは、本明細書で説明された例で説明される方法で行われてもよいし行われなくてもよい、ということが注目される。

他の種類の処理がまた、様々な用途においてセンサで生成されるデジタル画像に関して必要とされるかもしれない。他の種類の処理には、特定のレンズ及び照明器に付随する光学的影響を修正する処理を含む。よって、本明細書で説明されるノイズリダクション技術には、あらゆる光学的修正または特定の種類の光学的修正によって限定されない用途がある。

図４Ａ及び４Ｂに示すように、入力デジタル画像のノイズリダクション処理の前に、参照情報を取得して処理する。

参照情報を展開処理するあるステップにおいて、グレーデジタル画像３４の複数の独立したセットが、既知のセンサ温度または既知でないセンサ温度において暗部で取得されてストレージ３８に記憶される。露光時間は、長時間露光からの飽和状態を回避してなお暗電流の信頼できる測定が行えるような中間範囲内にある。図５は、暗部で取得されるグレー画像の例（表示のために１５倍の明度である）を示す。

複数のグレーデジタル画像は、平均化されて（３９）、平均デジタル画像４０（Ｇと称される）が生成され、平均デジタル画像４０では、個々のピクセルのショットノイズのレベルが低減される。

また、入力デジタル画像のノイズリダクション処理の前に、縦縞パターンなどの固定パターンノイズがある場合、黒デジタル画像の複数の独立したセットが、暗部で取得される。黒のセットに対する露光時間は、グレーのセットに対するよりも短くて（例えば、ハードウェアが許容するできるだけ短い露光時間）、固定パターンノイズの信頼できる測定を行って黒のセットの暗電流レベルを最小にする。

複数の黒画像は、平均化されて（３９）、平均黒デジタル画像４４（Ｂと称される）を生成し、平均黒デジタル画像４４では、平均グレーデジタル画像についてのように、個々のピクセルのショットノイズの影響が低減される。

平均黒デジタル画像Ｂが平均グレーデジタル画像Ｇから引かれて（４６）、暗電流デジタル画像４８（Ｄ）が生成される。グレーデジタル画像からの黒デジタル画像を引くことによって、純粋な暗電流の画像（縦縞パターンがない）が生成される。図６は、縦縞パターンを引いた後の図５の画像（表示のために１５倍の明度である）を示す。

次に、トレンド除去関数が暗電流デジタル画像４８に適用されて（５０）、データ４８のピクセルから低頻度空間トレンドが除去される。なんとなれば、暗電流デジタル画像のトレンドは、ターゲットデジタル画像と相関性があるからである。このトレンド除去は、暗電流デジタル画像４８のアレイ全体をＮピクセル×Ｎピクセルのサブアレイに再分割することによって行われる。各サブアレイ内で、暗電流デジタル画像値が、最小二乗適合を用いて、２つの変数の二次関数に適用される。次に、各ピクセルに対するこの二次関数の値は、当該ピクセルの実際の暗電流値から引かれる。実際には、Ｎ＝３で良好な結果が得られた。結果は、トレンド除去した暗電流デジタル画像５２（Ｓ）である。

次に、純粋な縦縞パターンデジタル画像Ｖ５６が、暗電流除去関数（５４）をＢに最初に適用することによって生成される。一般に、除去関数は、デジタル画像を返す。デジタル画像は、（ｉ）入力デジタル画像と、（ｉｉ）暗電流デジタル画像Ｄを要因Ａ１倍した積と、の間のピクセルごとの差を示す。
Ｖ＝Ｂ−Ａ１＊Ｄ
ここで、無相関関数は、２セットのデジタル画像、即ちＢ及びＳに関して要因Ａ１を見出す。
相関（Ｂ−Ａ１＊Ｓ，Ｓ）＝０
ここで、相関は、画像の特定領域内のすべてのピクセルにわたって算出される。

言い換えると、無相関関数は、画像のいくつかの領域にわたってデジタル画像Ｓからデジタル画像Ｂを無相関にする要因Ａ１を判別する。図４の特定のステップ５４に関して、無相関によって、黒画像Ｂにおける暗電流Ｄの大きさ（Ａ１）が判別される。

無相関関数は、センサ温度または露光時間を知る必要なしにターゲットピクセルからかつ参照ピクセルから暗電流ノイズが判別され得るようにする統計的分析の例である。分散最小化分析などの他の統計的方法が用いられてもよい。図のステップ５４の結果は、純粋な縦縞パターンのデジタル画像Ｖ５６である。

図７は、暗電流ノイズを引いた後の図６の画像を示す（１５レベル及び１００レベルで乗算された明度が表示のために各ピクセルに加えられた）。

図８は、明度を調節していない図５、６及び７の画像の標本図を示す。図８では、ＶＲｅｍは、固定パターンノイズを引いた後の明度である。ＤＣＲｅｍは、固定パターンノイズ及び暗電流を引いた後の明度である。ＯｆｆＲｅｍは、固定パターンノイズ、暗電流、及びオフセットを引いた後の明度である。図５のオリジナル画像では、ショットノイズは、約７−８レベルであり、ショットノイズは、較正プロセスによって除去されない。ショットノイズのリダクションは、画像についての空間の平均化または一時的な平均化のいずれかを必要とするかもしれない。

上述のステップは、例えば、係数較正の間一度だけ実行される必要があり、得られる較正デジタル画像は、長期にわたって多数のターゲット画像のために記憶されて用いられてもよい。ターゲット画像が捕捉されるたびに再び較正画像情報を展開処理する必要はない。

図４Ｂに示したように、Ｔのノイズを低減するために、純粋な縦縞パターンのデジタル画像Ｖが、Ｔから、ピクセルごとに引かれて、縦縞パターンが修正されたデジタル画像Ｔ１が得られる(６０)。
Ｔ１＝Ｔ−Ｖ
次に、画像のいくつかの領域にわたって無相関関数（５４）を用いて、画像Ｔ１の当該領域の暗電流Ｄの大きさＡ２が、
相関（Ｔ１−Ａ２＊Ｓ，Ｓ）＝０
から判別され、次に、暗電流がＴ１から除去されて、暗電流の修正されたデジタル画像Ｔ２が生成される(６４)。
Ｔ２＝Ｔ１−Ａ２＊Ｄ
ＣＭＯＳセンサは、（ターゲットからのあらゆる光を含む）光から映されるアレイの（例えば、コーナーのまたはエッジの１つに沿った）黒領域を有するように配置され得る。黒領域からのデジタル画像は、画像内のオフセットを修正するために用いられ得る。黒領域デジタル画像は、前に説明した縦縞パターン除去ステップ及び暗電流除去ステップによって最初に処理され、得られた処理済みの黒領域データが、平均化されて（６６）、平均黒領域値ＮＢが生成される（６８）。平均黒領域値が、画像の暗電流が修正されたデジタル画像Ｔ２のあらゆるピクセルから引かれて（７０）、ターゲット画像からオフセットが排除される。得られたオフセットが修正されたデジタル画像Ｔ３（７２）は、状況により追加の処理を受けてもよい。

例えば、画像システムによって与えられる不均一性（一様でないターゲット照明または不均一なセンサ応答など）によるデジタル画像Ｔ３からのアーチファクトを除去することに関心があるかまたはデジタル画像Ｔ３の実際の反射率を判別することに関心がある場合、較正デジタル画像Ｗは、既知の拡散反射率を有する均一のホワイトターゲットを撮像することによって取得されてもよい。次に、このホワイトターゲットデジタル画像は、縦縞パターン除去（該当する場合、Ｖを引くこと）、無相関性をＷ‐Ｖ及びＳに適用することによって暗電流の大きさを判別すること、暗電流除去、並びに、オフセット除去、を含む一連の工程を受けてＷ１を生成する。反射率較正７８は、デジタル画像Ｔ３に適用されて、（ピクセルごとに実行される）以下の計算によって反射率デジタル画像Ｔ４が生成されてもよい（８０）。
Ｔ４＝（Ｔ３／Ｗ）＊（Ｅ（Ｗ）／Ｅ（Ｔ３））＊ρ
ここで、Ｅは露光時間であり、ρはホワイト較正ターゲットの反射率である。反射率較正７８は、画像システムによって与えられる不均一性をデジタル画像Ｔ３から除去する。

必要に応じ追加の処理がＴ４に行われて、出力画像Ｏを生成する。

上述のプロセスは、センサアレイのすべての位置においてセンサ温度が均一であると仮定する。温度はセンサ全域で変化するという事実に対応させるために、暗電流は、センサの異なる部分で独立して評価されてもよく、独立した評価は入力デジタル画像の対応する部分に別個に適用された。

上述のプロセスは、センサによって提供される単色のデジタル画像に適用され得る。いくつかの例では、プロセスは、センサによって同時に生成される異なるスペクトル領域の複数のデジタル画像に適用されてもよい（例えば、赤、緑、及び青‐ＲＧＢ）。かかる場合、異なるスペクトル領域のデジタル画像は、上記のように独立して処理されてもよい。

プロセスは、いくつかのセンサに対して、暗電流ノイズの影響を低減する方法として温度または露光時間を制御する必要性を減らす統計的分析を利用してもよい。

上述のプロセスは、ハードウェア、ソフトウェア、もしくはファームウェア、またはそれらの任意の組み合わせで実行されてもよい。

暗電流評価技術の検証は、上述の評価技術によって予測される暗電流レベルに対して温度と湿度等が調整された環境において様々な露光時間で特に得られる暗画像から取り出された暗電流レベルを比較することによって実行された。無相関ベースの推定器は、図９に示したように、避けられないショットノイズが出現した場合においてでさえ個々の画像の実際の暗電流レベルを正確に予測することができるということが証明された。

他の実施例は、請求の範囲内にある。例えば、分散最小化分析が、無相関分析に代替されてもよい。

本明細書で説明した技術は、可視領域及び赤外領域内のセンサ動作に対してだけでなく、ｘ線及び場合によっては超音波に対して、即ち、暗電流ノイズの除去または暗電流ノイズと同様の影響の除去に有用であるかもしれないいかなるセンサに対しても有用であるだろう。

上記の検討は、暗電流ノイズ修正を対象としているが、同様の技術は、参照画像の任意のノイズが既知であるかまたは取得され得る他の状況でかつターゲットデジタル画像のノイズの大きさが分からないといった他の状況で用いられてもよい。

Claims (24)

1. 任意のターゲットであるデジタル画像Ｔのピクセルの少なくとも幾つかを汚染しているノイズのわからない大きさＡを判別するステップを含み、
   前記大きさは異なるデジタル画像で異なる可能性があり、前記判別は、前記デジタル画像Ｔと、前記汚染しているノイズの代表画像である参照デジタル画像と、に基づいてなされ、
   前記デジタル画像Ｔと前記参照デジタル画像は同一のセンサによって取得され、
   前記判別は無相関関係すなわち（Ｔ−Ａ＊｛前記参照デジタル画像｝，｛前記参照デジタル画像｝）＝０の相関の下でなされ、
   前記判別はＴ及び前記参照デジタル画像の幾つかの領域におけるピクセルにわたってなされて、Ｔの少なくとも幾つかのピクセルの各々について前記ノイズの大きさを評価することを特徴とする方法。
2. 固定縦縞パターンをＴからピクセルごとに引くことによって、縦縞パターンが修正されたＴを生成するステップを更に含むことを特徴とする請求項１記載の方法。
3. 前記縦縞パターンが修正されたＴに対して暗電流除去機能を適用することによって、暗電流が修正されたＴを生成するステップをさら含むことを特徴とする請求項２記載の方法。
4. 前記暗電流が修正されたＴに対してオフセット評価及び引算機能を適用することによって、オフセットを除去するステップを更に含むことを特徴とする請求項３記載の方法。
5. 前記センサは、ＣＭＯＳセンサを含むことを特徴とする請求項１乃至４のうちの何れか１に記載の方法。
6. 前記センサは、ＣＣＤセンサを含むことを特徴とする請求項１乃至４のうちの何れか１に記載の方法。
7. 前記ノイズは、暗電流ノイズを含むことを特徴とする請求項１乃至６のうちの何れか１に記載の方法。
8. 前記デジタル画像Ｔのあらゆるピクセルについて前記暗電流の大きさを評価するステップを更に含むことを特徴とする請求項７記載の方法。
9. 前記暗電流の大きさは、センサ温度または露光時間についての情報を必要とせずに評価されることを特徴とする請求項８記載の方法。
10. あらゆるピクセルに対して前記評価された暗電流の大きさを用いて前記ターゲットデジタル画像のあらゆるピクセルの前記ノイズを低減することによって、ノイズが低減されたデジタル画像Ｔを生成するステップを更に含むことを特徴とする請求項８記載の方法。
11. 前記センサによって捕捉された前記デジタル画像Ｔの特徴を分析するのに用いるプロセッサに、前記ノイズが低減されたデジタル画像Ｔを与えるステップを更に含むことを特徴とする請求項１０記載の方法。
12. 前記デジタル画像Ｔは、悪性病変を含むことがあることを特徴とする請求項１１記載の方法。
13. 前記参照デジタル画像は、縦縞パターンが実質的になくてかつ異なる露光時間を用いてそれぞれ得られるグレイ画像デジタル画像と黒画像デジタル画像とから生成されている暗電流デジタル画像に基づいていることを特徴とする請求項１乃至１２のうちの何れか１に記載の方法。
14. 前記参照デジタル画像は、修正された暗電流デジタル画像に基づいていており、前記修正された暗電流デジタル画像は、前記センサの前記ピクセルにわたる低頻度空間トレンドの影響を低減するように処理されていることを特徴とする請求項１乃至１２のうちの何れか１に記載の方法。
15. 前記参照デジタル画像は、トレンド除去された暗電流デジタル画像と黒画像デジタル画像との無相関性に基づいていることを特徴とする請求項１乃至１２のうちの何れか１に記載の方法。
16. 前記画像センサは、単色センサを含むことを特徴とする請求項１乃至１５のうちの何れか１に記載の方法。
17. 前記画像センサは、２つ以上の異なるスペクトル帯で同時に撮像するセンサを含むことを特徴とする請求項１乃至１５のうちの何れか１に記載の方法。
18. 前記画像センサは、赤帯域、緑帯域、及び青帯域（ＲＧＢ）で撮像することを特徴とする請求項１７記載の方法。
19. 前記参照デジタル画像は、外部光なしで前記センサから得られることを特徴とする請求項１記載の方法。
20. 前記画像センサは、可視領域または赤外領域で画像を生成することを特徴とする請求項１乃至１９のうちの何れか１に記載の方法。
21. 前記画像センサは、Ｘ線照射または超音波照射を用いて画像を生成することを特徴とする請求項１乃至１９のうちの何れか１に記載の方法。
22. ソフトウェアプロセッサを含み、
    前記ソフトウェアプロセッサは、
    任意のターゲットであるデジタル画像Ｔのピクセルの少なくとも幾つかを汚染しているノイズのわからない大きさＡを判別し、
    前記大きさは異なるデジタル画像で異なる可能性があり、前記判別は、前記デジタル画像Ｔと、前記汚染しているノイズの代表画像である参照デジタル画像と、に基づいてなされ、
    前記デジタル画像Ｔと前記参照デジタル画像は同一のセンサによって取得され、
    前記判別は無相関関係すなわち（Ｔ−Ａ＊｛前記参照デジタル画像｝，｛前記参照デジタル画像｝）＝０の相関の下でなされ、
    前記判別はＴ及び前記参照デジタル画像の幾つかの領域におけるピクセルにわたってなされて、Ｔの少なくとも幾つかのピクセルの各々について前記ノイズの大きさを評価する、
    ように構成されていることを特徴とする装置。
23. ノイズが低減された前記デジタル画像Ｔを前記評価されたノイズの大きさを用いて分析して、悪性病変の可能性の有無を判断するデバイスを更に含むことを特徴とする請求項２２記載の装置。
24. 任意のターゲットであるデジタル画像Ｔのピクセルを受信する手段と、
    前記デジタル画像Ｔのピクセルの少なくとも幾つかを汚染しているノイズのわからない大きさＡを判別する判別する手段と、を含み、
    前記大きさは異なるデジタル画像で異なる可能性があり、前記判別は、前記デジタル画像Ｔと、前記汚染しているノイズの代表画像である参照デジタル画像と、に基づいてなされ、
    前記デジタル画像Ｔと前記参照デジタル画像は同一のセンサによって取得され、
    前記判別は無相関関係すなわち（Ｔ−Ａ＊｛前記参照デジタル画像｝，｛前記参照デジタル画像｝）＝０の相関の下でなされ、
    前記判別はＴ及び前記参照デジタル画像の幾つかの領域におけるピクセルにわたってなされて、Ｔの少なくとも幾つかのピクセルの各々について前記ノイズの大きさを評価する装置。

Images