JP4478981B2

JP4478981B2 - 色雑音低減手法およびカラー撮像装置

Info

Publication number: JP4478981B2
Application number: JP2004354685A
Authority: JP
Inventors: 忠杉木
Original assignee: Individual
Current assignee: Individual
Priority date: 2004-12-07
Filing date: 2004-12-07
Publication date: 2010-06-09
Anticipated expiration: 2024-12-07
Also published as: JP2006166030A

Description

本発明は、カラー画像信号から色にじみなく色信号の雑音を低減する手法と装置に関し、特にカラー撮像装置の色信号雑音低減手法に関する。

近年、ディジタルスチルカメラなどのカラー固体撮像装置の小型化が著しい。これには、固体撮像素子の小型化が大きく寄与している。この固体撮像素子の小型化は、半導体微細加工技術の進展により、マイクロレンズの改善による集光率の向上や電荷電圧変換率の向上などにより、感度を維持しながら画素の微細化を実現してきた。

しかしながら、電荷電圧変換率に頼る感度向上では、信号電荷の数自体は低下しているため、量子性の雑音であるショット雑音や暗電流と呼ばれるフォトダイオードのリーク電流の雑音は増加してしまい、固体撮像素子のS/Nが低下し、特に色雑音の増加は画像の艶やかさを損なわせ画質低下の主要因の１つとなっている。

このS/Nの低下を補うため、近年のカラービデオカメラでは、フレームメモリーを使い、入力画像信号の静止している領域では残像を多く、動きのある領域では残像を弱く制御することで雑音を低減する巡回型の雑音低減回路を搭載しているものもある。この雑音低減方法は、入射光量のゆらぎである光ショット雑音のようにランダムに変動する雑音には効果があるが、暗電流のばらつきのような固定パターン雑音については低減効果はなく、また撮影で１つの画像信号しか得られないスチルカメラには使用できない。

１つの画像信号だけで雑音を低減する手法としては、特許文献１の領域成長法を用いた雑音低減手法がある。これは、注目画素の信号値に対し、注目画素を起点として隣接画素の信号値が所定のレベル差以内にある画素を含む領域に順次拡大して近隣領域を求め、求めた近隣領域の信号値の平均を注目画素の雑音を除去した信号値とするものである。各画素に対してこの操作を繰り返すことで、画像の雑音除去ができる。また、信号レベル差の大きな画素は平均値の算出には入らないため、画像エッジ部での色にじみは発生しない。
米国特許第６７３１８０６号

フレームメモリーを使用した巡回型の雑音低減では、固定パターン雑音や単一画像の雑音は低減できないという問題点がある。また、領域成長法を用いた雑音低減手法では、各画素に対してそれぞれ信号値が近い近隣領域を決定し平均値を算出するので、膨大な計算量になるという問題点がある。

上記課題を解決するために、本発明では入力されたカラー画像信号に含まれる明るさ信号を一次微分した値の絶対値をとり勾配信号を生成する。この生成された勾配信号値が隣接する画素の半数以上の勾配信号値より大きい画素を領域境界画素として抽出する。入力されたカラー画像信号に含まれる複数の色差信号をこの領域境界画素で分断された２次元平滑化処理を施してそれぞれ平滑化色差信号を生成する。入力画像の色差信号値と対応する生成された平滑化色差信号値をそれぞれ画素毎に比較し、近い場合には平滑化色差信号を主に、離れている場合には入力画像の色差信号を主に合成し出力色差信号とする。

色差信号に領域境界画素で分断された２次元平滑化処理を施して生成するため、平滑化色差信号は画像エッジ部で色にじみを生じない。このため、広範囲の色差信号を使って平滑化でき、揺らぎの少ない平滑化色差信号が生成できる。平滑化色差信号値と対応する入力画像の色差信号値を画素毎に比較し合成比率を変えて合成することで、色雑音による差異と認められる信号値が近い場合には主に平滑化色差信号を出力することで色雑音を抑圧する。入力画像の雑音が大きい時には、雑音の影響で領域境界画素が分断され、平滑化色差信号の一部に色にじみが生じたとしても、入力画像の色差信号値との差が大きく主に入力画像の色差信号を出力するので、色にじみは発生しない。

また、カラービデオカメラに使用する場合には、平滑化色差信号の生成に時間が必要なので、入力画像に含まれる色差信号と平滑化色差信号は別のフレームまたはフィールド画像なので、画像中で動きのある部分では色差信号値と平滑化色差信号値の差が大きく、主に入力画像の色差信号を出力するので表示色の時間遅れは発生せず、画像中の静止部分では色差信号値と平滑化色差信号値の差が小さく、画像内で平滑化された色差信号を主に出力するので固定パターンの色雑音も抑圧できる。

平滑化色差信号は、明るさ信号を一次微分した値の絶対値の稜線で領域境界を求め、領域境界で分断された２次元の平滑化処理を施すだけで得られるため計算量は少ない。また、平滑化色差信号は侠帯域信号なので、入力カラー画像を間引き画素数の少ない画像にしてから平滑化色差信号を算出しても問題なく、さらに計算量を少なくできる。

本発明では入力されたカラー画像信号に含まれる明るさ信号を一次微分した値の絶対値をとり勾配信号を生成する。この明るさ信号としては、入力カラー画像が輝度信号と色差信号で構成されているときは輝度信号を使い、入力カラー画像がR（赤）G（緑）B（緑）の３原色信号のときは重み付け加算して合成した輝度信号やG信号を使っても良い。また、平滑化色差信号は侠帯域信号なので、入力カラー画像を間引いた画素数の少ない明るさ信号の画像を作成しても良い。一次微分した値の絶対値としては、上下方向・左右方向に近接する画素の差信号の二乗和の平方根が等方性があり望ましいが、領域境界を求めることが目的なので上下・左右方向の差信号の絶対値の和でも問題ない。この生成された勾配信号値が隣接する画素の半数以上の勾配信号値より大きい画素を選択することで、連続した明るさ信号が急変する画素が選択され、画像中の領域の境界が決定できる。

次に、入力されたカラー画像信号に含まれる複数の色差信号をこの領域境界画素で分断された２次元平滑化処理を施す。入力カラー画像が輝度信号と色差信号で構成されているときはそのまま色差信号を、入力カラー画像がRGBの３原色信号のときはB−Y・R−Y信号やB−G・R−G信号等の色差信号を生成し、画像メモリーに取り込む。２次元平滑化処理は、左から右・上から下・右から左・下から上という順番で画像メモリーの走査を複数回繰り返しながら、領域境界画素とその次の画素では信号値を保持し、その他の画素ではその画素の信号値と１画素前の信号値とを合成した値に更新する。これにより、平滑化処理は領域境界画素で分断され、領域境界画素で囲まれた領域の広範囲の画素の色差信号値から合成された値が得られ、色雑音が除去される。

最後に、入力画像の色差信号値と対応する生成された平滑化色差信号値をそれぞれ画素毎に比較し出力色差信号を合成する。これは、平滑化後の色差信号値から入力画像の色差信号値を減算し色差誤差信号を生成し、色差誤差信号の振幅が所定レベルより小さい場合にはそのまま、所定レベルより大きい場合には振幅を徐々に下げる非線形処理を施してから、入力画像の色差信号値に加算し合成色差信号出力を得る。これにより、色差誤差信号の振幅が小さい時には平滑化色差信号が出力され、色差誤差信号の振幅が大きくなるにつれ入力画像の色差信号に近づく信号が出力される。従って、平滑化による色差信号の差が雑音変動とみなせるレベルの場合は色雑音が低減でき、雑音等の影響で領域境界画素の分断で平滑化色差信号ににじみがある場合でも入力画像の色差信号が出力されるため色にじみにはならず、またカラービデオ信号の動きのある部分で色差信号が大きく変化する場合には入力画像の色差信号が出力されるため色残像は生じない。結果として、色にじみも色残像もなく色雑音が低減された高画質なカラー画像信号を得ることができる。

以下この発明の実施例を図面を用いて説明する。図１は、本発明の第１の実施例に係る色雑音低減手法の機能ブロック図、図２は傾き検出の機能ブロック図、図３は稜線検出の機能ブロックである。入力カラー画像は輝度信号Yと２つの色差信号Cr，Cbで構成されている。輝度信号Yは傾き検出機能１に入力され、勾配信号DETを生成する。図２の傾き検出機能では、メモリーや遅延手段等を用い注目画素の近傍１１の信号値を集め、減算機能１２，１３で上下に隣接する画素Ｕ，Ｄの差と左右に隣接する画素Ｌ，Ｒの差をそれぞれ出力し、絶対値機能１４，１５と加算機能１６で合成し勾配信号ＤＥＴが出力される。稜線検出機能２は、勾配信号から領域境界画素を次のように検出する。メモリーや遅延手段等を用い注目画素とその近傍画素２１の勾配信号値を集め、比較機能２２−１〜４で注目画素と上下左右に隣接する画素Ｕ，Ｄ，Ｌ，Ｒをそれぞれ比較し、雑音レベルを考慮し注目画素のほうが勾配信号値が明らかに高いと判断した場合に１を、それ以外の場合０を出力する。比較機能２２−１〜４の出力は、加算機能２３で加算され、判定機能２４で半数（２）以上の場合に１を、それ以外の場合０を領域境界信号ＢＲＤＲとして出力する。

このように生成された領域境界信号ＢＲＤＲと色差信号Ｃｒ，Ｃｂは、２次元平滑化機能３，４にそれぞれ入力される。図４は２次元平滑化機能の機能ブロック図である。入力された色差信号と領域境界信号は、走査アドレス発生機能２７により制御される色差メモリー２５と境界メモリー２６にそれぞれ格納される。色差メモリー２５と境界メモリー２６として３画面分を持たせ、図５に斜線領域で示すように、書き込みアドレス・平滑化処理アドレス・読み出しアドレスを走査アドレス発生機能２７で１画面ごとにアドレス領域を切り替えながら適切に制御することで、連続画像に対する２次元平滑化信号を連続的に得ることができる。遅延機能２８は、領域境界信号に１画素分の遅延を与え、OR機能３２で論理和がとられ、領域境界画素とその次の画素でスイッチ３１をb側に切り替える。スイッチ３１がb側に切り替えられると、色差メモリー２５に蓄えられた画素信号がそのまま遅延機能２９と色差メモリー２５に入力される。したがって、領域境界画素とその次の画素には平滑化処理がかからない。それ以外の画素ではスイッチ３１が０側になっているため、色差メモリー２５と遅延機能２９の信号値が加算機能３０によって混合され、遅延機能２９と色差メモリー２５に入力される。このようにして、１つの走査方向に対して領域境界画素で分断された平滑化処理が実現できる。

図６は、色差メモリー２５と境界メモリー２６の走査方向を図示している。図６(a)，(b)，(c)，(d)は、左から右，上から下，左から右，下から上方向への走査をそれぞれ示している。点線は帰線を示している。周辺画素に領域境界信号をセットすることで、両端の画素の色差信号を混入を防止できる。図７は、２次元平滑化処理の実現手順を流れ図を用いて示している。図８は画像の平坦部でのこの平滑化処理により、ほぼ中央のハッチのかかった画素位置に信号値４０９６があった場合に信号がどう広がるかを示している。平滑化方向を変えながら繰り返し平滑化し、単純な処理で５００画素以上の広範囲の画素値を使って平滑値を合成できる。各画素の平滑値への寄与率は１％以下であり、ランダムに発生する雑音は１／１０以下に低減される。図９は、領域境界がある場合に平滑化処理により、ハッチのかかった画素位置に信号値４０９６があった場合に信号がどう広がるかを示している。黒塗りの部分は、領域境界画素を示している。各画素の平滑値への寄与率は、領域境界内では平坦領域の場合より増加し、領域境界外では領域境界画素の分断点から信号のしみ出しはあるものの急速に低下する。したがって、雑音等の影響により領域境界画素が分断されたとしても、平滑化色差信号への影響は軽微である。このようにして、色差メモリー２５内に生成された平滑化色差信号は、走査アドレス発生機能２７により制御され、入力カラー画像の色差信号とタイミングが合わされて出力される。

入力画像の色差信号値と対応する生成された平滑化色差信号値は、減算機能５，６により減算され、色差誤差信号を生成する。非線形処理機能７，８により、色差誤差信号の振幅が所定レベルより小さい場合にはそのまま、所定レベルより大きい場合には振幅を徐々に下げる非線形処理が施され、加算機能９，１０により入力画像の色差信号値に加算され合成色差信号出力を得る。これにより、色差誤差信号の振幅が小さい時には平滑化色差信号が出力され、色差誤差信号の振幅が大きくなるにつれ入力画像の色差信号に近付く信号が出力される。したがって、平滑化による色差信号の差が雑音変動とみなせるレベルの場合は色雑音が低減できる。雑音等の影響で領域境界画素の分断で平滑化色差信号ににじみがある場合でも入力画像の色差信号が出力されるため色にじみにはならず、またカラービデオ信号の動きのある部分で色差信号が大きく変化する場合には入力画像の色差信号が出力されるため色残像は生じない。結果として、色にじみも色残像もなく色雑音が低減された高画質なカラー画像信号を得ることができる。

図１０は、本発明の第２の実施例に係る色雑音低減装置のブロック図であり、図１と同一機能の部分に対しては同一の符号を付している。入力信号は光の３原色信号のG B Rであり、間引き回路３３により、入力画像信号を縦n画素×横m画素の大きさの複数のブロックに分けたときの平均値信号をそれぞれ出力する。人の目の解像度に大きな影響のあるG信号とR信号は、それぞれ傾き検出回路１に入力され、加算器３５で加算され勾配信号を出力する。減算器３４は、間引きされたB信号とR信号からそれぞれ間引きされたG信号を引き、色差信号B−GとR−Gを出力する。稜線検出回路２２で検出した領域境界に基づいて、この色差信号B−G、R−Gは、それぞれ２次元平滑化回路３，４で平滑化色差信号に変換される。

図１１は、本発明の第２の実施例に係る平滑化回路のブロック図、図１２は本発明の第２の実施例に係る２次元平滑化処理の実現手順を示す流れ図である。図４と同一機能の部分に対しては、同一の符号を付している。図４との違いは、平滑化回路がカスケードになっている点である。平滑化回路３７は、図４の平滑化機能と同じであり、主走査方向に沿って境界画素で分断された平滑化処理を実行する。一方、遅延素子３９は主走査方向と直行する副走査方向に隣接する画素の信号を出力する遅延素子であり、平滑化回路３８は副走査方向に沿って境界画素で分断された平滑化処理を実行する。例えば、図６(a)の走査方向でメモリーアクセスを行うことで、左から右への平滑化処理をした信号に、さらに上から下への平滑化処理をした信号がメモリーに生成される。また、図６(c)の走査方向でメモリーアクセスを行うことで、右から左への平滑化処理をした信号に、さらに下から上への平滑化処理をした信号がメモリーに生成される。したがって、図１２の流れ図で、図７の流れ図と同じ平滑化処理が実現でき、メモリーアクセスの回数を半減できる。

このように生成された平滑化色差信号は減算器５，６に入力され、平滑化色差信号から入力画像信号に対する色差信号B−G、R−Gをそれぞれ減算し、色差誤差信号を生成する。一般にカラー画像信号中の雑音レベルは暗部で大きく所定レベル以上ではほぼ一定になるため、雑音レベル推定器３６は、入力画像のG信号レベルから雑音レベルを推定し、非線形処理回路７，８の非線形特性を制御する。非線形処理回路７の出力は、加算器９でB信号へ１／２を加算し、減算器３７でG信号から１／２を減算することで、B信号とG信号への影響の少ない色差信号B−G信号成分の雑音抑圧ができる。非線形処理回路８の出力も、加算器１０と減算器３８に入力され、色差信号R−G成分の雑音が低減されたR信号とG信号が出力できる。

間引き回路３３を用いることにより、縦横の画素数がそれぞれ１／n倍・１／m倍になり、勾配信号DETや領域境界信号ＢＲＤＲを生成するのに必要な遅延素子やメモリーのサイズが１／m倍に、色差メモリーや境界メモリーのサイズが１／（n×m）倍に小さくなる。また、２次元平滑化処理の計算量も１／（n×m）倍に小さくなり、結果として垂直ブランキング期間で平滑化処理が納まれば、図１３のように１画面分のメモリーで２次元平滑化処理ができる、つまり、間引きブロックの開始時点で平滑化された色差信号値を読み出して色差信号合成に使い、間引きブロックの終了時点で色差信号のブロック内平均値を書き込み、ブランキング期間で２次元平滑化処理を実行し平滑化された色差信号値を書き込むことで、メモリー容量が小さくかつ時間遅れの少ない色雑音低減が実現できる。

図１４に、本発明の第３の実施例に係る静止画用カラー撮像装置のブロック図を示す。制御部４０は、駆動回路４１を介して固体撮像素子４２を駆動する。固体撮像素子４２には、例えば図１５に示す原色形ベイヤー配列の色フィルタが付けられており、画素位置でエンコードされた３原色信号Ｒ，Ｇ，Ｂが出力される。A/D変換器４３は、固体撮像素子４２の出力信号をディジタル値に変換してプロセッサ４４に出力する。A/D変換利得を制御部４０から制御することで撮像装置の感度を設定できる。プロセッサ４４は、隣接画素情報が取り出し易いようA/D変換された信号を固体撮像素子４２の画素配置と同一の順序に、制御部４０からの情報に基づいてメモリー４５に再配置して格納する。プロセッサ４４は、ガンマ補正・信号補間・輪郭補正等の処理を施してカラー画像信号を生成し出力する。

プロセッサ４４が出力するカラー画像信号の信号レベルと雑音レベルの関係を、図１４を用いて説明する。図１６(a)は、固体撮像素子４２の信号量とそれに含まれる雑音量の関係を示している。背景雑音は信号量が変化しても一定の雑音成分であり、光ショット雑音は検出される信号電荷数がポアソン分布に従うため信号量の平方根に比例した雑音量となる雑音成分であり、シーン雑音は各画素の感度ばらつきなどにより発生し信号量に比例した雑音量となる雑音成分である。近年の固体撮像素子では、電荷検出感度が向上し、かつ画素が高精度に作り込まれているため、シーン雑音は無視できるレベルになっている。

背景雑音の主要構成要素は、暗電流（光電変換素子や電荷転送部でのリーク電流で遮光時でも流れる電流）のショット雑音、暗電流のばらつきによる固定パターン雑音、そして電荷電圧変換アンプやAD変換器などのアンプ雑音である。図１６(b)は、暗時信号量と背景雑音量の関係を示し、長時間露光で暗時信号量が増加すると背景雑音量が露光時間にほぼ比例して増加する。図１６(c)は、プロセッサ４４の入力信号に対するガンマ補正特性とその微分利得を示している。入力信号に重畳される雑音成分は、この微分利得倍になり出力される。

図１６(d)は、撮像条件によりプロセッサ４４の出力信号レベルとそれに重畳される雑音レベルの関係がどう変わるかを示している。長時間露光にすると、暗時信号量が増加しその結果として背景雑音が増える。一方、光ショット雑音は入力信号が同一なので、信号レベルが小さいときに出力雑音レベルが増加するものの、信号レベルが大きくなるにつれ標準撮像状態と同じ雑音レベルとなる。感度UP時には、制御部４０がA/D変換利得を大きく設定するため、背景雑音と光ショット雑音ともに増加し、信号レベル全域にわたって雑音レベルが増加する。

色雑音低減機能４６には、メモリー４５に記憶されたガンマ補正の施されたプロセッサ４４の出力信号が繰り返し入力される。制御部４０から撮像条件に合わせた雑音レベル推定機能３６の特性が与えられる。色雑音低減機能４６は、前述の手順で２次元平滑化した色差信号を生成したのち、プロセッサ４４の出力信号と平滑化色差信号の差信号である色差誤差信号が生成される。雑音レベル推定機能３６で撮像条件に整合した雑音レベルが算定される。色差誤差信号の振幅が雑音レベル以内の場合には、非線形処理機能７，８は色差誤差信号を通過させ、プロセッサ４４の出力信号と合成して色差信号の雑音成分が除去される。また、有為な色差信号と判断される色差誤差信号の振幅が雑音レベルより大きい場合には、非線形処理機能７，８は色差誤差信号の振幅を下げ、主に入力された色差信号を合成した色差信号が出力される。結果として、色差信号雑音を最適に低減した画像信号が得られる。

以上説明したように、本発明の色雑音低減手法によれば、画像エッジ部での色にじみなく、１枚の入力画像信号の色雑音や、固体撮像素子の暗電流むらのような固定パターンの色雑音でも低減することができる。また、本発明の色雑音低減手法の実装形態はハードウエア・ソフトウエアのいずれでも良く、色信号の平滑化処理の係数は例示した値以外のものであっても良い。

本発明の色雑音低減手法に係る機能ブロック図。傾き検出の機能ブロック図。稜線検出の機能ブロック図。平滑化機能の機能ブロック図。２次元平滑化処理のメモリーアクセスを説明するための図。走査方向を説明するための図。２次元平滑化処理の実現手順を示す流れ図。画像の平坦部での平滑化処理の平滑値への寄与率を示す図。領域境界がある場合の平滑化処理の平滑値への寄与率を示す図。本発明の第２の実施例に係るブロック図。本発明の第２の実施例に係る平滑化回路のブロック図。本発明の第２の実施例に係る２次元平滑化処理の実現手順を示す流れ図。本発明の第２の実施例に係る２次元平滑化処理のメモリーアクセスを説明するための図。本発明の第３の実施例に係るカラー撮像装置のブロック図。本発明に関わる単板カラーカメラに使用される色フィルタの配列の一例を示す図信号レベルと雑音レベルの関係を説明するための図。

符号の説明

１傾き検出機能
２稜線検出機能
３，４２次元平滑化機能
５，６，１２，１３，３４，３７，３８減算機能
７，８非線形処理機能
９，１０，１６，２３，３０，３５加算機能
１１注目画素の近傍
１４，１５絶対値機能
２１注目画素とその近傍画素
２２比較機能
２４判定機能
２５，２６，４５メモリー
２７走査アドレス発生機能
２８，２９遅延機能
３１スイッチ
３２ OR機能
３３間引き機能
３６雑音レベル推定機能
３７水平平滑化回路
３８垂直平滑化回路
３９遅延素子
４０制御部
４１駆動回路
４２固体撮像素子
４３ A/D変換器
４４プロセッサ
４６色雑音低減機能

Claims

入力されたカラー画像信号に含まれる明るさ信号を一次微分した値の絶対値をとり勾配信号を生成し、前記生成された勾配信号値が隣接する画素の半数以上の勾配信号値より大きい画素を領域境界画素として抽出し、色差信号画像と領域境界画像を記憶する手段を有し、前記記憶された色差信号画像と領域境界画像を走査し、領域境界画素とその次の画素位置では色差信号値を保持し、その他の画素では直前の色差信号値と注目画素の色差信号値の加重平均を色差信号値として更新する平滑化処理を、走査方向が左方向・下方向・右方向・上方向の平滑化処理を複数回実行させることで、２次元の色差平滑化信号を生成し、前記平滑化色差信号と前記入力画像の色差信号の差信号に応じて、前記平滑化色差信号から前記入力画像の色差信号を引いた色差誤差信号を生成し、前記色差誤差信号の振幅が小さい時にはそのまま、色差誤差信号の振幅が所定のレベル以上では振幅を小さくする非線形処理を施した信号を前記入力画像の色差信号に加算して色差信号を合成することを特徴とする色雑音低減手法。
光学系を介した光学像を光電変換して撮像信号を出力する撮像素子と、前記撮像素子の出力信号からカラー画像信号を生成する信号処理手段と、請求項１の色雑音低減手法で色雑音を低減する手段とを少なくとも有したカラー撮像装置において、前記色差誤差信号の非線形特性の所定レベルを撮像条件に応じて変えることを特徴とするカラー撮像装置。