JP2003230025A

JP2003230025A - 画像処理装置及び固体撮像装置並びに画像処理方法

Info

Publication number: JP2003230025A
Application number: JP2002025824A
Authority: JP
Inventors: Nobuo Suzuki; 信雄鈴木
Original assignee: Fujifilm Microdevices Co Ltd; Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp; Fujifilm Microdevices Co Ltd
Priority date: 2002-02-01
Filing date: 2002-02-01
Publication date: 2003-08-15

Abstract

(57)【要約】【課題】雑音が少なく、しかも高解像度の良好な画像
を得る。【解決手段】固体撮像素子からの出力信号を処理して
画像信号を生成する画像処理装置において、動作条件か
ら画像信号に含まれる雑音信号をＮ＋１（Ｎは２以上の
整数）個のサブバンド毎に算出して出力する雑音制御部
２４と、雑音を含む画像信号をＮ＋１個のサブバンド成
分に分解するフィルタ群１〜４と、フィルタ群１〜４の
出力信号であるサブバンド成分信号から、前記雑音制御
部２４から出力されるサブバンド毎の前記雑音信号を適
宜減算する雑音減算回路群２５〜２８と、雑音減算回路
群２５〜２８の出力信号を加算して雑音を低減した画像
信号を生成し出力する加算回路２９とを備える。このよ
うに、画像信号中に含まれる雑音成分を雑音制御部で推
定し、画像信号から減算するため、雑音の少ない画像信
号を得ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＣＣＤ等の固体撮
像素子で撮像した画像信号からノイズを低減する画像処
理装置及び固体撮像装置並びに画像処理方法に関する。

【０００２】

【従来の技術】図１１は、従来の画像処理装置の構成図
である。この画像処理装置は、ＣＣＤ等の固体撮像装置
から出力されてくるアナログ画像信号を取り込みアナロ
グ処理してからデジタル画像信号に変換するＡＤ変換部
１１と、デジタル画像信号を輝度信号Ｙ及び色差信号Ｃ
ｒ，Ｃｂに分離して出力する画像信号前処理部１２と、
輝度信号Ｙのノイズを低減するローパスフィルタ１３
と、色差信号Ｃｒのノイズを低減するローパスフィルタ
１４と、色差信号Ｃｂのノイズを低減するローパスフィ
ルタ１５と、各ローパスフィルタ１３，１４，１５の出
力を取り込み後処理を行う画像信号後処理部１６とを備
える。

【０００３】図１２は、固体撮像素子の画素配列を示す
模式図である。固体撮像素子には、数十万〜数百万の画
素が配置されており、各画素の受光電荷が撮像画像信号
として出力される。この固体撮像素子の或る画素９に例
えば光ショット雑音が混入した場合、その画素９の受光
電荷中には、信号成分とノイズ成分が含まれることにな
る。

【０００４】そこで従来から、画素９を含む周り（図１
２にＬＰＦ１として点線で囲った部分）の３×３＝９
（５×５＝２５でも、更にそれより広い範囲でもよ
い。）の各画素の受光電荷の平均値を求め（この平均値
を求める処理を、ローパスフィルタ１３，１４，１５が
行う。）、この平均値を画素９の受光電荷とすること
で、画素９の信号電荷に対するノイズ成分を低減する様
にしている。ノイズはランダムに発生し、隣接する複数
画素に共にノイズが入り込む確率は低いため、ローパス
フィルタが処理対象とする範囲内の複数画素の平均値を
とれば、ノイズ成分が低減するという考えによるもので
ある。

【０００５】図１３は、別の従来例に係る画像処理装置
の構成図である。この従来例では、ローパスフィルタの
代わりにメディアンフィルタ１３’，１４’，１５’を
用いている。ローパスフィルタは複数画素の受光電荷の
平均値を画素９の受光電荷としたが、メディアンフィル
タは、例えば３×３＝９の各受光電荷を大きい順に並
べ、その「中央の値」、この例では５番目に大きい受光
電荷を画素９の受光電荷とするものである。

【０００６】

【発明が解決しようとする課題】上述した従来の画像処
理装置で用いたローパスフィルタは、各画素の受光電荷
を、周りの画素の受光電荷の平均値をとって求めるた
め、ノイズ成分は低減するが、周りの画素の受光電荷の
影響が入り込むため、画像の解像度が劣化するという問
題がある。例えば、黒と白の境界線がハッキリした画像
を撮像したとき、その境界線が灰色にぼやけてしまうと
いう問題がある。

【０００７】また、メディアンフィルタを用いる従来技
術は、メディアンフィルタが「中央の値」として採用し
た受光電荷の中には、周りの画素の受光電荷の影響が入
り込まないため、ローパスフィルタの様な著しい解像度
劣化は起きないが、信号劣化が大きくなる場合があると
いう問題がある。例えば白の背景画像中に微細な黒の縞
状パターンがありその画像を撮像した場合、実際には
「黒」を撮像した画素であるにも関わらずその画素周り
のフィルタ処理範囲内に存在する各画素の受光電荷の
「中央の値」が「白」であれば「白」として処理される
ため、実際には黒線が存在するのに、その黒線が消えて
しまうという問題がある。

【０００８】本発明の目的は、雑音が少なく、しかも高
解像度の良好な画像を得ることができる画像処理装置及
び固体撮像装置並びに画像処理方法を提供することにあ
る。

【０００９】

【課題を解決するための手段】上記目的は、固体撮像素
子からの出力信号を処理して画像信号を生成する画像処
理装置において、動作条件から画像信号に含まれる雑音
信号をＮ＋１（Ｎは２以上の整数）個のサブバンド毎に
算出して出力する雑音制御部と、雑音を含む画像信号を
Ｎ＋１個のサブバンド成分に分解するフィルタ群と、該
フィルタ群の出力信号であるサブバンド成分信号から前
記雑音制御部から出力されるサブバンド毎の前記雑音信
号を適宜減算する雑音減算回路群と、該雑音減算回路群
の出力信号を加算して雑音を低減した画像信号を生成し
出力する加算回路とを備えることで、達成される。この
構成とすることで、本発明の画像処理装置は、雑音が少
なく、しかも高解像度の良好な画像を得ることができ
る。

【００１０】好適には、前記サブバンド成分信号を比較
して、前記雑音減算回路群の動作を制御する雑音減算制
御部を備えることを特徴とする。この構成により、各サ
ブバンドの雑音を大きめに設定した場合でも、解像度や
画質に関係する信号成分の低下を押さえ、且つ、解像度
や画質に影響が少ない部分の雑音を大幅に低減すること
ができる。

【００１１】画像信号は、Ｒ，Ｇ，Ｂ信号であることを
特徴とし、あるいは、輝度信号Ｙ及び色差信号Ｃｒ，Ｃ
ｂであることを特徴とする。いずれの画像信号に対して
も、本発明を適用可能である。

【００１２】また、上記目的を達成する固体撮像装置
は、上記の画像処理装置と固体撮像素子とを備えること
で、達成される。

【００１３】また、上記目的を達成する画像処理方法
は、雑音を含む画像信号データを処理して雑音を低減化
する画像処理方法において、前記画像信号データから画
像信号に含まれる雑音信号をＮ＋１（Ｎは２以上の整
数）個のサブバンド毎に算出する雑音信号生成工程と、
雑音を含む画像信号をＮ＋１個のサブバンド成分に分解
するフィルタ処理工程と、該フィルタ処理工程で得られ
たサブバンド成分信号から前記雑音信号生成工程で得ら
れたサブバンド毎の雑音信号を適宜減算する雑音減算工
程と、該雑音減算工程で得られたサブバンド毎の信号を
加算して雑音が低減した画像信号を生成する加算工程と
を備えることで、達成される。

【００１４】この構成とすることで、固体撮像素子によ
る撮像画像信号を記録メディアに格納した後であって
も、この撮像画像信号を記録メディアから読み出し、パ
ーソナルコンピュータ等で雑音を低減処理させることが
できる。

【００１５】また、上記目的を達成する画像処理方法
は、雑音を含む画像信号データを処理して雑音を低減化
する画像処理方法において、前記画像信号データから画
像信号に含まれる雑音信号をＮ＋１（Ｎは２以上の整
数）個のサブバンド毎に算出する雑音信号生成工程と、
雑音を含む画像信号をＮ＋１個のサブバンド成分に分解
するフィルタ処理工程と、該フィルタ処理工程で得られ
たサブバンド成分信号から雑音減算制御信号を生成する
雑音減算制御信号生成工程と、前記サブバンド成分信号
から前記雑音信号生成工程で得られたサブバンド毎の雑
音信号を前記雑音減算制御信号に基づき適宜減算する雑
音減算工程と、該雑音減算工程で得られたサブバンド毎
の信号を加算して雑音が低減した画像信号を生成する加
算工程とを備えることで、達成される。

【００１６】この構成とすることで、上記と同様に、記
録メディアに格納済みの画像信号を読み出して雑音低減
処理を行うことができ、しかも、解像度を劣化させずに
大幅に雑音を低減することができる。画像信号として
は、Ｒ，Ｇ，Ｂ信号や、輝度信号及び色差信号によるも
のに対し適用することができる。

【００１７】

【発明の実施の形態】以下、本発明の一実施形態につい
て図面を参照して説明する。

【００１８】図１は、本発明の第１実施形態に係る画像
処理装置の構成図である。この画像処理装置は、ＣＣＤ
等の固体撮像素子から出力されてくるアナログ画像信号
を取り込みアナログ処理してからデジタル画像信号に変
換するＡＤ変換部１１と、デジタル画像信号を輝度信号
Ｙ及び色差信号Ｃｒ，Ｃｂに分離して出力する画像信号
前処理部１２と、輝度信号Ｙのノイズを低減する低雑音
化回路２１と、色差信号Ｃｒのノイズを低減する低雑音
化回路２２と、色差信号Ｃｂのノイズを低減する低雑音
化回路２３と、各低雑音化回路２１，２２，２３の出力
を取り込み後処理を行う画像信号後処理部１６とを備え
る。

【００１９】更にこの画像処理装置は、ＡＤ変換部１１
の制御信号（例えばアナログゲイン信号）と画像信号前
処理部１２の制御信号（例えば、ガンマ特性信号やデジ
タルゲイン信号）と輝度信号Ｙとを取り込み詳細は後述
するようにして低雑音化回路２１，２２，２３に対して
減算すべき雑音信号成分を出力する雑音制御部２４とを
備える。

【００２０】尚、本実施形態では、画像処理装置を、固
体撮像装置とは別個に設ける構成として説明するが、画
像処理装置を固体撮像装置内に一体に組み込むことも可
能である。

【００２１】図２は、図１に示す低雑音化回路２１の詳
細構成図である。他の低雑音化回路２２，２３の構成も
図２と同様であり、処理対象とする信号が色差信号Ｃ
ｒ，Ｃｂである点が異なるだけであるため、低雑音化回
路２２，２３の詳細構成についてはその説明を省略す
る。

【００２２】図２において、低雑音化回路２１は、この
例では、４つのローパスフィルタ（以下、ＬＰＦとい
う。）１，２，３，４と、４つの差回路５，６，７，８
と、４つの雑音減算回路２５，２６，２７，２８と、１
つの加算回路２９とを備えて構成される。

【００２３】ＬＰＦ１は、図１２に示す様に、各画素
（図１２では画素９を例示）周りの例えば３×３＝９画
素の受光電荷の平均値を求める処理を行い、ＬＰＦ２
は、画素９周りのＬＰＦ１より広い範囲たとえば５×５
＝２５画素の受光電荷の平均値を求める処理を行い、同
様に、ＬＰＦ３は９×９＝８１画素を処理対象とし、Ｌ
ＰＦ４は１７×１７＝２８９画素を処理対象とする。

【００２４】図３は、ＬＰＦ１〜４のフィルタ特性を示
す図である。図示する例は、サブバンドの帯域がナイキ
スト周波数の１／２，１／４，１／８，１／１６，１／
３２で区切られているが、これは、ＬＰＦの処理範囲を
図１２で説明した領域範囲としたためであり、任意の処
理範囲すなわち任意の周波数（または帯域）で区切る様
にしてもよい。

【００２５】５番目のサブバンドＶは、ＬＰＦ４のフィ
ルタ特性と同じ帯域となる。図３の例では、図１２にお
けるｘ方向だけのフィルタ特性を示しているが、ｙ方向
のフィルタ特性も同じである。また、ＬＰＦｉ（ｉ＝１
〜４）の画素領域（加重加算処理の領域）は、ほぼｘ方
向，ｙ方向ともにほぼ１倍，２倍，４倍，８倍になって
おり、低周波数のサブバンドはより広い画素領域を参照
して平均値を求める様になっている。

【００２６】図２の差回路５は、画像信号前処理部１２
からの輝度信号Ｙと、この輝度信号Ｙを取り込んだＬＰ
Ｆ１の出力信号との差分（サブバンドＩ：図３参照）を
とって雑音減算回路２５に出力する。同様に、差回路６
は、ＬＰＦ１の出力信号と、輝度信号Ｙを取り込んだＬ
ＰＦ２の出力信号との差分（サブバンドII）をとって雑
音減算回路２６に出力する。

【００２７】同様に、差回路７は、ＬＰＦ２の出力信号
と、輝度信号Ｙを取り込んだＬＰＦ３の出力信号との差
分（サブバンドIII）をとって雑音減算回路２７に出力
し、差回路８は、ＬＰＦ３の出力信号と、輝度信号Ｙを
取り込んだＬＰＦ４の出力信号との差分（サブバンドI
V）をとって雑音減算回路２８に出力する。

【００２８】雑音減算回路２５は、雑音制御部２４（図
１）から送られてくるサブバンドＩにおける推定雑音信
号成分を、差回路５の出力信号（サブバンドＩ）から減
算し、減算結果を加算回路２９に出力する。雑音減算回
路２６は、雑音制御部２４から送られてくるサブバンド
IIにおける推定雑音信号成分を、差回路６の出力信号
（サブバンドII）から減算し、減算結果を加算回路２９
に出力する。

【００２９】同様に、雑音減算回路２７は、雑音制御部
２４から送られてくるサブバンドIIIにおける推定雑音
信号成分を、差回路７の出力信号（サブバンドIII）か
ら減算し、減算結果を加算回路２９に出力する。雑音減
算回路２８は、雑音制御部２４から送られてくるサブバ
ンドIVにおける推定雑音信号成分を、差回路８の出力信
号（サブバンドIV）から減算し、減算結果を加算回路２
９に出力する。

【００３０】加算回路２９は、各雑音減算回路２５，２
６，２７，２８の出力信号を取り込むと共に、ＬＰＦ４
の出力信号（サブバンドＶ）の信号を取り込み、これら
の信号を加算し、この加算信号を、雑音信号成分を低減
した輝度信号Ｙ’として画像信号後処理部１６に出力す
る。

【００３１】尚、サブバンドＶにも雑音は存在するが、
その雑音は低周波のため目立たないので、本実施形態で
は、サブバンドＶの信号からは雑音信号成分を減算する
ことはしていない。しかし、サブバンドＶの雑音成分も
低減したいのであれば、雑音減算回路をもう１つ設けれ
ばよい。

【００３２】雑音制御部２４は、輝度信号Ｙや色差信号
Ｃｒ，Ｃｂ中に含まれる雑音信号がどの程度であるかを
推定し、推定した雑音信号を各サブバンド毎の成分に分
け、各雑音減算回路２５〜２８に出力する。

【００３３】ＣＣＤ等のイメージセンサのランダム雑音
は、大きい出力信号の場合、光ショット雑音（白色雑
音）が支配的であり、また、小さい出力信号の場合は、
ｋＴＣ雑音や出力回路の雑音が目立ってくる。画像信号
処理により得られる画像に含まれる雑音は、イメージセ
ンサ，アナログ処理部，デジタル処理部に依存する。

【００３４】イメージセンサ，アナログ処理部，デジタ
ル処理部が定まっている画像処理装置（あるいは固体撮
像装置）の場合、イメージセンサの出力レベル，アナロ
グ信号処理回路のアナログ利得，画像信号処理部のデジ
タル利得，ガンマ特性などから、雑音がどの程度発生す
るかをほぼ理論的に算出（推定）することができる。

【００３５】そこで、本実施形態の雑音制御部２４は、
イメージセンサの出力レベル，アナログ信号処理回路の
アナログ利得，画像信号処理部のデジタル利得，ガンマ
特性などがどの程度であるかの信号を取り込み、雑音信
号がどの程度含まれるかを算出（推定）することにして
いる。また、推定が難しい場合には、雑音を実測してそ
の実測値から算出（推定）することでもよい。

【００３６】画像信号が輝度信号Ｙ，色差信号Ｃｒ，Ｃ
ｂの場合、輝度信号Ｙ，色差信号Ｃｒ，Ｃｂに対して、
各サブバンド毎に、信号レベルに応じた雑音テーブルを
作成する。雑音信号の算出（推定）は、大まかに行って
も実用的には問題がないため、雑音テーブルは簡単なも
のとすることができる。

【００３７】例えば、図４に示す様に、輝度信号（０〜
２５５のデジタル出力）に対して４区分に分けて雑音レ
ベルを設定し、色差信号Ｃｒ，Ｃｂの雑音は、輝度信号
Ｙにより決定する。例えば、色差信号Ｃｒの雑音は輝度
信号Ｙの雑音の２倍とし、色差信号Ｃｂの雑音は輝度信
号Ｙの雑音の３倍としても、実用的に問題がない。

【００３８】次に、図１，図２に示す画像処理装置の処
理動作について説明する。ＣＣＤ等のイメージセンサが
撮像したアナログ画像信号出力がＡＤ変換部１１に入力
してくると、ＡＤ変換部１１は、このアナログ画像信号
をアナログ処理してデジタル画像信号に変換し、画像信
号前処理部１２に出力する。

【００３９】画像信号前処理部１２は、このデジタル画
像信号をデジタル処理して輝度信号Ｙ，色差信号Ｃｒ，
Ｃｂに分離し、輝度信号Ｙを低雑音化回路２１に出力
し、色差信号Ｃｒを低雑音化回路２２に出力し、色差信
号Ｃｂを低雑音化回路２３に出力する。

【００４０】雑音制御部２４は、ＡＤ変換部１１が前記
のアナログ処理に用いたアナログ利得を取り込み、画像
信号前処理部１２が前記のデジタル処理に用いたデジタ
ル利得やガンマ特性信号を取り込むと共に輝度信号Ｙを
取り込み、上述した様に、雑音信号成分Ｎ_Yi，Ｎ_Cri，
Ｎ_Cbi（ｉ＝１〜４）を推定する。そして、雑音信号成
分Ｎ_Yiを低雑音化回路２１に出力し、雑音信号成分Ｎ
_Criを低雑音化回路２２に出力し、雑音信号成分Ｎ_Cbiを
低雑音化回路２３に出力する。

【００４１】低雑音化回路２１では、雑音制御部２４か
ら出力されてくる雑音信号成分Ｎ_Y1，Ｎ_Y2，Ｎ_Y3，Ｎ_Y4
を夫々雑音減算回路２５，２６，２７，２８が取り込
み、次式に従って、雑音信号成分を、差回路５，６，
７，８から夫々出力されてくるサブバンドの輝度信号Ｙ
_H1，Ｙ_H2，Ｙ_H3，Ｙ_H4から減算する。次式のＹ_Hi’は、
各雑音減算回路２５〜２８からの出力信号である。

【００４２】Ｎ_Yi≧｜Ｙ_Hi｜の場合Ｙ_Hi’＝０｜Ｙ_Hi｜＞Ｎ_Yi，Ｙ_Hi＞０の場合Ｙ_Hi’＝Ｙ_Hi−Ｎ_Yi ｜Ｙ_Hi｜＞Ｎ_Yi，Ｙ_Hi＜０の場合Ｙ_Hi’＝Ｙ_Hi＋Ｎ_Yi

【００４３】そして、加算回路２９は、各雑音減算回路
２５〜２８の出力信号Ｙ_Hi’及びサブバンドＶの信号Ｙ
_L4を取り込み、雑音成分を除去した輝度信号Ｙ’を次式
に従って出力する。Ｙ’＝Ｙ_H1’＋Ｙ_H2’＋Ｙ_H3’＋Ｙ_H4’＋Ｙ_L4

【００４４】低雑音化回路２２でも同様に、次式に従っ
て雑音成分を除去した色差信号Ｃｒ’を出力し、Ｎ_Cri≧｜Ｃｒ_Hi｜の場合Ｃｒ_Hi’＝０｜Ｃｒ_Hi｜＞Ｎ_Cri，Ｃｒ_Hi＞０の場合Ｃｒ_Hi’＝Ｃｒ_Hi−Ｎ_Cri ｜Ｃｒ_Hi｜＞Ｎ_Cri，Ｃｒ_Hi＜０の場合Ｃｒ_Hi’＝Ｃｒ_Hi＋Ｎ_Cri Ｃｒ’＝Ｃｒ_H1’＋Ｃｒ_H2’＋Ｃｒ_H3’＋Ｃｒ_H4’＋Ｃｒ_L4

【００４５】同様に、低雑音化回路２３でも、次式に従
って雑音成分を除去した色差信号Ｃｂ’を出力する。Ｎ_Cbi≧｜Ｃｂ_Hi｜の場合Ｃｂ_Hi’＝０｜Ｃｂ_Hi｜＞Ｎ_Cbi，Ｃｂ_Hi＞０の場合Ｃｂ_Hi’＝Ｃｂ_Hi−Ｎ_Cbi ｜Ｃｂ_Hi｜＞Ｎ_Cbi，Ｃｂ_Hi＜０の場合Ｃｂ_Hi’＝Ｃｂ_Hi＋Ｎ_Cbi Ｃｂ’＝Ｃｂ_H1’＋Ｃｂ_H2’＋Ｃｂ_H3’＋Ｃｂ_H4’＋Ｃｂ_L4

【００４６】画像信号後処理部１６は、各低雑音化回路
２１，２２，２３から出力されてくる信号を取り込んで
後処理を行い、処理結果を画像処理信号として出力す
る。

【００４７】この様に、本実施形態では、各サブバンド
の雑音を理論的に推定して画像信号から雑音成分のみを
減算する構成のため、実際には信号成分も少し減少する
が、解像度劣化を起こすことなく雑音を低減することが
可能となる。また、各サブバンドの雑音の推定（算出）
に誤差がある場合でも、信号成分に比較して雑音成分の
方が大幅に減算されるため、解像度劣化が少なく、雑音
を低減することができる。

【００４８】上述した実施形態では、図１に示す画像処
理装置をハードウェアで構成したが、演算処理装置（Ｃ
ＰＵ）によるソフトウェア処理により第１実施形態と同
じ機能を実現することも可能である。図５は、雑音低減
処理をソフトウェア処理で行う本発明の第２実施形態に
係るフローチャートである。

【００４９】ソフトウェア処理により雑音低減を行う場
合には、先ずステップＳ１で、サブバンド数（Ｎ＋１）
を設定し、次のステップＳ２で、各サブバンドに対応し
たローパスフィルタのパラメータを設定する。次に、処
理対象とする画像の輝度信号Ｙ，色差信号Ｃｒ，Ｃｂの
雑音成分を推定し（ステップＳ３）、各サブバンド毎の
輝度信号Ｙ，色差信号Ｃｒ，Ｃｂに対する雑音テーブル
（輝度信号Ｙの雑音テーブルは図４参照）を作成する
（ステップＳ４）。

【００５０】次のステップＳ５では、イメージセンサの
撮像画像信号を取り込み、ステップＳ６で、ｉ＝１〜Ｎ
まで、Ｙ_Li（ローパスフィルタ処理工程の出力）とＹ_Hi
（差回路処理工程の出力）を算出し、同様に、Ｃｒ_Liと
Ｃｒ_Hiを算出し、Ｃｂ_LiとＣｂ_Hiを算出する。

【００５１】次のステップＳ７では、画素（ｘ，ｙ）に
対して、輝度信号Ｙ，色差信号Ｃｒ，Ｃｂの値と雑音テ
ーブルからＮ_Yi，Ｎ_Cri，Ｎ_Cbiを求め、Ｙ_LiとＹ_HiとＮ
_YiからＹ’を算出し、Ｃｒ_LiとＣｒ_HiとＮ_CriからＣ
ｒ’を算出し、Ｃｂ_LiとＣｂ_HiとＮ_CbiからＣｂ’を算
出する。

【００５２】次のステップＳ８では、画素（ｘ，ｙ）に
対する雑音成分を低減した輝度信号Ｙ’，色差信号Ｃ
ｒ’，Ｃｂ’を出力して記録し、ステップＳ９で処理対
象画像の全画素に対して処理が終了したか否かを判定
し、全画素に対しての処理が終了していない場合にはス
テップＳ７に戻り、全画素に対して処理が終了している
場合には、この図５の雑音低減処理を終了する。

【００５３】図６は、ソフトウェア処理の別実施形態
（本発明の第３実施形態）を示すフローチャートであ
る。図５に示すソフトウェア処理では、初めに全画面の
画像信号に対して各サブバンドの成分を算出してから、
個々の画素に対して雑音低減化処理を行っているが、本
実施形態（図６）では、各画素毎にサブバンドの成分を
算出して、雑音低減化処理を行っている。

【００５４】即ち、本実施形態では、図５の実施形態と
同様に、ステップＳ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５と進
み、次のステップＳ６’（図６）で、画素（ｘ，ｙ）に
対してｉ＝１〜Ｎまで、Ｙ_Li（ローパスフィルタ処理工
程の出力）とＹ_Hi（差回路処理工程の出力）を算出し、
同様に、Ｃｒ_LiとＣｒ_Hiを算出し、Ｃｂ_LiとＣｂ_Hiを算
出する。そして、図５と同様に、ステップＳ７，Ｓ８と
進み、ステップＳ９の判定で、全画素に対する処理が終
了していない場合には、ステップＳ６’に戻るようにし
ている。

【００５５】本実施形態によれば、各画素毎にサブバン
ドの成分を算出しているため、処理に必要なメモリ容量
が少なくて済むという利点がある。

【００５６】図７は、本発明の第４実施形態に係る画像
処理装置（基本構成は図１と同じ）の低雑音化回路の構
成図である。この例でも輝度信号Ｙに対する低雑音化回
路を示すが、色差信号に対する低雑音化回路も同様の構
成であることは第１実施形態と同じである。

【００５７】この図７の構成は、図２の構成と基本的に
は同じであり、各ＬＰＦｉ（ｉ＝１〜４）の入力信号
を、前段のＬＰＦの出力信号とした点が異なるだけであ
る。すなわち、本実施形態では、輝度信号ＹがＬＰＦ１
に入力され、差回路５には、輝度信号ＹとＬＰＦ１の出
力が入力され、ＬＰＦ２にはＬＰＦ１の出力が入力さ
れ、差回路６には、ＬＰＦ１の出力とＬＰＦ２の出力が
入力される。同様に、ＬＰＦ３にはＬＰＦ２の出力が入
力され、差回路７には、ＬＰＦ２とＬＰＦ３の出力が入
力され、ＬＰＦ４にはＬＰＦ３の出力が入力され、差回
路８には、ＬＰＦ３とＬＰＦ４の出力が入力される。

【００５８】ＬＰＦのカットオフ特性は、図３に示す例
の様に良好（透過率がゼロに近い）な場合に限らず、例
えば、図８に示す様な不良な特性（ＬＰＦ２として例
示）の場合もある。斯かる場合には、図７に示す第４実
施形態を採用することで、ＬＰＦ２の出力は、ＬＰＦ１
とＬＰＦ２の乗算となり、カットオフ特性が良くなると
いう利点を得ることができ、フィルタの加重パラメータ
の選択範囲や精度を広げることができる。

【００５９】図９は、本発明の第５実施形態に係る画像
処理装置の低雑音化回路の構成図である。この例でも輝
度信号Ｙに対する低雑音化回路を示すが、色差信号に対
する低雑音化回路も同様の構成であることは第１実施形
態と同じである。

【００６０】本実施形態のＬＰＦ１〜４、差回路５〜
８、加算回路２９については図２に示す第１実施形態と
同じであるが、本実施形態では、差回路５〜８の各々の
出力を取り込んで雑音成分の減算処理を行うか否かを判
断する雑音減算制御部３０を設けた点が異なり、また、
図２の雑音減算回路２５〜２８の代わりに、雑音減算制
御部３０からの指令を受けることができる雑音減算回路
３１〜３４とした点が異なるだけである。

【００６１】雑音減算制御部３０は、以下の条件に基づ
き、雑音減算回路３１〜３４に対し、その動作をオンさ
せて雑音減算を行わせるか、オフさせて雑音減算を行わ
せないかを指令する制御信号ＣＹｉを生成し、出力す
る。この条件は、雑音の影響が大きいｉ＝１の場合と、
ｉ＝２，３，４の場合とで異なるようにしてある。尚、
添え字付きのＴは、所定の閾値であり、添え字付きのＡ
は、所定の定数である。

【００６２】｜Ｙ_H1｜＞Ｔ_YH1の場合、Ｃ_Y1＝ＯＦＦ信号｜Ｙ_H1｜≦Ｔ_YH1の場合、Ｃ_Y1＝ＯＮ信号｜Ｙ_Hi｜＞Ａ_Y＊｜Ｙ_Hi-1｜の場合（ｉ＝２，３，４）、Ｃ_Yi＝ＯＦＦ信号｜Ｙ_Hi｜≦Ａ_Y＊｜Ｙ_Hi-1｜の場合（ｉ＝２，３，４）、Ｃ_Yi＝ＯＮ信号且つ、ＯＦＦ信号の最小のサブバンドをＫとすると、Ｋ
以上のＣ_Yiは、全てＯＦＦ信号とする。

【００６３】｜Ｃｒ_H1｜＞Ｔ_CrH1の場合、Ｃ_Cr1＝ＯＦＦ信号｜Ｃｒ_H1｜≦Ｔ_CrH1の場合、Ｃ_Cr1＝ＯＮ信号｜Ｃｒ_Hi｜＞Ａ_Cr＊｜Ｃｒ_Hi-1｜の場合（ｉ＝２，３，４）、Ｃ_Cri＝ＯＦＦ信号｜Ｃｒ_Hi｜≦Ａ_Cr＊｜Ｃｒ_Hi-1｜の場合（ｉ＝２，３，４）、Ｃ_Cri＝ＯＮ信号且つ、ＯＦＦ信号の最小のサブバンドをＫとすると、Ｋ
以上のＣ_Criは、全てＯＦＦ信号とする。

【００６４】｜Ｃｂ_H1｜＞Ｔ_CbH1の場合、Ｃ_Cb1＝ＯＦＦ信号｜Ｃｂ_H1｜≦Ｔ_CbH1の場合、Ｃ_Cb1＝ＯＮ信号｜Ｃｂ_Hi｜＞Ａ_Cb＊｜Ｃｂ_Hi-1｜の場合（ｉ＝２，３，４）、Ｃ_Cbi＝ＯＦＦ信号｜Ｃｂ_Hi｜≦Ａ_Cb＊｜Ｃｂ_Hi-1｜の場合（ｉ＝２，３，４）、Ｃ_Cbi＝ＯＮ信号且つ、ＯＦＦ信号の最小のサブバンドをＫとすると、Ｋ
以上のＣ_Cbiは、全てＯＦＦ信号とする。

【００６５】各低雑音化回路の加算回路２９は、雑音低
減後の輝度信号Ｙ’，色差信号Ｃｒ’，Ｃｂ’を次の様
に演算して出力する。

【００６６】〔輝度信号Ｙの場合〕Ｃ_Yi＝ＯＦＦ信号の場合、Ｙ_Hi’＝Ｙ_Hi Ｃ_Yi＝ＯＮ信号、Ｎ_Yi≧｜Ｙ_Hi｜の場合、Ｙ_Hi’＝０Ｃ_Yi＝ＯＮ信号、｜Ｙ_Hi｜＞Ｎ_Yi、Ｙ_Hi＞０の場合、Ｙ_Hi’＝Ｙ_Hi−Ｎ_Yi Ｃ_Yi＝ＯＮ信号、｜Ｙ_Hi｜＞Ｎ_Yi、Ｙ_Hi＜０の場合、Ｙ_Hi’＝Ｙ_Hi＋Ｎ_Yi Ｙ’＝Ｙ_H1’＋Ｙ_H2’＋Ｙ_H3’＋Ｙ_H4’＋Ｙ_L4

【００６７】〔色差信号Ｃｒの場合〕Ｃ_Cri＝ＯＦＦ信号の場合、Ｃｒ_Hi’＝Ｃｒ_Hi Ｃ_Cri＝ＯＮ信号、Ｎ_Cri≧｜Ｃｒ_Hi｜の場合、Ｃｒ_Hi’＝０Ｃ_Cri＝ＯＮ信号、｜Ｃｒ_Hi｜＞Ｎ_Cri、Ｃｒ_Hi＞０の場合、Ｃｒ_Hi’＝Ｃｒ_Hi−Ｎ_Cri Ｃ_Cri＝ＯＮ信号、｜Ｃｒ_Hi｜＞Ｎ_Cri、Ｃｒ_Hi＜０の場合、Ｃｒ_Hi’＝Ｃｒ_Hi＋Ｎ_Cri Ｃｒ’＝Ｃｒ_H1’＋Ｃｒ_H2’＋Ｃｒ_H3’＋Ｃｒ_H4’＋Ｃｒ_L4

【００６８】〔色差信号Ｃｂの場合〕Ｃ_Cbi＝ＯＦＦ信号の場合、Ｃｂ_Hi’＝Ｃｂ_Hi Ｃ_Cbi＝ＯＮ信号、Ｎ_Cbi≧｜Ｃｂ_Hi｜の場合、Ｃｂ_Hi’＝０Ｃ_Cbi＝ＯＮ信号、｜Ｃｂ_Hi｜＞Ｎ_Cbi、Ｃｂ_Hi＞０の場合、Ｃｂ_Hi’＝Ｃｂ_Hi−Ｎ_Cbi Ｃ_Cbi＝ＯＮ信号、｜Ｃｂ_Hi｜＞Ｎ_Cbi、Ｃｂ_Hi＜０の場合、Ｃｂ_Hi’＝Ｃｂ_Hi＋Ｎ_Cbi Ｃｂ’＝Ｃｂ_H1’＋Ｃｂ_H2’＋Ｃｂ_H3’＋Ｃｂ_H4’＋Ｃｂ_L4

【００６９】第５の実施形態は、各サブバンドの雑音を
大きめに設定した場合でも、解像度や画質に関係する信
号成分の低下を押さえ、且つ、解像度や画質に影響が少
ない部分の雑音を大幅に低減できるという利点がある。
即ち解像度劣化が少なく、且つ大幅な雑音低減が可能と
なる。

【００７０】この第５の実施形態において、雑音減算の
ＯＦＦ処理の判定条件は、離れた画素領域の急峻な画像
変化がある場合、それを含む画素領域の雑音低減処理を
避けることを意味する。即ち、処理しようとする画素と
の相関の強い信号成分に対して雑音低減処理を行い、相
関が無い信号成分に対しては、雑音低減処理を行わな
い。相関が少ない信号に対する雑音低減処理は誤処理と
なり、解像度や画質を低下させてしまうからである。

【００７１】また、第５の実施形態では、次の様な２つ
の動作を組み合わせることも可能である。第１の動作
は、高周波の雑音低減を行い、低周波の雑音低減処理は
行わない動作である。この場合、例えば、第３と第４の
サブバンドの雑音減算制御信号を常にＯＦＦ信号とす
る。第２の動作は、低周波の雑音低減を行い、高周波の
雑音低減を行わない動作である。この場合、例えば、第
１と第２のサブバンドの雑音減算制御信号を常にＯＦＦ
信号とする。この動作は、画質に特に影響する低周波雑
音が低減され、解像度に関係する高周波の信号成分が全
くカットされないので、高解像度を維持することができ
る。

【００７２】図１０は、本発明の第６の実施形態に係る
フローチャートである。処理内容は第５の実施形態と同
じであるが、本実施形態では、図５，図６の実施形態と
同様に、ＣＰＵによるソフトウェア処理で画像処理を行
う。本実施形態のフローチャートは、図５のフローチャ
ートと基本的に同じであり、図５のステップＳ６とステ
ップＳ７との間にステップＳ１０を設け、ステップ９の
判定結果が全画素処理未終了となったときステップＳ１
０に戻るようにした点のみ異なる。

【００７３】このステップＳ１０では、画素（ｘ，ｙ）
に対して、雑音制御信号Ｃ_Yi，Ｃｒ _i，Ｃｂ_iを判定し、
ステップＳ７，Ｓ８の演算では、上述した第５の実施形
態で述べた演算式に従って演算を行う様にする。これに
より、第５の実施形態と同じ効果が得られる。

【００７４】尚、本発明の第５の実施形態で設けた雑音
減算制御部３０は、図７に示す実施形態の低雑音化回路
に設けることも可能である。また同様に、図６の処理手
順中に、雑音減算制御部と同様の処理を行う処理ステッ
プを設けることも可能である。

【００７５】また、図５，図６，図１０のソフトウェア
処理による雑音低減処理では、サブバンド成分は輝度信
号Ｙ，色差信号Ｃｒ，Ｃｂから直接算出しても、また、
図７に示す実施形態と同様に、ｉ＝２以上のサブバンド
成分に対し、Ｙ_Li-1，Ｃｒ_Li _-1，Ｃｂ_Li-1を使用して算
出してもよい。更にまた、以上述べた実施形態では、Ｌ
ＰＦと差回路によりサブバンド成分を算出したが、サブ
バンドの周波数特性を持つバンドパスフィルタから直接
算出することもできる。

【００７６】更に、上述した実施形態では、５個のサブ
バンド（４個のＬＰＦ）を持つ例を示したが、サブバン
ド数が３以上であれば、本発明を適用可能である。ま
た、輝度信号Ｙ，色差信号Ｃｒ，Ｃｂの画像信号に対し
て雑音低減処理を施す例を説明したが、当然のことなが
ら、ＲＧＢ（三原色）の画像信号（ＹＣ変換前の信号）
に対しても同様な雑音低減処理が可能である。更に、白
黒画像の場合は、輝度信号Ｙのみの雑音低減処理でよ
い。

【００７７】更にまた、以上述べた実施形態は、画像処
理装置がデジタルスチルカメラ内蔵型であり固体撮像装
置の撮像した画像信号が記録メディアに格納される前に
雑音低減処理を行う例について説明したが、デジタルス
チルカメラで撮像した画像信号を記録メディアに格納し
た後に、その画像信号を記録メディアから読み出し、上
述した雑音低減処理を行うことも可能であり、同様の効
果を得ることができる。この場合には、図５，図６，図
１０で説明したソフトウェアをパソコン等に搭載してお
き、ユーザが自分の好みに応じて第１実施形態，第４実
施形態，第５実施形態と同様の処理を選択し、また、夫
々のパラメータの値（閾値や定数等）を選択して雑音低
減処理を行うことができる。

【００７８】

【発明の効果】本発明によれば、解像度に関わる信号成
分を確保しながら雑音成分を大幅に減少させることがで
きるため、雑音が少なく、且つ、高解像度の良好な画像
を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る画像処理装置の構
成図である。

【図２】図１に示す低雑音化回路の構成図である。

【図３】図２に示す低雑音化回路のフィルタ特性図であ
る。

【図４】雑音テーブルの一例を示す図である。

【図５】本発明の第２実施形態に係る画像処理手順を示
すフローチャートである。

【図６】本発明の第３実施形態に係る画像処理手順を示
すフローチャートである。

【図７】本発明の第４実施形態に係る画像処理装置の低
雑音化回路の構成図である。

【図８】図７に示す低雑音化回路が有効となるフィルタ
特性例を示す図である。

【図９】本発明の第５実施形態に係る画像処理装置の低
雑音化回路の構成図である。

【図１０】本発明の第６実施形態に係る画像処理手順を
示すフローチャートである。

【図１１】従来の画像処理装置の構成図である。

【図１２】ローパスフィルタの説明図である。

【図１３】別の従来の画像処理装置の構成図である。

【符号の説明】１，２，３，４ＬＰＦ（ローパスフィルタ）５，６，７，８差回路１１ＡＤ変換部１２画像信号前処理部１６画像信号後処理部２１，２２，２３低雑音化回路２４雑音制御部２５，２６，２７，２８，３１，３２，３３，３４雑
音減算回路２９加算回路３０雑音減算制御部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 9/64 Ｈ０４Ｎ 1/40 １０１Ｃ５Ｃ０７７Ｆターム(参考） 5B057 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE02 CH08 5C021 PA34 PA52 PA66 PA85 PA92 RB07 RB08 YA02 5C024 CX03 DX01 GY01 HX05 HX23 HX28 HX29 5C065 BB22 CC01 DD02 GG02 GG22 5C066 AA01 CA07 DD07 EC12 GA01 HA03 KC02 KD01 KD06 KE02 KE19 KF05 KM02 5C077 LL06 MP08 PP02 PP34 PP47 PP49 PQ12

Claims

【特許請求の範囲】

【請求項１】固体撮像素子からの出力信号を処理して
画像信号を生成する画像処理装置において、動作条件か
ら画像信号に含まれる雑音信号をＮ＋１（Ｎは２以上の
整数）個のサブバンド毎に算出して出力する雑音制御部
と、雑音を含む画像信号をＮ＋１個のサブバンド成分に
分解するフィルタ群と、該フィルタ群の出力信号である
サブバンド成分信号から前記雑音制御部から出力される
サブバンド毎の前記雑音信号を適宜減算する雑音減算回
路群と、該雑音減算回路群の出力信号を加算して雑音を
低減した画像信号を生成し出力する加算回路とを備える
ことを特徴とする画像処理装置。
【請求項２】前記サブバンド成分信号を比較して、前
記雑音減算回路群の動作を制御する雑音減算制御部を備
えることを特徴とする請求項１記載の画像処理装置。
【請求項３】前記画像信号は、Ｒ，Ｇ，Ｂ信号である
ことを特徴とする請求項１または請求項２に記載の画像
処理装置。
【請求項４】前記画像信号は、輝度信号Ｙ及び色差信
号Ｃｒ，Ｃｂであることを特徴とする請求項１または請
求項２に記載の画像処理装置。
【請求項５】固体撮像素子と、請求項１乃至請求項４
のいずれかに記載の画像処理装置とを搭載したことを特
徴とする固体撮像装置。
【請求項６】雑音を含む画像信号データを処理して雑
音を低減化する画像処理方法において、前記画像信号デ
ータから画像信号に含まれる雑音信号をＮ＋１（Ｎは２
以上の整数）個のサブバンド毎に算出する雑音信号生成
工程と、雑音を含む画像信号をＮ＋１個のサブバンド成
分に分解するフィルタ処理工程と、該フィルタ処理工程
で得られたサブバンド成分信号から前記雑音信号生成工
程で得られたサブバンド毎の雑音信号を適宜減算する雑
音減算工程と、該雑音減算工程で得られたサブバンド毎
の信号を加算して雑音が低減した画像信号を生成する加
算工程とを含むことを特徴とする画像処理方法。
【請求項７】雑音を含む画像信号データを処理して雑
音を低減化する画像処理方法において、前記画像信号デ
ータから画像信号に含まれる雑音信号をＮ＋１（Ｎは２
以上の整数）個のサブバンド毎に算出する雑音信号生成
工程と、雑音を含む画像信号をＮ＋１個のサブバンド成
分に分解するフィルタ処理工程と、該フィルタ処理工程
で得られたサブバンド成分信号から雑音減算制御信号を
生成する雑音減算制御信号生成工程と、前記サブバンド
成分信号から前記雑音信号生成工程で得られたサブバン
ド毎の雑音信号を前記雑音減算制御信号に基づき適宜減
算する雑音減算工程と、該雑音減算工程で得られたサブ
バンド毎の信号を加算して雑音が低減した画像信号を生
成する加算工程とを含むことを特徴とする画像処理方
法。
【請求項８】前記画像信号は、Ｒ，Ｇ，Ｂ信号である
ことを特徴とする請求項６または請求項７に記載の画像
処理方法。
【請求項９】前記画像信号は、輝度信号Ｙ及び色差信
号Ｃｒ，Ｃｂであることを特徴とする請求項６または請
求項７に記載の画像処理方法。