JP4210021B2

JP4210021B2 - 画像信号処理装置および画像信号処理方法

Info

Publication number: JP4210021B2
Application number: JP2000191068A
Authority: JP
Inventors: 健吉林
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2000-06-21
Filing date: 2000-06-21
Publication date: 2009-01-14
Anticipated expiration: 2020-06-21
Also published as: JP2002010108A; US20010055428A1; US6882754B2

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号処理装置および画像信号処理方法に関し、たとえば、固体撮像装置、ディジタルカメラおよび画像入力装置等が扱う画像データに対するノイズ低減処理に適用して好適なものである。
【０００２】
【従来の技術】
現在、メガピクセルと高画素化された固体撮像装置がディジタルカメラ等に搭載されている。このようなカメラで撮像すると、撮像画像にはランダムノイズが多く含まれてくるので、ノイズ低減処理が行われる。ノイズ低減処理には、一般的にローパスフィルタを用いることが多い。
【０００３】
ノイズ低減処理には、特開平4-235472号公報に記載された撮像装置のようにメディアンフィルタ手段でメディアンフィルタ処理を行うことも提案されている。
【０００４】
また、この他のノイズ低減処理としては、１画面以上のメモリを内蔵し、同じ画像を複数回取り込んで得られた画像の加算平均してノイズを除去する巡回型ノイズリデューサがある。
【０００５】
【発明が解決しようとする課題】
ところで、撮像画像に対して常時前述したフィルタ処理を行うと、画像はこのノイズ低減のフィルタ処理により画像の解像度等の画質が低下してしまう。また、このフィルタ処理ではノイズ量の一律な低減化を行うが、撮影シーンや撮影モード等のノイズ量に対応した処理は、それぞれに対応したフィルタ、すなわち複数のフィルタを搭載することになり、現実的でなく困難であった。
【０００６】
さらに、巡回型ノイズリデューサ（加算平均の方法）では、画像入力期間中、シーンが変化しないという前提において有効に機能することから、適用可能なシーンの限定だけでなく、複数の画像を取り込むメモリおよび繰返し撮像することから所要時間を通常の撮像より要することの問題点が挙げられる。これは、ディジタルカメラの機能を大きく損ねるものである。
【０００７】
一方、撮像シーンの一つである夜景のような信号レベルの低いシーンを撮影する場合、ディジタルカメラは信号処理を行う際に感度アップ等のゲイン補正処理を行っている。このゲイン補正処理は、画像データのレベルを増幅するとともに、ノイズも増幅してしまう。
【０００８】
ディジタルカメラ等の信号処理では、一般に、出力する画像の階調特性の補正に非線形なガンマ補正を施している。この補正は低輝度の範囲でより大きなゲイン補正を行っていることから、低輝度レベルでノイズを強調してしまう。このように撮影条件、各画素レベルごとに変化するノイズ量の問題点があった。
【０００９】
本発明はこのような従来技術の欠点を解消し、撮影条件やレベルの変化に応じた適切なノイズ低減を行って良好な画像にすることのできる画像信号処理装置および画像信号処理方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は上述の課題を解決するために、画像入力して得られた画像データに信号処理を施す画像信号処理装置において、この装置は、この画像データに対して補正、および記録用の信号処理を施すとともに、画像データのそれぞれに対して画像入力時の条件および／または画素レベルを考慮して前記画像データに対するノイズ低減処理を施す信号処理手段とを含み、信号処理手段は、画像入力時の条件および／または画素レベルを考慮してしきい値を生成するしきい値生成手段と、ノイズ低減処理においてノイズ検出対象の画素データとこの画素データの周辺近傍にある画素データの平均値とのレベル差を求め、このレベル差と設定したしきい値とからノイズ検出対象の画素データまたは平均値のいずれかの使用を判定し、この使用の判定結果に応じて使用する画素データを切り換えるノイズ低減手段とを含むことを特徴とする。
【００１１】
本発明の画像信号処理装置は、信号処理手段で画像データの各画素に対してノイズ検出対象にし、しきい値生成手段で画像データのノイズ検出対象に対するしきい値の生成を行い、ノイズ低減処理手段ではこの対象の画素データと周辺の画素データの平均値とのレベル差から対象の画素データが周囲を平均した際のレベルに対して相対的にどの程度かを調べて、このレベル差がしきい値を基準に判定し、判定結果に応じて対象の画素データに対してこの画素データそのものまたは平均値のいずれかを切換選択することにより、画像入力条件に応じて画像におけるノイズを抑えて画質劣化の少ない画像を生成することができる。
【００１２】
また、本発明は上述の課題を解決するために、画像入力により得られる画像データに信号処理を施して画像を生成する画像信号処理方法において、この方法は、画像入力を行う上で用いる画像入力条件を取得する第１の工程と、この取得した画像入力条件に基づいて画像データが含むノイズの低減処理を施す対象の画素の使用を判定するしきい値を算出する第２の工程と、対象の画素の周辺近傍の画素が有するレベルを用いてその平均値を算出する第３の工程と、対象の画素のレベルと前記平均値の差を算出する第４の工程と、このレベル差としきい値とを比較判定して使用する画素データをこの対象の画素データそのものを用いる場合と平均値を用いる場合のいずれか選択する第５の工程と、この対象の画素のレベルを選択した画素データにする第６の工程とを含むことを特徴とする。
【００１３】
本発明の画像信号処理方法は、画像データの各画素に対してノイズ検出対象にし、この際にこの画素の周囲の画素の平均値を算出し、各対象の画素と平均値とのレベル差から対象の画素が相対的に周囲とどの程度にずれているかを求め、しきい値を基準にしきい値とレベル差とを比較判定し、レベル差が小さい場合ノイズ成分を多く含むおそれを考慮して平均値を用い、レベル差がしきい値以上の場合ノイズ成分より信号成分が大きいと判定して対象の画素レベルを用い、判定に応じた切換選択を行って画素データの置換をすることにより、画像入力条件に応じて画像に含まれるノイズによる画質劣化の少ない画像を生成することができる。
【００１４】
【発明の実施の形態】
次に添付図面を参照して本発明による画像信号処理装置の一実施例を詳細に説明する。
【００１５】
本発明と直接的に関係のない部分について図面および説明を省略する。ここで、信号の参照符号は、その現れる接続線の参照番号で表す。本実施例は、本発明の固体撮像装置を適用したディジタルカメラ10について説明する（図１を参照) 。ディジタルカメラ10には、光学レンズ系12、操作部14、システム制御部16、駆動信号生成部18、タイミング信号発生部20、絞り機構22、メカニカルシャッタ24、ストロボ26、撮像部28、アナログ信号処理部30、A/D 変換部32、信号処理部34、圧縮／伸張処理部36、メモリカード38、表示用信号処理部40および液晶モニタ42が備えられている。
【００１６】
これら各部を順次説明する。光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を操作部14からの操作信号14a に応じて調節するズーム機構や被写体とカメラ10との距離に応じてピント調節する、AF（Automatic Focus ：自動焦点）調節機構が含まれている。操作信号14a は、たとえばレリーズボタン（図示せず）のストローク操作に応じてシステム制御部16に供給される。光学レンズ系12には、システム制御部16から供給される制御信号16a に基づくAF調節機構の駆動信号180 がレンズ駆動部（図示せず）から供給される。AF調節機構は供給される駆動信号180 に応じて光学レンズを光軸に沿って変位させて焦点を調節する。
【００１７】
操作部14には、レリーズボタン140 だけでなく、たとえばモニタ画面に表示される項目を選択するカーソルを表示させ、このカーソル移動および選択を行う機能を有する操作スイッチ部142 がある。画面表示の領域を選択項目で隠されるから、表示画像と選択項目のいずれかの表示をオン／オフ切換えて表示させるようにしてもよい。操作部14におけるこのような選択には、たとえば十字キーおよび／または液晶表示部分に配したタッチパネルセンサ等を用いてもよい。
【００１８】
項目やレベル補正操作に応じた選択を指示する操作スイッチ部142 には、選択キーおよび選択した指示を決定（または送出する）決定キーが含まれている。操作部14で選択された操作や設定に関する情報は操作信号14a によりシステム制御部16に報知される。レリーズボタン140 は、操作信号の一つであるシャッタチャンスを示すそのタイミング信号14b をシステム制御部16に出力する。
【００１９】
システム制御部16は、たとえば CPU（Central Processing Unit ：中央演算処理装置）を有する。システム制御部16には、ディジタルカメラ10の動作手順が書き込まれた ROM（Read Only Memory：読み出し専用メモリ）がある。システム制御部16は、たとえば、ユーザの操作にともなって操作部14から供給される操作信号14a, 14bとこの ROMの情報を用いて各部の動作を制御する制御信号16a, 16bを生成する。特に、この制御信号16a の生成は、前述した操作部14のレリーズボタン140 のストローク操作に応じて行われる。
【００２０】
システム制御部16は、生成した制御信号16a を駆動信号生成部18およびタイミング信号発生部20に供給し、生成した制御信号16b をアナログ信号処理部30、A/D 変換部32、信号処理部34、以後、信号線が図示していないが圧縮／伸張処理部36、表示用信号処理部40およびモニタ42に供給している。これら各部は供給される制御信号16a, 16bに応じてそれぞれ制御される。
【００２１】
さらに詳述すると、システム制御部16は、制御信号16a を、最適な露出を行わせる標準露出にするように複数のパラメータを調整して露出量を算出し、この露出量に応じて生成する。システム制御部16は、生成した制御信号16a を駆動信号生成部18およびタイミング信号発生部20に供給する。
【００２２】
駆動信号生成部18には、図示しないがレンズ駆動部、絞り駆動部、シャッタ駆動部、撮像駆動部、およびストロボ駆動部が含まれている。レンズ駆動部は、駆動信号180 を出力して被写体が撮像面において最適な焦点として結像するように自動的に前述した光学レンズ系12を変位させている（自動焦点調節）。
【００２３】
絞り駆動部には、たとえば標準露出を行う際の絞り値や露出補正等の露出に関する制御信号16a が供給され、制御信号16a に応じた駆動信号182 を絞り機構22に出力する。シャッタ駆動部には、後述するようにタイミング信号発生部20からタイミング信号20a が供給される。シャッタ駆動部は、供給されるタイミング信号20a に応じて駆動信号184 をメカニカルシャッタ24に出力する。メカニカルシャッタ24は駆動信号184 の供給タイミングに応じて駆動させている。
【００２４】
撮像駆動部にはタイミング信号20b に応じて駆動信号186 を撮像部28に供給する。撮像駆動部には、図１にあらわに図示していないが電子シャッタパルス、信号電荷を読み出すフィールドシフトパルス、および電極構造を考慮して複数の位相に変位させて信号電荷を転送させるタイミング信号（垂直・水平）等が供給されている。撮像駆動部はこれらの信号をまとめて複数種類の垂直駆動信号および水平駆動信号を撮像部28に出力する。
【００２５】
ストロボ駆動部には、レリーズボタン140 の２段押圧によるストローク操作がなされた際の指示（信号14b ）によりシステム制御部16から制御信号16a が供給される。操作部14では操作スイッチ部142 でのストロボ発光の設定がオンになっている場合、システム制御部16はストロボの発光光量が決まっていることから、あらかじめ発光時の被写体との距離、絞り値、およびシャッタ速度を考慮して露出量に関する各パラメータを設定している。レリーズボタン140 の操作に同期して発光を促す駆動信号188 を生成し、ストロボ26に出力する。
【００２６】
なお、図示していないがアナログ信号処理部30には、ゲイン調整信号として駆動信号が供給されている。
【００２７】
タイミング信号発生部20は、制御信号16a に基づいてメカニカルシャッタ24および撮像部28を動作させる複数種類のタイミング信号を生成する回路を含む。タイミング信号発生部20は、生成したタイミング信号20a, 20bをそれぞれ駆動信号生成部18（図示していないシャッタ駆動部および撮像駆動部）に供給し、また、信号線を示していないが生成したタイミング信号をアナログ信号処理部30およびA/D 変換部32にも供給している。
【００２８】
絞り機構22は、駆動信号生成部18からの駆動信号182 に応じて撮像部28に入射する光束が通る開口径を露出量に基づく絞りに合うように開口調節する機能を有する。絞り機構22は、上述したように駆動信号182 により動作するが、この動作は操作部14のレリーズボタン140 の第１段のストローク操作に応じて取り込んだ光量を基にシステム制御部16が生成した制御信号16a に依存して行われる。
【００２９】
メカニカルシャッタ24は、撮像部28に入射光束が入射する期間を露出量に基づいて規定される開放時間に合うようにシャッタをオン／オフする機能を有する。メカニカルシャッタ24も駆動信号生成部18（図示しないシャッタ駆動部）からの駆動信号184 に応じて動作する。シャッタ駆動部は、上述したようにシステム制御部16が生成した制御信号16a に依存している。この場合、システム制御部16は制御信号16a を操作部14の２段押込みタイプのレリーズボタン140 の２段階まで大きくストローク操作したタイミングに応じて生成している。
【００３０】
ストロボ26は電子閃光（エレクトリックフラッシュ）を発生させる装置である。ストロボ26はレリーズボタン140 の撮像のタイミング信号14b に同期して動作させる。ストロボ26はシステム制御部16にてあらかじめ発光を想定して発光量、被写体までの距離、感度等々を考慮して露出量が決められている。ストロボ26にも発光およびそのタイミングを報知する駆動信号188 が供給されている。
【００３１】
撮像部28は、光学ローパスフィルタ28a 、色フィルタ28b 、および固体撮像素子28c が一体的に設けられたセンサである。このセンサには、CCD (Charge Coupled Device：電荷結合素子）が用いられている。撮像部28は、光学レンズ系12で結像された光学像が受光部の各撮像素子に到達した光量に応じた光電変換を行って出力信号29を出力する。撮像素子28c には、CCD やMOS （Metal Oxide Semiconductor ：金属酸化型半導体）タイプの固体撮像デバイスが適用される。撮像部28では、供給される駆動信号186 に応じて光電変換によって得られた信号電荷を所定のタイミングとして、たとえば、垂直ブランキング期間にフィールドシフトにより垂直転送路に読み出され、この垂直転送路をラインシフトした信号電荷が水平転送路に供給され、この水平転送路を経た信号電荷が図示しない出力回路による電流／電圧変換によってアナログ電圧信号29にされ、アナログ信号処理部30に出力される。撮像部28では、CCD タイプでは信号電荷の読出しモードに応じた間引き読出しや全画素読出しが用いられる。
【００３２】
また、色フィルタ28b には、原色または補色の色フィルタセグメントを複数用いて所定のパターンが撮像素子に対応してたとえば、単板で形成されるように配されている。カメラ10は、上述したモードに応じて所定の色パターンを考慮して信号電荷を読み出している。
【００３３】
アナログ信号処理部30には、図示しないがCDS 部（Correlated Double Sampling：相関二重サンプリング; 以下CDS という）が含まれている。CDS 部には、たとえば、CCD 型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部からのタイミング信号によりクランプするクランプ回路と、タイミング信号により信号電荷をホールドするサンプルホールド回路を有する。CDS 部は、ノイズ成分を除去してA/D 変換部32に送る。
【００３４】
A/D 変換部32は、供給されるアナログ信号30a の信号レベルを所定の量子化レベルにより量子化してディジタル信号32a に変換するA/D 変換器を有する。A/D 変換部32は、タイミング信号発生部20から供給される変換クロック等のタイミング信号（図示せず）により変換したディジタル信号32a を信号処理部34に出力する。
【００３５】
信号処理部34には、前処理部34a 、記録用処理部34b 、しきい値生成部34c 、およびノイズ低減処理部34d が含まれている。前処理部34a は、供給される画像のうち、所定の領域の画素データ32a がもつレベルを検出するとともに、この画素データ32a に線形な信号処理を各種施す。信号処理を行う各種の補正項目には、黒レベル補正、白バランスのゲイン補正、シェーディング補正等がある。この線形処理を施した段階の画像データ44は、絵にならない、生データである。この画像データ44を繰返し読み出して信号処理を施すとき、前処理部34a にはフレームメモリを複数個配設するようにしているとよく、非破壊読出しタイプのメモリを用いることが好ましい。前処理部34a は、読み出した画像データ44を記録用処理部34b に送られる。
【００３６】
また、前処理部34a は、たとえば色フィルタの色フィルタセグメントの配置を考慮して得られる画素データを用いてレベル検出も行う。レベル検出は画像の領域を分割した各領域に対して行う分割測光、画面の中央部近傍の領域を測光するAE（Automatic Exposure control）検出、被写体とカメラとの間の距離調整用AF（Automatic Focus control ）検出、および白バランス調整用AWB (Automatic White Balance control）検出等を行う。これらの検出では色フィルタを介して画素データを出力することから直接的に輝度信号が得られない。そこで、色フィルタが原色の場合色G 、補色の場合色Mgを輝度信号とみなして扱ってもよい。前処理部は、図示していないが検出結果をシステム制御部16に供給している。
【００３７】
記録用処理部34b は、記録用のレベル補正部、ガンマ補正部、補間処理部、色差マトリクス処理部、およびフレームメモリを有している（図示せず）。記録用処理部34b は、これらの処理をシステム制御部16からの制御信号16b に応じて行う。記録用処理部34b はレベル補正部で画像データにレベル補正を行い、この画像データを内蔵するルックアップテーブルに供給し、ルックアップテーブルから入力に対応する値を出力させてガンマ補正する。なお、ガンマ特性を細かく調整する場合、実際に演算によって補正するようにしてもよい。
【００３８】
記録用処理部34b は、非線型処理を施した画像データを補間処理部に供給する。補間処理部は単板の色フィルタを用いている場合、色フィルタセグメントの色パターン配置した位置にしか色データが得られない。補間処理部はこの色パターンの隙間に対応する位置の各色データを実際に得られた画素データを用いて補間し、その際に、記録画像フォーマットの画素数に合わせて生成する。補間処理は、補間対象の画素に対して周囲の画素を用いて加算平均して行う。
【００３９】
また、補間処理は、周囲の画素の相関係数に基づいて相関のある方向の画素を用いて補間するようにしてもよい。補間処理部は、三原色R, G, B の面（プレーン）データを作成する。補間処理部は、この面データを色差マトリクス処理部に供給する。色差マトリクス処理部は、供給された三原色R, G, B の面データから輝度信号Y および色差信号（R-Y), (B-Y) を作成する。色差マトリクス処理部は作成した画像の輝度および色差信号をフレームメモリに出力する。
【００４０】
フレームメモリは、一時記憶した画像データ44を繰り返し読み出すことができる非破壊型メモリが連写等を考慮して複数配設されている。フレームメモリは、後段で行うノイズ低減処理の際の平均化等の処理に用いる画像データ46が繰返し供給されるために配設している。したがって、フレームメモリは、システム制御部16の制御を受けて、アドレス制御により間引き読出しも繰り返し行える。読み出した画像データ46がしきい値生成部34c およびノイズ低減処理部34d にそれぞれ供給されている。
【００４１】
しきい値生成部34c には、しきい値算出部340 およびしきい値補正部342 が備えられている（図２を参照）。しきい値算出部340 には、システム制御部16に集めた撮影条件の各パラメータ16c が供給され、これらのパラメータに応じて撮像する画像（全体）に対するしきい値を算出する機能を有している。
【００４２】
パラメータには、撮像感度、露出条件、撮影モード、シャープネス、光源種、操作、および／または表示倍率等がある。撮像感度には、使用時のISO (International Standardization Organization ）感度／ASA (American Standards Association ）感度／DIN (Deutsche Industrie Normen）感度のいずれかで表示された感度が用いられる。露出条件としては、絞り値、シャッタ速度（および／または電子シャッタ速度）がある。また、撮影モードには、夜景モード、通常モードにおける順光／逆光モード、夕景モード、連写等がある。
【００４３】
シャープネスは、解像力およびコントラスト特性に依存する鮮鋭度で、感覚的な言葉として多用される。このような質的な評価を数値化してパラメータで表す。光源種は、用いる光源が何かをパラメータで示す。具体的には青空光、曇天、時間による太陽光（日出、日没の直前、後等）、写真電球、およびタングステンランプ等があり、対応するパラメータを設定する。操作には、たとえばストロボの使用の可否に応じた光量の露出値（すなわちガイドナンバ）を考慮したパラメータ設定を行う。最後に、表示倍率は、たとえば電子ズームの拡大／縮小率を用いる。
【００４４】
しきい値算出部340 は、これらのパラメータを単独または組み合わせて用いてしきい値（レベル）を生成する。このしきい値は画面全体に対する基準値である。しきい値算出部340 は生成したしきい値48をしきい値補正部342 に供給する。しきい値補正部342 は、一つひとつの画素データがもつ、たとえば輝度レベルまたは色レベルに応じてしきい値を補正する機能を有する。
【００４５】
本実施例における補正機能とは、供給される輝度レベルに応じてしきい値を補正する機能である。その具体的な一例として、非線型処理の一つであるガンマ補正処理を考慮した補正である。ガンマ補正は、一般的に入力レベルが小さい場合ゲインを大きくし、入力レベルが大きい場合ゲインを小さくする傾向にある。ゲインが大きい場合、入力信号に含まれるノイズも増幅される傾向が強くなる。しきい値補正部342 は、この点を考慮してしきい値算出部340 で算出したしきい値48を供給される画像データ46のうちの輝度データY を用いて可変する。
【００４６】
すなわち、しきい値の補正は、ガンマ補正により低いレベルの輝度データY が増幅されている可能性があって、ノイズも多く含む傾向があることからしきい値48よりもしきい値を高めに設定する。逆に、高い輝度レベルY が供給されると、ガンマ補正はそれほど大きなゲインアップは行われない。したがって、ノイズのレベル増幅も小さいと考えられる。この場合、しきい値は低く設定する。しきい値の補正は、しきい値48を基準に所定の範囲で補正されることになる。補正されたしきい値50がノイズ低減処理部34d に供給される。
【００４７】
なお、しきい値補正には、輝度データY を用いたがこのデータに限定されるものでなく、色データC_r, C_bを用いてもよい。色データは、色の濃い領域でノイズが目立つ傾向にあるから、この領域にノイズ低減処理を施すと、ディジタルゲインアップのときノイズ低減の効果が得られる。
【００４８】
ノイズ低減処理部34d は、ノイズ低減処理を施すとともに、エッジ検出を行ってエッジ部分には対象の画素データをそのまま用いて平均値を用いない処理を施す。描写する画像のエッジ部分をノイズとして除去しこの部分を平均値で埋めると、平滑化にともなって解像度が低下し、画像の画質劣化につながるからである。ノイズ低減処理部34d は、図３に示すように、画像データ46をエッジ検出部344 とノイズ低減部346 との両方に供給する。エッジ検出部344 は検出したエッジの位置に対するノイズ低減処理を禁止する禁止信号52（レベル“H " ）をノイズ低減部346 に供給している。
【００４９】
ノイズ低減部346 には、加算平均部3460、加算器3462、切換スイッチ3464、比較判定部3466、および論理和回路3468が備えられている。加算平均部3460は、画像データ46の対象の画素データに対して周囲に位置する複数の画素データのレベルを加算平均する演算機能を有している。加算平均値51は加算器3462の一端3462a および切換スイッチ3464の一端a 側に供給されている。
【００５０】
加算器3462は、加算平均した結果51を一端3462a 側に減算入力させ、他端3462b に加算入力させている。加算器3462はあらわに図示していないがこのような入力により得られる差分値の絶対値（以下、単に差分値という）を生成する機能を有している。差分値53が比較判定部3466に供給される。
【００５１】
切換スイッチ3464は、上述したように一端a 側に加算平均値51が供給され、他端b 側に対象の画素データ（すなわち、画像データ）46が供給されている。切換スイッチ3464には、論理和回路3468から切換信号55として供給されている。切換信号55がレベル"H "のとき切換スイッチ3464の端子b 側に切り換え、レベル"L "のとき、切換スイッチ3464の端子a 側に切り換えている。この切換処理により、ノイズの少ない画素データ54が得られる。
【００５２】
比較判定部3466には、補正されたしきい値50と差分値53とが供給されている。比較判定部3466は、差分値53がしきい値50以上のレベルを示す際にレベル"H "を出力する。これ以外のとき比較判定部3466はレベル"L "を出力する。論理和回路3468は２入力の論理和演算処理を行う。論理和回路3468は、エッジ検出部344 からの出力および比較判定部3466からの出力がそれぞれ供給されている。論理和回路3468は、エッジ検出部344 または比較判定部3466からのレベル"H "が供給された際にレベル"H "の切換信号55を切換スイッチ3464に出力する。これ以外の場合、レベル"L "を出力する。
【００５３】
ノイズ低減部346 は、個々の画像に対する補正されたしきい値50を用いて画像データ46に対する置換の有無を判定し、画像のノイズ低減を行う。輝度データY において低輝度側では平均値を採用する画素が多くなりノイズが抑えられ、高輝度側では対象の画素データそのものが用いられる傾向による画像データ54が生成される。ノイズ低減処理部34d の動作については、さらに後段で詳述するが、ノイズ低減処理部34d はこのように演算処理により補正されたしきい値50と比較判定して用いる画素データ46の対象の画素（自画素）または平均値のいずれか一方を決めて出力し、画像データ54を圧縮／伸張処理部36および表示用信号処理部40に出力する。
【００５４】
なお、エッジ検出部344 は、たとえば代表的な微分処理を用い、この微分処理に基づいて得られた高域成分だけを取り出している。
【００５５】
圧縮／伸張処理部36は、供給された１フレーム分の画像データ54（輝度データと色差データ）に、たとえば、直交変換を用いたJPEG（Joint Photographic Experts Group）規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。圧縮／伸張処理部36は、システム制御部16の制御信号16b により記録時には圧縮したデータ38a を図示しないメモリカードI/F 部を介してメモリカード38に記録させる。
【００５６】
圧縮／伸張処理部36が伸張処理を行う場合、逆にメモリカード38から読み出したデータ36a をメモリカードI/F 部を介して圧縮／伸張処理部36に取り込んで処理する。ここで処理されたデータは、システム制御部16の制御により圧縮／伸張処理部36は、所要の順序で処理して、たとえば図示していないが記録用処理部34b のフレームメモリに伸張したデータを書き込む。メモリカード38には、たとえば、いわゆるスマートメディアやICカードのような記録媒体を用いる。
【００５７】
表示用信号処理部40には、レベル補正部、および表示変換処理部が備えられている。表示レベル補正部は、システム制御部16からの制御信号16b に応じて行う。システム制御部16は、前処理部で検出したデータを考慮して制御信号16b を生成している。表示変換処理部はフレームメモリから読み出し液晶モニタ42に表示する画素数を読み出す。記録に対応して、たとえば画素1280×1024を320 ×240 と４分の１にする場合、フレームメモリをアドレス制御して間引き読出した画像データに対して信号処理を施す。
【００５８】
また、表示変換処理部は、電子ズームで拡大／縮小表示する場合も領域に合わせて画像データを読み出し、補間／間引き等を行う補間処理機能も有する。表示変換処理部は、補間／間引き処理した画像データ40a を液晶モニタ42に供給する。
【００５９】
液晶モニタ42は、システム制御部16の制御（図示せず）に応じて供給される輝度データおよび色差データ54の表示におけるタイミングを調整して表示する機能を有する。また、液晶モニタ42は三原色RGB のデータで表示させてもよい。
【００６０】
次にディジタルカメラ10の動作について説明する（図５を参照）。電源投入して初期設定後、図示しないがモードの選択を行う。本実施例ではこのモード設定を撮影モードにする。これ以外の場合のモードを選択した場合、その選択したモードの手順に移行する。選択した撮影モードのうち、どんな撮影を行うか撮影モードの設定を行う（ステップS10 ）。本実施例の説明では夜間モードを設定する。
【００６１】
この選択したモードで被写界から取り込んだシーンに動画用の信号処理として間引き処理や表示用信号処理を施して液晶モニタ42に動画表示する（ステップS12 ）。
【００６２】
次に電源をオンのままにあるかどうかの判断を行う（ステップS14 ）。電源がオン状態にある場合（YES ）、予備の撮像に進む（ステップS16 へ）。また、電源がオフになっている場合（NO）、ディジタルカメラ10の動作を終了する。予備の撮像では、レリーズボタン140 を２段ストロークのうちの１段までの押圧操作により本撮像を行う前段の処理として撮像部28で測光を行う。この測光で得られた画像データは前処理部34a に供給される。前処理部34a では、得られた画像データ32a を基にレベル検出を行う。レベル検出は、色フィルタの色フィルタセグメント配置に依存した色を考慮する画像データおよび白黒的な画像データ等に分けて行われる。検出したレベルや各種の設定に関する情報がシステム制御部16に供給される。
【００６３】
システム制御部16では、検出したレベルに基づいて露出量を算出する。露出量は、絞り量およびシャッタ速度をどのくらいにするかを示すパラメータである。夜景モードの設定においてストロボ発光を行う設定になっているかに応じて発光量および被写体との距離も考慮してシステム制御部16では露出量が決定されている。また、夜景モードの設定に応じて得られた撮像信号に対する増幅も行われる。
【００６４】
システム制御部16は、演算により算出した結果やこの選択したモードに関し集めた情報のなかから、しきい値の算出に関わる条件（すなわち各種パラメータ）の情報16c をしきい値生成部34c に供給する（ステップS18 ）。これにより、各条件の取得が行われる。
【００６５】
これらのパラメータ16c はしきい値生成部34c のしきい値算出部340 に供給される。しきい値算出部340 では、これらのパラメータ16c を用いてしきい値の算出が行なわれる（ステップS20 ）。このように予備の撮像にともなってしきい値をあらかじめ算出しておく。
【００６６】
この後、ユーザがレリーズボタン140 を全押し状態にするストローク操作（２段の押圧操作）が行われたかどうか判断する（ステップS22 ）。この操作が行われた場合（YES ）、この本撮像の指示14b を受けてシステム制御部16は、撮像部28でたとえば、全画素読出しを行なって静止画の撮像を行う（ステップS24 ）。この操作が行われなかった場合（NO）、動画表示に戻る（ステップS12 へ）。
【００６７】
この静止画撮像は、色フィルタ28b により色分解された入射光を固体撮像素子28c で光電変換して信号電荷に変換し、読み出した撮像信号29をディジタル変換し、前処理部34a のフレームメモリ（図示せず）に出力するまでの処理である。上述の処理の各手順を簡単に説明すると、固体撮像素子28c は、得られた信号電荷を信号29としてアナログ信号処理部30に供給する。
【００６８】
アナログ信号処理部30では、供給される信号29にゲイン調整を施し、A/D 変換部32に出力する。A/D 変換部32では、供給されるアナログ信号30a をディジタル信号32a に変換している。このディジタル信号32a は画像データとして信号処理部34の前処理部34a に供給される（静止画撮像工程）。
【００６９】
供給された画像データ32a に対する画像信号処理を施す（サブルーチンSUB1）。画像信号処理は、信号処理における一連の処理を行って、ノイズの低減された画像にしている。この画像信号処理については後段でさらに説明する。生成された画像データ54が圧縮／伸張処理部36および表示用信号処理部40にそれぞれ供給される。
【００７０】
表示用信号処理部40では、システム制御部16からの制御に応じて供給された画像データ54を液晶モニタ42に表示する画素数に合わせる間引き処理を行う。間引き処理された画像データ40a が液晶モニタ42に供給される。液晶モニタ42は、供給された画像データ40a を所定の時間モニタ上に表示する（ステップS26 ）。個の表示により、ユーザはどのように被写体が撮像されたかの確認をすることができる。
【００７１】
また、圧縮／伸張処理部36では、供給された画像データ54に対して、たとえばJPEG規格に基づく圧縮処理を施す（ステップS28 ）。圧縮処理の施された画像データ36a が図示しないメモリカードインターフェースを介してメモリカード38に供給される。メモリカード38では供給される画像データ36a が図示していないがシステム制御部16の制御に応じてメモリカード38に記録される（ステップS30 ）。この記録後、撮影モード設定に戻る（ステップS10 へ）。このように撮像時ディジタルカメラ10は動作している。
【００７２】
次にディジタルカメラ10における画像信号処理を説明する（サブルーチンSUB1：図６を参照）。画像信号処理では、まず前処理部34a にて供給された画像データ32a をフレームメモリ（図示せず）に入力する（サブステップSS10）。連写の場合、各フレームメモリに撮像したシーンを入力する。入力した画像データ32a が非破壊型のフレームメモリを用いることにより、システム制御部16の制御に応じて読み出される。前処理部34a では、レベル検出および各種項目に対してそれぞれ補正処理が行なわれる。レベル検出結果は図示しないが信号線を介してシステム制御部16に供給される。また、補正処理した画像データ44は記録用処理部34b に供給される。
【００７３】
システム制御部16では供給されるレベルから露出量の算出を行い、絞り値およびシャッタ速度を決定する。また、システム制御部16には、操作部14から供給される選択により設定した情報等が供給される。システム制御部16は、しきい値算出に関わるパラメータ16c をしきい値生成部34c に供給する。
【００７４】
しきい値生成部34c では供給されるパラメータ16c を用いてしきい値算出部340 にて撮像した画像全体に対するしきい値を算出する（サブステップSS12）。したがって、しきい値は、カメラ撮影時の条件となるパラメータにより変化することになる。このしきい値はこれら複数のパラメータのそれぞれの影響を考慮して数値化される。
【００７５】
なお、しきい値算出部340 は、信号処理部34に配設しているが、ここに配設が限定されるわけでなく、システム制御部16に配設してもよい。システム制御部16にしきい値算出部を設けると、前処理部34a で得られたレベル検出を用いて露出量の設定を信号処理部34で行っていることおよび設定した情報等がまとめられるからである。この場合、システム制御部16から算出したしきい値がしきい値補正部に供給される。
【００７６】
しきい値生成部34c は、本実施例では後述する各画素データに対してしきい値補正を施す際に対応が取り易いと思料して、しきい値算出部340 およびしきい値補正部342 を有している。
【００７７】
次に記録用処理部34b で画像データ44に対して各種の信号処理を施して輝度データY 、色差データ（R-Y), (B-Y) を生成する（サブステップSS14）。この記録用の信号処理は、さらに説明すると、順次レベル補正、ガンマ補正、および補間処理を施して三原色R, G, B のプレーンデータを生成する。そして、これらのプレーンデータを色差マトリクス処理部に供給して輝度信号Y 、色差信号（R-Y), (B-Y) を生成する。生成された輝度信号Y 、色差信号（R-Y), (B-Y) が画像データ46としてしきい値生成部34c およびノイズ低減処理部34d に供給される。以下の処理でこの出力信号46の形式を繰返し読み出す要求があるときには非破壊型のフレームメモリを用いてこのフレームメモリ（図示せず）に記憶させるとよい。
【００７８】
次にしきい値生成部34c のしきい値補正部342 では、供給される画像データ46の各画素を用いてしきい値算出部340 から供給されるしきい値48に補正を施す（サブステップSS16）。しきい値の補正は、供給される画素の輝度レベル、または色差レベルに応じて行う。本実施例のように夜景モードの場合、輝度レベルが低いにもかかわらずノイズレベルが高いため目立ち易い傾向にあることがわかっている。また、輝度レベルが低いとき、ガンマ補正の影響を強く受けることも知られている。このような観点からしきい値の補正は、算出したしきい値よりも高めにする。一方、輝度レベルの高い画素に対するしきい値は算出したしきい値よりも低めに補正する。このようにして各画素ごとに補正したしきい値50をノイズ低減処理部34d に供給している。
【００７９】
なお、しきい値補正を施す目安に輝度データのレベルを用いたが、このレベルに限定されるものでなく、色差データのレベルでもよい。実際に、色の濃い、すなわち色データのレベルが高いところでノイズが目立つ。この場合のノイズ発生傾向を考慮してしきい値を補正すると、後段で行うノイズ低減処理により一層ノイズ低減効果を発揮させることができる。特に、ディジタル的なゲインアップで効果を発揮する。
【００８０】
ノイズ低減処理部34d では、エッジの領域を除いて、ノイズ低減対象の画素値（レベル）L₄₆ とこの画素を含む周囲の画素の加算平均値L_AV とのいずれか一方の値の選択を供給されるしきい値50を用いて判定する（ノイズ低減処理：サブステップSS18）。エッジの領域についてはエッジ検出部344 の検出結果52を用いる。
【００８１】
このノイズ低減処理では、手順を簡単に説明すると、対象の画素値L₄₆ と加算平均値L_AV との差分値L_DIFを算出する。ここで、差分値L_DIFはずれの方向に関わりなく算出すると、差分の絶対値を用いるとよい。そして、この画素に対するしきい値50と差分値L_DIFとを比較する。差分値L_DIFがしきい値50よりも小さいとき対象の画素レベルが小さくてノイズを多く含む傾向があると推量されるから、加算平均値L_AV を用いる。加算平均値L_AV は平均することによりランダムなノイズ成分が抑え込まれている。また、差分値L_DIFがしきい値50以上のとき周囲に対して信号レベルが十分に大きくS/N 比が高いと推量されるから、対象の画素値L₄₆ をそのまま用いる。エッジ検出部344 がエッジ検出した場合の画素も対象の画素値L₄₆ をそのまま用いる。
【００８２】
より具体的に説明する（図７を参照）。たとえば、画像60内に斜めにエッジ境界62を有し、エッジ境界で分けられる領域60a, 60bについてノイズ低減処理を行う。領域60a はこの領域全体の平均した画像レベルが10、領域60b はこの領域全体の平均した画像レベルが50の場合とする。この例におけるノイズ低減処理では列方向の３画素を用い、この３画素の中央を対象の画素とする。
【００８３】
領域60a の対象の画素に対する補正したしきい値50は通常のしきい値より高めにしたレベル＝８とする。対象の画素値L₄₆ ＝16、この対象を挟む上下２画素を含む３画素で平均すると、加算平均値L_AV は（10＋16＋10)/3 から12が得られる。差分値L_DIFは16−12＝４である。差分値L_DIFがしきい値50よりも小さいので、対象の画素はレベル16をレベル12に置換する。これにより、対象の画素に含まれるノイズ成分が抑制される。
【００８４】
また、領域60b の対象の画素に対する補正したしきい値50は通常のしきい値より低めにしたレベル＝５とする。対象の画素値L₄₆ ＝60、この対象を挟む上下２画素を含む３画素で平均すると、加算平均値L_AV は（78＋60＋64)/3 から67が得られる。差分値L_DIFは｜60−67｜＝７である。差分値L_DIFがしきい値50以上なので、ノイズ成分が目立たないとして対象の画素はレベル60をそのまま用いる。このような手順でノイズ低減処理を各画素に対して行う。
【００８５】
次にノイズ低減処理が画像データ46の１フレーム分すべてに対して終了したかどうかの判断を行う（サブステップSS20）。まだ１フレームの画像データ46に対してノイズ低減処理が１フレーム分終了していない場合（NO) 、画像データ46の次の対象の画素を読み出してこの処理を繰り返す（サブステップSS16へ戻る）。次の対象の画素を読出しは、システム制御部16の制御により行われる。また、１フレーム分すべて処理が終了した場合（YES ）、リターンに移行してサブルーチンSUB1を終了する。このように動作させることにより、たとえば夜景モードのようにノイズの目立つモードであっても従来の画像のようなノイズっぽい画像でなく、かつ画質劣化の少ない高品質な画像を容易に得ることができる。
【００８６】
ここで、周囲の画素を用いて算出する平均値に単純な加算平均（すなわち、重み係数0.5 ）を利用しているが、周囲の画素に対する重み係数は0.5 に限定されず、各画素の位置に応じてそれぞれ異なる重み係数で乗算し平均してもよいことは言うまでもない。
【００８７】
以上のように構成することにより、各種の撮影条件を考慮してしきい値を設定し、しきい値に対して画素そのものまたは平均値のいずれかを選択して画像を生成するので、ノイズ成分の少ない画像にすることができる。したがって、これまでの、たとえば夜景モードで撮影した画像に比べて高品質な画像を提供することができる。
【００８８】
また、画素毎にしきい値を補正することにより、一層ノイズの抑制された、高画質な画像にすることができる。
【００８９】
なお、本実施例は、ディジタルカメラに適用した場合について説明したが、この実施例に限定されるものでなく、画像入力条件を取得し、画像を生成する装置に適用しても同様にノイズ低減の効果を発揮させることができることは言うまでもない。
【００９０】
【発明の効果】
このように本発明の画像信号処理装置によれば、信号処理手段で画像データの各画素に対してノイズ検出対象にし、しきい値生成手段で画像データのノイズ検出対象に対するしきい値の生成を行い、ノイズ低減処理手段ではこの対象の画素データと周辺の画素データの平均値とのレベル差から対象の画素データが周囲を平均した際のレベルに対して相対的にどの程度かを調べて、このレベル差がしきい値を基準に判定し、判定結果に応じて対象の画素データに対してこの画素データそのものまたは平均値のいずれかを切換選択して画素データの置換を行って、画像入力条件に応じて画像におけるノイズを抑えて画質劣化の少ない画像を生成することにより、どのような画像入力条件で撮像してもノイズの目立たない高画質な画像を得ることができる。
【００９１】
また、本発明の画像信号処理方法によれば、画像データの各画素に対してノイズ検出対象にし、この際にこの画素の周囲の画素の平均値を算出し、各対象の画素と平均値とのレベル差から対象の画素が相対的に周囲とどの程度にずれているかを求め、しきい値を基準にしきい値とレベル差とを比較判定し、レベル差が小さい場合ノイズ成分を多く含むおそれを考慮して平均値を用い、レベル差がしきい値以上の場合ノイズ成分より信号成分が大きいと判定して対象の画素レベルを用い、判定に応じた切換選択を行って画素データの置換して、画像入力条件に応じて画像に含まれるノイズによる画質劣化の少ない画像を生成することにより、画像入力条件によらず常にノイズの目立たない高画質な画像を得ることがができる。
【図面の簡単な説明】
【図１】本発明の画像信号処理装置を適用したディジタルカメラの概略的な構成を示すブロック図である。
【図２】図１の信号処理部におけるしきい値生成部の構成を示すブロック図である。
【図３】図１の信号処理部におけるノイズ低減処理部の構成を示すブロック図である。
【図４】図３のノイズ低減部の構成を示すブロック図である。
【図５】図１のディジタルカメラの動作手順を説明するメインフローチャートである。
【図６】図５の画像信号処理（サブルーチンSUB1）の動作手順を説明するフローチャートである。
【図７】図５の画像信号処理におけるノイズ低減処理のより具体的な例を示す模式図である。
【符号の説明】
10 ディジタルカメラ
12 光学レンズ系
14 操作部
16 システム制御部
28 撮像部
32 A/D 変換部
34 信号処理部
36 圧縮／伸張処理部
42 液晶モニタ
34a 前処理部
34b 記録用処理部
34c しきい値生成部
34d ノイズ低減処理部

Claims

画像入力して得られた画像データに信号処理を施す画像信号処理装置において、該装置は、
該画像データに対して補正、および記録用の信号処理を施すとともに、前記画像データのそれぞれに対して画像入力時の条件および／または画素レベルを基に前記画像データに対するノイズ低減処理を施す信号処理手段とを含み、
前記信号処理手段は、前記画像入力時の条件および／または前記画素レベルを基にしきい値を生成するしきい値生成手段と、
前記ノイズ低減処理においてノイズ検出対象の画素データと該画素データの周辺近傍にある画素データの平均値とのレベル差を求め、該レベル差と設定したしきい値とから前記ノイズ検出対象の画素データまたは前記平均値のいずれかの使用を判定し、該使用の判定結果に応じて使用する画素データを切り換えるノイズ低減手段とを含み、
前記ノイズ低減手段は、ノイズ検出対象の画素データと該画素データの周辺近傍の画素データのレベル差を算出するレベル差算出手段と、
前記周辺近傍の画素データの平均値を算出する平均値算出手段と、
該レベル差と設定したしきい値とから前記ノイズ検出対象の画素データまたは前記平均値のいずれかの使用を判定する比較判定手段と、
該使用の判定結果に応じて使用する画素データを切り換える画素切換手段とを含み、
さらに、前記平均値算出手段は、前記周辺近傍の画素データに対して該画素データの位置に応じてそれぞれ異なる重み係数を掛けて平均値を算出することを特徴とする画像信号処理装置。
請求項１に記載の装置において、前記しきい値生成手段は、前記しきい値の各種条件を取得する条件取得手段と、
該取得した条件に基づいて前記しきい値の算出を行うしきい値算出手段とを含むことを特徴とする画像信号処理装置。
請求項１または２に記載の装置において、前記しきい値生成手段は、前記設定したしきい値を前記ノイズ検出対象の画素データのレベルに応じて補正するしきい値補正手段を含むことを特徴とする画像信号処理装置。
請求項２または３に記載の装置において、前記条件取得手段は、取得条件の項目を撮像感度、露出条件、撮影モード、シャープネス、光源種、操作、および／または表示倍率を取得することを特徴とする画像信号処理装置。
画像入力により得られる画像データに信号処理を施して画像を生成する画像信号処理方法において、該方法は、
前記画像入力を行う上で用いる画像入力条件を取得する第１の工程と、
該取得した画像入力条件に基づいて前記画像データが含むノイズの低減処理を施す対象の画素の使用を判定するしきい値を算出する第２の工程と、
前記対象の画素の周辺近傍の画素が有するレベルを用いてその平均値を算出する第３の工程と、
前記対象の画素のレベルと前記平均値の差を算出する第４の工程と、
該レベル差と前記しきい値とを比較判定して使用する画素データを該対象の画素データそのものを用いる場合と前記平均値を用いる場合のいずれか選択する第５の工程と、
該対象の画素のレベルを前記選択した画素データにする第６の工程とを含み、
第３の工程は、前記周辺近傍の画素データに対して該画素データの位置に応じてそれぞれ異なる重み係数を掛けて平均値を算出することを特徴とする画像信号処理方法。
請求項５に記載の方法において、第２の工程で算出したしきい値の補正を第５の工程の比較判定の前までに行うことを特徴とする画像信号処理方法。
請求項５または６に記載の方法において、第１の工程は、前記画像入力条件として取得する条件の項目を撮像感度、露出条件、撮影モード、シャープネス、光源種、操作、および／または表示倍率とすることを特徴とする画像信号処理方法。
画像入力して得られた画像データに信号処理を施す画像信号処理装置において、該装置は、
該画像データに対して補正、および記録用の信号処理を施すとともに、前記画像データのそれぞれに対して画像入力時の条件および／または画素レベルを基に前記画像データに対するノイズ低減処理を施す信号処理手段とを含み、
前記信号処理手段は、前記画像入力時の条件および／または前記画素レベルを基にしきい値を生成するしきい値生成手段と、
前記ノイズ低減処理においてノイズ検出対象の画素データと該対象の画素データを含めた周辺近傍にある画素データの平均値とのレベル差を求め、該レベル差と設定したしきい値とから前記ノイズ検出対象の画素データまたは前記平均値のいずれかの使用を判定し、該使用の判定結果に応じて使用する画素データを切り換えるノイズ低減手段とを含み、
前記ノイズ低減手段は、ノイズ検出対象の画素データと該画素データの周辺近傍の画素データのレベル差を算出するレベル差算出手段と、
前記周辺近傍の画素データの平均値を算出する平均値算出手段と、
該レベル差と設定したしきい値とから前記ノイズ検出対象の画素データまたは前記平均値のいずれかの使用を判定する比較判定手段と、
該使用の判定結果に応じて使用する画素データを切り換える画素切換手段とを含み、
さらに、前記平均値算出手段は、前記周辺近傍の画素データに対して該画素データの位置に応じてそれぞれ異なる重み係数を掛けて平均値を算出することを特徴とする画像信号処理装置。