JP2010068508A - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム - Google Patents

Abstract

【課題】デジタルカメラ等の撮像装置において、電源変動等によるパターンノイズを低減し、撮像装置における画質向上を図ることを目的とする。
【解決手段】有効部およびオプティカルブラック（ＯＢ）部を含む撮影画像を複数の周波数成分に分解し、ＯＢ部の周波数成分からパターンノイズの発生している位置とその量を算出する。算出した結果に基づいて有効部の周波数成分にノイズ抑制処理を行う。ノイズ抑制処理を行った周波数成分を合成してノイズ抑制された画像を得る。
【選択図】図６

Description

本発明は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子から得た画像を画像処理する画像処理装置、撮像装置、画像処理方法、画像処理プログラムに関するものである。本発明は、特に、撮影画像の画質向上に関する。

デジタルカメラやビデオカメラ等の撮像装置にはＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子が使用されている。近年、撮像素子の多画素化が進み、その影響で、個々の画素サイズは小さくなっている。また、多画素化された撮像素子を使用しても連続撮影速度等の使用感を損なわないために高速処理が必要になっている。高速処理の手法としては、撮像素子の出力経路を複数にし、複数画素の読み出しを同時に行う多チャンネル化などがある。それに対して、画素サイズの縮小により、光信号が小さくなるため、ノイズの影響を受けやすくなってしまうという問題がある。また、多チャンネル化の影響で、出力経路によってノイズ量が異なるといった問題がある。

例えば、多チャンネル化されたＣＭＯＳイメージセンサでは、複数の出力アンプを有するが、この出力アンプの特性にばらつきがあると、列ごとにレベル差が発生する。これを垂直方向のパターンノイズと呼ぶ。また、各画素の電源やＧＮＤ（接地）は、共通であるため、選択行の読み出し中にこれらの電源やＧＮＤが変動すると、選択行全体にレベル差が発生する。これを水平方向のパターンノイズと呼ぶ。
水平方向のパターンノイズは、撮像素子内における電源やＧＮＤの配置された位置によって、左右で強度差が生じることがある。各画素の電源やＧＮＤからの配線長が異なると、その配線のインピーダンスも画素によって異なる。そのため、電源やＧＮＤから遠い位置にある画素ほど配線のインピーダンスが大きくなり、電源やＧＮＤの変動の影響も大きくなる。その結果、パターンノイズの強度が電源やＧＮＤから遠い位置ほど大きくなることがある。これらパターンノイズは、画質を悪化させる要因となるので、低ノイズ化が要求される。

垂直方向のパターンノイズは、出力アンプ特性によって決まる固有のパターンノイズであるため、出力アンプごとのばらつき補正により補正可能である。一方、水平方向のパターンノイズについては、電源やＧＮＤの変動がランダムであれば、パターンノイズもランダムになる。このようなパターンノイズを補正する手法として次に述べるオフセット補正がある。

撮像素子には、被写体光が到達しない様に遮光されたオプティカルブラック（以下、ＯＢと称する）と呼ばれる領域が設けられている。パターンノイズは、このＯＢ部にも発生する。そこで、オフセット補正では、このＯＢ部のうち画素領域の水平方向端部に帯状に設けられた水平オプティカルブラック（以下、ＨＯＢと称する）の行ごとの平均値を算出し、水平方向のパターンノイズ量を算出する。この値を遮光されていない通常の領域である有効部の各行から減算することでパターンノイズを補正する。

その他、ノイズ除去する手法として、周波数分解を利用したノイズ除去方法が提案されている。特許文献１では、画像を多重解像度変換により複数の周波数帯域における低周波成分および高周波成分に分解し、分解した低周波成分および高周波成分の各々に対してノイズ除去処理を行う方法が提案されている。ノイズ除去処理には、エッジ保存平滑化フィルタなどを用いており、ノイズ除去した周波数成分を合成して補正画像を得るというものである。

また、特許文献２では、撮像素子より得られた画像を高周波成分と低周波成分に分解する操作を繰り返し、複数の周波数帯域に分解し、各周波数帯域における高周波成分からノイズ成分を除去し、周波数合成により補正画像を得るという方法が提案されている。高周波成分からのノイズ除去にあたっては、被写体エッジ成分を誤って除去しないために同周波数帯における低周波成分にエッジ検出フィルタをかけ、エッジ保存情報を生成し、これを利用して、エッジ部以外の場所からノイズ除去を行っている。

特開２００６−３０９７４９号公報 特開２００８−１５７４１号公報

しかし、撮影画像には、行または列ごとに発生するパターンノイズのほかに、画素ごとにランダムに発生するランダムノイズも含まれている。ＨＯＢ領域の行ごとの平均値を有効部から減算するオフセット補正では、ランダムノイズが多い場合、このランダムノイズの影響でＨＯＢ領域から正確にパターンノイズを検出することができなくなってしまう。また、左右で強度差のあるパターンノイズが発生した場合、ＨＯＢ領域だけでは左右の強度差を検出することができない。その結果、十分な補正効果が得られなくなるばかりか、逆に画像を劣化させてしまうおそれがある。
また、特許文献１のノイズ除去方法は、エッジ保存平滑化フィルタを用いるため、エッジ部以外の場所は、ノイズの有無に関わらず補正されてしまう。さらに、特許文献２のノイズ除去方法でも同様に、エッジ検出フィルタによりエッジの検出された箇所以外の場所は、ノイズの有無に関わらず補正してしまう。したがって、従来のノイズ除去方法では、元々ノイズがなく、補正が不要である場所まで補正してしまい、その結果、画像の解像感が劣化してしまうおそれがあった。

本発明の課題は、撮影画像から左右または上下による強度差のあるパターンノイズを精度よく検出することができ、これを補正することで画質を向上できる画像処理装置、撮像装置、画像処理方法、画像処理プログラムを提供することである。

本発明に係る画像処理装置は、遮光された遮光画素領域および遮光されていない非遮光画素領域をもつ撮像素子から得た画像を、２つ以上の周波数成分に分解する周波数成分分解部と、前記遮光画素領域の周波数成分から、該周波数成分におけるノイズ量を算出するノイズ量算出部と、前記ノイズ量算出部により算出したノイズ量に応じて、前記非遮光画素領域の周波数成分のノイズ成分を抑制するノイズ抑制部と、前記周波数成分分解部により分解した周波数成分を合成して画像を生成する周波数成分合成部と、を備える。

本発明によれば、撮影画像から左右または上下による強度差のあるパターンノイズを精度よく検出することができ、これを補正することで画質を向上できる。

本発明による画像処理装置を含む撮像装置の第１実施形態を示すブロック図である。 ＣＭＯＳイメージセンサを用いる第１実施形態の撮像素子６０の概略構成を示す図である。 ＣＭＯＳイメージセンサの単位画素（１画素分）６００の回路の一例を示す図である。 第１実施形態の撮像素子６０が採用する多チャンネル構成のＣＭＯＳイメージセンサにおける全体レイアウト図である。 画像処理部１００の回路構成例を示すブロック図である。 周波数成分分解部１１０の回路構成例を示す機能ブロック図である。 入力画像が複数の周波数成分に分解される様子を示す図である。 周波数成分合成部１２０の回路構成例を示す機能ブロック図である。 補正部１２３の構成を示すブロック図である。 補正処理を説明する図である。 ＬＨ画像におけるパターンノイズ発生行および非発生行のウェーブレット展開係数の絶対値を示す図である。 ノイズ抑制部においてウェーブレット展開係数に乗ずる補正係数を示す図である。 補正部におけるＬＨ画像に対する行ごとの処理の流れを示すフローチャートである。 画像処理部１００におけるノイズ抑制処理を示すフローチャートの一例である。 第２実施形態における周波数成分合成部２２０の回路構成例を示す機能ブロック図である。 補正部２２３の構成を示すブロック図である。 第３実施形態において補正部が行うＬＨ画像に対する行ごとの処理の流れを示すフローチャートである。 強度比Ｗｒ（ｍ）の求め方を示す図である。 水平位置によって強度差のあるパターンノイズが発生している場合のＬＨ画像におけるパターンノイズ発生行の展開係数の絶対値および閾値Ｗｔｈ’（ｎ，ｍ）を示す図である。 強度比Ｗｒ（ｍ）で除算した補正係数を示す図である。 第４実施形態における周波数成分合成部４２０の回路構成例を示す機能ブロック図である。 補正部４２３の構成を示すブロック図である。 被写体の輝度レベルから輝度係数を算出するためのグラフである。 第５実施形態の画像処理部５００の回路構成例を示すブロック図である。 周波数成分合成部５２０の回路構成例を示す機能ブロック図である。 補正部５２３の構成を示すブロック図である。 ＣＭＯＳイメージセンサを用いる第６実施形態の撮像素子６０の概略構成を示す図である。 補正処理を説明する図である。 ＬＨ画像におけるパターンノイズ発生行のウェーブレット展開係数の絶対値を示す図である。 補正係数ｃ’のグラフである。 ＬＨ画像におけるパターンノイズ発生行に対してノイズ抑制処理を行った後のウェーブレット展開係数の絶対値を示す図である。 補正部におけるＬＨ画像に対する行ごとの処理の流れを示すフローチャートである。 第７実施形態における補正部のＬＨ画像に対する行ごとの処理の流れを示すフローチャートである。 第７実施形態におけるノイズ抑制部の処理を説明する図である。

以下、本発明を実施するための最良の形態について図面等を参照して説明する。

（第１実施形態）
図１は、本発明による画像処理装置を含む撮像装置の第１実施形態を示すブロック図である。第１実施形態の撮像装置は、以下を備えたデジタルカメラである。
・撮影レンズ１０
・レンズ制御手段１１
・シャッター１２
・シャッター制御部１３
・アナログ・フロント・エンド回路（以下、ＡＦＥと称する）１４
・デジタル・フロント・エンド回路（以下、ＤＦＥと称する）１５
・タイミング発生回路（以下、ＴＧと称する）１６
・メモリ制御回路１７
・画像表示メモリ１８
・画像表示部１９
・メモリ２０
・測距制御部２１
・温度計２２
・測光制御部２３
・フラッシュ部２４
・アクセサリーシュー２５
・システム制御回路２６
・メモリ２７
・表示部２８
・不揮発性メモリ２９
・操作部３０
・電源制御部３１
・電源部３２
・記録媒体４０
・撮像素子６０
・画像処理部１００

撮影レンズ１０は、被写体像を撮像素子６０上に結像する撮影用のレンズである。撮影レンズ１０には、不図示のモーターが備えられ、後述する測距制御部２１の処理結果に応じて、モーターを駆動し、焦点を合わせる機構が備えられている。レンズ制御手段１１は、撮影レンズ１０からの情報をシステム制御回路２６に伝達するとともに、撮影レンズ１０の動作制御を行う。シャッター１２は、撮像素子６０の露光量を制御するメカニカルシャッターである。シャッター制御部１３は、シャッター１２を制御する。

ＡＦＥ１４は、撮像素子６０から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、クランプ回路（オフセット調整回路）、およびＤ／Ａ変換器から構成されている。ＤＦＥ１５は、ＡＦＥ１４からのデジタル出力を受けて、補正や並び替え等をデジタル処理する。ＴＧ１６は、撮像素子６０、ＡＦＥ１４、ＤＦＥ１５にクロック信号や制御信号を供給する。ＴＧ１６は、メモリ制御回路１７およびシステム制御回路２６によって制御される。

メモリ制御回路１７は、ＡＦＥ１４、ＤＦＥ１５、ＴＧ１６、画像処理部１００、画像表示メモリ１８、メモリ２０を制御する。ＤＦＥ１５からのデータは、画像処理部１００およびメモリ制御回路１７を介して、またはメモリ制御回路１７を介して、画像表示メモリ１８あるいはメモリ２０に書き込まれる。画像表示メモリ１８は、画像表示用のメモリである。画像表示部１９は、画像を表示する表示パネルであり、例えば、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）方式のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）からなる画像表示部である。メモリ２０は、撮影された静止画像や動画像を格納するメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を有している。

測距制御部２１は、システム制御回路２６により制御されてＡＦ（オートフォーカス）処理を行うための測距を行う。温度計２２は、撮影環境における周囲温度やカメラ内部（撮像素子周辺等）の温度を測定するための温度検知を行う。測光制御部２３は、システム制御回路２６により制御されてＡＥ（自動露出）処理を行うための測光を行う。また、測光制御部２３は、フラッシュ部２４と連携することにより、フラッシュ撮影機能も有する。

フラッシュ部２４は、被写体が暗い低輝度時に補助照明光を閃光発光するエレクトロニックフラッシュである。フラッシュ部２４は、ＡＦ補助光の投光機能等も兼ねている。フラッシュ部２４は、アクセサリーシュー２５に直接接続されるものである。しかしながら、撮影状況に応じて、フラッシュ部２４は、専用ケーブル等を介して接続したり、不図示の無線通信部を介して無線により接続したりして、撮像装置から離した位置に配置することも可能である。フラッシュ部２４の接続状況は、アクセサリーシュー２５の通信ラインの一部を使用して判断したり、不図示の無線通信部の通信状態から判断したりできる。なお、本実施形態では、フラッシュ部２４は、撮像装置に着脱可能な形態としたが、撮像装置に内蔵された形態であってもよい。アクセサリーシュー２５は、フラッシュ部２４等のアクセサリーを着脱可能な接続部であり、撮像装置に固着的に設置されている。

システム制御回路２６は、本実施形態の撮像装置全体を統括的に制御する制御部であり、周知のＣＰＵなどを内蔵する。メモリ２７は、システム制御回路２６の動作用の定数、変数、プログラムなどを記憶する記憶手段である。表示部２８は、システム制御回路２６によるプログラムの実行に応じて、動作状態やメッセージなどを表示する表示部である。不揮発性メモリ２９は、撮像装置の動作に必要な各種プログラムなどが格納された電気的に消去・記録可能なＥＥＰＲＯＭ等の記憶手段である。

操作部３０は、システム制御回路２６の各種動作指示を入力するためのメインスイッチ（起動スイッチ）、シャッタースイッチ、撮影モード等の切り替えを行う為のモード設定ダイアル等を含んだ操作部である。電源制御部３１は、電池検出回路やＤＣ−ＤＣコンバータ等から構成され、電源を制御する。電源部３２は、アルカリ電池やリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ電池などの二次電池、ＡＣアダプタなどからなる電源である。記録媒体４０は、メモリカードやハードディスクなどの着脱が可能な記録媒体である。記録媒体は、不図示の読み書き装置に装着された状態で情報の読み書きが可能である。

撮像素子６０は、光学像である被写体像を電気信号に変換するものである。本実施形態では、撮像素子６０としてＣＭＯＳイメージセンサを使用している。撮像素子６０は、光電変換を行う半導体部の表面に、画素毎に、光を透過・集光するためのマイクロレンズＭＬと、ベイヤー配列された分光透過率の異なるカラーフィルタＣＦを有している。撮像素子６０の詳細については、後述する。画像処理部１００は、ＤＦＥ１５からのデータあるいはメモリ制御回路１７からのデータに対して所定の画素補間処理や色変換処理、およびパターンノイズ補正処理等の各種画像処理を行う。本実施形態では、特にパターンノイズ補正処理について特徴点を有しており、この詳細については後述する。

図２は、ＣＭＯＳイメージセンサを用いる本実施形態の撮像素子６０の概略構成を示す図である。撮像素子６０は、画素領域として水平オプティカルブラック（ＨＯＢ）６１、垂直オプティカルブラック（以下、ＶＯＢと称する）６２、有効部６３を有している。ＨＯＢ６１は、画素領域の水平方向一端部に帯状に設けられ、被写体光が届かないように遮光された遮光画素領域である。図２の例では、撮像素子６０の左端部に設けられている。 ＶＯＢ６２は、画素領域の垂直方向一端部に帯状に設けられ、被写体光が届かないように遮光された遮光画素領域である。図２の例では、撮像素子６０の上端部に設けられている。有効部６３は、遮光されずに被写体光が到達可能な非遮光画素領域である。

図３は、ＣＭＯＳイメージセンサの単位画素（１画素分）６００の回路の一例を示す図である。単位画素６００は、フォトダイオード（以下、ＰＤと称する）６０１、転送スイッチ（以下、ＴＸと称する）６０２、リセットスイッチ６０３、フローティングディフージョン（以下、ＦＤと称する）６０４、アンプ６０５、行選択スイッチ６０６を備える。単位画素６００は、垂直出力線６０７に接続されている。ＰＤ６０１は、撮影レンズ１０（図１参照）によって結像された被写体像の光を受光して電荷を発生し蓄積する。ＴＸ６０２は、ＰＤ６０１で発生した電荷をＦＤ６０４に転送するスイッチであり、ＭＯＳトランジスタで構成されている。リセットスイッチ６０３は、ＦＤ６０４の電位をリセットする。ＦＤ６０４は、電荷を一時的に蓄積するコンデンサである。アンプ６０５は、ソースフォロアとして機能する増幅ＭＯＳアンプである。行選択スイッチ６０６は、行の選択スイッチである。以上の構成から、ＰＤ６０１で蓄積された電荷をＴＸ６０２でＦＤ６０４に転送して電荷が電圧に変換され、アンプ６０５からソースフォロワで垂直出力線６０７に画素出力が出力される。

図４は、本実施形態の撮像素子６０が採用する多チャンネル構成のＣＭＯＳイメージセンサにおける全体レイアウト図である。図４に示す配置では、既に図３で説明した単位画素６００がｎ×ｍ（ｎ，ｍは、いずれも自然数）のマトリックス状に配置〔単位画素６００（１−１）乃至６００（ｎ−ｍ）〕されている。各画素の蓄積制御は、垂直走査回路６４７からの信号（ＴＸ６０２制御信号φＴＸ、リセットスイッチ６０３制御信号φＲＥＳ、行選択スイッチ６０６制御信号φＳＥＬ）により行なわれる。
また、垂直出力線６０７〔６０７（１）乃至６０７（ｍ）〕は、垂直方向に並ぶ単位画素６００に共通で接続されている。この垂直出力線６０７は、１ライン毎に、Ｓ−Ｎ回路６４５〔６４５（１）乃至６４５（ｍ）〕に接続されている。Ｓ−Ｎ回路６４５〔６４５（１）乃至６４５（ｍ）〕の出力選択等の制御は、水平走査回路６４６〔６４６ａ及び６４６ｂ〕により行なわれる。Ｓ−Ｎ回路６４５〔６４５（１）乃至６４５（ｍ）〕の出力は、出力アンプ６４４〔６４４−１乃至６４４−４〕を介して後段の処理回路（図１のＡＦＥ１４等）へ出力される。

図４に示すＣＭＯＳイメージセンサにおいては、高速処理等に対応する為に、水平の複数画素（図４では４画素）を同時に処理できるように、出力アンプ６４４を４個備え、出力経路を振り分けて出力する構成となっている。また、この構成を効率的にレイアウトする為に、垂直出力線６０７〜Ｓ−Ｎ回路６４５〜出力アンプ６４４となる出力経路を、水平画素のうち、奇数画素の出力ライン〔１列、３列等〕は、撮像素子構成上の上部に配置している。同様に、水平画素のうち、偶数画素の出力ライン〔２列、４列等〕は、撮像素子構成上の下部に配置している。

すなわち、本実施形態の撮像素子６０が採用するＣＭＯＳイメージセンサの信号出力経路は、以下の２つに大きく分けられる。奇数列の信号出力経路：画素出力〜撮像素子上部のＳ−Ｎ回路ブロック６４５ａ〜撮像素子上部の出力アンプブロック６４４ａ（６４４−１および６４４−３）。偶数列の信号出力経路：画素出力〜撮像素子下部のＳ−Ｎ回路ブロック６４５ｂ〜撮像素子下部の出力アンプブロック６４４ｂ（６４４−２および６４４−４）。

Ｓ−Ｎ回路６４５は、ＣＭＯＳイメージセンサ固有のノイズを除去するものであり、これによりＣＣＤイメージセンサと同等のＳ／Ｎ比を得ることができるようになっている。行選択スイッチ６０６で選択された行の画素出力に対して、それぞれ信号成分Ｓとノイズ成分Ｎを保持し出力アンプ６４４により各画素の信号成分Ｓからノイズ成分Ｎを減算してノイズの無い画素信号が出力される。
ノイズ成分とは、ＴＸ６０２をオフの状態でリセットスイッチ６０３によりリセットされたＦＤ６０４をアンプ６０５、行選択スイッチ６０６および垂直出力線６０７を介してＳ−Ｎ回路６４５のＮ（Ｎｏｉｓｅ）信号として保持されたものである。ノイズ成分には、ＦＤ６０４のリセットノイズ、アンプ６０５のゲートソース間電圧の画素間ばらつき等がある。信号成分は、ＴＸ６０２をパルスでオンにすることでＰＤ６０１の電荷をＦＤ６０４で電圧に変換してノイズ成分と同様にＳ−Ｎ回路６４５でＳ（Ｓｉｇｎａｌ）信号として保持される。このとき保持される信号は、ノイズ成分を含んだものとなる。アンプ６４４で読み出すときにＳ信号からＮ信号を引くことで、ノイズ成分がキャンセルされる。

しかし、背景技術でも説明したように、出力アンプブロック６４４ａ（６４４−１および６４４−３）や６４４ｂ（６４４−２および６４４−４）の特性にばらつきがあると、列ごとにほぼ一様のレベル差が発生し、垂直方向のパターンノイズとなる。また、各画素６００（１−１）乃至６００（ｎ−ｍ）の電源やＧＮＤは共通であるため、選択行の読み出し中にこれらの電源やＧＮＤが変動すると、選択行全体にレベル差が発生し、水平方向のパターンノイズとなる。なお、垂直および水平方向のパターンノイズは、有効部だけでなく、ＯＢ部にも同様に発生する。本実施形態では、これらパターンノイズを画像処理部１００の動作によって低減する。

図５は、画像処理部１００の回路構成例を示すブロック図である。画像処理部１００は、周波数成分分解部１１０と周波数成分合成部１２０を有している。また、周波数成分合成部１２０は、補正部１２３（１２４）を有している。周波数成分分解部１１０は、画像処理部１００に対する入力画像をウェーブレット（Ｗａｖｅｌｅｔ）変換によって複数の周波数成分に分解する。周波数成分合成部１２０は、周波数成分分解部１１０が分解した周波数成分に対して補正部１２３（１２４）によりパターンノイズ抑制処理を施す。その後、分解されていた周波数成分を合成して出力画像を得る。本実施形態では、ウェーブレット変換として離散ウェーブレット変換（Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ ： ＤＷＴ）を用いている。

図６は、周波数成分分解部１１０の回路構成例を示す機能ブロック図である。図６に示すように、周波数成分分解部１１０は、第１周波数成分分解部１１１、第２周波数成分分解部１１２、・・・の複数の周波数成分分解部を有している。周波数成分分解部１１０は、第１周波数成分分解部１１１、第２周波数成分分解部１１２、・・・において、入力画像をウェーブレット変換によって複数の周波数成分に分解する。また、周波数成分分解部１１０は、第１周波数成分分解部１１１、第２周波数成分分解部１１２、・・・にそれぞれ対応して設けられた複数の水平ＤＷＴ部１１１１、１１２１、・・・と複数の垂直ＤＷＴ部１１１２、１１１３、１１２２、１１２３、・・・とを備える。

水平ＤＷＴ部１１１１、１１２１、・・・は、入力画像または後述の垂直ＤＷＴ部１１１３、１１２３、・・・により生成されたＬＬ画像に対して水平方向にウェーブレット変換処理を行う。水平ＤＷＴ部１１１１、１１２１、・・・は、このウェーブレット変換処理により、ウェーブレット展開係数からなる高周波成分と、スケーリング係数からなる低周波成分を生成する。

図７は、入力画像が複数の周波数成分に分解される様子を示す図である。図７に示すように、入力画像７１を水平方向における高周波成分（Ｈ画像７２）と低周波成分（Ｌ画像７３）の２つに分解する。この際、Ｈ画像７２およびＬ画像７３の水平方向の画素数は、それぞれ分解前の画像の半分になる。垂直ＤＷＴ部１１１２、１１２２、・・・は、水平ＤＷＴ部１１１１、１１２１、・・・により生成されたＨ画像に対して垂直方向にウェーブレット変換処理を行い、垂直方向高周波成分および対角方向高周波成分を生成する。すなわち図７に示すように、Ｈ画像７２を垂直方向高周波成分（ＨＬ画像７４）と対角方向高周波成分（ＨＨ画像７５）の２つに分解する。この際、ＨＬ画像７４およびＨＨ画像７５の垂直方向の画素数は、分解前の画像の半分になる。

垂直ＤＷＴ部１１１３、１１２３、・・・は、水平ＤＷＴ部１１１１、１１２１、・・・により生成されたＬ画像に対して垂直方向にウェーブレット変換処理を行い、低周波成分および水平方向高周波成分を生成する。すなわち図７に示すように、Ｌ画像７３を低周波成分（ＬＬ画像７６）と水平方向高周波成分（ＬＨ画像７７）の２つに分解する。この際、ＬＬ画像７６およびＬＨ画像７７の垂直方向の画素数は分解前の画像の半分になる。

第１周波数成分分解部１１１における上記処理により、図７に示す入力画像７１は、ＨＨ画像７５、ＨＬ画像７４、ＬＨ画像７７、およびＬＬ画像７６の４つに分解される。そして、この４つの画像のうち、ＬＬ画像７６が第２周波数成分分解部１１２に入力され、さらにＨＨ画像７９、ＨＬ画像７８、ＬＨ画像７１１、およびＬＬ画像７１０の４つに分解される。この４つの画像のうち、ＬＬ画像７１０が第３周波数成分分解部に入力され、同様にＨＨ、ＬＨ、ＨＬ、およびＬＬ画像の４つに分解される。このように、入力画像が３つの方向成分をもつ高周波成分と１つの低周波成分に分解され、低周波成分がさらに３つの高周波成分と１つの低周波成分に分解されるという処理が繰り返される。上記の処理により、入力画像７１は、複数の周波数成分に分解される。第１周波数成分分解部１１１、第２周波数成分分解部１１２、・・・における分解をそれぞれレベル１、２、・・・における分解とする。

周波数分解処理の具体的な計算例について図７を用いて説明する。入力画像７１の画素サイズを仮に１６×１６とし、各画素の値をｓ_ｎ，ｍ ^（０）とする。ｎは垂直位置、ｍは水平位置、指数の数字は分解レベルを示す。レベル０を入力画像としている。水平ＤＷＴ部１１１１では、入力画像７１（ｓ_ｎ，ｍ ^（０））に対して行ごとに式（１）、式（２）に示す計算をしてスケーリング係数から成るＬ画像７３（ｓ_ｎ，ｍ ^（１’））およびウェーブレット展開係数から成るＨ画像７２（ω_ｎ，ｍ ^（１’））を算出する。

式（１）のｐ_ｋ（ｋ＝０〜３）は、スケーリングを表す数列であり、本実施形態では、以下の表１に示すドベシィの数列を用いている。

ただし、数列の個数は、式（１）、式（２）の計算に必要なタップ数であり、本実施形態では、４タップのものを使用している。式（２）のｑ_ｋは、ウェーブレットを表す数列であり、スケーリングを表す数列ｐ_ｋから式（３）を用いて算出できる。

また、Ｌ画像７３（ｓ_ｎ，ｍ ^（１’））、Ｈ画像７２（ω_ｎ，ｍ ^（１’））ともにｍの範囲は１〜８となり、入力画像に対して水平方向の画素数が１／２（解像度が１／２）になる。

垂直ＤＷＴ部１１１２では、水平ＤＷＴ部１１１１で分解されたＨ画像７２（ω_ｎ，ｍ ^（１’））に対して、列ごとに式（４）、（５）のような計算をしてＨＬ画像７４（ω_ｎ，ｍ ^{（１，ｖ）}）およびＨＨ画像７５（ω_ｎ，ｍ ^{（１，ｄ）}）を算出する。

なお、指数部のｖ、およびｄは、それぞれ垂直方向成分、対角方向成分であることを示す。また、ＨＬ画像７４（ω_ｎ，ｍ ^{（１，ｖ）}）、ＨＨ画像７５（ω_ｎ，ｍ ^{（１，ｄ）}）ともにｎの範囲は１〜８となり、分解前の画像に対して垂直方向の画素数が１／２（解像度が１／２）になる。垂直ＤＷＴ部１１１３では、水平ＤＷＴ部１１１１で分解されたＬ画像７３（ｓ_ｎ，ｍ ^（１’））に対して、列ごとに式（６）、（７）のような計算をしてＬＬ画像７６（ｓ_ｎ，ｍ ^（１））とＬＨ画像７７（ω_ｎ，ｍ ^{（１，ｈ）}）を算出する。

なお、指数部のｈは、水平方向成分であることを示す。また、ＬＬ画像７６（ｓ_ｎ，ｍ ^（１））、ＬＨ画像７７（ω_ｎ，ｍ ^{（１，ｈ）}）ともにｎの範囲は１〜８となり、分解前の画像に対して垂直方向の画素数が１／２（解像度が１／２）になる。以上の手順で入力画像７１であるｓ_ｎ，ｍ ^（０）（ｎ，ｍ＝１〜１６）に対する第１周波数成分分解部１１１での分解（レベル１の分解）が行われる。分解の結果、水平方向、垂直方向ともに解像度が半分になった３つの高周波成分ω_ｎ，ｍ ^{（１，ｖ）}、ω_ｎ，ｍ ^{（１，ｄ）}、ω_ｎ，ｍ ^{（１，ｈ）}（ｎ，ｍ＝１〜８）と低周波成分ｓ_ｎ，ｍ ^（１）が出力される。このうち低周波成分であるｓ_ｎ，ｍ ^（１）が第２周波数成分分解部１１２に入力される。第２周波数成分分解部１１２では、ｓ_ｎ，ｍ ^（１）に対して上記と同様の計算を行い、ω_ｎ，ｍ ^{（２，ｖ）}、ω_ｎ，ｍ ^{（２，ｄ）}、ω_ｎ，ｍ ^{（２，ｈ）}、ｓ_ｎ，ｍ ^（２）（ｎ，ｍ＝１〜４）を出力する。

図８は、周波数成分合成部１２０の回路構成例を示す機能ブロック図である。周波数成分合成部１２０は、第１周波数成分合成部１２１、第２周波数成分合成部１２２、・・・の複数の周波数成分合成部を有している。また、周波数成分合成部１２０は、各周波数成分合成部に対応して設けられた複数の補正部１２３、１２４、・・・を備えている。周波数成分合成部１２０は、周波数成分分解部１１０が行った周波数成分分解処理により生成された各周波数帯域におけるＨＨ、ＬＨ、ＨＬ、およびＬＬ画像を逆ウェーブレット変換によって合成する。周波数成分合成部１２０は、第１周波数成分合成部１２１、第２周波数成分合成部１２２、・・・それぞれに対応して設けられた垂直逆ＤＷＴ部１２１１、１２１２、１２２１、１２２２、・・・および水平逆ＤＷＴ部１２１３、１２２３、・・・を備えている。

各垂直逆ＤＷＴ部は、周波数成分分解部１１０によって生成されたＨＨ、ＬＨ、ＨＬ、およびＬＬ画像に対して、垂直方向に逆ウェーブレット変換を行い、高周波画像（Ｈ画像）および低周波画像（Ｌ画像）を生成するものである。垂直逆ＤＷＴ部１２１１、１２２１は、ＨＨ画像およびＨＬ画像に対して垂直方向の合成処理を行い、Ｈ画像を生成する。すなわち、図７のＨＨ画像７５およびＨＬ画像７４を合成してＨ画像７２を生成する処理に相当する。この処理により垂直方向の画素数は、合成前の画像の２倍になる。垂直逆ＤＷＴ部１２１２、１２２２は、ＬＨ画像およびＬＬ画像に対し垂直方向の合成処理をしてＬ画像を生成する。すなわち、図７のＬＨ画像７７およびＬＬ画像７６を合成してＬ画像７３を生成する処理に相当する。この処理により垂直方向の画素数は、合成前の画像の２倍になる。

水平逆ＤＷＴ部１２１３、１２２３は、上記垂直逆ＤＷＴ部１２１１、１２２１、１２１２、１２２２により生成されたＨおよびＬ画像に対して水平方向に逆ウェーブレット変換を行い、合成画像を生成する。すなわち、図７のＬ画像７３およびＨ画像７２を合成して合成画像７１を生成する処理である。この合成画像は、第ｊ＋１周波数成分合成部で合成されたものであれば、第ｊ周波数成分合成部に入力されるＬＬ画像となる。第１周波数成分合成部で合成された画像は、出力画像となる。上記のように周波数成分合成部１２０では、周波数成分分解部１１０で分解した順序と逆方向に合成処理が行われる。

周波数合成処理の具体的な計算例について図７を用いて説明する。垂直逆ＤＷＴ部１２１１には、第２周波数成分分解部１１２で分解されたＨＨ画像７９（ω_ｎ，ｍ ^{（２，ｄ）}）および、第２周波数成分分解部１１２で分解され、後述する補正部１２３により補正されたＨＬ画像７８（ω_ｎ，ｍ ^{（２，ｖ）}）が入力される。そして式（８）のような計算によりＨ画像（ω_ｎ，ｍ ^（２’））が合成される。この合成により垂直方向の画素数は、合成前の画像の２倍になる。

垂直逆ＤＷＴ部１２１２には、第３周波数成分合成部で合成出力された画像７１０（ｓ_ｎ，ｍ ^（２））がＬＬ画像として入力される。また、第２周波数成分分解部１１２で分解され、後述する補正部１２３により補正されたＬＨ画像７１１（ω_ｎ，ｍ ^{（２，ｈ）}）も入力される。そして式（９）のような計算によりＬ画像（ｓ_ｎ，ｍ ^（２’））が生成される。この合成により垂直方向の画素数は合成前の画像の２倍になる。

水平逆ＤＷＴ部１２１３では、垂直逆ＤＷＴ部１２１１で合成されたＨ画像（ω_ｎ，ｍ ^（２’））および垂直逆ＤＷＴ部１２１２で合成されたＬ画像（ｓ_ｎ，ｍ ^（２’））が入力され、式（１０）のような計算により合成画像７６（ｓ_ｎ，ｍ ^（１））が生成される。この合成により水平方向の画素数は、合成前の画像の２倍になる。

以上の手順により第２周波数成分合成部１２１において、第３周波数成分合成部で合成出力された画像ｓ_ｎ，ｍ ^（２）（ｎ，ｍ＝１〜４）および第２周波数成分分解部１１２で分解された３つの高周波画像ω_ｎ，ｍ ^{（２，ｄ）}、ω_ｎ，ｍ ^{（２，ｖ）}、ω_ｎ，ｍ ^{（２，ｈ）}（ｎ，ｍ＝１〜４）の合成が行われる。合成の結果、水平、垂直方向ともに画素数が２倍になった合成画像ｓ_ｎ，ｍ ^（１）（ｎ，ｍ＝１〜８）が生成される。この合成画像ｓ_ｎ，ｍ ^（１）は、第１周波数成分合成部１２２に入力されるＬＬ画像となる。

第１周波数成分合成部１２２では、上記ｓ_ｎ，ｍ ^（１）（ｎ，ｍ＝１〜８）および第１周波数成分分解部１１１により分解されたω_ｎ，ｍ ^{（１，ｄ）}、ω_ｎ，ｍ ^{（１，ｖ）}、ω_ｎ，ｍ ^{（１，ｈ）}（ｎ，ｍ＝１〜８）に対して上記と同様の計算を行う。結果、合成画像ｓ_ｎ，ｍ ^（０）（ｎ，ｍ＝１〜１６）が生成される。この合成画像ｓ_ｎ，ｍ ^（０）は、画像処理部への入力画像に対する補正画像である。

つぎに補正部における補正処理について、例としてＬＨ画像に対する処理を用いて具体的に説明する。補正部１２３，１２４・・・は、第１周波数成分合成部１２１、第２周波数成分合成部１２２、・・・それぞれに対応して設けられている。周波数成分合成部内に設けられた補正部１２３，１２４・・・には、ＨＬ、ＬＨおよびＨＨ画像が入力され、このうち、ＨＬおよびＬＨ画像に対してパターンノイズ抑制処理をするものである。図９は、補正部１２３の構成を示すブロック図である。補正部１２３は、ＨＯＢ参照部１２３１、ＶＯＢ参照部１２３２、ノイズ抑制部１２３３、１２３４を備えている。

ＨＯＢ参照部１２３１は、ノイズ量算出部１２３１ａを有し、このノイズ量算出部１２３１ａは、入力されたＬＨ画像のＨＯＢ部のウェーブレット展開係数から、その周波数帯域における行ごとのパターンノイズ成分量を算出する。この詳細については後述する。また、ＨＯＢ参照部１２３１は、ノイズ判定部１２３１ｂを有し、このノイズ判定部１２３１ｂは、ノイズ量算出部１２３１ａが算出したノイズ成分量からパターンノイズがあるか否かを判定する。そして、パターンノイズがあると判定された行に対しては、後述するノイズ抑制部１２３３においてノイズ抑制処理を行う。

ＶＯＢ参照部１２３２は、ノイズ量算出部１２３２ａを有し、このノイズ量算出部１２３２ａは、入力されたＨＬ画像のＶＯＢ部のウェーブレット展開係数から、その周波数帯域における列ごとのパターンノイズ成分量を算出する。また、ＶＯＢ参照部１２３２は、ノイズ判定部１２３２ｂを有し、このノイズ判定部１２３２ｂは、ノイズ量算出部１２３２ａが算出したノイズ成分量からパターンノイズがあるか否かを判定する。そして、パターンノイズがあると判定された列に対しては、後述するノイズ抑制部１２３４においてノイズ抑制処理を行う。これらの処理によりパターンノイズの発生している行または列のみの補正が可能である。

ノイズ抑制部１２３３、１２３４では、ＨＯＢ参照部１２３１またはＶＯＢ参照部１２３２でパターンノイズがあると判定された行または列に対して、ノイズ抑制処理を行う。ノイズ抑制部１２３３、１２３４は、それぞれノイズ分離部１２３３ａ、１２３４ａを備えている。ノイズ分離部１２３３ａ、１２３４ａは、それぞれノイズ量算出部１２３１ａ、１２３２ａが算出したパターンノイズ成分量から有効部の被写体成分とノイズ成分を分離するための閾値を決定する閾値決定部としても機能する。そして、ノイズ分離部１２３３ａ、１２３４ａは、決定した閾値を用いて、被写体成分とパターンノイズ成分とを分離する。ノイズ抑制部１２３３、１２３４は、ノイズ分離部１２３３ａ、１２３４ａで分離されたパターンノイズ成分のみが抑制されるように補正係数をウェーブレット展開係数に乗ずる。この詳細については後述する。

補正部１２３における補正処理について、例としてＬＨ画像に対する処理を用いて具体的に説明する。図１０は、補正処理を説明する図である。図１０（ａ）は、入力画像の一例を示している。図１０（ａ）の例では、画素数は垂直方向がＮ、水平方向がＭであるとする。この画像では、左端の１〜３２列がＨＯＢである。この入力画像が第１周波数成分分解部１１１に入力されて、周波数分解（レベル１の分解）により生成されたＬＨ画像を図１０（ｂ）に示す。上記ＬＨ画像では、画素数が列、行ともに分解前の画像の１／２になるため、ＬＨ画像におけるＨＯＢは、左端の１〜１６列に相当する。ただし、式（２）の計算から１６列目は、ＨＯＢ部および有効部の両方の成分が含まれることになる。このＬＨ画像の第ｎ−１行および第ｎ行の値（ウェーブレット展開係数）を取り出し、絶対値を算出するとそれぞれ図１１（ａ）および（ｂ）のようになる。

図１１は、ＬＨ画像におけるパターンノイズ発生行および非発生行のウェーブレット展開係数の絶対値を示す図である。パターンノイズ成分は、有効部および遮光されたＨＯＢ部の両方に含まれ、一方、被写体エッジ成分は、有効部のみに含まれる。したがって、ノイズ量算出部において、ＨＯＢ部の行ごとのウェーブレット展開係数の絶対値の平均値ａｖｅ（ｎ）を算出することで、各周波数帯域における行ごとのパターンノイズ成分量を計算することができる。ここでｎは行数を表す。
ただし、ＨＯＢのうち、平均値ａｖｅ（ｎ）の計算に用いる列の範囲は、周波数帯域によって異なる。図１０（ａ）の入力画像の例では、第１周波数成分分解部で分解されたレベル１のＬＨ画像では、左端の１〜１６列がＨＯＢに相当し、このうち、有効部の成分が含まれる１６列目を除いた１〜１５列を使用して平均値ａｖｅ（ｎ）を算出する。レベル２のＬＨ画像では、左端の１〜８列がＨＯＢに相当し、このうち、有効部の成分が含まれる８列目を除いた１〜７列を使用する。同様にレベル３のＬＨ画像では、左端の１〜３列を使用する。このように分解レベルが上がるごとにＨＯＢの列の範囲が半分になり、このうち、有効部の成分が含まれる画素を除外した列の範囲を使ってａｖｅ（ｎ）を算出する。

図１１（ａ）に示すように、算出した平均値ａｖｅ（ｎ）が所定のノイズ判定基準値以下の場合には、その行にパターンノイズがないとノイズ判定部１２３１ｂが判定する。そして、ノイズ抑制部１２３３では、その行に対してノイズ抑制処理を行わない。一方、図１１（ｂ）に示すように平均値ａｖｅ（ｎ）が上記ノイズ判定基準値よりも大きい場合には、その行にパターンノイズがあるとノイズ判定部１２３１ｂが判定する。そして、ノイズ抑制部１２３３によりノイズ抑制処理を行う。ここで、ノイズ判定基準値は、固定値であってもよいし、各周波数帯域の補正部ごとに個別の値を設定してもよい。また、周波数分解した対角方向高周波成分であるＨＨ画像から算出した値を用いてもよい。この詳細については第２実施形態で述べる。

次にノイズ抑制部１２３３における処理について説明する。ノイズ抑制部１２３３は、ＨＯＢ参照部１２３１のノイズ判定部１２３１ｂにおいてパターンノイズがあると判定された行に対してノイズ抑制処理を行う。パターンノイズがあると判定された行の有効部には、被写体のエッジ成分およびパターンノイズ成分が含まれる。有効部にある被写体の信号レベルに比べ、パターンノイズの振幅は小さいため、周波数変換されたウェーブレット展開係数の絶対値も被写体エッジ成分に比べ、パターンノイズ成分の方が小さな値をとる。したがって、上記ＨＯＢ部で算出した平均値ａｖｅ（ｎ）に式（１１）に示すように展開係数のばらつきを考慮して、所定の係数を乗じた値Ｗｔｈ（ｎ）をパターンノイズ成分および被写体エッジ成分を分離するための閾値として用いることができる。ノイズ分離部１２３３ａでは、この閾値を用いてパターンノイズ成分および被写体エッジ成分を分離する。ここでは、上記ばらつきを考慮してａｖｅ（ｎ）に乗ずる所定の係数は例として１．１とした。

次に、有効部のウェーブレット展開係数の絶対値を単位画素ごとに算出する。そして、各単位画素の絶対値の大きさに応じて、ウェーブレット展開係数に補正係数を乗ずる。この補正係数は、図１２に示すような閾値Ｗｔｈ（ｎ）の前後で値が異なる。図１２は、ノイズ抑制部においてウェーブレット展開係数に乗ずる補正係数を示す図である。有効部のウェーブレット展開係数の絶対値が閾値Ｗｔｈ（ｎ）未満の単位画素では、つまり、その単位画素がパターンノイズ成分である場合は、補正係数ｃ（０≦ｃ＜１）をウェーブレット展開係数に乗じて、パターンノイズ成分を抑制する。補正係数ｃの値は、例えば０．４とする。有効部のウェーブレット展開係数の絶対値が閾値Ｗｔｈ（ｎ）以上の単位画素では、つまり、その単位画素が被写体エッジ成分である場合は、その被写体エッジ成分を保持するために、補正係数としてｃ＝１をウェーブレット展開係数に乗ずる。

上記処理をまとめると式（１２）のようになる。ｗ_ｎ，ｍ ^{（ｊ，ｈ）}は、補正前のウェーブレット展開係数、ｗ’_ｎ，ｍ ^{（ｊ，ｈ）}は、補正後のウェーブレット展開係数である。また、ｊは、周波数帯域を表すレベルであり、ｈは、水平方向成分であることを示している。

上記ウェーブレット展開係数の絶対値が閾値Ｗｔｈ（ｎ）未満の場合に用いる補正係数ｃの値は、上記例のように固定値であってもよいし、周波数帯域ごとに個別の値を設定してもよい。また、補正係数が閾値の前後で不連続の場合、この不連続性の影響が被写体の輪郭に現れてしまう場合がある。これを防ぐために、例えば図１２（ｂ）に示すように補正係数が連続的に変化するようにしてもよい。この例では、補正係数ｃは、ウェーブレット展開係数がＷｔｈ（ｎ）／２以下では、０．４とし、Ｗｔｈ（ｎ）以上では１とし、Ｗｔｈ（ｎ）／２とＷｔｈ（ｎ）との間では、０．４〜１の間で線形に変化する。

そのほか、図１２（ｃ）に示すようにウェーブレット展開係数の絶対値が閾値Ｗｔｈ（ｎ）未満の場合に用いる補正係数をＸ（ａｖｅ（ｎ））として、ＨＯＢ部で算出した行ごとの平均値ａｖｅ（ｎ）に応じて変えてもよい。この場合、Ｘ（ａｖｅ（ｎ））の値は、例えば、図１２（ｄ）のようにする。図１２（ｄ）の例では、パターンノイズ成分ａｖｅ（ｎ）がノイズ判定基準値と等しいときにＸ（ａｖｅ（ｎ））（すなわち、補正係数ｃ）を１とし、パターンノイズ成分が大きくなるに従い線形に減少させ、０．１を下限とする。つまりパターンノイズ成分が大きい行ほど補正係数が小さくなるようにして、パターンノイズ成分の抑制量を大きくする。

上記ＬＨ画像に対する補正処理により、合成される補正画像のパターンノイズの振幅を小さくすることができる。パターンノイズの振幅が水平位置によって異なっているような場合、ＯＢの平均値を有効部から減算するオフセット補正では、ＯＢから離れている箇所は十分な補正効果が得られないことは既に説明した。一方、本実施形態のように、ウェーブレット展開係数に補正係数を乗じてパターンノイズを抑制する補正方法では、パターンノイズの振幅が水平位置によって異なっているような場合でも振幅を小さくするため、一様に補正効果が得られる。

ここで、上述した補正部１２３における補正処理（ＬＨ画像に対する処理の動作例）について、フローチャートを用いてまとめる。図１３は、補正部におけるＬＨ画像に対する行ごとの処理の流れを示すフローチャートである。はじめに、ＨＯＢ参照部１２３１のノイズ量算出部１２３１ａによって展開係数の絶対値の平均値ａｖｅ（ｎ）を算出する（ステップ（以下、Ｓとする）１０１）。
次に、ノイズ判定部１２３１ｂは、ノイズ量算出部１２３１ａが算出したａｖｅ（ｎ）とパターンノイズ判定基準値とを比較する（Ｓ１０２）。ａｖｅ（ｎ）が判定基準値未満となり、その行にパターンノイズがないと判定された場合（Ｓ１０２：Ｎｏ）は、ノイズ抑制部ではノイズ抑制処理を行わず、その行の処理を終了する。一方、ａｖｅ（ｎ）が判定基準値以上となった場合（Ｓ１０２：Ｙｅｓ）、ノイズ抑制部１２３３でノイズ抑制処理を行う。
ノイズ抑制部１２３３のノイズ分離部１２３３ａでは、パターンノイズがあると判定された行に対して、パターンノイズと被写体エッジ成分とを分離するための閾値Ｗｔｈ（ｎ）を算出する（Ｓ１０３）。次に、有効部の各画素の展開係数の絶対値を算出する（Ｓ１０４）。算出した絶対値の大きさに応じて、閾値Ｗｔｈ（ｎ）を有する補正係数を各画素の展開係数に乗じて、パターンノイズ成分を抑制する（Ｓ１０５）。各行でＳ１０１〜１０５までの処理を行う。上記の処理を各周波数成分合成部の補正部で行うことで、パターンノイズ成分のみが抑制されて、被写体エッジ成分が保持されたＬＨ画像が得られる。

以上、ＨＯＢ参照部１２３１およびノイズ抑制部１２３３におけるＬＨ画像に対する処理について述べた。ＶＯＢ参照部１２３２およびノイズ抑制部１２３４におけるＨＬ画像についても上記と同様の処理を行えば、垂直方向のパターンノイズ成分を抑制することができる。

次に、第１実施形態の撮像装置における画像処理部１００のノイズ抑制処理の流れを説明する。図１４は、画像処理部１００におけるノイズ抑制処理を示すフローチャートの一例である。まず、ＤＦＥ１５等からの画像を画像処理部１００で取得する（Ｓ２０１）。
つぎに、この入力画像が第１周波数成分分解部１１１に入力され、高周波画像（ＨＨ、ＨＬ、ＬＨ画像）および低周波画像（ＬＬ画像）が生成される（Ｓ２０２）。この低周波画像（ＬＬ画像）が第２周波数成分分解部１１２に入力され、同様に高周波画像（ＨＨ、ＨＬ、ＬＨ画像）および低周波画像（ＬＬ画像）が生成される（Ｓ２０３）。第２周波数成分分解部で生成された低周波画像（ＬＬ画像）は、同様に第３周波数成分分解部に入力されてさらに分解される。この処理が所定の分解レベルまで繰り返される（Ｓ２０４）。

最上位の分解レベルである第ｊ周波数分成分解部で分解された高周波画像（ＨＨ、ＨＬ、ＬＨ画像）および低周波画像（ＬＬ画像）が第ｊ周波数成分合成部に入力される。この４つの画像のうち、ＨＬおよびＬＨ画像は、補正部によってノイズ抑制される。その後、ＨＨ、ＬＬ画像、およびノイズ抑制されたＨＬ、ＬＨ画像が周波数合成されて、合成画像が生成される（Ｓ２０５）。
この合成画像は、ＬＬ画像として第ｊ−１周波数分成分分解部で生成されたＨＨ、ＨＬ、およびＬＨ画像とともに第ｊ−１周波数成分合成部に入力され、上記と同様の周波数合成処理によって合成画像が出力される。上記の処理を繰り返すことで分解したときと逆順で画像が合成されていく。なお、上述のＳ２０５において行われるノイズ抑制の動作、および、以下に示すＳ２０６、Ｓ２０７の動作については、先に図１３を用いて説明したノイズ抑制動作を行う。

第２周波数成分合成部１２１には、第３周波数成分合成部で合成された画像（ＬＬ画像）および第３周波数成分分解部で分解されたＨＨ、ＨＬ、およびＬＨ画像が入力される。ＨＬ、およびＬＨ画像は、補正部でノイズ抑制された後、ＨＨおよびＬＬ画像とともに合成される（Ｓ２０６）。

第１周波数成分合成部１２２には、第２周波数成分合成部１２１で生成された合成画像（ＬＬ画像）および第２周波数成分分解部１１２で分解されたＨＨ、ＨＬ、およびＬＨ画像が入力される。そして、補正部によりノイズ抑制されたＨＬ、ＬＨ画像とともにＨＨ、ＬＬ画像が周波数合成されて合成画像を生成する（Ｓ２０７）。この画像は、入力画像に対して、パターンノイズの抑制された補正画像であり、画像処理部から出力される（Ｓ２０８）。なお、入力画像は、ベイヤー分離したＲ、Ｇｂ、Ｇｒ、Ｂ色ごとの画像であってもよい。この場合、４つの画像ごとに図１４における各処理を行う構成としてもよい。

以上説明したように、第１実施形態では、各周波数成分分解部によって入力画像を各周波数帯のＨＨ、ＨＬ、ＬＨ、およびＬＬ画像に順次分解する。そして、補正部で各ＨＬ、ＬＨ画像のパターンノイズ成分を抑制し、周波数成分合成部によって分解されていた各画像を順次合成していくことで、パターンノイズが発生している部分についてのみパターンノイズが抑制された補正画像を得ることができる。

（第２実施形態）
第２実施形態は、第１実施形態における周波数成分合成部１２０の動作を変更した周波数成分合成部２２０を、周波数成分合成部１２０に代えて設けた点のみが第１実施形態と異なる形態である。したがって、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。図１５は、第２実施形態における周波数成分合成部２２０の回路構成例を示す機能ブロック図である。
周波数成分合成部２２０は、垂直逆ＤＷＴ部２２１１、２２１２、２２２１、２２２２、・・・および水平逆ＤＷＴ部２２１３、２２２３、・・・を有している。これらはそれぞれ、第１実施形態における垂直逆ＤＷＴ部１２１１、１２１２、１２２１、１２２２、・・・および水平逆ＤＷＴ部１２１３、１２２３、・・・と同様な機能を有している。また、周波数成分合成部２２０は、補正部２２３、２２４、・・・を有している。補正部２２３、２２４、・・・には、各周波数成分分解部で生成されたＨＬ、ＬＨ画像およびＨＨ画像が入力される。

図１６は、補正部２２３の構成を示すブロック図である。補正部２２３は、ＨＯＢ参照部２２３１、ＶＯＢ参照部２２３２、ノイズ抑制部２２３３、２２３４を備えている。なお、第１実施形態と同様に、ＨＯＢ参照部２２３１、ＶＯＢ参照部２２３２は、いずれも不図示のノイズ量算出部とノイズ判定部とを備える。また、ノイズ抑制部２２３３、２２３４は、第１実施形態と同様に、いずれも不図示のノイズ分離部を備える。

補正部２２３に入力されたＨＨ画像は、ＨＯＢ参照部２２３１およびＶＯＢ参照部２２３２に入力される。ＨＯＢ参照部２２３１では、ＨＨ画像のＨＯＢ部の展開係数の絶対値の平均値が算出される。ＶＯＢ参照部２２３２では、ＨＨ画像のＶＯＢ部の展開係数の絶対値の平均値が算出される。これら平均値に所定の係数（例として１．１）をそれぞれ乗じた値をＨＯＢ参照部２２３１、ＶＯＢ参照部２２３２のノイズ判定基準値とする。このノイズ判定基準値を用いたＨＬ、ＬＨ画像に対する補正処理については、第１実施形態において図１３のフローチャートを用いて説明したものと同じである。

第１実施形態では、補正部内のＨＯＢ参照部１２３１、またはＶＯＢ参照部１２３２で各行、または各列にパターンノイズが発生しているか判定するためのノイズ判定基準値にあらかじめ設定した固定値を使用していた。これに対して、第２実施形態では、ノイズ判定基準値に各周波数成分分解部で生成された対角方向高周波成分であるＨＨ画像のＨＯＢ部またはＶＯＢ部の展開係数の絶対値の平均値からノイズ判定基準値を算出する。
撮像素子を用いて撮影した画像のＯＢ部および有効部にはランダムノイズが含まれている。このランダムノイズは、前記周波数成分分解部により分解したすべての周波数帯域の高周波成分ＨＨ、ＨＬ、ＬＨに対してほぼ同じ量だけ含まれる。このうちＨＨ画像には水平または垂直方向のパターンノイズ成分は含まれていないため、ＨＨ画像のＨＯＢ部にはランダムノイズ成分のみが含まれることとなる。

例えば、水平方向のパターンノイズが発生していない状態であれば、ＬＨ画像とＨＨ画像、それぞれのＨＯＢの展開係数の絶対値はほぼ等しい値となる。それに対して、水平方向のパターンノイズが発生している場合は、ＬＨ画像のＨＯＢ部のうち、パターンノイズが発生している行だけ展開係数の絶対値がＨＨ画像のＨＯＢ部に比べて大きくなる。したがって、ＨＨ画像のＨＯＢ部またはＶＯＢ部における展開係数の絶対値の平均値から算出した値をＬＨ、ＨＬ画像のパターンノイズの有無を判定するためのノイズ判定基準値として使用することができる。

このように、第２実施形態では、ＨＨ画像のＨＯＢ部またはＶＯＢ部における展開係数の絶対値の平均値から算出した値をＬＨ、ＨＬ画像のパターンノイズの有無を判定するためのノイズ判定基準値として使用する。よって、ランダムノイズの多少に関わらずパターンノイズの発生状況の判定を正確に行うことができる。これにより、ノイズ抑制後の画質を向上できる。

（第３実施形態）
第３実施形態は、第１実施形態におけるノイズ抑制部１２３３、１２３４の動作を変更したノイズ抑制部３２３３を、ノイズ抑制部１２３３、１２３４に代えて設けた点のみが第１実施形態と異なる形態である。したがって、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。図１７は、第３実施形態において補正部が行うＬＨ画像に対する行ごとの処理の流れを示すフローチャートである。この、図１７は、第１実施形態の図１３に対応する図である。本実施形態の動作が第１実施形態の動作と異なるのは、Ｓ３０４、Ｓ３０６で、強度比Ｗｒ（ｍ）を用いている点である。ここで、強度比Ｗｒ（ｍ）について説明する。

ＣＭＯＳイメージセンサ内の各画素の電源やＧＮＤは共通であるため、これら電源やＧＮＤが時間的に変動すると水平方向のパターンノイズが発生することを既に説明した。撮像素子内における電源やＧＮＤの配置された位置によって、各画素の電源やＧＮＤからの配線長が異なるため、その配線のインピーダンスも画素によって異なる。したがって、電源やＧＮＤから遠い位置にある画素ほど配線のインピーダンスが大きくなり、電源やＧＮＤの変動の影響も大きくなる。そのため、パターンノイズの強度も電源やＧＮＤから遠い位置ほど大きくなる。例えば、電源やＧＮＤが撮像素子内の左側から供給されている場合、右側の画素ほどパターンノイズの強度は大きくなる。

こういった電源やＧＮＤの配置された位置に起因して発生する水平位置によって強度の異なるパターンノイズでは、その強度比が電源やＧＮＤからの距離によって決まるため、この比は固定値となる。したがって、撮像素子の製造工程などにおいて、遮光状態の画像を撮影し、その画像からパターンノイズの水平位置による強度比を求めておき、これを補正部で用いることで上記水平位置によって強度の異なるパターンノイズを補正することができる。この強度比を本実施形態では、強度比Ｗｒ（ｍ）として表す。

次に、強度比Ｗｒ（ｍ）の求め方について説明する。製造工程などにおいて遮光状態で撮影した画像は、第１実施形態の図６に示す周波数成分分解部１１０により各周波数帯域におけるＨＨ、ＬＨ、ＨＬ、およびＬＬ画像に分解される。パターンノイズの水平位置による強度を補正する場合であれば、分解した各周波数帯域におけるＬＨ画像の絶対値をとり、列ごとの最大値を抽出する。各列の最大値を抽出したグラフにはパターンノイズの水平位置による強度差が現れる。

図１８は、強度比Ｗｒ（ｍ）の求め方を示す図である。図１８（ａ）は、第１周波数成分分解部１１１で分解されたＬＨ画像の展開係数の絶対値をとり、列ごとの最大値を抽出したグラフである。なお、図１８の横軸は、撮像素子の水平位置を示し、撮像素子の左右方向の位置と対応して示されている。撮像素子の左側から電源やＧＮＤが供給されている場合、図１８（ａ）のように撮像素子の右側の領域ほどパターンノイズ成分の展開係数は大きくなる。この列ごとの最大値データのうち、ＨＯＢ部の平均値を算出し、全体をＨＯＢ部の平均値で除算したものを図１８（ｂ）に示す。図１８（ｂ）は、ＨＯＢ部のパターンノイズ強度を基準としたときの水平位置における強度比となる。この強度比を周波数帯域ごとに算出し、これを直線や多項式などでフィッティングした関数Ｗｒ（ｍ）を求める。これをパターンノイズの水平位置による強度差を補正するために用いる強度比Ｗｒ（ｍ）とする。ただし、ｍは、水平位置である。また、強度比Ｗｒ（ｍ）の代わりに図１８（ｂ）に示す強度比のデータをそのまま利用してもよい。

図１７に戻って、本実施形態の補正部の動作を説明する。Ｓ３０１からＳ３０３までは、第１実施形態の図１３におけるＳ１０１からＳ１０３と同様である。Ｓ３０４では、閾値Ｗｔｈ（ｎ）の代わりに、これに強度比Ｗｒ（ｍ）を乗じたＷｔｈ’（ｎ，ｍ）をパターンノイズ成分と被写体エッジ成分とを分離するための閾値として算出する。Ｓ３０５は、第１実施形態の図１３におけるＳ１０４と同様である。Ｓ３０６では、算出した絶対値の大きさに応じて、閾値Ｗｔｈ’（ｎ，ｍ）を用いてパターンノイズ成分と被写体エッジ成分とを分離すると共に、閾値Ｗｔｈ’（ｎ，ｍ）を有する補正係数を各画素の展開係数に乗じて、パターンノイズ成分を抑制する。

図１９は、水平位置によって強度差のあるパターンノイズが発生している場合のＬＨ画像におけるパターンノイズ発生行の展開係数の絶対値および閾値Ｗｔｈ’（ｎ，ｍ）を示す図である。あらかじめ算出しておいた強度比Ｗｒ（ｍ）を用いて、閾値をｎ，ｍの関数であるＷｔｈ’（ｎ，ｍ）とすることにより、図１９に示すようにパターンノイズ強度が大きい部分ほど閾値が高くなる。よって、水平位置によって強度の異なるパターンノイズであっても、正確に被写体エッジ成分と分離することができる。また、第１実施形態の図１３におけるＳ１０５において展開係数に乗ずる補正係数も式（１２）の代わりに前記強度比Ｗｒ（ｍ）を使って式（１３）のようにする。

閾値Ｗｔｈ’（ｎ，ｍ）より展開係数の絶対値が小さい成分、つまりパターンノイズ成分に乗ずる補正係数を強度比Ｗｒ（ｍ）で除算しておく。図２０は、強度比Ｗｒ（ｍ）で除算した補正係数を示す図である。図２０の例では、強度比Ｗｒ（ｍ）は、図１８（ｂ）に示すものを用いた。パターンノイズ強度が大きい部分ほど補正係数を小さくすることで、ノイズ抑制量を大きくする。こうすることで水平位置によって強度差のあるパターンノイズであっても精度良く補正できる。

（第４実施形態）
第４実施形態は、第１実施形態における周波数成分合成部１２０の動作を変更した周波数成分合成部４２０を、周波数成分合成部１２０に代えて設けた点のみが第１実施形態と異なる形態である。したがって、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。図２１は、第４実施形態における周波数成分合成部４２０の回路構成例を示す機能ブロック図である。
周波数成分合成部４２０は、垂直逆ＤＷＴ部４２１１、４２１２、４２２１、４２２２、・・・および水平逆ＤＷＴ部４２１３、４２２３、・・・を有している。これらはそれぞれ、第１実施形態における垂直逆ＤＷＴ部１２１１、１２１２、１２２１、１２２２、・・・および水平逆ＤＷＴ部１２１３、１２２３、・・・と同様な機能を有している。また、周波数成分合成部４２０は、補正部４２３、４２４、・・・を有している。補正部４２３、４２４、・・・には、各周波数成分分解部で生成されたＨＬ、ＬＨ画像およびＬＬ画像が入力される。

図２２は、補正部４２３の構成を示すブロック図である。補正部４２３は、ＨＯＢ参照部４２３１、ＶＯＢ参照部４２３２、ノイズ抑制部４２３３、４２３４を備えている。なお、第１実施形態と同様に、ＨＯＢ参照部４２３１、ＶＯＢ参照部４２３２は、いずれも不図示のノイズ量算出部とノイズ判定部とを備える。また、ノイズ抑制部４２３３、４２３４は、第１実施形態と同様に、いずれも不図示のノイズ分離部を備える。また、補正部４２３は、輝度参照部４２３５を備えている。
輝度参照部４２３５では、入力されたＬＬ画像の各スケーリング係数を２^ｊで除算して輝度レベルに変換する。ただしｊは、ＬＬ画像の分解レベルである。輝度レベルに変換したＬＬ画像の各画素の値から、例えば、図２３に示すように輝度レベルに応じた輝度係数Ｙ（ｎ，ｍ）を算出する。ただし、ｎ，ｍは、それぞれ垂直位置、水平位置である。図２３は、被写体の輝度レベルから輝度係数を算出するためのグラフである。

輝度参照部４２３５が算出した輝度係数Ｙ（ｎ，ｍ）は、ノイズ抑制部４２３３、４２３４に入力される。ノイズ抑制部４２３３、４２３４における処理は、第１実施形態の図９に示すノイズ抑制部１２３３、１２３４とほぼ同じであるため、詳細な説明は省略する。ノイズ抑制部１２３３、１２３４と異なるのは、ウェーブレット展開係数に乗ずる補正係数が式（１２）に示すような固定値ではなく、これに上述のように算出した輝度係数Ｙ（ｎ，ｍ）を乗じたものを用いる点である。すなわち、式（１４）に示すように、閾値Ｗｔｈ（ｎ）よりも展開係数が小さな成分、つまりパターンノイズ成分に対しては、各単位画素の輝度に応じた補正係数が乗じられる。

上述のように、第４実施形態は、各周波数帯に設けられた補正部内のノイズ抑制部においてＨＬ、ＬＨ画像に乗ずる補正係数を撮影画像の輝度に応じて変更する。明暗のはっきりした部分が混在する撮影画像にパターンノイズが発生した場合、明るい部分に比べ、暗い部分では信号レベルが小さい分、Ｓ／Ｎ比は悪くなる。したがって、明るい部分ではパターンノイズが目立たないのに対し、暗い部分ではパターンノイズが目立つ。そのため、画面全体に対して一様の補正係数を用いてノイズ抑制した場合、明るい部分のパターンノイズは見えなくなっても、暗い部分には、まだパターンノイズが残って見える場合がある。

この問題を解決するため、第４実施形態では、撮影画像の輝度レベルに応じて、ノイズ抑制部においてＨＬ、ＬＨ画像の各場所に乗ずる補正係数を変えている。すなわち、撮影画像の輝度レベルが低い場所ほど補正係数を小さくし、ノイズ抑制量を大きくしている。
輝度レベルは、撮影画像から取得する代わりに、各周波数帯の低周波成分であるＬＬ画像から取得する。このＬＬ画像は、補正対象であるＨＬ、ＬＨ画像と解像度が等しいため、撮影画像から新たに解像度変換して単位画素ごとの輝度を算出する必要がない。ただし、第１実施形態の周波数成分分解部で生成されたＬＬ画像は、１レベル分解するごとに、分解前のＬＬ画像に比べ、垂直、水平方向の解像度が半分になるが、各スケーリング係数は２倍になる。
したがって、第１周波数成分分解部で生成されたレベル１のＬＬ画像は、各スケーリング係数を２で割ることで輝度レベルに変換できる。レベル２のＬＬ画像は、各スケーリング係数を２^２で割ることで輝度レベルに変換できる。このように、レベルｊのＬＬ画像に対しては、スケーリング係数を２^ｊで割って、輝度レベルに変換して使用するのである。第４実施形態によれば、補正係数を輝度レベルに応じて変更するので、画面内の輝度差が大きい撮影画像であっても、暗い部分のパターンノイズを目立たなく抑制できる。

（第５実施形態）
第１実施形態の周波数成分分解部で生成された解像度の下がった画像では、有効部に隣接するＯＢ画素の周波数成分には有効部の成分も含まれてしまう。そのため、ＯＢ部の平均値を算出する際にはこの画素を使用することができないという問題があった。そこで、第５実施形態では、入力画像を有効部、ＨＯＢ部、ＶＯＢ部にそれぞれ分離してから個別に周波数分解する構成として、上記問題を解決する。なお、第５実施形態についても、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。

図２４は、第５実施形態の画像処理部５００の回路構成例を示すブロック図である。画像処理部５００は、周波数成分分解部５１０ａ、５１０ｂ、５１０ｃと、周波数成分合成部５２０と、画像領域分離部５３０とを有している。画像領域分離部５３０は、入力画像を有効部、ＨＯＢ部およびＶＯＢ部の３つに分離する。分離された各画像は、周波数成分分解部５１０ａ、５１０ｂ、５１０ｃにそれぞれ入力される。周波数成分分解部５１０ａ、５１０ｂ、５１０ｃの内部構成は、第１実施形態の図６に示した周波数成分分解部１１０と同様である。各周波数成分分解部で生成される画像を区別するため、周波数成分分解部５１０ａにおいて有効部画像から生成される周波数帯域ごとの画像をＨＨ_ａ、ＨＬ_ａ、ＬＨ_ａ、およびＬＬ_ａとする。周波数成分分解部５１０ｂにおいては、ＨＯＢ画像から周波数帯域ごとのＨＨ_ｈ、ＨＬ_ｈ、ＬＨ_ｈ、およびＬＬ_ｈ画像が生成されるものとする。周波数成分分解部５１０ｃにおいては、ＶＯＢ画像から周波数帯域ごとのＨＨ_ｖ、ＨＬ_ｖ、ＬＨ_ｖ、およびＬＬ_ｖ画像が生成されるものとする。ただし、ＨＨ_ｈ、ＨＬ_ｈおよびＨＨ_ｖ、ＬＨ_ｖ画像については、本実施形態中では直接使用しないため、生成しない構成としてもよい。
周波数成分分解部５１０ａ、５１０ｂ、５１０ｃで生成された画像は、周波数成分合成部５２０に入力される。

図２５は、周波数成分合成部５２０の回路構成例を示す機能ブロック図である。周波数成分合成部５２０は、垂直逆ＤＷＴ部５２１１、５２１２、５２２１、５２２２、・・・および水平逆ＤＷＴ部５２１３、５２２３、・・・を有している。これらはそれぞれ、第１実施形態における垂直逆ＤＷＴ部１２１１、１２１２、１２２１、１２２２、・・・および水平逆ＤＷＴ部１２１３、１２２３、・・・と同様な機能を有している。また、周波数成分合成部５２０は、補正部５２３、５２４、・・・を有している。補正部５２３、５２４、・・・には、有効部画像から生成されたＨＬ_ａ、ＬＨ_ａと、ＨＯＢ部画像から生成されたＬＨ_ｈと、ＶＯＢ部画像から生成されたＨＬ_ｖが入力される。

図２６は、補正部５２３の構成を示すブロック図である。補正部５２３は、ＨＯＢ参照部５２３１、ＶＯＢ参照部５２３２、ノイズ抑制部５２３３、５２３４を備えている。なお、第１実施形態と同様に、ＨＯＢ参照部５２３１、ＶＯＢ参照部５２３２は、いずれも不図示のノイズ量算出部とノイズ判定部とを備える。また、ノイズ抑制部５２３３、５２３４は、第１実施形態と同様に、いずれも不図示のノイズ分離部を備える。
ＨＯＢ参照部５２３１では、ＬＨ_ｈ画像が入力され、行ごとの展開係数絶対値の平均値ａｖｅ（ｎ）を算出し、ノイズ判定基準値と比較する。ただしｎは垂直位置である。この詳細な処理については、第１実施形態の図９に示すＨＯＢ参照部１２３１において説明したものと同様である。

ＶＯＢ参照部５２３２では、ＨＬ_ｖ画像が入力され、列ごとの展開係数絶対値の平均値ａｖｅ（ｍ）を算出し、ノイズ判定基準値と比較する。ただしｍは水平位置である。この詳細な処理については、第１実施形態の図９に示すＶＯＢ参照部１２３２において説明したものと同様である。ノイズ抑制部５２３３、５３３４には、それぞれ有効部画像から生成されたＨＬ_ａ、ＬＨ_ａ画像が入力される。ノイズ抑制部５２３３では、ＨＯＢ参照部５２３１でパターンノイズが発生していると判定された行に対して、ノイズ抑制処理を行う。ノイズ抑制部５２３４では、ＶＯＢ参照部５２３２でパターンノイズが発生していると判定された列に対して、ノイズ抑制処理を行う。これらの詳細な処理については、第１実施形態の図９に示すノイズ抑制部１２３３、１２３４において説明したものと同様である。

この補正部５２３におけるノイズ抑制処理を周波数帯域ごとに行い、周波数成分合成部によって分解されていた各画像を順次合成していくことで、パターンノイズが抑制された有効部画像が得られる。第５実施形態によれば、ＯＢ部の全ての画素をＯＢ部の平均値を算出する際に用いることができ、より精度の高いノイズ抑制処理を行える。

（第６実施形態）
第１実施形態において、撮像素子６０は、ＯＢ部を水平方向および垂直方向のそれぞれ一端部に帯状に設けていた。具体的には、撮像素子６０は、図２に示すように、水平オプティカルブラック（ＨＯＢ）６１を撮像素子６０の左端部に、垂直オプティカルブラック（ＶＯＢ）６２を撮像素子６０の上端部に設けていた。これに対して、本実施形態における撮像素子６０は、ＯＢ部（第１および第２の遮光画素領域）を水平方向および垂直方向のそれぞれ両端部、すなわち対向する２辺に帯状に設けている。なお、補正部以外の動作は第１実施形態と同様であるため、本実施形態では説明を省略する。
図２７は、ＣＭＯＳイメージセンサを用いる本実施形態の撮像素子６０の概略構成を示す。撮像素子６０は、撮像素子６０は、画素領域として水平オプティカルブラック（ＨＯＢ＿Ｌ６６１およびＨＯＢ＿Ｒ６６２）、垂直オプティカルブラック（ＶＯＢ＿Ｕ６６３およびＶＯＢ＿Ｄ６６４）、および有効部６６５を有している。ＨＯＢ＿Ｌ６６１およびＨＯＢ＿Ｒ６６２は、画素領域の左右端部にそれぞれ帯状に設けられ、被写体光が届かないように遮光された遮光画素領域である。ＶＯＢ＿Ｕ６６３およびＶＯＢ＿Ｄ６６４は、画素領域の上下端部にそれぞれ帯状に設けられ、被写体光が届かないように遮光された遮光画素領域である。有効部６６５は、遮光されずに被写体光が到達可能な非遮光画素領域である。

以下、第６実施形態において補正部１２３が行うＬＨ画像に対する行ごとの処理の流れを説明する。図２８は、補正処理を説明する図である。図２８（ａ）は、入力画像の一例を示している。図２８（ａ）の例では、画素数は垂直方向がＮ、水平方向がＭであるとする。この画像では、左右端の各３２列がそれぞれＨＯＢ＿Ｌ、ＨＯＢ＿Ｒ領域である。この入力画像が周波数成分分解部１１０に入力されて、周波数分解により形成されたＬＨ画像を図２８（ｂ）に示す。上記ＬＨ画像では、画素数が列、行ともに分解前の画像の１／２になるため、ＬＨ画像におけるＨＯＢ＿Ｌ、ＨＯＢ＿Ｒ領域は左右端の各１６列に相当する。ただし、式（２）の計算から上記ＨＯＢ＿Ｌ、ＨＯＢ＿Ｒ領域のうち、有効部に隣接する１列にはＨＯＢ部および有効部の両方の成分が含まれることになる。このＬＨ画像のある１行の値（ウェーブレット展開係数）を取り出し、絶対値を算出した結果を図２９に示す。

パターンノイズ成分は、有効部および遮光されたＨＯＢ部の両方に含まれ、一方、被写体エッジ成分は有効部のみに含まれる。したがって、ノイズ量算出部において、ＨＯＢ＿Ｌ、ＨＯＢ＿Ｒそれぞれの行ごとのウェーブレット展開係数の絶対値の平均値ａｖｅ＿Ｌ（ｎ）およびａｖｅ＿Ｒ（ｎ）を算出することで、各周波数帯域における行ごとのパターンノイズ成分量を計算することができる。ここでｎは行数を表す。ただし、ＨＯＢ＿Ｌ、ＨＯＢ＿Ｒ領域のうち、有効部に隣接する１列は有効部の成分も含まれるため、この列は平均値ａｖｅ＿Ｌ（ｎ）およびａｖｅ＿Ｒ（ｎ）の計算に用いない。

ノイズ量算出部で算出したａｖｅ＿Ｌ（ｎ）、ａｖｅ＿Ｒ（ｎ）はノイズ判定部においてＨＯＢ＿Ｌ、ＨＯＢ＿Ｒ領域それぞれに設定されたノイズ判定基準値と比較される。ａｖｅ＿Ｌ（ｎ）、ａｖｅ＿Ｒ（ｎ）ともにノイズ判定基準値よりも大きい場合には、ノイズ判定部はその行にパターンノイズがあると判定する。ただし、パターンノイズがあると判定する条件は、例えば、ａｖｅ＿Ｌ（ｎ）、ａｖｅ＿Ｒ（ｎ）のどちらか一方でもノイズ判定基準値よりも大きい場合としてもよい。なお、ノイズ判定基準値は、第２実施形態同様、各周波数成分分解部で形成された対角方向高周波成分であるＨＨ画像のＨＯＢ＿Ｌ領域およびＨＯＢ＿Ｒ領域それぞれの展開係数の絶対値の平均値を用いる。

つぎにノイズ抑制部１２３３における処理について説明する。ノイズ抑制部１２３３はＨＯＢ参照部１２３１のノイズ判定部１２３１ｂにおいてパターンノイズがあると判定された行に対してノイズ抑制処理を行う。パターンノイズがあると判定された行の有効部には、被写体のエッジ成分およびパターンノイズ成分が含まれる。有効部にある被写体の信号レベルに比べ、パターンノイズの振幅は小さいため、周波数変換されたウェーブレット展開係数の絶対値も被写体エッジ成分に比べ、パターンノイズ成分の方が小さな値となる。したがって、ＨＯＢ＿Ｌ、ＨＯＢ＿Ｒ領域でそれぞれ算出したａｖｅ＿Ｌ（ｎ）、ａｖｅ＿Ｒ（ｎ）の値を式（１５）のように線形補間した関数Ｗｔｈ（ｎ，ｍ）を、パターンノイズ成分および被写体エッジ成分を分離するための閾値として用いることができる。ここで、ｎは行数、ｍは列数を表す。また、式（１５）では、展開係数のばらつきを考慮して、係数１．１を乗じてある。下記の式は線形関数としたが、任意の関数でもよい。

ノイズ分離部１２３３ａでは、上記閾値を用いてパターンノイズ成分および被写体エッジ成分を分離する。上記方法を用いることで、左右による強度差のあるパターンノイズであっても精度良く被写体のエッジ成分と分離することができる。つぎに有効部のウェーブレット展開係数の絶対値を単位画素ごとに算出する。そして、各単位画素の絶対値の大きさに応じて、ウェーブレット展開係数に補正係数を乗ずる。この補正係数は、式（１６）のような値とする。ここで、ｗ_ｎ，ｍ ^{（ｊ，ｈ）}は、補正前のウェーブレット展開係数であり、ｗ’_ｎ，ｍ ^{（ｊ，ｈ）}は、補正後のウェーブレット展開係数である。また、ｊは、周波数帯域を表すレベルであり、ｈは、水平方向成分であることを示している。

有効部のウェーブレット展開係数の絶対値が閾値Ｗｔｈ（ｎ，ｍ）未満の単位画素では、つまり、その単位画素がパターンノイズ成分である場合は、補正係数ｃ’（０＜ｃ’＜１）をウェーブレット展開係数に乗じて、パターンノイズ成分を抑制する。有効部のウェーブレット展開係数の絶対値が閾値Ｗｔｈ（ｎ，ｍ）以上の単位画素では、つまり、その単位画素が被写体エッジ成分である場合は、その被写体エッジ成分を保持するために、補正係数としてｃ＝１をウェーブレット展開係数に乗ずる。パターンノイズ成分に対して乗ずる補正係数ｃ’の値は、式（１７）のように、ａｖｅ＿Ｌ（ｎ）、ａｖｅ＿Ｒ（ｎ）から算出する。

式（１７）の補正係数ｃ’は、ａｖｅ＿Ｌ（ｎ）、ａｖｅ＿Ｒ（ｎ）の逆数を結ぶ直線である。補正係数ｃ’のグラフを図３０に示す。補正係数ｃ’は、パターンノイズ成分が大きい側ほど小さな値をとるため、ノイズ抑制量も大きくなる。そのため、ノイズ抑制後の左右による強度差を低減できる。
図２９に示す展開係数ｗ_ｎ，ｍ ^{（ｊ，ｈ）}に対して、式（１６）および式（１７）に示す演算を行った後の展開係数、ｗ’_ｎ，ｍ ^{（ｊ，ｈ）}の絶対値を図３１に示す。ＨＯＢ＿ＬおよびＨＯＢ＿Ｒ領域の両方の値を使って閾値を求め、さらに、式（１７）に示すようにパターンノイズ成分に応じた補正係数を用いることで、左右による強度差のあるパターンノイズを好適に抑制することができる。

ここで、上述した補正部１２３における補正処理（ＬＨ画像に対する処理の動作例）について、フローチャートを用いてまとめる。図３２は、補正部におけるＬＨ画像に対する行ごとの処理の流れを示すフローチャートである。
はじめに、ＨＯＢ参照部１２３１のノイズ量算出部１２３１ａによって、ＨＯＢ＿ＬおよびＨＯＢ＿Ｒ領域それぞれの展開係数の絶対値の平均値ａｖｅ＿Ｌ（ｎ）およびａｖｅ＿Ｒ（ｎ）を算出する（ステップ（以下、Ｓとする）６０１）。
次に、ノイズ判定部１２３１ｂは、ノイズ量算出部１２３１ａが算出したａｖｅ＿Ｌ（ｎ）およびａｖｅ＿Ｒ（ｎ）それぞれとパターンノイズ判定基準値とを比較する（Ｓ６０２）。

ａｖｅ＿Ｌ（ｎ）およびａｖｅ＿Ｒ（ｎ）のどちらか一方、または両方ともノイズ判定基準値未満となり、その行にパターンノイズがないと判定された場合（Ｓ６０２：Ｎｏ）は、ノイズ抑制部ではノイズ抑制処理を行わず、その行の処理を終了する。一方、ａｖｅ＿Ｌ（ｎ）およびａｖｅ＿Ｒ（ｎ）ともに判定基準値以上となった場合（Ｓ６０２：Ｙｅｓ）、ノイズ抑制部１２３３でノイズ抑制処理を行う。ノイズ抑制部１２３３のノイズ分離部１２３３ａでは、パターンノイズがあると判定された行に対して、パターンノイズと被写体エッジ成分とを分離するための閾値Ｗｔｈ（ｎ）を算出する（Ｓ６０３）。

次に、有効部の各画素の展開係数の絶対値を算出する（Ｓ６０４）。算出した絶対値の大きさに応じて、閾値Ｗｔｈ（ｎ，ｍ）を有する補正係数を各画素の展開係数に乗じて、パターンノイズ成分を抑制する（Ｓ６０５）。各行でＳ６０１〜６０５までの処理を行う。
上記の処理を各周波数成分合成部の補正部で行うことで、パターンノイズ成分のみが抑制されて、被写体エッジ成分が保持されたＬＨ画像が得られる。

以上、ＨＯＢ参照部１２３１およびノイズ抑制部１２３３におけるＬＨ画像に対する処理について述べた。ＶＯＢ参照部１２３２およびノイズ抑制部１２３４におけるＨＬ画像についても上記と同様の処理を行えば、垂直方向のパターンノイズ成分を抑制することができる。

（第７実施形態）
本実施形態における撮像素子６０は、第６実施形態同様、ＯＢ部を水平方向および垂直方向のそれぞれ両端部に帯状に設けている。第６実施形態では、補正部内のノイズ抑制部において有効部のウェーブレット展開係数に１以下の補正係数を乗ずることでパターンノイズ成分を抑制した。これとは別のノイズ抑制方法として、第７実施形態では、ＨＯＢ＿Ｌ、およびＨＯＢ＿Ｒ領域から算出したパターンノイズ成分を有効部の展開係数から減算することでノイズ成分を取り除く。

図３３は、第７実施形態において補正部が行うＬＨ画像に対する行ごとの処理の流れを示すフローチャートである。Ｓ７０１およびＳ７０２は、第６実施形態の図３２におけるＳ６０１およびＳ６０２と同様である。Ｓ７０３では、ＨＯＢ参照部で算出したａｖｅ＿Ｌ（ｎ）およびａｖｅ＿Ｒ（ｎ）の値から式（１８）を用いてパターンノイズ成分Ｗｐｎ（ｎ，ｍ）を算出する。式（１８）においてｎは行数、ｍは列数を表す。

Ｓ７０４では、有効部の各画素の展開係数ｗ_ｎ，ｍ ^{（ｊ，ｈ）}から式（１９）に示すようにパターンノイズ成分Ｗｐｎ（ｎ，ｍ）を減算して、補正後の展開係数ｗ’_ｎ，ｍ ^{（ｊ，ｈ）}を算出する。

ＬＨ画像のある１行の値（ウェーブレット展開係数）を取り出し、絶対値を算出した結果を図３４（ａ）に示す。同図に式（１８）を用いて算出したパターンノイズ成分Ｗｐｎ（ｎ，ｍ）も示す。この展開係数に対して、式（１９）に示す処理を行った結果を図３４（ｂ）に示す。上記処理を各行ごとに行うことで、有効部から左右による強度差のあるパターンノイズ成分を取り除くことができる。

（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の範囲内である。
（１）各実施形態において、補正処理は撮像装置内の画像処理部で行う構成としているが、撮像素子で撮影した画像を外部に出力し、例えば、パーソナルコンピュータ等の外部回路で補正処理を行う構成であってもよい。この場合、パーソナルコンピュータ等は、画像処理プログラムをインストールすることにより、上述の画像処理部と同等の手段として機能することができる。
（２）各実施形態において、デジタルカメラを例に挙げて説明したが、これに限らず、例えば、ビデオカメラや監視カメラなど、他の形態の撮像装置であってもよい。

（３）各実施形態において、撮像素子６０としてＣＭＯＳイメージセンサを使用している例を挙げて説明したが、これに限らず、例えば、ＣＣＤイメージセンサを用いてもよい。
なお、各実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した各実施形態によって限定されることはない。

６０ 撮像素子
６１ ＨＯＢ
６２ ＶＯＢ
６３ 有効部
６００ 単位画素
１００ 画像処理部
１１０ 周波数成分分解部
１１１ 第１周波数成分分解部
１１２ 第２周波数成分分解部
１１１１、１１２１ 水平ＤＷＴ部
１１１２、１１１３、１１２２、１１２３ 垂直ＤＷＴ部
１２０ 周波数成分合成部
１２１ 第１周波数成分合成部
１２２ 第２周波数成分合成部
１２１１、１２１２、１２２１、１２２２ 垂直逆ＤＷＴ部
１２１３、１２２３ 水平逆ＤＷＴ部
１２３（１２４） 補正部
１２３１ ＨＯＢ参照部
１２３１ａ ノイズ量算出部
１２３１ｂ ノイズ判定部
１２３２ ＶＯＢ参照部
１２３２ａ ノイズ量算出部
１２３２ｂ ノイズ判定部
１２３３、１２３４ ノイズ抑制部
１２３３ａ、１２３４ａ ノイズ分離部

Claims (21)

1. 遮光された遮光画素領域および遮光されていない非遮光画素領域をもつ撮像素子から得た画像を、２つ以上の周波数成分に分解する周波数成分分解部と、
   前記遮光画素領域の周波数成分から、該周波数成分におけるノイズ量を算出するノイズ量算出部と、
   前記ノイズ量算出部により算出したノイズ量に応じて、前記非遮光画素領域の周波数成分のノイズ成分を抑制するノイズ抑制部と、
   前記周波数成分分解部により分解した周波数成分を合成して画像を形成する周波数成分合成部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記ノイズ量算出部により算出したノイズ量に応じて、前記非遮光画素領域の周波数成分のノイズ成分と被写体成分とを分離するノイズ分離部を有し、
   前記ノイズ抑制部は前記ノイズ分離部により分離したノイズ成分を抑制すること、
   を特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記ノイズ分離部は前記ノイズ量算出部により算出した列または行ごとのノイズ量をノイズ判定基準値と比較することで、列または行ごとにノイズ発生の有無を判定し、ノイズ発生が有ると判定された列または行のノイズ成分と被写体成分とを分離すること、
   を特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記ノイズ判定基準値は、前記周波数成分分解部により分解した対角方向高周波成分の遮光された画素領域から前記ノイズ量算出部により算出されたノイズ量に基づき決められること、
   を特徴とする画像処理装置。
5. 請求項２から請求項４までのいずれか１項に記載の画像処理装置において、
   前記ノイズ量算出部により算出したノイズ量に基づき閾値を決定する閾値決定部を有し、
   前記ノイズ分離部は、前記閾値決定部が決定した前記閾値を用いてノイズ成分と被写体成分とを分離すること、
   を特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記閾値は、水平位置または垂直位置に応じて変更が可能な値であること、
   を特徴とする画像処理装置。
7. 前記遮光画素領域は、少なくとも対向する２辺に遮光された第１および第２の遮光画素領域からなる、請求項１から請求項５に記載の画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記閾値決定部は、前記第１および第２の遮光画素領域のノイズ量を線形補間して閾値を決定すること、
   を特徴とする画像処理装置。
9. 請求項１から請求項８までのいずれか１項に記載の画像処理装置において、
   前記ノイズ抑制部は、前記周波数成分分解部により分解した２つ以上の周波数成分のうち、高周波成分に補正係数を乗ずることによりノイズ成分を抑制すること、
   を特徴とする画像処理装置。
10. 請求項９に記載の画像処理装置において、
    前記補正係数は、水平位置または垂直位置に応じて変更が可能な値であること、
    を特徴とする画像処理装置。
11. 請求項９に記載の画像処理装置において、
    前記補正係数は、前記ノイズ量算出部により算出したノイズ量に応じて変更が可能な値であること、
    を特徴とする画像処理装置。
12. 請求項１から請求項８までのいずれか１項に記載の画像処理装置において、
    前記ノイズ抑制部は、前記周波数成分分解部により分解した周波数成分のうち、高周波成分からノイズ成分を減算すること、
    を特徴とする画像処理装置。
13. 請求項９または請求項１２に記載の画像処理装置において、
    前記補正係数は、撮影画像の輝度に応じて変更が可能な値であること、
    を特徴とする画像処理装置。
14. 請求項１から請求項１３までのいずれか１項に記載の画像処理装置において、
    前記周波数成分分解部により分解した周波数成分のうち、低周波成分の輝度を参照する輝度参照部を有すること、
    を特徴とする画像処理装置。
15. 請求項５または請求項７に記載の画像処理装置において、
    前記ノイズ抑制部は、前記周波数成分分解部により分解した周波数成分のうち、高周波成分に補正係数を乗ずることによりノイズ成分を抑制し、
    前記補正係数は、前記閾値決定部により決定した閾値に応じて変更が可能な値であること、
    を特徴とする画像処理装置。
16. 請求項１から請求項１５までのいずれか１項に記載の画像処理装置において、
    前記撮像素子から得た画像を、前記遮光画素領域から得た画像と前記非遮光画素領域から得た画像とに分離する画像領域分離部を備え、
    前記周波数成分分解部は、前記画像領域分離部により分解された画像ごとに２つ以上の周波数成分に分解すること、
    を特徴とする画像処理装置。
17. 請求項１から請求項１６までのいずれか１項に記載の画像処理装置において、
    前記周波数成分分解部は、ウェーブレット変換を行い、
    前記周波数成分合成部は、逆ウェーブレット変換を行うこと、
    を特徴とする画像処理装置。
18. 請求項１から請求項１７までのいずれか１項に記載の画像処理装置において、
    前記周波数成分分解部は、離散ウェーブレット変換を行い、
    前記撮像素子から得た画像を、低周波成分と、垂直方向高周波成分と、水平方向高周波成分と、対角方向高周波成分とに分解すること、
    を特徴とする画像処理装置。
19. 撮像素子と、
    請求項１から請求項１８までのいずれか１項に記載の画像処理装置と、
    を備える撮像装置。
20. 遮光された遮光画素領域および遮光されていない非遮光画素領域をもつ撮像素子から得た画像を、２つ以上の周波数成分に分解し、
    前記遮光画素領域の周波数成分から、該周波数成分におけるノイズ量を算出し、
    算出したノイズ量に応じて、前記非遮光画素領域の周波数成分のノイズ成分を抑制し、
    分解した周波数成分を合成して画像を形成する画像処理方法。
21. コンピュータに、
    遮光された遮光画素領域および遮光されていない非遮光画素領域をもつ撮像素子から得た画像を、２つ以上の周波数成分に分解するステップと、
    前記遮光画素領域の周波数成分から、該周波数成分におけるノイズ量を算出するステップと、
    算出したノイズ量に応じて、前記非遮光画素領域の周波数成分のノイズ成分を抑制するステップと、
    分解した周波数成分を合成して画像を形成するステップと、
    を実行させるための画像処理プログラム。

Images