JP5851649B2 - 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体 - Google Patents

Description

本発明は、復元処理に用いられる復元フィルタを生成する復元フィルタ生成装置及び方法、この復元フィルタを用いて復元処理を行う画像処理装置及び方法、この画像処理装置を備える撮像装置、並びに復元フィルタを生成するためのプログラム、記録媒体に関する。

デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、光学系（撮影レンズ等）の種々の収差に由来する画像劣化が生じる場合がある。この収差による画像劣化は、点像分布関数（ＰＳＦ：Point Spread Function）等により表現可能である。従って、ＰＳＦ等の光学系の劣化特性に基づき復元フィルタを生成し、この復元フィルタを用いて画像データに対して点像復元処理（復元処理）を施すことにより、画像劣化を低減させることができる。

このような点像復元処理は、周波数復元処理と位相復元処理とに大別される。周波数復元処理は、光学系によって劣化した画像の変調伝達関数（ＭＴＦ：Modulation Transfer Function）特性を等化させるものである。位相復元処理は、非対称なＰＳＦ形状をなるべく点に戻すように周波数依存で像を移動させるものである。

この際に、撮影レンズ等の光学系の収差が波長によって異なるため、ＲＧＢの各色の画像ごとに異なる復元フィルタを用いて点像復元処理を行うことが望ましい。しかしながら、色別の処理は演算負荷が大きいため、視覚的な効果が大きくなる輝度成分に対してのみ点像復元処理を行うことが考えられている。この場合には輝度に対するＰＳＦ形状が定義できないため、何らかの基準を考えて復元性能に悪影響が出ないように妥協点を見つける必要がある。

特許文献１に記載の画像処理装置は、ＲＧＢの各色に対するＰＳＦを算出し、予め定めた各色の重み係数で各色のＰＳＦを合成して輝度系画像（輝度成分画像ともいう）に対するＰＳＦを算出して、このＰＳＦに基づき輝度系画像に対する復元フィルタを生成する。そして、この画像処理装置では、輝度系画像に対して復元フィルタを用いて点像復元処理を施した後、復元処理後の輝度系画像と、点像復元処理の非対象の色差系画像（色成分画像ともいう）とに基づきＲＧＢ画像を生成している。これにより、偽色等の画像劣化を低減させることができる。

特開２０１０−１４０４４２号公報

特許文献１の画像処理装置は、ＲＧＢ画像を平均的には等化（ＭＴＦ値を１．０にそろえること；イコライズ）することができる。しかしながら、特許文献１の画像処理装置は、輝度系画像に対してのみ点像復元処理を行うので、特定の波長（色）においては過補正が発生するおそれがある。ここでいう過補正とは、点像復元処理後の輝度系画像に対応するＲＧＢ画像の少なくともいずれかのＭＴＦ値が１．０よりも大きくなることである（図１０の（Ｄ）参照）。

本発明の目的は、輝度系画像に対して復元処理を施す際に、各色の画像のＭＴＦ値の過補正を防止可能な復元フィルタを生成する復元フィルタ生成装置及び方法、この復元フィルタを用いて復元処理を行う画像処理装置及び方法、この画像処理装置を備える撮像装置、並びに復元フィルタを生成するためのプログラム、記録媒体を提供することにある。

本発明の目的を達成するための復元フィルタ生成装置は、光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して光学系における点像分布に基づく復元処理を行うための復元フィルタを生成する復元フィルタ生成装置において、光学系の変調伝達関数ＭＴＦを取得するＭＴＦ取得手段と、ＭＴＦ取得手段が取得した変調伝達関数ＭＴＦに基づき、復元処理後の輝度系画像データに対応する複数色の各色の画像データのＭＴＦ値を少なくとも特定の空間周波数以下の領域で１．０以下に抑える復元フィルタを生成する復元フィルタ生成手段と、を備える。

本発明によれば、復元処理後の輝度系画像データに対応する複数色の各色の画像データのＭＴＦ値を少なくとも特定の空間周波数以下の領域で１．０以下に抑えられる。

ＭＴＦ取得手段は、変調伝達関数ＭＴＦを複数色の色毎に取得し、復元フィルタ生成手段は、空間周波数毎に各色の変調伝達関数ＭＴＦの中からＭＴＦ値の最大値を選択し、この空間周波数毎のＭＴＦ値の最大値に基づきＷｉｅｎｅｒフィルタの周波数特性を決定して、この周波数特性を輝度系において実現する復元フィルタを生成することが好ましい。これにより、点像復元処理後の輝度系画像データに対応する複数色の各色の画像データのＭＴＦ値を１．０以下に抑える一定の効果が期待される。

復元処理後の輝度系画像データの空間周波数毎のＭＴＦ値の増幅率に対応する、輝度系画像データを逆変換処理して生成した複数色の各色の画像データの空間周波数毎のＭＴＦ値の増幅率を取得する増幅率取得手段を備え、ＭＴＦ取得手段は、変調伝達関数ＭＴＦを複数色の色毎に取得し、復元フィルタ生成手段は、各色の変調伝達関数ＭＴＦに基づき各色用の復元フィルタの周波数特性をそれぞれ求め、これら周波数特性に基づき空間周波数毎に各色用の復元フィルタの増幅率の最小値を選択して、この空間周波数毎の増幅率の最小値と増幅率取得手段の取得結果とに基づき復元フィルタを生成することが好ましい。空間周波数毎にＭＴＦ値が低い色に合わせて設計された復元フィルタを用いて復元処理を行うことができるので、復元処理後の輝度系画像データに対応する複数色の各色の画像データのＭＴＦ値を１．０以下に抑えることができる。また、特定の空間周波数においてＭＴＦが高い色に合わせて設計された復元フィルタの周波数特性によって、別の色におけるノイズを増幅してしまうことを防ぐことができる。

複数色の画像データにはＲＧＢの各色の画像データが含まれており、復元処理後の輝度系画像データの空間周波数毎のＭＴＦ値の増幅率に対応する、輝度系画像データを逆変換処理して生成した複数色の各色の画像データの空間周波数毎のＭＴＦ値の増幅率を取得する増幅率取得手段を備え、ＭＴＦ取得手段は、変調伝達関数ＭＴＦを複数色の色毎に取得し、復元フィルタ生成手段は、ＲＧＢの各色の変調伝達関数ＭＴＦと増幅率取得手段の取得結果とに基づき、復元処理後の各色の画像データのＭＴＦ値が１．０以下の条件を満たすＷｉｅｎｅｒフィルタのフィルタ係数を算出し、このフィルタ係数に基づき復元フィルタを生成することが好ましい。これにより、復元処理後の輝度系画像データに対応する複数色の各色の画像データのＭＴＦ値を１．０以下に抑えることができる。また、特定色のノイズ強調を多少許容しつつも、平均的には最良な周波数復元を行うことができつつ、全色においてＭＴＦ値の過度な強調が起きないことを保証することができる。

複数色の画像データにはＲＧＢの各色の画像データが含まれており、ＭＴＦ取得手段は、Ｇ色の変調伝達関数ＭＴＦを取得し、復元フィルタ生成手段は、ＭＴＦ取得手段が取得したＧ色の変調伝達関数ＭＴＦに基づきＷｉｅｎｅｒフィルタの周波数特性を決定して、この周波数特性を輝度系において実現する復元フィルタを生成することが好ましい。復元処理後の輝度系画像データに対応する複数色の各色の画像データのＭＴＦ値を、少なくとも特定の空間周波数以下の領域で１．０以下に抑える一定の効果が期待される。また、復元フィルタの生成に要する演算処理を簡略化することができる。さらに、光学系についての全色の変調伝達関数ＭＴＦを取得しなくとも、復元フィルタの生成を行うことができる。

特定の空間周波数は、撮像手段に含まれる撮像素子のナイキスト周波数の半分以下であることが好ましい。この場合に、光学系は、撮像素子のナイキスト周波数の半分以下の周波数領域において、Ｇ色の変調伝達関数ＭＴＦが他の色の変調伝達関数ＭＴＦより高くなる。

ＭＴＦ取得手段は、位相を変調させて被写界深度を拡大させるレンズ部を有する光学系の変調伝達関数ＭＴＦを取得することが好ましい。これにより、ＥＤｏＦシステムの復元処理に対しても拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となる。

また、本発明の一態様に係る画像処理装置は、光学系を有する撮像手段により得られた複数色の色毎の画像データに基づき、輝度に関する画像データである輝度系画像データを生成する画像データ生成手段と、上記の各態様に係る復元フィルタ生成装置により生成された復元フィルタを格納する復元フィルタ格納手段と、画像データ生成手段で生成された輝度系画像データに対して、復元フィルタ格納手段に格納されている復元フィルタを用いて復元処理を施す復元処理手段と、を備える。

また、本発明の撮像装置は、光学系を有しており、かつ複数色の色毎の画像データを出力する撮像手段と、上記の態様に係る画像処理装置と、を備える。

また、本発明の復元フィルタ生成方法は、光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して光学系における点像分布に基づく復元処理を行うための復元フィルタを生成する復元フィルタ生成方法において、光学系の変調伝達関数ＭＴＦを取得するＭＴＦ取得ステップと、ＭＴＦ取得ステップで取得した変調伝達関数ＭＴＦに基づき、復元処理後の輝度系画像データに対応する複数色の各色の画像データのＭＴＦ値を少なくとも特定の空間周波数以下の領域で１．０以下に抑える復元フィルタを生成する復元フィルタ生成ステップと、を有する。

また、本発明の一態様に係る画像処理方法は、光学系を有する撮像手段により得られた複数色の色毎の画像データに基づき、輝度に関する画像データである輝度系画像データを生成する画像データ生成ステップと、上記の態様に係る復元フィルタ生成方法により生成された復元フィルタを用いて、画像データ生成ステップで生成された輝度系画像データに対して復元処理を施す復元処理ステップと、を有する。

また、本発明のプログラムは、光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して光学系における点像分布に基づく復元処理を行うための復元フィルタを生成するためのプログラムであって、光学系の変調伝達関数ＭＴＦを取得するＭＴＦ取得ステップと、ＭＴＦ取得ステップで取得した変調伝達関数ＭＴＦに基づき、復元処理後の輝度系画像データに対応する複数色の各色の画像データのＭＴＦ値を少なくとも特定の空間周波数以下の領域で１．０以下に抑える復元フィルタを生成する復元フィルタ生成ステップと、をコンピュータに実行させる。

本発明の復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、並びにプログラムは、復元処理後の輝度系画像データに対応する複数色の各色の画像データのＭＴＦ値を少なくとも特定の空間周波数以下の領域で１．０以下に抑える復元フィルタの生成、あるいはこの復元フィルタを用いた復元処理を行うので、輝度系画像データに対する復元処理を行う場合においても、各色の画像のＭＴＦ値の過補正を防止することができる。

図１は、復元フィルタ生成装置と該復元フィルタ生成装置から復元フィルタを取得して点像復元処理を行うデジタルカメラの図である。 図２は、デジタルカメラの背面斜視図である。 図３は、デジタルカメラ及び復元フィルタ生成装置の電気的構成を示すブロック図である。 図４は、デジタルカメラの画像処理回路の機能ブロック図である。 図５は、点像復元処理を説明するための説明図である。 図６は、復元フィルタ生成処理を説明するための説明図である。 図７は、復元フィルタの生成処理の流れを示したフローチャートである。 図８は、デジタルカメラの撮影処理の流れを示したフローチャートである。 図９は、点像復元処理を説明するための説明図である。 図１０は、従来の復元フィルタを用いて点像復元処理を行った比較例を説明するための説明図である。 図１１は、第２実施形態の復元フィルタ生成装置の電気的構成を示すブロック図である。 図１２は、増幅率取得部を説明するための説明図である。 図１３は、第２実施形態の復元フィルタ生成処理を説明するための説明図である。 図１４は、第２実施形態の復元フィルタの生成処理の流れを示したフローチャートである。 図１５は、第２実施形態の作用効果を説明するための説明図である。 図１６は、第３実施形態の復元フィルタを説明するための説明図である。 図１７は、第３実施形態の復元フィルタ生成装置の電気的構成を示すブロック図である。 図１８は、第３実施形態の復元フィルタの生成処理の流れを示したフローチャートである。 図１９は、第３実施形態の作用効果を説明するための説明図である。 図２０は、第４実施形態の復元フィルタ生成装置の電気的構成を示すブロック図である。 図２１は、第４実施形態の復元フィルタ生成処理を説明するための説明図である。 図２２は、第４実施形態の復元フィルタの生成処理の流れを示したフローチャートである。 図２３は、ＥＤｏＦ光学系を備える撮像モジュールの電気的構成を示すブロック図である。 図２４は、ＥＤｏＦ光学系の概略図である。 図２５は、撮像モジュールを構成する復元処理部による復元処理の流れを示したフローチャートである。 図２６は、スマートフォンの斜視図である。 図２７は、スマートフォンの電気的構成を示すブロック図である。

［第１実施形態］
＜デジタルカメラの構成＞
図１及び図２において、デジタルカメラ２は、本発明の撮像装置に相当するものである。このデジタルカメラ２のカメラ本体３の前面には、光学系などを含むレンズ鏡筒４、ストロボ発光部５などが設けられている。カメラ本体３の上面には、シャッタボタン６、電源スイッチ７などが設けられている。

カメラ本体３の背面には、表示部８及び操作部９などが設けられている。表示部８は、撮影待機状態時には電子ビューファインダとして機能し、ライブビュー画像（スルー画ともいう）を表示する。また、画像再生時にはメモリカード１０に記録されている画像データに基づき、表示部８に画像が再生表示される。

操作部９は、モード切替スイッチ、十字キー、実行キーなどから構成されている。モード切替スイッチは、デジタルカメラ２の動作モードを切り替える際に操作される。デジタルカメラ２は、被写体を撮像して撮影画像データを得る撮影モード、撮影画像データに基づき再生表示を行う再生モードなどを有する。

十字キーや実行キーは、表示部８に各種のメニュー画面や設定画面を表示したり、これらメニュー画面や設定画面内に表示されるカーソルを移動したり、デジタルカメラ２の各種設定を確定したりする際などに操作される。

カメラ本体３の底面には、図示は省略するが、メモリカード１０が装填されるカードスロットと、このカードスロットの開口を開閉する装填蓋とが設けられている。メモリカード１０には、被写体を撮像して得られた撮影画像データが各種のファイル形式の画像ファイルとして記録される。

上記構成のデジタルカメラ２は、光学系の種々の収差に由来する画像劣化を低減するために、復元フィルタ生成装置１１から取得した復元フィルタ１２を用いて点像復元処理を行う。なお、デジタルカメラ２による復元フィルタ１２の取得は、カメラ製造メーカにて行われる。

図３に示すように、デジタルカメラ２のカメラＣＰＵ（Central Processing Unit）１３は、操作部９からの制御信号に基づき、メモリ１４から読み出した各種プログラムやデータを逐次実行して、デジタルカメラ２の各部を統括的に制御する。

本発明の復元フィルタ格納手段に相当するメモリ１４のＲＯＭ（Read Only Memory）領域には、上述の各種プログラムに加えて、復元フィルタ生成装置１１から取得した復元フィルタ１２が格納される。また、メモリ１４のＲＡＭ（Random Access Memory）領域は、カメラＣＰＵ１３が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。

レンズ鏡筒４には、ズームレンズ１５及びフォーカスレンズ１６などで構成される光学系１７が組み込まれている。ズームレンズ１５及びフォーカスレンズ１６は、それぞれズーム機構１９、フォーカス機構２０により駆動され、光学系１７の光軸ＯＡに沿って前後移動される。

メカシャッタ１８は、カラー撮像素子２３への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動する可動部（図示は省略）を有する。メカシャッタ１８は、可動部を各位置に移動させることによって、光学系１７からカラー撮像素子２３へと至る光路を開放／遮断する。また、メカシャッタ１８には、カラー撮像素子２３に入射する被写体光の光量を制御する絞りが含まれている。メカシャッタ１８、ズーム機構１９、及びフォーカス機構２０は、レンズドライバ２４を介してカメラＣＰＵ１３によって動作制御される。

光学系１７の背後には、単板式のカラー撮像素子２３が配置されている。カラー撮像素子２３の撮像面には、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ配列（登録商標）、ハニカム配列、等）でマトリクス状に配置された複数画素が形成されている。各画素はマイクロレンズ、カラーフィルタ（本例ではＲ（赤）Ｇ（緑）Ｂ（青）カラーフィルタ）及びフォトダイオードを含んで構成される。カラー撮像素子２３は、光学系１７とともに本発明の撮像手段を構成するものであり、光学系１７により撮像面に結像された被写体像を電気的な出力信号に変換して出力する。なお、カラー撮像素子２３として、ＣＣＤ（Charge Coupled Device）カラー撮像素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カラー撮像素子などの各種類の撮像素子が用いられる。撮像素子ドライバ２５は、カメラＣＰＵ１３の制御の下でカラー撮像素子２３の駆動を制御する。

信号調整回路２８は、カラー撮像素子２３から出力される出力信号に各種の信号調整処理を施して、カラー撮像素子２３のカラーフィルタ配列に伴うＲＧＢのモザイク画像データＲ１，Ｇ１，Ｂ１（図４参照）を生成する。なお、信号調整回路２８は、カラー撮像素子２３がＣＣＤ型の場合には例えばＣＤＳ／ＡＧＣ（Correlated Double Sampling / Automatic Gain Control）回路やＡ／Ｄ変換回路などで構成され、ＣＭＯＳ型の場合には例えばアンプなどで構成される。

＜画像処理回路の構成＞
画像処理回路２９は、本発明の画像処理装置に相当する。この画像処理回路２９は、信号調整回路２８から入力されるモザイク画像データＲ１，Ｇ１，Ｂ１に対して黒レベル調整処理、ホワイトバランス補正処理、ガンマ補正処理、デモザイク処理、ＹＣ変換処理、点像復元処理等を施して、輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒを生成する（図４参照）。輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒは、メモリ１４のＶＲＡＭ（Video Random Access Memory）領域（ＶＲＡＭを別途設けても可）に一時的に格納される。

ＶＲＡＭ領域は、連続した２フィールド画像分を格納するライブビュー画像用のメモリエリアを有している。ＶＲＡＭ領域に格納された輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒは逐次に表示部８へ出力される。これにより、表示部８にライブビュー画像が表示される。

圧縮伸長処理回路３１は、撮影モード中にシャッタボタン６が押下されたときに、ＶＲＡＭ領域に格納された輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒに対して圧縮処理を施す。また、圧縮伸長処理回路３１は、メディアＩ／Ｆ３２を介してメモリカード１０から得られた圧縮画像データに対して伸長処理を施す。メディアＩ／Ｆ３２は、メモリカード１０に対する圧縮画像データの記録及び読み出しなどを行う。

図４に示すように、画像処理回路２９は、主として入力部３５、デモザイク処理部３６、変換部（画像データ生成手段）３７、点像復元処理部（復元処理手段）３８を有している。なお、画像処理回路２９は、ホワイトバランス補正処理やガンマ補正処理などを行う補正処理部も有しているが、説明の煩雑化を防止するためにこれらの補正処理部についての図示や説明は省略する。

入力部３５は、信号調整回路２８から入力されたＲＧＢの各色のモザイク画像データＲ１，Ｇ１，Ｂ１をデモザイク処理部３６へ出力する。すなわち、入力部３５は、カラー撮像素子２３の撮像により得られた各色の画像データが入力される入力Ｉ／Ｆとして機能する。

デモザイク処理部３６は、各色のモザイク画像データＲ１，Ｇ１，Ｂ１に基づき、画素毎にＲＧＢの全ての色情報を算出（同時式に変換）するデモザイク処理（同時化処理ともいう）を行って、ＲＧＢの３面の色データで構成されるＲＧＢ画像データＲ２，Ｇ２，Ｂ２を生成する。デモザイク処理部３６は、ＲＧＢ画像データＲ２，Ｇ２，Ｂ２を変換部３７へ出力する。

変換部３７は、ＲＧＢ画像データＲ２，Ｇ２，Ｂ２にＹＣ変換処理を施して、輝度系画像データＹと、色差系画像データＣｂ，Ｃｒとを生成する。輝度系画像データＹは、例えば、式［Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ］に従って生成される。この式ではＧ色の寄与率が６０％になるため、Ｇ色は、Ｒ色（寄与率３０％）やＢ色（寄与率１０％）よりも寄与率が高くなる。従って、Ｇ色が３原色のうち最も輝度信号に寄与する色となる。

ここで、本実施形態では輝度系画像データＹとして「Ｙ、Ｃｂ、Ｃｒ」で表される色空間の輝度信号の値を例に挙げて説明しているが、画像の輝度に寄与するデータであれば特に限定されるものではなく、撮像した画像の輝度に関する情報を有する種々のデータを意味する。例えば、ＣＩＥＬＡＢ（Commission internationale de l'eclairage）色空間における明度Ｌを表すデータ、輝度信号を得るための寄与率が最も高いデータや、輝度に最も寄与する色のカラーフィルタに対応するデータなどが挙げられる。

点像復元処理部３８は、メモリ１４に格納されている復元フィルタ１２を読み出して、この復元フィルタ１２を用いて輝度系画像データＹに対して点像復元処理（本発明の復元処理）を行う。この点像復元処理は、演算処理の負荷を減らすために視覚的な効果が大きくなる輝度系画像データＹに対してのみ行う。点像復元処理を行うことにより、図５に示すように画像のボケが修正される。

図５の（Ａ）に示すように、光学系１７を透過した点像（光学像）は大きな点像（ボケた画像）としてカラー撮像素子２３の撮像面に結像されるが、点像復元処理により、図５の（Ｂ）に示すような小さな点像（高解像感のある画像）に復元される。

なお、上述の通り点像復元処理は、周波数復元処理と位相復元処理とに大別される。ここで本願の目的は、輝度系画像データＹに対して点像復元処理を施した場合に、ＲＧＢの各色の画像のＭＴＦ値の過補正を防止することにあるので、点像復元処理として周波数復元処理についてのみ説明を行い、位相復元処理についての説明は省略する。

＜復元フィルタ生成装置の構成＞
図３に戻って、復元フィルタ生成装置１１は、デジタルカメラ２の点像復元処理に用いられる復元フィルタ１２を生成する。この復元フィルタ生成装置１１は、装置ＣＰＵ４０と、操作部４１と、ストレージ４３と、通信Ｉ／Ｆ４４とを備えている。

装置ＣＰＵ４０は、操作部４１に入力された操作指示に基づき、ストレージ４３から各種のプログラムを適宜に読み出して実行することにより、装置全体を統括制御する。また、操作部４１は、例えばキーボードやマウスである。

ストレージ４３には、本発明のプログラムに相当する復元フィルタ生成プログラム４６や、光学系１７のＲＧＢの各色の変調伝達関数ＭＴＦに相当するレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂなどが格納されている。

通信Ｉ／Ｆ４４は、光学系１７のレンズＭＴＦを測定するＭＴＦ測定装置４９に接続している。ここで、ＭＴＦ測定装置４９によるレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂの測定方法については公知技術であるので具体的な説明は省略する。通信Ｉ／Ｆ４４は、装置ＣＰＵ４０の制御の下、ＭＴＦ測定装置４９から光学系１７に対応するレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂを取得して、ストレージ４３内に格納させる。

また、通信Ｉ／Ｆ４４は、各種の通信ケーブルや通信回線（無線を含む）を介してデジタルカメラ２の通信Ｉ／Ｆ（図示は省略）に接続可能であり、装置ＣＰＵ４０にて生成された復元フィルタ１２をデジタルカメラ２に送る。これにより、デジタルカメラ２のメモリ１４内に復元フィルタ１２が格納される。

＜復元フィルタの生成処理＞
装置ＣＰＵ４０は、操作部４１にて復元フィルタ生成操作がなされた場合に、ストレージ４３から復元フィルタ生成プログラム４６を読み出して実行することで、ＭＴＦ取得部５０、復元フィルタ生成部（復元フィルタ生成手段）５１として機能する。

ＭＴＦ取得部５０は、前述の通信Ｉ／Ｆ４４と共に本発明のＭＴＦ取得手段として機能するものであり、ストレージ４３に格納されているＲＧＢの各色のレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂを復元フィルタ生成部５１へ出力する。

復元フィルタ生成部５１は、レンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂに基づき、点像復元処理後の輝度系画像データＹに対応するＲＧＢ画像データ（以下、単に「復元ＲＧＢ画像データ」という）のＭＴＦ値の過補正が抑えられるような復元フィルタ１２を生成する。ここで、復元ＲＧＢ画像データとは、点像復元処理後の輝度系画像データＹと、点像復元処理の非対象の色差系画像データＣｂ，ＣｒとをＲＧＢ画像データに逆変換したものに相当する。また、復元ＲＧＢ画像データのＭＴＦ値の過補正を抑えるとは、復元ＲＧＢ画像データのＭＴＦ値を１．０以下に抑えることである。以下、図６を用いて復元フィルタ生成部５１による復元フィルタ１２の生成について具体的に説明する。なお、レンズＭＴＦや復元フィルタは２次元の空間周波数の関数として表されるが、図面の煩雑化を防止するため本明細書では１次元の空間周波数の関数として表している。

図６の（Ａ）に示すように、復元フィルタ生成部５１は、レンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂの周波数特性（空間周波数−ＭＴＦ値）に基づき、レンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂの空間周波数毎のＭＴＦ値の大小を比較する。ここで、レンズＭＴＦの周波数特性とは、空間周波数と、空間周波数に応じて変化するＭＴＦ値との関係を表したものであり、空間周波数が高くなるほどＭＴＦ値が低くなる。そして、図６の（Ｂ）に示すように、復元フィルタ生成部５１は、空間周波数毎に各色のレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂの中からＭＴＦ値の最大値（実線で表示）を選択して、最大レンズＭＴＦを求める。具体的には、レンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂの周波数特性をそれぞれＭＴＦ_Ｒ（ω_ｘ，ω_ｙ）、ＭＴＦ_Ｇ（ω_ｘ，ω_ｙ）、ＭＴＦ_Ｂ（ω_ｘ，ω_ｙ）とした場合に、復元フィルタ生成部５１は最大レンズＭＴＦの周波数特性であるＭＴＦ（ω_ｘ，ω_ｙ）を下記式（１）により求める。

次いで、図６の（Ｃ）に示すように復元フィルタ生成部５１は、最大レンズＭＴＦ（ＭＴＦ（ω_ｘ，ω_ｙ））に基づき、復元フィルタの生成に用いられるＷｉｅｎｅｒフィルタの演算式を演算する。これにより、Ｗｉｅｎｅｒフィルタの周波数特性（空間周波数−増幅率）が決定する。ここで、Ｗｉｅｎｅｒフィルタの周波数特性とは、空間周波数と、空間周波数毎のＭＴＦ値の低下に対応した増幅率との関係を表したものである。このＷｉｅｎｅｒフィルタは最大レンズＭＴＦに対応した復元フィルタであるので、ここでは最大レンズＭＴＦに対応した復元フィルタの周波数特性が決定される。なお、Ｗｉｅｎｅｒフィルタの演算式自体は公知であり（例えば、後述の式（８）、（９）参照）、この演算式を用いてレンズＭＴＦに対応した復元フィルタの周波数特性を決定する方法も公知であるので、ここでは具体的な説明は省略する。

図６の（Ｄ）に示すように、最大レンズＭＴＦに対応したＷｉｅｎｅｒフィルタの周波数特性に基づき、この周波数特性を輝度系において実現する復元フィルタ１２のフィルタ係数を決定する。なお、周波数特性（空間周波数−増幅率）からこれを実現する復元フィルタ（フィルタ係数）を設計する方法については、公知の各種方法を用いることができる。

ここで、輝度系の復元フィルタ１２については輝度に対するレンズＭＴＦから生成することが好ましいが、輝度に対するレンズＭＴＦを正確に求めることは困難である。このため、本実施形態では、輝度に対するレンズＭＴＦの代わりに、図６の（Ｂ）に示した最大レンズＭＴＦを用いて輝度系の復元フィルタ１２を生成している。復元フィルタ１２は、各空間周波数において色別に最も周波数レスポンスが高いＭＴＦ値に対応した補正量（増幅率）を定めたものであるので、少なくとも点像復元処理後の輝度系画像データＹのＲＧＢ信号成分（Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ）に対する過補正は防止される。

復元フィルタ生成部５１が生成した復元フィルタ１２は、通信Ｉ／Ｆ４４を介してデジタルカメラ２に出力された後、メモリ１４内に格納される。

＜第１実施形態の復元フィルタ生成装置の作用＞
次に、上記構成のデジタルカメラ２及び復元フィルタ生成装置１１の作用について説明を行う。最初に復元フィルタ生成装置１１による復元フィルタ１２の生成処理について説明を行う。なお、復元フィルタ１２の生成処理が開始される前に、ＭＴＦ測定装置４９によるレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂの測定、及び各レンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂのストレージ４３内への格納が実行されている。

操作部４１にて復元フィルタ生成操作がなされると、装置ＣＰＵ４０は、ストレージ４３内の復元フィルタ生成プログラム４６を読み出して実行することでＭＴＦ取得部５０、復元フィルタ生成部５１として機能する。

図７に示すように、ＭＴＦ取得部５０は、ストレージ４３からレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂを取得して、これらレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂを復元フィルタ生成部５１へ出力する（ステップＳ１、ＭＴＦ取得ステップ）。

復元フィルタ生成部５１は、前述の図６の（Ａ），（Ｂ）及び式（１）に示したように、空間周波数毎に各色のレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂの中からＭＴＦ値の最大値を選択して、最大レンズＭＴＦのＭＴＦ（ω_ｘ，ω_ｙ）を求める（ステップＳ２）。そして、復元フィルタ生成部５１は、図６の（Ｃ）に示したように、最大レンズＭＴＦのＭＴＦ（ω_ｘ，ω_ｙ）に基づきＷｉｅｎｅｒフィルタの演算式を演算して、最大レンズＭＴＦに対応したＷｉｅｎｅｒフィルタの周波数特性を決定する（ステップＳ３）。

次いで、復元フィルタ生成部５１は、Ｗｉｅｎｅｒフィルタの周波数特性を輝度系において実現する復元フィルタ１２のフィルタ係数を決定する。これにより、復元フィルタ生成部５１にて復元フィルタ１２が生成される（ステップＳ４、復元フィルタ生成ステップ）。この復元フィルタ１２は、ストレージ４３内に格納される。

デジタルカメラ２の製造時に、装置ＣＰＵ４０は、ストレージ４３に格納された復元フィルタ１２を読み出して通信Ｉ／Ｆ４４へ出力する。通信Ｉ／Ｆ４４は、復元フィルタ１２を、図示しない通信ケーブル等を介して接続されたデジタルカメラ２へ出力する。これにより、復元フィルタ１２がメモリ１４に格納される（ステップＳ５）。

＜第１実施形態のデジタルカメラの作用＞
次に、復元フィルタ１２を用いて点像復元処理を行うデジタルカメラ２の作用ついて説明を行う。

図８に示すように、操作部９にてデジタルカメラ２の動作モードが撮影モードに設定されると（ステップＳ９）、カメラＣＰＵ１３は、撮像素子ドライバ２５を介してカラー撮像素子２３を駆動して、撮像処理を開始する（ステップＳ１０）。所定のシャッタ速度でメカシャッタ１８が開閉され、カラー撮像素子２３の各画素にそれぞれ信号電荷が蓄積される。そして、撮像素子ドライバ２５の制御の下、カラー撮像素子２３の各画素から信号が出力される。

信号調整回路２８は、カラー撮像素子２３から出力される出力信号に各種の信号調整処理を施してＲＧＢのモザイク画像データＲ１，Ｇ１，Ｂ１を生成し、各モザイク画像データＲ１，Ｇ１，Ｂ１を画像処理回路２９へ出力する（ステップＳ１１）。各モザイク画像データＲ１，Ｇ１，Ｂ１は、入力部３５を介してデモザイク処理部３６に入力される。デモザイク処理部３６は、モザイク画像データＲ１，Ｇ１，Ｂ１に対してデモザイク処理を行ってＲＧＢ画像データＲ２，Ｇ２，Ｂ２を生成し、ＲＧＢ画像データＲ２，Ｇ２，Ｂ２を変換部３７へ出力する（ステップＳ１２）。

変換部３７は、ＲＧＢ画像データＲ２，Ｇ２，Ｂ２にＹＣ変換処理を施して輝度系画像データＹと色差系画像データＣｂ，Ｃｒとを生成する（ステップＳ１３、画像データ生成ステップ）。そして、変換部３７は、輝度系画像データＹを点像復元処理部３８へ出力する。

点像復元処理部３８は、デジタルカメラ２の動作モードが撮影モードに設定されたときに、メモリ１４に予め格納されている復元フィルタ１２を読み出す。そして、点像復元処理部３８は、復元フィルタ１２を用いて、前述の図５の（Ａ），（Ｂ）に示したように変換部３７から入力される輝度系画像データＹに対して点像復元処理を施す（ステップＳ１４、復元処理ステップ）。点像復元処理後の輝度系画像データＹと、点像復元処理の非対象の色差系画像データＣｂ，Ｃｒとは、撮影画像データとしてメモリ１４のＶＲＡＭ領域に格納される。

画像処理回路２９（カメラＣＰＵ１３でも可）は、メモリ１４のＶＲＡＭ領域に格納された撮影画像データからライブビュー画像データを生成して、表示部８へ出力する。これにより、表示部８にライブビュー画像が表示される。以下、シャッタボタン６が押下されるまで（ステップＳ１５でＮＯ）、ステップＳ１０からステップＳ１４までの処理が繰り返し実行される。

シャッタボタン６が押下されると（ステップＳ１５でＹＥＳ）、画像処理回路２９にて１フレーム分の撮影画像データ（点像復元処理後の輝度系画像データＹ、色差系画像データＣｂ，Ｃｒ）が生成されて、メモリ１４のＶＲＡＭ領域に格納される。この撮影画像データは、圧縮伸長処理回路３１にて圧縮された後、メディアＩ／Ｆ３２を介してメモリカード１０に記録される（ステップＳ１６）。以下、撮影モードが終了するまで上述の処理が繰り返し実行される（ステップＳ１７）。なお、本実施形態ではライブビュー画像表示時に点像復元処理を行っているが、ライブビュー画像表示時には点像復元処理を行わなくてもよい（ステップＳ１４を省略）。この場合には、シャッタボタン６が押下された場合に、カラー撮像素子２３から出力される出力信号に対してステップＳ１１からステップＳ１４までの処理を実行して、記録用の撮影画像データを生成すればよい。これにより、演算処理の負荷を減らすことができる。

＜第１実施形態の作用効果＞
この際に図９の（Ａ），（Ｂ）に示すように、本実施形態では、最大レンズＭＴＦを用いて生成した復元フィルタ１２、すなわち、各空間周波数において色別に最も周波数レスポンスが高いレンズＭＴＦ値に対応した補正量（増幅率）を有する復元フィルタ１２を用いて点像復元処理を行っている。このため、前述したように、点像復元処理後の輝度系画像データＹのＲＧＢ信号成分（Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ）のＭＴＦ値に対する過補正は防止される。

このように輝度系画像データＹのＲＧＢ信号成分のＭＴＦ値の過補正を防止することは、この輝度系画像データＹに対応する復元ＲＧＢ画像データの各色のＭＴＦ値の過補正を抑える一定の効果がある。従って、図９の（Ｃ）に示すように、最大レンズＭＴＦを用いて生成した復元フィルタ１２を用いて点像復元処理を行うことで、点像復元処理後の輝度系画像データＹに対応する復元ＲＧＢ画像データの各色のＭＴＦ値を１．０以下に抑える一定の効果が期待される。

これに対して、図１０の（Ａ）〜（Ｄ）に示す比較例では、空間周波数毎に各色のレンズＭＴＦ４７Ｒ，４７Ｇ，４７ＢのＭＴＦ値の平均値を求め（図１０の（Ａ），（Ｂ））、この平均値である平均レンズＭＴＦに基づき輝度系の復元フィルタ（図１０の（Ｃ））を生成している。この場合には、復元ＲＧＢ画像データの色によってはＭＴＦ値の過補正が発生すおそれがある。例えば、図１０の（Ｂ）において、レンズＭＴＦ４７Ｂは平均レンズＭＴＦよりも低い値であるので、図１０の（Ｃ）に示した復元フィルタで点像復元処理を行った場合でも、復元Ｂ画像データのＭＴＦ値の過補正が発生するおそれはない。しかし、レンズＭＴＦ４７Ｇ，４７Ｒは平均レンズＭＴＦよりも基本的に高い値である。このため、図１０の（Ｃ）に示した復元フィルタで点像復元処理を行った場合に、図１０の（Ｄ）に示すようにＧ信号やＲ信号が過度に強調されることで、復元Ｒ画像データ及び復元Ｇ画像データのＭＴＦ値の過補正が発生するおそれがある。

このような比較例に対して、本実施形態では、最大レンズＭＴＦを用いて生成した復元フィルタ１２を用いて点像復元処理を行うことにより、復元ＲＧＢ画像データの各色のＭＴＦ値の過補正の発生を比較例よりも低減させることができる。

［第２実施形態］
次に、本発明の第２実施形態の復元フィルタ生成装置について説明を行う。図９の（Ｂ）に示した上記第１実施形態の復元フィルタ１２は、高周波領域においてＭＴＦ値がレンズＭＴＦ４７Ｂよりも高いレンズＭＴＦ４７Ｒ，４７Ｇにも対応した設計である。このため、復元フィルタ１２は、高周波領域（図１５中の低ＳＮ比領域）の増幅率が高くなるように設計されるので、Ｂ信号のＳＮ比が低い領域（以下、低ＳＮ比領域という、図１５参照）に過度の周波数強調がかかることで、Ｂ信号のノイズを増幅させるおそれがある。

そこで、第２実施形態の復元フィルタ生成装置では、ＭＴＦ値が高い色に合わせて設計された復元フィルタの周波数特性により別の色におけるノイズを増幅してしまう副作用を防止可能な復元フィルタを生成する。

＜復元フィルタ生成装置の構成＞
図１１に示すように、第２実施形態の復元フィルタ生成装置５５は、装置ＣＰＵ５６を備えるとともに、ストレージ４３内に復元フィルタ生成プログラム５７（本発明のプログラムに相当）、本発明の増幅率に相当する関数ｄ_Ｋ（χ）を格納する点を除けば第１実施形態と基本的に同じ構成である。このため、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

装置ＣＰＵ５６は、操作部４１にて復元フィルタ生成操作がなされた場合に、ストレージ４３から復元フィルタ生成プログラム５７を読み出して実行することで、前述のＭＴＦ取得部５０に加えて、増幅率取得部（増幅率取得手段）５９及び復元フィルタ生成部（復元フィルタ生成手段）６０として機能する。

増幅率取得部５９は、輝度系における復元フィルタの増幅率χ（≧０）が与えられた際に、復元ＲＧＢ画像データのそれぞれのＭＴＦ値の増幅率を与える関数ｄ_Ｋ（χ），Ｋ∈｛Ｒ，Ｇ，Ｂ｝を演算処理により決定してストレージ４３に格納する。この関数ｄ_Ｋ（χ）を求める演算処理やストレージ４３への格納は復元フィルタの生成前に予め実行される。以下、関数ｄ_Ｋ（χ）の演算処理について説明を行う。

＜関数ｄ_Ｋ（χ）の演算処理＞
図１２に示すように、増幅率取得部５９の演算処理部５９ａは、輝度系の復元モデル６１を用いて、輝度系の復元フィルタにより輝度ゲインが「χ」倍された場合における、復元ＲＧＢ画像データのＲＧＢのそれぞれのプレーンに対するゲイン（ＭＴＦへの影響度合い）を見積もる。ここで復元モデル６１には、例えば変換部６１ａ、式６１ｂ、逆変換部６１ｃが用いられる。

変換部６１ａは、入力画像データ（信号、画素値）ｒ_ｉｎ，ｇ_ｉｎ，ｂ_ｉｎを輝度系画像データ（信号）Ｙと、色差系画像データ（信号）Ｃｂ，Ｃｒに変換する任意の変換式であり、「Ｍ」で表される。式６１ｂは、上述の見積もりに利用されるものであり、実際の復元フィルタとは異なるものである。逆変換部６１ｃは、輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒを出力画像データ（信号、画素値）ｒ_ｏｕｔ，ｇ_ｏｕｔ，ｂ_ｏｕｔに逆変換する任意の変換式であり、「Ｍ^−１」で表される。この復元モデル６１を用いた場合の入力画像データｒ_ｉｎ，ｇ_ｉｎ，ｂ_ｉｎと出力画像データｒ_ｏｕｔ，ｇ_ｏｕｔ，ｂ_ｏｕｔとの関係は、下記の式（２）で表される。

ここで、一般にＲＧＢ空間からＹＣｂＣｒ空間への変換にはガンマ補正を含むため、非線形の変換が必要とされるが、輝度系復元処理の実装形態によってはリニア変換となる場合もある。これを利用してＲＧＢの各プレーンのＭＴＦ増幅率は、下記式（３）のように表現できる。

上記式（３）に示すように、ＲＧＢの各プレーンのＭＴＦ増幅率は、フィルタ増幅率「χ」のみでなく、入力画像データｒ_ｉｎ，ｇ_ｉｎ，ｂ_ｉｎによっても影響を受ける。しかし、全ての入力画像データｒ_ｉｎ，ｇ_ｉｎ，ｂ_ｉｎについて正確に考慮した復元フィルタの適用は演算量削減の観点から困難である。従って、演算処理部５９ａは、以下の式（４）に示すように、入力画像データｒ_ｉｎ，ｇ_ｉｎ，ｂ_ｉｎの事前分布ｗ（ｒ_ｉｎ，ｇ_ｉｎ，ｂ_ｉｎ）を仮定し、これに関して期待値をとることでｄ_Ｋ（χ）を決定する。そして、演算処理部５９ａは、関数ｄ_Ｋ（χ）をストレージ４３に格納する。なお、式（４）中の「Ｚ」は、事前分布ｗ（ｒ_ｉｎ，ｇ_ｉｎ，ｂ_ｉｎ）を全定義域で積分した規格化定数である。

図１１に戻って、増幅率取得部５９は、復元フィルタの生成の際にはストレージ４３から関数ｄ_Ｋ（χ）を取得して復元フィルタ生成部６０へ出力する。

＜復元フィルタ生成処理＞
復元フィルタ生成部６０は、レンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂに基づき、第１実施形態の復元フィルタ１２と同様に、復元ＲＧＢ画像データのＭＴＦ値の過補正を抑える、すなわち、ＭＴＦ値を１．０以下に抑える輝度系の復元フィルタ６２を生成する。

図１３の（Ａ），（Ｂ）に示すように、復元フィルタ生成部６０は、レンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂの周波数特性に基づき、レンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂにそれぞれ対応するＲＧＢの各色用の復元フィルタの周波数特性（空間周波数−増幅率）を算出する。この各色用の復元フィルタは、Ｒ色用の復元フィルタ６４Ｒ、Ｇ色用の復元フィルタ６４Ｇ、Ｂ色用の復元フィルタ６４Ｂである。

具体的に、復元フィルタ生成部６０は、周波数（ω_ｘ，ω_ｙ）における各色用の復元フィルタ６４Ｒ、６４Ｇ，６４Ｂの周波数特性をそれぞれｈ_Ｒ（ω_ｘ，ω_ｙ）、ｈ_Ｇ（ω_ｘ，ω_ｙ）、ｈ_Ｂ（ω_ｘ，ω_ｙ）とした場合に、これらをそれぞれ下記のＷｉｅｎｅｒフィルタの演算式（５）によって求める。ここで、Ｋ∈｛Ｒ，Ｇ，Ｂ｝である。また、Ｓ_Ｋ（ω_ｘ，ω_ｙ）、Ｎ_Ｋ（ω_ｘ，ω_ｙ）はそれぞれ各色における信号電力、ノイズ電力であり、予め求められた既知の値である。

次いで、復元フィルタ生成部６０は、空間周波数毎に各色用の復元フィルタ６４Ｒ、６４Ｇ，６４Ｂの増幅率の最小値を選択して、この空間周波数毎の増幅率の最小値と関数ｄ_Ｋ（χ）とに基づき輝度系の復元フィルタ６２を生成する。具体的には、復元フィルタ生成部６０は、輝度系の復元フィルタ６２の周波数特性をｆ（ω_ｘ，ω_ｙ）としたときに、下記式（６）に基づき図１３の（Ｃ）に示すような周波数特性ｆ（ω_ｘ，ω_ｙ）を算出し、この周波数特性ｆ（ω_ｘ，ω_ｙ）を実現する復元フィルタ６２のフィルタ係数を決定する。これにより、復元フィルタ６２が生成される。この復元フィルタ６２は、第１実施形態と同様に、デジタルカメラ２のメモリ１４に格納される。

＜第２実施形態の復元フィルタ生成装置の作用＞
次に、図１４を用いて上記構成の復元フィルタ生成装置５５による復元フィルタ６２の生成処理について説明を行う。なお、復元フィルタ６２の生成処理が開始される前に、ＭＴＦ測定装置４９によるレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂの測定及び格納、及び演算処理部５９ａによる関数ｄ_Ｋ（χ）の演算及び格納が実行されている。

操作部４１にて復元フィルタ生成操作がなされると、装置ＣＰＵ５６は、ストレージ４３内の復元フィルタ生成プログラム５７を読み出して実行することで、ＭＴＦ取得部５０、増幅率取得部５９、復元フィルタ生成部６０として機能する。

ＭＴＦ取得部５０は、ストレージ４３からレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂを取得して、各レンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂを復元フィルタ生成部６０へ出力する（ステップＳ２０）。また、増幅率取得部５９は、ストレージ４３から関数ｄ_Ｋ（χ）を取得して、この関数ｄ_Ｋ（χ）を復元フィルタ生成部６０へ出力する（ステップＳ２０）。

復元フィルタ生成部６０は、ＭＴＦ取得部５０から取得したレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂと、既知のＳ_Ｋ，Ｎ_Ｋとに基づき、前述の式（５）により各色用の復元フィルタ６４Ｒ，６４Ｇ，６４Ｂの周波数特性ｈ_Ｒ（ω_ｘ，ω_ｙ）、ｈ_Ｇ（ω_ｘ，ω_ｙ）、ｈ_Ｂ（ω_ｘ，ω_ｙ）をそれぞれ算出する（ステップＳ２１）。

次いで、復元フィルタ生成部６０は、周波数特性ｈ_Ｒ（ω_ｘ，ω_ｙ）、ｈ_Ｇ（ω_ｘ，ω_ｙ）、ｈ_Ｂ（ω_ｘ，ω_ｙ）と、関数ｄ_Ｋ（χ）とに基づき、前述の式（６）により輝度系の復元フィルタ６２の周波数特性ｆ（ω_ｘ，ω_ｙ）を算出する。すなわち、復元フィルタ生成部６０は、空間周波数毎の各色用の復元フィルタ６４Ｒ，６４Ｇ，６４Ｂの増幅率の最小値と、関数ｄ_Ｋ（χ）とに基づき、復元フィルタ６２の周波数特性ｆ（ω_ｘ，ω_ｙ）を算出する（ステップＳ２２）。

復元フィルタ生成部６０は、周波数特性ｆ（ω_ｘ，ω_ｙ）の算出結果に基づき、この周波数特性ｆ（ω_ｘ，ω_ｙ）を実現する復元フィルタ６２のフィルタ係数を決定する。これにより、復元フィルタ生成部６０にて復元フィルタ６２が生成される（ステップＳ２３）。この復元フィルタ６２は、ストレージ４３内に格納される。以下、第１実施形態と同様に、この復元フィルタ６２がメモリ１４に格納される（ステップＳ５）。

＜第２実施形態のデジタルカメラの作用＞
第２実施形態のデジタルカメラ２の撮像処理は、第１実施形態の復元フィルタ１２の代わりに復元フィルタ６２を用いて点像復元処理を行う点を除けば、図８に示した第１実施形態の撮像処理の流れと基本的に同じであるので、ここでは説明を省略する。

＜第２実施形態の作用効果＞
第２実施形態のデジタルカメラ２では、空間周波数毎の各色用の復元フィルタ６４Ｒ，６４Ｇ，６４Ｂの増幅率の最小値と、輝度系の復元フィルタの増幅率ｘに対する復元ＲＧＢ画像データの各々のＭＴＦ値の増幅率を与える関数ｄ_Ｋ（χ）とに基づき生成された復元フィルタ６２を用いて点像復元処理が行われる。すなわち、第２実施形態では、空間周波数毎にＭＴＦ値が低い色に合わせて設計された復元フィルタ６２を用いて点像復元処理が行われるので、復元ＲＧＢ画像データの各ＭＴＦ値が１．０以下に抑えられる。また、復元フィルタ６２の生成に関数ｄ_Ｋ（χ）を用いているので、輝度補正系におけるＲＧＢの各プレーンへの周波数増幅率の違いを考慮できる。

さらに、図１５に示すように、空間周波数毎にＭＴＦ値が低い色に合わせて設計された復元フィルタ６２を用いて点像復元処理を行うので、第１実施形態の復元フィルタ１２を用いた場合とは異なり、Ｂ信号の低ＳＮ比領域に過度の周波数強調がかかることが防止される。その結果、Ｂ信号のノイズの増幅を抑えることができる。すなわち、特定の空間周波数においてＭＴＦが高い色に合わせて設計された復元フィルタ（例えば復元フィルタ１２）の周波数特性によって、別の色（本実施形態ではＢ色）におけるノイズを増幅してしまうことを防ぐことができる。

また、上記式（５）においては、ＲＧＢの色毎に個別の信号電力Ｓ_Ｋ，ノイズ電力Ｎ_Ｋに基づき各色用の復元フィルタ６４Ｒ，６４Ｇ，６４Ｂの周波数特性ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂを求め、この結果を基に上記式（６）により復元フィルタ６２の周波数特性ｆを求めている。これにより、色毎の想定信号電力・ノイズ電力を個別に設定することができ、色毎に想定する信号・ノイズ電力が異なることに起因して生じる過補正を防止することができる。

［第３実施形態］
次に、本発明の第３実施形態の復元フィルタ生成装置について説明を行う。図１６に示すように、上記第２実施形態の復元フィルタ６２を用いて点像復元処理を行った場合には、Ｂ信号の低ＳＮ比領域に過度の周波数強調がかかることが防止されるが、逆にこの低ＳＮ比領域に対応するＲ、Ｇ信号の周波数領域に周波数強調がかからない。このため、Ｒ、Ｇ信号が減衰するおそれがある。また、上述の通り、上記第１実施形態の復元フィルタ１２を用いて点像復元処理を行った場合には、Ｂ信号の低ＳＮ比領域に過度の周波数強調がかかり、Ｂ信号のノイズが増幅するおそれがある。

そこで、第３実施形態の復元フィルタ生成装置では、ＲＧ信号の減衰とＢ信号のノイズの増幅とをそれぞれ抑えられるような中間解を満たす復元フィルタ６６を生成する。

＜第３実施形態の復元フィルタ生成装置の構成＞
図１７に示すように、第３実施形態の復元フィルタ生成装置６８は、装置ＣＰＵ６９を備えるとともに、ストレージ４３内に復元フィルタ生成プログラム７０（本発明のプログラムに相当）を格納する点を除けば第２実施形態と基本的に同じ構成である。このため、上記第２実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

装置ＣＰＵ６９は、操作部４１にて復元フィルタ生成操作がなされた場合に、ストレージ４３から復元フィルタ生成プログラム７０を読み出して実行する。これにより、装置ＣＰＵ６９は、前述のＭＴＦ取得部５０及び増幅率取得部５９に加えて、復元フィルタ生成部（復元フィルタ生成手段）７１として機能する。

＜復元フィルタ生成処理＞
復元フィルタ生成部７１は、レンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂと関数ｄ_Ｋ（χ）とに基づき、復元ＲＧＢ画像データのＭＴＦ値の過補正を抑える、すなわち、ＭＴＦ値を１．０以下に抑える輝度系の復元フィルタ６６を生成する。この際に、復元フィルタ生成部７１は、ＲＧ信号の減衰とＢ信号のノイズの増幅とをそれぞれ抑えられるような中間解を満たす復元フィルタ６６を直接生成する。以下、具体的に復元フィルタ６６の生成処理について説明を行う。

復元フィルタ生成部７１は、ＭＴＦ取得部５０からレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂを取得するとともに、増幅率取得部５９から関数ｄ_Ｋ（χ）を取得する。

また、復元フィルタ生成部７１は、既知のレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂの周波数特性（ＭＴＦ_Ｋ（ω_ｘ，ω_ｙ），Ｋ∈｛Ｒ，Ｇ，Ｂ｝）に基づき、輝度系のレンズＭＴＦの周波数特性（ＭＴＦ_Ｙ（ω_ｘ，ω_ｙ））を決定する。例えば、ＭＴＦ_Ｙ（ω_ｘ，ω_ｙ）は、ＭＴＦ_Ｒ（ω_ｘ，ω_ｙ）、ＭＴＦ_Ｇ（ω_ｘ，ω_ｙ）、ＭＴＦ_Ｂ（ω_ｘ，ω_ｙ）の平均あるいは二乗平均平方根から求められる。

さらに、復元フィルタ生成部７１は、既知の各色における信号電力（Ｓ_Ｋ（ω_ｘ，ω_ｙ），Ｋ∈｛Ｒ，Ｇ，Ｂ｝），ノイズ電力（Ｎ_Ｋ（ω_ｘ，ω_ｙ），Ｋ∈｛Ｒ，Ｇ，Ｂ｝）に基づき、それぞれ輝度系の信号電力（Ｓ_Ｋ（ω_ｘ，ω_ｙ））、ノイズ電力（Ｎ_Ｋ（ω_ｘ，ω_ｙ））を決定する。これらは前述のＭＴＦ_Ｙ（ω_ｘ，ω_ｙ）と同様に、各色におけるＳ_Ｋ，Ｎ_Ｋ（Ｋ∈｛Ｒ，Ｇ，Ｂ｝）のそれぞれの平均あるいは二乗平均平方根から求められる。

次いで、復元フィルタ生成部７１は復元フィルタ６６の生成の演算処理を開始する。タップ数のＮ×Ｎの復元フィルタ６６のフィルタ係数をｘ∈Ｒ^Ｎ×Ｎとし、その周波数特性をｆ（ω_ｘ，ω_ｙ｜ｘ）としたときに、このｆ（ω_ｘ，ω_ｙ｜ｘ）は以下の式（７）で表される。ここで、Ｎは奇数であるとし、Ｍ＝（Ｎ−１）／２である。また、ｕ、ｖは、それぞれ−Ｍ≦ｕ，ｖ≦Ｍを満たす変数である。

復元フィルタ生成部７１は、下記式（８）に示すように、式（８）の「ｓ．ｔ．」以下の条件付きで下記の式（９）で定義される汎関数Ｊ［ｘ］を最小化するフィルタ係数ｘを求める。

ここで、式（８）中の「Ｊ［ｘ］」は、復元フィルタの生成に用いられるＷｉｅｎｅｒフィルタの最小化基準である。すなわち、復元フィルタ生成部７１は、レンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂの周波数特性（ＭＴＦ_Ｋ（ω_ｘ，ω_ｙ），Ｋ∈｛Ｒ，Ｇ，Ｂ｝）と、関数ｄ_Ｋ（χ）とに基づき、復元ＲＧＢ画像データの色毎のＭＴＦ値が１．０以下を満たすようなＷｉｅｎｅｒフィルタのフィルタ係数ｘを算出する。これにより、復元フィルタ生成部７１にて復元フィルタ６６が生成される。この復元フィルタ６６は、第１及び第２実施形態と同様に、デジタルカメラ２のメモリ１４に格納される。

＜第３実施形態の復元フィルタ生成装置の作用＞
次に、図１８を用いて上記構成の復元フィルタ生成装置６８による復元フィルタ６６の生成処理について説明を行う。操作部４１にて復元フィルタ生成操作がなされると、装置ＣＰＵ６９は、ストレージ４３内の復元フィルタ生成プログラム７０を読み出して実行することで、ＭＴＦ取得部５０、増幅率取得部５９、復元フィルタ生成部７１として機能する。なお、ＭＴＦ取得部５０及び増幅率取得部５９によりそれぞれ取得されたレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂ、関数ｄ_Ｋ（χ）が復元フィルタ生成部７１に入力されるまでの処理は、上記第２実施形態と基本的に同じであるので、ここでは説明を省略する（ステップＳ２０）。

最初に復元フィルタ生成部７１は、レンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂの周波数特性ＭＴＦ_Ｋ、ＲＧＢの各色における信号電力Ｓ_Ｋ及びノイズ電力Ｎ_Ｋに基づき、輝度系のレンズＭＴＦの周波数特性ＭＴＦ_Ｙ、信号電力Ｓ_Ｙ、及びノイズ電力Ｎ_Ｙをそれぞれ求める。

次いで、復元フィルタ生成部７１は、前述の式（８）、（９）に示した通り、復元ＲＧＢ画像データの色毎のＭＴＦ値が１．０以下を満たす条件付きで汎関数Ｊ［ｘ］を最小化するフィルタ係数ｘ（Ｗｉｅｎｅｒフィルタのフィルタ係数ｘ）を算出する（ステップＳ２５）。これにより、復元フィルタ６６が生成される（ステップＳ２６）。

復元フィルタ生成部７１にて生成された復元フィルタ６６は、ストレージ４３内に格納される。以下、第１実施形態と同様に、この復元フィルタ６６がメモリ１４に格納される（ステップＳ５）。

＜第３実施形態のデジタルカメラの作用＞
第３実施形態のデジタルカメラ２の撮像処理も、第１実施形態の復元フィルタ１２の代わりに復元フィルタ６６を用いて点像復元処理を行う点を除けば、図８に示した第１実施形態の撮像処理の流れと基本的に同じであるので、ここでは説明を省略する。

＜第３実施形態の作用効果＞
図１９に示すように、第３実施形態のデジタルカメラ２では、復元ＲＧＢ画像データの色毎のＭＴＦ値が１．０以下を満たす条件付きで汎関数Ｊ［ｘ］を最小化するフィルタ係数ｘを演算して生成された復元フィルタ６６を用いて点像復元処理が行われる。これにより、復元ＲＧＢ画像データの各ＭＴＦ値が１．０以下に抑えられる。

また、上記条件付きで汎関数Ｊ［ｘ］を最小化するフィルタ係数ｘを演算することで、ＲＧ信号の減衰とＢ信号のノイズの増幅とをそれぞれ抑えられるように最適化された復元フィルタ６６を直接生成することができる。第２実施形態ではＲＧＢの中の特定色のＳＮ比が悪くて特定色に対応するＭＴＦ値が低くなるような場合に、復元フィルタがノイズ強調を抑えるために減衰特性となり、それに引っ張られて全ての色の周波数が減衰特性に引っ張られてしまう現象が発生するおそれがあるが、第３実施形態ではそれを防ぐことができる。すなわち、第３実施形態では、特定色のノイズ強調を多少許容しつつも、平均的には最良な周波数復元を行うことができつつ、全色においてＭＴＦ値の過度な強調が起きないことを保証することができる。

さらに、復元フィルタのタップ数制限に起因して、理想通りの周波数特性が実現できないことに起因するＭＴＦ値の過補正を防止することができる。

［第４実施形態］
次に、本発明の第４実施形態の復元フィルタ生成装置について説明を行う。上記各実施形態では、レンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂに基づき復元フィルタ１２，６２、６６をそれぞれ生成している。これに対して、第４実施形態の復元フィルタ生成装置では、特定色（本実施形態ではＧ色）のレンズＭＴＦ４７Ｇに基づき復元フィルタ７３（図２０、図２１参照）の生成を行う。

＜第４実施形態の復元フィルタ生成装置の構成＞
図２０に示すように、第４実施形態の復元フィルタ生成装置７４は、装置ＣＰＵ７５を備えるとともに、ストレージ４３内に復元フィルタ生成プログラム７６（本発明のプログラムに相当）を格納する点を除けば第１実施形態と基本的に同じ構成である。このため、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

装置ＣＰＵ７５は、操作部４１にて復元フィルタ生成操作がなされた場合に、ストレージ４３から復元フィルタ生成プログラム７６を読み出して実行する。これにより、装置ＣＰＵ７５は、ＭＴＦ取得部（ＭＴＦ取得手段）７７及び復元フィルタ生成部（復元フィルタ生成手段）７８として機能する。

図２１の（Ａ），（Ｂ）に示すように、ＭＴＦ取得部７７は、ストレージ４３に格納されているＲＧＢの各色のレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂのうち、Ｇ色のレンズＭＴＦ４７Ｇを選択して復元フィルタ生成部７８へ出力する。なお、第４実施形態では、ＭＴＦ測定装置４９からレンズＭＴＦ４７Ｇのみを取得して、このレンズＭＴＦ４７Ｇをストレージ４３内に格納させるようにしてもよい。

図２１の（Ｃ）に示すように、復元フィルタ生成部７８は、レンズＭＴＦ４７Ｇに基づき、復元ＲＧＢ画像データの色毎のＭＴＦ値の過補正を抑えることが可能な復元フィルタ７３を生成する。ここで、一般にレンズはＲＧＢのうちで最も視覚特性に影響するＧを重視して設計されている。このため、少なくともカラー撮像素子２３のナイキスト周波数の半分以下（０．２５Ｆｓ以下）の周波数領域では、レンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂの中でＧプレーンのレンズＭＴＦ４７Ｇが最も高くなる。従って、ＧプレーンのレンズＭＴＦ４７Ｇを補正するように復元フィルタを設計すれば、少なくとも０．２５Ｆｓ（本発明の特定の空間周波数）以下の領域では復元ＲＧＢ画像データのＭＴＦ値の過補正が防止される。

復元フィルタ生成部７８は、レンズＭＴＦ４７Ｇの周波数特性（ＭＴＦ_Ｇ（ω_ｘ，ω_ｙ）））に基づき、レンズＭＴＦ４７Ｇに対応したＷｉｅｎｅｒフィルタの周波数特性を演算する。次いで、復元フィルタ生成部７８は、Ｗｉｅｎｅｒフィルタの周波数特性に基づき、この周波数特性を輝度系において実現する復元フィルタ７３のフィルタ係数を決定する。なお、第１実施形態で述べたように、周波数特性からこれを実現する復元フィルタ（フィルタ係数）を設計する方法については，公知の各種方法を用いることができる。これにより、復元フィルタ生成部７８にて復元フィルタ７３が生成される。この復元フィルタ７３は、上記各実施形態と同様に、デジタルカメラ２のメモリ１４に格納される。

＜第４実施形態の復元フィルタ生成装置の作用＞
次に、図２２を用いて上記構成の復元フィルタ生成装置７４による復元フィルタ７３の生成処理について説明を行う。操作部４１にて復元フィルタ生成操作がなされると、装置ＣＰＵ７５は、ストレージ４３内の復元フィルタ生成プログラム７６を読み出して実行することでＭＴＦ取得部７７、復元フィルタ生成部７８として機能する。なお、この際には、ストレージ４３内に少なくともレンズＭＴＦ４７Ｇが予め格納されている。

ＭＴＦ取得部７７は、ストレージ４３からレンズＭＴＦ４７Ｇを取得して、このレンズＭＴＦ４７Ｇを復元フィルタ生成部７８へ出力する（ステップＳ２８、ＭＴＦ取得ステップ）。

復元フィルタ生成部７８は、レンズＭＴＦ４７Ｇの周波数特性に基づき、レンズＭＴＦ４７Ｇに対応したＷｉｅｎｅｒフィルタの周波数特性を演算した後（ステップＳ２９）、この周波数特性を輝度系において実現する復元フィルタ７３のフィルタ係数を決定する。これにより、復元フィルタ生成部７８にて復元フィルタ７３が生成される（ステップＳ３０、復元フィルタ生成ステップ）。

復元フィルタ生成部７１にて生成された復元フィルタ７３は、ストレージ４３内に格納される。以下、第１実施形態と同様に、この復元フィルタ７３がメモリ１４に格納される（ステップＳ５）。

＜第４実施形態のデジタルカメラの作用＞
第４実施形態のデジタルカメラ２の撮像処理も、第１実施形態の復元フィルタ１２の代わりに復元フィルタ７３を用いて点像復元処理を行う点を除けば、図８に示した第１実施形態の撮像処理の流れと基本的に同じであるので、ここでは説明を省略する。

＜第４実施形態の作用効果＞
第４実施形態では、復元フィルタ生成装置７４にてＲＧＢのうちのＧ色のレンズＭＴＦ４７Ｇに基づき輝度系の復元フィルタ７３が生成され、この復元フィルタ７３を用いてデジタルカメラ２にて点像復元処理が行われる。少なくともナイキスト周波数の半分以下（０．２５Ｆｓ以下）の周波数領域ではレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂの中でレンズＭＴＦ４７Ｇが最もＭＴＦ値が高くなる。このため、レンズＭＴＦ４７Ｇに基づき生成された復元フィルタ７３を用いて点像復元処理を行った場合には、少なくとも０．２５Ｆｓ以下の周波数領域では点像復元処理後の輝度系画像データＹのＲＧＢ信号成分のＭＴＦ値に対する過補正は防止される。すなわち、光学系１７が少なくとも０．２５Ｆｓ以下の周波数領域において、Ｇ色の変調伝達関数ＭＴＦが他の色の変調伝達関数ＭＴＦより高い場合には、少なくとも０．２５Ｆｓ以下の周波数領域で復元処理後の輝度系画像データに対応する複数色の各色の画像データのＭＴＦ値に対する過補正は防止される。従って、輝度に対するレンズＭＴＦの代わりにレンズＭＴＦ４７Ｇを用いて復元フィルタ７３を生成した場合であっても、少なくとも０．２５Ｆｓ以下の周波数領域では、点像復元処理後の輝度系画像データＹに対応する復元ＲＧＢ画像データの各色のＭＴＦ値を１．０以下に抑える一定の効果が期待される。特に、Ｒ色、Ｂ色のレンズＭＴＦ４７Ｒ、ＭＴＦ４７Ｂの値に対するＧ色のレンズＭＴＦ４７Ｇの値の差が大きいほど効果が得られる。

また、第４実施形態では、ＲＧＢのうちのＧ色のレンズＭＴＦ４７Ｇに基づき復元フィルタ７３を生成するので、上記各実施形態と比較して、復元フィルタの生成に要する演算処理を簡略化（復元フィルタの設計手順を簡略化）することができる。また、上記各実施形態とは異なり、ＲＧＢの全色のレンズＭＴＦ４７Ｒ，４７Ｇ，４７Ｂを取得しなくとも、復元フィルタ７３の生成を行うことができる。

なお、上記第４実施形態では、一般にレンズが、少なくとも０．２５Ｆｓ以下の周波数領域では最も視覚特性に影響するＧ色に対応するレンズＭＴＦ４７Ｇが最も高くなるように設計されているので、本発明の特定の空間周波数が０．２５Ｆｓ以下であると規定している。このため、レンズの設計により、Ｇ色に対応するレンズＭＴＦ４７Ｇが最も高くなる周波数領域が０．２５Ｆｓ以下から増減する場合には、これに応じて本発明の特定の空間周波数も増減してもよい。

また、上記第４実施形態では、Ｇ色に対応するレンズＭＴＦ４７Ｇに基づき復元フィルタ７３を生成しているが、カラー撮像素子２３のカラーフィルタがＲＧＢ以外の色を含む場合には、例えば、輝度に最も寄与する色に対応するレンズＭＴＦに基づき復元フィルタを生成してもよい。

［他の適用例］
＜ＥＤｏＦシステムへの適用例＞
上記各実施形態における点像復元処理は、特定の撮影条件（例えば、絞り値、Ｆ値、焦点距離、レンズ種類、など）に応じて画像劣化（点像ボケ、点拡がり）を回復修正することで本来の被写体像を復元する画像処理（復元処理）であるが、本発明を適用可能な点像復元処理はこれに限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Extended Depth of Field（Focus））を有する光学系（撮影レンズ等）を有する撮像装置によって撮像された画像データに対する復元処理に対しても、本発明に係る点像復元処理を適用可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像感のある画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の点拡がり関数（ＰＳＦ、ＯＴＦ（Optical Transfer Function）、ＭＴＦ、ＰＴＦ（Phase Transfer Function）、等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるよう設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。

以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データ（ＲＧＢ画像データ）から得られる輝度系画像データＹに対して復元処理を行う例について説明するが、復元処理を行うタイミングは特に限定されず、例えば「デモザイク処理前の画像データ（モザイク画像データ）」や「デモザイク処理後であって輝度信号変換処理前の画像データ（デモザイク画像データ）」に対して復元処理が行われてもよい。

図２３は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例の撮像モジュール（撮像装置）１０１は、ＥＤｏＦ光学系（光学系）１１０と、ＣＣＤ型のカラー撮像素子１１２（ＣＭＯＳ型でも可、撮像手段）と、ＡＤ変換部１１４と、本発明の復元処理手段として機能する復元処理部１２０とを含む。

図２４は、ＥＤｏＦ光学系１１０の一例を示す図である。ＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）を構成（ＥＤｏＦ化）する。このように、撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

なお、ＥＤｏＦ光学系１１０は必要に応じて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよい。すなわち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ１１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

本実施形態のＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。

図２３に戻って、ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、カラー撮像素子１１２の撮像面に結像され、ここで電気信号に変換される。

カラー撮像素子１１２は、上記各実施形態のカラー撮像素子２３と基本的には同じ構成である。ＣＣＤ型のカラー撮像素子１１２は、ＥＤｏＦ光学系１１０により撮像面に結像された被写体光をその入射光量に応じた量の信号電荷に変換して、アナログのＲＧＢ画像信号を出力する。

ＡＤ変換部１１４は、カラー撮像素子１１２から出力されるアナログのＲＧＢ画像信号をデジタルなＲＧＢの各色のモザイク画像データに変換する。各色のモザイク画像データは、復元処理部１２０に入力される。

復元処理部１２０は、例えば、黒レベル調整部１２２と、ホワイトバランスゲイン部１２３と、ガンマ処理部１２４と、デモザイク処理部１２５と、ＲＧＢ／ＹＣｒＣｂ変換部（以下、変換部と略す、画像データ生成手段）１２６と、Ｙ信号復元処理部（復元処理手段）１２７とを含む。

黒レベル調整部１２２は、ＡＤ変換部１１４から出力された各色のモザイク画像データに黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合に、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号から該平均を減算することで、黒レベル調整が行われる。

ホワイトバランスゲイン部１２３は、黒レベルデータが調整された各色のモザイク画像データのホワイトバランスゲインに応じたゲイン調整を行う。

ガンマ処理部１２４は、ホワイトバランス調整された各色のモザイク画像データが所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。

デモザイク処理部１２５は、ガンマ補正後の各色のモザイク画像データにデモザイク処理を施して、ＲＧＢの３面の色データで構成されるＲＧＢ画像データを出力する。

変換部１２６は、上記各実施形態の変換部３７と基本的に同じものであり、デモザイク処理部１２５から出力されたＲＧＢ画像データにＹＣ変換処理を施して、輝度系画像データＹと色差系画像データＣｂ，Ｃｒとを生成及び出力する。

Ｙ信号復元処理部１２７は、予め記憶された復元フィルタに基づいて、変換部１２６からの輝度系画像データＹに復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ１１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。なお、復元フィルタは、光学フィルタ１１１に対応するものが図示しないメモリに記憶される。また、デコンボリューションカーネルのカーネルサイズは７×７のサイズに限らない。

次に、図２５に示すフローチャートを用いて復元処理部１２０による復元処理について説明する。

黒レベル調整部１２２の一方の入力には、ＡＤ変換部１１４から各色のモザイク画像データが入力され、他の入力には黒レベルデータが入力される。黒レベル調整部１２２は、各色のモザイク画像データから黒レベルデータを減算し、この減算処理後の各色のモザイク画像データをホワイトバランスゲイン部１２３へ出力する（ステップＳ３１）。これにより、各色のモザイク画像データには黒レベル成分が含まれなくなる。

黒レベル調整後の各色のモザイク画像データに対し、順次、ホワイトバランスゲイン部１２３、ガンマ処理部１２４による処理が施される（ステップＳ３２およびＳ３３）。

ガンマ補正された各色のモザイク画像データは、デモザイク処理部１２５でデモザイク処理された後に、変換部１２６において輝度系画像データＹと色差系画像データＣｂ，Ｃｒとに変換される（ステップＳ３４）。

Ｙ信号復元処理部１２７は、輝度系画像データＹに対して、ＥＤｏＦ光学系１１０の光学フィルタ１１１の位相変調分のデコンボリューション処理を掛ける復元処理を行う（ステップＳ３５）。すなわち、Ｙ信号復元処理部１２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のデコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。Ｙ信号復元処理部１２７は、この所定単位の画素群ごとのデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。

ＥＤｏＦ光学系１１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）としてカラー撮像素子１１２に結像されるが（図５の（Ａ）参照）、Ｙ信号復元処理部１２７でのデコンボリューション処理により小さな点像（高解像感のある画像）に復元される（図５の（Ｂ）参照）。

上述のようにデモザイク処理後の輝度系画像データＹに復元処理をかけることで、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるＲ・Ｇ・Ｂの画素に対応する個々のＲ・Ｇ・Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の個々の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお色差系画像データＣｂ，Ｃｒについては、人の目による視覚の特性上、復元処理で解像感を上げなくても画質的には許容される。また、ＪＰＥＧ（Joint Photographic Experts Group）のような圧縮形式で画像を記録する場合、色差系画像データＣｂ，Ｃｒは輝度系画像データＹよりも高い圧縮率で圧縮されるので、復元処理で解像感を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化および高速化を両立できる。

以上説明したようなＥＤｏＦシステムの復元処理に対しても、本発明の各実施形態に係る復元処理を適用することが可能である。この場合に、上記各実施形態の復元フィルタ生成装置は、ＥＤｏＦ光学系のＭＴＦに基づき、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるよう設定されたフィルタ係数を有する復元フィルタを生成する。

＜スマートフォンの適用例＞
上記各実施形態では本発明の画像処理装置及び撮像装置としてデジタルカメラ２を例に挙げて説明を行ったが、例えば、撮影機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、タブレット端末、携帯型ゲーム機にも本発明を適用することができる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図２６は、スマートフォン５００の外観を示すものである。スマートフォン５００は、平板状の筐体５０１を有している。筐体５０１の一方の面には、表示入力部５０２と、スピーカ５０３と、マイクロホン５０４、操作部５０５と、カメラ部５０６とを備えている。なお、筐体５０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成、折り畳み構造やスライド機構を有する構成を採用することもできる。また、カメラ部５０６は、筐体５０１の他方の面にも設けられている。

表示入力部５０２は、画像（静止画像及び動画像）や文字情報などを表示する。また、表示入力部５０２は、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネル構造を有している。この表示入力部５０２は、表示パネル５１０と操作パネル５１２とで構成されている。

表示パネル５１０は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル５１２は、光透過性を有しており、表示パネル５１０の表示面上に載置されている。この操作パネル５１２は、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号をスマートフォン５００のＣＰＵに出力する。ＣＰＵは、受信した検出信号に基づいて、表示パネル５１０上の操作位置（座標）を検出する。このような操作パネル５１２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられる。

図２７に示すように、スマートフォン５００は、表示入力部５０２、スピーカ５０３、マイクロホン５０４、操作部５０５、カメラ部５０６、ＣＰＵ５０７、表示処理部５０８に加えて、無線通信部５１５と、通話部５１６と、記憶部５１７と、外部入出力部５１８と、ＧＰＳ（Global Positioning System）受信部５１９と、モーションセンサ部５２０と、電源部５２１とを備える。

操作部５０５は、例えば押しボタン式のスイッチや十字キーなどを用いたハードウェアキーであり、ユーザからの指示を受け付ける。この操作部５０５は、例えば筐体５０１の表示部の下部や筐体５０１の側面に搭載される。

カメラ部５０６は、上記各実施形態のデジタルカメラ２と基本的に同じ構成である。このカメラ部５０６のメモリ１４には、上記各実施形態の復元フィルタ１２，６２，６６，７３のいずれかが格納されている。

表示処理部５０８は、ＣＰＵ５０７の指示に従って、表示入力部５０２に画像や文字情報を表示させる。

無線通信部５１５は、ＣＰＵ５０７の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

通話部５１６は、スピーカ５０３やマイクロホン５０４を備えている。通話部５１６は、マイクロホン５０４を通じて入力されたユーザの音声を音声データに変換してＣＰＵ５０７に出力したり、無線通信部５１５等で受信された音声データを復号してスピーカ５０３から出力したりする。

記憶部５１７は、ＣＰＵ５０７の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータなどを記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部５１７は、スマートフォン内蔵の内部記憶部５１７ａと着脱自在な外部メモリスロットを有する外部記憶部５１７ｂにより構成される。なお、内部記憶部５１７ａと外部記憶部５１７ｂとしては、フラッシュメモリタイプ、ハードディスクタイプなどの公知の各種記憶媒体が用いられる。

外部入出力部５１８は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等により直接的または間接的に接続するためのものである。

ＧＰＳ受信部５１９は、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。この検出結果はＣＰＵ５０７に出力される。

モーションセンサ部５２０は、例えば、３軸の加速度センサなどを備えており、スマートフォン５００の物理的な動きを検出する。これにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果はＣＰＵ５０７に出力される。また、電源部５２１は、図示しないバッテリに蓄えられた電力をスマートフォン５００の各部に供給する。

ＣＰＵ５０７は、記憶部５１７から読み出した制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御する。また、ＣＰＵ５０７は、表示パネル５１０に対する表示制御、操作部５０５や操作パネル５１２を通じたユーザ操作を検出する操作検出制御などを実行する。

表示制御の実行により、ＣＰＵ５０７は、アプリケーションソフトウェアを起動するためのアイコン、スクロールバーなどのソフトウェアキーを表示、あるいは電子メールを作成するためのウィンドウなどを表示パネル５１０に表示させる。なお、スクロールバーとは、表示パネル５１０の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、ＣＰＵ５０７は、操作部５０５を通じたユーザ操作を検出したり、操作パネル５１２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行によりＣＰＵ５０７は、操作パネル５１２に対する操作位置が、表示パネル５１０に重なる重畳部分（表示領域）か、それ以外の表示パネル５１０に重ならない外縁部分（非表示領域）かを判定し、操作パネル５１２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、ＣＰＵ５０７は、操作パネル５１２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することができる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

上記構成のスマートフォン５００のカメラ部５０６は、前述の通り、上記各実施形態のデジタルカメラ２と基本的に同じ構成であるので、上記各実施形態と同様の効果が得られる。

［その他］
上記各実施形態では、本発明の復元処理を行う画像処理装置として、デジタルカメラ２やスマートフォン５００などの撮影機能を有する撮像装置を例に挙げて説明を行ったが、撮影機能は必須ではない。例えば、インターネットや記録媒体等を介して取得した画像データに対して復元処理を施すタブレット端末、スマートフォン、ＰＣなどの各種画像処理装置にも本発明を適用することができる。

本発明は、例えば、撮像装置、撮像装置を備える電子機器に上記の処理を行わせるためのコンピュータ読取可能なプログラムコード、該プログラムコードが格納される非一時的（non-transitory）かつコンピュータ読取可能な記録媒体（例えば、光ディスク（例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc））、磁気ディスク（例えば、ハードディスク、光磁気ディスク）、ＵＳＢ（Universal Serial Bus）メモリ）、及び該方法のための実行可能なコードを格納するコンピュータ・プログラム・プロダクトとして提供することができる。

上記各実施形態では、本発明の画像処理装置及び撮像装置に相当するデジタルカメラ２やスマートフォン５００等は、上記各実施形態の復元フィルタ生成装置で別途に生成された復元フィルタを格納するが、デジタルカメラ２等と復元フィルタ生成装置とが一体化されていてもよい。

２…デジタルカメラ、１１，５５，６８，７４…復元フィルタ生成装置、１２，６２，６６，７３…復元フィルタ、２９…画像処理回路、３７…変換部、３８…点像復元処理部、４６，５７，７０，７６…復元フィルタ生成プログラム、４７Ｒ，４７Ｇ，４７Ｂ…レンズＭＴＦ、５０，７７…ＭＴＦ取得部、５１，６０，７１，７８…復元フィルタ生成部、５９…増幅率取得部

Claims (13)

1. 光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して前記光学系における点像分布に基づく復元処理を行うための復元フィルタを生成する復元フィルタ生成装置において、
   前記光学系の変調伝達関数ＭＴＦを取得するＭＴＦ取得手段と、
   前記ＭＴＦ取得手段が取得した前記変調伝達関数ＭＴＦに基づき、復元処理後の前記輝度系画像データに対応する複数色の各色の画像データのＭＴＦ値を少なくとも特定の空間周波数以下の領域で１．０以下に抑える復元フィルタを生成する復元フィルタ生成手段と、
   を備える復元フィルタ生成装置。
2. 前記ＭＴＦ取得手段は、前記変調伝達関数ＭＴＦを前記複数色の色毎に取得し、
   前記復元フィルタ生成手段は、空間周波数毎に各色の前記変調伝達関数ＭＴＦの中からＭＴＦ値の最大値を選択し、この空間周波数毎のＭＴＦ値の最大値に基づきＷｉｅｎｅｒフィルタの周波数特性を決定して、この周波数特性を輝度系において実現する前記復元フィルタを生成する請求項１記載の復元フィルタ生成装置。
3. 復元処理後の前記輝度系画像データの空間周波数毎のＭＴＦ値の増幅率に対応する、当該輝度系画像データを逆変換処理して生成した複数色の各色の画像データの空間周波数毎のＭＴＦ値の増幅率を取得する増幅率取得手段を備え、
   前記ＭＴＦ取得手段は、前記変調伝達関数ＭＴＦを前記複数色の色毎に取得し、
   前記復元フィルタ生成手段は、各色の前記変調伝達関数ＭＴＦに基づき各色用の復元フィルタの周波数特性をそれぞれ求め、これら周波数特性に基づき空間周波数毎に前記各色用の復元フィルタの増幅率の最小値を選択して、この空間周波数毎の増幅率の最小値と前記増幅率取得手段の取得結果とに基づき前記復元フィルタを生成する請求項１記載の復元フィルタ生成装置。
4. 前記複数色の画像データにはＲＧＢの各色の画像データが含まれており、
   復元処理後の前記輝度系画像データの空間周波数毎のＭＴＦ値の増幅率に対応する、当該輝度系画像データを逆変換処理して生成した複数色の各色の画像データの空間周波数毎のＭＴＦ値の増幅率を取得する増幅率取得手段を備え、
   前記ＭＴＦ取得手段は、前記変調伝達関数ＭＴＦを前記複数色の色毎に取得し、
   前記復元フィルタ生成手段は、ＲＧＢの各色の前記変調伝達関数ＭＴＦと前記増幅率取得手段の取得結果とに基づき、復元処理後の前記各色の画像データのＭＴＦ値が１．０以下の条件を満たすＷｉｅｎｅｒフィルタのフィルタ係数を算出し、このフィルタ係数に基づき前記復元フィルタを生成する請求項１記載の復元フィルタ生成装置。
5. 前記複数色の画像データにはＲＧＢの各色の画像データが含まれており、
   前記ＭＴＦ取得手段は、Ｇ色の変調伝達関数ＭＴＦを取得し、
   前記復元フィルタ生成手段は、前記ＭＴＦ取得手段が取得した前記Ｇ色の変調伝達関数ＭＴＦに基づきＷｉｅｎｅｒフィルタの周波数特性を決定して、この周波数特性を輝度系において実現する前記復元フィルタを生成する請求項１記載の復元フィルタ生成装置。
6. 前記特定の空間周波数は、前記撮像手段に含まれる撮像素子のナイキスト周波数の半分以下である請求項１から５のいずれか１項記載の復元フィルタ生成装置。
7. 前記ＭＴＦ取得手段は、位相を変調させて被写界深度を拡大させるレンズ部を有する前記光学系の前記変調伝達関数ＭＴＦを取得する請求項１から６のいずれか１項記載の復元フィルタ生成装置。
8. 光学系を有する撮像手段により得られた複数色の色毎の画像データに基づき、輝度に関する画像データである輝度系画像データを生成する画像データ生成手段と、
   請求項１から７のいずれか１項に記載の復元フィルタ生成装置により生成された復元フィルタを格納する復元フィルタ格納手段と、
   前記画像データ生成手段で生成された前記輝度系画像データに対して、前記復元フィルタ格納手段に格納されている前記復元フィルタを用いて復元処理を施す復元処理手段と、
   を備える画像処理装置。
9. 光学系を有しており、かつ複数色の色毎の画像データを出力する撮像手段と、
   請求項８記載の画像処理装置と、
   を備える撮像装置。
10. 光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して前記光学系における点像分布に基づく復元処理を行うための復元フィルタを生成する復元フィルタ生成方法において、
    前記光学系の変調伝達関数ＭＴＦを取得するＭＴＦ取得ステップと、
    前記ＭＴＦ取得ステップで取得した前記変調伝達関数ＭＴＦに基づき、復元処理後の前記輝度系画像データに対応する複数色の各色の画像データのＭＴＦ値を少なくとも特定の空間周波数以下の領域で１．０以下に抑える復元フィルタを生成する復元フィルタ生成ステップと、
    を有する復元フィルタ生成方法。
11. 光学系を有する撮像手段により得られた複数色の色毎の画像データに基づき、輝度に関する画像データである輝度系画像データを生成する画像データ生成ステップと、
    請求項１０に記載の復元フィルタ生成方法により生成された復元フィルタを用いて、前記画像データ生成ステップで生成された前記輝度系画像データに対して復元処理を施す復元処理ステップと、
    を有する画像処理方法。
12. 光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して前記光学系における点像分布に基づく復元処理を行うための復元フィルタを生成するためのプログラムであって、
    前記光学系の変調伝達関数ＭＴＦを取得するＭＴＦ取得ステップと、
    前記ＭＴＦ取得ステップで取得した前記変調伝達関数ＭＴＦに基づき、復元処理後の前記輝度系画像データに対応する複数色の各色の画像データのＭＴＦ値を少なくとも特定の空間周波数以下の領域で１．０以下に抑える復元フィルタを生成する復元フィルタ生成ステップと、
    をコンピュータに実行させるためのプログラム。
13. コンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がプロセッサによって読み取られた場合に、前記プロセッサが、光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して前記光学系における点像分布に基づく復元処理を行うための復元フィルタを生成するための記録媒体であって、
    前記プロセッサが、
    前記光学系の変調伝達関数ＭＴＦを取得するＭＴＦ取得ステップと、
    前記ＭＴＦ取得ステップで取得した前記変調伝達関数ＭＴＦに基づき、復元処理後の前記輝度系画像データに対応する複数色の各色の画像データのＭＴＦ値を少なくとも特定の空間周波数以下の領域で１．０以下に抑える復元フィルタを生成する復元フィルタ生成ステップと、
    を実行する、記録媒体。

Images