JP2015043530A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】ノイズを含む画像に対する回復処理において、回復処理の効果を維持しつつ、ノイズ緩和処理の弊害である解像感の低下が軽減できるようにする画像処理装置を提供する。
【解決手段】画像処理装置は、撮影条件に応じた光学的な劣化に関する補正データから、画像の領域ごとに、周波数に応じた信号の増幅率を設定し、設定した増幅率に基づいて画像の領域ごとの回復フィルタを生成し、生成した回復フィルタを画像に適用する。さらに、設定した増幅率に応じたノイズ緩和処理を、回復フィルタを適用した画像に対して行うようにする。
【選択図】図１

Description

本発明は画像処理装置及び画像処理方法に関し、特に、撮像された画像の劣化成分を、回復処理を用いて補正（低減）するために用いて好適な技術に関する。

デジタルカメラ等の撮像装置により得られた画像はボケによって、画質が劣化している。画像のボケが起こる要因は、撮像系の球面収差、コマ収差、像面湾曲および非点収差等である。これらの収差は、点像分布関数（ＰＳＦ、Point Spread Function）により表すことができる。

点像分布関数（以下、ＰＳＦ）をフーリエ変換することにより得ることができる光学伝達関数（ＯＴＦ、Optic Transfer Function）は、収差の周波数空間における情報である。この光学伝達関数（以下、ＯＴＦ）は複素数で表すことができる。ＯＴＦの絶対値、即ち、振幅成分はＭＴＦ（Modulation Transfer Function）、位相成分はＰＴＦ（Phase Transfer Function）と呼ばれる。

撮像光学系のＯＴＦは、画像の振幅成分（以下、ＭＴＦ）と位相成分（以下、ＰＴＦ）に影響（劣化）を与えるため、撮像光学系を介して取得された被写体の画像は、各点がコマ収差のように非対称にボケてる画像（劣化画像）になる。さらに、画像が有する色成分（例えば、赤、青、緑など）ごとにＰＳＦが異なるため、色成分ごとに異なるボケが発生し、色がにじんだような画像（劣化画像）になる。

これら画像のボケを補正する方法として、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は、画像回復や画像復元という言葉で呼ばれており、以降、この撮像光学系（撮像系）の光学伝達関数の情報を用いて画像の劣化を補正する処理を回復処理と記す。

以下に、回復処理の概要を示す。
劣化した画像をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、ｇ（ｘ、ｙ）を取得するために用いた撮像系の点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は実空間における画像の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）・・・（式１）

式１をフーリエ変換して周波数空間での表示形式に変換すると、式２のように表すことができる。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）・・・（式２）
ここで、Ｈ（ｕ，ｖ）は点像分布関数（ＰＳＦ）ｈ（ｘ，ｙ）をフーリエ変換した光学伝達関数（ＯＴＦ）である。Ｇ（ｕ，ｖ）、Ｆ（ｕ，ｖ）はそれぞれｇ（ｘ，ｙ）、ｆ（ｘ，ｙ）をフーリエ変換したものである。（ｕ，ｖ）は、２次元周波数空間での周波数（座標）を示す。

劣化画像から元の画像（元画像）を得るためには、式２の両辺をＨ（ｕ，ｖ）で除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）・・・（式３）
このＦ（ｕ，ｖ）、即ちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実空間に戻すことで元画像ｆ（ｘ，ｙ）を回復画像として得ることができる。

式３の両辺を逆フーリエ変換すると式３は式４で表される。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）・・・（式４）
ここで、１／Ｈ（ｕ，ｖ）を逆フーリエ変換したものをＲ（ｘ，ｙ）で表した。このＲ（ｘ，ｙ）が画像回復フィルタである。
この画像回復フィルタは、光学伝達関数（ＯＴＦ）に基づいているため、振幅成分および位相成分の劣化を補正することができる。

特に、回復フィルタやＯＴＦのデータ量は膨大である。例えば、１画素に対して３００ピクセル以上の情報が必要であり、単純計算すると、画像の画素数に対して、その数百倍のデータ量が必要になってしまう。

そこで、データ量を削減するために、ＯＴＦを離散的にしたものや、さらにそれを特定の近似式によって近似した場合の係数のデータに置き換える。そして、その係数データを静的に保持することで、ＯＴＦや回復フィルタを直接持つよりもデータを削減することを行なっている。この場合、ＯＴＦを近似した係数からＯＴＦに直し、回復フィルタを生成することを、ソフトウェアにおいて動的に行う必要が出てくるが、例えば、ＯＴＦの段階で周波数の特性を解析する。このようにすることで、あらかじめリンギングや黒沈みなどの悪影響を、ＯＴＦを修正することで軽減することも可能となった。

回復フィルタとは、従来のシャープネスやメディアンフィルタ等の一般的なフィルタ処理と同様に、対象画素と、その周囲の画素に適用するフィルタである。そのため、通常のフィルタ適用処理と同様のことを行う場合が多い。一方で、回復フィルタはＯＴＦを元に生成するので、画像の領域ごとに異なり、これにより、画像の領域ごとに適切な補正が、適切なゲインで行われるのである。

特開２００７−２９９０６８号公報 特開２０１１−１２０３０９号公報

しかし、過去の発明でも指摘されている通り、回復処理は鮮鋭度を向上させる従来のシャープネス処理と同様に、撮影された画像に含まれているノイズも増加させてしまうという問題が存在する。

この問題の解決策については、例えば特許文献１のように、ノイズ量を判定し、許容範囲外であったら、回復処理そのものの強度を小さくし、ノイズが許容範囲以内に収まるようにするというものがある。しかし、これでは、ノイズは許容範囲内に収まるが、その分、回復の効果そのものを弱めることにもつながるため、ノイズがある程度存在する画像については、効果が極端に低くなってしまうという問題がある。

また、特許文献２のように、複数の回復フィルタのうち、一番ノイズを増加させないものを選択することも考えられる。しかしながら、このようにすると、ノイズの量を判定する時点で、最も効果が弱い、ノイズを増加させないフィルタを選択してしまう可能性が高く、本質的には特許文献１で指摘した問題点と同じ問題点を含んでいる。

もう一つの回復処理における特徴的な点に、完全回復の扱いが挙げられる。回復処理は一般的にその強度をユーザに調整させ、それを元に回復フィルタのゲインをコントロールしている。しかし、回復フィルタとは、レンズ等の特性から導きだされたＯＴＦに基づくものであるため、劣化した特性を完全に補正することができるゲイン、つまり、ゲインの最大値が存在する。そのゲインの最大値によって回復処理を行った状態を、完全回復と呼ぶ。

ゲインの最大値は、画像の領域ごとに異なるため、ユーザが回復処理の強度としてある任意の値を入力した場合に、画像の領域によって、完全回復に達している領域と、達していない領域とが混在する場合がある。これは、元々のＯＴＦが良いところは弱いゲインしか適用できないが、元のＯＴＦが悪い領域では強いゲインをかけても完全に回復することができないということである。

また、完全回復となる最大値以上のゲインをかけてしまうと、偽解像等の弊害が発生する。そのため、通常は、ユーザから入力された回復処理の強度は一意の値であっても、ＯＴＦから回復フィルタを生成する過程で、領域ごとにゲインの最大値を超えているか判定する。そして、超えているようであればゲインの最大値を用いる。これにより、画像の領域ごとに適用されるゲインが異なるという状態となる。

本来、ノイズが多くない状況であれば、入力された強度に対応するゲインよりも低いゲインで回復処理を行なっていても、すでに対象領域は完全回復に達している。このため、効果が弱くなる。あるいは、入力された強度に対応するゲインをそのまま使っている領域と比べて不自然になるということは考えにくい。

しかし、ノイズが一定以上存在している画像の中で完全回復に達している領域と、そうでない領域とが混在している場合には、完全回復している領域におけるノイズに比べ、完全回復に達していない領域におけるノイズが強く強調されてしまう。そのため、結果として領域ごとにノイズ感が大きく異なってしまう可能性がある。

そのため、前述した従来の対処法のように、ノイズの増加を抑制するために一律で回復処理のゲインを下げてしまうと、ノイズがそれほど増加していない領域においても、回復処理の効果を弱めてしまうおそれがある。
また、従来技術ではノイズが増加した場合には、その分ノイズ緩和処理を強くかけることで対応することが多い。しかし、従来のノイズ緩和処理は画面一律に、あるいは画像そのものを解析し適応的に行うため、領域ごとに偏り、どのような画像がくるか予め予測できない場合においては、効果的に適用することは難しい問題点があった。
本発明は前述の問題点に鑑み、ノイズを含む画像に対する回復処理において、回復処理の効果を維持しつつ、ノイズ緩和処理の弊害である解像感の低下が軽減できるようにすることを目的とする。

本発明の画像処理装置は、撮影条件に応じた光学的な劣化に関する補正データから、画像の領域ごとに、周波数に応じた信号の増幅率を設定する設定手段と、増幅率に基づいて、画像の領域ごとの回復フィルタを生成するフィルタ生成手段と、前記フィルタ生成手段で生成した回復フィルタを画像に適用するフィルタ適用手段と、増幅率に応じたノイズ緩和処理を、回復フィルタを適用した画像に対して行うノイズ緩和手段とを有することを特徴とする。

本発明によれば、回復処理の効果を維持しつつ、ノイズが緩和された画像を提供することができる。

本発明の実施形態を示し、画像処理装置の構成例を示したブロック図である。 フィルタ生成の手順の一例を説明するフローチャートである。 ノイズの強度の算出手順の一例を説明するフローチャートである。 ノイズ緩和処理の一例を説明するフローチャートである。 代表的なフィルタ生成処理の一例を説明するフローチャートである。 （ａ）は部分的に保持しているＯＴＦデータを、画面の４分の１の領域に回転およびコピーをする概念を示す図である。 （ｂ）は画面の４分の１のＯＴＦデータを、画面全体に折り返しおよびコピーする概念を示す図である。 （ａ）はノイズ増加量が強の場合のノイズ緩和処理に用いるフィルタを示した図である。 （ｂ）はノイズ増加量が中の場合のノイズ緩和処理に用いるフィルタを示した図である。 （ｃ）はノイズ増加量が弱の場合のノイズ緩和処理に用いるフィルタを示した図である。 （ｄ）はノイズ増加量が微小の場合のノイズ緩和処理に用いるフィルタを示した図である。 ノイズ緩和処理において、ノイズの強調量とノイズ緩和に用いるテーブルとの対応関係を示した図である。 （ａ）は入力ゲイン５の場合の、各領域における適用ゲインの図である。 （ｂ）は入力ゲイン１０の場合の、各領域における適用ゲインの図である。 ユーザインタフェースの例を示す図である。

（第１の実施形態）
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。図１は、本実施形態に係る画像処理装置の構成例を示すブロック図である。
本実施形態の画像処理装置１００は、画像や撮影条件や光学的な劣化に関する補正データを読み込む入力部１０１、入力された情報を元にフィルタを生成するフィルタ生成部１０２、生成したフィルタを画像に適用する、フィルタ適用部１０４を有する。

また、フィルタを生成する過程で得られた情報を元に、領域ごとに異なるノイズ緩和に関する係数を算出する強度決定部１０３、算出した係数、およびフィルタを適用した画像に対して、ノイズ緩和処理を行うノイズ緩和部１０５を有する。そして、結果を出力する出力部１０６を有する。

次に、本実施形態の画像処理装置１００の処理の流れを説明する。
まず、入力部１０１において、画像、撮影条件、光学伝達関数であるＯＴＦに関するデータ、およびユーザから指示された入力ゲインを受け取る。画像とは、撮像装置によって撮影された画像から取得するベイヤ配列のデータである。ＯＴＦに関するデータとは、本実施形態においては、撮像装置のレンズに関する設計値から算出したＯＴＦを、特定の周波数の範囲で抽出し、さらに離散化したもので、画像の光学中心に対して、円周方向と対角方向の二次元データである。この段階では、周波数の最大値は大きめに用意しておく必要がある。なぜなら、この段階では撮像装置の特性が不定のため、後の処理において制限とならないために、より柔軟に対応できるようにしておく必要があるためである。

その後、撮像装置の特性、例えばナイキスト周波数で切り出せるようにしておく。入力ゲインについては、ユーザが調整した回復処理の強度に対応する値を入力値とする。例えば、図１０に示すように、ユーザは回復処理の強度をスライダーのようなUI（ユーザーインターフェース）で調整してもよいし、数字を直接入力するようなUIでもよい。また、画面一律で設定するのが一般的であるが、例えば複数の領域にわけて、その領域ごとに細かくユーザが調整できるようなUIでもよい。その場合であっても、後で述べる完全回復に達するゲインの最大値については、一律で調整した場合と同様に、大小を比較する必要がある。

フィルタ生成部１０２では、入力された撮影条件やレンズデータから、回復処理に用いる回復フィルタを生成する。回復フィルタを生成する過程は、先行技術等で知られているため、図２のフローチャートを用いて簡単に説明する。

まず、ユーザから指示された回復処理の強度に対応する入力ゲインを受け取り、入力部１０１において入力する（Ｓ２０１）。
次に、撮影条件を入力する（Ｓ２０２）。
次に、Ｓ２０２で入力された撮影条件からレンズデータを参照し、対象画像に対応したＯＴＦデータを取得して回復フィタを生成する（Ｓ２０３）。これは、ＯＴＦデータそのものがレンズデータとして存在してもよいし、例えば中心から一方向のデータを持っておき、それを動的に回転等して画面全体分補間して生成してもよい。
次に、Ｓ２０３で生成した回復フィルタやＯＴＦをフィルタ適用部１０４や、強度決定部１０３へ出力する（Ｓ２０５）。

なお、レンズデータも、ＯＴＦそのものを保持していて、それを読み込むのみという形態でもよいが、後述する図５のＳ５０１で説明するように、例えば多項式近似式で近似し、その係数のみを保持するようにしてあってもよい。

また、全画素のＯＴＦデータを取得する形態でも可能であるが、現実的にはデータ量や処理速度との兼ね合いで、画像領域内部の離散点においてデータを保持し、実際の画像に適用する際に近傍の回復フィルタを補間して用いるほうがよい。なお、処理速度の懸念がある場合には、全面ではなく、さらに画面の一部分のＯＴＦや回復フィルタを生成し、適用するときに補間して使う場合もある。

次に、図５のフローチャートを用いて、代表的なフィルタ生成の過程を説明する。本実施形態では、図６の概念図とあわせて説明を行う。
まず、ＯＴＦデータの近似式係数を取得する（Ｓ５０１）。図６（ａ）に示すように、中心から周辺までの像高を１０分割した離散点を取得し、まずはその１０像高分のＯＴＦを生成する（Ｓ５０２、６０１）。そして、その１０像高分のＯＴＦを回転させ全面の４分の１領域について離散点のＯＴＦを生成する（Ｓ５０３、６０２）。

そして、カメラの機種によって異なるナイキスト周波数でＯＴＦを切り出し（Ｓ５０４）、撮像装置の特性である光学ローパスフィルタや開口劣化特性を掛け合わせる（Ｓ５０５）。
次に、入力ゲインに基づいて、回復フィルタ生成に必要な回復ゲインを算出する（Ｓ５０６）。ＯＴＦは、撮影される画像の各点における特性を示したものであるため、回復フィルタ生成のためには、ＯＴＦの逆特性を求めればよい。ＯＴＦの逆特性は、それぞれの周波数の信号に対して、どの程度のゲインをかければ、信号の劣化を完全回復できるかを示す。

ここで完全回復とは、ＯＴＦから算出可能な、劣化した光学的な特性が完全に回復されている状態のことを指す。ただし、フィルタ生成を行う際に、弊害対策等でＯＴＦを微調整する場合には、微調整後のＯＴＦに対して、劣化が完全に回復される状態のことを完全回復と呼ぶことにする。
一般的には、低い周波数領域では信号の劣化が小さいため、ＯＴＦの逆特性は１に近いとなり、反対に高い周波数領域では信号の劣化が大きいため、ＯＴＦの逆特性が高くなる。

ここで、回復ゲインが５というのは、画像の見た目に影響する所定の周波数領域において、最も増幅された信号の増幅率が５倍であるということである。例えば、入力ゲインが５と入力された場合に、画像の領域（あるいは点）ごとに、所定の周波数領域におけるＯＴＦの逆特性の最大値が５以下であるか否かを調べていく。画像内の場所によっては、元々のＯＴＦの性能がよく、回復ゲインを５に設定してしまうと、完全回復を超えてしまう場合がある。このような場合には、完全回復に達するときの５より小さい増幅率を、回復ゲインとして適用する。
反対に、回復ゲインを５に設定可能な領域において、入力ゲインが３である場合には、その領域の回復ゲインが３に設定される。この場合は、それぞれの周波数領域の信号が、完全回復に必要な増幅率の３／５倍で増幅されることになる。

完全回復に達する回復ゲインの値は、元々のＯＴＦの性能に依存するため、各領域によって異なる。そのため、任意の入力ゲインに対して、実際に適用される回復ゲインが各領域でまちまちになってしまうことが発生する。例えば、画面の４分の１の領域を、更に４８分割した場合の入力ゲインと、回復ゲインについて、一例を示す。

図９（ａ）は、入力ゲインが５であった場合の回復ゲインを示す図である。図９（ａ）の右上が中心部分であり、中心部分は元の性能が良いために、回復ゲインとして５を適用することができず、それよりも小さい３が適用されている。

次に、入力ゲインを上げ、入力ゲインが１０である場合の例を図９（ｂ）に示す。ここでは、入力ゲインを５としたときに比べ完全回復に達している領域が拡大しており、適用されている回復ゲインについても、中心部分から周辺部にかけてまちまちである。

このように、入力ゲインによっては、設定される回復ゲインが画面の領域ごとに異なることから、本実施形態のポイントであるノイズの増加量についても、大きな影響を与えることになる。

図５に戻り、ＯＴＦの逆特性にＳ５０６で算出した回復ゲインを適用して、フーリエ変換する前データを生成する（Ｓ５０７）。
次に、その回復ゲインが適用された逆特性のデータをフーリエ変換することで、回復フィルタを求める（Ｓ５０８）。ＯＴＦデータは位相情報も含むため、複素数データであったが、回復フィルタにすることで実数の二次元フィルタを生成できる。

前述したとおり、図６（ｂ）の概念図のように、画面の４分の１の範囲で演算していた場合には、更に全面になるようにデータをコピーして（６０３）、全面の回復フィルタを生成する（Ｓ５０９、６０４）。そして、生成したフィルタや取得したデータをフィルタ適用部１０４や、強度決定部１０３へ出力する（Ｓ５１０）。

フィルタ適用部１０４では、フィルタ生成部１０２において生成した回復フィルタを、画像の各画素に適用する。実際には、画像全体にかけて適用する場合もあれば、拡大表示をするために画像の一部分について適用を行う場合もある。また、回復フィルタは画像の全ての画素に対して生成せず、いくつかの離散点に対して生成することが一般的である。そこで、フィルタ生成部１０２で算出した回復フィルタから、対象の画素位置における回復フィルタを、補間等の方法を用いてさらに算出し、その結果を適用する。
回復フィルタは、対象画素１つにつき、幅と高さを持つ二次元のデータ配列になっており、対象画素を含む領域に対して、フィルタの各値をそれぞれの画素について求める。

フィルタ適用部１０４の処理において、一般的な画像処理のフィルタ処理の際は、画像の領域ごとに異なるパラメータをもち、場合によってはサイズが異なるため、フィルタのサイズも対象画素によって異なることが考えられる。そして、適用した画像をノイズ緩和部１０５へ出力する。

次に、図３のフローチャートを参照しながら強度決定部１０３で行なわれる算出処理について説明する。
強度決定部１０３は、画像内の一つの領域を選択し、フィルタ生成部１０２において生成したその領域のＯＴＦの逆特性と回復ゲインを読み出す（Ｓ３０１）。

次に、ＯＴＦの逆特性と回復ゲインに基づいて、しきい値の周波数よりも高い特定の周波数領域における信号の増幅率を算出する（Ｓ３０２）。ノイズ成分は高周波領域に多く含まれており、ノイズ成分の主な周波数が、この特定の周波数領域に含まれるようにしきい値が設定される。つまり、特定の周波数領域における信号の増幅率が大きければ、ノイズ成分の増幅率も大きく、ノイズが大きいと考えることができる。

次に、この特定の周波数領域における信号の増幅率に基づいて、ノイズの強度を決定する。例えば、特定の周波数領域における信号の増幅率に基づいて、ノイズの増加量を４段階に分類する。なお、４段階への分類は一例であって、ノイズの分類は４段階に限ることはない。また、アルゴリズムによっては連続的に強さを調整できるものもあるので、その場合には特定の周波数領域における信号の増幅率から、決められた算出式によってノイズの強度を決定する（Ｓ３０３）。

次に、決定したノイズの強度を、領域と関連づけて保持する（Ｓ３０４）。通常は、ＯＴＦの逆特性からこのノイズの強度が決定されることになるため、ＯＴＦの分割点に依存してノイズの強度が求められる場合が多いが、ノイズの強度の個数と位置は、ＯＴＦの分割点と異なっていても構わない。
次に、すべての領域についてノイズの強度を決定したか否かを判断し（Ｓ３０５）、決定していない場合にはＳ３０１に戻り、決定した場合には処理を終了する。

次に、図４のフローチャートを参照しながら、ノイズ緩和部１０５で行なわれる処理について説明する。
図４のフローチャートに示すように、対象領域、およびその周辺の画素を取得する（Ｓ４０１）。
次に、対象領域のノイズの強度を取得する（Ｓ４０２）。

次に、強度決定部１０３によって決定されたノイズの強度と、実際に画像回復の回復フィルタを適用した画像とを用いて、回復処理後の画像について、ノイズ緩和処理を行う（Ｓ４０３）。
ノイズ緩和処理の方式は無数に存在するが、本実施形態では、４種類のフィルタ（図７（ａ）、（ｂ）、（ｃ）、（ｄ））を切替えることで実現する。このため、図８に示すように、各領域において算出された係数から適用するフィルタをそれぞれ選択し、適用する。

これにより、各領域で異なるノイズ増幅量であった場合に、ノイズが増えた領域に対しては強いノイズ緩和処理を行うことができ、ノイズがあまり増えなかった領域に対しては弱いノイズ緩和処理を行うことができる。これにより、ノイズ緩和処理の弊害である解像感の低下を軽減することが可能となる。

次に、各画素や、場合によっては領域ごとに、ノイズ緩和処理を行ったか否かを判断し（Ｓ４０４）、処理を完了していない場合にはＳ４０１に戻り、処理を完了している場合には、Ｓ４０５に進む。
Ｓ４０５においては、ノイズ緩和処理済の画像を出力する。その後、処理を終了する。

なお、回復フィルタを適用した結果がベイヤ配列であると、ノイズ緩和処理を行う際に不都合な場合もある。その場合には、RGB値やYUV値などにするために補間を行い、その結果に対してノイズ緩和処理を行うことも考えられる。補間以外にも、ガンマの適用等の従来の画像処理についても同様である。

出力部１０６では、ノイズ緩和部１０５の出力結果を、他のモジュールやメモリに出力する。出力を行う場合、画像のみでなく、撮影条件や、画像処理の過程で取得したデータをセットで出力する場合も考えられる。

本実施形態では、汎用コンピュータ上のソフトウェアとして、表示や調整の例を示すが、カメラ等の撮像装置や、携帯電話等の簡易的なコンピュータや、サーバ等の大型のコンピュータ等であってもよい。

ソフトウェアを起動すると、ソフトウェアのダイアログ１００１が起動する。ここには、現在調整中の画像１００３がプレビューとして表示され、ユーザはこのプレビューとして表示された画像１００３を参照しながら調整を行うことができる。また、回復処理をON/OFFするためのチェックボックス１００２や、強さを変更するためのスライダー１００４によって調整することができ、任意のタイミングで調整終了を表すOKボタン１００５を押下する。

（第２の実施形態）
第１の実施形態では、強度決定部１０３において、あらかじめしきい値を設定しておく例を示した。
しかし、あらかじめしきい値を設定しておくのではなく、画像を生成した撮像素子の特性から動的にしきい値を算出して設定するという形態も考えられる。この場合、例えば撮像素子の画素ピッチからナイキスト周波数を算出できるので、ナイキスト周波数の９５％以上を高周波領域とするなどと定義することができる。

これにより、しきい値を固定してしまうと、極端に特性の異なる撮像素子から得られた画像を入力とした際に結果が異なる可能性があるが、それを防止することができる。また、第１の実施形態の固定しきい値と、撮像素子の特性から算出したしきい値とを比較し、常に大きい方、もしくは常に小さい方を選択するという形態も考えられる。これらのバリエーションは、入力される可能性のある撮像素子の種類や、除去したいノイズの特性等から選択する必要がある。

（第３の実施形態）
本実施形態では、強度決定部１０３において、しきい値の周波数よりも高い特定の周波数領域における信号の増幅率からノイズの強度を算出する過程で、ＯＴＦの高周波成分を微調整するという例を示す。
例えば、ＯＴＦのゲインについて、０とみなすしきい値を設定しておき、しきい値よりも小さい値を持つ周波数については、微小な値を持っていてもその値を０とみなすことで、値を無視するようなゼロ落ち周波数判定を行う。これは、０でない微小な値を持つ周波数の信号は、ノイズとなる可能性が高く、回復フィルタを生成する場合に、このような周波数の信号は回復対象から除外することがある。このような場合には、その周波数の信号が増幅されないのだから、ノイズの強度を決定する際においても、この周波数の信号における増幅率は考慮しない方が良い。

さらに、ＯＴＦの周波数毎のゲインについて、低周波側から走査していき、変化量の傾きが正になる最初の周波数以降の値は０として、ゲインの傾き（うねり）を無視する、うねり判定を行うことも考えられる。これは、通常の光学系であれば、低周波から高周波へ向かって値は下がっていく傾向にあるため、その傾向に沿わない部分、つまり局所的に見た場合に、低周波の値よりも高周波の値が大きい周波数以降では、ノイズである可能性が高いからである。

前述と同様に、フィルタ生成の過程において、同様の考慮を行うことがあり、ノイズの強度の決定時にも考慮した方が良い場合があるからである。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 画像処理装置
１０１ 入力部
１０２ フィルタ生成部
１０３ 強度決定部
１０４ フィルタ適用部
１０５ ノイズ緩和部
１０６ 出力部

Claims (11)

1. 撮影条件に応じた光学的な劣化に関する補正データから、画像の領域ごとに、周波数に応じた信号の増幅率を設定する設定手段と、
   前記増幅率に基づいて、前記画像の領域ごとの回復フィルタを生成するフィルタ生成手段と、
   前記フィルタ生成手段で生成した回復フィルタを前記画像に適用するフィルタ適用手段と、
   前記増幅率に応じたノイズ緩和処理を、回復フィルタを適用した画像に対して行うノイズ緩和手段とを有することを特徴とする画像処理装置。
2. 前記設定手段は、ユーザから指示された前記回復フィルタの強度を取得し、前記強度に基づいて前記増幅率を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正データは光学伝達関数であり、
   前記設定手段は、画像の領域ごとに、前記光学伝達関数の逆特性と前記強度に基づいて、前記増幅率を演算することを特徴とする請求項２に記載の画像処理装置。
4. 前記設定手段は、画像の領域ごとに、前記光学伝達関数の逆特性から得られる増幅率の最大値と前記強度を比較し、前記強度が前記最大値よりも大きければ前記最大値を前記増幅率として設定し、大きくなければ前記強度を前記増幅率として設定することを特徴とする請求項３に記載の画像処理装置。
5. 前記ノイズ緩和手段は、前記増幅率に基づいてノイズの強度を決定する決定手段を有し、前記ノイズの強度に基づいて前記ノイズ緩和処理を行うものであって、
   前記決定手段は、周波数がしきい値よりも高い信号における前記増幅率に基づいて、前記ノイズの強度を決定することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記決定手段は、前記しきい値を、前記画像を撮像素子の画素ピッチを元に算出することを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記光学伝達関数が示す値がしきい値よりも小さくなる周波数については、前記光学伝達関数が示す値を考慮せずに、前記ノイズの強度を決定することを特徴とする請求項５または６に記載の画像処理装置。
8. 前記決定手段は、前記光学伝達関数が示す値を低周波から走査した場合に、変化量が正になる最初の周波数以降については、前記光学伝達関数が示す値を考慮せずに、前記ノイズの強度を決定することを特徴とする請求項５または６に記載の画像処理装置。
9. 撮影条件に応じた光学的な劣化に関する補正データから、画像の領域ごとに、周波数に応じた信号の増幅率を設定する工程と、
   前記増幅率に基づいて、前記画像の領域ごとの回復フィルタを生成する工程と、
   生成した前記回復フィルタを前記画像に適用する工程と、
   前記増幅率に応じたノイズ緩和処理を、回復フィルタを適用した画像に対して行う工程とを有することを特徴とする画像処理方法。
10. 撮影条件に応じた光学的な劣化に関する補正データから、画像の領域ごとに、周波数に応じた信号の増幅率を設定する工程と、
    前記増幅率に基づいて、前記画像の領域ごとの回復フィルタを生成するフィルタ生成工程と、
    前記フィルタ生成工程で生成した回復フィルタを前記画像に適用する工程と、
    前記増幅率に応じたノイズ緩和処理を、回復フィルタを適用した画像に対して行う工程とをコンピュータに実行させることを特徴とするプログラム。
11. 請求項１０に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images