JP5949201B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

デジタルカメラなどで撮影した画像では、周辺部の分解能が劣化していることが多い。レンズ光学系の収差や開口サイズの画角依存性のため、光軸中心部に対して周辺部の分解能が劣化する傾向がある。劣化の要因のひとつとして開口のけられがある。画角が大きいところでは、半径方向の開口がけられ、楕円の開口となりボケが生じる。このため半径方向の分解能が劣化してしまう。

この分解能の劣化に対し、例えば、入射する光の角度によるＰＳＦ（Point Spread Function）の変化に対応するため、画像中の処理対象の位置に応じて異なるフィルタデータを用いてフィルタリングし、画像補正を行う技術がある（例えば特許文献１参照）。

特開２０１２−２３４９８号公報

ここで、分解能は、方向によって異なるという性質を有する。以降では、これを分解能の異方性と呼ぶ。例えば、光軸を中心とした半径方向と、円周方向とでは、分解能が異なる。

しかしながら、従来技術では、画像の位置に応じて異なるフィルタリングを行ってボケを補正するが、この方法では分解能の異方性を改善することはできない。

そこで、開示の技術では、ボケを補正しつつ分解能の異方性を改善するフィルタデータを決定することができる画像処理装置及びプログラムを提供することを目的とする。

開示の一態様における画像処理装置は、放射状の模様を有する被写体が撮像された画像の分解能劣化を少なくとも２方向で分析する分析部と、前記画像のボケ関数に応じたフィルタにより補正された画像に対し、前記分析部による分析結果に基づいて、前記２方向のうち、分解能が悪い方向のフィルタパラメータの重み係数を調整し、調整後の重み係数を含むフィルタデータを決定する決定部とを備える。

開示の技術によれば、ボケを補正しつつ分解能の異方性を改善するフィルタデータを決定することができる。

光学系の一例を示す図。 画像位置に応じた開口の例を示す図。 画像位置に応じたボケの方向を示す図。 楔形チャートを用いる場合の分解能を説明するための図。 楔形チャートで分解能を計測した結果を示す図。 撮影画像位置による劣化を示す図。 撮影画像端部の楔形チャートの一例を示す図。 図７に示す楔形チャートの分解能分析結果を示す図。 撮影画像中央部の楔形チャートの一例を示す図。 図９に示す楔形チャートの分解能分析結果を示す図。 ボケ関数をフーリエ変換したときの特性例を示す図。 Ｋ（ω）の逆数を示す図。 一定値を分母に足した場合の逆フィルタを示す図。 高周波ほどゲインを落とす場合の逆フィルタを示す図。 楕円のＰＳＦの一例を示す図。 楕円のボケ関数をフーリエ変換したときの特性例を示す図。 Ｋ（ω，θ）の逆数を示す図。 一定値を分母に足した場合の逆フィルタを示す図。 高周波ほどゲインを落とす場合の逆フィルタを示す図。 分解能の異方性を改善するための逆フィルタの一例を示す図。 実施例１における画像処理装置を含む撮像装置の概略構成の一例を示すブロック図。 回転を説明するための図。 逆フィルタＫ_ｉｎｖの空間周波数２次元分布の一例を示す図。 逆フィルタＫ_ｉｎｖの空間周波数方向による分布の一例を示す図。 係数分析部の機能の一例を示すブロック図。 ＰＳＦを算出する手順を説明するための図。 重み係数の決定処理１の一例を示す図。 重み係数の決定処理２の一例を示す図。 画像補正前の分解能の分析結果を示す図。 実施例１による画像補正後の分解能の分析結果を示す図。 γ＝１とした場合の画像補正後の分解能の分析結果を示す図。 実施例１における重み係数の決定処理の一例を示すフローチャート。 係数算出処理の一例を示すフローチャート。 条件判定処理の一例を示すフローチャート。 １２個のチャートを撮影した画像の一例を示す図。 逆フィルタテーブルの一例を示す図。 実施例２における画像処理装置を含む撮像装置の概略構成の一例を示すブロック図。 注目画素の線形補間を説明するための図。 実施例２におけるフィルタ処理の一例を示すフローチャート。 実施例３における画像処理装置の概略構成の一例を示すブロック図。 チャート（その１）の例を示す図。 チャート（その２）の例を示す図。 チャート（その３）の例を示す図。

まず、分解能劣化の一つの要因について、図１〜３を用いて説明する。図１は、光学系の一例を示す図である。図２は、画像位置に応じた開口の例を示す図である。図１に示す光学系を用いる場合、図２に示すように、光軸中心での開口は円形であるが、画角が大きい場合の開口はけられが生じる。図２に示すように、画像位置によって開口は楕円となる。

図３は、画像位置に応じたボケの方向を示す図である。図１に示す光学系を用いる場合、図３に示すように、開口が狭くなると分解能が劣化するので、ボケの方向は半径方向に劣化する傾向がある。

次に、発明者らが行った分解能の分析について説明する。放射状にエッジが分布するシーメンスター（以下、チャートとも呼ぶ）の撮影により、分解能の劣化の傾向が詳細に分析できる。

図４は、楔形チャートを用いる場合の分解能を説明するための図である。図４に示す例では、矢印方向に分解能を計測するには、この方向と垂直な方向に複数データを取得する。図４に示す楔形のシーメンスターを用いる場合、端部から中心部に向かうほど、ライン幅が狭くなり、単位ピクセル当りのライン数は多くなる。中心部は、高周波成分を表す。また、端部から中心部に向かうほど、輝度値の振幅（Intensity）は減少する。

図４に示すように、放射状に広がる、例えば楔形形状の被写体を用いることで、方向による分解能（ＭＴＦ：Modulation Transfer Function）を分析することが可能になる。

図５は、楔形チャートで分解能を計測した結果を示す図である。図５は、図４に示す方向で分解能を計測したグラフを示す。図５に示す縦軸は輝度値の振幅を示し、横軸は１ピクセル当りのライン数（ＬＰ：Line Pair）を示す。この分析では、振幅は、中心部へ向かうほど小さくなり、高周波成分（横軸右方向）になるほど劣化していく様子（ＭＴＦ）を分析できる。

図６は、撮影画像位置による劣化を示す図である。図６に示す例では、シーメンスターを複数枚並べて撮影すると、中央部に対し、端部での分解能の劣化を分析できる。図６に示す例では、Ｄｘ方向は円周方向、Ｄｙ方向は半径方向を示す。Ｄｘ方向とＤｙ方向の定義は、以降の図においても同様である。

図６に示す分析の結果、画像端部を含む周辺部では、単に分解能が劣化しているだけでなく、分解能に異方性があることが分かる。シーメンスターの分解能を比較すると、中央部では、角度依存が少ないが、端部では、角度依存がある。

図７は、撮影画像端部の楔形チャートの一例を示す図である。図７に示す楔形チャートについて、Ｄｘ方向の垂直方向（半径方向）、Ｄｙ方向の垂直方向（円周方向）で分解能を分析する。

図８は、図７に示す楔形チャートの分解能分析結果を示す図である。図８に示すように、半径方向の分解能が円周方向よりも分解能が劣化している。これにより、画像端部では、分解能に異方性があることが分かり、その分解能を定量的に測定することが可能である。

図９は、撮影画像中央部の楔形チャートの一例を示す図である。図７に示す楔形チャートについて、Ｄｘ方向の垂直方向（半径方向）、Ｄｙ方向の垂直方向（円周方向）で分解能を分析する。

図１０は、図９に示す楔形チャートの分解能分析結果を示す図である。図１０に示すように、半径方向の分解能と、円周方向の分解能とは、それほどの違いはない。よって、画像中央部では、分解能の異方性は見られない。

ここで、上記のような分解能劣化を含むボケを補正するには、点広がり関数（ＰＳＦ）を用いて補正する手法がある。ＰＳＦは、例えばボケを表す関数である。以降では、ボケを表す関数をボケ関数とも呼ぶ。

元画像をｘ，ＰＳＦをｋとすると、ボケ画像ｙは、ｘとｋを畳込みした画像となり、下記で表される。

実際にはノイズｎが含まれるが、ここでは説明を簡単にするため省略する。

式（１）は、フーリエ変換されると、式（２）になる。

ω：空間周波数
次に、逆フィルタＫ_ｉｎｖは、単純に求めようとすると、Ｋの逆数で求められる。

これより、元画像のフーリエ変換Ｘ（ω）は、式（４）で求められ、これを逆フーリエ変換することにより元画像が算出される。

このようにＰＳＦをフーリエ変換し、逆数による逆フィルタ関数（以下、単に逆フィルタとも呼ぶ）を算出する際に、空間周波数での割り算を行うため、高周波領域で０割が生じてしまう場合がある。０割とは、０又は０に近い値で割り算することである。高周波が０に近いと逆数が大きくなりすぎ、高周波のノイズが強調されてしまう。

図１１は、ボケ関数をフーリエ変換したときの特性例を示す図である。図１１は、Ｋ（ω）を示し、高周波では０に近くなる。

図１２は、Ｋ（ω）の逆数を示す図である。図１２は、式（３）によるＫ_ｉｎｖを示し、例えば高周波では分母が０に近いので高周波でのノイズが拡大されてしまう。

そこで、この高周波でのノイズを低減するために、分母に補正項を挿入して高周波での強調を防ぐ。

逆フィルタは、複素数なので、共役複素数を用いて表す。

図１３は、一定値を分母に足した場合の逆フィルタを示す図である。図１４は、高周波ほどゲインを落とす場合の逆フィルタを示す図である。図１３や図１４に示すように、周波数成分ごとに重みを加えてノイズを低減する。

ここで、ＰＳＦが楕円の場合について考える。図１５は、楕円のＰＳＦの一例を示す図である。図１５に示す例では、Ｄｘ方向よりもＤｙ方向の方が、分解能が悪いことを示す。つまり、Ｄｙ方向の方が、Ｄｘ方向よりも分解能が劣化している。

楕円のＰＳＦは、ｋ（ｒ，θ）で表される。ｒは半径を表し、θは方向を表す。例えば、楕円のＰＳＦは、半径ｒと方向θの関数として表される。楕円のＰＳＦをフーリエ変換すると、Ｋ（ω，θ）＝ｆｋ（ｒ，θ）となる。ｆは、フーリエ変換を表す。例えば、フーリエ変換後のＫ（ω，θ）は、空間周波数ωと方向θの関数である。

図１６は、楕円のボケ関数をフーリエ変換したときの特性例を示す図である。図１６は、図１５のボケ関数の用いており、方向θによって特性が異なる。図１６に示すように、Ｄｘ方向と、分解能が悪いＤｙ方向とでは、その特性が異なることが分かる。

図１７は、Ｋ（ω，θ）の逆数を示す図である。図１７は、式（７）によるＫ_ｉｎｖを示し、例えば高周波では分母が０に近いので高周波でのノイズが拡大されてしまう。

そこで、この高周波でのノイズを低減するために、分母に補正項を挿入して高周波での強調を防ぐ。式（８）は、高周波のノイズを低減する逆フィルタを表す。

図１８は、一定値を分母に足した場合の逆フィルタを示す図である。図１９は、高周波ほどゲインを落とす場合の逆フィルタを示す図である。図１８や図１９に示すように、周波数成分ごとに重みを加えてノイズを低減する。

楕円のボケ関数（例えばＰＳＦ）の場合でも、補正した重み（λ）により高周波のノイズを低減することはできる。しかしながら、この重みによる補正では、分解能が悪い方向（例えばＤｙ方向）の補正改善を行うことができない。よって、単に重みを加えるだけでは、分解能の異方性を改善することはできない。そこで、方向に応じて適切な重み関数を調整することで、分解能の異方性を改善することができることを発明者らは見出した。

図２０は、分解能の異方性を改善するための逆フィルタの一例を示す図である。図２０に示す例は、高周波ほどゲインを落とすが、分解能が悪いＤｙ方向について改善をより強調する例である。

以下に、分解能の異方性を改善するための各実施例について説明する。以下に説明する各実施例では、図２０に示すように、ゲインを落とす方法を用いて説明するが、これに限られない。例えば、図１３などのように、一定値を足す方法でも分解能の異方性を改善することができる。この場合、Ｄｙ方向をＤｘ方向よりも強調して一定値を足すようにすればよい。

［実施例１］
まず、分解能の異方性を改善するためのフィルタデータを生成する実施例について説明する。

＜構成＞
図２１は、実施例１における画像処理装置を含む撮像装置の概略構成の一例を示すブロック図である。図１に示す撮像装置は、光学系１、撮像素子２、ＡＦＥ（Analog Front End）３、画像処理部４、後処理部５、駆動制御装置６、制御装置７、画像メモリ８、表示部９及び係数分析部１０を備える。

光学系１は、放射状の模様を有する被写体Ｋからの光を像面に集光する。例えば、光学系１は、レンズ１１ａ、１１ｂ、１１ｃ、及び絞り１２を含む。レンズ１１ａ、１１ｂ、１１ｃ、及び絞り１２は、被写体Ｋからの光を撮像素子２の撮像面に集光させて被写体の像を結像する。駆動制御装置６は、レンズ１１ａ、１１ｂ、１１ｃの位置や絞り１２の絞り度合い等を制御することができる。なお、光学系１の構成は特定のものに限定されない。

撮像素子２は、光学系１によって集光された被写体Ｋからの光を電子信号（アナログ信号）に変換する。撮像素子２は、例えば、ＣＣＤ／ＣＭＯＳ等の二次元撮像素子を含み、二次元撮像素子は、被写体の像を電子信号（画像信号）に変換してＡＦＥ３へ出力する。

ＡＦＥ３は、撮像画像のアナログ信号をデジタル信号に変換する。ＡＦＥ３は、例えばＡ／Ｄ（アナログデジタル）コンバータ３１及びタイミングジェネレータ３２を含む。タイミングジェネレータ３２は、制御装置７からの制御信号に基づいて、撮像素子２の駆動に用いられるタイミングパルスを生成し、撮像素子２及びＡ／Ｄコンバータ３１へ出力する。

画像処理部４は、デジタル信号の画像を保存して所定の画像処理を行う。画像処理部４は、例えばＡ／Ｄコンバータ３１でデジタル信号に変換された画像（ＲＡＷ画像）を記録するＲＡＷメモリ４１を含む。画像処理部４は、ＲＡＷ画像に対して、所定の処理を施してもよい。所定の処理が施された画像は画像メモリ８に記録される。

後処理部５は、所定の処理を経た画像に対して更に必要な処理を施して表示画像を生成する。後処理部５は、例えば、所定の処理が施された画像を画像メモリ８から読み出して、必要な処理を行って、表示するための画像を生成し、表示部９へ出力する。

画像メモリ８は、所定の処理後の画像を記憶する。表示部９は、例えば、画像を記録するＶＲＡＭ、及びＶＲＡＭの画像を出力するディスプレイを含む。なお、撮像装置は、表示機能を必ずしも備えなくてもよく、表示部９の替わりに、表示用の画像を記録する記録部（例えば、ＶＲＡＭ等）が設けられてもよい。

駆動制御装置６は、光学系１を制御する。制御装置７は、ＡＦＥ３、及び後処理部５を制御する。

係数分析部１０は、チャートが撮影された画像から、各画像位置での各方向の分解能を分析し、分解能の異方性を改善するための適切なフィルタデータを決定する。係数分析部１０の詳細は後述する。

フィルタデータは、例えば、デコンボリューションカーネルのように、画像補正のためのフィルタリングに必要なパラメータの集合とすることができる。デコンボリューションカーネルは、具体的には、ＰＳＦに応じた円形又は楕円形の被写体の像の分布する領域と、領域における各画素の重みを表すデータ（このようなデータをデコンボリューション分布と称する）で表すことができる。

（逆フィルタ）
ここで、実施例で用いる逆フィルタについて説明する。以下では、分解能の異方性を改善する、例えば、分解能の悪い方向の調整を行う逆フィルタの算出手順について説明する。また、逆フィルタは、単にフィルタとも呼ぶ。

式（１）で示すように、元画像ｘとＰＳＦ：ｋ、ボケ画像ｙを考える。この元画像ｘを求めるときに、逆問題として式（９）が最小となれば、元画像に近い画像が得られる。

通常は、逆問題を解くときに何らかの正則化項が施される。よって、正則化項を加算し、式（１０）から逆問題を解く。

今回の問題では、方向性を必要とするから、画像の横（水平）方向（ｘ方向）および縦（垂直）方向（ｙ方向）の微分項を正則化項と追加する。

ε：重み係数
ｄ_ｍ，ｄ_ｎ：行列方向の微分フィルタ

式（１１）が最小となるには、式（１１）をｘで偏微分した結果を０とすればよく、フーリエ変換して、Ｘ（ω）について解くと以下の式（１２）が得られる。

Ｘ（ω）、Ｙ（ω）、Ｋ（ω）、Ｄ_ｍ（ω）、Ｄ_ｎ（ω）は、それぞれｘ，ｙ，ｋ，ｄ_ｍ，ｄ_ｎのフーリエ変換を表す。

周波数領域での逆フィルタＫ_ｉｎｖ（ω）は、式（１３）を満たす。

よって、逆フィルタＫ_ｉｎｖ（ω）は、次の式（１４）を満たす。

式（１４）は、共役複素数を用いると式（１５）式となる。

実施例では、分解能の悪い方向を調整するため、回転行列を用いて角度θ方向に微分係数の軸を回転させることが特徴となる。

回転行列を用いることで、方向性を持たせることができる。

図２２は、回転を説明するための図である。図２２に示す例では、Ｄｎ方向をθ回転させてＤｙ方向にし、Ｄｍ方向をθ回転させてＤｘ方向にする。

ここで、楕円ＰＳＦをｋ（ｒ，θ）、フーリエ変換後の楕円ＰＳＦをＫ（ω，θ）＝ｆｋ（ｒ，θ）とする。
式（１５）に、式（１６）（１７）及びＫ（ω，θ）を代入するとともに、方向による重みγを設定すると、式（１８）が成り立つ。

γ：逆フィルタの方向による重み係数
ε：全体の重み係数

この式（１８）により、各実施例で用いる逆フィルタの方向性の重み調整を施すことが可能となる。例えば、係数分析部１０は、分解能の悪い方向（Ｄｙ方向）の重みγを調整する。重み係数γを小さくすることで、分解能の悪い方向を改善することができる。

図２３は、逆フィルタＫ_ｉｎｖの空間周波数２次元分布の一例を示す図である。図２３に示す例では、γ＝１／３００の場合の２次元分布の例である。Ｄｙ方向について、Ｄｘ方向よりも分解能が改善するように重み係数γ、ε（特にγ）が決定される。

図２４は、逆フィルタＫ_ｉｎｖの空間周波数方向による分布の一例を示す図である。図２４は、Ｄｙ方向の重み係数を小さくすることにより、Ｄｙ方向の改善を強調することができる。また、図２４に示すＤｙ'は、γ＝１の場合の分布を示す。これにより、実施例によれば、逆フィルタのフィルタパラメータに乗算する重み係数にも異方性を持たせることができるようになる。

（係数分析部）
次に、係数分析部１０について説明する。係数分析部１０では、分解能の異方性を改善するためのフィルタデータを決定する。

図２５は、係数分析部１０の機能の一例を示すブロック図である。図２５に示す係数分析部１０は、分解能分析部１０１及びフィルタデータ決定部１０２を有する。係数分析部１０は、チャート画像が撮影された画像から係数分析を行う。以下に説明する例では、例えば左上の位置に撮影された楔形の画像から係数分析を行う。

分解能分析部１０１は、放射状の模様を有する被写体が撮像された画像の分解能劣化を少なくとも２方向で分析する。分析の仕方は、図４や図５などに説明した方法を用いる。
分解能分析部１０１は、横軸に１ピクセルあたりのライン数、縦軸に振幅強度をとるとＭＴＦがわかる。１ピクセルあたりのライン数は、実際の被写体距離位置での単位長さあたりのライン数を用いてもよい。実施例では、楔形で放射状なチャートを用いるため、図５に示すように方向によるＭＴＦを分析できる。

図２６は、ＰＳＦを算出する手順を説明するための図である。図２６に示す例では、まず、フィルタデータ決定部１０２は、画像の位置に応じた角度と楕円率を算出する。フィルタデータ決定部１０２は、所定角度毎に算出されたＭＴＦにおいて、ある一定閾値（最大振幅の半分程度）で等高線を作ると楕円を求めることができる。

フィルタデータ決定部１０２は、求めた楕円の長軸と短軸から楕円率を算出できる。フィルタデータ決定部１０２は、画像の位置に基づいて、幾何学的に角度θ１を算出する。また、フィルタデータ決定部１０２は、分解能の楕円の長軸、短軸から角度θ１を算出することもできる。長軸、短軸から角度θ１を算出した方が、実際のボケ具合に合わせて角度を算出することができる。ここで、図３で説明したように、光軸中心から同心円を描いたときに半径方向のボケが大きい。

フィルタデータ決定部１０２は、例えば縦方向と、半径方向との角度を算出すればよい。なお、光軸中心は、基本的には画像中心だが、レンズの位置ずれにより中心がずれる場合もある。フィルタデータ決定部１０２は、この算出された楕円率と角度からＰＳＦを決定する。このときのＰＳＦの楕円は、ＭＴＦの等高線から得られた楕円とは９０度回転した方向になっている。

図２５に戻り、フィルタデータ決定部１０２は、画像のボケ関数（ＰＳＦ）に応じたフィルタ（上記逆フィルタ）により補正された画像に対し、この補正後の画像の分解能分析結果に基づいて、この逆フィルタの異方性を有するフィルタデータを決定する。

また、フィルタデータ決定部１０２は、画像の微分方向に対し、重み係数（例えばγ）を変えて決定する。例えば、Ｄｘ方向の重み係数は１にし、Ｄｙ方向の重み係数をγとし、このγを調整する。これにより、分解能の異方性を改善できる。

また、フィルタデータ決定部１０２は、微分方向に対して、回転（例えばθ）をすることで重み係数を決定する。これにより、分解能の悪い方向を検出でき、フィルタリングを行うことができるようになる。

具体的には、フィルタデータ決定部１０２は、例えば重み係数εとγとを調整して、適切な重み係数εとγを決定する。重み係数γは、分解能が悪い方向のフィルタパラメータの重み係数を表す。分解能が悪い方向のフィルタパラメータは、例えば、式（１８）の重み係数γにかかるＤｙ（ω、θ）とそのＤｙ（ω、θ）の共役複素数である。

重み係数を調整して決定するため、フィルタデータ決定部１０２は、調整部１２１、画像補正部１２２、及び係数決定部１２３を備える。

調整部１２１は、例えば、方向に依存しない重み係数εと、方向に依存するγを調整する。調整部１２１は、重み係数ε、γの初期値を設定し、その初期値を画像補正部１２２に渡す。

画像補正部１２２は、調整部１２１から取得した重み係数により画像補正を行う。画像補正部１２２は、式（１８）に示す逆フィルタを用いて画像をフィルタリングして補正する。画像補正部１２２は、補正後の画像を分解能分析部１０１に渡し、再度分解能の劣化を分析する。

係数決定部１２３は、補正後の画像に対する分解能分析結果に基づいて、２つの方向の分解能劣化の差が小さくなるように重み係数を決定する。係数決定部１２３は、様々な重み係数により補正された画像の分析結果を保持し、例えば、所定の振幅強度において、空間周波数の値の差分が最小となるように、重み係数εとγを決定する（決定処理１）。

図２７は、重み係数の決定処理１の一例を示す図である。図２７に示すように、係数決定部１２３は、所定振幅強度（閾値１）において、空間周波数の差が小さくなるよう重み係数を決定する。

また、係数決定部１２３は、所定の空間周波数において、振幅強度の差が最小となるように、重み係数εとγを決定してもよい（決定処理２）。

図２８は、重み係数の決定処理２の一例を示す図である。図２８に示すように、係数決定部１２３は、所定の空間周波数（閾値２）において、振幅強度の差が小さくなるように、重み係数を決定する。

なお、閾値１、閾値２は、複数設定してもよく、係数決定部１２３は、各閾値での差分の二乗和が最小となるように重み係数を決定してもよい。なお、係数決定部１２３は、所定の差分が予め設定された閾値以下となるように重み係数を決定してもよい。この閾値は、事前の実験等により設定されればよい。

また、係数決定部１２３は、画像中心部での２方向の分解能の差分二乗和と、画像中心部とは異なる画像周辺部での２方向の分解能の差分二乗和との差が所定値以下となるように重み係数を決定してもよい。また、係数決定部１２３は、画像中心部と画像周辺部との差分二乗和が最小となるように重み係数を決定してもよい。

これは、分解能の異方性を低減する際、画像中央部の分解能と画像周辺部の分解能を同様にすることで、画像全体の分解能が同様になり、画質の向上が図れるからである。

係数決定部１２３による最小化の判断は、最小化関数を用いて算出してもよいし、人が判断してもよい。最小化関数としては、例えば、シンプレックスサーチ法や、最急降下法、共役勾配法などがある。

フィルタデータ決定部１０２は、重み係数を変更して調整し、調整後の重み係数で逆フィルタを求め、求めた逆フィルタで画像を補正し、補正後の画像の分解能分析結果に基づいて、最適な重み係数を決定する。最適な重み係数が決定されるまで、重み係数の調整、逆フィルタの算出、フィルタリングによる補正、分解能分析の処理が繰り返される。

画像処理部４は、例えば、ＤＳＰ（Digital Signal Processor）により構成することができる。この場合、ＲＡＷメモリ４１は、ＤＳＰ内蔵メモリであってもよいし、外部のメモリであってもよい。また、後処理部５、画像メモリ８、係数分析部１０、表示のためのＶＲＡＭ等が画像処理部４とともに一体のＤＳＰで構成されてもよい。また、係数分析部１０は、単体又は他の処理部を含む画像処理装置として構成されてもよい。

あるいは、ＤＳＰのような特定処理専用プロセッサでなく、ＣＰＵ等の汎用プロセッサが、所定のプログラムを実行することにより画像処理部４や係数分析部１０の機能を実現することもできる。駆動制御装置６、制御装置７及び後処理部５も同様に、少なくとも１台の、特定処理専用プロセッサまたは汎用プロセッサにより構成することができる。

なお、プロセッサを画像処理部４や係数分析部１０として機能させるプログラムやそれを記録した記録媒体も本発明の実施形態に含まれる。この記録媒体は、一過性でない（non-transitory）ものであり、信号そのもののような一過性の媒体は含まれない。

＜効果＞
次に、係数分析部１０により求められた異方性を有する逆フィルタを用いる効果について説明する。図２９は、画像補正前の分解能の分析結果を示す図である。Ｄｙ方向の方がＤｘ方向よりも落ち込みが大きいため、分解能が劣化していることが分かる。

図３０は、実施例１による画像補正後の分解能の分析結果を示す図である。図３０に示す例では、γは１／３００を用いている。図３０に示すように、Ｄｘ、Ｄｙ方向共に分解能が改善し、さらに、各方向の差が小さくなっている。よって、分解能の異方性を改善することができている。

図３１は、γ＝１とした場合の画像補正後の分解能の分析結果を示す図である。図３１に示す分析結果は、従来と同じ逆フィルタを用いた場合の結果である。図３１に示すように、各方向で分解能は改善しているが、その差が大きくなっており、分解能の異方性を改善することができない。

＜動作＞
次に、実施例１における画像処理の動作について説明する。図３２は、実施例１における重み係数の決定処理の一例を示すフローチャートである。図３２に示すステップＳ１０１で、係数分析部１０は、ＲＡＷメモリ４１からチャート画像を取得する。

ステップＳ１０２で、分解能分析部１０１は、補正前の画像に対し、分解能を分析する。

ステップＳ１０３で、フィルタデータ決定部１０２は、ボケ関数（例えばＰＳＦ）、楕円率、角度、逆フィルタに用いる重み係数を算出する。重み係数は、例えばε、γである。

ステップＳ１０４で、画像補正部１２２は、算出された重み係数による逆フィルタを用いてフィルタリングし、画像を補正する。

ステップＳ１０５で、分解能分析部１０１は、補正後の画像に対し、分解能を分析する。

ステップＳ１０６で、係数決定部１２３は、重み係数が条件を満たすか否かを判定する。条件を満たせば（ステップＳ１０６−ＹＥＳ）ステップＳ１０７に進み、条件を満たさなければ（ステップＳ１０６−ＮＯ）ステップＳ１０３に戻る。

ステップＳ１０７で、係数決定部１２３は、条件を満たす重み係数を決定する。

係数分析部１０は、以上の処理をチャートが存在する画像内の各位置で行う。係数分析部１０は、画像内の各位置で、分解能の異方性を分析し、その異方性を改善するためのフィルタデータを決定する。

次に、ステップＳ１０３の係数算出処理について説明する。図３３は、係数算出処理の一例を示すフローチャートである。図３３に示すステップＳ２０１で、フィルタデータ決定部１０２は、ボケ関数のＰＳＦの角度θ、楕円率を算出する。

ステップＳ２０２で、フィルタデータ決定部１０２は、重み係数を算出する。重み係数ε（全体の重み係数）、γ（分解能が悪い方向を改善するための重み係数）には、初期値が与えられ、調整部１２１により重み係数の値が変更される。なお、ステップＳ１０６で、ＮＯと判定され、繰り返し係数を算出する場合は、フィルタデータ決定部１０２は、重み係数の調整だけでよい。

次に、ステップＳ１０６の条件判定処理について説明する。図３４は、条件判定処理の一例を示すフローチャートである。図３４に示すステップＳ３０１で、係数決定部１２３は、分解能の分析結果から所定の差分を算出する。所定の差分は、上述したとおり、所定の振幅強度による２方向の空間周波数の差分や、所定の空間周波数による２方向の振幅強度の差分などである。また、所定の差分は、画像中央部の２方向の空間周波数の差分二乗和と、画像周辺部の２方向の空間周波数の差分二乗和との差分であってもよい。

ステップＳ３０２で、係数決定部１２３は、算出した所定の差分が最小であり、かつ分解能が向上しているかを判定する。この条件を満たせば（ステップＳ３０２−ＹＥＳ）ステップＳ１０７に進み、この条件を満たさなければ（ステップＳ３０３−ＮＯ）ステップＳ１０３に進む。

以上の処理をすることで、所定の画像位置に対し、ボケを補正しつつ分解能の異方性を改善するフィルタデータを決定することができる。例えば、分解能が他の方向よりも悪い方向を検出し、その悪い方向に対して分解能がより改善するような重み係数を決定することができる。係数分析部１０は、フィルタデータを決定すれば、逆フィルタ（式（１８）参照）を決定することができる。

係数分析部１０は、逆フィルタの算出を、画像の各位置で行う。図３５は、１２個のチャートを撮影した画像の一例を示す図である。図３５に示す例は一例であり、１２個以外でも、画像を分割した複数の領域にそれぞれチャートが存在すればよい。

係数分析部１０は、各チャートが存在する各領域でフィルタデータを決定し、逆フィルタを算出する。係数分析部１０は、画像の位置と、逆フィルタとを対応付けたテーブルを作成する。

図３６は、逆フィルタテーブルの一例を示す図である。図３６に示す逆フィルタテーブルでは、各領域の左上の画素座標と、その領域のチャートにより算出された逆フィルタとを対応付ける。例えば、位置（ｘ_１，ｙ_１）には、逆フィルタ（ＦＩＬ１）が対応付けられている。

これにより、係数分析部１０を含む画像処理装置は、分解能の異方性が改善された逆フィルタを算出するためのフィルタデータを決定することができる。

［実施例２］
次に、実施例２における撮像装置について説明する。実施例２では、実施例１で求められた分解能の異方性が改善された逆フィルタを用いて撮像画像を補正する。これにより、良好な画質の画像を提供することができるようになる。

＜構成＞
図３７は、実施例２における画像処理装置を含む撮像装置の概略構成の一例を示すブロック図である。図３７に示す構成で、実施例１と同様のものは同じ符号を付す。以降では、実施例２における画像処理部１５を主に説明する。

画像処理部１５は、ＲＡＷメモリ４１、フィルタ制御部１５１、及びフィルタ処理部１５２を備える。フィルタ制御部１５１は、実施例１で作成された逆フィルタテーブルを保持する。フィルタ制御部１５１は、逆フィルタテーブルを参照して、処理対象画像の位置に対応する逆フィルタを特定し、その逆フィルタをフィルタ処理部１５２に出力する。つまり、フィルタ制御部１５１は、処理対象画像の各位置に対応する各逆フィルタをフィルタ処理部１５２に出力する。

フィルタ処理部１５２は、フィルタ制御部１５１から取得した逆フィルタを用いて、対応する画像位置でフィルタリングを実行する。これにより、画像の各位置で異なる分解能の異方性を改善しつつ画質を向上させることができる。

ここで、フィルタ処理部１５２は、画像の各領域の各画素に対して１つの逆フィルタを用いるのではく、近傍の逆フィルタを用いて線形補間を行って注目画素の画素値を求めてもよい。

図３８は、注目画素の線形補間を説明するための図である。図３８に示すように、フィルタ処理部１５２は、例えば近傍４つの逆フィルタで算出した各領域の中心画素を用いて、各画素の距離に応じた線形補間を行うことで、注目画素の画素値を求めてもよい。図３８の例では、フィルタ処理部１５２は、ＦＩＬ１と、ＦＩＬ２と、ＦＩＬ５と、ＦＩＬ６とでそれぞれ求められた各領域の画素値を線形補間することで、注目画素の画素値を算出する。

また、フィルタ処理部１５２は、注目画素に対して逆フィルタ自体を線形補間で求めてから画素値を算出するようにしてもよい。また、上記例では、近傍４個としたが、これに限られず、他の複数個を用いてもよいし、線形補間として距離を用いたが、その他の手法で補間するようにしてもよい。また、補間は、領域をさらに細分化した小領域毎に行ってもよいし、画素毎に行ってもよい。

＜動作＞
次に、実施例２における画像処理部１５の動作について説明する。図３９は、実施例２におけるフィルタ処理の一例を示すフローチャートである。

図３９に示すステップＳ４０１で、フィルタ処理部１５２は、ＲＡＷメモリ４１から処理対象画像を取得する。

ステップＳ４０２で、フィルタ処理部１５２は、処理対象画像の処理対象位置を決定し、その位置をフィルタ制御部１５１に通知する。フィルタ制御部１５１は、処理対象位置に対応する逆フィルタを特定し、特定した逆フィルタをフィルタ処理部１５２に通知する。

ステップＳ４０３で、フィルタ処理部１５２は、取得した逆フィルタを処理対象位置の画像に設定する。

ステップＳ４０４で、フィルタ処理部１５２は、設定した逆フィルタを用いて処理対象位置の画像をフィルタリングする。また、フィルタ処理部１５２は、注目画素については、線形補間を行って画素値を求めるようにしてもよい。

ステップＳ４０５で、画像処理部１５は、全ての領域にフィルタリングを行ったかを判定する。全ての領域でフィルタリングを行っていれば（ステップＳ４０５−ＹＥＳ）処理を終了し、全ての領域でフィルタリングを行っていなければ（ステップＳ４０５−ＮＯ）ステップＳ４０２に戻る。

以上、実施例２によれば、画像の位置毎に、分解能の異方性を改善したフィルタを用いてフィルタリングを行うことができるので、良好な画質の画像を提供することができるようになる。

［実施例３］
次に、実施例３における画像処理装置について説明する。実施例３では、実施例１の係数分析部１０と、実施例２の画像処理部１５との各処理をＣＰＵやＤＳＰなどに行わせる。

＜構成＞
図４０は、実施例３における画像処理装置の概略構成の一例を示すブロック図である。図４０に示す画像処理装置は、制御部２０２と、主記憶部２０４と、補助記憶部２０６と、通信部２０８と、記録媒体Ｉ／Ｆ部２１０と、カメラＩ／Ｆ部２１２とを備える。各部は、バスを介して相互にデータ送受信可能に接続されている。画像処理装置は、例えば、ＰＣ（Personal Computer）やサーバ、タブレット端末などの情報処理機能を有する装置である。

制御部２０２は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）などである。また、制御部２０２は、主記憶部２０４や補助記憶部２０６に記憶されたプログラムを実行する演算装置である。

また、制御部２０２は、例えば補助記憶部２０６に記憶される係数分析処理やフィルタ処理を行うためのプログラムを実行することで、上述した各処理を実行することができる。

主記憶部２０４は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部２０２が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部２０６は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。また、補助記憶部２０６は、記録媒体２１４などから取得された係数分析処理やフィルタ処理を行うためのプログラムを記憶しておいてもよい。

通信部２０８は、有線又は無線で通信を行う。通信部２０８は、例えば、サーバなどから複数の画像を取得し、例えば補助記憶部２０６に複数の画像を記憶する。

記録媒体Ｉ／Ｆ（インターフェース）部２１０は、ＵＳＢ（Universal Serial Bus）などのデータ伝送路を介して接続された記録媒体２１４（例えば、フラッシュメモリなど）と画像処理装置とのインターフェースである。

また、記録媒体２１４に、所定のプログラムを格納し、この記録媒体２１４に格納されたプログラムは記録媒体Ｉ／Ｆ部２１０を介して画像処理装置にインストールされる。インストールされた所定のプログラムは、画像処理装置により実行可能となる。

カメラＩ／Ｆ部２１２は、カメラ２１６との通信を行うインターフェースである。カメラ２１６から撮像されたチャート画像や、補正対象の通常の画像などは、カメラＩ／Ｆ部２１２がカメラ２１６から取得し、補助記憶部２０６などに保存する。

カメラ２１６は、図３５に示すようなチャート画像や、通常の風景や人物などを撮影する。撮影された画像は、カメラＩ／Ｆ部２１２を介して画像処理装置に取り込まれる。なお、カメラ２１６は、画像処理装置に内蔵されてもよい。

これにより、画像処理装置は、チャート画像を取得して各位置での逆フィルタを算出し、補正対象画像に対して、算出した逆フィルタを用いて補正することができる。

よって、前述した各実施例で説明した係数分析処理、フィルタ処理を実現するためのプログラムを記録媒体に記録することで、各実施例での係数分析処理、フィルタ処理をコンピュータに実施させることができる。

例えば、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末、スマートフォン、タブレット端末などに読み取らせて、前述した係数分析処理、フィルタ処理を実現させることも可能である。

なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、記録媒体は、搬送波などの一過性のものを含まない。

また、チャートの例として、図４１〜４３のチャートを用いてもよい。図４１は、チャート（その１）の例を示す図である。図４１に示すチャートは、少なくとも２方向で分解能が分析できるチャートである。

図４２は、チャート（その２）の例を示す図である。図４２に示すチャートは、放射状にあらゆる方向で分解能が分析できるチャートである。図４２に示すチャートが分解能分析に適している。

図４３は、チャート（その３）の例を示す図である。図４３に示すチャートは、中心部と、外側部で分解能が異なるチャートである。図４２に示すチャートが実施例の分解能分析に適しているが、図４１や図４３に示すチャートでも分解能の異方性を分析することができる。

以上、画像処理装置及びプログラムについて詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した各実施例の構成要素を全部又は複数を組み合わせることも可能である。

なお、以上の各実施例に関し、さらに以下の付記を開示する。
（付記１）
放射状の模様を有する被写体が撮像された画像の分解能劣化を少なくとも２方向で分析する分析部と、
前記画像のボケ関数に応じたフィルタにより補正された画像に対し、前記分析部による分析結果に基づいて、前記２方向のうち、分解能が悪い方向のフィルタパラメータの重み係数を調整し、調整後の重み係数を含むフィルタデータを決定する決定部と
を備える画像処理装置。
（付記２）
前記決定部は、
前記画像の水平、垂直の微分方向に対して回転することで、前記分解能が悪い方向を検出する付記１記載の画像処理装置。
（付記３）
前記決定部は、
前記２方向のうち、分解能が悪い方向の重み係数を、他の方向よりも分解能が改善するように決定する付記１又は２記載の画像処理装置。
（付記４）
前記決定部は、
前記重み係数を調整する調整部と、
調整された重み係数を含むフィルタデータを用いて前記画像をフィルタリングし、画像補正を行う補正部と、
補正後の画像に対する前記分析部の分析結果により、前記重み係数を決定する係数決定部と
を備える付記１乃至３いずれか一項に記載の画像処理装置。
（付記５）
前記係数決定部は、
前記２方向の分解能の差が最小となるように、前記重み係数を決定する付記４記載の画像処理装置。
（付記６）
前記係数決定部は、
前記画像中心部での前記２方向の分解能の差分二乗和と、前記画像中心部とは異なる画像周辺部での前記２方向の分解能の差分二乗和との差が所定値以下となるように、前記重み係数を決定する付記４記載の画像処理装置。
（付記７）
前記分析部は、
前記画像が分割された各領域で分析を行い、
前記決定部は、
前記各領域で異なる重み係数を含むフィルタデータを決定する付記１乃至６いずれか一項に記載の画像処理装置。
（付記８）
画像の位置に応じて異なる重み係数を含むフィルタデータを用いて、前記画像とは異なる他の画像をフィルタリングするフィルタ処理部をさらに備える付記１乃至７いずれか一項に記載の画像処理装置。
（付記９）
放射状の模様を有する被写体が撮像された画像の分解能劣化を少なくとも２方向で分析し、
前記画像のボケ関数に応じたフィルタにより補正された画像に対し、前記分析部による分析結果に基づいて、前記２方向のうち、分解能が悪い方向のフィルタパラメータの重み係数を調整し、調整後の重み係数を含むフィルタデータを決定する
処理をコンピュータに実行させるプログラム。
（付記１０）
放射状の模様を有する被写体が撮像された画像の分解能劣化を少なくとも２方向で分析し、
前記画像のボケ関数に応じたフィルタにより補正された画像に対し、前記分析部による分析結果に基づいて、前記２方向のうち、分解能が悪い方向のフィルタパラメータの重み係数を調整し、調整後の重み係数を含むフィルタデータを決定する
処理をコンピュータが実行する情報処理方法。

１０ 係数分析部
１５ 画像処理部
１０１ 分解能分析部
１０２ フィルタデータ決定部
１２１ 調整部
１２２ 画像補正部
１２３ 係数決定部
１５１ フィルタ制御部
１５２ フィルタ処理部
２０２ 制御部

Claims (8)

1. 放射状の模様を有する被写体が撮像された画像の分解能劣化を少なくとも２方向で分析する分析部と、
   前記画像のボケ関数に応じたフィルタにより補正された画像に対し、前記分析部による分析結果に基づいて、前記２方向のうち、分解能が悪い方向のフィルタパラメータの重み係数を調整し、調整後の重み係数を含むフィルタデータを決定する決定部と
   を備える画像処理装置。
2. 前記決定部は、
   前記画像の水平、垂直の微分方向に対して回転することで、前記分解能が悪い方向を検出する請求項１記載の画像処理装置。
3. 前記決定部は、
   前記重み係数を調整する調整部と、
   調整された重み係数を含むフィルタデータを用いて前記画像をフィルタリングし、画像補正を行う補正部と、
   補正後の画像に対する前記分析部の分析結果により、前記重み係数を決定する係数決定部と
   を備える請求項１又は２記載の画像処理装置。
4. 前記係数決定部は、
   前記２方向の分解能の差が最小となるように、前記重み係数を決定する請求項３記載の画像処理装置。
5. 前記係数決定部は、
   画像中心部での前記２方向の分解能の差分二乗和と、前記画像中心部とは異なる画像周辺部での前記２方向の分解能の差分二乗和との差が所定値以下となるように、前記重み係数を決定する請求項３記載の画像処理装置。
6. 前記分析部は、
   前記画像が分割された各領域で分析を行い、
   前記決定部は、
   前記各領域で調整された重み係数を含むフィルタデータを決定する請求項１乃至５いずれか一項に記載の画像処理装置。
7. 画像の位置に応じて異なる重み係数を含むフィルタデータを用いて、前記画像とは異なる他の画像をフィルタリングするフィルタ処理部をさらに備える請求項１乃至６いずれか一項に記載の画像処理装置。
8. 放射状の模様を有する被写体が撮像された画像の分解能劣化を少なくとも２方向で分析し、
   前記画像のボケ関数に応じたフィルタにより補正された画像に対し、前記分析の結果に基づいて、前記２方向のうち、分解能が悪い方向のフィルタパラメータの重み係数を調整し、調整後の重み係数を含むフィルタデータを決定する
   処理をコンピュータに実行させるプログラム。