JP2008176735A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】一枚の画像データにおけるボケ方が一様でない場合であっても、ノイズの少ないボケ除去画像データを高速に生成可能とする。
【解決手段】本発明の一例である画像処理装置１は、入力画像データ２ａを微分し、微分画像データを生成する微分手段４２１と、微分画像データに逆畳み込みを適用し、当該逆畳み込みにおいて事前画像データの微分係数分布に応じたボケの除去を行って逆畳み込みデータを生成する微分領域逆畳み込み処理手段４２２と、逆畳み込みデータを積分し、ボケ除去画像データを生成する積分手段４２３とを具備する。
【選択図】 図１

Description

本発明は、画像データに含まれるボケの除去を行う画像処理装置及び方法に関する。

一般的な劣化画像データの復元方法は、以下の条件（１）〜（４）の少なくとも一つを満たす状況で実行されることを想定している。

（１）入力された劣化画像データの点広がり関数（Point-Spread Function ：以下、ＰＳＦという）が一様（例えば、特許文献１，４，５）
（２）劣化画像データのＰＳＦが一様でないが変化が遅い（slowly varying）（例えば、非特許文献１）
（３）劣化画像データではない他の経路から（例えば事前知識、センサなどにより）ＰＳＦを入手可能（例えば、特許文献２、非特許文献２）
（４）複数の画像データが入手可能（例えば、特許文献３）
いずれの方法も、鮮明な元画像データにＰＳＦをかけた結果が入力画像データであるとするモデルに基づいて、入力画像データから元画像データを推定する。ＰＳＦも事前には不明である場合は、このＰＳＦも推定対象となり、この問題をblind image deconvolution / restorationと呼ぶ。上記の特許文献１、４、５では、ＰＳＦが画像データ全体で一様な場合のblind deconvolutionに関する技術が開示されている。

上記の非特許文献１では、画像を矩形に分割し、各矩形内でＰＳＦが一様であると仮定してボケ推定を行うことにより、画像上の変化が緩やかであればＰＳＦが一様でない場合に対応できる技術が開示されている。

上記の特許文献２は、センサからＰＳＦを取得することで画像データを復元する。ＰＳＦが取得できる、または事前にわかっている場合でも、ボケ除去は、一般的に、不良設定問題である。ボケ除去を行うと、ノイズが拡大される傾向にある。このノイズ拡大を抑制する方法として、上記の非特許文献２に、与えられた一様なＰＳＦを用いて、画像のウェーブレット係数に対する事前分布を適用してノイズ拡大を抑えたボケ除去画像データを得る方法が開示されている。

上記の特許文献３では、複数の画像を用いる方法が開示されている。

また、特許文献６では、１枚の画像データから検出されたエッジの周りでボケを推定し、エッジの片側から反対側へ輝度値を移動させることによるエッジ先鋭化に利用する技術が開示されている。
米国特許第６８５９５６４号明細書 米国特許第５７９０７０９号明細書 米国特許第６４７００９７号明細書 米国特許第５５６１６１１号明細書 米国特許第６１５４５７４号明細書 米国特許第６９２８１８２号明細書 M. K. Ozkan, A. M. Tekalp, and M. I. Sezan. Identification of a class of space-variant image blurs. Proc. SPIE 1452, 146-156, 1991. J. M. Bioucas-Dias. Bayesian wavelet-based image deconvolution: a GEM algorithm exploiting a class of heavy-tailed priors. IEEE trans. Image Processing, 15(4), 937-951, 2006.

ボケを除去したい対象の画像データが、上記の条件（１）〜（４）のいずれをも満たさないことは頻繁に起こり得る。

しかしながら、上記の条件（１）〜（４）を満たさない場合において、特許文献１〜６、及び非特許文献１，２の技術を適用することは困難である。

上記の非特許文献１においては、画像データの内容（被写体）を考慮することなく、画一的に矩形の領域への分割が行われる。したがって、画像データにおけるボケの変化が遅い（緩やかな）場合に有効である。

しかしながら、例えば、任意の形状をした被写体がそれぞれ異なるボケ方をしている場合などのように、画像データにおけるボケの変化が大きい場合、上記非特許文献１の手法を適用することは困難である。画像データにおけるボケの変化が大きい場合、ボケが一様であることを条件としている特許文献１，４，５も同様に適用困難である。

上記の非特許文献２においては、ＰＳＦが一様で、かつ、ＰＳＦが入力として与えられる必要があり、画像データにおけるボケの変化が大きい場合に非特許文献２の手法をそのまま適用することは困難である。また、上記の非特許文献２の方法においては、ボケ除去に伴うノイズ拡大が抑制されるが、ウェーブレット変換の性質から、復元画像データにブロックパターンが現れる場合がある。このブロックパターンを補償（補正）するためには多くの計算時間を要する。

上記の特許文献６の技術の目的は主に先鋭化であり、ボケの除去としては不十分である。

本発明は、以上のような実情に鑑みてなされたもので、一枚の画像データにおけるボケ方が一様でない場合、特にボケの状態が大きく変化するような場合であっても、ノイズ拡大を抑えつつ高速にボケの状態の変化した画像データを生成する画像処理装置及び方法を提供することを目的とする。

本発明の第１の態様に係る画像処理装置は、入力画像データを微分し、微分画像データを生成する微分手段と、微分画像データに逆畳み込みを適用し、当該逆畳み込みにおいて画像の微分係数事前分布に応じたボケの除去を行って逆畳み込みデータを生成する微分領域逆畳み込み処理手段と、逆畳み込みデータを積分し、ボケ除去画像データを生成する積分手段とを具備する。

本発明の第２の態様に係る画像処理装置は、パラメータを持ちボケの状態を示すボケ関数について、パラメータを段階的に変化させるパラメータ変化手段と、パラメータ変化手段によってパラメータが段階的に変化されるボケ関数に基づいて、入力画像データから段階的にボケを除去し、複数のボケ除去画像データを生成する逆畳み込み処理手段と、入力画像データを複数の領域に分割し、領域分割結果を示す領域データを生成する領域分割手段と、複数のボケ除去画像データの中から、領域データの示す各領域について適正条件を満たすボケ除去画像データを選択し、各領域に対して選択されたボケ除去画像データを与えたパラメータに基づいて局所ボケ推定データを生成する局所ボケ推定手段とを具備する。

本発明においては、一枚の画像データにおけるボケ方が一様でない場合、特にボケの状態が大きく変化するような場合であっても、ノイズ拡大を抑えつつ高速にボケの状態の変わった画像データを生成することができる。

以下、図面を参照しながら本発明の実施の形態について説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。

（第１の実施の形態）
本実施の形態においては、入力画像データについてそれぞれ異なるボケ除去を行い、画像データの画像内容に応じて領域分割を行い、各領域について局所的なボケ推定を行い、各領域について適正なボケ除去の行われた画像データを統合する画像処理装置について説明する。

図１は、本実施の形態に係る画像処理装置の一例を示すブロック図である。なお、本実施の形態においては、入力画像データが劣化画像データ２ａであり、出力画像データが復元画像データ９ａの場合を説明する。しかしながら、入力画像データがあるボケ状態の画像データであり、出力画像データが他のボケ状態の画像データであるとしてもよい。すわわち、本実施の形態に係る画像処理装置１は、所望のボケ状態の画像データを出力するとしてもよい。

本実施の形態に係る画像処理装置１は、劣化画像記憶装置２、ＰＳＦモデル記憶装置３、逆畳み込み部４、ボケ除去画像記憶装置５、局所ボケパラメータ推定部６、局所推定ボケパラメータ記憶装置７、画像統合部８、復元画像記憶装置９を具備する。

本実施の形態において、劣化画像記憶装置２に記憶されている劣化画像データ２ａは、ボケの状態が一様でないデータであるとする。しかしながら、劣化画像データ２ａは、ボケの状態が一様のデータであってもよい。

ＰＳＦモデル記憶装置３は、ボケの状態をモデル化したＰＳＦ（ボケ関数）３ａと、このＰＳＦ３ａに適用される複数段階のボケパラメータ３ｂとを記憶する。

逆畳み込み部４は、劣化画像記憶装置２の劣化画像データ２ａを読み出し、複数の段階について、劣化画像データ２ａから、その段階に対応するボケパラメータ３ｂを適用したＰＳＦ３ａで表されるボケを除去したボケ除去画像データ５１〜５ｎを生成し、生成された各段階に対応するボケ除去画像データ５１〜５ｎをボケ除去画像記憶装置５に記憶する。

局所ボケパラメータ推定部６は、劣化画像記憶装置２の劣化画像データ２ａを読み出し、局所ボケパラメータ推定部６の領域分割部６１は、例えば色の変化などのような画像の内容に基づいて、劣化画像データ２ａを複数の領域に分割する。

局所ボケパラメータ推定部６は、各段階に対応するボケ除去画像データ５１〜５ｎを読み出し、局所ボケパラメータ推定部６の局所ボケ推定部６２は、各領域について、各段階のボケ除去画像データ５１〜５ｎから領域内で所定の適正条件を満たすデータを選択し、各領域について選択されたデータを特定するための局所推定ボケパラメータ７ａを推定する。

そして、局所ボケパラメータ推定部６は、各領域について推定された局所推定ボケパラメータ７ａを、局所推定ボケパラメータ記憶装置７に記憶する。

画像統合部８は、各段階のボケ除去画像データ５１〜５ｎと、各領域の局所推定ボケパラメータ７ａとを読み出し、各領域について、その領域に対して推定された局所推定ボケパラメータ７ａに対応するボケ除去画像データ７ａの該当領域データを抽出し、抽出された各領域の該当領域データを組み合わせて復元画像データ９ａを生成し、復元画像データ９ａを出力画像記憶装置９に記憶する。

以下に、本実施の形態に係る画像処理装置１の詳細について説明する。

上記図１の逆畳み込み部４は、パラメータ変化部４１、逆畳み込み処理部４２を具備する。さらに、逆畳み込み処理部４２は、微分部４２１、微分領域逆畳み込み処理部４２２、積分部４２３を具備する。逆畳み込み部４は、ボケが一様であると仮定して劣化画像データ２ａに対して逆畳み込みを行う。ＰＳＦ３ａは、ボケの大きさについてパラメータ化されている。逆畳み込み部４のパラメータ変化部４１は、ボケパラメータ３ｂにしたがって、ＰＳＦ３ａのパラメータｒを、例えばr＝０．５，１．０，１．５，２．０，…などのように、段階的に変化させる。

逆畳み込み部４は、r＝０．５のボケパラメータを適用したＰＳＦ３ａを用いて逆畳み込みを行った結果を示すボケ除去画像データ、r＝１．０のボケパラメータを適用したＰＳＦ３ａを用いて逆畳み込みを行った結果を示すボケ除去画像データ、…というように、各ボケパラメータに対応するボケ除去画像データ５１〜５ｎを生成する。

ボケの大きさについてパラメータ化されたＰＳＦ３ａとしては様々な関数が用いられる。ボケパラメータを標準偏差rとしたガウシアン分布は、ＭＲＩ（Magnetic Resonance Imaging）やＣＴ（Computed Tomography）など多くの分野におけるＰＳＦのモデルとなり得る。

式（１）は、ボケパラメータを標準偏差rとしたガウシアン分布である。

式（１）は、一般化して周波数領域で式（２）のように表される。

ここで、Ｆ［ｈ］はＰＳＦ ｈのフーリエ変換であり、光学伝達関数（ＯＴＦ：Optical Ｔransfer Ｆunction）と呼ばれる。

ξ，ηは、空間周波数である。ｂ＝１とすると、式（２）は式（１）に相当する。ｂ＝５／６の場合は大気乱流によるＰＳＦ、ｂ＝１／２はＸ線の散乱によるＰＳＦ／ＯＴＦのモデルとなる。

また、カメラなどのレンズによる焦点ボケの場合、ボケ半径をボケパラメータとして式（３）のようにＰＳＦを表すことができる。

また、ｒをある基本ＰＳＦ ｑ（ｘ，ｙ）を拡大縮小するスケーリングパラメータとすることで、任意のＰＳＦを定義することができる。

基本ＰＳＦは例えばキャリブレーションによって得られる。

逆畳み込み処理部４２における逆畳み込みの処理においては、式（５）のような画像データの劣化モデルが用いられる。

ただし、ｇ，ｆ，ｎはそれぞれ劣化画像データ２ａ、元の鮮明な画像データ、ノイズであり、離散化された画素値を辞書順に並べてベクトル表記している。

ＨはＰＳＦ ｈ（ｘ，ｙ）による二次元畳み込みを表す行列である。逆畳み込みとは、劣化画像データｇとボケ行列Ｈが与えられて元画像データｆを推定することに相当し、不良設定問題であることが知られている。単純に｜ｇ−Ｈｆ｜²を最小化する最小二乗問題として解くと、例え正確なボケ行列Ｈを使用していても結果の画像データにおいてノイズが拡大される。

このノイズの拡大を解決するためには、元画像データｆについての事前知識が必要となる。事前知識として、自然画像データの輝度勾配の分布は一般に図２の実線のようになることを用いる。この自然画像データの輝度勾配の分布は、一般によく使用されるガウシアン分布（破線）よりも頂点が狭く、裾野が広い。この自然画像データの輝度勾配の分布は、例えば、一般化ラプラシアン分布として、式（６）のようにモデル化できる。

この式（６）の分布を微分係数事前分布と呼ぶ。この事前知識は、輝度勾配、すなわち微分係数に適用されるので、式（６）を微分して画像劣化モデルを式（７）及び式（８）のように変形する。

ここで、添え字のｘ，ｙは、それぞれの方向の微分を表す。ｎx及びｎyは微分領域におけるノイズを表し、元の画像領域におけるノイズｎとは一般に異なる。

ｇxとｇyは、劣化画像データｇを微分すれば得られる。

式（７）及び式（８）からそれぞれ元画像データのｘ微分の推定値ｆ^xとｙ微分の推定値ｆ^yとが得られる。ｘ微分の推定値ｆ^xとｙ微分の推定値ｆ^yを積分して、元画像データの推定値ｆ^が得られる。積分は式（９）のポワッソン方程式を解けばよい。

逆畳み込み処理部４２は、図３に示す処理を実行する。

すなわち、逆畳み込み処理部４２の微分部４２１は、入力画像データ２ａをｘ方向に微分する処理１０ａ、入力画像データ２ａをｙ方向に微分する処理１０ｂを実行する。

次に、逆畳み込み処理部４２の微分領域逆畳み込み処理部４２２は、入力画像データ２ａのｘ方向微分に逆畳み込みを実行する処理１０ｃ、入力画像データ２ａのｙ方向微分に逆畳み込みを実行する処理１０ｄを実行する。この処理１０ｃ，１０ｄは、パラメータ変化部４１によって得られる段階的なボケパラメータ３ｂ、ＰＳＦ３ａ、記憶装置１１に記憶されている微分係数事前分布１１ａに基づいて、段階的に実行される。微分領域逆畳み込み処理部４２２は、この逆畳み込み処理の結果として得られる画像データが、微分係数事前分布１１ａ（画像の微分係数の統計分布）に従うように促す（微分係数事前分布１１ａに極力従うような制約を課す）。

そして、逆畳み込み処理部４２の積分部４２３は、劣化画像データ２ａのｘ方向微分に逆畳み込みを行った結果と、劣化画像データ２ｂのｙ方向微分に逆畳み込みを行った結果とを積分し、ボケパラメータ３ｂの各段階のボケ除去画像データ５１〜５ｎを得る処理１０ｅを実行する。

逆畳み込みの処理は、微分した状態での画像の劣化モデル式（７），（８）についての逆畳み込みを表す。

式（７）と式（８）とは同様に扱えるので、以降では式（７）の逆畳み込みについて説明し、式（８）の逆畳み込みについては説明を省略する。

ノイズｎ’xを分散σ²のガウシアンノイズと仮定すると、劣化画像データ２ａのｘ微分ｇxが与えられた上での元画像データのｘ微分ｆxの条件付き確率は式（１０）のようになる。

ここで、ｐ（．）は引数となる変数の確率密度関数、ｆx,iは、元画像データのｘ微分ｆxのｉ番目の画素値である。また、微分係数事前分布は画素毎に適用できることを仮定している。

式（１０）を最大化するｆxを推定値とするＭＡＰ推定（Maximum A Posteriori estimate）を考えると、最大値の位置は対数（ｌｎ）をとっても不変であるため、式（１１）が得られる。

式（１１）は、微分係数事前分布ｐ（ｆx,i）が一般的によく使用されるガウシアン分布であれば、線形方程式に帰着される。しかし、ガウシアン分布は画像データのいたるところを平滑化する効果を持ちボケを除去して鮮明な画像データを復元する目的にはそぐわない場合がある。そこで、本実施の形態においては上記図２の実線で示す分布を用いる。

この上記図２の実線を用いることにより、式（１１）は、非線形な最適化問題となる。本実施の形態では、上記図２の実線を、ＥＭ(Expectation Maximization)法により反復的な線形方程式に変形して処理を高速化する。

以下に、非特許文献２がウェーブレット係数に対して用いているＥＭ法を微分画像データに適用する場合について説明する。

まず、微分係数事前分布ｐ（ｆx,i）を、平均が０で分散が異なるガウシアンの重ね合わせとして表す。すなわち、式（１２）において、ｐ（ｆx,i｜ｚi）を平均０分散ｚiのガウシアン、ｐ（ｚi）は分散ｚiの確率分布とする。

｛ｚi｝を欠けた（観測不能な）データとみなしてＥＭ法を適用すると、式（１１）は式（１３）のような反復的な推定値の更新式になる。ｎ回目の反復におけるｆxの推定値をｆ⁽ⁿ⁾xとする。

Ｅ⁽ⁿ⁾i［．］はｉ番目の微分係数に対する分散ｚiの確率分布ｐ（ｚi｜ｆ⁽ⁿ⁾x,i）に基づく期待値を表す。式（１３）の第２項はｐ（ｆx,i｜ｚi）がガウシアンであることから、式（１４）のようになる。

ただし、

である。式（１５）は、例えば、式（６）に示した微分係数の事前分布モデルを用いた場合、具体的には、式（１６）のようになる。

これにより式（１３）は、ｆxに関して二次式になり、式（１７）の線型方程式をｆxについて解くことで最大化できる。

ここで、Ｄ⁽ⁿ⁾は、式（１４）に示すＥ⁽ⁿ⁾i［１／ｚi］を対角成分とする対角行列である。Ｈ^Tは、ボケ行列Ｈの転置を表す。

上記図３における劣化画像データの微分画像データに対する逆畳み込み処理１０ｃ，１０ｄの処理の一例を、図４に示す。

すなわち、ｎ回目の反復において、微分領域逆畳み込み処理部４２２は、現在の推定ボケ除去微分画像データｆ⁽ⁿ⁾xに基づき、式（１５）により計算される対角成分を持つ行列Ｄ⁽ⁿ⁾を計算し、線形方程式（１７）の係数（σ²Ｄ⁽ⁿ⁾＋Ｈ^TＨ）及びＨ^Tｇxを計算する（ステップＳ１）。

次に、微分領域逆畳み込み処理部４２２は、式（１７）の線型方程式を解く（ステップＳ２）。

同様に、新たな推定ボケ除去微分画像データｆ⁽ⁿ⁺¹⁾xについても、ステップＳ１，Ｓ２が実行される。

微分領域逆畳み込み処理部４２２は、上記の処理を、初期の推定ボケ除去微分画像データｆ⁽⁰⁾xから始めて推定値の変化が所定値より小さくなるまで繰り返し、最終的な推定値をボケ除去微分画像データとして出力する（ステップＳ３）。

線型方程式の解法には例えば共役勾配法や二次定常反復法を用いることができる。解法中の主な処理はボケ行列Ｈおよびその転置Ｈ^Tとベクトルとの積の計算である。このボケ行列Ｈおよびその転置Ｈ^Tとベクトルとの積の計算は高速フーリエ変換を用いて高速に行うことができる。

初期推定微分画像データｆ⁽⁰⁾xとしては、最も単純には、劣化画像データの微分データｇxを用いる。

ノイズの分散σ²は劣化画像データの微分データｇxから見積もることができる。また、σ²を式（１７）における事前分布項の重み付け係数とみなして任意の値を設定してもよい。σ²の値が大きいほど復元画像データのノイズが軽減されるが、大きすぎると復元画像データが不鮮明なものとなる。σ²の初期値を大きくしておき、逆畳み込み計算の反復とともに減少させていく方法が、ノイズ軽減と鮮明さの両立に有効である。

上記のような微分領域逆畳み込み処理部４２２による逆畳み込みの処理については、各画素が１要素のグレイスケール画像の場合について説明している。カラー画像に対して逆畳み込みを行う場合には、要素数だけ同様の処理を繰り返すことで適用可能である。

画像処理装置１では、逆畳み込み部４による処理の一方で、図１の局所ボケパラメータ推定部６により、各座標（ｘ，ｙ）における局所推定ボケパラメータ７ａであるｒ（ｘ，ｙ）が得られる。

図５に、局所ボケパラメータ推定部７ａの処理の一例を示す。

ステップＴ１において、局所ボケパラメータ推定部６は、劣化画像データ２ａを、画像内容に応じて複数の領域に分割する。

ステップＴ２において、局所ボケパラメータ推定部６は、複数のボケ除去画像データ５１〜５ｎに基づいて、各領域について、ボケ除去結果の良好さの指標となる値（発散度）を求める。ここで、発散度は、後述するように、ノイズや周期的パターンが現れることを指し、ボケ除去結果の一般的な自然画像からの逸脱の程度を表すとしている。すなわち、本実施の形態では、各領域について、発散度の状態によりボケ除去が適正条件を満たすか否かの判断が実行される。

ステップＴ３において、局所ボケパラメータ推定部６は、発散度に基づいて、各領域について、ボケ除去結果の良いボケパラメータを推定（選択）する。

ステップＴ４において、局所ボケパラメータ推定部６は、各領域について推定されたボケパラメータに基づいて、ボケパラメータの推定されていない領域に対するボケパラメータの補間や、領域間でのボケパラメータのスムージングなどの後処理を実行する。

この局所ボケパラメータ推定部６の処理において、劣化画像データ２ａは、色の似た画素をまとめるなどにより領域に分割されるとしてもよい。図６は、画像データの内容に応じて領域分割を行った結果の一例を示している。なお、劣化画像データ２ａを領域に分割する方法は、任意であり、例えば単純な矩形分割でもよい。画像の内容に応じた分割をすることで、ボケパラメータの推定精度を向上させることができる。領域の形状は制限されない。領域が小さすぎるところは画素数が少なく十分なサンプルが取れないので周りの領域と併合させてもよく、その領域は推定対象外としてもよい。大きすぎる領域については推定の局所性が低くなるため、適当に細分してもよい。細長い形状の領域、画素値の変化が微小な領域、画素値が飽和した領域などは除外することで推定の信頼性を向上させてもよい。

分割された領域をＡjとし、劣化画像データ２ａ全体の領域をIとすると、式（１８）及び式（１９）が成り立つ。

各領域Ａjにおいて、その領域内ではボケパラメータが一定であるとみなしてボケ推定を行う。本実施の形態では、複数のボケ除去画像データ５１〜５ｎから、その領域内で最も良い復元結果となるボケ除去画像データに対応するボケパラメータを推定する。例えば、ボケパラメータr＝０．５，１．０，１．５，２．０…で逆畳み込みをした複数のボケ除去画像データ５１〜５ｎがあり、注目領域での真のボケパラメータがr＝１．６であった場合、複数のボケ除去画像データ５１〜５ｎのうち注目領域についてはr＝１．５で逆畳み込みをしたボケ除去画像データが最も良い復元結果を与えると考えられる。よって、復元結果の良さが判定できれば、この例では注目領域でのボケパラメータをr＝１．５と推定することができる。ボケパラメータの推定値は事前に準備した段階的なボケパラメータのいずれかになるので、必要な精度に応じてボケパラメータ群を用意する必要がある。

復元結果の良さの基準として、画像データの発散度を考える。なお、発散とは、元画像データにはない周期性を持ったパターンや乱雑なノイズがボケ除去画像データに現れることを意味する。発散度とは、元画像データにはない周期性を持ったパターンや乱雑なノイズの程度の大きさを表し、ボケ除去画像データをｆ^とすると、以下の式（２０）〜（２３）のような指標で評価できる。

ここで、ｆ^xx及びｆ^yyはボケ除去画像データのそれぞれｘとｙに関する２階微分である。δ（．）は引数が真のとき１、偽のとき０を返す関数、［θmin，θmax］は画素値の取りうる範囲である。

真のボケパラメータがｒtであるときに、ボケパラメータrで逆畳み込みをした場合、ボケ除去画像データはｒ≦ｒtの間において発散の程度が比較的小さい。しかしながら、ｒ＞ｒtになると、rの増加にしたがって急激に発散度が増す性質がある。この理由を以下に説明する。

ボケパラメータrが大きいほど、そのときのＰＳＦによってぼかされた画像データは高周波成分が減衰する。

例えば、式（１）のＰＳＦの周波数領域におけるグラフは式（２）においてｂ＝１とすると得られる。

図７は、この式（２）においてｂ＝１とした場合のグラフを簡単のため一次元で図示した例である。

この図７を見ると、ボケパラメータｒが大きくなるにつれ、高周波成分の減衰はより大きくなることが分かる。逆畳み込みは、この減衰した周波数成分を増幅する処理に相当する。よって、ボケパラメータが大きいほど小さい周波数成分をも大きく増幅することになる。

したがって、ｒ＜ｒtのときは、真のボケパラメータｒtによる減衰の程度よりも逆畳み込みによる増幅の程度の方が弱いため、ボケ除去画像データは、元画像データに比べて高周波成分が未だ小さい。

逆に、ｒ＞ｒtのときは、真のボケパラメータｒtによる減衰の程度よりも逆畳み込みによる増幅の程度の方が強いため、ボケ除去画像データは元画像データに比べて高周波成分が大きくなり、発散する。

ｒ＝ｒtのときは理想的にはフィルタはいたるところ１となって元画像データが復元される。実際にはノイズの影響があるためｒ≦ｒtであってもノイズも一緒に増幅されてしまい、ある程度の発散が起こるが、ノイズが画像の内容より十分小さい場合には、ｒ＞ｒtのときの発散のしかたに比べれば十分小さい。

説明を簡単化するために、元画像データｆがボケパラメータｒtのガウシアンでぼかされた画像データを、ボケパラメータrのガウシアンで逆畳み込みをすることを考え、ノイズを無視して単純な逆フィルタを用いると式（２４）の関係を得る。

式（２４）においてｅｘｐ｛−(ｒt²−ｒ²)（ξ²＋η²）｝を元画像データｆに対する周波数領域でのフィルタと考えると、このフィルタのグラフはやはりηを無視して一次元の場合で示すとrとｒt の大小関係によって図８のようになる。

ｒ＞ｒtのときのボケ除去画像データの高周波成分が、元画像データに対して過剰に増幅されることが分かる。この議論は、式（２）においてｂ＝１とした場合について行っているが、ｂの値が１ではない場合も同様である。

式（３）の焦点ボケのＰＳＦを用いる場合について以下に説明する。簡単化のために一次元の場合と仮定すると、式（２５）が得られる。

このｈ（ｘ）の周波数変換は式（２６）で与えられる。

この式（２６）は、図９に示すグラフになり、高周波数成分が減衰するのみではなく、ξ＝ｍπ／ｒ（ｍ＝±１，±２，…）において、周期的に周波数を０にするフィルタになる。このため、式（１）及び式（２）のＰＳＦとは異なり、低周波部においても逆畳み込みによる過剰な増幅が起こる。

上記と同様に、元画像データｆがボケパラメータｒtの焦点ボケでぼかされた画像データを、ボケパラメータｒの焦点ボケで逆畳み込みをすることを考える。この場合、単純な逆フィルタでは分母が０になるため、微小な値εを加えた擬似逆フィルタを用いると、式（２７）の関係が得られる。

式（２７）における、式（２６）の値が０になる点ξ＝ｍπ／ｒでの値は、式（２８）で与えられる。

微小な値εで除算しているため、該当周波数成分は大きく拡大されることになる。画像データは通常低周波成分を多く含むため、特に、ｍ＝±１のξ＝±π／ｒの成分が大きく発散する。

ｍ＝１のときの式（２８）の値をボケパラメータｒの関数としてグラフを描くと、図１０のようになる。ｒ＞ｒtのときのボケ除去画像データの該当周波成分が、元画像データに対して過剰に増幅されることが理解できる。

以上より、式（１）及び式（２）のＰＳＦと式（３）のＰＳＦとでは、逆畳み込みを行った場合の画像データの発散の仕方が異なるが、いずれも真のボケパラメータｒtより大きなボケバラメータで逆畳み込みを行った場合に発散度が大きくなる。一般のＰＳＦについても多くの場合に同様の状態となる。

よって、上記の図５のように、まず、各領域Ａjにおいて、ボケパラメータrで逆畳み込みをした複数のボケ除去画像データに対して発散度ｖj(r)を算出する。

本実施の形態では、逆畳み込み部４によって得られたボケ除去画像データ５１〜５ｎを用いるとしているが、擬似逆フィルタ(pseudo-inverse filter)などを用いた単純な逆畳み込み法により別途生成されるとしてもよい。

ボケパラメータ推定のために必要なボケ除去画像データは画質が良い必要はなく、適正と判断されるボケ除去画像データがある程度発散していても構わない。

次に、各領域において、画像が大きく発散し始める直前のボケ除去画像データを、最も良い復元結果として選択する。すなわち、ｖj（ｒ）が急激に増加し始める直前のrをこの領域でのボケパラメータの推定値とする。

図１１に、発散度とボケパラメータとの関係の一例を示す。急激な増加点の特定は、例えばｖj（０）、すなわち劣化画像データ自体の発散度を基準としたしきい値を考え、このしきい値を越えないｖｊ（ｒ）を与える最大のrを選べばよい。発散度を領域の面積で正規化し、しきい値を設定する方法も有効である。あるいは、例えば、ｖj（ｒ）のｒに関する２階微分の最大点を選択してもよい。

ｖj（ｒ）にスムージングをかけ、ノイズの影響を抑えてパラメータを推定することで、ノイズの影響を抑えて判定精度を向上させることができる場合がある。また、あるｒ＝ｒ0の近傍でｒ＜ｒ0のときのｖj（ｒ）の値と、ｒ＞ｒ0のときの値それぞれに直線をフィッティングし、その２直線の角度が最大となるようなｒ0を選ぶとしてもよい。

以上の処理により、各領域Ａjについてボケパラメータｒjが得られたため、各領域Ａjについてボケパラメータｒjをつなぎ合わせれば局所推定ボケパラメータr（ｘ，ｙ）が得られる。

上記の図５の後処理としては、推定値の穴埋めと領域間のスムージングなどのような付加的な処理が行われる。

まず、領域分割したときに、領域が小さすぎるなどで推定対象外とした領域や、領域内の画像値の変化が微小であったため発散度の変化が小さく、信頼できる推定ができなかった領域の推定値を周囲の領域に基づいて埋める。例えば、式（２９）のラプラシアン方程式を、推定値のない領域Ａjについて解く。

そして、領域の境界でボケパラメータが大きく異なると最終的な復元画像データに不連続が見える可能性があるため、局所推定ボケパラメータr（ｘ，ｙ）にスムージングが施される。

また、式（３０）の方程式を画像領域Ｉ全体でr（ｘ，ｙ）について解いて、穴埋めとスムージングを同時に行うとしてもよい。

ただし、（ｘ，ｙ）∈Ａjについて、領域Ａjにボケパラメータの推定値がある場合にλ（ｘ，ｙ）＝λcとし、ｅ（ｘ，ｙ）＝ｒjとし、推定値がない場合にλ（ｘ，ｙ）＝０とし、ｅ（ｘ，ｙ）＝０とする。定数λcはボケパラメータｒ（ｘ，ｙ）をどれだけ各領域での推定値ｅ（ｘ，ｙ）に適合させるかを表す正数で、λcが小さいとラプラシアンによるスムージングの効果が相対的に大きくなる。

画像統合部８は、逆畳み込み部４によって生成された複数のボケ除去画像データ５１〜５ｎを、局所ボケパラメータ推定部６によって推定されたボケパラメータ７ａのｒ（ｘ，ｙ）に基づいて統合する。各座標（ｘ，ｙ）について、その周辺はボケパラメータｒ（ｘ，ｙ）でボケているわけであるから、段階的に変化させたボケパラメータの中からｒ（ｘ，ｙ）に最も近いボケパラメータｒ1及びｒ2を選び（ｒ1≦ｒ（ｘ，ｙ）≦ｒ2）、パラメータｒ1，ｒ2で逆畳み込みをしたボケ除去画像データｆ^1，ｆ^2を用いて統合画像データｆ^を式（３１）のように補間する。

なお、画像の統合の仕方を変えることにより、ボケを除去するだけでなく、任意のボケ状態に変換した画像データを得ることもできる。ボケパラメータｒ（ｘ，ｙ）によってぼかされた画像データを入力とし、局所推定ボケパラメータｒ（ｘ，ｙ）と異なるボケパラメータｓ（ｘ，ｙ）によってぼかされた画像データを出力として得るためには、あるボケパラメータｔ（ｘ，ｙ）にしたがってボケを除去（ｒ＞ｓのとき）または追加（ｒ＜ｓのとき）する必要がある。このｔ（ｘ，ｙ）はＰＳＦの式から求めることができる。

式（２）の場合は、式（３２）の関係から、ボケパラメータｒ1のボケとボケパラメータｒ2のボケを重ね合わせると、ボケパラメータ√(ｒ1²＋ｒ2²)のボケに相当する。

よってｒ＞ｓのとき、ｔ＝√(ｒ²−ｓ²)によりボケ除去すればよい。すなわち、ｔに最も近いボケパラメータｒ1及びｒ2を選び（ｒ1≦ｔ≦ｒ2）、式（３１）と同様の補間を行う。同様に、ｒ＜ｓのときはt＝√(ｓ²−ｒ²)によりぼかせばよい。ぼかすのは畳み込みなので容易に行える。

式（２）ではない他の一般のＰＳＦの場合、式（３２）に示すようなボケの重ね合わせが一般には成り立たない。この場合、直接ボケ状態を変換することはできないため、まず画像データ全体のボケを除去した画像データを生成し、この画像データ全体のボケ除去後の画像データを再度任意にぼかせばよい。

以上説明した本実施の形態においては、１枚の劣化画像データ２ａのみを入力することで、元の画像データを復元することができる。このため、複数枚の画像データの入力やセンサなどによるボケ情報の取得が不要である。本実施の形態においては、例えば、カメラなどで撮影された画像データにおけるボケを除去することができ、撮影された画像データの画質を向上させることができる。

本実施の形態では、局所的なボケ推定が行われるため、ボケの大きさが事前に得られている必要がない。本実施の形態において、ボケの大きさは画像データにおいて一様でなくてもよく、画像データのボケが比較的大きく変化する場合にも、ボケの除去又はボケの状態の変換を行うことができる。

本実施の形態においては、局所的なボケ推定のための領域分割の形状が制限されない。したがって、画像データの画像内容にそったボケ推定を行うことができ、推定の局所性と精度を向上させることができる。

本実施の形態においては、劣化画像データ２ａに対してＰＳＦを用いて複数の段階でボケ除去を行い、複数のボケ除去画像データ５１〜５ｎに基づいて各領域について適切なデータを統合し、復元画像データ９ａを作成する。これにより、非一様なボケの除去は、一様なＰＳＦによる画像データの逆畳み込みを複数行う処理により実行することができ、効率がよく、ノイズを拡大しにくい逆畳み込み法を用いることができる。

本実施の形態において、ＰＳＦはボケの大きさについてパラメータ化されていればよく、様々な種類のＰＳＦモデルを用いることができる。

本実施の形態において、逆畳み込みの処理は、画像データを微分した輝度勾配に対して実行され、画像データの輝度勾配に対する事前分布が適用される。これにより、質の良いボケ除去画像データを高速に得ることができる。

本実施の形態においては、劣化画像データ２ａが領域分割され、各領域において、最もよい復元結果となるボケ除去画像データが選択されることで、局所的なボケの大きさが推定される。そして、本実施の形態においては、局所的なボケの大きさの推定結果に基づいて、いずれかのボケ除去画像データの該当領域データが統合され、非一様なボケが除去された復元画像データ９ａが生成される。本実施の形態において、該当領域データの統合の仕方を調節することで、ボケの状態を変更することができる。

なお、本実施の形態において、逆畳み込み部４は、微分領域逆畳み込み処理部４２２において、劣化画像データ２ａの微分画像データに逆畳み込みを適用し、当該逆畳み込みにおいて微分係数事前分布に応じたボケの除去を行って第１の逆畳み込みデータを生成し、また、逆畳み込み部４は、劣化画像データ２aに対して単純な擬似逆フィルタを用いるなどして、微分係数事前分布に依存しないボケの除去を行って第２の逆畳み込みデータを生成するとしてもよい。この場合、積分部４２３は、第１の逆畳み込みデータを積分して第１のボケ除去画像データを生成する。第２の逆畳み込みデータは、は元から微分されていないので、積分せずにそのまま第２のボケ除去画像データとなる。そして、局所ボケパラメータ推定部６は、第２のボケ除去画像データに基づいて、局所推定ボケパラメータ７ａを生成し、画像統合部８は、局所推定ボケパラメータ７ａに基づいて、各領域に対して第１のボケ除去画像データの統合処理を実行し、復元画像データ９ａを生成する。

（第２の実施の形態）
本実施の形態においては、上記第１の実施の形態に係る画像処理装置の適用例について説明する。

＜画像処理装置の第１の適用例＞
図１２は、本実施の形態に係る画像処理装置１の第１の適用例を示すブロック図である。

この図１２においては、撮像素子１２で撮影された画像データを変換する場合を例として図示している。

光源１３からの発光された光（例えば太陽光や室内光など）は、被写体（例えば人、物、風景など）１４に照射される。被写体１４による反射光は、レンズ１５経由で撮像素子１２に受光される。レンズ１５のサイズ及び屈折率は、用途に応じて定められる。撮像素子１２としては、例えば、ＣＣＤ、ＣＭＯＳセンサなどが用いられる。

撮像素子１２は、受けた光の光量に応じた電気信号をデジタイザ１６に出力する。デジタイザ１６は、入力した電気信号をデジタル信号化し、デジタルの画像データを生成し、画像処理装置１に出力する。デジタイザ１６としては、各種のＡＤコンバータが用いられる。

画像処理装置１は、入力した画像データをすぐに変換してもよいし、入力した画像データを一旦記憶装置１７に記憶し、後で記憶装置１７から画像データを読み出して変換を実行してもよい。画像処理装置１は、上記第１の実施の形態と同様の動作により画像変換を行う。画像処理装置１は、変換後の画像データを記憶装置１７に記憶するか、または出力装置１８に出力する。

なお、画像処理装置１は、ハードウェア回路により実現されていてもよく、計算機（例えばＰＣ、ワークステーションなど）のプロセッサとこのプロセッサと協働するソフトウェアとにより実現されるとしてもよい。記憶装置１７としては、例えば、半導体メモリ、ハードディスクなどが用いられる。

出力装置１８は、ユーザからの指定に応じて、変換前の画像データ又は変換後の画像データを出力する。出力装置１８は、画像処理装置１によって生成された変換後の画像データを出力するとしてもよく、記憶装置１７に記憶されている変換後の画像データを出力するとしてもよい。出力装置１８としては、例えば、ディスプレイ、プリンタなどが用いられる。

なお、本実施の形態において、光源１３から照射される光は、電磁波でもよい。また、被写体１４自体が発光するとしてもよい。

＜画像処理装置の第２の適用例＞
図１３は、本実施の形態に係る画像処理装置１の第２の適用例を示すブロック図である。

この図１３においては、ＭＲＩに対して、画像処理装置１が適用されている。

ＭＲＩにおいて、被写体１９は、磁場をかけられることにより、電磁波を発する。撮像素子１２は、被写体１９から受けた電磁波の量に応じた電気信号をデジタイザ１６経由で画像処理装置１に出力する。

＜画像処理装置の第１及び第２の適用例の効果＞
画像処理装置１を適用することにより、劣化画像データを復元することができ、ボケてノイズが含まれている劣化画像データから、元の鮮明で美しい画像データを復元することができる。そして、画像処理装置１を適用することにより、ボケが画像データ内で局所的に異なっていてもよい。

画像処理装置１を適用することにより、ピンボケ、手ブレ写真データを鮮明かつ美しくすることができる。

画像処理装置１を適用することにより、被写界深度の浅い写真データのピント位置を変えることができる。

画像処理装置１を適用することにより、望遠鏡、顕微鏡で観測された画像データを鮮明にすることができる。

画像処理装置１を適用することにより、コピー機、スキャナーで読み取った画像データを鮮明にすることができる。

画像処理装置１を適用することにより、古い画像データ、映像データを鮮明にすることができる。

画像処理装置１を適用することにより、画像データをぼやけないように拡大することができる。

画像処理装置１を適用することにより、ＳＤの映像をＨＤに変換することができる。

＜画像処理装置１で用いられるＰＳＦ＞
本実施の形態において、例えば、画像処理装置１をカメラ、スキャナ、顕微鏡に適用する場合、画像処理装置１は式（１）のガウシアンＰＳＦ又は式（３）の焦点ボケＰＳＦを用いることで、効果的な画像変換を行うことができる。

例えば、画像処理装置１を望遠鏡に適用する場合、画像処理装置１は、ｂ＝５／６とした式（２）の大気乱流ＰＳＦ又は式（１）のガウシアンＰＳＦを用いることで、効果的な画像変換を行うことができる。

例えば、画像処理装置１をレントゲンに適用する場合、画像処理装置１は、ｂ＝１／２とした式（２）のＸ線散乱ＰＳＦ又は式（１）のガウシアンＰＳＦを用いることで、効果的な画像変換を行うことができる。

式（１）のガウシアンＰＳＦは、様々な応用例でよい効果が得られる。

画像処理装置１では、各種の応用例に特化したＰＳＦをキャリブレーションして得られる式（４）が用いられるとしてもよい。

＜画像処理装置１で用いられる領域分割の規準＞
本実施の形態において、例えば、画像処理装置１をカメラ、スキャナ、光学顕微鏡、光学望遠鏡に適用する場合、画像変換装置１は、色の類似度を規準に領域分割を行う。

例えば、画像処理装置１を電子顕微鏡、電波望遠鏡、レントゲン、ＭＲＩ、ＣＴに適用する場合、画像処理装置１は、輝度レベルの類似度を規準に領域分割を行う。

例えば、画像処理装置１を多波長望遠鏡、多波長顕微鏡に適用する場合、画像処理装置１は、多チャンネル信号の類似度を規準に領域分割を行う。

＜微分係数事前分布＞
各種の適用例で扱われる典型的な画像データをサンプルとして複数用意し、この複数の画像データの微分係数のヒストグラムを作成することで、各種の適用例に特化した微分係数事前分布が得られる。ただし、式（６）に示したような汎用的な微分係数事前分布を用いてもよい。

＜段階的なボケパラメータの範囲と間隔＞
段階的なボケパラメータの範囲は画像変換により解消しようとする問題に応じて適宜設定可能であるとする。ボケパラメータの範囲は、解決しようとする問題にそって設定される典型的なボケパラメータを含むとする。例えば、同じカメラであってもレンズや解像度が異なる場合、考慮すべきボケパラメータの範囲が変更される。

ボケパラメータの間隔は、所望の精度に応じて設定される。

＜画像処理装置１により画像変換を行う場合の適用例＞
上記第１の実施の形態に係る画像処理装置１による画像変換は、画像レタッチソフトウェア及びデジタルカメラ付属ソフトウェアに適用可能である。同様に、画像処理装置１による画像変換は、画像レタッチソフトウェア及びデジタルカメラ付属ソフトウェアを支援するハードウェアに対しても適用可能である。

ユーザは、自分で撮影した写真データの修正・編集に、上記の画像変換を用いることができる。具体的には、例えばピントがずれていたため直したい場合に用いることができる。特に、撮影時に意識的に焦点深度を浅く撮った写真データであるため、全体をくっきりさせずに、焦点深度を保ったままピント位置をずらしたいというような場合にも、画像処理装置１による画像変換を用いることができる。

また、ユーザは、Ｗｅｂ又は雑誌に掲載する商品画像データの修正・編集に、上記のボケ変換を用いることができる。例えば、いくつかの写真データから好みの写真データを選択し、Ｗｅｂ又は雑誌に掲載するための様々な加工を行ったが、バランスを考えると選択した写真データのボケ方を修正したくなる場合がある。このような場合においても、写真データの選択から加工をやり直すのではなく、加工中のデータに対して画像処理装置１による画像変換を実行することで、ボケ方を修正可能である。

また、ユーザは、ポスターや広告などでスピード感を表すために、局所的にボケを加えたい場合、画像処理装置１による画像変換を用いることができる。

また、人物又は動物など動的な対象について、貴重な瞬間をとらえた写真を撮影できたが一部のボケを修正したい場合、カメラ設定を変えて取り直すのではなく、この貴重な写真を修正することができる。

また、肖像写真について、撮影時の証明条件の誤りなどで影がはっきりしすぎていて写真の用途にそぐわないような場合に、この影をぼかしてやわらかい状態とすることができる。

また、歴史上の人物の写真などのように、１枚しかない写真から異なる設定で撮ったような写真を作成することができる。

画像処理装置１による画像変換は、カメラ設定を変更して撮影した状態を、ソフトウェア的に実現する場合に適用可能である。例えば、デジタルカメラＬＳＩ又はデジタルカメラＬＳＩの制御ソフトウェアに用いることができる。

例えば、オートフォーカス精度を落としてデジタルカメラのコストを下げ、オートフォーカス精度を落としたことによりピントが少しずれた場合に、画像処理装置１による画像変換によりボケを調整することができる。

また、デジタルカメラのレンズが固定の場合であっても、画像処理装置１による画像変換を行うことにより、レンズを交換したような効果を得ることができる。

さらに、カメラの機構による制約を受けないカメラパラメータの変更ができる。例えば、しぼりを機械的に変えて焦点深度を変えた場合、光量が変わる。光量をシャッタースピードで補償すると動きのぶれが加わる。しかしながら、画像処理装置１による画像変換を行うことにより、しぼりもシャッタースピードも変えることなく、焦点深度を変えることができる。

画像処理装置１による画像変換は、ゲーム機器ＬＳＩ又はゲーム機器ＬＳＩ上で動くソフトウェアに用いることができる。

例えば、実写素材に対して、シーン中のある物から別の物に焦点が移る効果を実現する場合に、このように焦点の移る動画を流す代わりに、画像処理装置１による画像変換により、１枚の画像のボケの位置を移動させることで焦点が移る効果を実現でき、データ長を減少させることができる。

また、単純なＣＧ画像は、全体がはっきりしていて人工的な感じが強くなる。しかしながら、画像処理装置１による画像変換を適用することで、ＣＧ画像をぼやかして（焦点ボケ、動きボケを加えて）自然な画像とすることができる。

上記各実施の形態において、各構成要素は同様の動作を実現可能であれば配置を変更させてもよく、また各構成要素を自由に組み合わせてもよく、各構成要素を自由に分割してもよく、いくつかの構成要素を削除してもよい。すなわち、本実施の形態については、上記の構成そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、各記憶装置２，３，５，７，９はそれぞれ自由に組み合わせてもよい。

上記各実施の形態に係る画像変換装置１における各処理部４，６，８は、例えばプログラムによって制御されるプロセッサにより実現されるとしてもよい。プロセッサを上記各実施の形態に係る画像変換装置１の各処理部４，６，８として機能させるためのプログラムは、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記憶媒体に書き込んで、プロセッサを持つコンピュータに適用可能である。また、プログラムは、通信媒体により伝送してコンピュータに適用することも可能である。コンピュータは、プログラムを読み込み、このプログラムによって動作が制御されることにより、画像変換装置１としての機能を実現する。プログラムは、複数のコンピュータに分散して配置され、複数のコンピュータ間で互いに連携しつつ処理が実行されるとしてもよい。

本発明の第１の実施の形態に係る画像変換装置の一例を示すブロック図。 自然画像データの微分係数の分布の一例と、比較対象のためのガウシアン分布とを示すグラフ。 第１の実施の形態に係る逆畳み込み部の処理の一例を示すブロック図。 第１の実施の形態に係る逆畳み込み部により実行される逆畳み込み処理の一例を示すフローチャート。 第１の実施の形態に係る局所ボケパラメータ推定部の処理の一例を示すフローチャート。 第１の実施の形態における領域分割の結果の一例を示す図。 式（２）においてｂ＝１とした周波数領域におけるＰＳＦを一次元で表したグラフ。 式（２４）においてｅｘｐ｛−(ｒt²−ｒ²)（ξ²＋η²）｝を元画像データｆに対する周波数領域でのフィルタと考えた場合において、このフィルタηを無視して一次元で表したグラフ。 式（２６）を示すグラフ。 ｍ＝１のときの式（２８）の値をボケパラメータｒの関数として描いたグラフ。 発散度とボケパラメータとの関係の一例を示すグラフ。 本発明の第２の実施の形態に係る画像変換装置の第１適用例を示すブロック図。 第２の実施の形態に係る画像変換装置の第２適用例を示すブロック図。

符号の説明

１…画像変換装置、２…劣化画像記憶装置、２ａ…劣化画像データ、３…ＰＳＦモデル記憶装置、３ａ…ＰＳＦ、３ｂ…ボケパラメータ、４…逆畳み込み部、４１…パラメータ変化部、４２…逆畳み込み処理部、４３…微分部、４４…積分部、５…ボケ除去画像記憶装置、５１〜５ｎ…ボケ除去画像データ、６…局所ボケパラメータ推定部、６１…領域分割部、６２…局所ボケ推定部、７…局所推定ボケパラメータ記憶装置、７ａ…局所推定ボケパラメータ、８…画像統合部、９…復元画像記憶装置、９ａ…復元画像データ、１１，１７…記憶装置、１１ａ…微分係数事前分布、１２…撮像素子、１３…光源、１４，１９…被写体、１５…レンズ、１６…デジタイザ、１８…出力装置

Claims (5)

1. 入力画像データを微分し、微分画像データを生成する微分手段と、
   前記微分画像データに逆畳み込みを適用し、当該逆畳み込みにおいて画像の微分係数事前分布に応じたボケの除去を行って逆畳み込みデータを生成する微分領域逆畳み込み処理手段と、
   前記逆畳み込みデータを積分し、ボケ除去画像データを生成する積分手段と
   を具備する画像処理装置。
2. パラメータを持ちボケの状態を示すボケ関数について、前記パラメータを段階的に変化させるパラメータ変化手段と、
   前記パラメータ変化手段によって前記パラメータが段階的に変化される前記ボケ関数に基づいて、入力画像データから段階的にボケを除去し、複数のボケ除去画像データを生成する逆畳み込み処理手段と、
   入力画像データを複数の領域に分割し、領域分割結果を示す領域データを生成する領域分割手段と、
   前記複数のボケ除去画像データの中から、前記領域データの示す各領域について適正条件を満たすボケ除去画像データを選択し、前記各領域に対して選択されたボケ除去画像データを与えたパラメータに基づいて局所ボケ推定データを生成する局所ボケ推定手段と
   を具備することを特徴とする画像処理装置。
3. 請求項２記載の画像処理装置において、
   前記局所ボケ推定データに基づいて、前記各領域に対して選択されたボケ除去画像データの統合処理を実行し、出力画像データを生成する画像統合手段をさらに具備することを特徴とする画像処理装置。
4. 請求項３記載の画像処理装置において、
   前記逆畳み込み処理手段は、
   前記入力画像データを微分し、微分画像データを生成する微分手段と、
   前記微分画像データに逆畳み込みを適用し、当該逆畳み込みにおいて画像の微分係数事前分布に応じたボケの除去を行って第１の逆畳み込みデータを生成するとともに、前記微分係数事前分布に依存しないボケの除去を行って第２の逆畳み込みデータを生成する微分領域逆畳み込み処理手段と、
   前記第１逆畳み込みデータを積分して第１のボケ除去画像データを生成する積分手段と
   を具備し、
   前記局所ボケ推定手段は、
   前記適正条件を、前記第２の逆畳み込みデータに対応する第２のボケ除去画像データについて計算し、
   前記画像統合手段は、
   前記局所ボケ推定データに基づいて、前記各領域に対して前記第１のボケ除去画像データの統合処理を実行し、前記出力画像データを生成する
   ことを特徴とする画像処理装置。
5. 第１記憶装置に記憶されている入力画像データを微分して微分画像データを生成し、前記微分画像データを第２記憶装置に記憶し、
   前記第２記憶装置に記憶されている前記微分画像データに逆畳み込みを適用し、当該逆畳み込みにおいて画像の微分係数事前分布に応じたボケの除去を行って逆畳み込みデータを生成し、前記逆畳み込みデータを積分してボケ除去画像データを生成し、前記ボケ除去画像データを第３記憶装置に記憶する
   ことを特徴とする画像処理方法。

Images