JP2015119428A - 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】撮影画像に含まれるボケを簡易に除去可能な画像処理方法を提供する。
【解決手段】画像処理方法は、撮影画像の一部である第１の画像を抽出するステップと、第１の画像を縮小した第１の縮小画像と、第１の縮小画像よりも画素数の多い複数の第２の画像のそれぞれとの相関を算出するステップと、相関に基づいて、複数の第２の画像のなかから第１の画像に対応する第３の画像を選択するステップと、第３の画像を用いて出力画像を生成するステップとを有する。
【選択図】図１

Description

本発明は、撮像画像に対する画像処理方法に関する。

近年、表示装置の高精細化に伴い、撮影画像の高画質化が望まれている。しかし撮像装置では、光学系による収差、回折、デフォーカス、または、撮影時のブレなどで生じるボケにより、撮影画像の画質が劣化する。これに対して、画質の劣化に対する逆フィルタ（ウィナーフィルタなど）を画像へ作用させる補正方法が知られている。しかし、逆フィルタを用いる方法では、画質劣化によりＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）が小さい周波数成分を復元する（ボケを除去する）ことができない。

特許文献１には、光学系に位相変調素子を挿入することにより、深度方向に対するＭＴＦの低下を軽減する方法が開示されている。非特許文献１には、レンジブロック画像およびドメインブロック画像に同一の逆フィルタを適用してボケ補正を行い、その後フラクタル符号化を利用して、画像の画素数を増加させる方法が開示されている。

国際公開第２００７／０７４６４９号

Ｙ．Ｃｈｅｎ，ｅｔ ａｌ．，"Ｉｍａｇｅ ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ ｕｓｉｎｇ ｆｒａｃｔａｌ ｃｏｄｉｎｇ"，Ｏｐｔ．Ｅｎｇ．Ｊａｎｕａｒｙ ２００８／Ｖｏｌ．４７（１）０１７００７

しかしながら、特許文献１の方法は、デフォーカス領域におけるＭＴＦの低下を軽減するものであり、フォーカス位置ではその効果を得ることができない。すなわち、被写界深度を拡大させることはできるが、収差などによりＭＴＦが小さい周波数成分を復元する（撮影画像に含まれるボケを除去する）ものではない。また、撮影時に位相変調素子を挿入して構成された特殊な光学系が必要となるため、既に撮影された画像を補正することはできない。

非特許文献１の方法は、逆フィルタを用いるため、レンジブロック画像のボケを正確に把握している必要がある。また、逆フィルタを作用させるため、各レンジブロック画像で重畳またはフーリエ変換などの煩雑な処理が必要となる。

そこで本発明は、撮影画像に含まれるボケを簡易に除去可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理方法は、撮影画像の一部である第１の画像を抽出するステップと、前記第１の画像を縮小した第１の縮小画像と、該第１の縮小画像よりも画素数の多い複数の第２の画像のそれぞれとの相関を算出するステップと、前記相関に基づいて、前記複数の第２の画像のなかから前記第１の画像に対応する第３の画像を選択するステップと、前記第３の画像を用いて出力画像を生成するステップとを有する。

本発明の他の側面としての画像処理装置は、撮影画像の一部である第１の画像を抽出する画像抽出手段と、前記第１の画像を縮小した第１の縮小画像と、該第１の縮小画像よりも画素数の多い複数の第２の画像のそれぞれとの相関を算出する相関算出手段と、前記相関に基づいて、前記複数の第２の画像のなかから前記第１の画像に対応する第３の画像を選択する画像選択手段と、前記第３の画像を用いて出力画像を生成する画像生成手段とを有する。

本発明の他の側面としての撮像装置は、光学像を光電変換して撮影画像を得る撮像素子と、前記撮影画像の一部である第１の画像を抽出する画像抽出手段と、前記第１の画像を縮小した第１の縮小画像と、該第１の縮小画像よりも画素数の多い複数の第２の画像のそれぞれとの相関を算出する相関算出手段と、前記相関に基づいて、前記複数の第２の画像のなかから前記第１の画像に対応する第３の画像を選択する画像選択手段と、前記第３の画像を用いて出力画像を生成する画像生成手段とを有する。

本発明の他の側面としての画像処理プログラムは、撮影画像の一部である第１の画像を抽出するステップと、前記第１の画像を縮小した第１の縮小画像と、該第１の縮小画像よりも画素数の多い複数の第２の画像のそれぞれとの相関を算出するステップと、前記相関に基づいて、前記複数の第２の画像のなかから前記第１の画像に対応する第３の画像を選択するステップと、前記第３の画像を用いて出力画像を生成するステップと、をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、撮影画像に含まれるボケを簡易に除去可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１における撮像装置のブロック図である。 実施例１における撮像装置の外観図である。 実施例１乃至３における画像処理方法を示すフローチャートである。 実施例１乃至３において、レンジブロック画像およびドメインブロック画像の取得に関する説明図である。 実施例１乃至３における相関算出方法の説明図である。 実施例１乃至３において、ボケとレンジブロック画像との関係を示す図である。 実施例２における画像処理システムのブロック図である。 実施例２における画像処理システムの外観図である。 実施例３における撮像システムのブロック図である。 実施例３における撮像システムの外観図である。 実施例３における撮像装置（結像光学系）の構成図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、本実施形態におけるボケ補正処理（画像処理方法）の概要について説明する。まず、画像処理装置は、撮像過程で生じたボケにより周波数成分が失われた入力画像を取得する。続いて、画像処理装置（画像抽出手段）は、取得した入力画像から、レンジブロック画像と呼ばれる部分領域（撮影画像の一部である第１の画像）を抽出する。そして画像処理装置は、第１の画像に対して縮小処理を施し、縮小画像（第１の縮小画像）を生成する。これにより、レンジブロック画像に含まれるボケの影響を低減することができる。

次に、画像処理装置は、ドメインブロック画像（複数の第２の画像）を取得する。ドメインブロック画像は、撮影画像（入力画像）から抽出することができるが、これに限定されるものではなく、撮影画像とは異なる画像から取得してもよい。続いて画像処理装置（相関算出手段）は、レンジブロック画像（第１の画像）を縮小した第１の縮小画像と、第１の縮小画像よりも画素数の多いドメインブロック画像（複数の第２の画像のそれぞれ）との相関を算出する。すなわち相関算出手段は、ドメインブロック画像を、縮小したレンジブロック画像（第１の縮小画像）と同サイズにリサイズして、両者の相関を算出する。

その相関（相関値）から相関が高いと判定されたドメインブロック画像（第３の画像）は、ボケを補正したレンジブロック画像であると考えることができる。このため画像処理装置（画像選択手段）は、その相関（相関値）に基づいて、複数の第２の画像のなかから第１の画像に対応する第３の画像を選択する。そして画像処理装置は、レンジブロック画像（第１の画像）を、ドメインブロック画像（第３の画像）を用いて置換することにより、ボケ補正を行う。

以上の処理を、補正対象の全てのレンジブロック画像（第１の画像）に対して実行することにより、撮像装置で生じたボケの詳細な情報を用いることなく、簡易な処理でボケ補正された出力画像を生成することができる。すなわち画像処理装置（画像生成手段）は、第３の画像を用いて出力画像を生成する。

次に、本発明の実施例１における撮像装置について説明する。図１は、本実施例における撮像装置１００のブロック図である。図２は、撮像装置１００の外観図である。

図１において、画像取得部１０１は、結像光学系１０１ａおよび撮像素子１０１ｂを有する。撮像素子１０１ｂは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などを備えて構成される。そして撮像素子１０１ｂは、結像光学系１０１ａを介して得られた光学像（被写体像）を光電変換して出力信号（撮影画像）を得る。

撮影の際において、画像取得部１０１に入射した光は、結像光学系１０１ａにより集光され、撮像素子１０１ｂによりアナログ電気信号に変換される。撮像素子１０１ｂからの出力信号（アナログ電気信号）は、Ａ／Ｄコンバータ１０２によりデジタル信号に変換され、画像処理部１０３（画像処理装置）に入力される。画像処理部１０３は、所定の画像処理に加えて、撮影に伴って失われた周波数成分の復元処理（ボケ補正処理）を行う。画像処理部１０３は、必要に応じて、記憶部１０４に記憶された各種情報を用いて画像処理を行う。ボケ補正処理の詳細については、後述する。

本実施例において、ボケとは、画像取得部１０１において発生する収差、回折、デフォーカス、または、撮影時のブレなどにより生じるボケである。画像処理部１０３により処理された画像は、画像記録媒体１０６に所定のフォーマットで保存される。また、既に画像記録媒体１０６に保存されている画像を読み出して、同様に画像処理部１０３にてボケ補正処理を行うように構成することもできる。画像記録媒体１０６に保存された画像を鑑賞する場合、画像記録媒体１０６に保存された画像が液晶ディスプレイなどの表示部１０５へ出力される。以上の一連の動作は、システムコントローラ１０７により制御される。また、画像取得部１０１の駆動（機械的な駆動）は、システムコントローラ１０７の指示に基づいて制御部１０８により行われる。

続いて、図３乃至図５を参照して、画像処理部１０３で行われるボケ補正処理（画像処理方法）について詳述する。図３は、本実施例における画像処理方法を示すフローチャートである。図４は、レンジブロック画像およびドメインブロック画像の取得に関する説明図である。図５は、本実施例における相関算出方法の説明図である。なお図３の各ステップは、システムコントローラ１０７の指令に基づいて画像処理部１０３の各部により実行される。

まずステップＳ１０１において、画像処理部１０３は、画像取得部１０１から得られた入力画像（撮影画像）を取得する。この入力画像は、撮影過程に伴うボケにより、被写体空間よりも情報が減少している画像である。続いてステップＳ１０２において、画像処理部１０３（画像抽出手段１０３ａ）は、入力画像（撮影画像）からレンジブロック画像（撮影画像の一部である第１の画像）を抽出する。図４（Ａ）は、レンジブロック画像（第１の画像）の抽出方法を示す。図４（Ａ）は、入力画像（撮影画像）の一部分を示し、画像抽出手段１０３ａは入力画像から例えばレンジブロック画像２０１のように抽出を行う。ただし、レンジブロック画像のサイズ、形状、および、抽出位置は、これに限定されるものではない。また、入力画像から複数のレンジブロック画像を抽出する際において、複数のレンジブロック画像が互いに重なるようにしてもよい。

続いてステップＳ１０３において、画像処理部１０３は、レンジブロック画像（第１の画像）を縮小して、縮小レンジブロック画像（第１の縮小画像）を得る。これにより、レンジブロック画像に生じているボケの影響を小さくすることができる。例えば、図５に示されるように、レンジブロック画像２０１（第１の画像）を縮小して縮小レンジブロック画像２０２（第１の縮小画像）を得る。ステップＳ１０３により、後述のドメインブロック画像（第２の画像）の探索時に、ボケの影響が低減されたレンジブロック画像の相似な形状を見出すことができる。すなわち、画像の縮小を利用することにより、撮像装置１００で生じたボケ（収差、回折、ブレなど）の詳細情報がない場合でも、簡易にボケ補正を行うことが可能となる。このように出力画像は、対応ドメインブロック画像を用いて入力画像（撮影画像）のボケを低減するように生成される。

ここで、画像処理部１０３は、縮小レンジブロック画像２０２（第１の縮小画像）から直流成分（信号の平均値）を減算してもよい。ボケ補正は、縮小レンジブロック画像２０２と相似な構造（形状）のドメインブロック画像（第３の画像）を見つけることにより行われる。しかし、被写体空間の構造と撮像装置１００の露出に相関性はなく、入力画像の明るさ（直流成分）には露出が支配的である。このため、相関算出の際に、縮小レンジブロック画像の明るさ成分は除去されていても問題がない。また探索する相似形状は、縮小レンジブロック画像とドメインブロック画像の自由度が小さいほど、発見が容易である。これは、単純に両画像の取り得る信号分布のパターンが少なくなるためである。このため、ドメインブロック画像にも同様に明るさ成分の除去を行うことにより、相関の高い相似形状を容易に見つけることができる。

以下、式を用いて処理について説明するが、簡単のため、ＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）成分について考慮せず、単信号の場合について説明する。色成分を考慮する場合、それぞれに対して同様の処理を行えばよい。レンジブロック画像の総画素数をｎ_Ｒ画素、各画素の信号値を成分とした信号値ベクトルをＲとするとき、縮小と直流成分減算後のベクトルΡは、以下の式（１）のように表される。

式（１）において、ｓ（０＜ｓ＜１）は縮小率（第１の画像に対する第１の縮小画像の縮小率）であり、縮小レンジブロック画像の総画素数はｓｎ_Ｒ画素である。σ（Ｒ，ｓ）は、Ｒをｎ_Ｒ次元からｓｎ_Ｒ次元へリサイズする変換である。リサイズには、バイリニア補間やバイキュービック補間などが用いられる。ｒ_ａｖｅはレンジブロック画像の平均信号値、Ｅは各成分が１のｓｎ_Ｒ次元ベクトルである。ｒ_ａｖｅは均一の重みで算出してもよいし、加重平均にしてもよい。また、縮小レンジブロック画像から算出してもよい。なお、明るさ成分の除去は、ステップＳ１０２にて行ってもよい。

続いてステップＳ１０４において、画像処理部１０３は、ドメインブロック画像を取得する。ドメインブロック画像は、入力画像（撮影画像）から取得することができる。すなわちドメインブロック画像は、撮影画像の一部の画像である。ただし本実施例は、これに限定されるものではなく、入力画像とは異なる画像から取得するようにしてもよい。また、入力画像のある色成分（例えばＧ）からレンジブロック画像を抽出している際、入力画像の他の色成分（ＲやＢ）からドメインブロック画像を取得してもよい。ただし、被写体空間のフラクタル性を利用するという観点から、ドメインブロック画像を取得する際に用いる画像としては、入力画像と同じまたは類似の被写体が存在している画像であることが好ましい。画像処理部１０３は、例えば、図４（Ａ）に示されるドメインブロック画像２０３のように抽出すればよい。ただし、ドメインブロック画像のサイズ、形状、抽出位置などはこれに限定されるものではない。また、ステップＳ１０４は、ステップＳ１０３よりも前に行っても構わない。

続いてステップＳ１０５において、画像処理部１０３は、図５に示されるようにドメインブロック画像２０３に対してリサイズおよび等長変換を施し、相関算出用ドメインブロック画像２０４を生成する。等長変換は、縮小レンジブロック画像との相関算出候補を増やすために実行され、リサイズは相関（相関値）の算出のために実行される。ただし、これらの処理は必ずしも必須ではない。例えば、相関算出において、縮小レンジブロック画像をドメインブロック画像に合わせてリサイズしてもよい。

また、縮小レンジブロック画像から直流成分を減算している場合、ドメインブロック画像からも直流成分を減算する。ドメインブロック画像の総画素数をｎ_Ｄ、信号値ベクトルをＤとするとき、以下の式（２）で表される信号ベクトルΔを用いて相関演算を行う。

式（２）において、δ_ａｖｅはドメインブロック画像の平均信号値、εは等長変換である。等長変換には、例えば恒等変換、回転変換、反転変換などがある。本実施例では、リサイズ後に等長変換を行って計算負荷を抑制しているが、この順番は逆でもよい。

続いてステップＳ１０６において、画像処理部１０３（相関算出手段１０３ｂ）は、縮小レンジブロック画像（第１の縮小画像）と相関算出用ドメインブロック画像（第２の画像）との相関を算出する。相関算出用ドメインブロック画像の画素数は、縮小レンズブロック画像の画素数よりも多い。相関の算出手法としては、各画素における信号（ベクトルの各成分）差の絶対値和を求める方法がある。この場合の相関算出式ｆは、以下の式（３）で表される。

式（３）において、ρ_ｉは式（１）で表される信号ベクトルΡのｉ番目の成分、δ_ｉは式（２）で表される信号ベクトルΔのｉ番目の成分、ｗ_ｉはｉ番目の成分の重みである。
この際、信号ベクトルΔと信号ベクトルΡの相関が最も高くなるように、コントラストを調整してもよい。つまり、｜Ρ−ｃΔ｜が最小となるようなｃを決める。そのようなｃは、最小二乗法から、以下の式（４）で表される。

式（４）のコントラスト調整も考慮する場合、式（３）の相関算出式ｆにおける絶対値の中をρ_ｉ−ｃδ_ｉとすればよい。

相関を算出する他の手法として、ＳＳＩＭ（Ｓｔｒｕｃｔｕｒｅ Ｓｉｍｉｌａｒｉｔｙ）を使用してもよい。ＳＳＩＭは、以下の式（５）で表される。

式（５）において、Ｌ、Ｃ、Ｓは、それぞれ、明るさ、コントラスト、その他の構造に関する評価関数であり、０〜１の値をとる。各々の値が１に近いほど、比較する二つの画像が近いことを意味する。α、β、γは、各評価項目の重みを調整するパラメータである。ここで、α＝０とすることにより、直流成分（明るさ）の差し引かれた相関算出が行われ、これにより式（１）で表したような演算を行う必要がなくなる。またβ＝０とすることにより、交流成分のスカラー倍（コントラストの調整）を相関算出時に加味する必要がなくなり、式（４）で表される演算を行う必要がなくなる。また、相関値の算出には複数の手法を用いてもよい。この場合、各手法で相関値を求め、その加重平均や線型和などから最終的な相関値を決定すればよい。

ステップＳ１０３乃至Ｓ１０６の流れは、図５に示されるとおりである。レンジブロック画像２０１から縮小レンジブロック画像２０２を得て、ドメインブロック画像２０３にリサイズと等長変換を行い、相関算出用ドメインブロック画像２０４を生成する。そして、縮小レンジブロック画像２０２と相関算出用ドメインブロック画像２０４の相関を求める。

続いてステップＳ１０７において、画像処理部１０３は、ステップＳ１０６にて算出された相関（相関値）が、既定の条件（所定の条件）を満たしているか否かを判定する。既定の条件を満たす場合とは、縮小レンジブロック画像（第１の縮小画像）と相関算出用ドメインブロック画像（第２の画像）との相関（相関値）が高い（相関が所定値よりも高い）場合である。また、既定の条件として、相関算出用ドメインブロック画像（複数の第２の画像）のうち最も相関が高い画像であるか否かを判定してもよい。

既定の条件を満たす場合、画像処理部１０３（画像選択手段１０３ｃ）は、そのドメインブロック画像（第２の画像）をレンジブロック画像（第１の画像）に対応する対応ドメインブロック画像（第３の画像）として選択する。このように画像選択手段１０３ｃは、相関に基づいて、相関算出用ドメインブロック画像（複数の第２の画像）のなかからレンジブロック画像（第１の画像）に対応する対応ドメインブロック画像（第３の画像）を選択する。対応ドメインブロック画像は、ボケ補正されたレンジブロック画像に相当する。例えば、図４（Ｂ）に示されるように、対応ドメインブロック画像２０５が選択される。一方、相関が低いと判定された場合、ステップＳ１０４へ戻り、新たなドメインブロック画像（第２の画像）を取得する。または、ステップＳ１０５に戻り、新たな等長変換を施して相関を算出し直してもよい。

続いてステップＳ１０８において、画像処理部１０３は、対応ドメインブロック画像（第３の画像）を用いてレンジブロック画像（第１の画像）のボケを補正する。例えば、画像処理部１０３は、対応ドメインブロック画像に対してリサイズおよび等長変換を施して、レンジブロック画像を対応ドメインブロック画像に置換する。ここで、式（１）、（２）、（４）を用いて相関を算出している場合、以下の式（６）で表される信号ベクトルΓで信号ベクトルＲを置き換えればよい。

式（６）において、Ｅ_０は、各成分が１のｎ_Ｒ次元ベクトルである。または、対応ドメインブロック画像を参考にして学習型超解像などの手法を用い、レンジブロック画像のボケ補正を行ってもよい。

続いてステップＳ１０９において、画像処理部１０３（またはシステムコントローラ１０７）は、入力画像の所定の領域内でボケ補正が終了したか否かを判定する。所定の領域は、入力画像の全域、または、特にボケの影響が強い領域であってもよい。ボケ補正が終了したと判定された場合、ステップＳ１１０へ進む。一方、ボケ補正が終了していない場合、ステップＳ１０２へ戻り、画像処理部１０３（画像抽出手段１０３ａ）は新たなレンジブロック画像を抽出する。

そしてステップＳ１１０において、画像処理部１０３（画像生成手段１０３ｄ）は、所定の領域におけるボケが補正された出力画像を生成する。すなわち画像生成手段１０３ｄは、対応ドメインブロック画像を用いて出力画像を生成する。また画像生成手段１０３ｄは、出力画像に対して、さらにアンシャープマスクなどの鮮鋭化処理を行ってもよい。以上の処理により、様々な原因によるボケで失われた入力画像の周波数成分を簡易に復元することができる。

次に、本実施例の効果をより高めるために好ましい条件に関して説明する。ステップＳ１０４にて取得されるドメインブロック画像（複数の第２の画像のそれぞれ）の画素数は、ステップＳ１０２にて抽出されるレンジブロック画像（第１の画像）の画素数よりも多いことが好ましい。ドメインブロック画像は、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）である場合を除いて、何らかの撮像装置で取得されているため、少なからず収差や回折によるボケが存在している。ドメインブロック画像のリサイズおよび置換によりボケを補正する場合、リサイズされたドメインブロック画像は、レンジブロック画像よりＭＴＦが高くなければならない。ドメインブロック画像のサイズ（ドメインブロックの画像の画素数）をレンジブロック画像よりも大きくする（レンジブロックの画像の画素数よりも多くする）ことにより、高周波成分が存在する可能性がより高い。このため、探索対象としてのドメインブロック画像をこのように設定することにより、効率的にボケ補正を行うことができる。

また、ステップＳ１０３を行う前に、レンジブロック画像に対応する撮像装置１００の劣化情報（撮影画像に関する劣化情報）を取得するステップを設け、このような劣化情報からステップＳ１０３にて用いられる縮小率ｓを決定することが好ましい。ここで劣化情報とは、レンジブロック画像２０１に生じているボケに関する情報である。ボケのうち、収差、回折、および、デフォーカスの影響は、画像取得部１０１の設計値や測定値から算出され、記憶部１０４に保存されている。ブレの影響は、例えばジャイロセンサなどを搭載した状態検知部１０９が、撮影時における画像取得部１０１の運動を検知することにより得られる。ここで、デフォーカスを補正しようとする場合、撮像装置１００が被写体空間の距離情報を取得する測距部を備えていてもよい。

劣化情報は、例えば、ボケのＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）またはＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の拡がりを表すパラメータを含む。劣化情報を取得することにより、レンジブロック画像にどの程度の大きさのボケが付与されているかが分かるため、ボケに応じた縮小（縮小率ｓの設定）が可能となる。これにより、ボケ補正が不充分になることや、過剰な縮小によって被写体の周波数成分が消えてしまうことを防止することができる。劣化情報は、縮小率ｓを決定するために必要最小限の情報を含んでいればよい。このため、ボケの逆フィルタなどを用いる手法よりも少ない情報量でボケ補正を行うことができる。

劣化情報は、入力画像の撮影時の撮影条件情報、レンジブロック画像の位置（抽出位置）、撮像装置の種類、または、撮影画像の色成分などに基づいて決定（取得）される。撮影条件情報とは、撮影時における図１の画像取得部１０１の状態であり、絞りの状態、フォーカス位置、ズームレンズにおける焦点距離などである。撮影条件情報は、状態検知部１０９がシステムコントローラ１０７または制御部１０８から取得する。劣化情報は、画像の色（ＲＧＢ）成分に対してそれぞれ用意されていることが好ましい。これは、例えば、収差による周波数成分の劣化を補正する場合、画像取得部１０１のズームや絞りの状態、像高、波長などを変数として収差の影響が変化するためである。ただし、このような変数の中に劣化情報への影響が小さい変数が存在する場合、その変数を除外して劣化情報を決定してもよい。

また、ステップＳ１０６にて相関を算出する際に、レンジブロック画像（または縮小レンジブロック画像）の周辺領域において、その他の領域（中央領域）よりも、相関の重み（式（３）のｗ_ｉ）を小さくすることが好ましい。

図６を参照して、その理由について説明する。図６は、図４のレンジブロック画像２０１の近傍を切り抜いた図であり、ボケとレンジブロック画像との関係を示している。ここで、レンジブロック画像２０１に対応するボケ２０６が、例えば、図６中の一点鎖線で示されるＰＳＦであるとする。このとき、レンジブロック画像２０１は、レンジブロック画像２０１の外部領域からの寄与も含まれる。すなわち、外部領域からの影響を受けているレンジブロック画像２０１の内部領域には、余計な情報（誤差）が含まれている。これは、縮小レンジブロック画像に関しても同様である。このような誤差は、縮小レンジブロック画像内の中央領域よりも周辺領域ほど顕著になるため、相関算出時の周辺領域の重みを小さくすることが好ましい。例えば、縮小レンジブロック画像の中心から端に向かうほど重みを小さくする方法が考えられる。これにより、対応ドメインブロック画像をより高精度に選択することができる。

より好ましくは、周辺領域を劣化情報に基づいて決定するとよい。これにより、対応ドメインブロック画像をより正確に選択することができる。例えば図６の場合、ボケ２０６のサイズは３×３であるため、外部領域から影響を受けない領域２０７（中央領域）を除いた部分に誤差が含まれる。このため、レンジブロック画像２０１を縮小した場合にその誤差を有する画素が含まれる領域を、周辺領域として設定すればよい。本実施例において、ボケが非対称形状である場合、周辺領域もそのボケ形状に合わせて非対称形状に設定することが好ましい。

また、ステップＳ１０８において、対応ドメインブロック画像から周辺領域を除いて（周辺領域を用いることなく）出力画像を生成することが好ましい。図６を参照して説明したのと同様に、レンジブロック画像２０１の周辺領域は誤差を有するため、より正確なボケ補正を行うには周辺領域を除去することが好ましい。対応ドメインブロック画像の全体を使用しない場合でも、ステップＳ１０２にてレンジブロック画像を互いに重なり合うように抽出すれば、入力画像の全体のボケ補正を行うことができる。より好ましくは、前述と同様に、ステップＳ１０８にて除外される周辺領域を、劣化情報に基づいて決定する。

また好ましくは、ステップＳ１０２にて抽出されるレンジブロック画像のサイズおよび形状は、劣化情報に基づいて決定される。レンジブロック画像のサイズおよび形状を、ボケの拡がりよりも大きく設定することにより、補正に必要な情報の欠損を防ぐことができる。また、ステップＳ１０３にて用いられる劣化情報として、複数の種類の劣化情報を用いてもよい。この場合、複数の劣化情報に対してステップＳ１０３乃至Ｓ１０８を実行し、適切な（好ましくは最も適切な）補正結果を選択して出力画像の生成に用いる。例えば、被写体空間の距離情報を用いずに、デフォーカスを補正することを考える。この場合、複数のデフォーカス量に対応する劣化情報（デフォーカス量が大きいほど、ボケの拡がりが大きくなる）を取得し、ステップＳ１０３乃至Ｓ１０８の処理を実行する。そこで得られた画像の中から、最もデフォーカスが補正されているものを選択することにより、所望の出力画像を得ることができる。デフォーカス補正の判定基準としては、例えば、輝度やコントラストが最も高い画像を選択する手法がある。

本実施例によれば、被写体空間の撮像で生じたボケによりＭＴＦが小さい周波数成分を簡易に復元可能な撮像装置を提供することができる。

次に、図７および図８を参照して、本発明の実施例２における画像処理システムについて説明する。図７は、本実施例における画像処理システム３００のブロック図である。図８は、画像処理システム３００の外観図である。

撮像装置３０１により取得された入力画像（撮影画像）は、通信部３０３を介して、画像処理装置３０２へ入力される。記憶部３０４は、入力画像（撮影画像）と入力画像の取得時における撮影条件情報を記憶する。画像補正部３０５（画像処理部）は、前述のボケ補正処理（画像処理方法）を行う。画像補正部３０５による処理後の出力画像は、通信部３０３を介して、表示装置３０６、記録媒体３０７、出力装置３０８のいずれか、または複数に出力される。表示装置３０６は、例えば液晶ディスプレイやプロジェクタなどである。ユーザは、表示装置３０６を介して、処理途中の画像を確認しながら作業を行うことができる。記録媒体３０７は、例えば半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。出力装置３０８は、プリンタなどである。画像処理装置３０２は、必要に応じて、現像処理やその他の画像処理を行う機能を有してもよい。

また、本実施例のボケ補正処理（画像処理方法）を画像処理装置３０２（コンピュータ）に実行させる画像処理プログラム（画像処理ソフトウエア）を記憶しているＣＤ−ＲＯＭなどの記憶媒体３０９を用いてもよい。この場合、画像処理プログラムを画像処理装置３０２（コンピュータ）にインストールすることにより、画像処理装置３０２は画像処理プログラムを読み出して画像処理方法を実行可能になる。

本実施例における画像補正部３０５の処理フロー（画像処理方法）は、図３に示されるとおりである。本実施例において、図３の各ステップは、画像補正部３０５（図１の画像処理部１０３と同様の構成を有する）により実行される。なお、以下の説明では、実施例１と同様の部分についての説明は省略する。

図３のステップＳ１０１において、画像処理装置３０２（画像補正部３０５）は、撮像装置３０１を用いて撮影した入力画像（撮影画像）を取得する。本実施例において、ステップＳ１０３にて劣化情報を用いる場合、画像処理装置３０２に接続された撮像装置３０１の種類も劣化情報を決定する変数である。また撮影条件情報は、入力画像と同一のファイル内に保存されていてもよいし、撮像装置３０１から読み出してもよい。

本実施例によれば、被写体空間の撮像で生じたボケによりＭＴＦが小さい周波数成分を簡易に復元可能な撮像装置を提供することができる。

次に、図９および図１０を参照して、本発明の実施例３における撮像システムについて説明する。図９は、本実施例における撮像システム４００のブロック図である。図１０は、撮像システム４００の外観図である。

サーバー４０３は、通信部４０４を有し、ネットワーク４０２を介して撮像装置４０１と接続されている。撮像装置４０１により撮影が行われると、入力画像（撮影画像）が自動的または手動でサーバー４０３へ入力される。そして記憶部４０５は、入力画像と撮影条件情報を記憶する。その後、画像処理部４０６は、入力画像（撮影画像）に対してボケ補正処理（画像処理方法）を行い、出力画像を生成する。出力画像は、撮像装置４０１へ出力されるか、または、記憶部４０５に記憶される。

図１１は、本実施例における撮像装置４０１（結像光学系）の構成図である。図１１に示されるように、撮像装置４０１は多眼構成であり、４種類の結像光学系が４つずつ配列されている。結像光学系は種類ごとに互いに異なる焦点距離を有する。結像光学系４１０ａ〜４１０ｄは広角レンズ、結像光学系４２０ａ〜４２０ｄは標準レンズ、結像光学系４３０ａ〜４３０ｄは中望遠レンズ、結像光学系４４０ａ〜４４０ｄは望遠レンズである。ただし、結像光学系の種類、数、または配置は、これに限定されるものではない。また、各結像光学系に対応する撮像素子は、それぞれ互いに画素数が異なっていてもよい。

本実施例における画像処理部４０６の処理フロー（画像処理方法）は、図３に示されるとおりである。本実施例において、図３の各ステップは、画像処理部４０６（図１の画像処理部１０３と同様の構成を有する）により実行される。なお、以下の説明では、実施例１と同様の部分についての説明は省略する。

図３のステップＳ１０１において、撮像装置４０１により撮影された画像のうち、画像処理部４０６は、一つの結像光学系に対応する画像を入力画像（撮影画像）として取得する。ただし、入力画像を変えながら図３の処理を繰り返し、撮像装置４０１により撮影された撮影画像の全てに対してボケ補正を行ってもよい。

ステップＳ１０４において、画像処理部４０６は、ドメインブロック画像を取得する。このとき、ドメインブロック画像は、入力画像からだけでなく、撮像装置４０１の他の結像光学系で得られた画像からも抽出される。撮像装置４０１の結像光学系にはそれぞれ、視点や画角の相違があるが、全て共通の被写体を撮像している。このため、それらの画像からドメインブロック画像を抽出することにより、ボケ補正の効果をより高めることができる。特に、入力画像が広角レンズである結像光学系４１０ａ〜４１０ｄを介して得られた場合、より望遠側の結像光学系の撮影画像からドメインブロック画像を抽出することにより、高いボケ補正効果が得られる。これは、望遠側は撮影倍率が大きく、より細かい構造を含む画像が取得されているためである。本実施例によれば、被写体空間の撮像で生じたボケによりＭＴＦが小さい周波数成分を簡易に復元可能な撮像装置を提供することができる。

各実施例によれば、撮影画像に含まれるボケを簡易に除去可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０３ 画像処理部
１０３ａ 画像抽出手段
１０３ｂ 相関算出手段
１０３ｃ 画像選択手段
１０３ｄ 画像生成手段

Claims (15)

1. 撮影画像の一部である第１の画像を抽出するステップと、
   前記第１の画像を縮小した第１の縮小画像と、該第１の縮小画像よりも画素数の多い複数の第２の画像のそれぞれとの相関を算出するステップと、
   前記相関に基づいて、前記複数の第２の画像のなかから前記第１の画像に対応する第３の画像を選択するステップと、
   前記第３の画像を用いて出力画像を生成するステップと、を有することを特徴とする画像処理方法。
2. 前記第３の画像は、前記第１の縮小画像と相似な形状を含む画像であることを特徴とする請求項１に記載の画像処理方法。
3. 前記出力画像は、前記第３の画像を用いて前記撮影画像のボケを低減するように生成されることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記複数の第２の画像のそれぞれの前記画素数は、前記第１の画像の画素数よりも多いことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
5. 前記第１の画像は、前記撮影画像に関する劣化情報に基づいてサイズおよび形状が決定されることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
6. 前記第１の画像に対する前記第１の縮小画像の縮小率は、前記撮影画像に関する劣化情報に基づいて決定されることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
7. 前記劣化情報は、撮像装置の種類、撮影条件情報、前記撮影画像の色成分、または、該撮影画像における前記第１の画像の位置に基づいて決定されることを特徴とする請求項５または６に記載の画像処理方法。
8. 前記相関を算出する際に、前記第１の縮小画像の中央領域よりも周辺領域において、該相関の重みを小さくすることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理方法。
9. 前記出力画像は、前記第３の画像の周辺領域を用いることなく生成されることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理方法。
10. 前記第１の縮小画像または前記第３の画像の前記周辺領域は、前記撮影画像の劣化情報によって決定されることを特徴とする請求項８または９に記載の画像処理方法。
11. 前記複数の第２の画像はそれぞれ、前記撮影画像の一部の画像であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理方法。
12. 撮影画像の一部である第１の画像を抽出する画像抽出手段と、
    前記第１の画像を縮小した第１の縮小画像と、該第１の縮小画像よりも画素数の多い複数の第２の画像のそれぞれとの相関を算出する相関算出手段と、
    前記相関に基づいて、前記複数の第２の画像のなかから前記第１の画像に対応する第３の画像を選択する画像選択手段と、
    前記第３の画像を用いて出力画像を生成する画像生成手段と、を有することを特徴とする画像処理装置。
13. 光学像を光電変換して撮影画像を得る撮像素子と、
    前記撮影画像の一部である第１の画像を抽出する画像抽出手段と、
    前記第１の画像を縮小した第１の縮小画像と、該第１の縮小画像よりも画素数の多い複数の第２の画像のそれぞれとの相関を算出する相関算出手段と、
    前記相関に基づいて、前記複数の第２の画像のなかから前記第１の画像に対応する第３の画像を選択する画像選択手段と、
    前記第３の画像を用いて出力画像を生成する画像生成手段と、を有することを特徴とする撮像装置。
14. 撮影画像の一部である第１の画像を抽出するステップと、
    前記第１の画像を縮小した第１の縮小画像と、該第１の縮小画像よりも画素数の多い複数の第２の画像のそれぞれとの相関を算出するステップと、
    前記相関に基づいて、前記複数の第２の画像のなかから前記第１の画像に対応する第３の画像を選択するステップと、
    前記第３の画像を用いて出力画像を生成するステップと、をコンピュータに実行させることを特徴とする画像処理プログラム。
15. 請求項１４に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。