JP5864037B2 - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、点拡がり関数に基づく復元処理に係る画像処理装置、撮像装置、画像処理方法及びプログラムに関する。

光学系を介して撮影される被写体像には、光学系に起因する回折や収差等の影響によって点被写体が微小な広がりを持つ点拡がり現象が見られることがある。点光源に対する光学系の応答を表す関数は点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と呼ばれ、撮影画像の解像度劣化を表すパラメータとして知られている。

点拡がり現象のために画質劣化した撮影画像は、ＰＳＦに基づく点像復元処理を受けることで画質を回復することができる。点像復元処理は、レンズの収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた復元フィルタを用いる画像処理によって撮影画像の点拡がりをキャンセルする処理である。

点像復元処理で用いられる復元フィルタは、光学系のＰＳＦに影響を及ぼしうる種々の条件要素（レンズ種類、絞り値（Ｆ値）、ズーム倍率、被写体距離、像高等）に基づいて設計される。復元フィルタの条件要素の種類が増えるほど、厳密な点像復元処理が可能となるが、復元フィルタのデータ量は肥大化し、復元フィルタの保存に要する記憶容量は膨大になる。また点像復元処理のフィルタリング処理（デコンボリューション演算）には高度な演算処理性能が必要とされ、特に近年の画像データの高画素化と相俟って、点像復元処理の簡素化及び高速化の重要性は増している。

このようなＰＳＦに基づく復元処理に関し、例えば特許文献１は、デジタルズームの倍率に応じてトリミングされた画像を指定サイズに応じてスケーリングし、そのスケーリングされた画像に対して復元処理を行う画像処理装置を開示する。また特許文献２は、動画及び静止画の双方の撮影が可能なカメラで撮影された画像に対し、回復フィルタを適用することでぼけ等の画像劣化を低減する画像処理制御方法を開示する。

特開２０１０−１４１６６１号公報 特開２０１１−１０２１４号公報

上述のように「復元処理の簡素化及び高速化」の重要性が増しているが、とりわけ光学ズーム倍率を変えながら撮影された画像の復元処理において、そのような「復元処理の簡素化及び高速化」を促進することが望まれている。すなわち光学ズーム倍率が変動すると撮影光学系のＰＳＦも変化するが、そのような光学ズーム倍率の変動に伴うＰＳＦ変化を復元処理に反映させつつ、簡素な構成で高速に復元処理を行うことが可能な新たな手法の提案が望まれている。そのような復元処理手法は、動画及び静止画の双方に対する復元処理において有効であるが、とりわけ光学ズーム倍率を変動しながら撮影された動画に対する復元処理において有益である。

しかしながら、上述の特許文献１及び特許文献２に記載の装置及び方法では、そのような復元処理の簡素化及び高速化を実現することが難しい。すなわち特許文献１の画像処理装置では、光学ズーム倍率の変動に伴う撮影光学系のＰＳＦの変化が全く考慮されておらず、特許文献１には光学ズーム倍率を変えながら撮影した動画及び静止画の復元処理に関する記述が全く見当たらない。同様に特許文献２の画像処理制御方法においても、光学ズーム倍率の変動に伴う撮影光学系のＰＳＦの変化は、全く考慮されていない。特許文献２の明細書の段落００８５には動画に対する復元処理の適用に関する記述が見られるが、特許文献２では単に「絞りに比べてズームを固定することが多い。したがって、異なるズームに対応している回復フィルタのうち、使われたのが古いものから削除する方が良い」旨が教示されているに過ぎず、動画に対する復元処理の具体的な手法については開示も示唆もなされていない。特に光学ズーム倍率の変動を伴う撮影で取得される動画には、撮影時の光学ズーム倍率が異なる画像（フレーム）が含まれるため画角の異なる画像（広角画像／望遠画像）が混在しうるが、特許文献２にはそのようなケースを想定した復元処理に関する教示は見当たらない。

このように特許文献１及び特許文献２に記載の装置及び方法によっても、光学ズーム倍率の変化に対応した復元処理の高速処理を実現することは難しい。

また動画に対する点像復元処理では、静止画に対する点像復元処理よりも処理の簡素化及び高速化が求められる一方で、前後フレーム間の滑らかな画質連続性等、特有の要求を満たすことも求められる。すなわち静止画に対する点像復元処理では、撮影したときの撮影条件を検出し、この検出した撮影条件に対応する復元フィルタを用いて復元処理を行えばよい。これに対して動画に対する点像復元処理では、撮影中に撮影条件が変動しうるため異なる撮影条件の画像（フレーム）が動画に含まれ、変動した撮影条件に逐次対応して同様の復元処理を行うと処理負荷が大きく、またリアルタイム処理が必要とされる場合には処理の高速化も要求され、更に前後フレーム間の滑らかな画質連続性も求められる。したがって静止画及び動画の各々に求められる画質上の特性を十分に考慮し、静止画及び動画の両者の復元画質を一層向上させることが可能な新たな点像復元処理手法が望まれている。

本発明は上述の事情に鑑みてなされたものであり、復元フィルタのデータ量を抑制し、簡素な処理構成で実行可能な点像復元処理技術を提供することを目的とする。

また本発明は、静止画及び動画の両者に対して適用可能な点像復元処理技術であって、静止画及び動画の各々に対して求められる画質上の要求を満たすことが可能な点像復元処理技術を提供することを他の目的とする。

本発明の一態様は、光学系を用いた撮影により取得される原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを適用して復元画像データを取得するフィルタ適用部と、原画像データと復元画像データとの差分の増幅率の調整を行い、調整が行われた後の差分と原画像データとから回復画像データを取得するゲイン調整部と、を備え、フィルタ適用部は、光学系の光学ズームの倍率の値に関わらず定められる共通のフィルタを復元フィルタとして使用し、ゲイン調整部は、光学系の光学ズームの倍率に基づいて増幅率を決める画像処理装置に関する。

本態様によれば、光学系の光学ズームの倍率（光学ズーム倍率）に関して共通のフィルタが復元フィルタとして使用され、復元フィルタのデータ量を効果的に抑制することができる。また本態様によれば、光学ズーム倍率に関して共通の復元フィルタを使用することによって生じうる「光学系の実際の点拡がり関数と共通の復元フィルタとのマッチングのズレ」を、光学ズーム倍率に基づいて「原画像データと復元画像データとの差分の増幅率」を決めることで補償することができる。増幅率は比較的簡単に調整することができ、光学ズーム倍率が変動しても復元フィルタに切り替えることなく、「光学系の実際の点拡がり関数と共通の復元フィルタとのマッチングのズレ」を簡便且つ効果的に解消することができる。したがって本態様によれば、装置構成を簡素化することができ、復元処理を安定した状態で高速に行うことも可能である。

また本態様の画像処理装置は、静止画及び動画（フレーム）の両者に対して適用可能であり、光学ズーム倍率に関して共通の復元フィルタを使用しつつ増幅率を適宜調整することで、静止画及び動画の各々に対して求められる画質上の要求を満たすことも可能である。

望ましくは、復元フィルタは、原画像データを取得した際の光学系の絞り値に基づいて決められる。

本態様によれば、光学ズーム倍率に関して共通に使用される復元フィルタが絞り値に基づいて定められ、「光学系の実際の点拡がり関数と共通の復元フィルタとのマッチングのズレ」が過大になることを有効に防ぐことができる。点拡がり関数に対する絞り値の影響は比較的大きいため、絞り値が反映された点拡がり関数に基づく復元フィルタを用いることで、復元画質精度を向上させることができる。

ここでいう「絞り値」は、光学系の絞りの開度を表す指標であり、撮影レンズを通って撮像素子上に写る被写体像の明るさを直接的又は間接的に示す値である。例えば「Ｆ値（ｆ−ｎｕｍｂｅｒ）」や「Ａｖ値（ａｐｅｒｔｕｒｅ ｖａｌｕｅ）」等を「絞り値」として用いることができる。

望ましくは、フィルタ適用部は、原画像データを取得した際の光学系の絞り値が第１の絞り値よりも小絞り側の値である場合に、光学系の光学ズームの倍率の値に関わらず定められる共通のフィルタを復元フィルタとして使用して復元画像データを取得し、ゲイン調整部は、原画像データを取得した際の光学系の絞り値が第１の絞り値よりも小絞り側の値である場合に、増幅率を光学系の光学ズームの倍率に基づいて決める。

本態様によれば、絞り値が小絞り側の値である場合、復元フィルタが光学ズーム倍率に関して共通に使用され、増幅率が光学ズーム倍率に基づいて決められる。一方、絞り値が小絞り側の値ではない場合、光学ズーム倍率に基づく最適な復元フィルタ及び増幅率による点像復元処理を行うことで、画像復元精度を向上させることができる。点拡がり関数に対する光学ズーム倍率の影響が比較的小さい小絞り側でのみ、復元フィルタを光学ズーム倍率に関して共通使用して増幅率を光学ズーム倍率に基づいて決めることで、復元フィルタのデータ量の低減、装置の簡素化、復元精度の向上等の有益な効果をバランス良く達成することが可能である。

ここでいう「第１の絞り値」は、「光学ズーム倍率に関して共通の復元フィルタを使用して光学ズーム倍率に基づいて増幅率を調整する」基準となる絞り値であり、実験等に基づいて適宜定めうる。例えば、光学ズーム倍率に関して共通の復元フィルタを使用した場合に復元画質の弊害が視覚上目立たない絞り値を実験等により予め求めた上で、「第１の絞り値」を設定してもよい。この第１の絞り値は、点拡がり関数に影響を及ぼしうる他のファクター（レンズの種類、絞り値、等）に基づいて決められてもよく、例えば異なる光学系（レンズ）を介して撮影取得された画像（原画像データ）に関する「第１の絞り値」は異なってもよい。

望ましくは、フィルタ適用部は、光学系のうち光軸上又は光軸近傍の像高中央部の変調伝達関数と、光学系のうち像高中央部よりも大きな像高を有する像高周辺部の変調伝達関数との相違に基づいて、光学系の光学ズームの倍率の値に関わらず定められる共通のフィルタの候補である、複数のフィルタ候補の中から、復元フィルタとして使用するフィルタを選択する。

本態様によれば、像高中央部と像高周辺部と間の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の相違に基づいて「光学ズーム倍率に関して共通の復元フィルタ」が選択されるため、像高中央部及び像高周辺部における点像特性（ＭＴＦ特性）を反映した点像復元処理を行うことができる。

望ましくは、複数のフィルタ候補は、第１のフィルタ候補と、第１のフィルタ候補とは異なる第２のフィルタ候補とを含み、フィルタ適用部は、像高中央部の変調伝達関数と像高周辺部の変調伝達関数との差が第１の閾値よりも小さい場合には第１のフィルタ候補を復元フィルタとして使用し、像高中央部の変調伝達関数と像高周辺部の変調伝達関数との差が第１の閾値以上の場合には第２のフィルタ候補を復元フィルタとして使用する。

本態様によれば、像高中央部のＭＴＦと像高周辺部のＭＴＦとの差が大きい場合と小さい場合とで復元フィルタが切り替えられ、像高中央部及び像高周辺部における点像特性を反映した点像復元処理を行うことができる。

望ましくは、フィルタ適用部は、原画像データが動画である場合に、光学系の光学ズームの倍率に関して共通のフィルタを復元フィルタとして使用して復元画像データを取得し、ゲイン調整部は、原画像データが動画である場合に、増幅率を光学系の光学ズームの倍率に基づいて決める。

本態様によれば、撮影中に撮影条件が変動しうる動画に対して「光学ズーム倍率に関して共通する復元フィルタの使用」及び「光学ズーム倍率に応じた増幅率の調整」が行われ、動画を構成する複数の画像（原画像データ）の各々に対する点像復元処理において、復元フィルタのデータ量の低減、装置の簡素化、復元精度の向上等の有益な作用効果をもたらすことできる。

ここでいう「動画」は、経時的に連続した画像群（フレーム群）によって構成され、比較的短時間に撮影取得された一連の複数の時系列画像を含み、例えばメモリ等に記録される記録動画やライブビュー画像（Ｌｉｖｅ Ｐｒｅｖｉｅｗ）が「動画」の概念に含まれうる。

望ましくは、フィルタ適用部は、原画像データが静止画である場合には、光学系の光学ズームの倍率に基づいて決められる復元フィルタを使用して復元画像データを取得する。

本態様によれば、撮影中に撮影条件が変動しうる動画の復元処理に対し、撮影したときの撮影条件に応じた復元フィルタを用いればよい静止画に対する復元処理では、光学ズーム倍率に関して共通の復元フィルタではなく、光学ズーム倍率に基づく点拡がり関数が反映された復元フィルタが使用されるため、復元画像精度を向上させることができる。

ここでいう「静止画」は、基本的には単一の画像によって構成され、単画像として提供されうる画像である。

望ましくは、フィルタ適用部は、原画像データが動画撮影中の静止画撮影によって取得された場合には、光学系の光学ズームの倍率に基づいて決められる復元フィルタを使用して復元画像データを取得する。

本態様によれば、動画撮影中に撮影された静止画に対する復元処理では、光学ズーム倍率に関して共通の復元フィルタではなく、光学ズーム倍率に基づく点拡がり関数が反映された復元フィルタが使用されるため、復元画像精度を向上させることができる。一方、動画に対する復元処理では、光学ズーム倍率に関して共通の復元フィルタを使用しつつ光学ズーム倍率に基づいて増幅率を調整するため、連続画像間の画質の連続性を破綻させることなく、処理の簡素化及び高速化を図ることができる。このように本態様によれば、静止画及び動画の各々に対して求められる画質上の要求を効果的に満たすことができる。

望ましくは、光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する。

本態様によれば、いわゆるＥＤｏＦ（Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））光学系を介して得られる原画像データの復元処理においても、復元フィルタのデータ量を低減し、装置を簡素化し、精度良く画像を復元することが可能である。なお、レンズ部における位相を変調させる手法（光学的位相変調手段）は特に限定されず、レンズ間に位相変調部を設けたり、レンズ自体（例えばレンズの入射面及び／又は出力面）に位相変調機能を持たせたりすることも可能である。

本発明の他の態様は、光学系を用いた撮影により原画像データを取得する撮像素子と、上記のいずれかの画像処理装置と、を備える撮像装置に関する。

本態様によれば、撮像装置での復元処理においても、復元フィルタのデータ量を低減し、装置構成を簡素化し、復元処理を安定した状態で高速に行うことができる。なお、本態様はシステム設計上の制約が比較的厳しい撮像装置に対して特に有効である。したがって、点拡がり関数や復元フィルタに関するデータを保存するメモリ容量に制約がある撮像装置（例えば交換レンズ式のカメラにおいてレンズユニット側のメモリにデータ保存する撮像装置）や、複雑なフィルタリング処理（デコンボリューション演算）等を行う演算処理装置（ＣＰＵ等）の処理性能に制約がある撮像装置（例えば設置スペースが限られるカメラ本体内やレンズユニット内の制御部で復元処理演算を行う撮像装置）に対し、本態様は好適である。

望ましくは、撮像装置は、光学ズームとデジタルズームとを切り替え可能なズーム制御部を更に備え、光学ズームとデジタルズームとの切り替えの基準となる光学ズームの倍率は、光学系の点拡がり関数に基づいて決められる。

本態様によれば、光学ズームとデジタルズームとの切り替えの基準となる光学ズームの倍率が光学系の点拡がり関数に基づいて定められるため、光学ズーム倍率によってもたらされうる回復画像データにおける弊害（過補正、リンギング等）を考慮し、光学ズームとデジタルズームとを切り替えることが可能である。例えば、回復画像データにおける弊害（過補正、リンギング等）が視覚上目立ち始める直前の光学ズーム倍率を、光学ズームとデジタルズームとの切り替えポイントに設定することも可能である。

ここでいう「光学ズーム」は、光学的なズーム手段（ズームレンズ等）をコントロールすることでズーミングを行う手法であり、画角や焦点距離も調整される。一方、「デジタルズーム」は、光学的なズーム手段（ズームレンズ等）によらずに専ら画像処理によって画像範囲を変更することでズーミングを行う手法であり、一般的には撮像素子に写った画像の一部を拡大することで行われうる。

望ましくは、光学ズームとデジタルズームとの切り替えの基準となる光学ズームの倍率は、光学系のうち光軸上又は光軸近傍の像高中央部の変調伝達関数と、光学系のうち像高中央部よりも大きな像高を有する像高周辺部の変調伝達関数との相違に基づいて決められる。

本態様によれば、像高中央部のＭＴＦと像高周辺部のＭＴＦとの差が大きい場合と小さい場合とで光学ズームとデジタルズームとの切り替えの基準が変えられるため、像高中央部及び像高周辺部における点像特性に基づいて「光学ズーム及びデジタルズームの切り替え」を行うことができる。

望ましくは、光学ズームとデジタルズームとの切り替えの基準となる光学ズームの倍率は、原画像データを取得した際のズーム方向に基づいて決められる。

本態様によれば、原画像データを取得した際のズーム方向に基づき、光学ズーム及びデジタルズームのスムーズな切り替えを行うことができる。

望ましくは、ゲイン調整部は、原画像データを取得した際のズーム方向に基づいて増幅率を決める。

本態様によれば、原画像データを取得した際のズーム方向に基づいて増幅率が決定されるため、特に動画撮影時には動画を構成する複数画像間の連続性をズーム方向に基づいて効果的に保持すること可能である。

本発明の他の態様は、光学系を用いた撮影により取得される原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを適用して復元画像データを取得するフィルタ適用ステップと、原画像データと復元画像データとの差分の増幅率の調整を行い、調整が行われた後の差分と原画像データとから回復画像データを取得するゲイン調整ステップと、を備え、フィルタ適用ステップでは、光学系の光学ズームの倍率に関して共通のフィルタを復元フィルタとして使用し、ゲイン調整ステップでは、光学系の光学ズームの倍率に基づいて増幅率を決める画像処理方法に関する。

本発明の他の態様は、光学系を用いた撮影により取得される原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを適用して復元画像データを取得する手順と、原画像データと復元画像データとの差分の増幅率の調整を行い、調整が行われた後の差分と原画像データとから回復画像データを取得する手順と、をコンピュータに実行させるためのプログラムであって、復元画像データを取得する手順では、光学系の光学ズームの倍率に関して共通のフィルタを復元フィルタとして使用し、回復画像データを取得する手順では、光学系の光学ズームの倍率に基づいて増幅率を決めるプログラムに関する。

本発明によれば、光学ズーム倍率に関して共通のフィルタが復元フィルタとして使用され、復元フィルタのデータ量を効果的に抑制することができる。また光学系の光学ズームの倍率に基づいて原画像データと復元画像データとの差分の増幅率が決められ、簡素な装置構成で復元処理を高速に行うことができる。

また本発明によれば、光学ズーム倍率に関して共通の復元フィルタを使用しつつ増幅率を適宜調整するという簡便な手法により、静止画及び動画の両者に対して適用可能な点像復元処理において、静止画及び動画の各々に対して求められる画質上の要求を満たすことも可能である。

コンピュータに接続されるデジタルカメラを示すブロック図である。 カメラ本体コントローラの機能構成例を示すブロック図である。 点像復元制御処理部の一例を示す機能ブロック図である。 フィルタ適用部及びゲイン調整部によって行われる点像復元処理（フィルタ適用処理及びゲイン調整処理）の一例を示す制御回路図である。 理想的な点像復元処理が行われる場合の画像データの「空間周波数−レスポンス」の関係例を示すグラフであり、図５Ａは点像復元処理前のグラフを示し、図５Ｂは点像復元処理後のグラフを示す。 画像データの「光学ズームのズーム倍率−レスポンス」の関係例を示すグラフである。 「光学ズームのズーム倍率−復元ゲイン」の関係の一例を示し、主としてレンズの解像特性を改善する観点で設計される関係例を示す。 「光学ズームのズーム倍率−重要度」の関係の一例を示し、特にユーザの視覚特性を考慮した「画像復元時における低周波成分及び高周波成分の重要度」を示す。 「光学ズームのズーム倍率−復元ゲイン」の関係の一例を示し、特に「光学系の解像特性（図７参照）」及び「視覚特性（図８参照）」を考慮して設計される関係例を示す。 第１実施形態に係る点像復元処理のフローチャートである。 第２実施形態に係る点像復元処理のフローチャートである。 第３実施形態に係る点像復元処理のフローチャートである。 第４実施形態に係る点像復元処理のフローチャートである。 第５実施形態に係る点像復元処理のフローチャートである。 光学ズームとデジタルズームとの切り替えを概念的に示す図である。 光学系における像高中央部及び像高周辺部を示す概念図である。 ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。 ＥＤｏＦ光学系の一例を示す図である。 図１７に示す復元処理ブロックによる復元処理フローの一例を示す図である。 ＥＤｏＦ光学系を介して取得された画像の復元例を示す図である。 本発明の撮像装置の一実施形態であるスマートフォンの外観を示す。 図２１に示すスマートフォンの構成を示すブロック図である。

添付図面を参照して本発明の実施形態について説明する。以下の実施形態では、一例として、コンピュータ（ＰＣ：パーソナルコンピュータ）に接続可能なデジタルカメラ（撮像装置）に本発明を適用するケースについて説明する。

図１は、コンピュータに接続されるデジタルカメラを示すブロック図である。

デジタルカメラ１０は、交換可能なレンズユニット１２と、撮像素子２６を具備するカメラ本体１４とを備え、レンズユニット１２とカメラ本体１４とは、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介して電気的に接続される。

レンズユニット１２は、レンズ１６や絞り１７等の光学系と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ２０は、レンズユニット入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えばレンズ（フォーカスレンズ及びズームレンズを含む）移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。

カメラ本体１４の撮像素子２６は、集光用マイクロレンズ、Ｒ（赤）Ｇ（緑）Ｂ（青）等のカラーフィルタ、及びイメージセンサ（フォトダイオード；ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等）を有し、光学系を用いた被写体像の撮影により原画像データを取得する。すなわち、撮像素子２６は、レンズユニット１２の光学系（レンズ１６、絞り１７等）を介して照射される被写体像の光を電気信号に変換し、画像信号（原画像データ）をカメラ本体コントローラ２８に送る。

カメラ本体コントローラ２８は、図２に示すようにデバイス制御部３４と画像処理部（画像処理装置）３５とを有し、カメラ本体１４を統括的に制御する。デバイス制御部３４は、例えば撮像素子２６からの画像信号（画像データ）の出力を制御し、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信し、入出力インターフェース３２を介して接続される外部機器類（コンピュータ６０等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信する。またデバイス制御部３４は、図示しない表示部（ＥＶＦ：Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ、背面液晶表示部）等、デジタルカメラ１０が具備する各種デバイス類を適宜制御する。

なお、本例のデバイス制御部３４はズーム制御部３７（図２参照）を有する。ズーム制御部３７は、例えばレンズユニット１２が保持するズームレンズ（図示省略）の移動を制御するための制御信号を、カメラ本体入出力部３０及びレンズユニット入出力部２２を介してレンズユニットコントローラ２０に送信し、光学ズーム倍率をコントロールする。またズーム制御部３７は、光学ズームとデジタルズームとを切り替え可能に構成され、光学ズームとデジタルズームとの切り替えの基準となる光学ズームの倍率を、光学系（レンズ１６、絞り１７）の点拡がり関数に基づいて決める。またズーム制御部３７は、デジタルズーム作動時におけるズーム画像の作成等、ズーム処理全般を制御する。ズーム制御部３７によるズーム制御の詳細については、後述する。

一方、画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、ガンマ変換処理（ガンマ補正処理部３３）、等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理、輪郭補正処理、等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理、等の各種の画像処理が、画像処理部３５において適宜行われる。

なお本例の画像処理部３５は、光学系の点拡がり関数に基づく復元処理（点像復元処理）を画像信号（原画像データ）に対して行う点像復元制御処理部３９（図２参照）を含む。点像復元処理の処理対象となる原画像データの種類は特に限定されず、例えば色成分データ（ＲＧＢ等の色成分信号）であってもよいし、輝度データであってもよい。点像復元制御処理部３９による点像復元処理の詳細については、後述する。

図１に示すデジタルカメラ１０は、撮影等に必要なその他の機器類（シャッター等）を具備し、ユーザは、カメラ本体１４に設けられるユーザインターフェース２９を介して撮影等のための各種設定（ＥＶ値（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）等）を適宜決定及び変更することができる。ユーザインターフェース２９は、カメラ本体コントローラ２８（デバイス制御部３４及び画像処理部３５）に接続され、ユーザによって決定及び変更された各種設定がカメラ本体コントローラ２８における各種処理に反映される。

カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２を介してコンピュータ６０等に送られる。デジタルカメラ１０（カメラ本体コントローラ２８）からコンピュータ６０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ、ＴＩＦＦ等の任意のフォーマットとしうる。したがってカメラ本体コントローラ２８は、いわゆるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて一つの画像ファイルとして構成し、この画像ファイルをコンピュータ６０に送信してもよい。

コンピュータ６０は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部６２を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、デジタルカメラ１０からの画像データを画像処理し、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信を制御する。コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等が必要に基づいてディスプレイ６６に表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４に対してデータやコマンドを入力することができる。これによりユーザは、コンピュータ６０や、コンピュータ６０に接続される機器類（デジタルカメラ１０、サーバ８０）を制御することができる。

サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間で必要に基づいてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードし、演算処理を行ってその演算結果をコンピュータ６０に送信する。

各コントローラ（レンズユニットコントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、サーバコントローラ８４）は、制御処理に必要な回路類を有し、例えば演算処理回路（ＣＰＵ等）やメモリ等を具備する。また、デジタルカメラ１０、コンピュータ６０及びサーバ８０間の通信は有線であってもよいし無線であってもよい。またコンピュータ６０及びサーバ８０を一体的に構成してもよく、またコンピュータ６０及び／又はサーバ８０が省略されてもよい。また、デジタルカメラ１０にサーバ８０との通信機能を持たせ、デジタルカメラ１０とサーバ８０との間で直接的にデータ類の送受信が行われるようにしてもよい。

＜点像復元処理＞
次に、撮像素子２６を介して得られる被写体像の撮像データ（画像データ）の点像復元処理について説明する。

以下の例では、カメラ本体１４（カメラ本体コントローラ２８）において点像復元処理が実施されるケースについて説明するが、点像復元処理の全部又は一部を他のコントローラ（レンズユニットコントローラ２０、コンピュータコントローラ６４、サーバコントローラ８４等）において実施することも可能である。

点像復元処理は、光学系（レンズ１６、絞り１７等）を用いた被写体像の撮影により撮像素子２６から取得される原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを取得する処理である。

すなわち、ボケ画像の原画像データから本来の被写体像（点像）を復元するため、原画像データに対して復元フィルタを用いた点像復元処理を行うことで、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データが得られる。

点像復元処理で用いられる復元フィルタは、原画像データ取得時の撮影条件に応じた光学系の点像情報（点拡がり関数）から、所定の復元フィルタ算出アルゴリズムによって得られる。光学系の点像情報（点拡がり関数）は、レンズ１６の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮影条件によって変動しうるため、復元フィルタを算出する際にはこれらの撮影条件が取得される。

例えば、Ｎ×Ｍ（Ｎ及びＭは２以上の整数）のタップによって構成される実空間上の復元フィルタＦが処理対象の画像データに適用され、各タップに割り当てられるフィルタ係数と対応の画素データ（原画像データの処理対象画素データ及び隣接画素データ）とを加重平均演算（デコンボリューション演算）することで、点像復元処理後の画素データ（回復画像データ）を算出することができる。この復元フィルタを用いた加重平均処理を、対象画素を順番に代えながら、画像データを構成する全画素データに適用することで、点像復元処理を行うことができる。

Ｎ×Ｍのタップによって構成される実空間上の復元フィルタは、周波数空間上の復元フィルタを逆フーリエ変換することによって導出可能である。したがって、実空間上の復元フィルタは、基礎となる周波数空間上の復元フィルタを特定し、実空間上の復元フィルタの構成タップ数を指定することによって、適宜算出可能である。また、実空間上の復元フィルタの代わりに周波数空間上の復元フィルタを用いてもよく、周波数空間上で画像データに復元フィルタを適用することで点像復元処理が行われてもよい。

点像復元制御処理部３９（図２参照）は、光学系（レンズ１６、絞り１７等）を用いた撮影により撮像素子２６によって取得される撮影画像データ（原画像データ）に対して上述の点像復元処理を施し、回復画像データを生成して出力する。

図３は、点像復元制御処理部３９の一例を示す機能ブロック図である。本例の点像復元制御処理部３９は、フィルタ適用部４１、ゲイン調整部４２及びメモリ４３を有する。

フィルタ適用部４１は、光学系（レンズ１６、絞り１７等）の点拡がり関数に基づく復元フィルタを原画像データに適用し、復元画像データを取得する。すなわちフィルタ適用部４１は、原画像データ及び撮影条件データを取得し、原画像データの撮影条件データに対応する復元フィルタを取得し、取得した復元フィルタを原画像データに適用して復元画像データを取得する。ゲイン調整部４２は、原画像データと復元画像データとの差分の増幅率（復元ゲイン）の調整を行い、この調整が行われた後の差分と原画像データとから回復画像データを取得する。なお、フィルタ適用部４１及びゲイン調整部４２で使用される各種データ類（復元フィルタ、点拡がり関数、等）はメモリ４３に記憶され、フィルタ適用部４１及びゲイン調整部４２は、メモリ４３に記憶されているデータ類を適宜読み出すことができる。

図４は、フィルタ適用部４１及びゲイン調整部４２によって行われる点像復元処理（フィルタ適用処理及びゲイン調整処理）の一例を示す制御回路図である。

点像復元制御処理部３９における点像復元処理では、まずフィルタ適用部４１において、復元フィルタＦが原画像データＤｏに適用され（フィルタ適用処理Ｐ_ｆ）、復元画像データＤｒ１が算出される。原画像データＤｏに適用される復元フィルタＦは、光学系（レンズ１６、絞り１７等）の点拡がり関数に基づくものであれば特に限定されない。したがって、複数の復元フィルタＦをメモリ４３に記憶しておき、原画像データＤｏの撮影条件データに対応する復元フィルタＦがフィルタ適用部４１によって読み出されてもよいし、フィルタ適用部４１が原画像データＤｏの撮影条件データ及び点拡がり関数に基づいて対応の復元フィルタＦを算出してもよい。

復元フィルタＦは、直接的又は間接的に点拡がり関数に基づくものであればよく、原画像データの振幅成分又は位相成分のみを復元して回復画像データを得るためのフィルタであってもよいし、原画像データの振幅成分及び位相成分を復元して回復画像データを得るためのフィルタであってもよい。すなわち、光学系のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：変調伝達関数）及びＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）のうち少なくともいずれか一方に基づき、復元フィルタを算出することができる。なお、光学系のボケ特性はいわゆる光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）によって表現可能であり、ＯＴＦを逆フーリエ変換して得られる関数は点像分布関数（ＰＳＦ：点拡がり関数）とも呼ばれる。ＭＴＦはＯＴＦの絶対値成分であり、ＰＴＦは位相のズレを空間周波数の関数として表したものである。したがって、点像復元処理に用いられる復元フィルタＦは、光学系のＯＴＦ（ＭＴＦ／ＰＴＦ）やＰＳＦに基づいて、適宜設計可能である。

その後、ゲイン調整部４２において、フィルタ適用処理前後の画像データの差分が導出され（差分導出処理Ｐ_ｄ）、この差分に対する増幅率（復元ゲイン）の調整が行われる（ゲイン調整処理Ｐ_ｇ）。すなわち図４に示すように差分導出処理Ｐ_ｄでは、フィルタ適用処理Ｐ_ｆを経た復元画像データＤｒ１と原画像データＤｏとの差分データΔＤ（ΔＤ＝Ｄｒ１−Ｄｏ）が算出される。そしてゲイン調整処理Ｐ_ｇでは、この差分データΔＤの増幅率（復元ゲイン）Ｇの調整が行われて増幅率調整後差分値（Ｇ×ΔＤ）が算出され、この増幅率調整後差分値（Ｇ×ΔＤ）と原画像データＤｏとの加算処理Ｐ_ａが行われて回復画像データＤｒ２が算出される（Ｄｒ２＝Ｄｏ＋Ｇ×ΔＤ）。なお、フィルタ適用部４１及びゲイン調整部４２によって行われる点像復元処理（フィルタ適用処理及びゲイン調整処理）として、上記手法と同様な他の手法を採用してもよい。例えば、フィルタ適用部４１において、復元フィルタＦが原画像データＤｏに適用され（フィルタ適用処理Ｐ_ｆ）、復元画像データＤｒ１が算出される。その後、ゲイン調整部４２において、ゲイン調整処理Ｐ_ｇとしてこの復元画像データＤｒ１に増幅率（復元ゲイン）Ｇの調整が行われ(Ｄｒ１×Ｇ)、これと原画像データＤｏに（１−Ｇ）が乗算されたものとの加算処理Ｐ_ａが行われて回復画像データＤｒ２が算出されるようにしてもよい。

このように点像復元処理による復元強度は、フィルタ適用処理Ｐ_ｆにおける復元フィルタ（フィルタ係数）Ｆと、ゲイン調整処理Ｐ_ｇにおける復元ゲインＧとに基づいて変動する。そのため点像復元処理の復元強度は、「フィルタ適用処理Ｐ_ｆで用いる復元フィルタ（フィルタ係数）の切り替え」及び／又は「ゲイン調整処理Ｐ_ｇにおける復元ゲインＧの変更」によって調整可能である。

したがって例えば「点像復元処理の復元強度を下げる」処理には、「通常の復元フィルタを用いる場合よりも、原画像データからの差が小さい（復元の程度が弱い）復元画像データＤｒ１が得られる他の復元フィルタ（フィルタ係数）に切り替えたフィルタ適用処理Ｐ_ｆ」及び「通常の復元ゲインＧを用いる場合よりも、増幅率調整後差分値（Ｇ×ΔＤ）が小さくなる（増幅の程度が弱くなる）他の増幅率を用いたゲイン調整処理Ｐ_ｇ」が含まれうる。点像復元制御処理部３９は、これらの処理（フィルタ切替処理及び増幅率変更処理）のうちの少なくともいずれか一方を行うことで、点像復元処理の復元強度を調整することができる。

図５Ａ及び図５Ｂは、理想的な点像復元処理が行われる場合の画像データの「空間周波数−レスポンス」の関係例を示すグラフであり、図５Ａは点像復元処理前のグラフを示し、図５Ｂは点像復元処理後のグラフを示す。

図５Ａ及び図５Ｂの横軸によって表される「空間周波数」は、サンプリング周波数によって正規化されており、紙面の右側ほど高周波を示し（「０．５ｆｓ」：ナイキスト周波数参照）、左側ほど低周波を示す。また、図５Ａ及び図５Ｂの縦軸によって表される「レスポンス」は、点拡がり現象による影響を受ける前の「本来の画像データ」に対する「実際に得られる画像データ」の比率を示す。したがって「レスポンス＝１」は、「実際に得られる画像データ」が「本来の画像データ」と同じであることを示し、「レスポンス＝０」は、「実際に得られる画像データ」が「本来の画像データ」に拘わらず「０（ゼロ）」であることを示す。なお「レスポンス」の基礎として、画像データのうち点拡がり現象による劣化特性を表す各種要素を採用することが可能であり、例えば解像特性を示すＭＴＦに基づいて「レスポンス」を表現することも可能である。

図５Ａに示すように、実際に得られる画像データは点拡がり現象の影響によってレスポンスが「１」以下となり、特に高周波側の画像データほどレスポンスの低下が目立つ傾向がある。点像復元処理は、点拡がり現象によってレスポンスが低下した画像データを本来の画像データに復元する処理であり、理想的には図５Ｂに示すように全空間周波数にわたって「レスポンス＝１」となるように画像データを回復させる処理である。画像データの「空間周波数−レスポンス」の関係は個々の光学系（レンズ１６、絞り１７等）の特性によって変動するため、図５Ａに示す関係が必ずしも成り立つわけではないが、個々の光学特性を考慮して所望のレスポンス（例えば「レスポンス＝１」）の画像データが得られるように復元フィルタＦ及び復元ゲインＧが設計される。

次に、「光学ズームのズーム倍率（ズームポジション）」と「レスポンス」の関係について説明する。

図６は、画像データの「光学ズームのズーム倍率−レスポンス」の関係例を示すグラフであって、光学系（レンズ１６）の解像特性を代表する空間周波数（例えば「空間周波数＝０．２５ｆｓ」（図５Ａ参照））における関係を示す。図６の横軸は「光学ズームのズーム倍率（ズームポジション）」を基準としており、紙面の右側ほど望遠ズーム側（図６の「望遠端Ｔ」参照）を示し、左側ほど広角ズーム側（図６の「広角端Ｗ」参照）を示す。また図６の縦軸は画像データの「レスポンス」を基準としており、図５Ａ及び図５Ｂの縦軸「レスポンス」と同様である。なお図６において「広角端Ｗ」は例えば「焦点距離＝２４ｍｍ」に相当し、「中央Ｍ」は例えば「焦点距離＝６０ｍｍ」に相当し、「望遠端Ｔ」は例えば「焦点距離＝１２０ｍｍ」に相当する。

光学ズームのズーム倍率を変更可能な光学ズーム機能を有するデジタルカメラ１０では、光学ズームのズーム倍率がズーム端（図６の「広角端Ｗ」及び「望遠端Ｔ」参照）に近づくほど光学系（レンズ１６）の解像度が落ちる傾向がある。そのため、図６に示すように、ズーム端部におけるレスポンスは中央のズーム倍率（図６の「中央Ｍ」参照）と比べて低く、ズーム端に近づくにしたがってレスポンスは徐々に落ちることが多い。

一方、光学系の点拡がり関数（ＰＳＦ等）に対する光学ズーム倍率の影響は比較的小さく、とりわけＦ値の大きな小絞り側において光学ズーム倍率の影響は小さくなる。

本例では上述の知見を踏まえ、フィルタ適用部４１では光学系の光学ズームの倍率に関して共通のフィルタを復元フィルタとして使用することで、メモリ効率を上げて処理の簡素化を行っている。また、ゲイン調整部４２では光学系の光学ズームの倍率に基づいて復元ゲインを決めることで、「実際の点拡がり関数と復元フィルタとのマッチングのズレ」を補償して回復画像データの適正化が行われている。

一般に、復元フィルタを用いたフィルタリング処理は演算量が多く、また復元フィルタのパラメータ（条件要素）の種類が増えるほど復元フィルタ（フィルタ係数）のデータ量は増大する。そのため、あらゆる条件要素に基づいて設計された復元フィルタ群のデータ総量は膨大になり、そのような膨大なデータ量の復元フィルタ群をメモリに保持しておくことは、処理の簡素化や柔軟な回路設計を阻害するため実際上難しい場合もある。したがって本例のように光学ズーム倍率に関して共通の復元フィルタを使用することは、復元フィルタのデータ量の効果的な低減につながり、処理の簡便化及び回路規模の縮小化を図る観点からも非常に有用である。

また動画ではフレーム間の連続性が画質を左右する要因の一つであるため、フレーム間での過度な画質変化を防いで画像が滑らかに変化するよう、フレームをつなぐことが求められる。したがってフレーム毎に個別の復元フィルタを用いた復元処理を行うと、各フレームの復元画質自体は向上するが、例えば撮影中に撮影条件が逐次変動するようなシーンでは使用パラメータによってはフレーム相互間における画質の連続性が崩れてしまうことがある。特に動画撮影中にズーム倍率を連続的に変える場合には、全体として統一感を欠いた復元動画になる可能性も想定される。一方、本例のように光学ズーム倍率に関して共通のフィルタを復元フィルタとして使用することで、復元処理後のフレーム相互間における画質の連続性は崩れにくく、動画撮影中にズーム倍率を連続的に変える場合であっても、全体として統一感を持った動画を生成することが可能である。

上述のように本例の点像復元制御処理部３９（フィルタ適用部４１及びゲイン調整部４２）によれば、復元フィルタを変えずに、ズーム倍率の変化に伴う点拡がり関数（回復画像データの解像度）の変動を復元ゲインの調整により補償することで、回復画像データの画質がズーム倍率に拘わらず変わらないようにできる。画像解像度は光学ズーム倍率に依存して変化するが、本例の点像復元処理では復元ゲインを調整することによって画像解像度の変化を吸収する。共通の復元フィルタを用いたフィルタリング処理による復元強度不足を復元ゲインの調整によって補うことで、光学ズーム倍率の変化に伴う画像解像度の変動を防ぐことが可能になる。

＜復元フィルタ＞
本例の復元処理で使用される「共通の復元フィルタ」は光学系（ズームレンズ）による光学ズームのズーム倍率に関して共通に設けられるが、光学系の点拡がり関数に影響を及ぼす「ズーム倍率以外のパラメータ」に基づいて共通の復元フィルタを変更してもよい。すなわち、ズーム倍率以外の他のパラメータが変わって復元ゲインの調整では点拡がり関数の変動を補償することが難しい場合、復元フィルタを調整することによって、そのような点拡がり関数（回復画像データの解像度）の変動を補償することが好ましい。

例えば光学系（レンズ１６、絞り１７）の種類、絞り値、被写体距離等の条件要素のうちの一部又は全部を反映した復元フィルタ（フィルタ係数）を「共通の復元フィルタ」として使用することができ、とりわけ「光学系の種類」及び「絞り値」は点拡がり関数に対する影響力が比較的大きい。したがって、デジタルカメラ１０（撮像装置）において使用可能な「光学系の種類」及び「絞り値」の各々に対応する復元フィルタを「共通の復元フィルタ」として使用可能とすることが好ましい。

例えば原画像データを取得した際の光学系の「絞り値（Ｆ値等）」に基づいて復元フィルタを決めることができ、絞り値が変わらない条件下で光学ズーム倍率が変動した場合に復元フィルタを共通化することで、処理構成を簡素化することができる。例えば、Ｆ値（絞り値）毎に個別に最適化された復元フィルタを算出し又は予めメモリに記憶しておき、原画像データの撮影Ｆ値が変わった場合には、その撮影Ｆ値に基づいて復元フィルタを切り替えて点像復元処理を行ってもよい。このように光学ズーム倍率に関して共通する復元フィルタの候補（複数のフィルタ候補）の中から、光学ズーム倍率以外の条件要素（光学系の種類、絞り値等）に応じた復元フィルタを選択して点像復元処理に使用してもよい。

絞り値（Ｆ値）に基づいて最適化された復元フィルタ（フィルタ係数）は、全ての絞り値で異なっている必要はなく、離散的な絞り値に対応するように算出又は記憶されてもよい。全ての絞り値に関して復元フィルタを準備することは、個々の復元フィルタを決定するパラメータ数が増えてデータ量も増大するため、処理の簡素化及びデータ量の低減化の観点からは必ずしも好ましくない。したがってデジタルカメラ１０において使用可能なＦ値（例えばＦ１、Ｆ１．４、Ｆ２、Ｆ２．８、Ｆ４、Ｆ５．６、Ｆ８、Ｆ１１、Ｆ１６、Ｆ２２及びＦ３２のうちの任意のＦ値）毎に復元フィルタが設定されてもよく、デジタルカメラ１０において使用可能なＦ値のうち代表的な離散的なＦ値毎に復元フィルタが設定されてもよい。

共通の復元フィルタを決定するためのパラメータ（条件要素）が増えるほど、復元精度は高くなり、共通の復元フィルタのデータ量は増大する。一方、共通の復元フィルタを決定するためのパラメータが減じられるほど、共通の復元フィルタのデータ量は低減するが、復元精度を高めることが難しくなる。このように共通の復元フィルタを決定するためのパラメータによって有利な点も変わるため、実際のフィルタ設計時には、ユーザのニーズやシステム上の許容範囲を考慮して共通の復元フィルタのパラメータを定めればよい。点拡がり関数に対する影響を考慮して共通の復元フィルタのパラメータを定めることで、復元フィルタのデータ量の低減と復元処理による画質復元精度の向上とをバランス良く両立させることができる。

例えば、「光学ズームのズーム倍率に関する復元フィルタの共通化」はデジタルカメラ１０において設定可能な「全絞り値（Ｆ値）」の各々について行ってもよいが、特に「小絞り側の絞り値（Ｆ値）」についてのみ行ってもよい。一般に、光学系の点拡がり関数に対するズーム倍率の影響は、絞り値が小絞り側の値になるほど小さくなる傾向がある。したがって、点拡がり関数に対する光学ズーム倍率の影響が比較的小さい小絞り側の絞り値においてのみ「光学ズームのズーム倍率に関する復元フィルタの共通化」を行い、点拡がり関数に対する光学ズーム倍率の影響が比較的大きい絞り値では、光学ズームのズーム倍率に関して復元フィルタを共通化しないようにしてもよい。

この場合、光学ズームのズーム倍率に関して復元フィルタを共通化する「小絞り側の絞り値」は、光学ズーム倍率に対する点拡がり関数の特性変化に基づいて適宜定められ、点拡がり関数の特性変化が比較的小さい絞り値の範囲でのみ「光学ズームのズーム倍率に関する復元フィルタの共通化」が行われるようにしてもよい。「復元フィルタを共通化する小絞り側の絞り値」は、撮影画像データや使用光学系の特性傾向に基づいて適宜設定可能である。例えば、「実験等によって導き出される特定の絞り値（例えば「Ｆ８」以上の絞り値）」を「復元フィルタを共通化する小絞り側の絞り値」に設定してもよいし、「デジタルカメラ１０（撮像装置）のシステム設計上の最も小絞り側の絞り値〜絞り開放側に所定範囲の絞り値（例えば「最大Ｆ値（最も小絞り側の絞り値）〜３段階絞り開放側のＦ値」）」を「復元フィルタを共通化する小絞り側の絞り値」に設定してもよい。この「復元フィルタを共通化する小絞り側の絞り値」は、予め定められていてもよいし、ユーザによって適宜決定及び変更されてもよい。ユーザが「復元フィルタを共通化する小絞り側の絞り値」を決定及び変更する場合、ユーザインターフェース２９（図１参照）を介して「復元フィルタを共通化する小絞り側の絞り値」の範囲が指定され、その指定された絞り値範囲の情報が「復元フィルタを共通化する小絞り側の絞り値」の範囲としてカメラ本体コントローラ２８（点像復元制御処理部３９）に送られるようにしてもよい。

なお光学ズームのズーム倍率に関する復元フィルタの共通化は、単一の復元フィルタを共通に使用するケースだけではなく、複数の復元フィルタ（復元フィルタのセット）を共通に使用するケースに対しても適用可能である。例えば像高や画像中の位置に基づいて復元フィルタが設定される場合、一つの画像（原画像データ）に対する点像復元処理において、像高や画像中の位置に応じた複数の復元フィルタが用いられる。このように「複数の復元フィルタ」を一つのセットとして使用し、その複数の復元フィルタから成るセットを「光学ズームのズーム倍率に関して共通に使用する共通フィルタ」としてもよい。

＜復元ゲインの調整＞
次に、本例の増幅率（復元ゲイン）の調整例を説明する。

図７は、「光学ズームのズーム倍率−復元ゲイン」の関係の一例を示し、主としてレンズの解像特性を改善する観点で設計される関係例を示す。図７の横軸は「光学ズームのズーム倍率（ズームポジション）」を基準としており、縦軸は画像データの「復元ゲイン」を基準としている。

レンズの解像特性と光学ズーム倍率との関係において、図６に示すようにズーム端（「広角端Ｗ」、「望遠端Ｔ」）に近づくほど光学系（レンズ１６）の解像度は落ち、中央のズーム倍率（「中央Ｍ」）と比べてズーム端部におけるレスポンスは低減する傾向がある。そのため図７に示すように増幅率（復元ゲイン）を調整することによって、共通の復元フィルタによるフィルタリング処理では回復させることができない「ズーム倍率の変動に伴う光学系の解像度劣化」を補償することが好ましい。したがって光学系の解像度劣化が目立つズーム端部ほど復元ゲインを上げ、復元処理後の画像データのレスポンスを空間周波数全体にわたって「１」に近づけることが好ましい。このようにレンズの解像特性を改善する観点からは、図７に示すように光学ズームのズーム倍率に基づいて復元ゲインを変え、中央のズーム倍率と比べてズーム端部における復元ゲインを大きくし、ズーム端に近づくにしたがって徐々に復元ゲインを増大させることが好ましい。

一方、画質の優劣はユーザの視覚特性によっても左右されるため、点像復元処理（復元ゲインの調整）もユーザの視覚特性に基づいて行われることが好ましい。一般に人間の視覚は、低周波成分に敏感であり高周波成分に鈍いという特性がある。また、復元処理によって高周波域の画像成分を強調すると、高周波域に存在するノイズ成分が強調されたり飽和画素等によるリンギング等が目立ちやすくなるため、全体としてざらついた印象の画像に復元されることがある。

また光学ズーム倍率が広角側の場合、画角が大きくなってワイド撮影が行われるため、高周波の被写体が多くなる傾向がある。したがって光学ズーム倍率が広角側の場合には、主要被写体が小さく撮影されるとともに周囲の状況が分かりやすいように撮影されることが多く、被写体の解像度を上げるためには高周波成分の解像性能がより重視される傾向がある。一方、光学ズーム倍率が望遠側の場合、画角が小さくなってズームアップ撮影が行われるため、高周波の被写体が少なくなる傾向がある。したがって光学ズーム倍率が望遠側の場合には、主要被写体が大きく撮影されるとともに主要被写体以外の被写体像は解像度が重視されないことが多く、被写体の解像度を上げるためには低周波成分の解像性能がより重視され、高周波成分の解像性能はあまり重視されない傾向がある。

図８は、「光学ズームのズーム倍率−重要度」の関係の一例を示し、特にユーザの視覚特性を考慮した「画像復元時における低周波成分及び高周波成分の重要度」を示す。図８の横軸は「光学ズームのズーム倍率（ズームポジション）」を基準としており、縦軸は「画像復元時における重要度」を基準としており、紙面に向かって上側ほど重要度が高く下側ほど重要度が低いことを示す。上述のように低周波成分に関しては、光学ズーム倍率が広角側の場合には重要度は高くないが、望遠側に向かって重要度が徐々に高くなる（図８の点線部参照）。一方、高周波成分に関しては、光学ズームのズーム倍率が広角側の場合には重要度は高いが、望遠側に向かって重要度が徐々に低くなる（図８の実線部参照）。

図９は、「光学ズームのズーム倍率−復元ゲイン」の関係の一例を示し、特に「光学系の解像特性（図７参照）」及び「視覚特性（図８参照）」を考慮して設計される関係例を示す。図９の横軸は「光学ズームのズーム倍率（ズームポジション）」を基準としており、縦軸は画像データの「復元ゲイン（増幅率）」を基準としている。図９の点線によるグラフ曲線は「光学系の解像特性」を考慮した「光学ズームのズーム倍率−復元ゲイン」の関係例であり、実線によるグラフ曲線は更に「視覚特性」を考慮した「光学ズームのズーム倍率−復元ゲイン」の関係例を示す。

本例の点像復元処理は主に中周波域〜高周波域におけるＭＴＦ劣化を改善するための処理であり、復元ゲインの調整によって中周波域〜高周波域におけるレスポンスを改善し、更にユーザの視覚特性に基づいて広角側における復元ゲインがアップされ、望遠側における復元ゲインがダウンされる。すなわち「光学系の解像特性」に注目すると、ズーム端部における解像度劣化を補うため、ズーム端に向かって復元ゲインが大きくなるように復元ゲインが設定される（図９の点線部参照）。そして更に「視覚特性」を考慮すると、広角側では中周波成分〜高周波成分が視覚特性上重要な役割を果たすので、点像復元処理における復元ゲインは、視覚特性を考慮しない場合（図９の点線部参照）よりも大きくなるように設定される（図９の実線部参照）。また望遠側では中周波成分〜高周波成分が視覚特性上重視されないので、点像復元処理における復元ゲインは、視覚特性を考慮しない場合よりも小さくなるように設定され、中周波成分〜高周波成分の復元によって想定される弊害（ノイズ増、リンギング発生など）を効果的に回避することができる。

このように光学ズーム倍率に基づく視覚特性を考慮して復元ゲインを調整することによって、共通の復元フィルタによるフィルタリング処理では回復することができない「ズーム倍率の変動に伴う光学系の解像度劣化」を補償しつつ、視覚上優れた画質を有する復元画像（回復画像データ）を生成することができる。

＜復元ゲインのヒステリシス制御＞
図９に示す例では「光学ズーム倍率及び空間周波数傾向に基づく視覚特性」を考慮して復元ゲインが定められるが、他の視覚特性に基づいて復元ゲインが定められてもよい。例えば、光学ズームのズーム倍率に関して共通の復元フィルタを使用する場合、広角側よりも望遠側のズーム倍率において点像復元処理による過補正が生じやすく、特に画像の周辺部（高像高位置）において過補正を起こしやすい。したがって動画撮影中に光学ズーム倍率が連続的に変化する場合、とりわけ光学ズーム倍率が広角側から望遠側に連続的に切り替えられる場合（ズーム方向が「広角側から望遠側」の場合）、点像復元処理によって動画フレーム間の画質連続性が十分には保持されないことがある。

そこでゲイン調整部４２は、原画像データを取得した際のズーム方向に基づいて復元ゲイン（増幅率）を決めてもよい。すなわち、点像復元処理対象の原画像データ（動画）の撮影取得時のズーム方向が「広角側から望遠側」の場合と「望遠側から広角側」の場合とで、光学ズームのズーム倍率に対する復元ゲインが変えられてもよい。例えば、光学ズーム倍率が望遠側の範囲（「中央Ｍ」〜「望遠端Ｔ」の範囲）の一部又は全部において、ズーム方向が「広角側から望遠側」の場合の復元ゲインをズーム方向が「望遠側から広角側」の場合よりも小さくしてもよい。ズーム方向が「広角側から望遠側」の場合の復元ゲインを「望遠側から広角側」の場合よりも下げることによって、点像復元処理による過補正等の影響を視覚上目立たなくさせることが可能となる。

＜点像復元処理フロー＞
次に、点像復元処理の流れについて説明する。

＜第１実施形態＞
図１０は、第１実施形態に係る点像復元処理のフローチャートである。本実施形態の点像復元処理で使用する復元フィルタは、絞り値に基づいて変更されるが、光学ズームのズーム倍率に関して共通である。なお図１０に示す点像復元処理フローは、動画及び静止画を問わず画像全般に適用可能であり、動画に適用される場合には動画を構成する画像（フレーム）毎に処理が行われる。

まず、撮影条件データが点像復元制御処理部３９によって取得される。より具体的には、処理対象の原画像データを取得した際の絞り値が取得され（図１０のＳ１０）、また光学ズームのズーム倍率が取得される（Ｓ１１）。なお、これらの撮影条件データの取得手法は特に限定されず、例えば撮影条件データが原画像データに付加されている場合（Ｅｘｉｆ等）には原画像データとともに撮影条件データが取得される。撮影条件データが原画像データに付加されていない場合には、絞り１７やズームレンズ（図示せず）を制御するデバイス制御部３４（ズーム制御部３７等）等から撮影条件データが取得されてもよい。

そして、点像復元処理に使用する復元フィルタがフィルタ適用部４１によって取得される（Ｓ１２）。本例では、原画像データの撮影取得時の「絞り値」に基づいて復元フィルタが選択され、メモリ４３に記憶される複数の復元フィルタ候補の中から「絞り値」に応じた「光学ズーム倍率に関して共通の復元フィルタ（共通フィルタ）」が読み出されて取得される。そしてフィルタ適用部４１では、取得された復元フィルタが原画像データに対して適用され、復元画像データが取得される（Ｓ１３：フィルタ適用ステップ；図４の「フィルタ適用処理Ｐ_ｆ」参照）。

そして、原画像データと復元画像データとの差分の増幅率（復元ゲイン）の調整が、光学系の光学ズームのズーム倍率に基づいてゲイン調整部４２により行われる（Ｓ１４；図４の「ゲイン調整処理Ｐ_ｇ」参照）。そしてゲイン調整部４２では、復元ゲイン調整後の「原画像データと復元画像データとの差分」と「原画像データ」とから回復画像データが取得される（Ｓ１５：ゲイン調整ステップ；図４の「加算処理Ｐ_ａ」参照）。

上述のように本実施形態によれば、光学ズーム倍率に関して共通の復元フィルタを用いることで復元フィルタのデータ量を低減することができ、また点像復元処理の復元ゲインを光学ズーム倍率に基づいて調整することで復元精度の高い回復画像データを得ることができる。

＜第２実施形態＞
本実施形態では、原画像データの撮影取得時の絞り値が「小絞り」か否かによって、復元フィルタ及び復元ゲインの決定手法が切り替えられる。すなわち、原画像データを取得した際の光学系（絞り１７）の絞り値が閾値（第１の絞り値）よりも小絞り側の値である場合、フィルタ適用部４１は、光学系の光学ズームのズーム倍率に関して共通のフィルタを復元フィルタとして使用して復元画像データを取得し、ゲイン調整部４２は、復元ゲイン（増幅率）を光学系の光学ズームのズーム倍率に基づいて決める。

図１１は、第２実施形態に係る点像復元処理のフローチャートである。本実施形態において、上述の第１実施形態（図１０参照）と同様の処理については、詳細な説明を省略する。

まず点像復元制御処理部３９は、撮影条件データ（絞り値、光学ズームのズーム倍率、等）を取得し（図１１のＳ２０）、絞り値が小絞り側の値か否かを判別する（Ｓ２１）。より具体的には、絞り値が閾値以上か否かによって、絞り値が小絞り側の値か否かが判別される。例えば絞り値としてＦ値が採用されている場合、原画像データの撮影時のＦ値が予め定められた「小絞り判別用Ｆ値」以上か否かによって、絞り値が小絞り側の値か否かを判別することができる。この「絞り値が小絞り側の値か否か」の判別は、フィルタ適用部４１で行われてもよいし、点像復元制御処理部３９の他の処理部によって行われてもよい。

絞り値が小絞り側の値であると判別される場合（Ｓ２１のＹ）、フィルタ適用部４１では、光学ズーム倍率に関して共通の復元フィルタ（共通フィルタ）が取得され（Ｓ２２）、この共通の復元フィルタが原画像データに適用されて復元画像データが取得される（Ｓ２３）。またゲイン調整部４２によって、光学系の光学ズームのズーム倍率に基づいて復元ゲインの調整が行われ（Ｓ２４）、復元ゲイン調整後の「原画像データと復元画像データとの差分」と「原画像データ」とから回復画像データが取得される（Ｓ２５）。

一方、絞り値が小絞り側の値ではないと判別される場合（Ｓ２１のＮ）、フィルタ適用部４１では、光学ズームのズーム倍率に応じた個別の復元フィルタ（個別フィルタ）が取得され（Ｓ２６）、この個別の復元フィルタが原画像データに適用されて復元画像データが取得される（Ｓ２７）。またゲイン調整部４２によって、光学ズーム倍率によらない通常の復元ゲインにゲイン調整され（Ｓ２８）、復元ゲイン調整後の「原画像データと復元画像データとの差分」と「原画像データ」とから回復画像データが取得される（Ｓ２５）。

小絞り側では、光学系の点拡がり関数に対する光学ズーム倍率の影響が比較的小さいため、光学ズーム倍率に関して共通の復元フィルタを用いた点像復元処理（フィルタ適用処理）を行っても、画質上の不具合（過補正、リンギング、等）は目立ちにくい。一方、絞り値が小絞り側の値ではない場合には、光学系の点拡がり関数に対する光学ズーム倍率の影響が比較的大きいため、光学ズーム倍率が反映された個別の復元フィルタを用いた点像復元処理（フィルタ適用処理）を行うことで、画像復元を精度良く行うことができる。したがって上述の本実施形態によれば、原画像データの撮影取得時の絞り１７が小絞りか否かに基づいて、点像復元処理で使用される復元フィルタ及び復元ゲインの選択手法が切り替えられるため、復元フィルタのデータ量の低減と高精度な画質復元とを高いレベルで両立した点像復元処理を行うことができる。

＜第３実施形態＞
「静止画」に対する点像復元処理では、主として単一の画像（静止画）の画質を向上させることが重視されるが、「動画」に対する点像復元処理では、各フレームの画質を向上させるだけではなく、前後フレーム間における画質上の連続性を維持し、処理自体を簡素化して処理を高速で行うことも必要となる。特に動画撮影中に光学ズーム倍率が連続的に変化する場合、光学ズーム倍率の変動に伴って点拡がり関数も変化する。そのため動画撮影中に光学ズーム倍率が変化する場合であっても、フレーム間の連続性が阻害されず、滑らかな動画を提供することが可能な点像復元処理を行うことが好ましい。

本実施形態では、処理対象の原画像データが「動画」及び「静止画」のうちいずれなのかが判別され、その判別結果に基づいて復元フィルタ及び復元ゲインの決定手法が切り替えられる。すなわち原画像データが動画である場合、フィルタ適用部４１は、光学系の光学ズームのズーム倍率に関して共通のフィルタを復元フィルタとして使用して復元画像データを取得し、ゲイン調整部４２は、復元ゲイン（増幅率）を光学系の光学ズームのズーム倍率に基づいて決める。一方、原画像データが静止画である場合、フィルタ適用部４１は、上記の共通復元フィルタではなく、光学系の光学ズームのズーム倍率に基づいて決められる個別の復元フィルタを使用して復元画像データを取得する。

なお「動画」は、経時的に連続した画像群（フレーム群）によって構成され、比較的短時間に撮影取得された一連の複数の時系列画像を含む。したがって、動画は複数の画像（フレーム）が組み合わされてユーザに提供されることが意図され、例えばメモリ等に記録される記録動画や撮影時に表示部に表示されるライブビュー画像が「動画」の概念に含まれる。一方「静止画」は、基本的には単一の画像によって構成され、単画像としてユーザに対して提供されうる画像である。

図１２は、第３実施形態に係る点像復元処理のフローチャートである。本実施形態において、上述の第１実施形態（図１０参照）と同様の処理については、詳細な説明を省略する。

まず点像復元制御処理部３９は、撮影条件データ（絞り値、光学ズームのズーム倍率、画像種類、等）を取得し（図１２のＳ３０）、処理対象の原画像データが動画か否かを判別する（Ｓ３１）。原画像データが動画か否かの判別手法は特に限定されず、原画像データの撮影時の撮影モードに関する情報や原画像データに付帯する情報（例えばファイル拡張子等）を参照することで、原画像データが動画か否かを直接的又は間接的に判別することが可能である。この「原画像データが動画か否か」の判別は、フィルタ適用部４１で行われてもよいし、点像復元制御処理部３９の他の処理部によって行われてもよい。

原画像データが動画であると判別される場合（Ｓ３１のＹ）、フィルタ適用部４１では、光学ズーム倍率に関して共通の復元フィルタが取得され（Ｓ３２）、この共通の復元フィルタが原画像データ（動画）に適用されて復元画像データが取得される（Ｓ３３）。またゲイン調整部４２によって、光学ズーム倍率に基づいて復元ゲインの調整が行われ（Ｓ３４）、復元ゲイン調整後の「原画像データと復元画像データとの差分」と「原画像データ」とから回復画像データが取得される（Ｓ３５）。

一方、原画像データが動画ではないと判別される場合（Ｓ３１のＮ）、フィルタ適用部４１では、光学ズーム倍率に応じた個別の復元フィルタが取得され（Ｓ３６）、この個別復元フィルタが原画像データ（静止画）に適用されて復元画像データが取得される（Ｓ３７）。またゲイン調整部４２によって、光学ズーム倍率によらない通常の復元ゲインにゲイン調整され（Ｓ３８）、復元ゲイン調整後の「原画像データと復元画像データとの差分」と「原画像データ」とから回復画像データが取得される（Ｓ３５）。

「静止画」では単一の画像の画質が重視されるのに対し、「動画」では各フレームの画質だけではなくフレーム間の連続性や高速で安定した簡素な処理であることも重視される。上述の本実施形態によれば、静止画に対しては光学ズーム倍率に応じた個別の復元フィルタにより画質復元精度に優れた点像復元処理を行うことができる。また動画に対しては、光学ズーム倍率に関して共通の復元のフィルタを用いることで点像復元処理を簡便且つ高速に行うことができ、また光学ズーム倍率に基づいて復元ゲインを調整することでフレーム間の連続性を良好に保持することができる。

＜第４実施形態＞
上述の第２実施形態及び第３実施形態を組み合わせて、「原画像データの撮影取得時の絞り値が「小絞り」か否か（第２実施形態）」及び「原画像データが「動画」か「静止画」か（第３実施形態）」によって、復元フィルタ及び復元ゲインの決定手法が切り替えられてもよい。

図１３は、第４実施形態に係る点像復元処理のフローチャートである。本実施形態において、上述の第２実施形態（図１１参照）及び第３実施形態（図１２参照）と同様の処理については、詳細な説明を省略する。

まず点像復元制御処理部３９は、撮影条件データ（絞り値、光学ズームのズーム倍率、画像種類、等）を取得し（図１３のＳ４０）、絞り値が小絞り側の値か否かを判別する（Ｓ４１）。絞り値が小絞り側の値であると判別される場合（Ｓ４１のＹ）、点像復元制御処理部３９は処理対象の原画像データが動画か否かを判別する（Ｓ４２）。

原画像データが動画であると判別される場合（Ｓ４２のＹ）、フィルタ適用部４１では、光学ズーム倍率に関して共通の復元フィルタが取得され（Ｓ４３）、この共通の復元フィルタが原画像データ（動画）に適用されて復元画像データが取得される（Ｓ４４）。またゲイン調整部４２によって、光学ズーム倍率に基づいて復元ゲインの調整が行われ（Ｓ４５）、復元ゲイン調整後の「原画像データと復元画像データとの差分」と「原画像データ」とから回復画像データが取得される（Ｓ４６）。

一方、絞り値が小絞り側の値ではないと判別される場合（Ｓ４１のＮ）や原画像データが動画ではないと判別される場合（Ｓ４２のＮ）、フィルタ適用部４１では、光学ズームのズーム倍率に応じた個別の復元フィルタが取得され（Ｓ４７）、この個別復元フィルタが原画像データに適用されて復元画像データが取得される（Ｓ４８）。またゲイン調整部４２によって、光学ズーム倍率によらない通常の復元ゲインにゲイン調整され（Ｓ４９）、復元ゲイン調整後の「原画像データと復元画像データとの差分」と「原画像データ」とから回復画像データが取得される（Ｓ４６）。

＜第５実施形態＞
本実施形態では、処理対象の原画像データが「動画撮影（動画撮影モード）中に撮影された静止画か否か」によって、復元フィルタ及び復元ゲインの決定手法が切り替えられる。すなわちフィルタ適用部４１は、原画像データが動画である場合には、光学ズームのズーム倍率に関して共通のフィルタを復元フィルタとして使用して復元画像データを取得する。一方、原画像データが動画撮影中の静止画撮影によって取得された場合、フィルタ適用部４１は、共通のフィルタではなく、光学系の光学ズームのズーム倍率に基づいて決められる個別の復元フィルタを使用して復元画像データを取得する。

図１４は、第５実施形態に係る点像復元処理のフローチャートである。本実施形態において、上述の第３実施形態（図１２参照）と同様の処理については、詳細な説明を省略する。なお、図１４は、動画撮影モードが選択され、動画撮影時に静止画が別途撮影可能であるケースの処理フローを示す。撮影モードの選択や動画撮影中における静止画撮影の手法は特に限定されず、例えばデジタルカメラ１０に設けられるユーザインターフェース２９（ボタン類、シャッタ類等を含む）を介して「撮影モードの選択」や「動画撮影中における静止画撮影」が行われてもよい。

まず点像復元制御処理部３９は、撮影条件データ（絞り値、光学ズームのズーム倍率、画像種類、等）を取得し（図１４のＳ５０）、処理対象の原画像データが静止画か否かを判別する（Ｓ５１）。原画像データが静止画か否かの判別手法は特に限定されず、原画像データの撮影時の撮影モードに関する情報や原画像データに付帯する情報（例えばファイル拡張子等）を参照することで、原画像データが動画か否かを直接的又は間接的に判別することが可能である。

原画像データが静止画ではないと判別される場合（Ｓ５１のＮ）、原画像データは動画として扱われ、上述の第３実施形態と同様の点像復元処理が行われる（図１２のＳ３２〜Ｓ３５参照）。すなわち、フィルタ適用部４１では、光学ズーム倍率に関して共通の復元フィルタが取得され（Ｓ５２）、この共通の復元フィルタが原画像データ（動画）に適用されて復元画像データが取得される（Ｓ５３）。またゲイン調整部４２によって、光学ズーム倍率に基づいて復元ゲインの調整が行われ（Ｓ５４）、復元ゲイン調整後の「原画像データと復元画像データとの差分」と「原画像データ」とから回復画像データが取得される（Ｓ５５）。

一方、原画像データが静止画であると判別される場合（Ｓ５１のＹ）、フィルタ適用部４１では、光学ズーム倍率に応じた個別の復元フィルタが取得され（Ｓ５６）、この個別復元フィルタが原画像データ（静止画）に適用されて復元画像データが取得される（Ｓ５７）。またゲイン調整部４２によって、光学系の光学ズーム倍率によらない通常の復元ゲインにゲイン調整され（Ｓ５８）、復元ゲイン調整後の「原画像データと復元画像データとの差分」と「原画像データ」とから回復画像データが取得される（Ｓ５５）。

上述の本実施形態によれば、動画撮影中に静止画を撮影可能な場合であっても、静止画に対しては光学ズーム倍率に応じた個別の復元フィルタにより画質復元精度に優れた点像復元処理を行うことができる。また動画に対しては、光学ズーム倍率に関して共通の復元のフィルタを用いることで点像復元処理を簡便且つ高速に行うことができ、また光学ズーム倍率に基づいて復元ゲインを調整することでフレーム間の連続性を良好に保持することができる。

なお本実施形態においても「原画像データの撮影時の絞り値が「小絞り」か否か（第２実施形態参照）」によって、復元フィルタ及び増幅率の決定手法が切り替えられてもよい。例えば、処理対象の原画像データが静止画か否かの判別（図１４のＳ５１参照）に先立って、原画像データの撮影取得時の絞り値が小絞り側の値か否かを判別することも可能である。このケースにおいて、絞り値が小絞り側の値ではないと判別される場合、光学ズームのズーム倍率に応じた個別の復元フィルタを用いたフィルタ適用ステップ及び通常の復元ゲイン（増幅率）によるゲイン調整ステップによって回復画像データを取得することができる（図１４のＳ５６〜Ｓ５８及びＳ５５参照）。一方、絞り値が小絞り側の値であると判別される場合には、図１４のステップＳ５１〜Ｓ５８と同様のプロセスによって、点像復元処理を行うことができる。

また、前述のいずれの実施形態においても、光学ズーム倍率に関して共通のフィルタを復元フィルタとして使用する場合、その「共通のフィルタ」を提供する光学ズーム倍率の範囲は特に限定されない。したがって、光学ズーム倍率の変動可能範囲（光学ズーム倍率範囲）のうち全範囲において共通のフィルタを復元フィルタとして使用してもよく、また少なくとも特定の光学ズーム倍率の範囲において共通のフィルタを復元フィルタとして使用してもよい。また光学ズーム倍率範囲のうち一部の光学ズーム倍率においては共通のフィルタを用いないようにしてもよく、例えば「望遠端Ｔの付近」、「広角端Ｗの付近」或いは「光学ズーム倍率範囲の中央Ｍ付近」の倍率では復元フィルタとして共通のフィルタを用いないようにしてもよい。

＜光学ズームとデジタルズームとの切り替え処理＞
本例のデジタルカメラ１０は、ズーム制御部３７（図２参照）によって「光学ズームによるズームモード」と「デジタルズームにズームモード」とが切り替え可能に構成されている。「光学ズームによるズームモード」は、図示しないズームレンズを動かすことによって、焦点距離を変化させて光学的に画角を変化させることでズーム調整を行うモードである。一方、「デジタルズームによるズームモード」は、ズームレンズ自体は動かさず、撮像素子２６上に結像される像の画角範囲を実質的には変えないが、撮像素子２６上の像の一部を画素補間しながら、或いは間引き率を下げながら、拡大することによって撮影範囲を変化させることでズーム調整を行うモードである。

図１５は、光学ズームとデジタルズームとの切り替えを概念的に示す図である。広範囲の撮影が可能な広角側の撮影時には「光学ズームによるズームモード」で撮影が行われ、光学ズームのズーム倍率が「ズームモード切り替え基準」が達すると「デジタルズームによるズームモード」に切り替えられる。そして、「ズームモード切り替え基準」よりも望遠側の撮影時には「デジタルズームによるズームモード」で撮影が行われる。

光学ズームからデジタルズームへズームモードを切り替える際、両ズームモード間で画像の画質に大きな相違が目立たないことが求められる。特に点像復元処理を行う場合には点像復元処理による画質劣化（リンギング、過補正等）が目立たないようにすることが好ましく、動画撮影時にはズームモードの切り替え前後におけるフレーム間の画質の連続性が良好に保たれることが求められる。

したがって本例では、光学ズームとデジタルズームとの切り替えの基準となる光学ズームのズーム倍率が、光学系の点拡がり関数に基づいて決められる。一般に、広角側の光学ズーム倍率で撮影された画像に対する点像復元処理では画質劣化（リンギング、過補正等）が比較的目立ちにくく、望遠側の光学ズーム倍率で撮影された画像に対する点像復元処理では画質劣化が比較的目立ちやすい。特に「光学ズーム倍率に関して共通の復元フィルタを使用する」場合にはそのような傾向があり、広角側の光学ズーム倍率で撮影された画像よりも望遠側の光学ズーム倍率で撮影された画像の方が点像復元処理によって過補正等の不具合が目立ちやすい。

したがって、点像復元処理による画質劣化が目立つ光学ズームのズーム倍率を「ズームモード切り替え基準」に設定し、点像復元処理による画質劣化が目立たない範囲では「光学ズームによるズームモード」で撮影が行われ、「ズームモード切り替え基準」よりも望遠側では「デジタルズームによるズームモード」で撮影が行われるようにしてもよい。

この「ズームモード切り替え基準」は、実験等によって光学系（レンズ１６、絞り１７等）の種類毎に予め決められてもよいし、カメラ本体１４に対するレンズユニット１２の装着時等に光学系の点拡がり関数から算出されてもよい。例えば、光学系の種類毎にズームモード切り替え基準を予め定めておき、ズーム制御部３７は、予め定められたズームモード切り替え基準に基づいて、「光学ズームによるズームモード」と「デジタルズームによるズームモード」とを切り替えてもよい。光学系の種類毎に予め定められるズームモード切り替え基準は、デジタルカメラ１０（レンズユニット１２、カメラ本体１４）内のメモリに保存されていてもよいし、外部機器（コンピュータ６０、サーバ８０等）に保存されていてもよい。ズーム制御部３７は、カメラ本体１４に装着されるレンズユニット１２（光学系）に対応するズームモード切り替え基準を、そのメモリから読み出すようにしてもよい。またズーム制御部３７は、カメラ本体１４に装着されたレンズユニット１２（光学系）の点拡がり関数を取得し、この点拡がり関数からズームモード切り替え基準を算出してもよい。このレンズユニット１２の点拡がり関数は、デジタルカメラ１０（レンズユニット１２、カメラ本体１４）内のメモリや外部機器（コンピュータ６０、サーバ８０等）に保存されていてもよく、ズーム制御部３７はそのメモリ等から対応の点拡がり関数を読み出すようにしてもよい。

なお「ズームモード切り替え基準」は、原画像データを取得した際のズーム方向に基づいて決められてもよい。すなわち、ズーム方向が「広角側から望遠側」の場合と「望遠側から広角側」の場合とで、光学ズームとデジタルズームとの切り替えの基準となる光学ズームのズーム倍率（ズームモード切り替え基準）が変えられてもよい。上述のように広角側よりも望遠側のズーム倍率で撮影された画像に対する点像復元処理において過補正等を起こしやすく、特にズーム方向が「広角側から望遠側」の場合における画質の連続性の破綻を防ぐことが視覚上好ましい。したがってズーム方向が「広角側から望遠側」の場合には、ズーム方向が「望遠側から広角側」の場合よりも、ズームモード切り替え基準を「広角側のズーム倍率」に設定してもよい。

＜変形例＞
次に、光学系の像高による点拡がり関数の相違に基づいて、復元フィルタが選択される例及び光学ズーム及びデジタルズームの切り替えが行われる例について説明する。なお上述の実施形態と同様の構成については、同じ符号を付し、その詳細な説明については省略する。

本例のフィルタ適用部４１は、光学系（レンズ１６等）のうち像高中央部のＭＴＦ（変調伝達関数）と像高周辺部のＭＴＦとの相違に基づいて、「光学系の光学ズームの倍率に関して共通の復元フィルタ」の候補（複数のフィルタ候補）の中から、復元フィルタとして使用するフィルタを選択する。すなわち復元フィルタの複数のフィルタ候補は「第１のフィルタ候補」と第１のフィルタ候補とは異なる「第２のフィルタ候補」とを含み、フィルタ適用部４１は、像高中央部のＭＴＦと像高周辺部のＭＴＦとの差が閾値（第１の閾値）よりも小さい場合には第１のフィルタ候補を復元フィルタとして使用し、像高中央部のＭＴＦと像高周辺部のＭＴＦとの差がその閾値以上の場合には第２のフィルタ候補を復元フィルタとして使用する。ここでいう「像高中央部」は光学系のうち光軸上又は光軸近傍の箇所を意味し、「像高周辺部」は光学系のうち像高中央部よりも大きな像高を有する箇所を意味する。例えば光軸中心（光軸位置）を像高「０」とする一方で撮像素子（図１の符号「２６」参照）上に投影されるイメージサークルの半径を「１」した場合（光軸中心と撮像素子の中心が一致する場合は、撮像素子の撮像面の中心を「０」として撮像素子の撮像面の頂点を「１」とした場合）に、「０〜０．１」で表される範囲の同心円内の領域を「像高中央部」として設定してもよく、「０．８±０．１」で表される範囲の領域を「像高周辺部」として設定してもよい。なお「像高中央部」及び「像高周辺部」を規定するこれら数値は一例に過ぎず、適宜変更することが可能である。

以下の例では、説明の便宜上、サジタル方向（Ｓａｇ方向）及びタンジェンシャル方向（Ｔａｎ方向）のＭＴＦが参照され、復元フィルタの候補群から最適な復元フィルタを選択するという簡易的な手法が採用される。復元フィルタの選択方法は判断基準によって様々だが、以下の例では、光学系の像高中央部及び像高周辺部での特定周波数におけるレスポンス比に注目している。点拡がり関数を示す情報としてサジタル方向及びタンジェンシャル方向のＭＴＦを利用する手法は、ＰＳＦを利用する場合と比較し、位相成分（ＰＴＦ）情報やサジタル方向及びタンジェンシャル方向以外の方向に関するＭＴＦ情報が考慮されないが、データ量を非常にコンパクトにできるというメリットがあるため、レンズ交換型のデジタルカメラ１０（撮像装置）等では有利である。

図１６は、光学系５２における像高中央部５０及び像高周辺部５１を示す概念図である。なお図１６の光学系５２は、説明の便宜上、撮影画像（撮像素子２６の有効画素範囲）に対応する矩形範囲が示され、像高中央部５０は光軸上に設定され、像高周辺部５１は光学系５２の隅部（図１６では右下隅部）に設定されている。

本例のフィルタ適用部４１は、像高中央部５０のＭＴＦ及び像高周辺部５１のＭＴＦ（中心ＭＴＦ及び周辺ＭＴＦ）の比に対し、像高中央部５０に対応する復元フィルタ及び像高周辺部５１に対応する復元フィルタの比が最も近くなる復元フィルタ（復元フィルタのセット）を、複数のフィルタ候補の中から選択する。これにより「像高周辺部５１における画像ボケの大きさ」と「像高周辺部５１の撮影画像に適用される復元フィルタ」とが最もマッチングする復元フィルタを選択することができる。

この復元フィルタの選択プロセスは、以下の式１〜式３によって表される。

すなわち、中心（光軸）からの像高「ｈ（ｍｍ）」及び空間周波数「ｆ（Ｌｐ／ｍｍ：ｌｉｎｅ ｐａｉｒｓ／ｍｍ）」におけるサジタル方向のＭＴＦを「Ｍｓ（ｈ、ｆ）」とし、タンジェンシャル方向のＭＴＦを「Ｍｔ（ｈ、ｆ）」とする。また像高「ｈ（ｍｍ）」及び空間周波数「ｆ（Ｌｐ／ｍｍ）」におけるｎ番目のフィルタ候補に関し、フィルタリング処理（フィルタ適用処理）によるサジタル方向の復元強度増幅率をＧｓ（ｎ、ｈ、ｆ）とし、タンジェンシャル方向の復元強度増幅率をＧｔ（ｎ、ｈ、ｆ）とする。なお「ｈ０」は像高中央部５０（中心、光軸）の像高を示し（「ｈ０＝０」）、「ｈ１」は注目する像高周辺部５１の像高を示す。したがって、像高中央部５０におけるサジタル方向のＭＴＦは「Ｍｓ（ｈ０、ｆ）」で表されタンジェンシャル方向のＭＴＦは「Ｍｔ（ｈ０、ｆ）」で表され、像高周辺部５１におけるサジタル方向のＭＴＦは「Ｍｓ（ｈ１、ｆ）」で表されタンジェンシャル方向のＭＴＦは「Ｍｔ（ｈ１、ｆ）」で表される。なお正確には、光学系５２（レンズ１６）中心ではサジタル方向及びタンジェンシャル方向の区別はないので「Ｍｓ（ｈ０、ｆ）＝Ｍｔ（ｈ０、ｆ）」となる。

この場合、以下の式１〜式３によって求められる番号ｎのフィルタ候補が、フィルタ適用部４１におけるフィルタリング処理で使用される復元フィルタとして選択される。なお以下の式１〜式３は、サジタル方向及びタンジェンシャル方向の違い（異方性）については特に注目せず、ボケの程度（解像度劣化）が大きい方向のレスポンスが視覚上支配的な役割を果たすという仮定に基づいている。

上記の式１は、像高中央部５０及び像高周辺部５１の各々において、サジタル方向のＭＴＦ（Ｍｓ（ｈ、ｆ））及びタンジェンシャル方向のＭＴＦ（Ｍｔ（ｈ、ｆ））のうち、小さい方のＭＴＦを代表のＭＴＦ（Ｍ（ｈ、ｆ））に設定することを示す。また上記の式２は、像高中央部５０及び像高周辺部５１の各々において、ｎ番目のフィルタ候補に関し、フィルタリング処理によるサジタル方向の復元強度増幅率（Ｇｓ（ｎ、ｈ、ｆ））及びタンジェンシャル方向の復元強度増幅率（Ｇｔ（ｎ、ｈ、ｆ））のうち、大きい方を代表の復元強度増幅率（Ｇ（ｎ、ｈ、ｆ））に設定することを示す。

式１及び式２から求められる「代表のＭＴＦ（Ｍ（ｈ、ｆ））」及び「代表の復元強度増幅率（Ｇ（ｎ、ｈ、ｆ））」を式３に適用することで、復元フィルタとして最適なフィルタ候補の番号が導き出される。すなわち式３は、像高中央部５０及び像高周辺部５１における「代表ＭＴＦの比（Ｍ（ｈ０、ｆ）／Ｍ（ｈ１、ｆ））」と「代表の復元強度増幅率の比（Ｇ（ｎ、ｈ１、ｆ）／Ｇ（ｎ、ｈ０、ｆ））」との差の絶対値を最小にするｎ（ｎ番目のフィルタ候補）を求めることを示す。

したがって「代表ＭＴＦの比（Ｍ（ｈ０、ｆ）／Ｍ（ｈ１、ｆ））」が比較的小さい場合に選ばれるフィルタ候補（第１のフィルタ候補）と、「代表ＭＴＦの比（Ｍ（ｈ０、ｆ）／Ｍ（ｈ１、ｆ））」が比較的大きい場合に選ばれるフィルタ候補（第２のフィルタ候補）とは異なる。言い換えれば、像高中央部５０の代表ＭＴＦと像高周辺部５１の代表ＭＴＦとの差が閾値（第１の閾値）よりも小さい場合に使用されるフィルタ候補（第１のフィルタ候補）と、像高中央部５０の代表ＭＴＦと像高周辺部５１の代表ＭＴＦとの差が閾値（第１の閾値）以上の場合に使用されるフィルタ候補（第２のフィルタ候補）とは異なる。

上記の式１〜式３に基づく「ｎ（ｎ番目のフィルタ候補）」の具体的な算出手法は特に限定されず、任意の手法を用いることができ、また他のパラメータも適宜設定可能である。例えば注目する空間周波数ｆは、光学特性、画像復元特性及び視覚特性等を総合的に勘案して決めることができ、「ｆ＝０．２５ｆｓ（図５Ａ参照）」とすることも可能である。また像高周辺部５１の具体的な位置（像高）についても、光学特性、画像復元特性及び視覚特性等を総合的に勘案して適宜決めることができる。なお上記の式１〜式３は、復元フィルタ（ウイナーフィルタ）による復元強度（特にＳＮ比が大きい場合の復元強度）が、ＭＴＦのおおよそ逆数になることを利用するものであり、とりわけ低周波域においてそのような特徴が顕著になる。

フィルタ適用部４１は、このようにして求められるｎ番目のフィルタ候補を「光学系の光学ズームのズーム倍率に関して共通の復元フィルタ」として用いることで、像高に基づくＭＴＦ特性（点拡がり関数特性）を踏まえた点像復元処理（フィルタ適用処理）を行うことができる。この復元フィルタの選択（ｎ番目のフィルタ候補の算出）は、点像復元処理を伴う画像データ毎に行われる。したがって、時系列上で前の画像データ（フレーム）の点像復元処理で使用されたフィルタ候補ｎ１（復元フィルタ）が、時系列上で後の画像データ（フレーム）の点像復元処理においても最適なフィルタ候補として選択される場合、そのフィルタ候補ｎ１が引き続き復元フィルタとして使用される。

上記のＭＴＦに基づく復元フィルタ切り替え手法は一例に過ぎず、選択されたフィルタ候補を、光学ズーム倍率の全体に関して共通の復元フィルタとして用いてもよいし、光学ズーム倍率に基づいて復元フィルタを切り替えるようにしてもよい。例えば、上記の「像高に基づくＭＴＦ特性を踏まえた復元フィルタの決定手法」によって予め求められた最適な復元フィルタを光学ズームのズーム倍率（ズームポジション）と関連付けておき、復元フィルタを切り替える光学ズームのズーム倍率（フィルタ切り替え点）をデジタルカメラ１０（例えば点像復元制御処理部３９）のメモリに記憶しておいてもよい。この場合、点像復元制御処理部３９（フィルタ適用部４１）は、メモリに記憶したフィルタ切り替え点を参照することで、点像復元処理に使用する復元フィルタを撮影時の光学ズーム倍率に基づいて切り替えることができる。

上述の例では像高中央部５０及び像高周辺部５１におけるＭＴＦに基づいて「復元フィルタの切り替え」がコントロールされるが、「光学ズームとデジタルズームとの切り替え」がコントロールされてもよい。すなわち、光学ズームとデジタルズームとの切り替えの基準となる光学ズームのズーム倍率（図１５の「ズームモード切り替え基準」参照）は、像高中央部５０のＭＴＦと像高周辺部５１のＭＴＦとの相違に基づいて決められてもよい。

例えば像高中央部５０のＭＴＦと像高周辺部５１のＭＴＦとの差が比較的大きい場合には、像高中央部５０のＭＴＦと像高周辺部５１のＭＴＦとの差が比較的小さい場合よりも、広角側の光学ズームのズーム倍率で、光学ズームとデジタルズームとを切り替えてもよい。像高中央部５０と像高周辺部５１との間のＭＴＦ差が大きい場合には、特に望遠側のズーム倍率で撮影取得された画像（原画像データ）において点像復元処理による過補正等が生じやすい。したがって像高中央部５０のＭＴＦと像高周辺部５１のＭＴＦとの差が比較的大きい場合（ＭＴＦ差が閾値（第２の閾値）以上の場合）には、ＭＴＦ差が比較的小さい場合（ＭＴＦ差が閾値（第２の閾値）よりも小さい場合）よりも、広角側の光学ズーム倍率で光学ズームとデジタルズームとを切り替えることで、点像復元処理によって生じうる過補正等を未然に防ぐことが可能である。

＜他の変形例＞
上述のデジタルカメラ１０は例示に過ぎず、他の構成に対しても本発明を適用することが可能である。各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の各装置及び処理部（カメラ本体コントローラ２８、デバイス制御部３４、画像処理部３５、ズーム制御部３７、点像復元制御処理部３９等）における画像処理方法（処理ステップ、処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能な各種のコンピュータに対しても、本発明を応用することが可能である。

＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における復元処理は、特定の撮影条件（例えば、絞り値、Ｆ値、焦点距離、レンズ種類、など）に基づいて点拡がり（点像ボケ）を回復修正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像復元処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系（撮影レンズ等）によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の点拡がり関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ、等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。

以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度信号（Ｙデータ）に対して復元処理を行う例について説明するが、復元処理を行うタイミングは特に限定されず、例えば「デモザイク処理前の画像データ（モザイク画像データ）」や「デモザイク処理後であって輝度信号変換処理前の画像データ（デモザイク画像データ）」に対して復元処理が行われてもよい。

図１７は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）１０１は、ＥＤｏＦ光学系（レンズユニット）１１０と、撮像素子１１２と、ＡＤ変換部１１４と、復元処理ブロック（画像処理部）１２０とを含む。

図１８は、ＥＤｏＦ光学系１１０の一例を示す図である。本例のＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）をＥＤｏＦ化する。このように撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

なお、ＥＤｏＦ光学系１１０は必要に基づいて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよい。

すなわち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ１１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

図１７及び図１８に示すＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。

ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、図１７に示す撮像素子１１２に結像され、ここで電気信号に変換される。

撮像素子１１２は、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ配列、ハニカム配列、等）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含む。ＥＤｏＦ光学系１１０を介して撮像素子１１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。

ＡＤ変換部１１４は、撮像素子１１２から画素毎に出力されるアナログのＲ・Ｇ・Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部１１４によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック１２０に加えられる。

復元処理ブロック１２０は、例えば、黒レベル調整部１２２と、ホワイトバランスゲイン部１２３と、ガンマ処理部１２４と、デモザイク処理部１２５と、ＲＧＢ／ＹＣｒＣｂ変換部１２６と、Ｙ信号復元処理部１２７とを含む。

黒レベル調整部１２２は、ＡＤ変換部１１４から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号から該平均を減算することで、黒レベル調整が行われる。

ホワイトバランスゲイン部１２３は、黒レベルデータが調整されたデジタル画像信号に含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。

ガンマ処理部１２４は、ホワイトバランス調整されたＲ、Ｇ、Ｂ画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。

デモザイク処理部１２５は、ガンマ補正後のＲ、Ｇ、Ｂ画像信号にデモザイク処理を施す。具体的には、デモザイク処理部１２５は、Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、撮像素子１１２の各受光画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。すなわち、色デモザイク処理前は、各受光画素からの画素信号はＲ、Ｇ、Ｂの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するＲ、Ｇ、Ｂ信号の３つの画素信号の組が出力される。

ＲＧＢ／ＹＣｒＣｂ変換部１２６は、デモザイク処理された画素毎のＲ、Ｇ、Ｂ信号を、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換し、画素毎の輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂを出力する。

Ｙ信号復元処理部１２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部１２６からの輝度信号Ｙに復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ１１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。なお、復元フィルタは、光学フィルタ１１１に対応するものが図示しないメモリ（例えばＹ信号復元処理部１２７が付随的に設けられるメモリ）に記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。

次に、復元処理ブロック１２０による復元処理について説明する。図１９は、図１７に示す復元処理ブロック１２０による復元処理フローの一例を示す図である。

黒レベル調整部１２２の一方の入力には、ＡＤ変換部１１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部１２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部１２３に出力する（Ｓ６１）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。

黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部１２３、ガンマ処理部１２４による処理が施される（Ｓ６２及びＳ６３）。

ガンマ補正されたＲ、Ｇ、Ｂ信号は、デモザイク処理部１２５でデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部１２６において輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂに変換される（Ｓ６４）。

Ｙ信号復元処理部１２７は、輝度信号Ｙに、ＥＤｏＦ光学系１１０の光学フィルタ１１１の位相変調分のデコンボリューション処理をかける復元処理を行う（Ｓ６５）。すなわち、Ｙ信号復元処理部１２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のデコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。Ｙ信号復元処理部１２７は、この所定単位の画素群毎のデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に基づいて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。

図２０の符号１２０１に示すように、ＥＤｏＦ光学系１１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）として撮像素子１１２に結像されるが、Ｙ信号復元処理部１２７でのデコンボリューション処理により、図２０の符号１２０２に示すように小さな点像（高解像度の画像）に復元される。

上述のようにデモザイク処理後の輝度信号に復元処理をかけることで、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるＲ・Ｇ・Ｂの画素に対応するＲ・Ｇ・Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差信号Ｃｒ・Ｃｂについては、人の目による視覚の特性上、復元処理で解像度を上げなくても画質的には許容される。また、ＪＰＥＧのような圧縮形式で画像を記録する場合、色差信号は輝度信号よりも高い圧縮率で圧縮されるので、復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化及び高速化を両立できる。

以上説明したようなＥＤｏＦシステムの復元処理に対しても、本発明の各実施形態に係る点像復元処理を適用することが可能である。すなわち、復元処理ブロック１２０（Ｙ信号復元処理部１２７）における復元処理において（図１９のＳ６５）、点像復元制御処理部３９による上述の各種処理（点像復元処理）を実行するようにしてもよい。

なお、上述の各実施形態では、点像復元制御処理部３９が、デジタルカメラ１０のカメラ本体１４（カメラ本体コントローラ２８）に設けられる態様について説明したが、コンピュータ６０やサーバ８０等の他の装置に点像復元制御処理部３９が設けられてもよい。

例えば、コンピュータ６０において画像データを加工する際に、コンピュータ６０に設けられる点像復元制御処理部によってこの画像データの点像復元処理が行われてもよい。また、サーバ８０が点像復元制御処理部を備える場合、例えば、デジタルカメラ１０やコンピュータ６０からサーバ８０に画像データが送信され、サーバ８０の点像復元制御処理部においてこの画像データに対して点像復元処理が行われ、点像復元処理後の画像データ（回復画像データ）が送信元に送信・提供されるようにしてもよい。

また、本発明を適用可能な態様はデジタルカメラ１０、コンピュータ６０及びサーバ８０には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図２１は、本発明の撮像装置の一実施形態であるスマートフォン２０１の外観を示すものである。図２１に示すスマートフォン２０１は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、係る筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１とを備えている。なお、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２２は、図２１に示すスマートフォン２０１の構成を示すブロック図である。図２２に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２００とを備える。また、スマートフォン２０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２２０は、主制御部２００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。

表示パネル２２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２００に出力する。次いで、主制御部２００は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。

図２１に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン２０１の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０２の大きさなどに基づいて適宜設計されるものである。また、操作パネル２２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２００にて処理可能な音声データに変換して主制御部２００に出力することが可能であり、無線通信部２１０或いは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力するものである。また、図２１に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載し、マイクロホン２３２を筐体２０２の側面に搭載することができる。

操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２１に示すように、操作部２４０は、スマートフォン２０１の筐体２０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２５０は、主制御部２００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。なお、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２６０は、スマートフォン２０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン２０１の内部の各構成要素に伝達することや、スマートフォン２０１の内部のデータを外部機器に伝送することが可能である。

ＧＰＳ受信部２７０は、主制御部２００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２００の指示にしたがって、スマートフォン２０１の物理的な動きを検出する。スマートフォン２０１の物理的な動きを検出することにより、スマートフォン２０１の動く方向や加速度が検出される。係る検出結果は、主制御部２００に出力されるものである。

電源部２９０は、主制御部２００の指示にしたがって、スマートフォン２０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２００は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２０１の各部を統括して制御するものである。また、主制御部２００は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアにしたがって主制御部２００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。

更に、主制御部２００は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部２００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２００は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２００は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２００は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に基づいて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも一つについて軌跡を描く操作を意味する。

カメラ部２４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することができる。図２１に示すにスマートフォン２０１において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、或いは、複数のカメラ部２４１が搭載されてもよい。なお、複数のカメラ部２４１が搭載されている場合、撮影に供するカメラ部２４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部２４１を同時に使用して撮影することもできる。

また、カメラ部２４１はスマートフォン２０１の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１で取得した画像を表示することや、操作パネル２２２の操作入力の一つとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。更には、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２０１のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２７０により取得した位置情報、マイクロホン２３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２８０により取得した姿勢情報等などを付加して記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することもできる。

上述のスマートフォン２０１において、点像復元処理に関連する上述の各処理部は、例えば主制御部２００、記憶部２５０等によって適宜実現可能である。

本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…デジタルカメラ、１２…レンズユニット、１４…カメラ本体、１６…レンズ、１７…絞り、１８…光学系操作部、２０…レンズユニットコントローラ、２２…レンズユニット入出力部、２６…撮像素子、２８…カメラ本体コントローラ、２９…ユーザインターフェース、３０…カメラ本体入出力部、３２…入出力インターフェース、３４…デバイス制御部、３５…画像処理部、３７…ズーム制御部、３９…点像復元制御処理部、４１…フィルタ適用部、４２…ゲイン調整部、４３…メモリ、５０…像高中央部、５１…像高周辺部、５２…光学系、６０…コンピュータ、６２…コンピュータ入出力部、６４…コンピュータコントローラ、６６…ディスプレイ、７０…インターネット、８０…サーバ、８２…サーバ入出力部、８４…サーバコントローラ、１０１…撮像モジュール、１１０…ＥＤｏＦ光学系、１１０Ａ…撮影レンズ、１１１…光学フィルタ、１１２…撮像素子、１１４…
ＡＤ変換部、１２０…復元処理ブロック、１２２…レベル調整部、１２３…ホワイトバランスゲイン部、１２４…ガンマ処理部、１２５…デモザイク処理部、１２６…ＲＧＢ／ＹＣｒＣｂ変換部、１２７…Ｙ信号復元処理部、２００…主制御部、２０１…スマートフォン、２０２…筐体、２１０…無線通信部、２２０…表示入力部、２２１…表示パネル、２２２…操作パネル、２３０…通話部、２３１…スピーカ、２３２…マイクロホン、２４０…操作部、２４１…カメラ部、２５０…記憶部、２５１…内部記憶部、２５２…外部記憶部、２６０…外部入出力部、２７０…ＧＰＳ受信部、２８０…モーションセンサ部、２９０…電源部

Claims (16)

1. 光学系を用いた撮影により取得される原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを適用して復元画像データを取得するフィルタ適用部と、
   前記原画像データと前記復元画像データとの差分の増幅率の調整を行い、当該増幅率の調整が行われた後の差分と前記原画像データとから回復画像データを取得するゲイン調整部と、を備え、
   前記フィルタ適用部は、前記光学系の光学ズームの倍率の値に関わらず定められる共通のフィルタを前記復元フィルタとして使用し、
   前記ゲイン調整部は、前記光学系の光学ズームの倍率に基づいて前記増幅率を決める画像処理装置。
2. 前記復元フィルタは、前記原画像データを取得した際の前記光学系の絞り値に基づいて決められる請求項１に記載の画像処理装置。
3. 前記フィルタ適用部は、前記原画像データを取得した際の前記光学系の絞り値が第１の絞り値よりも小絞り側の値である場合に、前記光学系の光学ズームの倍率の値に関わらず定められる共通のフィルタを前記復元フィルタとして使用して前記復元画像データを取得し、
   前記ゲイン調整部は、前記原画像データを取得した際の前記光学系の絞り値が前記第１の絞り値よりも小絞り側の値である場合に、前記増幅率を前記光学系の光学ズームの倍率に基づいて決める請求項１又は２に記載の画像処理装置。
4. 前記フィルタ適用部は、前記光学系のうち光軸上又は光軸近傍の像高中央部の変調伝達関数と、前記光学系のうち前記像高中央部よりも大きな像高を有する像高周辺部の変調伝達関数との相違に基づいて、前記光学系の光学ズームの倍率の値に関わらず定められる共通のフィルタの候補である複数のフィルタ候補の中から、前記復元フィルタとして使用するフィルタを選択する請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記複数のフィルタ候補は、第１のフィルタ候補と、第１のフィルタ候補とは異なる第２のフィルタ候補とを含み、
   前記フィルタ適用部は、前記像高中央部の変調伝達関数と前記像高周辺部の変調伝達関数との差が第１の閾値よりも小さい場合には第１のフィルタ候補を前記復元フィルタとして使用し、前記像高中央部の変調伝達関数と前記像高周辺部の変調伝達関数との差が第１の閾値以上の場合には第２のフィルタ候補を前記復元フィルタとして使用する請求項４に記載の画像処理装置。
6. 前記フィルタ適用部は、前記原画像データが動画である場合に、前記光学系の光学ズームの倍率の値に関わらず定められる共通のフィルタを前記復元フィルタとして使用して前記復元画像データを取得し、
   前記ゲイン調整部は、前記原画像データが動画である場合に、前記増幅率を前記光学系の光学ズームの倍率に基づいて決める請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記フィルタ適用部は、前記原画像データが静止画である場合には、前記光学系の光学ズームの倍率に基づいて決められる前記復元フィルタを使用して前記復元画像データを取得する請求項６に記載の画像処理装置。
8. 前記フィルタ適用部は、前記原画像データが動画撮影中の静止画撮影によって取得された場合には、前記光学系の光学ズームの倍率に基づいて決められる前記復元フィルタを使用して前記復元画像データを取得する請求項７に記載の画像処理装置。
9. 前記光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する請求項１〜８のいずれか一項に記載の画像処理装置。
10. 光学系を用いた撮影により原画像データを取得する撮像素子と、
    請求項１から９のいずれか１項に記載の画像処理装置と、を備える撮像装置。
11. 光学ズームとデジタルズームとを切り替え可能なズーム制御部を更に備え、
    前記光学ズームと前記デジタルズームとの切り替えの基準となる前記光学ズームの倍率は、前記光学系の点拡がり関数に基づいて決められる請求項１０に記載の撮像装置。
12. 前記光学ズームと前記デジタルズームとの切り替えの基準となる前記光学ズームの倍率は、前記光学系のうち光軸上又は光軸近傍の像高中央部の変調伝達関数と、前記光学系のうち前記像高中央部よりも大きな像高を有する像高周辺部の変調伝達関数との相違に基づいて決められる請求項１１に記載の撮像装置。
13. 前記光学ズームと前記デジタルズームとの切り替えの基準となる前記光学ズームの倍率は、前記原画像データを取得した際のズーム方向に基づいて決められる請求項１１又は１２に記載の撮像装置。
14. 前記ゲイン調整部は、前記原画像データを取得した際のズーム方向に基づいて前記増幅率を決める請求項１０〜１３のいずれか一項に記載の撮像装置。
15. 光学系を用いた撮影により取得される原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを適用して復元画像データを取得するフィルタ適用ステップと、
    前記原画像データと前記復元画像データとの差分の増幅率の調整を行い、当該調整が行われた後の差分と前記原画像データとから回復画像データを取得するゲイン調整ステップと、を備え、
    前記フィルタ適用ステップでは、前記光学系の光学ズームの倍率の値に関わらず定められる共通のフィルタを前記復元フィルタとして使用し、
    前記ゲイン調整ステップでは、前記光学系の光学ズームの倍率に基づいて前記増幅率を決める画像処理方法。
16. 光学系を用いた撮影により取得される原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを適用して復元画像データを取得する手順と、
    前記原画像データと前記復元画像データとの差分の増幅率の調整を行い、当該調整が行われた後の差分と前記原画像データとから回復画像データを取得する手順と、をコンピュータに実行させるためのプログラムであって、
    前記復元画像データを取得する前記手順では、前記光学系の光学ズームの倍率の値に関わらず定められる共通のフィルタを前記復元フィルタとして使用し、
    前記回復画像データを取得する前記手順では、前記光学系の光学ズームの倍率に基づいて前記増幅率を決めるプログラム。

Images