JP4389371B2 - 画像修復装置および画像修復方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、手ブレ等のために劣化した画像を画像処理によりブレのない画像に修復する画像修復装置および画像修復方法に関するものである。
【０００２】
【従来の技術】
従来からブレにより劣化した画像を修復し、ブレのない元の画像を復元する技術が知られている。例えば特開昭６２−１２７９７６号公報では、撮影時のブレによる画像劣化を点像分布関数で表し、この点像分布関数に基づきブレ画像を修復している。
【０００３】
例えば画像修復の演算処理は以下のようにして行われる。すなわち、（ｘ，ｙ）を画面上の位置座標とし、ブレのない時の画像の画像情報を関数ｆ（ｘ，ｙ）、ブレにより劣化した画像の画像情報を関数ｇ（ｘ，ｙ）、ブレにより点像がボケた時の画像情報を点像分布関数ｈ（ｘ，ｙ）とすると、数式１の関係が成り立つ。
【０００４】
【数１】

【０００５】
ここで＊はコンボリューション演算を表す記号である。数式１の両辺をフーリエ変換すると、周波数領域において数式２が成り立つ。
【０００６】
【数２】

【０００７】
ここで関数Ｇ、Ｆ、Ｈは、関数ｇ、ｆ、ｈのフーリエ変換関数であり、ｕ，ｖは、それぞれｘ，ｙ方向の周波数を表す。数式２の両辺をＨ（ｕ，ｖ）で除すると数式３となる。
【０００８】
【数３】

【０００９】
さらに数式３を逆フーリエ変換すると、数式４の如くブレのない元の画像情報である関数ｆ（ｘ，ｙ）が得られる。
【００１０】
【数４】

【００１１】
ここでＳ（ ）は逆フーリエ変換を表す。即ちブレにより劣化した画像関数のフーリエ変換を行い、これをブレによる点像分布関数のフーリエ変換で除し、更にフーリエ逆変換すれば、ブレのない元の画像関数を求めることができるわけである。
【００１２】
【発明が解決しようとする課題】
しかしながら、上述の従来技術を実際に撮像した画像に適用した場合には、必ずしも良好な結果が得られなかった。
【００１３】
例えば距離の異なる複数の物体が同一画面内に存在する画像や接写画像に対してブレ修復が不十分であった。
【００１４】
そこで本発明は、画面中に異なる距離の被写体が混在した画像や接写画像に対してもブレ画像修復を良好に行えるブレ画像修復装置およびブレ画像修復方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記目的を達成するため、請求項１に記載の発明による画像修復装置では、被写界の像を所定画面上に形成する撮影光学系と、前記画面上に形成された被写界の像を撮像し、画像信号を生成する撮像部と、前記画面上における被写界の距離を検出し、距離情報を生成する距離検出部と、前記撮影光学系の撮像時のブレを検出し、ブレ信号を生成するブレ検出部と、前記距離情報と前記ブレ信号に基づき、距離に応じた点像分布関数を生成する点像分布関数生成部と、前記点像分布関数を用いて前記画像信号を修復し、修復画像を形成する画像修復部とからなることを特徴とする。
【００１６】
請求項２に記載の発明では、請求項１に記載の画像修復装置において、前記距離検出部は、前記距離分布情報に基づき被写界距離を複数の距離ゾーンに分割するとともに、各距離ゾーンを代表する複数の距離データを算出し、前記点像分布関数生成部は前記複数の距離データに応じた複数の点像分布関数を生成し、前記画像修復部は、前記距離ゾーンに応じて画像信号を複数の部分画像に分割するとともに、該部分画像毎にその距離データに応じた点像分布関数を用いて修復して複数の部分修復画像を形成し、該複数の部分修復画像を合成することにより前記修復画像を形成することを特徴とする。
請求項３に記載の発明による画像修復装置では、被写界を撮像した画像情報と、撮像時の被写界の距離情報と、撮像時のブレ情報とが記録された記録媒体から画像情報、距離情報、ブレ情報とを読み出す情報読み出し部と、前記距離情報と前記ブレ情報に基づき、距離に応じた点像分布関数を生成する点像分布関数生成部と、前記点像分布関数を用いて前記画像信号を修復し、修復画像を形成する画像修復部とからなることを特徴とする。
請求項４に記載の発明による画像修復方法では、被写界の像を所定画面上に形成するステップと、前記画面上に形成された被写界の像を撮像し、画像信号を生成するステップと、前記画面上における被写界の距離を検出し、距離情報を生成するステップと、撮像時のブレを検出し、ブレ信号を生成するステップと、前記距離情報と前記ブレ信号に基づき、距離に応じた点像分布関数を生成するステップと、前記点像分布関数を用いて前記画像信号を修復し、修復画像を形成するステップとからなることを特徴とする。
【００１７】
【発明の実施の形態】
我々は鋭意研究の結果、同じブレ量であっても、ブレによって生ずるボケ量は被写体距離に応じて異なり、しかもブレによるボケ量は近距離で急激に大きくなることが、距離の異なる複数の物体が同一画面内に存在する画像や接写画像に対してブレ修復が不十分になる原因であることを突き止めた。つまり従来のブレ画像修復技術では、被写体距離を考慮せずに、一律な点像分布関数（ボケ）を仮定してブレ画像修復を行っていたためブレ修復が不十分であったことが判明した。
【００１８】
本発明では、ブレ画像を距離に応じた点像分布関数に基づき修復することにより、距離の異なる複数の物体が同一画面内に存在する画像や接写画像に対して良好なブレ修復を可能にした。以下、図面を参照して本発明の実施形態について説明する。図１は、本発明による画像修復装置の概念を示すブロック構成図である。
【００１９】
図１において画像修復装置１は、撮影光学系３、撮像部４、距離検出部５、ブレ検出部６、点像分布関数生成部７、画像修復部８から構成される。撮影光学系３は、所定画面上に被写界２の像を形成する。撮像部４は、所定画面上に形成された被写界２の像を撮像するＣＣＤやＣＭＯＳ等の固体撮像素子とその制御回路から構成されており、制御回路により被写体像の明るさに応じて固体撮像素子の露光時間（電荷蓄積時間）が制御され、被写界の像に対応した画像信号を発生する。距離検出部５は、周知の距離検出装置により構成され、所定画面上に形成された被写界の２次元的な距離分布を検出し、距離分布情報を発生する。ブレ検出部６は、撮像部４による撮像期間中の撮影光学系３のブレを検出し、時間的に変化するブレ信号を発生する手段であって、角速度センサ等から構成される。
【００２０】
点像分布関数生成部７は、被写界の距離分布情報とブレ信号に応じて、距離毎に異なった点像分布関数を生成する。ここで点像分布関数とは、点像がブレによりボケた時の強度分布を表す関数である。
【００２１】
画像修復部８は、撮像部４が生成するブレにより劣化した画像信号を、点像分布関数生成部７が生成する点像分布関数により、距離分布情報に応じて画像処理し、ブレによる劣化を修復した画像信号を生成する。
【００２２】
図２は、本発明をデジタルスチルカメラ１０に適用した場合の実施例のブロック構成図である。
【００２３】
撮影レンズ１１により形成された被写体像は、ＣＣＤ等の電荷蓄積型の固体撮像素子１２により光電変換され、画像信号が出力される。画像信号はＡＤ変換手段１８によりデジタル画像信号に変換され、ＲＡＭ等の揮発性のメモリ１９に格納される。メモリ１９に格納された画像信号は、液晶表示手段２０により画像表示されるとともに、コンパクトフラッシュメモリ等の不揮発性の記録媒体２１に記録される。ＣＰＵ（中央処理制御手段）１７は上述の撮像動作、格納動作、表示動作、記録動作の制御を行う。
【００２４】
角速度センサＶ１３と角速度センサＨ１４は、デジタルスチルカメラ１０の手ブレを検出するためのブレ検出センサであり、撮影レンズ１１の光軸と直交し、かつ互いに直交する２つの軸回りのデジタルスチルカメラ１０の角速度をリアルタイムに検出し、検出出力を角速度信号としてＣＰＵ１７へ送る。
【００２５】
距離センサ１５は、被写界の２次元的な距離分布を検出するためのセンサであり、その詳細は後述する。
【００２６】
レリーズボタン１６は、撮影時に撮影者により操作される部材であって、操作に応じてレリーズ信号を発生する。
【００２７】
なお上記デジタルスチルカメラ１０には不図示の光学ファインダが備えられており、これにより撮影者は被写体を観察できる。
【００２８】
以上のような構成において、ＣＰＵ１７は、角速度センサＶ１３と角速度センサＨ１４からの角速度信号に基づき、撮像期間中の撮影レンズ１１のブレを検出するとともに、レリーズ信号が入力された時の被写界の距離分布情報を距離センサ１５より獲得する。ＣＰＵ１７は、ブレ信号と距離分布情報に基づき、距離に応じて点像分布関数を生成する。さらにこれらの点像分布関数を用い、メモリ１９に格納されているブレ劣化画像信号に後述の画像修復処理を施し、修復された画像信号をメモリ１９に再格納する。修復された画像信号は液晶表示手段２０に表示されるとともに、記録媒体２１に記録される。
【００２９】
ここで距離センサ１５について詳細に説明する。図３は、距離センサ１５の構成を示す図であって、測距レンズ４２により形成される被写界の像を、測距レンズ４２の後方Ｅに配置された２次元画像センサ４４で撮像し、被写界像の画像データを生成する。また測距レンズ４２と光学的特性が等しい測距レンズ４３により形成される被写界の像を、測距レンズ４３の後方Ｅに配置された２次元画像センサ４５が撮像し、被写界像の画像データを生成する。なお測距レンズ４２と測距レンズ４３は基線長Ｂを隔てて並置される。
【００３０】
このような構成において、未知の距離ｄにある点４６に対応する２次元画像センサ４４、４５上での結像点４７、４８は、図４のような関係となる。結像点４７、４８の像間隔Ｌを画像センサ４４、４５が生成する画像データに基づき測定すれば、三角測距の原理に従い、数式５により距離ｄを求めることができる。
【００３１】
【数５】

【００３２】
また画面上で測距点を走査して距離を測定すれば、被写界の２次元的な距離分布を検出することができる。さらに固体撮像素子１２の画像信号と２次元画像４４、４５の画像データを対応付け（縮小／拡大、シフトなど）ることにより、撮像画面中での被写界の距離分布を検出することができる。
【００３３】
図５は、図２に示したＣＰＵ１７とその周辺の構成をより詳細に示したブロック図である。図５を用いて、ブレにより劣化した画像信号の修復の工程を詳細に説明する。
【００３４】
図５において、角速度センサＶ１３、角速度センサＨ１４からは、デジタルスチルカメラ１０に加わる手ブレなどに応じ、角速度信号が生成される。図６に、手ブレとしてサイン波が加わった場合の１次元の角速度信号を示す。この角速度信号は、所定のサンプリング間隔でＡＤ変換され、デジタルデータに変換される。デジタルデータに変換された角速度信号は、積分演算部３１によって積分され相対角度信号（積分定数を除いた相対的な角度変位を表す）に変換され、ブレ分布記憶部３２に送られる。図７は、図６の相対角速度信号を積分した場合の相対角度信号を示す。
【００３５】
レリーズボタン１６からは撮影者による操作に応じたレリーズ信号が、撮影制御部３３、距離センサ１５に送られる。撮影制御部３３では、レリーズ信号に応じて被写体輝度、固体撮像素子１２の感度、撮影レンズ１１の絞り値より設定された露光時間により、固体撮像素子１２の露光を制御するとともに、露光タイミング信号をブレ分布記憶部３２に送信する。ブレ分布記憶部３２では、露光タイミング信号に応じて、露光期間中の相対角速度信号を記憶する。
【００３６】
図８はこのようにしてブレ分布記憶部３２に記憶された相対角度信号のデータの２次元的な状態を示したものであり、露光期間中に所定時間間隔でサンプリングされた相対角度のデータ値が黒丸で示されている。図９に示すように、Ｘ軸およびＹ軸は、撮影画面４１において互いに直交するように定義される。なお図８において、θｘはＸ軸回りの角度、θｙはＹ軸回りの角度を表している。ここで露光期間中の総サンプリング数をＮとし、ｎ回目のサンプリングを（θｘｎ、θｙｎ）とする。また１〜Ｎ回のサンプリングにおける相対角度データの平均が（０、０）となるように変換される。
【００３７】
一方レリーズ信号に応じて、距離センサ１５は撮影される被写界の距離分布を測定し、距離分布演算部３４に送る。距離分布演算部３４では、送られてきた２次元の距離分布をもとに、撮影画面における距離値の出現頻度を図１０のようなヒストグラムにまとめる。このヒストグラムを用い、出現頻度の高さに応じて近距離から無限距離までの被写界距離をいくつかの距離ゾーン（図１０ではＺ１、Ｚ２、Ｚ３、Ｚ４）に分割し、その距離ゾーンの代表値となる距離データ（図１０ではｄ１、ｄ２、ｄ３、ｄ４）を選出する。また距離分布演算部３４は、前記距離ゾーンに応じて画像信号を複数の部分画像に分割する。
【００３８】
点像分布関数演算部３５では、距離分布演算部３４で求められた距離データに基づき、ブレ分布記憶部３２に記憶された相対角度信号を画面上における像ブレ信号に変換する。図１１は、相対角度信号から像ブレ信号への距離に応じた変換の原理を説明する図であって、簡単のため撮影光学系を１枚のレンズ５１で示す。またレンズ５１の焦点距離はｆである。レンズ５１が画面５４の中心５５に対し、ｙ軸回りに角度θｙ傾いてブレた場合を考える。この時光軸上の距離ｄ１およびｄ２にある点５２、５３の画面ｘ軸方向の像ブレ量は、点５２、５３に対応する像点５６、５７の画面中心５５からの距離をＸ１、Ｘ２として、数式６で求められる。
【００３９】
【数６】

【００４０】
数式６からもわかるように、ｄ／（ｄ−ｆ）のファクターは近距離になるほど急激に変化するため、近距離ほど同じ角度ブレに対するボケ量の変化も急激になる。
【００４１】
点像分布関数演算部３５では、数式６に基づき、図８に示すような相対角度信号（θｘｎ、θｙｎ）を距離データｄ１、ｄ２・・に応じて像ブレ信号（Ｘ１ｎ、Ｙ１ｎ）、（Ｘ２ｎ、Ｙ２ｎ）・・に変換する。さらに離散的な像ブレ信号（Ｘ１ｎ、Ｙ１ｎ）、（Ｘ２ｎ、Ｙ２ｎ）・・は、スムージング等の手法により、図１２に示すような連続的な点像分布関数ｈ１（ｘ、ｙ）、ｈ２（ｘ、ｙ）・・に変換される。
【００４２】
画像修復部３８では、原画像メモリ３６に格納されているブレにより劣化した画像信号を読み出し、これに対し点像分布関数ｈ１（ｘ、ｙ）、ｈ２（ｘ、ｙ）・・により画像修復処理を施し、さらに画面内の距離ゾーン分割に応じた画像合成処理を行って修復画像信号を生成し、修復画像メモリ３７に格納する。
【００４３】
なお個々の点像分布関数ｈ１（ｘ、ｙ）、ｈ２（ｘ、ｙ）・・による画像修復処理の手法は、数式１〜数式４に述べた手法が適用される。
【００４４】
図１３は上記処理のイメージ図である。まずブレにより劣化した画像６１から、距離ゾーン（Ｚ１、Ｚ２、Ｚ３、Ｚ４）に応じて複数の部分に分割されて認識された画像情報６２を得る。次にブレにより劣化した画像６１が、代表距離データ（ｄ１、ｄ２、ｄ３、ｄ４）に応じて定められた点像分布関数ｈ１（ｘ、ｙ）、ｈ２（ｘ、ｙ）、ｈ３（ｘ、ｙ）、ｈ４（ｘ、ｙ）によりそれぞれ画像修復処理され、修復された画像からさらに画像情報６２により、距離毎に分割された部分画像６３、６４、６５、６６が抽出される。最後に分割された部分画像６３、６４、６５、６６を合成し、修復画像６７を生成する。
【００４５】
図１４から図１６は、図２で説明したＣＰＵ１７の動作プログラムを示したフローチャート図である。なお固体撮像素子として、ＣＣＤを用いるとして説明する。図１４はＣＰＵ１７のメインプログラムであり、図１５は所定時間間隔で角速度信号をＡＤ変換するためのタイマ割込みプログラム、図１６はレリーズ信号により起動するレリーズ割込みプログラムである。ここで図１４のメインプログラム実行中に、図１５、図１６のタイマ割込みおよびレリーズ割込みの処理プログラムが適宜割り込んで実行される構成となっている。
【００４６】
図１４においてデジタルスチルカメラ１０の電源オンによりＣＰＵ１７の動作がスタートする。Ｓ１０１では、ＣＣＤの動作リセット、タイマ類のリセットが行われ、その後タイマ割込み、レリーズ割込み割込が許可される。Ｓ１０２では、露光時間の決定に必要な情報（被写体輝度、画素感度、絞り値等）に応じて、ＣＣＤの電荷蓄積時間（露光時間）を演算する。以降Ｓ１０２を繰り返す。
【００４７】
図１５はタイマ割込のプログラムのフローチャートであって、Ｓ２０１では、角速度信号をＡＤ変換してメモリに格納する。Ｓ２０２では、メモリに格納されている角速度データを最新データまで積分して相対角度信号を演算する。Ｓ２０３では演算した相対角度信号をメモリに格納しリターンする。
【００４８】
図１６はレリーズ割込のプログラムのフローチャートであって、Ｓ３０１では距離センサより距離分布情報を取り込み、距離ヒストグラムを作成し、距離ゾーンに従って代表距離データを算出して記憶する。Ｓ３０２では最新の露光時間に基づきＣＣＤの撮像を行わせる。Ｓ３０３ではＣＣＤより画像信号を掃き出させ、Ｓ３０４では該画像信号をＡＤ変換し、Ｓ３０５ではＡＤ変換後の画像信号をメモリに一時格納する。Ｓ３０６ではメモリに格納した画像信号を記録媒体に記録する。Ｓ３０７では距離ゾーンに応じて画像信号を部分画像に分割する。Ｓ３０８ではメモリに格納されている相対角度信号と代表距離データから、代表距離データに応じた点像分布関数を演算する。Ｓ３０９では代表距離データに応じた点像分布関数により画像修復処理演算を行うとともに、距離ゾーンに応じて分割された部分毎に修復画像を抽出する。Ｓ３１０では部分毎に修復された画像を合成し、全体的な修復画像を生成する。Ｓ３１１では合成された修復画像を記録媒体に記録し、Ｓ１０２に戻る。
【００４９】
以上のように距離に応じて最適な点像分布関数でブレ画像修復処理を行うことにより、画面中に異なる距離の複数の被写体が存在した場合や接写撮影の場合でもブレ修復を良好に行うことができる。
【００５０】
（変形形態の説明）
本発明は以上説明した実施形態に限定されることなく、種々の変形や変更が可能である。
【００５１】
図５に示した実施例では、被写界の２次元的な距離分布を検出し、距離に応じて複数の点像分布関数を用意して、ブレ画像の修復を行っているが、必ずしも２次元的な距離分布を検出する必要はない。例えば主要被写体となる物体までの距離のみを測定し、その距離に応じた点像分布関数を生成し、該点像分布関数により全体の画像修復を行うようにしてもよい。このような処理を行っても、主要被写体と異なる距離にある物体の像は、焦点ボケにより既にボケているために問題を生ずる可能性は少ない。このようにすれば２次元の距離分布を検出するための距離検出装置が不要となり、安価な簡易構成の距離検出装置があればいいので、デジタルスチルカメラ等に画像修復装置を組み込むことが容易になる。
【００５２】
また図５に示した実施例では、撮影光学系の角度ブレにより像ブレが発生するものとして説明したが、近接撮影においては撮影光学系の平行ブレ（光軸が平行にシフトするブレ）の影響も大きくなる。このような場合には、平行ブレ検出用の加速度センサを用いてこの平行ブレ信号を検出し、この平行ブレ信号と距離データを用いて距離に応じた点像分布関数を求めるようにしてもよい。
【００５３】
図１７は、距離に応じて平行ブレ信号から像ブレ信号への変換を行う場合の原理を説明する図であって、図１１と同じ構成要素には同じ番号を付与してある。このような構成によりレンズ５１がｘ軸方向にＲだけシフトした場合を考える。この時光軸上の距離ｄ１およびｄ２にある点５２、５３の画面ｘ軸方向の像ブレ量は、点５２、５３に対応する像点５６、５７の画面中心５５からの距離をＸ１、Ｘ２として、数式７で求められる。
【００５４】
【数７】

【００５５】
数式７からもわかるように、近接撮影において距離ｄが焦点距離ｆに近くなってくると、平行ブレに対するボケ量も急激に増加する。数式７の変換式により距離に応じて平行ブレを像ブレに変換し、該像ブレに応じた点像分布関数を求めることができる。このようにして求めた点像分布関数を図５の実施例に適用することにより、平行ブレにより生ずる像ブレも距離に応じて画像修復することができる。
【００５６】
以上の実施例によれば、近接撮影時の像ブレを良好に画像修復することが可能になる。また上記平行ブレの画像修復と前記角度ブレによる画像修復を組み合わせることにより、更に画像修復の効果を高めることができる。
【００５７】
また角度ブレや平行ブレを像ブレ量に変換する数式６および数式７において、近接撮影のため撮影レンズが大きく繰り出され、焦点距離ｆが繰り出し量に応じて大きく変化する場合等においては、数式６および数式７を適宜レンズ繰り出し量や撮影倍率などにより補正することが可能である。また図２または図５の実施例においては、ブレ検出センサとして角速度センサを用いたが、これに限定されるものではなく、加速度センサや画像センサ（像の時間的な動きにより像ブレを検出）でも構わない。
【００５８】
また図２および図５の実施例においては、距離センサとしてパッシブ型の三角測距方式の距離検出装置を用いたが、これに限定されるものではなく、いわゆるアクティブ型の三角測距装置（ビーム光を所定の光軸にそって被写界側に発し、ビーム光と基線長離れた光学系により反射ビーム光の結像位置を測定することにより距離を検出する）により被写界を走査して距離分布を測定してもよい。また電磁波や音波を発し、被写界からの反射波の戻り時間を測定することにより、被写界の距離分布を検出するようにしても構わない。このようにすれば、被写界が比較的暗い場合においても距離測定を高精度に行うことが可能になる。
【００５９】
また図２および図５の実施例においては、レリーズ信号に応じてデジタルスチルカメラ内で自動的にブレ画像修復が行われているが、距離情報または距離分布情報、ブレ情報、画像信号をひとまず記録媒体に記憶しておき、後からデジタルスチルカメラが記録媒体より距離情報または距離分布情報、ブレ情報、画像信号を読み出してブレ画像の修復を行うようにしても構わない。このようにすればブレ画像処理をデジタルスチルカメラの負担の少ない時間に行えるので、連続撮影を行う場合に有利である。
【００６０】
また距離情報または距離分布情報、ブレ情報、画像信号をひとまず記録媒体に記憶しておき、後からパソコン等で記録媒体から距離情報または距離分布情報、ブレ情報、画像信号を読み出し、パソコン側でブレ画像の修復を行うようにしても構わない。このようにすればデジタルスチルカメラの負担を少なくすることができるとともに、より演算規模の大きい画像処理を行うことができるので、画像修復の品質も向上する。記録媒体としてはメモリカードのの他に銀塩フィルムを使用することも可能である。例えば磁気層を備えた銀塩フィルムに画像を光学的に記録するとともに、前記磁気層に距離情報または距離分布情報、ブレ情報を磁気的に記録するとともに、パソコンにてスキャナー等で前記銀塩フィルムを読み込んで画像信号を抽出し、また磁気ヘッドにより磁気層に記録された距離情報または距離分布情報を読みとる構成にしてもよい。このようにすればデジタルスチルカメラだけでなく銀塩フィルムを使用した撮影システムに対しても本発明の画像修復を適用することができる。
【００６１】
また図２および図５の実施例においては、ブレ画像の修復処理はデジタルスチルカメラ内で自動的にブレ画像修復が行われているが、距離ゾーンに応じて画面内を複数部分に分割する処理などは、画像を表示部等に表示しながら撮影者の操作入力によりインタラクティブに行うようにしてもよい。このようにすれば、自動化処理が困難な場合にも撮影者の意図を反映できるので、ブレ画像修復がより確実に実行できる。
【００６２】
また図２および図５の実施例においては、全ての距離ゾーンの画像に対してブレ画像修復処理を行っていたが、撮影光学系の設定距離から離れている距離ゾーンの被写体の像は既に焦点ボケによりボケているので、このような距離ゾーンの画像に対してはブレ画像の修復処理を省略するようにしても構わない。例えば撮影光学系の設定距離情報と絞り値情報から演算した焦点ボケ量と所定の距離ゾーンの像ブレ量を比較し、焦点ボケ量が支配的な場合は、この距離ゾーンの画像に対してはブレ画像修復処理を行わないようにする。このようにすれば、画像処理時間を短縮し、レスポンスの高い画像修復装置を実現することが可能である。
【００６３】
また図２または図５の実施例においては、レリーズ信号に応じて常時ブレ画像修復が行われているが、デジタルスチルカメラの動作設定モード（接写に適したカメラ動作を行う近接撮影モード、画像を記録する時の圧縮率が低い高精細記録モード）や撮影光学系の設定距離が所定距離より近距離側に設定された場合に、ブレ画像修復処理を行うようにしてもよい。このようにすれば、ブレ画像修復の必要性が高い状況でのみブレ画像修復が自動的に行われるので、通常撮影時にはレスポンスの高い撮影が可能となる。
【００６４】
【発明の効果】
以上説明したように、本発明による画像修復装置および画像修復方法においては、画面上における被写界の距離または距離分布を検出し、距離または距離分布に応じて最適な点像分布関数を用いてブレ画像修復処理を行うため、従来のように距離によらず一律な点像分布関数を用いてブレ画像修復処理を行う場合と比較して、より良好なブレ画像修復が可能となり、特にブレの影響が大きい近接撮影画像のブレ修復に効果的である。
【００６５】
また画面内に距離の異なる複数の被写体があるような画像のブレ修復も、各距離に応じて部分的にブレ画像修復を行った後で全体の修復画像に合成するため、良好なブレ修復効果が期待できる。
【図面の簡単な説明】
【図１】本発明の実施形態の構成を示すブロック図である。
【図２】本発明を適用したデジタルカメラの構成を示すブロック図である。
【図３】距離検出の原理を説明する図である。
【図４】距離検出の原理を説明する図である。
【図５】ＣＰＵとその周辺の構成を示すブロック図である。
【図６】角速度信号の波形を示す図である。
【図７】相対角度信号の波形を示す図である。
【図８】相対角度信号の様子を示す図である。
【図９】撮影画面上の座標を説明する図である。
【図１０】距離分布の説明図である。
【図１１】距離に応じた角度ブレと像ブレの関係を説明する図である。
【図１２】点像分布関数の説明図である。
【図１３】距離に応じたブレ画像修復処理の説明図である。
【図１４】ＣＰＵ動作処理を示すフローチャート図である。
【図１５】ＣＰＵ動作処理を示すフローチャート図である。
【図１６】ＣＰＵ動作処理を示すフローチャート図である。
【図１７】距離に応じた平行ブレと像ブレの関係を説明する図である。
【符号の説明】
１ 画像修復装置
３ 撮影光学系
４ 撮像部
５ 距離検出部
６ ブレ検出部
７ 点像分布関数生成部
８ 画像修復部
１１ 撮影レンズ
１２ 固体撮像素子
１３ 角速度センサＶ
１４ 角速度センサＨ
１５ 距離センサ
１６ レリーズボタン
１７ ＣＰＵ
１９ メモリ
２１ 記録媒体

Claims (4)

1. 被写界の像を所定画面上に形成する撮影光学系と、
   前記画面上に形成された被写界の像を撮像し、画像信号を生成する撮像部と、
   前記画面上における被写界の距離を検出し、距離情報を生成する距離検出部と、
   前記撮影光学系の撮像時のブレを検出し、ブレ信号を生成するブレ検出部と、
   前記距離情報と前記ブレ信号に基づき、距離に応じた点像分布関数を生成する点像分布関数生成部と、
   前記点像分布関数を用いて前記画像信号を修復し、修復画像を形成する画像修復部と
   からなることを特徴とする画像修復装置。
2. 請求項１に記載の画像修復装置において、
   前記距離検出部は、被写界の２次元的な距離分布を検出し、前記距離分布情報に基づき被写界距離を複数の距離ゾーンに分割するとともに、各距離ゾーンを代表する複数の距離データを算出し、
   前記点像分布関数生成部は前記複数の距離データに応じた複数の点像分布関数を生成し、
   前記画像修復部は、前記距離ゾーンに応じて画像信号を複数の部分画像に分割するとともに、該部分画像毎にその距離データに応じた点像分布関数を用いて修復して複数の部分修復画像を形成し、該複数の部分修復画像を合成することにより前記修復画像を形成することを特徴とする画像修復装置。
3. 被写界を撮像した画像情報と、撮像時の被写界の距離情報と、撮像時のブレ情報とが記録された記録媒体から画像情報、距離情報、ブレ情報とを読み出す情報読み出し部と、
   前記距離情報と前記ブレ情報に基づき、距離に応じた点像分布関数を生成する点像分布関数生成部と、
   前記点像分布関数を用いて前記画像信号を修復し、修復画像を形成する画像修復部と
   からなることを特徴とする画像修復装置。
4. 被写界の像を所定画面上に形成するステップと、
   前記画面上に形成された被写界の像を撮像し、画像信号を生成するステップと、
   前記画面上における被写界の距離を検出し、距離情報を生成するステップと、
   撮像時のブレを検出し、ブレ信号を生成するステップと、
   前記距離情報と前記ブレ信号に基づき、距離に応じた点像分布関数を生成するステップと、
   前記点像分布関数を用いて前記画像信号を修復し、修復画像を形成するステップと
   からなることを特徴とする画像修復方法。

Images