WO2002028091A1 - Procede et dispositif de creation d'images - Google Patents

Description

明細書 画像生成装置および画像生成方法 本出願は日本国特許出願 2 0 0 0— 2 9 5 7 6 7号 （2 0 0 0年 9月 2 8日出 願） を基礎として、 その内容は引用文としてここに組み込まれる。 技術分野

本発明は、 手ブレ等により劣化した画像に画像処理を施してボケのない画像に 修復する画像生成装置および画像生成方法に関する。 背景技術

従来から、 手ブレにより劣化した画像 （以降、 ブレ画像と呼ぶ） を修復し、 ポ ケのない元の画像を復元する技術が知られている。 例えば、 特開昭 6 2— 1 2 7 9 7 6号公報に開示された画像生成装置は、 撮影時の手ブレによる画像劣化を点 像分布関数で表し、 この点像分布関数に基づきプレ画像を修復している。

しかしながら、 上述の画像生成装置を用いて、 実際に撮像した画像の修復を行 つた場合に、 必ずしも良好な結果が得られなかった。 例えば、 距離の異なる複数 の物体が同一画面内に存在する画像や接写画像に対して、 ボケ修復が不十分であ つた。 発明の開示

本発明の目的は、 画面中に異なる距離の被写体が混在した画像や接写画像に対 しても、 ブレ画像の修復を良好に行える画像生成装置および画像生成方法を提供 することにある。

上記目的を達成するために、 本発明による画像生成装置は、 撮影光学系によつ て画面上に形成された被写界の像を撮像し、 画像信号を生成する撮像部と、 画面 上における被写界の距離を検出し、 距離情報を生成する距離検出部と、 撮影光学 系の撮像時のブレを検出し、 ブレ信号を生成するブレ検出部と、 距離情報とブレ 信号に基づき、 距離に応じた点像分布関数を生成する点像分布関数生成部と、 点 像分布関数を用いて画像信号を修復し、 修復画像を形成する画像修復部とを有す る。

距離検出部は、 被写界の 2次元的な距離分布を検出し、 距離分布情報に基づき 被写界距離を複数の距離ゾーンに分割するとともに、 各距離ゾーンを代表する複 数の距離データを算出し、 点像分布関数生成部は、 複数の距離デ一夕に応じた複 数の点像分布関数を生成し、 画像修復部は、 距離ゾーンに応じて画像信号を複数 の部分画像に分割するとともに、 該部分画像毎にその距離データに応じた点像分 布関数を用いて修復して複数の部分修復画像を形成し、 該複数の部分修復画像を 合成することにより修復画像を形成することが好ましい。

上記目的を達成するために、 本発明による画像生成装置は、 被写界を撮影した 画像情報と、 撮影時の被写界の距離情報と、 撮影時のブレ情報とが記録された記 録媒体から画像情報と、 距離情報と、 ブレ情報とを読み出す情報読み出し部と、 距離情報とブレ情報に基づき、 距離に応じた点像分布関数を生成する点像分布関 数生成部と、 点像分布関数を用いて画像情報を修復し、 修復画像を形成する画像 修復部とを有する。

上記目的を達成するために、 本発明による画像生成方法は、 被写界の像を所定 画面上に形成し、 画面上に形成された被写界の像を撮像して画像信号を生成し、 画面上における被写界の距離を検出して距離情報を生成し、 撮像時のブレを検出 してブレ信号を生成し、 距離情報とブレ信号とに基づいて距離に応じた点像分布 関数を生成し、 点像分布関数を用いて画像信号を修復し、 修復画像を形成する。 ブレ検出部は、 撮影光学系がそれぞれ光軸に直交する 2つの軸回りにぶれる角 度ブレを検出してもよい。 ブレ検出部は、 撮影光学系が光軸に平行にシフトする 平行ブレを検出してもよい。 また、 ブレ検出部は、 撮影光学系がそれぞれ光軸に 直交する 2つの軸回りにぶれる角度ブレおよび撮影光学系が光軸に平行にシフト する平行ブレを検出し、 角度プレと平行ブレとに基づいてブレ信号を生成しても よい。

情報読み出し部は、記録媒体に記録された画像情報と距離情報とブレ情報とを、 電子的に読み出すことが好ましい。 情報読み出し部は、 銀塩フィルムに記録され た画像情報と距離情報とプレ情報とを、 スキャナ一にて読み出すようにしてもよ い。 上述したように、 本発明による画像生成装置および画像生成方法は、 画面上に おける被写界の距離または距離分布を検出し、 距離または距離分布に応じた点像 分布関数を生成する。 距離または距離分布に応じた最適な点像分布関数を用いて ブレ画像修復を行うので、 良好なブレ画像修復が可能となる。 特に手ブレの影響 の大きい近接撮影画像のブレ修復に効果的である。 図面の簡単な説明

図 1は、 本発明による画像生成装置の一実施の形態の構成を示すプロック図 図 2は、 本発明を適用したデジタルカメラの構成を示すプロック図

図 3は、 距離検出の原理を説明する図

図 4は、 距離検出の原理を説明する図

図 5は、 C P Uとその周辺の構成を示すブロック図

図 6は、 角速度信号の波形を示す図

図 7は、 相対角度信号の波形を示す図

図 8は、 相対角度信号の 2次元的な状態を示す図

図 9は、 撮影画面上の座標を示す図

図 1 0は、 撮影画面における距離値の出現頻度を示す図

図 1 1は、 距離に応じた角度ブレと像ボケの関係を説明する図

図 1 2は、 点像分布関数の一例を示す図

図 1 3は、 距離に応じたブレ画像修復処理を説明する図

図 1 4は、 C P U動作処理を示すフローチャート

図 1 5は、 C P U動作処理を示すフローチャート

図 1 6は、 C P U動作処理を示すフローチャート

図 1 7は、 距離に応じた平行ブレと像ボケの関係を説明する図 発明を実施するための最良の形態

手ブレ等によって生じるボケ量は被写体距離によって異なり、 さらに被写体距 離が短くなるほど急激に大きくなる。 従来のブレ画像修復技術では、 被写体距離 を考慮せずに、 一律な点像分布関数 （ボケ量） を仮定して、 ブレ画像修復を行つ ていた。 そのため、 距離の異なる複数の物体が同一画面内に存在する画像や接写 画像に対してのブレ修復が不十分となっていた。 そこで、 本発明による画像生成 装置では、 ブレ画像を距離に応じた点像分布関数に基づき修復する。 ここで点像 分布関数とは、 点像がブレによりボケた時の点像の強度分布を表す関数である。 本発明の一実施の形態における画像生成装置の概念を示すブロック構成図を図 1に示す。 本発明による画像生成装置 1は、 撮影光学系 3、 撮像部 4、 距離検出 器 5、 ブレ検出器 6、 点像分布関数生成部 7、 画像修復部 8から構成される。 撮影光学系 3は、 所定画面上に被写界 2の像を形成する。 撮像部 4は、 所定画 面上に形成された被写界 2の像を撮像する C C Dや C M O S等の固体撮像素子と その制御回路から構成されている。 制御回路は被写体像の明るさに応じて固体撮 像素子の露光時間 （電荷蓄積時間） を制御し、 被写界 2の像に対応した画像信号 を生成する。

距離検出器 5は、 周知の距離検出装置により構成される。 距離検出器 5は、 所 定画面上に形成された被写界 2の 2次元的な距離分布を検出し、 距離分布情報を 発生する。 プレ検出器 6は、 撮像部 4による撮像期間中の撮影光学系 3のブレを 検出し、 時間的に変化するブレ信号を発生する。 ブレ検出器 6は、 角速度センサ 等から構成される。

点像分布関数生成部 7は、 距離検出器 5およびブレ検出器 6から入力された被 写界 2の距離分布情報とブレ信号に応じて、 距離毎に異なった点像分布関数を生 成する。

画像修復部 8は、 撮像部 4が生成する、 手ブレにより劣化した画像信号 （ブレ 画像信号） を、 点像分布関数生成部 7で生成した点像分布関数を用いて距離分布 情報に応じて画像処理し、 手ブレによる劣化を修復した画像信号を生成する。 図 2は、 本発明による画像生成装置をデジ夕ルスチルカメラ 1 0に適用した場 合のブロック構成図である。 以下、 図 2を用いて本発明による画像生成装置およ び画像生成方法について詳細に説明する。

撮影レンズ 1 1により形成された被写体像は、 C C D等の電荷蓄積型の固体撮 像素子 1 2により光電変換され、 画像信号が出力される。 画像信号は A D変換回 路 1 8によりデジタル画像信号に変換され、 R A M等の揮発性のメモリ 1 9に格 納される。 メモリ 1 9に格納された画像信号は、 液晶表示装置 2 0により画像表 示されるとともに、 コンパク トフラッシュメモリ等の不揮発性の記録媒体 2 1に 記録される。 C P U (中央処理制御装置） 1 7は上述の撮像動作、 格納動作、 表 示動作、 記録動作の制御を行う。

角速度センサ V 1 3と角速度センサ H 1 4は、 デジタルスチルカメラ 1 0のブ レを検出するためのブレ検出センサである。 角速度センサ V 1 3と角速度センサ H I 4は、 撮影レンズ 1 1の光軸と直交し、 かつ互いに直交する 2つの軸回りの 角速度をそれぞれリアルタイムに検出する。 この検出出力は角速度信号として C P U 1 7へ送られる。

距離センサ 1 5は、 被写界の 2次元的な距離分布を検出するためのセンサであ る。 距離センサ 1 5の詳細は後述する。

レリーズポタン 1 6は、 撮影時に撮影者により操作される部材であって、 操作 に応じてレリーズ信号を発生する。

なお、 上記デジタルスチルカメラ 1 0には不図示の光学ファインダが備えられ ている。 撮影者は不図示の光学フアインダを通して被写体を観察できる。

C P U 1 7は、 角速度センサ V 1 3と角速度センサ H 1 4からの角速度信号に 基づき、 撮像期間中の撮影レンズ 1 1のブレを算出する。 また、 C P U 1 7は、 距離センサ 1 5により検出された被写界の距離分布情報を取得する。 C P U 1 7 は、 ブレ信号と距離分布情報に基づき、 距離に応じて点像分布関数を生成する。 さらに、 これらの点像分布関数を用い、 メモリ 1 9に格納されているブレ画像 信号に後述の画像修復処理を施す。 修復された画像信号は、 メモリ 1 9に再格納 される。 修復された画像信号は、 C P U 1 7からの指令信号に応じて液晶表示装 置 2 0に表示されるとともに、 記録媒体 2 1に記録される。

ここで、 距離センサ 1 5について詳細に説明する。 図 3に、 距離センサ 1 5の 構成を示す。 距離センサ 1 5は、 レリーズポタン 1 6から C P U 1 7にレリ一ズ 信号が入力された時の被写界の距離分布情報を検出する。 本実施の形態において は、 距離センサ 1 5は撮影光学系 3とは別の光学系で被写体光束を受光する。 測距レンズ 4 2により形成される被写界の像は、 測距レンズ 4 2の後方の距離 Eに配置された 2次元画像センサ 4 4で撮像される。 2次元画像センサ 4 4は、 被写界像の画像デ一夕を生成する。 また、 測距レンズ 4 2と光学的特性が等しい 測距レンズ 4 3により形成される被写界の像は、 測距レンズ 4 3の後方 Eに配置 された 2次元画像センサ 4 5で撮像され、 被写界像の画像データが生成される。 なお、 測距レンズ 4 2と測距レンズ 4 3は基線長 Bを隔てて設けられる。

図 4に、 測距レンズ 4 2 , 4 3から未知の距離 dにある点 4 6と、 点 4 6に対 応する 2次元画像センサ 4 4、 4 5上の結像点 4 7、 4 8との関係を示す。 結像 点 4 7、 4 8の像間隔 Lは、 2次元画像センサ 4 4、 4 5が生成する画像データ に基づいて測定する。 点 4 6までの距離 dは、 三角測距の原理に従い、 （式 1 ) に より求めることができる。

d = B X E Z ( L - B ) (式 1 )

画面を、 いくつかの領域、 例えば 5 X 1 0の領域に分割して、 それぞれの領域 に存在する測距点を走査して距離を測定する。 これにより、 被写界の 2次元的な 距離分布を検出することができる。 固体撮像素子 1 2の画像信号と 2次元画像セ ンサ 4 4、 4 5の画像データとを対応付けて、 撮影画面中での被写界の距離分布 を検出する。 なお、 画像信号を生成する固体撮像素子 1 2と、 測距用の 2次元画 像センサ 4 4 , 4 5のサイズが異なる場合は、 画像信号と画像データを縮小 Z拡 大あるいはシフト等をしてそれぞれを対応づけるようにする。 検出された被写界 の距離分布情報は、 C P U 1 7へ送信される。

図 5に、 図 2の C P U 1 7とその周辺の構成をより詳細に示したプロック図を 示す。 図 5を用いて、 C P U 1 7で行われるブレにより劣化した画像信号の修復 の工程を詳細に説明する。 なお、 図 5において、 C P U 1 7は、 積分演算部 3 1， ブレ分布記憶部 3 2 , 撮影制御部 3 3 , 距離分布演算部 3 4 , 点像分布関数演算 部 3 5および画像修復部 3 8から構成される。 また、 原画像メモリ 3 6と修復画 像メモリ 3 7とがメモリ 1 9を構成する。

角速度センサ V 1 3、 角速度センサ H 1 4からは、 デジタルスチルカメラ 1 0 に加わる手ブレなどに応じ、 角速度信号が生成される。 図 6に、 手ブレとしてサ イン波が加わった場合の 1次元の角速度信号を示す。 この角速度信号は、 所定の サンプリング間隔で A D変換され、 デジタルデータに変換される。 デジタルデ一 夕に変換された角速度信号は、 積分演算部 3 1によって積分され、 相対角度信号 に変換される。 相対角度信号は、 積分定数を除いた相対的な角度変位を表すもの である。 算出された相対角度信号は、 プレ分布記憶部 3 2に送信される。 図 7は、 図 6の相対角速度信号を積分した場合の相対角度信号である。

レリーズポタン 1 6からは、 撮影者によるレリ一ズポタン 1 6の操作に応じた レリーズ信号が、 撮影制御部 3 3、 距離センサ 1 5に送られる。 撮影制御部 3 3 では、 レリーズ信号を受信すると、 被写体輝度、 固体撮像素子 1 2の感度および 撮影レンズ 1 1 の絞り値より設定された露光時間により、 固体撮像素子 1 2の露 光を制御する。 さらに撮影制御部 3 3は、 露光タイミング信号をブレ分布記憶部 3 2に送信する。 プレ分布記憶部 3 2では、 露光タイミング信号に応じて、 露光 期間中の相対角速度信号を記憶する。

図 8は、 上述のようにしてブレ分布記憶部 3 2に記憶された相対角度信号のデ —夕の 2次元的な状態を示したものである。 露光期間中に所定時間間隔でサンプ リングされた相対角度のデータ値が黒丸で示されている。 図 8において、 は X軸回りの角度、 6 yは Υ軸回りの角度を表している。 なお、 図 9に示すように、 X軸および Y軸は、 撮影画面 4 1において互いに直交するように定義される。 ま た、 X軸および Y軸はそれぞれ光軸と直交する。 ここで露光期間中の相対角度の 総サンプリング数を Nとし、 n回目のサンプリングを （S x n、 Θ y n ) とする。 また、 露光期間中にサンプリングされる N個の相対角度データの平均が （ 0、 0 ) となるように変換される。

一方、 レリーズ信号に応じて、 距離センサ 1 5は撮影される被写界の距離分布 を測定し、 距離分布演算部 3 4に送る。 距離分布演算部 3 4では、 受信した 2次 元の距離分布をもとに、 撮影画面における距離値の出現頻度を図 1 0のようなヒ ストグラムにまとめる。 このヒストグラムを用い、 出現頻度の高さに応じて近距 離から無限距離までの被写界距離をいくつかの距離ゾーンに分割する。 分割した 距離ゾーンの代表値となる距離デ一夕を選出する。 図 1 0においては、 被写界距 離を Z l 、 Z 2、 Z 3、 Z 4の距離ゾーンに分割し、 それぞれの代表距離データ を d l、 d 2、 d 3、 d 4とする。 また、 距離分布演算部 3 4は、 分割した距離 ゾーンに応じて画像信号を複数の部分画像に分割し、 画像の位置情報を得る。 点像分布関数演算部 3 5では、 距離分布演算部 3 4で求められた距離データに 基づき、 ブレ分布記憶部 3 2に記憶された相対角度信号 （ 0 χ η、 Θ y n ) を画 面上における像ボケ信号 （X n、 Y n ) に変換する。 図 1 1は、 相対角度信号か ら像ボケ信号への、 距離に応じた変換の原理を説明する図である。 簡単のため撮 影光学系を 1枚のレンズ 5 1で示す。 また、 レンズ 5 1の焦点距離は f である。

レンズ 5 1が画面 5 4の中心 5 5に対し、 y軸回りに角度 0 y傾いた場合を考 える。 この時、 点 5 2 , 5 3は、 それぞれ画面 5 4から光軸上の距離 d 1および d 2にあるとする。 点 5 2、 5 3に対応する画面上の像点をそれぞれ 5 6 , 5 7 とする。 ここで、 点 5 2 , 5 3の画面 X軸方向の像ポケ量を、 像点 5 6、 5 7の 画面中心 5 5からの距離 X 1 、 X 2とする。 点 5 2 , 5 3の画面 X軸方向の像ポ ケ量 X I ， X 2は、 以下の （式 2 ) でそれぞれ求められる。

X l = d l X f X t Ά η Θ y / ( d 1 - f )

X 2 = d 2 X f X t a n 0 / ( d 2 - f ) (式 2 ) なお、 y軸方向への像ボケ量 Y 1 , Υ 2も同様にして算出できる。

(式 2 ) からわかるように、 d / ( d - f ) のファクタ一は距離 dの値が小さ くなるほど、 つまり近距離になるほど急激に変化する。 そのため、 デジタルカメ ラの角度ブレ （チルト） 量は同じであっても、 被写体が近距離にあるほどボケ量 の変化は急激になる。

点像分布関数演算部 3 5では、 （式 2 ) に基づき、 図 8に示すような相対角度信 号 （ S x n、 S y n ) を、 距離データ d 1、 d 2 · · に応じて像ボケ信号 （X 1 η、 Υ 1 η)、 （Χ 2 η、 Υ 2 η ) · ·に変換する。 さらに、 離散的な像ボケ信号（X 1 n、 Y i n ), (X 2 n、 Y 2 n ) · ·は、 スム一ジング等の手法により、 図 1 2 に示すような連続的な点像分布関数 h 1 (x、 y)、 h 2 ( x、 y ) - · に変換さ れる。

画像修復部 3 8では、 原画像メモリ 3 6に格納されているプレにより劣化した 画像信号を読み出す。 この画像情報を関数 g l ( x、 y)、 g 2 ( x、 y ) · · · と表す。 劣化した画像信号の関数 g 1 (x、 y ), g 2 ( x、 y ) ■ · · に対し、 点像分布関数 h i (x、 y)、 h 2 ( x、 y ) * · · を用いて画像修復処理を施す。 さらに、 画面内の距離ゾーン分割 （z l , z 2 · · · ) に応じた画像合成処理を 行って修復画像信号を生成し、 修復画像メモリ 3 7に格納する。

図 1 3は、 上述した画像修復処理のイメージ図である。 まず、 ブレにより劣化 した画像 6 1から、 距離ゾーン （Z l、 Z 2、 Z 3、 Z 4 ) に応じて複数の部分 に分割されて認識された画像の位置情報 6 2を得る。 次に、 ブレにより劣化した 画像 6 1が、 それぞれの距離ゾーン （Z l , Z 2 , Z 3 , Z 4 ) の代表距離デ一 夕 （d l 、 d 2、 d 3、 d 4 ) に応じて定められた点像分布関数 h 1 ( x、 y)、 h 2 (x、 y)、 h 3 ( x、 y)、 h 4 ( x、 y ) により、 それぞれ画像修復処理 される。 修復された画像からさらに画像情報 6 2により、 距離毎に分割された部 分画像 6 3、 6 4、 6 5、 6 6が抽出される。 最後に、 分割された部分画像 6 3、 6 4、 6 5、 6 6を合成し、 修復画像 6 7を生成する。

ここで、 個々の点像分布関数 h 1 (x、 y)、 h 2 (x、 y) * * による画像修 復処理について説明する。

プレのないときの画像の画像情報を関数 f (x、 y)、 ブレにより劣化した画像 の画像情報を関数 g (x、 y)、 ブレにより点像がボケたときの画像情報を点像分 布関数 h (x、 y ) とする。 これらの関数 f (x、 y)、 g (x、 y)、 h (x、 y ) には、 （式 3 ) の関係が成り立つ。

f (x、 y ) * h (x、 y ) = g (x、 y ) (式 3 ) ここで、 はコンポリューシヨン演算を表す記号である。 （式 3 ) の両辺を フーリエ変換すると、 周波数領域において （式 4) が成り立つ。

F (u、 V ) XH ( u、 V ) = G (u、 v) (式 4 ) ここで、 関数 G、 F、 Hは、 関数 g、 f 、 liのフーリエ変換関数である。 u、 Vはそれぞれ x、 y方向の周波数を表す。 （式 4) の両辺を H (u、 v ) で除する と、 （式 5 ) となる。

F (u、 V ) = G (u、 v) /H (u、 v) (式 5 ) さらに、 （式 5 ) を逆フーリエ変換すると、 （式 6 ) で表すように、 ブレのない 元の画像情報である関数 ί (x、 y ) が得られる。

f (x、 y ) = S (F (u、 v))

= S (G (u、 v) /H (u、 v)) (式 6 ) ここで、 S ( ) は逆フーリエ変換を表す。 ブレにより劣化した画像関数のフ —リエ変換を行い、 これをボケによる点像分布関数のフーリエ変換で除し、 さら にフ一リェ逆変換すれば、 ボケのない元の画像関数を求めることができる。

つぎに、 図 2に示した C P U 1 7における画像修復の動作プログラムの処理手 順を図 1 4〜図 1 6のフローチヤ一トを用いて説明する。 なお、 固体撮像素子 1 2として、 C C Dを用いるものとして説明する。

図 1 4は C P U 1 7のメインプログラムのフローチャートである。 図 1 5は所 定時間間隔で角速度信号を A D変換するためのタイマ割込みプログラムのフロー チャートである。 図 1 6はレリーズ信号により起動するレリーズ割込みプロダラ ムのフ口一チャートである。 なお、 図 1 4のメインプログラム実行中に、 図 1 5、 図 1 6のタイマ割込みおよびレリーズ割込みの処理プログラムが適宜割り込んで 実行される構成となっている。

図 1 4に示した C P U 1 7のメインプログラムは、 デジタルスチルカメラ 1 0 の電源オンによりスター卜する。 ステップ S 1 0 1では、 C C D 1 2の動作リセ ット、 タイマ類のリセッ トが行われ、 その後タイマ割込み、 レリ一ズ割込みが許 可される。 ステップ S 1 0 2では、 露光時間の決定に必要な情報 （被写体輝度、 画素感度、 絞り値等） に応じて、 C C D 1 2の電荷蓄積時間 （露光時間） を演算 する。 以降ステップ S 1 0 2を繰り返す。

つぎに、 図 1 5に示した所定時間間隔の夕イマ割込のプログラムを説明する。 ステップ S 2 0 1では、 角速度信号を A D変換して不図示のメモリに格納する。 ステップ S 2 0 2では、 メモリに格納されている角速度データを最新デ一夕まで 積分して相対角度信号を演算する。 ステップ S 2 0 3では演算した相対角度信号 を不図示のメモリに格納しリターンする。

図 1 6はレリ一ズ割込のプログラムを説明するフローチヤ一トである。 レリ一 ズポタン 1 6の操作により、 C P U 1 7にレリ一ズ信号が入力されるとこの処理 をスタートする。

まず、 ステップ S 3 0 1では距離センサ 1 5より撮影画面上の被写界の距離分 布情報を取り込み、 図 1 0に示すような距離ヒストグラムを作成する。 さらに、 距離ゾーン （Z 1， Z 2 · · · ) に従って代表距離データ （d 1 , d 2 · · · ) を算出して記憶する。 ステップ S 3 0 2では、 ステップ S 1 0 2で算出された最 新の露光時間に基づき、 撮影レンズ 1 1で形成された被写界の像を C C D 1 2に 撮像させる。 ステップ S 3 0 3では、 C C D 1 2に蓄積された画像信号を読み出 す。 ステップ S 3 0 4では、 読み出した画像信号を A D変換し、 ステップ S 3 0 5で A D変換後の画像信号、 すなわちブレにより劣化した画像信号をメモリ 1 9 に一時格納する。 ステップ S 3 0 6ではメモリ 1 9に格納した画像信号を記録媒 体 2 1に記録する。

ステップ S 3 0 7では、 距離ゾーン （Z 1 , Z 2 · . · ) に応じて画像信号を 部分画像に分割する。 ステップ S 3 0 8では、 上述したステップ S 2 0 3でメモ リ （不図示） に格納した相対角度信号と、 ステップ S 3 0 1で算出した代表距離 デ一夕 （d 1 , d 2 · · · ) とに基づいて、 代表距離データ （d 1 , d 2 · · · ) に応じた点像分布関数 h i ( x、 y )、 h 2 ( x、 y ) · · · を算出する。 ステツ プ S 3 0 9では、 代表距離データ （d l , d 2 · · · ) に応じた点像分布関数 h 1 ( x、 y )、 h 2 ( x、 y ) - · · により画像修復処理演算を行うとともに、 距 離ゾーン （Z l , Z 2 · · · ) に応じて分割された部分毎に修復画像を抽出する。 ステップ S 3 1 0では、 部分毎に修復された画像を合成し、 全体的な修復画像 を生成する。ステツプ S 3 1 1では合成された修復画像を記録媒体 2 1に記録し、 ステップ S 1 0 2に戻る。

以上説明したように、 距離に応じて最適な点像分布関数でブレ画像修復処理を 行うことにより、 画面中に異なる距離の複数の被写体が存在した場合や接写撮影 の場合でもブレ修復を良好に行うことができる。

(実施の形態の変形例）

本発明は、 以上説明した実施の形態に限定されることなく、 種々の変形や変更 が可能である。

上述した実施の形態では、 被写界の 2次元的な距離分布を検出し、 距離に応じ て複数の点像分布関数を用意して、 ブレ画像の修復を行っているが、 必ずしも 2 次元的な距離分布を検出する必要はない。

例えば、 主要被写体となる物体までの距離のみを測定し、 その距離に応じた点 像分布関数を生成する。 そして、 生成した点像分布関数を用いて全体の画像修復 を行うようにしてもよい。 このようにすれば、 2次元の距離分布を検出するため の距離検出装置が不要となり、安価な簡易構成の距離検出装置があればいいので、 デジタルスチルカメラ等に画像修復装置を組み込むことが容易になる。 また、 主 要被写体までの距離にのみ基づいて画像修復を行つても、 主要被写体と異なる距 離にある物体の像は焦点ボケにより既にボケているため、 問題を生ずる可能性は 少ない。

また、 撮影光学系の角度ブレにより像ブレが発生するものとして説明したが、 近接撮影においては撮影光学系の平行ブレ （光軸に平行にシフトするブレ） の影 響も大きくなる。 このような場合には、 平行ブレ検出用の加速度センサを用いて 平行ブレ信号を検出し、 平行ブレ信号と距離デ一夕を用いて距離に応じた点像分 布関数を求めるようにしてもよい。 図 1 7は、 距離に応じて平行ブレ信号から像ボケ信号への変換を行う場合の原 理を説明する図である。 図 1 1と同じ構成要素には同じ番号を付与してある。 こ のような構成により、 レンズ 5 1が X軸方向に、 光軸に平行に距離 Rシフトした 場合を考える。 レンズ 5 1が X軸方向に距離 Rシフトすると、 画面中心 5 5もそ れに伴ってシフトする。 シフト後の画面中心を 5 5 ' とする。

この時、 光軸上の距離 d 1および d 2にある点 5 2、 5 3の画面 X軸方向の像 ボケ量を、 点 5 2、 5 3に対応する像点 5 6、 5 7の画面中心 5 5 ' からの距離 X I、 X 2とする。 点 5 2， 5 3のそれぞれの画面 X軸方向の像ボケ量 X 1， X 2は、 以下の （式 7 ) でそれぞれ求められる。

X 1 = f X R / ( d 1 - f )

X 2 = f X R / ( d 2 - f ) . (式 7 )

なお、 y軸方向の像ボケ量 Y l， Υ 2も同様に算出できる。

(式 7 ) からもわかるように、 近接撮影において距離 dが焦点距離 f に近くな つてくると、 平行ブレに対するボケ量も急激に増加する。

(式 7 ) の変換式により、 距離に応じて平行ブレを画面上の像ボケに変換し、 像ボケに応じた点像分布関数を求めることができる。 このようにして求めた点像 分布関数を用いてプレ画像修復を行う。 これにより、 平行ブレにより生ずる像ポ ケにより劣化した画像を距離に応じて修復することができる。

以上説明した実施の形態の変形例によれば、 近接撮影時の像ボケを良好に画像 修復することが可能になる。

また、 上記平行ブレの画像修復と角度ブレの画像修復とを組み合わせることに より、 更に画像修復の効果を高めることができる。 この場合、 角度ブレを検出す る角速度センサと平行ブレを検出する加速度センサとを用いる。 そして、 （式 2 ) を用いて算出された角度ブレに応じた像ボケ量と、 （式 7 )を用いて算出された平 行プレに応じた像ボケ量とを、 それぞれの像ボケ量に応じて合成する。 合成され る X軸方向の像ボケ量 X tは、 以下の （式 8 ) のように示される。

X t = K X X a + L X X ρ ( 0く Kく 1 , 0 < L < 1 ) (式 8 ) ここで、 X aは角度ブレによる X軸方向の像ボケ量、 X pは平行ブレによる X軸 方向の像ボケ量である。 K：、 Lはそれぞれ X aおよび X pにかかる係数である。 角度ブレによる像ボケ量 X aと平行ブレによる像ボケ量 X pとを比較して、 X a〉X pの時は、 K > Lと設定する。 また、 X aく X pの時は、 K < Lと設定す る。 つまり、 角度ブレによる像ボケ量 X aが平行ブレによる像ボケ量 X pよりも 大きいときは X aの割合を大きくする。 一方、 平行ブレによる像ボケ量 X pが角 度ブレによる像ボケ量 X aよりも大きいときは X pの割合を大きくする。 その結 果、 角度ブレと平行ブレの両方を考慮した画像修復を行うことができる。

角度ブレゃ平行ブレを画面上の像ボケ量に変換する （式 6 ) および （式 7 ) に おいて、 近接撮影のため撮影レンズが大きく繰り出され、 焦点距離 f が繰り出し 量に応じて大きく変化する場合等においては、 （式 6 ) および （式 7 ) を適宜レン ズ繰り出し量や撮影倍率などにより補正することが可能である。 また、 上述した 実施の形態においては、 ブレ検出センサとして角速度センサを用いたが、 これに 限定されるものではなく、 加速度センサや画像センサ （像の時間的な動きにより 像ボケを検出） でも構わない。

以上説明した実施の形態においては、 距離センサとしてパッシブ型の三角測距 方式の距離検出装置を用いたが、 これに限定されるものではない。 いわゆるァク ティブ型の三角測距装置により被写界を走査して距離分布を測定してもよい。 こ こで、 アクティブ型の三角測距装置としては、 ビーム光を所定の光軸にそって被 写界側に発し、 ビーム光と基線長離れた光学系により反射ビーム光の結像位置を 測定することにより距離を検出するものを用いることができる。 また、 電磁波や 音波を発し、 被写界からの反射波の戻り時間を測定することにより、 被写界の距 離分布を検出するようにしても構わない。 このようにすれば、 被写界が比較的暗 い場合においても距離測定を高精度に行うことが可能になる。

また上記実施の形態においては、 レリ一ズ信号に応じてデジタルスチルカメラ 内で自動的にブレ画像修復が行われている。 しかし、 距離情報または距離分布情 報、 ブレ情報、 画像信号をひとまず記録媒体に記憶しておき、 後からデジ夕ルス チルカメラが記録媒体より距離情報または距離分布情報、 ブレ情報、 画像信号を 読み出してブレ画像の修復を行うようにしても構わない。 このようにすればブレ 画像処理をデジ夕ルスチルカメラの負担の少ない時間に行えるので、 連続撮影を 行う場合に有利である。

また距離情報または距離分布情報、 ブレ情報、 画像信号をひとまず記録媒体に 記憶しておき、 後からパソコン等で記録媒体から距離情報または距離分布情報、 ブレ情報、 画像信号を読み出し、 パソコン側でブレ画像の修復を行うようにして も構わない。 このようにすればデジタルスチルカメラの負担を少なくすることが できるとともに、 より演算規模の大きい画像処理を行うことができる。 さらに、 画像修復の品質も向上する。

記録媒体としてはメモリ力一ドの他に銀塩フィルムを使用することも可能であ る。 例えば磁気層を備えた銀塩フィルムに画像を光学的に記録するとともに、 磁 気層に距離情報または距離分布情報、 ブレ情報を磁気的に記録する。 そして、 ス キヤナ一等で銀塩フィルムを読み込み、 パソコンにて画像信号を抽出する。 また は、 磁気へッ ドにより磁気層に記録された距離情報または距離分布情報を読みと る構成にしてもよい。 このようにすればデジタルスチルカメラだけでなく銀塩フ ィルムを使用した撮影システムに対しても本発明の画像修復を適用することがで きる。

また上記実施の形態においては、 ブレ画像の修復処理はデジタルスチルカメラ 内で自動的に行われているが、 距離ゾーンに応じて画面内を複数部分に分割する 処理などは、 画像を表示部等に表示しながら撮影者の操作入力によりインタラク ティブに行うようにしてもよい。 このようにすれば、 撮影者の意図を反映したブ レ画像修復を行うことができる。 さらに、 自動化処理が困難な場合にも、 ブレ画 像修復を確実に実行できる。

また、 上記実施の形態においては、 全ての距離ゾーンの画像に対してブレ画像 修復処理を行っていた。 しかし、 撮影光学系の設定距離から離れている距離ゾ一 ンの被写体の像は既に焦点ボケによりボケているので、 このような距離ゾーンの 画像に対してはブレ画像の修復処理を省略するようにしても構わない。 例えば撮 影光学系の設定距離情報と絞り値情報から演算した焦点ボケ量と、 所定の距離ゾ —ンの像ボケ量とを比較する。 焦点ボケ量が支配的な場合は、 この距離ゾーンの 画像に対してはブレ画像修復処理を行わないようにする。 このようにすれば、 画 像処理時間を短縮し、 レスポンスの高い画像修復装置を実現することが可能であ る。

また、 上記実施の形態においては、 レリーズポタンからのレリ一ズ信号に応じ て常時ブレ画像修復が行われているが、 デジタルスチルカメラの動作設定モード (例えば、 接写に適したカメラ動作を行う近接撮影モード、 画像を記録する時の 圧縮率が低い髙精細記録モード） や撮影光学系の設定距離が所定距離より近距離 側に設定された場合に、 プレ画像修復処理を行うようにしてもよい。 このように すれば、 ブレ画像修復の必要性が高い状況でのみブレ画像修復が自動的に行われ るので、 通常撮影時にはレスポンスの高い撮影が可能となる。

以上説明したように、 本発明による画像生成装置および画像生成方法において は、 画面上における被写界の距離または距離分布を検出し、 距離または距離分布 に応じて最適な点像分布関数を用いてブレ画像修復処理を行うようにした。 これ により、 従来のように、 距離によらず一律な点像分布関数を用いてブレ画像修復 処理を行う場合と比較して、 より良好なブレ画像修復が可能となる。 特に手ブレ の影響が大きい近接撮影画像のブレ修復に効果的である。

また、 画面内に距離の異なる複数の被写体があるような画像のブレ修復も、 各 距離に応じて部分的にブレ画像修復を行った後で全体の修復画像に合成するため. 良好なブレ修復効果が期待できる。

Claims

請求の範囲 撮影光学系によって画面上に形成された被写界の像を撮像し、 画像信号を生成 する撮像部と、

前記画面上における被写界の距離を検出し、距離情報を生成する距離検出部と、 撮影光学系の撮像時のプレを検出し、 プレ信号を生成するブレ検出部と、 距離情報とブレ信号とに基づき、 距離に応じた点像分布関数を生成する点像分 布関数生成部と、

点像分布関数を用いて画像信号を修復し、 修復画像を形成する画像修復部とを 有する画像生成装置。

2 .

請求項 1に記載の画像生成装置において、

前記距離検出部は、 被写界の 2次元的な距離分布を検出し、 距離分布情報に基 づき被写界距離を複数の距離ゾーンに分割するとともに、 各距離ゾーンを代表す る複数の距離データを算出し、

前記点像分布関数生成部は、 複数の距離データに応じた複数の点像分布関数を 生成し、

前記画像修復部は、 距離ゾーンに応じて画像信号を複数の部分画像に分割する とともに、 部分画像毎にその距離データに応じた点像分布関数を用いて修復して 複数の部分修復画像を形成し、 複数の部分修復画像を合成することにより修復画 像を形成する。

3 .

被写界を撮影した画像情報と、 撮影時の被写界の距離情報と、 撮影時のブレ情 報とが記録された記録媒体から画像情報と、 距離情報と、 ブレ情報とを読み出す 情報読み出し部と、

距離情報とブレ情報に基づき、 距離に応じた点像分布関数を生成する点像分布 関数生成部と、

点像分布関数を用いて画像情報を修復し、 修復画像を形成する画像修復部とを 有する画像生成装置。

4 . 被写界の像を所定画面上に形成し、

画面上に形成された被写界の像を撮像して画像信号を生成し、

画面上における被写界の距離を検出して距離情報を生成し、 ' 撮像時のプレを検出してプレ信号を生成し、

距離情報とブレ信号とに基づいて距離に応じた点像分布関数を生成し、 点像分布関数を用いて画像信号を修復し、 修復画像を形成する画像生成方法。

5 .

請求項 1に記載の画像生成装置において、

前記ブレ検出部は、 撮影光学系がそれぞれ光軸に直交する 2つの軸回りにぶれ る角度ブレを検出する。

6 .

請求項 1に記載の画像生成装置において、

前記ブレ検出部は、撮影光学系が光軸に平行にシフトする平行ブレを検出する。

7 .

請求項 1に記載の画像生成装置において、

前記ブレ検出部は、 撮影光学系がそれぞれ光軸に直交する 2つの軸回りにぶれ る角度ブレおよび撮影光学系が光軸に平行にシフトする平行ブレを検出し、 角度 ブレと平行ブレとに基づいてブレ信号を生成する。

8 .

請求項 3に記載の画像生成装置において、

前記情報読み出し部は、 記録媒体に記録された画像情報と距離情報とブレ情報 とを、 電子的に読み出す。

9 .

請求項 3に記載の画像生成装置において、

前記情報読み出し部は、 銀塩フィルムに記録された画像情報と距離情報とブレ 情報とを、 スキャナ一にて読み出す。

1 0 .

撮影光学系によって画面上に形成された被写界の像を撮像し、 画像信号を生成 する撮像部と、

前記画面上における被写界の 2次元的な距離分布を検出し、 距離分布情報に基 づき被写界距離を複数の距離ゾーンに分割するとともに、 各距離ゾーンを代表す る複数の距離データを算出する距離検出部と、

撮影光学系の撮像時のブレを検出し、 ブレ信号を生成するブレ検出部と、 距離分布情報とブレ信号とに基づき、 複数の距離デ一夕に応じた複数の点像分 布関数を生成する点像分布関数生成部と、

距離ゾーンに応じて画像信号を複数の部分画像に分割するとともに、 部分画像 毎にその距離データに応じた点像分布関数を用いて修復して複数の部分修復画像 を形成し、 複数の部分修復画像を合成することにより修復画像を形成する画像修 復部とを有する画像生成装置。