JP2002290811A - 撮像装置及び画像処理方法及び画像処理プログラム及び情報記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】特殊な光学系を用いずに、劣化した画像を劣化
のない画像に復元することが可能な撮像装置及び画像処
理方法さらには画像処理プログラムを提供する。 【解決手段】劣化して撮像された復元対象画像と、その
復元対象画像と比較する参照画像とを分析し、前記復元
対象画像における劣化情報を求め、その劣化情報に基づ
いて前記復元対象画像を復元する構成とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、劣化した画像を劣
化のない（或いは少ない）画像に復元できる撮像装置及
び画像処理方法に関するものである。

【０００２】

【従来の技術】従来より、劣化した画像を劣化のない画
像に復元できる手段がいくつか提案されている。例え
ば、特開平９−７４５１４号公報に記載されている如
く、撮像装置として、対象となる被写体の、ピントが合
っているときの撮影画像を利用して、ピントが合ってい
ないときの画像のピントずれ量を推定し、それに応じた
劣化情報によりボケを復元するものが開示されている。

【０００３】具体的には、撮影光学系と、この撮影光学
系を介して入射される撮影被写体の物体像を撮像する撮
像手段と、前記撮影光学系と撮影被写体との間の距離を
検出する被写体位置検出手段と、前記撮影光学系の焦点
距離を検出する焦点距離検出手段と、前記撮影光学系と
撮影被写体との間の複数の距離及び複数の焦点距離の組
み合わせに対応した補正データが記憶された記憶手段
と、前記被写体位置検出手段及び前記焦点距離検出手段
によって検出された前記撮影光学系と撮影被写体との間
の距離、及び撮影光学系の焦点距離とに対応する補正デ
ータを前記記憶手段から読み出し、この読み出した補正
データを用いて前記撮像手段によって撮像された物体像
に対し補正処理を行う劣化画像補正手段とを具備する構
成としている。

【０００４】これにより、撮影光学系の特性にかかわら
ず、撮像によって劣化した画像を正確に元の画像に復元
することができるとしている。そして、これによって撮
影光学系の構成を簡易かつ安価な構成とすることができ
るとしている。

【０００５】また、特開平１２−１８６９７９号公報に
記載されている如く、画像スキャナを用いた画像走査方
法として、スキャナ内において、ほぼリアルタイムで測
定を行い、デジタル画像処理法を利用してその不完全性
を部分的に補償するものが開示されている。

【０００６】具体的には、光学系を通してスキャナ中に
ある光学校正パターンを走査するステップと、走査した
光学校正パターンから点拡がり関数を計算するステップ
と、画像画素を得る為に画像を走査するステップと、点
拡がり関数を用いて画像画素を修正し、光学系に起因す
る収差の幾分かを除去するステップと、を含む構成とし
ている。

【０００７】これにより、画像スキャンに先立ちスキャ
ナ内の原稿範囲外に設置された光学校正パターンをスキ
ャンして点拡がり関数を得、この関数に従いスキャンさ
れた画像の光学収差を補償することができるとしてい
る。

【０００８】

【発明が解決しようとする課題】しかしながら、上記特
開平９−７４５１４号公報に記載されているような構成
では、別途被写体位置検出手段が必要であり、また撮影
時の手ブレには対応していない。さらには、合焦状態で
の理想画像情報と非合焦状態での劣化画像情報とを実際
に得て、これらを比較することで劣化画像を元の画像に
復元しようとする構成であるので、必ず合焦状態で撮影
しておかなければならないと言う欠点がある。

【０００９】また、上記特開平１２−１８６９７９号公
報に記載されているような構成では、基本的にはいわゆ
るイメージスキャナの構成であり、任意の被写体に対し
て二次元撮像を行うことはできない。本発明は、このよ
うな問題点に鑑み、特殊な光学系を用いずに、劣化した
画像を劣化のない画像に復元することが可能な撮像装置
及び画像処理方法さらには画像処理プログラムを提供す
ることを目的とする。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に、本発明では、劣化して撮像された復元対象画像と、
その復元対象画像と比較する参照画像とを分析し、前記
復元対象画像における劣化情報を求め、その劣化情報に
基づいて前記復元対象画像を復元することを特徴とす
る。

【００１１】また、前記参照画像は、前記復元対象画像
を撮像した手段とは別の手段により取得したものである
ことを特徴とする。或いは、前記参照画像は、前記復元
対象画像を撮像した時刻とは異なる時刻に、撮影者の指
示により撮像したものであることを特徴とする。或い
は、前記参照画像は、前記復元対象画像の撮像前或いは
撮像後に自動的に撮像したものであることを特徴とす
る。

【００１２】また、前記復元対象画像が所定の撮像条件
となったときに、前記参照画像が自動的に撮像されるこ
とを特徴とする。そして、前記参照画像は、前記復元対
象画像と同じ撮像条件で、少なくとも１つ撮像されるこ
とを特徴とする請求項５に記載の撮像装置。或いは、前
記参照画像は、前記復元対象画像と異なる撮像条件で、
少なくとも１つ撮像されることを特徴とする。

【００１３】また、前記参照画像は、前記復元対象画像
の露光時間よりも短い露光時間で撮像されることを特徴
とする。或いは、前記参照画像は、前記復元対象画像の
絞り開口径よりも大きい絞り開口径で撮像されることを
特徴とする。或いは、前記参照画像は、フラッシュを発
光させて撮像されることを特徴とする。

【００１４】また、劣化した復元対象画像と、その復元
対象画像と比較する参照画像とを分析し、前記復元対象
画像における劣化情報を求め、その劣化情報に基づいて
前記復元対象画像を復元する画像処理方法とする。

【００１５】また、劣化した復元対象画像と、その復元
対象画像と比較する参照画像とを分析し、前記復元対象
画像における劣化情報を求め、その劣化情報に基づいて
前記復元対象画像を復元する画像処理プログラムとす
る。そして、前記画像処理プログラムを記録した情報記
録媒体とする。

【００１６】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。図１は、本発明の第
１の実施形態に係る撮像装置の概略構成を示すブロック
図である。本実施形態は、一例としていわゆるデジタル
スチルカメラを想定した構成を示している。同図におい
て、１は撮影用のレンズであり、２はその絞りである。
また、３はＣＣＤやＣＭＯＳセンサ等の撮像素子、４は
画像処理を行ういわゆるＤＳＰとしての処理部、５は画
像データを記憶する装置内部或いは外部のメモリーであ
る記憶部である。

【００１７】そして、６は例えばマイクロプロセッサよ
り成るＣＰＵである。撮像素子３，処理部４，及び記憶
部５は連接されており、またそれぞれがＣＰＵ６に接続
されている。また、レンズ１は測距センサー等の焦点距
離検出手段８を介してＣＰＵ６と接続されており、絞り
２は絞り駆動手段７を介してＣＰＵ６と接続されてい
る。さらに、フラッシュ発光手段９、カメラのスイッチ
やボタン類である操作部材１０、及び例えば液晶モニタ
ー等の表示手段１１がそれぞれＣＰＵ６に接続されてい
る。

【００１８】本装置により写真撮影するに当たって、画
像のぶれ復元を行わない場合は、レンズ１により結像し
た被写体像は、撮像素子３で電気信号に変換された後
に、処理部４で色補正や階調変換を含む画像処理を施さ
れ、画像データとして記憶部５に記憶される。一方、画
像のぶれ復元を行う場合は、処理部４において前述の画
像処理を施される前にぶれ復元処理が行われるが、それ
に先立って、ぶれ復元処理に必要な劣化関数を取得する
ためのプロセスが加えられる。

【００１９】図２は、本実施形態におけるぶれ復元撮影
動作の流れを示すフローチャートである。同図に示すよ
うに、劣化した画像を劣化のない画像に復元して撮影す
るぶれ復元撮影が開始されると、まず、ステップ＃５に
おいて、被写体の撮影時の状況等から撮影条件が決定さ
れる。そして、ステップ＃１０において、撮影者の希望
する構図の画像が図３に示すような復元対象画像１２と
して撮影される。ここまでの撮影条件の決定及び露光に
ついては、ぶれ復元機能のない一般の撮像装置と同様で
ある。

【００２０】続いて、ステップ＃１５において、ＣＰＵ
６は、焦点距離検出手段８から得られたレンズ１の焦点
距離情報を元に、手ぶれが生じやすい露光時間である手
ぶれ警戒値を算出する。さらに、ステップ＃２０におい
て、先に設定した復元対象画像１２の露光時間が手ぶれ
警戒値より長いか否かを判定し、長ければステップ＃２
５へと移行する。長くなければ撮影を終了する。

【００２１】ステップ＃２５において、手ぶれを抑える
ために、露光時間を手ぶれ警戒値よりも短く設定する。
或いは、露光時間を同じまま即ち撮影条件を変更しない
で設定する構成としても良い。この場合、参照画像にお
ける手ぶれの生じやすさは復元対象画像と変わらない
が、劣化のない参照画像が得られる可能性はある。そし
て、ステップ＃３０において、図４で示したような少な
くとも１枚の参照画像１３を撮影する。これは、上記復
元対象画像１２の撮影に続いて、撮影者の操作によらず
に自動的に撮影されるものである。或いは、復元対象画
像１２の撮影前に自動的に撮影される構成としても良
い。

【００２２】参照画像１３の撮影においては、露光時間
が適正露光時間より短くなるので、他の撮影条件が同一
であれば復元対象画像１２より参照画像１３の露光量は
低くなる。露光量が参照画像用に必要な所定の値を下回
る場合には、フラッシュ発光手段９の作動及び、絞り駆
動手段７を通じた絞り２の開口径拡大を含む撮影条件が
設定される。これは、撮影者による事前の許可に応じ
て、即ち例えば操作部材２６により、この撮影条件を設
定して良いとする操作が事前になされていた場合、それ
に応じて行われる。

【００２３】続いて、ステップ＃３５において、復元対
象画像１２と参照画像１３を用いて劣化関数を推定す
る。参照画像１３は、これに対する復元対象画像１２の
劣化を示すものであり、複数撮影された画像の中から選
択されたものであっても良いし、複数撮影された画像か
ら合成されたものであっても良い。また、複数の画像を
そのまま用いても良い。

【００２４】そして、ステップ＃４０において、劣化関
数による劣化が所定の値より大きいか否かを判定し、大
きい場合はステップ＃４５に移行する。大きくない場合
は撮影を終了する。ステップ＃４５において、復元対象
画像１２と劣化関数を用いて、復元対象画像１２に生じ
ていた画像劣化を取り除き、劣化のない画像に復元す
る。復元後、撮影を終了する。以上の方法により、撮影
者の希望するシャッタータイミングにおいて、図５に示
すような、撮影者の意図通りの画像１４が得られる。

【００２５】上述したような、劣化のない画像と劣化の
生じた画像から劣化関数を推定する方法としては、画像
を周波数空間に変換して演算する方法や、二次元フィル
タ演算を反復処理して漸近的に絞り込む方法等がある。
また、前処理として位置合わせや対応部分の抽出が必要
となる手法もある。また、不明の劣化関数に対して初期
値を定めて絞り込む場合は、レンズ焦点距離や露光時間
等の撮影条件に応じて初期値を設定する方法が有効であ
る。

【００２６】本発明に適用可能な手法の一例として、既
知の図形を劣化させた画像から劣化情報を得る手法が特
開平１２−１８６９７９号公報に詳しく記載されている
ので、ここでは詳細な説明を省略する。また、劣化した
画像を劣化のない画像に復元するための手法としては様
々なものがあるが、特開平１２−５７３３９号公報或い
は特開平１１−２７５７４号公報に詳しく記載されてい
るので、ここでは詳細な説明を省略する。

【００２７】図６は、本発明の第２の実施形態に係る撮
像装置の概略構成を示すブロック図である。本実施形態
も、一例としていわゆるデジタルスチルカメラを想定し
た構成を示している。同図において、２１は光学系と撮
像素子を含む撮像部、２２は画像処理を行ういわゆるＤ
ＳＰとしての処理部、２３は画像データを記憶する記憶
部、２４は外部の機器との間で画像データのやり取りを
行うデータ入出力部である。

【００２８】そして、２５は例えばマイクロプロセッサ
より成るＣＰＵである。撮像部２１，処理部２２，記憶
部２３，及びデータ入出力部２４は連接されており、ま
たそれぞれがＣＰＵ２５に接続されている。また、カメ
ラのスイッチやボタン類である操作部材２６、及び例え
ば液晶モニター等の表示手段２７がそれぞれＣＰＵ６に
接続されている。

【００２９】本装置では、データ入出力部２４を介し
て、他の機器や記憶媒体に記憶されていた画像を記憶部
２３に記憶し、処理部２２にて画像に処理を加えること
ができる。また、上述したように、光学系と撮像素子を
含む撮像部２１を有し、被写体像を画像データとして記
憶部２３に記憶させる作用も行う。

【００３０】図７は、本実施形態におけるぶれ復元処理
動作の流れを示すフローチャートである。同図に示すよ
うに、劣化した画像を劣化のない画像に復元するぶれ復
元処理が開始されると、まず、ステップＳ５において、
ＣＰＵ２５は記憶部２３に記憶されている画像の中か
ら、表示手段２６と操作部材２７により、操作者に図８
で示したような復元対象画像２８を選択させる。さら
に、ステップＳ１０において、同じく表示手段２６と操
作部材２７により、操作者に図９で示したような少なく
とも一つの参照画像２９を選択させる。

【００３１】参照画像２９の選択においては、復元対象
画像２８との類似性や、場所や時刻などの撮影情報に基
づいて、操作者の操作を必要とせずに自動的に選択した
り、いくつかの画像に絞り込んだりすることも可能であ
る。また、復元対象画像２８，参照画像２９共に、前述
の如く既に記憶部２３に記憶されていた画像が選択され
る代わりに、新たに撮像部２１により撮影されたり、他
の機器や記憶媒体に記憶されていた画像がデータ入出力
部２４から入力されたりしても良い。具体例としては、
所望する観光地の絵葉書の写真をスキャナで取り込んだ
り、ＣＤ−ＲＯＭやインターネットによる配信から取り
込んだりすること等が挙げられる。

【００３２】続いて、ステップＳ１５において、各画像
に共通する被写体を検索することにより、劣化関数の推
定に利用される特徴領域が抽出される。具体的な例を挙
げると、同じ被写体を撮影した複数の画像のうち、ぶれ
が生じているがぶれ以外は問題のない（撮影者等が気に
入っている）画像を復元対象画像２８とし、ぶれは生じ
ていないが他の理由で問題のある（撮影者等が気に入ら
ない）画像を参照画像２９と指定する。

【００３３】或いは別の例として、撮影者による唯一の
撮影画像ではあるがぶれが生じているものを復元対象画
像２８とし、観光地の絵葉書のように、同じ被写体（こ
こでは背景の山）を含みながら他の撮影者や日時に撮影
された画像を、図１０に示すような参照画像３０と指定
する。若しくは、異なる被写体であっても全体的に或い
は部分的に類似している被写体を参照画像として使用す
ることもできる。

【００３４】続いて、ステップＳ２０において、復元対
象画像２８と参照画像２９を用いて劣化関数を推定す
る。参照画像２９は、これに対する復元対象画像２８の
劣化を示すものであり、複数撮影された画像の中から選
択されたものであっても良いし、複数撮影された画像か
ら合成されたものであっても良い。また、複数の画像を
そのまま用いても良い。

【００３５】そして、ステップＳ２５において、劣化関
数による劣化が所定の値より大きいか否かを判定し、大
きい場合はステップＳ３０に移行する。大きくない場合
は処理を終了する。ステップＳ３０において、復元対象
画像２８と劣化関数を用いて、復元対象画像２８に生じ
ていた画像劣化を取り除き、劣化のない画像に復元す
る。復元後、撮影を終了する。

【００３６】以上の方法により、既に撮影されていた画
像である復元対象画像２８から、図１１に示すような、
ボケやぶれ等の劣化を除いた画像３１が得られる。な
お、以上の各実施形態においては、画像の劣化として、
ぶれが生じている場合を例示しているが、例えばボケが
生じている場合においても、同様の方法で劣化を復元す
ることが可能である。

【００３７】上述したような、劣化のない画像と劣化の
生じた画像から劣化関数を推定する方法や、劣化した画
像を劣化のない画像に復元するための手法については、
上記第１の実施形態で述べたとおりである。なお、上記
各実施形態では、いわゆるデジタルスチルカメラとして
の構成を例に挙げて説明したが、これに限定されるもの
では勿論無く、以上に説明したような画像処理方法を行
える構成のものであれば良い。

【００３８】なお、特許請求の範囲で言う情報記録媒体
は、実施形態における処理部に対応している。

【００３９】

【発明の効果】以上説明したように、本発明によれば、
特殊な光学系を用いずに、劣化した画像を劣化のない画
像に復元することが可能な撮像装置及び画像処理方法さ
らには画像処理プログラムを提供することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る撮像装置の概略
構成を示すブロック図。

【図２】本実施形態におけるぶれ復元撮影動作の流れを
示すフローチャート。

【図３】復元対象画像を模式的に示す図。

【図４】参照画像を模式的に示す図。

【図５】撮影者の意図通りの画像を模式的に示す図。

【図６】本発明の第２の実施形態に係る撮像装置の概略
構成を示すブロック図。

【図７】本実施形態におけるぶれ復元処理動作の流れを
示すフローチャート。

【図８】復元対象画像を模式的に示す図。

【図９】参照画像を模式的に示す図。

【図１０】他の参照画像を模式的に示す図。

【図１１】劣化を除いた画像を模式的に示す図。

【符号の説明】

１ レンズ ２ 絞り ３ 撮像素子 ４ 処理部 ５ 記憶部 ６ ＣＰＵ ８ 焦点距離検出手段 ７ 絞り駆動手段 ９ フラッシュ発光手段 １０ 操作部材 １１ 表示手段１１がそれぞれＣＰＵ６に接続されて
いる。 １２ 復元対象画像 １３ 参照画像 １４ 画像 ２１ 撮像部 ２２ 処理部 ２３ 記憶部 ２４ データ入出力部である。 ２５ ＣＰＵ ２６ 操作部材 ２７ 表示手段 ２８ 復元対象画像 ２９ 参照画像 ３０ 参照画像 ３１ 画像

フロントページの続き Ｆターム(参考） 2H053 CA41 2H054 AA01 5B057 CA08 CA12 CA16 CB08 CB12 CB16 CC01 CE20 CH01 CH09 CH11 DC33 DC39 5C022 AA13 AB21 AB55 AC32 AC42 AC69

Claims (13)

【特許請求の範囲】
1. 【請求項１】 劣化して撮像された復元対象画像と、該
   復元対象画像と比較する参照画像とを分析し、前記復元
   対象画像における劣化情報を求め、該劣化情報に基づい
   て前記復元対象画像を復元することを特徴とする撮像装
   置。
2. 【請求項２】 前記参照画像は、前記復元対象画像を撮
   像した手段とは別の手段により取得したものであること
   を特徴とする請求項１に記載の撮像装置。
3. 【請求項３】 前記参照画像は、前記復元対象画像を撮
   像した時刻とは異なる時刻に、撮影者の指示により撮像
   したものであることを特徴とする請求項１に記載の撮像
   装置。
4. 【請求項４】 前記参照画像は、前記復元対象画像の撮
   像前或いは撮像後に自動的に撮像したものであることを
   特徴とする請求項１に記載の撮像装置。
5. 【請求項５】 前記復元対象画像が所定の撮像条件とな
   ったときに、前記参照画像が撮像されることを特徴とす
   る請求項４に記載の撮像装置。
6. 【請求項６】 前記参照画像は、前記復元対象画像と同
   じ撮像条件で、少なくとも１つ撮像されることを特徴と
   する請求項５に記載の撮像装置。
7. 【請求項７】 前記参照画像は、前記復元対象画像と異
   なる撮像条件で、少なくとも１つ撮像されることを特徴
   とする請求項５に記載の撮像装置。
8. 【請求項８】 前記参照画像は、前記復元対象画像の露
   光時間よりも短い露光時間で撮像されることを特徴とす
   る請求項７に記載の撮像装置。
9. 【請求項９】 前記参照画像は、前記復元対象画像の絞
   り開口径よりも大きい絞り開口径で撮像されることを特
   徴とする請求項８に記載の撮像装置。
10. 【請求項１０】 前記参照画像は、フラッシュを発光さ
    せて撮像されることを特徴とする請求項８に記載の撮像
    装置。
11. 【請求項１１】 劣化した復元対象画像と、該復元対象
    画像と比較する参照画像とを分析し、前記復元対象画像
    における劣化情報を求め、該劣化情報に基づいて前記復
    元対象画像を復元することを特徴とする画像処理方法。
12. 【請求項１２】 劣化した復元対象画像と、該復元対象
    画像と比較する参照画像とを分析し、前記復元対象画像
    における劣化情報を求め、該劣化情報に基づいて前記復
    元対象画像を復元することを特徴とする画像処理プログ
    ラム。
13. 【請求項１３】 請求項１２に記載の画像処理プログラ
    ムを記録した情報記録媒体。