JP2007129354A

JP2007129354A - 画像処理装置

Info

Publication number: JP2007129354A
Application number: JP2005318746A
Authority: JP
Inventors: Fuminori Takahashi; 史紀高橋
Original assignee: Nitto Optical Co Ltd
Current assignee: Nitto Optical Co Ltd
Priority date: 2005-11-01
Filing date: 2005-11-01
Publication date: 2007-05-24
Anticipated expiration: 2025-11-01
Also published as: JP4926450B2

Abstract

【課題】画像処理装置への振動に起因する画像の劣化を確実に是正でき、低コストかつ軽量な画像処理装置を提供する。
【解決手段】元画像を、原画像のデータを利用してのデータ処理によって復元処理する処理部４と、復元処理に利用する振動データを検出する検出部６と、画像を撮影する撮影部２とを有し、処理部４は、検出部６で検出された振動データのうち、撮影部２での撮影期間の全部または一部の期間の間、ならびに撮影開始前の所定期間の間および／または撮影終了後の所定期間の間に相当する振動データを利用して復元処理を行う。検出部６での振動データの検出は、撮影期間とその前後の少なくとも一方の所定期間を合わせた期間行うことが好ましい。
【選択図】図１

Description

本発明は、デジタルカメラやデジタルビデオカメラ等の画像処理装置に関する。

従来から、カメラ等の画像記録装置で被写体を撮影すると、記録される画像には時々劣化が生じることが知られている。画像劣化の要因としては撮影時の手ブレ等がある。手ブレへの対策として、以下の第１および第２の技術が提案されている。第１の技術は、撮影（露光）前の撮影者の手ブレを検出し、ブレ量が許容値を越えている場合に、撮影者に警告を発したり、撮影動作を禁止し、それにより手ブレ補正機能を不要とすることで、低コストかつ軽量なカメラを得る技術である（特許文献１の特許請求の範囲および段落「００１０」参照）。

また第２の技術は、撮影レンズを、モータ等で測定されるブレ方向や大きさに追従させて動かし、手ブレ動作を相殺する手ブレ補正技術である。この技術における手ブレの測定は、たとえばレリーズスイッチの半押し時から全押し後の期間に行われる（特許文献１の段落「０００３」参照）。

特開平１１−３２７０２４号公報

第１の技術を採用すると、低コストかつ軽量なカメラを得ることはできるが、たとえば走行する車内での撮影等、カメラへの振動付与を避けられない状況では、撮影できないことがある。または撮影できたとしても、画像処理装置への振動に起因する画像の劣化を軽減できない。また、第２の技術を採用すると、手ブレ補正は可能だが、モータ等、レンズを駆動するハードウェアを要するため、そのハードウェア自体やそのハードウェアを動かす駆動回路が必要となり、低コストかつ軽量なカメラを得ることができない。また、半押しを行わないときは手ブレが補正されない。

そこで本発明が解決しようとする課題は、振動に起因する、画像の劣化を確実に是正でき、低コストかつ軽量な画像処理装置を提供することである。

上記課題を解決するため、本発明の画像処理装置は、処理対象となる原画像から変化する前の画像もしくは本来撮影されるべきであった画像またはそれらの近似画像（以下、元画像という）を、原画像のデータを利用してのデータ処理によって復元処理する処理部と、復元処理に利用する振動データを検出する検出部と、画像を撮影する撮影部とを有し、処理部は、検出部で検出された振動データのうち、撮影部での撮影期間の全部または一部の期間の間、ならびに撮影開始前の所定期間の間および／または撮影終了後の所定期間の間に相当する振動データを利用して復元処理を行うこととしている。

この発明によれば、画像処理装置が有する検出部で検出された振動データを利用して、元画像に復元する処理を行うため、画像処理装置への振動に起因する画像の劣化を是正できる。また、この復元処理に際しては、データ処理を利用するため、レンズを駆動するハードウェアを要せず、かつ、他のハードウェアの増加を殆ど要しない。すなわち演算処理等のデータ処理で元画像のデータを生成するため、画像処理装置を低コストかつ軽量にすることができる。また、この発明によれば、画像処理装置の撮影期間に限らず、長期間に亘り発生している撮影者の手ブレ等の振動を検出し、その振動データを利用して繰り返し処理をしたり、より正確な点像関数（ブレによって広がった点像の情報）等を算出することができるため、復元処理精度が向上し得る。ここで、撮影期間とは、撮影開始から撮影終了までの期間をいい、いわゆる露光期間と言い換えることができる。

他の発明は、上述した発明に加え、検出部での振動データの検出は、撮影期間と、その前後の少なくとも一方の所定期間を合わせた期間行っている。この構成を採用した場合、撮影期間および、撮影期間以外の振動データをも検出し、収集することで、振動データが多くなり、より正確な振動データとなることから、復元された元画像の精度が高まる。

また他の発明は、上述した発明に加え、処理部は、検出部で検出された振動データが撮影期間をカバーしていないときは、カバーされていない期間を補完する処理を行っている。この構成を採用した場合、何かが原因で撮影期間全ての振動データが得られない場合でも、補完により撮影期間全ての振動データを得ることができる。

また他の発明は、上述した発明に加え、処理部は、振動データを利用して任意の画像データから比較用データを生成し、その後、復元対象となる画像のデータと、比較用のデータとを比較し、得られた差分のデータを、振動データを利用して任意の画像データに配分することで復元データを生成し、その後、この復元データを任意の画像データの代わりに使用し、同様の処理を繰り返すことで、元画像を生成している。

この発明によれば、振動データを利用して、所定のデータを生成することだけで元画像を生成しているので、ハードウェア的な増加はほとんど無く、装置が大型化しない。また、復元データから比較用データを作り、その比較用データと処理対象の原画像のデータを比較するという処理を繰り返し、徐々に元画像を得るので、現実的な復元作業となる。このため、画像の復元に当たって、現実性のある回路処理方式を有する画像処理装置とすることができる。

また更に他の発明は、上述した発明に加え、振動データを利用して、所定の画像データから比較用データを生成し、その後、復元対象となる画像のデータと比較用データを比較し、得られた差分のデータが所定値以下または所定値より小さい場合は処理を停止し、比較用データの元となった所定の画像を、元画像として扱い、差分が所定値より大きいまたは所定値以上の場合は、差分のデータを、振動データを利用して所定の画像データに配分することで、復元データを生成し、この復元データを所定の画像に置き換えて同様な処理を繰り返す処理を行っている。

この発明によれば、振動データを利用して、比較用データを生成し、原画像との比較をし、差が大きいときのみ元画像を生成しているので、ハードウェア的な増加はほとんど無く、装置が大型化しない。また、復元データから比較用データを作り、その比較用データと処理対象の原画像のデータを比較するという処理を繰り返し、徐々に元画像を得るので、現実的な復元作業となる。このため、画像の復元に当たって、現実性のある回路処理方式を有する画像処理装置とすることができる。

本発明により、画像処理装置への振動に起因する画像の劣化を確実に是正でき、低コストかつ軽量な画像処理装置を提供することができる。

以下、本発明の実施の形態に係る画像処理装置１について図を参照しながら説明する。なお、この画像処理装置１は、民生用のカメラとしているが、監視用カメラ、テレビ用カメラ、ハンディタイプのビデオカメラ、内視鏡カメラ、等他の用途のカメラとしたり、顕微鏡、双眼鏡、さらにはＮＭＲ撮影等の画像診断装置等、カメラ以外の機器にも適用できる。

図１には画像処理装置１の構成の概要を示している。画像処理装置１は、人物等の画像を撮影する撮影部２と、その撮影部２を駆動する制御系部３と、撮影部２で撮影された画像を処理する処理部４と、を有している。また、この実施の形態に係る画像処理装置１は、さらに処理部４で処理された画像を記録する記録部５と、角速度センサ等からなり、画像劣化など変化の要因となる振動データ等の変化要因情報を検知する検出部６と、画像劣化等を生じさせる既知の変化要因情報を保存する要因情報保存部７を有する。

撮影部２は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換するＣＣＤやＣ−ＭＯＳ等の撮影素子を備える部分である。制御系部３は、撮影部２，処理部４，記録部５，検出部６，および要因情報保存部７等、画像処理装置１内の各部を制御するものである。

処理部４は、画像処理プロセサで構成されており、ＡＳＩＣ(Application Specific Integrated Circuit)のようなハードウェアで構成されている。処理部４では、撮影部２で撮影された画像の画素数を減じる処理が行われることがある。処理部４は、検出する手ブレ等の振動検出のためのサンプリング周波数を発生させていると共にそのサンプリング周波数を検出部６に供給している。また処理部４は、振動検出の開始と終了を制御している。振動検出期間は、処理部４に配置されるタイマー等で制御される。

また、この処理部４には、後述する比較用データを生成する際の元となる画像が保管されることもある。さらに処理部４は、ＡＳＩＣのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。このように、処理部４には、多数の、異なる役割を担わせることができる。よって、このような処理部４を有する画像処理装置１は、低コストかつ軽量に構成できる。記録部５は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段や、ＤＶＤ等を使用する光記録手段等を採用しても良い。

検出部６は、図２に示すように、画像処理装置１の光軸であるＺ軸に対して垂直方向となるＸ軸、Ｙ軸の回りの速度を検出する２つの角速度センサを備えるものである。またこの検出部６に、撮影者と画像処理装置１との接触の有無を認識して、振動データ検出開始時期を決定する手段を、必要に応じて備えさせてもよい。その手段とは、たとえば撮影者が撮影のためにカメラを持って構える時に、ほぼ必ず接触するであろうカメラの位置（これはカメラの形状によって異なるため一概に言うことができないが、たとえばシャッター等の撮影開始用ボタンまたはその周辺部等）に配置した押圧センサや接触センサ等である。

ところで、カメラで撮影する際の手ブレは、Ｘ方向、Ｙ方向、Ｚ方向の各方向への移動やＺ軸回りの回動も生ずるが、各変動により最も大きな影響を受けるのは、Ｙ軸回りの回転とＸ軸回りの回転である。これら２つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図２のＸ軸回りとＹ軸回りの２つの角速度センサのみを配置している。しかし、より完全を期すためＺ軸回りの角速度センサをさらに付加したり、Ｘ方向やＹ方向への移動を検出するセンサを付加しても良い。本実施の形態に係る画像処理装置は、撮影者が発する手ブレ等の振動のデータを撮影（露光）時期間ならびに、その前または後も検出する。よって、より高精度に振動データを検出するのが好ましく、Ｚ軸回りの角速度センサをさらに付加することが好ましい。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。

要因情報保存部７は、既知の劣化要因情報などの変化要因情報、たとえば光学系の収差や検出された振動データや、それらに基づいて算出された点像関数等を保存しておく記録部である。その記録に際し、たとえば検出期間の全てに検出された振動データの中から、利用するデータを露光期間のみとし、かつ手ブレ周波数帯域に制限させ、その露光期間かつ手ブレ周波数帯域のデータを利用して算出された点像関数等を記録することができる。振動データ検出範囲を手ブレ周波数帯域に相当する低周波域に限定した場合、手ブレ周波数帯域への制限は不要としても良い。しかし、測定誤差の軽減や処理時間を早めるうえでは、利用するデータを手ブレ周波数と言われている数Ｈｚから十数Ｈｚの周波数のみに制限させるのが好ましい。なお、撮影者が乗物等に乗っている状況の場合は、手ブレの周波数帯域に制限する処理を行わないようにするのが好ましい。手ブレ周波数帯域への制限処理は、画像処理装置１にオンオフのスイッチを設ける等して撮影者が操作するのが好ましい。

要因情報保存部７に記録された変化要因情報は、処理部４で行う繰り返し処理（詳細は後述）で用いられる。一方、点像関数は、たとえばその算出後の直近に撮影された原画像の復元処理（点像関数である伝達関数を利用しての復元処理）の際に、処理部４で用いられる。そして次回の撮影の際には、前回の撮影終了後から当該次回の撮影終了までの期間、または次回の撮影開始前から当該次回の撮影終了後所定期間経過するまでの期間のデータから、同様に算出され記録された点像関数を、原画像の復元処理の際に用いる。ここで、原画像の復元処理を実行する時期は、撮影用の電源がオフされている時、処理部４が稼働していない時、処理部４の稼働率が低い時等、原画像を撮影した時期から遅らせた時期とすることができる。その場合には、記録部５に保存された原画像データおよび要因情報保存部７に保存された、その原画像についての点像関数等の変化要因情報が、それぞれが関連づけられた状態で長期間に亘り保存される。このように、原画像の復元処理を実行する時期を、原画像を撮影した時期から遅らせる利点は、種々の処理を伴う撮影時の処理部４の負担を軽減できることである。

検出部６にて画像処理装置１の振動データを検出する期間は、撮影（露光）開始の所定期間前から撮影終了後所定期間の範囲としてよい。この実施の形態では、その検出期間は、撮影開始１秒前から撮影終了１秒後の範囲としている。この数値は、たとえばそれぞれ２０ミリ秒としたり、他の値とすることができる。また、撮影開始２０ミリ秒前から撮影終了時の範囲や、撮影開始時から撮影終了２０ミリ秒後の範囲等とすることができる。このように振動の検出期間に、少なくとも撮影開始時から撮影終了時までの撮影期間（露光期間）の前後のいずれか一方を含ませることは、現実に撮影した期間における振動データがより正確かつ確実なものとなり、好ましい。ここで、検出期間または利用する振動データに撮影開始時から撮影期間内の一部を含ませると、ある程度撮影期間内全体の振動データを予測できるため、撮影期間内全体を検出期間に含ませるのと同様に好ましい。よって、検出期間または利用する振動データを撮影開始前から撮影期間内の一部まで、または撮影開始後から撮影終了後の所定期間までとすることもできる。

振動データを予測する方法の例を述べる。たとえば、既に検出した振動データが、ほぼ一定の周波数および振幅であるなら、その周波数および振幅の振動データが、引き続き得られるものと予測できる。このようにして、処理部４は、検出部６で検出された振動データが撮影期間をカバーしていないときは、カバーされていない期間を内挿法や外挿法等により補完する処理を行うことができる。

ここで、画像処理装置１の振動データのうち、利用する振動データを検出する期間を、撮影開始１秒前から撮影終了１秒後の範囲内の期間とする構成とした場合について詳述する。

画像処理装置１は、動作状態となると検出部６で振動を常時検出している。しかし、その振動データは、最新の１秒間のみ、要因情報保存部７に保存される。１秒以上前のデータは逐次消去される。撮影が開始されると、その信号を検出し、保存されている１秒間に加え、撮影期間と、その後１秒間のデータを要因情報保存部７に保存する。

画像処理装置１の撮影期間内は、撮影者が画像処理装置１へ与える手ブレ振動を意識的に抑えようとしている。そして、その意識は撮影開始前から撮影終了後にも、概ねはたらいている。一方、撮影開始前から撮影終了後以外の期間は撮影者の振動が手ブレ以外の、手ブレよりも大きな動作（たとえば、画像処理装置１を持ったまま歩行する動作等）を伴う場合が多い。よって、この構成を採用することにより、そのような動作や振動のデータを検出対象から除外して、人体が発する手ブレ振動として、妥当な振動を多く含む振動データを検出できる。また、その振動データを用いて、点像関数等を算出して要因情報保存部７に記録するため、復元処理精度が向上し得る。

一方、画像処理装置１の側からみると、振動データの検出開始直後には、検出開始前から継続して発せられる振動を検知することとなる。ここで、どんなに高性能な角速度センサまたは角加速度センサでも、若干の応答遅れがあるため、検出部６は検出開始直後には、その振動に追従して振動を検知することが難しい。よって、仮に振動の検出開始時期と撮影（露光）開始時期とを一致させると、撮影開始直後の振動データは不正確になる。そこで、撮影開始１秒前からの振動データを検出しておくことで、撮影開始直後の振動データを正確にすることができる。そして、撮影開始１秒前から撮影終了１秒後までの振動データのうち、撮影期間中に相当する期間に相当する振動データを使用すると、より正確な復元処理ができる。さらに、撮影期間及および撮影期間以外の振動データを検出し、収集することで、振動データが多くなり、利用する振動データは、より正確な振動データとなることから、復元画像となる元画像の精度が高まる。

ここで、振動データを検出または利用する期間は、任意に設定できることは言うまでもない。もちろん、振動データの検出開始または利用開始から撮影開始までの期間と、撮影終了から振動データの検出終了または利用終了までの期間とを異ならせることができる。また、撮影者が振動データの検出または利用をする期間を、調整して設定できるようにすることが好ましい。その理由は、個々の撮影者に特有な動作等を考慮した画像復元処理が可能となるためである。たとえば、撮影開始前よりも撮影終了後の方が撮影期間の手ブレに近似した手ブレを発する撮影者のためには、撮影期間および撮影終了後の所定期間の振動データを利用するよう設定する。また、振動データを検出または利用する期間は、露光期間前の所定期間から露光終了後の所定期間の間における、振動データを検出しない期間を挟んだ複数の期間とすることもできる。

なお、上述のように時間で制御するのではなく、シャッター等が半押しまたは全押し状態となったら振動データの検出をしても良い。さらに、画像処理装置１の本体に押圧センサや接触センサを設けた場合には、これらのセンサが押圧や接触を感知したら振動データの検出を開始させることもできる。

なお、この実施の形態では、要因情報保存部７には、光学系の収差やレンズのひずみの情報が保存されているが、後述する手ブレのぼけの復元の際にはそれらの情報は、利用していない。

次に、以上のように構成された画像処理装置１の処理部４の画像復元処理方法の概要を、図３に基づいて説明する。

図３中、「Ｉ_０」は、任意の初期画像であって、処理部４の記録部に予め保存されている画像のデータである。「Ｉ_０’」は、その初期画像のデータのＩ_０の劣化画像のデータを示し、比較のための比較用データである。「Ｇ」は、検出部６で検出された振動データ等の変化要因情報（＝劣化要因情報（点像関数等））のデータで、処理部４の記録部または要因情報保存部７に保存されるものである。「Ｉｍｇ’」は、撮影された画像、すなわち劣化画像のデータを指し、この処理において処理対象となる原画像のデータである。

「δ」は、原画像のデータＩｍｇ’と、比較用データＩ_０’との差分のデータである。「ｋ」は、変化要因情報のデータに基づく配分比である。「Ｉ_０＋ｎ」は、初期画像のデータＩ_０に、差分のデータδを変化要因情報のデータに基づいて配分して新たに生成した復元画像のデータ（復元データ）である。「Ｉｍｇ」は、原画像から変化する前の画像もしくは本来撮影されるべきであった画像で、本来の正しい画像のデータである。ここで、ＩｍｇとＩｍｇ’の関係は、次の（１）式で現されるとする。
Ｉｍｇ’＝Ｉｍｇ×Ｇ …（１）

なお、差分のデータδは、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報のデータＧにより異なり、次の（２）式で現される。
δ＝ｆ（Ｉｍｇ’，Ｉｍｇ，×Ｇ） …（２）

処理部４の処理ルーチンは、まず、任意の画像データＩ_０を用意することから始まる（ステップＳ１０１）。この初期画像のデータＩ_０としては、劣化している原画像のデータＩｍｇ’を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。ステップＳ１０２で、（１）式のＩｍｇの代わりに初期画像となる任意の画像のデータＩ_０を入れ、劣化画像である比較用データＩ_０’を求める。次に、劣化画像である原画像のデータＩｍｇ’と比較用データＩ_０’とを比較し、差分のデータδを算出する（ステップＳ１０３）。

次に、ステップＳ１０４で、この差分のデータδが所定値以上であるか否かを判断し、所定値以上であれば、ステップＳ１０５で新たな復元画像のデータ（＝復元データ）を生成する処理を行う。すなわち、差分のデータδを変化要因情報のデータＧに基づいて、任意の画像データＩ_０に配分し、新たな復元データＩ_０＋ｎを生成する。その後、ステップＳ１０２，Ｓ１０３，Ｓ１０４を繰り返す。

ステップＳ１０４において、差分のデータδが所定値より小さい場合、処理を終了する（ステップＳ１０６）。そして、処理を終了した時点での復元データＩ_０＋ｎを元画像のデータＩｍｇと推定し、そのデータを記録部５に記録する。なお、記録部５には、初期画像のデータＩ_０や変化要因情報のデータＧを記録しておき、必要により処理部４に渡すようにしても良い。

以上の処理方法の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くのである。逆問題として解く場合、理論上は可能であるが、現実問題としては困難である。

最適化問題として解くということは、次の条件を前提としている。
すなわち、
（１）入力に対する出力は、一意に決まる。
（２）出力が同じであれば、入力は同じである。
（３）出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。

このことを換言すれば、図４（Ａ）（Ｂ）に示すように、原画像のデータＩｍｇ’と近似である比較用データＩ_０’（Ｉ_０＋ｎ’）を生成できれば、その生成の元データとなる初期画像のデータＩ_０または復元データＩ_０＋ｎは、元画像のデータＩｍｇに近似したものとなる。

なお、この実施の形態では、角速度検出センサのサンプリング周波数を６０Ｈｚから２４０Ｈｚ内としているが、高周波数を検出できるように５μｓｅｃ毎に角速度を検出してもよい。また、差分のデータδの判定基準となる値は、各データを８ビット（０〜２５５）で現した場合に、この実施の形態では「６」としている。すなわち、６より小さい、つまり５以下の時は、処理を終了している。

次に、図３および図４に示す処理方法の詳細を、図５，図６，図７，図８，図９，図１０，図１１および図１２に基づいて説明する。

（手ブレの復元アルゴリズム）
手ブレが無いとき、所定の画素に対応する光エネルギーは、露光期間中、その画素に集中する。また、手ブレがある場合、光エネルギーは、露光期間中にぶれた画素に分散する。さらに、露光期間中のブレがわかれば、露光期間中のエネルギーの分散の仕方がわかるため、ぶれた画像からブレの無い画像を作ることが可能となる。

以下、簡単のため、横一次元で説明する。画素を左から順にn-1，n，n+1，n+2，n+3，…，とし、ある画素nに注目する。ブレが無いとき、露光期間中のエネルギーは、その画素に集中するため、エネルギーの集中度は「１．０」である。この状態を図５に示す。このときの撮影結果を、図６の表に示す。図６に示すものが、劣化しなかった場合の正しい画像データＩｍｇとなる。なお、各データは、８ビット（０〜２５５）のデータで現している。

露光期間中にブレがあり、露光期間中の５０％の期間はn番目の画素に、３０％の時間はn+1番目の画素に、２０％の時間はn+2番目の画素にそれぞれぶれていたとする。エネルギーの分散の仕方は、図７に示す表のとおりとなる。これが変化要因情報のデータＧとなる。

ブレは、全ての画素で一様であるので、上ブレ（縦ブレ）が無いとすると、ブレの状況は、図８に示す表のとおりとなる。図８中の「撮影結果」として示されるデータが、本来の正しい画像のデータＩｍｇで、「ブレ画像」として示されるデータが、劣化している原画像のデータＩｍｇ’となる。具体的には、たとえば「ｎ−３」の画素の「１２０」は、ブレ情報である変化要因情報のデータＧの「０．５」「０．３」「０．２」の配分比に従い、「ｎ−３」の画素に「６０」、「ｎ−２］の画素に「３６」、「ｎ−１」の画素に「２４」というように分散する。同様に、「ｎ−２」の画素データである「６０」は、「ｎ−２」に「３０」、「ｎ−１」に「１８」、「ｎ」に「１２」として分散する。この劣化している原画像のデータＩｍｇ’と、図７に示す変化要因情報のデータＧから元画像を算出することとなる。

ステップＳ１０１に示す任意の画像データＩ_０としては、どのようなものでも採用できるが、この説明に当たっては、原画像のデータにＩｍｇ’を用いる。すなわち、Ｉ_０＝Ｉｍｇ’として処理を開始する。図９の表中に「入力」とされたものが初期画像のデータＩ_０に相当する。このデータＩ_０すなわちＩｍｇ’に、ステップＳ１０２で変化要因情報のデータＧをかける。すなわち、たとえば、初期画像のデータＩ_０の「ｎ−３」の画素の「６０」は、ｎ−３の画素に「３０」が、「ｎ−２」の画素に「１８」が、「ｎ−１」の画素に「１２」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力Ｉ_０’」として示される比較用データＩ_０’が生成される。このため、ステップＳ１０３の差分のデータδは、図９の最下欄に示すようになる。

この後、ステップＳ１０４にて差分のデータδの大きさを判断する。具体的には、差分のデータδが全て絶対値で５以下となった場合に処理を終了するが、図９に示す差分のデータδは、この条件に合わないため、ステップＳ１０５に進む。すなわち、差分のデータδを変化要因情報のデータＧを使用して、任意の画像のデータＩ_０に配分して、図１０中の「次回入力」として示される復元データＩ_０＋ｎを生成する。この場合、第１回目であるため、図１０では、Ｉ_０＋１と現している。

差分のデータδの配分は、たとえば「ｎ−３」の画素データ「３０」に自分の所（＝「ｎ−３」の画素）の配分比である０．５をかけた「１５」を「ｎ−３」の画素に配分し、また「ｎ−２」の画素のデータ「１５」にその「ｎ−２」の画素にきているはずの配分比である０．３をかけた「４．５」を配分し、さらに、「ｎ−１」の画素のデータ「９．２」に、その「ｎ−１」の画素にきているはずの配分比である０．２をかけた「１．８４」を配分する。「ｎ−３」の画素に配分された総量は、「２１．３４」となり、この値を初期画像のデータＩ_０（ここでは原画像のデータＩｍｇ’を使用）にプラスして、復元データＩ_０＋１を生成している。

図１１に示すように、この復元データＩ_０＋１がステップＳ１０２の入力画像のデータ（＝初期画像のデータＩ_０）になり、ステップＳ１０２が実行され、ステップＳ１０３へと移行し、新しい差分のデータδを得る。その新しい差分のデータδの大きさをステップＳ１０４で判断し、所定値より大きい場合、ステップＳ１０５で新しい差分のデータδを前回の復元データＩ_０＋１に配分し、新しい復元データＩ_０＋２を生成する（図１２参照）。その後、ステップＳ１０２の遂行により、復元データＩ_０＋２から新しい比較用データＩ_０＋２’が生成される。このように、ステップＳ１０２，Ｓ１０３が実行された後、ステップＳ１０４へ行き、そこでの判断によりステップＳ１０５へ行ったり、ステップＳ１０６へ移行する。このような処理を繰り返す。

この画像処理装置１では、処理するに当たり、ステップＳ１０４において、事前に処理回数と、差分のデータδの判断基準値のいずれか一方または両者を設定できる。たとえば処理回数として２０回、５０回等任意の回数を設定できる。また、処理を停止させる差分のデータδの値を８ビット（０〜２５５）中の「５」と設定し、５以下になったら処理を終了させたり、「０．５」と設定し「０．５」以下になったら処理を終了させることができる。この設定値を任意に設定できる。処理回数と判断基準値の両者を入力した場合、いずれか一方が満足されたときは処理は停止される。なお、両者の設定を可能としたとき、判断基準値を優先し、所定の回数の処理では判断基準値内に入らなかった場合、更に所定回数の処理を繰り返すようにしても良い。

この実施の形態の説明の中では、要因情報保存部７に保存されている全ての情報を利用しなかったが、ここに保存されている既知の劣化要因、たとえば光学収差やレンズのひずみなどのデータを使用するようにしても良い。その場合、たとえば、先の例（図３）の処理方法（反復処理）では、振動データと光学収差の情報を合わせて１つの劣化要因として捉えて処理を行うのが好ましいが、振動データでの処理を終了した後に光学収差の情報での復元処理を行うようにしても良い。

以上、本発明の実施の形態における画像処理装置１について説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、処理部４で行ったデータ処理は、ソフトウェアで構成しているが、一部の処理を分担して行うようにした部品からなるハードウェアを部分的に含ませて構成しても良い。

また、処理対象となる画像としては原画像の他に、その原画像を色補正したり、フーリエ変換したり等、加工を施したものとしても良い。さらに、比較用データとしては、振動データからなる変化要因情報のデータＧを使用して生成したデータ以外に、変化要因情報のデータＧを使用して生成したものに色補正を加えたり、フーリエ変換したりしたデータとしても良い。また、変化要因情報のデータとしては、劣化要因情報のデータのみではなく、単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含むものとする。

また、処理の反復回数が画像処理装置１側で自動的にまたは固定的に設定されている場合、その設定された回数を変化要因情報のデータＧによって変更するようにしても良い。たとえば、ある画素のデータがブレにより多数の画素に分散している場合は、反復回数を多くし、分散が少ない場合は反復回数を少なくするようにしても良い。

さらに、反復処理中に、差分のデータδが発散してきたら、すなわち大きくなっていったら処理を中止させるようにしても良い。発散しているか否かは、たとえば差分のデータδの平均値を見てその平均値が前回より大きくなったら発散していると判断する方法を採用できる。また、反復処理中に、入力を異常な値に変更しようとしたときには、処理を中止させるようにしても良い。たとえば８ビットの場合、変更されようとする値が２５５を超える値であるときには、処理を中止させる。また、反復処理中、新たなデータである入力を異常な値に変更しようとしたとき、その値を使用せず、正常な値とするようにしても良い。たとえば、８ビットの０〜２５５の中で、２５５を超える値を入力データとしようとした際は、マックスの値である２５５として処理するようにする。

また、出力画像となる復元データを生成する際、変化要因情報のデータＧによっては、復元させようとする画像の領域外へ出てしまうようなデータが発生する場合がある。このような場合、領域外へはみ出るデータは反対側へ入れる。また、領域外から入ってくるべきデータがある場合は、そのデータは反対側から持ってくるようにするのが好ましい。たとえば、領域内の最も下に位置する画素ＸＮ１のデータから、さらに下の画素に割り振られるデータが発生した場合、その位置は領域外になる。そこで、そのデータは画素ＸＮ１の真上で最も上に位置する画素Ｘ１１に割り振られる処理をする。画素ＸＮ１の隣の画素Ｎ２についても同様に真上で最上覧の画素Ｘ１２（＝画素Ｘ１１の隣り）に割り振ることとなる。

また、復元データＩ_０＋ｎを生成するとき、配分比ｋを使用せず、対応する画素の差分のデータδをそのまま前回の復元データＩ_０＋ｎ−１の対応する画素に加えたり、対応する画素の差分のデータδを変倍した後に加えたり、また差分のデータδが割り振られた後のデータｋδ（図１０、図１２中の「更新量」として示される値）を変倍して、前回の復元データＩ_０＋ｎ−１に加えるようにしても良い。これらの処理方法をうまく活用すると、処理速度が速くなる。

また、復元データＩｏ＋ｎを生成するとき、劣化等の変化要因の重心を算出し、その重心のみの差分、またはその差分の変倍を前回の復元データＩｏ＋ｎ−１に加えるようにしても良い。この考え方、すなわち、変化要因の重心を利用した処理方法を、図３に示す処理方法を利用した第１の処理方法として、図１３および図１４に基づいて以下に説明する。

図１３に示すように、正しい画像のデータＩｍｇが画素１１〜１５，２１〜２５，３１〜３５，４１〜４５，５１〜５５で構成されているとき、図１３（Ａ）に示すように、画素３３に注目する。手ブレなどにより画素３３が画素３３，４３，５３，５２の位置へと動いていくと、劣化した画像である原画像のデータＩｍｇ’では、図１３（Ｂ）に示すように、画素３３，４３，５２，５３に初めの画素３３の影響が出る。

このような劣化の場合、画素３３が移動する際、画素４３の位置に最も長時間位置していたとすると、劣化、すなわち変化の要因の重心は、正しい画像のデータＩｍｇ中の画素３３に関しては原画像のデータＩｍｇ’では画素４３の位置にくる。これにより、差分のデータδは、図１４に示すように、原画像のデータＩｍｇ’と比較用データＩｏ’のそれぞれの画素４３の差として計算する。その差分のデータδは、初期画像のデータＩｏや復元データＩｏ＋ｎの画素３３に加えられる。

また、先の例で言えば、「０．５」「０．３」「０．２」の３つの重心は、最も値が大きい「０．５」の位置であり、自分の位置となる。よって「０．３」や「０．２」の割り振りを考慮せず、差分のデータδの「０．５」または０．５の変倍分のみ自己の位置に割り振るようにすることとなる。このような処理は、ブレのエネルギーが集中している場合に好適となる。

さらに、変化要因情報のデータＧの内容によって自動的に上述した各処理方法を選択させるようにすることもできる。たとえば、処理方法として、図５〜図１２に示したように、（１）配分比ｋを使用して差分のデータδを配分する方法（実施例方式）、（２）対応する画素の差分、または差分のデータδを変倍する方法（対応画素方式）、（３）劣化要因の重心を検出してその重心部分のデータを利用する方法（重心方法）の３方法を実行できるプログラムを処理部４内に保存しておき、劣化要因の状況を分析し、その分析結果に基づき、その３つの方法のいずれか１つを選択するようにする。また、３つの方法のうちいずれか複数を選択し、１ルーチンの度に交互に利用したり、最初の数回はある方式で処理し、その後は他の方式で処理するようにしても良い。

また、復元処理の高速化を図る意味で、逆問題と組み合わせる方法が存在する。すなわち、たとえば原画像の画像データから画素数を減じた縮小データで反復処理を行い、縮小した原画像から縮小した復元データへの伝達関数を算出する。そして算出された伝達関数を拡大、補間し、その拡大、補間された伝達関数を使って元画像の復元データを得る。この処理方法は大きな画像（画素数の多い画像）の処理に有利となる。

以下に、大きな画像の復元に有利な高速処理化の基本的な考え方について説明する。

反復処理だけでは、どうしても収束に時間がかかってしまう。この欠点は、大きな画像の場合、顕著となる。一方、周波数空間でのデコンボリューションは、高速フーリエ変換（Fast Fourier Transform:FFT）を利用して高速計算ができるため、非常に魅力的である。ここでいう光学的なデコンボリューションとは、歪みやぼけなどにより劣化等した画像からその歪みなどを除去して、劣化等していない元画像を復元することをいう。

画像の場合、入力をｉｎ（ｘ）、出力をｏｕ（ｘ）、伝達関数をｇ（ｘ）としたとき、理想状態では、出力ｏｕ（ｘ）はコンボリューション積分となり、
ｏｕ（ｘ）＝∫ｉｎ（ｔ）ｇ（ｘ−ｔ）ｄｔ…（３）
となる。なお、「∫」は積分の記号である。この式（３）は、周波数空間で、
Ｏ（ｕ）＝Ｉ（ｕ）Ｇ（ｕ）…（４）
となる。この既知の出力ｏｕ（ｘ）から、伝達関数ｇ（ｘ）または未知の入力ｉｎ（ｘ）を求めるのがデコンボリューションであり、この目的のため、周波数空間で、Ｉ（ｕ）＝Ｏ（ｕ）/Ｇ（ｕ）が求められれば、これを実空間に戻すことで、未知の入力ｉｎ（ｘ）を求めることができる。

しかし、実際はノイズ等より、式（３）は、「ｏｕ（ｘ）＋α（ｘ）＝∫ｉｎ（ｔ）ｇ（ｘ−ｔ）ｄｔ＋α（ｘ）」となる。ここで、「ｏｕ（ｘ）＋α（ｘ）」は既知だが、ｏｕ（ｘ）とα（ｘ）のそれぞれは未知である。これを、たとえ近似的に逆問題として解いたとしても、充分満足できる解を得ることは現実的には難しい。そこで、ｏｕ（ｘ）＋α（ｘ）＝∫ｉｎ（ｔ）ｇ（ｘ−ｔ）ｄｔ＋α（ｘ）≒∫ｊｎ（ｔ）ｇ（ｘ−ｔ）ｄｔとなる、ｊｎ（ｘ）を、反復処理法を用いて収束させていき、得るのが上述した図３の処理フローである。
ここで、「α（ｘ）≪ｏｕ（ｘ）」であれば、ｊｎ（ｘ）≒ｉｎ（ｘ）と考えられる。

しかしながら、この方法は全データ領域内での計算を反復、収束させるため、充分満足な解は得られるが、データ数が多くなると時間がかかるのが欠点である。一方、ノイズの無い理想的状態では、周波数空間でのデコンボリューション計算で高速に解を求めることができる。そこで、この２つの処理を組み合わせることで、充分満足な解を高速で得ることができる。

このような処理方法としては、２つの方法が考えられる。第１は、データを間引く画素数を減じる方法である。間引く場合、たとえば、図１５に示すように原画像のデータＩｍｇ’が、画素１１〜１６，２１〜２６，３１〜３６，４１〜４６，５１〜５６，６１〜６６で構成されているとき、１つおきに画素を間引き、画素１１，１３，１５，３１，３３，３５，５１，５３，５５からなる４分の１の大きさの原画像縮小データＩＳｍｇ’を生成する方法がある。

このように、原画像のデータＩｍｇ’と変化要因情報データＧとを間引き、間引かれた原画像縮小データＩＳｍｇ’と縮小された変化要因情報のデータＧＳを生成し、原画像縮小データＩＳｍｇ’と縮小された変化要因情報のデータＧＳを用いて、図３に示す反復処理を行い、原画像縮小データＩＳｍｇ’へ変化する前の縮小元画像ＩＳｍｇに近似する充分満足な間引かれた近似した縮小復元データＩＳｏ＋ｎを得る。

この縮小された近似する縮小復元データＩＳｏ＋ｎを原画像縮小データＩＳｍｇ’へ変化する前の縮小元画像ＩＳｍｇ、すなわち正しい画像Ｉｍｇの縮小した画像と推定する。そして、原画像縮小データＩＳｍｇ’は、縮小復元データＩＳｏ＋ｎと伝達関数ｇ（ｘ）のコンボリューション積分と考え、得られた縮小復元データＩＳｏ＋ｎと既知の原画像縮小データＩＳｍｇ’から未知の伝達関数ｇ１（ｘ）を得ることができる。

縮小復元データＩＳｏ＋ｎは充分満足なデータではあるが、あくまで近似である。したがって、本来の復元データＩｏ＋ｎと原画像のデータＩｍｇ’の伝達関数ｇ（ｘ）は、縮小されたデータでの反復処理で得られた伝達関数ｇ１（ｘ）ではない。そこで、縮小復元データＩＳｏ＋ｎと縮小した原画像のデータである原画像縮小データＩＳｍｇ’から伝達関数ｇ１（ｘ）を算出し、算出した伝達関数ｇ１（ｘ）を拡大し、拡大した間を補間して、修正することで得られた新伝達関数ｇ２（ｘ）を、元データとなる原画像のデータＩｍｇ’に対する伝達関数ｇ（ｘ）とする。新伝達関数ｇ２（ｘ）は、得られた伝達関数ｇ１（ｘ）に対して原画像縮小データの縮小率の逆数倍にし、その後、拡大した間の値を線形補間やスプライン補間等の補間処理をすることで得られる。たとえば、図１５のように縦横共に１／２に間引いた場合、１／４の縮小率となるため、逆数倍としては４倍となる。

そして、その修正した新伝達関数ｇ２（ｘ）（＝ｇ（ｘ））を使用し、周波数空間でデコンボリューション計算（ボケを含む画像群から計算によってボケを除去する計算）を行い、全体画像の完全な復元データＩｏ＋ｎを得て、それを劣化していない元の正しい画像Ｉｍｇ（元画像）と推定する。

以上の処理の流れを、図１６に示すフローチャート図で示す。

ステップＳ２０１では、原画像のデータＩｍｇ’と変化要因情報のデータＧを１／Ｍに縮小する。図１５の例では１／４に縮小される。得られた原画像縮小データＩＳｍｇ’と、縮小変化要因情報のデータＧＳと、任意の画像（所定の画像）のデータＩｏとを使用し、図３に示すステップＳ１０２〜ステップＳ１０５を繰り返す。そして、差分のデータδが小さくなる画像、すなわち原画像縮小データＩＳｍｇ’へ変化する前の縮小元画像ＩＳｍｇに近似する縮小復元データＩＳｏ＋ｎを得る（ステップＳ２０２）。このとき、図３に示す「Ｇ，Ｉｍｇ’，Ｉｏ＋ｎ」は、「ＧＳ，ＩＳｍｇ’，ＩＳｏ＋ｎ」に置き換えられる。

得られた縮小復元データＩＳｏ＋ｎと既知の原画像縮小データＩＳｍｇ’とから、原画像縮小データＩＳｍｇ’から縮小復元データＩＳｏ＋ｎへの伝達関数ｇ１（ｘ）を算出する（ステップＳ２０３）。その後、ステップＳ２０４では、得られた伝達関数ｇ１（ｘ）をＭ倍（図１５の例では４倍）して拡大し、拡大されたその間を線形補間等の補間手法にて補間し、新伝達関数ｇ２（ｘ）を得る。この新伝達関数ｇ２（ｘ）を元画像に対しての伝達関数ｇ（ｘ）と推定する。

次に、算出した新伝達関数ｇ２（ｘ）と原画像のデータＩｍｇ’からデコンボリューションを行い、復元データＩｏ＋ｎを求める。この復元データＩｏ＋ｎを元画像とする（ステップＳ２０５）。以上のように、イ）反復処理と、ロ）伝達関数ｇ１（ｘ），ｇ２（ｘ）を求め、その求められた新伝達関数ｇ２（ｘ）を使用した処理と、を併用することで、復元処理の高速化が図れる。

なお、この処理の場合、得られた正しい画像と推定された復元データＩｏ＋ｎを図３に示す処理の初期画像のデータＩｏとして使用し、変化要因情報のデータＧと劣化した原画像のデータＩｍｇ’とを用い、さらに反復処理を実行するようにしても良い。

縮小されたデータを利用する方法の第２は、原画像のデータＩｍｇ’の一部の領域のデータを取り出すことで原画像縮小データＩＳｍｇ’とする方法である。この方法を、図３に示す処理方法を利用した第３の処理方法として説明する。たとえば、図１７に示すように、原画像のデータＩｍｇ’が、画素１１〜１６，２１〜２６，３１〜３６，４１〜４６，５１〜５６，６１〜６６で構成されているとき、その中央の領域である、画素３２，３３，３４，４２，４３，４４からなる６分の１の大きさの領域を取り出し、原画像縮小データＩＳｍｇ’を生成する方法である。

この第２の方法を図１８のフローチャートを用いて詳細に説明する。

第２の方法では、まずステップＳ３０１で上述のように原画像縮小データＩＳｍｇ’を得る。次に、この原画像縮小データＩＳｍｇ’と、変化要因情報データＧと、任意の画像データで原画像縮小データＩＳｍｇ’と同じ大きさ（=同じ画素数）の初期画像のデータＩｏを使用し、図３に示すステップＳ１０２〜ステップＳ１０５の処理を繰り返し、縮小復元データＩＳｏ＋ｎを得る（ステップＳ３０２）。この処理では、図３中の「Ｉｍｇ’」を「ＩＳｍｇ’」に、「Ｉｏ＋ｎ」を「ＩＳｏ＋ｎ」にそれぞれ置き換えられる。

得られた縮小復元データＩＳｏ＋ｎと既知の原画像縮小データＩＳｍｇ’とから、縮小復元データＩＳｏ＋ｎから原画像縮小データＩＳｍｇ’への伝達関数ｇ１’（ｘ）を算出する（ステップＳ３０３）。次に、算出された伝達関数ｇ１’（ｘ）を元画像Ｉｍｇに対する伝達関数ｇ’（ｘ）とし、この伝達関数ｇ１’（ｘ）（＝ｇ’（ｘ））と既知の原画像のデータＩｍｇ’を用いて、元画像Ｉｍｇを逆計算により求める。なお、求められたものは、実際は、元画像Ｉｍｇに近似する画像のデータとなる。

以上のように、イ）反復処理と、ロ）伝達関数ｇ１’（ｘ）を求め、その求められた伝達関数ｇ１’（ｘ）を使用した処理と、を併用することで、復元処理の高速化が図れる。なお、求められた伝達関数ｇ１’（ｘ）をそのまま全体の伝達関数ｇ’（ｘ）とせず、変化要因情報データＧを利用して修正するようにしても良い。

このように、上述した高速化のための第２の方法では、画像領域全体を反復処理で復元せず、領域の一部分を反復処理し良好な復元画像を求め、それを使ってその部分に対する伝達関数ｇ１’（ｘ）を求め、その伝達関数ｇ１’（ｘ）自体またはそれを修正（拡大など）したものを用いて画像全体の復元を行うものである。ただし、取り出してくる領域は、変動領域よりも充分大きな領域とする必要がある。図５等に示した先の例では、３画素に渡って変動しているので、３画素以上の領域を取り出してくる必要がある。

なお、図１７、図１８に示す縮小領域を取り出してくる方法の場合、原画像のデータＩｍｇ’を、たとえば図１９に示すように、４分割し、各分割領域から一部の領域を取り出し、小さい領域である４つの原画像縮小データＩＳｍｇ’をそれぞれ反復処理し、４分割された分割区域をそれぞれ復元し、復元された４つの分割画像を一つにすることで元の全体画像としても良い。なお、複数に分割する際、必ず複数領域に渡って重なる領域(オーバーラップ領域）を持つようにするのが好ましい。また、各復元された画像のオーバーラップ領域は、平均値を使ったり、オーバーラップ領域で滑らかにつなぐなどの処理を行うようにするのが好ましい。

さらに、実際に図３の処理方法を採用した場合、コントラストの急激な変化のある画像等については、良好な近似の復元画像への収束が遅いことが判明した。このように、元の画像である被写体の性質によっては、反復処理の収束スピードが遅く、反復回数を多くしなければならない場合がある。このような被写体の場合、次のような処理方法を採用すると、この問題を解決できると推定される。

その方法とは以下のとおりである。すなわち、コントラストの急激な変化のある被写体は、図３に示す処理方法による復元の復元処理を使用し、元の画像に近似したものを得ようとすると、反復数が非常に多くなると共に多くの回数の処理を行った後も、元の被写体に近似する復元データＩ_０＋ｎを生成できない。そこで、撮影された原画像（ブレ画像）のデータＩｍｇ’に、既知の画像のデータＢから撮影時の変化要因情報のデータＧを用いてブレ画像のデータＢ’を生成し、そのデータＢ’を重ね合わせ、「Ｉｍｇ’＋Ｂ’」を作る。その後、重ね合わせた画像を図３に示す処理にて復元処理し、その復元データＩ_０＋ｎとなる結果データＣから既知の加えた画像のデータＢを取り去り、求めたい復元画像のデータＩｍｇを取り出す。

この方法では、正しい画像のデータＩｍｇは急激なコントラスト変化を含んでいるが、既知の画像のデータＢを加えることで、この急激なコントラスト変化を軽減することができ、復元処理の反復数を低減することができる。

また、復元の困難な被写体の処理方法および高速な処理方法として、他の処理方法も採用できる。たとえば、復元処理の反復数を多くすれば良好な復元画像により近づけることができるが、処理に時間がかかる。そこで、ある程度の反復処理数で得られた画像を用いて、そこに含まれる誤差成分を算出し、誤差を含む復元画像から、算出した誤差を取り去ることで良好な復元画像すなわち復元データＩ_０＋ｎを得ることができる。

この方法を具体的に以下に説明する。求めたい正しい原画像をＡとし、撮影した原画像をＡ’とし、原画像Ａ’から復元した画像をＡ＋γとし、その復元データから生成したぶれた比較用データをＡ’＋γ’とする。この「Ａ’＋γ’」に、撮影した原画像「Ａ’」を付加し、それを復元処理すると、「Ａ＋γ＋Ａ＋γ＋γ」となり、これは「２Ａ＋３γ」であり、また、「２（Ａ＋γ）＋γ」である。「Ａ＋γ」は前回の復元処理で求まっているので、「２（Ａ＋γ）＋γ−２（Ａ＋γ）」が計算でき、「γ」が求まる。よって「Ａ＋γ」から「γ」を取り去ることで、求めたい正しい原画像Ａが得られる。

以上説明した各処理方法、すなわち、（１）配分比ｋを使用して差分のデータδを配分する方法（実施例方式）、（２）対応する画素の差分、または差分のデータδを変倍する方法（対応画素方式）、（３）劣化要因の重心を検出してその重心部分のデータを利用する方法（重心方法）、（４）データを間引き、逆問題と組み合わせる方法（逆問題間引き方法）、（５）縮小領域を取り出し、逆問題と組み合わせる方法（逆問題領域取り出し方法）、（６）所定の画像を重ね合わせて反復処理し、その後、その所定の画像を取り去る方法（苦手画像対策重ね合わせ方法）、（７）誤差を含む復元画像から、算出した誤差を取り去る方法（誤差取り出し方法）の各処理方法のプログラムを処理部４に保存しておき、使用者の選択または画像の種類に応じて自動的に、処理方法を選択できるようにしても良い。

また、処理部４は、変化要因情報のデータＧを複数の種類の内のいずれかに分類付けし、その分類毎に違う処理（上述した各方法のいずれか１つ）を行うようにしたり、また、その分類毎に、繰り返しの回数を異ならせるようにしても良い。

また、これら（１）〜（７）のいずれか複数を処理部４に保存しておき、使用者の選択または画像の種類に応じて自動的に、処理方法を選択できるようにしても良い。また、これら５つの方法のうちいずれか複数を選択し、１ルーチンの度に交互または順番に利用したり、最初の数回はある方式で処理し、その後は他の方式で処理するようにしても良い。なお、画像処理装置１は、上述した（１）〜（７）のいずれか１つまたは複数の他に、それらとは異なる処理方法をも有するようにしても良い。

また、上述した各処理方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえばＣＤ、ＤＶＤ、ＵＳＢメモリに入れられ、コンピュータによって読みとり可能とされても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムを読み込む読み込み手段を持つこととなる。さらには、そのプログラム化されたものが画像処理装置１の外部サーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。

なお、撮影が終了してから所定の期間、振動データを検出するようにするには、露光終了からタイマーを働かせるのが好ましいが、露光開始からタイマーを働かせたり、シャッターが戻るのを検出し、その検出時点から所定期間としたり等、種々の方法が採用され得る。

また、処理部４が検出期間における振動データを利用して復元処理を行うに際し、検出された振動データのうち、復元処理に反映（利用）すると却って画像が劣化する部分については、その部分を省略して復元処理することが好ましい。このような部分とは、たとえば検出ノイズの部分や、検出期間をあまりに長くしてしまった場合の、露光時の振動とは、かけ離れた周波数・振幅を含む部分（たとえば手ブレとは無関係の振動部分）等である。この部分を除外する方法は、たとえば、一定の周波数の値を超える振動データを除外する等である。このように、一定の基準に従って振動データを復元処理に反映させない処理を行うことも、「振動データを利用して復元処理を行う」ことである。

また、このように、一定の基準に従って振動データを復元処理に反映させない場合の一例を述べる。たとえば、意識的に手ブレを抑えようとし、その意識が継続していても、シャッターを半押しまたは全押しした際には、それまでの、ほぼ一定の振動データから、かけ離れた振動データが検出されることがある。また、それとともに、シャッターを全押しした直後から露光が開始される場合には、原画像の劣化の度合いが大きく、データ処理を活用しても妥当な元画像を得られ難い場合がある。その場合には、たとえば反復処理回数が多くなる等、処理部４の負担が大きくなる。この原因は、シャッターを全押しした際に急激な振動データの変化があったときには、検出部６の角速度センサまたは角加速度センサ等が、その変化に、すぐには追従できず、検出される振動データが不正確になるためと考えられる。そこで、シャッターを半押しまたは全押しした直後から所定期間、または所定の基準に従い、振動データを検出対象から除外すること等により、その振動データを復元処理に反映させないことができる。そのときには、予めその所定期間、または所定の基準を設定しておくことができる。

また、一定の基準に従って振動データを復元処理に反映させない対象にできる別の期間は、シャッターを全押しした状態からシャッターを押さない状態に戻すまでの期間等である。この期間も、シャッターを半押しまたは全押しした直後から所定期間と同様に、急激な振動データの変化が生じ得る。

本発明の実施の形態に係る画像処理装置の主要構成を示すブロック図である。図１に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。図１に示す画像処理装置の処理部で行う画像復元処理方法（反復処理）に係る処理ルーチンを説明するための処理フロー図である。図３に示す処理方法の概念を説明するための図である。図３に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレのないときのエネルギーの集中を示す表である。図３に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレのないときの画像データを示す図である。図３に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレが生じたときのエネルギーの分散を示す図である。図３に示す処理方法を、手ブレを例にして具体的に説明するための図で、任意の画像から比較用データを生成する状況を説明するための図である。図３に示す処理方法を、手ブレを例にして具体的に説明するための図で、比較用データと、処理対象となるぶれた原画像とを比較して、差分のデータを生成する状況を説明するための図である。図３に示す処理方法を、手ブレを例にして具体的に説明するための図で、差分のデータを配分し任意の画像に加えることで復元データを生成する状況を説明するための図である。図３に示す処理方法を、手ブレを例にして具体的に説明するための図で、生成された復元データから新たな比較用データを生成し、そのデータと処理対象となるぶれた原画像とを比較して差分のデータを生成する状況を説明するための図である。図３に示す処理方法を、手ブレを例にして具体的に説明するための図で、新たに生成された差分のデータを配分し、新たな復元データを生成する状況を説明するための図である。図３に示す処理方法を利用した第１の処理方法である変化要因の重心を利用した処理を説明するための図で、（Ａ）は正しい画像のデータ中の１つの画素に注目する状態を示す図で、（Ｂ）は原画像のデータを示す図中で、注目した画素のデータが拡がる状態を示す図である。図１３に示す第１の処理方法である変化要因の重心を利用した処理を、具体的に説明するための図である。図３に示す処理方法を利用した第２の処理方法を説明するための図で、（Ａ）は処理対象となる原画像のデータを示し、（Ｂ）は（Ａ）のデータを間引いたデータを示す図である。図１５に示す第２の処理方法のフローチャート図である。図３に示す処理方法を利用した第３の処理方法を説明するための図で、（Ａ）は処理対象となる原画像のデータを示し、（Ｂ）は（Ａ）のデータの一部を取り出したデータを示す図である。図１７に示す第３の処理方法のフローチャート図である。図１７、図１８に示す第３の処理方法の変形例を説明するための図で、原画像のデータを４分割し、各分割領域から、反復処理するための一部の領域を取り出すことを示す図である。

符号の説明

１画像処理装置
２撮影部
３制御系部
４処理部
５記録部
６検出部
７要因情報保存部
Ｉｏ初期画像のデータ（任意の画像のデータ）
Ｉｏ’比較用データ
Ｇ変化要因情報のデータ（劣化要因情報のデータ）
ＧＳ縮小された変化要因情報のデータ
Ｉｍｇ’ 原画像のデータ（撮影された画像）
ＩＳｍｇ’ 原画像縮小データ
δ 差分のデータ
ｋ配分比
Ｉｏ＋ｎ復元データ（復元画像のデータ）
ＩＳｏ＋ｎ縮小復元データ
Ｉｍｇ劣化のない本来の正しい画像のデータ（元画像）
ＩＳｍｇ縮小元画像
ｇ（ｘ），ｇ’（ｘ），ｇ２（ｘ）伝達関数（大きい画像を復元するための伝達関数）
ｇ１（ｘ），ｇ１’（ｘ）伝達関数（縮小されたデータから得られた伝達関数）

Claims

処理対象となる原画像から変化する前の画像もしくは本来撮影されるべきであった画像またはそれらの近似画像（以下、元画像という）を、上記原画像のデータを利用してのデータ処理によって復元処理する処理部と、上記復元処理に利用する振動データを検出する検出部と、画像を撮影する撮影部とを有し、
上記処理部は、上記検出部で検出された振動データのうち、上記撮影部での撮影期間の全部または一部の期間の間、ならびに撮影開始前の所定期間の間および／または撮影終了後の所定期間の間に相当する上記振動データを利用して復元処理を行うことを特徴とする画像処理装置。
前記検出部での前記振動データの検出は、前記撮影期間と、その前後の少なくとも一方の所定期間を合わせた期間行うことを特徴とする請求項１記載の画像処理装置。
前記処理部は、前記検出部で検出された前記振動データが前記撮影期間をカバーしていないときは、カバーされていない期間を補完する処理を行うことを特徴とする請求項１記載の画像処理装置。
前記処理部は、前記振動データを利用して任意の画像データから比較用データを生成し、その後、復元対象となる画像のデータと、比較用のデータとを比較し、得られた差分のデータを、前記振動データを利用して上記任意の画像データに配分することで復元データを生成し、その後、この復元データを上記任意の画像データの代わりに使用し、同様の処理を繰り返すことで、前記元画像を生成することを特徴とする請求項１、２または３記載の画像処理装置。
前記処理部は、前記振動データを利用して、所定の画像データから比較用データを生成し、その後、復元対象となる画像のデータと上記比較用データを比較し、得られた差分のデータが所定値以下または所定値より小さい場合は処理を停止し、上記比較用データの元となった所定の画像を、前記元画像として扱い、上記差分が所定値より大きいまたは所定値以上の場合は、上記差分のデータを、前記振動データを利用して上記所定の画像データに配分することで、復元データを生成し、この復元データを上記所定の画像に置き換えて同様な処理を繰り返す処理を行うことを特徴とする請求項１、２または３記載の画像処理装置。