WO2007074687A1

WO2007074687A1 - 画像処理装置

Info

Publication number: WO2007074687A1
Application number: PCT/JP2006/325329
Authority: WO
Inventors: Fuminori Takahashi
Original assignee: Nitto Optical Co Ltd
Current assignee: Nitto Optical Co Ltd
Priority date: 2005-12-27
Filing date: 2006-12-20
Publication date: 2007-07-05
Anticipated expiration: 2008-06-27
Also published as: JPWO2007074687A1; US20100214433A1; JP5007241B2; US8073278B2

Abstract

　非線形補正が施された画像の復元を確実に実行可能にした画像処理装置を提供する。　劣化等の変化が生じた画像であって所定の非線形補正が施された非線形補正済み原画像データから、非線形補正が施されない元画像または非線形補正済み元画像の復元をする処理部４を有し、この処理部４が、画像変化の要因となる変化要因情報のデータ、および非線形補正済み原画像データもしくは非線形補正済み原画像データに対し逆非線形補正を行って得られた非線形補正が施されていない非線形補正無し原画像データ、を利用しての繰り返し処理により、非線形補正済み原画像データまたは非線形補正無し原画像データに近似する比較用データを徐々に生成し、または非線形補正済み原画像データのエネルギーを徐々に零に近似させることで、元画像のデータまたは非線形補正済み元画像のデータを生成する基本処理を行う。

Description

明細書

画像処理装置

技術分野

[0001] 本発明は、画像処理装置に関する。

背景技術

[0002] デジタルカメラ等の画像処理装置で被写体を撮影すると、通常撮影される画像にはガンマ補正がなされ、出力される。ガンマ補正とは、画像がどの色のデータと、それが実際に出力される際の信号の相対関係を調節して、より自然に近い表示を得るための補正で、ガンマ値とは画像の明るさの変化に対する電圧換算値の変化である。このガンマ値は、通常非線形となる。また、その撮影される画像には時々ぶれ等の劣化が生ずる。そこで、劣化画像力も高品位の復元画像を得るため、まず、逆ガンマ補正を行い、次いで、撮像装置の特性情報等に基づいて劣化関数を生成し、この劣化関数に基づいて、復元画像を生成する画像処理装置が提案されている (特許文献 1 要約書参照)。

[0003] 特許文献 1 :特開 2000— 20691号公報

発明の開示

発明が解決しょうとする課題

[0004] し力しながら伝達関数等の劣化関数は、通常ノイズ等に弱ぐその値が大きく変動する。このため、得られる復元画像は、ぶれ等がない状態で撮影した画像とはほど遠いものとなり、実際上は利用できない場合がある。また、ノイズ等を考慮した復元を行う場合、連立方程式の解の特異値分解等で解を推定する方法も採用できるが、その推定のための計算値が天文学的な大きさになり、実際的には解くことができなくなるリスクが高い。

[0005] そこで本発明が解決しょうとする課題は、非線形補正が施された画像の復元を確実に実行可能にした画像処理装置を提供することである。

課題を解決するための手段

[0006] 上記課題を解決するため、本発明の画像処理装置は、劣化等の変化が生じた画像であって所定の非線形補正が施された非線形補正済み原画像データから、変化する前の画像もしくは本来撮影されるべきであった画像またはそれらの近似画像であつて非線形補正が施されて、な、画像 (以下、元画像と、う）またはその元画像に非線形補正が施されて!/、る画像 (以下、非線形補正済み元画像と!、う）の復元をする処理部を有し、処理部が、画像変化の要因となる変化要因情報のデータ、および非線形補正済み原画像データもしくは非線形補正済み原画像データに対し逆非線形補正を行って得られた非線形補正が施されて、な、非線形補正無し原画像データ、を利用しての繰り返し処理により、非線形補正済み原画像データまたは非線形補正無し原画像データに近似する比較用データを徐々に生成し、または非線形補正済み原画像データのエネルギーを徐々に零に近似させることで、元画像のデータまたは非線形補正済み元画像のデータを生成する基本処理を行っている。

[0007] この発明によれば、非線形補正済み原画像データから、変化要因情報のデータ、および非線形補正済み原画像データもしくは非線形補正無し原画像データを利用して、元画像のデータまたは非線形補正済み元画像のデータを徐々に生成していく処理を繰り返すため、非線形補正が施された画像の復元を確実に実行可能にしてヽる

[0008] 他の発明に係る画像処理装置は、上述した発明に加え、基本処理で生成された元画像のデータに新たな非線形補正を施す事後処理を行って、る。この構成を採用することにより、非線形補正済み原画像データに施されて、た非線形補正の内容と同一の非線形補正や異なる非線形補正を、生成した元画像のデータに施すことができる。

[0009] 他の発明に係る画像処理装置は、上述した発明に加え、処理部が、基本処理に先立って、非線形補正済み原画像データに対し、逆非線形補正を行って非線形補正無し原画像データを得る事前処理を行っている。この構成を採用することにより、非線形補正無し原画像データを確実に得た上で、基本処理を行うことができるため、基本処理の際に非線形補正の影響を考慮する必要がなくなる。

[0010] 他の発明に係る画像処理装置は、上述した発明に加え、処理部は、基本処理に当たって、変化要因情報のデータを利用して任意の画像データ力比較用データを生成し、事前処理で得られた非線形補正無し原画像データと、比較用のデータとを比較し、得られた差分のデータを利用して復元データを生成し、この復元データを任意の画像データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行っている。

[0011] この構成を採用することにより、変化要因情報のデータを利用して、所定のデータを生成することだけで基本処理を行っているので、ハードウェア的な増加はほとんど無ぐ装置が大型化しない。また、任意の画像データ力も比較用データを作り、非線形補正無し原画像データと、比較用のデータとを比較するという処理を繰り返し、徐々に元画像データを得るので、現実的な復元作業となる。このため、画像の復元に当たって、現実性のある回路処理方式を有する画像処理装置とすることができる。

[0012] 他の発明に係る画像処理装置は、上述した発明に加え、処理部は、変化要因情報のデータを利用して任意の画像データ力比較用データを生成し、比較用データに所定の非線形補正を施して非線形補正済み比較用データを生成し、非線形補正済み原画像データと、非線形補正済み比較用のデータとを比較し、得られた差分のデータを利用して復元データを生成し、この復元データを任意の画像データの代わりに使用し、同様の処理を繰り返す基本処理を行っている。

[0013] この構成を採用することにより、変化要因情報のデータを利用して、所定のデータを生成することだけで基本処理を行っているので、ハードウェア的な増加はほとんど無ぐ装置が大型化しない。また、任意の画像データから非線形補正済み比較用データを作り、非線形補正済み原画像データと、非線形補正済み比較用データとを比較するという処理を繰り返し、徐々に非線形補正済み元画像データを得るので、現実的な復元作業となる。このため、画像の復元に当たって、現実性のある回路処理方式を有する画像処理装置とすることができる。

[0014] 他の発明に係る画像処理装置は、上述した発明に加え、処理部は、基本処理の際、非線形補正済み原画像データのエネルギーの値が、所定値以下または所定値より小さくなつたら、もしくは比較用データと、その比較用データの比較対象となる画像データとの差分のデータの値力所定値以下または所定値より小さくなつたら、基本処理を停止させる処理を行っている。この構成を採用することにより、これらの値が「0」にならなくても処理を停止させるので、処理の長時間化を防止することができる。また、所定値以下としているので、近似する復元データは元画像または非線形補正済み元画像により近いものとなる。さらに、ノイズなどがあった場合、これらの値が「0」になることが現実的にはあり得ない状況が生じがちである力そのような場合であっても無限に処理を繰り返すことにはならない。

[0015] 他の発明に係る画像処理装置は、上述した発明に加え、処理部は、基本処理の際、繰り返しの回数が所定回数となったら停止させる処理を行っている。この構成を採用することにより、無限に処理を繰り返すことにはならない。

[0016] 他の発明に係る画像処理装置は、上述した発明に加え、処理部は、基本処理の際、繰り返しの回数が所定回数に到達したときにおける、非線形補正済み原画像データのエネルギーの値が、所定値以下または所定値より小さくなつたら、もしくは比較用データと、その比較用データの比較対象となる画像データとの差分のデータの値が、所定値以下または所定値より小さい場合は基本処理を停止し、所定値より超えるまたは所定値以上の場合は、さらに所定回数繰り返す処理を行っている。この構成を採用することにより、基本処理の繰り返し回数と、これらの値とを組み合わせて行うようにしているので、単に基本処理の繰り返し回数に制限を加えたり、これらの値に制限を行う場合に比較して、画像の良さと処理時間の短さのバランスが取れた処理とすることがでさる。

[0017] 他の発明に係る画像処理装置は、上述した発明に加え、処理部は、基本処理に当たって、変化要因情報のデータを利用して、所定の画像データ力も比較用データを生成し、非線形補正済み原画像データもしくは非線形補正無し原画像データと比較用データを比較し、得られた差分のデータが所定値以下または所定値より小さい場合は処理を停止し、比較用データの元となった所定の画像データを、元画像のデータとして扱い、差分が所定値より大きいまたは所定値以上の場合は、差分のデータを、変化要因情報のデータを利用して所定の画像データに配分することで、復元データを生成し、この復元データを所定の画像データに置き換えて同様の処理を繰り返す繰返し処理を行うことで元画像のデータを生成している。

[0018] この構成を採用することにより、変化要因情報のデータを利用して、比較用データを生成し、非線形補正済み原画像データもしくは非線形補正無し原画像データとの比較をし、差分が大きいときのみ元画像のデータを生成しているので、ハードウェア的な増加はほとんど無ぐ装置が大型化しない。また、復元データから比較用データを作り、その比較用データと処理対象の原画像のデータを比較するという処理を繰り返し、徐々に元画像を得るので、現実的な復元作業となる。このため、画像の復元に当たって、現実性のある回路処理方式を有する画像処理装置とすることができる。

[0019] 他の発明に係る画像処理装置は、上述した発明にカ卩え、処理部は、繰返し処理の際、繰り返しの回数が所定回数となったら停止させる処理を行っている。この構成を採用することにより、差分が「0」になってもならなくても処理を停止させるので、処理の長時間化を防止することができる。また、所定回数まで処理を継続させているので、復元データは元画像データにより近いものとなる。さら〖こ、ノイズなどがあった場合、差分が「0」にならない状況が現実的には生じがちである力そのような場合、無限に処理を繰り返すことになつてしまうが、この構成を採用すると、そのような問題が生じない。

発明の効果

[0020] 本発明では、非線形補正が施された画像の復元を確実に実行可能にした画像処理装置を提供することができる。

図面の簡単な説明

[0021] [図 1]本発明の第 1の実施の形態に係る画像処理装置の主要構成を示すブロック図である。

[図 2]図 1に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。

[図 3]図 1に示す画像処理装置の処理部で行う画像復元処理方法 (反復処理）に係る処理ルーチンを説明するための処理フロー図である。

[図 4]図 3に示す処理方法の概念を説明するための図である。

[図 5]図 3に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレのないときのエネルギーの集中を示す表である。

[図 6]図 3に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレのな、ときの画像データを示す図である。 [図 7]図 3に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレが生じたときのエネルギーの分散を示す図である。

[図 8]図 3に示す処理方法を、手ブレを例にして具体的に説明するための図で、任意の画像力も比較用データを生成する状況を説明するための図である。

[図 9]図 3に示す処理方法を、手ブレを例にして具体的に説明するための図で、比較用データと、処理対象となるぶれた原画像とを比較して、差分のデータを生成する状況を説明するための図である。

[図 10]図 3に示す処理方法を、手ブレを例にして具体的に説明するための図で、差分のデータを配分し任意の画像に加えることで復元データを生成する状況を説明するための図である。

[図 11]図 3に示す処理方法を、手ブレを例にして具体的に説明するための図で、生成された復元データから新たな比較用データを生成し、そのデータと処理対象となるぶれた原画像とを比較して差分のデータを生成する状況を説明するための図である

[図 12]図 3に示す処理方法を、手ブレを例にして具体的に説明するための図で、新たに生成された差分のデータを配分し、新たな復元データを生成する状況を説明するための図である。

[図 13]本発明の第 2の実施の形態に係る画像処理装置の処理部で行う画像復元処理方法 (反復処理）に係る処理ルーチンを説明するための処理フロー図である。

[図 14]本発明の第 3の実施の形態に係る処理部で行う処理方法の概念を説明するための図である。

[図 15]本発明の第 3の実施の形態に係る画像処理装置の処理部で行う画像復元処理方法に係る処理ルーチンを説明するための処理フロー図である。

符号の説明

1, 1A, 1B 画像処理装置

2 撮像部

3 制御系部

4 処理部 5 記録部

6 検出部

7 要因情報保存部

Io 初期画像のデータ (任意の画像のデータ）

Io' 比較用データ

do ' 補正済み比較用データ

G 変化要因情報のデータ (劣化要因情報のデータ）

Ga 点像関数の重心値

Img ' 原画像のデータ (撮影された画像）

clmg' 補正済み原画像データ

k 配分比

Io+n 復元データ（復元画像のデータ）

Io+m 復元データ（復元画像のデータ）

Img 劣化のな!/、本来の正し、画像のデータ（元画像）

clmg 非線形補正済み元画像データ

e 原画像画素エネルギー

e 配分画素エネルギー

sum (e ) 配分画素エネノレギ一の総和

Ύ 非線形補正関数

η γ 新たな非線形補正関数

δ 差分のデータ（Img，と Io，との差分のデータ）

δ ' 差分のデータ（clmg'と clo，との差分のデータ）

R 復元領域データ

発明を実施するための最良の形態

(第 1の実施の形態）

以下、本発明の第 1の実施の形態に係る画像処理装置 1について図を参照しながら説明する。なお、この画像処理装置 1は、民生用のカメラとしているが、監視用カメラ、テレビ用カメラ、ハンディタイプのビデオカメラ、内視鏡カメラ、等他の用途のカメラとしたり、顕微鏡、双眼鏡、さらには NMR撮影等の画像診断装置等、カメラ以外の機器にも適用できる。

[0024] 図 1には画像処理装置 1の構成の概要を示している。画像処理装置 1は、人物等の画像を撮影する撮像部 2と、その撮像部 2を駆動する制御系部 3と、撮像部 2で撮影された画像を処理する処理部 4と、を有している。また、この実施の形態に係る画像処理装置 1は、さらに処理部 4で処理された画像を記録する記録部 5と、角速度センサ等力なり、画像劣化など変化の要因となる変化要因情報を検知する検出部 6と、画像劣化等を生じさせる既知の変化要因情報を保存する要因情報保存部 7を有する。

[0025] 撮像部 2は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換する CCDや C— MOS等の撮影素子を備える部分である。制御系部 3は、撮像部 2, 処理部 4,記録部 5,検出部 6,及び要因情報保存部 7等、画像処理装置内の各部を制御するものである。

[0026] 処理部 4は、画像処理プロセサで構成されており、 ASIC(Application Specific Integ rated Circuit)のようなハードウェアで構成されている。処理部 4は、検出する手ブレ等の振動検出のためのサンプリング周波数を発生させていると共にそのサンプリング周波数を検出部 6に供給している。また処理部 4は、振動検出の開始と終了を制御している。さらに処理部 4は、画像データから既知の非線形補正を除去する逆非線形補正を施す処理を行ヽ、画像データに対して新たな非線形補正を施す処理を行うことがある。ここで、非線形補正は、明るさおよび色の調整等のいわゆるガンマ補正等の他に、 JPEG (Joint Photographic Experts Group)圧縮処理、画像のコントラスト調整処理等である。

[0027] また、この処理部 4には、後述する比較用データを生成する際の元となる画像のデータ、逆非線形補正および新たな非線形補正を施す処理を行う際に用いる補正関数が保管されることもある。さらに処理部 4は、 ASICのようなハードウェアとして構成されるのではなぐソフトウェアで処理する構成としても良い。記録部 5は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段、または DVD等を使用する光記録手段等を採用しても良ヽ。 [0028] 検出部 6は、図 2に示すように、画像処理装置 1の光軸である Z軸に対して垂直方向となる X軸、 Y軸の回りの速度を検出する 2つの角速度センサを備えるものである。ところで、カメラで撮影する際の手ブレは、 X方向、 Y方向、 Z方向の各方向への移動、 Z軸回りの回動も生ずる力各変動により最も大きな影響を受けるのは、 Y軸回りの回転と X軸回りの回転である。これら 2つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図 2の X軸回りと Y軸回りの 2つの角速度センサのみを配置している。し力し、より完全を期すため Z 軸回りの角速度センサをさらに付加したり、 X方向や Y方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサではなぐ角加速度センサとしても良い。

[0029] 要因情報保存部 7は、既知の劣化要因情報などの変化要因情報、たとえば光学系の収差および Zまたは検出された振動に基づいて算出された点像関数等を保存しておく記録部である。要因情報保存部 7で記録された点像関数は、たとえばその算出後の直近に撮影された原画像の復元処理の際に、処理部 4で用いられる。ここで、原画像の復元処理を実行する時期は、撮影用の電源がオフされている時、処理部 4 が稼働していない時、処理部 4の稼働率が低い時等、原画像を撮影した時期から遅らせた時期とすることができる。その場合には、記録部 5に保存された原画像データおよび、要因情報保存部 7に保存された、その原画像についての点像関数等の変化要因情報が、それぞれが関連づけられた状態で長期間に渡り保存される。このよう〖こ、原画像の復元処理を実行する時期を、原画像を撮影した時期から遅らせる利点は、種々の処理を伴う撮影時の処理部 4の負担を軽減できることである。

[0030] 次に、以上のように構成された第 1の実施の形態に係る画像処理装置 1の処理部 4 の画像復元処理方法の概要を、図 3に基づいて説明する。

[0031] 図 3中、「I」は、任意の初期画像であって、処理部 4の記録部に予め保存されてい

0

る画像のデータである。「I，」は、その初期画像のデータの Iの劣化画像のデータを

0 0

示し、比較のための比較用データである。「G」は、検出部 6で検出された変化要因情報（=劣化要因情報 (点像関数) )のデータで、処理部 4の記録部に保存されるものである。「Img'」は、撮影された画像、すなわち劣化画像のデータ (原画像のデータ）である。「clmg '」は、原画像データ Img 'に非線形補正が施された非線形補正済み原画像データである。「 γ」は、非線形補正済み原画像データ clmg 'に施されている、既知の非線形補正関数である。

[0032] 「 δ」は、原画像データ Img 'と、比較用データ I，との差分のデータである。「k」は、

0

変化要因情報のデータに基づく配分比である。「I n」は、初期画像のデータ Iに、

0+ 0 差分のデータ δを変化要因情報のデータ Gに基づいて配分して新たに生成した復元画像のデータ (復元データ)である。「Img」は、元画像のデータで、非線形補正がされていないデータである。「η γ」は、元画像のデータ Imgに施す、新たな非線形補正関数である。「clmg」は、元画像データ Imgに新たな非線形補正関数 η γを施した、非線形補正済み元画像データである。ここで、 Imgと Img 'の関係は、次の（1)式で、 Img 'と clmg 'との関係は、次の（2)式で、 Imgと clmgとの関係は、次の（3)式で、それぞれ現されるとする。

Img，=Img水 G ( 1)

clmg =Img X γ · · · (2)

clmg = Img X n γ (a)

ここで、「*」は、重畳積分を表す演算子である。

[0033] なお、差分のデータ δは、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報のデータ Gにより異なり、次の（4)式で現される。

δ =f (lmg ' , Img, G) · ' · (4)

[0034] 処理部 4の処理ルーチンは、まず、撮影データ等の処理対象となるデータに逆非線形補正を施す (ステップ S 100)。これは、撮影データ等は画像の質を上げるべく非線形補正が施されているためである。すなわち、ステップ S 100では、非線形補正が施され、且つ、手ブレにより劣化している非線形補正済み原画像データ clmg 'から、逆非線形補正により原画像データ Img，を得る。一方、このステップ S 100より前、同時またはそれより後に、任意の画像データ Iを用意する (ステップ S 101)。この初期

0

画像のデータ Iとしては、劣化している原画像のデータ Img，を用いても良ぐまた、

0

黒ベタ、白ベタ、灰色ベタ、巿松模様等どのような画像のデータを用いても良い。ステツプ S 102で、（1)式の Imgの代わりに初期画像となる任意の画像のデータ Iを入れ、劣化画像である比較用データ I 'を求め、処理部 4の所定のデータ領域に格納

0

する。次に、原画像データ Img'と比較用データ I 'とを比較し、差分のデータ δを算

0

出する (ステップ S 103)。

[0035] 次に、ステップ S 104で、この差分のデータ δが所定値以上であるか否かを判断し、所定値以上であれば、ステップ S 105で新たな復元画像のデータ（=復元データ）を生成する処理を行う。すなわち、差分のデータ δを変化要因情報のデータ Gに基づ、て、任意の画像データ I

0に配分し、新たな復元データ I

Ο+ηを生成する。その後、ステップ S 102, S103, S 104を繰り返す。

[0036] ステップ S104において、差分のデータ δが所定値より小さい場合、繰り返しの処理を終了する。そして、繰り返しの処理を終了した時点での復元データ I を元画像の

Ο+η

データ Imgと推定する (ステップ S 106)。すなわち、差分データ δが所定値より小さくなった場合、比較用データ I η'の元となった復元データ I ηは元画像のデータ Im

0+ 0 +

gと非常に近似したものとなることから、その復元データ I n

0 + を元画像のデータ Imgと推定するのである。そしてその推定された元画像データ I n

0 + に新たな非線形補正関数 η γを乗じ (ステップ S107)、得られた画像データを非線形補正済み元画像データ clmgとする。以上で処理部 4における画像復元処理が終了する (ステップ S108)。なお、記録部 5には、得られた非線形補正済み元画像データ clmgを記録する他、初期画像のデータ I

0、変化要因情報のデータ G、非線形補正関数 γおよび新たな非線形補正関数 η γを記録しておき、必要により処理部 4に渡すようにしても良い。また、ステツプ S107では、処理対象データに施された非線形補正関数 γと異なる非線形補正関数 η γを使用したが、非線形補正関数 γを採用しても良い。

[0037] ここで、元画像データ Imgにまた非線形補正を施す過程 (ステップ S 107)は、必要に応じて省略することができる。たとえば、最終的に求めるものが非線形補正がされていない元画像データ Imgであれば、このステップ S107は不要となる。また、この過程を省略する力否かは、画像処理装置 1を操作する者が選択できるようにすることができる。

[0038] 上述した繰り返しの処理方法の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くのである。逆問題として解く場合、理論上は可能であるが、現実問題としては困難である。

[0039] 最適化問題として解くということは、次の条件を前提としている。

すなわち、

(1)入力に対する出力は、一意に決まる。

(2)出力が同じであれば、入力は同じである。

(3)出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。

[0040] このことを換言すれば、図 4 (A) (B)に示すように、原画像のデータ Img'と近似である比較用データ I ' (I η' )を生成できれば、その生成の元データとなる初期画像

0 0 +

のデータ Iまたは復元データ I ηは、元画像のデータ Imgに近似したものとなる。

0 0 +

[0041] なお、この実施の形態では、角速度検出センサのサンプリング周波数を 60Hzから 240Hz内としている力高周波数を検出できるように 5 sec毎に角速度を検出してもよい。また、差分のデータ δの判定基準となる値は、各データを 8ビット（0〜255) で現した場合に、この実施の形態では「6」としている。すなわち、 6より小さい、つまり 5以下の時は、処理を終了している。

[0042] 次に、図 3に示す手ブレの復元処理方法 (ステップ S102, S103, S104, S105の反復処理）の詳細を、図 5,図 6,図 7,図 8,図 9,図 10,図 11および図 12に基づいて説明する。

[0043] (手ブレの復元アルゴリズム 1)

手ブレが無いとき、所定の画素に対応する光エネルギーは、露光時間中、その画素に集中する。また、手ブレがある場合、光エネルギーは、露光時間中にぶれた画素に分散する。さらに、露光時間中のブレがわかれば、露光時間中のエネルギーの分散の仕方がわ力るため、ぶれた画像力ブレの無い画像を作ることが可能となる。

[0044] 以下、簡単のため、横一次元で説明する。画素を左から順に η-1, η, η+1, η+2, η+3 , ···,とし、ある画素 ηに注目する。ブレが無いとき、露光時間中のエネルギーは、その画素に集中するため、エネルギーの集中度は「1. 0」である。この状態を図 7に示す。このときの撮影結果を、図 6の表に示す。図 6に示すもの力劣化しなカゝつた場合の正しい画像データ Imgとなる。なお、各データは、 8ビット（0〜255)のデータで現している。

[0045] 露光時間中にブレがあり、露光時間中の 50%の時間は n番目の画素に、 30%の時間は n+1番目の画素に、 20%の時間は n+2番目の画素にそれぞれぶれていたとする。エネルギーの分散の仕方は、図 7に示す表のとおりとなる。これが変化要因情報のデータ Gとなる。

[0046] ブレは、全ての画素で一様であり、線形問題として把握される。そして、上ブレ (縦ぶれ）が無いとすると、ブレの状況は、図 8に示す表のとおりとなる。図 8中の「撮影結果」として示されるデータが、元画像のデータ Imgで、「ブレ画像」として示されるデータカ劣化している原画像のデータ Img'となる。具体的には、たとえば「n— 3」の画素の「120」は、ぶれ情報である変化要因情報のデータ Gの「0. 5」「0. 3」「0. 2」の配分比に従い、「n— 3」の画素に「60」、「n— 2]の画素に「36」、「n— 1」の画素に「2 4」というように分散する。同様に、「n— 2」の画素データである「60」は、「n—2」に「3 0」、「n— 1」に「18」、「n」に「12」として分散する。この劣化している原画像データ Im g'と、図 7に示す変化要因情報のデータ G力も元画像データ Imgを算出することとなる。

[0047] ステップ S101に示す任意の画像データ Iとしては、どのようなものでも採用できる

0

1S この説明に当たっては、ステップ S 100で得た原画像データ Img，を用いる。すなわち、 I = Img'として処理を開始する。図 9の表中に「入力」とされたものが初期画像

0

のデータ Iに相当する。このデータ Iすなわち Img'と、ステップ S102で変化要因情

0 0

報のデータ Gとを重畳積分する。すなわち、たとえば、初期画像のデータ Iの「n—3」

0

の画素の「60」は、 n— 3の画素に「30」が、「n— 2」の画素に「18」が、「n— 1」の画素に「12」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力 I '」と

0 して示される比較用データ I，が生成される。このため、ステップ S103の差分のデー

0

タ δは、図 9の最下欄に示すようになる。

[0048] この後、ステップ S104にて差分のデータ δの大きさを判断する。具体的には、差分のデータ δが全て絶対値で 5以下となった場合に処理を終了する力図 9に示す差分のデータ δは、この条件に合わないため、ステップ S105に進む。すなわち、差分のデータ δを変化要因情報のデータ Gを使用して、任意の画像のデータ Iに配分し

0 て、図 10中の「次回入力」として示される復元データ I nを生成する。この場合、第 1

0 +

回目であるため、図 10では、 I 1と現している。

0 +

[0049] 差分のデータ δの配分は、たとえば「η— 3」の画素データ「30」に自分の所（ =「η

3」の画素）の配分比である 0. 5をかけた「15」を「η— 3」の画素に配分し、また「η 2」の画素のデータ「15」にその「η— 2」の画素にきているはずの配分比である 0. 3 を力けた「4. 5」を配分し、さらに、「η—1」の画素のデータ「9. 2」に、その「η—1」の画素にきているはずの配分比である 0. 2をかけた「1. 84」を配分する。「η— 3」の画素に配分された総量は、「21. 34」となり、この値を初期画像のデータ I (ここでは原

0

画像データ Img'を使用）にプラスして、復元データ I を生成して、る。

0+ 1

[0050] 図 11に示すように、この復元データ I がステップ S 102の入力画像のデータ（

0+ 1

初期画像のデータ I )になり、ステップ S 102が実行され、ステップ S 103へと移行し、

0

新しい差分のデータ δを得る。その新しい差分のデータ δの大きさをステップ S104 で判断し、所定値より大きい場合、ステップ S 105で新しい差分のデータ δを前回の復元データ I に配分し、新しい復元データ I を生成する（図 12参照)。その後、ス

0+1 0+2

テツプ S102の遂行により、復元データ I 力も新しい比較用データ I 'が生成され

0+2 0+2

る。このように、ステップ S102, S103が実行された後、ステップ S104へ行き、そこでの判断によりステップ S105へ行ったり、ステップ S 106へ移行する。このような処理を繰り返す。

[0051] 以上のように、ステップ S102〜ステップ S105が繰り返されることで、差分のデータ

δが徐々に小さくなつていき、所定値より小さくなると、ステップ S106, S107へ移行し、ブレていなくて、かつ γ補正等の非線形補正が施された非線形補正済み元画像データ clmgが得られる。

[0052] (第 2の実施の形態）

以下、本発明の第 2の実施の形態に係る画像処理装置について図 13を参照しな力 Sら説明する。第 2の実施の形態に係る画像処理装置の構成は、本発明の第 1の実施の形態に係る画像処理装置 1と同様である。よって、第 1の実施の形態に係る画像処理装置 1と同一となる装置等には、同一符号を付し、その説明を省略または簡略化することとする。また、第 2の実施の形態に係る画像処理装置を示すときは符号として「 1 A」を使用するが、図中にはその符号「 1 A」は現れな、。

[0053] 次に、この第 2の実施の形態に係る画像処理装置 1 Aの処理部 4で実行される画像復元処理方法の概要を、図 13に基づいて説明する。

[0054] 図 13中、「I」、「I，」、「G」、「clmg，」、「γ」、「k」、「η γ」および「Img」の意義は、

0 0

第 1の実施の形態と同一であり、説明を省略する。「cl '」は、比較用データ I 'に対し

0 0

、原画像データ Img'に施されている既知の非線形補正関数 γを乗じて得られる、非線形補正済み比較用データである。「 δ '」は、非線形補正済み原画像データ clmg' と、非線形補正済み比較用データ cl 'との差分のデータである。「I 」は、初期画像

0 O+n

のデータ Iに、差分のデータ δ，を変化要因情報のデータ Gに基づいて配分して新

0

たに生成した復元画像のデータ (復元データ)である。ここで、 Imgと Img'の関係を表す上述した（1)式および、 Imgと clmgとの関係を表す、上述した（3)式は、第 2の実施の形態についても適用される。また、差分のデータ δ 'は、上述した (4)式同様、次の（5)式で現される。また、 cl 'と I 'との関係は、次の（6)式で現される。

0 0

δ，=f (clmg，， Img, G) · '· (5)

cl - -- (6)

ο，=I

ο， X γ

[0055] 処理部 4の処理ルーチンは、まず、任意の画像データ Iを用意することから始まる（

0

ステップ S201)。この初期画像のデータ Iは、上述した図 3のステップ S101の説明

0

同様、どのような画像のデータを用いても良い。ステップ S202で、（1)式の Imgの代わりに初期画像となる任意の画像のデータ I

0を入れ、劣化画像である比較用データ I

0 'を求める。次に、求められた比較用データ I

0 'に対し、非線形補正関数 γを乗じて、補正済み比較用データ cl 'を得る (ステップ S203)。この非線形補正関数 γは、処

0

理対象データに施されている非線形補正関数と同一のものである。そして処理対象となる非線形補正済み原画像データ clmg'と非線形補正済み比較用データ cl 'とを

0 比較し、差分のデータ δ 'を算出する (ステップ S204)。

[0056] 次に、ステップ S205で、この差分のデータ δ，が所定値以上であるか否かを判断し、所定値以上であれば、ステップ S 206で新たな復元画像のデータ（=復元データ）を生成する処理を行う。すなわち、差分のデータ δ 'を変化要因情報のデータ Gに基づ、て、任意の画像データ I

0に配分し、新たな復元データ I

O+nを生成する。その後、ステップ S202, S203, S204, S205および S206を繰り返す。

[0057] ステップ S205において、差分のデータ δ，が所定値より小さい場合、繰り返しの処理を終了する。そして、繰り返しの処理を終了した時点での復元データ I を元画像

O+n のデータ Imgと推定する（ステップ S207)。そしてその推定された元画像データ Img に新たな非線形補正処理をして (ステップ S 208)、非線形補正済み元画像データ cl mgを得る。なお、この非線形補正処理においては、先程の非線形補正関数 γを使用するのが好ましいが、復元した復元データ I に合った最適な補正処理をするよう

O+n

にしても良い。すなわち、処理対象データに施された非線形補正関数 γとは異なる関数を使用しても良い。以上で処理部 4における画像復元処理が終了する (ステップ S209)。なお、記録部 5には、得られた非線形補正済み元画像データ clmgを記録する他、初期画像のデータ I

0や変化要因情報のデータ G、非線形補正関数 γおよび新たな非線形補正関数 η γを記録しておき、必要により処理部 4に渡すようにしても良い。

[0058] 上述した繰り返しの処理方法の考え方、および手ブレの復元アルゴリズムについては、第 1の実施の形態と同様なので、説明を省略する。

[0059] 上述した第 1および第 2の実施の形態に係る画像処理装置 1, 1Aでは、処理するに当たり、ステップ S104およびステップ S205〖こおいて、事前に処理回数と、差分のデータ δ ( δ ' )の判断基準値のいずれか一方または両者を設定できる。たとえば処理回数として 20回、 50回等任意の回数を設定できる。また、処理を停止させる差分のデータ δまたは δ，の値を 8ビット（0〜255)中の「5」と設定し、 5以下になったら処理を終了させたり、「0. 5」と設定し「0. 5」以下になったら処理を終了させることができる。この設定値を任意に設定できる。処理回数と判断基準値の両者を入力する構成とした場合、いずれか一方が満足されたときに処理は停止されるようにするのが好ましい。なお、両者の設定を可能としたとき、判断基準値を優先し、所定の回数の処理では判断基準値内に入らな力つた場合、更に所定回数の処理を繰り返すようにしても良い。また、上述の各実施の形態では、差分のデータ δまたは δ 'の判断基準として、全ての差分のデータ δ ( δ ')が所定値未満または所定値以下のとき、繰り返し処理を中止した力差分のデータ δ ( δ ')の絶対値の総和や、 2乗の総和を判断基準としても良い。

[0060] 上述した第 1および第 2の実施の形態の説明の中では、要因情報保存部 7に保存されて!/ヽる情報を利用せず、処理部 4の記録部に保存されてヽるデータを使用した 1S ここに保存されている既知の劣化要因、たとえば光学収差やレンズのひずみなどのデータを使用するようにしても良い。その場合、たとえば、先の例（図 3および図 13 )の処理方法における繰り返しの処理の部分 (反復処理)では、ブレの情報と光学収差の情報を合わせて 1つの劣化要因として捉えて処理を行うのが好ましいが、ブレの情報での処理を終了した後に光学収差の情報での復元処理を行うようにしても良い

。また、この要因情報保存部 7を設置しないようにして、処理部 4に記録されている撮影時の動的要因、たとえばブレのみで画像を修正したり復元したりしても良、。

[0061] また、第 1および第 2の実施の形態では、処理部 4が、差分のデータ δ ( δ ' )の大きさを判断して、図 3および図 13に示す反復処理を継続するか中止するかを決める方法を採用したが、これらの方法以外の方法も採用され得る。たとえば、劣化等の変化が生じた撮影された原画像から元画像の復元をする処理部を有する画像処理装置において、処理部が、原画像 Img，の画素の光エネルギーを、変化要因情報 Gに基づく配分比 kに従い、復元画像が記録される復元データ領域に配分し、その後残つた原画像 Img'の画素データを処理対象に置き換えて同様の考えで移動を繰り返す。この繰り返し処理は、移動元のデータである原画像データ Img'が無くなるまで、すなわち「0」となるまで行う。このような処理によって復元処理を行うことができる。以下、この復元処理を採用する、第 3の実施の形態に係る画像処理装置について説明する。

[0062] (第 3の実施の形態）

図 14に図 4 (A)に対応する図を示し、図 14に基づき、この第 3の実施の形態に係る手ブレの復元処理の考え方を以下述べる。元画像のデータ Img力変化要因情報のデータ Gにより原画像のデータ Img，へと変化したのなら、同一のフィルタとなる変化要因情報のデータ Gが有する点像関数の重心値 Gaを通して原画像データ Img' の全てを復元データ領域に再配分すれば、復元データ領域に存在する復元データ R_nは、元画像のデータ Imgに近似するはずである。

[0063] 以上の考え方に基づいた本発明の第 3の実施の形態に係る画像処理装置について図 15を参照しながら説明する。第 3の実施の形態に係る画像処理装置の構成は、本発明の第 1および第 2の実施の形態に係る画像処理装置 1, 1Aと同様である。よつて、各実施の形態に係る画像処理装置 1, 1Aと同一となる装置等には、同一符号を付し、その説明を省略または簡略ィ匕することとする。また、第 3の実施の形態に係る画像処理装置を示すときは、符号として「1B」を使用するが、図中には、その符号「1B」は現れない。

[0064] 以下、第 3の実施の形態に係る画像処理装置 1Bの処理部 4で実行される画像復元処理方法の概要を、図 15に基づいて説明する。

[0065] 図 15中、「G」、「k」、「clmg，」、「γ」、「η γ」、「Img」および「clmg」の意義は、第 1 または第 2の実施の形態と同一であり、説明を省略する。「Ga」は、変化要因情報のデータ Gが有する点像関数の重心値である。「R」は、上述の復元データである。「E 」は、原画像データ Img'の各画素が有する光エネルギーを合計したもの（以下、原画像全エネノレギ一という）である。「e」は、画素エネノレギ一のうち、 _n回目に復元データ領域に配分されるデータ（以下、配分画素エネルギーという）である。「sum (e；)」は、配分画素エネルギー eの総和である。ここで、 Imgと Img'の関係を表す上述した（ 1)式、 Imgと clmgとの関係を表す上述した（3)式は、第 3の実施の形態についても適用される。

[0066] 図 15に示す、第 3の実施の形態に係る画像処理装置 1Bの処理部 4の復元のための処理ルーチンは、まず、非線形補正済み原画像データ clmg'を補正関数 γにて逆非線形補正して、原画像データ Img，を得ることから始まる (ステップ S301)。このステップ S301は、ステップ S100〖こ相当する。そして原画像データ Img，の各画素の光エネルギーを原画像画素エネルギー Eとして抽出する（ステップ S302)。ここで、現段階 (n= l)では、配分画素エネルギー eの総和 sum(e )は零であるため、原画像全エネルギー Eに、点像関数の重心値 Gaに基づく逆変換を行い、 n= lの段階の配分画素エネルギー e ( = e )を得る（ステップ S303)。次いで、配分画素エネルギー eを復元データ Rに配分する（ステップ S304)。ここで、 n= lの段階のステップ S304における復元データは零であるので、復元データは「e となる。この配分の結果、配分画素エネルギー eの総和 sum (e ) { = sum(e ) }と原画像全エネルギー Eとが近似してきたかどうかの判断を行う（ステップ S305)。すなわち、両者の差力 S「0」以外の「0」に近い値を所定値として決めておき、その値以下になるかどうかを判断し、所定値以上または超えるときは、「11 = 11+ 1」= 2として、ステップ3303, S3 04, S305の処理を再度以下のように行う。なお、ステップ S305は、エネルギーが徐々に引かれていく原画像のデータ Img'の残エネルギーが零に近似したか否かの判断を行うステップとしたり、復元データ Rの総エネルギー量が最初の原画像データ I mg，のエネルギーと近似してきた力否かの判断を行うステップとしても良、。

[0067] 今度は、 n= 2であり、配分画素エネルギー eの総和 sum (e )が零でなく sum (e ) (

=e )である。よって、原画像全エネルギー Eから、配分画素エネルギー eの総和 su m (e )である eを差し引、た値 (残存した画素エネルギー値）に点像関数の重心値 G aに基づく逆変換を行い、配分画素エネルギー e = (e )を得る (ステップ S 303)。そ n 2

の配分画素エネルギー eを先の復元データ Rに加算配分する（ステップ S 304)。すなわち、既にある復元データ R (=R )に今回の配分画素エネルギー e =eをカロ算配分して Rとする。この配分の結果、配分画素エネルギー eの総和 sum (e ) { = s

2 n n um (e ) }と原画像全エネルギー Eとが近似してきたカゝどうかの判断を行う（ステップ S

2

305)。近似していなければ、「11 = 11+ 1」= 3として、ステップ3303, S304, S305 の処理を再度行う。そして必要により順次 nの値を増やしてステップ S303, S304, S 305の処理を繰り返す。近似してきたら（sum (e ) E)復元データ Rは、元画像データ Imgと近似していると推定できる (ステップ S 306)。そして、元画像データ Imgに新たな非線形補正関数 γをかけることで非線形補正済み元画像データ clmgが得られ (ステップ S307)、復元処理は終了する（ステップ S308)。ここでステップ S307での非線形補正処理は、撮影データ等処理対象データに施された非線形補正関数 γ を用いるのが好ましいが、新たに得られた復元データ Rに対しての最適な補正となるよう他の関数を使用しても良、。

[0068] 以上、第 1、第 2および第 3の実施の形態における画像処理装置 1, 1A, 1Bについて説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、処理部 4で行った処理は、ソフトウェアで構成している力それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。また、変化要因情報のデータ Gとしては、劣化要因情報のデータのみではなぐ単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含むものとする。

[0069] また、処理の反復回数が画像処理装置 1, 1A, 1B側で自動的にまたは固定的に設定されている場合、その設定された回数を変化要因情報のデータ Gによって変更するようにしても良い。たとえば、ある画素のデータがブレにより多数の画素に分散している場合は、反復回数を多くし、分散が少ない場合は反復回数を少なくするようにしても良い。

[0070] さらに、反復処理中に、差分のデータ δまたは δ 'が発散してきたり、エネルギーが移動した後の画像データのエネルギーが小さくならず大きくなつてきたら、処理を中止させるようにしても良い。発散しているか否かは、たとえば差分のデータ δまたは δ 'の平均値を見てその平均値が前回より大きくなつたら発散していると判断する方法を採用できる。また、反復処理中に、入力を異常な値に変更しょうとしたときには、処理を中止させるようにしても良い。たとえば 8ビットの場合、変更されようとする値が 25 5を超える値であるときには、処理を中止させる。また、反復処理中、新たなデータである入力を異常な値に変更しょうとしたとき、その値を使用せず、正常な値とするようにしても良い。たとえば、 8ビットの 0〜255の中で、 255を超える値を入力データとしようとした際は、マックスの値である 255として処理するようにする。

[0071] また、出力画像となる復元データを生成する際、変化要因情報のデータ Gによっては、復元させようとする画像の領域外へ出てしまうようなデータが発生する場合がある。このような場合、領域外へはみ出るデータは反対側へ入れる。また、領域外から入つてくるべきデータがある場合は、そのデータは反対側から持ってくるようにするのが好ましい。たとえば、領域内の最も下に位置する画素 XN1のデータから、さらに下の画素に割り振られるデータが発生した場合、その位置は領域外になる。そこで、そのデータは画素 XN1の真上で最も上に位置する画素 XI 1に割り振られる処理をする。画素 XN1の隣の画素 Ν2についても同様に真上で最上覧の画素 Χ12 ( =画素 XI I の隣り）に割り振ることとなる。上述の各実施の形態では、復元対象を画像データとしてレ、る。しかし、これらの復元処理の考え方および手法は、あらゆるデジタルデータの復元処理に適用できる。たとえば、デジタルの音声データの復元等への適用が可能である。音声データの場合、非線形補正としてエコーをかけることがあるが、その場合も上述の各実施の形態のように非線形補正を除去する等の処理を併せて行うことができる。

Claims

請求の範囲

[1] 劣化等の変化が生じた画像であって所定の非線形補正が施された非線形補正済み原画像データから、変化する前の画像もしくは本来撮影されるべきであった画像またはそれらの近似画像であって非線形補正が施されて、な、画像 (以下、元画像と

V、う）またはその元画像に非線形補正が施されて、る画像 (以下、非線形補正済み元画像とヽぅ）の復元をする処理部を有する画像処理装置におヽて、

上記処理部が、画像変化の要因となる変化要因情報のデータ、および上記非線形補正済み原画像データもしくは上記非線形補正済み原画像データに対し逆非線形補正を行って得られた非線形補正が施されて!/、な!、非線形補正無し原画像データ、を利用しての繰り返し処理により、上記非線形補正済み原画像データまたは上記非線形補正無し原画像データに近似する比較用データを徐々に生成し、または上記非線形補正済み原画像データのエネルギーを徐々に零に近似させることで、上記元画像のデータまたは上記非線形補正済み元画像のデータを生成する基本処理を行うことを特徴とする画像処理装置。

[2] 前記基本処理で生成された上記元画像のデータに新たな非線形補正を施す事後処理を行うことを特徴とする請求項 1記載の画像処理装置。

[3] 前記処理部が、前記基本処理に先立って、前記非線形補正済み原画像データに対し、逆非線形補正を行って前記非線形補正無し原画像データを得る事前処理を行うことを特徴とする請求項 1または 2記載の画像処理装置。

[4] 前記処理部は、前記基本処理に当たって、前記変化要因情報のデータを利用して任意の画像データ力比較用データを生成し、前記事前処理で得られた前記非線形補正無し原画像データと、上記比較用のデータとを比較し、得られた差分のデータを利用して復元データを生成し、この復元データを上記任意の画像データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行うことを特徴とする請求項 1、 2または 3記載の画像処理装置。

[5] 前記処理部は、前記変化要因情報のデータを利用して任意の画像データ力比較用データを生成し、上記比較用データに所定の非線形補正を施して非線形補正済み比較用データを生成し、前記非線形補正済み原画像データと、上記非線形補正済み比較用のデータとを比較し、得られた差分のデータを利用して復元データを生成し、この復元データを上記任意の画像データの代わりに使用し、同様の処理を繰り返す前記基本処理を行うことを特徴とする請求項 1記載の画像処理装置。

[6] 前記処理部は、前記基本処理の際、前記非線形補正済み原画像データのェネルギ一の値が、所定値以下または所定値より小さくなつたら、もしくは前記比較用データと、その比較用データの比較対象となる画像データとの差分のデータの値力所定値以下または所定値より小さくなつたら、前記基本処理を停止させる処理を行うことを特徴とする請求項 1から 5のいずれか 1項に記載の画像処理装置。

[7] 前記処理部は、前記基本処理の際、繰り返しの回数が所定回数となったら停止させる処理を行うことを特徴とする請求項 1から 5のいずれか 1項に記載の画像処理装置。

[8] 前記処理部は、前記基本処理の際、繰り返しの回数が所定回数に到達したときにおける、前記非線形補正済み原画像データのエネルギーの値が、所定値以下または所定値より小さくなつたら、もしくは前記比較用データと、その比較用データの比較対象となる画像データとの差分のデータの値が、所定値以下または所定値より小さい場合は前記基本処理を停止し、所定値より超えるまたは所定値以上の場合は、さらに所定回数繰り返す処理を行うことを特徴とする請求項 1から 5のいずれか 1項に記載の画像処理装置。

[9] 前記処理部は、前記基本処理に当たって、前記変化要因情報のデータを利用して、所定の画像データ力比較用データを生成し、前記非線形補正済み原画像データもしくは前記非線形補正無し原画像データと上記比較用データを比較し、得られた差分のデータが所定値以下または所定値より小さ、場合は処理を停止し、上記比較用データの元となった所定の画像データを、前記元画像のデータとして扱い、上記差分が所定値より大きいまたは所定値以上の場合は、上記差分のデータを、前記変化要因情報のデータを利用して上記所定の画像データに配分することで、復元データを生成し、この復元データを上記所定の画像データに置き換えて同様の処理を繰り返す繰返し処理を行うことで前記元画像のデータを生成することを特徴とする請求項 1記載の画像処理装置。前記処理部は、前記繰返し処理の際、繰り返しの回数が所定回数となったら停止させる処理を行うことを特徴とする請求項 9記載の画像処理装置。