JP5057665B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

従来から、撮像部にＣＣＤ（Ｃｈａｒｇｅ Ｃ_０ｕｐｉｅｄ Ｄｅｖｉｃｅｓ）などの撮像素子を使用するカメラにより撮影を行った撮影画像は、撮影時の手ぶれ、撮影光学系の各種の収差、あるいは撮影光学系を構成するレンズの歪み等がある場合は、これが要因となり、撮影画像が劣化することが知られている。

このような撮影画像の劣化を防ぐ手段として、撮影画像の劣化の要因のうち、撮影時の手ぶれに関しては、レンズを動かす方式と撮影した画像を回路処理する方式とが知られている。たとえば、レンズを動かす方式としては、カメラの手ぶれを検出し、撮影光学系の中の所定のレンズを、検出した手ぶれによるカメラの移動に合わせて動かすことにより、撮像素子上における結像位置の移動を抑制する方式が知られている（特許文献1参照）。

また、回路処理する方式としては、カメラの撮影光学系の光軸の変動を角加速度センサ等により検出し、検出した角速度等から撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達関数の逆変換を行い、劣化のない画像を復元する方式が知られている（特許文献２参照）。

特開平６−３１７８２４号公報（要約書参照） 特開平１１−２４１２２号公報（要約書参照）

特許文献１記載の手ぶれ補正を採用したカメラは、モータ等のレンズを駆動するハードウェアのスペースが必要となり大型化してしまう。また、そのようなハードウェア自体やそのハードウェアを動かす駆動回路が必要となり、コストアップとなってしまう。

また、特許文献２記載の手ぶれ補正の場合は、上述した問題点はなくなるものの、撮影画像のコントラストが低い場合には、伝達関数が不安定になり、結果的に画像の復元を行えないという問題がある。

そこで、本発明の課題は、撮影画像のコントラストが低くても、画像の復元を行うことができる画像処理装置を提供することである。

上記課題を解決するために、本発明の画像処理装置は、画像を処理する処理部を有する画像処理装置において、処理部は、互いに異なる複数の処理用画像データであって、これら各処理用画像データの互いに同じ画素位置にある画素のいずれか１つの画素画像データを、復元対象画像データの同じ画素位置の画素の画素画像データと同じとし、各処理用画像データの画素のうち、復元対象画像データの画素画像データを有しない画素の画素画像データを、コントラスト生成用画素画像データとし、復元対象画像データの画素画像データを有する画素とコントラスト生成用画素画像データを有する画素が交互に配列される処理用画像データを生成し、処理用画像データのそれぞれについて処理用原画像データを生成する処理用原画像データ生成処理を行い、処理用原画像データから、原画像データに近似する復元原画像データを生成する原画像データ復元処理を行い、コントラスト生成用画素画像データは、このコントラスト生成用画素画像データと隣接する画素の画素画像データとの輝度差が高くなるように設定される画素画像データであり、処理用原画像データ生成処理は、処理用画像データと、任意の画像のデータを変化要因情報のデータにより変化させて生成した比較用画像データとを比較し、得られた差分のデータを変化要因情報のデータに基づく配分比で任意の画像のデータに配分することで処理用復元画像データを生成し、この処理用復元画像データを任意の画像のデータの代わりに使用し、同様の処理を差分のデータが所定値より小さくなるまで繰り返すことで、処理用復元画像データを処理用原画像データとして生成する処理であり、原画像データ復元処理は、各処理用画像データについての処理用原画像データ同士を各画素が重なるように加算し、各画素についてコントラスト生成用画素画像データについての処理用原画像データを減ずる処理であることとする。

この発明によれば、処理用画像データがコントラストの高い画像データとなるので、復元対象画像のコントラストが低くても、画像の復元を行うことができる。

また、他の発明は、上述の発明に加え、処理用原画像データ生成処理は、比較用画像データを、画像変化の要因となる変化要因情報のデータにより任意の画像のデータを変化させて生成する処理を行うこととする。

この発明によれば、画像変化の要因情報を利用して、所定のデータを生成することにより処理用復元原画像データを生成しているので、ノイズやブレ情報誤差等に弱い伝達関数を用いることなく、処理用原画像データを求めることができる。

また、他の発明は、上述の発明に加え、複数の処理用画像データは、２つの処理用画像データであり、２つの各処理用画像データは、復元対象画像データの画素画像データを有する画素とコントラスト生成用画素画像データを有する画素とは、１画素毎に交互に配列されることとする。

このように構成することにより、各画素データの間に、コントラスト生成画素画像データが配置されることになり、処理用画像データをよりコントラストの高い画像データとすることができる。

上記課題を解決するために、本発明の画像処理装置は、画像を処理する処理部を有する画像処理装置において、処理部は、復元対象画像データの一部の領域に対して生成する互いに異なる複数の一部領域処理用画像データであって、これら各一部領域処理用画像データの互いに同じ画素位置にある画素のいずれか１つの画素画像データを、復元対象画像データの一部の領域内の同じ画素位置の画素の画素画像データと同じとし、各一部領域処理用画像データの画素のうち、復元対象画像データの画素画像データを有しない画素の画素画像データを、コントラスト生成用画素画像データとし、復元対象画像データの画素画像データを有する画素とコントラスト生成用画素画像データを有する画素が交互に配列される一部領域処理用画像データを生成し、一部領域処理用画像データのそれぞれについて一部領域処理用原画像データを生成する一部領域処理用原画像データ生成処理を行い、一部領域処理用画像データと一部領域処理用原画像データとから、一部領域処理用画像データと一部領域処理用原画像データの間の一部領域伝達関数を求め、この一部領域伝達関数を利用して復元対象画像データの復元原画像データを生成する原画像データ復元処理を行い、コントラスト生成用画素画像データは、このコントラスト生成用画素画像データと隣接する画素の画素画像データとの輝度差が高くなるように設定される画素画像データであり、一部領域処理用原画像データ生成処理は、一部領域処理用画像データと、任意の画像のデータを変化要因情報のデータにより変化させて生成した比較用画像データとを比較し、得られた差分のデータを変化要因情報のデータに基づく配分比で任意の画像のデータに配分することで一部領域処理用復元画像データを生成し、この一部領域処理用復元画像データを任意の画像のデータの代わりに使用し、同様の処理を差分のデータが所定値より小さくなるまで繰り返すことで、一部領域処理用復元画像データを一部領域処理用原画像データとして生成する処理であることとする。

この発明によれば、一部の領域についての処理用原画像データを求めることとしているので、処理速度を高速にすることができる。

また、他の発明は、上述の発明に加え、一部領域処理用原画像データ生成処理は、比較用画像データを、画像変化の要因となる変化要因情報のデータにより任意の画像のデータを変化させて生成する処理を行うこととする。

この発明によれば、画像変化の要因情報を利用して、所定のデータを生成することにより一部領域処理用復元原画像データを生成しているので、ノイズやブレ情報誤差等に弱い伝達関数を用いることなく、一部領域処理用原画像データを求めることができる。

また、他の発明は、上述の発明に加え、複数の一部領域処理用画像データは、２つの一部領域処理用画像データであり、２つの各一部領域処理用画像データは、復元対象画像データの画素画像データを有する画素とコントラスト生成用画素画像データを有する画素とは、１画素毎に交互に配列されることとする。

このように構成することにより、各画素データの間に、コントラスト生成画素画像データが配置されることになり、処理用画像データをよりコントラストの高い画像データとすることができる。

また、他の発明は、上述の発明に加え、コントラスト生成画素画像データは、輝度が０または高輝度の画像データであることとする。

このように構成することにより、コントラスト生成画素画像データを、輝度が０または高輝度の画像データとすることにより、複数の画像データをコントラストの高い画像データとすることができる。

本発明によれば、復元対象画像のコントラストが低くても、画像の復元を行うことができる。

以下、本発明の第１の実施の形態に係る画像処理装置１について図を参照しながら説明する。なお、この画像処理装置１は、撮像部にＣＣＤを使用した民生用のいわゆるデジタルカメラとしているが、撮像部にＣＣＤ等の撮像素子を用いる監視用カメラ、テレビ用カメラ用、内視鏡用カメラ等、他の用途のカメラとしたり、顕微鏡用、双眼鏡用、さらにはＮＭＲ撮影用等の画像診断装置等、カメラ以外の機器にも適用できる。

画像処理装置１は、人物等の被写体を撮影する撮像部２と、その撮像部２を駆動する制御系部３と、撮像部２で撮影された画像を処理する処理部４と、を有している。また、この実施の形態に係る画像処理装置１は、さらに処理部４で処理された画像を記録する記録部５と、角速度センサ等からなり、画像劣化等の変化の要因となる変化要因情報を検知する検出部６と、画像劣化等を生じさせる既知の変化要因情報を保存する要因情報保存部７を有する。

撮像部２は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換するＣＣＤやＣ−ＭＯＳ（Ｃｏｍｐｉｅｍｅｎｔａｒｙ Ｍｅｔａｉ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備える部分である。制御系部３は、撮像部２，処理部４、記録部５、検出部６および要因情報保存部７等、画像処理装置１内の各部を制御するものである。

処理部４は、画像処理プロセサで構成されており、ＡＳＩＣ(Ａｐｐｉｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ)のようなハードウェアで構成されている。この処理部４は図示外の記録部を備え、この記録部に後述する処理用画像データにおける虚数部の高周波成分を有する画像データや、比較用画像データを生成する際の元となる任意の画像の画像データが保存されている。処理部４は、ＡＳＩＣのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。記録部５は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段や、ＤＶＤ（Ｄｉｇｉｔａｉ Ｖｅｒｓａｔｉｉｅ Ｄｉｓｋ）等を使用する光記録手段等を採用しても良い。

検出部６は、図２に示すように、画像処理装置１の光軸であるＺ軸に対して垂直方向となるＸ軸、Ｙ軸の回りの速度を検出する２つの角速度センサを備えるものである。ところで、カメラで撮影する際の手ぶれは、Ｘ方向、Ｙ方向、Ｚ方向の各方向への移動やＺ軸回りの回動も生ずるが、各変動により最も大きな影響を受けるのは、Ｙ軸回りの回転とＸ軸回りの回転である。これら２つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図２のＸ軸回りとＹ軸回りの２つの角速度センサのみを配置している。しかし、より完全を期すためＺ軸回りの角速度センサをさらに付加したり、Ｘ方向やＹ方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。

要因情報保存部７は、既知の劣化要因情報などの変化要因情報、たとえば撮影光学系の収差等を保存しておく記録部である。なお、この実施の形態では、要因情報保存部７には、撮影光学系の収差やレンズのひずみの情報が保存されているが、後述する手ぶれによる画像の劣化を補正する際にはそれらの情報は、利用していない。

次に、以上のように構成された画像処理装置１の処理部４の処理方法について説明する。

処理部４は、画像の復元を最適化問題として扱うことにより復元画像を求める処理手法を有している。そこで、先ず、この処理手法について説明する。

画像の復元を最適化問題として扱うということは、「（１）入力に対する出力は、一意に決まる。」、「（２）出力が同じであれば、入力は同じである。」、「（３）出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。」、という３の条件を前提に、画像の復元を行うことである。

すなわち、図３（Ａ）に示すように、原画像データ「ｉｍｇ」が画像を変化させる要因となる変化要因情報データ「ｇ」により変化させられて復元対象画像データとしての撮影画像データ「ｉｍｇ’」（復元の対象の画像データ）に変化すると考えると、任意の画像データ「ｉ_０」を変化要因情報データ「ｇ」により変化させた画像データ「ｉ_０’」が、撮影画像データ「ｉｍｇ’」に近似するように、画像データ「ｉ_０」を「ｉ_０＋ｎ」（ｎは、１以上の整数）として反復して更新する。すなわち、画像データ「ｉ_０＋ｎ」が変化要因情報データ「ｇ」により変化した画像データ「ｉ_０＋ｎ’」が、撮影画像データ「ｉｍｇ’」に近似するような画像データ「ｉ_０＋ｎ」を生成する（求める）ことができれば、図３（Ｂ）に示すように、画像データ「ｉ_０’（＝ｉ_０＋ｎ’）」の生成の元データとなる画像データ「ｉ_０（＝ｉ_０＋ｎ）」は、変化前の原画像データ「ｉｍｇ」に近似した復元された画像であると言える。

また、復元の対象である画像データ「ｉｍｇ’」から復元画像の画像データ「ｉ_０（＝ｉ_０＋ｎ）」への伝達関数「Ｇ」を、Ｇ＝ｉ_０＋ｎ／ｉｍｇ’として求めることができる。

なお、原画像データ「ｉｍｇ」は、撮影画像データ「ｉｍｇ’」の元となった原画像の画像データである。つまり、撮影画像データ「ｉｍｇ’」が変化する前の画像、または正しく撮影されたなら得られたはずの本来の画像のことであり、例えば、撮影操作時に手ぶれ等による画像の劣化がない状態で撮影したと仮定したときの撮影画像のデータである。

上記の基本的な手法について、図４から図１２に基づいてさらに詳しく説明する。

図４中、「ｉ_０」は、処理部４の記録部に予め保存されている任意の初期画像データである。「ｇ」は、検出部６で検出された変化要因情報（劣化要因情報（点像関数））のデータであり、処理部４の記録部に保存されるものである。「ｉ_０’」は、初期画像データ「ｉ_０」が変化要因情報データ「ｇ」により変化した比較用画像データである。「ｉｍｇ’」は、復元の対象となる変化した画像の画像データである。ここでは、撮像部２に撮像された撮影画像データとする。

「δ」は、撮影画像データ「ｉｍｇ’」と、比較用画像データ「ｉ_０’」との差分のデータである。「ｈ」は、変化要因情報データ「ｇ」に基づく配分比を表すフィードバック関数である。「ｉ_０＋ｎ」（ｎは、１以上の整数）は、初期画像データ「ｉ_０」に、差分のデータδを配分比「ｈ」に従って配分して新たに生成した復元画像データである。

ここで、「ｉｍｇ」と「ｉｍｇ’」の関係は、次の（１）式で表されるとする。
ｉｍｇ’＝ｉｍｇ＊ｇ …（１）
「＊」は、重畳積分を表わす演算子である。
なお、差分のデータ「δ」は、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報データ「ｇ」により異なり、次の（２）式で現される。
δ＝ｆ（ｉｍｇ’，ｉｍｇ，ｇ）…（２）

処理部４の処理ルーチンは、まず、初期画像データ「ｉ_０」を用意する（ステップＳ１０１）ことから始まる。この初期画像データ「ｉ_０」としては、撮影画像データ「ｉｍｇ’」を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。ステップＳ１０２で、（１）式の「ｉｍｇ」の代わりに初期画像となる任意画像のデータ「ｉ_０」を入れ、劣化画像である比較用画像データ「ｉ_０’」を求める。次に、撮影画像データ「ｉｍｇ’」と比較用画像データ「ｉ_０’」と比較し、差分のデータ「δ」を算出する（ステップＳ１０３）。

次に、ステップＳ１０４で、この差分のデータ「δ」が所定値以上であるか否かを判断し、所定値以上であれば、ステップＳ１０５で新たな復元画像データ（＝復元画像データ）を生成する処理を行う。すなわち、差分のデータ「δ」を変化要因情報データ「ｇ」に基づいて、任意の初期画像データ「ｉ_０」に配分し、新たな復元画像データ「ｉ_０＋ｎ」を生成する。その後、ステップＳ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５を繰り返す。

ステップＳ１０４において、差分のデータ「δ」が所定値より小さい場合、処理を終了する（ステップＳ１０６）。そして、処理を終了した時点での復元画像データ「ｉ_０＋ｎ」を原画像データ「ｉｍｇ」と推定する。

次に、図３および図４に示す処理方法の詳細を、図５，図６，図７，図８，図９，図１０，図１１および図１２に基づいて説明する。

（手ぶれの復元アルゴリズム）
手ぶれが無いとき、所定の画素に対応する光エネルギーは、露光時間中、その画素に集中する。また、手ぶれがある場合、光エネルギーは、露光時間中にぶれた画素に分散する。さらに、露光時間中のブレがわかれば、露光時間中のエネルギーの分散の仕方がわかるため、ぶれた画像からブレの無い画像を作ることが可能となる。

以下、簡単のため、横一次元で説明する。画素を左から順に、ｎ−１，ｎ，ｎ＋１，ｎ＋２，ｎ＋３，…，とし、ある画素ｎに注目する。ブレが無いとき、露光時間中のエネルギーは、その画素に集中するため、エネルギーの集中度は「１．０」である。この状態を図５に示す。このときの撮影結果を、図６の表に示す。図６に示すものが、劣化しなかった場合の正しい画像データ「ｉｍｇ」となる。なお、各データは、８ビット（０〜２５５）のデータで現している。

露光時間中にブレがあり、露光時間中の５０％の時間はｎ番目の画素に、３０％の時間はｎ＋１番目の画素に、２０％の時間はｎ＋２番目の画素に、それぞれぶれていたとする。エネルギーの分散の仕方は、図７に示す表のとおりとなる。これが変化要因情報データ「ｇ」となる。

ブレは、全ての画素で一様であるので、上ぶれ（縦ぶれ）が無いとすると、ブレの状況は、図８に示す表のとおりとなる。図８中の「撮影結果」として示されるデータが、原画像データ「ｉｍｇ」で、「ブレ画像」として示されるデータが、撮影画像データ「ｉｍｇ’」となる。具体的には、たとえば「ｎ−３」の画素の「１２０」は、ぶれ情報である変化要因情報データ「ｇ」の「０．５」「０．３」「０．２」の配分比に従い、「ｎ−３」の画素に「６０」、「ｎ−２」の画素に「３６」、「ｎ−１」の画素に「２４」というように分散する。同様に、「ｎ−２」の画素のデータである「６０」は、「ｎ−２」に「３０」、「ｎ−１」に「１８」、「ｎ」に「１２」として分散する。この撮影画像データ「ｉｍｇ’」と、図７に示す変化要因情報データ「ｇ」からぶれの無い撮影結果を算出することとなる。

ステップＳ１０１に示す任意の初期画像データ「ｉ_０」としては、どのようなものでも採用できるが、この説明に当たっては、撮影画像データ「ｉｍｇ’」を用いる。すなわち、ｉ_０＝ｉｍｇ’として処理を開始する。図９の表中に「入力」とされたものが初期画像データ「ｉ_０」に相当する。この初期画像データ「ｉ_０」すなわち「ｉｍｇ’」に、ステップＳ１０２で変化要因情報データ「ｇ」を作用させる。すなわち、たとえば、初期画像データ「ｉ_０」の「ｎ−３」の画素の「６０」は、「ｎ−３」の画素に「３０」が、「ｎ−２」の画素に「１８」が、「ｎ−１」の画素に「１２」がそれぞれ割り振られる。他の画素についても同様に配分され、出力「ｉ_０’」として示される比較用画像データ「ｉ_０’」が生成される。このため、ステップＳ１０３の差分のデータ「δ」は、図９の最下欄に示すようになる。

この後、ステップＳ１０４にて差分のデータ「δ」の大きさを判断する。具体的には、差分のデータ「δ」が全て絶対値で５以下となった場合に処理を終了するが、図９に示す差分のデータ「δ」は、この条件に合わないため、ステップＳ１０５に進む。すなわち、差分のデータ「δ」を変化要因情報データ「ｇ」を使用して、任意の初期画像データ「ｉ_０」に配分して、図１０中の「次回入力」として示される復元画像データ「ｉ_０＋ｎ」を生成する。この場合、第１回目であるため、図１０では、「ｉ_０＋１」と表している。

差分のデータ「δ」の配分は、たとえば「ｎ−３」の画素のデータ「３０」に自分の所（＝「ｎ−３」の画素）の配分比である０．５をかけた「１５」を「ｎ−３」の画素に配分し、また「ｎ−２」の画素のデータ「１５」にその「ｎ−２」の画素にきているはずの配分比である「０．３」をかけた「４．５」を配分し、さらに、「ｎ−１」の画素のデータ「９．２」に、その「ｎ−１」の画素にきているはずの配分比である「０．２」をかけた「１．８４」を配分する。「ｎ−３」の画素に配分された総量は、「２１．３４」となり、この値を初期画像データ「ｉ_０」（ここでは撮影画像データ「ｉｍｇ’」を使用）にプラスして、復元画像データ「ｉ_０＋１」を生成している。

図１１に示すように、この復元画像データ「ｉ_０＋１」がステップＳ１０２の入力画像のデータ（＝初期画像データ「ｉ_０」）になり、ステップＳ１０２が実行され、ステップＳ１０３へと移行し、新しい差分のデータ「δ」を得る。その新しい差分のデータ「δ」の大きさをステップＳ１０４で判断し、所定値より大きい場合、ステップＳ１０５で新しい差分のデータ「δ」を前回の復元画像データ「ｉ_０＋１」に配分し、新しい復元画像データ「ｉ_０＋２」を生成する（図１２参照）。その後、ステップＳ１０２の遂行により、復元画像データ「ｉ_０＋２」から新しい比較用画像データ「ｉ_０＋２’」が生成される。このように、ステップＳ１０２，Ｓ１０３が実行された後、ステップＳ１０４へ行き、そこでの判断によりステップＳ１０５へ行ったり、ステップＳ１０６へ移行する。このような処理を繰り返す。

以上のようにして求めた復元画像データ「ｉ_０＋ｎ」と復元の対象である撮影画像データ「ｉｍｇ’」とから、撮影画像データ「ｉｍｇ’」から復元画像データ「ｉ_０＋ｎ」への伝達関数Ｇを、Ｇ＝ｉ_０＋ｎ／ｉｍｇ’として求めることができる。

ところで、撮影画像データが、手ぶれ等により劣化し輪郭部がぼけたものとなっている場合には、画像データの高周波成分が失われてしまっている。この影響からか、上述の復元処理を行ってもそれほど良い復元原画像データを得ることができない。また、高周波成分が失われていることにより、伝達関数が不安定になると考えられる。そこで、以上に述べた処理手法を前提として、以下に説明する処理手法を採ることにより、よりよい復元原画像データを求めることができるとともに、安定した伝達関数を求めることができる。

図１３に示すよう、撮影画像データ「ｉｍｇ’」から、２つの処理用画像データ「ｉｍｇ’（１）」，「ｉｍｇ’（２）」を生成する。処理用画像データ「ｉｍｇ’（１）」，「ｉｍｇ’（２）」は、次のような考え方に基づいて生成される。

撮影画像データ「ｉｍｇ’」は、例えば、図１３の（Ａ）に示すように、１番から３２番の画素位置の画素に、それぞれ、「ａa」から「dh」までの画素画像データを有するものする。

この撮影画像データ「ｉｍｇ’」に対して、処理用画像データ「ｉｍｇ’（１）」を、図１３の（Ｂ１）に示すように、画素番号「１，３，５，…，３２」に、それぞれ、「ａａ」，「aｃ」，「aｅ」，…，「dh」の画素画像データを有し、これらの画素の間の画素にあたる画素番号「２，４，６，…，３１」に、コントラスト生成用画素画像データとして輝度０の画素画像データ「ｚ」を有するように生成する。輝度０の画素画像データとは、例えば、画素画像データの輝度を８ビットで暗い方から順に２５５段階で表したときの最も暗い、例えば、黒ベタのような明るさが無い画像データとする。

また、処理用画像データ「ｉｍｇ’（２）」を、図１３の（Ｂ２）に示すように、画素番号「２，４，６，…，３１」に、それぞれ、「aｂ」，「aｄ」，「aｆ」，…，「dg」の画素画像データを有し、これらの画素の間の画素にあたる画素番号「１，３，５，…，３２」に、画素画像データ「ｚ」を有するように生成する。

つまり、処理用画像データ「ｉｍｇ’（１）」，「ｉｍｇ’（２）」の互いに同じ画素位置にある画素のいずれか１つの画素画像データは、撮影画像データ「ｉｍｇ’」の同じ画素位置の画素の画素画像データと同じになっている。また、各処理用画像データ「ｉｍｇ’（１）」，「ｉｍｇ’（２）」の撮影画像データ「ｉｍｇ’」の画素画像データを有しない画素の画素画像データは、輝度０の画素画像データ「ｚ」となっている。このように生成された処理用画像データ「ｉｍｇ’（１）」，「ｉｍｇ’（２）」は、コントラストの高い画像データとして生成されている。

なお、ここでは、コントラスト生成用画素画像データとして画素画像データ「ｚ」を輝度０（輝度がない）のデータとしたが、必ずしも０に限らず、例えば、輝度の高いデータとして、輝度２５５としてもよい。コントラスト生成用画素画像データは、コントラスト生成用画素画像データを入れる画素に隣接する画素に対して、できるだけ多くの画素について、できるだけ高いコントラストを生ずるデータとすることが適切である。

このような、処理用画像データ「ｉｍｇ’（１）」に対して、図４で説明した処理を、撮影画像データ「ｉｍｇ’」の代わりに行う。つまり、図４のステップＳ１０３における撮影画像データ「ｉｍｇ’」の代わりに、処理用画像データ「ｉｍｇ’（１）」を処理対象として処理を行い、処理用画像データ「ｉｍｇ’（１）」と比較用画像データ「ｉ_０’」とを比較し、差分のデータ「δ」を算出する。

次いで、ステップＳ１０４で、この差分のデータ「δ」が所定値以上であるか否かを判断し、所定値以上であれば、ステップＳ１０５で新たな復元画像データとして処理用復元画像データを生成する処理を行う。すなわち、差分のデータ「δ」を変化要因情報データ「ｇ」に基づいて、任意の初期画像データ「ｉ_０」に配分し、処理用復元画像データ「ｉ_０＋ｎ」を生成する。その後、ステップＳ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５を繰り返す。

ステップＳ１０４において、差分のデータ「δ」が所定値より小さい場合、処理を終了する（ステップＳ１０６）。そして、処理を終了した時点での処理用復元画像データ「ｉ_０＋ｎ」を処理用原画像データ「ｉ_０＋ｎ（１）」とする。

すなわち、処理用画像データ「ｉｍｇ’（１）」に対して、図４で説明した処理を、撮影画像データ「ｉｍｇ’」の代わりに行うことにより、処理用原画像データ「ｉ_０＋ｎ（１）」の生成処理を行っている。

この処理用原画像データ「ｉ_０＋ｎ（１）」の概念を図１３の（Ｃ１）に示す。つまり、処理用画像データ「ｉｍｇ’（１）」の各画素画像データ「ａａ」，「ｚ」，「aｃ」，「ｚ」，「aｅ」，「ｚ」，…，「ｚ」，「dh」は、図４の処理により「ａａ’」，「ｚ’」，「aｃ’」，「ｚ’」，「ａｅ’」，「ｚ’」，…，「ｚ’」，「dh’」のように復元される。なお、各「ｚ’」は、互いに等しいとは限らない。この処理用原画像データ「ｉ_０＋ｎ（１）」は、変化要因情報データ「ｇ」が作用すると処理用画像データ「ｉｍｇ’（１）」となるものである。

処理用画像データ「ｉｍｇ’（２）」に対しても、処理用画像データ「ｉｍｇ’（１）」と同じように、図４で説明した処理を行い、処理用原画像データ「ｉ_０＋ｎ（２）」を生成する。そして、この処理用原画像データ「ｉ_０＋ｎ（２）」の概念を図１３の（Ｃ２）に示す。つまり、処理用画像データ「ｉｍｇ’（２）」の各画素画像データ「ｚ」，「aｂ」，「ｚ」，「aｄ」，「ｚ」，「aｆ」，「ｚ」，…，「ｚ」，「dｇ」，「ｚ」は、図４の処理により「ｚ’」，「aｂ’」，「ｚ’」，「aｄ’」，「ｚ’」，「aｆ’」，「ｚ’」，…，「ｚ’」，「dg’」，「ｚ’」のように復元される。なお、各「ｚ’」は、上記と同様に互いに等しいとは限らない。この処理用画像データ「ｉｍｇ’（２）」についての処理用原画像データ「ｉ_０＋ｎ（２）」も、変化要因情報データ「ｇ」が作用すると処理用画像データ「ｉｍｇ’（２）」となるものである。

そして、処理用原画像データ「ｉ_０＋ｎ（１）」，「ｉ_０＋ｎ（２）」の、撮影画像データの画素画像に係る各画素画像データ、つまり、「ａａ’」，「aｃ’」，「aｅ’」，…，「dｈ’」と、「aｂ’」，「aｄ’」，「aｆ’」，…，「dｇ’」は、それぞれ、原画像データ「ｉｍｇ」の対応する画素位置の画素画像データに近似しているものと言える。したがって、処理用原画像データ「ｉ_０＋ｎ（１）」，「ｉ_０＋ｎ（２）」の「ｚ’」以外の各画素画像データ（撮影画像データ「ｉｍｇ’」の画素画像に係る各画素画像データ）に基づいて、図１３の（Ｄ）に示す復元原画像データ「ｉ_０＋ｎ」を生成する。つまり、処理用原画像データ「ｉ_０＋ｎ（１）」と処理用原画像データ「ｉ_０＋ｎ（２）」とを各画素が重なるように加算し、各画素について「ｚ’」を減ずることにより復元原画像データ「ｉ_０＋ｎ」を生成することができる。

上述したように、処理用画像データ「ｉｍｇ’（１）」，「ｉｍｇ’（２）」をコントラストの高い画像データとすると、図４で基本的な処理手法として説明した撮影画像データ「ｉｍｇ’」を直接処理対象とするよりも、原画像データ「ｉｍｇ」に近い復元原画像復元原画像データ「ｉ_０＋ｎ」を生成することができる。すなわち、原画像によりちかい復元原画像を得ることができる。

また、処理用画像データ「ｉｍｇ’（１）」から処理用原画像データ「ｉ_０＋ｎ（１）」への伝達関数「Ｇ１」を、Ｇ１＝ｉ_０＋ｎ（１）／ｉｍｇ’（１）として求める場合において、処理用画像データ「ｉｍｇ’（１）」が、コントラストの高い画像データであり高周波成分を十分に含んでいるため、安定した伝達関数Ｇ１を求めることができる。処理用画像データ「ｉｍｇ’（２）」から処理用原画像データ「ｉ_０＋ｎ（２）」への伝達関数「Ｇ２」についても、同様に安定した伝達関数Ｇ２を求めることができる。

なお、求めた各伝達関数「Ｇ１」，「Ｇ２」は撮影画像データ「ｉｍｇ’」とともに記録部５に記録する。そして、後日改めて、撮影画像データ「ｉｍｇ’」を再生する際に、撮影画像データ「ｉｍｇ’」から処理用画像データ「ｉｍｇ’（１）」，「ｉｍｇ’（２）」を生成し、この処理用画像データ「ｉｍｇ’（１）」，「ｉｍｇ’（２）」に伝達関数Ｇ１，Ｇ２を作用させて、直ちに、処理用原画像データ「ｉ_０＋ｎ（１）」，「ｉ_０＋ｎ（２）」を生成し、撮影画像データ「ｉｍｇ’」の復元原画像データ「ｉ_０＋ｎ」を求めることができる。つまり、図４の処理手法を経ることなく、短時間で撮影画像データ「ｉｍｇ’」の復元原画像データ「ｉ_０＋ｎ」を求めることができる。

ところで、図４の処理ルーチンに示す処理手法においては、ステップＳ１０４において、差分のデータ「δ」の大きさを判断する代わりに、Ｓ１０２からＳ１０５の処理ルーチンの処理回数を設定し、設定した回数の処理ルーチンを実行したときの復元画像データ「ｉ_０＋ｎ」を原画像データ「ｉｍｇ」に近似したものとすることもできる。つまり、処理回数を、復元画像データ「ｉ_０＋ｎ」が原画像データ「ｉｍｇ」に近似したと推定できる回数以上に設定することにより、差分のデータ「δ」の大きさの判断を行うことなく復元画像データ「ｉ_０＋ｎ」を求めることができる。

そして、このように設定した回数の処理ルーチンを実行したときの復元画像データ「ｉ_０＋ｎ」を原画像データ「ｉｍｇ」に近似したものとする処理の考え方を数式で表現すると次のようになる。なお、図４は、処理部４の処理方法の考え方を簡便に判りやすく説明するものである。そのため、この図４では、１つの画素に着目して説明しているものであるが、撮像部２の全撮像領域における復元画像データを求めるには、撮像領域の全画素について図４の処理ルーチンを実行する必要がある。

先ず、Ｓ１０１における初期画像データを「ｉ_０」とすると、Ｓ１０２において、比較用画像データ「ｉ_０′」は、初期画像データ「ｉ_０」と変化要因関数「ｇ」の重畳積分として（１）式のように表される。

Ｓ１０３の差分のデータ「δ」は、（２）式のように表される。

Ｓ１０５の復元画像データ「ｉ_０＋１」は、初期画像データ「ｉ_０」に差分のデータ「δ」をフィードバック関数「ｈ」に基づいて配分したものとして（３）式のように表される。

そして次回の処理ルーチンでは、この（３）式の復元画像データ「ｉ_０＋１」が、Ｓ１０２の「ｉ_０」の代わりに入り、比較用画像データ「ｉ_０＋１′」が、（４）式に表される形で生成される。

そうして、Ｓ１０３において、差分のデータ「δ」が、（５）式で表される。

そうすると、Ｓ１０５の復元画像データ「ｉ_０＋２」は、（６）式のように表される。

以下同様に、「ｉ_０＋３」，…を計算していくと、復元画像データ「ｉ_０＋ｎ」は、（７）式のように表される。

つまり、上記（７）式を用いると、図４の処理ルーチンを実行することなく、所定の設定回数のルーチンを行ったときと同じ復元画像データを計算により求めることができる。例えば、（７）式において、ｋ＝２０のときの計算値は、図４の処理ルーチンを２０回繰り返したときの復元画像データと等しくなる。

図４の処理ルーチンの回数を多くすれば多くするほど、復元画像データ「ｉ_０＋ｎ」は、原画像データ「ｉｍｇ」に近づくが、処理に時間が長くなる。一方、上記の（７）式においては「ｋ」を大きくすることが、図４の処理ルーチンの回数を多くすることに相当することになる。しかしながら、「ｋ」を大きくしても計算時間は、「ｋ」に相当する回数の処理ルーチンを実行するのに比べて短いものとなる。

ところで、図４の処理ルーチンにおいて、初期画像データ「ｉ_０」を黒ベタの画像、つまり、画像データを入力しない状態で開始することは、（７）式において、「ｉ_０」を「０」にすることに相当する。

つまり、（７）式において、「ｉ_０」＝「０」とすると、（７）式は、（９）式のように表される。

つまり、上記（９）式を用いても、図４の処理ルーチンを実行することなく、所定の設定回数のルーチンを行ったときと同じ復元画像データを計算により求めることができる。

なお、フィードバック関数「ｈ」については、例えば、手ぶれによるカメラの移動軌跡が図１３の線Ｌ（変化要因関数が「ｇ（ｘ，ｙ）」）で表されるとしたときに、フィードバック関数「ｈ」は、ｈ（−ｘ，−ｙ）＝ｇ（ｘ，ｙ）となる関数とすると、効率よく差分のデータ「δ」を小さくすることができる。

ところで、（７）式と（９）式をフーリエ変換すると、（７）式は、（１０）式のように表され、また（９）式は、（１１）式のように表される。

ただし、「Ｉ_０＋ｎ」は、復元画像データ「ｉ_０＋ｎ」をフーリエ変換した周波数空間における復元画像データを表わす。「Ｉ_０」は、初期画像データ「ｉ_０」をフーリエ変換した周波数空間における初期画像データを表わす。「ＩＭＧ′」は、撮影画像データ「ｉｍｇ′」をフーリエ変換した周波数空間における撮影画像データを表わす。「Ｈ」は、フィードバック関数「ｈ」をフーリエ変換した周波数空間におけるフィードバック関数を表わす。「Ｇ」は、変化要因「ｇ」をフーリエ変換した周波数空間における変化要因を表わす。

このように、（７）式、（９）式についてフーリエ変換を行った（１０）式、（１１）式を用いて周波数空間において計算をすることにより、（７）式、（９）式のような重畳積分を行うことなく、積算（掛け算）と加減算（加算と減算）により復元画像データ「Ｉ_０＋ｎ」を算出することができる。このため、計算速度を先に示した重畳積分を行う場合に比べて早くすることができる。

なお、（１０）式あるいは（１１）式により算出した復元画像データ「Ｉ_０＋ｎ」については逆フーリエ変換により空間領域における画像データを求める。

以上に説明した（７）式、（９）式、（１０）式あるいは（１１）式を用いて、処理用画像データ「ｉｍｇ’（１）」，「ｉｍｇ’（２）」から、処理用原画像データ「ｉ_０＋ｎ（１）」，「ｉ_０＋ｎ（２）」を生成するようにしてもよい。

なお、処理用画像データは２つに限らず、３つ以上生成してもよい。例えば、図１４に示すように、図１４の（Ａ）の撮影画像データ「ｉｍｇ’」から、図１４の（Ｂ１），（Ｂ２），（Ｂ３）に示す３つの処理用画像データ「ｉｍｇ’（１）」，「ｉｍｇ’（２）」，「ｉｍｇ’（３）」を生成するようにしてもよい。

また、図１５に示すように、図１５の（Ａ）の撮影画像データ「ｉｍｇ’」から、図１５の（Ｂ１），（Ｂ２）に示す処理用画像データ「ｉｍｇ’（１）」，「ｉｍｇ’（２）」ように、２以上の画素に連続して撮影画像データ「ｉｍｇ’」の画素画像データが入るようにしてもよい。例えば、図１５（Ｂ）の１，２の画素には、連続して画素画像データ「ａａ」，「ａｂ」が入っている。しかし、撮影画像データ「ｉｍｇ’」の画素画像データとコントラスト生成用画素画像データ「ｚ」を交互に配列するようにすると、コントラストが高い処理用画像データとすることができる。

また、コントラストの低下する方向が、一方向である場合は、この一方向のみに、撮影画像データの画素画像データとコントラスト生成用画素画像データが交互に配列されるようにし、コントラストが低下していない他方の方向については、撮影画像データの画素画像データの配列のままにしておくようにしてもよい。

ところで、以上に説明した伝達関数「Ｇ１」，「Ｇ２」を求める処理は、撮像部２の全撮像領域のうちの一部の領域、つまり、撮像画像データ「ｉｍｇ’」の一部の領域を対象として、この一部の領域について行うのが処理の高速化を図る点で好適である。

例えば、図１６の（Ａ）に示す１から３２の画素のうちから、４分の１の画素数にあたる１，２，３，４，５，９，１０，１１，１２，１３の画素番号の画素から構成される一部の領域について、図１６の（Ｂ１），（Ｂ２）に示す一部領域処理用画像データ「ｉｍｇ’（１ｓ）」，「ｉｍｇ’（２ｓ）」を生成する。そして、図４の処理手法あるいは（７）式，（９）式，（１０）式，（１１）式により、一部領域処理用画像データ「ｉｍｇ’（１ｓ）」，「ｉｍｇ’（２ｓ）」のそれぞれについて、図１６の（Ｃ１），（Ｃ２）に示す一部処理用原画像データ「ｉ_０＋ｎ（１ｓ）」，「ｉ_０＋ｎ（２ｓ）」生成すする。そうして、一部領域処理用画像データ「ｉｍｇ’（１ｓ）」，「ｉｍｇ’（２ｓ）」と一部領域処理用原画像データ「ｉ_０＋ｎ（１ｓ）」，「ｉ_０＋ｎ（２ｓ）」との間の伝達関数を一部領域伝達関数「Ｇ１ｓ」，「Ｇ２ｓ」として求める。

そして、一部の撮像領域について求めた一部領域伝達関数「Ｇ１ｓ」，「Ｇ２ｓ」を拡大、補間し、処理用画像データ「ｉｍｇ’（１）」，「ｉｍｇ’（２）」と処理用原画像データ「ｉ_０＋ｎ（１）」，「ｉ_０＋ｎ（２）」との間の伝達関数「Ｇ１」，「Ｇ２」として求める。このようにすることにより、図４に示す処理を一部の領域について行えば済むため、大きな画像の処理を行う際の処理速度の向上を図ることができる。

求めた各伝達関数「Ｇ１」，「Ｇ２」は撮影画像データ「ｉｍｇ’」とともに記録部５に記録する。そして、後日改めて、撮影画像データ「ｉｍｇ’」を再生する際に、撮影画像データ「ｉｍｇ’」から処理用画像データ「ｉｍｇ’（１）」，「ｉｍｇ’（２）」を生成し、この処理用画像データ「ｉｍｇ’（１）」，「ｉｍｇ’（２）」に伝達関数Ｇ１，Ｇ２を作用させて、直ちに、処理用原画像データ「ｉ_０＋ｎ（１）」，「ｉ_０＋ｎ（２）」を生成し、撮影画像データ「ｉｍｇ’」の復元原画像データ「ｉ_０＋ｎ」を求める。

本発明の実施の形態に係る画像処理装置の主要構成を示すブロック図である。 図１に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。 復元画像を最適化問題として扱って求める処理手法についての概念を説明するための図である。 図３で説明する概念の具体的な手法（処理ルーチン）を説明するための処理フロー図である。 図４に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときのエネルギーの集中を示す表である。 図４に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの画像データを示す図である。 図４に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれが生じたときのエネルギーの分散を示す図である。 図４に示す処理方法を、手ぶれを例にして具体的に説明するための図で、任意の画像から比較用データを生成する状況を説明するための図である。 図４に示す処理方法を、手ぶれを例にして具体的に説明するための図で、比較用データと、処理対象となるぶれた原画像とを比較して、差分のデータを生成する状況を説明するための図である。 図４に示す処理方法を、手ぶれを例にして具体的に説明するための図で、差分のデータを配分し任意の画像に加えることで復元データを生成する状況を説明するための図である。 図４に示す処理方法を、手ぶれを例にして具体的に説明するための図で、生成された復元データから新たな比較用データを生成し、そのデータと処理対象となるぶれた原画像とを比較して差分のデータを生成する状況を説明するための図である。 図４に示す処理方法を、手ぶれを例にして具体的に説明するための図で、新たに生成された差分のデータを配分し、新たな復元データを生成する状況を説明するための図である。 図１の画像処理装置における処理用画像データの生成について説明するための図である。 図１の画像処理装置における処理用画像データの生成についての他の例を説明するための図である。 図１の画像処理装置における処理用画像データの生成についての他の例を説明するための図である。 図１の画像処理装置における処理用画像データの生成についての他の例を説明するための図である。

符号の説明

１ 画像処理装置
２ 撮影部
３ 制御系部
４ 処理部
５ 記録部
６ 検出部
７ 要因情報保存部
ｉｍｇ 原画像のデータ
ｉｍｇ’ 撮影画像データ
ｉｍｇ’（１），ｉｍｇ’（２），ｉｍｇ’（３） 処理用画像データ
ｉ_０＋ｎ 復元原画像データ
ｉ_０＋ｎ（１），ｉ_０＋ｎ（２） 処理用原画像データ
ｉｍｇ’（１ｓ），ｉｍｇ’（２ｓ） 一部領域処理用画像データ
ｉ_０＋ｎ（１ｓ），ｉ_０＋ｎ（２ｓ） 一部領域処理用原画像データ
ｚ コントラスト生成用画素画像データ
δＲ 差分のデータ
δｉ・ｉ 差分のデータ
ｈ フィードバック関数（配分比）
Ｇ１，Ｇ２ 伝達関数
ｇ 変化要因情報データ

Claims (7)

1. 画像を処理する処理部を有する画像処理装置において、
   上記処理部は、
   互いに異なる複数の処理用画像データであって、これら各処理用画像データの互いに同じ画素位置にある画素のいずれか１つの画素画像データを、復元対象画像データの同じ画素位置の画素の画素画像データと同じとし、上記各処理用画像データの画素のうち、上記復元対象画像データの画素画像データを有しない画素の画素画像データを、コントラスト生成用画素画像データとし、上記復元対象画像データの画素画像データを有する画素とコントラスト生成用画素画像データを有する画素が交互に配列される処理用画像データを生成し、
   上記処理用画像データのそれぞれについて処理用原画像データを生成する処理用原画像データ生成処理を行い、
   上記処理用原画像データから、原画像データに近似する復元原画像データを生成する原画像データ復元処理を行い、
   上記コントラスト生成用画素画像データは、このコントラスト生成用画素画像データと隣接する画素の画素画像データとの輝度差が高くなるように設定される画素画像データであり、
   上記処理用原画像データ生成処理は、上記処理用画像データと、任意の画像のデータを変化要因情報のデータにより変化させて生成した比較用画像データとを比較し、得られた差分のデータを上記変化要因情報のデータに基づく配分比で上記任意の画像のデータに配分することで処理用復元画像データを生成し、この処理用復元画像データを上記任意の画像のデータの代わりに使用し、同様の処理を上記差分のデータが所定値より小さくなるまで繰り返すことで、上記処理用復元画像データを上記処理用原画像データとして生成する処理であり、
   上記原画像データ復元処理は、上記各処理用画像データについての上記処理用原画像データ同士を各画素が重なるように加算し、各画素について上記コントラスト生成用画素画像データについての処理用原画像データを減ずる処理である、
   ことを特徴とする画像処理装置。
2. 前記処理用原画像データ生成処理は、
   前記比較用画像データを、画像変化の要因となる変化要因情報のデータにより前記任意の画像のデータを変化させて生成する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の処理用画像データは、２つの処理用画像データであり、
   上記２つの各処理用画像データは、前記復元対象画像データの画素画像データを有する画素と前記コントラスト生成用画素画像データを有する画素とは、１画素毎に交互に配列されることを特徴とする請求項１または請求項２のいずれか１つに記載の画像処理装置。
4. 画像を処理する処理部を有する画像処理装置において、
   上記処理部は、
   復元対象画像データの一部の領域に対して生成する互いに異なる複数の一部領域処理用画像データであって、これら各一部領域処理用画像データの互いに同じ画素位置にある画素のいずれか１つの画素画像データを、上記復元対象画像データの一部の領域内の同じ画素位置の画素の画素画像データと同じとし、上記各一部領域処理用画像データの画素のうち、上記復元対象画像データの画素画像データを有しない画素の画素画像データを、コントラスト生成用画素画像データとし、上記復元対象画像データの画素画像データを有する画素とコントラスト生成用画素画像データを有する画素が交互に配列される一部領域処理用画像データを生成し、
   上記一部領域処理用画像データのそれぞれについて一部領域処理用原画像データを生成する一部領域処理用原画像データ生成処理を行い、
   上記一部領域処理用画像データと上記一部領域処理用原画像データとから、上記一部領域処理用画像データと上記一部領域処理用原画像データの間の一部領域伝達関数を求め、
   この一部領域伝達関数を利用して上記復元対象画像データの復元原画像データを生成する原画像データ復元処理を行い、
   上記コントラスト生成用画素画像データは、このコントラスト生成用画素画像データと隣接する画素の画素画像データとの輝度差が高くなるように設定される画素画像データであり、
   上記一部領域処理用原画像データ生成処理は、上記一部領域処理用画像データと、任意の画像のデータを変化要因情報のデータにより変化させて生成した比較用画像データとを比較し、得られた差分のデータを上記変化要因情報のデータに基づく配分比で上記任意の画像のデータに配分することで一部領域処理用復元画像データを生成し、この一部領域処理用復元画像データを上記任意の画像のデータの代わりに使用し、同様の処理を上記差分のデータが所定値より小さくなるまで繰り返すことで、上記一部領域処理用復元画像データを上記一部領域処理用原画像データとして生成する処理である、
   ことを特徴とする画像処理装置。
5. 前記一部領域処理用原画像データ生成処理は、
   前記比較用画像データを、画像変化の要因となる変化要因情報のデータにより前記任意の画像のデータを変化させて生成する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記複数の一部領域処理用画像データは、２つの一部領域処理用画像データであり、
   上記２つの各一部領域処理用画像データは、前記復元対象画像データの画素画像データを有する画素と前記コントラスト生成用画素画像データを有する画素とは、１画素毎に交互に配列されることを特徴とする請求項４または請求項５のいずれか１つに記載の画像処理装置。
7. 前記コントラスト生成画素画像データは、輝度が０または高輝度の画像データであることを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
   

Images