JP2000020691A - 画像処理装置及びその方法、撮像装置及びその制御方法並びにメモリ媒体 - Google Patents

Abstract

(57)【要約】 【課題】劣化画像から高品位の復元画像を得る。 【解決手段】デジタルカメラ等の撮像装置から特性情報
を取得し（Ｓ３０１）、画像取込部における変換処理
（γ補正、色変換等）の内容を示す変換情報を取得し
（Ｓ３０２）、これらに基づいて入力画像の変換方法を
決定し（Ｓ３０３）、その変換方法に従って変換する。
決定される変換方法は、画像取込部における変換処理の
逆変換処理に相当し、画像取込部で非線形の画像に変換
された入力画像を線形（露光時間と画素値とが比例）の
画像に再変換する変換方法である。次いで、撮像装置の
特性情報等に基づいて劣化関数を生成し（Ｓ３０６）、
この劣化関数に基づいて、再変換に係る画像より復元画
像を生成する（Ｓ３０７）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置及び
その方法、撮像装置及びその制御方法並びにメモリ媒体
に係り、特に、劣化画像を復元する画像処理装置及びそ
の方法、該画像処理装置との組合せに好適な撮像装置及
びその制御方法、並びに、これらの方法の実行を制御す
るためのメモリ媒体に関する。

【０００２】

【従来の技術】劣化画像（例えば、ブレ画像、ボケ画
像）を復元して、劣化の少ない画像（理想画像）を生成
する手法として、例えば、ウィーナーフィルタ、一般逆
フィルタ、射影フィルタ等を適用して手法がある。これ
らの手法を適用するためには、まず、劣化関数を決定す
る必要がある。この劣化関数を決定する方法としては、
撮影条件等の物理的要因から解析的に求めたり、撮影装
置に備えられた測定装置（例えば、加速度センサ）の出
力に基づいて推定する方法が理想的である。

【０００３】以下に、劣化関数について説明する。ま
ず、ｆ（ｘ，ｙ）を理想画像、ｇ（ｘ、ｙ）を劣化画
像、ｈ（ｘ、ｙ、ｘ’、ｙ’）を劣化関数、ν（ｘ、
ｙ）を出力画像におけるランダム雑音とすると、（１）
式の関係があるものと仮定する。

【０００４】

【数１】 ・・・（１）

【０００５】平行移動を除いて、点が劣化した像が該点
の位置に存在しない場合、点広がり関数（ＰＳＦ：Poin
t Spread Function）は、ｈ（ｘ−ｘ’，ｙ−ｙ’）で
表現され、（１）式は、（２）式のように書き換えられ
る。

【０００６】

【数２】 ・・・（２）

【０００７】雑音がない場合は、（２）式の両辺をフー
リエ変換し、畳み込み定理を適用すると、（３）式が得
られる。ここで、Ｇ（ｕ，ｖ），Ｆ（ｕ，ｖ），Ｈ
（ｕ，ｖ）は、夫々ｇ（ｘ，ｙ），ｆ（ｘ，ｙ），ｈ
（ｘ，ｙ）のフーリエ変換である。

【０００８】

【数３】 ・・・（３）

【０００９】Ｈ（ｕ，ｖ）は、理想画像ｆ（ｘ，ｙ）を
劣化画像ｇ（ｘ，ｙ）に変換するシステムの伝達関数で
ある。

【００１０】以下に、一例として、カメラと風景（被写
体）との間の相対的な運動による劣化（ブレ）における
劣化モデルについて説明する。ここでは、この相対的な
運動を除いて、カメラの撮像素子上における画像は時間
的に不変であると仮定する。仮に、相対的な運動が平面
内における撮像素子の運動によるものと近似的に等しい
ならば、撮像素子上の一点における露光量の総計は、瞬
時的な露光量を露光時間で積分することにより求められ
る。ここで、シャッタの開閉に要する時間は無視できる
ものと仮定する。α（ｔ），β（ｔ）を夫々変位のｘ，
ｙ成分であるとすると、（４）式が成り立つ。ここで、
Ｔは露光時間であり、積分範囲を便宜的にｔ＝−Ｔ／２
からｔ＝Ｔ／２までとしている。

【００１１】

【数４】 ・・・（４）

【００１２】（４）式の両辺をフーリエ変換すると、
（５）式が得られる。

【００１３】

【数５】 ・・・（５）

【００１４】ここで、ｘ−α（ｔ）＝ξ，ｙ−β（ｔ）
＝ηとおくと、（５）式は、（６）式のようになる。

【００１５】

【数６】 ・・・（６）

【００１６】（６）式より、劣化は、（３）式、又は、
これと等価な（２）式でモデル化されることが判る。こ
の劣化の伝達関数Ｈ（ｕ，ｖ）は、（７）式で与えられ
る。

【００１７】

【数７】 ・・・（７）

【００１８】この場合、ｘ軸に対して角度θの方向に一
定の速度Ｖで時間Ｔの間、ブレが発生した場合の点応答
関数は、（８）式で与えられる。

【００１９】

【数８】 ・・・（８）

【００２０】ここで、ωは、（９）式で与えられる。

【００２１】

【数９】 ・・・（９）

【００２２】また、ｕ₀，ｖ₀は、画像の中心座標であ
る。なお、ωが微小な時は、Ｈ（ｕ，ｖ）＝Ｔと近似さ
れる。

【００２３】同様に、ボケによる劣化の劣化モデルにつ
いても関数によって表現することができる。例えば、ボ
ケ現象が正規分布法則（ガウシアン）に沿うものとした
場合、中心画素からの距離をｒ、正規分布法則の任意の
パラメータをσ²とすると、劣化関数ｈ（ｒ）は、（１
０）式で与えられる。

【００２４】

【数１０】 ・・・（１０）

【００２５】次に、逆フィルタによる劣化画像の復元に
ついて説明する。まず、劣化画像ｇ（ｘ，ｙ）と理想画
像ｆ（ｘ，ｙ）が（２）式に示すモデルに従うものと仮
定する。この時、雑音がないものとすると、ｇ（ｘ，
ｙ），ｆ（ｘ，ｙ），ＰＳＦ及びｈ（ｘ，ｙ）のフーリ
エ変換は、（３）式を満たす。ここで、（３）式は、
（１１）式のように変形される。

【００２６】

【数１１】 ・・・（１１）

【００２７】（１１）式より、Ｈ（ｕ，ｖ）が既知であ
れば、劣化画像のフーリエ変換Ｇ（ｕ，ｖ）に１／Ｈ
（ｕ，ｖ）を乗じて、これを逆フーリエ変換することに
よって、理想画像ｆ（ｘ，ｙ）を復元することができる
ことが判る。換言すると、フィルタの伝達関数は、１／
Ｈ（ｕ，ｖ）である。

【００２８】実際に、（３）式を適用する場合は、様々
な問題がある。例えば、雑音を考慮した場合、（２）式
は、（１２）式のように書き換えられる。ここで、Ｎ
（ｕ，ｖ）は、ν（ｘ，ｙ）のフーリエ変換である。

【００２９】

【数１２】 ・・・（１２）

【００３０】（１２）式で示されると。劣化画像のフー
リエ変換に対してフィルタ（１／Ｈ（ｕ，ｖ））を作用
させると、（１３）式に示すようになる。

【００３１】

【数１３】 ・・・（１３）

【００３２】

【発明が解決しようとする課題】ここで、デジタルカメ
ラによって記録された劣化画像をＴＷＡＩＮドライバ等
により制御される画像取込部によって情報処理装置に取
り込み、その劣化画像を復元して理想画像を生成するシ
ステムを考える。この場合、劣化画像の生成の過程をモ
デル化した劣化関数を決定し、ウィーナーフィルタ等の
一般にデコンボリューションと呼ばれる画像復元アルゴ
リズムによって、劣化画像を復元する手法が最も復元効
果が高いと考えられている。

【００３３】しかしながら、従来は、劣化関数の決定に
必要な劣化パラメータ（例えば、ブレによる劣化であれ
ば、ブレの方向やブレの速度等）や撮像条件（露光時
間、露光量等）等を考慮していなかったために、劣化画
像の復元効果が十分ではなかった。

【００３４】また、一般に、デジタルカメラを含むシス
テムでは、ＴＷＡＩＮドライバ等により制御される画像
取込部によって画像を情報処理装置に取り込んで、画像
出力装置（例えば、プリンタ、ディスプレイ等）に出力
する。ここで、ＴＷＡＩＮドライバ等により制御される
画像処理には、ガンマ補正や色変換等の処理が含まれる
のが一般的である。しかしながら、ガンマ補正や色変換
等は、非線形のシステムに属し、前述の画像復元アルゴ
リズムにおける前提であるＬＴＩ（線形、時間的に不
変）システムに反する。すなわち、ガンマ補正や色変換
がなされた劣化画像を復元すると、復元画像に非常に大
きな雑音を重畳することになる。

【００３５】本発明は、上記の背景に鑑みてなされたも
のであり、劣化画像から高品位の復元画像を得ることを
目的とする。

【００３６】

【課題を解決するための手段】本発明の１つの側面に係
る画像処理装置は、劣化画像を復元する画像処理装置で
あって、撮像装置によって記録媒体に記録された劣化画
像を画像取込手段が取り込んで所定の変換処理を施した
画像を入力する入力手段と、前記画像取込手段による変
換処理の内容を考慮して、入力画像を処理して復元対象
画像を生成する処理手段と、前記復元対象画像を復元し
て劣化の少ない画像を生成する復元手段とを備えること
を特徴とする。

【００３７】上記の画像処理装置において、例えば、前
記画像取込手段による変換処理の内容を示す変換情報を
前記画像取込手段から取得する取得手段を更に備えるこ
とが好ましい。

【００３８】上記の画像処理装置において、前記処理手
段は、例えば、前記画像取込手段による変換処理の他、
前記撮像装置による撮像の際の画像の劣化に関連する劣
化関連情報を考慮して、入力画像を処理して復元対象画
像を生成することが好ましい。

【００３９】上記の画像処理装置において、例えば、前
記画像取込手段による変換処理の内容を示す変換情報及
び前記劣化関連情報を前記画像取込手段から取得する取
得手段を更に備えることが好ましい。

【００４０】上記の画像処理装置において、前記復元手
段は、例えば、前記撮像装置による撮像の際の画像の劣
化に関連する劣化関連情報に基づいて前記復元対象画像
を復元する方法を決定することが好ましい。

【００４１】上記の画像処理装置において、前記復元手
段は、例えば、前記変換情報及び前記撮像装置による撮
像の際の画像の劣化に関連する劣化関連情報に基づい
て、前記復元画像を復元する方法を決定することが好ま
しい。

【００４２】上記の画像処理装置において、前記劣化関
連情報は、例えば、前記撮像装置により劣化画像と併せ
て前記記録媒体に記録され、前記画像取込手段により読
み取られることが好ましい。

【００４３】上記の画像処理装置において、前記劣化関
連情報は、例えば、前記撮像装置の特性情報を含むこと
が好ましい。

【００４４】上記の画像処理装置において、前記劣化関
連情報は、例えば、画像の劣化の要因となる事象の物理
量を示す劣化パラメータを含むことが好ましい。

【００４５】上記の画像処理装置において、前記劣化関
連情報は、例えば、撮像条件を特定する情報を含むこと
が好ましい。

【００４６】上記の画像処理装置において、前記処理手
段は、例えば、露光量と画素値との関係が線形になるよ
うに、入力画像を処理する手段を含むことが好ましい。

【００４７】上記の画像処理装置において、前記処理手
段は、例えば、前記画像取込手段による変換処理の逆変
換に相当する変換処理を実行する手段を含むことが好ま
しい。

【００４８】上記の画像処理装置において、前記画像取
込手段は、例えば、互いに異なる変換処理を実行する複
数の変換手段を有し、前記記録媒体から取り込んだ劣化
画像に対して前記複数の変換手段のいずれかにより変換
処理を施すことが好ましい。

【００４９】上記の画像処理装置において、例えば、前
記画像読込手段が有する複数の変換手段のうち変換処理
に供する変換手段を選択する選択手段を更に備えること
が好ましい。

【００５０】上記の画像処理装置において、前記処理手
段は、例えば、前記画像読込手段が有する複数の変換手
段のうち変換処理に供する変換手段による変換処理の内
容を考慮して、入力画像を処理することが好ましい。

【００５１】上記の画像処理装置において、例えば、前
記復元手段により復元された画像に対して、前記画像取
込手段による変換処理の内容を考慮した画像処理を施す
画像処理手段を更に備えることが好ましい。

【００５２】上記の画像処理装置において、例えば、前
記復元手段により復元された画像に対して、前記画像取
込手段による変換処理の内容及び前記撮像装置による撮
像の際の画像の劣化に関連する劣化関連情報を考慮した
画像処理を施す画像処理手段を更に備えることが好まし
い。

【００５３】本発明の第２の側面に係る画像処理装置
は、劣化画像を復元する画像処理装置であって、撮像装
置によって記録媒体に記録された劣化画像を取り込んで
所定の変換処理を施す画像取込手段と、前記画像取込手
段による変換処理の内容を考慮して、前記画像取込手段
により変換処理された画像を処理して復元対象画像を生
成する処理手段と、前記復元対象画像を復元して劣化の
少ない画像を生成する復元手段とを備えることを特徴と
する。

【００５４】本発明の第3の側面に係る画像処理装置
は、劣化画像を復元する画像処理装置であって、撮像装
置によって撮像された劣化画像を入力する入力手段と、
前記撮像装置による撮像の際の画像の劣化に関連する劣
化関連情報を考慮して、劣化画像を復元して劣化の少な
い画像を生成する復元手段とを備えることを特徴とす
る。

【００５５】本発明の第４の側面に係る撮像装置は、撮
像した画像を記録媒体に記録する画像記録手段と、撮像
の際の画像の劣化に関連する劣化関連情報を前記記録媒
体に記録する情報記録手段とを備えることを特徴とす
る。

【００５６】

【発明の実施の形態】以下、本発明の好適な実施の形態
を説明する。

【００５７】［第1の実施の形態］図１は、本発明の第1
の実施の形態に係る画像処理システムの概略構成を示す
図である。撮像装置１００は、例えばデジタルカメラで
あり、撮像部１１０と記録媒体１２０とを備える。

【００５８】撮像部１１０は、例えば、レンズ等の光学
系、ＣＣＤセンサ等の撮像素子等で構成され、撮像した
画像に係る画像情報を記録媒体１２０に記録する。記録
媒体１２０は、例えば、ハードディスクやフラッシュメ
モリ等で構成される。

【００５９】画像取込部２１０は、例えば、ＴＷＡＩＮ
ドライバ等のドライバによって制御され、記録媒体１２
０から画像情報を読み出して、その画像情報に係る画像
に所定の画像処理を施して情報処理装置２００に供給す
る。

【００６０】一般には、画像取込部２１０における画像
処理には、例えば、撮像装置１００が単板のデジタルカ
メラであるとすると、色補間や光学的な補正等の処理も
含まれる。しかしながら、ここでは、説明を簡略化する
ために、画像取込部２１０における画像処理として、ガ
ンマ補正や色変換等の階調変換に関してのみ説明する。

【００６１】情報処理装置２００は、例えば、キーボー
ドやマウス等で構成される入力部２２０を介してユーザ
から与えられる指示に従って、画像取込部２１０から供
給される画像情報に係る画像（劣化画像）を復元して、
劣化の少ない画像を生成する。復元画像は、例えば、記
録部２３０に保存されたり、出力部２４０に出力された
りする。出力部２４０としては、例えば、ディスプレイ
やプリンタが好適である。

【００６２】図２は、画像取込部２１０の動作の流れを
示すフローチャートである。なお、このフローチャート
に示す処理は、例えば、不図示のメモリ媒体に格納され
たプログラムに基づいて、不図示のＣＰＵにより実行さ
れる。まず、ステップＳ２０１では、画像取込部２１０
は、記録媒体１２０から画像情報を読み出す。この画像
情報は、撮像の際に劣化した劣化画像の画像情報であ
る。ステップＳ２０２では、画像取込部２１０は、画像
情報に対して変換処理を施す。この変換処理には、例え
ば、ガンマ補正や色変換等の処理が含まれる。ステップ
Ｓ２０３では、画像取込部２１０は、変換した画像情報
を情報処理装置２００に転送する。

【００６３】図３は、情報処理装置２００の動作の流れ
を示すフローチャートである。なお、このフローチャー
トに示す処理は、不図示のメモリ媒体に格納されたプロ
グラムに基づいて不図示のＣＰＵにより実行される。

【００６４】先ず、ステップＳ３０１では、情報処理装
置２００は、撮像装置１００の特性を示す特性情報を取
得する。この特性情報は、例えば、複数の機種の撮像装
置について予め情報処理装置２００内のメモリに格納さ
れた特性情報の中から、例えば、入力部２２０を介して
与えられる機種の情報に基づいて、該当する撮像装置の
特性情報を選択することにより取得することができる。

【００６５】ステップＳ３０２では、情報処理装置２０
０は、画像取込部２１０における変換処理の内容を示す
変換情報を取得する。この変換情報は、例えば、画像取
込部２１０と情報処理装置２１０とを接続するためのド
ライバを情報処理装置２００にインストールする際に情
報処理装置２００内のメモリに格納される。

【００６６】ステップＳ３０３では、情報処理装置２０
０は、画像取込部２１０から供給される画像情報を変換
する際の変換方法を決定する。具体的には、情報処理装
置２００は、ステップＳ３０２で取得した変換情報（必
要に応じて、該変換情報の他、ステップＳ３０１で取得
した特性情報）に基づいて変換方法を決定する。ここで
決定される変換方法は、前述の画像の復元処理のアルゴ
リズムの前提条件である線形性を確保するために、露光
量と画素値とが比例関係になるように画像情報を変換す
る方法である。

【００６７】ここで、撮像装置の機種、画像取込部の機
種、変換方法を対応させたテーブルを情報処理装置２０
０に備えておき、撮像装置の機種及び画像取込部の機種
を特定することにより、適切な変換方法を選択してもよ
い。なお、この変換方法は、ユーザによる指定に基づい
て決定してもよい。

【００６８】具体例として、画像取込部２１０側でガン
マ補正を実行する場合における情報処理装置２００側で
の変換処理の内容（変換方法）を説明する。撮像装置１
００の撮像部１１０から出力される画像（劣化画像）を
ｇ（ｘ，ｙ）、画像取込部２１０によるガンマ補正後の
画像をｇｇ（ｘ，ｙ）とすると、画像ｇｇ（ｘ，ｙ）
は、（１３）式で表現される。

【００６９】

【数１４】 ・・・（１４） 即ち、線形性を有する画像を得るためには、（１４）式
で示す処理の逆変換を実行すればよい。この逆変換によ
り画像ｇｇ（ｘ，ｙ）より画像ｇ（ｘ，ｙ）を再生する
ことができる。

【００７０】また、画像取込部２１０側で色補正を実行
する場合においては、情報処理装置２００側では、該色
補正による変換の逆変換を実行することにより、線形性
を有する画像を得ることができる。当然のことながら、
画像取込部２１０側でγ補正及び色補正の双方を実行す
る場合には、画像取込部２００側では、該γ補正による
変換の逆変換及び該色補正による変換の逆変換を実行す
ればよい。なお、色補間等の階調変換以外の処理に関し
ては、考慮しなくてもよい。

【００７１】以上のように、ステップＳ３０３では、例
えば、画像取込部２１０による変換処理の逆変換に相当
する変換方法を決定する。

【００７２】ステップＳ３０４では、情報処理装置２０
０は、画像取込部２１０より画像情報を受信する。ステ
ップＳ３０５では、ステップＳ３０３で決定した変換方
法に従って、受信に係る画像情報を変換する。

【００７３】ステップＳ３０６では、ステップＳ３０１
で取得した撮像装置１００の特性情報に基づいて、劣化
関数Ｈ（ｕ，ｖ）を生成する。なお、劣化関数に関して
は、従来の技術の欄において説明されている。

【００７４】ステップＳ３０７では、ステップＳ３０５
で変換された画像情報（画像ｇ（ｘ，ｙ））より、ステ
ップＳ３０６で生成した劣化関数Ｈ（ｕ，ｖ）に基づい
て、劣化のない画像ｆ（ｘ，ｙ）を再生する。具体的に
は、画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）に１
／Ｈ（ｕ，ｖ）を乗じて画像ｆ（ｘ，ｙ）のフーリエ変
換Ｆ（ｕ，ｖ）を求め、Ｆ（ｕ，ｖ）をフーリエ逆変換
することにより、劣化の少ない画像ｆ（ｘ，ｙ）を復元
することができる。

【００７５】［第２の実施の形態］図４は、本発明の第
２の実施の形態に係る画像処理システムの概略構成を示
す図である。なお、第1の実施の形態に係る画像処理装
置の構成要素と同一の構成要素には同一の符号を付し、
説明を省略する。

【００７６】この実施の形態に係る画像取込部２１０
は、複数の変換部として、第1変換部２１１と第２変換
部２１２とを備え、記録媒体１２０から読み出した画像
情報を変換する際に使用する変換部を切り換えることが
できる。この切り換えは、例えば、画像取込部２１０に
備えられた操作部を介してユーザから与えられる指示に
従って行ってもよいし、情報処理装置２００からの指示
に従って行ってもよい。

【００７７】ここでは、第1変換部２１１は、非線形処
理（例えば、γ補正や色補正）を含む変換処理を行い、
第2変換部２１２は、線形処理による変換処理を行うも
のとする。

【００７８】図５は、図４に示す画像取込部２１０の動
作の流れを示すフローチャートである。なお、このフロ
ーチャートに示す処理は、例えば、不図示のメモリ媒体
に格納されたプログラムに基づいて、不図示のＣＰＵに
より実行される。まず、ステップＳ５０１では、画像取
込部２１０は、記録媒体１２０から画像情報を読出す。

【００７９】ステップＳ５０２では、画像取込部２１０
は、例えば、該装置に備えられた不図示の操作部を介し
てユーザから与えれる指示又は情報処理装置２００から
与えられる指示に基づいて、変換モードを選択する。ス
テップＳ５０３では、選択された変換モードに従って処
理を分岐し、変換モードが第1モードであればステップ
Ｓ５０４に進み、第2モードであればステップＳ５０５
に進む。

【００８０】ステップＳ５０４では、第1変換部２１１
により、記録媒体１２０から読み出した画像情報を変換
し、一方、ステップＳ５０５では、第２変換部２１２に
より該画像情報を変換する。

【００８１】ステップＳ５０６では、変換された画像情
報を情報処理装置２００に転送する。

【００８２】図６は、図４に示す情報処理装置２００の
動作の流れを示すフローチャートである。なお、このフ
ローチャートに示す処理は、例えば、不図示のメモリ媒
体に格納されたプログラムに基づいて、不図示のＣＰＵ
により実行される。

【００８３】先ず、ステップＳ６０１では、情報処理装
置２００は、撮像装置１００の特性を示す特性情報を取
得する。この特性情報は、例えば、複数の機種の撮像装
置について予め情報処理装置２００内のメモリに格納さ
れた複数の特性情報の中から、例えば、入力部２２０を
介して与えられる機種の情報に基づいて、該当する撮像
装置の特性情報を選択することにより取得することがで
きる。

【００８４】ステップＳ６０２では、情報処理装置２０
０は、画像取込部２１０における変換処理（画像処理）
の内容を示す変換情報を取得する。この変換情報は、例
えば、画像取込部２１０と情報処理装置２１０とを接続
するためのドライバを情報処理装置２００にインストー
ルする際に情報処理装置２００内のメモリに格納され
る。

【００８５】ステップＳ６０３では、情報処理装置２０
０は、画像取込部２１０より画像情報を受信する。

【００８６】ステップＳ６０４では、画像取込部２１０
による変換処理の変換モードが第1モードであるか、第
２モードであるかを判断し、第1モードであればステッ
プＳ６０５に進み、第2モードであればステップＳ６０
７に進む。する。なお、この変換モード２１０を画像取
込部２１０側で決定する場合には、その決定に係る変換
モードを示す情報を画像取込部２１０から取得すること
が望ましい。ただし、入力部２２０を介して該情報をユ
ーザから得てもよい。

【００８７】ステップＳ６０５では、情報処理装置２０
０は、画像取込部２１０から供給される画像情報を変換
する際の変換方法を決定する。具体的には、情報処理装
置２００は、ステップＳ６０２で取得した変換情報（必
要に応じて、該変換情報の他、ステップＳ６０１で取得
した特性情報）に基づいて変換方法を決定する。ここで
決定される変換方法は、前述の画像の復元処理のアルゴ
リズムの前提条件である線形性を確保するために、露光
量と画素値とが比例関係になるように、画像情報を変換
する方法である。具体例は、第1の実施の形態と同様で
ある。

【００８８】ステップＳ６０６では、ステップＳ６０５
で決定した変換方法に従って、受信に係る画像情報を変
換する。

【００８９】ステップＳ６０７では、ステップＳ３０１
で取得した撮像装置１００の特性情報に基づいて、劣化
関数Ｈ（ｕ，ｖ）を生成する。なお、劣化関数に関して
は、従来の技術の欄において説明されている。

【００９０】ステップＳ６０８では、変換モードが第1
モードである場合には、第1モードステップＳ６０６で
変換された画像情報（画像ｇ（ｘ，ｙ））より、変換モ
ードが第2モードである場合には、ステップＳ６０３で
受信した画像情報（画像ｇ（ｘ，ｙ））より、ステップ
Ｓ６０７で生成した劣化関数Ｈ（ｕ，ｖ）に基づいて、
劣化の少ない画像ｆ（ｘ，ｙ）を再生する。具体的に
は、第1の実施の形態と同様である。

【００９１】以上のように、画像取込部２１０において
画像情報を変換する際の変換モードを選択し、第1モー
ドで変換処理（非線形を含む変換処理）を実行した場合
には、情報処理装置２００では、第1の実施の形態と同
様の処理を実行し、第2モードで変換処理（線形の変換
処理）を実行した場合には、情報処理装置２００では、
画像取込部２１０から受信した画像情報そのものを復元
処理の対象とする。

【００９２】［第3の実施の形態］図７は、本発明の第3
の実施の形態に係る画像処理システムの概略構成を示す
図である。なお、第1の実施の形態に係る画像処理装置
の構成要素と同一の構成要素には同一の符号を付し、説
明を省略する。

【００９３】この実施の形態に係る撮像装置１００は、
例えば、画像の劣化の要因となる事象の物理量を示す劣
化パラメータ（例えば、ブレの方向、ブレの速度等）、
撮像条件（例えば、露光時間、露光量、被写体までの距
離、レンズの焦点距離等）、撮像装置の特性情報（例え
ば、レンズの光学的特性、撮像装置の識別情報等）等
の、画像の劣化に関連する情報（以下、劣化関連情報情
報）を取得して記録媒体１２０に書き込む撮像情報記録
部１３０を備える。ここで、劣化パラメータは、例え
ば、加速度センサ等により検出される。

【００９４】画像取込部２１０は、この撮像情報を記録
媒体１２０から読出して、例えば画像情報の付加情報と
して、情報処理装置２００に転送する。また、画像取込
部２１０は、画像情報を変換する際の処理を特定する変
換情報を保持するメモリ２１３を備え、例えば画像情報
の付加情報として、この変換情報を情報処理装置２００
に転送する。

【００９５】すなわち、この実施の形態では、情報処理
装置２００は、画像取込部２１０より劣化関連情報及び
変換情報を取得することができる。

【００９６】図８は、図７に示す画像取込部２１０の動
作を示すフローチャートである。なお、このフローチャ
ートに示す処理は、例えば、不図示のメモリ媒体に格納
されたプログラムに基づいて、不図示のＣＰＵにより実
行される。

【００９７】まず、ステップＳ８０１では、画像取込部
２１０は、記録媒体１２０から画像情報を読み出す。ス
テップＳ８０２では、画像取込部２１０は、画像情報に
対して変換処理を施す。この変換処理には、例えば、ガ
ンマ補正や色変換等の処理（非線形の変換処理）が含ま
れる。ここで、第２の実施の形態のように、画像取込部
２１０による変換処理を選択可能にしてもよい。

【００９８】ステップＳ８０３では、画像取込部２１０
は、記録媒体１２０から劣化関連情報を読み出す。ステ
ップＳ８０４では、画像取込部２１０は、メモリ２１３
に保持された変換情報を読み出す。ここで、前述のよう
に、画像取込部２１０による変換処理を選択可能にする
場合は、選択された変換処理に対応する情報をメモリ２
１３から読み出す。

【００９９】ステップＳ８０５では、劣化関連情報及び
変換情報を付加情報として画像情報に付加する。具体例
を挙げると、一般に、画像取込部は、記録媒体から読み
出した画像情報をＴＩＦＦ形式やＪＰＥＧ形式等の汎用
フォーマットに変換して情報処理装置に転送する。この
ような汎用フォーマットには、画像情報以外の付加情報
を記録することができるヘッダ部を有するものが多い。
そこで、このヘッダ部に撮像情報や変換情報を記録する
ことができる。

【０１００】ステップＳ８０６では、劣化関連情報及び
変換情報を付加した画像情報を情報処理装置２００に転
送する。なお、劣化関連情報及び変換情報は、画像情報
の付加情報としてではなく、別個に情報処理装置２００
に転送してもよい。

【０１０１】図９は、図７に示す情報処理装置２００の
動作の流れを示すフローチャートである。なお、このフ
ローチャートに示す処理は、不図示のメモリ媒体に格納
されたプログラムに基づいて不図示のＣＰＵにより実行
される。

【０１０２】先ず、ステップＳ９０１では、情報処理装
置２００は、画像取込部２１０から付加情報付の画像情
報を受信する。ステップＳ９０２では、情報処理装置２
００は、画像情報より劣化関連情報を抽出し、ステップ
Ｓ９０３では、情報処理装置２００は、画像情報より変
換情報を抽出する。

【０１０３】ステップＳ９０３では、情報処理装置２０
０は、画像取込部２１０から供給される画像情報を変換
する際の変換方法を決定する。具体的には、情報処理装
置２００は、ステップＳ９０３で取得した変換情報（必
要に応じて、該変換情報の他、ステップＳ９０２で取得
した撮像情報）に基づいて変換方法を決定する。ここで
決定される変換方法は、前述の画像の復元処理のアルゴ
リズムの前提条件である線形性を確保するために、露光
量と画素値とが比例関係になるように、画像情報を変換
する方法である。具体例は、第1の実施の形態と同様で
ある。

【０１０４】ステップＳ９０５では、ステップＳ９０４
で決定した変換方法に従って、受信に係る画像情報を変
換する。

【０１０５】ステップＳ９０６では、ステップＳ９０２
で取得した撮像装置１００の特性情報に基づいて、劣化
関数Ｈ（ｕ，ｖ）を生成する。なお、劣化関数に関して
は、従来の技術の欄において説明されている。

【０１０６】ステップＳ９０７では、ステップＳ９０５
で変換された画像情報（画像ｇ（ｘ，ｙ））より、ステ
ップＳ９０６で生成した劣化関数Ｈ（ｕ，ｖ）に基づい
て、劣化のない画像ｆ（ｘ，ｙ）を再生する。具体的に
は、画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）に１
／Ｈ（ｕ，ｖ）を乗じて画像ｆ（ｘ，ｙ）のフーリエ変
換Ｆ（ｕ，ｖ）を求め、Ｆ（ｕ，ｖ）をフーリエ逆変換
することにより、劣化の少ない画像ｆ（ｘ，ｙ）を復元
することができる。

【０１０７】この実施の形態によれば、情報処理装置２
００は、画像取込部２１０を介して撮像装置１００が生
成した撮像情報を取得し、この撮像情報に基づいて劣化
関数を生成するため、より理想画像に近い復元画像を得
ることができる。また、情報処理装置２００は、画像取
込部２１０から変換情報を取得するため、画像取込部２
１０の更新、変更等に柔軟に対応することができる。

【０１０８】［第４の実施の形態］この実施の形態は、
第1乃至第3の実施の形態における情報処理装置２００の
処理を変更するものである。具体的には、図３、図６又
は図９の復元処理ステップＳ３０７、Ｓ６０８又はＳ９
０７の後に、他の画像処理を追加する。この追加する画
像処理（以下、後処理という）としては、γ補正や色補
正等が好適である。以下に、この理由を説明する。

【０１０９】第1乃至第３の実施の形態では、情報処理
装置２００は、受信した画像情報を線形の画像情報に変
換する。この変換によって、前述のように、復元効果を
高めることができる。しかし、一方で、この変換によっ
て、画像取込部２１０による変換処理によって適正化さ
れた画像が、撮像装置１００において撮像した状態の画
像に近い状態に戻る。すなわち、情報処理装置２００に
おいて変換された画像情報は、γ補正や色補正がなされ
ていない状態の画像と等価である。そのため、この画像
情報に係る画像は、全体として、非常に暗い印象を与え
る。また、この画像情報に係る画像は、撮像装置１００
の特性を補正していない状態の画像であるため、色調や
輝度分布等が適正化されていない。

【０１１０】そこで、復元処理の後に、後処理を実行す
ることにより、この問題を解決することが好ましい。こ
の後処理は、画像取込部２１０における処理と同様の処
理とすること、換言すると、情報処理装置２００におけ
る変換処理（ステップＳ３０５、Ｓ６０６、Ｓ９０５）
の逆変換に相当する処理とすることが好ましい。また、
この後処理は、劣化関連情報（特に、撮影条件）を取得
し、この撮像情報に基づいて最適化することが好まし
い。また、この後処理は、出力部２４０の特性情報をも
考慮して最適化することが好ましい。

【０１１１】更に、この後処理の内容は、劣化関連情報
（特に、劣化パラメータ）に基づいて劣化の度合や種類
（例えば、ブレやボケ）を推定して、これらに応じて適
応的に変更することが好ましい。例えば、劣化関連情報
に基づいて、劣化の度合が大きいと判断される場合に
は、重畳される雑音が大きい可能性が高いため、例え
ば、バンドパスフィルタによる雑音除去処理を後処理と
して付加することなどが好適である。一方、劣化の度合
が小さいと判断される場合は、重畳される雑音が小さい
可能性が高いため、エッジ強調処理等を後処理として付
加し、一層の高画質化を図ることなどが好ましい。

【０１１２】［他の実施の形態］なお、本発明は、複数
の機器から構成されるシステムに適用しても、一つの機
器からなる装置に適用してもよい。

【０１１３】また、上記の実施の形態に係る装置又は方
法を構成する構成要素の全体のうち一部の構成要素で構
成される装置又は方法も、本件出願に係る発明者が意図
した発明である。

【０１１４】また、上記の実施の形態に係る装置の機能
は、プログラムコードを記録した記憶媒体をシステム或
いは装置に固定的又は一時的に組み込み、そのシステム
或いは装置のコンピュータ（又はＣＰＵ若しくはＭＰ
Ｕ）が該記憶媒体に格納されたプログラムコードを読み
出して実行することによっても達成される。ここで、該
記憶媒体から読み出されたプログラムコード自体或いは
該記憶媒体自体が法上の発明を構成する。

【０１１５】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等
が好適であるが、他のデバイスを採用することもでき
る。

【０１１６】また、コンピュータが記憶媒体から読み出
したプログラムコードを実行することにより本発明の特
有の機能が実現される場合のみならず、そのプログラム
コードによる指示に基づいて、コンピュータ上で稼働し
ているＯＳ（オペレーティングシステム）等が実際の処
理の一部又は全部を負担する実施の態様も本発明の技術
的範囲に属する。

【０１１７】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備え
られたメモリに書込まれた後に、そのプログラムコード
の指示に基づいて、その機能拡張ボードや機能拡張ユニ
ットに備えられたＣＰＵ等が実際の処理の一部又は全部
を負担する実施の態様も本発明の技術的範囲に属する。

【０１１８】

【発明の効果】本発明によれば、劣化画像から高品位の
復元画像を得ることができる。

【０１１９】

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る画像処理シス
テムの概略構成を示す図である。

【図２】図１に示す画像取込部の動作の流れを示すフロ
ーチャートである。

【図３】図１に示す情報処理装置の動作の流れを示すフ
ローチャートである。

【図４】本発明の第２の実施の形態に係る画像処理シス
テムの概略構成を示す図である。

【図５】図４に示す画像取込部の動作の流れを示すフロ
ーチャートである。

【図６】図４に示す情報処理装置の動作の流れを示すフ
ローチャートである。

【図７】本発明の第３の実施の形態に係る画像処理シス
テムの概略構成を示す図である。

【図８】図７に示す画像取込部の動作を示すフローチャ
ートである。

【図９】図７に示す情報処理装置の動作の流れを示すフ
ローチャートである。

Claims (33)

【特許請求の範囲】
1. 【請求項１】 劣化画像を復元する画像処理装置であっ
   て、 撮像装置によって記録媒体に記録された劣化画像を画像
   取込手段が取り込んで所定の変換処理を施した画像を入
   力する入力手段と、 前記画像取込手段による変換処理の内容を考慮して、入
   力画像を処理して復元対象画像を生成する処理手段と、 前記復元対象画像を復元して劣化の少ない画像を生成す
   る復元手段と、 を備えることを特徴とする画像処理装置。
2. 【請求項２】 前記画像取込手段による変換処理の内容
   を示す変換情報を前記画像取込手段から取得する取得手
   段を更に備えることを特徴とする請求項１に記載の画像
   処理装置。
3. 【請求項３】 前記処理手段は、前記画像取込手段によ
   る変換処理の他、前記撮像装置による撮像の際の画像の
   劣化に関連する劣化関連情報を考慮して、入力画像を処
   理して復元対象画像を生成することを特徴とする請求項
   １に記載の画像処理装置。
4. 【請求項４】 前記画像取込手段による変換処理の内容
   を示す変換情報及び前記劣化関連情報を前記画像取込手
   段から取得する取得手段を更に備えることを特徴とする
   請求項３に記載の画像処理装置。
5. 【請求項５】 前記復元手段は、前記撮像装置による撮
   像の際の画像の劣化に関連する劣化関連情報に基づいて
   前記復元対象画像を復元する方法を決定することを特徴
   とする請求項１乃至請求項４のいずれか１項に記載の画
   像処理装置。
6. 【請求項６】 前記復元手段は、前記変換情報及び前記
   撮像装置による撮像の際の画像の劣化に関連する劣化関
   連情報に基づいて、前記復元画像を復元する方法を決定
   することを特徴とする請求項１乃至請求項４のいずれか
   １項に記載の画像処理装置。
7. 【請求項７】 前記劣化関連情報は、前記撮像装置によ
   り劣化画像と併せて前記記録媒体に記録され、前記画像
   取込手段により読み取られることを特徴とする請求項３
   乃至請求項６のいずれか１項に記載の画像処理装置。
8. 【請求項８】 前記劣化関連情報は、前記撮像装置の特
   性情報を含むことを特徴とする請求項３乃至請求項７の
   いずれか１項に記載の画像処理装置。
9. 【請求項９】 前記劣化関連情報は、画像の劣化の要因
   となる事象の物理量を示す劣化パラメータを含むことを
   特徴とする請求項３乃至請求項７のいずれか１項に記載
   の画像処理装置。
10. 【請求項１０】 前記劣化関連情報は、撮像条件を特定
    する情報を含むことを特徴とする請求項３乃至請求項７
    のいずれか１項に記載の画像処理装置。
11. 【請求項１１】 前記処理手段は、露光量と画素値との
    関係が線形になるように、入力画像を処理する手段を含
    むことを特徴とする請求項１乃至請求項１０のいずれか
    １項に記載の画像処理装置。
12. 【請求項１２】 前記処理手段は、前記画像取込手段に
    よる変換処理の逆変換に相当する変換処理を実行する手
    段を含むことを特徴とする請求項１乃至請求項１０のい
    ずれか１項に記載の画像処理装置。
13. 【請求項１３】 前記画像取込手段は、互いに異なる変
    換処理を実行する複数の変換手段を有し、前記記録媒体
    から取り込んだ劣化画像に対して前記複数の変換手段の
    いずれかにより変換処理を施すことを特徴とする請求項
    １乃至請求項１２のいずれか１項に記載の画像処理装
    置。
14. 【請求項１４】 前記画像読込手段が有する複数の変換
    手段のうち変換処理に供する変換手段を選択する選択手
    段を更に備えることを特徴とする請求項１３に記載の画
    像処理装置。
15. 【請求項１５】 前記処理手段は、前記画像読込手段が
    有する複数の変換手段のうち変換処理に供する変換手段
    による変換処理の内容を考慮して、入力画像を処理する
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 【請求項１６】 前記復元手段により復元された画像に
    対して、前記画像取込手段による変換処理の内容を考慮
    した画像処理を施す画像処理手段を更に備えることを特
    徴とする請求項１に記載の画像処理装置。
17. 【請求項１７】 前記復元手段により復元された画像に
    対して、前記画像取込手段による変換処理の内容及び前
    記撮像装置による撮像の際の画像の劣化に関連する劣化
    関連情報を考慮した画像処理を施す画像処理手段を更に
    備えることを特徴とする請求項１に記載の画像処理装
    置。
18. 【請求項１８】 劣化画像を復元する画像処理装置であ
    って、 撮像装置によって記録媒体に記録された劣化画像を取り
    込んで所定の変換処理を施す画像取込手段と、 前記画像取込手段による変換処理の内容を考慮して、前
    記画像取込手段により変換処理された画像を処理して復
    元対象画像を生成する処理手段と、 前記復元対象画像を復元して劣化の少ない画像を生成す
    る復元手段と、を備えることを特徴とする画像処理装
    置。
19. 【請求項１９】 劣化画像を復元する画像処理装置であ
    って、 撮像装置によって撮像された劣化画像を入力する入力手
    段と、 前記撮像装置による撮像の際の画像の劣化に関連する劣
    化関連情報を考慮して、劣化画像を復元して劣化の少な
    い画像を生成する復元手段と、 を備えることを特徴とする画像処理装置。
20. 【請求項２０】 前記劣化関連情報は、前記撮像装置に
    より劣化画像と併せて記録媒体に記録され、前記入力手
    段により入力されることを特徴とする請求項１９に記載
    の画像処理装置。
21. 【請求項２１】 前記劣化関連情報は、前記撮像装置の
    特性情報を含むことを特徴とする請求項１９又は請求項
    ２０に記載の画像処理装置。
22. 【請求項２２】 前記劣化関連情報は、画像の劣化の要
    因となる事象の物理量を示す劣化パラメータを含むこと
    を特徴とする請求項１９乃至請求項２１のいずれか１項
    に記載の画像処理装置。
23. 【請求項２３】 前記劣化関連情報は、撮像条件を特定
    する情報を含むことを特徴とする請求項１９乃至請求項
    ２２のいずれか１項に記載の画像処理装置。
24. 【請求項２４】 撮像した画像を記録媒体に記録する画
    像記録手段と、 撮像の際の画像の劣化に関連する劣化関連情報を前記記
    録媒体に記録する情報記録手段と、 を備えることを特徴とする撮像装置。
25. 【請求項２５】 前記劣化関連情報は、前記撮像装置の
    特性情報を含むことを特徴とする請求項２４に記載の撮
    像装置。
26. 【請求項２６】 前記劣化関連情報は、画像の劣化の要
    因となる事象の物理量を示す劣化パラメータを含むこと
    を特徴とする請求項２４又は請求項２５に記載の撮像装
    置。
27. 【請求項２７】 前記劣化関連情報は、撮像条件を特定
    する情報を含むことを特徴とする請求項２４乃至請求項
    ２６のいずれか１項に記載の撮像装置。
28. 【請求項２８】 劣化画像を復元する画像処理方法であ
    って、 撮像装置によって記録媒体に記録された劣化画像を画像
    取込手段が取り込んで所定の変換処理を施した画像を入
    力する入力工程と、 前記画像取込手段による変換処理の内容を考慮して、入
    力画像を処理して復元対象画像を生成する処理工程と、 前記復元対象画像を復元して劣化の少ない画像を生成す
    る復元工程と、 を含むことを特徴とする画像処理方法。
29. 【請求項２９】 劣化画像を復元する画像処理方法であ
    って、 撮像装置によって撮像された劣化画像を入力する入力工
    程と、 前記撮像装置による撮像の際の画像の劣化に関連する劣
    化関連情報を考慮して、劣化画像を復元して劣化の少な
    い画像を生成する復元工程と、 を含むことを特徴とする画像処理方法。
30. 【請求項３０】 撮像装置の制御方法であって、 撮像した画像を記録媒体に記録する画像記録工程と、 撮像の際の画像の劣化に関連する劣化関連情報を前記記
    録媒体に記録する情報記録工程と、 を含むことを特徴とする撮像装置の制御方法。
31. 【請求項３１】 劣化画像を復元する画像処理プログラ
    ムを格納したメモリ媒体であって、該画像処理プログラ
    ムが、 撮像装置によって記録媒体に記録された劣化画像を画像
    取込手段が取り込んで所定の変換処理を施した画像を入
    力する入力工程と、 前記画像取込手段による変換処理の内容を考慮して、入
    力画像を処理して復元対象画像を生成する処理工程と、 前記復元対象画像を復元して劣化の少ない画像を生成す
    る復元工程と、 を含むことを特徴とするメモリ媒体。
32. 【請求項３２】 劣化画像を復元する画像処理プログラ
    ムを格納したメモリ媒体であって、該画像処理プログラ
    ムが、 撮像装置によって撮像された劣化画像を入力する入力工
    程と、 前記撮像装置による撮像の際の画像の劣化に関連する劣
    化関連情報を考慮して、劣化画像を復元して劣化の少な
    い画像を生成する復元工程と、 を含むことを特徴とするメモリ媒体。
33. 【請求項３３】 撮像装置を制御するプログラムを格納
    したメモリ媒体であって、該プログラムが、 撮像した画像を記録媒体に記録する画像記録工程と、 撮像の際の画像の劣化に関連する劣化関連情報を前記記
    録媒体に記録する情報記録工程と、 を含むことを特徴とするメモリ媒体。