JP2005063000A

JP2005063000A - 画像の鮮明化方法および装置並びにプログラム

Info

Publication number: JP2005063000A
Application number: JP2003289825A
Authority: JP
Inventors: Ryuichi Ishino; 隆一石野
Original assignee: Central Research Institute of Electric Power Industry
Current assignee: Central Research Institute of Electric Power Industry
Priority date: 2003-08-08
Filing date: 2003-08-08
Publication date: 2005-03-10

Abstract

【課題】合焦点領域と焦点外れ領域とが混在する画像を鮮明化する。
【解決手段】対象画像を構成する全画素のそれぞれを着目画素１として、着目画素１の色情報に影響を与える周辺画素２の範囲を示す錯乱円Ｃを推定し、当該推定された錯乱円Ｃに基づいてボケ関数の逆フィルタを用いて、着目画素１の色情報を周辺画素２の影響の無い状態に復元する。
【選択図】図１

Description

本発明は、画像の鮮明化方法および装置並びにプログラムに関する。さらに詳述すると、本発明は、合焦点領域と焦点外れ領域とが混在する画像を鮮明化する方法および装置並びにプログラムに関する。

近年の画像処理技術の進展に従い、電力設備等の設備監視に画像が利用されている。画像は、面的な情報を一度に得られるため、例えば電力設備のような広がりをもったシステムの監視には有用であり、事故点の早期復旧や事故原因の解明等への利用が期待できる。監視画像の品質が低くなる原因として、レンズと被写体との距離がレンズの焦点距離に一致しない場合に生じるボケ（以下、「焦点外れによるボケ」とも言う）や、対象物体の高速な動きなどに起因する動きボケ等がある。静止している設備の監視画像においては、動きボケを生ずる可能性が少ないため、焦点外れによるボケが画質低下の主要因となっている。

画像のボケを改善する方法は、天体画像の品質を高めることを目的として従来研究が進められている（例えば非特許文献１，２参考）。従来のボケ画像の改善方法は、ボケのない画像からボケた画像が生成される過程をボケ関数（点広がり関数（Point Spread Function、以下ＰＳＦと略記する。）とも呼ばれる。）を用いてモデル化し、推定されるボケ関数の逆関数に相当する逆フィルタを用いて、ボケた画像からボケのない画像を得ようとするものである。

また、焦点の異なる画像を同じアングルで撮影し、これらの複数の画像から焦点の合っている画素を選択して合成して、焦点外れのない鮮明な画像を得る方法も提案されている（例えば非特許文献３，４参考）。

Rafacl Molina et al，"Image Restoration in Astronomy"，IEEE Signal Processing Magazine Vol.18, No.2, pp.14-29, 2001 S.Chaudhuri et al，"Depth from Defocus: A Real Aperture Imaging Approach", Springer, 1998 内藤他，"複数の異なる焦点画像から焦点外れ画像の生成を利用した全焦点画像の強調的取得", 電子情報通信学会論文誌D-II，Vol. J79-D-II, No.6, pp.1046-1053 1996 久保田他，"多焦点画像処理のための位置合わせ手法と撮像系の構築", 映像情報メディア学会誌，Vol. 54, No.2, pp260-267, 2000

しかしながら、非特許文献１，２等に示される従来技術では、画像全体が一様に不鮮明（即ち、画像全体にわたって同じようなボケが生じている）という仮定のもとで、単一のＰＳＦを推定してボケの改善を行っているので、局所的にボケている画像には適用できない。例えば設備全体を広範囲に監視するような画像は、監視対象がはっきり決められていないため、監視者等が関心を持った箇所に焦点が合わせられて、焦点の合っている鮮明な部分（合焦点領域）と焦点の合っていない不鮮明な部分（焦点外れ領域）とが混在することとなる。このような画像では、画像全体が一様にボケているとの前提条件が崩れてしまうので、非特許文献１，２等の技術では良好なボケ改善を期待できない。焦点外れ領域に写っている設備で何らかの問題が発生した場合に、当該問題の迅速な把握や対応が困難となってしまう。

また、非特許文献３，４等に示される従来技術では、取得したい焦点ごとにカメラを用意しなければならない。例えば３つの焦点に合わせた画像を取得したい場合は、３台のＣＣＤを用意しなければならない（非特許文献４参考）。設備全体を広範囲に監視するような画像に適用する場合には相当数のカメラが必要となり、実用化が困難である。

そこで本発明は、合焦点領域と焦点外れ領域とが混在する画像を鮮明化する方法および装置並びにプログラムを提供することを目的とする。

かかる目的を達成するため、請求項１記載の画像の鮮明化方法は、合焦点領域と焦点外れ領域とが混在する対象画像に対し、対象画像を構成する全画素のそれぞれを着目画素として、該着目画素の色情報に影響を与える周辺画素の範囲を示す錯乱円を推定し、当該推定された錯乱円に基づいてボケ関数の逆フィルタを用いて、着目画素の色情報を周辺画素の影響の無い状態に復元するようにしている。

また、請求項３記載の画像の鮮明化装置は、合焦点領域と焦点外れ領域とが混在する対象画像に対し、対象画像を構成する全画素のそれぞれを着目画素として、該着目画素の色情報に影響を与える周辺画素の範囲を示す錯乱円を推定し、当該推定された錯乱円に基づいてボケ関数の逆フィルタを用いて、着目画素の色情報を周辺画素の影響の無い状態に復元するようにしている。

また、請求項４記載の画像の鮮明化プログラムは、合焦点領域と焦点外れ領域とが混在する対象画像に対し、対象画像を構成する全画素のそれぞれを着目画素として、該着目画素の色情報に影響を与える周辺画素の範囲を示す錯乱円を推定し、当該推定された錯乱円に基づいてボケ関数の逆フィルタを用いて、着目画素の色情報を周辺画素の影響の無い状態に復元する手段として、コンピュータを機能させるようにしている。

したがって、本発明の画像の鮮明化方法および装置並びにプログラムによれば、対象画像の画素ごとに錯乱円を推定し、対象画像の画素ごとに適切なボケ関数の逆フィルタを用いて焦点外れに起因するボケを改善するので、合焦点領域を改悪することなく、焦点外れ領域を改善でき、合焦点領域と焦点外れ領域とが混在する画像を鮮明化できる。ここで、本明細書において合焦点領域とは、焦点が完全に合っている画素または画素群だけを指すのではなく、おおよそ焦点の合っている画素または画素群であっても良いものとする。本発明は、錯乱円の異なる複数の焦点外れを持つ画像に対しても有効である。

また、請求項２記載の発明は、請求項１記載の画像の鮮明化方法において、錯乱円の推定にあたり、該錯乱円の径を初期値から予め定めた増分値ずつ大きくしていくと共に、当該増加する前後の錯乱円の径に基づいて着目画素の色情報を仮復元した２つの画像間の相関係数を求め、相関係数が極大となる錯乱円の径を真値と判定するようにしている。この場合、錯乱円の径の正解となる値の前後では上記相関係数の値がそれほど変わらないことを利用して、着目画素に対する適切な錯乱円の径を選定することができる。

しかして、請求項１から４記載の本発明によれば、設備監視画像のように合焦点領域と焦点外れ領域とが混在する画像を鮮明化できるので、例えば画像の不鮮明な部分（焦点外れ領域）において何らかの問題が発生しているような場合でも、当該不鮮明な部分を鮮明化して当該問題を顕在化でき、迅速な対応が可能となる。また、画像処理により自動的に異常検出を行わせるためには、物体認識機能が必要となり、監視画像のように局所的にボケを含む場合、物体認識能力が低下してしまう可能性があるが、当該局所的にボケている監視画像を本発明により鮮明化することで、物体認識率を向上させることができる。本発明は、特に設備監視画像のように、広い範囲で画像監視をしなければならず、かつ、画像全体にわたり鮮明な画像を必要とする分野に最適である。

以下、本発明の構成を図面に示す実施形態に基づいて詳細に説明する。

図１から図１４に本発明の画像の鮮明化方法および装置並びにプログラムの実施の一形態を示す。この画像の鮮明化方法は、合焦点領域と焦点外れ領域とが混在する対象画像に対し、対象画像を構成する全画素のそれぞれを着目画素として、着目画素の色情報に影響を与える周辺画素の範囲を示す錯乱円を推定し、当該推定された錯乱円に基づいてボケ関数の逆フィルタを用いて、着目画素の色情報を周辺画素の影響の無い状態に復元するようにしている。

例えば本実施形態における対象画像は、処理の簡単等のために、グレースケールのデジタル画像としている。対象画像を構成する各画素には、色情報として、例えば０（黒）〜２５５（白）までの２５６階調の明るさの値（輝度値）が割り当てられる。但し、対象画像は必ずしもグレースケール画像に限らず、カラー画像であっても良い。また、アナログ画像をデジタル画像に変換したものを対象画像としても良い。

ボケのない画像（原画像と呼ぶ。）からボケた画像（ボケ画像と呼ぶ。）が生成される過程（ボケ過程）は、例えば数式１に示すように、ボケ関数（ＰＳＦ）と原画像との畳み込みに、ノイズを加えてモデル化される。

但し、
ｘ；画像における着目画素の水平方向の座標位置
ｙ；画像における着目画素の垂直方向の座標位置
ｇ（ｘ，ｙ）；ボケ画像における着目画素の輝度値
ｈ（ｘ，ｙ）；ＰＳＦ
ｆ（ｘ，ｙ）；原画像における着目画素の輝度値
ｎ（ｘ，ｙ）；ノイズ

ボケ関数（ＰＳＦ）の逆フィルタとして、例えば本実施形態ではウイナーフィルタを用いる。但し、逆フィルタとしては、基本形であるウイナーフィルタの他に、一般逆フィルタ、制限付き最小２乗フィルタ、射影フィルタなど多数知られており、これらの逆フィルタを採用しても良いのは勿論である。ウイナーフィルタを用いたボケ画像の原画像への復元は、例えば数式２のように表される。

但し、
Ｆ（ｕ，ｖ）；ｆ（ｘ，ｙ）をフーリエ変換したもの
Ｇ（ｕ，ｖ）；ｇ（ｘ，ｙ）をフーリエ変換したもの
Ｈ（ｕ，ｖ）；ｈ（ｘ，ｙ）をフーリエ変換したもの
Ｈ^＊（ｕ，ｖ）；Ｈ（ｕ，ｖ）の複素共役
Ｗｎ（ｕ，ｖ）；ノイズのパワースペクトル
Ｗｆ（ｕ，ｖ）；原画像のパワースペクトル

焦点外れに伴うボケは、レンズと被写体との距離がレンズの焦点距離に一致しない場合に生じるボケであり、そのＰＳＦは数式３のように表現される。

但し、
ｘ”；画像における着目画素を基準とした水平方向の座標位置
ｙ”；画像における着目画素を基準とした垂直方向の座標位置
ｄ；錯乱円の直径

着目画素は、直径ｄの錯乱円内にある画素の輝度値の影響を受ける。本明細書では、着目画素を中心とした錯乱円に含まれる着目画素以外の画素を周辺画素と呼ぶ。錯乱円直径ｄが１画素以下（即ち錯乱円の半径が０．５画素以下）の場合、焦点は合っており（即ち周辺画素の数は０であり）、着目画素の輝度値が正しく表現される。錯乱円直径ｄが１画素を超えて大きくなると、着目画素の輝度値は、周辺画素の輝度値の影響を受け、ボケ画像（不鮮明な画像）となる。錯乱円の直径とボケとの関係を図１を用いて説明する。図１では、着目画素を符号１で表し、周辺画素を符号２で表し、錯乱円を符号Ｃで表している。図１に示す錯乱円Ｃ１の場合、原画像における着目画素１の輝度値と４つの周辺画素２ａの輝度値との平均が、ボケ画像における着目画素１の輝度値となる。さらに直径ｄが大きい錯乱円Ｃ２の場合、着目画素１の輝度値は、さらに周辺画素２ｂ（図１中でハッチングを施した画素）の影響を受け、より広い範囲で一様な輝度値となり、より不鮮明な画像となる。

錯乱円の直径を変化させて画像をボカした例を図４に示す。図４（Ａ）は錯乱円の直径ｄが１．４画素の場合を示し、同図（Ｂ）は錯乱円の直径ｄが２．４画素の場合を示し、同図（Ｃ）は錯乱円の直径ｄが３．４画素の場合を示す。このように、錯乱円の直径が大きくなれば、それだけ多くの周辺画素の影響を受け、不鮮明な画像になる。

焦点外れに起因するボケ画像を対象とする場合、この錯乱円の推定が正しく行えれば、逆フィルタを用いてボケ画像を鮮明なものに復元できる。例えば図４（Ａ）のボケ画像を上述したウイナーフィルタを用いて復元すると、図５に示すように鮮明な画像が得られる。ところが、錯乱円の推定が正しく行えないと、逆フィルタにより却って不明瞭な画像を生じてしまう。例えば錯乱円直径ｄ＝１．４でボカした図４（Ａ）のボケ画像を、錯乱円の直径ｄが１．８画素であるとしてウイナーフィルタを用いると、高周波成分が多く、ノイズを含んだ図６に示す画像になってしまう。さらに、例えば図４（Ａ）のボケ画像を、錯乱円の直径ｄが３．４画素であるとしてウイナーフィルタを用いると、完全に不明確な図７に示す画像になってしまう。合焦点領域と焦点外れ領域とが混在する画像では、画素によって錯乱円直径が異なることから、そのような画像に単一のＰＳＦに基づいて逆フィルタをかけても、鮮明な画像は得られないことが分かる。

そこで、合焦点領域と焦点外れ領域とが混在する画像を鮮明化するためには、対象画像を構成する画素ごとに、錯乱円の直径を精度良く推定することが重要となる。例えば本実施形態では、錯乱円の推定にあたり、錯乱円直径を初期値から予め定めた増分値ずつ大きくしていくと共に、当該増加する前後の錯乱円直径に基づいて着目画素の色情報（輝度値）を仮復元した２つの画像間の相関係数を求め、相関係数が極大となる錯乱円直径を真値と判定するようにしている。これは、錯乱円直径の正解となる値（即ち、真値）の前後では上記相関係数の値がそれほど変わらないことを利用している。尚、錯乱円の半径を初期値から予め定めた増分値ずつ大きくしていき、上記の相関係数が極大となる錯乱円の半径を真値と判定するようにしても良いのは勿論である。

本発明の画像の鮮明化方法は、例えば周知のコンピュータを用いて、画像の鮮明化装置として装置化できる。この画像の鮮明化装置１０は、例えば図１４に示すように、対象画像が入力される入力部１１と、入力部１１より入力された対象画像に対して、対象画像を構成する全画素のそれぞれを着目画素として、該着目画素の色情報に影響を与える周辺画素の範囲を示す錯乱円を推定し、当該推定された錯乱円に基づいてボケ関数の逆フィルタを用いて、着目画素の色情報を周辺画素の影響の無い状態に復元する処理を実行する中央処理演算装置（ＣＰＵ）１２と、当該復元された画像（復元画像とも呼ぶ。）を出力する出力部１３と、対象画像や復元画像のデータや一時的な作業データ等が記録される主記憶装置（例えばＲＡＭ）１４および外部記憶装置（例えばハードディスク）１５等を備えている。上記のハードウェア資源は例えばバス１６を通じて電気的に接続されている。尚、入力部１１は特に限定されず、例えば対象画像が記録された媒体の読取装置（ＣＤドライブ等）や、回線を通じて外部装置から対象画像データを受信するネットワークインターフェース等を利用して良い。また、出力部１３も特に限定されず、例えば復元画像を表示するディスプレイや、回線を通じて外部装置に復元画像データを送信するネットワークインターフェース等を利用して良い。また、例えば外部記憶装置１５には本発明の画像の鮮明化プログラムが記録されており、当該プログラムがＣＰＵ１２に読み込まれ実行されることによって、コンピュータが上記画像の鮮明化装置１０として機能する。

図２および図３に、本実施形態の画像の鮮明化プログラムによって、画像の鮮明化装置１０が実行する処理の一例を示す。尚、画像の鮮明化装置１０には、図２および図３の処理の前に対象画像が入力部１１より入力され予め読み込まれている。図２に示すように、例えば本実施形態では、対象画像を構成する全画素のそれぞれを順次着目画素として（Ｓ１〜Ｓ４，Ｓ６，Ｓ７）、当該着目画素に対するボケ改善処理（Ｓ５）を行なうようにしている。尚、図２中のｘは対象画像における水平方向の座標位置を示し、ｙは対象画像における垂直方向の座標位置を示す。また、図２中のx_maxは対象画像における水平方向の画素数を示し、y_maxは対象画像における垂直方向の画素数を示す。

図３は図２のボケ改善処理（Ｓ５）を詳細化したフローチャートである。このボケ改善処理では先ず、錯乱円直径の大きさを表すｄを初期化する（Ｓ５０１）。例えば本実施形態では、ｄに初期値として「１」を代入する。次に、着目画素（ｘ，ｙ）を中心とした局所領域を切り出す（Ｓ５０２）。例えば本実施形態では、着目画素を中心とした３２×３２画素の領域を切り出すようにしている。尚、着目画素が対象画像の端の画素である場合などは、必ずしも局所領域は３２×３２画素とはならず、切り出せる範囲の大きさとなる。但し、当該局所領域の大きさや切り出し方法等は上記例に限定されるものではない。次に、切り出した局所領域の画像に対し、錯乱円直径をｄ画素とした場合のＰＳＦ（数式３）を用いて逆フィルタで着目画素の輝度値を復元し、当該復元後の局所領域の画像を画像Ｉ_１として、例えば主記憶装置１４または外部記憶装置１５に保存する（Ｓ５０３）。例えば本実施形態では、数式２で表されるウイナーフィルタを用いて局所領域の中の着目画素だけの輝度値を復元するようにしている。尚、当該復元された着目画素の輝度値は未だ決定された値ではなく、ここでの復元を仮復元とも呼ぶ。

そして、錯乱円直径ｄが予め定めた最大値（図３中でd_maxで示す。）となるまで以下の処理を繰り返す（Ｓ５０４；Ｎｏ）。即ち、局所領域の画像に対し、錯乱円直径をｄ画素とした場合のＰＳＦ（数式３）を用いて数式２で表されるウイナーフィルタで着目画素の輝度値を復元し、当該復元後の局所領域の画像を画像Ｉ_２として、例えば主記憶装置１４または外部記憶装置１５に保存する（Ｓ５０５）。尚、当該復元された着目画素の輝度値は未だ決定された値ではなく、ここでの復元も仮復元となる。そして、画像Ｉ_１と画像Ｉ_２との相関を取る、即ち画像Ｉ_１と画像Ｉ_２との相関係数を求める（Ｓ５０６）。尚、相関係数の計算には画像Ｉ_１を構成する画素の色情報（輝度値）と画像Ｉ_２を構成する画素の色情報（輝度値）を用いる。また、本実施形態の場合、当初は画像Ｉ_１と画像Ｉ_２とが同じであるので、相関係数は１となる。そして、錯乱円直径ｄの値と、相関係数の値とを主記憶装置１４または外部記憶装置１５に記録する（Ｓ５０７）。次に、画像Ｉ_２を画像Ｉ_１とする（Ｓ５０８）。例えば画像Ｉ_１のデータが記録されていた記録領域に画像Ｉ_２のデータを上書きする。そして、錯乱円直径ｄの値を予め定めた増分値Δｄだけ大きくする（Ｓ５０９）。例えば本実施形態では、Δｄとして０．５画素を設定している。但し、Δｄの値はこの例に限定されない。錯乱円直径ｄが予め定めた最大値d_maxとなるまで、Ｓ５０５〜Ｓ５０９の処理が繰り返される。例えば本実施形態では、d_maxとして２５画素を設定しているが、d_maxの値はこの例に限定されない。以上により、錯乱円直径ｄが初期値である１画素から０．５画素ずつ大きくされると共に、当該増加する前後の錯乱円直径ｄに基づいて仮復元された２つの画像Ｉ_１，Ｉ_２間の相関係数が求められる。

錯乱円直径ｄが２５画素以上となると（Ｓ５０４；Ｙｅｓ）、主記憶装置１４または外部記憶装置１５に記録された錯乱円直径の値と相関係数の値とに基づいて、相関係数が極大となる錯乱円直径の値を探し、検索された錯乱円直径の値を真値と判定する。図１１に錯乱円の大きさと相関係数の値との関係を示す。尚、図１１の横軸は、着目画素を中心とする錯乱円の直径を示している。図１１中の破線が相関係数が極大となる点（最大となる極値）を示している。そして、真値と判定した錯乱円直径のＰＳＦ（数式３）を用いて数式２で表されるウイナーフィルタで着目画素の輝度値を求め、当該輝度値を復元画像における着目画素の輝度値とする（Ｓ５１０）。

以上のボケ改善処理（Ｓ５）が対象画像を構成する全画素について行なわれ（Ｓ１〜Ｓ４，Ｓ６，Ｓ７）、各画素の輝度値について周辺画素の影響が除去された復元画像が得られる。尚、ある着目画素についてボケ改善処理（Ｓ５）を行なう場合であって、当該着目画素を中心とする錯乱円内に、ボケ改善処理済みの画素が含まれる場合、当該処理済の画素の輝度値には、ボケ改善処理前の輝度値を用いるようにしている。

本発明の有効性を検証するために以下のシミュレーションを行った。画像中で右に行くほど錯乱円直径を大きくしたボケ画像を作成し、対象画像とした。錯乱円直径は、２．１から９．０まで変化させた。この対象画像を図８に示す。画像中で右に行くほど不鮮明になっているのがわかる。本発明の画像の鮮明化方法を図８の対象画像に適用して得られた復元画像を図９に示す。また、一つのＰＳＦ（即ち一様な錯乱円）に基づいてウイナーフィルタで図８の対象画像を復元した結果を図１０に示す。尚、図１０では、錯乱円直径を２．１〜９．０の平均である５．６とした。図１０に比較して図９の方が明らかに鮮明な画像となっている。例えば、図１０では作業者の存在を確認できないが、図９では当該作業者の存在を確認できる。従って、合焦点領域と焦点外れ領域とが混在する画像または錯乱円の異なる複数の焦点外れを持つ画像に対して、本発明が有効に機能することが確認できる。

電力設備等の設備の監視システムとしてボケの問題を考えた場合、目視点検のために画質を改善することも重要であるが、画像をセンサとして活用するためには物体認識に与える影響を解明しておく必要がある。そこで、本実施例では、ボケ画像が物体の認識率に与える影響について調べ、本発明が物体認識の認識率の向上にも寄与することを確認した。

ボケの物体認識に対する影響を調べるために、強力な物体認識能力を示しているＳＶＭ（Support Vector Machine）を用いた手法に対してボケの影響評価を行った。また、物体認識識別のためのベンチマーク画像として提供されているＣＯＩＬ（Columbia Object Image Library）を用いた。ＣＯＩＬは、１００個の物体を、それぞれ５度向きをかえて撮影した７２方向の画像からなり、計７２００枚の画像データベースである。それぞれの物体画像７２枚のうち、８枚、計８００枚を選びＳＶＭを用いて学習させ、残りの６４００枚について、物体認識実験を行った。尚、本実施例ではモノクロ情報のみを使い実験を行った。

先ず、物体認識率の解像度依存性を次のようにして調べた。サンプル画像は１２８×１２８画素であるため、これをＤＣＴ（離散コサイン変換）を用いた手法により拡大または縮小し、１６×１６画素、３２×３２画素、６４×６４画素、２５６×２５６画素の画像を作成した。さらに、原画像サイズ１２８×１２８の計５種類に対して、物体認識実験を行った。ここで使ったＳＶＭはν−ＳＶＭを用いた。図１２に実験結果を示す。この結果より、解像度そのものについては、物体認識率に大きな影響を及ぼさないことがわかる。

次に、ボケに対する物体認識率の影響について調べた。ボケを含んでいない原画像に対して、錯乱円直径を変化させてボケ画像を作成し、当該ボケ画像に対して物体認識実験を行った。物体認識実験の結果を図１３に示す。錯乱円が大きくなるにつれて物体認識率が落ちていくのが分かる。これは、不鮮明な画像になればなるほど物体認識率が悪くなることを意味している。

次に、合焦点部分と焦点外れ部分とが混在する画像のもとで物体認識を行わせた場合の本発明の有効性について調べた。実験は次のように行った。錯乱円の直径を、中心部分では焦点がほぼあっている状態を模擬するため１．６画素とし、周辺部分では焦点があっていないものとして３．７画素とした。このようなＰＳＦを用いてＣＯＩＬの画像（画像サイズは３２×３２画素）をボカした。次に、これらのボケ画像に対して、本発明の画像の鮮明化方法を適用した復元画像と、従来の一様なＰＳＦに基づくウイナーフィルタを適用した復元画像とを作成し、これらの復元画像に対して物体認識実験を行った。

その結果、復元前のボケ画像では認識率が１％低下したのに対し、本発明で鮮明化した復元画像では認識率が０．１％の低下にまで回復した。しかし、従来の一様なＰＳＦに基づくウイナーフィルタを適用した復元画像では、逆に物体認識率が１．７％の低下に悪化した。このように、本発明は、目視監視に適しているだけでなく、物体認識の認識率の向上にも寄与することが確認できた。

以上のように、本発明の画像の鮮明化方法および装置並びにプログラムによれば、対象画像の画素ごとにＰＳＦの錯乱円を推定してボケを改善するので、合焦点領域と焦点外れ領域とが混在する画像を鮮明化できる。従って、例えば対象画像が合焦点領域と焦点外れ領域とが混在する設備監視画像であり、当該画像の不鮮明な部分（焦点外れ領域）において何らかの問題が発生した場合でも、本発明によれば当該不鮮明な部分を鮮明化して当該問題を顕在化できるので、迅速な対応が可能となる。また、画像処理により自動的に異常検出を行わせるためには、物体認識機能が必要となり、監視画像のように局所的にボケを含む場合、物体認識能力が低下してしまう可能性があるが、当該局所的にボケている監視画像を本発明により鮮明化することで、物体認識率を向上させることができる。本発明は、特に設備監視画像のように、広い範囲で画像監視をしなければならず、かつ、画像全体にわたり鮮明な画像を必要とする分野に最適である。

なお、上述の実施形態は本発明の好適な実施の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば上述の実施形態では、対象画像をグレースケール画像としたが、対象画像はカラー画像であっても良い。この場合、例えばカラーモデルがＲＧＢであり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が０から２５５までの値を取り、２５６×２５６×２５６色（＝１６７７７２１６色）の表現が可能である場合には、Ｒ値、Ｇ値、Ｂ値ごとに図２および図３に示す処理を行なえば良い。

また、ボケ関数（ＰＳＦ）の逆フィルタは、上述したウイナーフィルタに限らず、一般逆フィルタ、制限付き最小２乗フィルタ、射影フィルタなどを利用しても良い。

また、上述の実施形態では、対象画像を構成する画素を順次着目画素としてボケ改善処理（Ｓ５）を行なうようにしたが、この例に限定されず、対象画像を構成する全画素を同時に着目画素として、全画素について並列的にボケ改善処理（Ｓ５）を行なうようにしても良い。

本発明の画像の鮮明化方法の原理を説明するための概念図である。本発明の画像の鮮明化方法および装置並びにプログラムにおける処理の一例を示すフローチャートである。図２のフローチャートのボケ改善処理を詳細化した処理の一例を示すフローチャートである。錯乱円の直径を変化させて画像をボカした例を示し、（Ａ）は錯乱円の直径ｄが１．４画素の場合を示し、（Ｂ）は錯乱円の直径ｄが２．４画素の場合を示し、（Ｃ）は錯乱円の直径ｄが３．４画素の場合を示す。図４（Ａ）の画像に対して、錯乱円の推定を正しく行った逆フィルタを用いて、復元した画像の例を示す。図４（Ａ）の画像に対して、錯乱円の推定に失敗した逆フィルタを用いて、復元した画像の例を示す。図４（Ａ）の画像に対して、錯乱円の推定に失敗した逆フィルタを用いて、復元した画像の他の例を示す。合焦点領域と焦点外れ領域とが混在する対象画像の一例を示す。図８の画像に対して本発明の画像の鮮明化方法を用いて復元した画像の一例を示す。図８の画像に対して従来方法を用いて復元した画像の一例を示す。錯乱円の大きさと、錯乱円の径を増加する前後の錯乱円に基づいてそれぞれ復元した２つの画像間の相関係数との関係を示し、縦軸は相関係数の値を示し、横軸は着目画素を中心とする錯乱円の直径を示す。ＳＶＭによる物体認識率と画像解像度（画素密度）との関係を示し、縦軸は物体認識率［％］を示し、横軸は正方形画像の一辺の画素数を示す。ＳＶＭによる物体認識率と錯乱円の大きさとの関係を示し、縦軸はボケがない場合を１とした時の相対的な物体認識率［％］を示し、横軸は、着目画素から水平方向または垂直方向に最も離れた位置にあり且つ錯乱円に含まれる周辺画素までの、着目画素からの距離（画素数）を示す。本発明の画像の鮮明化装置の一例を示す概略構成図である。

符号の説明

１着目画素
２周辺画素
Ｃ錯乱円
１０画像の鮮明化装置

Claims

合焦点領域と焦点外れ領域とが混在する対象画像に対し、前記対象画像を構成する全画素のそれぞれを着目画素として、該着目画素の色情報に影響を与える周辺画素の範囲を示す錯乱円を推定し、当該推定された錯乱円に基づいてボケ関数の逆フィルタを用いて、前記着目画素の色情報を前記周辺画素の影響の無い状態に復元するようにしたことを特徴とする画像の鮮明化方法。
前記錯乱円の推定にあたり、該錯乱円の径を初期値から予め定めた増分値ずつ大きくしていくと共に、当該増加する前後の錯乱円の径に基づいて前記着目画素の色情報を仮復元した２つの画像間の相関係数を求め、前記相関係数が極大となる錯乱円の径を真値と判定することを特徴とする請求項１記載の画像の鮮明化方法。
合焦点領域と焦点外れ領域とが混在する対象画像に対し、前記対象画像を構成する全画素のそれぞれを着目画素として、該着目画素の色情報に影響を与える周辺画素の範囲を示す錯乱円を推定し、当該推定された錯乱円に基づいてボケ関数の逆フィルタを用いて、前記着目画素の色情報を前記周辺画素の影響の無い状態に復元することを特徴とする画像の鮮明化装置。
合焦点領域と焦点外れ領域とが混在する対象画像に対し、前記対象画像を構成する全画素のそれぞれを着目画素として、該着目画素の色情報に影響を与える周辺画素の範囲を示す錯乱円を推定し、当該推定された錯乱円に基づいてボケ関数の逆フィルタを用いて、前記着目画素の色情報を前記周辺画素の影響の無い状態に復元する手段として、コンピュータを機能させることを特徴とする画像の鮮明化プログラム。