JP2009182735A - ノイズ処理方法および画像処理装置、並びに情報コード読取装置 - Google Patents

Abstract

【課題】画像内のインパルス性ノイズを画像の平坦な領域だけでなく、エッジに隣接したインパルス性ノイズを確実に抽出し、除去を行うことが可能なノイズ処理方法および画像処理装置、並びに情報コード読取装置を提供する。
【解決手段】画像処理装置２３０は、注目画素を選択する機能と、注目画素の周辺で領域の異なる複数の周辺画素群について、注目画素を除いたばらつきの値を分散および標準偏差の少なくともいずれかで順次算出する第１のばらつき算出機能と、複数の周辺画素群のばらつきの値の中の最小値を検出する最小値検出機能と、最小値が所定の値以下の場合は最小値が得られた周辺画素群の前記注目画素を含めたばらつきの値を算出する第２のばらつき算出機能と、最小値と前記注目画素を含めたばらつきの値との差分が大きい場合には、注目画素のノイズが存在すると判定する判定機能と、を有する。
【選択図】図３

Description

本発明は、画像のノイズを処理するノイズ処理方法および画像処理装置、並びに情報コード読取装置に関するものである。

近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面はフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。

このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、情報コード読取装置（バーコードリーダ）、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。

図３７は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。

撮像レンズ装置１においては、図３７に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図３８（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。

ところで、Ｆ値が明るいレンズは合焦位置からデフォーカスすると急激に変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）が下がってしまう。その結果、ＭＴＦが０まで下がりそこから高い周波数で再び値を持ついわゆるバウンドが発生する。
そして、このバウンド点以上は位相がずれているので解像はつぶれてしまう。
Ｆ値を絞るとデフォーカスさせた時のＭＴＦの変化が低く抑えられるのでバウンドするデフォーカス距離を広くすることができる。これがＦ値を絞ることで被写界深度をかせぐ方法である。

さて、たとえばバーコードリーダの深度拡張技術としては、上記のようにＦ値を絞ることで被写界深度を広げて固定ピントとしている。
フォーカシングすれば撮影距離は伸びるが複雑な機構が必要になるため、耐衝撃の信頼性や耐久性問題、または即時性の問題でオートフォーカス機構を有しているものはない。すなわち、バーコードリーダは、信頼性の観点から固定焦点レンズが用いられている。
しかしながら、Ｆ値を絞ると撮像素子に入射する光エネルギーが小さくなってしまうため感度が低下してノイズが増えバーコードのデコードを失敗してしまうという問題がある。
そこで、バーコードリーダにおいては、製品仕様の撮影距離とＦ値のバランスをとって被写界深度は決まっている。

また、位相板により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
この手法を用いれば、Ｆ値は明るいままで、被写界深度を伸ばすことができる。

また、特許文献６には、注目画素と近傍画素とからなる注目画素領域の画素値について統計量（たとえば標準偏差）の算出処理を、複数の画素を注目画素を順次選択して実施し、算出された統計量に基づいてノイズを抽出し、また除去する技術が開示されている。
"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama. "Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson. ＵＳＰ６，０２１，００５ ＵＳＰ６，６４２，５０４ ＵＳＰ６，５２５，３０２ ＵＳＰ６，０６９，７３８ 特開２００３−２３５７９４号公報 特開２００７−２４４６７５号公報

ところで、特許文献６に開示された技術では、“注目画素の画素値が確からしい”ということが前提であるためエッジ部分にインパルス性ノイズが隣接した場合に、ノイズ除去処理を行った結果、ノイズ除去の効果が現れない、反対にインパルス性ノイズを増大させてしまう等の場合がある。
すなわち、上述の技術では、画像のエッジ部分に隣接するインパルス性のノイズに対しては、図３９（Ａ）に示すように、抽出、除去が十分に行えない場合や、図３９（Ｂ）に示すように、逆にノイズの範囲を広げてしまう場合が発生するという不利益がある。

本発明は、画像内の平坦な領域だけでなく、エッジに隣接したインパルス性ノイズを確実に抽出し、除去を行うことが可能なノイズ処理方法および画像処理装置、並びに情報コード読取装置を提供することにある。

本発明の第１の観点は、画像データのノイズを検出するノイズ処理方法であって、注目画素を選択するステップと、前記注目画素の周辺で領域の異なる複数の周辺画素群について、前記注目画素を除いたばらつきの値を順次算出するステップと、前記複数の周辺画素群のばらつきの値の中の最小値を検出するステップと、前記最小値が所定の値以下の場合は前記最小値が得られた周辺画素群の前記注目画素を含めたばらつきの値を算出するステップと、を有し、前記最小値と前記注目画素を含めたばらつきの値との差分が大きい場合には、注目画素にノイズが存在すると判定する。

好適には、前記ばらつきの値を分散および標準偏差の少なくとも一方により求める。

好適には、前記周辺画素群は前記注目画素に隣接する画素によって形成されている。

本発明の第２の観点は、画像データのノイズを除去するノイズ処理方法であって、注目画素を選択するステップと、前記注目画素の周辺で領域の異なる複数の周辺画素群について、前記注目画素を除いたばらつきの値を順次算出するステップと、前記複数の周辺画素群のばらつきの値の中の最小値を検出するステップと、前記最小値が得られた周辺画素群の平均値を求めるステップと、前記最小値が所定の値以下の場合は前記最小値が得られた周辺画素群の前記注目画素を含めたばらつきの値を算出するステップと、を有し、前記最小値と前記注目画素を含めたばらつきの値との差分が大きい場合には、注目画素の値を前記平均値に置き換える。

本発明の第３の観点は、画像データのノイズ検出機能を有する画像処理装置であって、注目画素を選択し、当該注目画素の周辺で領域の異なる複数の周辺画素群について、前記注目画素を除いたばらつきの値を順次算出する第１のばらつき値算出部と、前記複数の周辺画素群のばらつきの値の中の最小値を検出する最小値検出部と、前記最小値が所定の値以下の場合は前記最小値が得られた周辺画素群の前記注目画素を含めたばらつきの値を算出する第２のばらつき算出部と、前記最小値と前記注目画素を含めたばらつきの値との差分が大きい場合には、注目画素のノイズが存在すると判定する判定部とを有する。

好適には、前記第１および第２のばらつき値算出部の少なくとも一方は、前記ばらつきの値を分散および標準偏差の少なくとも一方により求める。

好適には、前記第１のばらつき値算出部は、前記周辺画素群は前記注目画素に隣接する画素によって形成する。

本発明の第４の観点は、画像データのノイズ除去機能を有する画像処理装置であって、注目画素を選択し、当該注目画素の周辺で領域の異なる複数の周辺画素群について、前記注目画素を除いたばらつきの値を順次算出する第１のばらつき値算出部と、前記複数の周辺画素群のばらつきの値の中の最小値を検出する最小値検出部と、前記最小値が得られた周辺画素群の平均値を求める平均値算出部と、前記最小値が所定の値以下の場合は前記最小値が得られた周辺画素群の前記注目画素を含めたばらつきの値を算出する第２のばらつき算出部と、前記最小値と前記注目画素を含めたばらつきの値との差分が大きい場合には、注目画素の値を前記平均値に置き換える置換部とを有する。

本発明の第５の観点は、光学系と、前記光学系を通した被写体である情報コードの像を撮像する撮像素子と、前記撮像素子により撮像されて得られた画像データのノイズ検出機能を有する画像処理装置と、を有し、前記画像処理装置は、注目画素を選択し、当該注目画素の周辺で領域の異なる複数の周辺画素群について、前記注目画素を除いたばらつきの値を順次算出する第１のばらつき値算出部と、前記複数の周辺画素群のばらつきの値の中の最小値を検出する最小値検出部と、前記最小値が所定の値以下の場合は前記最小値が得られた周辺画素群の前記注目画素を含めたばらつきの値を算出する第２のばらつき算出部と、前記最小値と前記注目画素を含めたばらつきの値との差分が大きい場合には、注目画素のノイズが存在すると判定する判定部と、を含む。

本発明の第６の観点は、光学系と、前記光学系を通した被写体である情報コードの像を撮像する撮像素子と、前記撮像素子により撮像されて得られた画像データのノイズ除去機能を有する画像処理装置と、を有し、前記画像処理装置は、注目画素を選択し、当該注目画素の周辺で領域の異なる複数の周辺画素群について、前記注目画素を除いたばらつきの値を順次算出する第１のばらつき値算出部と、前記複数の周辺画素群のばらつきの値の中の最小値を検出する最小値検出部と、前記最小値が得られた周辺画素群の平均値を求める平均値算出部と、前記最小値が所定の値以下の場合は前記最小値が得られた周辺画素群の前記注目画素を含めたばらつきの値を算出する第２のばらつき算出部と、前記最小値と前記注目画素を含めたばらつきの値との差分が大きい場合には、注目画素の値を前記平均値に置き換える置換部と、を含む。

本発明によれば、画像内のインパルス性ノイズを画像の平坦な領域だけでなく、エッジに隣接したインパルス性ノイズを確実に抽出し、除去を行うことができる。

以下、本発明の実施形態を添付図面に関連付けて説明する。

図１は、本発明の実施形態に係る情報コード読取装置の一例を示す外観図である。
図２（Ａ）〜（Ｃ）は、情報コードの例を示す図である。
図３は、図１の情報コード読取装置に適用される撮像装置の構成例を示すブロックである。

本実施形態に係る情報コード読取装置１００は、図１に示すように、本体１１０がケーブル１１１を介して図示しない電子レジスタ等の処理装置と接続され、たとえば読み取り対象物１２０に印刷された反射率の異なるシンボル、コード等の情報コード１２１を読み取り可能な装置である。
情報コード読取装置１００は、本体１１０に形成された読取開始スイッチ１１２が操作されると、それをトリガとして、情報コードの読み取りを、たとえば１０回試みて７回デコード判定で可となればそれをデコード結果とする機能を有している。
この機能を有する理由は、情報コードの読み取り１回でデコード判定を可とすると、外乱や弱い情報に対して読み取りができない状態が続く場合が想定されることから、利用者の使い勝手を考慮したものである。ちなみにこの再試行の７回の設定は変更できように構成されている。

読み取り対象の情報コードとしては、たとえば図２（Ａ）に示すような、ＪＡＮコードのような１次元のバーコード１２２と、図２（Ｂ）および（Ｃ）に示すようなスタック式のＣＯＤＥ４９、あるいはマトリックス方式のＱＲコードのような二次元のバーコード１２３が挙げられる。

本実施形態に係る情報コード読取装置１００は、本体１１０内に、図示しない照明光源と、図３に示すような撮像装置２００とが配置されている。
本実施形態に係る撮像装置２００は、光学系２１０に光波面変調素子を適用し、光波面変調素子により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする波面収差制御光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ Ｅｘｐａｎｔｉｏｎ Ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）というシステムを採用し、情報コードを的確に高精度で読み取ることが可能に構成されている。
なお、光波面変調機能は、このように光学系に光波面変調素子を配置することで発現することが可能であるが、光学系を形成する光学素子に形成された光波面変調面により発現するように構成することも可能である。

情報コード読取装置１００の撮像装置２００は、図３に示すように、光学系２１０、撮像素子２２０、フィルタ手段としての機能を含む画像処理装置２３０、判定手段としての機能を含む制御装置２４０、および外部とのびインタフェース部（Ｉ／Ｆ）２５０を有する。
これらの構成要素のうち、画像処理装置２３０および制御装置２４０により画像復元装置が構成される。

光学系２１０は、位相変調素子等の光波面変調素子を含み、被写体物体ＯＢＪである情報コード１２１を撮影した像を撮像素子２２０に供給する。
光学系２１０は、たとえば固定焦点レンズが用いられている。

撮像素子２２０は、光学系２１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、図示しないアナログフロントエンド部(ＡＦＥ)を介して画像処理装置２３０に出力するＣＣＤやＣＭＯＳセンサからなる。
図３においては、撮像素子２２０を一例としてＣＣＤとして記載している。

図４は、本実施形態に係る光波面変調素子を含む光学系２１０の構成例を模式的に示す図である。

図４の光学系２１０は、物体側ＯＢＪＳに配置された物体側レンズ２１１と、撮像素子２２０に結像させるための結像レンズ２１２と、物体側レンズ２１１と結像レンズ２１２間に配置され、結像レンズ２１２による撮像素子２２０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板からなる光波面変調素子（波面形成用光学素子）群２１３を有する。

なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディング等により厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ、あるいはレンズ面上に形成される位相面として形成される状態）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。
また、本実施形態においては、光波面変調素子である位相板を用いて規則的に分散した画像を形成する場合について説明したが、通常の光学系として用いるレンズで光波面変調素子と同様に規則的に分散した画像を形成できるものを選択した場合には、光波面変調素子を用いずに光学系のみで実現することができる。この際は、後述する位相板に起因する分散に対応するのではなく、光学系に起因する分散に対応することとなる。

図４の光学系２１０は、光学位相板２１３ａを挿入した例である。
図で示された位相板２１３ａは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子２２０上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板２１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
前述したように、この規則的に分散した画像をデジタル処理により、光学系２１０を移動させずにピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ Ｅｘｐａｎｔｉｏｎ Ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）といい、この処理を画像処理装置２３０において行う。

画像処理装置２３０は、前段の不図示のＡＦＥからくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段の制御装置２４０に出力する。
画像処理装置２３０は、画像のぼけ復元フィルタと、エッジ保存型平均フィルタとを用いて画像データに対してフィルタリングを行う機能を有している。
画像処理装置２３０のフィルタリングを行う機能には、ぼけ復元フィルタ単独でフィルタリングを行う第１のぼけ復元処理機能と、ぼけ復元フィルタとエッジ保存型平均フィルタとの両フィルタによるフィルタリングを行う第２のぼけ復元処理機能と、を含む。
なお、本実施形態においては、第２のぼけ復元処理機能におけるぼけ復元フィルタのゲインは、第１のぼけ復元処理機能におけるぼけ復元フィルタのゲインより小さい。

画像処理装置２３０は、インパルス性ノイズを検出する機能として以下の機能を有する。
すなわち、画像処理装置２３０は、注目画素を選択する機能と、注目画素の周辺で領域の異なる複数の周辺画素群について、注目画素を除いたばらつきの値を分散および標準偏差の少なくともいずれかで順次算出する第１のばらつき算出機能と、複数の周辺画素群のばらつきの値の中の最小値を検出する最小値検出機能と、最小値が所定の値以下の場合は最小値が得られた周辺画素群の前記注目画素を含めたばらつきの値を算出する第２のばらつき算出機能と、最小値と前記注目画素を含めたばらつきの値との差分が大きい場合には、注目画素のノイズが存在すると判定する判定機能と、を有する。

また、画像処理装置２３０は、インパルス性ノイズを除去する機能として、以下の機能を有する。
すなわち、画像処理装置２３０は、注目画素を選択する機能と、注目画素の周辺で領域の異なる複数の周辺画素群について、注目画素を除いたばらつきの値を分散および標準偏差の少なくともいずれかで順次算出する第１のばらつき算出機能と、複数の周辺画素群のばらつきの値の中の最小値を検出する最小値検出機能と、最小値が得られた周辺画素群の平均値を求める機能と、最小値が所定の値以下の場合は最小値が得られた周辺画素群の注目画素を含めたばらつきの値を算出する第２のばらつき算出機能と、最小値と注目画素を含めたばらつきの値との差分が大きい場合には、注目画素の値を平均値に置き換える置換機能と、を有する。

なお、第１のばらつき値算出機能は、周辺画素群は注目画素に隣接する画素によって形成する。

ここで、本実施形態におけるインパルス性のイズの検出(抽出)、除去機能について説明する。
ここでは、３×３の局所領域で注目画素（ＮＰＸＬ）５についての処理を行う場合を例に説明する。

図５は、３×３の局所領域で注目画素（ＮＰＸＬ）５についての処理を例を示す図である。
また、図６は、図５の処理において、分散を求めるときの領域を示す図である。
図７は、３×３の局所領域で注目画素（ＮＰＸＬ）５についての処理をより具体的に説明するためのフローチャートである。

図５および図６の例では、次の処理を行う。
１）：１，２，３，４，６の画素値の平均と分散を求める。
２）：２，３，６，８，９の画素値の平均と分散を求める。
３）：４，６，７，８，９の画素値の平均と分散を求める。
４）：１，２，４，７，８の画素値の平均と分散を求める。

次に、図７に関連付けて３×３の局所領域で注目画素（ＮＰＸＬ）５についての処理をさらに詳述する。

＜ステップＳＴ１＞
ステップＳＴ１においては、図５のように分けられた注目画素”５"の周辺画素の平均,分散,標準偏差を以下のように算出する。この例では平均、分散を使用。

＜ステップＳＴ２＞
ステップＳＴ２においては、分散の最も小さな領域Ａを検出、その分散値をａ、また、平均値をｂとする。

＜ステップＳＴ３＞
ステップＳＴ３においては、分散値ａを閾値ｘと比較する。
分散値ａが閾値ｘより小さい（a<x）の場合は、領域Ａは、低周波（変化の少ない）の画像であり、注目画素５も領域Ａの画素値と類似した画素値であることが期待される。
分散値ａが閾値ｘ以上（a≧x）の場合は、領域Ａは、高周波（変化の激しい）の画像であり、周辺領域の画素値から注目画素５の値を推測することが困難である。
したがって、ａ<ｘの場合は、次のステップＳＴ４の処理に進み、ａ≧ｘの場合には、注目画素５の値はそのままとする。

＜ステップＳＴ４＞
ステップＳＴ４においては、ａ<ｘの場合の処理として、領域Ａ+注目画素“5”の分散値を算出しcとする。

＜ステップＳＴ５＞
ステップＳＴ５においては、求めた分散値ｃと分散値ａの差分をｄとする。

＜ステップＳＴ６＞
ステップＳＴ６においては、差分ｄと閾値ｙを比較する。
差分ｄが閾値ｙ以下（d≦y）場合は、注目画素５は、インパルス性ノイズでは無いと判断する。
差分ｄが閾値ｙより大きい（d>y）場合は、注目画素５は、インパルス性ノイズと判断する。
したがって、ｄ>ｙの場合は、次のステップＳＴ７の処理に進み、d≦yの場合には、注目画素５の値はそのままとする。

＜ステップＳＴ７＞
ステップＳＴ７においては、ｄ>ｙの処理として、注目画素５の画素値を領域Ａの画素値から推測して、置き換える。
ここでは、領域Ａの平均値に置き換えている。

以上のような処理を行うことにより、インパルス性のイズを効果的に除去し、その後、別のノイズフィルタでガウス性ノイズを削減することにより良好な画像を得ることができる。
ガウス性ノイズのフィルタ処理については後で詳述する。このフィルタ処理には、後述するエッジ保存型ノイズフィルタ、あるいは平均化フィルタ、ファジー理論を用いたフィルタ等が用いられる。

図８（Ａ）〜（Ｅ）は、ノイズ処理のシミュレーション結果を示す図である。

本実施形態では、図８（Ｂ）に示すように、ノイズがのった画像が得られる場合を想定して、図８（Ｃ）のインパルス性ノイズ除去、図８（Ｄ）のガウス性ノイズ除去処理を順次施していくことによりノイズの無い画像を得る。
ずなわち、最初に図８（Ｃ）のようにインパルス性のノイズ除去を行う。このとき、本実施形態の方法を用いると、エッジ付近に存在するノイズも良好に除去が可能である。
その後に、図８（Ｄ）のようにガウス性のノイズの除去を行う。
これによってガウス性ノイズ除去だけでは除ききれないインパルス性のノイズ（エッジ近傍のものも含めて）にも対応できるノイズ除去が行える。
これに対して、本実施形態の方法を用いていないノイズ除去を行ったものが図８（Ｅ）に示す画である。元になる画像は同様に図８（Ａ）を用いている。インパルス性のノイズ除去の処理も施されてはいるが、本考案の手法のようにはエッジ近傍に存在するものに対して対応できていないものであるため、図中○で囲んだ場所のようにエッジ近傍にインパルス性のノイズが残る場合がある。

以下に、ガウス性ノイズのフィルタ処理についてはエッジ保存型ノイズフィルタを用いる場合を例に説明する。

本実施形態の画像処理装置２３０は、ガウス性ノイズを除去する機能として、以下の機能を有する。
すなわち、画像処理装置２３０は、画像のぼけ復元フィルタと、エッジ保存型平均フィルタとを用いて画像データに対してフィルタリングを行う機能を有している。
画像処理装置２３０のフィルタリングを行う機能には、ぼけ復元フィルタ単独でフィルタリングを行う第１のぼけ復元処理機能と、ぼけ復元フィルタとエッジ保存型平均フィルタとの両フィルタによるフィルタリングを行う第２のぼけ復元処理機能と、を含む。
なお、本実施形態においては、第２のぼけ復元処理機能におけるぼけ復元フィルタのゲインは、第１のぼけ復元処理機能におけるぼけ復元フィルタのゲインより小さい。

図９（Ａ），（Ｂ）および図１０（Ａ），（Ｂ）は、フィルタゲインＦＧとＭＴＦとの関係を示す図であって、図９（Ａ），（Ｂ）の方が図１０（Ａ），（Ｂ）よりフィルタゲインが高い場合の例である。
このように、フィルタゲインが高い方がＭＴＦは高くなり、ＭＴＦの頂点部からの傾斜も急となる。

また、複数の画像復元フィルタは下記に示すフィルタゲインＦＧの値が略等しくなるようにＷｉｅｎｅｒフィルタの係数を変えて生成されている。

［数２］
ＦＧ ＝ （１／ａ＊ΣΣfilt(u,v)＾２）＾０.５
ａはフィルタの全要素数

なお、図９（Ａ），（Ｂ）に示すように、フィルタゲインＦＧを高くするとＭＴＦを高くすることができるが、これに伴いノイズ量も多くなる。
すなわち、復元フィルタだけに着目した場合、復元レベルを変えることが復元画像の解像やノイズに関係してくる。すなわち、強い復元フィルタを用いた場合、解像が上がると同時にノイズも増加する。情報コードを判定する際にある程度のノイズは訂正処理等で回避できるが限界がある。同時に、解像に関してもある一定の解像を持っていれば判定することは可能である。

また、画像処理装置２３０は、エッジ保存型平均フィルタにおいて、処理対象画素の周辺領域を設定し、この周辺領域を分割して分散演算を行う場合、分割の方向が上下、左右、斜めの８方向のみならず、これらの方向の間の方向を想定した分割も行い分散演算を行う機能を有している。

画像処理装置２３０は、内蔵または外部に設けた、たとえば不揮発性メモリからなる記憶部を有し、この記憶部にボケ（画像）復元フィルタおよびエッジ保存型平均フィルタが格納される。
記憶部に格納された画像復元フィルタおよびエッジ保存型平均フィルタは、光学系２１０の個体毎または要求される被写体距離毎に画像復元フィルタの値を変更可能に構成される。

ここで、エッジ保存型平均フィルタを用いたエッジ保存平滑化方法の一例について説明する。

図１１は、エッジ保存平滑化方法の一例について説明するための図である。図１１は、注目画素と近傍５×５の場合の領域の区切りの一例をあげている。
また、図１２は、注目画素と近傍３×３の場合の領域の区切りの一例をあげて示す図である。

注目画素ＮＰＸＬと近傍５×５において、図１１に示すように、９つの領域内の画素の分散を求め、この分散が最も小さい領域の原画素の平均値を注目画素値とする。このエッジ保存型平均フィルタのアルゴリズムは次のような考えに基づいている。
エッジが領域内に含まれているとすると、分散は大きくなり、逆に最も分散の小さい領域にはエッジが含まれていないと考えられる。そこで、最も分散の小さい領域の画素を平滑化することにより、エッジのぼけを防ぐ。
ここで、２つ以上の領域で分散の値が同じ場合、平均値が複数発生する場合がある。
この場合、注目画素の値をどの平均値に置き換えるのか判断するのが難しいため、注目画素の値は置き換えないものとする。

この方式では、以下のような特徴も持つ。
バーコード、ＱＲコードなどで１ピクセル（pixel）幅のコード、２×２ピクセルサイズのコードを読み取る場合には近傍５×５よりも近傍３×３の方がエッジ保存の点で有利である。
分割の方向が上下、左右、斜めの８方向のみならず、これらの方向の間の方向を想定した分割を行い、分割する領域の種類を増やすことにより斜め方向のエッジのぼけ方も小さくなる。

エッジ保存型平均フィルタを用いたエッジ保存平滑化方法についてさらに具体的に説明する

図１３（Ａ），（Ｂ）は、３×３のエッジ保存型平均フィルタを用いた具体例を説明するための図である。

図１３（Ａ）は、注目画素“５”と３×３の近傍画素の位置関係を示している。
（１）：図１３（Ａ）に示すような画素配列(マトリクス配列)を、図１３（Ｂ）に示すように８の小領域Ａ〜Ｈに分割する。
(２)：そして、それぞれ領域についての２画素間の画素値の平均と差分の絶対値を求める。
(３)：８つの領域の差分の絶対値の最小値が固定値Ｍ以上の値の場合、注目画素５の画素値は、注目画素５は固定パターンノイズ（ＦＰＮ;fixed-pattern noise)と判断して９画素の平均値に置き換える。
または、演算の簡略化のために画素１,２,３,４,６,７,８,９の８画素の平均値に置き換える。この場合、除算器を使わずに３ビットシフトで結果を出すことができる。
（４）：上記（３）に該当しない場合は、８つの領域の差分の絶対値が、最も小さい領域の画素値の平均を注目画素５の画素値とする。

図１４（Ａ），（Ｂ）は、３×３のエッジ保存型平均フィルタを用いた他の具体例を説明するための図である。

図１４（Ａ）は、注目画素“５”と３×３の近傍画素の位置関係を示している。
（１）：図１４（Ａ）に示すような画素配列(マトリクス配列)を、図１４（Ｂ）に示すように１３の小領域Ａ〜Ｍに分割する。
（２）：それぞれの領域についての画素値の平均と分散(または標準偏差)を求める。
（３）：１３の領域の中で分散(または標準偏差)が最も小さい領域の画素値の平均を注目画素５の画素値とする。

図１５（Ａ），（Ｂ）は、５×５のエッジ保存型平均フィルタを用いた具体例を説明するための図である。

図１５（Ａ）は、注目画素“１３”と５×５の近傍画素の位置関係を示している。
（１）：図１５（Ａ）に示すような画素配列(マトリクス配列)を、図１５（Ｂ）に示すように９の小領域Ａ〜Ｉに分割する。
（２）：それぞれの領域についての画素値の平均と分散(または標準偏差)を求める。
（３）：９の領域の中で分散(または標準偏差)が最も小さい領域の画素値の平均を注目画素１３の画素値とする。

エッジ保存型平均フィルタによるノイズ保存平滑化方法を採用しない場合、バーコードを読み取る場合には、次のような差異を有する。

センサとコード間の距離が大きい場合、図１６（Ａ）に示すように被写体は撮像素子上に小さく結像し、情報コード（バーコード）のバー（ｂａｒ）の幅が１〜２ピクセルと小さくなり、ノイズ成分とバーが隣接する場合にエッジとノイズの区別が付かなくなり、ノイズが除去できない、または反対にノイズを強調することがある（フィルタサイズ３×３の場合）。
これに対して、センサとコード間の距離が小さい場合、図１６(Ｂ)に示すように被写体は撮像素子上に大きく結像し、情報コード（バーコード）のバー（ｂａｒ）の幅が３ピクセルと大きくなり、エッジ保存型平均フィルタでのノイズの除去能力が十分に発揮される場合、ノイズがなくなりデコード成功率が上昇する（フィルタサイズ３×３の場合）。

制御装置２４０は、画像処理装置２３０、インタフェース部２５０を介した上位装置（たとえば電子レジスタ）等との通信等を制御し、システム全体の調停制御を司るものである。

制御装置２４０は、画像処理装置２３０においてフィルタ処理を受けた信号を受けて、第１のボケ復元処理(ボケ復元フィルタのみを用いた処理)のボケ復元処理画像に対してデコードの可否を判定し、デコード可（ＯＫ）である場合には、デコード可となった第１のボケ復元処理結果を最終結果として採用し、コードデータの出力を行う。
制御装置２４０は、画像処理装置２３０においてフィルタ処理を受けた信号を受けて、第１のボケ復元処理(ボケ復元フィルタのみを用いた処理)のボケ復元処理画像に対してデコードの可否を判定し、デコード不可（ＮＧ）である場合には、画像処理装置２３０に対して第２のボケ復元処理（エッジ保存型平均フィルタ処理とボケ復元フィルタ処理の両処理）を行わせ、この第２のボケ復元処理のボケ復元処理画像に対してデコードの可否を判定し、デコード可（ＯＫ）である場合には、デコード可となった第２のボケ復元処理結果を最終結果として採用し、コードデータの出力を行う。
制御装置２４０は、画像処理装置２３０においてフィルタ処理を受けた信号を受けて、第２のボケ復元処理のボケ復元処理画像に対してデコードの可否を判定し、デコード不可（ＮＧ）である場合には、たとえばデコード不可（読み取り不可）として、たとえばエラー表示する。
以上の処理を第１のコード読み取り処理とする。

また、制御装置２４０は、画像処理装置２３０においてフィルタ処理を受けた信号を受けて、第１のボケ復元処理または(および)第２のぼけ復元処理が行われた画像データに対するデコードの可否を判定し、第１のボケ復元処理または(および)第２のぼけ復元処理画像のうち、デコード可否判定においてデコード可となったほうを最終結果とする判定機能を有する。
この処理を第２のコード読み取り処理とする。広い意味では、第１のコード読み取り処理はこの第２のコード読み取り処理の概念に含まれる。

なお、デコード機能のデコード可否判定とは、フィルタリングされた画像データから情報コードとして判定可能であるか否かを判定することをいう。

そして、制御装置２４０は、そのデコードが可とされた画像データ（解読した情報）をたとえばインタフェース部２５０を介して上位装置に送信する等の制御を行う。

次に、第１のコード読み取り処理と第２のコード読み取り処理についてフローチャートに関連付けて説明する。

図１７は、本実施形態に係る第１のコード読み取り処理を説明するためのフローチャートである。

本体１１０に形成された読取開始スイッチ１１２が操作されると、それをトリガとして、情報コードの読み取りが開始され、撮像した画像データは画像処理装置２３０に入力される(ＳＴ１１)。
次に、制御装置２４０において、第１のボケ復元処理を行うように、画像処理装置２３０に指示が出され、これに伴いボケ復元フィルタのみを用いて読み取りデータに対する画像の復元処理が行われる（ＳＴ１２）。この復元画像データは、制御装置２４０に供給される。
制御装置２４０では、第１のボケ復元処理(ボケ復元フィルタのみを用いた処理)のボケ復元処理画像に対してデコードの可否が判定される(ＳＴ１３)。
ステップＳＴ１３の判定において、デコード可（ＯＫ）である場合には、デコード可となった第１のボケ復元処理結果を最終結果として採用し、コードデータの出力が行われる(ＳＴ１４)。
一方、ステップＳＴ１３の判定において、デコード不可（ＮＧ）である場合には、制御装置２４０では、画像処理装置２３０に対して第２のボケ復元処理（エッジ保存型平均フィルタ処理とボケ復元フィルタ処理の両処理）を行うように指示が出される。
これに伴い、画像処理装置２３０においては、エッジ保存型平均フィルタとボケ復元フィルタの両フィルタを用いて読み取りデータに対する画像の復元処理が行われる（ＳＴ１５，ＳＴ１６）。この復元画像データは、制御装置２４０に供給される。
制御装置２４０では、この第２のボケ復元処理のボケ復元処理画像に対してデコードの可否が判定される(ＳＴ１７)。
ステップＳＴ１７の判定において、デコード可（ＯＫ）である場合には、デコード可となった第２のボケ復元処理結果を最終結果として採用し、コードデータの出力が行われる(ＳＴ１４)。
一方、ステップＳＴ１７の判定において、デコード不可（ＮＧ）である場合には、デコード不可（読み取り不可）として、たとえばエラー表示が行われる(ＳＴ１８)。

なお、第１のコード読み取り処理において、先に第１のボケ復元処理を行う場合について説明したが、先の第２のボケ復元処理を行うように構成することも可能である。

図１８は、本実施形態に係る第２のコード読み取り処理を説明するためのフローチャートである。

本体１１０に形成された読取開始スイッチ１１２が操作されると、それをトリガとして、情報コードの読み取りが開始され、撮像した画像データは画像処理装置２３０に入力される(ＳＴ２１)。
次に、制御装置２４０において、第１のボケ復元処理および第２のボケ復元処理「を行うように、画像処理装置２３０に指示が出される。
これに伴い、画像処理装置２３０においては、ボケ復元フィルタのみを用いて読み取りデータに対する画像の復元処理が行われ（ＳＴ２２）、この復元画像データは、制御装置２４０に供給される。また、画像処理装置２３０においては、エッジ保存型平均フィルタとボケ復元フィルタの両フィルタを用いて読み取りデータに対する画像の復元処理が行われる（ＳＴ２３，ＳＴ２４）。この復元画像データは、制御装置２４０に供給される。
制御装置２４０においては、第１のボケ復元処理または第２のぼけ復元処理が行われた画像データに対するデコードの可否が判定され(ＳＴ２５)、第１のボケ復元処理または第２のぼけ復元処理画像のうち、デコード可否判定においてデコード可となったほうが最終結果としてコードデータの出力が行われる（ＳＴ２６）。
また、ステップＳＴ２５において、デコード不可の結果しか得られなかった場合、デコード不可（読み取り不可）として、たとえばエラー表示が行われる(ＳＴ２７)。

本実施形態においては、上述した第１および第２のコード読み取り処理が可能であることから、画像の復元処理においてコントラストの向上と共にノイズも増幅することを防止でき、復元画像の判定精度に影響を与えることなく、深度を拡張することができ、精度の高いコード読み取りを実現できる。

以下、本実施形態のＤＥＯＳの原理、光学系、画像処理装置の構成および機能について具体的に説明する。

まず、ＤＥＯＳの基本原理について説明する。
図１９に示すように、被写体の画像ｆがＤＥＯＳ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。

[数３]
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。

生成された画像から被写体を求めるためには、次の処理を要する。

[数４]
ｆ＝Ｈ^-１＊ｇ

ここで、Ｈに関するカーネルサイズと演算係数について説明する。
光学切り替え情報をＫＰｎ，ＫＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。

この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。

本実施形態においては、図３に示すように、光学系２１０からの像を撮像素子２２０で受像して、絞り開放時には画像処理装置２３０に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子２２０からの分散画像信号より分散のない画像信号を生成するように構成している。

なお、本実施形態において、分散とは、上述したように、位相板２１３ａを挿入することにより、撮像素子２２０上ではピントのどこにも合わない画像を形成し、位相板２１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。

本実施形態においては、ＤＥＯＳを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。

図２０（Ａ）〜（Ｃ）は、撮像素子２２０の受光面でのスポット像を示している。
図２０（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図２０（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、図２０（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図２０（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像装置２００Ａにおいては、位相板２１３ａを含む波面形成用光学素子群２１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。

このように、本実施形態の撮像装置２００Ａにおいて形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。

図２１（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）について説明するための図であって、図２１（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図２１（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置２３０の補正処理に任せるため、図２１（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。

画像処理装置２３０は、上述したように、撮像素子２２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。

画像処理装置２３０のＭＴＦ補正処理は、たとえば図２２の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図２２中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図２２中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。

本実施形態においては、図２２に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、図２３に示すようにエッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図２２のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図２３に示すようになる。

すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。

このように、実施形態に係る撮像装置２００Ａは、基本的に、１次画像を形成する光学系２１０および撮像素子２２０と、１次画像を高精細な最終画像に形成する画像処理装置２３０からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形（変調）し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子２２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置２３０を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子２２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置２３０で行う。

ここで、本実施形態における撮像装置２００Ａにおける結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系２１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。

したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図２０（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置２３０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。

次に、本実施形態および従来光学系のＭＴＦのレスポンスについて考察する。

図２４は、一般的な光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
図２５は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図２６は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。

図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が光波面変調素子を挿入してない光学系よりも少なくなる。
この光学系によって結像された画像は、コンボリューションフィルタによる処理を行うことによって、ＭＴＦのレスポンスが向上する。

図２５に示した、位相板を持つ光学系のＯＴＦの絶対値（ＭＴＦ）はナイキスト周波数において０．１以上であることが好ましい。
なぜなら、図２６に示した復元後のＯＴＦを達成するためには復元フィルタでゲインを上げることになるが、センサのノイズも同時に上げることになる。そのため、ナイキスト周波数付近の高周波ではできるたけゲインを上げずに復元を行うことが好ましい。
通常の光学系の場合、ナイキスト周波数でのＭＴＦが０．１以上あれば解像する。
したがって、復元前のＭＴＦが０．１以上あれば復元フィルタでナイキスト周波数でのゲインを上げずに済む。復元前のＭＴＦが０．１未満であると、復元画像がノイズの影響を大きく受けた画像になるため好ましくない。

次に、画像処理装置２３０のボケ画像復元処理について説明する。
図２７は、一般的な光学系のベストフォーカス（Ｂｅｓｔ Ｆｏｒｃｕｓ）位置でのＭＴＦ（Modulation Transfer Function：振幅伝達関数）特性図である。
図２８は、本実施形態の光学系のＭＴＦ特性を示す図である。

本実施形態の光学系２１０を通過して撮像素子２２０で得られた撮像画像はボケているため、中域〜高域にかけてＭＴＦが低下している。このＭＴＦを演算によって上昇させる。レンズ単体の振幅特性であるＭＴＦに対し、画像処理を含めたトータルの振幅特性はＳＦＲ（Spatial Frequency Response）と呼ばれている。
ボケ画像を発生させるＰＳＦの周波数特性がＭＴＦであるので、これから所望のＳＦＲ特性まで引き上げるゲイン特性に設計してできたものがボケ復元フィルタである。どの程度のゲインにするかはノイズや偽像とのバランスで決めていく。

このボケ復元フィルタを元画像にデジタルフィルタリングする方法は、画像をフーリエ変換し周波数領域でフィルタと周波数毎に積を取る方法と、空間領域でコンボリューション（Convolution）演算（畳み込み演算）を行なう方法がある。ここでは後者での実現方法を説明する。コンボリューション演算は下記の式で表される。

ただし、ｆはフィルタ（ｆｉｌｔｅｒ）カーネルを示している（ここでは計算を容易にするために１８０度回転済みのものを使用している）。
また、Ａは元画像、Ｂはフィルタリングされた画像（ボケ復元画像）を示している。
この式から分かる通り、ｆを画像に重ねて各タップ同士の積和した結果をその重ねた中心座標の値とすることである。

次に、図２９（Ａ）〜（Ｃ）に関連付けて３＊３のフィルタを例に挙げ具体的に説明する。
図２９（Ａ）の復元フィルタ（既に１８０度回転済み）を図２９（Ｂ）に示すボケ画像のＡ(i,j)上にフィルタの中心ｆ(0,0)を重ね、各タップ同士の積をとりこの９個の総和値を図２９（Ｃ)に示すボケ復元画像のＢ(i,j)とする。
(i,j)を画像全体に渡ってスキャンすると新たなＢ画像が生成される。これがデジタルフィルタである。ここではフィルタがボケ復元目的であるので、この処理を行なうことでボケ復元処理を実施することができる。

次に、画像処理装置２３０の構成および処理について説明する。
図３０は、本実施形態に係る画像処理装置の構成例を示すブロック図である。

画像処理装置２３０は、図３０に示すように、生（ＲＡＷ）バッファメモリ２３１、二次元コンボリューション演算部２３２、記憶手段としてのカーネルデータ格納ＲＯＭ２３３、およびコンボリューション制御部２３４を有する。

コンボリューション制御部２３４は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、制御装置２４０により制御される。

また、カーネルデータ格納ＲＯＭ２３３には、図３１に示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納されており、制御装置２４０によって予め設定された距離情報に応じてフィルタ処理に用いるカーネルデータを、コンボリューション制御部２３４を通じて選択的に制御する。

また、図３１の例では、カーネルデータＡは距離情報が１２５ｍｍ、カーネルデータＢは距離情報が１００ｍｍ、カーネルデータＣは距離情報が８８ｍｍに対応したデータとなっている。

図３２は、制御装置２４０の距離情報により切り替え処理のフローチャートである。
まず、距離情報が設定されコンボリューション制御部２３４に供給される（ＳＴ１０１）。
コンボリューション制御部２３４においては、供給された情報から、カーネルサイズ、数値演算係数がレジスタにセットされる（ＳＴ１０２）。
そして、撮像素子２２０で撮像され、二次元コンボリューション演算部２３２に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータが制御装置２４０に転送される（ＳＴ１０３）。

以下に画像処理装置２３０の信号処理部とカーネルデータ格納ＲＯＭについてさらに具体的な例について説明する。

図３３は、信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。
図３３の例は取得情報に応じたフィルタカーネルを予め用意した場合のブロック図である。

距離情報を設定し、コンボリューション制御部２３４を通じてカーネルデータを選択制御する。二次元コンボリューション演算部２３２においては、カーネルデータを用いてコンボリューション処理を施す。

図３４は、信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。
図３４の例は、信号処理部の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして距離情報に応じたノイズ低減フィルタ処理ＳＴ１を予め用意した場合のブロック図である。

距離情報を設定し、コンボリューション制御部２３４を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部２３２においては、前記ノイズ低減フィルタ処理ＳＴ１を施した後、カラーコンバージョン処理ＳＴ２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理（ＯＴＦ復元フィルタ処理）ＳＴ３を施す。
再度ノイズ低減フィルタ処理ＳＴ４を行い、カラーコンバージョン処理ＳＴ５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ低減フィルタ処理ＳＴ４は省略することも可能である。

図３５は、信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。
図３５の例は、距離情報に応じたＯＴＦ復元フィルタを予め用意した場合のブロック図である。

距離情報を設定し、コンボリューション制御部２３４を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部２３２は、ノイズ低減フィルタ処理ＳＴ１１、カラーコンバージョン処理ＳＴ１２の後に、前記ＯＴＦ復元フィルタを用いてコンボリューション処理ＳＴ１３を施す。
再度ノイズ低減フィルタ処理ＳＴ１４を行い、カラーコンバージョン処理ＳＴ１５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減フィルタ処理ＳＴ１１、ＳＴ１４は、いずれか一方のみでもよい。

図３６は、信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図３６の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして距離情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ低減フィルタ処理ＳＴ２４は省略することも可能である。
情報コードの種類(特性)を取得し、コンボリューション制御部２３４を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部２３２においては、ノイズ低減フィルタ処理ＳＴ２１を施した後、カラーコンバージョン処理ＳＴ２２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ２３を施す。
再度、距離情報に応じたノイズ低減フィルタ処理ＳＴ２４を行い、カラーコンバージョン処理ＳＴ２５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減フィルタ処理ＳＴ２１は省略することも可能である。

以上は距離情報に応じて二次元コンボリューション演算部２３２においてフィルタ処理を行う例を説明したが、たとえば情報コードおよび被写体距離情報により、より適した演算係数の抽出、あるいは演算を行うことが可能となる。

以上説明したように、本実施形態によれば、画像処理装置２３０は、注目画素を選択する機能と、注目画素の周辺で領域の異なる複数の周辺画素群について、注目画素を除いたばらつきの値を分散および標準偏差の少なくともいずれかで順次算出する第１のばらつき算出機能と、複数の周辺画素群のばらつきの値の中の最小値を検出する最小値検出機能と、最小値が所定の値以下の場合は最小値が得られた周辺画素群の前記注目画素を含めたばらつきの値を算出する第２のばらつき算出機能と、最小値と前記注目画素を含めたばらつきの値との差分が大きい場合には、注目画素のノイズが存在すると判定する判定機能と、を有する。
また、画像処理装置２３０は、注目画素を選択する機能と、注目画素の周辺で領域の異なる複数の周辺画素群について、注目画素を除いたばらつきの値を分散および標準偏差の少なくともいずれかで順次算出する第１のばらつき算出機能と、複数の周辺画素群のばらつきの値の中の最小値を検出する最小値検出機能と、最小値が得られた周辺画素群の平均値を求める機能と、最小値が所定の値以下の場合は最小値が得られた周辺画素群の注目画素を含めたばらつきの値を算出する第２のばらつき算出機能と、最小値と注目画素を含めたばらつきの値との差分が大きい場合には、注目画素の値を平均値に置き換える置換機能と、を有することから以下の効果を得ることができる。

すなわち、画像内のインパルス性ノイズを画像の平坦な領域だけでなく、エッジに隣接したインパルス性ノイズを確実に抽出し、除去を行うことが
また、インパルス性のイズを効果的に除去し、その後、別のノイズフィルタでガウス性ノイズを削減することにより良好な画像を得ることができる。

また、本実施形態によれば、１次画像を形成する光波面変調素子を含む光学系２１０および撮像素子２２０と、撮像素子２２０による画像データに対してフィルタリングを行う画像処理装置２３０と、を有し、画像処理装置２３０は、ぼけ復元フィルタ単独でフィルタリングを行う第１のぼけ復元処理機能と、ぼけ復元フィルタとエッジ保存型平均フィルタとの両フィルタによるフィルタリングを行う第２のぼけ復元処理機能と、を含むことから、画像の復元処理においてコントラストの向上と共にノイズも増幅することを防止でき、復元画像の判定精度に影響を与えることなく、深度を拡張することができ、精度の高いコード読み取りを実現でき、ひいてはデコードの信頼性の向上を図ることができる。

また、本実施形態においては、結像レンズ２１２による撮像素子２２０の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子２２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する画像処理装置２３０とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、光学系２１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。

ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。

しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。

以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。

なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と同様の作用効果を得ることができる。

本発明の実施形態に係る情報コード読取装置の一例を示す外観図である。 情報コードの例を示す図である。 図１の情報コード読取装置に適用される撮像装置の構成例を示すブロックである。 本実施形態に係る光波面変調素子を含む光学系を有する撮像装置の構成例を示すブロック図である。 ３×３の局所領域で注目画素（ＮＰＸＬ）５の処理を例を示す図である。 図５の処理において、分散を求めるときの領域を示す図である。 ３×３の局所領域で注目画素（ＮＰＸＬ）５の処理をより具体的に説明するためのフローチャートである。 ノイズ処理のシミュレーション結果を示す図である。 フィルタゲインＦＧとＭＴＦとの関係を示す図であって、フィルタゲインが高い方の例を示す図である。 フィルタゲインＦＧとＭＴＦとの関係を示す図であって、フィルタゲインが低い方の例を示す図である。 エッジ保存平滑化方法の一例について説明するための図であって、注目画素と近傍５×５の場合の領域の区切りの一例を示す図である。 注目画素と近傍３×３の場合の領域の区切りの一例をあげて示す図である。 ３×３のエッジ保存型平均フィルタを用いた具体例を説明するための図である。 ３×３のエッジ保存型平均フィルタを用いた他の具体例を説明するための図である。 ５×５のエッジ保存型平均フィルタを用いた具体例を説明するための図である。 エッジ保存型平均フィルタを用いたエッジ保存平滑化方法を採用しない場合のデメリットを撮影被写体距離の違いによって説明するための図である。 本実施形態に係る第１のコード読み取り処理を説明するためのフローチャートである。 本実施形態に係る第２のコード読み取り処理を説明するためのフローチャートである。 ＤＥＯＳの原理を説明するための図である。 本実施形態に係る撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。 本実施形態に係る撮像素子により形成される１次画像のＭＴＦについて説明するための図であって、（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、（Ｂ）が空間周波数に対するＭＴＦ特性を示している。 本実施形態に係る画像処理装置におけるＭＴＦ補正処理を説明するための図である。 本実施形態に係る画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。 一般的な光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。 光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。 本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。 一般的な光学系のベストフォーカス（Ｂｅｓｔ Ｆｏｒｃｕｓ）位置でのＭＴＦ（Modulation Transfer Function 振幅伝達関数）特性図である。 本実施形態の光学系のＭＴＦ特性を示す図である。 本実施形態におけるボケ復元処理の説明図である。 本実施形態に係る画像処理装置の構成例を示すブロック図である。 カーネルデータＲＯＭの格納データの一例を示す図である。 距離情報に応じた画像処理の概要を示すフローチャートである。 信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。 信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。 信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。 信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。 一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。 図３７の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。 インパルス性ノイズ発生について説明するための図である。

符号の説明

１００・・・情報コード読取装置、１２１・・・情報コード、２００・・・撮像装置、２１０・・・光学系、２２０・・・撮像素子、２３０・・・画像処理装置、２４０・・・制御装置、２１１・・・物体側レンズ、２１２・・・結像レンズ、２１３・・・波面形成用光学素子、２１３ａ・・・位相板（光波面変調素子）、２３２・・・二次元コンボリューション演算部、２３３・・・カーネルデータＲＯＭ、２３４・・・コンボリューション制御部。

Claims (10)

1. 画像データのノイズを検出するノイズ処理方法であって、
   注目画素を選択するステップと、
   前記注目画素の周辺で領域の異なる複数の周辺画素群について、前記注目画素を除いたばらつきの値を順次算出するステップと、
   前記複数の周辺画素群のばらつきの値の中の最小値を検出するステップと、
   前記最小値が所定の値以下の場合は前記最小値が得られた周辺画素群の前記注目画素を含めたばらつきの値を算出するステップと、を有し、
   前記最小値と前記注目画素を含めたばらつきの値との差分が大きい場合には、注目画素にノイズが存在すると判定する
   ノイズ処理方法。
2. 前記ばらつきの値を分散および標準偏差の少なくとも一方により求める
   請求項１に記載のノイズ処理方法。
3. 前記周辺画素群は前記注目画素に隣接する画素によって形成されている
   請求項１または２に記載のノイズ処理方法。
4. 画像データのノイズを除去するノイズ処理方法であって、
   注目画素を選択するステップと、
   前記注目画素の周辺で領域の異なる複数の周辺画素群について、前記注目画素を除いたばらつきの値を順次算出するステップと、
   前記複数の周辺画素群のばらつきの値の中の最小値を検出するステップと、
   前記最小値が得られた周辺画素群の平均値を求めるステップと、
   前記最小値が所定の値以下の場合は前記最小値が得られた周辺画素群の前記注目画素を含めたばらつきの値を算出するステップと、を有し、
   前記最小値と前記注目画素を含めたばらつきの値との差分が大きい場合には、注目画素の値を前記平均値に置き換える
   ノイズ処理方法。
5. 画像データのノイズ検出機能を有する画像処理装置であって、
   注目画素を選択し、当該注目画素の周辺で領域の異なる複数の周辺画素群について、前記注目画素を除いたばらつきの値を順次算出する第１のばらつき値算出部と、
   前記複数の周辺画素群のばらつきの値の中の最小値を検出する最小値検出部と、
   前記最小値が所定の値以下の場合は前記最小値が得られた周辺画素群の前記注目画素を含めたばらつきの値を算出する第２のばらつき算出部と、
   前記最小値と前記注目画素を含めたばらつきの値との差分が大きい場合には、注目画素のノイズが存在すると判定する判定部と
   を有する画像処理装置。
6. 前記第１および第２のばらつき値算出部の少なくとも一方は、
   前記ばらつきの値を分散および標準偏差の少なくとも一方により求める
   請求項５に記載の画像処理装置
7. 前記第１のばらつき値算出部は、
   前記周辺画素群は前記注目画素に隣接する画素によって形成する
   請求項５または６に記載の画像処理装置。
8. 画像データのノイズ除去機能を有する画像処理装置であって、
   注目画素を選択し、当該注目画素の周辺で領域の異なる複数の周辺画素群について、前記注目画素を除いたばらつきの値を順次算出する第１のばらつき値算出部と、
   前記複数の周辺画素群のばらつきの値の中の最小値を検出する最小値検出部と、
   前記最小値が得られた周辺画素群の平均値を求める平均値算出部と、
   前記最小値が所定の値以下の場合は前記最小値が得られた周辺画素群の前記注目画素を含めたばらつきの値を算出する第２のばらつき算出部と、
   前記最小値と前記注目画素を含めたばらつきの値との差分が大きい場合には、注目画素の値を前記平均値に置き換える置換部と
   を有する画像処理装置。
9. 光学系と、
   前記光学系を通した被写体である情報コードの像を撮像する撮像素子と、
   前記撮像素子により撮像されて得られた画像データのノイズ検出機能を有する画像処理装置と、を有し、
   前記画像処理装置は、
   注目画素を選択し、当該注目画素の周辺で領域の異なる複数の周辺画素群について、前記注目画素を除いたばらつきの値を順次算出する第１のばらつき値算出部と、
   前記複数の周辺画素群のばらつきの値の中の最小値を検出する最小値検出部と、
   前記最小値が所定の値以下の場合は前記最小値が得られた周辺画素群の前記注目画素を含めたばらつきの値を算出する第２のばらつき算出部と、
   前記最小値と前記注目画素を含めたばらつきの値との差分が大きい場合には、注目画素のノイズが存在すると判定する判定部と、を含む
   情報コード読取装置。
10. 光学系と、
    前記光学系を通した被写体である情報コードの像を撮像する撮像素子と、
    前記撮像素子により撮像されて得られた画像データのノイズ除去機能を有する画像処理装置と、を有し、
    前記画像処理装置は、
    注目画素を選択し、当該注目画素の周辺で領域の異なる複数の周辺画素群について、前記注目画素を除いたばらつきの値を順次算出する第１のばらつき値算出部と、
    前記複数の周辺画素群のばらつきの値の中の最小値を検出する最小値検出部と、
    前記最小値が得られた周辺画素群の平均値を求める平均値算出部と、
    前記最小値が所定の値以下の場合は前記最小値が得られた周辺画素群の前記注目画素を含めたばらつきの値を算出する第２のばらつき算出部と、
    前記最小値と前記注目画素を含めたばらつきの値との差分が大きい場合には、注目画素の値を前記平均値に置き換える置換部と、を含む
    情報コード読取装置。