JP2008147980A - 画像処理装置及び撮像装置及び画像処理方法及びプログラム及び記憶媒体 - Google Patents

Abstract

【課題】カラー画像における色滲みを、画像処理により、より効果的に抑制する。
【解決手段】被写体像を光電変換して生成された複数の色プレーンからなるカラー画像に対して、そのカラー画像に基づいて、カラー画像における色の滲みの強度を推定する推定部と、推定部により推定された色の滲みの強度の推定値をカラー画像から差し引く除去部とを具備する。
【選択図】図７

Description

本発明は、カラー撮影画像の色滲みを低減する技術に関するものである。

カラー撮像系では結像光学系の色収差により、画像上で明るい部分の周囲に本来存在しない色が色滲みとして生じる。色滲みは結像光学系の中心波長から離れた部分で起きやすく、可視光カラー撮像系では、青や赤、或いは双方が混じった紫色のアーチファクトが滲み状に生じ、色滲み、パープルフリンジなどと呼ばれる。

色収差は異なる分散を持つレンズを複数組み合わせることにより、ある程度光学的に抑えることができる。

しかし近年デジタルカメラの小型化が進み、撮像センサの高解像度化と共に光学系の小型化に対する要求も高まり、色収差を光学系のみで十分に抑えることは困難となってきた。そこで画像処理によるこれらのアーチファクトの軽減が求められている。

色収差は横色収差（倍率色収差）と縦色収差（軸上色収差）に大別される。横色収差は図１のように結像位置が波長によって像面に沿う方向にずれる現象であり、縦色収差は図２のように結像位置が波長によって光軸に沿う方向にずれる現象である。

横色収差に対しては原色系のデジタル撮像系であれば、ＵＳＰ６７２４７０２Ｂ１（特許文献１）に開示されているように、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色プレーンに対し異なる歪曲を加える幾何変換により補正することができる。

一方の縦色収差は、例えば可視光域の中心波長を担うＧ（緑）プレーンで合焦した画像においては、可視光域端部となるＲ（赤）プレーンやＢ（青）プレーンではピンボケ画像となる。これは横色収差のような幾何変換では補正できず、特開２００３−０１８４０７号公報（特許文献２）に開示されているように、ＲＧＢの各色プレーンに対し、異なる輪郭強調処理を加えて補正する方法が提案されている。あるいは、特開２００１−１４５１１７号公報（特許文献３）に開示されているように、色滲みが生じる領域での彩度を下げることにより目立たなくする方法が提案されている。
ＵＳＰ６７２４７０２Ｂ１ 特開２００３−０１８４０７号公報 特開２００１−１４５１１７号公報

しかし特開２００３−０１８４０７号公報（特許文献２）に記載されるようなデコンボリューション及びその近似的な輪郭強調処理では、正確なボケ関数が分かっていないと適切な結果が得られない。カメラのように被写体距離や撮影条件が様々に変化する撮像装置においては、ズーム位置、絞り値、フォーカス位置といった結像光学系の状態も様々に変化するため、正確なボケ関数を得るのは困難である。また、デコンボリューションはイメージセンサの線形反応境域でしか用いることができす、飽和画素周囲の色滲みを軽減できない。

ところが、一般的なカラー撮像装置の光学系では、色収差に対する補正がある程度光学的に成されており、通常の輝度域で色滲みが目立つことは少ない。むしろ、画面内に極端に明るく画素が飽和するような被写体があった場合、補正しきれていない僅かな比率の漏れ光が、有意な量となって色滲みを起こしていることが多い。即ち、特開２００３−０１８４０７号公報（特許文献２）に記載の技術では、このような色滲みを補正することができない。

一方、特開２００１−１４５１１７号公報（特許文献３）に記載されるような彩度を下げる処理は、色滲みの色を消し不自然さを減らす効果はあるが、被写体本来の色も影響を受け、色滲みの有無にかかわらずグレーがかってしまうという問題がある。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、カラー画像における色滲みを、画像処理により、より効果的に抑制することである。

上述した課題を解決し、目的を達成するために、本発明に係わる画像処理装置は、被写体像を光電変換して生成された複数の色プレーンからなるカラー画像に基づいて、前記カラー画像における領域毎の色の滲みの強度を推定する推定手段と、前記推定手段により推定された色の滲みの強度の推定値を前記カラー画像から差し引く除去手段と、を具備することを特徴とする。

また、本発明に係わる画像処理方法は、被写体像を光電変換して生成された複数の色プレーンからなるカラー画像に基づいて、前記カラー画像における領域毎の色の滲みの強度を推定する推定工程と、前記推定工程において推定された色の滲みの強度の推定値を前記カラー画像から差し引く除去工程と、を具備することを特徴とする。

また、本発明に係わるプログラムは、上記の画像処理方法をコンピュータに実行させることを特徴とする。

また、本発明に係わる記憶媒体は、上記のプログラムを記憶したことを特徴とする。

また、本発明に係わる撮像装置は、被写体像を光電変換する撮像手段と、上記の画像処理装置と、を具備することを特徴とする。

本発明によれば、カラー画像における色滲みを、画像処理により、より効果的に抑制することが可能となる。

以下、本発明の好適な実施形態について説明する。

まず、本発明の実施形態の概要について説明する。

本発明の実施形態では、カラー撮像装置で撮影され色滲みの発生しているカラー画像に対し、飽和画素周囲の色滲みを効果的に除去し、なおかつ本来の色を再現可能な画像処理装置、方法およびプログラムを提供する。

まず、本発明の実施形態の画像処理装置は、撮像系において撮影された複数の色プレーンからなるカラー画像から色滲みの強度を推定する推定部と、その推定量を元画像から差し引く除去部とを備える。除去部は、画像撮影時に用いられた結像光学系において色収差が残存する波長域の強度を示す色プレーンを除去対象とし、除去対象となる色プレーンの滲み部分の強度を減算する。

なお、本発明の実施形態の画像処理装置は更に領域判定部を備え、推定部は領域判定部によって判定された種別によって異なる推定手法を用いることもできる。また、過除去抑制部を備え、過除去抑制部は除去部によるカラー画像の色相変化を抑制するよう構成することもできる。

この除去対象となる色プレーンはＲ（赤）プレーンまたはＢ（青）プレーンであるが、これらに対応する色味を表す色差プレーンＵ／Ｖとすることもできる。

色滲みは空間的な作用であるため、カラー画像から色滲みの画像強度を推定するために、空間演算部で空間演算を行う。この空間演算では、除去対象となる色プレーン以外にも、高い解像度が得られている色プレーンを基準プレーンとして参照する。これは画像撮影時に用いられた結像光学系において色収差が良好に補正されている波長域の色プレーンや輝度を示す色プレーンであり、一般的にはＧ（緑）プレーンやＹ（輝度）プレーンである。空間演算としてはいくつかの種類が考えられるが、一つは（１）滲みの元である飽和領域からの画像距離変換であり、各画素に対して飽和領域からの距離を算出する。飽和領域は基準プレーンや除去対象となる色プレーンにおける飽和画素である。

或いは（２）コンボリューション処理を用いる。この場合、コンボリューションに先立ち、飽和による非線形性を補正するために、基準プレーンの画像強度に対する非線形変換を行う。この非線形変換は基準プレーンの強度が飽和している領域近傍で急激に増加するものであり、基準プレーンの強度が飽和しているか否かの２値への変換とすることもできる。コンボリューション処理はこの非線形変換を受けた画像強度に対して行う。

コンボリューション処理のカーネルは結像光学系における解像度の劣化を模したものであり、例えば除去対象プレーンに対応する色バンドの代表的な波長における結像光学系のＰＳＦ（点拡がり関数）である。結像光学系のＰＳＦは像位置や撮影時の光学系の状態によって変化するため、これらに従ってコンボリューションカーネルを変化させるのが望ましい。しかし、これら像位置や撮影時の光学系の状態によって変化する複数の結像光学系のＰＳＦを包絡するようなカーネルにしてしまっても良い。

同様に単一色バンド内でも波長によってＰＳＦは変化するが、これを知ることはできないので、除去対象プレーンに対応する色バンド内の複数の波長による異なるＰＳＦを包絡するようなカーネルにしてしまっても良い。このカーネルは中心からの距離に従い減少するようにするのが望ましく、簡略化のため、軸対象にしたり、指数関数型にしたり、ガウス関数型とするのが実用的である。

あるいは空間演算として（３）画像強度傾斜算出を用いることもできる。画像強度傾斜は、基準プレーンや除去対象となる色プレーンの強度傾斜である。

空間演算部で（１）の距離画像変換を行った場合、推定部では除去対象とする色プレーンが飽和している領域においては、参照する色プレーンが飽和している領域から離れるに従い増加する値を出力する。また、除去対象とする色プレーンが飽和していない領域においては、除去対象とする色プレーンが飽和している領域から離れるに従い減少する値を出力する。この推定手法の切り替えは領域判定部で行う。また、これらの出力は、除去対象とする色プレーンと参照する色プレーンの飽和半径の差が大きくなるに従い増加するようにする。これら増減の比率は、像高や画像が撮影された結像光学系の状態によって変化させるのも効果的である。

空間演算部で（２）のコンボリューション処理や（３）の画像強度傾斜を計算した場合、推定部ではそのコンボリューション値や画像強度傾斜に依存した値を出力する、この場合単純に、コンボリューション値や画像強度傾斜に比例した値を出力とすることもできる。

領域判定部では除去対象とする色プレーンが飽和しているか否かを判定し、これによって推定部の推定方法を切り替えたり、推定部から得られる複数の推定値から一つを選択したり、推定部から得られる複数の推定値を補間したりする。

このようにして、除去すべき滲み量の推定値が得られる。しかしこの推定値は必ずしも正確ではなく、過不足が存在する。推定値が不足する場合、完全には除去されず、若干の色滲みが残る。一方、推定値が過大となると、過除去となり色滲みの色相が反転してしまう。本願発明者らの実験によると、前者の除去不足に比べ、後者の過除去は著しく不自然な画像となる。そこでこのような色相反転を抑制するために過除去抑制部が備えられ、一定領域の色域の画素のみを除去部の除去対象とし、変化後の色域も一定領域に制限する。この２つの一定領域は同一である。特に、除去対象とする色プレーンを、その強度が参照する色プレーン強度より大きい領域とすることもできる。また、色相変化の抑制としては除去部による色相角の変化を一定角度以内に抑える手法もある。

上記のような画像処理装置によれば色滲みを軽減した画像を得ることができる。

このため、本発明の実施形態の画像処理装置を備えたカラー撮像装置は、少なくとも一つの色プレーンに対応する波長域においてのみ色収差を抑えた光学系を備えればよく、その他の色プレーンに対しては光学系に対する色収差の制限を緩和することができる。

一般的にカラー撮像装置に装着される結像光学系は、サイズ、コスト、種々の収差補正のトレードオフの中で一定の色収差補正が成されているが、本発明の実施形態により色収差に対する制約を緩めることができる。この結果、結像光学系はその他の収差補正や、小型化、低コスト化をより高い水準で達成することができる。

以下、本発明の実施形態について、具体的に説明する。

（第１の実施形態）
以下、添付図面を参照して、本発明の第１の実施形態の画像処理方法について説明する。なお、各図において同一の参照符号は同一部材を示している。

まず、本実施形態の画像処理方法を適用可能なカラー撮像装置１００の例を図３に示す。

カラー撮像装置１００は結像光学系１１０、イメージセンサ１２０、Ａ／Ｄ変換部１３０、デモザイク部１４０、色滲み除去部１５０、視覚補正部１６０、圧縮部１７０、記録部１８０を有する。なお、図２中に記した被写界（被写体）ｆ及びＲ（赤）、Ｇ（緑）、Ｂ（青）の光線はカラー撮像装置１００の構成要素ではないが説明のため図３中に記す。

図３において、被写界ｆは結像光学系１１０を経て、被写体像を光電変換するイメージセンサ１２０上に結像する。一般的にカラー撮像装置に装着される結像光学系は、サイズ、コスト、種々の収差補正のトレードオフの中で一定の色収差補正が成されている。しかし、本実施形態の結像光学系１１０はＲ〜Ｇの波長域においてのみ縦色収差が良好に補正され、Ｂバンドでは縦色収差が残存するものとする。このように「Ｂバンドの縦色収差」というトレードオフの制限を一つ外すことにより、その他の収差補正や、小型化、低コスト化をより高い水準で実現できる。

イメージセンサ１２０は一般的な原色カラーフィルタを備える単板カラーイメージセンサとする。原色カラーフィルタは、図４のように各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーンを撮影する。単板カラーイメージセンサでは、この色フィルタを図５のように画素毎に空間的に配列し、各画素では各々単一の色プレーンにおける強度を得ることしかできない。このためイメージセンサからは色モザイク画像が出力される。

Ａ／Ｄ変換部１３０ではイメージセンサからからアナログ電圧として出力される色モザイク画像を、以降の画像処理に適するデジタルデータへと変換する。

デモザイク部１４０では色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。なお、この補間手法には単純な線形補間から、「E.Chaｎg, Ｓ.Cheung, and D.Paｎ,“Color filter array recovery using a threshold-based variable number of gradients，”Proc. SPIE, vol. 3650, pp. 36-43, Jan.1999」のように複雑な手法まで、多くの方式が提案されているが、本発明は補間手法を限定するものでなはい。

ここで生成されたカラー画像は結像光学系１１０の色収差によって、ＲやＧプレーンに比してＢプレーンの解像度が劣る画像となる。このため明暗の境界部では図６のように青がぼやけ、明部の周囲に青い縁取りのようなアーチファクトが生じる。

なお、上記ではイメージセンサ１２０のカラーフィルタをＲ、Ｇ、Ｂからなる原色系としたが、補色系カラーフィルタであっても色変換処理によって同様にＲ、Ｇ、Ｂの色プレーンからなるカラー画像が得られる。

色滲み除去部１５０では、画像処理によりカラー画像よりこの青色のアーチファクトを除去する。本実施形態の画像処理方法はこの除去処理にかかるものであり、後に詳しく説明する。

次に視覚補正部１６０による処理が行われる。視覚補正部１６０では主として画像の見栄えを改善するための処理がカラー画像に対し行われ、例えばトーンカーブ（ガンマ）補正、彩度強調、色相補正、エッジ強調といった画像補正が行われる。

処理の最後では、圧縮部１７０で、補正されたカラー画像をＪＰＥＧ等の方法で圧縮し、記録時のサイズを小さくする。

これらのイメージセンサ１２０から記録部１７０間での構成は、実際には別体のデバイスとは限らす。単一のマイクロプロセッサが複数の部分に対応する処理を行うこともある。

処理が行われたデジタル画像信号は記録部１８０にてフラッシュメモリ等の記録媒体に記録される。

このような構成のカラー撮像装置１００における、画像処理による色滲み除去の動作のフローチャートを図７に示す。

図７に示すように、色滲み除去部１５０の処理は、空間演算ステップＳ１５１、領域判定ステップＳ１５２、推定ステップＳ１５３、過除去抑制ステップＳ１５４、及び除去ステップＳ１５５からなる。

本色滲み除去動作ではＢプレーンを除去対象とし、基準プレーンとしてＧプレーンを用いる。

ここで、高輝度な被写体に対するＢプレーン及びＧプレーンの典型的なプロファイルを図８に示す。

図８において、横軸は画像上の断面であり、縦軸はＢプレーン及びＧプレーンの強度である。図８では中心部に飽和輝度を超える高輝度被写体が存在する。そして本来明るくない高輝度被写体周囲も、収差やフレアにより高輝度被写体から滲んだ光によって、プロファイルの裾が拡がる。この滲みの強さは高輝度被写体の輝度に依存し、また高輝度被写体から離れるに従い、指数関数的に弱くなる。Ｇプレーンであっても滲みは全くないわけではなく、ある程度の拡がりが存在するが、それはＢプレーンに比べると小さい。また、イメージセンサは一定の飽和レベル以上の強度を測定することはできず、頭が切られてしまう。このため、撮影画像としては本来の高輝度被写体より一回り大きくＧもＢも飽和し、白く飽和した領域ができる。なお、ＲはＧと同じプロファイルとする。この先、Ｇは減衰していくがＢの飽和半径は更に広いため、徐々にＧとの画像強度差は大きくなり、水色として青みを増していく。しかし、Ｂの飽和半径に達するとＢも減衰を初め、この先ではＧとＢの画像強度差は小さくなっていく。あるところで、Ｇの裾の端に達すると、その先はＢプレーンのみが強度を持ち、真っ青の滲みとなる。

このうち、水色部分の滲みと真っ青な滲みが青滲みとして不自然なものとなる。仮に、Ｂの滲みがＧと同程度であれば、滲みは高輝度被写体の色と認識され、自然な滲みとなる。このような滲みは飽和輝度を超えた高輝度被写体の明るさを示す有益な画像表現である。

このため、空間演算ステップＳ１５１では、Ｇ、Ｂ双方の色プレーンに対し、強度が一定の閾値以上となる飽和画素領域を抽出し、各画素のこの飽和画素領域からの距離ｄＧ，ｄＢを画素幅単位で算出する。例えば図９Ａにおいて斜線部分が飽和画素だとすれば、距離は各画素に記した数値のようになる。

閾値としては、Ａ／Ｄ変換部の出力値と入射光強度の関係が比例関係から外れる出力値とする。これ以上の出力値を持つ状態を飽和していると呼ぶ。距離の算出は一般に画像距離変換と呼ばれる。なお、この距離は正確なユークリッド距離に限らず、準ユークリッド（quansi-Euclidean）距離や、チェスボード距離、シティブロック距離で代用してもよい。この画像距離変換により飽和画素は０、非飽和画素は正値となる。Ｂプレーンに対するこの符号により各画素は、Ｂが飽和している領域Ａ１、Ｂが飽和していない領域Ａ２、に区分される（図８参照）。

また、このステップでは、少なくとも領域Ａ１に対してＢが非飽和の領域からの距離ｄｎＢを同様に算出する。ｄＢが図９Ａのように表わされるのに対し、ｄｎＢは図９Ｂのように表わされる。なお、ｄｎＢはｄＢにおける負値として表すこともできる。

領域判定ステップＳ１５２では上記の算出結果に応じて、推定ステップＳ１５３の複数の処理方法Ｓ１５３ａ，Ｓ１５３ｂに処理を振り分ける。本実施形態ではＢが飽和している領域Ａ１をＳ１５３ａ，飽和していない領域Ａ２をＳ１５３ｂに割り振る。

推定ステップＳ１５３ではカラー画像の各画素に対して、色滲みとなっている余計なＢプレーンの強度を推定する。推定手法はＢが飽和しているかしていないかによって異なり、Ｓ１５３ａ，Ｓ１５３ｂで推定の計算を行う。これは各々図８の領域Ａ１、領域Ａ２に対応している。

前述のように、除去すべきＢプレーンの画像強度はＢプレーンとＧプレーンの差であり、領域Ａ１ではＧが飽和している領域から離れるに従い、推定量は増加し、領域Ａ２では領域Ａ１から離れるに従い推定量は減少する。

また、この推定量は高輝度被写体の明るさに依存するが、飽和のため、これを直接得ることはできない。そこで、本実施形態では、ＢとＧの飽和半径の差ｄＧ−ｄＢあるいはｄＧ＋ｄｎＢで代用する。このような推定量として、領域Ａ１を担うステップＳ１５３ａでは推定滲み量Ｅを、
Ｅ＝（ｋ１（ｄＧ＋ｄｎＢ）＋ｋ０）×ｄＧ／（ｄＧ＋ｄｎＢ）
と算出する。

他方、領域Ａ２を担うステップＳ１５３ｂでは推定滲み量Ｅを、
Ｅ＝（ｋ１（ｄＧ−ｄＢ）＋ｋ０）ｅｘｐ（−ｋ２ｄＢ）
と算出し、過除去抑制ステップＳ１５４に渡す。このとき両者は領域Ａ１と領域Ａ２の境界線上ではＥ０＝（ｋ１ｄＧ＋ｋ０）と一致するためマッハバンドを生じない。

ｋ０，ｋ１，ｋ２は定数であり、結像光学系やイメージセンサの画素ピッチによって異なるため、撮影画像から滲み量を近似するのに好適な値を求めるのが望ましい。

厳密には、結像光学系の特性はズーム位置、絞り値、フォーカス位置、レンズ交換といった状態や像高によって変化するため、これらに従い定数ｋ０，ｋ１，ｋ２を変えるのも有効である。或いは、後述の過除去抑制ステップの存在を考慮し、滲み量を近似するのに好適な値より過大な滲み量を推定する定数を設定するのが望ましい。あるいは、後述の過除去抑制ステップの存在を考慮し、結像光学系の特性変化に対応できるよう、過大な滲み量を推定する定数を設定しても良い。

過除去抑制ステップＳ１５４では、上記の推定量Ｅを修正し、実際に除去する量Ｅ’を決める。ステップＳ１５３で推定した除去量は一定のモデルに沿ったものであり、実際の滲み量とは必ずしも一致しない。例えば同じＢプレーンに検出される光であっても波長４５０ｎｍの光と波長４００ｎｍの光では滲み方が変化するが、ステップＳ１５３ではこれを考慮していない。除去量が過小である場合、除去後も若干の青みが残る。一方、除去量が過大であると、灰色の背景に対してＢを減らしすぎ、黄緑色になってしまったりする。特に後者は不自然で観察者に大きな違和感を与える。そこで本ステップは、一定の色相範囲内でのみ滲み除去が作用するよう制限する。このため、まず、画素の色度を計算する。 Ｒ，Ｇ，Ｂの各プレーンの強度に対し、

ａ＝５（ｘ−ｙ）
ｂ＝２（ｙ−z）
とする。この色度座標ａｂ面を図１０に記すと、青色は第４象限にあり、Ｂ強度から推定量Ｅを除去すると、点線矢印のように左上方向へ移動する。矢印の始点が除去前の色度であり、先端が推定量Ｅの除去後の色度である。このことから作用する色相範囲をａ’＞０かつｂ’＜０に制限する。

Ｂ＞０.２２Ｒ＋０.６８Ｇ かつ Ｂ＞−１.８４Ｒ＋３.３０Ｇ
となる。このため、ステップＳ１５４ではまずこの条件を満たさない画素に対しＥ’＝０とし、除去対象から外す。これにより、これらの画素は除去ステップＳ１５５によって変化せず、色滲みの除去ステップＳ１５５によって画素値が影響を受けることがない。すなわち、この条件を満たす画素のみが除去対象となる。

さらに条件を満たす画素に対しても除去量を、
Ｅ’＝ｍｉｎ（Ｅ，Ｂ−（０.２２Ｒ＋０.６８Ｇ），Ｂ−（−１.８４Ｒ＋３.３０Ｇ））
として、除去ステップＳ１５５に渡す。このＥ’の除去による色度変化は図１０に実線矢印で記したように、第４象限内に留まるようになる。これにより、除去ステップにより色相制限範囲を超えてＢが減少するのを防ぐことができる。

除去ステップＳ１５５では上記の除去量Ｅ’をＢプレーンの強度から減じ、新たなＢプレーン強度を、
Ｂ＝Ｂ−Ｅ’
とする。このようにＢプレーンを修正したカラー画像を色滲み除去部１５０の出力として視覚補正部１６０に渡す。

なお、本実施形態では、結像光学系１１０から記録部１８０までを備えたカラー撮像装置として説明したが、これらの内色滲み除去部１５０を除く一部或いは全部を別の装置として設け、色滲み除去のみを行う画像処理装置として構成してもよい。この場合、画像処理装置をカラー撮像装置と別体に設け、カラー撮像装置で撮影され、半導体メモリ・磁気／光ディスクなどの記録媒体に格納されたカラー画像を画像処理装置で読み込み（入力）可能とするようにすればよい。

このように本実施形態の青滲み除去部を備えたカラー撮像系によれば、青滲みが効果的に除去され、また自然で違和感のない撮影画像が得られる。また、付随する結像光学系においてはＢバンドにおける縦色収差の制限を緩めることができ、その他の収差補正や、小型化、低コスト化をより高い水準で実現できる。

（第２の実施形態）
次に、本発明の第２の実施形態の画像処理方法を適用可能なカラー撮像装置２００の例を図１１に示す。なお、図１１では、図３と同じ機能部分には同じ符号を付している。

カラー撮像装置２００は、結像光学系２１０、色分解プリズム２１５、イメージセンサ２２０、Ａ／Ｄ変換部２３０、色変換部２３５、色滲み除去部２５０、視覚補正部１６０、圧縮部１７０、記録部１８０を有する。

本実施形態のイメージセンサ２２０は第１の実施形態とは異なり３板式であり、それに伴い色分解プリズム２１５が追加され、第１の実施形態に存在していたデモザイク部１４０は不要となる。

図１１において、被写体からの光線は結像光学系２１０及び色分解プリズム２１５を経てイメージセンサ２２０上に結像する。色分解プリズム２１５では、光の波長によって光線の進行方向が異なるため、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長域の異なるそれぞれの光線は、異なるイメージセンサ２２０に到達する。このため、イメージセンサ２２０はカラーフィルタを備えず、各々ＲＧＢの各色プレーンに対応する像を得る。

また、本実施形態の結像光学系２１０はＧバンド内の波長域においてのみ縦色収差が良好に補正され、Ｒ／Ｂバンドでは縦色収差が残存するものとする。なお、３板式では各イメージセンサの前後位置を調整することにより、縦色収差を補正することも可能であるが、光学系のズーム位置などによる収差量変動に対応できないため、本実施形態ではそのような調整は考慮しない。このため、Ｇプレーンに比してＲ、Ｂプレーンの解像度が劣り、３つのプレーンを合成したカラー画像においては明暗の境界部で赤や青がぼやけ、明部の周囲に赤や青、或いは紫色の縁取りのようなアーチファクトが生じる。

Ａ／Ｄ変換部２３０では、３枚のイメージセンサ２２０からアナログ電圧として出力されるＲＧＢ各色プレーンの画像を、以降の画像処理に適するデジタルデータへと変換する。

色変換部２３５では色表現をＲＧＢからＹＵＶに変換する。これにはマトリクス演算が用いられ、

として、Ｙ、Ｕ、Ｖの３つのプレーンが得られる。このＹは輝度を、Ｕは青みを、Ｖは赤みを示す。

色滲み除去部２５０では画像処理によりカラー画像よりこのアーチファクトを除去する。本実施形態の画像処理方法はこの除去処理にかかるものであり、後に詳しく説明する。

視覚補正部１６０、圧縮部１７０、記録部１８０は第１の実施形態と同様である。

このような構成のカラー撮像装置２００における、画像処理による色滲み除去の動作のフローチャートを図１２に示す。

図１２に示すように、色滲み除去部２５０の処理は、空間演算ステップＳ２５１、推定ステップＳ２５３、過除去抑制ステップＳ２５４、除去ステップＳ２５５からなる。色滲み除去部２５０では、Ｒプレーン、Ｂプレーンを除去対象とし、基準プレーンとしてＹプレーンを用いる。

空間演算ステップＳ２５１では、Ｙプレーンの強度に対する非線形変換を行うことで各画素に対する飽和度Ｓを計算し、これに対するコンボリューション処理を行う。この非線形変換は飽和によって高輝度被写体の輝度が過小に表されているのを補正するものである。この変換の結果、図１３の様に、Ｙの強度は、Ｙの強度が飽和している領域近傍で急激に増加し、非飽和領域におけるＹ強度と飽和度の比例関係に比して大きい値を示す。図１３では、この最大値を４にしている。但し、以下ではこの飽和度の最大値を１となるよう正規化して説明する。これによって、図１４の点線のようなＹ強度プロファイルに対して、飽和度Ｓのプロファイルは図１４の実線のようになる。

なお、このような非線形変換の簡単な例としてはＹの強度が飽和している領域近傍（例えばＹ＞０.８）では１とし、非飽和領域（Ｙ＜０.８）では０とする２値にすることもできる。

この飽和度Ｓに対してコンボリューション処理を行い、ＳＲ、ＳＢを求める。これはＢ（青）、Ｒ（赤）バンドにおける滲み方ととも考えられるため、ここでは対応する２種類のコンボリューション処理を次式のように行う。

図１４に示した飽和度Ｓに対するコンボリューションカーネルｋＲおよびＳＲの例を図１５及び図１６に示す。

この際のコンボリューションカーネルｋＲ、ｋＢは結像光学系２１０における解像度の劣化を模したものであり、Ｒ、Ｂ各バンドにおける代表的な波長のＰＳＦ（点拡がり関数）を用いることができる。Ｂバンドにおける代表的な波長の有効な例としては夜景に多く含まれる水銀灯輝線（４０５ｎｍ）がある。ＰＳＦ及び結像光学系の特性はズーム位置、絞り値、フォーカス位置、レンズ交換といったレンズの状態や像位置よって変化するため、これらに従いコンボリューションカーネルを変化させるのが望ましい。

あるいは、後述の過除去抑制ステップＳ２５４の存在を考慮し、結像光学系の特性変化に対応できるよう、変化する複数のＰＳＦを包絡し過大な滲み量を推定するコンボリューションカーネルを設定しても良い。特に、像位置により異なるカーネルでのコンボリューション処理は計算負荷が大きいため、像面全体或いは像面内の一定領域内に対して、像方向によるＰＳＦの変化を包絡して軸対象なコンボリューションカーネルにすることは計算負荷の削減に有効である。また、像高による変化も包絡してシフトインバリアントなコンボリューションカーネルにするのも、計算負荷の削減に有効である。この際更にコンボリューションカーネルを指数関数型やガウス関数型とすることもできる。

また同様にＲ、Ｂ各バンド内の波長によって変化する複数のＰＳＦを包絡するコンボリューションカーネルを設定しても良い。特にこの際、Ｂハンドに対しては水銀灯輝線（４０５ｎｍ）を含めるのが有効である。

なお、これらのコンボリューションカーネルは中心からの距離に従い減少するようにするのが望ましい。

推定ステップＳ２５３では、色滲みとなっている余計なＵプレーン、Ｖプレーンの強度ＥＵ、ＥＶを推定する。ここではＥＢ、ＥＲを単純にＳＲ、ＳＢの定数倍とする。

ＥＵ＝０.４２４ｆＢ・ＳＢ
ＥＶ＝０.８７７ｆＲ・ＳＲ
このｆＢ、ｆＲは飽和部の本来の画像強度に相当し、１〜１０程度の値となるが、例えば４とおけば概ね良好な結果を得られる。

過除去抑制ステップＳ２５４では、上記の推定量ＥＵ、ＥＶを修正し、Ｕプレーン、Ｖプレーンにおいて実際に除去する量Ｅ’を決める。ここでは第１の実施形態と同様、色度座標に注目する。ＵＶ面の色度座標を図１７に示すと、青色はＵ＞０、赤色はＶ＞０となる。Ｕ、Ｖの強度からＥＵ、ＥＶを除去すると、点線矢印のように左下方向に移動する。この向きはＥＵ、ＥＶの比率で変化する。矢印の始点が除去前の色度であり、先端が推定量ＥＵ、ＥＶの除去後の色度である。このことから、Ｕ＞０、Ｖ＞０を色相制限範囲とし、まず、Ｕ≦０の画素に対してはＥＵ’＝０、Ｖ≦０の画素に対してはＥＶ’＝０とする。

更に、Ｕ＞０の画素に対しては、
ＥＵ’＝ｍｉｎ（ＥＵ，Ｕ）
Ｖ＞０の画素に対しては、
ＥＶ’＝ｍｉｎ（ＥＶ，Ｖ）
として除去ステップＳ２５５に渡す。このＥＵ’，ＥＶ’の除去に依る色度変化は図１６に実線矢印で記したように、各象限内に留まるようになる。更に第二象限ではＶのみが変化し、第４象限ではＵのみが変化し、第三象限では無変化となる。これはＲ、Ｂの変化で言うと、Ｒ、Ｂの強度が輝度Ｙを下回って減少することはなく、また、元々Ｙの下にあるＲ、Ｂは変化しないことを示す。

除去ステップＳ２５５では上記の除去量ＥＵ’、ＥＶ’をＵプレーン、Ｖプレーンの値から差し引き、新たなＵプレーン値、Ｖプレーン値を、
Ｕ＝Ｕ−ＥＵ’
Ｖ＝Ｖ−ＥＶ’
とする。

このようにＵプレーン、Ｖプレーンを修正したカラー画像を色滲み除去部２５０の出力として視覚補正部１６０に渡す。

本実施形態においては、ＹプレーンにＢプレーンやＲプレーンの滲みが混入するため、白く残る滲みの量はＧプレーンを基準プレーンとした場合に比べやや大きくなる。しかし、主な計算を高い精度が不要なＵプレーン、Ｖプレーンにおいて行うことで処理装置のコストを抑えることができる。また、本実施形態に用いる光学系では、Ｇバンド内でのみ高い解像度が要求され、Ｒバンド、Ｂバンド双方に対する色収差の制限を緩めることができる。

（第３の実施形態）
次に、本発明の第３の実施形態の画像処理方法を適用可能なカラー撮像装置３００の例を図１８に示す。なお、図１８では、図３と同じ機能部分には同じ符号を付している。

カラー撮像装置３００は結像光学系３１０、イメージセンサ１２０、Ａ／Ｄ変換部１３０、デモザイク部１４０、色滲み除去部３５０、視覚補正部１６０、圧縮部１７０、記録部１８０を有する。

本実施形態の結像光学系３１０は、被写体からの光線をイメージセンサ１２０上に結像させるが、Ｇ〜Ｂバンドの波長域において縦色収差が良好に補正され、Ｒバンドでは縦色収差が残存するものとする。

このような結像光学系３１０で結像され、イメージセンサ１２０、Ａ／Ｄ変換部１３０、デモザイク部１４０を経て生成されるカラー画像のＲ、Ｇ、Ｂプレーンにおいては、次のようなことが起こる。即ち、結像光学系３１０の色収差の影響によりＧプレーン、Ｂプレーンに比べてＲプレーンの解像度が劣り、３つのプレーンを合成したカラー画像においては明暗の境界部で赤がぼやけ、明部の周囲に赤い縁取りのようなアーチファクトが生じる。

色滲み除去部３５０では、画像処理によりカラー画像からこの赤色のアーチファクトを除去する。本実施形態の画像処理方法はこの除去処理にかかるものであり、後に詳しく説明する。

イメージセンサ１２０、Ａ／Ｄ変換部１３０、デモザイク部１４０、視覚補正部１６０、圧縮部１７０、記録部１８０は第１の実施形態と同様である。

このような構成のカラー撮像装置３００における、画像処理による色滲み除去の動作のフローチャートを図１９に示す。

図１９に示すように、色滲み除去部３５０の処理は、空間演算ステップＳ３５１、推定ステップＳ３５３、領域判定ステップＳ３５２、過除去抑制ステップＳ３５４、除去ステップＳ３５５からなる。

色滲み除去部３５０ではＲプレーンを除去対象とし、基準プレーンとしてＧプレーンを用いる。

空間演算ステップＳ３５１ではＲプレーン、Ｇプレーンに対する輝度傾斜マップＲlea、Ｇleaを、次のように計算する。

ここで、
Ｒ（ｘ＋１，ｙ）、Ｂ（ｘ＋１，ｙ）は、Ｒプレーン、Ｂプレーンにおける注目画素の右隣の画素値である。

Ｒ（ｘ−１，ｙ）、Ｂ（ｘ−１，ｙ）は、Ｒプレーン、Ｂプレーンにおける注目画素の左隣の画素値である。

Ｒ（ｘ，ｙ＋１）、Ｂ（ｘ，ｙ＋１）は、Ｒプレーン、Ｂプレーンにおける注目画素の下隣の画素値である。

Ｒ（ｘ，ｙ−１）、Ｂ（ｘ，ｙ−１）は、Ｒプレーン、Ｂプレーンにおける注目画素の上隣の画素値である。

推定ステップＳ３５３ではカラー画像の各画素に対して、色滲みとなっている余計なＲプレーンの強度を推定する。推定手法はＲが飽和しているかしていないかによって異なるが、双方の場合に備えてＳ３５３ａ，Ｓ３５３ｂにより２種類の推定量Ｅ１，Ｅ２を計算する。

図２０に、赤滲みの典型的な強度プロファイルを示す。

図２０において、横軸は画像上の断面であり、縦軸はＲプレーン及びＧプレーンの強度である。図２０では中心部に飽和輝度を超える高輝度被写体が存在する。そして本来明るくない光源周囲も、収差やフレアにより光源から滲んだ光によって、プロファイルの裾が指数関数的に拡がる。Ｇプレーンであっても滲みは全くないわけではなく、ある程度の拡がりが存在するが、それはＲプレーンに比べると小さい。また、イメージセンサは一定の飽和レベル以上の強度を測定することはできず、頭が切られてしまう。このようなプロファイルにおいて、Ｒの強度がＧの強度を上回ると赤滲みとなる。

これに鑑み、本実施形態においては、このＲの輝度プロファイルの傾きによってＲの滲み量を推定する。そこで、Ｓ３５３ａではＲの傾きＲleaの絶対値に係数ｋ１を乗じて第一の推定滲み量Ｅ１とする。

Ｅ１＝ｋ１|Ｒlea|
ここで、ｋ１は正値であり、３前後が好適である。

ただし、Ｒが飽和している領域Ａ１では輝度傾斜は０になってしまい飽和前の輝度傾斜が得られない。そこで、このような領域に対する推定滲み量Ｅ２をＳ３５３ｂにより算出する。このためＳ３５３ｂではＧの傾きＧleaによって推定滲み量Ｅ２を定める。例えば、次のようにする。

Ｅ２＝ｋ２|Ｇlea|
ここで、ｋ２は正値であり、３前後が好適である。

領域判定ステップＳ３５２では、まず、Ｒプレーンの強度に対する非線形変換を行い、飽和度Ｓを生成する。この非線形変換はＲが飽和しているかどうかを示すものであり、Ｒの強度が飽和している領域では１を、Ｒの強度が小さい領域では０となる。Ｓは０、１の２値でも良いが、図２１のように、０〜１にかけて連続的に変化する値としても良い。そしてこの飽和度ＳによってＳ３５３で算出したＥ１又はＥ２を選択する。すなわち、Ｓが０、１の２値であれば新たな推定量Ｅを、
Ｅ＝Ｅ１ （Ｓ＝０の場合）
Ｅ＝Ｅ２ （Ｓ＝１の場合）
とする。

また、Ｓが０〜１にかけて連続的に変化する値であれば、新たな推定量Ｅを、
Ｅ＝（１−Ｓ）Ｅ１＋ＳＥ２
とする。

過除去抑制ステップＳ３５４では、上記の推定量Ｅを修正し、Ｒプレーンにおいて実際に除去する量Ｅ’を決める。ここでは除去による色相Ｈの変化を一定角度δ以内にする。色相−彩度面は図２２に示すようになっており、Ｒ強度から推定量Ｅを除去すると、矢印点線のように下方に移動する。これに対し色相の変化を一定角度δ以内にするには、先ず除去前の色相
Ｈｏｒｉ＝Ｈ（Ｒ，Ｇ，Ｂ）
を求め、その前後一定角δの変化を与えるＲの除去量Ｅｒ，Ｅｌを計算する。

Ｈ（Ｒ−Ｅｒ，Ｇ，Ｂ）＝Ｈｏｒｉ−δ
Ｈ（Ｒ−Ｅｌ，Ｇ，Ｂ）＝Ｈｏｒｉ＋δ
δとしては１０〜４５度程度にするのが好適である
これらのＥｒ，Ｅｌと領域判定ステップＳ３５３から除去量Ｅ’を、
Ｅ’＝ｍｉｎ（Ｅ，ｍａｘ（Ｅｒ，Ｅｌ，０））
とし、除去ステップＳ３５５に渡す。

図２２においてはＥ’＝Ｅｒとなる。

除去ステップＳ３５５では上記の除去量Ｅ’をＲプレーンの強度から差し引き新たなＲプレーン強度
Ｒ＝Ｒ−Ｅ’
とする。

このようにＲプレーンを修正したカラー画像を色滲み除去部３５０の出力として視覚補正部１６０に渡す。

本実施形態では色滲み除去において、除去対象画素に対し上下左右隣接画素のみを参照している。このため巨大なフレームメモリを必要とせず、２ライン分のバッファメモリさえあればラスタ走査によって画像全体を処理することができる。このため高速でコンパクトな回路として画像処理装置を実装することが可能となる。

以上説明したように、本実施形態によれば画像処理によって効果的に色滲みを除去することができる。

なお、全く滲みが無くなると、飽和輝度を超えた高輝度被写体の明るさや色が識別不能となってしまう。このため、上記の実施形態では、基準プレーンを設定することで、滲みが大きく発生している色プレーンを基準プレーンと同等にまで減少させることを主眼とし、それ以上に滲みを減少させることは目的としていない。このため色滲み除去処理後の画像であっても、若干の滲みは残し、高輝度被写体の明るさや色を識別することができる。

また上記の実施形態の画像処理を前提とすることで、カラー撮像装置の結像光学系は少なくとも一つの色バンドについて収差が除去されていれば良く、結像光学系に求められるその他の収差補正や小型化・低コスト化をより高い水準で実現可能となる。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

横色収差の発生原理を示す図である。 縦色収差の発生原理を示す図である。 第１の実施形態の画像処理方法を適用可能なカラー撮像装置の構成を示す図である。 原色カラーフィルタの分光透過率を示す図である。 原色カラーフィルタにおける色要素の並びを示す図である。 明暗の境界部における青色の滲みを示す図である。 第１の実施形態のカラー撮像装置における、画像処理による色滲み除去の動作を示すフローチャートである。 高輝度な被写体に対するＢプレーン及びＧプレーンの典型的なプロファイルを示す図である。 飽和画素から周囲の各画素までの距離を示す図である。 周囲の画素から飽和画素までの距離を示す図である。 色度座標を示す図である。 第２の実施形態の画像処理方法を適用可能なカラー撮像装置の構成を示す図である。 第２の実施形態のカラー撮像装置における、画像処理による色滲み除去の動作を示すフローチャートである。 非線形変換の特性を示す図である。 飽和度プロファイルを示す図である。 コンボリューションカーネルを示す図である。 コンボリューション結果を示す図である。 ＵＶ面の色度座標を示す図である。 第３の実施形態の画像処理方法を適用可能なカラー撮像装置の構成を示す図である。 第３の実施形態のカラー撮像装置における、画像処理による色滲み除去の動作を示すフローチャートである。 赤滲みの典型的な強度プロファイルを示す図である。 非線形変換の特性を示す図である。 過除去抑制の原理を示す図である。

符号の説明

１００ カラー撮像装置
１１０ 結像光学系
１２０ イメージセンサ
１３０ Ａ／Ｄ変換部
１４０ デモザイク部
１５０ 色滲み除去部
１６０ 視覚補正部
１７０ 圧縮部
１８０ 記録部

Claims (28)

1. 被写体像を光電変換して生成された複数の色プレーンからなるカラー画像に基づいて、前記カラー画像における領域毎の色の滲みの強度を推定する推定手段と、
   前記推定手段により推定された色の滲みの強度の推定値を前記カラー画像から差し引く除去手段と、
   を具備することを特徴とする画像処理装置。
2. 前記推定手段は、複数の色プレーンの信号強度の差分に応じて、前記カラー画像における領域毎の色の滲みの強度を推定することを特徴とする請求項１に記載の画像処理装置。
3. 前記推定手段は、前記除去手段で色の滲みの除去対象とする色プレーン以外の色プレーンを基準プレーンとし、前記除去対象とする色プレーンの信号強度と前記基準プレーンの信号強度の差分に応じて、前記カラー画像における領域毎の色の滲みの強度を推定することを特徴とする請求項２に記載の画像処理装置。
4. 前記除去手段は、前記カラー画像の撮影時に用いられた結像光学系における色収差が残存する波長域の色プレーンを色の滲みの除去対象とすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記複数の色プレーンは、赤色プレーン、緑色プレーン、青色プレーンを備え、前記除去手段が色の滲みの除去対象とする色プレーンは、赤色プレーン、青色プレーンの内の少なくとも１つであることを特徴とする請求項４に記載の画像処理装置。
6. 前記除去手段は、前記カラー画像の撮影時に輝度プレーンの信号強度と色差プレーンの信号強度の差分に応じて、前記カラー画像における領域毎の色の滲みの強度を推定することを特徴とする請求項１に記載の画像処理装置。
7. 前記除去手段は、前記カラー画像の撮影時に用いられた結像光学系における色収差が残存する波長域の色味を示す色差プレーンを色の滲みの除去対象とすることを特徴とする請求項１に記載の画像処理装置。
8. 前記推定手段は、前記除去対象とする色プレーンが飽和している領域においては、前記基準プレーンが前記飽和している領域から離れるに従い色の滲みの強度を増加する値を出力することを特徴する請求項３に記載の画像処理装置。
9. 前記推定手段は、前記除去手段で色の滲みの除去対象とする色プレーンが飽和していない領域においては、前記除去対象とする色プレーンが飽和している領域から離れるに従い色の滲みの強度を減少する値を出力することを特徴する請求項３に記載の画像処理装置。
10. 被写体像の像高によって、前記色の滲みの強度を変化させる比率が変化することを特徴とする請求項８または９に記載の画像処理装置。
11. 被写体象を結像させる結像光学系の状態によって、前記色の滲みの強度を変化させる比率が変化することを特徴とする請求項８または９に記載の画像処理装置。
12. 前記推定手段は、前記除去対象とする色プレーンと前記基準プレーンの飽和半径の差が大きくなるに従い、前記色の滲みの強度を増加する値を出力することを特徴とする請求項３に記載の画像処理装置。
13. 被写体像を光電変換する撮像素子における電荷が飽和した領域である飽和領域から色の滲みの除去対象とする領域までの距離を算出する空間演算手段を備え、前記推定手段は、算出された前記距離を用いて前記カラー画像における領域毎の色の滲みの強度を推定することを特徴とする請求項１に記載の画像処理装置。
14. 前記空間演算手段は、前記除去手段で色の滲みの除去対象とする色プレーン以外の色プレーンを基準プレーンとし、前記基準プレーンの飽和領域からの距離を算出することを特徴とする請求項１３に記載の画像処理装置。
15. 前記空間演算手段は、前記除去対象とする色プレーンの飽和領域からの距離を算出することを特徴とする請求項１３または１４に記載の画像処理装置。
16. 前記除去手段で色の滲みの除去対象とする色プレーン以外の色プレーンを基準プレーンとし、該基準プレーンの信号強度に対する非線形変換を行う空間演算手段を備え、前記推定手段は、前記空間演算手段による非線形変換結果を用いて前記カラー画像における領域毎の色の滲みの強度を推定することを特徴とする請求項１に記載の画像処理装置。
17. 前記非線形変換は、前記基準プレーンの強度が飽和しているか否かの２値への変換であることを特徴とする請求項１６に記載の画像処理装置。
18. 前記空間演算手段では、前記非線形変換を受けた値に対しコンボリューション処理を行うことを特徴とする請求項１６に記載の画像処理装置。
19. 前記コンボリューション処理のカーネルは、像位置あるいは撮影時の結像光学系の状態によって変化する複数の結像光学系の点拡がり関数を包絡することを特徴とする請求項１８に記載の画像処理装置。
20. 前記カーネルは前記基準プレーンの強度が飽和している領域の中心からの距離に従い減少することを特徴とする請求項１９に記載の画像処理理装置。
21. 前記カーネルは被写体象を結像させる結像光学系の状態によって変化することを特徴とする請求項１９に記載の画像処理装置。
22. 前記除去手段で色の滲みの除去対象とする色プレーン以外の色プレーンを基準プレーンとし、色プレーンにおける信号強度の傾斜を算出する空間演算手段を備え、前記推定手段は、少なくとも前記除去対象とする色プレーンの信号強度の傾斜と前記基準プレーンの信号強度の傾斜のいずれかを用いて前記カラー画像における領域毎の色の滲みの強度を推定することを特徴とする請求項１に記載の画像処理装置。
23. 前記カラー画像内の領域の種別を判定する領域判定手段をさらに具備し、前記推定手段は前記領域判定手段によって判定結果によって、前記除去対象とする色プレーンと前記基準プレーンの信号強度の傾斜のいずれかを選択することを特徴とする請求項２２に記載の画像処理装置。
24. 前記領域判定手段は、前記除去手段で色の滲みの除去対象とする色プレーンが飽和しているか否かを判定することを特徴とする請求項１に記載の画像処理装置。
25. 被写体像を光電変換して生成された複数の色プレーンからなるカラー画像に基づいて、前記カラー画像における色の滲みの強度を推定する推定工程と、
    前記推定工程において推定された色の滲みの強度の推定値を前記カラー画像から差し引く除去工程と、
    を具備することを特徴とする画像処理方法。
26. 請求項２５に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
27. 請求項２６に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
28. 被写体像を光電変換する撮像手段と、
    請求項１乃至２４のいずれか１項に記載の画像処理装置と、
    を具備することを特徴とする撮像装置。

Images