JP4541679B2 - カラー・ディジタル画像からカラー・アリアジング・アーティファクトを除去する際の計算時間を短縮する方法 - Google Patents

Description

本発明は、カラー・ディジタル画像におけるアリアジング・アーティファクト（ａｌｉａｓｉｎｇ ａｒｔｉｆａｃｔ）を低減する方法に関する。

カラー・ディジタル・カメラ画像に見受けられるノイズの１種類は、例えば衣類のツイード・パターンなどの高い空間周波数領域における低周波で高度に色付けされたパターンとして現れる。カラー・モアレ・パターン又は単にカラー・モアレと呼ばれるこれらパターンは、その他の点で空間的に混んでいる領域において、広範囲にゆっくりと変化する色の付いた波打ったパターンを生成する。カラー・モアレ・パターンは、クロミナンス・アリアジング・パターン又は単にクロミナンス・アリアジングとも呼ばれる。

従来、ディジタル画像におけるカラー・モアレ・パターンを低減する方法は多く存在する。中でも、最初にカラー・モアレを誘発するアリアジングを回避し、ディジタル・カメラにおいて光学ブラー・フィルタを用いてカラー・モアレ・パターンを低減する方法について記載した特許文献も数多く存在する。しかし、これらブラー・フィルタも、後続の画像処理方法では復元不可能となり得る真の空間的ディテールを画像においてぼかす。

クロミナンス・ノイズ・アーティファクトを低減又は除去するディジタル画像処理方法に具体的に取り組んだアプローチもある。ディジタル・カメラ特許の１つのクラスは、高周波クロミナンス・ノイズ・アーティファクトを低減又は除去するカラー・フィルタ・アレイ（ＣＦＡ）補間演算に対する改善について開示している。特許の別のクラスは、クロミナンス・ノイズ・アーティファクトを低減又は除去するために、異なるピクセル形状（すなわち、正方形の代わりに長方形）を付随するＣＦＡ補間演算と共に用いることを教示している。しかしながら、これら技術は、高周波クロミナンス・ノイズを解決するものであり、低周波カラー・モアレに対しては概して効果がない。

ディジタル画像をクロミナンス・ノイズ・アーティファクトと共に取り、該画像をＣＩＥＬＡＢ（ＣＩＥ国際規格）などのルミナンス−クロミナンス空間に変換し、クロミナンス・チャネルをぼかし、そして該画像を元のカラー空間へ再度戻す、という良く知られた技術が周知である。この演算は、クロミナンス・ノイズと闘うのに用いられる標準的な技術である。このアプローチの障害の１つは、クロミナンス・ノイズ・アーティファクトと真のクロミナンス情景ディテールとが、ぼかし工程中、差別されないことである。結果として、画像におけるシャープなカラー・エッジは、ぼかしがよりアグレッシブになると色のブリード（ｂｌｅｅｄ）を開始する。通常、カラー・ブリードは、低周波カラー・モアレのほとんどが画像から除去される前に許容できないものとなる。また、その画像に対してその後どんな画像処理が実行されようとも、カラー・ブリードの視認性を増幅させる可能性がある。このアプローチの別の障害は、小さい固定したブラー・カーネルは、カラー・ブリードの問題を含もうとする試みをほとんど必要とすることである。しかしながら、低周波カラー・モアレを解決するためには、所望のノイズ・クリーニングを実現するためには大きいブラー・カーネルが必要となる。

Ａｄａｍｓら（ＥＰ１２０２２２０Ａ２）は、適応的で、エッジに反応するブラー・カーネルを用い、カラー・ブリードを最小限に抑えつつ、低周波のカラー・モアレを低減するカラー・アーティファクト低減方法について開示している。この方法は、上述の懸念のほとんどを解決するが、計算集約的であり、今日市販されているほとんどのディジタル・カメラにおいて現在利用可能なものよりを多くの計算リソースを必要とする。

本発明の目的は、カラー・ディジタル画像におけるアリアジング・アーティファクトを最小限に抑える、効果的な計算時間低減方法を提供することである。

別の目的は、カラー・ブリードを回避し、制限された計算環境において実行されるのに十分な計算上のシンプルさを有しつつ、低周波カラー・モアレ・パターンに効果的な、カラー・ディジタル画像におけるカラー・アリアジング・アーティファクトを低減することである。

この目的は、カラー・ピクセルを有するカラー・ディジタル画像からカラー・アリアジング・アーティファクトを削減する方法であって、
（ａ） 前記カラー・ディジタル画像からルミナンス信号及びクロミナンス信号を用意する工程と、
（ｂ） 前記ルミナンス信号及び前記クロミナンス信号をダウンサンプリングする工程と、
（ｃ） 前記ダウンサンプリングされたルミナンス信号及びクロミナンス信号を用いて、前記画像を境界線を有するテクスチャ領域及び非テクスチャ領域に分離する工程と、
（ｄ） 前記テクスチャ領域の境界線及び前記ダウンサンプリングされたクロミナンス信号に応じて、該テクスチャ領域における前記ダウンサンプリングされたクロミナンス信号をクリーニングする工程と、
（ｅ） 前記ダウンサンプリングされたクロミナンス信号に応じて、前記非テクスチャ領域における前記ダウンサンプリングされたクロミナンス信号をクリーニングする工程と、
（ｆ） 前記ダウンサンプリングされ、ノイズがクリーニングされたクロミナンス信号をアップサンプリングする工程と、
（ｇ） 前記ルミナンス信号及び前記アップサンプリングされたノイズがクリーニングされたクロミナンス信号を用いて、カラー・アリアジング・アーティファクトが低減されたカラー・ディジタル画像を提供する工程と、を有する方法により達成される。

本発明の利点は、アリアジング・アーティファクトを低減するだけでなく、ノイズがクリーニングされた信号を生成し、掲載時間を大幅に削減するルミナンス及びクロミナンス信号が用いられることである。

他の利点は、以下の通りである。

広範囲の周辺に効果的な高度にアグレッシブなノイズ・クリーニングを、画像の大部分をコンピュータ・メモリに常駐させることなく、実行することができる。

画像のエッジ・ディテールが処理中にも保護・保存される。

本発明は、画像の当初のカラー空間表現と問わない。すなわち、画像を定義するのに用いられるＲＧＢ、ＣＭＹ、ＣＭＹＧ、又は他のカラー空間上でも等しく良好に機能する。

本発明によれば、カラー・ピクセルを有するカラー・ディジタル画像からカラー・アリアジング・アーティファクトを削減することができる。

図１は、本発明の手順全体を示すブロック図である。本方法は、フルカラー画像（ブロック１０）から始まる。この画像は、標準的な赤、緑、青（ＲＧＢ）カラーで表現されているものとする。この画像は、ＲＧＢ空間からＵ空間に変換される（ブロック１２）。ここで用いられるＵ空間は式（１）及び（２）によって定義される。式（１）は、ＲＧＢデータのＵ空間データへの変換であり、式（２）は、Ｕ空間データのＲＧＢデータへの変換である。式（１）及び（２）において、Ｙはルミナンス、Ｃ_１は第一のクロミナンス・チャネル、Ｃ_２は第二のクロミナンス・チャネル、をそれぞれ表す。

Ｕ空間画像に対する最初の演算は、画像のルミナンス・チャネル及びクロミナンス・チャネルをダウンサンプリングすることである（ブロック１４）。「ダウンサンプリング」という用語は、ピクセル数を減らすために、現在用いられているよりもまばらなグリッドで再サンプリングすることを指す。このダウンサンプリングは、倍率１／３で行われる。実際のサブサンプリングの前に、画像平面は式（３）で与えられる標準的な３×３カーネルでぼかされる（アンチアリアジング・フィルタを用いて畳み込まれる）。

ここでｋ＝４である。好ましい実施例は、１次元カーネルを用いた標準的なツー・パス計算である。次いで、このデータは３ピクセルごとにサブサンプリングされるため、３ピクセルにつき１ピクセルだけをぼかせばよい（これは行及び列の双方に当てはまる）。元の解像度のルミナンス・チャネルの複製は、後続の使用が可能である。

Ｕ空間画像が一旦ダウンサンプリングされると、次の演算でテクスチャ画像を生成する（ブロック１６）。テクスチャ画像は、「ランダム」又は擬似ランダム高周波成分を有する画像として定義される。標準的なシグマ・フィルタ法の変形を用いて、テクスチャ画像が生成される。図２参照。一画像の各（中央）ピクセルに対して（ブロック４４）、加算レジスタ及びカウンタ・レジスタが初期化される（ブロック３２）。各隣接ピクセル（ブロック３４）は、隣接ピクセル値と中央ピクセル値との間の差を形成する（ブロック３６）によって、１つずつ検査される。比較ブロック３８においてこの差の絶対値が所定の閾値以下であれば、サインされた差の値が累積された合計値に加算され、対応するカウンタがインクリメントされる（ブロック４０）。このスキームにおいて、中央ピクセル値の寄与は常にゼロであることに注意。ただし、中央ピクセルも隣接ピクセルとしてカウントする必要がある。したがって、カウンタはゼロではなく１に初期化される。

隣接ピクセルが一旦処理されると、中央ピクセルに対するテクスチャ値が合計値をカウンタで除算した絶対値となる（ブロック４２）。各カラー・チャネル（Ｙ、Ｃ_１、及びＣ_２）は別々に処理され、テクスチャ画像の対応するチャネルが生成される。テクスチャ画像フィルタは、３×３の正方形のサポート領域と固定閾値とを用いる。８ビットのＲＧＢ画像に対して、３チャネルすべてに対して４０という閾値が良好に機能することが分かっている。

図３を参照する。テクスチャ画像の３色のチャネル（ブロック４４）は、ブロック４６において加算され、単チャネルのテクスチャ画像が生成される（ブロック４８）。

テクスチャ画像が一旦生成されると、テクスチャ画像を２つの別個の閾値で閾値判定して、テクスチャ・マップ群を生成する（ブロック１８）。図８参照。８ビットのＲＧＢ画像に対して、２０及び４０という閾値が良好に機能することが分かっている。したがって、２０以上のすべてのテクスチャ画像値に対して、閾値小に対するテクスチャ・マップ値は１にセットされる（ブロック８４）。そうでなければ、閾値小に対するテクスチャ・マップ値はゼロにセットされる。閾値として４０を用いた同じプロセスを用いて、閾値大に対するマップを生成する（ブロック８６）。こうして、バイナリ・テクスチャ・マップ群が得られる。閾値小に対するテクスチャ・マップが存在する場所は、テクスチャ潜在領域を表す。閾値大に対するテクスチャ・マップが存在する場所は、画像における他の領域を表す。この他の領域は、カラー・モアレ・パターンを含む可能性が高くない、高い空間周波数活動の領域である。

引き続き図８を参照する。次に、閾値大に対するテクスチャ・マップ（ブロック８８）はクリーニングされ、好ましくないカラー・モアレ・アーティファクトを含まない可能性が高い画像中の高い空間周波数領域のより正確なマップが生成される。標準的なバイナリ形態的処理演算が用いられる。ブロック９０において、閾値大に対するテクスチャ・マップ内の孤立点を除去するために、正方形の３×３のサポート領域を用いてエロード（ｅｒｏｄｅ）演算が実行される。次いで、ブロック９２において、閾値大に対するテクスチャ・マップ内のギャップを狭めて、クリーンな閾値大に対するテクスチャ・マップを生成するために、正方形の５×５のサポート領域を用いて拡張（ｄｉｌａｔｅ）演算が実行される（ブロック９４）。ブロック９０及び９２は、一体として、非対称なオープン演算として考えることもできる。非対称性は、本発明の性能に信頼性を加えるのに用いられる。

図１に戻る。ブロック１８において生成された２つの中間テクスチャ・マップは、ブロック１９において合成され、新しい複合テクスチャ・マップが生成される。マップを合成する方法は、シンプルな論理テストを実行することであり、あるピクセル場所に対して、閾値大に対するテクスチャ・マップがゼロで、閾値小に対するテクスチャ・マップが１の場合、新しい複合テクスチャ・マップは１にセットされる。そうでなければ、新しい複合テクスチャ・マップはゼロにセットされる。

新しい複合テクスチャ・マップの外観検査により、画像中のテクスチャ領域に加えて、間違ったテクスチャ検出のより小さい孤立したクラスタも存在することがわかる。これらは、基本統計において、タイプＩエラーとして記載される。加えて、テクスチャ領域には小さいギャップ（ゼロ）が存在する。これらは、統計上、タイプＩＩエラーである。これらエラーのほとんどを除去するために、シンプルな形態的演算群が実行される（ブロック２０）。図４参照。

まず、５×５の拡張演算がテクスチャ・マップ（ブロック５０）に対して実行される（ブロック５２）。これは、元のピクセル・データ解像度におけるまばらな１３×１３演算と等価であると考えることができる。テクスチャ・マップがバイナリであるため、各ピクセル場所において必要とされるのは、サポート領域におけるすべてのマップ値を合計することだけである。合計値がゼロより大きい場合、中央マップ値を１にセットする。拡張後、ブロック５２の結果に対して再度７×７のエロード演算（ブロック５４）が実行される。これは、元のピクセル・データ解像度におけるまばらな１９×１９サポート領域上での演算と等価である。テクスチャ・マップはバイナリであるため、必要なのは、所定のサポート領域内のマップ値のすべてを合計することだけである。合計値が４９（＝７^２）未満であれば、中央ピクセルをゼロにセットする。この結果は、クリーニングされたテクスチャ・マップである（ブロック５６）。今の例では、テクスチャ・マップで１にセットされた値をもつピクセルはテクスチャ領域と考えられる。テクスチャ・マップで０にセットされた値をもつピクセルは非テクスチャ領域と考えられる。

これで画像ピクセル・データをクリーニングする準備が整う。これは、テクスチャ・マップによって修正されたサブサンプリングされたクロミナンス・データをばかすことによって最初に行われる（図１のブロック２２）。図５参照。ピクセルのテクスチャ・マップ値がゼロの場合（ブロック５８）、ピクセルのクロミナンス値は変更されない（ブロック６０）。テクスチャ・マップ値が１のピクセルに対する第一の工程は、サポート領域内のテクスチャ・マップ値を合計することである（ブロック６２）。ブロック６２において、サポート領域は一般的なｎ×ｎ領域のまま変わらない。画像処理アーティファクトの観点から、ｎを３以上の任意の奇数にセットすることができる。ｎの値が大きくなるにつれ、ノイズ・クリーニングが多く発生する。テクスチャ・マップを使用しているために、大きいサポート領域を使うほど画像処理アーティファクトが生じるという不利益は生じない。当然、大きいサポート領域を使うほど実行時間は掛かる。本発明の好ましい実施形態において、ｎの値が３、５、及び７であると、大幅な実行時間が掛からずに成功することが確認された。ｎの値として７を一旦用いると、残ったカラー・モアレ・パターンを除去するために残すことは困難であった。ｎ＝７は、元のピクセル・データ解像度における１９×１９のまばらなサポート領域に相当する。サポート領域境界線内のすべてのピクセルを用いる必要はない。（非適応）クモ形サポート領域は、より少ない計算を必要としつつ、ノイズ・クリーニング・ポテンシャルのほぼすべてを実現する。

図６は、ｎ＝７のクモ形サポート領域である。ｎは５又は３に下げることができ、ノイズ・クリーニング能力も伴って低減する。ｎの値を決定すると、クモ形の周辺内の対応するピクセル数は４ｎ−３となる。図５に戻る。サポート領域におけるテクスチャ・マップとクロミナンス値との積も合計される（ブロック６４）。この工程において、各クロミナンス・チャネルについて別個の合計（Ｓ_Ｃ１及びＳ_Ｃ２）が実行される。サポート領域内のテクスチャ・マップ値の合計（Ｓ_Ｔ）が４ｎ−３の場合（ブロック６６）、各クロミナンス・チャネルに対して、対応する４ｎ−３個のクロミナンス値を平均化して、クリーニングされたクロミナンス値を生成する（ブロック７０）。Ｓ_Ｔが４ｎ−３未満の場合、クロミナンス平均化演算が追加的工程を１つ持つ。まず、対応するテクスチャ・マップ値が１であるクロミナンス値のすべてを合計する（ブロック６８）。ブロック６８内で、この合計は中央クロミナンス値と量（４ｎ−３−Ｓ_Ｔ）の積に加えられる。これにより、４ｎ−３個のクロミナンス値の最終的な合計が得られる。ここでこの合計を４ｎ−３で除算すると、クリーニングされたクロミナンス値が得られる（ブロック７０）。この追加的な処理工程により、テクスチャ領域境界線における画像処理アーティファクトが低減される。ここで、テクスチャ領域の境界線とは、テクスチャ領域の内側と外側の間の境界線を意味する。

この実行されたノイズ・クリーニングは、テクスチャ領域のピクセルにのみ影響を与える。画像の非テクスチャ領域もクリーニングするためには、シグマ・フィルタ・ブロック２４（図１参照）において、クロミナンス・チャネルのシンプルなシグマ・フィルタリングを実行すればよい。シンプルな３×３のサポート領域を用いたクロミナンス・チャネルのシグマ・フィルタリングは、非常に少ない実行時間で又はピクセル・アーティファクトをあまり発生させずに、適正なノイズ低減を提供する。

図７は、このクロミナンス・クリーニング・ステージのフローチャートである。中央ピクセルを囲む各ピクセルに対して、２つの加算レジスタとカウンタ・レジスタとが、レジスタ初期化ブロック７４において、最初に初期化される。各隣接ピクセルと中央ピクセルとの間のクロミナンスの差の絶対値が、差ブロック７６で計算される。両クロミナンス・チャネル値は、そのピクセルが比較ブロック７８におけるクリーニング計算に含まれるためには、閾値内でなければならない。この条件が満たされれば、加算及びカウンタ・レジスタはレジスタ更新ブロック８０において適切に更新される。すべての周辺ピクセルについて一旦処理されると、ブロック８２において、中央ピクセルのクロミナンス値が閾値比較テストを通貨した周辺ピクセルのクロミナンス値の平均値と置き換えられる。ノイズの多い画像に対して、閾値は１０で十分である。ここで明らかにしておくが、クロミナンス信号のカラー・ピクセルは、平均カラー・ピクセルがノイズ・クリーニングを受けるピクセルのクロミナンス値に対応したクロミナンス値を有するように選択・修正される。

アップサンプリング・ブロック２６は、クリーニングされたクロミナンス値を３倍にアップサンプリングして元のピクセル解像度に戻す（図１参照）。「アップサンプリング」という用語は、ピクセル数を増やすために、現在用いられているよりも細かいグリッドで再サンプリングすることを指す。これは、シンプルな双一次補間を用いて行われる。ダウンサンプリングの前にぼかし演算を行う場合、双一次補間は一次元線形補間のツー・パス演算として行うことができる。この補間カーネルは式（４）で与えられる。

補間されたピクセル場所は括弧でマークされている。補間カーネルは、必要に応じて、水平又は垂直軸回りに標準的な方法で反映される。ルミナンス・チャネルはブロック２６においてアップサンプリングされないことに注意。

図１において、最終工程は、式（２）を用いて、画像を変換してＵ空間からＲＧＢ空間へ戻すことである（ブロック２８）。この演算のために、ブロック１２によって生成された元の解像度のルミナンス・チャネルの複製が、ブロック２６によって生成されたアップサンプリングされたクロミナンス・チャネルと共に、用いられる。これにより、カラー・アリアジング・アーティファクトが低減された画像が得られる（ブロック３０）。

コンピュータ・プログラム製品は、例えば、磁気ディスク（例えば、フロッピー（登録商標）ディスク）や磁気テープなどの磁気記録媒体、光ディスクや光テープや機械可読バーコードなどの光学記録媒体、ランダム・アクセス・メモリ（ＲＡＭ）やリード・オンリ・メモリ（ＲＯＭ）などの半導体電子記録装置、又は、他の任意の物理的装置若しくは媒体、などの本発明に係る方法を実行する１以上のコンピュータを制御する命令を有するコンピュータ・プログラムを記憶するのに用いられる１以上の記録媒体を含み得る。

本発明を実現するブロック図である。 中間テクスチャ画像の個々のチャネルの生成を示す図３のブロック１４についてのフロー図である。 最終的な単チャネルのテクスチャ画像の生成を示す図１のブロック１６についてのフロー図である。 テクスチャ・マップ・クリーニング・プロセスを示す図１のブロック２０のより詳細なブロック図である。 画像のテクスチャ部分のクロミナンス値クリーニングを示す図１のブロック２２についてのフロー図である。 ７×７クモ形ピクセル・ネイバーフッドの図である。 画像の非テクスチャ部分のクロミナンス値クリーニングを示す図１のブロック２４のフロー図である。 中間テクスチャ・マップの生成を示す図１のブロック１８のフロー図である。

Claims (2)

1. カラー・ピクセルを有するカラー・ディジタル画像からカラー・アリアジング・アーティファクトを削減する方法であって、
   （ａ） 前記カラー・ディジタル画像からルミナンス信号及びクロミナンス信号を用意する工程と、
   （ｂ） 前記ルミナンス信号及び前記クロミナンス信号をダウンサンプリングする工程と、
   （ｃ） 前記ダウンサンプリングされたルミナンス信号及びクロミナンス信号を用いて、前記画像を境界線を有するテクスチャ領域及び非テクスチャ領域に分離する工程と、
   （ｄ） 前記テクスチャ領域における前記ダウンサンプリングされたクロミナンス信号をクリーニングすることを、該テクスチャ領域におけるクリーニングされる各カラー・ピクセルに、該カラー・ピクセルの近傍におけるクロミナンス値の平均を割り当てることによって行う工程であって、前記近傍内にありかつ前記テクスチャ領域の境界線の外側のピクセルについてはそのピクセルのクロミナンス値は前記平均において使用されない工程と、
   （ｅ） 前記ダウンサンプリングされたクロミナンス信号に応じて、前記非テクスチャ領域における前記ダウンサンプリングされたクロミナンス信号をクリーニングする工程と、
   （ｆ） 前記ダウンサンプリングされ、ノイズがクリーニングされたクロミナンス信号をアップサンプリングする工程と、
   （ｇ） 前記ルミナンス信号及び前記アップサンプリングされたノイズがクリーニングされたクロミナンス信号を用いて、カラー・アリアジング・アーティファクトが低減されたカラー・ディジタル画像を提供する工程と、を有することを特徴とする方法。
2. 処理されたカラー・ディジタル画像からのカラー・アリアジング・アーティファクトを最小限に抑える、カラー・ディジタル画像の画像処理方法であって、
   （ａ） 入力されたカラー・ディジタル画像を画像処理して、該入力されたカラー・ディジタル画像に対して修正された新しいカラー・ディジタル画像を生成する工程と、
   （ｂ） 前記カラー・ディジタル画像をルミナンス成分とクロミナンス成分とを有するカラー空間に変換する工程と、
   （ｃ） 前記カラー・ディジタル画像のカラー・ピクセルの数を減らして、少なくとも１つのより低解像度のカラー・ディジタル画像を生成する工程と、
   （ｄ） 関心あるカラー・ピクセルの周辺のクロミナンス値を平均化することによって、前記より低い解像度のカラー・ディジタル画像の前記クロミナンス成分中のアリアジング・アーティファクトを低減する工程と、
   （ｅ） 前記アリアジングが低減されたクロミナンス信号を、より高い解像度へ補間する工程と、
   （ｆ） 元のルミナンス信号と前記補間されたクロミナンス信号とを用いて、処理されたディジタル画像が低減されたカラー・アリアジング・アーティファクトを有するように前記入力されたカラー・ディジタル画像又は前記新しいカラー・ディジタル画像のいずれかであるカラー・ディジタル画像を生成する工程と、を有し、
   前記関心あるカラー・ピクセルの前記周辺内の隣接ピクセルの平均化すべきクロミナンス値は、前記隣接ピクセルのそれぞれのテクスチャ度合に関連して適応される、ことを特徴とする方法。
   

Images