JP2009005232A - 画像処理装置、画像処理方法、プログラムおよび撮像装置 - Google Patents

Abstract

【課題】色モザイク画像から変形処理の施されたカラー画像を生成する際に、より少ない処理負荷で、画質劣化の少ないカラー画像を生成できるようにする。
【解決手段】カラー画像の画素位置から、変形処理が施された場合のカラー画像の画素位置に対応する色モザイク画像上の対応するサンプリング座標を算出する座標変換部１４２と、色モザイク画像を分解した複数の色プレーン毎にサンプリング座標における画素値を補間生成するサンプリング部１４３と、各色プレーンの補間値を合成することによりカラー画像を生成する色生成部１４４とを備え、変形処理の施されたカラー画像の各画素値を、サンプリング座標の画素値として色モザイク画像から補間演算により求めることにより、色モザイク画像からカラー画像を生成する色補間処理と当該カラー画像の変形処理とを一度の補間演算によって実現することができるようにする。
【選択図】 図３

Description

本発明は画像処理装置、画像処理方法、プログラムおよび撮像装置に関し、特に、単板式のカラー撮像素子を用いて得られた色モザイク画像から、全画素に複数色の輝度情報を補間してカラー画像を生成するデモザイク処理を実行する画像処理装置、画像処理方法、プログラムおよび撮像装置に関する。

近年、消費者へのデジタルカメラの普及が着実に進んでいる。その理由の１つに、デジタルカメラのコストが下がり続け、価格が多くの消費者の手に十分届く範囲になってきていることが挙げられる。コストを抑えるために、多くのデジタルカメラでは、いわゆる単板式の撮像素子を採用している。単板式のデジタルカメラでは、カラー画像内の各画素の色情報を取り込むために、１つの撮像素子のみを使用している。

単板式の撮像素子では、各画素が単色の色情報しか持たない。ところが、カラー画像は、３つの別々の単色画像を組み合わせることにより表される。すなわち、カラー画像を表示するためには、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の値すべてが各画素で必要である。このため単板式のデジタルカメラは、各画素がＲ，Ｇ，Ｂ成分のうちの何れかのみを有する色モザイク画像をもとにして、いわゆるデモザイク処理（色補間処理とも言う）を行っている（例えば、特許文献１，２参照）。デモザイク処理は、色モザイク画像の各画素の単色情報に対してその周辺画素から集めた他の足りない色の輝度情報を用いて補間演算を行うことにより、各画素がそれぞれＲ，Ｇ，Ｂ成分の全てを有するカラー画像を生成する処理である。
特表２００４−５３４４２９号公報 特開２０００−２７０２９４号公報

さらに、以上のようにして色モザイク画像から生成したカラー画像を変形処理することがある。例えば、デジタルズーム処理によりカラー画像を拡大または縮小したり、手ブレ補正処理によりカラー画像を回転したりすることがある。また、デジタルカメラ用のズームレンズでは、その構成上、広角端で樽型の歪曲収差を持つことが多い。樽型の歪曲収差と糸巻型の歪曲収差とが混在する、いわゆる陣笠タイプの歪曲収差もある。この歪曲収差を補正するためにカラー画像を変形処理することもある。これらの画像変形処理は、変形後の補間位置に当たる各画素の情報を、その補間位置の周辺にある変形前のカラー画像が持つ複数画素の情報から補間することによって行っている。

しかしながら、上記従来の技術では、色モザイク画像からカラー画像を生成する際に補間処理を行うとともに、その後でカラー画像を変形する際にも別の補間処理を行っている。すなわち、画素補間を二重に行っている。このため、処理負荷が大きくなるという問題があった。また、補間により生成した画像に対して更に別の補間を施すので、生成される画像の画質劣化が大きくなるという問題もあった。

本発明は、このような問題を解決するために成されたものであり、色モザイク画像から変形処理の施されたカラー画像を生成する際に、より少ない処理負荷で、画質劣化の少ないカラー画像を生成できるようにすることを目的とする。

上記した課題を解決するために、本発明では、色モザイク画像を同一の色光の画素値だけを含む複数の色プレーンに分解する色プレーン分解部と、カラー画像の画素位置から色モザイク画像上の対応するサンプリング座標を算出する座標変換部と、複数の色プレーン毎にサンプリング座標における画素値を補間生成するサンプリング部と、各色プレーンの補間値を合成することによりカラー画像を生成する色生成部とを備え、座標変換部において、カラー画像の画素位置から、画像変形が施された場合のカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標を算出するようにしている。

上記のように構成した本発明によれば、色モザイク画像からカラー画像を生成する前段階として、画像変形が施された場合のカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標が算出される。その上で、当該サンプリング座標の補間値を求める色補間演算がサンプリング部により行われることにより、画像変形の施されたカラー画像の各画素値が、サンプリング座標の画素値として色モザイク画像から求められることとなる。

これにより、色モザイク画像からカラー画像を生成する色補間処理（デモザイク処理）と、当該カラー画像の変形処理とを一度の補間演算によって実現することができる。このため、色モザイク画像から変形処理の施されたカラー画像を生成する際の処理負荷を軽減することができるとともに、従来のように補間処理を二重に行うことによる画質の劣化も抑制することができる。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本発明に係る画像処理装置を実施したカラー撮像装置１００の構成例を示す図である。本実施形態のカラー撮像装置１００は、結像光学系１１０、単板カラーイメージセンサ１２０、ＡＤ変換部１３０、デモザイク部１４０、視覚補正部１５０、圧縮部１６０および記録部１７０を備えて構成されている。このうち、デモザイク部１４０が本発明の画像処理装置に相当する。

単板カラーイメージセンサ１２０は、結像光学系１１０から出力された撮像光を所定の色成分に分解するカラーフィルタアレイ１２１と、カラーフィルタアレイ１２１を通過した撮像光を光電変換して画素信号を生成する撮像素子１２２とを備えている。撮像素子１２２は、例えばＣＣＤ（Charge Coupled Device）、あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等で構成される。

結像光学系１１０は、被写体の撮像光を単板カラーイメージセンサ１２０に導く役割を果たすものである。例えば、結像光学系１１０は、光学的ローパスフィルタを含め、撮影レンズや、赤外線除去フィルタ等から構成されている。なお、赤外線除去フィルタは、単板カラーイメージセンサ１２０に入射する赤外線を遮断するためのものであり、光学的ローパスフィルタの前方に配置され、１枚のガラスブロックとして構成されている。

単板カラーイメージセンサ１２０のカラーフィルタアレイ１２１は、撮像素子１２２を構成する各画素の受光面上に所定パターンで規則的に配置され、撮像光を所定の色成分にフィルタリングする役割を果たすものである。本実施形態では、色成分としてＲ，Ｇ，Ｂの３色を用いた原色ベイヤ配列のカラーフィルタアレイ１２１を使用している。

原色ベイヤ配列は、図２に示すように、Ｇ色フィルタを市松模様で配置するとともに、Ｒ色フィルタおよびＢ色フィルタを各行に交互に配置したものである。なお、Ｇ色フィルタのうち、水平方向のＲ色フィルタどうしで挟まれたものをＧｒ色フィルタ、水平方向のＢ色フィルタどうしで挟まれたものをＧｂ色フィルタと称する。

撮像素子１２２は、受光した撮像光を電気的な画素情報に光電変換して電荷量として貯え、これを電気信号としてＡＤ変換部１３０に出力する役割を果たすものである。撮像素子１２２は、所定パターンで配列された複数の画素（フォトダイオード）を有しており、この各画素の受光面上にカラーフィルタアレイ１２１が上述の原色ベイヤ配列で規則的に配置されている。

以上の構成において、撮影された被写体は、結像光学系１１０を経て単板カラーイメージセンサ１２０の撮像素子１２２上に結像する。この際、結像光学系１１０が持つ各種の収差により、結像した被写体像は劣化したものとなる。例えば、被写体上では直線であるものが歪曲収差により曲線となった画像となる。単板カラーイメージセンサ１２０は、撮像素子１２２上に結像した被写体像を色モザイク画像としてアナログ電気信号に変換する。

すなわち、カラーフィルタアレイ１２１は、図２に示すような原色ベイヤ配列であり、撮像素子１２２の各画素に対してＲ，Ｇ，Ｂの各色フィルタが並べられている。このため、被写体の撮像光は、画素毎に対応した色成分のみが透過した色モザイク画像状態の撮像光となって撮像素子１２２に達する。撮像素子１２２は、その到達光を光電変換し、色モザイク画像の電気信号としてＡＤ変換部１３０に出力する。

ＡＤ変換部１３０は、撮像素子１２２により光電変換された色モザイク画像のアナログ信号を、デジタル信号処理が行えるようにデジタル信号に変換する。なお、ＡＤ変換部１３０でＡ／Ｄ変換された直後の色モザイク画像はＲＡＷデータとも呼ばれる。デモザイク部１４０は、色モザイク画像からカラー画像への変換を行う。本実施形態では、このとき同時に画像の変形処理を行うことにより、上述した結像光学系１１０の歪曲収差による画像の画質劣化を補正する。このデモザイク部１４０による画像処理の方法は後に詳しく説明する。

視覚補正部１５０は、デモザイク部１４０により生成されたカラー画像に対して、主として画像の見栄えを良くするための処理を行う。例えば、視覚補正部１５０は、トーンカーブ（ガンマ）補正、彩度強調、エッジ強調といった画像補正処理を行う。圧縮部１６０は、視覚補正部１５０で補正されたカラー画像をＪＰＥＧ（Joint Photographic Experts Group）等の方法で圧縮し、記録時のサイズを小さくする。記録部１７０は、圧縮されたデジタル画像信号をフラッシュメモリ等の記録媒体（図示せず）に記録する。

なお、デモザイク部１４０から記録部１７０までの各構成は、それぞれを別体のデバイスとして構成しても良いし、単一のマイクロプロセッサで構成しても良い。後者の場合は、単一のマイクロプロセッサが、デモザイク部１４０から記録部１７０までの各構成に係る処理を実行する。

図３は、デモザイク部１４０の機能構成例を示すブロック図である。図４は、デモザイク部１４０により実行される画像処理の動作例を示すフローチャートである。図５は、デモザイク部１４０により実行される画像処理の内容を具体的に説明するためのイメージ図である。図３に示すように、デモザイク部１４０は、その機能構成として、色プレーン分解部１４１と、座標変換部１４２と、サンプリング部１４３と、色生成部１４４とを備えている。

色プレーン分解部１４１は、ＡＤ変換部１３０より出力される色モザイク画像を、同一の色光の画素値だけを含む複数の色プレーンに分解する（図４のステップＳ１）。本実施形態では、図５に示すように、Ｒ成分の画素のみを取り出したＲプレーン、Ｇ成分の画素のみを取り出したＧプレーン、Ｂ成分の画素のみを取り出したＢプレーンの３つの色プレーンに分解する。分解された各色プレーンは、サンプリング部１４３の処理に利用される。

座標変換部１４２は、カラー画像に対する画像変形を表す係数を用いて、色モザイク画像から生成されるカラー画像の画素位置から、変形処理が施された場合のカラー画像（以下、変形カラー画像と称する）の画素位置に対応する色モザイク画像上のサンプリング座標を算出する（図４のステップＳ２）。

例えば、結像光学系１１０の収差により歪曲しているカラー画像を補正するために画像変形を行う場合には、色モザイク画像から生成された歪曲しているカラー画像に対して非線形の座標変換を行う。この座標変換の方法は既知であり、変形カラー画像上の画素位置およびそれが色モザイク画像上でどの位置（サンプリング座標）に該当するのかについては、計算により求められる。

以下に、サンプリング座標の算出手順を詳しく説明する。まずｘｙ座標系として、原点を画像中心、最大像高（原点からの最大距離）を１とし、原点から画面右方向に正のｘ座標をとり，原点から画面下方向に正のｙ座標をとるものとする。この場合、６４０×４８０の正方画素からなるカラー画像に対して、ｕｖ座標系の画素座標（ｕ_d，ｖ_d）を図２のように画面左上から右方向に（０，０）,（１，０）,（２，０）・・・、次の行を（１，０）,（１，１）,（２，１）・・・と割り振れば、ｕｖ座標系の画素座標（３１９．５，２３９．５）がｘｙ座標系の原点となる。また、画素座標系の対角長の半分の長さ４００＝（６４０^２＋４８０^２）^1/2／２がｘｙ座標系の最大像高に対応するため、画素座標（ｕ_d，ｖ_d）に対応するｘｙ座標（ｘ_d，ｙ_d）は、
ｘ_d＝（ｕ_d−３１９．５）／４００
ｙ_d＝（ｖ_d−２３９．５）／４００
の関係式で表される。

このｘｙ座標（ｘ_d，ｙ_d）に対して、結像光学系１１０の歪曲収差の補正を考慮した座標変換を以下の式のように行う。
ｘ＝ｘ_d（ｋ₁ｒ²＋ｋ₂ｒ⁴）
ｙ＝ｙ_d（ｋ₁ｒ²＋ｋ₂ｒ⁴）
（ただし、ｒ²＝ｘ_d ²＋ｙ_d ²）
なお、｛ｋ₁，ｋ₂｝は結像光学系１１０の歪曲収差を示す係数であり、ｋ₁は３次収差係数、ｋ₂は５次収差係数を示している。上述のように、歪曲収差を含むカラー画像に対して非線形の座標変換を行う方法は既知であり、歪曲収差係数｛ｋ₁，ｋ₂｝はシミュレーション等により求めることが可能である。この歪曲収差係数｛ｋ₁，ｋ₂｝が、本発明の画像変形係数に相当する。

一方、色モザイク画像は１６００×１２００の正方画素から成るものとし、ｕｖ座標系の画素座標（ｕ_s，ｖ_s）が上述のカラー画像と同様に割り振られているとすると、ｕｖ座標系の画素座標（７９９．５，５９９．５）がｘｙ座標系の原点となり、画素座標系の対角長の半分の長さ１０００＝（１６００²＋１２００²）^1/2／２がｘｙ座標系の最大像高に対応する。このため、変形カラー画像上のｘｙ座標（ｘ，ｙ）に対応する色モザイク画像上の画素座標（ｕ_s，ｖ_s）は、
ｕ_s＝１０００＊ｘ＋７９９．５
ｖ_s＝１０００＊ｙ＋５９９．５
となる。

上述の計算の結果、画素座標（ｕ_s，ｖ_s）は整数値になるとは限らず、一般には非整数となる。この色モザイク画像上の画素座標（ｕ_s，ｖ_s）がサンプリング座標である。図５では、このサンプリング座標の１つを符号２００で示している。上述のように、色モザイク画像は３つの色プレーンに分解されている。図５では、それぞれの色プレーン上にサンプリング座標２００を図示している。上述のように、サンプリング座標の値は非整数となるので、画素中心からずれた位置にサンプリング座標２００が存在している。

サンプリング部１４３は、色プレーン分解部１４１により分解された複数の色プレーン毎に、座標変換部１４２により算出されたサンプリング座標２００における画素値（サンプリング値）を、色プレーン内に含まれる同一の色光の画素値から補間生成する（図４のステップＳ３）。すなわち、サンプリング部１４３は、Ｒプレーン、ＧプレーンおよびＢプレーンのそれぞれから、サンプリング座標２００の画素値を補間演算により算出して出力する。

上述のように、サンプリング座標２００の値（ｕ_s，ｖ_s）は必ずしも整数値とは限らないため、当該サンプリング座標２００を囲む４つの有値画素（各色プレーンが元々持っている同一色光の画素値）から線形補間を行う。この線形補間は、好ましくはバイリニア補間によって行う。

図５に示すように、ＲプレーンおよびＢプレーンは縦横の格子点状に有値画素を持つため、サンプリング座標２００を囲む４つの有値画素は、当該サンプリング座標２００を囲む一辺の長さが２の正方形の各頂点に位置する。例えば、サンプリング座標２００が（ｕ_s，ｖ_s）＝（１００．８，１０１．４）であれば、Ｒプレーンにおいてこれを囲む４つの画素（ｕ_d，ｖ_d）＝（１００，１００）,（１００，１０２）,（１０２，１００）,（１０２，１０２）がＲプレーンの有値画素となる。

当該有値画素の各画素値をＲ（１００，１００）,Ｒ（１００，１０２）,Ｒ（１０２，１００）,Ｒ（１０２，１０２）で表すとすると、図６のようなバイリニア補間によって生成されるＲプレーン上でのサンプリング座標２００の補間画素値Ｒ（１００．８，１０１．４）は、次の式で表される。
Ｒ（１００．８，１０１．４）＝０．６＊０．３＊Ｒ（１００，１００）＋０．６＊０．７＊Ｒ（１００，１０２）＋０．４＊０．３＊Ｒ（１０２，１００）＋０．４＊０．７＊Ｒ（１０２，１０２）

また、Ｂプレーンにおいてサンプリング座標２００の位置（ｕ_s，ｖ_s）＝（１００．８，１０１．４）を囲む４つの画素（ｕ_d，ｖ_d）＝（９９，１０１）,（９９，１０３）,（１０１，１０１）,（１０１，１０３）がＢプレーンの有値画素となる。当該有値画素の各画素値をＢ（９９，１０１）,Ｂ（９９，１０３）,Ｂ（１０１，１０１）,Ｂ（１０１，１０３）で表すとすると、Ｂプレーン上でのサンプリング座標２００の補間画素値Ｂ（１００．８，１０１．４）は、次の式で表される。
Ｂ（１００．８，１０１．４）＝０．１＊０．８＊Ｂ（９９，１０１）＋０．１＊０．２＊Ｂ（９９，１０３）＋０．９＊０．８＊Ｂ（１０１，１０１）＋０．９＊０．２＊Ｂ（１０１，１０３）

一方、Ｇプレーンは市松状に有値画素を持つため、サンプリング座標２００を囲む４つの有値画素は、当該サンプリング座標２００を囲む一辺の長さが√２の４５度傾いた正方形の各頂点に位置する。この場合、Ｇプレーンにおいてサンプリング座標２００の位置（ｕ_s，ｖ_s）＝（１００．８，１０１．４）を囲む４つの画素（ｕ_d，ｖ_d）＝（１００，１０１）,（１０１，１００）,（１０１，１０２）,（１０２，１０１）がＧプレーンの有値画素となる。

当該有値画素の各画素値をＧ（１００，１０１）,Ｇ（１０１，１００）,Ｇ（１０１，１０２）,Ｇ（１０２，１０１）で表すとすると、Ｇプレーン上でのサンプリング座標２００の補間画素値Ｇ（１００．８，１０１．４）は、次の式で表される。
Ｇ（１００．８，１０１．４）＝０．７＊０．３＊Ｇ（１００，１０１）＋０．３＊０．３＊Ｇ（１０１，１００）＋０．７＊０．７＊Ｇ（１０１，１０２）＋０．３＊０．７＊Ｇ（１０２，１０１）

色生成部１４４は、サンプリング部１４３により補間生成された各色プレーンの補間画素値を合成することにより、各画素値がそれぞれ複数色の輝度情報を有したカラー画像を生成する（図４のステップＳ４）。例えば、ある１つのサンプリング座標（ｕ_s，ｖ_s）に対してサンプリング部１４３により求められた各色プレーンの補間値をそれぞれＲ（ｕ_s，ｖ_s），Ｇ（ｕ_s，ｖ_s），Ｂ（ｕ_s，ｖ_s）とした場合、色生成部１４４は、これら３つの補間値を合成することにより、サンプリング座標（ｕ_s，ｖ_s）におけるカラー情報を生成する。

さらに、色生成部１４４は、こうして求めたＲＧＢのカラー情報をＹＵＶのカラー情報に変換し（Ｙは輝度情報、Ｕ，Ｖは色情報）、Ｕ，Ｖの色情報に対して低周波フィルタを施す。なお、ＲＧＢからＹＵＶへの変換処理およびＵ，Ｖに対する低周波フィルタの処理は、公知の処理を適用することが可能である。色生成部１４４は、以上の処理を変形カラー画像の全ての画素（全てのサンプリング座標）について行い、その結果得られた変形カラー画像を視覚補正部１５０に出力する。視覚補正部１５０以降の処理は上述した通りである。

以上詳しく説明したように、本実施形態では、色モザイク画像から変形カラー画像を生成する前段階として、出力すべき変形カラー画像の画素位置に対応する色モザイク画像上のサンプリング座標２００を算出する。そして、変形カラー画像の画素値を、当該サンプリング座標２００における画素値として色モザイク画像の画素値を用いた補間演算により生成するようにしている。

これにより、色モザイク画像からカラー画像を生成する色補間処理と当該カラー画像の変形処理とを一度の補間演算によって実現することができる。このため、色モザイク画像から変形カラー画像を生成する際の処理負荷を軽減することができるとともに、従来のように補間処理を二重に行うことによる画質の劣化も抑制することができる。

また、本実施形態では、色モザイク画像をＲ，Ｇ，Ｂの複数の色プレーンに分解し、色プレーン毎にサンプリング座標２００の補間画素値を求めてから、各色プレーンの補間画素値を合成して１画素に３色の輝度情報が含まれるカラー情報を生成するようにしている。このようにすることにより、色プレーン内に含まれる同一の色光の画素値から単純な線形補間によりサンプリング座標２００の補間画素値を求めることができ、処理負荷を軽減することができる。

なお、上記実施形態では、色プレーン分解部１４１は、色モザイク画像をＲプレーン、Ｇプレーン、Ｂプレーンの３つの色プレーンに分解する例について説明したが、これに限定されない。例えば、図７に示すように、互いに角を接する２種類の緑色画素Ｇｒ，Ｇｂを各々異なる色プレーンに分解するようにしても良い。すなわち、色プレーン分解部１４１は、ＡＤ変換部１３０より出力される色モザイク画像を、Ｒ成分の画素のみを取り出したＲプレーン、Ｇｒ成分の画素のみを取り出したＧｒプレーン、Ｇｂ成分の画素のみを取り出したＧｂプレーン、Ｂ成分の画素のみを取り出したＢプレーンの４つの色プレーンに分解する。

この場合に色生成部１４４は、ＧｒプレーンおよびＧｂプレーンでそれぞれサンプリング部１４３により生成されたサンプリング座標２００の画素値（サンプリング値）を加算して、１画素内にＲ，Ｇ，Ｂの各色成分の輝度情報が含まれるカラー情報を生成する。例えば、Ｒ成分やＢ成分はサンプリング値をそのまま用い、Ｇ成分はＧｒとＧｂとの平均値を用いる。

また、Ｇ成分をＧｒプレーンとＧｂプレーンとに分解してサンプリング座標２００の画素値を算出する場合、デモザイク部１４０は、ＧｒプレーンとＧｂプレーンの各色プレーン上でそれぞれサンプリング部１４３により生成された補間画素値の差分を算出し、当該補間画素値の差分に基づいて偽色の有無を判定する偽色判定部を更に備えるようにしても良い。

ベイヤ配列の単板カラーイメージセンサ１２０では、ナイキスト周波数近傍の白黒の縞模様に対し、赤や青の偽色が発生するという問題がある。これに対し、Ｇｒプレーン上で求めたサンプリング座標２００の補間画素値とＧｂプレーン上で求めたサンプリング座標２００の補間画素値との差分をとることで、縞模様上での偽色の有無を検出することができ、偽色がある場合にはこれを抑制することができる。

すなわち、ＧｒもＧｂも本来は同じＧ色フィルタなので、ＧｒプレーンおよびＧｂプレーンで求めた補間画素値は双方とも同じ値になるはずである。しかし、偽色が生じていると、ＧｒプレーンおよびＧｂプレーンで求めた補間画素値に差分が生じる。よって、補間画素値の差分を見ることにより、偽色の発生の有無を検出することができる。偽色が存在すると判定した場合には、色生成部１４４は、ＲＧＢのカラー情報をＹＵＶのカラー情報に変換する際に、偽色の抑制を考慮した以下の式によって変換処理を行う。

また、上記実施形態では、カラー画像に対する変形処理の例として歪曲修正を挙げて説明したが、これに限定されない。例えば、上記歪曲修正のための画像変形に代えて、またはこれに加えて、カラー画像の拡大、縮小、回転のうち少なくとも１つを含む処理を行う場合にも、本実施形態のデモザイク部１４０を適用することが可能である。この場合、拡大、縮小、回転は例えばアフィン変換で表すことが可能であり、そのアフィン変換を表す係数を画像変形係数として用いる。

また、上記実施形態では、カラーフィルタアレイ１２１が原色ベイヤ配列の場合を例にとって説明したが、これに限定されない。例えば、補色配列のカラーフィルタアレイを用いても良い。

また、以上に説明した本実施形態によるデモザイク処理の手法は、ハードウェア構成、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても実現することが可能である。例えばソフトウェアによって実現する場合、本実施形態のデモザイク部１４０（画像処理装置）は、実際にはコンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現できる。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明に係る画像処理装置を実施したカラー撮像装置の構成例を示す図である。 本実施形態によるカラーフィルタアレイの原色ベイヤ配列を示す図である。 本実施形態によるデモザイク部の機能構成例を示すブロック図である。 本実施形態のデモザイク部により実行される画像処理の動作例を示すフローチャートである。 本実施形態のデモザイク部により実行される画像処理の一例を具体的に説明するためのイメージ図である。 本実施形態のバイリニア補間を説明するためのイメージ図である。 本実施形態のデモザイク部により実行される画像処理の他の例を具体的に説明するためのイメージ図である。

符号の説明

１００ 画像処理装置
１４０ デモザイク部
１４１ 色プレーン分解部
１４２ 座標変換部
１４３ サンプリング部
１４４ 色生成部

Claims (9)

1. 異なる複数の色光を光電変換する画素を有する単板式の撮像素子によって得られた、各画素が単色の輝度情報を有した色モザイク画像を用いて、各画素が複数色の輝度情報を有したカラー画像を生成する画像処理装置であって、
   上記色モザイク画像を、同一の色光の画素値だけを含む複数の色プレーンに分解する色プレーン分解部と、
   上記色モザイク画像から生成されるカラー画像に対する画像変形を表す画像変形係数を用いて、上記カラー画像の画素位置から、上記画像変形が施された場合のカラー画像の画素位置に対応する上記色モザイク画像上のサンプリング座標を算出する座標変換部と、
   上記色プレーン分解部により分解された複数の色プレーン毎に、上記座標変換部により算出された上記サンプリング座標における画素値を、上記色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリング部と、
   上記サンプリング部により補間生成された各色プレーンの補間値を合成することにより上記カラー画像を生成する色生成部とを備えたことを特徴とする画像処理装置。
2. 上記色モザイク画像は、上記撮像素子の各画素に対応する位置にそれぞれ赤色（Ｒ）、緑色（Ｇｒ，Ｇｂ）、青色（Ｂ）の何れかが配されたベイヤ配列のカラーフィルタおよび上記撮像素子によって得られる画像であり、
   上記色プレーン分解部は、互いに角を接する２種類の緑色画素Ｇｒ，Ｇｂをそれぞれ異なる色プレーンに分解することを特徴とする請求項１に記載の画像処理装置。
3. 上記色生成部は、上記２種類の緑色画素Ｇｒ，Ｇｂ毎に分解された各色プレーン上でそれぞれ上記サンプリング部により生成された画素値を加算して上記カラー画像を生成することを特徴とする請求項２に記載の画像処理装置。
4. 上記２種類の緑色画素Ｇｒ，Ｇｂ毎に分解された各色プレーン上でそれぞれ上記サンプリング部により生成された画素値の差分を算出し、当該画素値の差分に基づいて偽色の有無を判定する偽色判定部を更に備えたことを特徴とする請求項２に記載の画像処理装置。
5. 上記サンプリング部は、上記サンプリング座標における画素値を、その周辺に存在する上記色プレーン上の画素値から補間によって生成することを特徴とする請求項１または２に記載の画像処理装置。
6. 上記画像変形は、上記カラー画像の拡大、縮小、回転、歪曲修正のうち少なくとも１つを含む処理であることを特徴とする請求項１に記載の画像処理装置。
7. 異なる複数の色光を光電変換する画素を有する単板式の撮像素子によって得られた、各画素が単色情報を有した色モザイク画像を用いて、各画素が複数色情報を有したカラー画像を生成する画像処理方法であって、
   上記色モザイク画像を、同一の色光の画素値だけを含む複数の色プレーンに分解する色プレーン分解ステップと、
   上記色モザイク画像から生成されるカラー画像に対する画像変形を表す画像変形係数を用いて、上記カラー画像の画素位置から、上記画像変形が施された場合のカラー画像の画素位置に対応する上記色モザイク画像上のサンプリング座標を算出する座標変換ステップと、
   上記色プレーン分解ステップで分解された複数の色プレーン毎に、上記座標変換ステップで算出された上記サンプリング座標における画素値を、上記色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリングステップと、
   上記サンプリングステップで補間生成された各色プレーンの補間値を合成することにより、１つの画素値がそれぞれ複数色情報を有したカラー画像を生成する色生成ステップとを有することを特徴とする画像処理方法。
8. 異なる複数の色光を光電変換する画素を有する撮像素子によって得られた、各画素が単色の輝度情報を有した色モザイク画像を、同一の色光の画素値だけを含む複数の色プレーンに分解する色プレーン分解手段、
   上記色モザイク画像から生成されるカラー画像に対する画像変形を表す画像変形係数を用いて、上記カラー画像の画素位置から、上記画像変形が施された場合のカラー画像の画素位置に対応する上記色モザイク画像上のサンプリング座標を算出する座標変換手段、
   上記色プレーン分解手段により分解された複数の色プレーン毎に、上記座標変換手段により算出された上記サンプリング座標における画素値を、上記色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリング手段、および
   上記サンプリング手段により補間生成された各色プレーンの補間値を合成することにより、１つの画素値がそれぞれ複数色の輝度情報を有したカラー画像を生成する色生成手段、
   としてコンピュータを機能させるためのプログラム。
9. 異なる複数の色光を光電変換する画素を有する単板式の撮像素子を備えた撮像装置であって、
   上記単板式の撮像素子と、
   上記撮像素子により光電変換された色モザイク画像のアナログ信号をデジタル信号に変換するＡ／Ｄ変換器と、
   上記Ａ／Ｄ変換器より上記デジタル信号として出力される、各画素が単色の輝度情報を有した色モザイク画像を用いて、各画素が複数色の輝度情報を有したカラー画像を生成する請求項１に記載の画像処理装置とを備えたことを特徴とする撮像装置。