JP2011035893A - 画像処理装置及び画像処理方法、画像処理プログラム - Google Patents

Abstract

【課題】単板式撮像素子を用いて得られた色モザイク画像からカラー画像を生成する際に、処理負荷を低減すると共に、高品位なカラー画像を生成する。
【解決手段】色モザイク画像から低域周波数帯のＧｒＬ、ＧｂＬ、ＲＬ、ＢＬ信号を生成する低域周波数画像生成手段１１、中周波数帯のＧｒＭ、ＧｂＭ信号を生成する中周波数画像生成手段１２、ＢＬ及びＲＬの夫々からＧｒＬとＧｂＬとの平均値を減じて第一の色差ＵＬ及び第二の色差ＶＬを生成する低周波数色差信号生成手段１４、ＢＬ、ＧｒＬ、ＧｂＬ、ＲＬの和を求めて輝度信号ＹＬを生成する低周波数輝度信号生成手段１５、ＧｒＭとＧｂＭとの和により中周波数輝度信号ＹＭを生成する中周波数輝度信号生成手段１６、ＹＬとＹＭとを合成して、輝度信号Ｙを生成する輝度合成手段１８、ＹとＵＬ及びＶＬとを用いて、画素毎のカラー情報を生成する色空間変換手段１９、等を備える。
【選択図】図１

Description

本発明は、固体撮像素子を用いたデジタル撮像装置の、画像処理装置及び画像処理方法、画像処理プログラムに関する。

従来、デジタルカメラなどの撮像装置において、レンズを介して固体撮像素子に被写体像を結像して、この固体撮像素子（例えば、ＣＣＤ：Ｃｈａｒｇａ Ｃｏｕｐｌｅｄ ＤｅｖｉｃｅやＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒである。以下、撮像素子という）によって被写体像を光電変換し、画像信号を生成する画像処理装置及び画像処理方法が知られている。

そして、単板式の撮像素子として、マトリクス状に複数の光電変換素子を備えると共にその前面にカラーフィルタを備え、このカラーフィルタを介して出力された各色の画素信号に信号処理を加えて画像データを生成する画像処理装置及び画像処理方法が知られている。

撮像素子を１つだけ用いた、いわゆる単板式の撮像素子においては、撮像素子上の各画素に対応して特定の色フィルタ、たとえば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色フィルタが設けられている。本願では、Ｒの色フィルタが設けられた画素をＲ画素（赤画素）、Ｇの色フィルタが設けられた画素をＧ画素（緑画素）、Ｂの色フィルタが設けられた画素をＢ画素（青画素）と称する。

また、単板式の撮像素子における代表的な色フィルタとして、原色ベイヤー配列と呼ばれる色フィルタが用いられている。原色ベイヤー配列の色フィルタは、水平方向にＲとＧが交互に配置された行と水平方向にＧとＢが交互に配置された行とが垂直方向に交互に配列され、水平方向２画素×垂直方向２画素（２×２画素）を１単位（１ユニット）とする複数の基本ブロックが周期的に配置されている。また、各基本ブロックは、２つの緑画素が一方の対角上に配置され、赤画素と青画素とが他方の対角上に配置された構造となっている。本願では、水平方向において、Ｒの隣に位置するＧをＧｒ、Ｂの隣に位置するＧをＧｂと称する。

そして、画像処理装置において、単板式撮像素子を介して出力された画像信号から輝度信号及び色差信号を生成し、これらの信号から、カラー画像の画像信号を生成しているものがある。

詳しくは、単板式の撮像素子では各画素が単色の色情報しか持たないが、カラー画像を表示するためには、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の値すべてが各画素で必要である。このため単板式撮像素子を用いた画像処理では、各画素がＲ、Ｇ、Ｂ成分のうちの何れかのみを有する色モザイク画像にもとづいて、デモザイク処理を行っている。ここで、デモザイク処理とは、色モザイク画像の各画素の単色情報に対してその周辺画素から集めた他の足りない色の輝度情報を用いて補間演算を行うことにより、各画素がそれぞれＲ、Ｇ、Ｂ成分の全てを有するカラー画像を生成する処理（所謂、色補間処理である）である（例えば、特許文献１、２、３、４、５参照）。

さらに、デモザイクの方法として、撮像信号から画素毎に輝度情報を備えた輝度画像信号を生成し、輝度画像信号を用いることによって画像信号の変化の様子を検出し、この検出結果をデモザイク画像に反映させることにより、解像度を高める画像処理方法が知られている（例えば、特許文献６参照）。

また、一般に、高画質を目的として提案されている画像処理方法は、注目画素に隣接する隣接画素の振る舞い（画像信号の変化の様子）を判定することにより、水平方向及び垂直方向の相関度（類似度）を算出し、その算出結果に応じて、水平成分抽出フィルタ及び垂直成分抽出フィルタにより生成された信号成分を切り替えたり合成したりして色信号成分の補間を行っている。

特表２００４−５３４４２９号公報 特開２０００−２７０２９４号公報 特開平９−８４０３１号公報 特開平１０−１０８２０９号公報 特開平１１−２７５３７３号公報 特開２０００−８７８１０号公報

近年、静止画像の高解像度化やＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）動画像の高精細化に伴って、画像処理に要する処理負荷が増大している。
即ち、前述のデモザイク処理をハードウェアで実現する際には、処理量の増加に応じて回路規模が増大し、コストＵＰにつながり生産性を損なうという問題がある。また、高精細なＨＤ動画像を生成する際には、消費電力の増大が生じてバッテリ駆動時間が低下したり、発熱による温度上昇などが生じて信頼性が低下したりする虞があった。

また、前述のデモザイク処理をＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）でソフトウェアを用いて実現する際にも、演算量の増化に応じて、ＤＳＰに要求される処理能力が増加し、高精細なＨＤ動画を扱う際に処理能力が不足する虞があった。

そこで、本発明は、単板式撮像素子を用いて得られた色モザイク画像からカラー画像を生成する際に、処理負荷を低減できると共に、高品位なカラー画像を生成できる画像処理装置及び画像処理方法、画像処理プログラムを提供することを目的とする。さらには、デモザイク処理において、偽色やジッパーアーチファクトなどの画質劣化を低減できる画像処理装置及び画像処理方法、画像処理プログラムを提供する。

かかる目的を達成するためになされた請求項１に記載の発明は、Ｒ（赤）Ｇ（緑）Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理装置であって、前記ベイヤー配列において、Ｒの横に位置するＧの画素をＧｒ、Ｂの横に位置するＧの画素をＧｂと表した際に、前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のＲ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号を生成する低域周波数画像生成手段と、前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のＧｒ信号及びＧｂ信号を生成する中周波数画像生成手段と、前記低域周波数画像生成手段を介して得られた低周波数信号を用いて、Ｇｒ信号とＧｂ信号との平均値を求め、Ｂ信号から前記平均値を減じて第一の色差信号を生成すると共に、Ｒ信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成手段と、前記低域周波数画像生成手段で得られたＲ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成手段と、前記中周波数画像生成手段で得られたＧｒ信号とＧｂ信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成手段と、前記低域周波数輝度信号と前記中周波数輝度信号とを合成して、輝度信号Ｙを生成する輝度合成手段と、前記輝度合成手段で生成された輝度信号と前記低周波数色差信号生成手段で生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換手段と、を備えることを特徴とする。

請求項１に記載の画像処理装置によれば、色モザイク画像から低域周波数帯のＲ、Ｇｒ、Ｇｂ、Ｂ信号を生成する低周波数画像生成手段、中周波数帯のＧｒ信号及びＧｂ信号を生成する中周波数画像生成手段、低周波数帯のＢ信号及びＲ信号の夫々から低周波数帯ＧｒとＧｂとの平均値を減じて第一の色差信号及び第二の色差信号を生成する低周波数色差信号生成手段、低周波数帯のＲ、Ｇｒ、Ｇｂ、Ｂの和を求めて低周波数輝度信号を生成する低周波数輝度信号生成手段、中周波数帯のＧｒとＧｂとの和により中周波数輝度信号を生成する中周波数輝度信号生成手段、低周波数輝度信号と中周波数輝度信号とを合成して、輝度信号を生成する輝度合成手段、輝度合成手段で生成された輝度信号と低周波数色差信号生成手段で生成された輝度信号と第一色差信号及び第２色差信号とを用いて、画素毎のカラー情報を生成する色空間変換手段、等を備えることにより、単板式撮像素子を介して得られた色モザイク画像からカラー画像を生成する際に、処理負荷を低減できると共に高品位なカラー画像を生成でき、さらには、偽色やジッパーアーチファクトなどの色補間の際に生じる画質劣化を低減できる。

請求項１に記載の画像処理装置によれば、低周波数画像生成手段と中周波数画像生成手段においてデモザイク処理に係る補間処理が同時に行われると共に、輝度信号及び色差信号を生成する際の画素信号の生成が行われ、色空間変換手段に至る以降の工程においてはデモザイクの補間処理が不要になるので、色モザイク画像からカラー画像を生成する際に処理負荷を低減できる。また、低周波数輝度信号では、中周波数から高周波数の輝度変化成分による偽色が少なくて、色境界におけるジッパーアーチファクトが抑制され、且つ、中周波数輝度信号では、Ｒ信号及びＢ信号を用いていないので、色境界におけるアーチファクトが発生しないものとなる。

さらに、低周波数画像生成手段及び中周波数画像生成手段で生成された各色の補間信号から、ジッパーアーチファクトの少ない輝度信号や偽色の少ない色差信号を簡素な処理（加減算）で生成することができる。

また、低周波数輝度信号と中周波数輝度信号とを合成することにより、解像度の高い輝度信号を得ることができる。

次に、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記低周波数色差信号生成手段に代えて第二低周波数色差信号生成手段を備え、前記第二低周波数色差信号生成手段が、前記低周波数画像生成手段を介して得られた低周波数信号の、Ｇｒ信号からＧｂ信号を減じて得られた差分値の正（+）又は負（-）の符号と、Ｂ信号からＲ信号を減じて得られた差分値の正又は負の符号とを乗算し、前記前記低周波数画像生成手段を介して得られた低周波数信号のＧｒ信号、Ｇｂ信号、Ｂ信号、Ｒ信号を夫々ＧｒＬ、ＧｂＬ、ＢＬ、ＲＬと表し、前記第一の色差信号をＵＬ、前記第二の色差信号をＶＬと表した際に、前記乗算の結果が正（+）の際には、前記第一の色差信号ＵＬをＵＬ＝ＢＬ-ＧｒＬの演算式を用いて算出する共に、前記第二の色差信号ＶＬをＶＬ＝ＲＬ-ＧｂＬの演算式を用いて算出し、前記乗算の結果が負（-）の際には、前記第一の色差信号ＵＬをＵＬ＝ＢＬ-ＧｂＬの演算式を用いて算出する共に、前記第二の色差信号ＶＬをＶＬ＝ＲＬ-ＧｒＬの演算式を用いて算出する、ことを特徴とする。

請求項２に記載の画像処理装置によれば、彩度を損なうことなく偽色を抑制できる。偽色と呼ばれる現象には２種類がある。ひとつは画像エッジ部分に現れる色フリンジ（色収差）であり、これは低周波フィルタにより除去される。もうひとつは細かい繰り返し模様に対し、高周波の折り返しモワレ（干渉縞）が色毎に異なるため色づいて見られる現象であり、例えばワイシャツや遠方の建築物などの細かい縞模様を撮影する際に顕著に現れて、撮影画面の広い範囲に色がつく。そして、偽色を抑制するために、偽色の量を（ＧｒＬ−ＧｂＬ）の絶対値で推定し、第一の色差信号及び第二の色差信号を（ＧｒＬ−ＧｂＬ）の絶対値の分だけ減じて生成する手段が知られている。しかしながら、この方法によれば、（ＧｒＬ−ＧｂＬ）が偽色発生箇所の他に画像に高周波信号を含む場合にも大きくなるので、色モワレの抑制によって偽色を発生していない高周波領域の部分の彩度を損なう虞がある。
そこで本願発明の発明者は、色モワレの抑制とともに彩度を損なうことがなく第一の色差及び第二の色差を生成する手段を見出した。詳しくは、（ＧｒＬ−ＧｂＬ）×（ＢＬ−ＲＬ）の演算式で得られる正又は負の符号に対応付けてモワレ（干渉縞）の方向を推定して、その推定結果に応じて第一の色差信号及び第二の色差信号生成の演算式を切り換えることにより、彩度を損なうことなく色モワレの発生を低減できる。

次に、請求項３に記載の発明は、請求項１又は請求項２に記載の画像処理装置において、前記低域周波数画像生成手段を介して生成されたＧｒ信号とＧｂ信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定手段と、前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が０に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制手段とを備え、前記色空間変換手段が、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成することを特徴とする。

請求項３に記載の画像処理装置によれば、低域周波数画像生成手段を介して生成されたＧｒ信号とＧｂ信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定手段と、第一の色差信号と第二の色差信号の夫々に対して、絶対値が０に近づくように偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制手段とを備え、色空間変換手段が、第一の色差信号及び第二の色差信号に代えて、第三の色差信号及び第四の色差信号を用いてカラー情報を生成することにより、一層偽色の少ない高品位のカラー画像を生成できる。

次に、請求項４に記載の発明は、請求項１乃至請求項３の何れかに記載の画像処理装置において、サンプリング周波数をＦｓと表した際に、前記低周波数信号の通過帯域が０〜略（１／４）Ｆｓであるように構成されていることを特徴とする。

請求項４に記載の画像処理装置によれば、低周波数信号の通過帯域が、０〜略（１／４）Ｆｓであるように構成されることにより、低周波数画像信号の生成における、中周波数から高周波数の輝度変化成分及び色高周波成分の侵入を抑制できて偽色を抑制できる。

次に、請求項５に記載の発明は、請求項１乃至請求項４の何れか記載の画像処理装置において、サンプリング周波数をＦｓと表した際に、前記中周波数信号の通過帯域が、中心が略（１／４）Ｆｓであって、（０）Ｆｓ及び（１／２）Ｆｓでは通過量が略０になるように構成されていることが好ましい。これにより、中周波数輝度信号と低周波数輝度信号とを合成して、解像度の良好な輝度信号を生成できる。

次に、請求項６に記載の発明は、請求項１乃至請求項５の何れか記載の画像処理装置において、前記低周波数画像生成手段が、前記Ｒ、Ｇｒ、Ｇｂ、Ｂの画素位置において、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成することを特徴とする。

請求項６に記載の画像処理装置によれば、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素位置において、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成することにより、画素毎に複数色の色成分を備えることができる。

次に、請求項７に記載の発明は、請求項１乃至請求項６の何れか記載の画像処理装置において、前記中周波数画像生成手段が、前記Ｒ、Ｇｒ、Ｇｂ、Ｂの画素位置において、Ｇｒ及びＧｂの中周波数信号を生成することを特徴する。

請求項７に記載の画像処理装置によれば、Ｇｒ、Ｇｂ、Ｒ、Ｂの画素位置において、Ｇｒ及びＧｂの中周波数信号を生成することにより、画素毎に中周波数帯のＧ信号を生成できて解像度を向上できる。

次に、請求項８に記載の発明は、Ｒ（赤）Ｇ（緑）Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理方法であって、前記ベイヤー配列において、Ｒの横に位置するＧの画素をＧｒ、Ｂの横に位置するＧの画素をＧｂと表した際に、前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のＲ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号を生成する低域周波数画像生成手順と、前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のＧｒ信号及びＧｂ信号を生成する中周波数画像生成手順と、前記低域周波数画像生成手順を介して得られた低周波数信号を用いて、Ｇｒ信号とＧｂ信号との平均値を求め、Ｂ信号から前記平均値を減じて第一の色差信号を生成すると共に、Ｒ信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成手順と、前記低域周波数画像生成手順で得られたＲ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成手順と、前記中周波数画像生成手順で得られたＧｒ信号とＧｂ信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成手順と、前記低域周波数輝度信号と前記中周波数輝度信号とを合成して、輝度信号を生成する輝度合成手順と、前記輝度合成手順で生成された輝度信号と前記低周波数色差信号生成手順で生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換手順と、を用いることを特徴とする。

請求項８に記載の画像処理方法によれば、請求項１に記載の発明と同様に、単板式撮像素子を介して得られた色モザイク画像からカラー画像を生成する際に、処理負荷を低減できると共に高品位なカラー画像を生成でき、さらには、偽色やジッパーアーチファクトなどの色補間の際に生じる画質劣化を低減できる。

次に、請求項９に記載の発明は、請求項８に記載の画像処理方法において、前記低周波数色差信号生成手順に代えて第二低周波数色差信号生成手順を用い、前記第二低周波数色差信号生成手順が、前記低周波数画像生成手順を介して得られた低周波数信号の、Ｇｒ信号からＧｂ信号を減じて得られた差分値の正（+）又は負（-）の符号と、Ｂ信号からＲ信号を減じて得られた差分値の正又は負の符号とを乗算し、前記前記低周波数画像生成手順を介して得られた低周波数信号のＧｒ信号、Ｇｂ信号、Ｂ信号、Ｒ信号を夫々ＧｒＬ、ＧｂＬ、ＢＬ、ＲＬと表し、前記第一の色差信号をＵＬ、前記第二の色差信号をＶＬと表した際に、前記乗算の結果が正（+）の際には、前記第一の色差信号ＵＬをＵＬ＝ＢＬ-ＧｒＬの演算式を用いて算出する共に、前記第二の色差信号ＶＬをＶＬ＝ＲＬ-ＧｂＬの演算式を用いて算出し、前記乗算の結果が負（-）の際には、前記第一の色差信号ＵＬをＵＬ＝ＢＬ-ＧｂＬの演算式を用いて算出する共に、前記第二の色差信号ＶＬをＶＬ＝ＲＬ-ＧｒＬの演算式を用いて算出する、ことを特徴とする。

請求項９に記載の画像処理方法によれば、請求項２に記載の発明と同様に、（ＧｒＬ−ＧｂＬ）×（ＢＬ−ＲＬ）の演算式で得られる正又は負の符号に対応付けてモワレ（干渉縞）の方向を推定して、その推定結果に応じて第一の色差信号及び第二の色差信号生成の演算式を切り換えることにより、彩度を損なうことなく色モワレの発生を低減できる。

次に、請求項１０に記載の発明は、請求項８又は請求項９に記載の画像処理方法において、前記低域周波数画像生成手順を介して生成されたＧｒ信号とＧｂ信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定手順と、前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が０に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制手順と、を用い、前記色空間変換手順が、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成することを特徴とする。

請求項１０に記載の画像処理方法によれば、請求項３に記載の発明と同様に、一層、偽色の少ない高品位のカラー画像を生成できる。

次に、請求項１１に記載の発明は、請求項８乃至請求項１０の何れかに記載の画像処理方法において、サンプリング周波数をＦｓと表した際に、前記低周波数信号の通過帯域が０〜略（１／４）Ｆｓであることを特徴とする。

請求項１１に記載の画像処理方法によれば、請求項４に記載の発明と同様に、低周波数画像信号には中周波数から高周波数の輝度変化成分及び色高周波成分の侵入を抑制できて偽色を抑制できる。

次に、請求項１２に記載の発明は、請求項８乃至請求項１１の何れか記載の画像処理方法において、サンプリング周波数をＦｓと表した際に、前記中周波数信号の通過帯域が、中心が略（１／４）Ｆｓであって、（０）Ｆｓ及び（１／２）Ｆｓでは通過量が略０であることを特徴とする。

請求項１２に記載の画像処理方法によれば、請求項５に記載の発明と同様に、中周波数輝度信号と低周波数輝度信号とを合成して、解像度の良好な輝度信号を生成できる。

次に、請求項１３に記載の発明は、請求項８乃至請求項１２の何れか記載の画像処理方法の前記低周波数画像生成手順において、前記Ｒ、Ｇｒ、Ｇｂ、Ｂの画素位置毎に、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成することを特徴とする。

請求項１３に記載の画像処理方法によれば、請求項６に記載の発明と同様に、画素毎に複数色の色成分を備えることができる。

次に、請求項１４に記載の発明は、請求項８乃至請求項１３の何れか記載の画像処理方法の前記中周波数画像生成手順において、前記Ｇｒ、Ｇｂ、Ｒ、Ｂの画素位置毎に、Ｇｒ及びＧｂの中周波数信号を生成することを特徴とする。

請求項１４に記載の画像処理方法によれば、請求項７に記載の発明と同様に、画素毎に中周波数帯のＧ信号を生成できて解像度を向上できる。

次に、請求項１５に記載の発明は、Ｒ（赤）Ｇ（緑）Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理プログラムであって、前記ベイヤー配列において、Ｒの横に位置するＧの画素をＧｒ、Ｂの横に位置するＧの画素をＧｂと表した際に、前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のＲ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号を生成する低域周波数画像生成ステップと、前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のＧｒ信号及びＧｂ信号を生成する中周波数画像生成ステップと、前記低域周波数画像生成ステップを介して得られた低周波数信号を用いて、Ｇｒ信号とＧｂ信号との平均値を求め、Ｂ信号から前記平均値を減じて第一の色差信号を生成すると共に、Ｒ信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成ステップと、前記低域周波数画像生成ステップで得られたＲ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成ステップと、前記中周波数画像生成ステップで得られたＧｒ信号とＧｂ信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成ステップと、前記低域周波数輝度信号と前記中周波数輝度信号とを合成して、輝度信号を生成する輝度合成ステップと、前記輝度合成ステップで生成された輝度信号と前記低周波数色差信号生成ステップで生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換ステップと、をコンピュータに実行させることを特徴とする。

請求項１５に記載の画像処理プログラムによれば、請求項１に記載の発明と同様に、単板式撮像素子を介して得られた色モザイク画像からカラー画像を生成する際に、処理負荷を低減できると共に高品位なカラー画像を生成でき、さらには、偽色やジッパーアーチファクトなどの色補間の際に生じる画質劣化を低減できる。

次に、請求項１６に記載の発明は、請求項１５に記載の画像処理プログラムにおいて、前記低周波数色差信号生成ステップに代えて第二低周波数色差信号生成ステップを備え、前記第二低周波数色差信号生成ステップが、前記低周波数画像生成手段を介して得られた低周波数信号の、Ｇｒ信号からＧｂ信号を減じて得られた差分値の正（+）又は負（-）の符号と、Ｂ信号からＲ信号を減じて得られた差分値の正又は負の符号とを乗算し、前記前記低周波数画像生成手段を介して得られた低周波数信号のＧｒ信号、Ｇｂ信号、Ｂ信号、Ｒ信号を夫々ＧｒＬ、ＧｂＬ、ＢＬ、ＲＬと表し、前記第一の色差信号をＵＬ、前記第二の色差信号をＶＬと表した際に、前記乗算の結果が正（+）の際には、前記第一の色差信号ＵＬをＵＬ＝ＢＬ-ＧｒＬの演算式を用いて算出する共に、前記第二の色差信号ＶＬをＶＬ＝ＲＬ-ＧｂＬの演算式を用いて算出し、前記乗算の結果が負（-）の際には、前記第一の色差信号ＵＬをＵＬ＝ＢＬ-ＧｂＬの演算式を用いて算出する共に、前記第二の色差信号ＶＬをＶＬ＝ＲＬ-ＧｒＬの演算式を用いて算出する、ことを特徴とする。

請求項１６に記載の画像処理プログラムによれば、請求項２に記載の発明と同様に、（ＧｒＬ−ＧｂＬ）×（ＢＬ−ＲＬ）の演算式で得られる正又は負の符号に対応付けてモワレ（干渉縞）の方向を推定して、その推定結果に応じて第一の色差信号及び第二の色差信号生成の演算式を切り換えることにより、彩度を損なうことなく色モワレの発生を低減できる。

次に、請求項１７に記載の発明は、請求項１５に記載の画像処理プログラムにおいて、
前記低域周波数画像生成ステップを介して生成されたＧｒ信号とＧｂ信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定ステップと、前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が０に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制ステップと、を用い前記色空間変換ステップが、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成することを特徴とする。

請求項１７に記載の画像処理プログラムによれば、請求項３に記載の発明と同様に、一層、偽色の少ない高品位のカラー画像を生成できる。

次に、請求項１８に記載の発明は、請求項１５乃至請求項１７の何れかに記載の画像処理プログラムにおいて、サンプリング周波数をＦｓと表した際に、前記低周波数信号の通過帯域が、０〜略（１／４）Ｆｓであることを特徴とする。

請求項１８に記載の画像処理プログラムによれば、請求項４に記載の発明と同様に、低周波数画像信号には中周波数から高周波数の輝度変化成分及び色高周波成分の侵入を抑制できて偽色を抑制できる。

次に、請求項１９に記載の発明は、請求項１５乃至請求項１８の何れか記載の画像処理プログラムにおいて、サンプリング周波数をＦｓと表した際に、前記中周波数信号の通過帯域が、中心が略（１／４）Ｆｓであって、（０）Ｆｓ及び（１／２）Ｆｓでは通過量が略０であることを特徴とする。

請求項１９に記載の画像処理プログラムによれば、請求項５に記載の発明と同様に、中周波数輝度信号と低周波数輝度信号とを合成して、解像度の良好な輝度信号を生成できる。

次に、請求項２０に記載の発明は、請求項１５乃至請求項１９の何れか記載の画像処理プログラムの前記低周波数画像生成ステップにおいて、前記Ｒ、Ｇｒ、Ｇｂ、Ｂの画素位置毎に、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成することを特徴とする。

請求項２０に記載の画像処理プログラムによれば、請求項６に記載の発明と同様に、画素毎に複数色の色成分を備えることができる。

次に、請求項２１に記載の発明は、請求項１５乃至請求項２０の何れか記載の画像処理プログラムの前記中周波数画像生成ステップにおいて、前記Ｇｒ、Ｇｂ、Ｒ、Ｂの画素位置毎に、Ｇｒ及びＧｂの中周波数信号を生成することを特徴とする。

請求項２１に記載の画像処理プログラムによれば、請求項７に記載の発明と同様に、画素毎に中周波数帯のＧ信号を生成できて解像度を向上できる。

本発明の画像処理装置及び画像処理方法、画像処理プログラムは、低周波数画像生成手段と中周波数画像生成手段において、デモザイク処理に係る補間処理が同時に行われると共に、輝度信号及び色差信号を生成する際の画素信号の生成が行われ、色空間変換手段に至る以降の工程においては補間処理が不要になるので、色モザイク画像からカラー画像を生成する際の処理負荷を低減できる。また、低周波数輝度信号には、中周波数から高周波数の輝度変化成分による偽色が少なくて色境界におけるジッパーアーチファクトが抑制され、且つ、中周波数輝度信号では、Ｒ信号及びＢ信号を用いていないので色境界におけるアーチファクトが発生しないものとなる。

また、本発明の画像処理装置及び画像処理方法、画像処理プログラムは、（ＧｒＬ−ＧｂＬ）×（ＢＬ−ＲＬ）の演算式で得られる正又は負の符号に対応付けてモワレ（干渉縞）の方向を推定して、その推定結果に応じて第一の色差信号及び第二の色差信号生成の演算式を切り換えることにより、彩度を損なうことなく色モワレの発生を低減できる。

さらに、低周波数画像生成手段及び中周波数画像生成手段で生成された各色の補間信号から、ジッパーアーチファクトの少ない輝度信号や偽色の少ない色差信号を簡素な処理（加減算）で生成することができる。そして、低周波数輝度信号と中周波数輝度信号とを合成することにより、解像度の高い輝度信号を得ることができる。

また、本発明の画像処理装置及び画像処理方法、画像処理プログラムは、低域周波数画像におけるＧｒ信号とＧｂ信号との差分を求めて偽色発生推定量信号を生成し、第一の色差信号と第二の色差信号の夫々に対して、絶対値が０に近づくように偽色発生推定量信号を加減算して第三の色差信号及び第四の色差信号を生成し、次いで、第一の色差信号及び第二の色差信号に代えて、第三の色差信号及び第四の色差信号を用いてカラー情報を生成することにより、一層、偽色の少ない高品位のカラー画像を生成できる。

また、本発明の画像処理装置及び画像処理方法、画像処理プログラムは、低周波数信号の通過帯域が０〜略（１／４）Ｆｓであることにより、低周波数画像信号には中周波数から高周波数の輝度変化成分及び色高周波成分を遮断の侵入を抑制できて偽色を抑制でき、且つ、中周波数信号の通過帯域が、中心が略（１／４）Ｆｓであって、（０）Ｆｓ及び（１／２）Ｆｓでは通過量が略０であることにより、中周波数輝度信号と低周波数輝度信号とを合成して、解像度の良好な輝度信号を生成できる。

また、本発明の画像処理装置及び画像処理方法、画像処理プログラムは、Ｇｒ、Ｇｂ、Ｒ、Ｂの画素位置において、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成することにより、画素毎に複数色の色成分を備えることができ、且つ、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素位置において、Ｇｒ及びＧｂの中周波数信号を生成することにより、画素毎に中周波数帯のＧ信号を生成できて解像度を向上できる。

本発明の第１の実施形態における、画像処理装置を備えた撮像装置の構成を表したブロック図である。 同第１の実施形態の画像処理装置における、低周波数画像生成の説明図である。 同第１の実施形態の画像処理装置における、中周波数画像生成の説明図である。 同第１の実施形態の画像処理装置における、低周波数画像生成の際の低域フィルタの特性図である。 同第１の実施形態の画像処理装置における、中周波数画像生成の際の帯域フィルタの特性図である。 本発明の第１の実施形態の画像処理方法の手順を表したフローチャートである。 本発明の第２の実施形態の画像処理装置における、第二低周波数色差信号生成手段の構成を表す図である。 同第２の実施形態の画像処理装置における、第二低周波数色差信号生成の説明図であって、ＢＬ及びＲＬの夫々からＧｒＬとＧｂＬの平均値を減算して生成した低周波数色差信号ＵＬ及びＶＬの特性図である。 同第２の実施形態の画像処理装置における、第二低周波数色差信号生成の説明図であって、ＢＬ及びＲＬの夫々からＧｒＬ又はＧｂＬの何れかを減算して生成した低周波数色差信号ＵＬ及びＶＬの特性図である。 同第２の実施形態の画像処理装置における、第二低周波数色差信号生成手段の作用効果の説明図であって、ＧｒＬからＧｂＬを減算して発現する特性図である。 同第２の実施形態の画像処理装置における、第二低周波数色差信号生成手段の作用効果の説明図であって、ＢＬからＲＬを減算して発現する特性図である。

（第１の実施形態）
次に、本発明の第１の実施形態における画像処理装置及び画像処理方法、画像処理プログラムを図面に基づいて説明する。

図１に表したように、撮像装置３００は、光学像をイメージセンサ２に導いてデジタル画像信号を出力する撮像部１００と、撮像部から出力されたデジタル画像信号に基づいて、画素毎に複数の色情報を備えたカラー画像データを生成する画像処理装置２００を備えている。

撮像部１００は、撮影された光学像をイメージセンサに導く結像光学系１と、結像光学系１を介して結像した光学像を光電変換して増幅しデジタル信号に変換して出力するイメージセンサ２とによって構成されている。

結像光学系１は、被写体光を集光してイメージセンサ２に導く撮像レンズ１ａ、開口径が開閉可能に構成されて、撮像レンズ１ａを介して入射した入射光量を調整するアイリス（絞り）１ｂ、等によって構成されている。

イメージセンサ２は、結像光学系１を介して結像した光学像を受光量に対応付けてアナログ電気信号に変換する撮像素子２ａ、撮像素子２ａから出力されたアナログ電気信号を増幅する可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）２ｂ、可変利得増幅器２から出力されたアナログ電気信号をデジタル信号に変換するＡＤ変換器（ＡＤＣ：Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２ｃ、等によって構成されている。また、撮像素子２ａは、マトリクス状に複数の光電変換素子が配置されて、その前面に光電変換素子に対応付けられてＲ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列からなるカラーフィルタ（図示せず）が配置され、各色のフィルタ部を通過した光量を電気信号に変換する。そして、撮像部１００から出力される電気信号によって、画素毎に一つの色情報のみをもつ色モザイク画像が生成される。

次に、画像処理装置２００は、撮像部１００を介して入力された色モザイク画像を記憶するモザイク画像記憶手段１０、色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯の画Ｇｒ信号、Ｇｂ信号、Ｒ信号、Ｂ信号を生成する低域周波数画像生成手段１１、色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のＧｒ信号、Ｇｂ信号を生成する中周波数画像生成手段１２、等を備えている。

モザイク画像記憶手段１０は、図２（ａ）に表したベイヤー配列に対応付けられて、Ｒの画素信号、Ｇｒの画素信号、Ｇｂの画素信号、Ｂの画素信号を記憶するように構成されている。

低周波数画像生成手段１１は、図２に表したように、注目画素の低周波数画素信号を周囲の画素（５×５の画素範囲）に低域フィルタを掛けてフィルタリングすることにより補間生成する。図２（ｂ）が、Ｇｒの低周波数信号ＧｒＬを補間生成する際の低域フィルタの係数配置図、図２（ｃ）が、Ｇｂの低周波数信号ＧｂＬを補間生成する際の低域フィルタの係数配置図、図２（ｄ）が、Ｒの低周波数信号ＲＬを補間生成する際の低域フィルタの係数配置図、図２（ｅ）が、Ｂの低周波数信号ＢＬを補間生成する際の低域フィルタの係数配置図である。この際、注目画素を中心とした５×５のフィルタ係数配列を用い、このフィルタ係数配列に図２（ｂ）〜（ｄ）に表した係数を配置して各画素信号に重み付けし、注目画素の低周波数信号を求めることができる。

詳しくは、図２（ｂ）に表したように、Ｇｒの画素位置におけるＧｒの低周波数信号ＧｒＬを、その周囲のＧｒ信号及び注目画素のＧｒ信号に低域フィルタを掛けて生成する。Ｒの画素位置における低周波数信号ＧｒＬを、その周囲のＧｒ信号に低域フィルタを掛けて生成する。Ｂの画素位置における低周波数信号ＧｒＬを、その周囲のＧｒ信号に低域フィルタを掛けて生成する。Ｇｂの画素位置における低周波数信号ＧｒＬを、その周囲のＧｒ信号に低域フィルタを掛けて生成する。

また、図２（ｃ）に表したように、Ｇｒの画素位置におけるＧｂの低周波数信号ＧｂＬを、その周囲のＧｂ信号に低域フィルタを掛けて生成する。Ｒの画素位置における低周波数信号ＧｂＬを、その周囲のＧｂ信号に低域フィルタを掛けて生成する。Ｂの画素位置における低周波数信号ＧｂＬを、その周囲のＧｂ信号に低域フィルタを掛けて生成する。Ｇｂの画素位置における低周波数信号ＧｂＬを、その周囲のＧｂ信号及び注目画素のＧｂ信号に低域フィルタを掛けて生成する。

また、図２（ｄ）に表したように、Ｇｒの画素位置におけるＲの低周波数信号ＲＬを、その周囲のＲ信号に低域フィルタを掛けて生成する。Ｒの画素位置における低周波数信号ＲＬを、その周囲のＲ信号及び注目画素のＲ信号に低域フィルタを掛けて生成する。Ｂの画素位置における低周波数信号ＲＬを、その周囲のＲ信号に低域フィルタを掛けて生成する。Ｇｂの画素位置における低周波数信号ＲＬを、その周囲のＲ信号に低域フィルタを掛けて生成する。

また、図２（ｅ）に表したように、Ｇｒの画素位置におけるＢの低周波数信号ＢＬを、その周囲のＢ信号に低域フィルタを掛けて生成する。Ｒの画素位置における低周波数信号ＢＬを、その周囲のＢ信号に低域フィルタを掛けて生成する。Ｂの画素位置における低周波数信号ＢＬを、その周囲のＢ信号及び注目画素のＢ信号に低域フィルタを掛けて生成する。Ｇｂの画素位置における低周波数信号ＢＬを、その周囲のＧｂ信号に低域フィルタを掛けて生成する。

図４は、低周波数画像生成手段に用いられる低域フィルタの特性図であって、各画素位置における各信号の周波数特性を表している。図４（ａ）〜（ｄ）において、ｆｖ軸が画素配列の垂直方向の空間周波数（サンプリング周波数Ｆｓ）、ｆｈ軸が画素配列の水平方向の空間周波数（サンプリング周波数Ｆｓ）、縦軸が出力値（信号通過量）を表している。また、縦軸方向の上から下に向かって、ＲＬ、ＧｒＬ及びＧｂＬ、ＢＬの順に分布している。

図４（ａ）は、Ｒの画素位置におけるＲＬの周波数特性、Ｇｒの画素位置におけるＧｒＬの周波数特性、Ｇｂの画素位置におけるＧｂＬの周波数特性、Ｂの画素位置におけるＢＬの周波数特性である。図４（ｂ）は、Ｒの画素位置におけるＧｒＬの周波数特性、Ｇｒの画素位置におけるＲＬの周波数特性、Ｇｂの画素位置におけるＢＬの周波数特性、Ｂの画素位置におけるＧｂＬの周波数特性である。図４（ｃ）は、Ｒの画素位置におけるＧｂＬの周波数特性、Ｇｒの画素位置におけるＢＬの周波数特性、Ｇｂの画素位置におけるＲＬの周波数特性、Ｂの画素位置におけるＧｒＬの周波数特性である。図４（ｄ）は、Ｒの画素位置におけるＢＬの周波数特性、Ｇｒの画素位置におけるＧｂＬの周波数特性、Ｇｂの画素位置におけるＧｒＬの周波数特性、Ｂの画素位置におけるＲＬの周波数特性である。

図４（ａ）〜（ｄ）に表したように、各低周波数信号の通過帯域が、ｆｖ方向及びｆｈ方向において０〜略（１／４）Ｆｓの範囲であるように構成されている。

次に、中周波数画像生成手段１２は、図３に表したように、注目画素毎の中周波数画素信号を、周囲の画素（５×５の画素範囲）に帯域フィルタを掛けてフィルタリングすることにより補間生成する。図３（ａ）が、Ｇｒの中周波数信号ＧｒＭを補間生成する際の帯域フィルタの係数配置図であって、図３（ｂ）が、Ｇｂの中周波数信号ＧｂＭを補間生成する際の帯域フィルタの係数配置図である。

詳しくは、図３（ａ）に表したように、Ｇｒの画素位置におけるＧｒの中周波数信号ＧｒＭを、その周囲のＧｒ信号及び注目画素のＧｒ信号に帯域フィルタを掛けて生成する。Ｒの画素位置における中周波数信号ＧｒＭを、その周囲のＧｒ信号に帯域フィルタを掛けて生成する。Ｂの画素位置における中周波数信号ＧｒＭを、その周囲のＧｒ信号に帯域フィルタを掛けて生成する。Ｇｂの画素位置における中周波数信号ＧｒＭを、その周囲のＧｒ信号に帯域フィルタを掛けて生成する。

また、図３（ｂ）に表したように、Ｇｒの画素位置におけるＧｂの中周波数信号ＧｂＭを、その周囲のＧｂ信号に帯域フィルタを掛けて生成する。Ｒの画素位置における中周波数信号ＧｂＭを、その周囲のＧｂ信号に対して帯域フィルタを掛けて生成する。Ｂの画素位置における中周波数信号ＧｂＭを、その周囲のＧｂ信号に対して帯域フィルタを掛けて生成する。Ｇｂの画素位置における中周波数信号ＧｂＭを、その周囲のＧｂ信号及び注目画素のＧｂ信号に帯域フィルタを掛けて生成する。

図５は、中周波数画像生成手段に用いられる帯域フィルタの特性図であって、各画素位置における各信号の周波数特性を表している。図５（ａ）〜（ｃ）において、ｆｖ軸が画素配列の垂直方向の空間周波数（サンプリング周波数Ｆｓ）、ｆｈ軸が画素配列の水平方向の空間周波数（サンプリング周波数Ｆｓ）、縦軸が出力値（信号通過量）を表している。また、縦軸方向の上から下に向かって、ＲＭ、ＧｒＭ及びＧｂＭ、ＢＭの順に分布している。

図５（ａ）は、Ｒの画素位置におけるＲＭの周波数特性、Ｇｒの画素位置におけるＧｒＭの周波数特性、Ｇｂの画素位置におけるＧｂＭの周波数特性、Ｂの画素位置におけるＢＭの周波数特性である。図５（ｂ）は、Ｒの画素位置におけるＧｒＭの周波数特性、Ｇｒの画素位置におけるＲＭの周波数特性、Ｇｂの画素位置におけるＢＭの周波数特性、Ｂの画素位置におけるＧｂＭの周波数特性である。図５（ｃ）は、Ｒの画素位置におけるＧｂＭの周波数特性、Ｇｒの画素位置におけるＢＭの周波数特性、Ｇｂの画素位置におけるＲＭの周波数特性、Ｂの画素位置におけるＧｒＭの周波数特性である。なお、Ｇｂの画素位置におけるＧｒＭ、Ｇｒの画素位置におけるＧｂＭ、Ｂの画素位置におけるＲＭ、Ｒの画素位置におけるＢＭ等の周波数特性は、全ての空間周波数で通過量が０であって、図５中には表れていない。

図５（ａ）〜（ｃ）に表したように、ＧｒＭ及びＧｂＭの通過帯域が、ｆｖ方向及びｆｈ方向において中心が（１／４）Ｆｓであって、（０）Ｆｓ及び（１／２）Ｆｓでは通過量が０になるように構成されている。

次に、画像処理装置２００は、図１に表したように、低域周波数画像生成手段１１を介して得られた低周波数信号を用いて偽色発生推定量信号（ＦＣＳ）を生成する偽色発生量推定手段１３、第一の色差信号（ＵＬ）及び第二の色差信号（ＶＬ）を生成する低周波数色差信号生成手段１４、低周波数輝度信号（ＹＬ）を生成する低周波数輝度信号生成手段１５、等を備えている。

また、画像処理装置２００は、中域周波数画像生成手段１２を介して得られた中周波数信号を用いて中周波数輝度信号（ＹＭ）を生成する中周波数輝度信号生成手段１６、第一の色差信号（ＵＬ）と第二の色差信号（ＶＬ）の夫々に対して偽色発生推定量信号（ＦＣＳ）を加減算して第三の色差信号（Ｕ）及び第四の色差信号（Ｖ）を生成する偽色抑制手段１７、低周波数輝度信号生成手段１５を介して得られた低域周波数輝度信号（ＹＬ）と中周波数輝度信号生成手段１６を介して得られた中周波数輝度信号（ＹＭ）とを合成して輝度信号（Ｙ）を生成する輝度合成手段１８、輝度信号（Ｙ）と第三の色差信号（Ｕ）及び第四の色差信号（Ｖ）とを用いて画素毎のカラー情報を生成する色空間変換手段１９、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１等を備え、ＣＰＵ２０がＲＯＭ２１に格納された制御用プログラムに従って当該画像処理装置２００及び撮像装置３００の各処理を制御する。

偽色発生量推定手段１３は、（式１）に表したように、低周波数画像生成手段１１で生成されたＧｒＬとＧｂＬ信号との差分を求めて、偽色発生推定量信号ＦＣＳを生成する。
ＦＣＳ＝ａｂｓ（ＧｒＬ−ＧｂＬ）／２ … （１）
この際、必要に応じて、偽色発生量推定手段１３で生成する偽色発生推定量信号ＦＣＳに対して、上限を設定したり、適切な係数を掛けて可変できるようにしたりしてもよい。

低周波数色差信号生成手段１４は、（式２）、（式３）に表したように、低周波数画像生成手段１１で生成された低周波数信号ＧｒＬと低周波数信号ＧｂＬとの平均値を求め、この平均値を低周波数信号ＢＬから減算して第一の色差ＵＬを生成すると共に、この平均値を低周波数信号ＲＬから減算して第二の色差ＶＬを生成する。
ＵＬ＝ＢＬ−（ＧｒＬ＋ＧｂＬ）／２ … （式２）
ＶＬ＝ＲＬ−（ＧｒＬ＋ＧｂＬ）／２ … （式３）

低周波数輝度信号生成手段１５は、（式４）に表したように、低周波数画像生成手段１１で生成された低周波数信号ＲＬと、低周波数信号ＧｒＬと、低周波数信号ＧｂＬと、低周波数信号ＢＬとの和を求めて低周波数輝度信号ＹＬを生成する。
ＹＬ＝ＲＬ＋ＧｒＬ＋ＧｂＬ＋ＢＬ … （式４）

中周波数輝度信号生成手段１６は、（式５）に表したように、中周波数画像生成手段１２で生成された中周波数信号ＧｒＭと中周波数信号ＧｂＭとの和を求め、これをＬ倍して中周波数輝度信号ＹＭを生成する。
ＹＭ＝（ＧｒＭ＋ＧｂＭ）×Ｌ … （式５）
（式５）において、Ｌは、Ｒ及びＢの中周波数帯の信号をＧの中周波数で推定する係数であって、必要に応じて略１〜４の間で調整する。

偽色抑制手段１７は、（式６）及び（式７）に表したように、第一の色差信号（ＵＬ）と第二の色差信号（ＶＬ）の夫々に対して、絶対値が０に近づくように偽色発生推定量信号（ＦＣＳ）を加減算し、第三の色差信号（Ｕ）及び第四の色差信号（Ｖ）を生成する
Ｕ＝ｓｉｇｎ（ＵＬ）＊ｍａｘ（０，ａｂｓ（ＵＬ）−ＦＣＳ） … （式６）
Ｖ＝ｓｉｇｎ（ＶＬ）＊ｍａｘ（０，ａｂｓ（ＵＬ）−ＦＣＳ） … （式７）

輝度合成手段１８は、（式８）に表したように、低周波数輝度信号生成手段１５で生成された低周波数輝度信号（ＹＬ）と、中周波数輝度信号生成手段１６で生成された中周波数輝度信号（ＹＭ）とを合成して輝度信号（Ｙ）を生成する。
Ｙ＝ＹＬ＋ＹＭ … （式８）
この際、必要に応じて、ＹＭに対して任意の係数を掛けて全体の輝度周波数特性を可変させてもよい。

色空間変換手段１９は、（式９）、（式１０）、（式１１）に表したように、輝度合成手段１８で生成された輝度信号（Ｙ）と、偽色抑制手段１７で生成された第三の色差信号（Ｕ）及び第四の色差信号（Ｖ）とを用いてカラー画像の画素毎のカラー情報（Ｒ、Ｇ、Ｂ）を生成する。
Ｒ＝Ｙ−Ｕ＋３＊Ｖ … （式９）
Ｇ＝Ｙ−Ｕ−Ｖ … （式１０）
Ｂ＝Ｙ＋３＊Ｕ−Ｖ … （式１１）
この際、必要に応じて、ＲＧＢの色空間に変換せずにＹＵＶの形式で出力したり、他の色空間に変換して出力したりしてもよい。

次に、図６に基づいて、画像処理方法の手順を説明する。この手順は、ＣＰＵ２０がＲＯＭ２１に格納されたプログラムに基づいて、各機能部に指令信号を与えて実行する。また、図６におけるＳは、ステップを表している。

まず、この手順は、ユーザによって画像処理装置２００及び撮像装置３００に起動信号が入力された際にスタートする。

次いで、Ｓ１００において、撮像部１００を介して画像信号（色モザイク画像）を画像処理装置２００に読み込み、モザイク画像記憶手段１０を用いてベイヤー配列に対応付けてＲ、Ｇｒ、Ｇｂ、Ｂ信号毎に記憶し、その後、Ｓ１１０及びＳ１２０に移る。

次いで、Ｓ１１０において、低周波数画像生成手段１１を用い、色モザイク画像に低域フィルタを掛けてフィルタリングし、低周波数帯のＲＬ信号、ＧｒＬ信号、ＧｂＬ信号、ＢＬ信号を生成し、その後、Ｓ１３０、Ｓ１４０、Ｓ１５０に移る。

次いで、Ｓ１３０において、偽色発生量推定手段１３を用い、Ｓ１１０で生成された低周波数信号のＧｒＬとＧｂＬ信号との差分を求めて偽色発生量推定信号ＦＣＳを生成する。

また、Ｓ１４０において、低周波数色差信号生成手段１４を用い、Ｓ１１０で生成された低周波数信号の、ＧｒＬ信号とＧｂＬ信号との平均値を求め、ＢＬ信号から前記平均値を減じて第一の色差信号ＵＬを生成すると共に、ＲＬ信号から前記平均値を減じて第二の色差信号ＶＬを生成する。

また、Ｓ１５０において、低周波数輝度信号生成手段１５を用い、Ｓ１１０生成されたＲＬ信号、ＧｒＬ信号、ＧｂＬ信号、ＢＬ信号の和を求めて低周波数輝度信号ＹＬを生成する。

次いで、Ｓ１３０及びＳ１４０からＳ１７０に移り、Ｓ１７０において、偽色抑制手段１７を用い、第一の色差信号ＵＬと第二の色差信号ＶＬの夫々に対して、絶対値が０に近づくように偽色発生推定量信号ＦＣＳを加減算し、第三の色差信号Ｕ及び第四の色差信号Ｖを生成し、その後、Ｓ１９０に移る。

一方、Ｓ１２０において、中周波数画像生成手段１２を用い、色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のＧｒＭ信号、ＧｂＭ信号を生成し、その後、Ｓ１６０に移る。

次いで、Ｓ１６０において、中周波数輝度信号生成手段１６を用い、Ｓ１２０で生成されたＧｒＭ信号とＧｂＭ信号との和を求め、この和に対応付けて中周波数輝度信号ＹＭを生成し、その後、Ｓ１８０に移る。

次いで、Ｓ１８０において、輝度合成手段１８を用い、Ｓ１５０で生成された低周波数輝度信号ＹＬとＳ１６０で生成された中周波数輝度信号ＹＭとを合成して輝度信号Ｙを生成し、その後、Ｓ１９０に移る。

次いで、Ｓ１９０において、色空間変換手段１９０を用い、Ｓ１７０で生成された色差信号（Ｕ、Ｌ）とＳ１８０で生成された輝度信号Ｙを、カラー画像の画素毎のカラー情報（Ｒ、Ｇ、Ｂ）に変換し、その後、本処理を終了する。

なお、本発明の低周波数画像生成ステップがＳ１１０に相当し、本発明の中周波数画像生成ステップがＳ１２０に相当し、本発明の偽色発生量推定ステップがＳ１３０に相当し、本発明の低周波数色差信号生成ステップがＳ１４０に相当し、本発明の低周波数輝度信号生成ステップがＳ１５０に相当し、本発明の中周波数輝度信号生成ステップがＳ１６０に相当し、本発明の偽色抑制ステップがＳ１７０に相当し、本発明の輝度合成ステップがＳ１８０に相当し、本発明の色空間変換ステップがＳ１９０に相当する。

以上のように、第一の実施形態における画像処理装置２００及び画像処理方法、画像処理プログラムによれば、低周波数画像生成手段１１と中周波数画像生成手段１２においてデモザイク処理に係る補間処理が同時に行われると共に、輝度信号Ｙ及び色差信号Ｕ、Ｖを生成する際の画素信号の生成が行われ、色空間変換手段１９に至る以降の工程においては補間処理が不要になるので、色モザイク画像からカラー画像を生成する際に処理負荷を低減できる。

また、図２及び図３に表したように、低周波数画像を補間生成する際の低域フィルタ及び中周波数画像を補間生成する際の帯域フィルタが５×５の画素範囲のフィルタサイズで実現できるので、注目画素の周辺画素を保持するためのメモリ容量が削減できて、演算量の削減ができる。

（第２の実施形態）
次に、本発明の第２の実施形態を図７〜図１１に基づいて説明する。第２の実施形態の基本的な構成は、第１の実施形態と共通するので、第１の実施形態と異なる部分について詳細に説明し、第１の実施形態と共通する構成部分については同じ符号を付与して詳細な説明を省く。

第２の実施形態は、第１の実施形態における低周波数色差信号生成手段１４の構成のみが異なるものであって、第２の実施形態における低周波数色差信号生成手段には符号１４Ａを付与し、第二低周波数色差信号生成手段１４Ａとして説明する。

図７に表したように、第二低周波数色差信号生成手段１４Ａは、低周波数画像生成手段１１で生成された画像信号ＧｒＬ、ＧｂＬ、ＲＬ、ＢＬに基づいて第１の色差信号ＵＬ及び第２の色差信号ＶＬを生成する。

詳しくは、第二低周波数色差信号生成手段１４Ａは、図７（ａ）に表したように、低周波数画像生成手段１１で生成された画像信号ＧｒＬからＧｂＬを減じて正又は負の差分値を算出する第一の減算手段１４ｂ及び第一の減算手段１４ｂで得られた差分値の正又は負の符号を取得する第一の符号取得手段１４ｃ、低周波数画像生成手段１１で生成された画像信号ＢＬからＲＬを減じて正又は負の差分値を算出する第二の減算手段１４ｄ及び第二の減算手段１４ｄで得られた差分値の正又は負の符号を取得する第二の符号取得手段１４ｅ、第一の符号取得手段１４ｃで取得した正又は負の符号と第二の符号取得手段１４ｅで取得した正又は負の符号とを乗算してその乗算結果としての正又は負の符号に応じて第一の色差信号及び第二の色差信号の演算式を切り換える第一、第二の指令信号を出力するＸＯＲ演算手段１４ｆ、ＸＯＲ演算手段１４ｆで得られた指令信号に応じて第一の色差信号及び第二の色差信号の演算式を切り換える第一の色差信号演算切り換え手段１４ｇ及び第二の色差色差信号切り換え手段１４ｈ、第一の色差信号演算切り換え手段１４ｇで切り換えられた演算式を用いて第一の色差信号ＵＬを算出する第一の色差信号算出手段１４ｊ、第二の色差信号演算切り換え手段１４ｈで切り換えられた演算式を用いて第二の色差信号ＶＬを算出する第二の色差信号算出手段１４ｋ、等によって構成されている。

ＸＯＲ演算手段１４ｆは、乗算結果が正の場合には、第一の演算式を指令する第一の指令信号を出力し、乗算結果が負の場合には、第二の演算式を指令する第二の指令信号を出力する。
第一の色差信号演算切り換え手段１４ｇは、ＸＯＲ演算手段１４ｆから第一の指令信号が入力された場合には第一の色差信号算出手段１４ｊにＧｒＬを出力し、ＸＯＲ演算手段１４ｆから第二の指令信号が入力された場合には第一の色差信号算出手段１４ｊにＧｂＬを出力する。

一方、第二の色差信号演算切り換え手段１４ｈは、ＸＯＲ演算手段１４ｆから第一の指令信号を入力された場合には第二の色差信号算出手段１４ｋにＧｂＬを出力し、ＸＯＲ演算手段１４ｆから第二の指令信号が入力された場合には第二の色差信号算出手段１４ｋにＧｒＬを出力する。

第一の色差信号算出手段１４ｊは、ＢＬ信号から第一の色差信号演算切り換え手段１４ｇを介して出力されたＧｒＬ信号又はＧｂＬ信号を減じて第一の色差信号ＵＬを算出する。具体的には、第一の色差信号算出手段１４ｊは、第一の色差信号演算切り換え手段１４ｇを介してＧｒＬ信号が出力された際には、第一の色差信号ＵＬをＵＬ＝ＢＬ−ＧｒＬの演算式で算出し、第一の色差信号演算切り換え手段１４ｇを介してＧｂＬ信号が出力された際には、第一の色差信号ＵＬをＵＬ＝ＢＬ−ＧｂＬの演算式で算出する。

第二の色差信号算出手段１４ｋは、ＲＬ信号から第二の色差信号演算切り換え手段１４ｈを介して出力されたＧｂＬ信号又はＧｒＬ信号を減じて第二の色差信号ＶＬを算出する。具体的には、第二の色差信号算出手段１４ｋは、第二の色差信号演算切り換え手段１４ｈを介してＧｂＬ信号が出力された際には、第二の色差信号ＶＬをＶＬ＝ＲＬ−ＧｂＬの演算式で算出し、第二の色差信号演算切り換え手段１４ｈを介してＧｒＬ信号が出力された際には、第二の色差信号ＶＬをＶＬ＝ＲＬ−ＧｒＬの演算式で算出する。

前述の構成により、（ＧｒＬ-ＧｂＬ）×（ＢＬ-ＲＬ）の演算式で得られる正又は負の演算符号に応じて第一の色差信号ＵＬ及び第二の色差信号ＶＬ算出の演算式が切り換えられる。
つまり、（ＧｒＬ-ＧｂＬ）×（ＢＬ-ＲＬ）の演算式で正の符号が得られた場合には、第一の色差信号ＵＬがＵＬ＝ＢＬ-ＧｒＬの演算式で算出され、第二の色差信号ＶＬがＶＬ＝ＲＬ-ＧｂＬの演算式で算出される。

また、前述の構成により、（ＧｒＬ-ＧｂＬ）×（ＢＬ-ＲＬ）の演算式で負の符号が得られた場合には、第一の色差信号ＵＬがＵＬ＝ＢＬ-ＧｂＬの演算式で算出され、第二の色差信号ＶＬがＶＬ＝ＲＬ-ＧｒＬの演算式で算出される。

前述した第２の実施形態による低周波数色差信号生成手段１４Ａによれば、（ＧｒＬ−ＧｂＬ）×（ＢＬ−ＲＬ）の演算式で得られる正又は負の符号に対応付けてモワレ（干渉縞）の方向を推定して、その推定結果に応じて第一の色差信号及び第二の色差信号生成の演算式を切り換えることにより、彩度を損なうことなく色モワレの発生を低減できる。以下に、第２の実施形態の第二低周波数色差信号生成手段１４Ａの作用効果を説明する。

図８は、第一の色差ＵＬ及び第二の色差ＶＬを、第１の実施形態中の（式２）、（式３）で算出して得られたＵＬ及びＶＬの特性図である。（式２）及び（式３）ではＵＬ及びＶＬを算出する際に、ＢＬ及びＲＬの夫々からＧｒＬとＧｂＬとの平均を減算している。

図８において、ｆｖ軸が画素配列の垂直方向の空間周波数、ｆｈ軸が画素配列の水平方向の空間周波数、縦軸が出力値を表している。また、図８（ａ）がＲの画素位置におけるＵＬ特性、図８（ｂ）がＲの画素位置におけるＶＬ特性、図８（ｃ）がＧｒの画素位置におけるＵＬ特性、図８（ｄ）がＧｒの画素位置におけるＶＬ特性を表している。

原色ＲＧＢのベイヤー配列では、色情報が、（ｆｈ，ｆＶ）＝（±ｆｓ／２，±ｆｓ／２）の周波数で変調されているので、この周波数成分を取り出して復調すれば色情報が得られる。この際、ｆｓ／２はナイキスト周波数である。

色情報を生成する際に理想的には、（ｆｈ，ｆＶ）＝（０，±ｆｓ／２）、（±ｆｓ／２，０）の周波数を拾わない方が良いが、図８の特性から分るように、（ｆｈ，ｆＶ）＝（０，±ｆｓ／２）、（±ｆｓ／２，０）の周波数において０．５程度の通過帯域を有しているため、この部分が偽色となって本来色のない領域に色がついてしまう。

そして、第１の実施形態中の（式６）及び（式７）を用いて色差信号Ｕ、Ｖを生成すれば、偽色発生量推定手段１３で生成される偽色発生推定量信号（ＦＣＳ）が、（ｆｈ，ｆＶ）＝（０，±ｆｓ／２）、（±ｆｓ／２，０）の周波数において発生している偽色と相関が高いが、画像に高周波数を多く含む場合には、偽色が発生していない箇所でも偽色発生推定量信号が大きな値となって、カラー画像の彩度が低下することがある。

そこで、本願発明者は、カラー画像の彩度が低下をすることなく偽色を低減する手段として、第二低周波数色差信号生成手段１４Ａに表したように、第一の色差信号ＵＬ及び第二の色差信号ＶＬを生成する際に、ＧｒＬとＧｂＬの平均値を用いずにどちらか一方を用いる方法を発明した。

つまり、第一の色差信号ＵＬ及び第二の色差信号ＶＬを生成する際に、ＧｒＬとＧｂＬの何れかを用いるとすれば、（式１２）及び（式１３）を用いる第一の演算式と（式１４）及び（式１５）を用いる第二の演算式とがある。そして、本実施形態では、（ＧｒＬ−ＧｂＬ）で得られる正又は負の符号と（ＢＬ−ＲＬ）で有られる正又は負の符号との組み合わせによって第一の演算方法と第二の演算方法とを切り換える。
「第一の演算式」
ＵＬ＝ＢＬ−ＧｒＬ … （式１２）
ＶＬ＝ＲＬ−ＧｂＬ … （式１３）
「第二の演算式」
ＵＬ＝ＢＬ−ＧｂＬ … （式１４）
ＶＬ＝ＲＬ−ＧｒＬ … （式１５）

第一、第二の演算式の夫々につき偽色の発生をＣＺＰ（Ｃｉｒｃｕｌａｒ Ｚｏｎｅ Ｐｌａｔｅ）で観察した結果、第一の演算式では（ｆｈ，ｆＶ）＝（±ｆｓ／２，０）で発生する偽色（縦縞）が減少し、（ｆｈ，ｆＶ）＝（０，±ｆｓ／２）で発生する偽色（横縞）が増加する。また、第二の演算式では、第一の演算式とは逆となり、（ｆｈ，ｆＶ）＝（０，±ｆｓ／２）で発生する偽色（横縞）が減少し、（ｆｈ，ｆＶ）＝（±ｆｓ／２，０）で発生する偽色（縦縞）が増加する。そして、本願発明者は、偽色の発生エリアが（ｆｈ，ｆＶ）＝（±ｆｓ／２，０）と（ｆｈ，ｆＶ）＝（０，±ｆｓ／２）との何れに近いか、つまり、縦縞と横縞の方向判定ができれば、その方向判定に基づいて色差信号の演算方法を切り換えることにより、偽色を抑制できることを見出した。

次に、図９は、第一の演算式を適用して得られたＲ画素及びＧｒ画素における色差信号の周波数特性である。図９において、ｆｖ軸が画素配列の垂直方向の空間周波数、ｆｈ軸が画素配列の水平方向の空間周波数、縦軸が出力値を表している。また、図９（ａ）がＲの画素位置におけるＵＬ特性、図９（ｂ）がＲの画素位置におけるＶＬ特性、図９（ｃ）がＧｒの画素位置におけるＵＬ特性、図９（ｄ）がＧｒの画素位置におけるＶＬ特性を表している。

図９において、ＵＬとＶＬともに、（ｆｈ，ｆＶ）＝（±ｆｓ／２，０）の周波数に
おいては、信号通過量が０となって、この周波数における偽色が発生しないが、（ｆｈ，ｆＶ）＝（０，±ｆｓ／２）の周波数においては、信号通過量が１となっているため偽色が発生する。また、第二の演算式を用いれば、図９においてｆｈとｆｖが入れ替わった特性となる。

従って、図９の周波数特性に基づいて、偽色発生エリアが（±ｆｓ／２，０）（０，±ｆｓ／２）の何れに近いか、つまり縦縞と横縞の方向判定ができれば、その方向判定に基づいて色差信号の演算式を切り換えることにより、偽色を抑制できる。

次に、縦縞と横縞との方向判定の手段を図１０及び図１１を用いて説明する。
図１０において、ｆｖ軸が画素配列の垂直方向の空間周波数、ｆｈ軸が画素配列の水平方向の空間周波数、縦軸が出力値を表している。また、図１０（ａ）がＧｒの画素位置における（ＧｒＬ−ＧｂＬ）の出力特性、図１０（ｂ）がＲの画素位置における（ＧｒＬ−ＧｂＬ）の出力特性、図１０（ｃ）がＢの画素位置における（ＧｒＬ−ＧｂＬ）の出力特性、図１０（ｄ）がＧｂの画素位置における（ＧｒＬ−ＧｂＬ）の出力特性を表している。

図１０（ｂ）に表したようにＲの画素位置において（ＧｒＬ−ＧｂＬ）の演算結果が正（＋）ならば横縞、負（−）ならば縦縞と推定でき、図１０（ｃ）に表したようにＢの画素位置において（ＧｒＬ−ＧｂＬ）の演算結果が正（＋）ならば縦縞、負（−）ならば横縞と推定できることが分った。しかしながら、図１０（ａ）及び図１０（ｄ）に表したようにＧｒ及びＧｂの画素位置においては、（ＧｒＬ−ＧｂＬ）の演算結果の符合によって縦縞と横縞との方向判定ができないことが分った。

一方、図１１（ａ）に表したようにＧｒの画素位置の画素位置において（ＢＬ−ＲＬ）の演算結果が正（＋）ならば縦縞、負（−）ならば横縞と推定でき、図１１（ｄ）に表したようにＧｂの画素位置の画素位置において（ＢＬ−ＲＬ）の演算結果が正（＋）ならば横縞、負（−）ならば縦縞と推定できることが分った。しかしながら、図１１（ｂ）及び図１１（ｃ）に表したようにＲの画素位置及びＢの画素位置においては、（ＢＬ−ＲＬ）の演算結果の符合によって縦縞と横縞との方向判定ができないことが分った。

したがって、図７（ｂ）に表したように、Ｇｒ、Ｒ、Ｂ、Ｇｂの画素位置における（ＧｒＬ−ＧｂＬ）及び（ＢＬ−ＲＬ）の演算結果で得られる符号に関連つけて縦縞と横縞との方向判定ができ、（ＧｒＬ−ＧｂＬ）×（ＢＬ−ＲＬ）の演算結果で得られる数値が、正（＋）ならば縦縞、負（−）ならば横縞と判定できる。

以上、本発明の一実施例について説明したが、本発明は前記実施例に限定されるものでなく、各種の態様をとることができる。例えば、図２及び図３において低域フィルタ及び帯域フィルタを５×５画素範囲としたが、演算量及び回路規模に余裕があれば更に広い画素範囲としてもよい。これにより、より急峻な特性を得ることができる。

本発明に係る画像処理装置及び画像処理方法、画像処理プログラムは、単板式の撮像素子を介して得られた色モザイク画像から画素毎に複数の色成分を備えたカラー画像を生成する際に好適である。

１…結像光学系、１ａ…撮像レンズ、１ｂ…Ｉｒｉｓ（絞り）、２…イメージセンサ、２ａ…撮像素子、２ｂ…可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、２ｃ…Ａ／Ｄ変換器、１０…モザイク画像記憶手段、１１…低周波数画像生成手段、１２…中周波数画像生成手段、１３…偽色発生量推定手段、１４…低周波数色差信号生成手段、１４Ａ…第二低周波数色差信号生成手段、１５…低周波数輝度信号生成手段、１６…中周波数輝度信号生成手段、１７…偽色抑制手段、１８…輝度合成手段、１９…色空間変換手段、２０…ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、２１…ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、１００…撮像部、２００…画像処理装置、３００…撮像装置。

Claims (21)

1. Ｒ（赤）Ｇ（緑）Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理装置であって、
   前記ベイヤー配列において、Ｒの横に位置するＧの画素をＧｒ、Ｂの横に位置するＧの画素をＧｂと表した際に、
   前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のＲ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号を生成する低周波数画像生成手段と、
   前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のＧｒ信号及びＧｂ信号を生成する中周波数画像生成手段と、
   前記低周波数画像生成手段を介して得られた低周波数信号を用いて、Ｇｒ信号とＧｂ信号との平均値を求め、Ｂ信号から前記平均値を減じて第一の色差信号を生成すると共に、Ｒ信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成手段と、
   前記低周波数画像生成手段で得られたＲ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成手段と、
   前記中周波数画像生成手段で得られたＧｒ信号とＧｂ信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成手段と、
   前記低周波数輝度信号と前記中周波数輝度信号とを合成して輝度信号Ｙを生成する輝度合成手段と、
   前記輝度合成手段で生成された輝度信号と前記低周波数色差信号生成手段で生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換手段と、
   を備えた画像処理装置。
2. 前記低周波数色差信号生成手段に代えて第二低周波数色差信号生成手段を備え、
   前記第二低周波数色差信号生成手段が、
   前記低周波数画像生成手段を介して得られた低周波数信号の、Ｇｒ信号からＧｂ信号を減じて得られた差分値の正（+）又は負（-）の符号と、Ｂ信号からＲ信号を減じて得られた差分値の正又は負の符号とを乗算し、
   前記前記低周波数画像生成手段を介して得られた低周波数信号のＧｒ信号、Ｇｂ信号、Ｂ信号、Ｒ信号を夫々ＧｒＬ、ＧｂＬ、ＢＬ、ＲＬと表し、前記第一の色差信号をＵＬ、前記第二の色差信号をＶＬと表した際に、
   前記乗算の結果が正（+）の際には、前記第一の色差信号ＵＬをＵＬ＝ＢＬ-ＧｒＬの演算式を用いて算出する共に、前記第二の色差信号ＶＬをＶＬ＝ＲＬ-ＧｂＬの演算式を用いて算出し、
   前記乗算の結果が負（-）の際には、前記第一の色差信号ＵＬをＵＬ＝ＢＬ-ＧｂＬの演算式を用いて算出する共に、前記第二の色差信号ＶＬをＶＬ＝ＲＬ-ＧｒＬの演算式を用いて算出する、
   ことを特徴とする請求項１に記載の画像処理装置。
   
3. 前記低周波数画像生成手段を介して生成されたＧｒ信号とＧｂ信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定手段と、
   前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が０に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制手段と、
   を備え
   前記色空間変換手段が、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成する、
   請求項１又は請求項２に記載の画像処理装置。
4. 前記低周波数画像生成手段において、サンプリング周波数をＦｓと表した際に、前記低周波数信号の通過帯域が０〜略（１／４）Ｆｓであるように構成されている、
   請求項１乃至請求項３の何れかに記載の画像処理装置。
5. 前記中周波数画像生成手段において、サンプリング周波数をＦｓと表した際に、前記中周波数信号の通過帯域が、中心が略（１／４）Ｆｓであって、（０）Ｆｓ及び（１／２）Ｆｓでは通過量が略０になるように構成されている、
   請求項１乃至請求項４の何れかに記載の画像処理装置。
6. 前記低周波数画像生成手段が、前記Ｒ、Ｇｒ、Ｇｂ、Ｂの画素位置において、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成する、
   請求項１乃至請求項５の何れかに記載の画像処理装置。
7. 前記中周波数画像生成手段が、前記Ｒ、Ｇｒ、Ｇｂ、Ｂの画素位置において、Ｇｒ及びＧｂの中周波数信号を生成する、
   請求項１乃至請求項６の何れかに記載の画像処理装置。
8. Ｒ（赤）Ｇ（緑）Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理方法であって、
   前記ベイヤー配列において、Ｒの横に位置するＧの画素をＧｒ、Ｂの横に位置するＧの画素をＧｂと表した際に、
   前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のＲ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号を生成する低周波数画像生成手順と、
   前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のＧｒ信号及びＧｂ信号を生成する中周波数画像生成手順と、
   前記低周波数画像生成手順を介して得られた低周波数信号を用いて、Ｇｒ信号とＧｂ信号との平均値を求め、Ｂ信号から前記平均値を減じて第一の色差信号を生成すると共に、Ｒ信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成手順と、
   前記低周波数画像生成手順で得られたＲ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成手順と、
   前記中周波数画像生成手順で得られたＧｒ信号とＧｂ信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成手順と、
   前記低域周波数輝度信号と前記中周波数輝度信号とを合成して輝度信号を生成する輝度合成手順と、
   前記輝度合成手順で生成された輝度信号と前記低周波数色差信号生成手順１４で生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換手順と、
   を用いる画像処理方法。
9. 前記低周波数色差信号生成手順に代えて第二低周波数色差信号生成手順を用い、
   前記第二低周波数色差信号生成手順が、
   前記低周波数画像生成手順を介して得られた低周波数信号の、Ｇｒ信号からＧｂ信号を減じて得られた差分値の正（+）又は負（-）の符号と、Ｂ信号からＲ信号を減じて得られた差分値の正又は負の符号とを乗算し、
   前記前記低周波数画像生成手順を介して得られた低周波数信号のＧｒ信号、Ｇｂ信号、Ｂ信号、Ｒ信号を夫々ＧｒＬ、ＧｂＬ、ＢＬ、ＲＬと表し、前記第一の色差信号をＵＬ、前記第二の色差信号をＶＬと表した際に、
   前記乗算の結果が正（+）の際には、前記第一の色差信号ＵＬをＵＬ＝ＢＬ-ＧｒＬの演算式を用いて算出する共に、前記第二の色差信号ＶＬをＶＬ＝ＲＬ-ＧｂＬの演算式を用いて算出し、
   前記乗算の結果が負（-）の際には、前記第一の色差信号ＵＬをＵＬ＝ＢＬ-ＧｂＬの演算式を用いて算出する共に、前記第二の色差信号ＶＬをＶＬ＝ＲＬ-ＧｒＬの演算式を用いて算出する、
   ことを特徴とする請求項８に記載の画像処理方法。
10. 前記低域周波数画像生成手順を介して生成されたＧｒ信号とＧｂ信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定手順と、
    前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が０に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制手順と、
    を用い、
    前記色空間変換手順が、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成する、
    請求項８又は請求項９に記載の画像処理方法。
11. 前記低周波数画像生成手順において、サンプリング周波数をＦｓと表した際に、前記低周波数信号の通過帯域が０〜略（１／４）Ｆｓである、
    請求項８乃至請求項１０の何れかに記載の画像処理方法。
12. 前記中周波数画像生成手順において、サンプリング周波数をＦｓと表した際に、前記中周波数信号の通過帯域が、中心が略（１／４）Ｆｓであって、（０）Ｆｓ及び（１／２）Ｆｓでは通過量が略０である、
    請求項８乃至請求項１１の何れかに記載の画像処理方法。
13. 前記低周波数画像生成手順において、前記Ｒ、Ｇｒ、Ｇｂ、Ｂの画素位置毎に、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成する、
    請求項８乃至請求項１２の何れかに記載の画像処理方法。
14. 前記中周波数画像生成手順において、前記Ｒ、Ｇｒ、Ｇｂ、Ｂの画素位置毎に、Ｇｒ及びＧｂの中周波数信号を生成する、
    請求項８乃至請求項１３の何れかに記載の画像処理方法。
15. Ｒ（赤）Ｇ（緑）Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理プログラムであって、
    前記ベイヤー配列において、Ｒの横に位置するＧの画素をＧｒ、Ｂの横に位置するＧの画素をＧｂと表した際に、
    前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のＲ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号を生成する低域周波数画像生成ステップと、
    前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のＧｒ信号及びＧｂ信号を生成する中周波数画像生成ステップと、
    前記低域周波数画像生成ステップを介して得られた低周波数信号を用いて、Ｇｒ信号とＧｂ信号との平均値を求め、Ｂ信号から前記平均値を減じて第一の色差信号を生成すると共に、Ｒ信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成ステップと、
    前記低域周波数画像生成ステップで得られたＲ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成ステップと、
    前記中周波数画像生成ステップで得られたＧｒ信号とＧｂ信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成ステップと、
    前記低域周波数輝度信号と前記中周波数輝度信号とを合成して輝度信号を生成する輝度合成ステップと、
    前記輝度合成ステップで生成された輝度信号と前記低周波数色差信号生成ステップで生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換ステップと、
    をコンピュータに実行させる画像処理プログラム。
16. 前記低周波数色差信号生成ステップに代えて第二低周波数色差信号生成ステップを備え、
    前記第二低周波数色差信号生成ステップが、
    前記低周波数画像生成手段を介して得られた低周波数信号の、Ｇｒ信号からＧｂ信号を減じて得られた差分値の正（+）又は負（-）の符号と、Ｂ信号からＲ信号を減じて得られた差分値の正又は負の符号とを乗算し、
    前記前記低周波数画像生成手段を介して得られた低周波数信号のＧｒ信号、Ｇｂ信号、Ｂ信号、Ｒ信号を夫々ＧｒＬ、ＧｂＬ、ＢＬ、ＲＬと表し、前記第一の色差信号をＵＬ、前記第二の色差信号をＶＬと表した際に、
    前記乗算の結果が正（+）の際には、前記第一の色差信号ＵＬをＵＬ＝ＢＬ-ＧｒＬの演算式を用いて算出する共に、前記第二の色差信号ＶＬをＶＬ＝ＲＬ-ＧｂＬの演算式を用いて算出し、
    前記乗算の結果が負（-）の際には、前記第一の色差信号ＵＬをＵＬ＝ＢＬ-ＧｂＬの演算式を用いて算出する共に、前記第二の色差信号ＶＬをＶＬ＝ＲＬ-ＧｒＬの演算式を用いて算出する、
    ことを特徴とする請求項１５に記載の画像処理プログラム。
17. 前記低域周波数画像生成ステップを介して生成されたＧｒ信号とＧｂ信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定ステップと、
    前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が０に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制ステップと、
    を用い
    前記色空間変換ステップが、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成する、
    請求項１５又は請求項１６に記載の画像処理プログラム。
18. 前記低周波数画像生成ステップにおいて、サンプリング周波数をＦｓと表した際に、前記低周波数信号の通過帯域が、０〜略（１／４）Ｆｓである、
    請求項１５乃至請求項１７の何れかに記載の画像処理プログラム。
19. 前記中周波数画像生成ステップにおいて、サンプリング周波数をＦｓと表した際に、前記中周波数信号の通過帯域が、中心が略（１／４）Ｆｓであって、（０）Ｆｓ及び（１／２）Ｆｓでは通過量が略０である、
    請求項１５乃至請求項１８の何れかに記載の画像処理プログラム。
20. 前記低周波数画像生成ステップにおいて、前記Ｒ、Ｇｒ、Ｇｂ、Ｂの画素位置毎に、夫々に対応付けられた色の低周波信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成する、
    請求項１５乃至請求項１９の何れかに記載の画像処理プログラム。
21. 前記中周波数画像生成ステップにおいて、前記Ｒ、Ｇｒ、Ｇｂ、Ｂの画素位置毎に、Ｇｒ及びＧｂの中周波数信号を生成する、
    請求項１５乃至請求項２０の何れかに記載の画像処理プログラム。

Images