JP2009100150A - 画像処理装置及び画像処理方法、画像処理プログラム - Google Patents

Abstract

【課題】 Ｂａｙｅｒ配列の単板式撮像装置から出力されたモザイク画像からカラー画像を生成する際に、赤と青との画像境界に沿って発生するジッパーアーチファクトやジャギーを抑制し、高品位なカラー画像を得る。
【課題手段】 Ｓ３００（輝度生成ステップ）として、Ｓ３１０において、色モザイク画像に対して、ローパスフィルタを掛けて色キャリアを除去し、画素毎の第一の輝度値を生成し、Ｓ３２０において、色モザイク画像からＧの画素を除いてＢとＲの画素からなるＢＲプレーンを生成し、Ｓ３３０において、ＢＲプレーンに帯域フィルタを掛けて輝度補正値を求め、Ｓ３４０において、第一の輝度値に対してＳ３３０で生成された補正値を加え第二の輝度値を生成する。
【選択図】図４

Description

本発明は、Ｒ（赤）Ｇ（緑）Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力された色モザイク画像から、カラー画像を生成する画像処理装置及び画像処理方法に関し、特に、撮像素子を介して出力された出力信号から輝度信号を生成する技術に関する。

従来、デジタルカメラなどの撮像系において、レンズを介して撮像素子に被写体像を結像して、この撮像素子によって被写体像を光電変換し、画像信号を生成する画像処理装置及び画像処理方法が知られている。

そして、単板式の撮像素子として、マトリクス状に複数の光電変換素子を備えると共に、その前面にカラーフィルタを備え、このカラーフィルタを介して出力した各色の画素信号に信号処理を加えて画像データを生成する画像処理装置及び画像処理方法が知られている。

撮像素子を１つだけ用いた、いわゆる単板式の撮像素子においては、撮像素子上の各画素に対応して特定の色フィルタ、たとえば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色フィルタが設けられている。通常、Ｒの色フィルタが設けられた画素をＲ画素（赤画素）、Ｇの色フィルタが設けられた画素をＧ画素（緑画素）、Ｂの色フィルタが設けられた画素をＢ画素（青画素）と呼ぶ。

また、単板式の撮像素子における代表的な色フィルタとして、原色ベイヤー配列と呼ばれる色フィルタが用いられている。原色ベイヤー配列の色フィルタは、水平方向にＲとＧが交互に配置された行と水平方向にＧとＢが交互に配置された行とが垂直方向に交互に配列され、水平方向２画素×垂直方向２画素（２×２画素）を１単位（１ユニット）とする複数の基本ブロックが周期的に配置されている。また、各基本ブロックは、２つの緑画素が一方の対角上に配置され、赤画素と青画素とが他方の対角上に配置された構造となっている。

そして、画像処理装置において、単板式撮像素子を介して出力された画像信号から輝度信号及び色差信号を生成し、これらの信号から、カラー画像の画像信号を生成しているものがある（例えば、特許文献１参照）。

詳しくは、単板式の撮像素子では各画素が単色の色情報しか持たないが、カラー画像を表示するためには、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の値すべてが各画素で必要である。このため単板式撮像素子を用いた画像処理では、各画素がＲ、Ｇ、Ｂ成分のうちの何れかのみを有する色モザイク画像にもとづいて、いわゆるデモザイク処理を行っている。ここで、デモザイク処理とは、色モザイク画像の各画素の単色情報に対してその周辺画素から集めた他の足りない色の輝度情報を用いて補間演算を行うことにより、各画素がそれぞれＲ、Ｇ、Ｂ成分の全てを有するカラー画像を生成する処理である（所謂、色補間処理である）。

また、輝度信号を生成する際の簡素な方法としては、撮像素子から出力された色モザイク画像に対して、例えば（式１）に表したローパスフィルタを用いてフィルタリングを直接することで色キャリア成分を除去し、フィルタを介して得られた画素信号を用いて輝度を生成する方法が知られている（例えば、特許文献２参照）。つまり、色モザイク画像に対して一様なローパスフィルタを介して出力された画素信号を輝度信号としている（以下、ＳｗｉｔｃｈＹ輝度生成法という）。
特開２０００−３４１７０２号公報 特開２０００−２８７２１９号公報

しかしながら、従来のように注目画素を中心として、所定の画素範囲にローパスフィルタを掛けて輝度を生成する方法によれば、特に斜めの赤画像と青画像との画像境界に沿って、明暗がギザギザ模様のジッパーアーチファクト（Ｚｉｐｐｅｒ Ａｒｔｉｆａｃｔ）が発生し、さらに改善の余地があった。ここで、ジッパーアーチファクトとは、デモザイク処理によって、本来の画像にない明暗が画像境界に沿ってジッパー状（所謂、スライドファスナー状である）に現れる現象をいう

詳しくは、図９（ａ）に表したように、画像境界Ｌを介して、右上領域（図中のＲＵ）に（Ｒ，Ｇ，Ｂ）＝（０，０，１）の輝度を持つ青画像が結像し、左下領域（図中のＬＤ）に（Ｒ，Ｇ，Ｂ）＝（１，０，０）の輝度を持つ赤画像が結像した際に、色モザイク画像は、図９（ｂ）に表したように、右上領域の画像範囲ではＢ画素が１、左下領域の画像範囲ではＲ画素が１となり、他の画素は全て０になる。

そして、図９（ｂ）に表した画像信号に対して、色キャリア成分除去のために（式１）のローパスフィルタを掛けると、図９（ｃ）に表したように、境界線Ｌに沿って好ましくない画素値３／１６、５／１６が交互に生成され、ジッパーアーチファクトと呼ばれる明暗のパターンが発生する。また、このような画像境界における輝度の不整合は、赤と青との境界に限らず、赤と青の色差が変化する領域で生じ易く、カラー画像にジャギー（ｊａｇｇｉｅｓ）となって現れる。

そこで、本発明は、原色ベイヤー配列の単板式撮像装置から出力されたモザイク画像からカラー画像を生成する際に、赤と青との画像境界に沿って発生するジッパーアーチファクトやジャギーを抑制し、高品位なカラー画像を得ることができる画像処理装置及び画像処理方法を提供することを目的とする。

かかる目的を達成するためになされた請求項１に記載の発明は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一の色情報を有する色モザイク画像を用いて、前記撮像素子の出力に対応する撮像画素の配列における所定位置の対象点毎に、複数の色情報を備えたカラーあるいは輝度画像を生成する画像処理装置であって、前記モザイク画像の前記Ｒ、Ｇ、Ｂ毎に前記対象点を包含する所定の画素範囲が設定され、前記画素範囲に位置する前記Ｒ、Ｇ、Ｂの画素値にもとづいて、前記対象点における輝度を生成する輝度生成手段を備え、前記輝度を生成する際の、前記Ｒ及びＢの少なくとも何れか一方の画素範囲が前記Ｇの画素範囲よりも広く設定されている、ことを特徴とする。

請求項１に記載の画像処理装置によれば、モザイク画像の前記Ｒ、Ｇ、Ｂ毎に対象点を包含する所定の画素範囲が設定され、この画素範囲に位置するＲ、Ｇ、Ｂの画素値にもとづいて、対象点における輝度を生成する輝度生成手段を備え、輝度を生成する際の、前記Ｒ及びＢの少なくとも何れか一方の画素範囲が前記Ｇの画素範囲よりも広く設定されているので、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができる。

次に、請求項２に記載の発明は、請求項１に記載の画像処理装置における前記輝度生成手段が、前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、水平方向３画素及び垂直方向３画素内に含まれる最大４つのＧｒの画素値及び最大４つのＧｂの画素値と、水平方向５画素及び垂直方向５画素内に含まれる最大９つのＲの画素値及び最大９つのＢの画素値と、に基づいて前記対象点の輝度を生成するように構成されている、ことを特徴とする。

請求項２に記載の画像処理装置によれば、輝度生成手段が、水平方向３画素及び垂直方向３画素内に含まれる最大４つのＧｒの画素値及び最大４つのＧｂの画素値と、水平方向５画素及び垂直方向５画素内に含まれる最大９つのＲの画素値及び最大９つのＢの画素値と、に基づいて前記対象点の輝度を生成するように構成されているので、ジッパーアーチファクトの抑制を限られた回路規模で実現できる。

次に、請求項３に記載の発明は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力された色モザイク画像にもとづいて、複数の色情報を備えたカラー画像を生成する画像処理装置であって、前記モザイク画像上に、輝度生成の対象点を包含する所定の画素範囲が設定され、前記画素範囲内に位置する前記Ｒ、Ｇ、Ｂの画素値にもとづいて、注目画素における輝度を生成する輝度生成手段を備え、前記輝度生成手段が、前記色モザイク画像に対して、ローパスフィルタを掛けて色キャリアを除去し、画素毎の輝度値を生成する第一輝度生成手段と、前記色モザイク画像から前記Ｇの画素を除いてＢとＲの画素からなるＢＲ色モザイク画像を生成するＢＲプレーン生成手段と、前記ＢＲプレーンに対して、帯域フィルタを掛けてフィルタリングし、該帯域フィルタを介して出力された画素毎の出力値を輝度の補正値として求める補正値生成手段と、前記第一輝度生成手段によって生成された第一の輝度値に対して前記補正値生成手段で生成された補正値を加え第二の輝度値を生成する第二輝度生成手段と、を備え、前記第二の輝度値が、前記カラー画像における輝度値であることを特徴とする。

請求項３に記載の画像処理装置によれば、輝度生成手段が、色モザイク画像に対して、ローパスフィルタを掛けて色キャリアを除去し、画素毎の輝度値を生成する第一の輝度生成手段と、色モザイク画像からＧの画素を除いてＢとＲの画素からなるＢＲ色モザイク画像を生成するＢＲプレーン生成手段と、ＢＲプレーンに対して、帯域フィルタを掛けてフィルタリングし、該帯域フィルタを介して出力された画素毎の出力値を輝度の補正値として求める補正値生成手段と、第一輝度生成手段によって生成された輝度値に対して補正値生成手段で生成された補正値を加え第二の輝度値を生成する第二輝度生成手段と、を備えているので、第一の輝度に現れるジッパーアーチファクトを補正値で打ち消して、ジッパーアーチファクトが抑制された第二の輝度を得ることができる。

また、請求項３に記載の画像処理装置は、請求項４に記載の発明のように、前記ローパスフィルタが３×３画素のカーネル（ｋｅｒｎａｌ）によるコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）であることにより、簡便に第一の輝度を生成できる。

また、請求項３に記載の画像処理装置は、請求項５に記載の発明のように、前記帯域フィルタが５×５画素のカーネル（ｋｅｒｎａｌ）によるコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）であることにより、簡便に第二の輝度を生成できる。

次に、請求項６に記載の発明は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理装置であって、前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解部と、前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成部と、前記Ｒの画素位置おいて、該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成部と、前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリング手段と、前記サンプリング手段を介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成手段と、を備えていることを特徴とする。

請求項６に記載の画像処理装置によれば、色モザイク画像を、Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成部と、Ｒの画素位置おいて、Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成部と、カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリング手段と、サンプリング手段を介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成手段と、を備えているので、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができ、さらには、色モザイク画像の画素位置に関らず、任意の画素位置において高品位な輝度を生成できる。

また、請求項６に記載の発明は、請求項７に記載の発明のように、前記輝度生成手段が、前記Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成することにより、赤系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。

また、請求項６に記載の発明は、請求項８に記載の発明のように、前記輝度生成手段が、前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成することにより、青系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。

次に、請求項９に記載の発明は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一の色情報を有する色モザイク画像を用いて、前記撮像素子の出力に対応する撮像画素の配列における所定位置の対象点毎に、複数の色情報を備えたカラーあるいは輝度画像を生成する画像処理方法であって、前記モザイク画像の前記Ｒ、Ｇ、Ｂ毎に前記対象点を包含する所定の画素範囲が設定され、前記画素範囲に位置する前記Ｒ、Ｇ、Ｂの画素値にもとづいて、前記対象点における輝度を生成する輝度生成ステップを用い、前記輝度生成ステップで前記輝度を生成する際に、前記Ｒ及びＢの少なくとも何れか一方の画素範囲が前記Ｇの画素範囲よりも広く設定されていることを特徴とする。

請求項９に記載の画像処理方法によれば、記モザイク画像の前記Ｒ、Ｇ、Ｂ毎に対象点を包含する所定の画素範囲が設定され、画素範囲に位置するＲ、Ｇ、Ｂの画素値にもとづいて、対象点における輝度を生成する輝度生成ステップを用い、輝度生成ステップで輝度を生成する際に、Ｒ及びＢの少なくとも何れか一方の画素範囲がＧの画素範囲よりも広く設定されているので、請求項１に記載の発明と同様に、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができる。

次に、請求項１０に記載の発明は、請求項９に記載の画像処理方法における前記輝度生成ステップが、前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、水平方向３画素及び垂直方向３画素内に含まれる最大４つのＧｒの画素値及び最大４つのＧｂの画素値と、水平方向５画素及び垂直方向５画素内に含まれる最大９つのＲの画素値及び最大９つのＢの画素値とに基づいて前記対象点の輝度を生成することを特徴とする。

請求項１０に記載の画像処理方法によれば、請求項２に記載の発明と同様に、ジッパーアーチファクトの抑制を限られた演算量で実現できる。

次に、請求項１１に記載の発明は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力された色モザイク画像にもとづいて、複数の色情報を備えたカラー画像を生成する画像処理方法であって、前記モザイク画像上に、輝度生成の対象点を包含する所定の画素範囲が設定され、前記画素範囲内に位置する前記Ｒ、Ｇ、Ｂの画素値にもとづいて、注目画素における輝度を生成する輝度生成ステップを用い、前記輝度生成ステップにおいて、前記色モザイク画像に対して、ローパスフィルタを掛けて色キャリアを除去し、画素毎の第一の輝度値を生成する第一輝度生成ステップと、前記色モザイク画像から前記Ｇの画素を除いてＢとＲの画素からなるＢＲプレーンを生成するＢＲプレーン生成ステップと、前記ＢＲプレーンに対して、帯域フィルタを掛けてフィルタリングし、該帯域フィルタを介して出力された画素毎の出力値を輝度の補正値として求める補正値生成ステップと、前記第一輝度生成ステップによって生成された第一の輝度値に対して前記補正値生成ステップで生成された補正値を加え第二の輝度値を生成する第二輝度生成ステップとを用い、前記第二の輝度値を前記カラー画像における輝度値とすることを特徴とする。

請求項１１に記載の画像処理方法によれば、モザイク画像上に、輝度生成の対象点を包含する所定の画素範囲が設定され、画素範囲内に位置するＲ、Ｇ、Ｂの画素値にもとづいて、注目画素における輝度を生成する輝度生成ステップを用い、輝度生成ステップにおいて、色モザイク画像に対して、ローパスフィルタを掛けて色キャリアを除去し、画素毎の第一の輝度値を生成する第一輝度生成ステップと、色モザイク画像から前記Ｇの画素を除いてＢとＲの画素からなるＢＲプレーンを生成するＢＲプレーン生成ステップと、ＢＲプレーンに対して、帯域フィルタを掛けてフィルタリングし、該帯域フィルタを介して出力された画素毎の出力値を輝度の補正値として求める補正値生成ステップと、第一輝度生成ステップによって生成された輝度値に対して補正値生成ステップで生成された補正値を加え第二の輝度値を生成する第二輝度生成ステップとを用い、第二の輝度値をカラー画像における輝度値とするので、請求項３に記載の発明と同様に、第一の輝度に現れるジッパーアーチファクトを補正値で打ち消して、ジッパーアーチファクトが抑制された第二の輝度を得ることができる。

また、請求項１１に記載の画像処理方法は、請求項１２に記載の発明のように、前記ローパスフィルタが３×３画素のカーネル（ｋｅｒｎａｌ）によるコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）であることにより、請求項４に記載の発明と同様に、簡便に第一の輝度を生成できる。

また、請求項１１又は請求項１２に記載の画像処理方法は、請求項１３に記載の発明のように、前記帯域フィルタが５×５画素のカーネル（ｋｅｒｎａｌ）によるコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）であることにより、請求項５に記載の発明と同様に、簡便に第二の輝度を生成できる。

次に、請求項１４に記載の発明は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理方法であって、前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、前記Ｒの画素位置おいて、該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、前記サンプリングステップを介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成ステップと、を用いることを特徴とする。

請求項１４に記載の画像処理方法によれば、色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、Ｒの画素位置おいて、該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、サンプリングステップを介して生成されたＲプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成してカラー画像の各画素の輝度を生成する輝度生成ステップと、を用いていることにより、請求項６に記載の発明と同様に、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができ、さらには、色モザイク画像の画素位置に関らず、任意の画素位置において高品位な輝度を生成できる。

次に、請求項１４に記載の画像処理方法は、請求項１５に記載の発明のように、輝度生成ステップにおいて、Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成することにより、請求項７に記載の発明と同様に、赤系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。

また、請求項１４に記載の発明は、請求項１６に記載の発明のように、前記輝度生成ステップが、前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成することにより、請求項８に記載の発明と同様に、青系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。

次に、請求項１７に記載の発明は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一の色情報を有する色モザイク画像を用いて、前記撮像素子の出力に対応する撮像画素の配列における所定位置の対象点毎に、複数の色情報を備えたカラーあるいは輝度画像を生成する画像処理プログラムであって、前記モザイク画像の前記Ｒ、Ｇ、Ｂ毎に前記対象点を包含する所定の画素範囲が設定され、前記画素範囲に位置する前記Ｒ、Ｇ、Ｂの画素値にもとづいて、前記対象点における輝度を生成する輝度生成ステップを用い、前記輝度生成ステップで前記輝度を生成する際に、前記Ｒ及びＢの少なくとも何れか一方の画素範囲を前記Ｇの画素範囲よりも広く設定する、ようにコンピュータに実行させることを特徴とする。

請求項１７に記載の画像処理プログラムによれば、色モザイク画像の前記Ｒ、Ｇ、Ｂ毎に前記対象点を包含する所定の画素範囲が設定され、画素範囲に位置するＲ、Ｇ、Ｂの画素値にもとづいて、対象点における輝度を生成する輝度生成ステップを用い、輝度生成ステップで輝度を生成する際に、Ｒ及びＢの少なくとも何れか一方の画素範囲をＧの画素範囲よりも広く設定するようにコンピュータに実行させることにより、請求項１に記載の発明と同様に、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができる。

また、請求項１７に記載の画像処理プログラムは、請求項１８に記載の発明のように、前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、前記輝度生成ステップが、水平方向３画素及び垂直方向３画素内に含まれる最大４つのＧｒの画素値及び最大４つのＧｂの画素値と、水平方向５画素及び垂直方向５画素内に含まれる最大９つのＲの画素値及び最大９つのＢの画素値と、に基づいて前記対象点の輝度を生成するようにコンピュータに実行させることにより、請求項２に記載の発明と同様に、ジッパーアーチファクトの抑制を限られたリソースで実現できる。

次に、請求項１９に記載の発明は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力された色モザイク画像にもとづいて、複数の色情報を備えたカラー画像を生成する画像処理プログラムであって、前記モザイク画像上に、輝度生成の対象点を包含する所定の画素範囲が設定され、前記画素範囲内に位置する前記Ｒ、Ｇ、Ｂの画素値にもとづいて、注目画素における輝度を生成する輝度生成ステップを用い、前記輝度生成ステップにおいて、前記色モザイク画像に対して、ローパスフィルタを掛けて色キャリアを除去し、画素毎の第一の輝度値を生成する第一の輝度生成ステップと、前記色モザイク画像から前記Ｇの画素を除いてＢとＲの画素からなるＢＲプレーンを生成するＢＲプレーン生成ステップと、前記ＢＲプレーンに対して、帯域フィルタを掛けてフィルタリングし、該帯域フィルタを介して出力された画素毎の出力値を輝度の補正値として求める補正値生成ステップと、前記第一の輝度生成ステップによって生成された第一の輝度値に対して前記補正値生成ステップで生成された補正値を加え第二の輝度値を生成し、前記第二の輝度値を前記カラー画像における輝度値として生成する第二輝度生成ステップと、をコンピュータに実行させることを特徴とする。

請求項１９に記載の画像処理プログラムによれば、輝度生成ステップにおいて、色モザイク画像に対して、ローパスフィルタを掛けて色キャリアを除去し、画素毎の第一の輝度値を生成する第一の輝度生成ステップと、色モザイク画像からＧの画素を除いてＢとＲの画素からなるＢＲプレーンを生成するＢＲプレーン生成ステップと、ＢＲプレーンに対して、帯域フィルタを掛けてフィルタリングし、該帯域フィルタを介して出力された画素毎の出力値を輝度の補正値として求める補正値生成ステップと、第一の輝度生成ステップによって生成された輝度値に対して補正値生成ステップで生成された補正値を加え第二の輝度値を生成し、第二の輝度値をカラー画像における輝度値として生成する第二輝度生成ステップと、をコンピュータに実行させることにより、請求項３に記載の発明と同様に、請求項３に記載の発明と同様に、第一の輝度に現れるジッパーアーチファクトを補正値で打ち消して、ジッパーアーチファクトが抑制された第二の輝度を得ることができる。

また、請求項１９に記載の画像処理プログラムは、請求項２０に記載の発明のように、前記ローパスフィルタが３×３画素のカーネル（ｋｅｒｎａｌ）によるコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）であることにより、請求項４に記載の発明と同様に、簡便に第一の輝度を生成できる。

また、請求項１９又は請求項２０に記載の画像処理プログラムは、請求項２１に記載の発明のように、前記帯域フィルタが５×５画素のカーネル（ｋｅｒｎａｌ）によるコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）であることにより、請求項５に記載の発明と同様に、簡便に第二の輝度を生成できる。

次に、請求項２２に記載の発明は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理プログラムであって、前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、前記Ｒの画素位置おいて、該Ｒの画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、前記サンプリングステップを介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成ステップと、をコンピュータに実行させることを特徴とする。

請求項２２に記載の画像処理プログラムによれば、色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、Ｂの画素位置おいて、Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、Ｒの画素位置おいて、Ｒの画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、サンプリングステップを介して生成されたＲプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成してカラー画像の各画素の輝度を生成する輝度生成ステップと、をコンピュータに実行させることにより、請求項６に記載の発明と同様に、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができ、さらには、色モザイク画像の画素位置に関らず、任意の画素位置において高品位な輝度を生成できる。

また、請求項２２に記載の画像処理プログラムは、請求項２３に記載の発明のように、輝度生成ステップにおいて、Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成することにより、請求項７に記載の発明と同様に、赤系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。

また、請求項２２に記載の発明は、請求項２４に記載の発明のように、前記輝度生成ステップが、前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成することにより、請求項８に記載の発明と同様に、青系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。

本発明の画像処理装置、画像処理方法及び画像処理プログラムは、モザイク画像のＲ、Ｇ、Ｂ毎に対象点を包含する所定の画素範囲が設定され、この画素範囲に位置するＲ、Ｇ、Ｂの画素値にもとづいて、対象点における輝度を生成し、且つ、輝度を生成する際の前記Ｒ及びＢの少なくとも何れか一方の画素範囲が前記Ｇの画素範囲よりも広く設定されているので、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができる。

また、本発明の画像処理装置、画像処理方法及び画像処理プログラムは、輝度を生成する際に、色モザイク画像に対して、ローパスフィルタを掛けて色キャリアを除去して画素毎の第一の輝度値を生成すると共に、色モザイク画像からＧの画素を除いてＢとＲの画素からなるＢＲプレーンを生成し、ＢＲプレーンに対して、帯域フィルタを掛けてフィルタリングし、該帯域フィルタを介して出力された画素毎の出力値を輝度の補正値として求め、第一の輝度値に対して補正値を加えて第二の輝度値を生成することにより、第一の輝度に現れるジッパーアーチファクトを補正値で打ち消して、ジッパーアーチファクトが抑制された第二の輝度を得ることができる。

また、本発明の画像処理装置、画像処理方法及び画像処理プログラムは、水平方向３画素及び垂直方向３画素内に含まれる最大４つのＧｒの画素値及び最大４つのＧｂの画素値と、水平方向５画素及び垂直方向５画素内に含まれる最大９つのＲの画素値及び最大９つのＢの画素値と、に基づいて前記対象点の輝度を生成するように構成されているので、ジッパーアーチファクトの抑制を限られたリソースで効果的に実現できる。

また、本発明の画像処理装置、画像処理方法及び画像処理プログラムは、色モザイク画像を、Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成部と、Ｒの画素位置おいて、Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成部と、カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリング手段と、サンプリング手段を介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成手段と、を備えているので、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができ、さらには、色モザイク画像の画素位置に関らず、任意の画素位置において高品位な輝度を生成できる。

また、本発明の画像処理装置、画像処理方法及び画像処理プログラムは、輝度を生成する際に、Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成することにより、赤系画像境界に現れるジッパーアーチファクトを効果的に抑制することができ、Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成することにより、青系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。

（第１の実施形態）
次に、本発明の画像処理装置、画像処理方法及び画像処理プログラムの一実施例を図面にもとづいて説明する。

図１は本発明が適用された第１の実施形態における撮像装置の構成を表したブロック図、図２は同実施形態におけるベイヤー配列の色モザイク画像の構成を表した図、図３は同実施形態における輝度生成の説明図であって、（ａ）がＳｗｉｔｃｈＹ生成部で生成された仮の輝度Ｙ_０を表し、（ｂ）が輝度Ｙ_０を補正すべく生成された補正値Ｄを表し、（ｃ）が仮の輝度Ｙ_０から補正値Ｄの所定量を減じて補正された輝度Ｙ_１を表した図である。また、図４は、同実施形態における、画像処理方法及び画像処理プラグラムの手順を表したフローチャートである。

図１表したように、撮像装置１は、被写体像を撮像素子５に導いてデジタル画像信号Ｃ（モザイク状の画像信号である）として出力する撮像ユニット２と、撮像ユニット２を介して出力されたデジタル画像信号Ｃに基づいて、画素毎に複数の色情報を備えたカラー画像を生成する画像処理装置１００とによって構成されている。

撮像ユニット２には、被写体像Ｐを撮像素子５に導く撮像レンズ３、受光した撮像光を電気量に変換して出力する撮像素子（例えばＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）５、撮像素子５から出力されるアナログ画像信号をデジタル画像信号Ｃに変換して出力するＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）６、撮像素子５及びＡＦＥ６を所定の周期で制御するＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１３、撮像レンズ３の光軸方向（図３中のＺ方向）のスライド駆動を行うレンズ駆動部１２、センサ１１を介して撮像レンズ３のＺ方向のスライド量を検出する検出部１０等が備えられている。なお、本発明は、撮像レンズ３、レンズ駆動部１２、センサ１１、検出部１０等の有無に限定されるものではなく、後述のように、ＲＧＢ３色のベイヤー配列のカラーフィルタを有する撮像素子５を介して出力される色モザイク画像の画像処理に係るものである。

撮像素子５は、複数の光電変換素子がマトリクス状に並設されて構成され、夫々の光電変換素子毎に撮像信号を光電変換してアナログ画像信号を出力するように構成されている。

また、撮像素子５は、光電変換素子に対応付けてＲ（赤）Ｇ（緑）Ｂ（青）３色のベイヤー（Ｂａｙｅｒ）配列からなるカラーフィルタ５ａを備え、各色のフィルタ部を通過した光量を電気信号に変換する。

ＡＦＥ６は、撮像素子５を介して出力されたアナログ画像信号に対してノイズを除去する相関二重サンプリング回路（ＣＤＳ：Ｃｏｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）７、相関二重サンプリング回路７で相関二重サンプリングされた画像信号を増幅する可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）８、可変利得増幅器９を介して入力された撮像素子５からのアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器９、等によって構成され、撮像素子５から出力された画像信号を、光電変換素子に対応付けてデジタル画像信号Ｃに変換して画像処理装置１００に出力する。

なお、撮像ユニット２において、撮像素子５、相関二重サンプリング回路７、可変利得増幅器８、Ａ／Ｄ変換器９等に代えて、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを用いてもよい。撮像素子５から出力される画素毎の信号が単一色の情報しかもたないので、撮像ユニット２から画像処理装置１００に、モザイク状の画像信号が出力される。

次に、画像処理装置１００は、撮像ユニット２から出力されたモザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分離する色プレーン分解部２１、色プレーン分解部２１から出力された画素信号にもとづいてカラー画像の画素位置におけるカラー画像信号としての輝度を生成する輝度生成部２５及び色差を生成する色差生成部３０を備えている。

また、画像処理装置１００は、輝度生成部２５及び色差生成部３０から出力されたカラー画像信号に対してカラー画像の見栄えを良くするために公知のガンマ補正や彩度補正、エッジ強調を行う視覚補正部３４、視覚補正部３４を介して出力されたカラー画像を例えばＪＰＥＧ等の方法で圧縮する圧縮部３５、圧縮部３５を介して出力されたカラー画像を例えばフラッシュメモリ等の記録媒体に記憶する記録部３６、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１８、ＲＯＭ（Ｒｅｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１９等によって構成され、ＣＰＵ１８がＲＯＭ１９に格納された制御用プログラムに従って、当該画像処理装置１００及び撮像装置１の各処理を制御する。

色プレーン分解部２１は、図２に表したベイヤー配列に対応付けられて、Ｒの画素信号を記憶するＲフィールドメモリ２２と、Ｇｒ（一方向においてＲに隣接するＲ）の画素信号を記憶するＧｒフィールドメモリ２３ａと、Ｇｂ（一方向においてＢに隣接するＲ）の画素信号を記憶するＧｂフィールドメモリ２３ｂと、Ｂの画素信号を記憶するＢフィールドメモリ２４と、によって構成され、ＣＰＵ１８からの指令に基づき、これらの画素信号を輝度生成部２５及び色差生成部３０に出力する。なお、各色フィールドメモリは、仮想的な物であり、実際には各色フィールドが単一のメモリ上で区別可能なように各色フィールドをアドレスによって振り分けてもよい。

次に、輝度生成部２５は、色モザイク画像の配列におけるＲ、Ｇ、Ｂ毎に対象点（注目画素）を包含する画素範囲が設定されて、この画素範囲に位置するＲ、Ｇ、Ｂの画素値にもとづいて対象点の輝度を生成する。

輝度生成部２５は、注目画素及び注目画素の周囲の画素の画素値に所定の係数を掛けて合計し仮の輝度Ｙ_０を生成するＳｗｉｔｃｈＹ生成部２６、色モザイク画像からＧの画素を除いてＲ及びＢの画素値のみからなるＲＢプレーンを生成するＲＢプレーン生成部２７、ＲＢプレーンに対して所定の帯域フィルタを掛けて輝度の補正値Ｄを生成する輝度補正値生成部２８、仮の輝度Ｙ_０から補正値Ｄに所定の係数を乗じた量を減じて第二の輝度Ｙ_１を生成する輝度補正部２９等によって構成されている。なお、本発明の請求項３における輝度生成手段が輝度生成部２５によってその機能が発現され、本発明の請求項３における第一輝度生成手段がＳｗｉｔｃｈＹ生成部２６によってその機能が発現され、本発明の請求項３における第二輝度生成手段が輝度補正部２９によってその機能が発現される。

詳しくは、ＳｗｉｔｃｈＹ生成部２６において、色モザイク画像における注目画素を中心として３×３の画素範囲内に位置する各画素値に（式１）で表したローパスフィルタを掛けて画素値を合計し、注目画素の仮の輝度Ｙ_０が求められる。つまり、注目画素を中心としたｕｖ方向３画素を設定して各画素位置に応じた重み付けをし、これらの和を注目画素の仮の輝度Ｙ_０としている。なお、本実施例では、図９（ａ）に表したように、色モザイク画像が、画像境界Ｌを介して、右上領域に（Ｒ，Ｇ，Ｂ）＝（０，０，１）の輝度を持ち、左下領域に（Ｒ，Ｇ，Ｂ）＝（１，０，０）の輝度を持つように、青と赤の画像が画成されて結像しているものとし、以下に説明する。

ＳｗｉｔｃｈＹ生成部２６では、図３（ａ）に表したように仮の輝度Ｙ_０が求められる。図３（ａ）において、各画素位置に記入された画素値の１／１６が仮の輝度Ｙ_０（所謂、本発明における第一の輝度である）である。例えば、図３（ａ）における（ｕ，ｖ）＝（１，１）に位置する画素Ａ_１１の輝度Ｙ_０は、Ｙ_０＝（Ａ_０0×１＋Ａ_１０×２＋Ａ_２０×１＋Ａ_０１×２＋Ａ_１１×４＋Ａ_２１×２＋Ａ_０２×１＋Ａ_１２×２＋Ａ_２２×１）／１６の演算式で算出され、図９（ｂ）を参照してこの演算式にＡ_０0＝０、Ａ_１０＝０、Ａ_２０＝０、Ａ_０１＝０、Ａ_１１＝０、Ａ_２１＝１、Ａ_０２＝０、Ａ_１２＝１、Ａ_２２＝０、を代入すると、Ｙ_０＝４／１６が得られる。

そして、ＲＢプレーン生成部２７では、色モザイク画像におけるＧの画素に位置する画素値が０となるので、図９（ｂ）と同じ様に画像境界Ｌを介して右上領域域のＢ画素と左下領域のＲ画素の位置に画素値を有するＲＢプレーンが生成される。

次に、輝度補正値生成部２８では、ＲＢプレーン生成部２７で生成されたＲＢプレーンにおいて、注目画素を中心として５×５の画素範囲内に位置する各画素値に（式２）で表した帯域フィルタを掛けて画素値を合計し、注目画素における輝度の補正値Ｄを求める。つまり、注目画素を中心としたｕｖ方向５画素を設定して画素位置に応じた重み付けをし、これらの和を注目画素の補正値Ｄとしている。

そして、図３（ｂ）に表したようにＢの画素とＲの画素に補正値Ｄが生成される。図３（ｂ）において、各画素位置に記入された数値の１／６４が補正値Ｄである。例えば、図３（ａ）における（ｕ，ｖ）＝（３，２）に位置する画素Ａ_３２の補正値Ｄは、Ｄ＝（Ａ_１0×（−１）＋Ａ_２０×（−２）＋Ａ_３０×（−２）＋Ａ_４０×（−２）＋Ａ_５０×（−１）＋Ａ_１1×（−２）＋Ａ_２1×（０）＋Ａ_３1×（４）＋Ａ_４1×（０）＋Ａ_５1×（−２）＋Ａ_１２×（−２）＋Ａ_２２×（４）＋Ａ_３２×（１２）＋Ａ_４２×（４）＋Ａ_５２×（−２）＋Ａ_１３×（−２）＋Ａ_２３×（０）＋Ａ_３３×（４）＋Ａ_４３×（０）＋Ａ_５３×（−２）＋Ａ_１４×（−１）＋Ａ_２４×（２）＋Ａ_３４×（２）＋Ａ_４４×（−２）＋Ａ_５４×（−１））／６４の演算式で算出され、図９（ｂ）を参照してこの演算式にＡ_２１、Ａ_４１、Ａ_１２、Ａ_４３、Ａ_１４、Ａ_３４の画素位置の画素値を１としてその他の画素位置の画素値を０として代入すると、数値（−５）／６４が得られる。

この際、（式２）で表した帯域フィルタは、（式３）に表したように２段階のフィルタに分けて適用しても良い。

次に、輝度補正部２９では、ＳｗｉｔｃｈＹ生成部２６で生成された仮の輝度Ｙ_０から補正値に係数ｋ＝２／３を乗じた量を減じて、図３（ｃ）に表したように第二の輝度Ｙ_１を求める。

図３（ｃ）において、各画素位置に記入された数値の１／９６が第二の輝度Ｙ_１である。ここで、ＳｗｉｔｃｈＹ生成部２６で生成された仮の輝度Ｙ_０（図３（ａ））と輝度補正部２９で補正されて生成された第二の輝度Ｙ_１（図３（ｃ））とを比較すると、画像境界Ｌに沿って、仮の輝度Ｙ_０よりも輝度Ｙ_１の輝度変化が少なくて、ジッパーアーチファクトが抑制されていることが判る。

係数ｋについては、ｋ＝２／３がジッパーアーチファクトの抑制のために最適であるが、０＜ｋ＜（４／３）の範囲であれば、ジッパーアーチファクト抑制の効果を得ることができる。また、数値２／３が、２進数において０．１０１０１０…ｂと表現されるので、ｋを、１／２（２進数では０．１ｂ）〜３／４（２進数では０．１１ｂ）の範囲において、２進数が簡素な数値になるように設定しても良い。

また、輝度生成部２５では、ＲＢプレーンに対して（式２）を用いて補正値Ｄを求め、この補正値Ｄに係数を乗じた量を仮の輝度Ｙ_０から減じて第二の輝度Ｙ_１を算出したが、これらの代わりに、色モザイクのＧの画素位置に対しては（式４）を用いて第二の輝度Ｙ_１を算出し、Ｂ及びＲの画素位置に対しては（式５）を用いて第二の輝度Ｙ_１を算出してもよい。これにより、輝度補正部２９で算出される第二の輝度Ｙ_１と（式４）及び（式５）で算出される第二の輝度Ｙ_１が同じ値をもつことになる。

また、（式４）及び（式５）において、左辺の５×５の行列はＧ画素に位置する値を０にしたものであって、この０の画素を無視すれば、注目画素を中心として周辺３×３の画素内に存在する４または５つのＧ画素と、周辺５×５画素内に存在する４または９つのＲ及びＢ画素が、第二の輝度Ｙ_１の算出に用いられている。これにより、本発明の請求項１における輝度生成手段が輝度生成部２５によってその機能が発現される。

また、第二の輝度Ｙ_１を算出する際に、Ｇ画素のみを取り出したＧプレーンに（式１）のフィルタを掛け、一方、Ｒ及びＢ画素のみを取り出したＲＢプレーンに対しては（式６）のフィルタを掛け、両フィルタを介して出力された画素値の和を第二の輝度Ｙ_１としてもよい。

また、（式６）のフィルタは、（式７）に表したように２段階のフィルタで構成してもよい。

次に、色差生成部３０は、注目画素を中心とする所定の画素範囲に含まれる各画素値を用いて、注目画素の色成分となる色差Ｃ１及び色差Ｃ２を生成する。ここで、Ｃ１は、Ｇｒの画素信号とＧｂの画素信号との和からＲの画素信号とＢの画素信号とを減じた値を表し、一方、Ｃ２は、Ｒの画素信号とＢの画素信号の差を表す。具体的には、所定の画素範囲において、Ｒ：Ｇ：Ｂ＝（−１）：２：（−１）の構成比となるようにＣ１を生成し、一方、Ｒ：Ｇ：Ｂ＝２：０：（−２）の構成比となるようにＣ２を生成する。

Ｃ１、Ｃ２の生成の一例として、以下に記載する。まず、注目画素を中心とする画素範囲において、注目画素がＧ画素の際には色モザイク画像に（式８）のフィルタを施し、注目画像がＢ、Ｒ画素の際には色モザイク画像に（式９）のフィルタを施し、その結果を注目画素位置における色差Ｃ１とする。

また、注目画素を中心とする画素範囲において、Ｒ画素に対しては色モザイク画像に（式１０）のフィルタを施し、Ｇｒ画素に対しては色モザイク画像に（式１１）のフィルタを施し、Ｇｂ画素に対しては色モザイク画像に（式１２）のフィルタを施し、Ｂ画素に対しては色モザイク画像に（式１３）のフィルタを施し、その結果を注目画素位置における色差Ｃ２とする。なお、本発明は輝度生成に係る発明であって、色差の生成に制限されるものではない。

次に、視覚補正部３４は、輝度信号生成部２５で得られた輝度信号Ｙ_１及び色差生成部で得られた色差信号Ｃ１、Ｃ２に対して所定の処理を加え、これらの色信号からなるカラー画像の見栄えを補正する。例えば、色差信号Ｃ１、Ｃ２に対して低周波フィルタ処理を施して偽色や色ノイズを低減したり、輝度信号Ｙ_１に対して高周波強調を行うことで解像感を強調したりする。

なお、本発明の実施例によって生成される輝度信号Ｙ_１は、ＳｗｉｔｃｈＹ方式で生成あれる輝度信号Ｙ_０に較べて、白黒被写体におけるｆｓ／４（ｆｓは、サンプリング周波数である）付近の変調度が低減するので、視覚補正部３４を介してｆｓ／４付近の変調度を高めるように高周波強調を行うことが望ましい。

また視覚補正部３４は、圧縮部３５で画像信号を圧縮する際に、標準的なカラー画像の色空間座標としてＹＵＶ色度座標が用いられるので、輝度生成部２５で生成された輝度信号Ｙ_０及び色差生成部３５で生成された色差Ｃ１、Ｃ２をＹＵＶ値へ変換する（Ｙが画素の輝度、Ｕが輝度Ｙと青（Ｂ）との色差、Ｖが輝度Ｙと赤（Ｒ）との色差である）。詳しくは、輝度生成部２５で生成された輝度信号Ｙ_０及び色差生成部３０で生成された色差Ｃ１、Ｃ２から（式１４）の関係があるため、（式１５）を用いてＹＵＶ値へ変換を行う。

次に、図４を用いて、前記第１の実施形態の、画像処理方法及び画像処理プラグラムの手順を説明する。この手順は、ＣＰＵ１８がＲＯＭ１９に格納されたプログラムにもとづいて、各機能部に指令信号を与えて実行する。また、図４におけるＳはステップを表している。

まず、この手順は、オペレータによって撮像装置１又は画像処理装置１００に起動信号が入力された際にスタートする。

次いで、Ｓ１００において、撮像ユニット２を介して画像信号（色モザイク画像）を画像処理装置１００に読み込み、色プレーン分解部２１で、ベイヤー配列に対応付けて、Ｒ画素信号、Ｇｒ画素信号、Ｇｂ画素信号、Ｂ画素信号毎に記憶し、その後、Ｓ２００に移る。

次いで、Ｓ２００において、色モザイク画像の画素配列に対応して対象点（注目画素）を設定し、その後、Ｓ３００に移る。この際、設定される対象点は、色モザイク画像のいずれかの画素であり、ＲＯＭ１９に格納されたプログラムにより決定される。

次いで、Ｓ３００において、対象点（注目画素）の輝度を生成する。詳しくは、図４（ｂ）に表したように、Ｓ３１０において、ＳｗｉｔｃｈＹ生成部２６を用い、色モザイク画像における注目画素を中心として３×３の行列に位置する各画素値に（式１）で表したローパスフィルタを掛けて画素値を合計し、注目画素の仮の輝度Ｙ_０を求め、その後、Ｓ３４０に移る。

一方、Ｓ３２０において、ＲＢプレーン生成部２７を用い、色モザイク画像におけるＧ画素に位置する画素値を０とし、Ｒ及びＢ画素のみが画素値を有するＲＢプレーンを生成し、その後、Ｓ３３０に移る。

次いで、Ｓ３３０において、輝度補正値生成部２８を用い、ＲＢプレーン生成部２７で生成されたＲＢプレーンにおいて、注目画素を中心として５×５の行列に位置する各画素値に（式２）で表した帯域フィルタを掛けて注目画素における補正値Ｄを生成し、その後、Ｓ３４０に移る。

次いで、Ｓ３４０において、輝度補正部２９を用い、Ｓ３１０で生成した仮の輝度Ｙ_０からＳ３３０で生成した補正値Ｄに所定の係数ｋを乗算した量を減じて輝度Ｙ_１を求め、その後、図４（ａ）のＳ５００に移る。

次いで、Ｓ５００において、輝度を生成する次の対象点（注目画素）が有るか否かを判定し、次の対象点が有る（Ｙｅｓ）際には、Ｓ２００〜５００を繰り返し、次の対象点（注目画素）が無い（Ｎｏ）となった際に、Ｓ６００に移る。

次いで、Ｓ６００において、視覚補正部３４を用い、輝度生成部２５及び色差生成部３０で生成されたカラー画像信号（輝度Ｙ_１、色差Ｃ１、色差Ｃ２）に対して、画像の見栄えを良くするための画像補正、標準的なカラー画像の色空間座標であるＹＵＶ色度座標への変換等を行い、その後、Ｓ７００に移る。

次いで、Ｓ７００において、圧縮部３５を用いて、視覚補正部３４を介して出力されたカラー画像のデジタル画像信号をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の方法で圧縮し、記録時の画像データのサイズを小さくし、その後、Ｓ８００に移る。

次いで、Ｓ８００において、記録部３６を用いて、圧縮されたデジタル画像信号をフラッシュメモリ等の記録媒体に記憶し、その後、本画像処理プログラムを終了する。

以上のように、第１の実施形態に記載の画像処理装置１００及び画像処理方法及び画像処理プログラムによれば、色モザイク画像から、ＳｗｉｔｃｈＹ生成部２６を用いて仮の輝度Ｙ_０を生成するとともに、ＲＢプレーン生成部２７及び輝度補正値生成部２８を用いて補正値Ｄを生成し、次いで、輝度補正部２９を用いて、輝度Ｙ_０から補正値を減算し、ジッパーアーチファクトを抑制した輝度Ｙ_１を生成でき、高品位なカラー画像を得ることができる。

（第２の実施形態）
次に、図５〜図８を用いて、本発明の第２の実施形態を説明する。図５は、本発明の画像処理装置及び画像処理方法、画像処理プログラムが適用された一実施例の、撮像装置１Ａの構成を表したブロック図である。

また、図６は同第２の実施形態におけるＢ＠Ｒプレーン及びＲ＠Ｂプレーン生成する説明図、図７は同第２の実施形態における色生成の際のサンプリングの説明図、図８は同第２の実施形態における画像処理方法及び画像処理プラグラムの手順を表したフローチャートである。

尚、第２の実施形態における撮像装置１Ａは、基本的に第１の実施形態で表した撮像装置１と同じ構成なので、共通と成る構成部分につては同一の符号を付与して詳細な説明を省き、特徴と成る部分について以下に説明する。

本発明における撮像ユニット２Ａでは、レンズ駆動部１２を介して、撮像レンズ３が光軸方向にスライド自在に構成され、撮像レンズ３の焦点距離や撮像レンズ３から被写体までの被写体距離といったレンズステートを可変可能に構成されている。

図５に表したように、撮像ユニット２Ａには、当該撮像装置１Ａのブレを検知し、そのブレ量に応じた電気信号（以下、ブレ信号という）を出力する角速度センサ（例えば、ジャイロ）１５が備えられ、画像処理装置１００Ａには角速度センサ１５を介して撮像装置１Ａのブレ量を検出するブレ検出部４０が備えられている。

また、画像処理装置１００Ａは、撮像ユニット２Ａから出力された入力画像（モザイク画像）を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分離して記憶する色プレーン分解部２１、焦点距離や被写体との距離といった撮像レンズ３のレンズステートを検出するレンズステート検出部３７、撮像レンズ３のレンズステートに対応付けて歪曲収差係数を記憶した収差係数記憶テーブル３８、レンズステート検出部３７及び収差係数記録部３８からの情報に基づいて歪曲収差のパラメータを設定する収差係数設定部３９、ブレ検出部４０からの検出値に基づくブレ補正や収差係数設定部３９からの設定値に基づく収差補正を行うように、入力画像におけるサンプリング位置を設定するサンプリング座標設定部４１等を備えている。

また、画像処理装置１００Ａは、Ｂの画素配置おいて、Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置（以下、Ｒ＠Ｂと記す）として補間生成するＲ＠Ｂプレーン生成部５１、Ｒの画素位置おいて、Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置（以下、Ｂ＠Ｒと記す）として補間生成するＢ＠Ｒプレーン生成部５２、モザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリング部５３と、サンプリング部５３で生成されたＲプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して画素毎に複数の色成分を備えた色情報を生成する色生成部５４等を備えている。

色プレーン分解部２１は、図７に表したように、（ａ）のベイヤー配列の色モザイク画像から、Ｒ画素のみを取り出したＲプレーン（ｂ）、Ｇｒ画素のみを取り出したＧｒプレーン（ｃ）、Ｇｂ画素のみを取り出したＧｂプレーン（ｄ）、Ｂ画素のみを取り出したＢプレーン（ｅ）の、４つのプレーンに分解する。この際、Ｒ画素に対して横方向に並ぶＧ画素をＧｒとし、Ｂ画素に対して横方向に並ぶＧ画素をＧｂとしている。また、ここでは、色モザイク画像が、第１の実施形態において引用したように、画像境界Ｌを介して、右上領域に（Ｒ，Ｇ，Ｂ）＝（０，０，１）の輝度を持ち、左下領域に（Ｒ，Ｇ，Ｂ）＝（１，０，０）の輝度を持つように、青と赤の画像が画成されて結像しているものとする。

次に、Ｂ＠Ｒプレーン生成部５１は、図６（ａ）〜（ｃ）に表したように、図（ａ）の色モザイク画像のＲ画素の位置におけるＢ画素の値を生成する。詳しくは、Ｂ＠Ｒプレーンは、ＢプレーンをＲ画素の位置において再サンプリングした輝度信号であり、Ｂプレーンに対して（式１６）のフィルタを施して生成される。

例えば、Ａ_３２の画素位置におけるＢ＠ＲプレーンのＢの輝度信号は、Ａ_３２の画素を中心とするＡ_２１、Ａ_４１、Ａ_２３、Ａ_４３の画素値を用い、（Ａ_２１×１＋Ａ_４１×１＋Ａ_２３×１＋Ａ_４３×１）／４の演算式で算出され、図６（ｂ）を参照してこの演算式に、Ａ_２１、Ａ_４１、Ａ_４３の画素値を１、Ａ_２３の画素値を０として代入すると、輝度信号３／４が得られる。

この結果、図６（ｃ）に表したように、Ｂ＠Ｒプレーンは、Ｒの画素位置で値を持ち、Ｒの画素位置を除く他の画素位置では値が０となる。

次に、Ｒ＠Ｂプレーン生成部５２は、図６（ａ）、（ｄ）、（ｅ）に表したように、図（ａ）の色モザイク画像のＢ画素の位置におけるＲ画素の値を生成する。詳しくは、Ｒ＠Ｂプレーンは、ＲプレーンをＢ画素の位置において再サンプリングした輝度信号であり、Ｒプレーンに対して（式１６）のフィルタを施して生成される。

例えば、Ａ_４３の画素位置におけるＲ＠ＢプレーンのＲの輝度信号は、Ａ_４３の画素を中心とするＡ_３２、Ａ_５２、Ａ_３４、Ａ_５４の画素値を用い、（Ａ_３２×１＋Ａ_５２×１＋Ａ_３４×１＋Ａ_５４×１）／４の演算式で算出され、図６（ｄ）を参照してこの演算式に、Ａ_３２、Ａ_５２、Ａ_５４の画素値を０、Ａ_３４の画素値を１として代入すると、輝度信号１／４が得られる。

この結果、図６（ｅ）に表したように、Ｒ＠Ｂプレーンは、Ｂの画素位置で値を持ち、Ｂ画素を除く他の画素位置では値が０となる。

次に、サンプリング座標設定部４１は、歪曲収差補正や手ぶれ補正、デジタルズームといった画像変形を考慮し、収差係数設定部３９及びブレ検出部４０で取得されたパラメータに基づいて、出力するカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標を設定する。

ここでは、色モザイク画像における（式１７）に表した画素位置を、（式１８）に表した出力画像上の画素位置に変形させるものとする。なお、（式１８）において、（ｕ_ｓ，ｖ_ｓ）が出力画像の画素位置の座標を表し、ｆが画像変形の変形関数を表す。

例えば、出力するカラー画像の画素位置が、ズーム倍率がＺ倍であれば（式１９）であり、回転角度θの画像変形であれば（式２０）である。この際、サンプリング座標設定部４１において、（式２１）に表した出力画素に対して、変形前のモザイク画像上におけるサンプリング座標（式２２）を算出する。なお、画素位置は、（ｕ，ｖ）座標系における整数格子上に設定されているが、（式２２）で算出されたサンプリング座標の値は、整数とは限らず実数となる。

また、サンプリング座標設定部４１において色収差補正を行う際には、変形関数ｆがＲ、Ｇ、Ｂの色毎に異なる関数ｆ_Ｒ、ｆ_Ｇ、ｆ_Ｂとなって、サンプリング座標がＲ、Ｇ、Ｂ毎に、（式２３）、（式２４）、（式２５）となる。また、ｆを（式２６）で表した恒等変換とすれば、実施形態１と同じ結果が得られる。

次に、サンプリング部５３は、図７に表したように、色プレーン分解部２１で生成された４つの色プレーン（Ｒプレーン、Ｇｒプレーン、Ｇｂプレーン、Ｂプレーン）と、Ｒ＠Ｂ生成部で生成されたＲ＠Ｂプレーン、Ｂ＠Ｒ生成部５１で生成されたＢ＠Ｒプレーンに基づいて、サンプリング座標設定部４１で設定されたサンプリング位置におけるサンプリング値（サンプリング位置における色毎の画素値である）を算出する。

つまり、サンプリング座標として、Ｒプレーンからは（ｕ_ｓＲ，ｖ_ｓＲ）、Ｇｒプレーンからは（ｕ_ｓＧ，ｖ_ｓＧ）、Ｇｂプレーンからは（ｕ_ｓＧ，ｖ_ｓＧ）、Ｂプレーンからは（ｕ_ｓＢ，ｖ_ｓＢ）、Ｒ＠Ｂプレーンからは（ｕ_ｓＲ，ｖ_ｓＲ）、Ｂ＠Ｒプレーンからは（ｕ_ｓＢ，ｖ_ｓＢ）が算出される。

この際、サンプリング座標（ｕ_ｓ，ｖ_ｓ）が整数と限らない（つまり、（ｕ_ｓ，ｖ_ｓ）が一つの画素中心に一致するとは限らない）ので、サンプリング値は、（ｕ_ｓ，ｖ_ｓ）を囲む４つの有値画素（各色プレーンが元々もっている同一色の画素値）から線形補間して算出する。この補間は、好ましくは、バイリニア補間によって行う。

図７（ｈ）に表したように、各色プレーンが縦横の格子点状に４つの有値画素を持つため、サンプリング座標４０１〜４０６を囲む４つの有値画素は、当該サンプリング座標が（１００．８，１０１．４）であれば、サンプリング座標を囲んで一辺の長さが２の正方形の頂点に位置する。

つまり、例えばＲプレーンに対するサンプリング座標（ｕ_ｓＲ，ｖ_ｓＲ）が（１００．８，１０１．４）であれば、これを囲む４つの有値画素の座標（ｕ，ｖ）が、（１００，１００）、（１００，１０２）、（１０２，１００）、（１０２，１０２）となる。

そこで、サンプリング座標を介して対向する有値画素間の距離の比（ここでは、ｕ方向が０．４：０．６、ｖ方向が０．７：０．３である）を求め、４つの有値画素の画素値を用いて、サンプリング位置（１００．８，１０１．４）におけるＲの画素値を補間によって算出する。

そして、４つの有値画素の画素値をＲ（１００，１００）、Ｒ（１００，１０２）、Ｒ（１０２，１００）、Ｒ（１０２，１０２）で表し、サンプリング位置（１００．８，１０１．４）のＲの画素値をＲ（１００．８，１０１．４）で表すと、Ｒプレーン上でのサンプリング座標４０１の画素値Ｒ（１００．８，１０１．４）を、Ｒ（１００．８，１０１．４）＝０．６＊０．３＊Ｒ（１００，１００）＋０．６＊０．７＊Ｒ（１００，１０２）＋０．４＊０．３＊Ｒ（１０２，１００）＋０．４＊０．７＊Ｒ（１０２，１０２）、の演算式によって算出できる。

Ｇｒプレーン上でのサンプリング座標４０２におけるＧｒの画素値、Ｇｂプレーン上でのサンプリング座標４０３におけるＧｂの画素値、
Ｂプレーン上でのサンプリング座標４０４におけるＢの画素値、Ｒ＠Ｂプレーン上でのサンプリング座標４０５におけるＲの画素値、Ｂ＠Ｒプレーン上でのサンプリング座標におけるＢの画素値等も、Ｒプレーンと同様に、サンプリング座標を囲む４つの有値画素の画素値から補間によって算出できる。

なお、サンプリング座標設定部４１では、出力カラー画像における全画素に対応付けてサンプリング座標を設定し、サンプリング部５３では、これらの全サンプリング座標におけるサンプリング値を算出する。そして、このサンプリング値を出力カラー画像の対応する画素位置に配置することにより画像信号と見なせる。

次に、色生成部５４は、出力カラー画像の各画素における輝度を生成する輝度生成部５４Ａと色差を生成する色差生成部５４Ｂと、によって構成されている。なお、本発明の請求項６における輝度生成手段が輝度生成部５４Ａによってその機能が発現され、本発明の請求項２におけるサンプリング手段がサンプリング部５３によってその機能が発現される。

輝度生成部５４Ａは、出力カラー画像の各画素において、サンプリング部５３で算出されたＧｒ、Ｇｂ、Ｒ、Ｒ＠Ｂ、Ｂ、Ｂ＠Ｒの画素値を、１：１：（１−ｋ）：ｋ：（１−ｋ）：ｋ、の比率で合成するように、輝度信号Ｙを、Ｙ＝Ｇｒ＋Ｇｂ＋（１−ｋ）Ｒ＋ｋＲ＠Ｂ＋（１−ｋ）Ｂ＋ｋＢ＠Ｒ、とする。この際、輝度信号の構成比率は、Ｒ：Ｇ：Ｂ＝１：２：１である。

輝度Ｙを求める際に用いた係数ｋについては、ｋ＝２／３がジッパーアーチファクトの抑制のために最適であるが、ｋ＝２／３の近傍であればジッパーアーチファクト抑制の効果が得られる。また、数値２／３が、２進数において０．１０１０１０…ｂと表現されるので、ｋを、１／２（２進数では０．１ｂ）〜３／４（２進数では０．１１ｂ）の範囲において、２進数が簡素な数値になるように設定しても良い。

また、輝度ＹにおけるＲとＲ＠Ｂの和Ｒ_ｔｏｔは、Ｒ_ｔｏｔ＝（１−ｋ）Ｒ＋ｋＲ＠Ｂの演算式で表されるが、Ｒ＠Ｂの出自を組み入れて次式のように変形できる。

つまり、ＲとＲ＠Ｂの和Ｒ_ｔｏｔ（ｕ_ｓＲ，ｖ_ｓＲ）は、Ｒ_ｔｏｔ（ｕ_ｓＲ，ｖ_ｓＲ）＝（１−ｋ）＊Ｒ（ｕ_ｓＲ，ｖ_ｓＲ）＋ｋ＊Ｒ＠Ｂ（ｕ_ｓＲ，ｖ_ｓＲ）＝（１−ｋ）＊Ｒ（ｕ_ｓＲ，ｖ_ｓＲ）＋（ｋ／４）＊Ｒ（ｕ_ｓＲ−１，ｖ_ｓＲ−１）＋（ｋ／４）＊Ｒ（ｕ_ｓＲ−１，ｖｓＲ＋１）＋（ｋ／４）＊Ｒ（ｕ_ｓＲ−１，ｖ_ｓＲ＋１）＋（ｋ／４）＊Ｒ（ｕ_ｓＲ−１，ｖ_ｓＲ−１）、となる。

例えば、図７に表したように（ｕ_ｓＲ，ｖ_ｓＲ）＝（１００．８，１０１．４）での値を例にすると、Ｒ_ｔｏｔ（１００．８，１０１．４）＝（１−ｋ）（０．６＊０．３＊Ｒ（１００，１００）＋０．６＊０．７＊Ｒ（１００，１０２）＋０．４＊０．３＊Ｒ（１０２，１００）＋０．４＊０．７＊Ｒ（１０２，１０２）＋（ｋ／４）＊（０．１＊０．８＊Ｒ（９８，１００）＋０．１＊０．２＊Ｒ（９８，１０２）＋０．９＊０．８＊Ｒ（１００，１００）＋０．９＊０．２＊Ｒ（１００，１０２））＋（ｋ／４）＊（０．１＊０．８＊Ｒ（９８，１０２）＋０．１＊０．２＊Ｒ（９８，１０４）＋０．９＊０．８＊Ｒ（１００，１０２）＋０．９＊０．２＊Ｒ（１００，１０４））＋（ｋ／４）＊（０．１＊０．８＊Ｒ（１００，１００）＋０．１＊０．２＊Ｒ（１００，１０２）＋０．９＊０．８＊Ｒ（１０２，１００）＋０．９＊０．２＊Ｒ（１０２，１０２））＋（ｋ／４）＊（０．１＊０．８＊Ｒ（１００，１０２）＋０．１＊０．２＊Ｒ（１００，１０４）＋０．９＊０．８＊Ｒ（１０２，１０２）＋０．９＊０．２＊Ｒ（１０２，１０４））＝０．１＊０．８＊（ｋ／４）＊Ｒ（９８，１００）＋０．１＊（ｋ／４）＊Ｒ（９８，１０２）＋０．１＊０．２＊（ｋ／４）＊Ｒ（９８，１０４）＋（０．８＊（ｋ／４）＋０．６＊０．３＊（１−ｋ））＊Ｒ（１００，１００）＋（（ｋ／４）＋０．６＊０．７＊（１−ｋ））＊Ｒ（１００，１０２）＋０．２＊（ｋ／４）＊Ｒ（１００，１０４）＋（０．９＊０．８＊（ｋ／４）＋０．４＊０．３＊（１−ｋ））＊Ｒ（１０２，１００）＋（０．９＊（ｋ／４）＋０．４＊０．７＊（１−ｋ））＊Ｒ（１０２，１０２）＋０．９＊０．２＊（ｋ／４）＊Ｒ（１０２，１０４）、となる。

これにより、Ｒ＠Ｂを演算式に明示しなくても、（ｕ_ｓＲ，ｖ_ｓＲ）＝（１００．８，１０１．４）の周辺５×５画素内の９つのＲ画素の値からＲのサンプリング値を算出できることが分かる。但し、例外的にＲのサンプリング座標（ｕ_ｓＲ，ｖ_ｓＲ）がＢ画素と同一の水平及び垂直位置にある際には、６つまたは４つのＲの画素値からサンプリング値が算出される。

次に、色差生成部５４Ｂは、サンプリング部５３で生成されたＲ、Ｇｒ、Ｇｂ，Ｂの各画素値（サンプリング値）から、２つの色差信号Ｃ１、Ｃ２を生成する。ここで、Ｃ１は、Ｇｒの画素信号とＧｂの画素信号との和からＲの画素信号とＢの画素信号とを減じた値であって、一方、Ｃ２は、Ｒの画素信号とＢの画素信号の差を表す。

また、Ｃ１の生成の際には、Ｒ：Ｇ：Ｂ＝（−１）：２：（−１）の構成比となるように、Ｒ、Ｇｒ、Ｇｂ、Ｂの各画素値を（−１）：１：１：（−１）の比で合成し、Ｃ１＝（−Ｒ＋Ｇｒ＋Ｇｂ−Ｂ）／４を算出する。一方、Ｃ２の生成の際には、Ｒ：Ｇ：Ｂ＝２：０：（−２）の構成比となるように、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素値を２：０：０：（−２）の比で合成し、Ｃ２＝（２Ｒ−２Ｂ）／４を算出する。

さらに、色差生成部５４Ｂでは、前記のように生成された色差に対して偽色抑制のための補正を行う。偽色抑制の一例として、まず、ｆｓ／２（ナイキスト周波数）付近の高周波成分Ｋを、Ｋ＝（２Ｇｒ−２Ｇｂ）／４の演算式で算出する。次いで、下記式を用いてＣ２の絶対値からＫ２の絶対値を減じることにより高周波部に発生する赤及び青の偽色を抑制することができる。Ｃ２→ｓｉｇｎ（Ｃ２）ｍａｘ（０，ａｂｓ（Ｃ２）−ａｂｓ（Ｋ））

次に、視覚補正部３４は、輝度信号生成部２５で得られた輝度信号Ｙ及び色差生成部で得られた色差信号Ｃ１、Ｃ２に対して所定の処理を加え、これらの色信号からなるカラー画像の見栄えを補正する。例えば、色差信号Ｃ１、Ｃ２に対して低周波フィルタ処理を施して色ノイズを低減したり、輝度信号Ｙに対して高周波強調を行うことで解像感を強調したりする。

次に、図８を用いて、前記第２の実施形態の、画像処理方法及び画像処理プラグラムの手順を説明する。この手順は、ＣＰＵ１８がＲＯＭ１９に格納されたプログラムにもとづいて、各機能部に指令信号を与えて実行する。また、図８におけるＳはステップを表している。

まず、この手順は、オペレータによって撮像装置１Ａ又は画像処理装置１００Ａに起動信号が入力された際にスタートし、その後、Ｓ１０１及びＳ１０２に移る。

次いで、Ｓ１０１において、撮像ユニット２Ａを介して画像信号（色モザイク画像）を画像処理装置１００Ａに読み込み、その後、Ｓ２０１に移る。

次いで、Ｓ２０１において、色プレーン分解部２１を用いて、ベイヤー配列に対応付けて、Ｒの画素信号、Ｇｒ画素信号、Ｇｂ画素信号、Ｂ画素信号毎に記憶し、その後、Ｓ３０１に移る。

次いで、Ｓ３０１において、Ｒ＠Ｂ生成部５１及びＢ＠Ｒ生成部５２を用いて、色モザイク画像のＢ画素の位置におけるＲ画素の値を生成する（Ｒ＠Ｂプレーンを生成する）と共に、色モザイク画像のＲ画素の位置におけるＢ画素の値を生成し（Ｂ＠Ｒプレーンを生成し）、その後、Ｓ４０１に移る。

一方、Ｓ１０２において、サンプリング座標設定部４１を用いて、歪曲収差補正や手ぶれ補正、デジタルズームといった画像変形を考慮し、収差係数設定部３９及びブレ検出部４０で取得されたパラメータに基づいて、出力するカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標を設定し、その後、Ｓ４０１に移る。

次いで、Ｓ４０１において、サンプリング部５３を用いて、色プレーン分解部２１で生成された４つの色プレーン（Ｒプレーン、Ｇｒプレーン、Ｇｂプレーン、Ｂプレーン）と、Ｒ＠Ｂ生成部５１で生成されたＲ＠Ｂプレーン、Ｂ＠Ｒ生成部５２で生成されたＢ＠Ｒプレーンに基づいて、サンプリング座標設定部４１で設定されたサンプリング位置におけるサンプリング値（サンプリング位置における色毎の画素値である）を算出し、その後、Ｓ５０１及びＳ５０２に移る。

次いで、Ｓ５０１において、輝度生成部５４Ａを用いて、サンプリング部５３で算出されたＧｒ、Ｇｂ、Ｒ、Ｒ＠Ｂ、Ｂ、Ｂ＠Ｒの画素値を、１：１：（１−ｋ）：ｋ：（１−ｋ）：ｋ、の比率で合成するように、輝度Ｙを、Ｙ＝Ｇｒ＋Ｇｂ＋（１−ｋ）Ｒ＋ｋＲ＠Ｂ＋（１−ｋ）Ｂ＋ｋＢ＠Ｒ、の演算式で算出し、その後、Ｓ６０１に移る。

一方、Ｓ５０２において、色差生成部５４Ｂを用いて、サンプリング部５３で生成されたＲ、Ｇｒ、Ｇｂ，Ｂの各画素値（サンプリング値）から、２つの色差信号Ｃ１、Ｃ２を生成し、その後、Ｓ６０１に移る。

次いで、Ｓ６０１において、輝度Ｙ及び色差Ｃ１、Ｃ２を生成する次のサンプリング座標が有るか否かを判定し、次の対象点が有る（Ｙｅｓ）際には、Ｓ４０１〜６０１を繰り返し、次のサンプリング座標が無い（Ｎｏ）となった際に、Ｓ７０１に移る。

次いで、Ｓ７０１において、視覚補正部３４を用い、輝度生成部５４Ａ及び色差生成部５４Ｂで生成されたカラー画像信号（輝度Ｙ、色差Ｃ１、色差Ｃ２）に対して、画像の見栄えを良くするための画像補正、標準的なカラー画像の色空間座標であるＹＵＶ色度座標への変換等を行い、その後、Ｓ８０１に移る。

次いで、Ｓ８０１において、圧縮部３５を用いて、視覚補正部３４を介して出力されたカラー画像のデジタル画像信号をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の方法で圧縮し、記録時の画像データのサイズを小さくし、その後、Ｓ９０１に移る。

次いで、Ｓ９０１において、記録部３６を用いて、圧縮されたデジタル画像信号をフラッシュメモリ等の記録媒体に記憶し、その後、本画像処理プログラムを終了する。

以上のように、第２の実施形態に記載の画像処理装置１００Ａ及び画像処理方法及び画像処理プログラムによれば、色モザイク画像から、色プレーン分解部２１を介して、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解し、次いで、Ｒ＠Ｂプレーン生成部５１を介して、Ｂの画素位置おいて該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成すると共に、Ｂ＠Ｒプレーン生成部５２を介して、Ｒの画素位置おいて該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成し、次いで、サンプリング部５３を介して、カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ画素値＠Ｂ画素位置プレーン、Ｂ画素値＠Ｒ画素位置プレーンの夫々毎に画素値を補間生成してプレーン毎のサンプリング値を生成し、次いで、輝度生成部５４Ａを介して、各色プレーンのサンプリング値を合成してカラー画像の各画素の輝度を生成しているので、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができ、さらには、色モザイク画像の画素位置に関らず、任意の画素位置において高品位な輝度を生成できる。

また、第２の実施形態に記載の画像処理装置１００Ａ及び画像処理方法及び画像処理プログラムによれば、ブレ検出部４０からの検出値に基づくブレ補正や収差係数設定部３９からの設定値に基づく収差補正を行うように、入力画像におけるサンプリング位置を設定するサンプリング座標設定部４１等を備えているので、色モザイク画像と出力カラー画像の各画素を１：１に対応させる必要がなく、解像度変換や各種の画像変形を同時に適用できて利便性を向上できる。つまり、本実施形態の輝度信号生成方法を用いた画像処理によれば、ジッパーアーチファクトやジャギーの発生を抑制して高品位な輝度信号を得ることができると共に、所望の画像変形を行うことができ、高品質なカラー画像を生成できる。

以上、本発明の一実施例について説明したが、本発明は前記実施例に限定されるものではなく、種々の態様を取ることができる。

本発明が適用された第１の実施形態における、撮像装置の構成を表したブロック図である。 ベイヤー配列の構成を表した図である。 同第１の実施形態における、各画素の輝度を生成する説明図であって、（ａ）がＳｗｉｔｃｈＹ生成部で生成された仮の輝度Ｙ_０を表し、（ｂ）が輝度Ｙ_０を補正すべく生成された輝度補正値Ｄを表し、（ｃ）が仮の輝度Ｙ_０から輝度補正値Ｄの所定量を減じて補正された輝度Ｙ_１を表した図である。 同第１の実施形態における、画像処理方法及び画像処理プラグラムの手順を表したフローチャートである。 本発明が適用された第２の実施形態における、撮像装置の構成を表したブロック図である。 同第２の実施形態における、Ｂ＠Ｒプレーン及びＲ＠Ｂプレーン生成する説明図である。 同第２の実施形態における、サンプリングの説明図である。 同第２の実施形態における、画像処理方法及び画像処理プラグラムの手順を表したフローチャートである。 従来例における、ジッパーアーチファクトの発生原理を説明する図であって、（ａ）がベイヤー配列における青と赤の画像境界を表した図、（ｂ）が（ａ）に対応付けて各画素位置に画素値を付与した図、（ｃ）が画素毎に輝度値が生成された図である。

符号の説明

１，１Ａ…撮像装置、２，２Ａ…撮像ユニット、３…撮像レンズ、５…撮像素子、５ａ…ベイヤー配列のカラーフィルタ、６…ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）、７…相関二重サンプリング回路、８…可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、９…Ａ／Ｄ変換器、１０…検出部、１１…センサ、１２…レンズ駆動部、１３…ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）、１８…ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、１９…ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、２１…色プレーン分解部、２２…Ｒフィールドメモリ、２３ａ…Ｇｒフィールドメモリ、２３ｂ…Ｇｂフィールドメモリ、２４…Ｂフィールドメモリ、２５…輝度生成部、２６…ＳｗｉｔｃｈＹ生成部、２７…ＲＢプレーン生成部、２８…輝度補正値生成部、２９…輝度補正部、３０…色差生成部、３１…Ｃ１生成部、３２…Ｃ２生成部、３４…視覚補正部、３５…圧縮部、３６…記録部、３７…レンジステート検出部、３８…収差係数記憶テーブル、３９…収差係数設定部、４０…ブレ検出部、４１…サンプリング座標設定部、５１…Ｒ＠Ｂ生成部、５２…Ｂ＠Ｒ生成部、５３…サンプリング部、５４…色生成部、５４Ａ…輝度生成部、５４Ｂ…色差生成部、１００，１００Ａ…画像処理装置。

Claims (24)

1. Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一の色情報を有する色モザイク画像を用いて、前記撮像素子の出力に対応する撮像画素の配列における所定位置の対象点毎に、複数の色情報を備えたカラーあるいは輝度画像を生成する画像処理装置であって、
   前記モザイク画像の前記Ｒ、Ｇ、Ｂ毎に前記対象点を包含する所定の画素範囲が設定され、前記画素範囲に位置する前記Ｒ、Ｇ、Ｂの画素値にもとづいて、前記対象点における輝度を生成する輝度生成手段を備え、
   前記輝度を生成する際の、前記Ｒ及びＢの少なくとも何れか一方の画素範囲が前記Ｇの画素範囲よりも広く設定されている、
   ことを特徴とする画像処理装置。
2. 前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、
   前記輝度生成手段が、
   水平方向３画素及び垂直方向３画素内に含まれる最大４つのＧｒの画素値及び最大４つのＧｂの画素値と、
   水平方向５画素及び垂直方向５画素内に含まれる最大９つのＲの画素値及び最大９つのＢの画素値と、
   に基づいて前記対象点の輝度を生成するように構成されている、
   ことを特徴とする請求項１に記載の画像処理装置。
3. Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力された色モザイク画像にもとづいて、複数の色情報を備えたカラー画像を生成する画像処理装置であって、
   前記モザイク画像上に、輝度生成の対象点を包含する所定の画素範囲が設定され、前記画素範囲内に位置する前記Ｒ、Ｇ、Ｂの画素値にもとづいて、注目画素における輝度を生成する輝度生成手段を備え、
   前記輝度生成手段が、
   前記色モザイク画像に対して、ローパスフィルタを掛けて色キャリアを除去し、画素毎の第一の輝度値を生成する第一輝度生成手段と、
   前記色モザイク画像から前記Ｇの画素を除いてＢとＲの画素からなるＢＲプレーンを生成するＢＲプレーン生成手段と、
   前記ＢＲプレーンに対して、帯域フィルタを掛けてフィルタリングし、該帯域フィルタを介して出力された画素毎の出力値を輝度の補正値として求める補正値生成手段と、
   前記第一輝度生成手段によって生成された第一の輝度値に対して前記補正値生成手段で生成された補正値を加え第二の輝度値を生成する第二輝度生成手段と、
   を備え、
   前記第二の輝度値が、前記カラー画像における輝度値である、
   ことを特徴とする画像処理装置。
4. 前記ローパスフィルタが３×３画素のカーネルによるコンボリューションである、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記帯域フィルタが５×５画素のカーネルによるコンボリューションである、
   ことを特徴とする請求項３又は請求項４に記載の画像処理装置。
6. Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理装置であって、
   前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、
   前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解部と、
   前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成部と、
   前記Ｒの画素位置おいて、該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成部と、
   前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリング手段と、
   前記サンプリング手段を介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成手段と、
   を備えていることを特徴とする画像処理装置。
7. 前記輝度生成手段が、
   前記Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成する、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記輝度生成手段が、
   前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成する、
   ことを特徴とする請求項６に記載の画像処理装置。
9. Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一の色情報を有する色モザイク画像を用いて、前記撮像素子の出力に対応する撮像画素の配列における所定位置の対象点毎に、複数の色情報を備えたカラーあるいは輝度画像を生成する画像処理方法であって、
   前記モザイク画像の前記Ｒ、Ｇ、Ｂ毎に前記対象点を包含する所定の画素範囲が設定され、前記画素範囲に位置する前記Ｒ、Ｇ、Ｂの画素値にもとづいて、前記対象点における輝度を生成する輝度生成ステップを用い、
   前記輝度生成ステップで前記輝度を生成する際に、前記Ｒ及びＢの少なくとも何れか一方の画素範囲が前記Ｇの画素範囲よりも広く設定されている、
   ことを特徴とする画像処理方法。
10. 前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、
    前記輝度生成ステップが、
    水平方向３画素及び垂直方向３画素内に含まれる最大４つのＧｒの画素値及び最大４つのＧｂの画素値と、
    水平方向５画素及び垂直方向５画素内に含まれる最大９つのＲの画素値及び最大９つのＢの画素値と、
    に基づいて前記対象点の輝度を生成する、
    ことを特徴とする請求項９に記載の画像処理方法。
11. Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力された色モザイク画像にもとづいて、複数の色情報を備えたカラー画像を生成する画像処理方法であって、
    前記モザイク画像上に、輝度生成の対象点を包含する所定の画素範囲が設定され、前記画素範囲内に位置する前記Ｒ、Ｇ、Ｂの画素値にもとづいて、注目画素における輝度を生成する輝度生成ステップを用い、
    前記輝度生成ステップにおいて、
    前記色モザイク画像に対して、ローパスフィルタを掛けて色キャリアを除去し、画素毎の第一の輝度値を生成する第一輝度生成ステップと、
    前記色モザイク画像から前記Ｇの画素を除いてＢとＲの画素からなるＢＲプレーンを生成するＢＲプレーン生成ステップと、
    前記ＢＲプレーンに対して、帯域フィルタを掛けてフィルタリングし、該帯域フィルタを介して出力された画素毎の出力値を輝度の補正値として求める補正値生成ステップと、
    前記第一輝度生成ステップによって生成された第一の輝度値に対して前記補正値生成ステップで生成された補正値を加え第二の輝度値を生成する第二輝度生成ステップと、
    を用い、
    前記第二の輝度値を、前記カラー画像における輝度値とする、
    ことを特徴とする画像処理方法。
12. 前記ローパスフィルタが３×３画素のカーネルによるコンボリューションである、
    ことを特徴とする請求項１１に記載の画像処理方法。
13. 前記帯域フィルタが５×５画素のカーネルによるコンボリューションである、
    ことを特徴とする請求項１１又は請求項１２に記載の画像処理方法。
14. Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理方法であって、
    前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、
    前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、
    前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、
    前記Ｒの画素位置おいて、該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、
    前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、
    前記サンプリングステップを介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成ステップと、
    を用いることを特徴とする画像処理方法。
15. 前記輝度生成ステップにおいて、
    前記Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成する、
    ことを特徴とする請求項１４に記載の画像処理方法。
16. 前記輝度生成ステップにおいて、
    前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成する、
    ことを特徴とする請求項１４に記載の画像処理方法。
17. Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一の色情報を有する色モザイク画像を用いて、前記撮像素子の出力に対応する撮像画素の配列における所定位置の対象点毎に、複数の色情報を備えたカラーあるいは輝度画像を生成する画像処理プログラムであって、
    前記モザイク画像の前記Ｒ、Ｇ、Ｂ毎に前記対象点を包含する所定の画素範囲が設定され、前記画素範囲に位置する前記Ｒ、Ｇ、Ｂの画素値にもとづいて、前記対象点における輝度を生成する輝度生成ステップを用い、
    前記輝度生成ステップで前記輝度を生成する際に、前記Ｒ及びＢの少なくとも何れか一方の画素範囲を前記Ｇの画素範囲よりも広く設定する、
    ようにコンピュータに実行させることを特徴とする画像処理プログラム。
18. 前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、
    前記輝度生成ステップが、
    水平方向３画素及び垂直方向３画素内に含まれる最大４つのＧｒの画素値及び最大４つのＧｂの画素値と、
    水平方向５画素及び垂直方向５画素内に含まれる最大９つのＲの画素値及び最大９つのＢの画素値と、
    に基づいて前記対象点の輝度を生成する、
    ようにコンピュータに実行させることを特徴とする請求項１７に記載の画像処理プログラム。
19. Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力された色モザイク画像にもとづいて、複数の色情報を備えたカラー画像を生成する画像処理プログラムであって、
    前記モザイク画像上に、輝度生成の対象点を包含する所定の画素範囲が設定され、前記画素範囲内に位置する前記Ｒ、Ｇ、Ｂの画素値にもとづいて、注目画素における輝度を生成する輝度生成ステップを用い、
    前記輝度生成ステップにおいて、
    前記色モザイク画像に対して、ローパスフィルタを掛けて色キャリアを除去し、画素毎の第一の輝度値を生成する第一輝度生成ステップと、
    前記色モザイク画像から前記Ｇの画素を除いてＢとＲの画素からなるＢＲプレーンを生成するＢＲプレーン生成ステップと、
    前記ＢＲプレーンに対して、帯域フィルタを掛けてフィルタリングし、該帯域フィルタを介して出力された画素毎の出力値を輝度の補正値として求める補正値生成ステップと、
    前記第一輝度生成ステップによって生成された第一の輝度値に対して前記補正値生成ステップで生成された補正値を加え第二の輝度値を生成し、前記第二の輝度値を前記カラー画像における輝度値として生成する第二輝度生成ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
20. 前記ローパスフィルタが３×３画素のカーネルによるコンボリューションである、
    ことを特徴とする請求項１９に記載の画像処理プログラム。
21. 前記帯域フィルタが５×５画素のカーネルによるコンボリューションである、
    ことを特徴とする請求項１９又は請求項２０に記載の画像処理プログラム。
22. Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理プログラムであって、
    前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、
    前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、
    前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、
    前記Ｒの画素位置おいて、該Ｒの画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、
    前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、
    前記サンプリングステップを介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
23. 前記輝度生成ステップにおいて、
    前記Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成する、
    ようにコンピュータに実行させることを特徴とする請求項２２に記載の画像処理プログラム。
24. 前記輝度生成ステップにおいて、
    前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成する、
    ようにコンピュータに実行させることを特徴とする請求項２２に記載の画像処理プログラム。