JP4683121B2 - 固体撮像装置、固体撮像装置の信号処理方法および撮像装置 - Google Patents

Description

本発明は、固体撮像装置、固体撮像装置の信号処理方法および撮像装置に関する。

固体撮像装置において、高感度化を目的として、輝度信号の主成分となる色、例えば白色（Ｗ；Ｗｈｉｔｅ）を用いたカラーコーディングの色フィルタアレイやその信号処理に関して、これまで数多くの提案がなされてきている（例えば、特許文献１参照）。白色を用いたカラーコーディングとしては、特に白色を市松状に配列した白色市松のカラーコーディングが多い。

白色を用いた色フィルタアレイは、従来から広く使われてきたＲＧＢベイヤ配列の色フィルタアレイに比べて出力電圧が高くなることから、固体撮像装置の高感度化を図ることができる。ここで、ＲＧＢベイヤ配列は、緑色（Ｇ；Ｇｒｅｅｎ）を市松状に配置し、残りの部分に赤色（Ｒ；Ｒｅｄ）、青色（Ｂ；Ｂｌｕｅ）を市松状に配列したカラーコーディングである。

一方、ＲＧＢベイヤ配列の色フィルタアレイを用いた固体撮像装置において、ＲＧＢの信号からＹＵＶの信号（Ｙ：輝度信号、Ｕ，Ｖ：色差信号）に変換する場合などには輝度信号Ｙを生成するのに演算処理が必要となる。その演算処理として、例えば、Ｙ＝０．２９８９１×Ｒ＋０．５８６６１×Ｇ＋０．１１４４８×Ｂの演算が行われる。

これらの演算処理は、一般的に、固体撮像装置の基板（センサチップ）外に設けられるＤＳＰ（Digital Signal Processor；デジタル信号処理回路）で行われている。したがって、白色を含む色フィルタアレイを用いた固体撮像装置においても、輝度信号Ｙを生成するのに演算処理はセンサチップ外のＤＳＰで行われることになる。

特開２００７−２８７８９１号公報

しかし、白色を含む色フィルタアレイを用いた固体撮像装置の信号処理に、既存のＲＧＢベイヤ配列用のＤＳＰを用いることはできない。したがって、カラーコーディングを変更すると、新規にＤＳＰの開発が必要になる。そして、既に普及しているＲＧＢベイヤ配列用のＤＳＰを、白色市松用のＤＳＰに変更するには莫大な開発コストがかかる。この開発コストは、ＤＳＰを含むカメラモジュールの製品価格に反映されることから、カメラモジュールの低コスト化を阻み、白色を用いたカラーコーディングの普及を妨げる一因となっている。

そこで、本発明は、輝度信号の主成分となる色が市松状に配置されたカラーコーディングを用いるに当たって、既存のＲＧＢベイヤ配列用のＤＳＰの使用を可能にした固体撮像装置、固体撮像装置の信号処理方法および撮像装置を提供することを目的とする。

上記目的を達成するために、本発明は、画素が行列状に２次元配置された画素アレイ部上に設けられ、輝度信号の主成分の色に対応する白色フィルタが市松状に配置され、赤色と青色の各フィルタが縦横２画素ピッチの市松配列で、且つ赤色と青色の各フィルタ間が斜め１画素ズレで、残りが緑色フィルタとなっている色配列の色フィルタ部と、前記画素アレイ部と同じ基板上に設けられ、当該画素アレイ部の各画素から出力される前記色フィルタ部の色配列に対応した信号をベイヤ配列に対応した信号に変換して出力する変換処理部とを備えた構成を採っている。
あるいは、上記色配列に代えて、主成分色の白色フィルタが市松状に配置され、赤色と青色の各フィルタが縦横４画素ピッチの正方配列で、且つ赤色と青色の各フィルタ間が斜め１画素ズレで、残りが緑色フィルタとなっている色配列とする。
あるいは、上記色配列に代えて、主成分色の白色フィルタが市松状に配置され、赤色と青色の各フィルタが縦横４画素ピッチの正方配列で、且つ赤色と青色の各フィルタ間が斜め２画素ズレで、残りが緑色フィルタとなっている色配列とする。
あるいは、上記色配列に代えて、主成分色の白色フィルタが市松状に配置され、赤色と青色の各フィルタが縦横２画素ピッチの正方配列で、且つ赤色と青色の各フィルタ間が斜め１画素ズレとなっている色配列とする。
あるいは、上記色配列に代えて、主成分色の白色フィルタが市松状に配置され、赤色と青色の各フィルタが縦横４画素ピッチの正方配列で、且つ赤色と青色の各フィルタ間が斜め方向に２画素単位で並び、残りが緑色フィルタとなっている色配列とする。

上記構成の固体撮像装置において、市松状に配置される色が、輝度信号の主成分となる色であることで、当該主成分となる色の信号を用いてその上下左右の他の色の信号を復元することができる。したがって、色フィルタ部の色配列に対応した信号をベイヤ配列に対応した信号に変換する際の変換効率を高くできる。そして、画素アレイ部が形成された基板（センサチップ）からベイヤ配列に対応した信号が出力されることで、後段の信号処理部として既存のベイヤ配列用のＤＳＰを用いることができる。

本発明によれば、カラーコーディングを変更しても、既存のＲＧＢベイヤ配列用のＤＳＰを用いることができるために、莫大な開発コストがかかるＤＳＰを新規に開発する必要がなくなる。

以下、発明を実施するための最良の形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。なお、説明は以下の順序で行う。

１．実施形態
１−１．システム構成
１−２．色フィルタアレイのカラーコーディング
１−３．カラーコーディングの具体例
１−４．Ｗ：Ｇ：Ｒ：Ｂの感度比
１−５．色変換処理
２．適用例（撮像装置）

＜１．実施形態＞
［１−１．システム構成］
図１は、本発明の一実施形態に係る固体撮像装置、例えばＸ−Ｙアドレス型固体撮像装置の一種であるＣＭＯＳイメージセンサの構成の概略を示すシステム構成図である。

本実施形態に係るＣＭＯＳイメージセンサ１０は、半導体基板（以下、単に「センサチップ」と記述する場合もある）１１上に形成された画素アレイ部１２と、当該画素アレイ部１２と同じ半導体基板１１上に集積された周辺回路部とを有する構成となっている。周辺回路部としては、例えば、垂直駆動部１３、カラム処理部１４、水平駆動部１５、変換処理部１６およびシステム制御部１８が設けられている。

画素アレイ部１２には、入射する可視光をその光量に応じた電荷量に光電変換する光電変換素子を含む図示せぬ単位画素（以下、単に「画素」と記述する場合もある）が行列状に２次元配置されている。単位画素の具体的な回路構成については後述する。この画素アレイ部１２の受光面（光入射面）側には、色フィルタアレイ３０が設けられている。本実施形態では、この色フィルタアレイ３０のカラーコーディングを特徴の一つとしており、その詳細については後述する。

画素アレイ部１２にはさらに、行列状の画素配列に対して行ごとに画素駆動線１８が図の左右方向（画素行の画素配列方向／水平方向）に沿って配線され、列ごとに垂直信号線１９が図の上下方向（画素列の画素配列方向／垂直方向）に沿って形成されている。図１では、画素駆動線１８について１本として示しているが、１本に限られるものではない。画素駆動線１８の一端は、垂直駆動部１３の各行に対応した出力端に接続されている。

垂直駆動部１３は、シフトレジスタやアドレスデコーダなどによって構成されている。ここでは、具体的な構成については図示を省略するが、垂直駆動部１３は、読出し走査系と掃出し走査系とを有する構成となっている。読出し走査系は、信号を読み出す単位画素について行単位で順に選択走査を行う。

一方、掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対し、その読出し走査よりもシャッタスピードの時間分だけ先行して当該読出し行の単位画素の光電変換素子から不要な電荷を掃き出す（リセットする）掃出し走査を行う。この掃出し走査系による不要電荷の掃き出し（リセット）により、いわゆる電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換素子の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。

読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に入射した光量に対応するものである。そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、単位画素における光電荷の蓄積時間（露光時間）となる。

垂直駆動部１３によって選択走査された画素行の各単位画素から出力される信号は、垂直信号線１９の各々を通してカラム処理部１４に供給される。カラム処理部１４は、画素アレイ部１２の画素列ごとに、選択行の各画素から出力されるアナログの画素信号に対してあらかじめ定められた信号処理を行う。

カラム処理部１４での信号処理としては、例えばＣＤＳ(Correlated Double Sampling;相関二重サンプリング)処理が挙げられる。ＣＤＳ処理は、選択行の各画素から出力されるリセットレベルと信号レベルとを取り込み、これらのレベル差を取ることによって１行分の画素の信号を得るとともに、画素の固定パターンノイズを除去する処理である。カラム処理部１４に、アナログの画素信号をデジタル化するＡ／Ｄ変換機能を持たせる場合もある。

水平駆動部１５は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部１４の画素列に対応した回路部分を順番に選択走査する。この水平駆動部１５による選択走査により、カラム処理部１４で画素列ごとに信号処理された画素信号が順番に出力される。

変換処理部１６は、画素アレイ部１２の各画素から出力される、先述した色フィルタアレイ（色フィルタ部）３０の色配列に対応した信号を、演算処理にてベイヤ配列に対応した信号に変換する処理を行う。本実施形態では、この変換処理部１６を画素アレイ部１２と同じ基板、即ちセンサチップ１１上に設け、当該センサチップ１１上で色変換処理を行ってベイヤ配列に対応した信号をセンサチップ１１外へ出力する点をもう一つの特徴としている。変換処理部１６での具体的な変換処理の詳細については後で詳細に説明する。

ここで、ベイヤ配列とは、周知の通り、高解像度が必要な輝度信号の主成分となる色を市松状に配置し、残りの部分に比較的解像度が要求されない、色情報成分となる２種類の色を市松状に配列した色配列を言う。ベイヤ配列の基本形としては、輝度信号の寄与する割合の大きい緑色（Ｇ）を市松状に配置し、残りの部分にＲ（赤色）／Ｂ（青色）を市松状に配列した色配列のカラーコーディングが挙げられる。

システム制御部１７は、センサチップ１１の外部から与えられるクロックや、動作モードを指令するデータなどを受け取り、また、本ＣＭＯＳイメージセンサ１０の内部情報などのデータを出力する。システム制御部１７はさらには、各種のタイミング信号を生成するタイミングジェネレータを有し、当該タイミングジェネレータで生成された各種のタイミング信号を基に垂直駆動部１３、カラム処理部１４、水平駆動部１４および変換処理部１６などの駆動制御を行う。

（単位画素の回路構成）
図２は、単位画素２０の回路構成の一例を示す回路図である。図２に示すように、本回路例に係る単位画素２０は、光電変換素子、例えばフォトダイオード２１と、例えば転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５の４つのトランジスタとを有する構成となっている。

ここでは、４つのトランジスタ２２〜２５として、例えばＮチャネルのＭＯＳトランジスタを用いている。ただし、ここで例示した転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。

この単位画素２０に対して、画素駆動線１８として、例えば、転送線１８１、リセット線１８２および選択線１８３の３本の駆動配線が同一画素行の各画素について共通に設けられている。これら転送線１８１、リセット線１８２および選択線１８３の各一端は、垂直駆動部１３の各画素行に対応した出力端に、画素行単位で接続されている。

フォトダイオード２１は、アノード電極が負側電源(例えば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換する。フォトダイオード２１のカソード電極は、転送トランジスタ２２を介して増幅トランジスタ２４のゲート電極と電気的に接続されている。増幅トランジスタ２４のゲート電極と電気的に繋がったノード２６をＦＤ（フローティングディフュージョン）部と呼ぶ。

転送トランジスタ２２は、フォトダイオード２１のカソード電極とＦＤ部２６との間に接続されている。転送トランジスタ２２のゲート電極には、高レベル（例えば、Ｖｄｄレベル）がアクティブ（以下、「Ｈｉｇｈアクティブ」と記述する）の転送パルスφＴＲＦが転送線１８１を介して与えられる。転送パルスφＴＲＦが与えられることで、転送トランジスタ２２はオン状態となってフォトダイオード２１で光電変換された光電荷をＦＤ部２６に転送する。

リセットトランジスタ２３は、ドレイン電極が画素電源Ｖｄｄに、ソース電極がＦＤ部２６にそれぞれ接続されている。リセットトランジスタ２３のゲート電極には、フォトダイオード２１からＦＤ部２６への信号電荷の転送に先立って、ＨｉｇｈアクティブのリセットパルスφＲＳＴがリセット線１８２を介して与えられる。リセットパルスφＲＳＴが与えられることで、リセットトランジスタ２３はオン状態となり、ＦＤ部２６の電荷を画素電源Ｖｄｄに捨てることによって当該ＦＤ部２６をリセットする。

増幅トランジスタ２４は、ゲート電極がＦＤ部２６に、ドレイン電極が画素電源Ｖｄｄにそれぞれ接続されている。そして、増幅トランジスタ２４は、リセットトランジスタ２３によってリセットした後のＦＤ部２６の電位をリセット信号（リセットレベル）Ｖｒｅｓｅｔとして出力する。増幅トランジスタ２４はさらに、転送トランジスタ２２によって信号電荷を転送した後のＦＤ部２６の電位を光蓄積信号（信号レベル）Ｖｓｉｇとして出力する。

選択トランジスタ２５は、例えば、ドレイン電極が増幅トランジスタ２４のソース電極に、ソース電極が垂直信号線１７にそれぞれ接続されている。選択トランジスタ２５のゲート電極には、Ｈｉｇｈアクティブの選択パルスφＳＥＬが選択線１６３を介して与えられる。選択パルスφＳＥＬが与えられることで、選択トランジスタ２５はオン状態となって単位画素２０を選択状態とし、増幅トランジスタ２４から出力される信号を垂直信号線１７に中継する。

なお、選択トランジスタ２５については、画素電源Ｖｄｄと増幅トランジスタ２４のドレインとの間に接続した回路構成を採ることも可能である。

また、単位画素２０としては、上記構成の４つのトランジスタからなる画素構成のものに限られるものではない。例えば、増幅トランジスタ２４と選択トランジスタ２５とを兼用した３つのトランジスタからなる画素構成のものなどであっても良く、その画素回路の構成は問わない。

ところで、一般的に、動画撮像のときにはフレームレートを上げるために、隣接する複数の画素の信号を加算して読み出す画素加算が行われる。画素内や、信号線上や、カラム処理部１４や、後段の信号処理部で行うことができる。ここで、一例として、例えば上下左右に隣接する４画素の信号を画素内で加算する場合の画素構成について説明する。

図３は、隣接４画素加算を画素内で行う場合の回路構成の一例を示す回路図であり、図中、図２と同等部分には同一符号を付して示している。

図３において、上下左右に隣接する４画素のフォトダイオード２１を、フォトダイオード２１−１，２１−２，２１−３，２１−４とする。これらフォトダイオード２１−１，２１−２，２１−３，２１−４に対して、４個の転送トランジスタ２２−１，２２−２，２２−３，２２−４が設けられ、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５が１個ずつ設けられている。

すなわち、転送トランジスタ２２−１，２２−２，２２−３，２２−４は、各一方の電極がフォトダイオード２１−１，２１−２，２１−３，２１−４の各カソード電極に接続され、各他方の電極が増幅トランジスタ２４のゲート電極に共通に接続されている。この増幅トランジスタ２４のゲート電極には、フォトダイオード２１−１，２１−２，２１−３，２１−４に対して共通のＦＤ部２６が電気的に接続されている。リセットトランジスタ２３は、ドレイン電極が画素電源Ｖｄｄに、ソース電極がＦＤ部２６にそれぞれ接続されている。

上記構成の隣接４画素加算に対応した画素構成において、４個の転送トランジスタ２２−１，２２−２，２２−３，２２−４に対して同じタイミングで転送パルスφＴＲＦを与えることで、隣接する４画素間での画素加算を実現できる。すなわち、フォトダイオード２１−１，２１−２，２１−３，２１−４から転送トランジスタ２２−１，２２−２，２２−３，２２−４によってＦＤ部２６に転送された信号電荷は、当該ＦＤ部２６において加算されることになる。

一方、転送トランジスタ２２−１，２２−２，２２−３，２２−４に対して異なるタイミングで転送パルスφＴＲＦを与えることで、画素単位での信号出力も実現できる。すなわち、動画撮像時には画素加算を行うことによってフレームレートの向上を図ることができるに対して、静止画撮像時には全画素の信号を独立して読み出すことで、解像度の向上を図ることができる。

［１−２．色フィルタアレイのカラーコーディング］
続いて、本実施形態の特徴の一つとしている色フィルタアレイ３０のカラーコーディングについて説明する。

本実施形態に係る色フィルタアレイ３０は、輝度信号の主成分となる色が市松状に配置され、残りの部分に色情報成分となる複数色が配列された色配列のカラーコーディングとなっている。ここで、輝度信号の主成分となる色としては、白色（Ｗ）、緑色（Ｇ）、輝度分光等が挙げられる。

Ｗフィルタは、Ｇフィルタの２倍程度と感度が高い（出力レベルが高い）ために、高Ｓ／Ｎを実現できる。ただし、Ｗフィルタは、各種の色情報を含んでいるために、被写体の本来の色とは違う色を再現するいわゆる色偽が出やすい。逆に、Ｇフィルタは、Ｗフィルタに比べて感度が低いものの、色偽が出にくい。すなわち、感度と色偽はトレードオフの関係にある。

Ｗフィルタを輝度信号の主成分となる色として市松状に配置する場合は、残りの部分に配列される色情報成分となる複数色のフィルタはＲ／Ｇ／Ｂの各フィルタとなる。一方、Ｇフィルタを輝度信号の主成分となる色として市松状に配置する場合は、残りの部分に配列される色情報成分となる複数色のフィルタはＲ／Ｂの各フィルタとなる。

このように、色フィルタアレイ３０として、Ｗフィルタが輝度信号の主成分となる色として市松状に配置されたカラーコーディングのものを用いることで、当該Ｗフィルタの感度が他の色に比べて高いため、ＣＭＯＳイメージセンサ１０の高感度化を図ることができる。一方、色フィルタアレイ３０として、Ｇフィルタが輝度信号の主成分となる色として市松状に配置されたカラーコーディングのものを用いることで、当該ＧフィルタがＷフィルタに比べて色偽が出にくいため、ＣＭＯＳイメージセンサ１０の色再現性の向上を図ることができる。

そして、いずれのカラーコーディングの色フィルタアレイ３０を用いる場合にも、これらの色配列に対応した信号を、センサチップ１１上でベイヤ配列に対応した信号に変換するようにする。このとき、輝度信号の主成分となる色が市松状に配置されていることで、当該主成分となる色の信号を用いてその上下左右の他の色の信号を復元できるために、変換処理部１６での色変換の変換効率を高くできる。

また、センサチップ１１からベイヤ配列に対応した信号が出力されることで、後段の信号処理部として既存のベイヤ配列用のＤＳＰを用いることができる。このベイヤ配列用のＤＳＰは、センサチップ１１から出力されるベイヤ配列に対応した信号を基に輝度信号Ｙおよび２つの色差信号Ｕ（Ｂ−Ｙ），Ｖ（Ｒ−Ｙ）を生成する処理を基本的な処理としている。

このように、既存のベイヤ配列用のＤＳＰを用いることができることで、色フィルタアレイ３０のカラーコーディングを変更しても、莫大な開発コストがかかるＤＳＰを新規に開発する必要がなくなる。これにより、ＤＳＰを含むカメラモジュールの低コスト化および特にＷフィルタを用いたカラーコーディングの色フィルタアレイ３０の普及に寄与できることになる。

［１−３．色フィルタアレイのカラーコーディングの具体例］
次に、輝度信号の主成分となる色が市松状に配置された色配列に対応した信号から、ＲＧＢベイヤ配列に対応した信号への変換が容易なカラーコーディングの具体例について説明する。

（第１具体例）
図４は、第１具体例に係るカラーコーディングを示す色配列図である。図４に示すように、第１具体例に係るカラーコーディングは、出力レベルが最も高くなるＷフィルタが市松状に配置され、Ｒ／Ｂの各フィルタが縦横２画素ピッチの市松配列で、且つＲ／Ｂの各フィルタ間が斜め１画素ズレで、残りがＧフィルタとなっている。

具体的には、縦４画素、横４画素を単位としたときに、Ｗフィルタが市松状に配置されている。Ｒフィルタは２行目の１列目と４行目の３列目に配置され、Ｂフィルタは１行目の２列目と３行目の４列目に配置されている。この配列が、縦横２画素ピッチの市松配列である。そして、残りの画素位置にＧフィルタが配置されている。このとき、Ｇフィルタは斜めストライブ状の配列となっている。

（第２具体例）
図５は、第２具体例に係るカラーコーディングを示す色配列図である。図５に示すように、第２具体例に係るカラーコーディングは、Ｗフィルタが市松状に配置され、Ｒ／Ｂの各フィルタが縦横４画素ピッチの正方配列で、且つＲ／Ｂの各フィルタ間が斜め１画素ズレで、残りがＧフィルタとなっている。

具体的には、縦４画素、横４画素を単位としたときに、Ｗフィルタが市松状に配置されている。Ｒフィルタは２行目の３列目に配置され、Ｂフィルタは３行目の２列目に配置されている。この配列が、縦横４画素ピッチの正方配列である。そして、残りの画素位置にＧフィルタが配置されている。このとき、Ｇフィルタは斜めストライブ状の配列となっている。

（第３具体例）
図６は、第３具体例に係るカラーコーディングを示す色配列図である。図６に示すように、第３具体例に係るカラーコーディングは、Ｗフィルタが市松状に配置され、Ｒ／Ｂの各フィルタが縦横４画素ピッチの正方配列で、且つＲ／Ｂの各フィルタ間が斜め２画素ズレで、残りがＧフィルタとなっている。

具体的には、縦４画素、横４画素を単位としたときに、Ｗフィルタが市松状に配置されている。Ｒフィルタは２行目の１列目に配置され、Ｂフィルタは４行目の３列目に配置されている。この配列が、縦横４画素ピッチの正方配列である。そして、残りの画素位置にＧフィルタが配置されている。このとき、Ｇフィルタは斜めストライブ状の配列となっている。

（第４具体例）
図７は、第４具体例に係るカラーコーディングを示す色配列図である。図７に示すように、第４具体例に係るカラーコーディングは、Ｗフィルタが市松状に配置され、Ｒ／Ｂの各フィルタが縦横２画素ピッチの市松配列で、且つＲ／Ｂの各フィルタ間が斜め２画素ズレで、残りがＧフィルタとなっている。

具体的には、縦４画素、横４画素を単位としたときに、Ｗフィルタが市松状に配置されている。Ｒフィルタは１行目の２列目と３行目の４列目に配置され、Ｂフィルタは３行目の２列目と１行目の４列目に配置されている。この配列が、縦横２画素ピッチの市松配列である。そして、残りの画素位置にＧフィルタが配置されている。

（第５具体例）
図８は、第５具体例に係るカラーコーディングを示す色配列図である。図８に示すように、第５具体例に係るカラーコーディングは、Ｗフィルタが市松状に配置され、Ｒ／Ｂの各フィルタが縦横２画素ピッチの正方配列で、且つＲ／Ｂの各フィルタ間が斜め１画素ズレとなっている。

具体的には、縦４画素、横４画素を単位としたときに、Ｗフィルタが市松状に配置されている。Ｒフィルタは２行目および４行目の１列目および３列目に配置され、Ｂフィルタは１行目および３行目の２列目および４列目に配置されている。この配列が、縦横２画素ピッチの正方配列である。

（第６具体例）
図９は、第６具体例に係るカラーコーディングを示す色配列図である。図９に示すように、第６具体例に係るカラーコーディングは、Ｗフィルタが市松状に配置され、Ｒ／Ｂの各フィルタが縦横４画素ピッチの正方配列で、且つＲ／Ｂの各フィルタ間が斜め方向に２画素単位で並び、残りがＧフィルタとなっている。

具体的には、縦４画素、横４画素を単位としたときに、Ｗフィルタが市松状に配置されている。Ｒフィルタは３行目の４列目と４行目の３列目に配置され、Ｂフィルタは１行目の２列目と２行目の１列目に配置されている。この配列が、縦横４画素ピッチの正方配列である。そして、残りの画素位置にＧフィルタが配置されている。このとき、Ｇフィルタは斜めストライブ状の配列となっている。

上述した第１〜第６具体例に係るカラーコーディングはいずれも、出力レベルが最も高くなる輝度信号の主成分となる色フィルタとして、Ｗフィルタが市松状に配置された色配列となっている。Ｗフィルタが市松状に配置されていることで、ＷフィルタはＲ／Ｇ／Ｂの各色成分を含んでいるために、ＲＧＢベイヤ配列に対応した信号への変換精度を高めることができる。

これらのカラーコーディングでは、後述する色変換処理において、Ｗフィルタの画素についてＧフィルタに置き換えたときに、Ｒ／Ｂの各フィルタがベイヤ配列におけるＲ／Ｂの各フィルタの位置の一部に合致することを特長としている。そして、合致しない抜けた部分については、Ｗフィルタの画素の情報を用いることで、Ｒ／Ｂの各画素の情報を復元することができるために変換効率が非常に良いと言える。

また、第１具体例〜第３具体例および第６具体例に係るカラーコーディングは、Ｗフィルタが市松状に配置され、且つＧフィルタの一部が４画素単位で斜め方向にストライプ状に配列されていることを特長としている。このカラーコーディングにおいて、Ｗフィルタの画素に隣接するＧフィルタの画素の信号をＷフィルタの画素の信号に加算して輝度信号の主成分とすることで、輝度信号量を増大させることができるため、感度（Ｓ／Ｎ）の向上を図ることができる。

そして、特に第１具体例に係るカラーコーディングの場合には、Ｒ／Ｂの各フィルタが縦横２画素ピッチの市松配列で、Ｒ／Ｂの各フィルタ間が斜め１画素ずれた配列であるために、ベイヤ配列に対応した信号への変換効率を高めることができる。また、第２具体例に係るカラーコーディングの場合には、Ｒ／Ｂの各フィルタが縦横４画素ピッチの正方配列で、Ｒ／Ｂの各フィルタ間が斜め１画素ずれた配列であるために変換効率を高く保つことができる。第２具体例に係るカラーコーディングの場合はさらに、Ｇフィルタが多いためにＧの変換効率を高めることができる。

また、第１，第６具体例に係るカラーコーディングは、Ｇフィルタが斜め方向に４画素単位でストライプ配列となっている。したがって、これらのカラーコーディングの場合には、後述する色変換処理において、Ｗ画素に隣接する１つまたは２つのＧ画素の信号を当該Ｗ画素の信号に加算して輝度信号の主成分に利用することで、解像度の低下を抑えつつ高感度化（高Ｓ／Ｎ化）を実現できる。この作用効果については、Ｇフィルタが斜め方向に４画素単位でストライプ配列となっている場合に限らず、縦方向または横方向において４画素単位でストライプ状に配列されている場合にも同様のことが言える。

（第７具体例）
図１０は、第７具体例に係るカラーコーディングを示す色配列図である。図１０に示すように、第７具体例に係るカラーコーディングは、輝度信号の主成分となる色フィルタとしてＧフィルタが市松配置され、Ｒ／Ｂの各フィルタが縦横２画素ピッチの市松配列で、且つＲ／Ｂの各フィルタ間が斜め２画素ズレで、残りがＷフィルタとなっている。

具体的には、縦４画素、横４画素を単位としたときに、Ｇフィルタが市松状に配置されている。Ｒフィルタは１行目の１列目と３行目の３列目に配置され、Ｂフィルタは１行目の３列目と３行目の１列目に配置されている。この配列が、縦横２画素ピッチの市松配列である。そして、残りの画素位置にＷフィルタが配置されている。

以上説明した第１〜第７具体例に係るカラーコーディングは、輝度信号の主成分となる色フィルタとしてＷフィルタまたはＧフィルタが市松状に配置された構成となっている。ただし、センサチップ１１上の変換処理部１６でＲＧＢベイヤ配列に対応した信号への変換が容易なカラーコーディングとしてはＷフィルタまたはＧフィルタが市松配置された構成のものに限られない。以下に、ＷフィルタまたはＧフィルタが市松配置されていないカラーコーディングについて、第８具体例および第９具体例として説明する。

（第８具体例）
図１１は、第８具体例に係るカラーコーディングを示す色配列図である。図１１に示すように、第８具体例に係るカラーコーディングは、２×２画素ごとにＷＲＧＢの各フィルタで構成され、縦横２画素ピッチの配列となっている。具体的には、Ｗフィルタが偶数行の偶数列に配置され、Ｒフィルタが偶数行の奇数列に配置され、Ｇフィルタが奇数行の奇数列に配置され、Ｂフィルタが奇数行の偶数列に配置されている。

（第９具体例）
図１２は、第９具体例に係るカラーコーディングを示す色配列図である。図１２に示すように、第９具体例に係るカラーコーディングは、ＲＧＢの各フィルタがそれぞれ２×２画素単位で同色のベイヤ配列となっている。具体的には、Ｇフィルタが１行目、２行目の１列目、２列目と３行目、４行目の３列目、４列目に配置され、Ｂフィルタが１行目、２行目の３列目、４列目に配置され、Ｒフィルタが３行目、４行目の１列目、２行目に配置されている。

［１−４．Ｗ：Ｇ：Ｒ：Ｂの感度比］
ここで、Ｗ：Ｇ：Ｒ：Ｂの感度比について説明する。Ｗフィルタを含むカラーコーディングでは、出力信号レベルが高いＷフィルタの画素が他の色フィルタの画素よりも早く飽和してしまう。したがって、Ｗフィルタの画素の感度を落とし、相対的に他の色フィルタの画素の感度を上げることで、Ｗ：Ｇ：Ｒ：Ｂの各画素間で感度のバランスをとる、即ちＷ：Ｇ：Ｒ：Ｂの各画素の感度比を調整する必要がある。

この感度比の調整には、周知の露光制御の技術を用いることができる。具体的には、色フィルタアレイ３０の外側に画素単位で設けられるオンチップマイクロレンズのサイズを調整することで、各色の画素間で入射光量のバランスをとる技術がある（例えば、特開平９−１１６１２７号公報等参照）。この技術を活用し、Ｗ画素のオンチップマイクロレンズのサイズを他の色の画素よりも小さくすることで、Ｗフィルタの画素の感度を落とし、相対的に他の色フィルタの画素の感度を上げることができる。

他の露光制御の技術として、Ｗフィルタを含むカラーコーディングにおいて、Ｗ画素のオンチップマイクロレンズを無くすことで、感度差を縮めると同時に、色感度を上げて色Ｓ／Ｎを改善する技術がある（例えば、特開２００７−２８７８９１号公報等参照）。この技術を活用することによっても、Ｗフィルタの画素の感度を落とし、相対的に他の色フィルタの画素の感度を上げることができる。

また、Ｒ／Ｂの各フィルタの画素の露光時間に比べて、Ｇフィルタの画素の露光時間を短くするシャッタ露光制御を行うことで色バランスが崩れるのを防止する技術がある（例えば、特開２００３−６０９９２号公報参照）。このシャッタ露光制御の技術を受光面積の制御と組み合わせることによっても、Ｗフィルタの画素の感度を落とし、相対的に他の色フィルタの画素の感度を上げることができるとともに、特に動体の輪郭部分での色つきを無くすことができる。その結果、外部の信号処理部（ＤＳＰ）での色消し処理が不要になる。

なお、ここで挙げた感度比の調整に活用する露光制御の技術は一例に過ぎず、上記の３例に限られるものではない。

ここで、前者のＷ画素のオンチップマイクロレンズのサイズを調整する場合のサイズ案について一例を示す。Ｗ／Ｇ／Ｂ／Ｒの各画素の出力レベルのおおよその割合は、Ｗ：Ｇ：Ｂ：Ｒ＝２：１：０．５：０．５である。

Ｗ画素のオンチップマイクロレンズについて、１．１μｍ画素で±０．１μｍサイジングで、２倍の面積差になるために、２倍の感度差で、同サイズ時でＷ画素の出力レベル＝Ｇ画素の出力レベル×２であったものを完全に同レベルに補正できる。１．１μｍ画素で±０．０５μｍサイジングでも、１．４２倍の面積差になるために、感度差を１．４２倍に縮めることができる。このとき、残りの差分（感度差）については、シャッタ露光制御との併用によって補正するようにしてもよい。

［１−５．色変換処理］
次に、変換処理部１６による色変換処理にてＲＧＢベイヤ配列に対応した信号に変換する処理（色変換処理）の詳細について説明する。

色変換処理については、全画素を走査する静止画撮像時（フルスキャン時）の色変換処理と、隣接する複数の画素の信号を加算する動画撮像時（画素加算時）の色変換処理とに分けられる。第１具体例および第６具体例に係るカラーコーディングの場合には、先述したように、高感度化を実現可能な色変換処理であり、低照度モードを採ることができることから、フルスキャン時の色変換処理について２つ色変換処理に分けることができる。

２つの色変換処理の一つは、入射光輝度があらかじめ定められた基準輝度よりも高い高輝度時の色変換処理であり、これを色変換処理１と呼ぶこととする。他の一つは、基準輝度以下の低輝度時の色変換処理であり、これを色変換処理２と呼ぶこととする。また、画素加算時の色変換処理についても、加算する画素の組み合わせの違い等によって複数の色変換処理に分けることができる。

なお、第１、第６具体例以外の具体例に係るカラーコーディングの場合におけるフルスキャン時の色変換処理については、低照度モードを採ることができないために、高照度モードのみを採ることになる。すなわち、第２〜第５具体例および第７〜第９具体例に係るカラーコーディングの場合におけるフルスキャン時の色変換処理は、第１、第６具体例に係るカラーコーディングの場合の高輝度時の色変換処理１に対応するものとする。

（第１具体例に係るカラーコーディングの場合）
先ず、第１具体例に係るカラーコーディングの場合の色変換処理について説明する。最初に、フルスキャン時における高輝度時の色変換処理１について、図１３のフローチャートおよび図１４の概念図を用いて説明する。

図１３のフローチャートに示すように、高輝度時の色変換処理１は、基本的に、ステップＳ１１、ステップＳ１２およびステップＳ１３の各処理を順に実行することによって実現される。図１４（Ａ）に、第１具体例に係るカラーコーディングの４×４画素の色配列を示す。

ステップＳ１１では、図１４（Ｂ）に示すように、市松状の白色（Ｗ）画素の成分を、解像度の方向性を判断して全ての色の画素に展開する処理が行われる。ここで、解像度の方向とは、画素信号が存在している方向を意味している。図１４（Ｂ）において、白抜きの四角（□）で示すＷは、各色に展開されたＷ画素の成分を表わすものとする。

Ｗ画素の成分を他の全ての色の画素に展開するに当たっては、周知の方向性相関を利用した信号処理を用いることができる。この方向性相関を利用した信号処理の技術としては、例えば、特定の画素に対応する複数の色信号を得て、特定の画素に対応する位置での垂直方向および／または水平方向の相関値を得る技術（例えば、特許第２９３１５２０号明細書等参照）が挙げられる。

ステップＳ１２では、図１４（Ｃ）に示すように、Ｗ画素とＧ画素との相関からＷ画素をＧ画素に置換する。先述した各種のカラーコーディングの色配列から明らかなように、Ｗ画素とＧ画素とは隣接している。ある領域でＷ画素とＧ画素との相関をみると、どちらも輝度信号の主成分となる色であるためにかなり強い相関をもっており、相関値（相関係数）が１に近い。この色相関を用いて解像度の方向性を判断し、Ｗ画素の出力レベルをＧ画素相当のレベルに変えることで、Ｗ画素をＧ画素に置き換えることができる。

ステップＳ１３では、Ｗ画素とＲ／Ｂの各画素との相関から、図１４（Ｄ）に示すベイヤ用Ｒ／Ｂの各画素を生成する。ＷフィルタはＲ／Ｇ／Ｂの各色成分を含んでいるために、Ｗ画素とＲ／Ｂの各画素との相関をとることができる。この信号処理には、４色の色配列においてＧに代替される輝度信号を全画素に補間する周知の技術（例えば、特開２００５−１６００４４号公報等参照）を用いることができる。

続いて、フルスキャン時における低輝度時の色変換処理２について、図１５のフローチャートおよび図１６の概念図を用いて説明する。

先ず、先述した周知の方向性相関を利用した信号処理を用いることで、図１６（Ａ）に示すように、解像度の方向性をみる（ステップＳ２１）。そして、方向性を判断できるか否かを判断し（ステップＳ２２）、方向性を判断できる場合は、市松状のＷ画素の成分を全ての色の画素に展開する（ステップＳ２３）。

次に、先述した周知の技術を用いることで、図１６（Ｂ）に示すように、Ｗ画素とＲ／Ｂの各画素との相関からＲ／Ｂの各画素を生成する（ステップＳ２４）。次いで、図１６（Ｃ）に示すように、Ｗ画素の信号に当該Ｗ画素に隣接する２つのＲ画素の信号を加算してＧ（＝Ｗ＋２Ｇ）に近似することで、図１６（Ｄ）に示すように、ベイヤ用Ｒ／Ｂの各画素を生成する（ステップＳ２５）。

ステップＳ２２において、方向性を判断できない場合は、上下左右に隣接する４画素間で均等に補完する単純４画素均等補間によってベイヤ用Ｒ／Ｂの各画素を生成する（ステップＳ２６）。

上述したように、入射光の輝度に応じて色変換処理１または色変換処理２を用いることで、Ｗフィルタが市松状に配置された色配列に対応した信号を、ＲＧＢベイヤ配列に対応した信号にセンサチップ１１上で変換して出力することができる。

次に、動画撮像時における画素加算時の２つの色変換処理について説明する。この２つの色変換処理を画素加算処理１および画素加算処理２と呼ぶこととする。

先ず、画素加算処理１について、図１７のフローチャートおよび図１８の概念図を用いて説明する。

最初に、Ｗ画素について、斜め方向に位置する２つの画素間で加算処理を行う（ステップＳ３１）。具体的には、図１８（Ａ）に示すように、注目画素と当該注目画素の右斜め下に位置する画素（１列右隣りで１行下の画素）との間で加算を行う。このＷ画素の加算については、図３に示す画素構成において、加算を行う２つの画素の転送トランジスタ２２、本例では転送トランジスタ２２−１，２２−４に対して同時に転送パルスφＴＲＦを与えることで、ＦＤ部２６において２画素加算を行うことができる。この画素加算をＦＤ加算と呼ぶこととする。

次に、Ｒ／Ｇ／Ｂの各画素について、Ｗ画素の場合と逆斜め方向に位置する２つの画素間で飛び越し加算を行う（ステップＳ３２）。具体的には、図１８（Ｂ）に示すように、注目画素と当該注目画素の左斜め下に位置する画素（２列左隣りで２行下の画素）との間で飛び越し加算を行う。このＲ／Ｇ／Ｂの各画素の加算については、例えば図１に示すカラム処理部１４がＡ／Ｄ変換機能を持つ場合において、当該Ａ／Ｄ変換の際に飛び越し加算を行うことができる。

より具体的には、図１９に示す色配列において、Ｂ１，Ｇ１の各画素の信号を独立に読み出し、これらの信号をＡ／Ｄ変換後に連続的にＢ２，Ｇ３の各画素の信号を読み出してＡ／Ｄ変換を行うことで２画素加算を行うことができる。このカラム処理部１４でのＡ／Ｄ変換の際に画素加算を行う技術としては、カウンタを用いてアナログ画素信号をデジタル画素信号に変換する周知の技術（例えば、特開２００６−０３３４５４号公報等参照）を用いることができる。

このＡ／Ｄ変換部の一部を構成するカウンタを用いて画素加算を行う処理をカウンタ加算と呼ぶこととする。このカウンタ加算を行うときにラインごとにゲインを変えると、加算比率を可変にできる。Ｒ画素についても同様にしてカウンタ加算を行うことができる。因みに、先述したＷ画素についての２画素加算は、Ｗ１，Ｗ２の各画素間、Ｗ３，Ｗ４の各画素間でそれぞれＦＤ加算が行われる。

次に、図１８（Ｃ）に示すように、Ｗ画素の成分をＲ／Ｇ／Ｂの各画素にフィッティングする（ステップＳ３３）。次いで、図１８（Ｄ）に示すように、ＲＧＢベイヤ配列の４画素を生成する（ステップＳ３４）。

続いて、画素加算処理２について、図２０のフローチャートおよび図２１の概念図を用いて説明する。

最初に、Ｗ画素およびＧ画素について、左右斜め方向に位置する２つの画素間でＦＤ加算を行うことによってＷ／Ｒ／Ｇ／Ｂを生成する（ステップＳ４１）。具体的には、Ｗ画素については、図２１（Ａ）に示すように、注目画素と当該注目画素の右斜め下に位置する画素（１列右隣りで１行下の画素）との間でＦＤ加算を行う。Ｇ画素については、図２１（Ｂ）に示すように、注目画素と当該注目画素の左斜め下に位置する画素（１列左隣りで１行下の画素）との間でＦＤ加算を行う。

ここで、縦４画素×横４画素の計８画素において、Ｒ／Ｂの１組の信号については未使用となる。すなわち、Ｒ／Ｂの各画素については画素加算無しの間引き読み出しとなる。したがって、画素加算処理１の場合に比べてＲ／Ｂの感度が低くなるために色Ｓ／Ｎが悪い。

次に、図２１（Ｃ）に示すように、Ｗ画素の成分をＲ／Ｇ／Ｂの各画素にフィッティングする（ステップＳ４２）。次いで、図２１（Ｄ）に示すように、ＲＧＢベイヤ配列の４画素を生成する（ステップＳ４３）。画素加算処理２の場合、画素加算処理１の場合に比べてＲＧＢベイヤ配列の重心が多少ずれる。

さらに、画素加算処理３について、図２２のフローチャートおよび図２３の概念図を用いて説明する。

先ず、図２３（Ａ）に示すように、ＷＲＧＢとも全て斜め飛び越し２画素加算を行う（ステップＳ５１）。この加算処理により、図２３（Ｂ）に示すように、ある行がＲ，Ｗ，Ｇ，Ｗ，…、次の行がＷ，Ｇ，Ｗ，Ｒ…となる色配列が得られる。そして、フルスキャン時の処理の場合と同様に、Ｗ画素とＲ／Ｂの各画素との相関から、図２３（Ｃ）に示すベイヤ用Ｒ／Ｂの各画素を生成する（ステップＳ５２）。

上述したように、動画撮像時に画素加算処理１、画素加算処理２または画素加算処理３を用いることで、Ｗフィルタが市松状に配置された色配列に対応した信号を、ＲＧＢベイヤ配列に対応した信号にセンサチップ１１上で変換して出力することができる。

以下に、第２乃至第９具体例に係るカラーコーディングの場合の色変換処理について説明するが、多くの場合、一連の処理の流れについては概ね、第１具体例に係るカラーコーディングの場合を基本としている。

（第２具体例に係るカラーコーディングの場合）
先ず、フルスキャン時の色変換処理について図２４の概念図を用いて説明する。図２４（Ａ）に示す第２具体例に係るカラーコーディングの４×４画素の色配列において、解像度の方向性をみて、図２４（Ｂ）に示すように、市松状のＷ画素の成分を全ての色の画素に展開する。次に、Ｗ画素とＧ画素との相関から、図２４（Ｃ）に示すように、Ｗ画素をＧ画素に置換する。そして、Ｗ画素とＲ／Ｂの各画素との相関から、図２４（Ｄ）に示すベイヤ用Ｒ／Ｂの各画素を生成する。

次に、画素加算処理について図２５の概念図を用いて説明する。先ず、図２５（Ａ），（Ｂ）に示すように、Ｗ画素およびＧ画素について、左右斜め方向に位置する２つの画素間でＦＤ加算を行うことによってＷ／Ｒ／Ｇ／Ｂを生成する。そして、図２５（Ｃ）に示すように、Ｗ画素の成分をＲ／Ｇ／Ｂの各画素にフィッティングし、図２５（Ｄ）に示すＲＧＢベイヤ配列の４画素を生成する。

（第３具体例に係るカラーコーディングの場合）
先ず、フルスキャン時の色変換処理について図２６の概念図を用いて説明する。図２６（Ａ）に示す第３具体例に係るカラーコーディングの４×４画素の色配列において、解像度の方向性をみて、図２６（Ｂ）に示すように、市松状のＷ画素の成分を全ての色の画素に展開する。次に、Ｗ画素とＧ画素との相関から、図２６（Ｃ）に示すように、Ｗ画素をＧ画素に置換する。そして、Ｗ画素とＲ／Ｂの各画素との相関から、図２６（Ｄ）に示すベイヤ用Ｒ／Ｂの各画素を生成する。

次に、画素加算処理について図２７の概念図を用いて説明する。先ず、図２７（Ａ），（Ｂ）に示すように、Ｗ／Ｒ／Ｇ／Ｂの各画素について、左右斜めＦＤ加算を行うことによってＷ／Ｃｙ（シアン色）／Ｇ／Ｙｅ（黄色）を生成する。次いで、Ｂ＝Ｗ−Ｙｅ、Ｒ＝Ｗ−Ｃｙの演算処理により、図２７（Ｃ）に示すように、ベイヤ配列を生成する。このとき、減算処理によってＢ／ＲのＳ／Ｎが悪化するものの色再現性は良くなる。そして、図２７（Ｄ）に示すように、Ｗ画素の成分をＲ／Ｇ／Ｂの各画素にフィッティングし、図２７（Ｅ）に示すＲＧＢベイヤ配列の４画素を生成する。

（第４具体例に係るカラーコーディングの場合）
先ず、フルスキャン時の色変換処理について図２８の概念図を用いて説明する。図２８（Ａ）に示す第４具体例に係るカラーコーディングの４×４画素の色配列において、解像度の方向性をみて、図２８（Ｂ）に示すように、市松状のＷ画素の成分を全ての色の画素に展開する。次に、Ｗ画素とＧ画素との相関から、図２８（Ｃ）に示すように、Ｗ画素をＧ画素に置換する。そして、Ｗ画素とＲ／Ｂの各画素との相関から、図２８（Ｄ）に示すベイヤ用Ｒ／Ｂの各画素を生成する。

画素加算処理については４つの処理の仕方が考えられる。第１の画素加算処理について図２９の概念図を用いて説明する。先ず、図２９（Ａ），（Ｂ）に示すように、Ｒ／Ｂの各画素については左右斜め飛び越し２画素加算を行い、Ｗ／Ｃｙ／Ｙｅを生成する。次いで、図２９（Ｃ）に示すように、解像度の方向性を見て、Ｃｙ／Ｙｅの各成分を全画素に展開する。次いで、図２９（Ｄ）に示すように、Ｇ＝Ｃｙ＋Ｙｅ−Ｗ、Ｂ＝Ｗ−Ｙｅ、Ｒ＝Ｗ−Ｃｙの演算処理を行う。そして、図２９（Ｅ）に示すように、Ｗ画素の成分をＲ／Ｇ／Ｂの各画素にフィッティングし、図２９（Ｆ）に示すＲＧＢベイヤ配列の４画素を生成する。

次に、第２の画素加算処理について図３０の概念図を用いて説明する。先ず、図３０（Ａ）に示すように、Ｒ／Ｂの画素について左右斜め飛び越し２画素加算を行う。Ｇ画素については中心のＧ画素と当該中心画素の上下左右の４つのＧ画素の平均値とを合成する。Ｗ画素については、図３０（Ｂ）に示すように、斜めＦＤ加算を行う。そして、図３０（Ｃ）に示すように、Ｗ画素の成分をＲ／Ｇ／Ｂの各画素にフィッティングし、図３０（Ｄ）に示すＲＧＢベイヤ配列の４画素を生成する。

続いて、第３の画素加算処理について図３１の概念図を用いて説明する。先ず、図３１（Ａ）に示すように、Ｗ画素については斜め隣接２画素間で加算を行い、ＲＧＢについてはともに斜め飛び越し２画素加算を行う。これにより、図３１（Ｂ）に示すような色配列が得られる。そして、Ｗ画素の成分をＲ／Ｇ／Ｂの各画素にフィッティングし、図３１（Ｃ）に示すＲＧＢベイヤ配列の４画素を生成する。

最後に、第４の画素加算処理について図３２の概念図を用いて説明する。先ず、図３２（Ａ）に示すように、ＷＲＧＢとも斜め飛び越し２画素加算を行う。次に、寄り目の市松配列のＷ画素の信号を合成することで、図３２（Ｂ）に示すＷ市松の色配列を得る。次いで、フルスキャン時の処理の場合と同様に、Ｗ画素とＧ画素との相関から、図３２（Ｃ）に示すように、Ｗ画素をＧ画素に置換する。そして、Ｗ画素とＲ／Ｂの各画素との相関から、図３２（Ｄ）に示すベイヤ用Ｒ／Ｂの各画素を生成する。

（第５具体例に係るカラーコーディングの場合）
先ず、フルスキャン時の色変換処理について図２９の概念図を用いて説明する。図３３（Ａ）に示す第５具体例に係るカラーコーディングの４×４画素の色配列において、解像度の方向性をみて、図３３（Ｂ）に示すように、市松状のＷ画素の成分を全ての色の画素に展開する。次に、Ｗ画素とＲ／Ｂの各画素との相関から、図３３（Ｃ）に示すように、Ｒ／Ｂの各画素の成分を全画素に展開する。そして、Ｇ＝Ｗ−Ｒ−Ｂの演算処理後Ｗ画素の成分を各画素にフィッティングし、図３３（Ｄ）に示すＲＧＢベイヤ配列の４画素を生成する。

次に、画素加算処理について図３４の概念図を用いて説明する。先ず、図３４（Ａ）に示すように、Ｒ／Ｇ／Ｂの重心を合わせて各画素の信号を加算し、次いで、Ｇ＝Ｗ−Ｒ−Ｂの演算処理を行うことで、図３４（Ｂ）に示すようにＧ画素を生成する。次に、図３４（Ｃ）に示すように、Ｂ画素については斜め方向４画素加算を行い、Ｒ画素については上下左右５画素加算を行うことで、Ｒ／Ｂの各画素を生成する。そして、最終的に、図３４（Ｄ）に示すＲＧＢベイヤ配列の４画素を生成する。

（第６具体例に係るカラーコーディングの場合）
先ず、フルスキャン時の色変換処理１について図３５の概念図を用いて説明する。図３５（Ａ）に示す第６具体例に係るカラーコーディングの４×４画素の色配列において、解像度の方向性をみて、図３５（Ｂ）に示すように、市松状のＷ画素の成分を全ての色の画素に展開する。次に、Ｗ画素とＧ画素との相関から、図３５（Ｃ）に示すように、Ｗ画素をＧ画素に置換する。そして、Ｗ画素とＲ／Ｂの各画素との相関から、図３５（Ｄ）に示すベイヤ用Ｒ／Ｂの各画素を生成する。

次に、フルスキャン時の色変換処理２について図３６の概念図を用いて説明する。色変換処理１の場合と同様に、第６具体例に係るカラーコーディングの４×４画素の色配列において、解像度の方向性をみて、図３６（Ａ）に示すように、市松状のＷ画素の成分を全ての色の画素に展開する。Ｗ画素とＲ／Ｂの各画素との相関から、図３６（Ｂ）に示すようにＲ／Ｂの各画素を生成する。次に、図３６（Ｃ）に示すように、Ｗ画素の信号に当該Ｗ画素に隣接するＧ画素２つの信号を加算し、Ｇ（＝Ｗ＋２Ｇ）に近似し、図３６（Ｄ）に示すように、ベイヤ用Ｒ／Ｂの各画素を生成する。このとき、方向性がある場合は、加算比率をアクティブに変えるとよい。

続いて、画素加算処理１について図３７を用いて説明する。図３７（Ａ），（Ｂ）に示すように、Ｗ画素とＲ／Ｇ／Ｂの各画素について左右斜めＦＤ加算を行うことでＷ／Ｒ／Ｇ／Ｂの各画素を生成する。そして、図３７（Ｃ）に示すように、Ｗ画素の成分を各画素にフィッティングし、図３７（Ｄ）に示すＲＧＢベイヤ配列の４画素を生成する。

次に、画素加算処理２について図３８を用いて説明する。図３８（Ａ），（Ｂ）に示すように、Ｗ画素とＲ／Ｇ／Ｂの各画素について左右斜めＦＤ加算を行うことでＷ／Ｒ／Ｇ／Ｂの各画素を生成する。そして、図３８（Ｃ）に示すように、Ｗ画素の成分をＲ／Ｂの各画素にフィッティングし、図３８（Ｄ）に示すＲＧＢベイヤ配列の４画素を生成する。

（第７具体例に係るカラーコーディングの場合）
先ず、フルスキャン時の色変換処理について図３９の概念図を用いて説明する。図３９（Ａ）に示す第７具体例に係るカラーコーディングの４×４画素の色配列において、解像度の方向性をみて、図３９（Ｂ）に示すように、市松状のＧ画素の成分をＲ／Ｂの各画素に展開する。次に、Ｗ画素とＲ／Ｂの各画素との相関から、図３９（Ｃ）に示すように、Ｗ画素をＲ／Ｂの各画素に置換する。そして、図３９（Ｄ）に示すＲＧＢベイヤ配列の４画素を生成する。

次に、画素加算処理について図４０の概念図を用いて説明する。先ず、図４０（Ａ）に示すように、Ｒ／Ｂの各画素について左右斜め飛び越し加算を行うことで、図４０（Ｂ）に示すように２Ｒ／２Ｂを生成する。次に、図４０（Ｃ）に示すように、Ｇ画素について斜め菱形加算を行うことで、図４０（Ｄ）に示すように４Ｇを生成する。そして、Ｗ画素とＲ／Ｇ／Ｂの各画素との相関から、Ｇｗ／Ｒｗ／Ｂｗを加えることで、図４０（Ｅ）に示すＲＧＢベイヤ配列の４画素を生成する。

（第８具体例に係るカラーコーディングの場合）
先ず、フルスキャン時の色変換処理について図４１の概念図を用いて説明する。図４１（Ａ）に示す第８具体例に係るカラーコーディングの４×４画素の色配列において、解像度の方向性をみて、図４１（Ｂ）に示すように、Ｇ／Ｗの各画素について市松状に展開する。次に、図４１（Ｃ）に示すように、Ｗ画素の成分をＧ画素にフィッティングし、図４１（Ｄ）に示すＲＧＢベイヤ配列の４画素を生成する。

次に、画素加算処理について図４２の概念図を用いて説明する。先ず、図４２（Ａ）に示すように、Ｇ／Ｗの重心を合わせてこれら画素の信号を加算する。次に、図４２（Ｂ）に示すように、Ｗ画素の成分をＧ画素にフィッティングしてＧ＝Ｇ＋Ｇｗを生成する。次いで、図４２（Ｃ）に示すように、Ｂ画素について斜め方向４画素加算を行い、Ｒ画素について上下左右５画素加算を行うことで、図４２（Ｄ）に示すＲＧＢベイヤ配列の４画素を生成する。

（第９具体例に係るカラーコーディングの場合）
先ず、フルスキャン時の色変換処理について図４３の概念図を用いて説明する。図４３（Ａ）に示す第９具体例に係るカラーコーディングの４×４画素の色配列において、解像度の方向性をみて、図４２（Ｂ）に示すように、Ｇ画素の成分をＲ／Ｂの各画素に展開する。次に、Ｇ画素とＲ／Ｂの各画素との相関から、図４２（Ｃ）に示すＲＧＢベイヤ配列の４画素を生成する。

次に、画素加算処理について図４４の概念図を用いて説明する。先ず、図４４（Ａ）に示すように、上下左右で隣接する同色の２×２画素の計４画素の信号をＦＤ加算する。そして、最終的に、図４４（Ｂ）に示すＲＧＢベイヤ配列の４画素を生成する。

＜２．適用例＞
［撮像装置］
図４５は、本発明に係る撮像装置の構成の一例を示すブロック図である。

図４５に示すように、本発明に係る撮像装置１００は、レンズ群１０１等を含む光学系、撮像素子１０２、カメラ信号処理回路であるＤＳＰ回路１０３、フレームメモリ１０４、表示装置１０５、記録装置１０６、操作系１０７および電源系１０８等を有している。そして、ＤＳＰ回路１０３、フレームメモリ１０４、表示装置１０５、記録装置１０６、操作系１０７および電源系１０８がバスライン１０９を介して相互に接続された構成となっている。

レンズ群１０１は、被写体からの入射光（像光）を取り込んで撮像素子１０２の撮像面上に結像する。撮像素子１０２は、レンズ群１０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この撮像素子１０２として、先述した実施形態に係るＣＭＯＳイメージセンサ１０が用いられる。

ＣＭＯＳイメージセンサ１０は、色フィルタアレイとして、輝度信号の主成分となる色が市松状に配置され、残りの部分に色情報成分となる複数色が配列された色配列のカラーコーディングのものを有している。そして、ＣＭＯＳイメージセンサ１０は、色フィルタアレイの色配列に対応した信号を、演算処理にてベイヤ配列に対応した信号に変換する構成となっている。

したがって、ＣＭＯＳイメージセンサ１０からは、色フィルタアレイが輝度信号の主成分となる色が市松状に配置されたカラーコーディングでありながら、ベイヤ配列に対応した信号が出力される。これにより、ＤＳＰ回路１０３として、ベイヤ配列に対応した信号を基に輝度信号Ｙおよび２つの色差信号Ｕ（Ｂ−Ｙ），Ｖ（Ｒ−Ｙ）を生成する処理を基本的な処理とする既存のベイヤ配列用のＤＳＰを用いることができる。

このように、既存のベイヤ配列用のＤＳＰを用いることができることで、撮像素子１０２で用いる色フィルタアレイのカラーコーディングを変更しても、莫大な開発コストがかかるＤＳＰを新規に開発する必要がなくなる。これにより、ＤＳＰ回路１０３を含む本撮像装置１００の低コスト化および特にＷフィルタを用いたカラーコーディングの色フィルタアレイの普及に寄与できる。

表示装置１０５は、液晶表示装置や有機ＥＬ(electro luminescence)表示装置等のパネル型表示装置からなり、撮像素子１０２で撮像された動画または静止画を表示する。記録装置１０６は、撮像素子１０２で撮像された動画または静止画を、ビデオテープやＤＶＤ(Digital Versatile Disk)等の記録媒体に記録する。

操作系１０７は、ユーザによる操作の下に、本撮像装置が持つ様々な機能について操作指令を発する。電源系１０８は、ＤＳＰ回路１０３、フレームメモリ１０４、表示装置１０５、記録装置１０６および操作系１０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。

本発明の一実施形態に係るＣＭＯＳイメージセンサの構成の概略を示すシステム構成図である。 単位画素の回路構成の一例を示す回路図である。 隣接４画素加算を画素内で行う場合の回路構成の一例を示す回路図である。 第１具体例に係るカラーコーディングを示す色配列図である。 第２具体例に係るカラーコーディングを示す色配列図である。 第３具体例に係るカラーコーディングを示す色配列図である。 第４具体例に係るカラーコーディングを示す色配列図である。 第５具体例に係るカラーコーディングを示す色配列図である。 第６具体例に係るカラーコーディングを示す色配列図である。 第７具体例に係るカラーコーディングを示す色配列図である。 第８具体例に係るカラーコーディングを示す色配列図である。 第９具体例に係るカラーコーディングを示す色配列図である。 第１具体例に係るカラーコーディングの場合のフルスキャン時における高輝度時の色変換処理１の一例の流れを示すフローチャートである。 第１具体例に係るカラーコーディングの場合のフルスキャン時における高輝度時の色変換処理１の概念図である。 第１具体例に係るカラーコーディングの場合のフルスキャン時における低輝度時の色変換処理２の一例の流れを示すフローチャートである。 第１具体例に係るカラーコーディングの場合のフルスキャン時における低輝度時の色変換処理２の概念図である。 第１具体例に係るカラーコーディングの場合の画素加算処理１の一例の流れを示すフローチャートである。 第１具体例に係るカラーコーディングの場合の画素加算処理１の概念図である。 ＦＤ加算およびカウンタ加算についての説明図である。 第１具体例に係るカラーコーディングの場合の画素加算処理２の一例の流れを示すフローチャートである。 第１具体例に係るカラーコーディングの場合の画素加算処理２の概念図である。 第１具体例に係るカラーコーディングの場合の画素加算処理３の一例の流れを示すフローチャートである。 第１具体例に係るカラーコーディングの場合の画素加算処理３の概念図である。 第２具体例に係るカラーコーディングの場合のフルスキャン時の色変換処理の概念図である。 第２具体例に係るカラーコーディングの場合の画素加算処理の概念図である。 第３具体例に係るカラーコーディングの場合のフルスキャン時の色変換処理の概念図である。 第３具体例に係るカラーコーディングの場合の画素加算処理の概念図である。 第４具体例に係るカラーコーディングの場合のフルスキャン時の色変換処理の概念図である。 第４具体例に係るカラーコーディングの場合の第１の画素加算処理の概念図である。 第４具体例に係るカラーコーディングの場合の第２の画素加算処理の概念図である。 第４具体例に係るカラーコーディングの場合の第３の画素加算処理の概念図である。 第４具体例に係るカラーコーディングの場合の第４の画素加算処理の概念図である。 第５具体例に係るカラーコーディングの場合のフルスキャン時の色変換処理の概念図である。 第５具体例に係るカラーコーディングの場合の画素加算処理の概念図である。 第６具体例に係るカラーコーディングの場合の色変換処理１の概念図である。 第６具体例に係るカラーコーディングの場合の色変換処理２の概念図である。 第６具体例に係るカラーコーディングの場合の画素加算処理１の概念図である。 第６具体例に係るカラーコーディングの場合の画素加算処理２の概念図である。 第７具体例に係るカラーコーディングの場合のフルスキャン時の色変換処理の概念図である。 第７具体例に係るカラーコーディングの場合の画素加算処理の概念図である。 第８具体例に係るカラーコーディングの場合のフルスキャン時の色変換処理の概念図である。 第８具体例に係るカラーコーディングの場合の画素加算処理の概念図である。 第９具体例に係るカラーコーディングの場合のフルスキャン時の色変換処理の概念図である。 第９具体例に係るカラーコーディングの場合の画素加算処理の概念図である。 本発明に係る撮像装置の構成の一例を示すブロック図である。

符号の説明

１０…ＣＭＯＳイメージセンサ、１１…半導体基板（センサチップ）、１２…画素アレイ部、１３…垂直駆動部、１４…カラム処理部、１５…水平駆動部、１６…変換部、１７…システム制御部、２０…単位画素、２１…フォトダイオード、２２…転送トランジスタ、２３…リセットトランジスタ、２４…増幅トランジスタ、２５…選択トランジスタ、２６…ＦＤ（フローティングディフュージョン）部、３０…色フィルタアレイ（色フィルタ部）

Claims (7)

1. 画素が行列状に２次元配置された画素アレイ部上に設けられ、輝度信号の主成分の色に対応する白色フィルタが市松状に配置され、赤色と青色の各フィルタが縦横２画素ピッチの市松配列で、且つ赤色と青色の各フィルタ間が斜め１画素ズレで、残りが緑色フィルタとなっている色配列の色フィルタ部と、
   前記画素アレイ部と同じ基板上に設けられ、当該画素アレイ部の各画素から出力される前記色フィルタ部の色配列に対応した信号をベイヤ配列に対応した信号に変換して出力する変換処理部と
   を備えた固体撮像装置。
2. 前記色フィルタ部の色配列は、前記緑色フィルタが斜め方向、縦方向または横方向において４画素単位でストライプ状の配列となっており、
   前記変換処理部は、白色フィルタの画素に隣接する１つまたは２つの緑色の画素の信号を当該白色フィルタの画素の信号に加算して輝度信号の主成分に利用する
   請求項１記載の固体撮像装置。
3. 画素が行列状に２次元配置された画素アレイ部上に設けられ、輝度信号の主成分の色に対応する白色フィルタが市松状に配置され、赤色と青色の各フィルタが縦横４画素ピッチの正方配列で、且つ赤色と青色の各フィルタ間が斜め１画素ズレで、残りが緑色フィルタとなっている色配列の色フィルタ部と、
   前記画素アレイ部と同じ基板上に設けられ、当該画素アレイ部の各画素から出力される前記色フィルタ部の色配列に対応した信号をベイヤ配列に対応した信号に変換して出力する変換処理部と
   を備えた固体撮像装置。
4. 画素が行列状に２次元配置された画素アレイ部上に設けられ、輝度信号の主成分の色に対応する白色フィルタが市松状に配置され、赤色と青色の各フィルタが縦横４画素ピッチの正方配列で、且つ赤色と青色の各フィルタ間が斜め２画素ズレで、残りが緑色フィルタとなっている色配列の色フィルタ部と、
   前記画素アレイ部と同じ基板上に設けられ、当該画素アレイ部の各画素から出力される前記色フィルタ部の色配列に対応した信号をベイヤ配列に対応した信号に変換して出力する変換処理部と
   を備えた固体撮像装置。
5. 画素が行列状に２次元配置された画素アレイ部上に設けられ、輝度信号の主成分の色に対応する白色フィルタが市松状に配置され、赤色と青色の各フィルタが縦横２画素ピッチの正方配列で、且つ赤色と青色の各フィルタ間が斜め１画素ズレとなっている色配列の色フィルタ部と、
   前記画素アレイ部と同じ基板上に設けられ、当該画素アレイ部の各画素から出力される前記色フィルタ部の色配列に対応した信号をベイヤ配列に対応した信号に変換して出力する変換処理部と
   を備えた固体撮像装置。
6. 画素が行列状に２次元配置された画素アレイ部上に設けられ、輝度信号の主成分の色に対応する白色フィルタが市松状に配置され、赤色と青色の各フィルタが縦横４画素ピッチの正方配列で、且つ赤色と青色の各フィルタ間が斜め方向に２画素単位で並び、残りが緑色フィルタとなっている色配列の色フィルタ部と、
   前記画素アレイ部と同じ基板上に設けられ、当該画素アレイ部の各画素から出力される前記色フィルタ部の色配列に対応した信号をベイヤ配列に対応した信号に変換して出力する変換処理部と
   を備えた固体撮像装置。
7. 前記色フィルタ部の色配列は、前記緑色フィルタが斜め方向、縦方向または横方向において４画素単位でストライプ状の配列となっており、
   前記変換処理部は、白色フィルタの画素に隣接する１つまたは２つの緑色の画素の信号を当該白色フィルタの画素の信号に加算して輝度信号の主成分に利用する
   請求項６記載の固体撮像装置。

Images