JP2009055151A - カラー固体撮像装置 - Google Patents

Abstract

【課題】従来のカラー固体撮像装置はイメージセンサー（特にCMOSセンサー）の画素サイズが微細になると、感度の低下と隣接画素間のクロストークによる色再現悪化の課題があった。
【解決の手段】イメージセンサーの各光電変換素子に対応して、第1の水平ラインには第1の透明フィルターと第2の補色フィルターを順次配列し、第2の水平ラインには第1の透明フィルターと第3の補色フィルターを順次配列し、これらを順次垂直方向に配列した構成の色フィルターを設置し、前記第2のフィルターに対応した光電変換素子からの信号と、前記第1のフィルターで前記第3のフィルターに隣接する光電変換素子からの信号を減算し、前記第３のフィルターに対応した光電変換素子からの信号と、前記第１のフィルターで前記第２のフィルターに隣接する光電変換素子からの信号を減算して、高感度でクロストーク成分を除去したカラー固体撮像装置。
【選択図】図９

Description

本発明の目的は微細セルのCMOSセンサーを使用したカラー固体撮像装置において、高感度で、高解像度であり、かつ、良好な色再現の画像を得ることを目的とする。
本発明の他の目的は補色のカラーフィルターにより低照度でもSNRの良い画像を得ることを目的とする。
本発明の他の目的はイメージセンサー内の隣接画素から発生するクロストークの影響による混色での色再現の低下を無くすることを目的とする。
本発明の他の目的は使用する全フィルターに緑色（Green）を通過させて輝度信号の解像度を容易にイメージセンサーの画素数の限界まで得ることを目的とする。
本発明の他の目的は原色フィルターを使用したベイヤー方式の良好な色再現性と、補色フィルターを使用した色差順次方式の高感度の両方を併せ持たせることを目的とする。

従来のカラー固体撮像装置のカラーフィルターは第1図（a）に示すように、Greenフィルター（G）を市松状に、ラインに毎にRed（R）とBlue（B）フィルターを配したベイヤー方式（USP 3971065）か、同図（b）に示すように第1の1ラインをYellow（Ye）とCyan(C)フィルターを順次配列し、第2のラインにMagenta（Mg）とGreen（G）フィルターを順次配列し、この2ラインを同時に1ラインとして読み出し、次の2ラインには上記の配列のどちらか一方ラインの順番を反転させた構成のフィルターとし、この2ラインを同時に読み出し、次のフィールドでは、１ラインずらせて次のラインと同時に読み出す色差順次方式（特公開平5-100110）か、同図（C）に示すようにRed（R）フィルターとGreen（G）フィルターとBlue（B）フィルターを順次列方向に配列したストライプ方式（非特許文献「CCDカメラ技術入門」コロナ社 1997年）の3種類が実用化されてきた。
なお、これら３種類のカラーフィルター方式では、各々の色フィルターはここに示した色フィルターに限定されるものではなく、各種の色フィルターが実験されたが、現状では、ここに示した色フィルターを使用したものに集約されている。
USP 3971065 Color Imaging Array (Bayer Patent) 特公開平5-100110 撮像装置 (色差順次方式) 「CCDカメラ技術入門」コロナ社 1997年

第1図の従来例、（a）のベイヤー方式は原色フィルターを使用するため、色信号の処理が単純で色再現も容易に得られるが、特に小型セルのCMOSセンサーではクロストークの影響が大きく、隣接画素による混色を発生するのでマトリックスでの補正が必要になるが、マトリックスによる演算でSNRを低下させる上に、原色フィルターの透過率は補色フィルターより悪いため、SNRを劣化させ、従って感度が良くない問題がある。

次の従来例、（b）の色差順次方式は補色フィルターを使用しているので、フィルターの透過率が高く感度は良いが、2ラインを加算して同時に読み出すため、垂直方向の解像度が低下する問題がある。
インターレース信号として取り扱う時は便利であるが、プログレッシブ信号の場合は色フィルターの配列を変更する必要がある。
この方式は補色フィルターを使用しているので、色再現性を確保するためにRGBに変換して信号処理を処理せねばならないため、処理回路が複雑になる。
また、クロストークの影響も色フィルターがモザイクであるので、ベイヤー方式と同様に混色を発生する。

従来例、（ｃ）のストライプ方式は通常は原色を使用するが、補色のフィルターでも可能なため、補色フィルターでは感度の問題は解決できるが、3種類のフィルターを水平方向に３画素の繰り返しになるため、水平方向の解像度がナイキスト限界の2/3に低下する問題がある。
しかし、この方式はクロストークの影響は色フィルターがストライプ状のため、垂直方向のクロストークは混色にならないので、上記２つの方法に比べ軽減され、フレームトランスファーCCDでは良く使用された。しかし、フレームトランスファーCCDが使われなくなるに従い現状ではほとんど使用されなくなった。
このように、従来の固体撮像装置のカラーフィルター方式では感度と解像度と色再現のカメラとしての重要な３大性能を同時に解決することは出来なかった。

イメージセンサーの２次元に配列したフォトダイオードに対応した色フィルターにおいて、第1の水平ラインには第１の分光特性のフィルターと第２の分光特性のフィルターを順次配列し、第2の水平ラインには第1の分光特性のフィルターと第3の分光特性のフィルターを順次配列した構成の色フィルターとし、第２の分光特性のフィルターに対応したフォトダイオードの信号と、第１の分光特性のフィルターで第３の分光特性のフィルターに隣接するフォトダイオードからの信号との差を取り出すことを特徴とするカラー固体撮像装置。

本発明の効果は微細セルでの課題である感度低下を大幅に改善することと、隣接画素間で発生するクロストークをキャンセルすることが出来る。
本発明の他の効果は微細セルのCMOSセンサーでも、隣接画素からのクロストークがキャンセルできるので、混色のない色再現の良いカメラ画像を得ることが出来る。
本発明の他の効果は微細セルのCMOSセンサーでも、透過率の高い透明と補色フィルターを使用し、さらにクロストークをキャンセルしているため、リニアーマトリックスの補正係数も少なく、高感度でSNRの良い画像を得ることが出来る。
本発明の他の効果は微細セルのセンサーでも色フィルターによる透過率の低下や、クロストークによる混色の性能劣化を無くすることが出来るため、センサーの小型化が可能になり、カメラの小型化と高感度化を実現することができる。

本発明のカラーフィルター構成の具体例を第２図（a）に示す。

同図に示すように第１の水平ラインは透明フィルター（W1）とYellowフィルターの繰り返しで、第2の水平ラインは透明フィルター（W2）とCyanフィルターの繰り返しで構成され、これらを垂直方向に順次配列した構成とする。
この透明フィルターのW1とW2は同一特性の透明フィルターであるため、実質は、縦可視光透過のストライプ状である。

同図（b）に代表的なこれらの色フィルターの分光特性を示す。
微細セルのCMOSセンサーでは各画素間にクロストークが発生するが、このクロストークは入射光の波長に関係し、長波長になるほど入射したフォトンはフォトダイオードを突き抜けてSi部の深い位置まで到達するので、隣接のフォトダイオードに到達するクロストークが増加する。

これを波長400nmから500nmをB成分、500nmから600nmをＧ成分、600nmから700nmをＲ成分として分けて示すと、第３図に示すように、クロストークのB成分は少なく、G成分、R成分と、長波長になるに従って多くなっている。
現状の構造では、２μ程度のセルサイズのCMOSセンサーでは１画素あたりR成分のクロストークは７％〜１４％、G成分のクロストークは３％〜７％も発生しているが、短波長のB成分は２％程度である。

さらにセルサイズが微細になるとこのクロストークはさらに増加する。
また当然、対象の画素が２画素に隣接している時は２倍、４画素に隣接している時は４倍のクロストーク量になり、R成分やG成分のクロストークは連接画素に大きな混色を発生することになる。

第４図に微細セルのセンサーの隣接画素からのクロストークを示す。
同図に示すように中心画素がYeフィルターの時は、上下はCyフィルターであり、左右はW1フィルターになる。
対角画素からのクロストークは構造上ほとんど発生しなく、実質上無視できる。
従って、中心がYe画素の時には、本来のYe信号に上下のCy画素からのクロストークCy”ｘ２と、左右のW1画素からのクロストークW1”ｘ２が加算されて、
Ye’=Ye+2Cy”+2W1”となる。

第５図は、このYe画素とその隣接画素からのクロストークを模式的に示したものである。
同図ではCy”はＢ”成分＋Ｇ”成分に、W1”はR”成分＋G”成分＋B”成分で表示すると、Cy画素からのG”成分とB”成分はW1画素からのG”成分とB”成分と同じ分光特性を持つとして計算でき、これらを加算されて次のように示される。
Ye’=Ye+2(G”+B”)+2(R”+G”+B”)=Ye+(2R”+4G”+4B”)

第６図は、Cy画素とその隣接画素からのクロストークを模式的に示したものである。
同図に示すように、中心がCy画素の時は、本来のCy信号に、上下のYe画素からのクロストークYe”ｘ２と、左右のW2画素からのクロストークW2”ｘ２が加算されて、
Cy’=Cy+2Ye”+2W2”となる。
ここでも、Ye”はＧ”成分＋Ｒ”成分に、W2はR”成分＋G”成分＋B”成分で表示すると、Ye画素からのG”成分とR”成分はW1画素からのG”成分とR”成分と同じ分光特性を持つとして計算でき、これらを加算されて次のように示される。
Cy’=Cy+2(G”+R”)+2(R”+G”+B”)=Cy+(4R”+4G”+2B”)

第７図は、W1画素とその隣接画素からのクロストークを模式的に示したものである。
中心がW1画素の時は、本来のW1信号に、左右のYe画素からのクロストークYe”ｘ２と、上下のW2画素からのクロストークW2”ｘ２が加算されて
W1’=W1+2Ye”＋2W2”となる。
この左右のYe画素からのクロストークYe”は前記のCy画素に混入した上下のYe画素からのクロストークとほぼ同じ量であるので、（正方画素では左右の和と上下の和はほぼ等しい）
W1’=W1+2(G”+R”)+2(R”+G”+B”)=W1+(4R”+４G”+2B”) となる。

第８図は、W2画素とその隣接画素からのクロストークを模式的に示したものである。
中心がW2画素の時は、本来のW2信号に、上下のW1画素からのクロストークW1”ｘ２と左右のCy画素からのクロストークCy”ｘ２が加算されて、
W2’=W2+2Cy”＋2W1”となる。
この左右のCy画素からのクロストークCy”は前記のYe画素に混入した上下のCy画素からのクロストークとほぼ同じ量であるので、
W2’=W2+2(G”+B”)+2(R”+G”+B”)=W2+(2R”+４G”+4B”) となる。

このように、センサーから出力される信号は本来のYe, Cy, でなく、また、同一分光特性の透明フィルターW1、W2も異なる信号量、即ち、隣接画素からのクロストークを含んだYe’, W1’, Cy’, W2’となる。
ここでのクロストーク量は上記の通り、非常に多く、色再現を大幅に悪化させることになる。

これらの信号を、
W1’−Cy’=R
W2’−Ye’=B
即ち、減算する時に隣接していない画素間での演算をすることにより、クロストークをキャンセルしたR、Bの各信号を得ることができ、さらに、
（W1’+W2’）/2−K(R+B)=G
の演算でG信号のクロストークもキャンセルすることが出来る。
第９図にクロストークがキャンセルされたR, B信号およびG信号を模式的に示す。

第１０図にこのセンサー出力信号を処理する信号処理回路のブロックの具体例を示す。
同図に示すように、センサーからの信号を分離回路と補間（Interpolation）回路で、内挿されたYe’、W1’、Cy’、W2’ の各信号を作る。
この時、W1’ とW2’ 信号を補間する時は、それぞれ区別して補間する必要がある。
輝度信号はこれらYe’, W1’, Cy’, W2’の各信号を加算器で1.1、0.5、0.4、0.5の比率で加算すれば、輝度信号Yは、
Y=0.35R+0.42G+0.23Bを作ることが出来る。
このとき、各信号の加算する比率をさらに調整すれば、
Y=0.3R+0.59G+0.11Bの標準輝度信号に近づけることが可能である。

一方、色信号は同図に示すクロストークキャンセル回路で、
W1’−Cy’=R、
W2’−Ye’=B
（W1’+W2’)/2−ka(R+B)=G、
の演算をし、クロストークをキャンセルするとともにR、G、B信号を作る。
この処理により、第９図に示したように、Ye’に含まれるクロストーク成分２W1”+２Cy”はW2’に含まれるクロストーク成分２W1”+２Cy”とほぼ同じであるので、これらを減算して得る信号（W2’−Ye’）はクロストークを完全にキャンセルしたB信号（W2−Ye=B）となる。（正方画素では、上下の画素からのクロストークと左右の画素からのクロストークはほぼ等しい）
W2’−Ye’=(W2+2R”+4G”+4B”)−(Ye+2R”+4G”+4B”)=W2−Ye＝B

同様にW1’−Cy’=Rの処理で得られる信号もクロストーク成分を完全にキャンセルされたR信号（W−Cy=R）となる。
W1’−Cy’=(W1+4R”+4G”+2B”)−(Cy+4R”+4G”+2B”)=W1−Cy＝R
また、G信号はW1’とW2’の平均を取り、適当な比率のR+B信号を減算することにより、
(W1’+W2’)/2=W+(3R”+4G”+3B”)=(R+3R”)+(G+4G”)+(B+3B”)＝G+4G”+ｋa(R+B)
となり、ｋa(R+B)を減算すれば、
＝G+４G”＝kgG
を得ることが出来る。
（GとG”は同一分光特性であり他画素からのクロストーク成分ではない）

このようにクロストークを除去したRGB信号は、第１０図に示すMatrix回路でカメラとしての最適な色再現が得られるように演算する。
第１１図にこのMatrixの代表的な行列式を示す。
前記のクロストークキャンセル回路とこのMatrixを一体として４ｘ３のMatrixとして、一度で演算することも可能である。（第１２図）

このようにしてクロストーク成分を除去し、最適の色再現のRGB信号は同図に示すように、通常のカメラ信号と同様に、ホワイトバランス（WB）回路とGamma補正回路を通し、さらにY, Cr, Cb変換回路でCr、Cbに変換して、色差信号の出力信号とする。

前記、加算器で作られた輝度信号（Y）はLevel AdjustでRGB信号とレベルを合わせてRGB信号と同様にGamma補正回路でガンマ処理をかける。
Gamma処理された輝度信号はアパーチャー補正回路でレンズやセンサーでのMTFの低下分を補正した輝度信号Yとして出力信号とする。
また、ここでは同時に高周波成分と低周波成分に分けてノイズ低減等も行うことが出来る。

このようにして、Wのストライプ状フィルターとYe、Cyのモザイク状フィルターを組み合わせた新しい色フィルターと、左右に隣接していない画素間で減算する特殊な演算のクロストークキャンセル回路により、透過率の良い色フィルターでの高感度と、さらにクロストークによる混色を無くしたカメラ出力信号（輝度信号Yと色差信号Cr、Cb）を得ることが出来る。
この時、輝度信号Yはセンサーからの出力信号のYe, W1, W2, Cy信号を補間しているため、各信号のMTFは多少落ちるが、加算された信号は全ての信号がGreen信号成分を有しているので、解像度としては全画素がGreenフィルターの時と同様に画素数で決まるナイキスト限界まで高く取れる。

この実施例ではWフィルターは垂直方向ストライプ状で説明したが、水平方向Wストライプでも、YeおよびCy信号を減算してRおよびB信号を得るときに、お互いが上下に隣接していないW信号で演算すると、各画素に混入したクロストークはキャンセルすることが可能である。
これらの実施例では透明フィルターとYellowおよびCyanフィルターを使用して説明したが、透明フィルターをGreenフィルターとした構成でも同様の処理をすることによりクロストークをキャンすることが出来る。
ここでは、クロストークは一方的に受ける方向のみ示しているが、当然、反対方向にも発生するが、基本的には同様な動作であり、説明も複雑となるので省略した。

本発明のカラー撮像装置はセルサイズが微細化されたイメージセンサー（特にCMOSセンサー）を使用した小型カメラの性能を大幅に向上させる事が出来る。

カラー撮像装置に使用されている色フィルターの従来例を示す。 本発明に使用する色フィルター配列と分光特性を示す。 CMOSセンサーで発生するクロストークの波長特性を示す。 CMOSセンサーで周囲の画素から受けるクロストークを示す。 Ye画素を中心とした隣接画素からのクロストークを示す。 Cy画素を中心とした隣接画素からのクロストークを示す。 W1画素を中心とした隣接画素からのクロストークを示す。 W2画素を中心とした隣接画素からのクロストークを示す。 本発明の演算によりクロストークをキャンセルすることを示す。 本発明の信号処理ブロック図を示す。 本発明に使用するカラーマトリックスの係数の具体例を示す。 クロストークのキャンセルとカラーマトリックスを同時にするときの信号処理マトリックスを示す。

符号の説明

なし（記号で直接記入）

Claims (6)

1. 撮像手段の２次元に配列した光電変換手段に対応した色フィルターにおいて、第1の水平ラインには第１の分光特性のフィルターと第２の分光特性のフィルターを順次配列し、第2の水平ラインには第1の分光特性のフィルターと第3の分光特性のフィルターを順次配列した構成の色フィルターとし、第２の分光特性のフィルターに対応した光電変換手段の信号と、第１の分光特性のフィルターで第３の分光特性のフィルターに隣接する光電変換手段からの信号との差を取り出すことを特徴とするカラー固体撮像装置。
2. 請求項１において、第１の分光特性のフィルターは全色光を透過する分光特性とし、第２の分光特性のフィルター、第３の分光特性のフィルターを異なる補色の分光特性を有するフィルターとすることを特徴とするカラー固体撮像装置。
3. 請求項２において、第２の分光特性のフィルターを補色のYellowとし、第３の分光特性のフィルターを補色のCyanとした構成の色フィルターを有することを特徴とするカラー固体撮像装置。
4. 請求項１において、第１の分光特性のフィルターに対応する光電変換手段からの信号で第２の分光特性のフィルターに隣接する光電変換手段と、第３の分光特性のフィルターに隣接する光電変換手段からの信号と、第２の色フィルターに対応する光電変換手段と、第３の色フィルターに対応する光電変換手段からの信号との４種類に区別して分離、内挿補間することを特徴とするカラー固体撮像装置。
5. 請求項４において、輝度信号は分離された４種類の信号の比率を調整し加算して得、色信号は前記４種類の信号を演算して得ることを特徴とするカラー固体撮像装置。
6. 請求項１において、各分光特性のフィルター配列の水平方向と垂直方向を入れ替えた配列の色フィルターを設置し、第２の分光特性のフィルターに対応した光電変換手段の信号と、垂直方向の第１の分光特性のフィルターで第３の分光特性のフィルターに隣接する光電変換手段からの信号との差を取り出すことを特徴とするカラー固体撮像装置。

Images