JP5075795B2

JP5075795B2 - 固体撮像装置

Info

Publication number: JP5075795B2
Application number: JP2008292237A
Authority: JP
Inventors: 佳孝江川
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-11-14
Filing date: 2008-11-14
Publication date: 2012-11-21
Anticipated expiration: 2028-11-14
Also published as: TWI416947B; TW201032586A; US20100123809A1; JP2010119022A; US8462237B2; CN101742103B; CN101742103A

Description

本発明は、イメージセンサなどの映像信号を処理する処理回路を内蔵した固体撮像装置に関し、例えばイメージセンサ付き携帯電話や、デジタルカメラ、ビデオカメラ、などに使用される。

携帯電話用のカメラモジュールは、携帯電話の薄型に伴い小型化が強く要求されている。また、携帯電話を落としても壊れにくいカメラモジュールが要求されている。さらに、近年は高画質化の要求から500万画素や800万画素以上といった多画素化が進んでいる。多画素のセンサでは、画素サイズの縮小化にともない被写界深度が浅くなる。よってオートフォーカス（ＡＦ）機構が必要となるため、モジュールの小型化が難しく、落とした場合に壊れやすいなどの課題もある。そこで、被写界深度を深くする固体撮像装置が特許文献１〜３等で提案されている。

しかし、レンズの色収差の課題が対策されておらず、画像に偽色が発生する問題や、解像度信号が十分に得られないため、十分な解像度や良質なカラー再生画像が得られていない。
米国特許第7,065,256号明細書米国特許第5,909,312号明細書米国特許第6,343,307号明細書

本発明は上記のような事情を考慮してなされたものであり、その目的は、電子的に焦点制御を行なうことができ、かつ焦点深度が任意に選択可能な固体撮像装置を提供することである。

本発明の固体撮像装置は、光を集光し、焦点位置が光の波長により異なる光学レンズ手段により集光された光信号を電気信号に変換する光電変換素子手段及びこの光電変換素子手段の前面に配置されて光の波長を分離する波長分離手段からなる画素が二次元に配置され、前記光信号を少なくとも２つ以上の波長成分に分離して波長信号を生成するセンサ部と、前記センサ部により生成された少なくとも２つ以上の波長信号を処理する信号処理手段とを具備し、前記信号処理手段は、前記少なくとも２つ以上の波長信号からそれぞれ輪郭信号を抽出する輪郭信号抽出手段と、制御信号及び前記輪郭信号抽出手段により抽出された輪郭信号が供給され、前記制御信号に応じた所望する波長帯域の輪郭信号を選択して出力する輪郭信号選択手段と、前記輪郭信号抽出手段により輪郭信号が抽出される前の波長信号のそれぞれと、前記輪郭信号選択手段から出力された輪郭信号とを加算する加算手段を備えることを特徴とする。

本発明の固体撮像装置は、光を集光し、焦点位置が光の波長により異なる光学レンズ手段により集光された光信号を電気信号に変換する光電変換素子手段及びこの光電変換素子手段の前面に配置されて光の波長を分離する波長分離手段からなる画素が二次元に配置され、前記光信号を青色波長帯域と緑色波長帯域及び赤色波長帯域のうち２つを使った第１色波長帯域と第２色波長帯域及び全波長帯域の３つの波長成分に分離して波長信号を生成するセンサ部と、前記センサ部により生成された３つの波長信号を処理する信号処理手段とを具備し、前記信号処理手段は、前記全波長帯域、第１色波長帯域、及び第２色波長帯域の３つの波長信号を演算して、第３色波長帯域の波長信号を生成する第３色波長帯域信号生成手段と、前記全波長帯域、第１色波長帯域、及び第２色波長帯域の３つの波長信号からそれぞれ輪郭信号を抽出する輪郭信号抽出手段と、制御信号及び前記輪郭信号抽出手段により抽出された輪郭信号が供給され、前記制御信号に応じた所望する波長帯域の輪郭信号を選択して出力する輪郭信号選択手段と、前記輪郭信号抽出手段により輪郭信号が抽出される前の波長信号及び前記第３色波長帯域信号生成手段で生成される第３色波長帯域の波長信号のそれぞれと、前記輪郭信号選択手段から出力された輪郭信号とを加算する加算手段とを備え、前記第３色波長帯域信号生成手段は、前記全波長帯域の波長信号から前記第１色波長帯域及び第２色波長帯域の波長信号を減算して前記第３色波長帯域の波長信号を生成することを特徴とする。

本発明によれば、電子的に焦点制御を行なうことができ、かつ焦点深度が任意に選択可能な固体撮像装置を提供することができる。

以下、図面を参照して本発明を実施形態により説明する。なお、実施形態の説明にあたり、対応する箇所には同じ符号を付して重複する説明は避ける。

（第１の実施形態）
図１は、第１の実施形態に係るＣＭＯＳイメージセンサを使用した固体撮像装置の概略的な構成を示す図である。この固体撮像装置は、図２に示す光学レンズ１１により集光された光信号を電気信号に変換してデジタル画像信号を出力するセンサチップ１２で構成されている。後に詳細に説明するが、光学レンズ１１として、焦点位置がＲ（赤）、Ｇ（緑）、Ｂ（青）の各帯域の波長により異なる特性を有する色収差レンズが使用される。

図１はこの固体撮像装置に含まれるセンサチップ１２の回路構成を示すブロック図である。センサチップ１２は、センサ部２１、ラインメモリ２２、ピント調整回路２３、後段信号処理回路２４、システムタイミング発生回路（ＳＧ）２５、コマンドデコーダ２６、及びシリアルインターフェース（Ｉ／Ｆ）２７を備える。

センサ部２１には、画素アレイ２１１及びカラム型アナログデジタルコンバータ（ＡＤＣ）２１２が配置されている。画素アレイ２１１は、光学レンズ１１で集光された光信号を電気信号に変換する光電変換素子手段としてのフォトダイオード（画素）がシリコン半導体基板上に二次元に配置されている。フォトダイオードの前面には、Ｗ（透明）、Ｂ（青）、Ｇ（緑）、及びＲ（赤）の４種類からなる波長分離手段としてのカラーフィルタがそれぞれ配置されている。カラーフィルタにおける色配列は、基本の４×４画素配列内にＷが市松状に８画素、Ｇが４画素、Ｒが２画素、Ｂが２画素配置されたものとなっている。センサ部２１では、フォトダイオードに入射する光の波長がカラーフィルタにより４つに分離され、二次元のフォトダイオードアレイで信号電荷に変換され、さらにＡＤＣ２１２によりデジタル信号に変換されて出力される。また、各画素には図示しないマイクロレンズが配置されている。

センサ部２１からの出力信号はラインメモリ２２に供給され、例えば垂直７ライン分がラインメモリ２２に蓄積される。この７ライン分の信号が並列に読み出されてピント調整回路２３に入力される。

ピント調整回路２３では、複数の画素補間回路２３１ａ〜２３１ｄにより、Ｗ、Ｂ、Ｇ、Ｒの各信号が補間処理される。補間処理された信号は複数の輪郭抽出回路２３２ａ〜２３２ｄに並列に供給され、それぞれ輪郭信号Ｅｗ、Ｅｂ´、Ｅｇ´、Ｅｒ´が抽出される。また、補間処理されたＢ、Ｇ、Ｒの各信号は複数のＬＰＦ（ローパスフィルタ）回路２３３ａ〜２３３ｃに並列に供給され、それぞれ信号帯域を低周波数に制限した信号、つまり高域の信号を除去した信号が生成される。複数の輪郭抽出回路２３２ａ〜２３２ｄにより抽出された輪郭信号Ｅｗ、Ｅｂ´、Ｅｇ´、Ｅｒ´は輪郭信号選択回路２３４に供給される。輪郭信号選択回路２３４には、コマンドデコーダ２６から出力される例えば４ビットの制御信号ＰＳＥＬが供給される。輪郭信号選択回路２３４からは、輪郭信号Ｅｗ、Ｅｂ´、Ｅｇ´、Ｅｒ´及び制御信号ＰＳＥＬに応じて、所望する波長帯域の輪郭信号ＰＥｗが出力される。輪郭信号選択回路２３４から出力された輪郭信号ＰＥｗは、レベル調整回路２３５によりレベルが適宜調整された後に、複数の加算回路２３６ａ〜２３６ｃに供給される。複数の加算回路２３６ａ〜２３６ｃでは、複数のＬＰＦ回路２３３ａ〜２３３ｃから出力される低周波数に制限されたＢ、Ｇ、Ｒの各信号のそれぞれと、レベル調整された後の輪郭信号ＰＥｗとが加算される。複数のＬＰＦ回路２３３ａ〜２３３ｃで加算された信号及びレベル調整された後の輪郭信号ＰＥｗは後段信号処理回路２４に供給され、一般的なホワイトバランス調整、カラー調整（ＲＧＢマトリックス）、γ補正、ＹＵＶ変換処理等が行われ、ＹＵＶ信号形式やＲＧＢ信号形式のデジタル信号ＤＯＵＴ０〜ＤＯＵＴ７として出力される。

システムタイミング発生回路２５には外部からマスタクロック信号ＭＣＫが供給される。システムタイミング発生回路２５からは、センサ部２１、ラインメモリ２２、及びピント調整回路２３の動作を制御するクロック信号が出力される。

さらに、ラインメモリ２２、ピント調整回路２３、及びシステムタイミング発生回路２５の動作はコマンドにより制御される。例えば、外部から入力されるデータＤＡＴＡがシリアルインターフェース２７を介してコマンドデコーダ２６に入力され、デコードされた制御信号が前述した各回路に入力されることにより、外部入力データＤＡＴＡに基づいて処理のパラメータ等が制御できる。

一方、後段信号処理回路２４から出力されるデジタル信号ＤＯＵＴ０〜ＤＯＵＴ７は図示しないＤＳＰ等のプロセッサに供給され、ピント合わせを行なうためのピント情報が生成される。ピント情報の生成方法の一例として、例えば人物の顔部分が特定され、その特定された部分にピントが合うようなピント情報が生成される。生成されたピント情報は、センサチップ１２内のシリアルインターフェース２７にデータＤＡＴＡの一部として供給される。また、このピント情報は後段信号処理回路２４の内部で生成することも可能である。

図３は、図１中の画素補間回路２３１ａ〜２３１ｄにおいてＷ、Ｇ、Ｒ、Ｂの各信号の補間処理が行われる様子を示す図である。なお、図３（ａ）〜（ｄ）それぞれの上部には補間前の信号を示し、それぞれの下部には補間後の信号を示している。図中、矢印が２本の場合は２つの画素の信号の平均値で補間され、矢印が３本の場合は３つの画素の信号の平均値で補間され、矢印が４本の場合は４つの画素の信号の平均値で補間される。例えば図３（ａ）に示す画素補間回路２３１ｄの処理に着目すると、４箇所の信号Ｗ１、Ｗ３、Ｗ４、Ｗ６によって囲まれた位置のＷ信号は、これら４箇所の信号Ｗ１、Ｗ３、Ｗ４、Ｗ６の平均値によって補間される。また、図３（ｂ）に示す画素補間回路２３１ｂの処理に着目すると、２箇所の信号Ｇ１、Ｇ２の間に位置するＧ信号は、この２箇所の信号Ｇ１、Ｇ２の平均値によって補間され、４箇所の信号Ｇ１、Ｇ２、Ｇ３、Ｇ４の中央に位置するＧ信号は、これら４箇所の信号Ｇ１、Ｇ２、Ｇ３、Ｇ４の平均値によって補間される。

図４は、図２中の複数の輪郭抽出回路２３２ａ〜２３２ｄのうちＷ画素の輪郭が抽出されて輪郭信号Ｅｗが生成される輪郭抽出回路２３２ｄにおける処理の様子を示す図である。

図４（ａ）に示した方法では、３×３画素のエリアの中心画素に対してゲインが８倍され、その周囲８画素のそれぞれに対してゲインが−１倍され、これら９画素の信号が加算されることにより輪郭信号Ｅｗが生成される。均一被写体では輪郭信号Ｅｗは０となる。一方、縦縞もしくは横縞のパターンが発生すると輪郭信号が発生する。

図４（ｂ）に示した方法では、３×３画素のエリアの中心画素に対してゲインが４倍され、中心画素に対して斜め方向に隣り合う４画素のそれぞれに対してゲインが−１倍され、これら５画素の信号が加算されることにより輪郭信号Ｅｗが生成される。

図４（ｃ）に示した方法では、５×５画素のエリアの中心画素に対してゲインが３２倍され、中心画素を取り囲む８画素のそれぞれに対してゲインが−２倍され、上記８画素をさらに取り囲む１６画素のそれぞれに対してゲインが−１倍され、これら２５画素の信号が加算されることにより輪郭信号Ｅｗが生成される。

輪郭信号の生成には上記以外にも種々の方法を用いることができる。例えば、３×３画素及び５×５画素以外に７×７画素のエリアを採用してもよく、画素の重み付け（ゲイン）を変更することもできる。Ｗ画素以外のＲ、Ｇ、Ｂの各画素における輪郭信号の生成は、図４（ａ）〜図４（ｃ）に示した場合と同様の方法で実施することができる。その際、７×７画素のエリアを用いて輪郭信号を生成してもよい。

図５は、図２中の複数のＬＰＦ回路２３３ａ〜２３３ｃにおいて信号の高域除去処理が行われる様子を示す図である。本例では５×５画素のエリアを使用して処理が行われる。図５に示した方法では、５×５画素のエリアの中心画素に対してゲインが３６倍され、中心画素に対して上下左右に位置する４画素のそれぞれに対してゲインが２４倍され、中心画素に対して斜め方向に位置する４画素のそれぞれに対してゲインが１６倍され、中心画素に対して１画素置いて上下左右に位置する４画素のそれぞれに対してゲインが６倍され、中心画素に対して１画素置いて斜め方向に位置する４画素のそれぞれに対してゲインが１倍される。さらに、５×５画素のエリアの最外周に位置し、ゲインが６倍される画素とゲインが１倍される画素の間に位置する８画素のそれぞれに対してゲインが４倍され、以上の信号が加算され、さらに２５６で割った信号がＬＰＦ出力信号として生成される。この処理がＢ、Ｇ、Ｒの各信号に対して１画素毎に順次実施される。

図６（ａ）は、図２中の輪郭信号選択回路２３４の構成の一例を示すブロック図であり、図６（ｂ）は、同回路における要部の信号波形の一例を示す信号波形図である。図２中の輪郭抽出回路２３２ｄから出力されるＷ信号の輪郭信号Ｅｗはスイッチ回路３１に供給される。また、図２中の他の輪郭抽出回路２３２ａ〜２３２ｃから出力されるＢ信号、Ｇ信号、Ｒ信号の輪郭信号Ｅｂ´、Ｅｇ´、Ｅｒ´は絶対値回路（ＡＢＳ）３２１〜３２３に並列に供給され、それぞれ絶対値が取られた輪郭信号Ｅｂ、Ｅｇ、Ｅｒが出力される。白い被写体を撮影した場合、輪郭信号は図６（ｂ）中にＥｗ及びＥｇ´で例示するように、被写体のエッジに沿って正負の振幅を有する信号となる。被写体のコントラストが大きい場合は、その信号レベルも大きくなる。Ｒ、Ｇ、Ｂの輪郭信号は、絶対値回路３２１〜３２３でマイナス信号が反転された正信号Ｅｂ、Ｅｇ、Ｅｒとして出力される。これらの出力信号は複数の演算処理回路３３１〜３３８に供給される。

演算処理回路３３１は、輪郭信号Ｅｂと予め設定された信号レベルＫｅとの大小関係に基づき、Ｅｂ＞Ｋｅの場合は論理１（ＹＥＳ＝１）を出力し、それ以外の場合は論理０を出力する。演算処理回路３３２は、輪郭信号Ｅｇと予め設定された信号レベルＫｅとの大小関係に基づき、Ｅｇ＞Ｋｅの場合は論理１（ＹＥＳ＝１）を出力し、それ以外の場合は論理０を出力する。演算処理回路３３３は、輪郭信号Ｅｒと予め設定された信号レベルＫｅとの大小関係に基づき、Ｅｒ＞Ｋｅの場合は論理１（ＹＥＳ＝１）を出力し、それ以外の場合は論理０を出力する。演算処理回路３３４は、輪郭信号ＥｂとＥｇの差である信号（Ｅｂ−Ｅｇ）と予め設定された信号レベルＫｅとの大小関係に基づき、（Ｅｂ−Ｅｇ）＞Ｋｅの場合は論理１（ＹＥＳ＝１）を出力し、それ以外の場合は論理０を出力する。演算処理回路３３５は、輪郭信号Ｅｂ及びＥｇのそれぞれと予め設定された信号レベルＫｅとの大小関係に基づき、Ｅｂ＞ＫｅかつＥｇ＞Ｋｅの場合は論理１（ＹＥＳ＝１）を出力し、それ以外の場合は論理０を出力する。演算処理回路３３６は、輪郭信号Ｅｇから輪郭信号Ｅｂ及びＥｒを差し引いた信号（Ｅｇ−Ｅｂ−Ｅｒ）と予め設定された信号レベルＫｅとの大小関係に基づき、（Ｅｇ−Ｅｂ−Ｅｒ）＞Ｋｅの場合は論理１（ＹＥＳ＝１）を出力し、それ以外の場合は論理０を出力する。演算処理回路３３７は、輪郭信号Ｅｇ及びＥｒのそれぞれと予め設定された信号レベルＫｅとの大小関係に基づき、Ｅｇ＞ＫｅかつＥｒ＞Ｋｅの場合は論理１（ＹＥＳ＝１）を出力し、それ以外の場合は論理０を出力する。演算処理回路３３８は、輪郭信号ＥｒとＥｇの差である信号（Ｅｒ−Ｅｇ）と予め設定された信号レベルＫｅとの大小関係に基づき、（Ｅｒ−Ｅｇ）＞Ｋｅの場合は論理１（ＹＥＳ＝１）を出力し、それ以外の場合は論理０を出力する。演算処理回路３３１〜３３８の論理演算出力信号は、セレクタ３４の「１」〜「８」の入力端子に並列に供給される。セレクタ３４の「０」の入力端子には論理１の信号が供給される。セレクタ３４は、上記「０」〜「８」の入力端子に供給される信号を４ビットの制御信号ＰＳＥＬに基づいて選択し、出力端子Ｙから出力する。

スイッチ回路３１はセレクタ３４の出力信号に応じて切り替え制御され、セレクタ３４の出力信号が論理１の場合には輪郭信号ＥｗがＰＥｗとして出力され、セレクタ３４の出力信号が論理０の場合には０がＰＥｗとして出力される。すなわち、セレクタ３４の出力信号は、輪郭信号ＥｗをＰＥｗとして有効に出力するか、無効とするかを制御している。

図７は、図２中に示される光学レンズ１１（色収差レンズ）の特徴を示す特性図である。通常のレンズは光の波長によって屈折率が異なるため、色収差が発生する。このため、材質の異なるレンズを組み合わせることで、この色収差を補正している。本実施形態では、この色収差を積極的に活用することで被写界深度を深くしている。

図７（ａ）は、色収差レンズの焦点特性を示している。ピーク波長が４６０ｎｍのＢ信号に関しては、物体（被写体）までの距離が１５ｃｍの時、センサチップ１２にピントが合うようにレンズ１１を設計している。さらに、ピーク波長が５３０ｎｍのＧ信号に関しては、被写体（物体）までの距離が５０ｃｍの時、及びピーク波長が６００ｎｍのＲ信号に関しては、被写体（物体）までの距離が２ｍの時に、それぞれ、センサチップ１２にピントが合うように、色収差を使ってレンズ１１を設計している。

図７（ｂ）は、本実施形態で使用される光学レンズにおいて、物体までの距離と、各ピーク波長Ｂ＝４６０ｎｍ、Ｇ＝５３０ｎｍ、Ｒ＝６００ｎｍにおけるＰＳＦ（点像分布関数）との関係を示す特性図である。さらに図７（ｂ）には、Ｗ（透明）画素における４００〜６５０ｎｍの各単一波長におけるＰＳＦのピーク値の変化を合わせて示している。すなわち、Ｗ画素では約１５ｃｍから無限大まで連続的に高いＰＳＦが得られる。従来から、色収差により色のにじみが発生するため解像度（ＰＳＦ）が低下する問題があったが、本実施形態では色のにじみを大幅に低減できるため、高いＰＳＦを得ることができる。

図８（ａ）は、本実施形態の固体撮像装置の分光感度特性を示す特性図であり、図８（ｂ）は、図６の輪郭信号選択回路２３４における輪郭信号の出力結果を示す特性図である。Ｂ信号は分光特性のピークが４６０ｎｍ、Ｇ信号は分光特性のピークが５３０ｎｍ、Ｒ信号は分光特性のピークが６００ｎｍになっている。Ｗ信号は、透明層なために、感度が高く、４００ｎｍから６５０ｎｍまでなだらかな特性になっている。

図８（ｂ）に示すように、図６中のセレクタ３４で入力「０」が選択された場合には、輪郭信号Ｅｗが輪郭信号ＰＥｗとして出力される。この場合には、約１３ｃｍから無限大までの連続した解像度が得られる。セレクタ３４で入力「１」が選択された場合には、輪郭信号ＰＥｗとしてＢ信号の領域に対応した輪郭信号ＰＥｗ（Ｅｂ）が出力される。このとき、図６の輪郭信号選択回路２３４で用いられる輪郭信号の判定レベルＫｅを相対感度の２０％に設定したとすると、輪郭信号ＰＥｗ（Ｅｂ）の解像度は約１３ｃｍから５０ｃｍのみとなる。５０ｃｍ以上の信号は、ボケた信号のみとなる。セレクタ３４で入力「２」が選択された場合には、輪郭信号ＰＥｗとしてＧ信号の領域に対応した輪郭信号ＰＥｗ（Ｅｇ）が出力される。このとき、輪郭信号の判定レベルＫｅを同じく相対感度の２０％に設定したとすると、輪郭信号ＰＥｗ（Ｅｇ）の解像度は約１６ｃｍから２００ｃｍのみとなる。その前後にある距離の信号は、ボケた信号となる。同様に、セレクタ３４で入力「３」が選択された場合には、輪郭信号ＰＥｗとしてＲ信号の領域に対応した輪郭信号ＰＥｗ（Ｅｒ）が出力される。このとき、輪郭信号の判定レベルＫｅを同じく相対感度の２０％に設定したとすると、輪郭信号ＰＥｗ（Ｅｒ）の解像度は約７０ｃｍから無限大となる。７０ｃｍより前は、ボケた信号となる。さらに、セレクタ３４で入力「４」、「５」、「６」、「７」、「８」がそれぞれ選択されることで、輪郭信号ＰＥｗとして図８（ｂ）に示すように種々の領域に対応した輪郭信号ＰＥｗが出力される。

このように、輪郭信号選択回路２３４からは、制御信号ＰＳＥＬに応じた所望する波長帯域の輪郭信号が出力され、解像度が得られる距離範囲を制御信号ＰＳＥＬに基づいて細かく設定することができる。また、輪郭信号判定レベルＫｅを変えることで、輪郭信号ＰＥｗが得られる距離範囲を変更することも可能である。

この輪郭信号選択回路を用いることで、従来のＡＦと同じように、制御信号ＰＳＥＬを用いて、人物にピントを合わせ、背景をぼかした遠近感の有る画像が生成できる。さらに、輪郭信号ＥｗとしてＷ信号の輪郭信号ＰＥｗを選択することにより、ピンボケの失敗やシャッタチャンスを逃さないための被写界深度を深くした設定も実現できる。

このように第１の実施形態の固体撮像装置によれば、電子的に焦点制御を行なうことができ、かつ焦点深度が任意に選択可能である。

（第２の実施形態）
図９は、第２の実施形態に係る固体撮像装置で使用されるセンサチップ１２の回路構成を示すブロック図である。なお、光学レンズ１１として、第１の実施形態と同様に、焦点位置がＲ（赤）、Ｇ（緑）、Ｂ（青）の各帯域の波長により異なる特性を有する色収差レンズが使用される。

本実施形態におけるセンサチップ１２が第１の実施形態のものと異なる点は、センサ部２１のカラーフィルタの色配列が、基本の４×４画素配列内にＷ画素が市松状に８画素、Ｇ画素が４画素、Ｒ画素が４画素それぞれ配置されたものとなっていることである。このようなカラーフィルタの採用により、第１の実施形態のセンサチップと比べてＲ信号の出力が２倍化される。この結果、Ｒ画素の輪郭信号として、Ｇ画素と同じ高解像度信号が得られる。このようなカラーフィルタの色配列の変更に伴い、ピント調整回路の一部も変更されている。すなわち、本実施形態のピント調整回路２３ａでは、Ｂ信号入力が無いので、Ｂ信号の画素補間回路及び輪郭抽出回路が省略されている。さらに、Ｂ信号のＬＰＦ出力信号は、Ｗ画素を補間した信号からＬＰＦ回路２３７ｄを用いて高域の信号が除去され、減算回路２３８を用いてＷ信号のＬＰＦ出力からＧ信号のＬＰＦ出力及びＲ信号のＬＰＦ出力が減算される（ＢＬＰＦ＝ＷＬＰＦ−ＧＬＰＦ−ＲＬＰＦ）ことにより生成される。また、輪郭信号選択回路２３４ａには、複数の輪郭抽出回路２３２ｂ〜２３２ｄにより抽出された輪郭信号Ｅｗ、Ｅｇ´、Ｅｒ´及び制御信号ＰＳＥＬが供給され、輪郭信号選択回路２３４ａからは、これら輪郭信号Ｅｗ、Ｅｇ´、Ｅｒ´及び制御信号ＰＳＥＬに応じて、所望する波長帯域の輪郭信号ＰＥｗが出力される。

図１０は、図９中の画素補間回路２３１ｂ〜２３１ｄにおいてＷ、Ｇ、Ｒの各信号の補間処理が行われる様子を示す図である。なお、図１０（ａ）〜（ｃ）それぞれの上部には補間前の信号を示し、それぞれの下部には補間後の信号を示している。図中、矢印が２本の場合は２つの画素の信号の平均値で補間され、矢印が４本の場合は４つの画素の信号の平均値で補間される。例えば図１０（ａ）に示す画素補間回路２３１ｄの処理に着目すると、４箇所の信号Ｗ１、Ｗ３、Ｗ４、Ｗ６によって囲まれた位置のＷ信号は、これら４箇所の信号Ｗ１、Ｗ３、Ｗ４、Ｗ６の平均値によって補間される。また、図１０（ｃ）に示す画素補間回路２３１ｃの処理に着目すると、４箇所の信号Ｒ１、Ｒ２、Ｒ４、Ｒ５の中央に位置するＲ信号は、この４箇所の信号Ｒ１、Ｒ２、Ｒ４、Ｒ５の平均値によって補間され、２箇所の信号Ｒ１、Ｒ２の間に位置するＲ信号は、この２箇所の信号Ｒ１、Ｒ２の平均値によって補間される。

図１１（ａ）は、図９中の輪郭信号選択回路２３４ａの構成を示すブロック図であり、図１１（ｂ）は、同回路における要部の信号波形の一例を示す信号波形図である。図１１（ａ）の輪郭信号選択回路２３４ａでは、Ｂ信号の輪郭信号入力（Ｅｂ´）が無いので、図６中の絶対値回路３２１が省略され、代わりにＷ信号の輪郭信号Ｅｗの絶対値を取って輪郭信号Ｅｗａを出力する絶対値回路３２４が設けられる。さらに、図６中の複数の演算処理回路３３１〜３３８のうち、Ｂ信号の輪郭信号Ｅｂ´が供給される演算処理回路３３１、３３４〜３３６の代わりに、演算処理回路３５１〜３５４が設けられる。また、本例の輪郭信号選択回路２３４ａでは、第１の実施形態で使用されている信号レベルＫｅに加えて第２の信号レベルＫｒが使用される。

演算処理回路３５１は、輪郭信号Ｅｗａから輪郭信号Ｅｇ及びＥｒを差し引いた信号（Ｅｗａ−Ｅｇ−Ｅｒ）と予め設定された信号レベルＫｅとの大小関係に基づき、（Ｅｗａ−Ｅｇ−Ｅｒ）＞Ｋｅの場合は論理１（ＹＥＳ＝１）を出力し、それ以外の場合は論理０を出力する。演算処理回路３５２は、輪郭信号Ｅｒと予め設定された信号レベルＫｒとの大小関係及び輪郭信号ＥｇとＥｒの差である信号（Ｅｇ−Ｅｒ）と予め設定された信号レベルＫｅとの大小関係に基づき、Ｅｒ＜Ｋｒかつ（Ｅｇ−Ｅｒ）＞Ｋｅの場合は論理１（ＹＥＳ＝１）を出力し、それ以外の場合は論理０を出力する。演算処理回路３５３は、輪郭信号ＥｇとＥｒの差である信号（Ｅｇ−Ｅｒ）と予め設定された信号レベルＫｅとの大小関係に基づき、（Ｅｇ−Ｅｒ）＞Ｋｅの場合は論理１（ＹＥＳ＝１）を出力し、それ以外の場合は論理０を出力する。演算処理回路３５４は、輪郭信号Ｅｒと予め設定された信号レベルＫｒとの大小関係及び輪郭信号ＥｇとＥｒの差である信号（Ｅｇ−Ｅｒ）と予め設定された信号レベルＫｅとの大小関係に基づき、Ｅｒ＞Ｋｒかつ（Ｅｇ−Ｅｒ）＞Ｋｅの場合は論理１（ＹＥＳ＝１）を出力し、それ以外の場合は論理０を出力する。その他の演算処理回路３３２、３３３、３３７、３３８の動作は図６の場合と同様である。

演算処理回路３５１、３３２、３３３、３５２、３５３、３５４、３３７、３３８の論理演算出力信号は、セレクタ３４の「１」〜「８」の入力端子に並列に供給される。セレクタ３４の「０」の入力端子には論理１の信号が供給される。セレクタ３４は、上記「０」〜「８」の入力端子に供給される信号を４ビットの制御信号ＰＳＥＬに基づいて選択し、出力端子Ｙから出力する。

図１２（ａ）は、本実施形態の固体撮像装置の分光感度特性を示す特性図であり、図１２（ｂ）は、図１１の輪郭信号選択回路２３４ａにおける輪郭信号の出力結果を示す特性図である。本実施形態ではＢ画素が無いため、分光特性のカーブは、ＷとＧとＲの３種類となる。Ｇ信号は分光特性のピークが５３０ｎｍ、Ｒ信号は分光特性のピークが６００ｎｍになっている。Ｗ信号は、透明層なために、感度が高く、４００ｎｍから６５０ｎｍまでなだらかな特性になっている。

図１２（ｂ）に示すように、図１１中のセレクタ３４で入力「０」が選択された場合には、輪郭信号Ｅｗが輪郭信号ＰＥｗとして出力される。この場合には、約１３ｃｍから無限大までの連続した解像度が得られる。セレクタ３４で入力「２」が選択された場合には、輪郭信号ＰＥｗとしてＧ信号の領域に対応した輪郭信号ＰＥｗ（Ｅｇ）が出力される。このとき、図１１の輪郭信号選択回路２３４ａで用いられる輪郭信号の判定レベルＫｅを相対感度の２０％に設定したとすると、輪郭信号ＰＥｗ（Ｅｇ）の解像度は約１６ｃｍから２００ｃｍのみとなる。その前後にある距離の信号は、ボケた信号となる。同様に、セレクタ３４で入力「３」が選択された場合には、輪郭信号ＰＥｗとしてＲ信号の領域に対応した輪郭信号ＰＥｗ（Ｅｒ）が出力される。このとき、輪郭信号の判定レベルＫｅを同じく相対感度の２０％に設定したとすると、輪郭信号ＰＥｗ（Ｅｒ）の解像度は約７０ｃｍから無限大となる。７０ｃｍより前は、ボケた信号となる。さらに、セレクタ３４で入力「１」、「５」、「７」、「８」、「４」、「６」が選択されることで、解像度信号ＰＥｗが得られる距離範囲を細かく設定することができる。第２の信号レベルＫｒは相対感度の約１０％に設定している。また、判定レベルＫｒやＫｅを変えることで、解像度信号ＰＥｗが得られる距離範囲を変更することも可能である。

なお、第１の実施形態の場合も同様であるが、Ｗ画素は感度がＧ信号の約２倍と高い。このためシリコン半導体基板内で光電変換された信号電荷が他の画素へ拡散して混入するため、Ｒ、Ｇ、Ｂ信号への混色が発生する。この混色低減のために、Ｗ画素に配置されたマイクロレンズのサイズを他の画素より小さくすることで感度を低下させ、混色を低減できる。

本実施形態においても、第１の実施形態と同様の効果が得られる。すなわち、電子的に焦点制御を行なうことができ、かつ焦点深度が任意に選択可能である。

なお、本実施形態では、カラーフィルタとして基本の４×４画素配列内にＷ画素が市松状に８画素、Ｇ画素が４画素、Ｒ画素が４画素それぞれ配置された色配列ものを使用し、減算回路２３８を用いてＷ信号のＬＰＦ出力からＧ信号のＬＰＦ出力及びＲ信号のＬＰＦ出力が減算してＢ信号のＬＰＦ出力信号を得る場合について説明したが、カラーフィルタとしてＷ画素、Ｇ画素、及びＢ画素が配置された色配列ものを使用し、減算回路を用いてＷ信号のＬＰＦ出力からＧ信号のＬＰＦ出力及びＢ信号のＬＰＦ出力を減算してＲ信号のＬＰＦ出力信号を得る、あるいはカラーフィルタとしてＷ画素、Ｒ画素、及びＢ画素が配置された色配列ものを使用し、減算回路を用いてＷ信号のＬＰＦ出力からＲ信号のＬＰＦ出力及びＢ信号のＬＰＦ出力を減算してＧ信号のＬＰＦ出力信号を得るように変形してもよい。

（第３の実施形態）
図１３は、第３の実施形態に係る固体撮像装置で使用されるセンサチップ１２の回路構成を示すブロック図である。なお、光学レンズ１１として、第１の実施形態と同様に、焦点位置がＲ（赤）、Ｇ（緑）、Ｂ（青）の各帯域の波長により異なる特性を有する色収差レンズが使用される。

本実施形態におけるセンサチップ１２が第１の実施形態のものと異なる点は、センサ部２１のカラーフィルタの色配列が、基本の２×２画素配列内にＧ画素が２画素、Ｂ画素が１画素、Ｒ画素が１画素それぞれ配置された一般的なベイヤー配列となっていることである。このようなカラーフィルタの色配列の変更に伴い、ピント調整回路の一部も変更されている。すなわち、本実施形態のピント調整回路２３ｂでは、Ｗ信号入力が無いので、Ｗ信号の画素補間回路及び輪郭抽出回路が省略されている。さらに、Ｂ信号の輪郭信号Ｅｂ´、Ｇ信号の輪郭信号Ｅｇ´、及びＲ信号の輪郭信号Ｅｒ´が輪郭信号合成回路２３９により合成され、Ｗ信号の輪郭信号Ｅｗが生成される。また、輪郭信号選択回路２３４には、複数の輪郭抽出回路２３２ａ〜２３２ｃにより抽出された輪郭信号Ｅｂ´、Ｅｇ´、Ｅｒ´、輪郭信号合成回路２３９により合成されるＷ信号の輪郭信号Ｅｗ、及び制御信号ＰＳＥＬが供給され、輪郭信号選択回路２３４からは、これら輪郭信号Ｅｂ´、Ｅｇ´、Ｅｒ´、Ｅｗ及び制御信号ＰＳＥＬに応じて、所望する波長帯域の輪郭信号ＰＥｗが出力される。

図１４は、図１３中の画素補間回路２３１ａ〜２３１ｃにおいてＧ、Ｒ、Ｂの各信号の補間処理が行われる様子を示す図である。なお、図１４（ａ）〜（ｃ）それぞれの上部には補間前の信号を示し、それぞれの下部には補間後の信号を示している。図中、矢印が２本の場合は２つの画素の信号の平均値で補間され、矢印が４本の場合は４つの画素の信号の平均値で補間される。例えば図１４（ａ）に示す画素補間回路２３１ｃの処理に着目すると、４箇所の信号Ｇ１、Ｇ３、Ｇ４、Ｇ６によって囲まれた位置のＧ信号は、これら４箇所の信号Ｇ１、Ｇ３、Ｇ４、Ｇ６の平均値によって補間される。また、図１４（ｃ）に示す画素補間回路２３１ａの処理に着目すると、４箇所の信号Ｂ１、Ｂ２、Ｂ４、Ｂ５の中央に位置するＲ信号は、この４箇所の信号Ｂ１、Ｂ２、Ｂ４、Ｂ５の平均値によって補間され、２箇所の信号Ｂ４、Ｂ５の間に位置するＢ信号は、この２箇所の信号Ｂ４、Ｂ５の平均値によって補間される。

図１５（ａ）は、本実施形態の固体撮像装置の分光感度特性を示す特性図であり、図１５（ｂ）は、図１３中の輪郭信号選択回路２３４における輪郭信号の出力結果を示す特性図である。Ｂ信号は分光特性のピークが４６０ｎｍ、Ｇ信号は分光特性のピークが５３０ｎｍ、Ｒ信号は分光特性のピークが６００ｎｍになっている。

図１５（ｂ）に示すように、図６中のセレクタ３４で入力「０」が選択された場合には、輪郭信号合成回路２３９により合成されたＷ信号の輪郭信号Ｅｗが輪郭信号ＰＥｗとして出力される。輪郭信号合成回路２３９では、例えば各色の輪郭信号Ｅｂ´、Ｅｇ´、Ｅｒ´のＯＲ論理演算が行われてＷ信号の輪郭信号Ｅｗが合成される。この場合には、約１３ｃｍから無限大までの連続した解像度が得られる。セレクタ３４で入力「１」が選択された場合には、輪郭信号ＰＥｗとしてＢ信号の領域に対応した輪郭信号ＰＥｗ（Ｅｂ）が出力される。このとき、図１３中の輪郭信号選択回路２３４で用いられる輪郭信号の判定レベルＫｅを相対感度の２０％に設定したとすると、輪郭信号ＰＥｗ（Ｅｂ）の解像度は約１３ｃｍから約５０ｃｍのみとなる。５０ｃｍ以上の信号は、ボケた信号のみとなる。セレクタ３４で入力「２」が選択された場合には、輪郭信号ＰＥｗとしてＧ信号の領域に対応した輪郭信号ＰＥｗ（Ｅｇ）が出力される。このとき、輪郭信号の判定レベルＫｅを同じく相対感度の２０％に設定したとすると、輪郭信号ＰＥｗ（Ｅｇ）の解像度は約１６ｃｍから２００ｃｍのみとなる。その前後にある距離の信号は、ボケた信号となる。同様に、セレクタ３４で入力「３」が選択された場合には、輪郭信号ＰＥｗとしてＲ信号の領域に対応した輪郭信号ＰＥｗ（Ｅｒ）が出力される。このとき、輪郭信号の判定レベルＫｅを同じく相対感度の２０％に設定したとすると、輪郭信号ＰＥｗ（Ｅｒ）の解像度は約７０ｃｍから無限大となる。７０ｃｍより前は、ボケた信号となる。さらに、セレクタ３４で入力「４」、「５」、「６」、「７」、「８」がそれぞれ選択されることで、輪郭信号ＰＥｗとして図１５（ｂ）に示すように種々の領域に対応した輪郭信号ＰＥｗが出力される。

以上、説明したように、本発明の固体撮像装置によれば、電子的に焦点制御を行なうことができ、かつ焦点深度が任意に選択可能である。

さらに、本発明の固体撮像装置では以下のような種々の効果が得られる。機械的なＡＦを使わないため、落下しても壊れにくい。モジュールの高さを低くできる。レンズの枚数を少なくすることで、更にモジュールの高さを低くできる。レンズのＦ値を小さくすることで高感度化ができる。焦点深度を深くした固定焦点動作では、ＡＦを使わないためすぐにシャッタがきれるためシャッタチャンスを逃しにくくなる。さらに、ＡＦの誤動作によるピントボケも回避できる。デジタルオートフォーカス動作では、機械的なＡＦ動作させないため、瞬時にピント位置の設定ができる。機械的な劣化が無い。機械的なＡＦと同様の遠近感の有る再生画像が得られる。

なお、本発明は、上記各実施の形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。

例えば、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

また、上記各実施形態では、カラーフィルタの色配列がＲＧＢもしくはＷＲＧＢである単板カラーカメラの場合について説明したが、プリズムを使った３原色のＲＧＢ信号を得る３板カラーカメラでも色収差を発生させ、同様の原理で高感度化、色収差によるエッジの偽色が低減できる。Ｗ画素を使った色フィルタ配列を採用する場合には、Ｗ画素から解像度信号を得るため、Ｗ画素は市松状に配置される。他のＲ、Ｇ、Ｂの色フィルタは、ＬＰＦでぼかすため、特に配置制限は無い。

第１の実施形態に係る固体撮像装置の概略的な構成を示す図。第１の実施形態に係る固体撮像装置の光学レンズを示すブロック図。図２中の画素補間回路においてＷ、Ｂ、Ｇ、Ｒの各信号の補間処理が行われる様子を示す図。図２中の複数の輪郭抽出回路のうちＷ画素の輪郭が抽出されて輪郭信号Ｅｗが生成される様子を示す図。図２中の複数のＬＰＦ回路において信号の高域除去処理が行われる様子を示す図。図２中の輪郭信号選択回路の構成の一例を示すブロック図及び同回路の要部の信号波形の一例を示す信号波形図。図１中に示される光学レンズの特徴を示す特性図。第１の実施形態の固体撮像装置の分光感度特性を示す特性図及び図６の輪郭信号選択回路における輪郭信号の出力結果を示す特性図。第２の実施形態に係る固体撮像装置で使用されるセンサチップの回路構成を示すブロック図。図９中の画素補間回路においてＷ、Ｇ、Ｒの各信号の補間処理が行われる様子を示す図。図９中の輪郭信号選択回路の構成を示すブロック図及び同回路の要部の信号波形の一例を示す信号波形図。第２の実施形態の固体撮像装置の分光感度特性を示す特性図及び図１１の輪郭信号選択回路における輪郭信号の出力結果を示す特性図。第３の実施形態に係る固体撮像装置で使用されるセンサチップの回路構成を示すブロック図。図１３中の画素補間回路においてＧ、Ｒ、Ｂの各信号の補間処理が行われる様子を示す図。第３の実施形態の固体撮像装置の分光感度特性を示す特性図及び図１３中の輪郭信号選択回路における輪郭信号の出力結果を示す特性図。

符号の説明

１１…光学レンズ、１２…センサチップ、２１…センサ部、２２…ラインメモリ、２３、２３ａ、２３ｂ、…ピント調整回路、２４…後段信号処理回路、２５…システムタイミング発生回路、２６…コマンドデコーダ、２７…シリアルインターフェース、２１１…画素アレイ、２１２…カラム型アナログデジタルコンバータ、２３１…画素補間回路、２３２…輪郭抽出回路、２３３、２３７…ＬＰＦ回路、２３４、２３４ａ…輪郭信号選択回路、２３５…レベル調整回路、２３６…加算回路、２３８…減算回路、２３９…輪郭信号合成回路。

Claims

光を集光し、焦点位置が光の波長により異なる光学レンズ手段により集光された光信号を電気信号に変換する光電変換素子手段及びこの光電変換素子手段の前面に配置されて光の波長を分離する波長分離手段からなる画素が二次元に配置され、前記光信号を少なくとも２つ以上の波長成分に分離して波長信号を生成するセンサ部と、
前記センサ部により生成された少なくとも２つ以上の波長信号を処理する信号処理手段とを具備し、
前記信号処理手段は、
前記少なくとも２つ以上の波長信号からそれぞれ輪郭信号を抽出する輪郭信号抽出手段と、
制御信号及び前記輪郭信号抽出手段により抽出された輪郭信号が供給され、前記制御信号に応じた所望する波長帯域の輪郭信号を選択して出力する輪郭信号選択手段と、
前記輪郭信号抽出手段により輪郭信号が抽出される前の波長信号のそれぞれと、前記輪郭信号選択手段から出力された輪郭信号とを加算する加算手段を備えることを特徴とする固体撮像装置。
前記輪郭信号抽出手段は、全波長帯域の輪郭信号を抽出する第１の輪郭信号抽出手段と、それぞれ異なる波長帯域の輪郭信号を抽出する複数の第２の輪郭信号抽出手段を含み、前記輪郭信号選択手段は、前記第１の輪郭信号抽出手段によって抽出された輪郭信号を、前記複数の第２の輪郭信号抽出手段によって抽出された輪郭信号に基づいて有効に出力するか無効にするかを制御することを特徴とする請求項１記載の固体撮像装置。
前記信号処理手段は、前記センサ部により生成された前記少なくとも２つ以上の波長信号の信号帯域を低周波数に制限する周波数制限手段をさらに備え、
前記加算手段は、前記周波数制限手段の出力信号と前記輪郭信号選択手段から出力された輪郭信号とを加算することを特徴とする請求項１記載の固体撮像装置。
光を集光し、焦点位置が光の波長により異なる光学レンズ手段により集光された光信号を電気信号に変換する光電変換素子手段及びこの光電変換素子手段の前面に配置されて光の波長を分離する波長分離手段からなる画素が二次元に配置され、前記光信号を青色波長帯域と緑色波長帯域及び赤色波長帯域のうち２つを使った第１色波長帯域と第２色波長帯域及び全波長帯域の３つの波長成分に分離して波長信号を生成するセンサ部と、
前記センサ部により生成された３つの波長信号を処理する信号処理手段とを具備し、
前記信号処理手段は、
前記全波長帯域、第１色波長帯域、及び第２色波長帯域の３つの波長信号を演算して、第３色波長帯域の波長信号を生成する第３色波長帯域信号生成手段と、
前記全波長帯域、第１色波長帯域、及び第２色波長帯域の３つの波長信号からそれぞれ輪郭信号を抽出する輪郭信号抽出手段と、
制御信号及び前記輪郭信号抽出手段により抽出された輪郭信号が供給され、前記制御信号に応じた所望する波長帯域の輪郭信号を選択して出力する輪郭信号選択手段と、
前記輪郭信号抽出手段により輪郭信号が抽出される前の波長信号及び前記第３色波長帯域信号生成手段で生成される第３色波長帯域の波長信号のそれぞれと、前記輪郭信号選択手段から出力された輪郭信号とを加算する加算手段とを備え、
前記第３色波長帯域信号生成手段は、前記全波長帯域の波長信号から前記第１色波長帯域及び第２色波長帯域の波長信号を減算して前記第３色波長帯域の波長信号を生成することを特徴とする固体撮像装置。
前記信号処理手段は、
前記センサ部により生成された全波長帯域の波長信号の信号帯域を低周波数に制限する第１の周波数制限手段と、
前記センサ部により生成された第１色波長帯域の波長信号の信号帯域を低周波数に制限する第２の周波数制限手段と、
前記センサ部により生成された第２色波長帯域の波長信号の信号帯域を低周波数に制限する第３の周波数制限手段をさらに備え、
前記第３色波長帯域信号生成手段は、前記第１の周波数制限手段の出力から前記第２及び第３の周波数制限手段の出力を減算して前記第３色波長帯域の波長信号を生成することを特徴とする請求項４記載の固体撮像装置。