JP2004159274A

JP2004159274A - 固体撮像装置

Info

Publication number: JP2004159274A
Application number: JP2003000294A
Authority: JP
Inventors: Shoji Kawahito; 祥二川人; Masaaki Sasaki; 正明佐々木
Original assignee: Individual
Current assignee: Individual
Priority date: 2002-09-13
Filing date: 2003-01-06
Publication date: 2004-06-03

Abstract

【課題】これまでのイメージセンサの出力はダイナミックレンジが狭いためいろいろな工夫がされてきたが、ダイナミックレンジを広げると信号対ノイズ比が低下するなどの不都合があった。
【解決手段】イメージセンサの画素部から長時間の蓄積による低照度信号と、短時間の蓄積による高照度信号を取り出すことにより、高照度における光電荷の飽和を防止してダイナミックレンジを広げるとともに、高照度信号を撮像エリアの外で積分（累積加算）することにより、信号対ノイズ比を高める。また、積分をアナログ＋ディジタルのハイブリッド方式にすることにより、さらに信号対ノイズ比を高めることができる。
【選択図】図１

Description

【０００１】
【産業上の利用分野】
本発明は、固体撮像装置におけるセンサのダイナミックレンジを高照度側へ拡大する技術、および画素からの読み出しタイミングを最適化し、動き歪を軽減する技術に関する。
【０００２】
【従来の技術】
ＣＭＯＳイメージセンサ上でダイナミックレンジを高照度側へ拡大する処理として多くの方式が存在する。代表例として（１）特開平７−２７４０７２号公報で提示されている、画素回路内に比較器と係数器を配置して、フォトダイオードが外部から設定したしきい値に達するまでのクロック数を計測する方式、（２）特開２０００−２５３３２０号公報で提示されている、画素回路内に比較器と係数器を配置して、一フレーム期間内にフォトダイオードが、外部から設定したしきい値に達した回数を計測する方式、（３）特開２００１−１６９１８４号公報ならびに特開２００１−１８６４１４号公報に提示されている、４トランジスタ型画素回路において、フォトダイオードのブルーミング電荷を１垂直期間より十分短い期間、フローティングディフュージョンに蓄積する方式、ならびに信号レベルとリセットレベルの差分と、信号検出部で一垂直期間より十分短い期間蓄積した信号分から求める方式、（５）Ｙｉｂｉｎｇ（Ｍｉｃｈｅｌｌｅ）Ｗａｎｇ他によってｔｈｅ２００１ＩＥＥＥＷｏｒｋｓｈｏｐｏｎＣｈａｒｇｅ−ＣｏｕｐｌｅｄＤｅｖｉｃｅｓａｎｄＡｄｖａｎｃｅｄＩｍａｇｅＳｅｎｓｏｒｓ，ｐｐ１３７−１４０で発表された”ＡＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅＣＭＯＳＡＰＳＩｍａｇｅＳｅｎｓｏｒ”で説明されているような、４トランジスタ型画素回路のフローティングディフュージョンを、高照度用の感度の低い光電変換素子として利用する方式、（６）後述のＵＳＰ．６１７５３８３号，同じく後述のＵＳＰ．６３６９７３７号，米国出願公開２００２／００２７６０６号明細書および、ＩＥＥＥＪｏｕｒｎａｌｏｆＳｏｌｉｄＳｔａｔｅＣｉｒｃｕｉｔｓ，Ｖｏｌ．３５，Ｎｏ．５の”１０００００−Ｐｉｘｅｌ，１２０−ｄＢＩｍａｇｅｒｉｎＴＦＡＴｅｃｈｎｏｌｏｇｙ”に記載されている、蓄積時間と読み出し信号レベルから浮動小数点表現により画素値を求める方式、（７）特開２０００−８３１９８号公報ならびに特開２００２−７７７３３号公報で提示されている、入射光量に対して対数的に信号電圧が変化する対数圧縮型画素回路を利用する方式がある。
さらに（８）米国特許第６１７５３８３号明細書、ＯｒｌｙＹａｄｉｄ−Ｐｅｃｈｔ，ＢｅｄａｂｒａｔａＰａｉｎ，Ｅｒｉｃ．Ｒ．Ｆｏｓｓｕｍ（ＣａｌｉｆｏｒｎｉａＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ）， ’’ＭｅｔｈｏｄａｎｄＡｐｐａｒａｔｕｓｏｆＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅＩｍａｇｅＳｅｎｓｏｒｗｉｔｈＩｎｄｉｖｉｄｕａｌＰｉｘｅｌＲｅｓｅｔ，’’ Ｕ．Ｓ．Ｐａｔｅｎｔ，６１７５３８３，Ｆｉｅｌｄ：１９９６．１１．７，ＤａｔｅｏｆＰａｔｅｎｔ：２００１．１．１６に記載されているような長時間蓄積を行った信号と、短時間蓄積を行った信号を組み合わせる方式、（９）米国特許第６３６９７３７号明細書、ＤａｖｉｄＸ．Ｄ．Ｙａｎｄ，ＡｂｂａｓＥｌＧａｍｍａｌ，ＢｏｙｄＦｏｗｌｅｒ（ＴｈｅＢｏａｒｄｏｆＴｒｕｓｔｅｅｓｏｆｔｈｅＬｅｌａｎｄＳｔａｎｆｏｒｄＪｕｎｉｏｒＵｎｉｖｅｒｓｉｔｙ）， “ＭｅｔｈｏｄａｎｄＡｐｐａｒａｔｕｓｆｏｒＣｏｎｖｅｒｔｉｎｇＡＬｏｗＤｙｎａｍｉｃＲａｎｇｅＦｌｏａｔｉｎｇ−ＰｏｉｎｔＤｉｇｉｔａｌＲｅｐｒｅｓｅｎｔａｔｉｏｎ”，Ｕ．Ｓ．Ｐａｔｅｎｔ，６３６９７３７，Ｆｉｅｌｄ：１９９７．１０．３０，ＤａｔｅｏｆＰａｔｅｎｔ：２００２．４．９．に記載されているような、複数の蓄積時間の信号を組み合わせる方式がある。
【特許文献１】特開平７−２７４０７２号公報
【特許文献２】特開２０００−２５３３２０号公報
【特許文献３】特開２００１−１６９１８４号公報
【特許文献４】特開２００１−１８６４１４号公報
【特許文献５】特開２０００−０８３１９８号公報
【特許文献６】特開２００２−０７７７３３号公報
【特許文献７】米国特許出願公開第２００２／００２７６０６号明細書
【特許文献８】米国特許第６１７５３８３号明細書
【特許文献９】米国特許第６３６９７３７号明細書
【非特許文献１】Ｙｉｂｉｎｇ（Ｍｉｃｈｅｌｌｅ）Ｗａｎｇ他，ｔｈｅ２００１ＩＥＥＥＷｏｒｋｓｈｏｐｏｎＣｈａｒｇｅ−ＣｏｕｐｌｅｄＤｅｖｉｃｅｓａｎｄＡｄｖａｎｃｅｄＩｍａｇｅＳｅｎｓｏｒｓ，ｐｐ１３７−１４０”ＡＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅＣＭＯＳＡＰＳＩｍａｇｅＳｅｎｓｏｒ”
【非特許文献２】ＩＥＥＥＪｏｕｒｎａｌｏｆＳｏｌｉｄＳｔａｔｅＣｉｒｃｕｉｔｓ，Ｖｏｌ．３５，Ｎｏ．５”１０００００−Ｐｉｘｅｌ，１２０−ｄＢＩｍａｇｅｒｉｎＴＦＡＴｅｃｈｎｏｌｏｇｙ”
【０００３】
【発明が解決しようとする課題】
従来の方式の問題点は、高照度領域へのダイナミックレンジ拡大を行うために、低照度部のＳＮＲ（信号対ノイズ比）を犠牲にしていることと、低照度領域から高照度領域に切り替わったときのＳＮＲの低下（ディップ）が大きく、また本来高照度の部分はＳＮＲが高いにも関わらず、ＳＮＲが飽和してしまうことである。
飽和してしまうことである。
さらに、広ダイナミックレンジ特性を得るために、回路構成および規模が非常に大きくなり、コストが高くなるという問題もある。
特に、前記（８）の方法は、比較的単純な処理で、広ダイナミックレンジの特性が得られるが、ダイナミックレンジを広くとるほど、低照度領域から高照度領域に切り替わったときのＳＮＲディップが非常に大きくなるという課題がある。これは蓄積時間が変化することによる。また、前記（９）の方法は、複数の蓄積時間の異なる信号を読み出すことで、蓄積時間が切り替わったときのＳＮＲディップを小さくしている方式であるが、これを行うためには、１フレーム分のメモリが必要になるため、コストが高くなる。また、画素回路のトランジスタ数が多く、開口率が低下する。
【０００４】
本発明は、低照度領域でのＳＮＲを高くできることから低照度側へのダイナミックレンジ拡大が可能であり、低照度から高照度に切り替わったときのＳＮＲのディップが小さく、さらに高照度領域でのＳＮＲの飽和がないことにより、高照度域で６０ｄＢ程度までＳＮＲを高くでき、高画質の画像を得ることができる。
【０００５】
【発明の概要】
低照度用と高照度用の画素を１つの撮像エリアの中に混在させるか、或いは、１つの画素を高照度用と低照度用として時間的に切り替えて用い、高照度用画素の情報は、高速に読み出し、センサ上に集積化したアナログメモリ、積分用ハイブリッドメモリ（アナログ＋ディジタル）、または、Ａ／Ｄ変換後、浮動小数点表現で記憶したディジタルメモリを用いて、信号の積分を行う。これによって、低照度から高照度に切り替わったときのＳＮＲの低下を抑えられるとともに、高照度側でのＳＮＲを従来のものよりも高くすることができる（ハイブリッド積分方式の場合、最高で６０ｄＢのＳＮＲ）。
【０００６】
また低照度側は全く従来のセンサと同じ特性を確保できるため、例えば、４トランジスタとＰｉｎｎｅｄＰｈｏｔｏＤｉｏｄｅを用いた画素構造を利用でき、リセット雑音の除去と低暗電流が実現でき、極低照度におけるＳＮＲを従来のものよりも大幅に改善できる。高照度側での積分用ハイブリッドメモリは、アナログメモリと入力信号を加算した出力に対して、比較器で飽和検出し、飽和検出回数をディジタルメモリで記憶するもので、これにより、ハードウェアの効率のよい信号積分が可能となる。
【０００７】
ディジタルメモリを用いる方式では、浮動小数点表現にすることで十分なＳＮＲを確保しながら、メモリ量を減少することができる。ディジタルメモリを用いる場合、高速で高精度（１０ｂｉｔ）のＡ／Ｄ変換器のアレイが必要になることが問題であるが、これは多段階解像度のＡ／Ｄ変換器により、解決できる可能性がある。ただしこの場合は、高照度領域のＳＮＲがハイブリッド積分方式よりも低下する点が課題として残るが実用性は高い。
【０００８】
もう１つの重要な特徴として、イメージセンサの画素部からの信号読み出しを、Ｎ回に分割してバースト読み出しを行うことで、低照度用、高照度用の読み出しを時間的に分離することで、クロストークノイズを減らしながら、必要な高照度用積分用メモリの量を、１／Ｎに減らしたことである。
さらには、バースト読み出しとは異なる読み出しタイミングを採用することにより、高照度用積分メモリの量を減らしつつ、動き歪を軽減することができる。
【０００９】
【実施例】
本発明は、イメージセンサのダイナミックレンジを高照度側に拡大する方法と回路に関する。図１に本発明のイメージセンサのブロック図を示す。画素部は、その回路形式、デバイス構造に特に大きな制限はなく、ＣＭＯＳ型イメージセンサのアクティブピクセル方式の１つである、図２に示す４つのＭＯＳトランジスタと１つのフォトダイオードを用いた構造等を用いることができる。
【００１０】
これまで報告されている方式では、図３に示す３トランジスタの画素回路でないと適用できない方式が殆どである。３トランジスタ方式は、信号電荷を初期化する際に発生するリセットノイズと呼ばれるランダムノイズが除去できない。また、暗電流が多い。これに対して、図２の方式では、リセットノイズを除去することができるため、低照度側へのダイナミックレンジを拡大することができる。本発明によるダイナミックレンジ拡大回路は、図２のようなリセットノイズを除去でき、ＰｉｎｎｅｄＰｈｏｔｏＤｉｏｄｅにより低暗電流が得られる画素回路を利用できるため、低照度側へのダイナミックレンジ拡大が可能である。
【００１１】
低照度信号出力は、１水平ライン毎に垂直走査により、イメージセンサ上部に設けたノイズキャンセル回路、信号増幅回路に読み出し、これらを経て、水平走査がなされ、順次最終出力において時系列信号として読み出される。高照度側にダイナミックレンジを拡大するため、高照度用に画素部において短い時間で蓄積を行い、これを高速に読み出して、イメージアレイの外部の回路で画素毎に積分を行った後に読み出す。
【００１２】
１フレームにおける、信号蓄積と信号読み出しの時間配分の例を図４に示す。各画素の信号は、長時間蓄積を行って低照度用の信号として読み出し、その後短時間蓄積を行って高照度用信号として読み出す。光電変換された信号とノイズの大きさが等しいときの撮像面照度をＬｍｉｎとし、画素部において信号が飽和するときの撮像面照度をＬｍａｘとするとき、ダイナミックレンジは、２０ｌｏｇ_１０（Ｌｍａｘ／Ｌｍｉｎ）［ｄＢ］であり、飽和信号量は、Ｌｍａｘと蓄積時間Ｔの積に比例する。また、一方で飽和信号量には構造・材質による限度が存在する。つまり、Ｌｍａｘと蓄積時間Ｔは反比例の関係にある。従って、高照度信号用として短時間の蓄積を行って読み出せば、高照度側にダイナミックレンジを拡大できる。
【００１３】
いま、通常のイメージセンサでは信号の蓄積時間は、１フレームの周期Ｔ_Ｆに等しいが、高照度用信号の蓄積時間をＴ_ＩＨとするとき、この方法によりダイナミックレンジ拡大量は、２０ｌｏｇ_１０（Ｔ_Ｆ／Ｔ_ＩＨ）［ｄＢ］となる。例えばＴ_ＩＨをＴ_Ｆの１００分の１にすれば、４０［ｄＢ］高照度側にダイナミックレンジを拡大できる。低照度側へのダイナミックレンジ拡大は、ノイズを低減する以外になく、先に述べたように、リセットノイズのない４トランジスタ画素を用いることができる本発明のダイナミックレンジ拡大回路は低照度側へのダイナミックレンジ拡大に対して効果がある。
【００１４】
低照度用信号と高照度用信号として読み出された信号は、合成して１つの画像を得る。このときに問題になるのは、低照度領域から高照度領域に切りかわるときにＳＮＲが低下することである。この遷移領域でのノイズは、ショットノイズによるものが支配的である。ショットノイズは、信号の蓄積時間の平方根に比例する。信号振幅は、蓄積時間に比例する。従って、そのＳＮＲ（信号対ノイズ比）は、蓄積時間の平方根に比例する。
【００１５】
低照度用信号の蓄積時間をＴ_ＩＬ、高照度用信号の蓄積時間をＴ_ＩＨとするとき、ある照度レベルにおいて、低照度信号から高照度信号に切り替わったときのＳＮＲのディップ量は、２０ｌｏｇ_１０√（Ｔ_ＩＨ／Ｔ_ＩＬ）［ｄＢ］となる。Ｔ_ＩＨ／Ｔ_ＩＬ＝１／２５６とすると−２４［ｄＢ］のＳＮＲの低下（ディップ）が生じる。従って、このままでは、ダイナミックレンジを拡大できる代わりに、ＳＮＲの低下という犠牲を払わなければならない。
【００１６】
そこで、高照度用信号については、短時間の蓄積を行った信号を画素部の外に設けたメモリと加算器を用いて積分を繰り返すことで、ＳＮＲの改善を図ることが本発明の要点である。このメモリと加算器としては、アナログ積分方式、ディジタル積分方式、ハイブリッド積分方式（アナログ＋ディジタル）が考えられる。
【００１７】
アナログ積分器は既によく知られているものであるし、後述するハイブリッド積分方式からディジタル部を除いたものがアナログ積分方式であるから、ここでは詳述しないが、単純なアナログ積分によってもＳＮＲの改善は図れるから、アナログ積分方式を一つの実施例として提案する。さらに、アナログ積分方式における問題点を解決する方式をハイブリッド積分方式として提案する。以下、ハイブリッド積分方式の実施例について述べる。
【００１８】
アナログ積分方式の問題点としては、アナログ積分器およびアナログメモリで扱える信号振幅は有限であるため、このままでは大きな画素部からの信号に対して飽和してしまう。これを飽和しないようにするため、アナログ積分器の前に信号を減衰させてから与えれば飽和をさけることができるが、この場合には回路のノイズの影響が大きくなるため、ＳＮＲの改善の効果が少ない。
【００１９】
ディジタル積分方式では、記憶回路での信号劣化がないという点が利点であるが、高分解能のＡ／Ｄ変換器を用いないと、低照度から高照度領域への切り替え時のＳＮＲのディップが大きくなる点と、メモリのためのトランジスタ数が多くなる点が課題である。これらの問題の解決策については後で述べる。
アナログ積分方式、ディジタル積分方式の欠点を解消する方式が、ハイブリッド積分方式である。
【００２０】
図１に示したように、アナログ積分器の出力に対して、比較器を用いて、飽和するかどうかの判断を行い、飽和する場合は、ある一定電圧を、アナログ積分器の出力から差し引く機能を設ける。これを繰り返し積分の際に、常に行うようにし、飽和回数をディジタルメモリとディジタル加算器で計数することにより、アナログメモリと飽和回数のディジタル値の両方で信号の記憶を行う方式である。これにより、アナログメモリやアナログ積分器が飽和する問題を避けられるとともに、アナログ積分であるので、量子化雑音は発生しない。
【００２１】
この回路の動作について式を用いて説明する。ある画素からｉ回目に読み出された信号をｘ_ｉとして、これをＮ回読み出して飽和検出処理を行いながらアナログ積分を行う場合、アナログ加算器の出力ｙ_ｉは、ｉ＝１，．．．，Ｎに対して
ｙ_ｉ＝ｙ_ｉ−１＋ｘ_ｉ−Ｄ_ｉ×ｒ
と表すことができる。ここでｙ_０＝０である。ｒは飽和検出された場合に出力から減する値を意味する。
【００２２】
またＤｉは、飽和するかどうかを判断する比較器の出力であり、次式のように定める。
【数１】

ここで、Ｔは、飽和検出のしきい値である。Ｔ＝ｒとしても良いが、Ｔ＝ｒ＋Δ（Δ＞０）とし、Ｔをｒよりやや大きい値にすることで、ｙ_ｉが負になるのを避けることができる。
【００２３】
またディジタル積分値Ｙ_ｉは、
Ｙ_ｉ＝Ｙ_ｉ−１＋Ｄ_ｉ
となる。ここでＹ_０＝０である。
このような処理によれば、ｙ_ｉ＜Ｔを必ず満たし、アナログ加算器の出力が飽和することはない。
【００２４】
また、等価な信号振幅は、
【数２】

いま、Ｎ回積分する場合の、等価な最大信号振幅は、ｙ_Ｎの最大信号振幅が、ｒであるとすれば、
Ｚｍａｘ＝（Ｎ＋１）ｒ
となる。これは、読み出される信号が、毎回最大値としてｘ_ｉ＝ｒ（１＋（１／Ｎ））となる場合に相当し、このようなハイブリッド積分処理により、ダイナミックレンジが、Ｚｍａｘ／ｘ_ｉ＝Ｎと、Ｎ倍に拡大されることになる。
【００２５】
このようなハイブリッド積分処理を、短時間蓄積により高照度側のダイナミックレンジ拡大を行う方法に応用すると、低照度信号から高照度信号に切り替わったときのＳＮＲのディップ量を小さくしながら、ダイナミックレンジ拡大が可能となる。高照度用信号の蓄積時間をＴ_ＩＨとし、その読み出された信号をＮ回、ハイブリッド積分を行ったとき、信号はＮ倍、ショット雑音は√Ｎ倍になるので、ある照度レベルにおいて、低照度信号から高照度信号に切り替わったときのＳＮＲのディップ量は、２０ｌｏｇ_１０√（Ｎ×Ｔ_ＩＨ／Ｔ_ＩＬ）［ｄＢ］となる。Ｔ_ＩＨ／Ｔ_ＩＬ＝１／２５６で、Ｎ＝３２とすれば、ＳＮＲディップは−９［ｄＢ］ですむ。このような処理を行わなければ、−２４［ｄＢ］であり、この差は非常に大きい。
【００２６】
例えば、低照度用出力での最大のＳＮＲは、一般には５０ｄＢ前後である。いま仮に５０ｄＢのＳＮＲのところで低照度から高照度に切り替わったとすると、ハイブリッド積分処理を行う場合は、ＳＮＲディップ点のＳＮＲは４１［ｄＢ］となるが、このような処理を行わない場合は、ＳＮＲディップ点のＳＮＲは、２６［ｄＢ］となる。人の眼は、ＳＮＲが４０［ｄＢ］近くあれば、殆どの場合ノイズに気がつかないといわれており、ハイブリッド積分処理により殆ど問題のないレベルに抑えることができる。これに対して、２６［ｄＢ］のＳＮＲでは、人の眼にはっきりとわかる画質劣化を生じる。
【００２７】
次に、ハイブリッド積分を行う実際の回路を説明する。図５にその回路図を示す。メモリキャパシタを順次、バッファアンプに接続して、これに記憶された電圧とセンサから読み出された信号を加え、これを再びメモリキャパシタに書き込む機能を備えるとともに、アナログ加算器の出力が、しきい値を越えたかどうかを比較器で判断し、越えた場合は、ある一定電圧を引いた値をメモリキャパシタに書き込む。
【００２８】
具体的な動作を説明するための回路を図６に示す。このメモリは、６つの動作状態をもち、そのときの各スイッチのオン（１）、オフ（０）を図７に、それぞれの状態における回路接続を、図８に示す。
【００２９】
（１）最初の画素リセットレベルサンプル；
高照度信号を読み出してハイブリッド積分を行う際の最初の読み出しのときはアナログメモリにはなにも書こまれていないので、アナログメモリ出力との加算は行わず、画素部の信号をアナログメモリに記憶する動作となる。そこで、４トランジスタ＋１フォトダイオードの画素回路をもつ画素部の電荷検出部をリセットし、これを読み出す。これをＶｓ（Ｒ）とする。この電圧を、アナログ加算器のキャパシタＣ_１にサンプルする。このときＣ_２の一端は、参照電圧Ｖ_Ｒに接続しておく。
【００３０】
（２）最初の画素信号レベルサンプル；
４トランジスタ＋１フォトダイオードの画素回路をもつ画素部の電荷検出部に、ＴＸを開いて蓄積した電荷を転送し、このときの電荷検出部の電圧を読み出す。
これをＶｓ（Ｓ）とする。このときＣ_２は、アナログ加算器の入出力間に接続する。Ｃ_１への入力の電圧がＶｓ（Ｒ）からＶｓ（Ｓ）に変化することにより、Ｃ_１（Ｖｓ（Ｒ）−Ｖｓ（Ｓ））に相当する電荷がＣ_２に転送される。その結果、アナログ加算器の出力は、
【数３】

となる。これにより、加算器の出力には画素部の固定パターンノイズとリセットノイズが除去され、かつアナログ加算器のオフセットにも影響されない電圧が現れる。これをメモリキャパシタに記憶する。
【００３１】
（３）アナログメモリ読み出しと２回目以降の画素部リセットレベルサンプル；
２回目以降は、高照度信号を読み出してハイブリッド積分を行うので、メモリ出力との加算を行う。そこで、４トランジスタ＋１フォトダイオードの画素回路をもつ画素部の電荷検出部をリセットしたときの読み出し電圧Ｖｓ（Ｒ）を、アナログ加算器のキャパシタＣ_１にサンプルする。このときＣ_２の一端は、アナログメモリの読み出すバッファアンプの出力を接続しておく。その電圧をＶ_Ｍとする。
【００３２】
（４）２回目以降の画素部信号レベルサンプルとメモリ出力との加算；
画素の電荷検出部に、ＴＸを開いて蓄積した電荷を転送し、このときの電荷検出部の電圧を読み出す。これをＶｓ（Ｓ）とする。このときＣ_２は、アナログ加算器の入出力間に接続する。Ｃ_１への入力の電圧がＶｓ（Ｒ）からＶｓ（Ｓ）に変化することにより、Ｃ_１（Ｖｓ（Ｒ）−Ｖｓ（Ｓ））に相当する電荷がＣ_２に転送される。その結果、アナログ加算器の出力は、
【数４】

となる。これにより、アナログメモリに記憶された電圧と、画素部から読み出され、固定パターンノイズとリセットノイズが除去された新たな信号が加算される。
その加算出力に対して、比較器を用いて、しきい値電圧Ｖ_Ｔよりも大きいかどうかを判断する。
【００３３】
（５）参照信号減算のための第１の参照信号サンプル；
上の（４）の演算の結果、加算器の出力が、しきい値電圧よりも大きいときは、ある一定電圧を、その出力から減ずる。これを行うために、Ｃ_１に、第１の参照電圧Ｖ_Ｒ１をサンプルする。このとき、アナログ加算器用の増幅器の入出力間を短絡する必要があるが、（４）の処理の結果得られ、Ｃ_２に記憶されている信号を破壊しないようにするために、Ｃ_２の一端を開放しておく。
【００３４】
（６）参照信号減算のための第２の参照信号サンプルとアナログメモリへの再書き込み；
Ｃ_２をアナログ加算器の入出力間に接続する。比較器の出力Ｄが１の（つまり、アナログ加算器出力が、しきい値電圧よりも大きい）場合は、Ｃ_１の一端を第２の参照電圧Ｖ_Ｒ２に接続し、比較器の出力Ｄが０の場合は、Ｃ_１の一端を第１の参照電圧Ｖ_Ｒ１のままにしておく。この結果、アナログ加算器の出力は、次のようになる。
【数５】

このように、比較器の出力に応じて一定電圧（Ｖ_Ｒ１−Ｖ_Ｒ２）を減ずる処理が行われる。
この値をアナログメモリ用キャパシタに記憶する。
【００３５】
比較器はそれ自体１ビットのＡ／Ｄ変換器であるが、この比較器を多ビットのＡ／Ｄ変換器で構成する場合には、アナログ加算器出力がしきい値電圧を上回る度合いに対応して、Ｄは１，２…ｎの値をとる。
【００３６】
以上をＮ回繰り返せば、短時間蓄積をした画素部の信号に対して、先に説明したハイブリッド積分を行うことができる。アナログメモリから減算された信号量は、比較器の出力を積分することにより得られる。比較器の出力の積分は、ディジタルメモリとディジタル加算器を用いて行うことができ、その機能記述は、図１に示したブロック図で十分と考えられるので、詳細な説明は省略する。
なお、ハイブリッド積分型メモリのアナログ部は、メモリ部のスイッチの数を減らした図９のような、幾つかの変形が可能である。
【００３７】
本発明のもう１つの重要な点は、画素部からの信号の読み出しタイミングである。これは、必要とされるハイブリッド積分型メモリ部の回路規模と大きな関係がある。
【００３８】
図４は、高照度信号の蓄積時間と、フレーム周期Ｔ_Ｆとの比がＮ×Ｔ_ＩＨ／Ｔ_Ｆ＝１／４の場合である。高照度信号の蓄積は、画素部での蓄積とメモリを用いた積分による信号蓄積の両方を用いるが、この期間は高速な信号読み出しがなされるため、電源ライン、ＧＮＤライン、イメージセンサの基板に大きなスイッチングノイズを発生する。この期間に信号読み出しを重複して行うと読み出された信号にスイッチングノイズが混入する。したがって、この期間と信号読み出しは、時間的にずらす必要がある。その結果、図４のようなタイミングになる。
【００３９】
このことを満たしながら、信号読み出しに要する時間を２倍にし、必要な高照度信号積分用メモリの量を半分にすることができる読み出しタイミングを図１０に示す。画素部の偶数番目の水平ライン（２ｎ）と奇数番目の水平ライン（２ｎ＋１）とで、図１０のように信号蓄積及び信号読み出しのタイミングを設定すれば、ノイズ混入を避けながら、積分用メモリ量と読み出し速度を半分にすることができる。
【００４０】
同様に、高照度信号の蓄積時間と、フレーム周期Ｔ_Ｆとの比がＮ×Ｔ_ＩＨ／Ｔ_Ｆ＝１／８の場合には、図１１のように信号蓄積と信号読み出しのタイミングを設定すれば、ノイズ混入をさけながら、（１／４の画素数分毎に積分して読み出すので）積分用メモリ量を画素数の１／４にでき、読み出し速度もこの動作を用いない場合に比べて１／４にすることができる。
一般に、高照度信号の蓄積時間と、フレーム周期Ｔ_Ｆとの比をＮ×Ｔ_ＩＨ／Ｔ_Ｆ＝１／Ｍにすることで、積分用メモリ量を画素数の２／Ｍに減らすことができる。
【００４１】
高照度信号と低照度信号を得るもう１つの方法として、これらを別々の画素で得る方法も考えられる。この場合の画素配置の例を図１２に示す。（ａ），（ｂ）は、高照度用の画素を少なくして、低照度領域の解像度をあまり下げないようにしたもので、高照度領域では、やや解像度が低下しても良い場合もあり、そのような場合に有効である。また、（ａ）は高照度画素の幅を低照度画素の２画素分とし、かつ偶数行と奇数行とで半画素分ずらしたものである。このような配置にすれば、偶数行の画素と奇数行の画素とから単純な補間演算（平均演算）を用いることにより、低照度画素に対応する位置における照度を高照度画素からも簡単に求めることができる。半画素ずらしによらない場合は、複雑な補間演算となることが避けられない。（ｃ），（ｄ）は、高照度用と低照度用で同じ解像度としたもので、（ｃ）はチェックパターンにしたもの、（ｄ）はライン毎に交互に配置するものである。（ｃ）の方が、水平と垂直の解像度が同じにできる点で有利である。これ以外にも種々の変形が考えられるものであり、他の配置であってもこの出願による積分処理が適用可能であることはいうまでもない。
【００４２】
このように高照度用と低照度用で別の画素を用いると解像度が低下するが、現在技術的には、１００万画素を超えるイメージセンサを実現するのはそれほど困難ではなく、一方、解像度はそれほど高くなくて良いが、ダイナミックレンジは広くしたいというニーズはあると思われる。故に、多画素化の技術をダイナミックレンジを広くするために用いるという方法も実用性は十分にある。
【００４３】
次にディジタル積分方式を説明する。最も単純なディジタル積分方式の広ダイナミックレンジ・イメージセンサの構成を図１３に示す。読み出された高照度用の信号をＡ／Ｄ変換し、画素毎に、あらかじめ記憶されたディジタルメモリの値と画素部から読み出された信号を加え、これを再びディジタルメモリに格納する。これを繰り返す。この場合には、十分なビット幅のディジタルメモリを用い、飽和を避けることができる。ディジタルメモリとしては、図１１のようにバースト読み出しにより、高照度信号の蓄積時間と、フレーム周期Ｔ_Ｆとの比をＮ×Ｔ_ＩＨ／Ｔ_Ｆ＝１／Ｍにすることで、積分用メモリ量を画素数の２／Ｍに減らすことができる。このバースト読み出しを用いることでメモリの量を減らしながら、ディジタル積分によりダイナミックレンジ拡大を行う方法を、ディジタル積分方式における一実施例として提案する。
【００４４】
ただし、現実には、このような単純な構成では、１つ問題がある。Ａ／Ｄ変換器の分解能を十分高くしないと、Ａ／Ｄ変換器の発生する量子化雑音によりディジタル積分された信号のＳＮＲが低下することである。例えば、高照度部の蓄積時間を１フレームの１／８とし、３２回高速読み出しを行ってディジタル積分を行う場合、低照度用信号の蓄積時間をＴ_ＩＬ、高照度用信号の蓄積時間をＴ_ＩＨとするとき、ある照度レベルにおいて、低照度信号から高照度信号に切り替わったとき、低照度信号の最大値を１Ｖとすれば、Ｔ_ＩＨ／Ｔ_ＩＬ＝１／２５６であるので、高照度信号の最小値は、４ｍＶである。
【００４５】
もし、高照度信号のＡ／Ｄ変換を１Ｖフルスケールで８ビットで行ったとすると、高照度信号の最小値は、１ＬＳＢ（最下位ビット）であり、３２回読み出しを行ってディジタル積分を行っても分解能は、５ビットである。量子化雑音で決まるＳＮＲは、３２ｄＢ程度になる。これを１０ビットＡ／Ｄ変換を行えば、高照度信号のＳＮＲの最小値は、４４ｄＢになり、問題のない値とすることができるが、１０ビットのＡ／Ｄ変換器をイメージセンサのカラムに並べて動作させ、１０ビット精度を確保するのは困難さがともなう。特に、高照度信号は、この場合の例で、通常の３２倍の高速で読み出さないといけないため、高速かつ高精度のＡ／Ｄ変換器をカラムに並べて動作させる必要がある。
また、１０ビットＡ／Ｄ変換を行えたとしても、３２回ディジタル積分を行うと１つの画素値を記憶するのに１５ビットのメモリが必要になる。
これらの点を改善したディジタル積分方式におけるカラムに並べる単位回路を、図１４及び図１７に示す。
【００４６】
図１４は、Ａ／Ｄ変換を容易にし、かつＳＮＲを大きく低下させないようにするため、積分型Ａ／Ｄ変換器において複数の傾斜を発生するランプ信号発生器を用いて、多段階分解能のＡ／Ｄ変換を行うものである。以下に動作を説明する。積分型Ａ／Ｄ変換器は、１個の比較器、ランプ信号発生器とこれに同期して動作するカウンタ及びカウント値を記憶（ラッチ）するメモリからなる。０Ｖから徐々に電圧が上昇するランプ信号を発生させ、ランプ信号のスタートと同時にディジタル値がインクリメントするカウンタを動作させる。
【００４７】
このときランプ信号とＡ／Ｄ変換したい入力信号を比較器に与え、ランプ信号が、入力信号を超えた瞬間に比較器が”０”から”１”に変化する。この比較器の出力によって、ラッチ回路にカウンタの値を記憶する。この記憶されたディジタル値が、入力されたアナログ信号がＡ／Ｄ変換された値となる。いまカウンタのクロックの周期をＴ_ｃ、入力電圧のフルスケールをＶ_ＦＳとし、Ｎビット分解能のＡ／Ｄ変換を行う場合、ランプ信号の傾斜ｓ＝ｄＶ／ｄｔを
【数６】

に選ぶ。アナログ入力電圧をＶ_１のとき、レジスタに記憶されるカウント値をＮ_１とすると、
【数７】

となり、カウント値がＡ／Ｄ変換値になることがわかる。１ＬＳＢ（最下位ビット）の電圧振幅は、１ＬＳＢ＝Ｖ_ＦＳ／２^Ｎである。
【００４８】
これを例えば１０ビット分解能で行うと最大で１０２４回のカウントが必要になり、高速Ａ／Ｄ変換が困難になる。そこで、小さい入力信号のときは、高い分解能（１ＬＳＢあたりの電圧を小さく）で、大きな入力信号のときは低い分解能でＡ／Ｄ変換を行う。これを多段分解能Ａ／Ｄ変換と呼ぶ。
第１段階では、最高の分解能のＡ／Ｄ変換を行う。このときのランプ信号の傾斜をＳ_１とする。第２段階は、Ｓ_２＝Ｍ_２×Ｓ_１（Ｍ_２は正の整数）、第３段階は、Ｓ_３＝Ｍ_３×Ｓ_１（Ｍ_３は正の整数）のように段階的に傾斜を大きくすることで、分解能を変化する。
【００４９】
実際の動作の様子を、図１５に示す。入力信号がＡのときには、１カウントあたり１ＬＳＢの傾斜でランプ信号が変化し、第１段階で比較器の出力が”０”から”１”に変化し、カウンタ値６がデータラッチに記憶される。同時に、ゾーンラッチに、領域Ａであることを示す１が記憶される。同様に入力信号がＢのときは、１カウントあたり２ＬＳＢの傾斜でランプ信号が変化し、第２段階で比較器の出力が”０”から”１”に変化することで、カウント値７がデータラッチに記憶される。同時にゾーンラッチには領域Ｂであることを示す２が記憶される。このようにして、入力信号に応じて分解能が変化するＡ／Ｄ変換が行える。例えば、１０ビット積分型Ａ／Ｄ変換を行うためには、１０２４クロック分カウントする必要があるが、これを図１６のように多段階分解能とすることで、６４カウントに削減できる。
【００５０】
例えば、先に述べた高照度信号の蓄積時間を１／８とし、ディジタル積分の回数を３２回とする場合、低照度信号の最大値を１Ｖとすると、高照度信号の振幅の最小値は、４ｍＶに相当するが、図１６のようにすれば４ｍＶの振幅のときは、１ＬＳＢ＝１ｍＶの分解能でＡ／Ｄ変換されるので、ディジタル値は４に相当し、３２回積分したときのディジタル値は、１２８と７ｂｉｔ相当となり、量子化雑音によるＳ／Ｎは積分によるノイズ増加を考慮しても、３８ｄＢ程度あり、十分である。また、振幅１６ｍＶを少し越えるとＡＤＣ（Ａ／Ｄ変換器）の分解能は、４ＬＳＢ＝４ｍＶとなるが、ディジタル値は４を越え、３２回積分したときのディジタル値は１２８以上となる。同様に、振幅が、６４ｍＶを越えると、１６ＬＳＢ＝１６ｍＶの分解能、２５６ｍＶを越えると６４ＬＳＢ＝６４ｍＶの分解能となるが、どの領域でも量子化雑音によるＳ／Ｎは、３８ｄＢ程度以上を確保できる。
【００５１】
複数の傾斜のランプ信号を用いるかわりに、イメージセンサの画素部からの信号を増幅するアンプの利得を多段階に変化することで、多段分解能Ａ／Ｄ変換を行うこともできる。これを用いた、ディジタル積分方式におけるカラムに並べる単位回路を、図１７に示す。この場合のアンプの利得の設定例を図１８に示す。
【００５２】
先に複数の傾斜のランプ信号は時間の経過により順次発生するものとして説明したが、同時に複数の傾斜のランプ信号を発生させ、かつ複数の比較器を備えることにより、並列動作を行えることは明らかである。また、アンプの利得を多段階に変化させる構成においても、時系列的にアンプの利得を順次変化させることに代えて利得の異なるアンプを複数設け、それらのアンプの出力と一つの傾斜のランプ信号とを複数の比較器を用いて同時に判定することにより、並列動作を行えることも明らかである。
【００５３】
ここで、ディジタルメモリを節約するための浮動小数点ディジタルメモリと、ディジタル積分回路について説明する。浮動小数点表現では、ディジタル値を指数部と仮数部を用いて表す。例えば、１５ｂｉｔのディジタル値を、仮数部８ビット、指数部３ビットで表せば、１１ビットで記憶することができる。この例で浮動小数点表現への変換を表すと図１９のようになる。仮数部Ｙ_Ｍの［Ｘ／２］は、Ｘを２で割って８ビットに丸めることを意味する。指数部Ｙ_Ｅは、０から７までの値をとり、３ビットで表すことができる。また、浮動小数点から固定小数点への変換は、
【数８】

を計算する。これは単に、Ｙ_ＭをＹ_Ｅビットだけ桁の移動（ビットシフト）を行うだけで算出できる。
【００５４】
また、イメージアレイ周辺に設けられたノイズキャンセル回路や増幅器は、必要性に応じて設けられるものであるが、図１では低照度信号用と高照度信号用とにそれぞれ設けた例が示されている。しかし、低照度信号と高照度信号とは読出しのタイミングが異なるため、図２０のように低照度信号用と高照度信号用とは兼用することが可能である。ディジタル積分型においては、図１３にＡ／Ｄ変換器を低照度信号用と高照度信号用とにそれぞれ設けた例が示されている。しかし、この場合のＡ／Ｄ変換器も図２１のように低照度信号用と高照度信号用とが兼用できる。
【００５５】
さらに他の実施例について、ここで述べる。
以上述べたように読み出した信号を外部の回路で積分を行う場合の問題は、画像信号を記憶するためのメモリの量である。
画像信号を画素毎に積分処理をするためには、１フレームに相当するメモリを必要とすると考えるのが一般的である。しかし、これをイメージセンサ上に集積化すると大きな面積を占めることになり、製造コストが高くなる。
この実施例の特徴は、短時間蓄積した信号の読み出し方を工夫することで、非常に少ないメモリで積分を行うことができる点である。
【００５６】
簡単のため、垂直有効画素数４８０画素のイメージセンサで、高照度信号の蓄積をほぼ１水平周期の期間、信号蓄積し、これを２回ずつ読み出して積分する場合について、タイミングを図示したものを図２２に示す。
動作の基本は、１水平期間の間に、低照度信号の垂直読み出し、高照度信号の垂直読み出し及び積分、積分用メモリからの信号の水平方向読み出しを行うことである。ある１水平ラインに着目したタイミングを図２３に示す。また、広ダイナミックレンジ・イメージセンサのブロック図を、図２４に示す。
【００５７】
低照度信号をＬＡの期間蓄積し、ＬＶのタイミングで垂直方向に読み出し、カラムでノイズキャンセル処理を行ったあと、Ａ／Ｄ変換し、ディジタルメモリに記憶する。このとき、もともと入っていたディジタルメモリの値との演算は行わないため、ＭＵＸ（マルチプレクサ）で、加算器の出力ではなくＡ／Ｄ変換器の直接の出力をメモリに接続する。このとき、信号がＡ／Ｄ変換器のフルスケールを越えていたかどうかを表す飽和検出フラグも合わせてディジタルメモリに記憶しておく。この読み出し動作で画素はリセットされる。
【００５８】
次いで高照度用短時間蓄積の１回目をＨＡ（１）の期間に行う。この信号は、ＨＶ（１）のタイミングで垂直方向に読み出し、ノイズキャンセルとＡ／Ｄ変換を行う。
ディジタルメモリに記憶された飽和検出フラグをチェックし、もし低照度信号がＡ／Ｄ変換器のフルスケールを越えていたら、ディジタルメモリの内容を高照度用信号で書き換え、飽和検出フラグはそのまま記憶しておく。つぎに高照度用短時間蓄積の２回目をＨＡ（２）の期間に行う。この信号をＨＶ（２）のタイミングで垂直方向に読み出し、ノイズキャンセルとＡ／Ｄ変換を行う。ディジタルメモリに記憶された飽和検出フラグをチェックし、もし低照度信号がＡ／Ｄ変換器のフルスケールを越えていたら、ＨＡ（１）の蓄積で記憶された信号と加算し、再び、ディジタルメモリに格納する。続いて、ＭＲの期間にディジタルメモリに記憶された値を、水平方向走査を行って出力に読み出す。
【００５９】
本方式の大きな特徴として、積分のために必要な記憶容量が非常に少なくて済むことである。これは、高照度信号の積分が低照度信号、高照度信号の読み出しに同期して規則的かつシーケンシャルに行われるため、ある１水平ラインに関して、高照度信号の積分が、完了して、外部に読み出しを行った後、直ちに、その積分のために用いたメモリを開放し、別の水平ラインの積分用に利用できるようになるためである。
【００６０】
いま、垂直方向のライン数（水平ライン数）をＮ_Ｖ、水平方向の画素数をＮ_Ｈ、ダイナミックレンジ拡大率をＲ、高照度信号の積分回数をＮ_Ｉ、１水平ラインの時間をＴ_Ｈ、フレーム速度をＴ_Ｖとすると以下のような基本的な関係式が得られる。
【数９】

【００６１】
簡単のためブランキング期間はＮ_Ｖの中に含めている。ダイナミックレンジ拡大率は、
【数１０】

【００６２】
ここでＴ_ＡＬは低照度信号の蓄積時間、Ｔ_ＡＨは高照度信号の蓄積時間である。また、Ｔ_ＡＨをＴ_Ｈを基準にして表すと
【数１１】

ここでＮ_ＡＨは高照度信号の蓄積時間を水平ラインの時間で割ったもの、すなわち高照度信号蓄積時間とＴ_Ｈの比を表したものである。
【００６３】
今回の方式は、１フレームの時間を無駄なく、低照度信号と高照度信号の蓄積に１００％割り当てられ、次式がなりたつ。
【数１２】

つまり、１フレームの時間を低照度信号の蓄積と、Ｎ_Ｉ回の高照度信号の蓄積に割り当てる。
【００６４】
広ダイナミックレンジ・イメージセンサの設計上、Ｎ_Ｖ、Ｒ、Ｎ_Ｉが仕様として与えられるとする。これらに対して、イメージセンサの性能を決める幾つかのファクタについて計算式を求める。
まず式（３），（４）から、次式が得られる。
【数１３】

【００６５】
広ダイナミックレンジ・イメージセンサでは、蓄積時間の一部を高照度用に利用するため、低照度信号の感度がやや低下する。１フレームの時間蓄積する通常のイメージセンサと比較した場合の感度低下率をγとすると
【数１４】

となる。ダイナミックレンジ拡大率を十分大きくとり、積分回数を増やさなければ低下は少ない。
【００６６】
低照度領域から高照度領域への切替時のＳＮＲディップ量（ΔＳＮＲ）は、光ショットノイズのみを考慮すると
【数１５】

ＳＮＲ低下は、ダイナミックレンジを拡大するほど低下し、また積分回数を増やせば改善されることがわかる。
【００６７】
積分に必要なメモリ量Ｃ_Ｍは、
【数１６】

ここで、Ｃ_ＭＦは、１フルフレームを記憶するのに必要なメモリ量であり、
Ｃ_ＭＦ＝Ｎ_Ｂ×Ｎ_Ｈ×Ｎ_Ｖである。Ｎ_Ｂは、１画素あたりのビット幅である。メモリ量は、ダイナミックレンジを拡大する程、少なくて済み、ＳＮＲディップを犠牲にして、積分回数を減らせばメモリ量が節約できることになる。
【００６８】
画素数６４０×４８０画素の場合での計算例を図２５に示す。
図２５のように、１水平読み出し周期の８倍の期間蓄積し、これを４回積分する場合の１水平周期での処理の時間的内訳を、図２６に示す。
あるｎ行目の低照度用信号を最初に読み出し、Ａ／Ｄ変換等の処理を経て、ディジタルメモリに記憶する。ついで、その行から８行手前の信号を読み出し、Ａ／Ｄ変換等の処理を経て、もし、ｎ−８行目のディジタルメモリに書かれてある低照度用信号の飽和フラグがたっていれば、この信号で置き換える。次に、その行から１６行手前の信号を読み出し、Ａ／Ｄ変換等の処理を経て、もし、ｎ−１６行目のディジタルメモリに書かれてある低照度用信号の飽和フラグがたっていれば、既に、１回目の高照度用信号で置き換えられているため、この信号を、記憶されている高照度用信号に加えて、その結果を、当該行のディジタルメモリに再書き込みをする。
【００６９】
以下同様に、順次２４行手前の信号、３２行手前の信号を読み出し、同様な処理を行う。３２行目手前の信号を読み出し積分すれば、その行に関しては値が確定するので、メモリに格納されている信号を、最後の期間を使って、水平走査により読み出す。
【００７０】
拡張として、図２７のように、長時間蓄積した低照度信号の読み出し、比較的短時間蓄積した高照度信号の読み出しと積分（この場合８Ｈ期間の積分を４回）、その後、極短時間積分した超高照度信号の読み出しと積分（この場合２Ｈの期間の積分を２回）を１水平周期の間に行うことで、さらに高ダイナミックレンジ化を図ることも考えられる。この場合、フラグとしては、メモリに記憶されている信号が、低照度用信号であるか、高照度信号であるか、超高照度信号であるかを区別するためのフラグとして２ビット分必要である。
このように飽和フラグを用いることにより、低照度信号、高照度信号および超高照度信号から飽和していない適切な照度信号が選択される。
ここでは、超高照度信号についても積分を行うものとして説明したが、所望により積分なしで出力するものであってもよい。
【００７１】
次に、Ａ／Ｄ変換部の他の実施例について説明する。図２８に、その構成を示す。一点鎖線のなかは、カラムに並べる１チャネル分を示しており、その外の多傾斜ランプ信号発生器、多段分解能Ｇｒａｙコードカウンタ、制御回路は共通である。Ａ／Ｄ変換を容易にし、かつＳＮＲを大きく低下させないようにするため、積分型Ａ／Ｄ変換器において複数の傾斜を発生するランプ信号発生器を用いて、多段階分解能のＡ／Ｄ変換を行う。以下に動作を説明する。
【００７２】
積分型Ａ／Ｄ変換器は、１個の比較器、ランプ信号発生器とこれに同期して動作するカウンタ及びカウント値を記憶（ラッチ）するメモリからなる。０Ｖから徐々に電圧が上昇するランプ信号を発生させ、ランプ信号のスタートと同時にディジタル値がインクリメントするカウンタを動作させる。このときランプ信号とＡ／Ｄ変換したい入力信号を比較器に与え、ランプ信号が、入力信号を超えた瞬間に比較器が”０”から”１”に変化する。この比較器の出力によって、ラッチ回路にカウンタの値を記憶する。この記憶されたディジタル値が、入力されたアナログ信号がＡ／Ｄ変換された値となる。このカウンタとしては、ディジタルノイズがＡ／Ｄ変換特性に与える影響を減らすため、全てのコードで遷移するビットが１ビットだけであるグレイコードを用いるのがよい。
【００７３】
カウンタを用いた積分型Ａ／Ｄ変換器は、例えば１０ビット分解能で行うと最大で１０２４回のカウントが必要になり、高速Ａ／Ｄ変換が困難になる。そこで、小さい入力信号のときは、高い分解能（１ＬＳＢあたりの電圧を小さく）で、大きな入力信号のときは低い分解能でＡ／Ｄ変換を行う。これを多段分解能Ａ／Ｄ変換と呼ぶ。第１段階では、最高の分解能のＡ／Ｄ変換を行う。このときのランプ信号の傾斜をｓ_１とする。第２段階は、ｓ_２＝Ｍ_２×ｓ_１（Ｍ_２は正の整数）、第３段階は、ｓ_３＝Ｍ_３×ｓ_２（Ｍ_３は正の整数）のように段階的に傾斜を大きくすることで、分解能を変化させる。
【００７４】
図２９に多傾斜ランプ発生器の傾斜の設定例と対応するカウント値（ディジタルコード）の関係を示す。入力信号がＡのときには、１カウントあたり１ＬＳＢの傾斜でランプ信号が変化し、第１段階で比較器の出力が”０”から”１”に変化し、カウンタ値６がデータラッチに記憶される。同様に入力信号がＢのときは、１カウントあたり２ＬＳＢの傾斜でランプ信号が変化する。このとき、カウント値も１カウントあたり、２ずつ増えるようにする。また、入力信号がＣのときは、１カウントあたり、４ＬＳＢの傾斜でランプ信号が変化する。このときはカウント値が４ずつ増えるようにする。
【００７５】
これに対応するグレイコードの例を、図３０に示す。このように、ランプ信号の傾斜の変化を２のべき乗に選び、分解能に応じてグレイコードをビットシフトした特殊なグレイコード（図３０）を用いれば、どの傾斜の領域でＡ／Ｄ変換されたかを意識することなくＡ／Ｄ変換が行えるとともに、遷移するビットが１ビットだけであるというグレイコードがもつ性質をあわせもつことができる。
【００７６】
１０ビットＡ／Ｄ変換を行う場合の、多段分解能ＡＤＣの設定例を図３１に示す。
多段分解能を採用しない場合には１０２４クロック分カウントする必要があるが、これを図３１のように多段階分解能とすることで、１１２カウントに削減できる。
なお、低照度信号用のＡ／Ｄ変換と高照度信号用のＡ／Ｄ変換では、傾斜の設定を変更する。低照度の場合は、線形性の良いＡ／Ｄ変換を保証するため単一傾斜にすることも考えられる。
【発明の効果】
以上述べたように、この出願の構成によれば撮像素子から得られた信号処理においてダイナミックレンジの広い信号処理が可能となる。また、高照度信号を積分することによりＳＮＲ（信号対ノイズ比）を高めることもできる。さらに、特定の画素回路を対象とするものではないので、埋め込みフォトダイオードなどを用いた高画質な画素回路に適用できる。
【図面の簡単な説明】
【図１】広ダイナミックレンジ・イメージセンサの一実施例
【図２】４トランジスタ画素回路
【図３】３トランジスタ画素回路
【図４】低照度信号と高照度信号の蓄積と読み出しのタイミング
【図５】ハイブリッド積分型メモリのアナログ部の回路図
【図６】ハイブリッド積分型メモリのアナログ部の原理を示す回路図
【図７】ハイブリッド積分型メモリの６つの動作状態に対する各スイッチのオン・オフ
【図８】６つの動作状態に対する回路接続
【図９】ハイブリッド積分型メモリのアナログ部の回路図（スイッチ簡単化）
【図１０】メモリ量と読み出し速度を半減するためのタイミング（Ｎ×Ｔ_ＩＨ／Ｔ_Ｆ＝１／４の場合）
【図１１】メモリ量を１／４にするためのタイミング（Ｎ×Ｔ_ＩＨ／Ｔ_Ｆ＝１／８の場合）
【図１２】低照度と高照度信号を別々の画素で得る場合の画素配置（グレーが高照度用）
【図１３】ディジタル積分方式の広ダイナミックレンジ・イメージセンサのブロック図
【図１４】ディジタル積分方式広ダイナミックレンジ・イメージセンサブロック図（多傾斜ランプ発生器）
【図１５】ディジタル積分方式広ダイナミックレンジ・イメージセンサ（多傾斜ランプ発生器利用）の動作例
【図１６】多段階解像Ａ／Ｄ変換の設定例
【図１７】ディジタル積分方式広ダイナミックレンジ・イメージセンサブロック図（利得可変増幅器）
【図１８】多段分解能Ａ／Ｄ変換（利得可変）の設定例
【図１９】浮動小数点表現への変換
【図２０】ハイブリッド積分方式の広ダイナミックレンジ・イメージセンサの他の実施形態
【図２１】ディジタル積分方式の広ダイナミックレンジ・イメージセンサの他の実施形態
【図２２】広ダイナミックレンジ・イメージセンサの読み出しタイミング（ＬＡ：低照度信号蓄積、ＬＶ：低照度信号垂直読み出し期間、ＨＶ：高照度信号垂直読み出し期間、ＭＲ：メモリ信号水平読み出し期間）
【図２３】ある１水平ラインに着目したタイミング
【図２４】広ダイナミックレンジ・イメージセンサのブロック図
【図２５】広ダイナミックレンジ・イメージセンサの仕様の例
【図２６】１水平周期での処理（高照度用信号を８Ｈ期間蓄積し、４回外部積分する場合
【図２７】１水平周期での処理（高照度用信号を８Ｈ期間蓄積し、４回外部積分し、超高照度信号を２回外部積分する場合）
【図２８】多傾斜ランプ信号発生器と多段分解能グレイコード発生器によるＡ／Ｄ変換器
【図２９】多傾斜ランプ発生器の例と対応するカウント値
【図３０】多段分解能ＡＤＣ用グレイコード
【図３１】多段階分解能Ａ／Ｄ変換の設定例
【符号の説明】
１アナログ加算器
２アナログ減算器（一方の入力が反転されている加算器）
３比較器（１ビットＡ／Ｄ変換器）
４ディジタル加算器
ＬＡ低照度信号蓄積期間（画素部への光電荷蓄積）
ＬＲ低照度信号読出期間（画素部からの読出し）
ＨＡ高照度信号蓄積期間（画素部への光電荷蓄積，メモリへ読出し，積分）
ＨＲ高照度信号読出期間（メモリからの読出し）
Ｔフレーム周期
ＬＶ低照度信号垂直読み出し期間
ＨＶ高照度信号垂直読み出し期間
ＭＲメモリ信号水平読み出し期間

Claims

光電荷蓄積型固体撮像装置において、低照度用の長時間の光電荷蓄積を行ったのち画素から光電荷を取り出す取出し手段と、高照度用の短時間の光電荷蓄積を行ったのち画素から光電荷を取り出す取出し手段と、該高照度用取出し手段の出力を画素ごとに積分する手段とからなる固体撮像装置。
光電荷蓄積型固体撮像装置において、低照度用の長時間の光電荷蓄積を行ったのち画素から光電荷を取り出す手段と、高照度用の短時間の光電荷蓄積を行ったのち画素から光電荷を取り出す手段と、該高照度用取出し手段の出力を画素ごとに積分する手段と、超高照度用の極短時間の光電荷蓄積を行ったのち画素から光電荷を取り出す手段とからなる固体撮像装置。
光電荷蓄積型固体撮像装置において、低照度用の長時間の光電荷蓄積を行ったのち画素から光電荷を取り出す取出し手段と、高照度用の短時間の光電荷蓄積を行ったのち画素から光電荷を取り出す取出し手段と、画素ごとに照度情報を記憶するアナログ記憶手段と、該アナログ記憶手段の出力と前記高照度用の取出し手段の出力とを加算するアナログ加算手段と、該アナログ加算手段の出力を前記アナログ記憶手段へ書き込む手段とからなる固体撮像装置。
光電荷蓄積型固体撮像装置において、低照度用の長時間の光電荷蓄積を行ったのち画素から光電荷を取り出す取出し手段と、高照度用の短時間の光電荷蓄積を行ったのち画素から光電荷を取り出す取出し手段と、画素ごとに照度情報を記憶するアナログ記憶手段と、該アナログ記憶手段の出力と前記高照度用の取出し手段の出力とを加算するアナログ加算手段と、該アナログ加算手段の出力を参照信号値と比較し、前記アナログ加算手段の出力が参照信号値を超えるとき、参照信号値を超えたアナログ量に対応して該アナログ量を上回る度合いをディジタル量に変換するＡ／Ｄ変換手段と、該Ａ／Ｄ変換手段の出力をディジタル量からアナログ量に変換するＤ／Ａ変換手段と、該Ｄ／Ａ変換手段の出力を前記アナログ加算手段の出力から減算する減算手段と、該減算手段の出力を前記アナログ記憶手段へ書き込む手段とからなり、アナログ記憶手段の飽和を抑制したことを特徴とする固体撮像装置。
さらにディジタル記憶手段と、ディジタル加算手段とを備え、該ディジタル加算手段は前記Ａ／Ｄ変換手段の出力と前記ディジタル記憶手段との出力を対応する画素ごとに加算し、前記ディジタル記憶手段は前記ディジタル加算手段の出力を対応する画素の照度情報として記憶する請求項４記載の固体撮像装置。
光電荷蓄積型固体撮像装置において、低照度用の長時間の光電荷蓄積を行ったのち画素から光電荷を取り出す取出し手段と、高照度用の短時間の光電荷蓄積を行ったのち画素から光電荷を取り出す取出し手段と、該高照度用の取出し手段の出力をアナログ−ディジタル変換するＡ／Ｄ変換手段と、画素ごとに照度情報を記憶するディジタル記憶手段と、該ディジタル記憶手段の出力と前記Ａ／Ｄ変換手段の出力とを加算するディジタル加算手段と、該ディジタル加算手段の出力を前記ディジタル記憶手段へ書き込む手段とからなる固体撮像装置。
さらに浮動小数点表現−固定小数点表現変換器と、固定小数点表現−浮動小数点表現変換器とを備え、前記ディジタル記憶手段に記憶された浮動小数点データを固定小数点表現に変えて前記Ａ／Ｄ変換手段の出力である固定小数点表現のデータと前記ディジタル加算手段により加算し、前記ディジタル加算手段の出力を浮動小数点表現に変えて前記ディジタル記憶手段に記憶させることを特徴とする請求項６記載の固体撮像装置。
前記Ａ／Ｄ変換手段は、比較器と、複数の傾斜を有するランプ信号を発生するランプ信号発生器と、該ランプ信号発生器の動作に同期して動作するカウンタ及びクロック発生器により構成され、ランプ信号の発生から比較結果が反転するまでのクロック数をカウントすることによりＡ／Ｄ変換するものであり、入力信号のレベルが低いときには傾斜の小さいランプ信号と入力信号との比較によりディジタル信号を得、入力信号のレベルが高いときには傾斜の大きいランプ信号と入力信号との比較によりディジタル信号を得ることにより、分解能を多段階にしたことを特徴とする請求項６記載の固体撮像装置。
前記ランプ信号発生器の発生するランプ信号は、区分的線形特性をもち、傾斜が段階的に変化するものである請求項８記載の固体撮像装置。
さらに、グレイコード−バイナリコード変換器を備え、前記Ａ／Ｄ変換手段においてはグレイコードを用いてＡ／Ｄ変換動作を行うとともに、前記グレイコード−バイナリコード変換器によりバイナリコードに変換した前記Ａ／Ｄ変換手段の出力を前記ディジタル記憶手段の内容と加算処理することにより積分を行うものである請求項６記載の固体撮像装置。
前記Ａ／Ｄ変換手段は、複数の利得を有する増幅器と、比較器と、１つの傾斜を有するランプ信号を発生するランプ信号発生器と、該ランプ信号発生器の動作に同期して動作するカウンタ及びクロック発生器により構成され、ランプ信号の発生から比較結果が反転するまでのクロック数をカウントすることによりＡ／Ｄ変換するものであり、入力信号のレベルが低いときには高利得の増幅を行った入力信号とランプ信号との比較によりディジタル信号を得、入力信号のレベルが高いときには低利得の増幅を行った入力信号とランプ信号との比較によりディジタル信号を得ることにより、分解能を多段階にしたことを特徴とする請求項６記載の固体撮像装置。
１フレームの期間において、低照度信号の読出し期間と、高照度信号の記憶手段への読出し・積分期間と、記憶手段からの読出し期間とを分離するように制御するタイミング制御回路を具備したことを特徴とする請求項１乃至請求項１１記載の固体撮像装置。
２次元に配列された画素のラインをＮ群のグループに分け、それぞれのグループ内では１フレームの期間において、低照度信号の読出し期間と、高照度信号の記憶手段への読出し・積分期間と、記憶手段からの読出し期間とを分離するとともに、他のグループとはそれぞれの期間をずらすことによって、Ｎ回の読み出しによりＮ群のすべてを読み出すように構成し、積分用記憶手段すなわち前記アナログ記憶手段及び／または前記ディジタル記憶手段の記憶容量の必要量を１／Ｎとするように制御するタイミング制御回路を具備したことを特徴とする請求項１乃至請求項１１記載の固体撮像装置。
２次元に配列された画素のラインをＮ群のグループに分け、それぞれのグループ内では１フレームの期間において、低照度信号の読出し期間と、高照度信号の記憶手段への読出し・積分期間と、記憶手段からの読出し期間とを分離するとともに、他のグループとはそれぞれの期間をずらすことによって、Ｎ回の読み出しによりＮ群のすべてを読み出すように構成し、各グループ間で前記低照度信号の読出し期間と前記高照度信号の読出し・積分期間とが一致しないように制御するタイミング制御回路を具備したことを特徴とする請求項１乃至請求項１１記載の固体撮像装置。
低照度用画素と高照度用画素とを独立して設けるとともに、撮像エリア内に混在させて配置したことを特徴とする請求項１記載の固体撮像装置。
低照度用画素と高照度用画素とを独立して設けるとともに、撮像エリア内にチェックパターンを形成するように混在させて配置したことを特徴とする請求項１記載の固体撮像装置。
低照度用画素と高照度用画素とを独立して設けるとともに、高照度用画素は低照度用に対して画素密度を１／２とし、高照度用画素を偶数ラインと奇数ラインとで半画素分、相互に画素をずらして配置したことを特徴とする請求項１記載の固体撮像装置。
光電荷蓄積型固体撮像装置において、長時間の光電荷蓄積により低照度信号を画素から得るステップと、短時間の光電荷蓄積により高照度信号を画素から得るステップと、前記高照度信号を画素ごとに積分するステップとからなる固体撮像信号処理方法。
前記Ａ／Ｄ変換手段は、低照度信号用と高照度信号用とに兼用することを特徴とする請求項６乃至請求項１１記載の固体撮像装置。
さらにノイズキャンセル回路及び／または増幅器とを設け、画素からの信号に対してノイズキャンセル処理及び／または増幅処理とを行うことを特徴とする、請求項１乃至請求項１１記載の固体撮像装置。
前記ノイズキャンセル回路及び／または増幅器は、低照度信号用と高照度信号用とに兼用することを特徴とする請求項２０記載の固体撮像装置。
水平方向の１行分の画素についての、長時間蓄積による低照度信号の垂直読み出しと、短時間蓄積による複数の高照度信号の垂直読み出しおよび撮像エリア外積分処理、ならびに外部出力のための水平方向走査は、１水平読み出し周期内に時分割して割り当てられることを特徴とする請求項１乃至請求項１１記載の固体撮像装置。
前記高照度信号の読み出しによる積分において、Ｎ回の信号を積分するために、１水平読み出し周期での処理は、ある水平方向の１行分の画素についての長時間蓄積による低照度信号の垂直読み出しと、当該行からＭ行、２Ｍ行、…Ｎ×Ｍ行離れた行の各１行分の画素についての短時間蓄積における高照度信号の垂直読み出しを行い、それぞれの各行に対して記憶手段に記憶された値との加算処理により撮像エリア外積分処理を行う制御手段を有する請求項２２記載の固体撮像装置。
前記外部出力のための水平方向読み出しにおいて、長時間蓄積による低照度信号の垂直読み出しを行う際に、前記低照度信号をある閾値と比較して、該閾値を超えているかどうかを調べ、その結果を前記低照度信号の値とともに一時記憶しておき、水平方向読み出しを行う際に、前記低照度信号が閾値を超えていない場合には前記低照度信号値を水平方向走査で外部に読み出し、閾値を超えている場合には前記低照度信号値を破棄し、破棄された照度信号の画素に対応する、短時間蓄積による高照度信号を複数回積分することで得られた高照度信号を、当該画素の照度信号として水平方向走査により外部に読み出す制御手段を有する請求項２２記載の固体撮像装置。