JP7767041B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

アバランシェフォトダイオードに到来する光子の数をデジタル的に計数し、その計数値を光電変換されたデジタル信号として画素から出力する光電変換装置が知られている。ノイズや信号演算処理などの点で、画素信号をデジタル化する利点は大きく、光電変換されたデジタル信号を出力する画素を複数配列した撮像装置が普及し始めている。特許文献１には、上記のような撮像装置において、計数した光子の数が１フレームよりも短い時間で閾値に達する場合に、その時間を計測し、時間情報と光子数から１フレームあたりの光子数を求める方法が開示されている。

ＵＳ０９２１０３５０

しかしながら、特許文献１の構成では、画素毎に時間計測用のカウンタが接続されているため、全体として回路規模が大きくなってしまうという課題がある。

本発明の光電変換装置は、第１の光電変換部と、前記第１の光電変換部からの信号に基づいてパルス信号を生成する第１の生成部と、前記第１の生成部により生成された前記パルス信号をカウントする第１のカウンタ回路とを備えた第１の画素回路と、第２の光電変換部と、前記第２の光電変換部からの信号に基づいてパルス信号を生成する第２の生成部と、前記第２の生成部により生成された前記パルス信号をカウントする第２のカウンタ回路と、時間を測定する時間測定回路とを備えた第２の画素回路と、を有し、前記第１の画素回路は、時間測定回路を備えておらず、前記第２の画素回路は、前記第２のカウンタ回路によりカウントされたカウント値と、前記時間測定回路により測定された時間測定値とのいずれか一方を選択的に出力することを特徴とする。

本発明によれば、回路規模を抑えながら十分なダイナミックレンジを確保することができる。

実施形態に係る光電変換装置の構成例を示す図である。 実施形態に係るセンサチップの構成例を示す図である。 実施形態に係る回路チップの構成例を示す図である。 実施形態に係る画素及び信号処理部の等価回路及びブロック図の一例である。 実施形態に係るＡＰＤ及び波形整形部の動作を説明するためのタイミング図である。 実施形態に係るＴＤＣ回路が複数画素に１つ接続されている場合のブロック図である。 実施形態に係る画素の出力結果のイメージ図である。 実施形態に係る制御のフローチャートである。 実施形態に係る制御のフローチャートである。 実施形態に係るタイミングチャートである。 実施形態に係るブロック図である。 実施形態に係る制御のフローチャートである。 実施形態に係る制御のフローチャートである。 実施形態に係る制御のタイミングチャートである。

図１は、本実施形態に係る光電変換装置の構成例を示す図である。図１に示すように、光電変換装置１００は、センサチップ１１と、回路チップ２１の２枚のチップが積層され、且つ電気的に接続されることにより構成される。センサチップ１１は、画素領域１２を含む。また、回路チップ２１は、画素領域１２で検出された信号を処理する画素回路領域２２と、画素回路領域２２から信号を読み出すための読出し回路領域２３を含む。

図２は、センサチップ１１の構成例を示す図である。図２に示すように、センサチップ１１の画素領域１２は、行方向及び列方向に渡って二次元状に配された複数の画素１０１を含む。画素１０１は、アバランシェフォトダイオード（以下、ＡＰＤ）を含む光電変換部１０２を備える。図２には、第０行から第５行までの６行と、第０列から第５列までの６列に配置された３６個の画素１０１を、行番号及び列番号を示す符号とともに示している。例えば、第１行、第４列に配された単位画素１１には、「Ｐ１４」の符号を付している。なお、画素領域１２に配置される画素１０１の行数及び列数は、特に限定されるものではない。

ここで画素１０１は、画像を生成するための信号を出力するものであるが、例えばＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）などに用いる場合には、必ずしも画像を生成しなくてもよい。すなわち、画素１０１は、光が到達した時刻と光量を測定するためのものであってもよい。

図３は、回路チップ２１の構成例を示す図である。図３に示すように、回路チップ２１は、画素回路領域２２と読出し回路領域２３とを含む。画素回路領域２２は、行方向及び列方向に渡って二次元状に配された複数の信号処理部１０３を含む。図３には、第０行から第５行までの６行と、第０列から第５列までの６列に配された３６個の信号処理部１０３を、行番号及び列番号を示す符号とともに示している。例えば、第１行、第４列に配された信号処理部１０３には、「Ｓ１４」の符号を付している。なお、画素回路領域２２に配置される信号処理部１０３の行数及び列数は、特に限定されるものではない。

読出し回路領域２３は、垂直走査回路１１０、水平走査回路１１１、列回路１１２、制御信号出力回路１１４、回路パルス生成部１１５を含む。

画素回路領域２２の各行には、第１の方向（図３における横方向）に延在して、制御信号線２１４が配されている。制御信号線２１４は、第１の方向に並ぶ各行の信号処理部１０３にそれぞれ接続されている。制御信号線２１４の延在する第１の方向を行方向或いは水平方向と表記することがある。

各行の制御信号線２１４は、垂直走査回路１１０に接続されている。垂直走査回路１１０は、信号処理部１０３を駆動するための制御信号ＶＳＥＬを、制御信号線２１４を介して信号処理部１０３に供給する。なお、図３には、制御信号線２１４を介して各行の信号処理部１０３に供給される制御信号ＶＳＥＬを行番号とともに示している。例えば、第１行の制御信号線２１４には、「ＶＳＥＬ［１］」を付している。

画素回路領域２２の各列には、第１の方向と交差する第２の方向（図３における縦方向）に延在して、列信号線１１３が配されている。列信号線１１３は、第２の方向に並ぶ各列の信号処理部１０３にそれぞれ接続され、共通の信号線を成している。列信号線１１３の延在する第２の方向を列方向或いは垂直方向と表記することがある。なお、図示していないが、各列には、ｎビットのデジタル信号を出力するためのｎ本の列信号線１１３が配されている。

各列の列信号線１１３は、対応する列回路１１２に接続されている。列回路１１２は、画素回路部領域２２の各列に対応してそれぞれ設けられている。列回路１１２は、対応する列信号線１１３を介して信号処理部１０３から読み出された画素信号を記憶する機能を備える。

水平走査回路１１１は、各列の列回路１１２から信号を読み出すための制御信号ＨＳＥＬを、制御信号線１１７を介して列回路１１２に供給する。水平走査回路１１１から制御信号ＨＳＥＬを受信した各列の列回路１１２は、記憶している画素信号を水平出力線１１８を介して出力回路１１４に出力する。

なお、図３には、制御信号線１１７を介して各列の列回路１１２に供給される制御信号ＨＳＥＬを列番号とともに示している。例えば、第４列の制御信号線１１７には、「ＨＳＥＬ［４］」を付している。なお、図示していないが、ｎビットのデジタル信号を出力するためのｎ本の水平出力線１１８が配されている。

出力回路１１４は、画素信号に応じたデジタル信号を光電変換装置の出力信号ＳＯＵＴとして出力する。

制御パルス生成部１１５は、水平走査回路１１０、水平走査回路１１１、列回路１１２の動作やそのタイミングを制御する制御信号を供給する。なお、水平走査回路１１０、水平走査回路１１１、列回路１１２の動作やそのタイミングを制御する制御信号の少なくとも一部は、光電変換装置の外部から供給するように構成されていてもよい。

図４（ａ）、（ｂ）は、図２のセンサチップ１１における画素１０１及び図３の回路チップ２１における信号処理部１０３の等価回路及びブロック図の一例である。

図４（ａ）において、画素１０１は、光電変換部であるＡＰＤ２０１を含む。ＡＰＤ２０１に光が入射されると、光電変換により入射光に応じた電荷が生成される。ＡＰＤ２０１のアノードには電圧ＶＬ（第１電圧）が供給され、ＡＰＤ２０１のカソードには、アノードに供給される電圧ＶＬよりも高い電圧ＶＨ（第２電圧）が供給される。すなわち、ＡＰＤ２０１のアノードとカソードには、ＡＰＤ２０１がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態にすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。

なお、逆バイアスの電圧が供給される場合において、アノードおよびカソードの電位差が降伏電圧より大きな電位差で動作させるガイガーモードと、アノードおよびカソードの電位差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。ガイガーモードで動作させるＡＰＤをＳＰＡＤと呼ぶ。例えば、電圧ＶＬ（第１電圧）は、－３０Ｖ、電圧ＶＨ（第２電圧）は、１Ｖである。

センサチップ２１における信号処理部１０３は、クエンチ素子２０２、波形整形部２１０、カウンタ回路２１１、選択回路２１２を含む。

クエンチ素子２０２は、電圧ＶＨを供給する電源とＡＰＤ２０１に接続されている。クエンチ素子２０２は、ＡＰＤ２０１で生じたアバランシェ電流の変化を電圧信号に置き換える機能を有する。クエンチ素子２０２は、アバランシェ増倍による信号増倍時に負荷回路（クエンチ回路）として機能し、ＡＰＤ２０１に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ（クエンチ動作）。

波形整形部２１０は、光子検出時に得られるＡＰＤ２０１のカソードの電位変化を整形することでパルス信号を生成して出力する。パルス信号生成部としての波形整形部２１０には、例えば、インバータ回路やバッファ回路が用いられる。

カウンタ回路２１１は、波形整形部２１０から出力されたパルス信号をカウントする。また、カウンタ回路２１１は、制御信号線２１３を介して制御信号ＰＲＥＳが供給された場合にカウント値をリセットする。

選択回路２１２は、図３の垂直走査回路１１０から制御信号線２１４を介して供給される制御信号ＶＳＥＬにより、カウンタ回路２１１と信号線１１３との電気的な接続、非接続を切り替える。選択回路２１２は、例えば、信号を出力するためのバッファ回路なども含む。

図４（ｂ）は、図４（ａ）で示した構成に加えて、時間－デジタル変換（Ｔｉｍｅ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ：以下、ＴＤＣ）回路２１５と制御信号線２１６がさらに追加されている。時間計測回路であるＴＤＣ回路２１５は、カウンタ回路２１１のカウント結果に応じて動作し、制御信号線２１３を介して制御信号ＰＲＥＳが供給されるまで制御信号線２１６を介して供給される時間計測用クロックを使って時間計測をおこなう。

選択回路２１２は、図３の垂直走査回路１１０から制御信号線２１４を介して供給される制御信号ＶＳＥＬにより、カウンタ回路２１１またはＴＤＣ回路２１５と、信号線１１３との電気的な接続、非接続を切り替える。

図５は、図４に示したＡＰＤ２０１及び波形整形部２１０の動作を説明するためのタイミング図である。図５（ａ）は、図４のｎｏｄｅＡの電圧変化を、図５（ｂ）は、図４のｎｏｄｅＢの電圧変化をそれぞれ示している。

時刻ｔ０からｔ１の間において、ＡＰＤ２０１には、ＶＨ－ＶＬの電圧が印加されている。また、このときのｎｏｄｅＢの電圧はＬｏｗレベルである。

時刻ｔ１において、ＡＰＤ２０１に光子が入射するとクエンチ素子２０２にアバランシェ増倍電流が流れ、ｎｏｄｅＡの電圧は降下する。

時刻ｔ２において、ｎｏｄｅＡの電圧が予め定められた判定閾値を下回ると、波形整形部２１０の機能により、ｎｏｄｅＢの電圧がＬｏｗレベルからＨｉｇｈレベルに変化する。

時刻ｔ３において、電圧降下量がさらに大きくなり、ＡＰＤ２０１に印加される電圧が小さくなるとＡＰＤ２０１のアバランシェ増倍が停止し、ｎｏｄｅＡの電圧レベルはある一定値以上降下しなくなる。その後、ｎｏｄｅＡには電圧ＶＬから電圧降下分を補う電流が流れて電圧が上昇する。

時刻ｔ４において、ｎｏｄｅＡの電圧が、予め定められた判定閾値を超えると、波形整形部２１０の機能により、ｎｏｄｅＢの電圧がＨｉｇｈレベルからＬｏｗレベルに変化する。

時刻ｔ５において、ｎｏｄｅＡは元の電位レベルに静定する。

図６は、複数画素のうちの１画素がＴＤＣ回路２１５を備えている場合の処理を説明するためのブロック図である。

図６には、図２で説明した画素チップの画素Ｐ００、Ｐ０１、Ｐ１０、Ｐ１１、図３で説明した回路チップの信号処理部Ｓ００、Ｓ０１、Ｓ１０、Ｓ１１が記載されている。ここでは、４つの画素のうちの画素Ｐ１１と接続される信号処理部Ｓ１１だけがＴＤＣ回路２１５を備えている場合の処理について説明する。

画素Ｐ１１は、４つの画素でもっとも感度が高い高感度画素である。例えば画素Ｐ００、Ｐ０１、Ｐ１０がカラーフィルタを搭載しているのに対し、高感度画素Ｐ１１にはカラーフィルタが搭載されていない場合を想定している。或いは、他の画素に比べて高感度画素Ｐ１１の画素サイズが大きい場合を想定している。高感度画素Ｐ１１は、他の画素よりも感度が高いため、同じ光量の光が入射した場合に最初にフルカウント値に達する。カウンタ回路２１１のカウント結果に応じて、信号処理部Ｓ１１は、カウンタ回路２１１によるカウント値かＴＤＣ回路２１５による時間計測値のいずれか一方のみを選択的に出力する。

図７は、信号処理部Ｓ１１からの出力データのイメージ図である。ここでは出力データの最上位ビットが判定ビットになっており、例えば判定ビットが０であれば、それ以下のデータは画素カウント値として後段で処理される。また、判定ビットが１であれば、時間計測値として後段で処理される。このように判定ビットを持たせることで画素カウント値と時間計測値を同時に出す必要がなくなり、出力データ量を削減することができる。

次に、図８及び図９のフローチャートを用いて本実施例の制御について説明する。

図８は、図６で示したブロック図において、ＴＤＣ回路２１５を備えた信号処理部Ｓ１１からデータを出力する場合のフローチャートである。

Ｓ８０１では、制御信号ＰＲＥＳによるカウンタ回路２１１のリセットが解除され、波形整形部２１０から出力されるパルス信号のカウントを開始する。

Ｓ８０２では、カウンタ回路２１１がフルカウントに達したかどうかを確認し、フルカウントに達していない場合には、Ｓ８０４に進む。

Ｓ８０４では、蓄積期間が終了したかどうかを確認する。ここでいう蓄積期間とは、制御信号ＰＲＥＳによるカウンタ回路２１１のリセットが解除されてから制御信号ＶＳＥＬが供給されるまでの時間を示している。蓄積期間が終了していなければ、再びＳ８０２の処理に戻る。蓄積期間が終了した場合には、Ｓ８０６に進む。

Ｓ８０６では、そのときのカウンタ回路２１１のカウント値を画素値として出力する。

また、Ｓ８０２において、カウンタ回路２１１がフルカウントに達した場合には、Ｓ８０３に進む。

Ｓ８０３では、カウンタ回路２１１がフルカウントに達したのと同時にＴＤＣ回路２１５による時間計測を開始する。

Ｓ８０５では、蓄積期間が終了したかどうかを確認し、蓄積期間が終了していなければ、ＴＤＣ回路２１５による時間計測を蓄積期間が終了するまで実行する。

Ｓ８０５において蓄積期間が終了した場合には、Ｓ８０７に進む。

Ｓ８０７では、蓄積期間が終了した時点でのＴＤＣ回路２１５による時間計測値を画素値として出力する。

図９は、図６で示したブロック図において、ＴＤＣ回路２１５を備えていない信号処理部Ｓ００、Ｓ０１、Ｓ１０からデータを出力する場合のフローチャートである。

Ｓ９０１では、制御信号ＰＲＥＳによるカウンタ回路２１１のリセットが解除され、波形整形部２１０から出力されるパルス信号のカウントを開始する。

Ｓ９０２では、高感度画素Ｐ１１に接続され、ＴＤＣ回路２１５を備えている信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達したかどうかを確認し、フルカウントに達していない場合には、Ｓ９０４に進む。

Ｓ９０４では、蓄積期間が終了したかどうかを確認する。高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達しないで蓄積期間が終了した場合には、Ｓ９０６に進む。

Ｓ９０６では、蓄積期間が終了した時点での信号処理部Ｓ００、Ｓ０１、Ｓ１０の各カウンタ回路２１１のカウンタ値を画素値として出力する。

また、Ｓ９０２において、高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達した場合には、Ｓ９０３に進む。

Ｓ９０３では、高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達したのと同時に信号処理部Ｓ００、Ｓ０１、Ｓ１０の各カウンタ回路２１１を停止し、Ｓ９０５に進む。

Ｓ９０５では、蓄積期間が終了したかどうかを確認し、蓄積期間が終了した場合には、Ｓ９０６に進む。

Ｓ９０６では、信号処理部Ｓ００、Ｓ０１、Ｓ１０の各カウンタ回路２１１が停止した時点でのカウント値を画素値として出力する。

次に、高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達した場合において、ＴＤＣ回路２１５による時間計測値から各画素の画素値を復元する方法について説明する。

通常画素Ｐ００、Ｐ０１、Ｐ１０に接続され、ＴＤＣ回路２１５を備えていない信号処理部Ｓ００、Ｓ０１、Ｓ１０のカウンタ回路２１１が途中で停止しても、高感度画素Ｐ１１に接続され、ＴＤＣ回路２１５を備えている信号処理部Ｓ１１の時間計測値を用いる。そうすることで蓄積期間終了までのＴＤＣ回路２１５を備えていない信号処理部Ｓ００、Ｓ０１、Ｓ１０のカウンタ回路２１１によるカウント値を推測して復元することが可能である。

図１０は、図６の構成における制御信号ＰＲＥＳ、制御信号ＶＳＥＬ、ＴＤＣ回路２１１の時間計測用のクロック信号ＣＬＫ、ＴＤＣ回路２１１による時間計測値のタイミングチャートである。

時刻ｔ１００１において、制御信号ＰＲＥＳによるカウンタ回路２１１のリセットが解除される。時刻ｔ１００３において制御信号ＶＳＥＬが供給されるまでの蓄積期間の間、高感度画素Ｐ１１に接続され、ＴＤＣ回路２１５を備えている信号処理回路Ｓ１１のカウンタ回路２１１により、波形整形部２１０から出力されるパルス信号をカウントする。

時刻ｔ１００２において、カウンタ回路２１１がフルカウントに達したときに、ＴＤＣ回路２１１による時間計測を開始する。ＴＤＣ回路２１５は、時間計測用のクロック信号ＣＬＫに同期して蓄積期間が終了するまでの時間を計測する。

なお、本実施形態では、高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達してから蓄積期間が終了するまでの時間をＴＤＣ回路２１５によって計測する例を示した。これに限らず、蓄積期間の開始からカウンタ回路２１１がフルカウントに達するまでの時間を計測してもよい。

次に、図６の構成における画素値の復元方法について説明する。高感度画素Ｐ１１の画素値Ｃ＿ＲＥＳは、次式により復元できる。
Ｃ＿ＲＥＳ＝Ｃ＿ＭＡＸ×ＴＤＣ＿ＦＵＬＬ／（ＴＤＣ＿ＦＵＬＬ－Ｔ＿ＦＵＬＬ）

ここで、Ｃ＿ＭＡＸは、高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路２１１のカウント最大値、ＴＤＣ＿ＦＵＬＬは、蓄積期間中におけるＴＤＣ回路２１５が時間をカウント可能な最大カウント数である。また、Ｔ＿ＦＵＬＬは、高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達してから蓄積期間終了までの時間計測値である。

また、ＴＤＣ回路２１５のクロック周期をＴ＿ＣＮＴ、蓄積期間をＴ＿ＡＣＣとすれば、ＴＤＣ回路２１５が時間をカウント可能な最大カウント数ＴＤＣ＿ＦＵＬＬは、次式で規定される。
ＴＤＣ＿ＦＵＬＬ ＝Ｔ＿ＡＣＣ／Ｔ＿ＣＮＴ

前式におけるカウント最大値Ｃ＿ＭＡＸ、蓄積期間Ｔ＿ＡＣＣ、クロック周期Ｔ＿ＣＮＴは、それぞれ一意に決まるため、最大カウント数ＴＤＣ＿ＦＵＬＬは既知となり、時間計測値Ｔ＿ＦＵＬＬから画素値を復元することができる。

高感度画素Ｐ１１がフルカウントに達するまでの時間が、復元する画素値の分解能に影響することがある。例えば、蓄積期間Ｔ＿ＡＣＣ＝１６．６［ｍｓ］、クロック周期Ｔ＿ＣＮＴ＝１．７［μｓ］であるとき、最大カウント数ＴＤＣ＿ＦＵＬＬ＝９８０３である。ここでカウント最大値Ｃ＿ＭＡＸ＝２５６、時間計測値Ｔ＿ＦＵＬＬが８０００と８００１であるならば、画素復元値はそれぞれ１３９２［ＬＳＢ］と１３９１［ＬＳＢ］になり、１［ＬＳＢ］の差である。

一方、時間計測値Ｔ＿ＦＵＬＬが９８０３と９８０２であるならば、画素復元値はそれぞれ２７２３４０４と１３０６１２２であり、どちらもフルカウントに達するまでの１カウントの差は同じであるが、復元した画素値は大きく異なる。すなわち、蓄積期間の開始からフルカウントに達するまでの時間が短い方が画素復元値の分解能が粗くなり、出力画像においては飽和部付近の高輝度部の分解能が悪くなることが懸念される。

図１１は、図６の構成に対して、さらに飽和回数カウンタ１１０１、飽和時間カウンタ１１０２、メモリ部１１０３、画素値復元部１１０４を有する構成を示すブロック図である。

飽和回数カウンタ１１０１は、蓄積期間中に高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達した回数を計数する。飽和時間カウンタ１１０２は、蓄積期間中に高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路２１１の総飽和時間をＴＤＣ回路２１１で計測した時間計測値に基づいて計数する。メモリ部１１０３は、信号処理部Ｓ００、Ｓ０１、Ｓ１０、Ｓ１１のそれぞれのカウント値、飽和回数カウンタ１１０１と飽和時間カウンタ１１０２の出力結果を記憶する。

次に、図１２及び図１３のフローチャートを用いて図１１の構成における制御について説明する。

図１２は、図１１で示したブロック図において、ＴＤＣ回路２１５を備えた信号処理部Ｓ１１からデータを出力する場合のフローチャートである。

Ｓ１２０１では、制御信号ＰＲＥＳによるカウンタ回路２１１のリセットが解除され、波形整形部２１０から出力されるパルス信号のカウントを開始する。

Ｓ１２０２では、Ｓ１２０１と同時にＴＤＣ回路２１５によって時間計測を開始する。

Ｓ１２０３では、カウンタ回路２１１がフルカウントに達したかどうかを確認し、フルカウントに達していない場合には、Ｓ１２０４に進む。

Ｓ１２０４では、蓄積期間が終了したか否かを確認する。ここでいう蓄積期間とは、制御信号ＰＲＥＳによるカウンタ回路２１１のリセットが解除されてから制御信号ＶＳＥＬが供給されるまでの時間を示している。蓄積期間が終了していなければ、再びＳ１２０３に戻る。

Ｓ１２０３において、カウンタ回路２１１がフルカウントに達した場合には、Ｓ１２０６に進む。

Ｓ１２０６では、カウンタ回路２１１、飽和回数カウンタ１１０１、飽和時間カウンタ１１０２のカウント値をメモリ部１１０３に保存し、Ｓ１２０７に進む。

Ｓ１２０７では、カウンタ回路２１１と飽和時間カウンタ１１０２のカウンタ値をリセットする。

Ｓ１２０８では、ＴＤＣ回路２１１の時間計測値をリセットし、Ｓ１２０９に進む。

Ｓ１２０９では、蓄積期間が終了したか否かを確認し、蓄積期間が終了していなければ、再びＳ１２０１に戻る。つまり、蓄積期間内にカウンタ回路２１１がフルカウントに達しても、蓄積期間が終了するまで再びカウントアップを行う。

Ｓ１２０４またはＳ１２０９で蓄積期間が終了している場合には、Ｓ１２１０に進む。

Ｓ１２１０では、カウンタ回路２１１が蓄積期間中にフルカウントに達したか否かを確認する。カウンタ回路２１１が蓄積期間中にフルカウントに達していない（飽和回数カウンタ１１０１のカウント値が０である）場合は、Ｓ１２０５に進む。

Ｓ１２０５では、カウンタ回路２１１のカウント値を画素値として出力する。

Ｓ１２１０において、カウンタ回路２１１が蓄積期間中にフルカウントに達した場合には、Ｓ１２１１に進む。

Ｓ１２１１では、Ｓ１２０６でメモリ部１１０３に保存した値を用いて画素値復元を行い、Ｓ１２１２に進む。

Ｓ１２１２では、復元した画素値を出力する。

図１３は、図１１で示したブロック図において、ＴＤＣ回路２１５を備えていない信号処理部Ｓ００、Ｓ０１、Ｓ１０からデータを出力する場合のフローチャートである。

Ｓ１３０１では、制御信号ＰＲＥＳによるカウンタ回路２１１のリセットが解除され、波形整形部２１０から出力されるパルス信号のカウントを開始する。

Ｓ１３０２では、ＴＤＣ回路２１５を備えた信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達したかどうかを確認し、フルカウントに達していない場合には、Ｓ１３０３に進む。

Ｓ１３０３では、蓄積期間が終了したか否かを確認する。ここでいう蓄積期間とは、制御信号ＰＲＥＳによるカウンタ回路２１１のリセットが解除されてから制御信号ＶＳＥＬが供給されるまでの時間を示している。蓄積期間が終了していなければ、再びＳ１３０２に戻る。

Ｓ１３０２において、信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達した場合には、Ｓ１３０４に進む。

Ｓ１３０４では、信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達したと同時に信号処理部Ｓ００、Ｓ０１、Ｓ１０のカウンタ回路２１１を停止し、Ｓ１３０５に進む。

Ｓ１３０５では、そのときの信号処理部Ｓ００、Ｓ０１、Ｓ１０のカウンタ回路２１１のカウンタ値をメモリ部１１０３に保存し、Ｓ１３０６に進む。

Ｓ１３０６では、信号処理部Ｓ００、Ｓ０１、Ｓ１０のカウンタ回路２１１のカウンタ値をリセットし、Ｓ１３０７に進む。

Ｓ１３０７では、蓄積期間が終了したか否かを確認し、蓄積期間が終了していなければ、再びＳ１３０１に戻る。

Ｓ１３０３またはＳ１３０７で蓄積期間が終了している場合は、Ｓ１３０８に進む。

Ｓ１３０８では、信号処理部Ｓ１１のカウンタ回路２１１が蓄積期間中にフルカウントに達したか否かを確認する。信号処理部Ｓ１１のカウンタ２１１が蓄積期間中にフルカウントに達していない（飽和回数カウンタ１１０１のカウント値が０である）場合は、Ｓ１３０９に進む。

Ｓ１３０９では、メモリ部１１０３に記憶されている信号処理部Ｓ００、Ｓ０１、Ｓ１０のカウンタ回路２１１のカウント値を画素値として出力する。

Ｓ１３０８において、信号処理部Ｓ１１のカウンタ２１１が蓄積期間中にフルカウントに達した場合には、Ｓ１３１０に進む。

Ｓ１３１０では、メモリ部１１０３に記憶されている値を用いて画素値復元を行い、Ｓ１３１１に進む。

Ｓ１３１１では、復元した画素値を出力する。

なお、カウンタ回路２１１は蓄積期間の開始タイミングまたは終了タイミングでリセットされるため、次の蓄積期間ではリセットされた状態から計測を開始する。

図１４は、図１１の構成における制御信号ＰＲＥＳ、制御信号ＶＳＥＬ、ＴＤＣ回路２１１の時間計測用のクロック信号ＣＬＫ、ＴＤＣ回路２１１による時間計測値、メモリ部１１０３に記憶された飽和回数と総飽和時間のタイミングチャートである。

時刻ｔ１４０１において、制御信号ＰＲＥＳによるカウンタ回路２１１のリセットが解除される。時刻ｔ１４０５において制御信号ＶＳＥＬが供給されるまでの蓄積期間の間、高感度画素Ｐ１１に接続され、ＴＤＣ回路２１５を備えている信号処理部Ｓ１１のカウンタ回路２１１により、波形整形部２１０から出力されるパルス信号をカウントする。同時にＴＤＣ回路２１５により、信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達して飽和するまでの時間を計測する。

時刻ｔ１４０２において、信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達して飽和すると、ＴＤＣ回路２１５によって計数している時間を飽和時間カウンタ１１０２が総飽和時間としてカウントし、メモリ部１１０３に記憶する。このときＴＤＣ回路１１５の時間計測値は３カウントであるため、総飽和時間は３となる。

また、蓄積期間中にカウンタ回路２１１が飽和した回数を飽和回数カウンタ１１０１がカウントし、メモリ部１１０３に記憶する。この時点での飽和回数は１となる。各値をメモリ部１１０３に記憶したのちに、カウンタ回路２１１とＴＤＣ回路２１５をリセットし、カウントを再開する。

時刻ｔ１４０３において、信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達して再び飽和すると、その時点での飽和回数と総飽和時間をメモリ部１１０３に記憶する。時刻ｔ１４０３での飽和回数は２となる。

また、時刻ｔ１４０２から時刻ｔ１４０３までの間に信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達するまでのカウント数が４カウントであったとする。その場合、時刻ｔ１４０３での総飽和時間は時刻ｔ１４０１から時刻ｔ１４０２までの飽和時間と加算して７となる。先ほどと同様にカウンタ回路２１１とＴＤＣ回路２１５をリセットしてからカウントを再開する。

時刻ｔ１４０４において、信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達して再び飽和すると、その時点での飽和回数と総飽和時間をメモリ部１１０３に記憶する。時刻ｔ１４０４での飽和回数は３となる。

また、時刻ｔ１４０３から時刻ｔ１４０４までの間に信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達するまでのカウント数が３カウントであったとき、時刻ｔ１４０４での総飽和時間はメモリ部１１０３に記憶されている飽和時間と加算して１０となる。

以上の処理を時刻ｔ１４０５において蓄積期間が終了するまで繰り返す。時刻ｔ１４０５において蓄積期間が終了し、蓄積期間中に信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達していた場合には、メモリ部１１０３に記憶されている情報から画素値の復元を行う。

次に、図１１の構成における画素値の復元方法について説明する。

まず、高感度画素Ｐ１１の画素値復元について述べる。高感度画素Ｐ１１の画素値Ｃ＿ＲＥＳは、次式により復元できる。
Ｃ＿ＲＥＳ＝Ｃ＿ＭＡＸ×ＴＤＣ＿ＦＵＬＬ／（Ｔ＿ＳＡＴ／ＮＵＭ＿ＳＡＴ）

ここで、Ｃ＿ＲＥＳは、復元する高感度画素Ｐ１１の画素値、Ｃ＿ＭＡＸは、高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路２１１のカウント最大値である。また、ＴＤＣ＿ＦＵＬＬは、蓄積期間中におけるＴＤＣ回路２１５がカウント可能な最大カウント数である。さらに、ＮＵＭ＿ＳＡＴは、メモリ部１１０３に記憶した飽和回数、Ｔ＿ＳＡＴは総飽和時間である。

前式におけるＴ＿ＳＡＴ／ＮＵＭ＿ＳＡＴは、蓄積期間中に高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達するまでの時間の平均値を表す。

また、ＴＤＣ回路２１５のクロック周期をＴ＿ＣＮＴ、蓄積期間をＴ＿ＡＣＣとすれば、ＴＤＣ回路２１５が時間をカウント可能な最大カウント数ＴＤＣ＿ＦＵＬＬは、次式で規定される。
ＴＤＣ＿ＦＵＬＬ ＝Ｔ＿ＡＣＣ／Ｔ＿ＣＮＴ

カウント最大値Ｃ＿ＭＡＸ、蓄積期間Ｔ＿ＡＣＣ、クロック周期Ｔ＿ＣＮＴは、それぞれ一意に決まる。そのため、最大カウント数ＴＤＣ＿ＦＵＬＬは既知となり、メモリ部１１０３に記憶した飽和回数ＮＵＭ＿ＳＡＴ、総飽和時間Ｔ＿ＳＡＴから画素値を復元することができる。

蓄積期間終了時にメモリ部１１０３には、飽和回数ＮＵＭ＿ＳＡＴが３回、総飽和時間Ｔ＿ＳＡＴが１０カウントという２つの情報が記憶されている。これより、蓄積期間中に高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達するまでの時間の平均値は、Ｔ＿ＳＡＴ／ＮＵＭ＿ＳＡＴ＝３．３となる。

蓄積期間Ｔ＿ＡＣＣ＝１６．６［ｍｓ］、クロック周期Ｔ＿ＣＮＴ＝１．７［μｓ］であるとき、ＴＤＣ回路２１５が時間をカウント可能な最大カウント数ＴＤＣ＿ＦＵＬＬ＝９７６５である。ここで高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路２１１のカウント最大値Ｃ＿ＭＡＸ＝２５６であるとき、復元した画素値はＣ＿ＲＥＳ＝７５２９４１［ＬＳＢ］となる。

図６の構成において、高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達してから蓄積期間終了までの時間計測値Ｔ＿ＦＵＬＬが９８０１、９８００であるものとする。すなわち蓄積開始からフルカウントに達するまでの時間が３カウント、４カウントとなる場合、復元した画素値はそれぞれ６４００００［ＬＳＢ］、８５９０６０［ＬＳＢ］である。これに対し、図１１の構成では、これらの間の数を出力画素値として復元することができる。すなわち、高輝度部の分解能を上げることが可能である。

次に、高感度画素Ｐ１１以外の画素Ｐ００、Ｐ０１、Ｐ１０の画素値の復元方法について説明する。

メモリ部１１０３には、蓄積期間中に高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路２１１が飽和するたびに、信号処理部Ｓ００、Ｓ０１、Ｓ１０、Ｓ１１のカウント値が記憶される。蓄積期間中における信号処理部Ｓ００、Ｓ０１、Ｓ１０、Ｓ１１のカウント値の総和をそれぞれＳＵＭ＿Ｓ００、ＳＵＭ＿Ｓ０１、ＳＵＭ＿Ｓ１０、ＳＵＭ＿Ｓ１１とする。

高感度画素Ｐ１１に対する各カウント値の比をＲＡＴ＿Ｓ００、ＲＡＴ＿Ｓ０１、ＲＡＴ＿Ｓ１０すれば、
ＲＡＴ＿Ｓ００＝ＳＵＭ＿Ｓ００／ＳＵＭ＿Ｓ１１
ＲＡＴ＿Ｓ０１＝ＳＵＭ＿Ｓ０１／ＳＵＭ＿Ｓ１１
ＲＡＴ＿Ｓ１０＝ＳＵＭ＿Ｓ１０／ＳＵＭ＿Ｓ１１
として各カウント値の比を取得できる。

高感度画素の画素復元値をＣ＿ＲＥＳとすれば、信号処理部Ｓ００、Ｓ０１、Ｓ１０が接続されたそれぞれの画素復元値Ｃ＿ＲＥＳ＿Ｓ００、Ｃ＿ＲＥＳ＿Ｓ０１、Ｃ＿ＲＥＳ＿Ｓ１０は、
Ｃ＿ＲＥＳ＿Ｓ００＝Ｃ＿ＲＥＳ×ＲＡＴ＿Ｓ００
Ｃ＿ＲＥＳ＿Ｓ０１＝Ｃ＿ＲＥＳ×ＲＡＴ＿Ｓ０１
Ｃ＿ＲＥＳ＿Ｓ１０＝Ｃ＿ＲＥＳ×ＲＡＴ＿Ｓ１０
として復元できる。

上記では、蓄積期間中に高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路２１１が飽和するたびに、信号処理部Ｓ００、Ｓ０１、Ｓ１０、Ｓ１１のカウント値をメモリ部１１０３に記憶した。そして、蓄積期間終了後に高感度画素Ｐ１１とそれ以外の画素のカウント値の比から画素値を復元した。

画素数が多くなるほどメモリの使用量が膨大になることが懸念される。そのため、１度目に高感度画素Ｐ１１がフルカウントに達したときに、高感度画素Ｐ１１とそれ以外の画素のカウント値から比を計算してメモリ部１１０３に記憶し、高感度画素Ｐ１１の画素復元値にその比を乗じてその他の画素値を復元するなどでもよい。

また、高感度画素Ｐ１１とその他の画素の比について、高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路２１１がフルカウントに達したときに高感度画素Ｐ１１とそれ以外の画素のカウント値から比を計算してメモリ部１１０３に記憶してもよい。そして、次に高感度画素Ｐ１１に接続された信号処理部Ｓ１１のカウンタ回路がフルカウントに達した際には、改めて比を計算して、メモリ部１１０３に記憶した比との平均値をとるなどして更新していく方法でもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

例えば、図１ではセンサチップと回路チップの２枚の半導体チップを積層する構造を記載しているが、センサチップ内に画素回路領域を組み入れてもよい。つまり、積層構造である必要性はない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１ ＡＰＤ
２１０ 波形整形部
２１１ カウンタ回路
２１５ ＴＤＣ回路

Claims (5)

1. 第１の光電変換部と、前記第１の光電変換部からの信号に基づいてパルス信号を生成する第１の生成部と、前記第１の生成部により生成された前記パルス信号をカウントする第１のカウンタ回路とを備えた第１の画素回路と、
   第２の光電変換部と、前記第２の光電変換部からの信号に基づいてパルス信号を生成する第２の生成部と、前記第２の生成部により生成された前記パルス信号をカウントする第２のカウンタ回路と、時間を測定する時間測定回路とを備えた第２の画素回路と、を有し、
   前記第１の画素回路は、時間測定回路を備えておらず、
   前記第２の画素回路は、前記第２のカウンタ回路によりカウントされたカウント値と、前記時間測定回路により測定された時間測定値とのいずれか一方を選択的に出力することを特徴とする光電変換装置。
2. 前記第２の画素回路の感度は、前記第１の画素回路の感度よりも高いことを特徴とする請求項１に記載の光電変換装置。
3. 前記第２の画素回路の前記第２のカウンタ回路のカウント値が飽和した場合、前記第１の画素回路の前記第１のカウンタ回路を停止することを特徴とする請求項１に記載の光電変換装置。
4. 前記第２の画素回路は、さらに、前記第２のカウンタ回路の飽和回数をカウントする飽和回数カウンタと、前記第２のカウンタ回路の総飽和時間をカウントする飽和時間カウンタと、前記飽和回数と前記総飽和時間とを記憶するメモリ部を備えることを特徴とする請求項１乃至３のいずれか１項に記載の光電変換装置。
5. 前記第１の画素回路の画素値は、前記メモリ部に記憶された前記飽和回数と前記総飽和時間から復元されることを特徴とする請求項４に記載の光電変換装置。