[go: up one dir, main page]

JP2019134271A - 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 - Google Patents

固体撮像素子、撮像装置、および、固体撮像素子の制御方法 Download PDF

Info

Publication number
JP2019134271A
JP2019134271A JP2018014228A JP2018014228A JP2019134271A JP 2019134271 A JP2019134271 A JP 2019134271A JP 2018014228 A JP2018014228 A JP 2018014228A JP 2018014228 A JP2018014228 A JP 2018014228A JP 2019134271 A JP2019134271 A JP 2019134271A
Authority
JP
Japan
Prior art keywords
dead zone
unit
solid
address event
detections
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018014228A
Other languages
English (en)
Inventor
篤親 丹羽
Atsumi Niwa
篤親 丹羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2018014228A priority Critical patent/JP2019134271A/ja
Priority to CN201880087580.9A priority patent/CN111656770B/zh
Priority to PCT/JP2018/046045 priority patent/WO2019150786A1/ja
Priority to KR1020207021396A priority patent/KR102606087B1/ko
Priority to CN202310259254.4A priority patent/CN116320793A/zh
Priority to US16/964,676 priority patent/US11582408B2/en
Publication of JP2019134271A publication Critical patent/JP2019134271A/ja
Priority to US18/096,658 priority patent/US11876933B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】アドレスイベントを検出する固体撮像素子において、アドレスイベントに対する検出感度を適切な値に制御する。【解決手段】固体撮像素子は、画素アレイ部および制御部を具備する。固体撮像素子において、画素アレイ部には、所定の不感帯外で生じた入射光の輝度の変化を各々がアドレスイベントとして検出する複数の画素回路が配列される。制御部は、一定の単位周期内に画素アレイ部内でアドレスイベントが検出された検出回数に応じて不感帯の幅を制御する。【選択図】図３

Description

本技術は、固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。詳しくは、輝度の変化を検出する固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。
従来より、垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の固体撮像素子が撮像装置などにおいて用いられている。この一般的な同期型の固体撮像素子では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、画素アドレスごとに、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の固体撮像素子が提案されている（例えば、特許文献１参照。）。このように、画素毎にアドレスイベントを検出する固体撮像素子は、ＤＶＳ（Dynamic Vision Sensor）と呼ばれる。
特開２０１６−５０１４９５号公報
上述の非同期型の固体撮像素子（すなわち、ＤＶＳ）では、同期型の固体撮像素子よりも遥かに高速にデータを生成して出力することができる。このため、例えば、交通分野において、人や障害物を画像認識する処理を高速に実行して、安全性を向上させることができる。しかしながら、上述の固体撮像素子では、アドレスイベントに対する検出感度を適切な値に制御することが困難である。例えば、アドレスイベントに対する検出感度が低すぎると、画像認識において障害物の検出に失敗するおそれがある。一方、アドレスイベントに対する検出感度が高すぎると、照明の変化などにより全画素の輝度が変化した際にアドレスイベントを過剰に検出し、消費電力が増大するおそれがある。
本技術はこのような状況に鑑みて生み出されたものであり、アドレスイベントを検出する固体撮像素子において、アドレスイベントに対する検出感度を適切な値に制御することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定の不感帯外で生じた入射光の輝度の変化を各々がアドレスイベントとして検出する複数の画素回路を配列した画素アレイ部と、一定の単位周期内に上記画素アレイ部内で上記アドレスイベントが検出された検出回数に応じて上記不感帯の幅を制御する制御部とを具備する固体撮像素子、および、その制御方法である。これにより、検出回数に応じた幅の不感帯外でアドレスイベントが検出されるという作用をもたらす。
また、この第１の側面において、上記制御部は、上記検出回数が多いほど上記不感帯の幅を広くしてもよい。これにより、検出回数が多いほど広い幅の不感帯外でアドレスイベントが検出されるという作用をもたらす。
また、この第１の側面において、上記複数の画素回路のそれぞれは、上記不感帯の上限および下限のそれぞれと上記輝度の変化量とを比較して当該比較結果に基づいて上記アドレスイベントを検出してもよい。これにより、不感帯の上限および下限のそれぞれと輝度の変化量との比較結果に基づいてアドレスイベントが検出されるという作用をもたらす。
また、この第１の側面において、上記制御部は、上記検出回数が所定の許容範囲外である場合には上記不感帯の幅を制御してもよい。これにより、許容範囲外の検出回数に応じた幅の不感帯外でアドレスイベントが検出されるという作用をもたらす。
また、この第１の側面において、上記画素アレイ部は、複数の領域に分割され、上記制御部は、上記複数の領域のそれぞれについて上記不感帯の幅を制御してもよい。これにより、領域ごとに制御された幅の不感帯外でアドレスイベントが検出されるという作用をもたらす。
また、この第１の側面において、上記複数の画素回路のそれぞれは、上記入射光を光電変換して光電流を生成する光電変換素子と、上記光電流を電圧に変換する電流電圧変換回路とを備え、上記光電変換素子は、受光チップに配置され、上記電流電圧変換回路は、上記受光チップに積層された検出チップに配置されてもよい。これにより、受光チップおよび検出チップのそれぞれに分散して配置された回路によりアドレスイベントが検出されるという作用をもたらす。
また、本技術の第２の側面は、所定の不感帯外で生じた入射光の輝度の変化を各々がアドレスイベントとして検出する複数の画素回路を配列した画素アレイ部と、一定の単位周期内に上記画素アレイ部内で上記アドレスイベントが検出された検出回数に応じて上記不感帯の幅を制御する制御部と、上記アドレスイベントの検出結果から得られたデータを記録する記録部とを具備する撮像装置である。これにより、検出回数に応じた幅の不感帯外でアドレスイベントが検出され、その検出結果から得られたデータが記録されるという作用をもたらす。
本技術によれば、アドレスイベントを検出する固体撮像素子において、アドレスイベントに対する検出感度を適切な値に制御することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の積層構造の一例を示す図である。 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素回路の一構成例を示すブロック図である。 本技術の第１の実施の形態における電流電圧変換回路の一構成例を示す回路図である。 本技術の第１の実施の形態におけるバッファ、減算器および量子化器の一構成例を示す回路図である。 本技術の第１の実施の形態における信号処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における不感帯幅を広くする前の電圧信号、微分信号および検出信号の変動の一例を示すグラフである。 本技術の第１の実施の形態における不感帯幅を広くした後の電圧信号、微分信号および検出信号の変動の一例を示すグラフである。 本技術の第１の実施の形態における不感帯幅の変更前後の検出回数の一例を示す図である。 本技術の第１の実施の形態における固体撮像素子の動作の一例を示すフローチャートである。 本技術の第２の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第２の実施の形態におけるメモリに保持される情報の一例を示す図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（検出回数に応じて不感帯幅を制御する例）
２．第２の実施の形態（領域ごとに検出回数に応じて不感帯幅を制御する例）
３．移動体への応用例
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、撮像レンズ１１０、固体撮像素子２００、記録部１２０および撮像制御部１３０を備える。撮像装置１００としては、産業用ロボットに搭載されるカメラや、車載カメラなどが想定される。
撮像レンズ１１０は、入射光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、入射光を光電変換してアドレスイベントを検出し、その検出結果に基づいて物体認識などの所定の処理を実行するものである。この固体撮像素子２００は、実行結果を示すデータを記録部１２０に供給する。
記録部１２０は、固体撮像素子２００からのデータを記録するものである。撮像制御部１３０は、固体撮像素子２００を制御してアドレスイベントの検出を開始させるものである。
［固体撮像素子の構成例］
図２は、本技術の第１の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、検出チップ２０２と、その検出チップ２０２に積層された受光チップ２０１とを備える。これらのチップは、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Ｃｕ−Ｃｕ接合やバンプにより接続することもできる。
図３は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、行駆動回路２１１、バイアス電圧供給部２１２、画素アレイ部２１３、列駆動回路２１４、信号処理部２２０およびメモリ２１５を備える。
また、画素アレイ部２１３には、二次元格子状に複数の画素回路３００が配列される。以下、水平方向に配列された画素回路３００の集合を「行」と称し、行に垂直な方向に配列された画素回路３００の集合を「列」と称する。
画素回路３００は、所定の不感帯外で生じた輝度の変化をアドレスイベントとして検出し、その検出結果を示す検出信号を生成するものである。ここで、不感帯は、アドレスイベントが検出されない、輝度の変化量の範囲を示す。複数の画素回路３００のそれぞれには、不感帯の上限を示すバイアス電圧Ｖｂｏｎと、その不感帯の下限を示すバイアス電圧Ｖｂｏｆｆとが供給される。
また、アドレスイベントは、オンイベントとオフイベントとを含む。オンイベントは、輝度の変化量が不感帯の上限（Ｖｂｏｎ）より大きいときに検出される。一方、オフイベントは、輝度の変化量が不感帯の下限（Ｖｂｏｆｆ）より小さいときに検出される。検出信号は、オンイベントの検出結果を示す１ビットの信号とオフイベントの検出結果を示す１ビットの信号とを含む。なお、画素回路３００は、オンイベントおよびオフイベントの両方を検出しているが、いずれか一方のみを検出してもよい。
行駆動回路２１１は、行のそれぞれを駆動して検出信号を生成させるものである。駆動された行の画素回路３００は、アドレスイベントを検出した際に、検出信号の送信を要求するリクエストを列駆動回路２１４に供給する。
列駆動回路２１４は、列のそれぞれのリクエストを調停し、調停結果に基づいて応答を返すものである。応答を受け取った画素回路３００は、検出信号を信号処理部２２０に供給する。
信号処理部２２０は、検出信号に対して、画像認識などの所定の画像処理を実行するものである。この信号処理部２２０は、処理結果を示すデータを記録部１２０に供給する。
また、信号処理部２２０は、一定の単位周期ごとに、その周期内に画素アレイ部２１３でアドレスイベントが検出された回数である検出回数を計数してメモリ２１５に保持させる。オンイベントおよびオフイベントが混在する場合には、オンイベントおよびオフイベントのいずれかが検出されるたびに検出回数が計数される。例えば、単位周期内に１０画素でオンイベントが検出され、１５画素でオフイベントが検出され、残りの画素でアドレスイベントが検出されなかった場合に、検出回数は２５回となる。
そして、信号処理部２２０は、メモリ２１５から検出回数を読み出し、その検出回数に応じて、制御信号の送信によりバイアス電圧ＶｂｏｎおよびＶｂｏｆｆの差（すなわち、不感帯の幅）を制御する。信号処理部２２０は、例えば、検出回数が多いほど不感帯の幅を広くする。ここで、制御信号は、バイアス電圧ＶｂｏｎおよびＶｂｏｆｆのそれぞれの増減をバイアス電圧供給部２１２に指示する信号である。なお、信号処理部２２０は、特許請求の範囲に記載の制御部の一例である。
バイアス電圧供給部２１２は、信号処理部２２０からの制御信号に従ってバイアス電圧ＶｂｏｎおよびＶｂｏｆｆを生成し、画素回路３００の全てに供給するものである。メモリ２１５は、検出回数や、不感帯の上限および下限を保持するものである。
［画素回路の構成例］
図４は、本技術の第１の実施の形態における画素回路３００の一構成例を示すブロック図である。この画素回路３００は、光電変換素子３０１、電流電圧変換回路３１０、バッファ３２０、減算器３３０、量子化器３４０および転送回路３５０を備える。
光電変換素子３０１は、入射光を光電変換して光信号を生成するものである。この光電変換素子３０１は、生成した光電流を電流電圧変換回路３１０に供給する。
電流電圧変換回路３１０は、光電変換素子３０１からの光電流を、その対数の電圧信号に変換するものである。この電流電圧変換回路３１０は、電圧信号をバッファ３２０に供給する。
バッファ３２０は、電流電圧変換回路３１０からの電圧信号を補正するものである。このバッファ３２０は、補正後の電圧信号を減算器３３０に出力する。
減算器３３０は、行駆動回路２１１からの行駆動信号に従ってバッファ３２０からの電圧信号のレベルを低下させるものである。この減算器３３０は、低下後の信号を微分信号として量子化器３４０に供給する。
量子化器３４０は、減算器３３０からの微分信号をデジタル信号に量子化して検出信号として転送回路３５０に出力するものである。
転送回路３５０は、量子化器３４０からの検出信号を信号処理部２２０に転送するものである。この転送回路３５０は、アドレスイベントが検出された際に、検出信号の送信を要求するリクエストを列駆動回路２１４に供給する。そして、転送回路３５０は、リクエストに対する応答を列駆動回路２１４から受け取ると、検出信号を信号処理部２２０に供給する。
［電流電圧変換回路の構成例］
図５は、本技術の第１の実施の形態における電流電圧変換回路３１０の一構成例を示す回路図である。この電流電圧変換回路３１０は、Ｎ型トランジスタ３１１および３１３とＰ型トランジスタ３１２とを備える。これらのトランジスタとして、例えば、ＭＯＳ（Metal-Oxide-Semiconductor）トランジスタが用いられる。
Ｎ型トランジスタ３１１のソースは、光電変換素子３０１に接続され、ドレインは電源端子に接続される。Ｐ型トランジスタ３１２およびＮ型トランジスタ３１３は、電源端子と接地端子との間において、直列に接続される。また、Ｐ型トランジスタ３１２およびＮ型トランジスタ３１３の接続点は、Ｎ型トランジスタ３１１のゲートとバッファ３２０の入力端子とに接続される。また、Ｐ型トランジスタ３１２のゲートには、所定のバイアス電圧Ｖｂｉａｓが印加される。
Ｎ型トランジスタ３１１および３１３のドレインは電源側に接続されており、このような回路はソースフォロワと呼ばれる。これらのループ状に接続された２つのソースフォロワにより、光電変換素子３０１からの光電流は、その対数の電圧信号に変換される。また、Ｐ型トランジスタ３１２は、一定の電流をＮ型トランジスタ３１３に供給する。
また、画素回路３００のそれぞれにおいて光電変換素子３０１は、受光チップ２０１に配置される。一方、光電変換素子３０１以外の回路や素子は、検出チップ２０２に配置される。
［バッファ、減算器および量子化器の構成例］
図６は、本技術の第１の実施の形態におけるバッファ３２０、減算器３３０および量子化器３４０の一構成例を示す回路図である。
バッファ３２０は、電源および接地端子の間において直列に接続されたＰ型トランジスタ３２１および３２２を備える。これらのトランジスタとして、例えば、ＭＯＳトランジスタが用いられる。接地側のＰ型トランジスタ３２２のゲートは、電流電圧変換回路３１０に接続され、電源側のＰ型トランジスタ３２１のゲートには、バイアス電圧Ｖｂｓｆが印加される。また、Ｐ型トランジスタ３２１および３２２の接続点は、減算器３３０に接続される。この接続により、電流電圧変換回路３１０からの電圧信号に対するインピーダンス変換が行われる。
減算器３３０は、容量３３１および３３３と、Ｐ型トランジスタ３３２および３３４と、Ｎ型トランジスタ３３５とを備える。これらのトランジスタとして、例えば、ＭＯＳトランジスタが用いられる。
容量３３１の一端は、バッファ３２０に接続され、他端は、容量３３３の一端とＰ型トランジスタ３３４のゲートとに接続される。Ｐ型トランジスタ３３２のゲートには、行駆動回路２１１からの行駆動信号が入力され、ソースおよびドレインは容量３３３の両端に接続される。Ｐ型トランジスタ３３４およびＮ型トランジスタ３３５は電源端子と接地端子との間において直列に接続される。また、容量３３３の他端は、Ｐ型トランジスタ３３４およびＮ型トランジスタ３３５の接続点に接続される。接地側のＮ型トランジスタ３３５のゲートには、バイアス電圧Ｖｂａが印加され、Ｐ型トランジスタ３３４およびＮ型トランジスタ３３５の接続点は量子化器３４０にも接続される。このような接続により、輝度の変化量を示す微分信号が生成されて量子化器３４０に出力される。
量子化器３４０は、Ｐ型トランジスタ３４１および３４３とＮ型トランジスタ３４２および３４４とを備える。これらのトランジスタとして、例えば、ＭＯＳトランジスタが用いられる。
Ｐ型トランジスタ３４１およびＮ型トランジスタ３４２は、電源端子と接地端子との間において直列に接続され、Ｐ型トランジスタ３４３およびＮ型トランジスタ３４４も、電源端子と接地端子との間において直列に接続される。また、Ｐ型トランジスタ３４１および３４３のゲートは、減算器３３０に接続される。Ｎ型トランジスタ３４２のゲートにはバイアス電圧Ｖｂｏｎが印加され、Ｎ型トランジスタ３４４のゲートにはバイアス電圧Ｖｂｏｆｆが印加される。
Ｐ型トランジスタ３４１およびＮ型トランジスタ３４２の接続点は、転送回路３５０に接続され、この接続点の電圧が検出信号ＶＣＨとして出力される。Ｐ型トランジスタ３４３およびＮ型トランジスタ３４４の接続点も、転送回路３５０に接続され、この接続点の電圧が検出信号ＶＣＬとして出力される。このような接続により、微分信号がバイアス電圧Ｖｂｏｎを超えた場合に量子化器３４０は、ハイレベルの検出信号ＶＣＨを出力し、微分信号がバイアス電圧Ｖｂｏｆｆを下回った場合にローレベルの検出信号ＶＣＬを出力する。検出信号ＶＣＨは、オンイベントの検出結果を示し、検出信号ＶＣＬは、オフイベントの検出結果を示す。
なお、光電変換素子３０１のみを受光チップ２０１に配置し、それ以外を検出チップ２０２に配置しているが、それぞれのチップへ配置する回路は、この構成に限定されない。例えば、光電変換素子３０１と、Ｎ型トランジスタ３１１および３１３とを受光チップ２０１に配置し、それ以外を検出チップ２０２に配置することもできる。また、光電変換素子３０１および電流電圧変換回路３１０を受光チップ２０１に配置し、それ以外を検出チップ２０２に配置することもできる。また、光電変換素子３０１、電流電圧変換回路３１０およびバッファ３２０を受光チップ２０１に配置し、それ以外を検出チップ２０２に配置することもできる。また、光電変換素子３０１、電流電圧変換回路３１０、バッファ３２０および容量３３１とを受光チップ２０１に配置し、それ以外を検出チップ２０２に配置することもできる。また、光電変換素子３０１、電流電圧変換回路３１０、バッファ３２０、減算器３３０および量子化器３４０を受光チップ２０１に配置し、それ以外を検出チップ２０２に配置することもできる。
［信号処理部の構成例］
図７は、本技術の第１の実施の形態における信号処理部２２０の一構成例を示すブロック図である。この信号処理部２２０は、画像処理部２２１、検出回数計数部２２２およびバイアス制御部２２３を備える。
画像処理部２２１は、画素アレイ部２１３からの検出信号からなる画像データに対して、物体認識などの所定の処理を実行するものである。この画像処理部２２１は、実行結果を記録部１２０に供給する。なお、画像データに対する処理を、画像処理部２２１の代わりに固体撮像素子２００の外部のＤＳＰ（Digital Signal Processor）などが実行する構成であってもよい。
検出回数計数部２２２は、一定の単位周期ごとに、その周期内に画素アレイ部２１３でアドレスイベントが検出された回数を計数するものである。この検出回数計数部２２２は、単位周期ごとに、その周期の開始時にメモリ２１５内の検出回数を初期値にする。そして、検出回数計数部２２２は、アドレスイベントが検出されるたびに、検出回数を増分し、増分後の値により検出回数を更新する。すなわち、アップカウントが行われる。なお、検出回数計数部２２２は、アップカウントを行っているが、代わりにダウンカウントを行ってもよい。
バイアス制御部２２３は、検出回数に応じてバイアス電圧を制御するものである。このバイアス制御部２２３は、撮像制御部１３０によりアドレスイベントの検出開始が指示された際に、メモリ２１５内の不感帯の上限および下限を初期値にする。そして、バイアス制御部２２３は、単位周期ごとに、その周期の終了時にメモリ２１５から検出回数を読み出し、その検出回数が所定の許容範囲内の値であるか否かを判断する。
検出回数が許容範囲外で、その範囲の上限より多い場合にバイアス制御部２２３は、不感帯の幅を広くする。例えば、バイアス制御部２２３は、不感帯の上限を所定値だけ上げ、不感帯の下限を所定値だけ下げて、変更後の値によりメモリ２１５を更新する。また、バイアス制御部２２３は、制御信号により、更新後の不感帯の上限および下限に対応する値に、バイアス電圧ＶｂｏｎおよびＶｂｏｆｆを制御する。
一方、検出回数が許容範囲の下限より少ない場合にバイアス制御部２２３は、不感帯の幅を狭くする。例えば、バイアス制御部２２３は、不感帯の上限を所定値だけ下げ、不感帯の下限を所定値だけ上げて、変更後の値によりメモリ２１５を更新する。また、バイアス制御部２２３は、制御信号により、更新後の不感帯の上限および下限に対応する値に、バイアス電圧ＶｂｏｎおよびＶｂｏｆｆを制御する。
また、検出回数が許容範囲内である場合にバイアス制御部２２３は、不感帯の幅を制御せず、現状の値を維持する。
なお、バイアス制御部２２３は、検出回数が許容範囲外である場合のみ、不感帯の幅を制御しているが、許容範囲を設けず、検出回数が多いほど不感帯の幅を広くしてもよい。
また、バイアス制御部２２３は、不感帯の上限および下限の両方を増減しているが、一方のみの増減により不感帯の幅を制御してもよい。
また、バイアス制御部２２３は、不感帯の幅の制御量を制限していないが、一定の制御範囲内で不感帯の幅を制御することもできる。例えば、不感帯の幅が制御範囲の上限に達したのであれば、バイアス制御部２２３は、検出回数が許容範囲の上限より多くても、それ以上、不感帯の幅を広くしない。また、不感帯の幅が制御範囲の下限に達したのであれば、バイアス制御部２２３は、検出回数が許容範囲の下限より少なくても、それ以上、不感帯の幅を狭くしない。
図８は、本技術の第１の実施の形態における不感帯幅を広くする前の電圧信号、微分信号および検出信号の変動の一例を示すグラフである。同図におけるａは、ある画素の電圧信号の変動の一例を示すグラフであり、同図におけるｂは、その画素の微分信号の変動の一例を示すグラフである。同図におけるｃは、画素の検出信号の変動の一例を示すグラフである。同図におけるａの縦軸は、電流電圧変換回路３１０からの電圧信号のレベルを示し、横軸は時間を示す。同図におけるｂの縦軸は、減算器３３０からの微分信号のレベルを示し、横軸は時間を示す。同図におけるｃの縦軸は、量子化器３４０からの検出信号のレベルを示し、横軸は時間を示す。同図におけるｃの上方向の矢印はオンイベント検出時の検出信号を示し、下方向の矢印は、オフイベント検出時の検出信号を示す。
ある画素への入射光の輝度が変動すると、その変動に応じて電圧信号が変動する。また、輝度の変化量を示す微分信号も変動する。そして、例えば、タイミングＴ０およびＴ１において微分信号のレベルが不感帯の下限を下回る。また、タイミングＴ２、Ｔ３およびＴ４において微分信号のレベルが不感帯の上限を超える。このため、タイミングＴ０およびＴ１において、オフイベントが検出され、タイミングＴ２、Ｔ３およびＴ４においてオンイベントが検出される。また、微分信号のレベルが不感帯内である場合には、アドレスイベントは検出されない。
ここで、検出回数が許容範囲の上限より多く、バイアス制御部２２３は、不感帯の幅を広くしたものとする。
図９は、本技術の第１の実施の形態における不感帯幅を広くした後の電圧信号、微分信号および検出信号の変動の一例を示すグラフである。同図におけるａは、ある画素の電圧信号の変動の一例を示すグラフであり、同図におけるｂは、その画素の微分信号の変動の一例を示すグラフである。同図におけるｃは、画素の検出信号の変動の一例を示すグラフである。同図におけるａの縦軸は、電圧信号のレベルを示し、横軸は時間を示す。同図におけるｂの縦軸は、微分信号のレベルを示し、横軸は時間を示す。同図におけるｃの縦軸は、検出信号のレベルを示し、横軸は時間を示す。
不感帯幅の変更後において、変更前と同様の輝度の変化が生じたものとする。変更後は、タイミングＴ０において微分信号のレベルが不感帯の下限を下回る。また、タイミングＴ１およびＴ２において微分信号のレベルが不感帯の上限を超える。このため、タイミングＴ０において、オフイベントが検出され、タイミングＴ１およびＴ２においてオンイベントが検出される。このように、不感帯幅を広くする前と比較して、アドレスイベントに対する検出感度が低下するため、アドレスイベントの検出回数が少なくなる。
図１０は、本技術の第１の実施の形態における不感帯幅の変更前後の検出回数の一例を示す図である。同図におけるａは、不感帯幅を広くする前と広くした後とのそれぞれの単位周期内の検出回数の一例を示すヒストグラムである。同図におけるｂは、不感帯幅を狭くする前と狭くした後とのそれぞれの単位周期内の検出回数の一例を示すヒストグラムである。
検出回数が許容範囲の上限より多い場合、バイアス制御部２２３は、不感帯幅を広くする。これにより、アドレスイベントに対する検出感度が低下し、不感帯幅の変更前と比較して検出回数が少なくなる。
一方、検出回数が許容範囲の下限より少ない場合、バイアス制御部２２３は、不感帯幅を狭くする。これにより、アドレスイベントに対する検出感度が上昇し、不感帯幅の変更前と比較して検出回数が多くなる。
このように、バイアス制御部２２３が検出回数に応じて不感帯の幅を増減することにより、不感帯の幅を適切な範囲に設定することができる。
例えば、照明の変化により、画面全体の明るさが変わる場合を想定する。この場合は全画素の明るさが変わるため、不感帯が狭すぎると、全画素でアドレスイベントが検出されるおそれがある。アドレスイベントの検出回数が多いほど、検出信号を転送する回路や、検出信号を処理する回路の負荷が大きくなるため、固体撮像素子２００全体の消費電力が増大してしまうおそれがある。しかし、バイアス制御部２２３は、検出回数が多いほど不感帯の幅を広くするため、アドレスイベントの過剰な検出を抑制して、消費電力を低減することができる。
また、全画素のうち一部の画素で輝度の変化が生じ、その変化量が小さい場合を考える。この場合に、不感帯が広すぎると、変化が生じた画素でアドレスイベントを検出することができず、アドレスイベントを取りこぼすおそれがある。しかし、バイアス制御部２２３は、検出回数が少ないほど不感帯の幅を狭くするため、アドレスイベントの取りこぼしを防止することができる。
［固体撮像素子の動作例］
図１１は、本技術の第１の実施の形態における固体撮像素子２００の動作の一例を示すフローチャートである。この動作は、アドレスイベントを検出するための所定のアプリケーションが実行されたときに開始される。
固体撮像素子２００内の信号処理部２２０は、不感帯の上限および下限と検出回数とを初期化する（ステップＳ９０１）。そして、信号処理部２２０は、アドレスイベントの検出回数を計数し（ステップＳ９０２）、単位周期を経過したか否かを判断する（ステップＳ９０３）。単位周期を経過していない場合（ステップＳ９０３：Ｎｏ）、信号処理部２２０は、ステップＳ９０２を繰り返す。
一方、単位周期を経過した場合（ステップＳ９０３：Ｙｅｓ）、信号処理部２２０は、検出回数が許容範囲の上限より多いか否かを判断する（ステップＳ９０４）。検出回数が許容範囲の上限より多い場合に（ステップＳ９０４：Ｙｅｓ）、信号処理部２２０は、不感帯上限を上げ、不感帯下限を下げて、不感帯の幅を広くする（ステップＳ９０５）。
検出回数が許容範囲の上限以下の場合（ステップＳ９０４：Ｎｏ）、信号処理部２２０は、検出回数が許容範囲の下限より少ないか否かを判断する（ステップＳ９０６）。検出回数が許容範囲の下限より少ない場合に（ステップＳ９０６：Ｙｅｓ）、信号処理部２２０は、不感帯上限を下げ、不感帯下限を上げて、不感帯の幅を狭くする（ステップＳ９０７）。
検出回数が許容範囲内の値である場合（ステップＳ９０６：Ｎｏ）、信号処理部２２０は、検出回数を初期化して（ステップＳ９０８）、ステップＳ９０２以降を繰り返し実行する。また、ステップＳ９０５またはＳ９０７の後においても信号処理部２２０は、ステップＳ９０８を実行する。
このように、本技術の第１の実施の形態によれば、信号処理部２２０は、アドレスイベントの検出回数に応じて不感帯の幅を制御するため、アドレスイベントに対する検出感度を適切な値に制御することができる。
＜２．第２の実施の形態＞
上述の第１の実施の形態では、信号処理部２２０が、全画素のバイアス電圧を同じ値に制御していた。しかし、この構成では、シーンによっては、アドレスイベントに対する検出感度が適切な値にならないおそれがある。例えば、照明の変化により画素アレイ部２１３の一部の明るさが変動する場合、その部分においてアドレスイベントが過剰に検出されてしまう。この第２の実施の形態の固体撮像素子２００は、画素アレイ部２１３を複数の領域に分割し、領域毎にバイアス電圧を制御する点において第１の実施の形態と異なる。
図１２は、本技術の第２の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この第２の実施の形態の固体撮像素子２００は、画素アレイ部２１３がＭ（Ｍは２以上の整数）個の単位領域３０５に分割されている点において第１の実施の形態と異なる。単位領域３０５のそれぞれには、Ｉ行×Ｊ列（ＩおよびＪは整数）の画素回路３００が配列される。
また、第２の実施の形態の信号処理部２２０は、単位領域３０５ごとに、検出回数を計数し、その検出回数に応じてバイアス電圧を制御する。また、第２の実施の形態のバイアス電圧供給部２１２は、バイアス電圧Ｖｂｏｎ１乃至ＶｂｏｎＭと、バイアス電圧Ｖｂｏｆｆ１乃至ＶｂｏｆｆＭとを供給する。バイアス電圧Ｖｂｏｎｍおよびバイアス電圧Ｖｂｏｆｆｍ（ｍは１乃至Ｍの整数）は、ｍ個目の単位領域３０５に供給される。
図１３は、本技術の第２の実施の形態におけるメモリ２１５に保持される情報の一例を示す図である。メモリ２１５には、Ｍ個の単位領域３０５のそれぞれについて、検出回数と、不感帯上限と、不感帯下限とが保持される。
例えば、単位領域３０５を識別するための領域識別番号が「０１」の領域について、単位周期内で検出回数が「１５」回であり、この検出回数は許容範囲内であるものとする。また、領域識別番号「０２」の領域について、単位周期内で検出回数が「０」回であり、この検出回数は許容範囲の下限より少ないものとする。この場合に信号処理部２２０は、領域識別番号が「０１」の領域の不感帯上限および下限を変更しない。一方、信号処理部２２０は、領域識別番号が「０２」の領域について、不感帯上限である「Ｕ０２」を下げ、不感帯下限である「Ｌ０２」を上げる。
このように、本技術の第２の実施の形態によれば、信号処理部２２０は、単位領域ごとにアドレスイベントの検出回数に応じて不感帯幅を制御するため、単位領域のそれぞれの検出感度を適切な値に制御することができる。
＜３．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図１４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図１５は、撮像部１２０３１の設置位置の例を示す図である。
図１５では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図１５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１の撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、アドレスイベントの検出感度を適切な値に制御して車両制御システムの信頼性を向上させることができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）所定の不感帯外で生じた入射光の輝度の変化を各々がアドレスイベントとして検出する複数の画素回路を配列した画素アレイ部と、
一定の単位周期内に前記画素アレイ部内で前記アドレスイベントが検出された検出回数に応じて前記不感帯の幅を制御する制御部と
を具備する固体撮像素子。
（２）前記制御部は、前記検出回数が多いほど前記不感帯の幅を広くする
前記（１）記載の固体撮像素子。
（３）前記複数の画素回路のそれぞれは、前記不感帯の上限および下限のそれぞれと前記輝度の変化量とを比較して当該比較結果に基づいて前記アドレスイベントを検出する
前記（１）または（２）に記載の固体撮像素子。
（４）前記制御部は、前記検出回数が所定の許容範囲外である場合には前記不感帯の幅を制御する
前記（１）から（３）のいずれかに記載の固体撮像素子。
（５）前記画素アレイ部は、複数の領域に分割され、
前記制御部は、前記複数の領域のそれぞれについて前記不感帯の幅を制御する
前記（１）から（４）のいずれかに記載の固体撮像素子。
（６）前記複数の画素回路のそれぞれは、
前記入射光を光電変換して光電流を生成する光電変換素子と、
前記光電流を電圧に変換する電流電圧変換回路と
を備え、
前記光電変換素子は、受光チップに配置され、
前記電流電圧変換回路は、前記受光チップに積層された検出チップに配置される
前記（１）から（５）のいずれかに記載の固体撮像素子。
（７）所定の不感帯外で生じた入射光の輝度の変化を各々がアドレスイベントとして検出する複数の画素回路を配列した画素アレイ部と、
一定の単位周期内に前記画素アレイ部内で前記アドレスイベントが検出された検出回数に応じて前記不感帯の幅を制御する制御部と、
前記アドレスイベントの検出結果から得られたデータを記録する記録部と
を具備する撮像装置。
（８）所定の不感帯外で生じた入射光の輝度の変化を各々がアドレスイベントとして検出する複数の画素回路を配列した画素アレイ部内で一定の単位周期内に前記アドレスイベントが検出された検出回数を計数する計数手順と、
前記検出回数に応じて前記不感帯の幅を制御する制御手順と
を具備する固体撮像素子の制御方法。
１００ 撮像装置
１１０ 撮像レンズ
１２０ 記録部
１３０ 撮像制御部
２００ 固体撮像素子
２０１ 受光チップ
２０２ 検出チップ
２１１ 行駆動回路
２１２ バイアス電圧供給部
２１３ 画素アレイ部
２１４ 列駆動回路
２１５ メモリ
２２０ 信号処理部
２２１ 画像処理部
２２２ 検出回数計数部
２２３ バイアス制御部
３００ 画素回路
３０１ 光電変換素子
３０５ 単位領域
３１０ 電流電圧変換回路
３１１、３１３、３３５、３４２、３４４ Ｎ型トランジスタ
３１２、３２１、３２２、３３２、３３４、３４１、３４３ Ｐ型トランジスタ
３２０ バッファ
３３０ 減算器
３３１、３３３ 容量
３４０ 量子化器
３５０ 転送回路
１２０３１ 撮像部
特表２０１６−５０１４９５号公報

Claims (8)

  1. 所定の不感帯外で生じた入射光の輝度の変化を各々がアドレスイベントとして検出する複数の画素回路を配列した画素アレイ部と、
    一定の単位周期内に前記画素アレイ部内で前記アドレスイベントが検出された検出回数に応じて前記不感帯の幅を制御する制御部と
    を具備する固体撮像素子。
  2. 前記制御部は、前記検出回数が多いほど前記不感帯の幅を広くする
    請求項１記載の固体撮像素子。
  3. 前記複数の画素回路のそれぞれは、前記不感帯の上限および下限のそれぞれと前記輝度の変化量とを比較して当該比較結果に基づいて前記アドレスイベントを検出する
    請求項１記載の固体撮像素子。
  4. 前記制御部は、前記検出回数が所定の許容範囲外である場合には前記不感帯の幅を制御する
    請求項１記載の固体撮像素子。
  5. 前記画素アレイ部は、複数の領域に分割され、
    前記制御部は、前記複数の領域のそれぞれについて前記不感帯の幅を制御する
    請求項１記載の固体撮像素子。
  6. 前記複数の画素回路のそれぞれは、
    前記入射光を光電変換して光電流を生成する光電変換素子と、
    前記光電流を電圧に変換する電流電圧変換回路と
    を備え、
    前記光電変換素子は、受光チップに配置され、
    前記電流電圧変換回路は、前記受光チップに積層された検出チップに配置される
    請求項１記載の固体撮像素子。
  7. 所定の不感帯外で生じた入射光の輝度の変化を各々がアドレスイベントとして検出する複数の画素回路を配列した画素アレイ部と、
    一定の単位周期内に前記画素アレイ部内で前記アドレスイベントが検出された検出回数に応じて前記不感帯の幅を制御する制御部と、
    前記アドレスイベントの検出結果から得られたデータを記録する記録部と
    を具備する撮像装置。
  8. 所定の不感帯外で生じた入射光の輝度の変化を各々がアドレスイベントとして検出する複数の画素回路を配列した画素アレイ部内で一定の単位周期内に前記アドレスイベントが検出された検出回数を計数する計数手順と、
    前記検出回数に応じて前記不感帯の幅を制御する制御手順と
    を具備する固体撮像素子の制御方法。
JP2018014228A 2018-01-31 2018-01-31 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 Pending JP2019134271A (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2018014228A JP2019134271A (ja) 2018-01-31 2018-01-31 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN201880087580.9A CN111656770B (zh) 2018-01-31 2018-12-14 固态成像元件、成像装置及固态成像元件的控制方法
PCT/JP2018/046045 WO2019150786A1 (ja) 2018-01-31 2018-12-14 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
KR1020207021396A KR102606087B1 (ko) 2018-01-31 2018-12-14 고체 촬상 소자, 촬상 장치, 및 고체 촬상 소자의 제어 방법
CN202310259254.4A CN116320793A (zh) 2018-01-31 2018-12-14 固态成像元件、成像装置及固态成像元件的控制方法
US16/964,676 US11582408B2 (en) 2018-01-31 2018-12-14 Event image sensor, imaging device, and method of controlling event image sensor
US18/096,658 US11876933B2 (en) 2018-01-31 2023-01-13 Event image sensor, imaging device, and method of controlling event image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018014228A JP2019134271A (ja) 2018-01-31 2018-01-31 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Publications (1)

Publication Number Publication Date
JP2019134271A true JP2019134271A (ja) 2019-08-08

Family

ID=67479256

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018014228A Pending JP2019134271A (ja) 2018-01-31 2018-01-31 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Country Status (5)

Country Link
US (2) US11582408B2 (ja)
JP (1) JP2019134271A (ja)
KR (1) KR102606087B1 (ja)
CN (2) CN116320793A (ja)
WO (1) WO2019150786A1 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021038749A1 (ja) * 2019-08-28 2021-03-04
WO2021038750A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
WO2021038751A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
WO2021153295A1 (ja) * 2020-01-31 2021-08-05 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
WO2021153254A1 (ja) * 2020-01-31 2021-08-05 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法
WO2021172145A1 (ja) * 2020-02-26 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 撮像回路および撮像装置
JPWO2021241120A1 (ja) * 2020-05-28 2021-12-02
WO2021256102A1 (ja) * 2020-06-18 2021-12-23 ソニーセミコンダクタソリューションズ株式会社 センサ装置、制御方法、プログラム
JPWO2021261069A1 (ja) * 2020-06-26 2021-12-30
WO2022059481A1 (ja) * 2020-09-15 2022-03-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
WO2022102302A1 (ja) 2020-11-10 2022-05-19 ソニーセミコンダクタソリューションズ株式会社 形状測定システム
JP2022076837A (ja) * 2020-11-10 2022-05-20 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2022188988A (ja) * 2021-06-10 2022-12-22 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN115668963A (zh) * 2020-05-21 2023-01-31 索尼半导体解决方案公司 成像装置和成像方法
US11735140B2 (en) 2020-12-03 2023-08-22 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
US11805334B2 (en) 2020-11-09 2023-10-31 Canon Kabushiki Kaisha Apparatus and method for information processing and storage medium
US11838627B2 (en) 2021-06-10 2023-12-05 Canon Kabushiki Kaisha Imaging apparatus, control method for imaging apparatus, and storage medium
US11838671B2 (en) 2022-02-15 2023-12-05 Canon Kabushiki Kaisha Photoelectric conversion apparatus for detecting luminance change, control method of photoelectric conversion apparatus, program storage medium, and image capturing apparatus
US11882353B2 (en) 2021-06-10 2024-01-23 Canon Kabushiki Kaisha Information processing apparatus for controlling parameter to detect object, information processing method, and storage medium
WO2024142687A1 (ja) * 2022-12-26 2024-07-04 ソニーセミコンダクタソリューションズ株式会社 光検出素子及び電子機器
US12177564B2 (en) 2021-06-10 2024-12-24 Canon Kabushiki Kaisha Imaging apparatus, control method for imaging apparatus, and storage medium for determining an in-focus position of a focus lens
WO2025192222A1 (ja) * 2024-03-12 2025-09-18 ソニーセミコンダクタソリューションズ株式会社 光検出装置、光検出方法、及び、電子機器
US12483807B2 (en) 2020-05-27 2025-11-25 Sony Semiconductor Solutions Corporation Imaging device, method of controlling imaging device, and shape measuring device

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI815841B (zh) * 2018-03-15 2023-09-21 日商尼康股份有限公司 控制裝置、控制方法以及程式
JP7489189B2 (ja) * 2019-08-30 2024-05-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11330211B2 (en) * 2019-12-02 2022-05-10 Sony Semiconductor Solutions Corporation Solid-state imaging device and imaging device with combined dynamic vision sensor and imaging functions
EP4240006A4 (en) * 2020-10-28 2023-10-11 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic apparatus
KR102885924B1 (ko) 2021-05-18 2025-11-12 삼성전자주식회사 비전 센서 및 이의 동작 방법
WO2022254813A1 (ja) * 2021-06-01 2022-12-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器、および光検出方法
EP4350284A4 (en) * 2021-06-03 2024-09-25 Sony Group Corporation MEASURING DEVICE, MEASURING METHOD, PROGRAM
WO2024100796A1 (ja) * 2022-11-09 2024-05-16 株式会社ソニー・インタラクティブエンタテインメント 信号処理回路、信号処理方法およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4617623B2 (ja) 2001-08-29 2011-01-26 富士電機システムズ株式会社 被写体の明暗による順位付け方法およびその光センサ装置
JP5272630B2 (ja) * 2008-10-03 2013-08-28 ソニー株式会社 固体撮像素子およびその駆動方法、並びにカメラシステム
KR101261135B1 (ko) * 2011-04-25 2013-05-06 한국과학기술원 통계에 기반한 적응적 감시카메라 시스템 구동 방법 및 시스템
JP5862126B2 (ja) * 2011-09-06 2016-02-16 ソニー株式会社 撮像素子および方法、並びに、撮像装置
KR101537723B1 (ko) * 2012-10-24 2015-07-17 주식회사 케이티 영상 분석 필터의 우선 순위를 이용하는 영상 분석 시스템 및 영상 분석 방법
ES2476115B1 (es) * 2012-12-11 2015-04-20 Consejo Superior De Investigaciones Científicas (Csic) Metodo y dispositivo para la deteccion de la variacion temporal de la intensidad luminosa en una matriz de fotosensores
KR101415735B1 (ko) 2014-01-17 2014-08-06 주식회사 씨트링 영상 저장 장치 및 방법
US9554100B2 (en) * 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
US9986179B2 (en) * 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
JPWO2017013806A1 (ja) * 2015-07-23 2018-05-10 オリンパス株式会社 固体撮像装置
KR102612194B1 (ko) * 2016-12-14 2023-12-11 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센싱 방법

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021038749A1 (ja) * 2019-08-28 2021-03-04
WO2021038750A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
WO2021038751A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
JPWO2021038751A1 (ja) * 2019-08-28 2021-03-04
JPWO2021038750A1 (ja) * 2019-08-28 2021-03-04
WO2021038749A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
US11792527B2 (en) 2019-08-28 2023-10-17 Sony Interactive Entertainment Inc. Sensor system, image processing apparatus, image processing method, and program
US11653120B2 (en) 2019-08-28 2023-05-16 Sony Interactive Entertainment Inc. Sensor system, image processing apparatus, image processing method, and program
US11653109B2 (en) 2019-08-28 2023-05-16 Sony Interactive Entertainment Inc. Sensor system, image processing apparatus, image processing method, and program
JP7191238B2 (ja) 2019-08-28 2022-12-16 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
JP7191237B2 (ja) 2019-08-28 2022-12-16 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
JP7352637B2 (ja) 2019-08-28 2023-09-28 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、センサシステム、画像処理装置、画像処理方法およびプログラム
JP7759259B2 (ja) 2020-01-31 2025-10-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法
JPWO2021153295A1 (ja) * 2020-01-31 2021-08-05
WO2021153295A1 (ja) * 2020-01-31 2021-08-05 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
US12262131B2 (en) 2020-01-31 2025-03-25 Sony Semiconductor Solutions Corporation Imaging device and imaging method
WO2021153254A1 (ja) * 2020-01-31 2021-08-05 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法
US12446344B2 (en) 2020-01-31 2025-10-14 Sony Semiconductor Solutions Corporation Solid-state image sensor
JPWO2021153254A1 (ja) * 2020-01-31 2021-08-05
CN114930807A (zh) * 2020-01-31 2022-08-19 索尼半导体解决方案公司 摄像装置和摄像方法
CN115136587B (zh) * 2020-02-26 2025-08-29 索尼半导体解决方案公司 成像电路和成像装置
WO2021172145A1 (ja) * 2020-02-26 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 撮像回路および撮像装置
CN115136587A (zh) * 2020-02-26 2022-09-30 索尼半导体解决方案公司 成像电路和成像装置
CN115668963A (zh) * 2020-05-21 2023-01-31 索尼半导体解决方案公司 成像装置和成像方法
US12483807B2 (en) 2020-05-27 2025-11-25 Sony Semiconductor Solutions Corporation Imaging device, method of controlling imaging device, and shape measuring device
CN115699791B (zh) * 2020-05-28 2025-08-05 索尼半导体解决方案公司 成像装置和成像方法
CN115699791A (zh) * 2020-05-28 2023-02-03 索尼半导体解决方案公司 成像装置和成像方法
US12356090B2 (en) * 2020-05-28 2025-07-08 Sony Semiconductor Solutions Corporation Imaging device and imaging method
JPWO2021241120A1 (ja) * 2020-05-28 2021-12-02
US20230179879A1 (en) * 2020-05-28 2023-06-08 Sony Semiconductor Solutions Corporation Imaging device and imaging method
JP7638985B2 (ja) 2020-05-28 2025-03-04 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法
WO2021241120A1 (ja) * 2020-05-28 2021-12-02 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法
WO2021256102A1 (ja) * 2020-06-18 2021-12-23 ソニーセミコンダクタソリューションズ株式会社 センサ装置、制御方法、プログラム
JPWO2021261069A1 (ja) * 2020-06-26 2021-12-30
US12149839B2 (en) 2020-06-26 2024-11-19 Sony Semiconductor Solutions Corporation Solid-state imaging device with transistor drain connected to sense node of logarithmic conversion circuit
CN115715468A (zh) * 2020-06-26 2023-02-24 索尼半导体解决方案公司 固态成像装置
JP7660571B2 (ja) 2020-06-26 2025-04-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置
WO2021261069A1 (ja) * 2020-06-26 2021-12-30 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置
EP4175288A4 (en) * 2020-06-26 2023-06-21 Sony Semiconductor Solutions Corporation SOLID STATE IMAGE CAPTURE DEVICE
US12207006B2 (en) 2020-09-15 2025-01-21 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic apparatus
WO2022059481A1 (ja) * 2020-09-15 2022-03-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
US11805334B2 (en) 2020-11-09 2023-10-31 Canon Kabushiki Kaisha Apparatus and method for information processing and storage medium
WO2022102302A1 (ja) 2020-11-10 2022-05-19 ソニーセミコンダクタソリューションズ株式会社 形状測定システム
US12435973B2 (en) 2020-11-10 2025-10-07 Sony Semiconductor Solutions Corporation Shape measuring system
JP2022076837A (ja) * 2020-11-10 2022-05-20 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP7618422B2 (ja) 2020-11-10 2025-01-21 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
KR20230101799A (ko) 2020-11-10 2023-07-06 소니 세미컨덕터 솔루션즈 가부시키가이샤 형상 측정 시스템
US11832002B2 (en) 2020-11-10 2023-11-28 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium for displaying a measurement result in accordance with a direction of luminance changes
US11735140B2 (en) 2020-12-03 2023-08-22 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
US11882353B2 (en) 2021-06-10 2024-01-23 Canon Kabushiki Kaisha Information processing apparatus for controlling parameter to detect object, information processing method, and storage medium
JP2022188988A (ja) * 2021-06-10 2022-12-22 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US12177564B2 (en) 2021-06-10 2024-12-24 Canon Kabushiki Kaisha Imaging apparatus, control method for imaging apparatus, and storage medium for determining an in-focus position of a focus lens
US11838627B2 (en) 2021-06-10 2023-12-05 Canon Kabushiki Kaisha Imaging apparatus, control method for imaging apparatus, and storage medium
JP7797123B2 (ja) 2021-06-10 2026-01-13 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US11838671B2 (en) 2022-02-15 2023-12-05 Canon Kabushiki Kaisha Photoelectric conversion apparatus for detecting luminance change, control method of photoelectric conversion apparatus, program storage medium, and image capturing apparatus
WO2024142687A1 (ja) * 2022-12-26 2024-07-04 ソニーセミコンダクタソリューションズ株式会社 光検出素子及び電子機器
WO2025192222A1 (ja) * 2024-03-12 2025-09-18 ソニーセミコンダクタソリューションズ株式会社 光検出装置、光検出方法、及び、電子機器

Also Published As

Publication number Publication date
US20200351455A1 (en) 2020-11-05
KR102606087B1 (ko) 2023-11-23
US20230156356A1 (en) 2023-05-18
CN111656770A (zh) 2020-09-11
US11582408B2 (en) 2023-02-14
CN116320793A (zh) 2023-06-23
US11876933B2 (en) 2024-01-16
WO2019150786A1 (ja) 2019-08-08
CN111656770B (zh) 2023-04-11
KR20200112854A (ko) 2020-10-05

Similar Documents

Publication Publication Date Title
US11876933B2 (en) Event image sensor, imaging device, and method of controlling event image sensor
US11659291B2 (en) Solid-state imaging element
US11936996B2 (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
JP2020136958A (ja) イベント信号検出センサ及び制御方法
WO2020110537A1 (ja) 固体撮像素子、および、撮像装置
JP2019195135A (ja) 固体撮像素子および撮像装置
WO2019150752A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
KR102734460B1 (ko) 고체 촬상 소자, 촬상 장치, 및 고체 촬상 소자의 제어 방법
JP2020099015A (ja) センサ及び制御方法
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
JP2019176334A (ja) 固体撮像素子、テストシステム、および、固体撮像素子の制御方法
WO2021131831A1 (ja) 固体撮像素子、および、撮像装置
US11711634B2 (en) Electronic circuit, solid-state image sensor, and method of controlling electronic circuit
JP2023037041A (ja) 撮像回路および撮像装置
WO2025057566A1 (ja) 固体撮像素子、電子機器、および、固体撮像素子の制御方法
US20200099852A1 (en) Solid-state imaging device, driving method, and electronic apparatus

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180131