[go: up one dir, main page]

JP2018196015A - Solid-state imaging device, imaging apparatus, and imaging method - Google Patents

Solid-state imaging device, imaging apparatus, and imaging method Download PDF

Info

Publication number
JP2018196015A
JP2018196015A JP2017099032A JP2017099032A JP2018196015A JP 2018196015 A JP2018196015 A JP 2018196015A JP 2017099032 A JP2017099032 A JP 2017099032A JP 2017099032 A JP2017099032 A JP 2017099032A JP 2018196015 A JP2018196015 A JP 2018196015A
Authority
JP
Japan
Prior art keywords
image
imaging
counter
count value
count
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017099032A
Other languages
Japanese (ja)
Other versions
JP6909050B2 (en
Inventor
槙子 齋藤
Makiko Saito
槙子 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017099032A priority Critical patent/JP6909050B2/en
Priority to US15/978,781 priority patent/US10652494B2/en
Publication of JP2018196015A publication Critical patent/JP2018196015A/en
Priority to JP2021109964A priority patent/JP7223070B2/en
Application granted granted Critical
Publication of JP6909050B2 publication Critical patent/JP6909050B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/809—Constructional details of image sensors of hybrid image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】撮像期間が重複する複数の画像を取得し得る固体撮像素子及び撮像装置を提供する。【解決手段】光子の受光頻度に応じた頻度でパルスを発するセンサ部と、パルスの数をカウントするカウンタと、カウンタのカウント値を記憶するメモリとをそれぞれ備える複数の画素と、第１の画像の撮像開始の際におけるカウンタのカウント値と、第１の画像の撮像終了の際におけるカウンタのカウント値とに基づいて第１の撮像信号を生成し、第１の画像とは異なる第２の画像の撮像開始の際におけるカウンタのカウント値と、第２の画像の撮像終了の際におけるカウンタのカウント値とに基づいて第２の撮像信号を生成する生成部とを有している。【選択図】図３A solid-state imaging device and an imaging device capable of acquiring a plurality of images having overlapping imaging periods. A plurality of pixels each including a sensor unit that emits a pulse at a frequency according to the photon reception frequency, a counter that counts the number of pulses, and a memory that stores the count value of the counter; and a first image. The second image different from the first image is generated based on the count value of the counter at the start of capturing the image and the count value of the counter at the end of capturing the first image. And a generation unit that generates a second image pickup signal based on the count value of the counter at the start of image pickup and the count value of the counter at the end of image pickup of the second image. [Selection diagram] Fig. 3

Description

本発明は、固体撮像素子、撮像装置及び撮像方法に関する。   The present invention relates to a solid-state imaging device, an imaging apparatus, and an imaging method.

近年、ＣＭＯＳイメージセンサ等の固体撮像素子を備えた撮像装置が広く普及している。静止画像のみならず、動画像をも取得し得る撮像装置が提案されている。また、新しい方式のイメージセンサとして、特許文献１に示すようなイメージセンサが提案されている。特許文献１に開示されたイメージセンサには、以下のような信号処理回路が各画素に備えられている。特許文献１では、光電変換素子で生成された電荷を蓄積する蓄積容量と、蓄積容量の電圧を基準電圧と比較し、両者が一致したときにパルスを出力する比較器と、比較器の出力により蓄積容量の電圧をリセット電圧に戻すリセット手段とが各画素に備えられている。   In recent years, imaging devices including a solid-state imaging device such as a CMOS image sensor have been widely used. An imaging apparatus that can acquire not only still images but also moving images has been proposed. Further, as a new type image sensor, an image sensor as shown in Patent Document 1 has been proposed. The image sensor disclosed in Patent Document 1 includes the following signal processing circuit in each pixel. In Patent Document 1, a storage capacitor that stores the charge generated by the photoelectric conversion element, a comparator that compares the voltage of the storage capacitor with a reference voltage, and outputs a pulse when the two match, and a comparator output Each pixel is provided with reset means for returning the voltage of the storage capacitor to the reset voltage.

特開２０１５−１７３４３２号公報Japanese Patent Laying-Open No. 2015-173432

しかしながら、従来の技術では、撮像期間が互いに重複する複数の画像を取得することはできなかった。
本発明の目的は、撮像期間が重複する複数の画像を取得し得る固体撮像素子、撮像装置及び撮像方法を提供することにある。 However, with the conventional technology, it has not been possible to acquire a plurality of images with overlapping imaging periods.
An object of the present invention is to provide a solid-state imaging device, an imaging apparatus, and an imaging method that can acquire a plurality of images with overlapping imaging periods.

実施形態の一観点によれば、光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、前記カウンタのカウント値を記憶するメモリとをそれぞれ備える複数の画素と、第１の画像の撮像開始の際における前記カウンタのカウント値と、前記第１の画像の撮像終了の際における前記カウンタのカウント値とに基づいて第１の撮像信号を生成し、前記第１の画像とは異なる第２の画像の撮像開始の際における前記カウンタのカウント値と、前記第２の画像の撮像終了の際における前記カウンタのカウント値とに基づいて第２の撮像信号を生成する生成部とを有することを特徴とする固体撮像素子が提供される。   According to one aspect of the embodiment, a plurality of sensors each including a sensor unit that emits pulses at a frequency according to the frequency of receiving photons, a counter that counts the number of pulses, and a memory that stores a count value of the counter Generating a first imaging signal based on the pixel, the count value of the counter at the start of imaging of the first image, and the count value of the counter at the end of imaging of the first image; Based on the count value of the counter at the start of imaging of the second image different from the first image and the count value of the counter at the end of imaging of the second image, There is provided a solid-state imaging device including a generating unit for generating.

本発明によれば、撮像期間が重複する複数の画像を取得し得る固体撮像素子、撮像装置及び撮像方法を提供することができる。   According to the present invention, it is possible to provide a solid-state imaging device, an imaging apparatus, and an imaging method that can acquire a plurality of images having overlapping imaging periods.

第１実施形態による撮像装置を示すブロック図である。It is a block diagram which shows the imaging device by 1st Embodiment. 第１実施形態による固体撮像素子を示す図である。It is a figure which shows the solid-state image sensor by 1st Embodiment. 第１実施形態による固体撮像素子を示す図である。It is a figure which shows the solid-state image sensor by 1st Embodiment. 第１実施形態による撮像装置の動作を示すタイミングチャートである。3 is a timing chart illustrating an operation of the imaging apparatus according to the first embodiment. 第１実施形態による撮像装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the imaging device by 1st Embodiment. 第１実施形態の変形例による固体撮像素子を示す図である。It is a figure which shows the solid-state image sensor by the modification of 1st Embodiment. 第２実施形態による固体撮像素子を示す図である。It is a figure which shows the solid-state image sensor by 2nd Embodiment. 第２実施形態による撮像装置の動作を示すタイミングチャートである。It is a timing chart which shows operation of an imaging device by a 2nd embodiment. 第２実施形態による撮像装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the imaging device by 2nd Embodiment. 第２実施形態による撮像装置の動作の他の例を示すタイミングチャートである。It is a timing chart which shows the other example of operation | movement of the imaging device by 2nd Embodiment. 第３実施形態による固体撮像素子を示す図である。It is a figure which shows the solid-state image sensor by 3rd Embodiment. 動画像の最短撮影期間と、静止画像の最長蓄積期間と、カウント値との関係を示すグラフである。It is a graph which shows the relationship between the shortest imaging | photography period of a moving image, the longest accumulation | storage period of a still image, and a count value. 第３実施形態による撮像装置の動作を示すタイミングチャートである。It is a timing chart which shows operation of an imaging device by a 3rd embodiment.

本発明の実施の形態について図面を用いて以下に説明する。なお、本発明は以下の実施形態に限定されるものではなく、適宜変更可能である。また、以下に示す実施形態を適宜組み合わせるようにしてもよい。   Embodiments of the present invention will be described below with reference to the drawings. In addition, this invention is not limited to the following embodiment, It can change suitably. Moreover, you may make it combine embodiment shown below suitably.

［第１実施形態］
第１実施形態による撮像装置及び撮像方法について図１〜図５を用いて説明する。図１は、第１実施形態による撮像装置の構成を示すブロック図である。
本実施形態による撮像装置１００は、固体撮像素子１０１と、信号処理部１０２と、制御部１０３と、表示部１０４と、記録部１０５と、設定部１０６と、撮影指示部１０７と、レンズ駆動部１０８とを備えている。また、撮像装置１００には、撮影レンズ（撮像光学系、レンズユニット）１０９が備えられる。撮影レンズ１０９は、撮像装置１００のボディ（本体）から着脱可能であってもよいし着脱不能であってもよい。固体撮像素子１０１は、撮影レンズ１０９によって形成される光学像を光電変換することによって撮像信号を生成し、生成した撮像信号を出力する。信号処理部１０２は、固体撮像素子１０１から出力される撮像信号に対して補正処理等の所定の信号処理（画像処理）等を行う。制御部（全体制御・演算部、制御手段）１０３は、撮像装置１００全体の制御を司るとともに、所定の演算処理等を行う。制御部１０３は、信号処理部１０２によって信号処理等が施された撮像信号に対して、現像や圧縮等の所定の信号処理（画像処理）等を行う。表示部１０４は、制御部１０３によって信号処理等が施された撮像信号や、撮像装置１００の駆動設定情報等を表示する。記録部１０５には、図示しない記録媒体が備えられる。かかる記録媒体は、記録部１０５から着脱可能であってもよいし着脱不能であってもよい。記録部１０５は、制御部１０３によって信号処理等が施された撮像信号等を記録媒体に記録する。設定部１０６は、撮影モードや蓄積期間等の設定を行うためのものであり、ユーザ等によって操作される。制御部１０３は、設定部１０６を介してユーザによって行われた設定に基づいて、撮像装置１００を動作させる。具体的には、制御部１０３は、撮像装置１００の各機能ブロックを駆動するための制御信号や、固体撮像素子１０１を制御するための制御データ等を出力する。各種の駆動設定が自動的に行われるようにユーザ等が設定部１０６を介して設定した場合には、不図示の検出部や撮像信号を用いた被写体検知や光量検知等に基づいて、制御部１０３は、各種の駆動設定を自動で行う。撮影指示部（撮影指示手段）１０７は、撮影の指示を行うためのものあり、ユーザ等によって操作される。撮影指示部１０７には、例えば、撮影開始ボタンが備えられている。撮影開始の指示が撮影指示部１０７を介してユーザによって行われると、制御部１０３は、撮影開始の指示を固体撮像素子１０１に対して行うとともに、固体撮像素子１０１への制御データの送信を開始する。レンズ駆動部１０８は、合焦動作や絞りの開閉等、撮影レンズ１０９の駆動を行う。撮影レンズ１０９は、被写体の光学像を形成し、形成した光学像を固体撮像素子１０１の撮像面に入射させる。 [First Embodiment]
The imaging apparatus and imaging method according to the first embodiment will be described with reference to FIGS. FIG. 1 is a block diagram illustrating a configuration of the imaging apparatus according to the first embodiment.
The imaging apparatus 100 according to the present embodiment includes a solid-state imaging device 101, a signal processing unit 102, a control unit 103, a display unit 104, a recording unit 105, a setting unit 106, a photographing instruction unit 107, and a lens driving unit. 108. In addition, the imaging apparatus 100 includes a photographing lens (imaging optical system, lens unit) 109. The photographing lens 109 may be detachable from the body (main body) of the imaging apparatus 100 or may not be detachable. The solid-state imaging device 101 generates an imaging signal by photoelectrically converting an optical image formed by the photographing lens 109, and outputs the generated imaging signal. The signal processing unit 102 performs predetermined signal processing (image processing) such as correction processing on the imaging signal output from the solid-state imaging device 101. A control unit (overall control / arithmetic unit, control unit) 103 controls the entire imaging apparatus 100 and performs predetermined arithmetic processing and the like. The control unit 103 performs predetermined signal processing (image processing) such as development and compression on the imaging signal subjected to signal processing and the like by the signal processing unit 102. The display unit 104 displays an imaging signal subjected to signal processing or the like by the control unit 103, drive setting information of the imaging device 100, and the like. The recording unit 105 includes a recording medium (not shown). Such a recording medium may be removable from the recording unit 105 or may not be removable. The recording unit 105 records an imaging signal or the like subjected to signal processing or the like by the control unit 103 on a recording medium. The setting unit 106 is for setting a shooting mode, an accumulation period, and the like, and is operated by a user or the like. The control unit 103 operates the imaging apparatus 100 based on settings made by the user via the setting unit 106. Specifically, the control unit 103 outputs a control signal for driving each functional block of the imaging apparatus 100, control data for controlling the solid-state imaging element 101, and the like. When a user or the like sets the drive settings so that various drive settings are automatically performed, a control unit based on a detection unit (not shown), subject detection using an imaging signal, light amount detection, and the like. 103 automatically performs various drive settings. An imaging instruction unit (imaging instruction means) 107 is used for instructing imaging and is operated by a user or the like. The shooting instruction unit 107 includes, for example, a shooting start button. When an instruction to start shooting is given by the user via the shooting instruction unit 107, the control unit 103 gives an instruction to start shooting to the solid-state image sensor 101 and starts transmission of control data to the solid-state image sensor 101. To do. The lens driving unit 108 drives the photographing lens 109 such as a focusing operation and opening / closing of a diaphragm. The photographing lens 109 forms an optical image of a subject and makes the formed optical image incident on the imaging surface of the solid-state imaging device 101.

図２は、本実施形態による固体撮像素子を示す図である。図２（ａ）は、固体撮像素子１０１の第１の基板を概念的に示す平面図である。図２（ｂ）は、固体撮像素子１０１の第２の基板を概念的に示す平面図である。図２（ｃ）は、固体撮像素子１０１の断面図である。図２（ｃ）は、図２（ａ）及び図２（ｂ）に示すＩ−Ｉ′線に対応している。   FIG. 2 is a diagram illustrating the solid-state imaging device according to the present embodiment. FIG. 2A is a plan view conceptually showing the first substrate of the solid-state image sensor 101. FIG. 2B is a plan view conceptually showing the second substrate of the solid-state image sensor 101. FIG. 2C is a cross-sectional view of the solid-state image sensor 101. FIG. 2C corresponds to the line II ′ shown in FIGS. 2A and 2B.

図２（ａ）に示すように、第１の基板２０１の受光面（撮像面）には、複数のセンサ部（センサ、受光部）２０３が２次元状に配列されたセンサ部アレイ２０２が備えられている。センサ部２０３は、後述する計数部２１０（図２（ｂ）参照）とともに画素３０４（図３参照）を構成する。なお、センサ部２０３の構成については、図３を用いて後述することとする。   As shown in FIG. 2A, the light receiving surface (imaging surface) of the first substrate 201 includes a sensor unit array 202 in which a plurality of sensor units (sensors, light receiving units) 203 are two-dimensionally arranged. It has been. The sensor unit 203 constitutes a pixel 304 (see FIG. 3) together with a counting unit 210 (see FIG. 2B) described later. The configuration of the sensor unit 203 will be described later with reference to FIG.

図２（ｂ）に示すように、第２の基板２０４には、複数の計数部（計数回路）２１０が２次元状に配列された計数部アレイ（計数回路アレイ）２０５が備えられている。計数部２１０は、センサ部２０３から出力される信号のパルスの数を計数する。なお、計数部２１０の構成については、図３を用いて後述することとする。複数の計数部２１０の各々は、複数のセンサ部２０３の各々に対応するように設けられている。センサ部２０３と計数部２１０とによって画素３０４（図３参照）が構成される。こうして、複数の画素３０４が２次元状に配列された画素アレイが固体撮像素子１０１に備えられている。   As shown in FIG. 2B, the second substrate 204 is provided with a counter unit array (counter circuit array) 205 in which a plurality of counter units (counter circuits) 210 are two-dimensionally arranged. The counting unit 210 counts the number of pulses of the signal output from the sensor unit 203. The configuration of the counting unit 210 will be described later with reference to FIG. Each of the plurality of counting units 210 is provided so as to correspond to each of the plurality of sensor units 203. The sensor unit 203 and the counting unit 210 constitute a pixel 304 (see FIG. 3). Thus, the solid-state imaging device 101 is provided with a pixel array in which a plurality of pixels 304 are two-dimensionally arranged.

第２の基板２０４には、第１の走査部（垂直走査回路）２０６が備えられている。第１の走査部２０６には、水平方向に延在する複数の制御線２０８が接続されている。同じ行に位置する複数の計数部２１０は、同じ制御線２０８に共通接続されている。第１の走査部２０６は、制御線２０８に対して所定の制御信号を適宜印加することにより、計数部アレイ２０５の各行に位置している複数の計数部２１０を行単位で制御する。なお、画素アレイの行数はｍとし、画素アレイの列数はｎとする。また、ここでは、図面を簡略化するため、走査パルスＰＶ１を供給するための制御線と走査パルスＰＶ２を供給するための制御線とが１つの線を用いて示されている。しかし、実際には、走査パルスＰＶ１を供給するための制御線と走査パルスＰＶ２を供給するための制御線とは別個に設けられている。   The second substrate 204 is provided with a first scanning unit (vertical scanning circuit) 206. A plurality of control lines 208 extending in the horizontal direction are connected to the first scanning unit 206. A plurality of counting units 210 located in the same row are commonly connected to the same control line 208. The first scanning unit 206 controls a plurality of counting units 210 located in each row of the counting unit array 205 in units of rows by appropriately applying a predetermined control signal to the control line 208. Note that the number of rows in the pixel array is m, and the number of columns in the pixel array is n. Here, in order to simplify the drawing, a control line for supplying the scan pulse PV1 and a control line for supplying the scan pulse PV2 are shown using one line. However, actually, a control line for supplying the scan pulse PV1 and a control line for supplying the scan pulse PV2 are provided separately.

また、第２の基板２０４には、複数の読み出しメモリ２２０が備えられた記憶部２０７が備えられている。各々の読み出しメモリ２２０には、垂直方向に延在する複数の信号線２１４がそれぞれ接続されている。読み出しメモリ２２０は各列に備えられており、同じ列に位置する複数の計数部２１０が共通の信号線２１４を介して読み出しメモリ２２０に接続されている。読み出しメモリ２２０は、計数部２１０から信号線２１４を介して出力される信号を一時的に記憶する。読み出しメモリ２２０は、計数部アレイ２０５から行単位で読み出される信号を一括して記憶する。即ち、読み出しメモリ２２０は、１行分の信号を記憶する。なお、読み出しメモリ２２０の構成については、図３を用いて後述することとする。   Further, the second substrate 204 is provided with a storage unit 207 provided with a plurality of read memories 220. Each read memory 220 is connected to a plurality of signal lines 214 extending in the vertical direction. A read memory 220 is provided in each column, and a plurality of counting units 210 located in the same column are connected to the read memory 220 via a common signal line 214. The read memory 220 temporarily stores a signal output from the counting unit 210 via the signal line 214. The read memory 220 collectively stores signals read from the counter array 205 in units of rows. That is, the read memory 220 stores signals for one row. Note that the configuration of the read memory 220 will be described later with reference to FIG.

また、第２の基板２０４には、第２の走査部（水平走査回路）２１１が備えられている。第２の走査部２１１は、複数の読み出しメモリ２２０の各々に記憶された信号が撮像信号生成部２０９に順次出力されるように、複数の読み出しメモリ２２０に対して走査を行う。第２の走査部２１１には、垂直方向に延在する複数の制御線２２１が接続されている。第２の走査部２１１は、制御線２２１に対して所定の制御信号を適宜印加することにより、各列の読み出しメモリ２２０を制御する。なお、ここでは、図面を簡略化するため、走査パルスＰＨ１を供給するための制御線と走査パルスＰＨ２を供給するための制御線とが１つの線を用いて示されている。しかし、実際には、走査パルスＰＨ１を供給するための制御線と走査パルスＰＨ２を供給するための制御線とが別個に設けられている。   The second substrate 204 includes a second scanning unit (horizontal scanning circuit) 211. The second scanning unit 211 scans the plurality of readout memories 220 so that the signals stored in each of the plurality of readout memories 220 are sequentially output to the imaging signal generation unit 209. A plurality of control lines 221 extending in the vertical direction are connected to the second scanning unit 211. The second scanning unit 211 controls the readout memory 220 of each column by appropriately applying a predetermined control signal to the control line 221. Here, in order to simplify the drawing, a control line for supplying the scan pulse PH1 and a control line for supplying the scan pulse PH2 are shown using one line. However, actually, a control line for supplying the scan pulse PH1 and a control line for supplying the scan pulse PH2 are provided separately.

タイミングジェネレータ（ＴＧ：Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）２１２は、制御部１０３から供給される撮影開始の指示や制御データに基づいて、固体撮像素子１０１の各部の駆動を制御するための駆動信号を生成する。タイミングジェネレータ２１２は、固体撮像素子１０１の各部を制御する制御部（制御手段）として機能し得る。例えば、タイミングジェネレータ２１２は、第１の走査部２０６、第２の走査部２１１、記憶部２０７、撮像信号生成部２０９をそれぞれ駆動するための駆動信号を生成する。また、タイミングジェネレータ２１２は、第１のメモリ３１１，第２のメモリ３１２，第３のメモリ３１３，第４のメモリ３１４（図４参照）にカウント値をそれぞれ取得させるためのカウント値取得信号Ｐ１〜Ｐ４を生成する。カウント値取得信号Ｐ１〜Ｐ４は、各々の計数部２１０に備えられたメモリ３１１〜３１４に、後述するカウント値ＣＯＵＮＴ１〜ＣＯＵＮＴ４を取得させるための信号である。カウント値取得信号Ｐ１〜Ｐ４は、制御線２２２を介して全ての計数部２１０に対して供給される。なお、ここでは、図面を簡略化するため、カウント値取得信号Ｐ１〜Ｐ４を供給するための制御線２２２が１つの線を用いて示されているが、実際にはカウント値取得信号Ｐ１〜Ｐ４をそれぞれ供給するための制御線２２２が別個に設けられている。撮像信号生成部２０９は、各々の計数部２１０によってそれぞれ取得される後述するカウント値ＣＯＵＮＴ１〜ＣＯＵＮＴ４を用いて後述する第１の撮像信号Ｓｉｇ１及び第２の撮像信号Ｓｉｇ２を生成する。そして、撮像信号生成部２０９は、これらの撮像信号Ｓｉｇ１，Ｓｉｇ２を信号線ＯＵＴ１，ＯＵＴ２にそれぞれ出力する。なお、撮像信号生成部２０９の構成については、図３を用いて後述することとする。   A timing generator (TG) 212 generates a driving signal for controlling driving of each unit of the solid-state imaging device 101 based on an instruction to start imaging and control data supplied from the control unit 103. The timing generator 212 can function as a control unit (control unit) that controls each unit of the solid-state imaging device 101. For example, the timing generator 212 generates drive signals for driving the first scanning unit 206, the second scanning unit 211, the storage unit 207, and the imaging signal generation unit 209, respectively. In addition, the timing generator 212 has count value acquisition signals P1 to P1 for causing the first memory 311, the second memory 312, the third memory 313, and the fourth memory 314 (see FIG. 4) to acquire count values, respectively. P4 is generated. The count value acquisition signals P1 to P4 are signals for causing the memories 311 to 314 provided in the respective counting units 210 to acquire count values COUNT1 to COUNT4 described later. The count value acquisition signals P <b> 1 to P <b> 4 are supplied to all the counting units 210 via the control line 222. Here, in order to simplify the drawing, the control line 222 for supplying the count value acquisition signals P1 to P4 is shown using one line, but in reality, the count value acquisition signals P1 to P4 are shown. Are separately provided with control lines 222. The imaging signal generation unit 209 generates a first imaging signal Sig1 and a second imaging signal Sig2 to be described later using count values COUNT1 to COUNT4 to be described later acquired by the respective counting units 210. Then, the imaging signal generation unit 209 outputs these imaging signals Sig1 and Sig2 to the signal lines OUT1 and OUT2, respectively. The configuration of the imaging signal generation unit 209 will be described later with reference to FIG.

図２（ｃ）に示すように、固体撮像素子１０１は、第１の基板２０１と第２の基板２０４とを積層することによって構成されている。第１の基板２０１に備えられたセンサ部２０３と、第２の基板２０４に備えられた計数部２１０とが、導電体から成る接続部２１３を介して接続されている。なお、ここでは、センサ部２０３と計数部２１０とを別個の基板に設ける場合を例に説明したが、これに限定されるものではない。例えば、センサ部２０３と計数部２１０とが同じ基板に形成されていてもよい。但し、センサ部２０３の面積を大きく確保して感度等を向上させる観点や、画素数を向上する観点からは、センサ部２０３と計数部２１０とを別個の基板に形成することが好ましい。   As shown in FIG. 2C, the solid-state imaging device 101 is configured by laminating a first substrate 201 and a second substrate 204. The sensor unit 203 provided on the first substrate 201 and the counting unit 210 provided on the second substrate 204 are connected via a connection unit 213 made of a conductor. Here, the case where the sensor unit 203 and the counting unit 210 are provided on separate substrates has been described as an example, but the present invention is not limited to this. For example, the sensor unit 203 and the counting unit 210 may be formed on the same substrate. However, it is preferable to form the sensor unit 203 and the counting unit 210 on separate substrates from the viewpoint of ensuring a large area of the sensor unit 203 and improving sensitivity and the like, and from the viewpoint of improving the number of pixels.

図３は、本実施形態による固体撮像素子を示す図である。説明の便宜上、図３においては、第１の基板２０１に備えられた複数のセンサ部２０３のうちの１つのセンサ部２０３が抜き出して示されている。また、図３においては、第２の基板２０４に備えられた複数の計数部２１０のうちの１つの計数部２１０が抜き出して示されている。図３においては、記憶部２０７に備えられた複数の読み出しメモリ２２０のうちの１つの読み出しメモリ２２０が抜き出して示されている。上述したように、センサ部２０３と計数部２１０とによって画素３０４が構成されている。上述したように、画素３０４は２次元状に配列されている。   FIG. 3 is a diagram illustrating the solid-state imaging device according to the present embodiment. For convenience of explanation, in FIG. 3, one sensor unit 203 is extracted from the plurality of sensor units 203 provided on the first substrate 201. Further, in FIG. 3, one counting unit 210 is extracted from the plurality of counting units 210 provided on the second substrate 204. In FIG. 3, one read memory 220 is extracted from the plurality of read memories 220 provided in the storage unit 207. As described above, the pixel 304 is configured by the sensor unit 203 and the counting unit 210. As described above, the pixels 304 are arranged two-dimensionally.

図３に示すように、センサ部２０３には、フォトダイオード（光電変換素子）３０１と、リセットトランジスタ（リセット手段）３０２と、インバータ（波形整形手段）３０３とが備えられている。フォトダイオード３０１としては、例えばアバランシェフォトダイオードが用いられている。アバランシェフォトダイオードとは、アバランシェ効果を利用した光電子増倍作用を奏するフォトダイオードである。アバランシェ効果とは、高い逆電圧が印加された半導体の受光部に光が入射すると、光子の衝突によって発生した電子が電界で加速され、衝突電離を引き起こす過程が繰り返し発生することで、電子が雪崩（ａｖａｌａｎｃｈｅ）のように増える効果のことである。フォトダイオード３０１のアノードは、接地されている。フォトダイオード３０１のカソードは、インバータ３０３の入力端子に接続されているとともに、リセットトランジスタ３０２のソースとに接続されている。インバータ３０３の出力ノードは、リセットトランジスタ３０２のゲートに接続されているとともに、計数部２１０の入力ノードに接続されている。リセットトランジスタ３０２のドレインは、所定の電位（リセット電位）Ｖｒに接続されている。   As shown in FIG. 3, the sensor unit 203 includes a photodiode (photoelectric conversion element) 301, a reset transistor (reset means) 302, and an inverter (waveform shaping means) 303. As the photodiode 301, for example, an avalanche photodiode is used. An avalanche photodiode is a photodiode that exhibits a photomultiplier action utilizing the avalanche effect. The avalanche effect means that when light is incident on a semiconductor light-receiving part to which a high reverse voltage is applied, electrons generated by the collision of photons are accelerated by an electric field, and a process that causes impact ionization occurs repeatedly. It is an effect that increases like (avalanche). The anode of the photodiode 301 is grounded. The cathode of the photodiode 301 is connected to the input terminal of the inverter 303 and to the source of the reset transistor 302. The output node of the inverter 303 is connected to the gate of the reset transistor 302 and to the input node of the counting unit 210. The drain of the reset transistor 302 is connected to a predetermined potential (reset potential) Vr.

リセットトランジスタ３０２がオフ状態の際に、フォトダイオード３０１に光子が到達すると、フォトダイオード３０１のカソード電位が低下する。フォトダイオード３０１のカソード電位が低下すると、インバータ３０３の出力がローレベルからハイレベルに転じ、リセットトランジスタ３０２がオン状態となり、フォトダイオード３０１のカソード電位が所定の電位Ｖｒにリセットされる。フォトダイオード３０１のカソード電位が所定の電位Ｖｒにリセットされると、インバータ３０３の出力がハイレベルからローレベルに転じ、リセットトランジスタ３０２がオフ状態に戻る。このように、センサ部２０３は、フォトダイオード３０１に光子が到達するごとに、パルス信号ＣＬＫが１パルス出力されるように構成されている。センサ部２０３から出力されるパルス信号ＣＬＫのパルス数は、フォトダイオード３０１における光子の受光頻度に応じて変化する。   When a photon reaches the photodiode 301 when the reset transistor 302 is off, the cathode potential of the photodiode 301 is lowered. When the cathode potential of the photodiode 301 is lowered, the output of the inverter 303 is changed from a low level to a high level, the reset transistor 302 is turned on, and the cathode potential of the photodiode 301 is reset to a predetermined potential Vr. When the cathode potential of the photodiode 301 is reset to the predetermined potential Vr, the output of the inverter 303 changes from the high level to the low level, and the reset transistor 302 returns to the off state. As described above, the sensor unit 203 is configured to output one pulse of the pulse signal CLK each time a photon reaches the photodiode 301. The number of pulses of the pulse signal CLK output from the sensor unit 203 changes according to the frequency of photon reception in the photodiode 301.

計数部２１０は、カウンタ（計数手段）３１５と、複数のメモリ（記憶手段）３１１〜３１４とを備えている。ここでは、２つの画像の蓄積期間（撮像期間）が重複してもよいようにするため、１つの計数部２１０に４つのメモリ３１１〜３１４が備えられている場合を例に説明するが、１つの計数部２１０に備えられるメモリの数はこれに限定されるものではない。例えば、ｐ個の画像の蓄積期間が重複してもよいようにするために、２×ｐ個のメモリを１つの計数部２１０に備えるようにしてもよい。   The counting unit 210 includes a counter (counting unit) 315 and a plurality of memories (storage units) 311 to 314. Here, a case where four memories 311 to 314 are provided in one counting unit 210 will be described as an example in order to allow two image accumulation periods (imaging periods) to overlap. The number of memories provided in one counting unit 210 is not limited to this. For example, 2 × p memories may be provided in one counting unit 210 so that the accumulation periods of p images may overlap.

カウンタ３１５は、センサ部２０３から出力されるパルス信号ＣＬＫのパルス数、具体的には、パルスの立ち上がりの回数をカウントすることによって、センサ部２０３に到達した光子の数をカウントする。ここでは、説明の簡略化のため、カウンタ３１５の出力線は１本のみ示されているが、実際には、カウンタ３１５の出力ビット数の分だけ出力線が設けられている。第１のメモリ３１１は、第１の画像（第１のフレーム）の撮像開始時のカウント値ＣＯＵＮＴ１を記憶するためのものである。タイミングジェネレータ２１２から出力されるパルス状のカウント値取得信号Ｐ１が第１のメモリ３１１に入力されると、第１のメモリ３１１はカウンタ３１５によるカウント値ＣＯＵＮＴ１を記憶する。第２のメモリ３１２は、第１の画像の撮像終了時のカウント値ＣＯＵＮＴ２を記憶するためのものである。タイミングジェネレータ２１２から出力されるパルス状のカウント値取得信号Ｐ２が第２のメモリ３１２に入力されると、第２のメモリ３１２はカウンタ３１５によるカウント値ＣＯＵＮＴ２を記憶する。第３のメモリ３１３は、第２の画像（第２のフレーム）の撮像開始時のカウント値ＣＯＵＮＴ３を記憶するためのものである。タイミングジェネレータ２１２から出力されるパルス状のカウント値取得信号Ｐ３が第３のメモリ３１３に入力されると、第３のメモリ３１３はカウンタ３１５によるカウント値ＣＯＵＮＴ３を記憶する。第４のメモリ３１４は、第２の画像の撮像終了時のカウント値ＣＯＵＮＴ４を記憶するためのものである。タイミングジェネレータ２１２から出力されるパルス状のカウント値取得信号Ｐ４が第４のメモリ３１４に入力されると、第４のメモリ３１４はカウンタ３１５によるカウント値ＣＯＵＮＴ４を記憶する。   The counter 315 counts the number of photons that have reached the sensor unit 203 by counting the number of pulses of the pulse signal CLK output from the sensor unit 203, specifically, the number of rises of the pulse. Here, for simplification of explanation, only one output line of the counter 315 is shown, but in reality, output lines are provided as many as the number of output bits of the counter 315. The first memory 311 is for storing a count value COUNT1 at the start of imaging of the first image (first frame). When the pulse-like count value acquisition signal P <b> 1 output from the timing generator 212 is input to the first memory 311, the first memory 311 stores the count value COUNT <b> 1 by the counter 315. The second memory 312 is for storing a count value COUNT2 at the end of imaging of the first image. When the pulse-like count value acquisition signal P2 output from the timing generator 212 is input to the second memory 312, the second memory 312 stores the count value COUNT2 by the counter 315. The third memory 313 stores the count value COUNT3 at the start of imaging of the second image (second frame). When the pulsed count value acquisition signal P3 output from the timing generator 212 is input to the third memory 313, the third memory 313 stores the count value COUNT3 by the counter 315. The fourth memory 314 is for storing a count value COUNT4 at the end of imaging of the second image. When the pulsed count value acquisition signal P4 output from the timing generator 212 is input to the fourth memory 314, the fourth memory 314 stores the count value COUNT4 by the counter 315.

読み出しメモリ２２０は、上述したように各列に備えられている。各々の読み出しメモリ２２０には、第１のバッファメモリ３２１、第２のバッファメモリ３２２、第３のバッファメモリ３２３、第４のバッファメモリ３２４がそれぞれ備えられている。バッファメモリ３２１〜３２４は、メモリ３１１〜３１４からそれぞれ出力される信号を一時的に記憶するためのものである。第１のメモリ３１１は、走査パルスＰＶ１が第１の走査部２０６から供給されると、記憶しているカウント値ＣＯＵＮＴ１を第１のバッファメモリ３２１に出力する。第２のメモリ３１２は、走査パルスＰＶ１が第１の走査部２０６から供給されると、記憶しているカウント値ＣＯＵＮＴ２を第２のバッファメモリ３２２に出力する。第３のメモリ３１３は、走査パルスＰＶ２が第１の走査部２０６から供給されると、記憶しているカウント値ＣＯＵＮＴ３を第３のバッファメモリ３２３に出力する。第４のメモリ３１４は、走査パルスＰＶ２が第１の走査部２０６から供給されると、記憶しているカウント値ＣＯＵＮＴ４を第４のバッファメモリ３２４に出力する。バッファメモリ３２１〜３２４の各々は、メモリ３１１〜３１４からそれぞれ入力されたカウント値ＣＯＵＮＴ１〜ＣＯＵＮＴ４を記憶する。なお、ここでは、説明の簡略化のため、メモリ３１１〜３１４の出力線がそれぞれ１本ずつ示されているが、実際には、カウンタ３１５の出力ビット数の分だけメモリ３１１〜３１４の出力線が設けられている。   The read memory 220 is provided in each column as described above. Each read memory 220 includes a first buffer memory 321, a second buffer memory 322, a third buffer memory 323, and a fourth buffer memory 324, respectively. The buffer memories 321 to 324 are for temporarily storing signals output from the memories 311 to 314, respectively. When the scan pulse PV <b> 1 is supplied from the first scanning unit 206, the first memory 311 outputs the stored count value COUNT <b> 1 to the first buffer memory 321. When the scan pulse PV <b> 1 is supplied from the first scanning unit 206, the second memory 312 outputs the stored count value COUNT <b> 2 to the second buffer memory 322. When the scan pulse PV <b> 2 is supplied from the first scanning unit 206, the third memory 313 outputs the stored count value COUNT <b> 3 to the third buffer memory 323. When the scan pulse PV2 is supplied from the first scanning unit 206, the fourth memory 314 outputs the stored count value COUNT4 to the fourth buffer memory 324. Each of the buffer memories 321 to 324 stores the count values COUNT1 to COUNT4 input from the memories 311 to 314, respectively. Here, for simplification of explanation, one output line of each of the memories 311 to 314 is shown, but in reality, the output lines of the memories 311 to 314 correspond to the number of output bits of the counter 315. Is provided.

撮像信号生成部２０９には、第１の減算回路３３１と第２の減算回路３３２とが備えられている。第１の減算回路３３１は、第２のバッファメモリ３２２から出力されるカウント値ＣＯＵＮＴ２から第１のバッファメモリ３２１から出力されるカウント値ＣＯＵＮＴ１を減算するためのものである。第１のバッファメモリ３２１は、走査パルスＰＨ１が第２の走査部２１１から供給されると、記憶しているカウント値ＣＯＵＮＴ１を第１の減算回路３３１に出力する。第２のバッファメモリ３２２は、走査パルスＰＨ１が第２の走査部２１１から供給されると、記憶しているカウント値ＣＯＵＮＴ２を第１の減算回路３３１に出力する。第１の減算回路３３１は、第２のバッファメモリ３２２から出力されるカウント値ＣＯＵＮＴ２から、第１のバッファメモリ３２１から出力されるカウント値ＣＯＵＮＴ１を減算する。そして、第１の減算回路３３１は、こうして得られる差分値を、当該画素３０４の第１の撮像信号（画素値）Ｓｉｇ１として信号線ＯＵＴ１に出力する。第１の撮像信号Ｓｉｇ１は、第１の画像の蓄積期間中（撮像中）に当該画素３０４に到達した光子の数に相当している。第２の減算回路３３２は、第４のバッファメモリ３２４から出力されるカウント値ＣＯＵＮＴ４から第３のバッファメモリ３２３から出力されるカウント値ＣＯＵＮＴ３を減算するためのものである。第３のバッファメモリ３２３は、走査パルスＰＨ２が第２の走査部２１１から供給されると、記憶しているカウント値ＣＯＵＮＴ３を第２の減算回路３３２に出力する。第４のバッファメモリ３２４は、走査パルスＰＨ２が第２の走査部２１１から供給されると、記憶しているカウント値ＣＯＵＮＴ４を第２の減算回路３３２に出力する。第２の減算回路３３２は、第４のバッファメモリ３２４から出力されるカウント値ＣＯＵＮＴ４から、第３のバッファメモリ３２３から出力されるカウント値ＣＯＵＮＴ３を減算する。そして、第２の減算回路３３２は、こうして得られる差分値を、当該画素３０４の第２の撮像信号Ｓｉｇ２として信号線ＯＵＴ２に出力する。第２の撮像信号Ｓｉｇ２は、第２の画像の蓄積期間中に当該画素３０４に到達した光子の数に相当している。なお、ここでは、説明の簡略化のため、バッファメモリ３２１〜３２４の出力線がそれぞれ１本ずつ示されているが、実際には、カウンタ３１５の出力ビット数の分だけバッファメモリ３２１〜３２４の出力線が設けられている。   The imaging signal generation unit 209 is provided with a first subtraction circuit 331 and a second subtraction circuit 332. The first subtraction circuit 331 is for subtracting the count value COUNT1 output from the first buffer memory 321 from the count value COUNT2 output from the second buffer memory 322. When the scanning pulse PH1 is supplied from the second scanning unit 211, the first buffer memory 321 outputs the stored count value COUNT1 to the first subtraction circuit 331. When the scanning pulse PH1 is supplied from the second scanning unit 211, the second buffer memory 322 outputs the stored count value COUNT2 to the first subtraction circuit 331. The first subtraction circuit 331 subtracts the count value COUNT1 output from the first buffer memory 321 from the count value COUNT2 output from the second buffer memory 322. Then, the first subtraction circuit 331 outputs the difference value thus obtained to the signal line OUT1 as the first imaging signal (pixel value) Sig1 of the pixel 304. The first imaging signal Sig1 corresponds to the number of photons that have reached the pixel 304 during the accumulation period of the first image (during imaging). The second subtraction circuit 332 is for subtracting the count value COUNT3 output from the third buffer memory 323 from the count value COUNT4 output from the fourth buffer memory 324. When the scanning pulse PH2 is supplied from the second scanning unit 211, the third buffer memory 323 outputs the stored count value COUNT3 to the second subtraction circuit 332. When the scan pulse PH <b> 2 is supplied from the second scanning unit 211, the fourth buffer memory 324 outputs the stored count value COUNT <b> 4 to the second subtraction circuit 332. The second subtraction circuit 332 subtracts the count value COUNT3 output from the third buffer memory 323 from the count value COUNT4 output from the fourth buffer memory 324. Then, the second subtraction circuit 332 outputs the difference value thus obtained to the signal line OUT2 as the second imaging signal Sig2 of the pixel 304. The second imaging signal Sig2 corresponds to the number of photons that have reached the pixel 304 during the second image accumulation period. Here, for simplification of explanation, one output line of each of the buffer memories 321 to 324 is shown, but in actuality, the buffer memories 321 to 324 correspond to the number of output bits of the counter 315. An output line is provided.

図４は、本実施形態による撮像装置の動作を示すタイミングチャートである。なお、ここでは、第１の画像の撮像が終了していない段階で第２の画像の撮像を行う場合を例に説明するが、これに限定されるものではない。
タイミングｔ４０１において、第１の画像の撮像開始の指示が撮影指示部１０７を介してユーザ等によって行われると、制御部１０３は、固体撮像素子１０１に対して、第１の画像の撮像開始の指示と、制御データとを送信する。当該制御データは、当該第１の画像の蓄積期間（第１の蓄積期間）の設定情報を含む。第１の画像の撮像開始の指示を受信すると、タイミングジェネレータ２１２は、カウント値取得信号Ｐ１を第１のメモリ３１１に対して出力する。かかるカウント値取得信号Ｐ１は、計数部アレイ２０５に備えられた全ての計数部２１０にそれぞれ備えられた第１のメモリ３１１にそれぞれ供給される。各々の第１のメモリ３１１は、カウント値取得信号Ｐ１を受信すると、当該カウント値取得信号Ｐ１を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ１を記憶する。 FIG. 4 is a timing chart illustrating the operation of the imaging apparatus according to the present embodiment. Note that, here, a case where the second image is captured in a stage where the first image has not been captured is described as an example, but the present invention is not limited to this.
When an instruction to start imaging the first image is given by the user or the like via the imaging instruction unit 107 at timing t401, the control unit 103 instructs the solid-state imaging device 101 to start imaging the first image. And control data. The control data includes setting information for the accumulation period (first accumulation period) of the first image. When receiving an instruction to start capturing the first image, the timing generator 212 outputs a count value acquisition signal P1 to the first memory 311. The count value acquisition signal P1 is supplied to each of the first memories 311 provided in all the counting units 210 provided in the counting unit array 205. Each of the first memories 311 receives the count value acquisition signal P1, and stores the count value COUNT1 of the counter 315 when the count value acquisition signal P1 is received.

第１の画像の蓄積期間中であるタイミングｔ４０２において、第２の画像の撮像開始の指示が撮影指示部１０７を介してユーザ等によって行われると、制御部１０３は、固体撮像素子１０１に対して、第２の画像の撮像開始の指示と、制御データとを送信する。当該制御データは、当該第２の画像の蓄積期間（第２の蓄積期間）の設定情報を含む。第２の画像の蓄積期間は、第１の画像の蓄積期間と同等であってもよいし異なっていてもよい。第２の画像の撮像開始の指示を受信すると、タイミングジェネレータ２１２は、カウント値取得信号Ｐ３を第３のメモリ３１３に対して出力する。かかるカウント値取得信号Ｐ３は、計数部アレイ２０５に備えられた全ての計数部２１０にそれぞれ備えられた第３のメモリ３１３にそれぞれ供給される。各々の第３のメモリ３１３は、カウント値取得信号Ｐ３を受信すると、当該カウント値取得信号Ｐ３を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ３を記憶する。   When an instruction to start imaging of the second image is given by the user or the like via the imaging instruction unit 107 at timing t402 during the first image accumulation period, the control unit 103 instructs the solid-state imaging element 101. The second image capturing start instruction and control data are transmitted. The control data includes setting information for the accumulation period (second accumulation period) of the second image. The accumulation period of the second image may be the same as or different from the accumulation period of the first image. When receiving an instruction to start capturing the second image, the timing generator 212 outputs a count value acquisition signal P3 to the third memory 313. The count value acquisition signal P3 is supplied to the third memories 313 provided in all the counting units 210 provided in the counting unit array 205, respectively. Each of the third memories 313, when receiving the count value acquisition signal P3, stores the count value COUNT3 of the counter 315 when the count value acquisition signal P3 is received.

タイミングｔ４０１から第１の蓄積期間が経過したタイミングｔ４０３において、タイミングジェネレータ２１２は、カウント値取得信号Ｐ２を第２のメモリ３１２に対して出力する。かかるカウント値取得信号Ｐ２は、計数部アレイ２０５に備えられた全ての計数部２１０にそれぞれ備えられた第２のメモリ３１２にそれぞれ供給される。各々の第２のメモリ３１２は、カウント値取得信号Ｐ２を受信すると、当該カウント値取得信号Ｐ２を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ２を記憶する。   At timing t403 when the first accumulation period has elapsed from timing t401, the timing generator 212 outputs a count value acquisition signal P2 to the second memory 312. The count value acquisition signal P2 is supplied to each of the second memories 312 provided in all the counting units 210 provided in the counting unit array 205. Each of the second memories 312 stores the count value COUNT2 of the counter 315 when the count value acquisition signal P2 is received when the count value acquisition signal P2 is received.

タイミングｔ４０２から第２の蓄積期間が経過したタイミングｔ４０４において、タイミングジェネレータ２１２は、カウント値取得信号Ｐ４を第４のメモリ３１４に対して出力する。かかるカウント値取得信号Ｐ４は、計数部アレイ２０５に備えられた全ての計数部２１０にそれぞれ備えられた第４のメモリ３１４にそれぞれ供給される。各々の第４のメモリ３１４は、カウント値取得信号Ｐ４を受信すると、当該カウント値取得信号Ｐ４を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ４を記憶する。   At timing t404 when the second accumulation period has elapsed from timing t402, the timing generator 212 outputs a count value acquisition signal P4 to the fourth memory 314. The count value acquisition signal P4 is supplied to each of the fourth memories 314 included in all the counters 210 included in the counter array 205. Each of the fourth memories 314, when receiving the count value acquisition signal P4, stores the count value COUNT4 of the counter 315 when the count value acquisition signal P4 is received.

タイミングｔ４０５において、第１の走査部２０６は、計数部アレイ２０５の第１行目に位置する複数の計数部２１０の各々に備えられたメモリ３１１〜３１４に走査パルスＰＶ１、ＰＶ２を供給する。これにより、計数部アレイ２０５の第１行目に位置する複数の計数部２１０の各々に備えられたメモリ３１１〜３１４からカウント値ＣＯＵＮＴ１＿１〜ＣＯＵＮＴ４＿１がそれぞれ読み出される。メモリ３１１〜３１４からそれぞれ読み出されるカウント値ＣＯＵＮＴ１＿１〜ＣＯＵＮＴ４＿１は、記憶部２０７に備えられた複数の読み出しメモリ２２０の各々に備えられたバッファメモリ３２１〜３２４にそれぞれ記憶される。第２の走査部２１１は、記憶部２０７に備えられた複数の読み出しメモリ２２０のうちの第１列目に位置する読み出しメモリ２２０に対して走査パルスＰＨ１，ＰＨ２を供給する。これにより、第１列目の読み出しメモリ２２０に備えられたバッファメモリ３２１〜３２４からカウント値ＣＯＵＮＴ１＿１〜ＣＯＵＮＴ４＿１が読み出される。第１のバッファメモリ３２１から読み出されるカウント値ＣＯＵＮＴ１＿１と、第２のバッファメモリ３２２から読み出されるＣＯＵＮＴ２＿１とが、第１の減算回路３３１に入力される。第１の減算回路３３１にこの際に入力されるカウント値ＣＯＵＮＴ１＿１は、第１行、第１列に位置する計数部２１０の第１の画像の撮像開始の際におけるカウント値である。また、第１の減算回路３３１にこの際に入力されるカウント値ＣＯＵＮＴ２＿１は、第１行、第１列に位置する計数部２１０の第１の画像の蓄積終了の際におけるカウント値である。第１の減算回路３３１は、カウント値ＣＯＵＮＴ２＿１からカウント値ＣＯＵＮＴ１＿１を減算することによって、第１行、第１列の画素３０４の第１の撮像信号Ｓｉｇ１を取得する。第１の撮像信号Ｓｉｇ１は、第１の画像の一部を構成する。第１の減算回路３３１は、こうして得られる第１の撮像信号Ｓｉｇ１を、信号線ＯＵＴ１を介して出力する。また、第３のバッファメモリ３２３から読み出されるカウント値ＣＯＵＮＴ３＿１と、第４のバッファメモリ３２４から読み出されるＣＯＵＮＴ４＿１とが、第２の減算回路３３２に入力される。第２の減算回路３３２にこの際に入力されるカウント値ＣＯＵＮＴ３＿１は、第１行、第１列に位置する計数部２１０の第２の画像の撮像開始の際におけるカウント値である。また、第２の減算回路３３２にこの際に入力されるカウント値ＣＯＵＮＴ４＿１は、第１行、第１列に位置する計数部２１０の第２の画像の蓄積終了の際におけるカウント値である。第２の減算回路３３２は、カウント値ＣＯＵＮＴ４＿１からカウント値ＣＯＵＮＴ３＿１を減算することによって、第１行、第１列の画素３０４の第２の撮像信号Ｓｉｇ２を取得する。こうして得られる第２の撮像信号Ｓｉｇ２は、第２の画像の一部を構成する。第２の減算回路３３２は、こうして取得される第２の撮像信号Ｓｉｇ２を、信号線ＯＵＴ２を介して出力する。この後、第２列目〜第ｎ列目に位置する読み出しメモリ２２０に対して、上記と同様にして読み出しが行われ、第１の撮像信号Ｓｉｇ１と第２の撮像信号Ｓｉｇ２とが上記と同様にして取得される。こうして、第１行目に位置する複数の画素３０４の第１の撮像信号Ｓｉｇ１がそれぞれ取得される。また、第１行目に位置する複数の画素３０４の第２の撮像信号Ｓｉｇ２がそれぞれ取得される。   At timing t <b> 405, the first scanning unit 206 supplies the scanning pulses PV <b> 1 and PV <b> 2 to the memories 311 to 314 provided in each of the plurality of counting units 210 located in the first row of the counting unit array 205. As a result, the count values COUNT1_1 to COUNT4_1 are read from the memories 311 to 314 provided in the plurality of counting units 210 located in the first row of the counting unit array 205, respectively. The count values COUNT1_1 to COUNT4_1 respectively read from the memories 311 to 314 are stored in the buffer memories 321 to 324 provided in each of the plurality of read memories 220 provided in the storage unit 207. The second scanning unit 211 supplies scanning pulses PH <b> 1 and PH <b> 2 to the read memory 220 located in the first column among the multiple read memories 220 provided in the storage unit 207. As a result, the count values COUNT1_1 to COUNT4_1 are read from the buffer memories 321 to 324 provided in the read memory 220 in the first column. The count value COUNT1_1 read from the first buffer memory 321 and the COUNT2_1 read from the second buffer memory 322 are input to the first subtraction circuit 331. The count value COUNT1_1 input at this time to the first subtraction circuit 331 is a count value at the start of imaging of the first image of the counting unit 210 located in the first row and first column. The count value COUNT2_1 input at this time to the first subtracting circuit 331 is a count value at the end of accumulation of the first image of the counting unit 210 located in the first row and first column. The first subtraction circuit 331 obtains the first imaging signal Sig1 of the pixels 304 in the first row and the first column by subtracting the count value COUNT1_1 from the count value COUNT2_1. The first imaging signal Sig1 constitutes a part of the first image. The first subtraction circuit 331 outputs the first imaging signal Sig1 thus obtained via the signal line OUT1. Further, the count value COUNT3_1 read from the third buffer memory 323 and the COUNT4_1 read from the fourth buffer memory 324 are input to the second subtraction circuit 332. The count value COUNT3_1 input at this time to the second subtraction circuit 332 is a count value at the start of imaging of the second image of the counting unit 210 located in the first row and first column. The count value COUNT4_1 input to the second subtraction circuit 332 at this time is a count value at the end of accumulation of the second image of the counting unit 210 located in the first row and first column. The second subtraction circuit 332 obtains the second imaging signal Sig2 of the pixels 304 in the first row and the first column by subtracting the count value COUNT3_1 from the count value COUNT4_1. The second image signal Sig2 obtained in this way constitutes a part of the second image. The second subtraction circuit 332 outputs the second imaging signal Sig2 acquired in this way via the signal line OUT2. Thereafter, reading is performed on the read memory 220 located in the second column to the nth column in the same manner as described above, and the first imaging signal Sig1 and the second imaging signal Sig2 are similar to the above. Is obtained. In this way, the first imaging signals Sig1 of the plurality of pixels 304 located in the first row are acquired. Further, the second imaging signals Sig2 of the plurality of pixels 304 located in the first row are respectively acquired.

タイミングｔ４０６において、第１の走査部２０６は、計数部アレイ２０５の第２行目に位置する複数の計数部２１０の各々に備えられたメモリ３１１〜３１４に走査パルスＰＶ１、ＰＶ２を供給する。これにより、計数部アレイ２０５の第２行目に位置する複数の計数部２１０の各々に備えられたメモリ３１１〜３１４からカウント値ＣＯＵＮＴ１＿２〜ＣＯＵＮＴ４＿２がそれぞれ読み出される。メモリ３１１〜３１４からそれぞれ読み出されるカウント値ＣＯＵＮＴ１＿２〜ＣＯＵＮＴ４＿２は、記憶部２０７に備えられた複数の読み出しメモリ２２０の各々に備えられたバッファメモリ３２１〜３２４にそれぞれ記憶される。第２の走査部２１１は、記憶部２０７に備えられた複数の読み出しメモリ２２０のうちの第１列目に位置する読み出しメモリ２２０に対して走査パルスＰＨ１，ＰＨ２を供給する。これにより、第１列目の読み出しメモリ２２０に備えられたバッファメモリ３２１〜３２４からカウント値ＣＯＵＮＴ１＿２〜ＣＯＵＮＴ４＿２が読み出される。第１のバッファメモリ３２１から読み出されるカウント値ＣＯＵＮＴ１＿２と、第２のバッファメモリ３２２から読み出されるＣＯＵＮＴ２＿２とが、第１の減算回路３３１に入力される。第１の減算回路３３１にこの際に入力されるカウント値ＣＯＵＮＴ１＿２は、第２行、第１列に位置する計数部２１０の第１の画像の撮像開始の際におけるカウント値である。また、第１の減算回路３３１にこの際に入力されるカウント値ＣＯＵＮＴ２＿２は、第２行、第１列に位置する計数部２１０の第１の画像の蓄積終了の際におけるカウント値である。第１の減算回路３３１は、カウント値ＣＯＵＮＴ２＿２からカウント値ＣＯＵＮＴ１＿２を減算することによって、第２行、第１列の画素３０４の第１の撮像信号Ｓｉｇ１を取得する。第１の減算回路３３１は、こうして取得した第１の撮像信号Ｓｉｇ１を、信号線ＯＵＴ１を介して出力する。また、第３のバッファメモリ３２３から読み出されるカウント値ＣＯＵＮＴ３＿２と、第４のバッファメモリ３２４から読み出されるＣＯＵＮＴ４＿２とが、第２の減算回路３３２に入力される。第２の減算回路３３２にこの際に入力されるカウント値ＣＯＵＮＴ３＿２は、第２行、第１列に位置する計数部２１０の第２の画像の撮像開始の際におけるカウント値である。また、第２の減算回路３３２にこの際に入力されるカウント値ＣＯＵＮＴ４＿２は、第２行、第１列に位置する計数部２１０の第２の画像の蓄積終了の際におけるカウント値である。第２の減算回路３３２は、カウント値ＣＯＵＮＴ４＿２からカウント値ＣＯＵＮＴ３＿２を減算することによって、第２行、第１列の画素３０４の第２の撮像信号Ｓｉｇ２を取得する。第２の減算回路３３２は、こうして取得した第２の撮像信号Ｓｉｇ２を、信号線ＯＵＴ２を介して出力する。この後、第２列目〜第ｎ列目に位置する読み出しメモリ２２０に対して、上記と同様にして読み出しが行われ、第１の撮像信号Ｓｉｇ１と第２の撮像信号Ｓｉｇ２とが上記と同様にして取得される。こうして、第２行目に位置する複数の画素３０４の第１の撮像信号Ｓｉｇ１がそれぞれ取得される。また、第２行目に位置する複数の画素３０４の第２の撮像信号Ｓｉｇ２がそれぞれ取得される。   At timing t <b> 406, the first scanning unit 206 supplies the scanning pulses PV <b> 1 and PV <b> 2 to the memories 311 to 314 provided in each of the plurality of counting units 210 located in the second row of the counting unit array 205. As a result, the count values COUNT1_2 to COUNT4_2 are read from the memories 311 to 314 provided in the plurality of counting units 210 located in the second row of the counting unit array 205, respectively. The count values COUNT1_2 to COUNT4_2 respectively read from the memories 311 to 314 are stored in the buffer memories 321 to 324 provided in each of the plurality of read memories 220 provided in the storage unit 207. The second scanning unit 211 supplies scanning pulses PH <b> 1 and PH <b> 2 to the read memory 220 located in the first column among the multiple read memories 220 provided in the storage unit 207. As a result, the count values COUNT1_2 to COUNT4_2 are read from the buffer memories 321 to 324 included in the read memory 220 in the first column. The count value COUNT1_2 read from the first buffer memory 321 and the COUNT2_2 read from the second buffer memory 322 are input to the first subtraction circuit 331. The count value COUNT1_2 input to the first subtraction circuit 331 at this time is a count value at the start of imaging of the first image of the counting unit 210 located in the second row and first column. The count value COUNT2_2 input to the first subtraction circuit 331 at this time is a count value at the end of accumulation of the first image of the counting unit 210 located in the second row and first column. The first subtracting circuit 331 obtains the first imaging signal Sig1 of the pixel 304 in the second row and the first column by subtracting the count value COUNT1_2 from the count value COUNT2_2. The first subtraction circuit 331 outputs the first imaging signal Sig1 acquired in this way via the signal line OUT1. Further, the count value COUNT3_2 read from the third buffer memory 323 and the COUNT4_2 read from the fourth buffer memory 324 are input to the second subtraction circuit 332. The count value COUNT3_2 input to the second subtraction circuit 332 at this time is a count value at the start of imaging of the second image of the counting unit 210 located in the second row and first column. The count value COUNT4_2 input to the second subtraction circuit 332 at this time is a count value at the end of accumulation of the second image of the counting unit 210 located in the second row and the first column. The second subtraction circuit 332 obtains the second imaging signal Sig2 of the pixel 304 in the second row and the first column by subtracting the count value COUNT3_2 from the count value COUNT4_2. The second subtraction circuit 332 outputs the second imaging signal Sig2 obtained in this way via the signal line OUT2. Thereafter, reading is performed on the read memory 220 located in the second column to the nth column in the same manner as described above, and the first imaging signal Sig1 and the second imaging signal Sig2 are similar to the above. Is obtained. In this way, the first imaging signals Sig1 of the plurality of pixels 304 located in the second row are acquired. Further, the second imaging signals Sig2 of the plurality of pixels 304 located in the second row are respectively acquired.

この後、第３行目〜第ｍ行目に位置する複数の計数部２１０からも上記と同様にして順次読み出しが行われ、最終的に、全ての画素３０４の第１の撮像信号Ｓｉｇ１と、全ての画素３０４の第２の撮像信号Ｓｉｇ２とが得られる。
なお、ここでは、走査パルスＰＨ１と走査パルスＰＨ２とを同じタイミングで供給する場合を例に説明したが、これに限定されるものではない。走査パルスＰＨ１と走査パルスＰＨ２とを異なるタイミングで供給するようにしてもよい。 Thereafter, readout is sequentially performed in the same manner as described above from the plurality of counting units 210 located in the third row to the m-th row, and finally, the first imaging signal Sig1 of all the pixels 304, The second imaging signal Sig2 of all the pixels 304 is obtained.
Although the case where the scan pulse PH1 and the scan pulse PH2 are supplied at the same timing has been described as an example here, the present invention is not limited to this. The scan pulse PH1 and the scan pulse PH2 may be supplied at different timings.

図５は、本実施形態による撮像装置の動作を示すフローチャートである。
ステップＳ５０１において、読み出し対象となる行の番号ｉが１に設定される。
ステップＳ５０２において、読み出し対象の行に位置する複数の計数部２１０にそれぞれ備えられている第１のメモリ３１１及び第２のメモリ３１２に対して、第１の走査部２０６から走査パルスＰＶ１が供給される。また、読み出し対象の行に位置する複数の計数部２１０にそれぞれ備えられている第３のメモリ３１３及び第４のメモリ３１４に対して、第１の走査部２０６から走査パルスＰＶ２が供給される。これにより、読み出し対象の行に位置する複数の計数部２１０にそれぞれ備えられているメモリ３１１〜３１４からバッファメモリ３２１〜３２４にカウント値ＣＯＵＮＴ１〜ＣＯＵＮＴ４がそれぞれ出力される。なお、ステップＳ５０２において行われる処理は、図４におけるタイミングｔ４０５の処理に対応している。 FIG. 5 is a flowchart illustrating the operation of the imaging apparatus according to the present embodiment.
In step S501, the number i of the row to be read is set to 1.
In step S <b> 502, the scan pulse PV <b> 1 is supplied from the first scan unit 206 to the first memory 311 and the second memory 312 respectively provided in the plurality of counting units 210 located in the row to be read. The Further, the scan pulse PV2 is supplied from the first scan unit 206 to the third memory 313 and the fourth memory 314 respectively provided in the plurality of counting units 210 located in the row to be read. As a result, the count values COUNT1 to COUNT4 are output from the memories 311 to 314 provided in the plurality of counting units 210 located in the row to be read to the buffer memories 321 to 324, respectively. Note that the processing performed in step S502 corresponds to the processing at timing t405 in FIG.

ステップＳ５０３において、読み出し対象となる列の番号ｊが１に設定される。
ステップＳ５０４において、読み出し対象の列に位置する読み出しメモリ２２０に備えられたバッファメモリ３２１〜３２４から撮像信号生成部２０９にカウント値ＣＯＵＮＴ１〜ＣＯＵＮＴ４がそれぞれ出力される。 In step S503, the number j of the column to be read is set to 1.
In step S <b> 504, the count values COUNT <b> 1 to COUNT <b> 4 are output from the buffer memories 321 to 324 provided in the readout memory 220 located in the readout target column to the imaging signal generation unit 209.

ステップＳ５０５において、第１の減算回路３３１が、第２のバッファメモリ３２２から出力されるカウント値ＣＯＵＮＴ２から第１のバッファメモリ３２１から出力されるカウント値ＣＯＵＮＴ１を減算する。これにより、第ｉ行、第ｊ列の画素３０４の第１の撮像信号Ｓｉｇ１が取得される。また、第２の減算回路３３２が、第４のバッファメモリ３２４から出力されるカウント値ＣＯＵＮＴ４から第３のバッファメモリ３２３から出力されるカウント値ＣＯＵＮＴ３を減算する。これにより、第ｉ行、第ｊ列の画素３０４の第２の撮像信号Ｓｉｇ２が取得される。
ステップＳ５０６において、撮像信号生成部２０９が、第１の撮像信号Ｓｉｇ１を信号線ＯＵＴ１に出力するとともに、第２の撮像信号Ｓｉｇ２を信号線ＯＵＴ２に出力する。 In step S505, the first subtraction circuit 331 subtracts the count value COUNT1 output from the first buffer memory 321 from the count value COUNT2 output from the second buffer memory 322. As a result, the first imaging signal Sig1 of the pixel 304 in the i-th row and the j-th column is acquired. The second subtraction circuit 332 subtracts the count value COUNT3 output from the third buffer memory 323 from the count value COUNT4 output from the fourth buffer memory 324. As a result, the second imaging signal Sig2 of the pixel 304 in the i-th row and the j-th column is acquired.
In step S506, the imaging signal generation unit 209 outputs the first imaging signal Sig1 to the signal line OUT1, and outputs the second imaging signal Sig2 to the signal line OUT2.

ステップＳ５０７において、読み出し対象の列の番号ｊが列の総数ｎ未満であるか否かが判定される。読み出し対象の列の番号ｊが列の総数ｎ未満である場合には（ステップＳ５０７においてＹＥＳ）、第ｉ行目に位置する全ての画素３０４についての読み出し処理が完了していないため、ステップＳ５０８に移行する。読み出し対象の列の番号ｊが列の総数ｎである場合には（ステップＳ５０７においてＮＯ）、第ｉ行目に位置する全ての画素３０４についての読み出し処理が完了したため、ステップＳ５０９に移行する。
ステップＳ５０８において、読み出し対象の列の番号ｊがインクリメントされる。この後、ステップＳ５０４以降の動作が繰り返される。 In step S507, it is determined whether the number j of the column to be read is less than the total number n of columns. If the number j of the column to be read is less than the total number n of columns (YES in step S507), the reading process for all the pixels 304 located in the i-th row has not been completed. Transition. When the number j of the column to be read is the total number n of columns (NO in step S507), the reading process is completed for all the pixels 304 located in the i-th row, and the process proceeds to step S509.
In step S508, the number j of the column to be read is incremented. Thereafter, the operations after step S504 are repeated.

ステップＳ５０９において、読み出し対象の行の番号ｉが行の総数未満であるか否かが判定される。読み出し対象の行の番号ｉが行の総数ｍ未満である場合には（ステップＳ５０９においてＹＥＳ）、全ての画素についての読み出し処理が完了していないため、ステップＳ５１０に移行する。ステップＳ５１０において、読み出し対象の行の番号ｉがインクリメントされ、ステップＳ５０２以降の動作が繰り返される。一方、読み出し対象の行の番号ｉが行の総数ｍである場合には（ステップＳ５０９においてＮＯ）、全ての画素３０４についての読み出し処理が完了しているため、図５に示す処理を終了する。   In step S509, it is determined whether the row number i to be read is less than the total number of rows. If the number i of the row to be read is less than the total number m of rows (YES in step S509), the reading process for all the pixels is not completed, and the process proceeds to step S510. In step S510, the number i of the row to be read is incremented, and the operations after step S502 are repeated. On the other hand, when the number i of the row to be read is the total number m of rows (NO in step S509), the reading processing for all the pixels 304 has been completed, and the processing shown in FIG.

このように、本実施形態によれば、第１の画像の蓄積開始の際のカウント値ＣＯＵＮＴ１と、第１の画像の蓄積終了の際のカウント値ＣＯＵＮＴ２との差分に基づいて、第１の撮像信号Ｓｉｇ１を得ることができる。また、本実施形態によれば、第２の画像の蓄積開始の際のカウント値ＣＯＵＮＴ３と、第２の画像の蓄積終了の際のカウント値ＣＯＵＮＴ４との差分に基づいて、第２の撮像信号Ｓｉｇ２を得ることができる。しかも、本実施形態によれば、カウント値ＣＯＵＮＴ１〜ＣＯＵＮＴ４がそれぞれ別個に取得されるため、第１の画像の蓄積期間と第２の画像の蓄積期間とが重複している場合であっても、第１の画像と第２の画像とを良好に取得することができる。本実施形態によれば、第１の画像の蓄積期間と第２の画像の蓄積期間とを重複させ得るため、第１の画像の撮像が完了しない段階で、第２の画像の撮像を開始することができる。このため、本実施形態によれば、例えば、被写体の輝度が低く、連写間隔よりも長い蓄積期間を要する場合であっても、連写撮影を行うことが可能となる。また、本実施形態によれば、例えば、長時間露光で第１の画像を撮像している最中に、第２の画像の撮像を行うこともできる。   Thus, according to the present embodiment, the first imaging is performed based on the difference between the count value COUNT1 at the start of the accumulation of the first image and the count value COUNT2 at the end of the accumulation of the first image. A signal Sig1 can be obtained. Further, according to the present embodiment, the second imaging signal Sig2 is based on the difference between the count value COUNT3 at the start of the second image accumulation and the count value COUNT4 at the end of the second image accumulation. Can be obtained. Moreover, according to the present embodiment, since the count values COUNT1 to COUNT4 are acquired separately, even when the accumulation period of the first image and the accumulation period of the second image overlap, The first image and the second image can be acquired satisfactorily. According to the present embodiment, since the accumulation period of the first image and the accumulation period of the second image can be overlapped, the imaging of the second image is started at the stage where the imaging of the first image is not completed. be able to. Therefore, according to the present embodiment, for example, continuous shooting can be performed even when the luminance of the subject is low and an accumulation period longer than the continuous shooting interval is required. In addition, according to the present embodiment, for example, the second image can be captured while the first image is captured with long exposure.

（変形例）
次に、本実施形態の変形例について図６を用いて説明する。図６は、本変形例による固体撮像素子を示す図である。図６に示すように、本変形例では、カウンタ３１５ａに、カウンタリセット部６０１とカウント停止部６０２とが備えられている。カウンタリセット部６０１は、カウンタ３１５ａのカウント値をリセットするためのものである。カウンタリセット部６０１には、タイミングジェネレータ２１２から出力されるカウント値取得信号Ｐ１が入力されるようになっている。上述したように、カウント値取得信号Ｐ１は、第１の画像の撮像開始の際にタイミングジェネレータ２１２から出力される。本変形例では、カウント値取得信号Ｐ１がカウンタリセット部６０１に入力されるようなっているため、第１の画像の撮像開始の際のカウンタ３１５ａのカウント値ＣＯＵＮＴ１が０となる。第１の画像の撮影開始の際のカウント値ＣＯＵＮＴ１が０となるため、第１のメモリ３１１（図３参照）によるカウント値ＣＯＵＮＴ１の記憶が不要となる。第１のバッファメモリ３２１には０が記憶されている。撮像信号生成部２０９に備えられた第１の減算回路３３１は、第２のバッファメモリ３２２から出力されるカウント値ＣＯＵＮＴ２から第１のバッファメモリ３２１から出力されるカウント値ＣＯＵＮＴ１を減算することにより、第１の撮像信号Ｓｉｇ１を得る。 (Modification)
Next, a modification of the present embodiment will be described with reference to FIG. FIG. 6 is a diagram showing a solid-state imaging device according to this modification. As shown in FIG. 6, in this modification, the counter 315a includes a counter reset unit 601 and a count stop unit 602. The counter reset unit 601 is for resetting the count value of the counter 315a. The counter reset unit 601 receives the count value acquisition signal P1 output from the timing generator 212. As described above, the count value acquisition signal P1 is output from the timing generator 212 when imaging of the first image is started. In the present modification, the count value acquisition signal P1 is input to the counter reset unit 601, so that the count value COUNT1 of the counter 315a at the start of imaging of the first image becomes zero. Since the count value COUNT1 at the start of capturing the first image is 0, it is not necessary to store the count value COUNT1 by the first memory 311 (see FIG. 3). The first buffer memory 321 stores 0. The first subtraction circuit 331 provided in the imaging signal generation unit 209 subtracts the count value COUNT1 output from the first buffer memory 321 from the count value COUNT2 output from the second buffer memory 322, A first imaging signal Sig1 is obtained.

カウント停止部６０２は、カウンタ３１５ａのカウントを停止させるためのものである。カウント停止部６０２には、タイミングジェネレータ２１２から出力されるカウント値取得信号Ｐ４が入力されるようになっている。上述したように、カウント値取得信号Ｐ４は、第２の画像の撮像終了の際にタイミングジェネレータ２１２から出力される。本変形例では、カウント値取得信号Ｐ４がカウント停止部６０２に入力されるようなっているため、第２の画像の撮像終了の際のカウンタ３１５ａのカウント値ＣＯＵＮＴ４がカウンタ３１５ａにおいて保持される。第２の画像の撮像終了の際のカウント値ＣＯＵＮＴ４がカウンタ３１５ａに保持されるため、第４のメモリ３１４（図３参照）によるカウント値ＣＯＵＮＴ４の記憶が不要となる。本変形例では、カウンタ３１５ａと第４のバッファメモリ３２４との間には、第４のメモリ３１４の代わりにゲート素子６０３が備えられている。上述したように、カウンタ３１５の出力線は、実際には、カウンタ３１５の出力ビット数の分だけ設けられている。このため、ゲート素子６０３は、カウンタ３１５ａの出力ビット数に対応した出力線の数だけ備えられている。第１の走査部２０６から出力される走査パルスＰＶ２は、ゲート素子６０３に入力されるようになっている。走査パルスＰＶ２が第１の走査部２０６からゲート素子６０３に供給されると、カウンタ３１５ａに保持されているカウント値ＣＯＵＮＴ４が第４のバッファメモリ３２４に出力される。撮像信号生成部２０９に備えられた第２の減算回路３３２は、第４のバッファメモリ３２４から出力されるカウント値ＣＯＵＮＴ４から第３のバッファメモリ３２３から出力されるカウント値ＣＯＵＮＴ３を減算することにより、第２の撮像信号Ｓｉｇ２を得る。   The count stop unit 602 is for stopping the count of the counter 315a. A count value acquisition signal P4 output from the timing generator 212 is input to the count stop unit 602. As described above, the count value acquisition signal P4 is output from the timing generator 212 when the second image is captured. In the present modification, the count value acquisition signal P4 is input to the count stop unit 602, so that the count value COUNT4 of the counter 315a at the end of imaging of the second image is held in the counter 315a. Since the count value COUNT4 at the end of imaging of the second image is held in the counter 315a, it is not necessary to store the count value COUNT4 by the fourth memory 314 (see FIG. 3). In this modification, a gate element 603 is provided between the counter 315 a and the fourth buffer memory 324 instead of the fourth memory 314. As described above, the output lines of the counter 315 are actually provided for the number of output bits of the counter 315. Therefore, as many gate elements 603 as the number of output lines corresponding to the number of output bits of the counter 315a are provided. The scanning pulse PV2 output from the first scanning unit 206 is input to the gate element 603. When the scanning pulse PV2 is supplied from the first scanning unit 206 to the gate element 603, the count value COUNT4 held in the counter 315a is output to the fourth buffer memory 324. The second subtraction circuit 332 included in the imaging signal generation unit 209 subtracts the count value COUNT3 output from the third buffer memory 323 from the count value COUNT4 output from the fourth buffer memory 324, A second imaging signal Sig2 is obtained.

なお、ここでは、第１のバッファメモリ３２１が備えられている場合を例に説明したが、第１のバッファメモリ３２１が備えられていなくてもよい。この場合、撮像信号生成部２０９は、第２のバッファメモリ３２２から出力されるカウント値ＣＯＵＮＴ２を第１の撮像信号Ｓｉｇ１として信号線ＯＵＴ１に出力すればよい。また、この場合、撮像信号生成部２０９には、第１の減算回路３３１を備える必要はない。
また、ここでは、第１のメモリ３１１と第４のメモリ３１４の両方を備えない場合を例に説明したが、これに限定されるものではなく、第１のメモリ３１１と第４のメモリ３１４のうちのいずれか一方を備えないようにしてもよい。 Here, the case where the first buffer memory 321 is provided has been described as an example, but the first buffer memory 321 may not be provided. In this case, the imaging signal generation unit 209 may output the count value COUNT2 output from the second buffer memory 322 to the signal line OUT1 as the first imaging signal Sig1. In this case, the imaging signal generation unit 209 does not need to include the first subtraction circuit 331.
Further, here, a case where both the first memory 311 and the fourth memory 314 are not provided has been described as an example, but the present invention is not limited to this, and the first memory 311 and the fourth memory 314 are not limited thereto. Either one of them may not be provided.

このように、本変形例によれば、第１のメモリ３１１や第４のメモリ３１４を不要とすることができるため、計数部２１０の回路規模を縮小することができ、ひいては高画素化に寄与することができる。   As described above, according to the present modification, the first memory 311 and the fourth memory 314 can be eliminated, so that the circuit scale of the counting unit 210 can be reduced, which contributes to an increase in the number of pixels. can do.

［第２実施形態］
第２実施形態による撮像装置及び撮像方法について図７及び図８を用いて説明する。図１乃至図６に示す第１実施形態による撮像装置及び撮像方法と同一の構成要素には、同一の符号を付して説明を省略又は簡潔にする。
本実施形態による撮像装置は、各々のフレームの蓄積期間が互いに重複しているような動画像を取得し得るものである。 [Second Embodiment]
An imaging apparatus and an imaging method according to the second embodiment will be described with reference to FIGS. The same components as those of the imaging apparatus and imaging method according to the first embodiment shown in FIGS. 1 to 6 are denoted by the same reference numerals, and description thereof will be omitted or simplified.
The imaging apparatus according to the present embodiment can acquire moving images in which the accumulation periods of the frames overlap each other.

図７は、本実施形態による固体撮像素子を示す図である。本実施形態では、計数部アレイ２０５に備えられた複数の計数部２１０ａの各々が、図７に示すような構成となっている。即ち、図７に示すように、計数部２１０ａには、カウンタ３１５とメモリ３１１〜３１４とに加えて、第１のラッチ回路７０１及び第２のラッチ回路７０２が備えられている。第１のラッチ回路（第１の飽和回数記憶部）７０１及び第２のラッチ回路（第２の飽和回数記憶部）７０２は、カウンタ３１５の飽和回数を記録するためのものである。なお、ここでは、１つの計数部２１０ａに２つのラッチ回路７０１、７０２が備えられている場合を例に説明するが、これに限定されるものではない。例えば、ｐ個の画像の蓄積期間が重複してもよいようにするために、ｐ個のラッチ回路を計数部２１０に設けるようにしてもよい。カウンタ３１５は、カウント下限値０からカウント上限値Ｃｍａｘまでをカウントすることが可能である。カウンタ３１５は、カウント値がカウント上限値Ｃｍａｘに到達すると、即ち、カウンタ飽和が生じると、次のカウントにおいてカウント下限値０に遷移する。カウンタ３１５は、カウント下限値０に遷移した以降もカウントを継続する。第１のラッチ回路７０１は、イネーブル信号Ｅ１がハイレベルになっている間にカウンタ３１５のカウント値がカウント上限値Ｃｍａｘからカウント下限値０に遷移した回数を、カウンタ飽和回数（第１のカウンタ飽和回数）ＳＣ１として記憶する。第２のラッチ回路７０２は、イネーブル信号Ｅ２がハイレベルになっている間にカウンタ３１５のカウント値がカウント上限値Ｃｍａｘからカウント下限値０に遷移した回数を、カウンタ飽和回数（第２のカウンタ飽和回数）ＳＣ２として記憶する。撮像信号の飽和値をカウンタ３１５の飽和値以上とするためには、カウンタ３１５のカウント値の２回の遷移を記憶し得ることが好ましい。このため、ここでは、０，１，２の３つの状態をそれぞれ記憶し得る第１のラッチ回路７０１及び第２のラッチ回路７０２が用いられている。イネーブル信号Ｅ１、Ｅ２がハイレベルになっている間に、カウンタ３１５においてカウンタ飽和が一度も生じなかった場合には、ラッチ回路７０１、７０２に記憶されている値は０である。この場合には、カウンタ３１５のカウント値の変化量がそのまま画素値となる。イネーブル信号Ｅ１，Ｅ２がハイレベルになっている間に、カウンタ飽和が１回生じた場合には、ラッチ回路７０１，７０２に記憶されている値は１となる。この場合には、カウンタ３１５のカウント値の変化量とカウント上限値Ｃｍａｘとを用いて画素値が算出される。イネーブル信号Ｅ１，Ｅ２がハイレベルになっている間に、カウンタ飽和が２回生じた場合には、ラッチ回路７０１，７０２に記憶されている値は２となる。この場合には、例えば、カウンタ３１５のカウント値にかかわらずカウント上限値Ｃｍａｘが画素値とされる。なお、カウンタ飽和の回数を更に多く記憶し得るようにすれば、撮像信号の飽和値を更に拡大させることも可能である。第１のラッチ回路７０１は、リセット信号Ｒ１によってリセットされる。また、第１のラッチ回路７０１は、第１の走査部２０６から出力される走査パルスＰＶ１に従って、カウンタ飽和回数ＳＣ１を出力する。第１のラッチ回路７０１から出力されるカウンタ飽和回数ＳＣ１は、読み出しメモリ２２０ａに備えられた第５のバッファメモリ７０３に記憶される。第２のラッチ回路７０２は、リセット信号Ｒ２によってリセットされる。また、第２のラッチ回路７０２は、第１の走査部２０６から出力される走査パルスＰＶ２に従って、カウンタ飽和回数ＳＣ２を出力する。第２のラッチ回路７０２から出力されるカウンタ飽和回数ＳＣ２は、読み出しメモリ２２０ａに備えられた第６のバッファメモリ７０４に記憶される。   FIG. 7 is a diagram illustrating the solid-state imaging device according to the present embodiment. In the present embodiment, each of the plurality of counting units 210a provided in the counting unit array 205 is configured as shown in FIG. That is, as illustrated in FIG. 7, the counting unit 210 a includes a first latch circuit 701 and a second latch circuit 702 in addition to the counter 315 and the memories 311 to 314. The first latch circuit (first saturation number storage unit) 701 and the second latch circuit (second saturation number storage unit) 702 are for recording the number of saturations of the counter 315. Here, a case where two latch circuits 701 and 702 are provided in one counting unit 210a will be described as an example, but the present invention is not limited to this. For example, p latch circuits may be provided in the counting unit 210 so that the accumulation periods of p images may overlap. The counter 315 can count from the count lower limit value 0 to the count upper limit value Cmax. When the count value reaches the count upper limit value Cmax, that is, when the counter saturation occurs, the counter 315 transitions to the count lower limit value 0 in the next count. The counter 315 continues counting even after transitioning to the count lower limit value 0. The first latch circuit 701 determines the number of times the count value of the counter 315 transits from the count upper limit value Cmax to the count lower limit value 0 while the enable signal E1 is at the high level. Number of times) Stored as SC1. The second latch circuit 702 calculates the number of times the count value of the counter 315 transits from the count upper limit value Cmax to the count lower limit value 0 while the enable signal E2 is at the high level. Number of times) Stored as SC2. In order to make the saturation value of the imaging signal equal to or higher than the saturation value of the counter 315, it is preferable that two transitions of the count value of the counter 315 can be stored. Therefore, here, the first latch circuit 701 and the second latch circuit 702 that can store three states of 0, 1, and 2 are used. If the counter saturation has never occurred in the counter 315 while the enable signals E1 and E2 are at the high level, the values stored in the latch circuits 701 and 702 are zero. In this case, the change amount of the count value of the counter 315 becomes the pixel value as it is. If the counter saturation occurs once while the enable signals E1 and E2 are at the high level, the value stored in the latch circuits 701 and 702 is 1. In this case, the pixel value is calculated using the amount of change in the count value of the counter 315 and the count upper limit value Cmax. If the counter saturation occurs twice while the enable signals E1 and E2 are at the high level, the value stored in the latch circuits 701 and 702 is 2. In this case, for example, the count upper limit value Cmax is set as the pixel value regardless of the count value of the counter 315. Note that if the number of counter saturations can be stored more, the saturation value of the imaging signal can be further increased. The first latch circuit 701 is reset by a reset signal R1. Further, the first latch circuit 701 outputs the counter saturation number SC1 in accordance with the scan pulse PV1 output from the first scan unit 206. The counter saturation count SC1 output from the first latch circuit 701 is stored in a fifth buffer memory 703 provided in the read memory 220a. The second latch circuit 702 is reset by the reset signal R2. The second latch circuit 702 outputs the counter saturation number SC2 in accordance with the scan pulse PV2 output from the first scan unit 206. The counter saturation count SC2 output from the second latch circuit 702 is stored in a sixth buffer memory 704 provided in the read memory 220a.

また、本実施形態では、記憶部２０７に備えられた複数の読み出しメモリ２２０ａの各々が、図７に示すような構成となっている。即ち、図７に示すように、読み出しメモリ２２０ａは、バッファメモリ３２１〜３２４に加えて、第５のバッファメモリ７０３及び第６のバッファメモリ７０４を備えている。第５のバッファメモリ７０３は、第１のラッチ回路７０１から出力されるカウンタ飽和回数ＳＣ１を一時的に記憶する。第６のバッファメモリ７０４は、第２のラッチ回路７０２から出力されるカウンタ飽和回数ＳＣ２を一時的に記憶する。第５のバッファメモリ７０３は、第２の走査部２１１から供給される走査パルスＰＨ１に従って、記憶しているカウンタ飽和回数ＳＣ１を後述する第１の乗算回路７０５に出力する。また、第６のバッファメモリ７０４は、第２の走査部２１１から供給される走査パルスＰＨ２に従って、記憶しているカウンタ飽和回数ＳＣ２を後述する第２の乗算回路７０６に出力する。   In the present embodiment, each of the plurality of read memories 220a provided in the storage unit 207 has a configuration as shown in FIG. That is, as illustrated in FIG. 7, the read memory 220 a includes a fifth buffer memory 703 and a sixth buffer memory 704 in addition to the buffer memories 321 to 324. The fifth buffer memory 703 temporarily stores the counter saturation number SC1 output from the first latch circuit 701. The sixth buffer memory 704 temporarily stores the counter saturation number SC2 output from the second latch circuit 702. The fifth buffer memory 703 outputs the stored counter saturation count SC1 to the first multiplication circuit 705 described later in accordance with the scanning pulse PH1 supplied from the second scanning unit 211. The sixth buffer memory 704 outputs the stored counter saturation count SC2 to the second multiplication circuit 706 described later in accordance with the scanning pulse PH2 supplied from the second scanning unit 211.

また、本実施形態では、撮像信号生成部２０９ａが、図７のような構成となっている。即ち、図７に示すように、撮像信号生成部２０９ａは、第１の減算回路３３１及び第２の減算回路３３２に加えて、第１の乗算回路７０５、第２の乗算回路７０６、第１の加算回路７０７、及び、第２の加算回路７０８を備えている。第１の乗算回路７０５には、第５のバッファメモリ７０３から出力されるカウンタ飽和回数ＳＣ１が入力されるようになっている。第１の乗算回路７０５は、カウンタ３１５のカウント上限値Ｃｍａｘにカウンタ飽和回数ＳＣ１を乗算し、かかる乗算によって得られる値を第１の加算回路７０７に出力する。第１の加算回路７０７には、第１の減算回路３３１の出力と第１の加算回路７０７の出力とを加算し、かかる加算によって得られる値を第１の撮像信号Ｓｉｇ１として信号線ＯＵＴ１に出力する。第２の乗算回路７０６には、第６のバッファメモリ７０４から出力されるカウンタ飽和回数ＳＣ２が入力されるようになっている。第２の乗算回路７０６は、カウンタ３１５のカウント上限値Ｃｍａｘにカウンタ飽和回数ＳＣ２を乗算し、かかる乗算によって得られる値を第２の加算回路７０８に出力する。第２の加算回路７０８は、第２の減算回路３３２の出力と第２の加算回路７０８の出力とを加算し、かかる加算によって得られる値を第２の撮像信号Ｓｉｇ２として信号線ＯＵＴ２に出力する。
なお、本実施形態による撮像素子のその他の構成については、第１実施形態による撮像素子と同様である。 In the present embodiment, the imaging signal generation unit 209a is configured as shown in FIG. That is, as illustrated in FIG. 7, the imaging signal generation unit 209 a includes the first multiplication circuit 705, the second multiplication circuit 706, and the first addition circuit in addition to the first subtraction circuit 331 and the second subtraction circuit 332. An adder circuit 707 and a second adder circuit 708 are provided. The first multiplication circuit 705 is input with the counter saturation number SC1 output from the fifth buffer memory 703. The first multiplication circuit 705 multiplies the count upper limit value Cmax of the counter 315 by the counter saturation count SC1, and outputs a value obtained by the multiplication to the first addition circuit 707. The first addition circuit 707 adds the output of the first subtraction circuit 331 and the output of the first addition circuit 707, and outputs the value obtained by the addition to the signal line OUT1 as the first imaging signal Sig1. To do. The second multiplication circuit 706 is input with the counter saturation count SC2 output from the sixth buffer memory 704. The second multiplication circuit 706 multiplies the count upper limit value Cmax of the counter 315 by the counter saturation count SC2, and outputs a value obtained by the multiplication to the second addition circuit 708. The second addition circuit 708 adds the output of the second subtraction circuit 332 and the output of the second addition circuit 708, and outputs the value obtained by the addition to the signal line OUT2 as the second imaging signal Sig2. .
The remaining configuration of the image sensor according to the present embodiment is the same as that of the image sensor according to the first embodiment.

図８は、本実施形態による撮像装置の動作を示すタイミングチャートである。ここでは、動画像の１フレーム当たりの蓄積期間が、動画像のフレームレートに対応するフレーム間隔より長い場合を例に説明する。即ち、ここでは、動画像の各々のフレームの蓄積期間が互いに重複している場合を例に説明する。   FIG. 8 is a timing chart showing the operation of the imaging apparatus according to the present embodiment. Here, a case where the accumulation period per frame of the moving image is longer than the frame interval corresponding to the frame rate of the moving image will be described as an example. That is, here, an example will be described in which the accumulation periods of the frames of moving images overlap each other.

タイミングｔ８０１において、動画像の撮影開始の指示が撮影指示部１０７を介してユーザ等によって行われると、制御部１０３は、固体撮像素子１０１に対して、動画像の撮影開始の指示と、制御データとを送信する。当該制御データは、動画像の１フレーム当たりの蓄積期間の設定情報を含む。また、制御部１０３は、固体撮像素子１０１への同期信号ＶＤの供給を開始する。同期信号ＶＤの供給は、動画像の撮影の終了の指示がユーザ等によって行われるまで継続される。タイミングｔ８０１においては、第１番目の同期信号ＶＤが固体撮像素子１０１に供給される。同期信号ＶＤの間隔は、動画像のフレームレートに応じたフレーム間隔とされる。動画像のフレームレートは、例えば、設定部１０６を介してユーザ等によって設定される。動画像の撮影開始の指示を受信すると、タイミングジェネレータ２１２は、カウント値取得信号Ｐ１を第１のメモリ３１１に対して出力し、リセット信号Ｒ１を第１のラッチ回路７０１に対して出力するとともに、イネーブル信号Ｅ１をハイレベルにする。第１のメモリ３１１は、カウント値取得信号Ｐ１を受信すると、当該カウント値取得信号Ｐ１を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ１を記憶する。第１のラッチ回路７０１は、リセット信号Ｒ１を受信すると、カウンタ飽和回数ＳＣ１の値を０にリセットする。第１のラッチ回路７０１は、ハイレベルのイネーブル信号Ｅ１を受信すると、入力がイネーブル状態となる。こうして、動画像の第１番目のフレームの撮像が開始される。   When an instruction to start shooting a moving image is given by the user or the like via the shooting instruction unit 107 at timing t801, the control unit 103 instructs the solid-state imaging device 101 to start shooting a moving image and control data. And send. The control data includes setting information of the accumulation period per frame of moving images. Further, the control unit 103 starts supplying the synchronization signal VD to the solid-state image sensor 101. The supply of the synchronization signal VD is continued until an instruction to end the shooting of the moving image is given by the user or the like. At timing t801, the first synchronization signal VD is supplied to the solid-state imaging device 101. The interval of the synchronization signal VD is a frame interval according to the frame rate of the moving image. The frame rate of the moving image is set by a user or the like via the setting unit 106, for example. Upon receiving an instruction to start capturing moving images, the timing generator 212 outputs a count value acquisition signal P1 to the first memory 311 and outputs a reset signal R1 to the first latch circuit 701. The enable signal E1 is set to high level. When receiving the count value acquisition signal P1, the first memory 311 stores the count value COUNT1 of the counter 315 when the count value acquisition signal P1 is received. When receiving the reset signal R1, the first latch circuit 701 resets the value of the counter saturation count SC1 to zero. When the first latch circuit 701 receives the high-level enable signal E1, the input is enabled. Thus, imaging of the first frame of the moving image is started.

動画像の第１番目のフレームの蓄積期間中であるタイミングｔ８０２において、第２番目の同期信号ＶＤが制御部１０３から固体撮像素子１０１に供給されると、タイミングジェネレータ２１２は、以下のように動作する。即ち、タイミングジェネレータ２１２は、カウント値取得信号Ｐ３を第３のメモリ３１３に対して出力し、リセット信号Ｒ２を第２のラッチ回路７０２に対して出力するとともに、イネーブル信号Ｅ２をハイレベルにする。第３のメモリ３１３は、カウント値取得信号Ｐ３を受信すると、当該カウント値取得信号Ｐ３を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ３を記憶する。第２のラッチ回路７０２は、リセット信号Ｒ２を受信すると、カウンタ飽和回数ＳＣ２の値を０にリセットする。第２のラッチ回路７０２は、ハイレベルのイネーブル信号Ｅ２を受信すると、入力がイネーブル状態となる。こうして、動画像の第２番目のフレームの撮像が開始される。   When the second synchronization signal VD is supplied from the control unit 103 to the solid-state imaging device 101 at timing t802 during the accumulation period of the first frame of the moving image, the timing generator 212 operates as follows. To do. That is, the timing generator 212 outputs the count value acquisition signal P3 to the third memory 313, outputs the reset signal R2 to the second latch circuit 702, and sets the enable signal E2 to the high level. When receiving the count value acquisition signal P3, the third memory 313 stores the count value COUNT3 of the counter 315 when the count value acquisition signal P3 is received. When receiving the reset signal R2, the second latch circuit 702 resets the value of the counter saturation count SC2 to zero. When the second latch circuit 702 receives the high-level enable signal E2, the input is enabled. Thus, the imaging of the second frame of the moving image is started.

タイミングｔ８０１から１フレーム分の蓄積期間が経過したタイミングｔ８０３において、タイミングジェネレータ２１２は、カウント値取得信号Ｐ２を第２のメモリ３１２に対して出力するとともに、イネーブル信号Ｅ１をローレベルにする。第２のメモリ３１２は、カウント値取得信号Ｐ２を受信すると、当該カウント値取得信号Ｐ２を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ２を記憶する。第１のラッチ回路７０１は、イネーブル信号Ｅ１がローレベルになると、入力がディセーブル状態となる。なお、タイミングｔ８０１からタイミングｔ８０３までの間に、カウント値のカウント上限値Ｃｍａｘからカウント下限値０への遷移はカウンタ３１５において生じていないため、第１のラッチ回路７０１にはカウンタ飽和回数ＳＣ１として０が記憶されている。こうして、動画像の第１番目のフレームの撮像が終了する。   At timing t803 when an accumulation period of one frame has elapsed from timing t801, the timing generator 212 outputs the count value acquisition signal P2 to the second memory 312 and sets the enable signal E1 to low level. When receiving the count value acquisition signal P2, the second memory 312 stores the count value COUNT2 of the counter 315 when the count value acquisition signal P2 is received. The input of the first latch circuit 701 is disabled when the enable signal E1 is at a low level. It should be noted that the transition from the count upper limit value Cmax to the count lower limit value 0 of the count value does not occur in the counter 315 between the timing t801 and the timing t803, and therefore the first latch circuit 701 has 0 as the counter saturation count SC1. Is remembered. Thus, the imaging of the first frame of the moving image is completed.

第１番目のフレームの撮像が終了してから第３番目のフレームの撮像が開始するまでの間に、走査パルスＰＶ１、ＰＨ１に従って、カウント値ＣＯＵＮＴ１、ＣＯＵＮＴ２及びカウンタ飽和回数ＳＣ１が撮像信号生成部２０９ａに順次送信される。第１の減算回路３３１は、第１実施形態と同様に、カウント値ＣＯＵＮＴ２からカウント値ＣＯＵＮＴ１を減算する。そして、第１の減算回路３３１は、減算によって得られた値を第１の加算回路７０７に出力する。第１の乗算回路７０５は、カウンタ飽和回数ＳＣ１にカウント上限値Ｃｍａｘを乗算し、乗算により得られた値を第１の加算回路７０７に出力する。但し、カウンタ飽和回数ＳＣ１が第１のラッチ回路７０１のカウント上限値（最大記録回数）ＳＣ１ｍａｘに達した場合には、第１の乗算回路７０５は、カウント値にかかわらずＣｍａｘ×（ＳＣ１ｍａｘ−１）を出力するようにする。このようにする理由は、カウンタ飽和回数ＳＣ１が第１のラッチ回路７０１のカウント上限値ＳＣ１ｍａｘである場合と、カウンタ飽和回数ＳＣ１が第１のラッチ回路７０１のカウント上限値ＳＣ１ｍａｘを超えている場合との区別ができないためである。このため、第１のラッチ回路７０１のカウント上限値ＳＣ１ｍａｘについては、予備的な扱いとする。第１の加算回路７０７は、第１の減算回路３３１の出力と第１の乗算回路７０５の出力とを加算し、加算により得られた第１の撮像信号Ｓｉｇ１を信号線ＯＵＴ１に出力する。   The count values COUNT1 and COUNT2 and the counter saturation count SC1 are obtained in accordance with the scan pulses PV1 and PH1 from the end of imaging of the first frame to the start of imaging of the third frame. Are sent sequentially. As in the first embodiment, the first subtraction circuit 331 subtracts the count value COUNT1 from the count value COUNT2. Then, the first subtraction circuit 331 outputs the value obtained by the subtraction to the first addition circuit 707. The first multiplication circuit 705 multiplies the counter saturation count SC1 by the count upper limit value Cmax, and outputs a value obtained by the multiplication to the first addition circuit 707. However, when the counter saturation count SC1 reaches the count upper limit (maximum recording count) SC1max of the first latch circuit 701, the first multiplication circuit 705 determines Cmax × (SC1max−1) regardless of the count value. Is output. The reason for this is that the counter saturation count SC1 is the count upper limit value SC1max of the first latch circuit 701 and the counter saturation count SC1 exceeds the count upper limit value SC1max of the first latch circuit 701. This is because the distinction cannot be made. For this reason, the count upper limit value SC1max of the first latch circuit 701 is preliminarily handled. The first addition circuit 707 adds the output of the first subtraction circuit 331 and the output of the first multiplication circuit 705, and outputs the first imaging signal Sig1 obtained by the addition to the signal line OUT1.

第２番目のフレームの蓄積期間中であるタイミングｔ８０４において、カウント値のカウント上限値Ｃｍａｘからカウント下限値０への遷移がカウンタ３１５において生じている。このため、第２のラッチ回路７０２において、カウンタ飽和回数ＳＣ２が０から１にインクリメントされ、インクリメントされたカウンタ飽和回数ＳＣ２が第２のラッチ回路７０２において保持される。   At timing t804 during the accumulation period of the second frame, a transition from the count upper limit value Cmax to the count lower limit value 0 occurs in the counter 315. Therefore, in the second latch circuit 702, the counter saturation count SC2 is incremented from 0 to 1, and the incremented counter saturation count SC2 is held in the second latch circuit 702.

第２番目のフレームの蓄積期間中であるタイミングｔ８０５において、第３番目の同期信号ＶＤが制御部１０３から固体撮像素子１０１に供給されると、第１番目のフレームの蓄積と同様にして、第３番目のフレームの撮像が開始される。この後も奇数番目のフレームの蓄積は、第１番目のフレームの蓄積と同様にして行われる。   When the third synchronization signal VD is supplied from the control unit 103 to the solid-state imaging device 101 at the timing t805 during the accumulation period of the second frame, the same as the accumulation of the first frame, Imaging of the third frame is started. Thereafter, the odd-numbered frames are accumulated in the same manner as the accumulation of the first frame.

タイミングｔ８０２から１フレーム分の蓄積期間が経過したタイミングｔ８０６において、タイミングジェネレータ２１２は、カウント値取得信号Ｐ４を第４のメモリ３１４に対して出力するとともに、イネーブル信号Ｅ２をローレベルにする。第４のメモリ３１４は、カウント値取得信号Ｐ４を受信すると、当該カウント値取得信号Ｐ４を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ４を記憶する。第２のラッチ回路７０２は、イネーブル信号Ｅ２がローレベルになると、入力がディセーブル状態となる。第２のラッチ回路７０２には、カウンタ飽和回数ＳＣ２として１が保持される。   At timing t806 when the accumulation period for one frame has elapsed from timing t802, the timing generator 212 outputs the count value acquisition signal P4 to the fourth memory 314 and sets the enable signal E2 to low level. When receiving the count value acquisition signal P4, the fourth memory 314 stores the count value COUNT4 of the counter 315 when the count value acquisition signal P4 is received. The input of the second latch circuit 702 is disabled when the enable signal E2 becomes low level. The second latch circuit 702 holds 1 as the counter saturation count SC2.

第２番目のフレームの撮像が終了してから第４番目のフレームの蓄積が開始するまでの間に、走査パルスＰＶ２、ＰＨ２に従って、カウント値ＣＯＵＮＴ３、ＣＯＵＮＴ４及びカウンタ飽和回数ＳＣ２が撮像信号生成部２０９ａに順次出力される。第２の減算回路３３２は、第１実施形態と同様に、カウント値ＣＯＵＮＴ４からカウント値ＣＯＵＮＴ３を減算する。そして、第２の減算回路３３２は、減算によって得られた値を第２の加算回路７０８に出力する。第２の乗算回路７０６は、カウンタ飽和回数ＳＣ２にカウント上限値Ｃｍａｘを乗算し、乗算により得られた値を第２の加算回路７０８に出力する。但し、カウンタ飽和回数ＳＣ２が第２のラッチ回路７０２のカウント上限値ＳＣ２ｍａｘに達した場合には、第２の乗算回路７０６は、カウント値にかかわらずＣｍａｘ×（ＳＣ２ｍａｘ−１）を出力するようにする。このようにする理由は、カウンタ飽和回数ＳＣ１が第１のラッチ回路７０１のカウント上限値ＳＣ１ｍａｘに達した場合と同様である。第２の加算回路７０８は、第２の減算回路３３２の出力と第２の乗算回路７０６の出力とを加算し、加算により得られた第２の撮像信号Ｓｉｇ２を信号線ＯＵＴ２に出力する。   The count values COUNT3 and COUNT4 and the counter saturation count SC2 are obtained from the imaging signal generation unit 209a in accordance with the scan pulses PV2 and PH2 after the second frame is imaged and until the fourth frame is accumulated. Are output sequentially. Similar to the first embodiment, the second subtraction circuit 332 subtracts the count value COUNT3 from the count value COUNT4. Then, the second subtraction circuit 332 outputs the value obtained by the subtraction to the second addition circuit 708. The second multiplication circuit 706 multiplies the counter saturation count SC2 by the count upper limit value Cmax, and outputs a value obtained by the multiplication to the second addition circuit 708. However, when the counter saturation count SC2 reaches the count upper limit value SC2max of the second latch circuit 702, the second multiplier circuit 706 outputs Cmax × (SC2max−1) regardless of the count value. To do. The reason for this is the same as when the counter saturation count SC1 reaches the count upper limit value SC1max of the first latch circuit 701. The second addition circuit 708 adds the output of the second subtraction circuit 332 and the output of the second multiplication circuit 706, and outputs the second imaging signal Sig2 obtained by the addition to the signal line OUT2.

第３番目のフレームの蓄積期間中であるタイミングｔ８０７において、第４番目の同期信号ＶＤが制御部１０３から固体撮像素子１０１に供給されると、第４番目のフレームの蓄積と同様にして、第４番目のフレームの蓄積が開始される。この後も偶数番目のフレームの蓄積は、第２番目のフレームの蓄積と同様にして行われる。
上記のような処理を順次繰り返すことによって、動画像が取得される。 When the fourth synchronization signal VD is supplied from the control unit 103 to the solid-state imaging device 101 at the timing t807 during the accumulation period of the third frame, the same as the accumulation of the fourth frame, Accumulation of the fourth frame is started. After this, even-numbered frames are accumulated in the same manner as the second frame.
A moving image is acquired by sequentially repeating the above processing.

図９は、本実施形態による撮像装置の動作を示すフローチャートである。図９（ａ）は奇数番目のフレームの撮像信号を生成する際の動作を示しており、図９（ｂ）は偶数番目のフレームの撮像信号を生成する際の動作を示している。
まず、奇数番目のフレームの撮像信号を生成する際の動作について図９（ａ）を用いて説明する。 FIG. 9 is a flowchart illustrating the operation of the imaging apparatus according to the present embodiment. FIG. 9A shows an operation when generating an imaging signal of an odd-numbered frame, and FIG. 9B shows an operation when generating an imaging signal of an even-numbered frame.
First, an operation when generating an imaging signal of an odd-numbered frame will be described with reference to FIG.

ステップＳ９０１は、第１実施形態において上述したステップＳ５０１と同様であるため、説明を省略する。
ステップＳ９０２ａにおいて、第１の走査部２０６が、読み出し対象の行に位置する複数の計数部２１０ａにそれぞれ備えられている第１のメモリ３１１、第２のメモリ３１２及び第１のラッチ回路７０１に対して、走査パルスＰＶ１を出力する。これにより、読み出し対象の行に位置する複数の計数部２１０ａにそれぞれ備えられているメモリ３１１、３１２からバッファメモリ３２１、３２２にカウント値ＣＯＵＮＴ１、ＣＯＵＮＴ２がそれぞれ出力される。また、読み出し対象の行に位置する複数の計数部２１０ａにそれぞれ備えられている第１のラッチ回路７０１から第５のバッファメモリ７０３にカウンタ飽和回数ＳＣ１が出力される。 Step S901 is the same as step S501 described above in the first embodiment, and a description thereof will be omitted.
In step S <b> 902 a, the first scanning unit 206 applies the first memory 311, the second memory 312, and the first latch circuit 701 provided in each of the plurality of counting units 210 a located in the row to be read. The scan pulse PV1 is output. As a result, the count values COUNT1 and COUNT2 are output to the buffer memories 321 and 322 from the memories 311 and 312 provided in the plurality of counting units 210a located in the row to be read, respectively. Further, the counter saturation frequency SC1 is output from the first latch circuit 701 provided in each of the plurality of counting units 210a located in the row to be read to the fifth buffer memory 703.

ステップＳ９０３は、第１実施形態において上述したステップＳ５０３と同様であるため、説明を省略する。
ステップＳ９０４ａでは、読み出し対象の列に位置する読み出しメモリ２２０に備えられたバッファメモリ３２１，３２２，７０３から撮像信号生成部２０９ａにカウント値ＣＯＵＮＴ１、ＣＯＵＮＴ２及びカウンタ飽和回数ＳＣ１がそれぞれ出力される。
ステップＳ９０５ａにおいて、第１の減算回路３３１が、第２のバッファメモリ３２２から出力されるカウント値ＣＯＵＮＴ２から第１のバッファメモリ３２１から出力されるカウント値ＣＯＵＮＴ１を減算する。また、第１の乗算回路７０５が、カウンタ飽和回数ＳＣ１にカウント上限値Ｃｍａｘを乗算する。更に、第１の加算回路７０７が、第１の減算回路３３１の出力と第１の乗算回路７０５の出力とを加算する。これにより、第ｉ行、第ｊ列の画素３０４の第１の撮像信号Ｓｉｇ１が取得される。 Step S903 is the same as step S503 described in the first embodiment, and a description thereof will be omitted.
In step S904a, the count values COUNT1, COUNT2 and the counter saturation count SC1 are output from the buffer memories 321, 322, 703 provided in the read memory 220 located in the read target column to the imaging signal generation unit 209a.
In step S905a, the first subtraction circuit 331 subtracts the count value COUNT1 output from the first buffer memory 321 from the count value COUNT2 output from the second buffer memory 322. The first multiplication circuit 705 multiplies the counter saturation count SC1 by the count upper limit value Cmax. Further, the first addition circuit 707 adds the output of the first subtraction circuit 331 and the output of the first multiplication circuit 705. As a result, the first imaging signal Sig1 of the pixel 304 in the i-th row and the j-th column is acquired.

ステップＳ９０６ａにおいて、撮像信号生成部２０９ａが、第１の撮像信号Ｓｉｇ１を信号線ＯＵＴ１に出力する。
ステップＳ９０７以降の動作は、第１実施形態において上述したステップＳ５０７以降の動作と同様であるため、説明を省略する。こうして、奇数番目のフレームの撮像信号が生成される。 In step S906a, the imaging signal generation unit 209a outputs the first imaging signal Sig1 to the signal line OUT1.
Since the operation after Step S907 is the same as the operation after Step S507 described above in the first embodiment, the description thereof is omitted. In this way, the imaging signal of the odd-numbered frame is generated.

次に、偶数番目のフレームを生成する際の動作について図９（ｂ）を用いて説明する。
ステップＳ９０１は、第１実施形態において上述したステップＳ５０１と同様であるため、説明を省略する。 Next, the operation when generating even-numbered frames will be described with reference to FIG.
Step S901 is the same as step S501 described above in the first embodiment, and a description thereof will be omitted.

ステップＳ９０２ｂにおいて、第１の走査部２０６は、読み出し対象の行に位置する複数の計数部２１０ａにそれぞれ備えられている第３のメモリ３１３、第４のメモリ３１４及び第２のラッチ回路７０２に対して、走査パルスＰＶ２を出力する。これにより、読み出し対象の行に位置する複数の計数部２１０ａにそれぞれ備えられているメモリ３１３、３１４からバッファメモリ３２３、３２４にカウント値ＣＯＵＮＴ３、ＣＯＵＮＴ４がそれぞれ出力される。また、読み出し対象の行に位置する複数の計数部２１０ａにそれぞれ備えられている第２のラッチ回路７０２から第６のバッファメモリ７０４にカウンタ飽和回数ＳＣ２が出力される。   In step S902b, the first scanning unit 206 applies the third memory 313, the fourth memory 314, and the second latch circuit 702 provided in each of the plurality of counting units 210a located in the row to be read. The scan pulse PV2 is output. As a result, the count values COUNT3 and COUNT4 are output from the memories 313 and 314 provided in the plurality of counting units 210a located in the row to be read to the buffer memories 323 and 324, respectively. Also, the counter saturation count SC2 is output from the second latch circuit 702 provided in each of the plurality of counting units 210a located in the row to be read to the sixth buffer memory 704.

ステップＳ９０３は、第１実施形態において上述したステップＳ５０３と同様であるため、説明を省略する。
ステップＳ９０４ｂでは、読み出し対象の列に位置する読み出しメモリ２２０ａに備えられたバッファメモリ３２３，３２４，７０４から撮像信号生成部２０９ａにカウント値ＣＯＵＮＴ３、ＣＯＵＮＴ４及びカウンタ飽和回数ＳＣ２がそれぞれ出力される。 Step S903 is the same as step S503 described in the first embodiment, and a description thereof will be omitted.
In step S904b, the count values COUNT3 and COUNT4 and the counter saturation count SC2 are output from the buffer memories 323, 324, and 704 provided in the readout memory 220a located in the readout target column to the imaging signal generation unit 209a, respectively.

ステップＳ９０５ｂにおいて、第２の減算回路３３２が、第４のバッファメモリ３２４から出力されるカウント値ＣＯＵＮＴ４から第３のバッファメモリ３２３から出力されるカウント値ＣＯＵＮＴ３を減算する。また、第２の乗算回路７０６が、カウンタ飽和回数ＳＣ２にカウント上限値Ｃｍａｘを乗算する。更に、第２の加算回路７０８が、第２の減算回路３３２の出力と第２の乗算回路７０６の出力とを加算する。これにより、第ｉ行、第ｊ列の画素３０４の第２の撮像信号Ｓｉｇ２が取得される。   In step S905b, the second subtraction circuit 332 subtracts the count value COUNT3 output from the third buffer memory 323 from the count value COUNT4 output from the fourth buffer memory 324. The second multiplication circuit 706 multiplies the counter saturation count SC2 by the count upper limit value Cmax. Further, the second addition circuit 708 adds the output of the second subtraction circuit 332 and the output of the second multiplication circuit 706. As a result, the second imaging signal Sig2 of the pixel 304 in the i-th row and the j-th column is acquired.

ステップＳ９０６ｂにおいて、撮像信号生成部２０９ａが、第２の撮像信号Ｓｉｇ２を信号線ＯＵＴ２に出力する。
ステップＳ９０７以降の動作は、第１実施形態において上述したステップＳ５０７以降の動作と同様であるため、説明を省略する。こうして、偶数番目のフレームの撮像信号が生成される。 In step S906b, the imaging signal generation unit 209a outputs the second imaging signal Sig2 to the signal line OUT2.
Since the operation after Step S907 is the same as the operation after Step S507 described above in the first embodiment, the description thereof is omitted. In this way, the imaging signals of even-numbered frames are generated.

このように、本実施形態によれば、第１実施形態と同様に、蓄積期間の重複した複数の画像を良好に取得し得る。しかも、本実施形態によれば、カウンタ飽和回数ＳＣ１、ＳＣ２を取得するため、カウンタ３１５が飽和した場合であっても画像を良好に取得し得る。このため、本実施形態によれば、１フレーム当たりの蓄積期間がフレームレートに対応するフレーム間隔より長い動画像を取得することもできる。このため、本実施形態によれば、例えば、被写体の輝度が低い場合であっても、良好な動画像を取得することが可能となる。   As described above, according to the present embodiment, a plurality of images with overlapping accumulation periods can be acquired well as in the first embodiment. In addition, according to the present embodiment, the counter saturation times SC1 and SC2 are acquired, so that even when the counter 315 is saturated, an image can be acquired satisfactorily. Therefore, according to the present embodiment, it is possible to acquire a moving image in which the accumulation period per frame is longer than the frame interval corresponding to the frame rate. Therefore, according to the present embodiment, it is possible to acquire a good moving image even when the luminance of the subject is low, for example.

なお、上記では、動画像の各々のフレームの蓄積期間が互いに重複している場合を例に説明したが、これに限定されるものではない。例えば、各々のフレームの蓄積期間が互いに重複しないような動画像を取得することも可能である。図１０は、本実施形態による撮像装置の動作の他の例を示すタイミングチャートである。図１０に示す例においては、第２番目の同期信号ＶＤが供給されるタイミングｔ１００２より前に、カウント値取得信号Ｐ２が発せられ、第２のメモリ３１２がカウント値ＣＯＵＮＴ２を記憶し、第１番目のフレームの蓄積期間が終了する。また、カウント値取得信号Ｐ２が発せられるのと同時にイネーブル信号Ｅ１がローレベルとなり、第１のラッチ回路７０１の入力がディセーブル状態となる。カウント値ＣＯＵＮＴ２が第２のメモリ３１２に記憶され、第１のラッチ回路７０１においてカウンタ飽和回数ＳＣ１が確定した後、カウント値ＣＯＵＮＴ１、ＣＯＵＮＴ２及びカウンタ飽和回数ＳＣ１の計数部２１０ａからの出力が開始される。この後、第２番目の同期信号ＶＤが供給されるタイミングｔ１００３において、第２番目のフレームの蓄積期間が開始する。   In the above description, the case where the accumulation periods of the respective frames of the moving image overlap each other has been described as an example, but the present invention is not limited to this. For example, it is possible to acquire moving images in which the accumulation periods of the frames do not overlap each other. FIG. 10 is a timing chart illustrating another example of the operation of the imaging apparatus according to the present embodiment. In the example shown in FIG. 10, the count value acquisition signal P2 is issued before the timing t1002 at which the second synchronization signal VD is supplied, the second memory 312 stores the count value COUNT2, and the first The frame accumulation period ends. At the same time as the count value acquisition signal P2 is issued, the enable signal E1 becomes low level, and the input of the first latch circuit 701 is disabled. The count value COUNT2 is stored in the second memory 312, and after the counter saturation count SC1 is determined in the first latch circuit 701, output of the count values COUNT1, COUNT2 and the counter saturation count SC1 from the counter 210a is started. . Thereafter, at the timing t1003 when the second synchronization signal VD is supplied, the accumulation period of the second frame starts.

このように、動画像の各々のフレームの蓄積期間が互いに重複していなくてもよい。このように、本実施形態による撮像装置は、各々のフレームの蓄積期間が互いに重複する動画像を取得する第１の動作モードで動作することもできるし、各々のフレームの蓄積期間が互いに重複しない動画像を取得する第２の動作モードで動作することもできる。   As described above, the accumulation periods of the respective frames of the moving image may not overlap each other. As described above, the imaging apparatus according to the present embodiment can operate in the first operation mode in which moving images in which the accumulation periods of the frames overlap each other are acquired, and the accumulation periods of the frames do not overlap with each other. It is also possible to operate in the second operation mode for acquiring a moving image.

［第３実施形態］
第３実施形態による撮像装置及び撮像方法について図１１及び図１２を用いて説明する。図１乃至図１０に示す第１又は第２実施形態による撮像装置及び撮像方法と同一の構成要素には、同一の符号を付して説明を省略又は簡潔にする。
本実施形態による撮像装置は、カウンタ３１５の飽和が多数回生じた場合であっても飽和回数をカウントし得る飽和回数カウンタ１１０１が備えられているものである。なお、ここでは、第１のメモリ３１１，第２のメモリ３１２及び第１のラッチ回路７０１が動画像の取得に用いられる場合を例に説明する。また、ここでは、第３のメモリ３１３，第４のメモリ３１４及び飽和回数カウンタ１１０１が、静止画像の取得に用いられる場合を例に説明する。しかし、これに限定されるものではない。 [Third Embodiment]
An imaging apparatus and an imaging method according to the third embodiment will be described with reference to FIGS. 11 and 12. The same components as those of the imaging apparatus and imaging method according to the first or second embodiment shown in FIGS. 1 to 10 are denoted by the same reference numerals, and description thereof will be omitted or simplified.
The imaging apparatus according to the present embodiment is provided with a saturation number counter 1101 that can count the number of saturations even when the counter 315 is saturated many times. Here, a case where the first memory 311, the second memory 312, and the first latch circuit 701 are used for moving image acquisition will be described as an example. Here, a case where the third memory 313, the fourth memory 314, and the saturation number counter 1101 are used for acquiring a still image will be described as an example. However, it is not limited to this.

図１１は、本実施形態による固体撮像素子を示す図である。本実施形態では、計数部アレイ２０５に備えられた複数の計数部２１０ｂの各々が、図１１に示すような構成となっている。即ち、図１１に示すように、計数部２１０ｂには、図７に示す第２のラッチ回路７０２に代えて、飽和回数カウンタ１１０１が備えられている。飽和回数カウンタ１１０１は、カウンタ３１５の飽和が多数回生じた場合であっても、飽和回数をカウントし得るものである。飽和回数カウンタ１１０１のカウント上限値ＳＣ２ｍａｘは、第１のラッチ回路７０１のカウント上限値ＳＣ１ｍａｘよりも大きくなっている。なお、ここでは、１つの計数部２１０ｂに１つのラッチ回路７０１と１つの飽和回数カウンタ１１０１が備えられている場合を例に説明するが、これに限定されるものではない。飽和回数カウンタ１１０１は、イネーブル信号Ｅ２がハイレベルになっている間にカウンタ３１５のカウント値がカウント上限値Ｃｍａｘからカウント下限値０に遷移した回数を、カウンタ飽和回数（第２のカウンタ飽和回数）ＳＣ２として記憶する。飽和回数カウンタ１１０１のカウント上限値ＳＣ２ｍａｘは、長時間露光を可能とする観点からはできるだけ大きいことが好ましいが、回路規模の抑制の観点からはある程度の大きさに抑制される。飽和回数カウンタ１１０１は、リセット信号Ｒ２によってリセットされる。また、飽和回数カウンタ１１０１は、第１の走査部２０６から出力される走査パルスＰＶ２に従って、カウンタ飽和回数ＳＣ２を出力する。飽和回数カウンタ１１０１から出力されるカウンタ飽和回数ＳＣ２は、読み出しメモリ２２０ｂに備えられた第６のバッファメモリ１１０２に記憶される。   FIG. 11 is a diagram illustrating the solid-state imaging device according to the present embodiment. In the present embodiment, each of the plurality of counting units 210b provided in the counting unit array 205 has a configuration as shown in FIG. That is, as shown in FIG. 11, the counter 210b includes a saturation counter 1101 instead of the second latch circuit 702 shown in FIG. The saturation number counter 1101 can count the number of saturations even when the counter 315 is saturated many times. The count upper limit SC2max of the saturation counter 1101 is larger than the count upper limit SC1max of the first latch circuit 701. Here, a case where one latch circuit 701 and one saturation counter 1101 are provided in one counter 210b will be described as an example, but the present invention is not limited to this. The saturation number counter 1101 indicates the number of times that the count value of the counter 315 transits from the count upper limit value Cmax to the count lower limit value 0 while the enable signal E2 is at the high level, as the counter saturation number (second counter saturation number). Store as SC2. The count upper limit SC2max of the saturation number counter 1101 is preferably as large as possible from the viewpoint of enabling long-time exposure, but is suppressed to a certain level from the viewpoint of suppressing the circuit scale. The saturation number counter 1101 is reset by a reset signal R2. Further, the saturation number counter 1101 outputs the counter saturation number SC2 in accordance with the scanning pulse PV2 output from the first scanning unit 206. The counter saturation number SC2 output from the saturation number counter 1101 is stored in a sixth buffer memory 1102 provided in the read memory 220b.

また、本実施形態では、記憶部２０７に備えられた複数の読み出しメモリ２２０ｂの各々が、図１１に示すような構成となっている。即ち、図１１に示すように、読み出しメモリ２２０ｂは、図７に示す第６のバッファメモリ７０４に代えて、第６のバッファメモリ１１０２を備えている。第６のバッファメモリ１１０２は、飽和回数カウンタ１１０１から出力されるカウンタ飽和回数ＳＣ２を一時的に記憶する。第６のバッファメモリ１１０２は、飽和回数カウンタ１１０１から出力されるカウンタ飽和回数ＳＣ２を記憶し得る記憶容量を備えている。第６のバッファメモリ１１０２は、第２の走査部２１１から供給される走査パルスＰＨ２に従って、記憶しているカウンタ飽和回数ＳＣ２を第２の乗算回路７０６に出力する。   In the present embodiment, each of the plurality of read memories 220b provided in the storage unit 207 has a configuration as illustrated in FIG. That is, as shown in FIG. 11, the read memory 220b includes a sixth buffer memory 1102 instead of the sixth buffer memory 704 shown in FIG. The sixth buffer memory 1102 temporarily stores the counter saturation number SC2 output from the saturation number counter 1101. The sixth buffer memory 1102 has a storage capacity capable of storing the counter saturation number SC2 output from the saturation number counter 1101. The sixth buffer memory 1102 outputs the stored counter saturation count SC2 to the second multiplication circuit 706 in accordance with the scan pulse PH2 supplied from the second scan unit 211.

カウンタ３１５のカウント上限値Ｃｍａｘ、第１のラッチ回路７０１のカウント上限値ＳＣ１ｍａｘ、飽和回数カウンタ１１０１のカウント上限値ＳＣ２ｍａｘ等は、以下のような考え方に基づいて設定し得る。カウンタ３１５のカウント上限値Ｃｍａｘは、例えば、動画像において必要な階調を満たすカウント値（必要カウント値）Ｃｍａｘ１以上となるように設定される。この場合、第１のラッチ回路７０１においては、第２実施形態において上述したように、カウンタ飽和回数ＳＣ１を２回まで記録できればよい。従って、第１のラッチ回路７０１のカウント上限値ＳＣ１ｍａｘは例えば２とされる。一方、静止画像において必要な階調を満たすカウント値をＣｍａｘ２とする。静止画像においては、鑑賞に堪えるべく、広いダイナミックレンジが要求されるため、Ｃｍａｘ２はＣｍａｘ１より大きい。カウント上限値がＣｍａｘのカウンタ３１５を用いてＣｍａｘ２までカウントを行うためには、飽和回数カウンタ１１０１のカウント上限値ＳＣ２ｍａｘを、静止画像の最長蓄積期間を加味して決定することが好ましい。具体的には、動画像の１フレームの最短蓄積期間をＡ１ｍｉｎとする。静止画像の最長蓄積期間をＡ２ｍａｘとする。動画像の１フレームの最短蓄積期間Ａ１ｍｉｎと静止画像の最長蓄積期間Ａ２ｍａｘとの比をＲとする。カウンタ３１５のカウント上限値Ｃｍａｘに飽和回数カウンタ１１０１のカウント上限値ＳＣ２ｍａｘを乗ずることにより得られる値（Ｃｍａｘ×ＳＣ２ｍａｘ）が、Ｃｍａｘ２×Ｒ以上となるように、ＳＣ２ｍａｘを決定することが好ましい。図１２は、動画像の最短蓄積期間と、静止画像の最長蓄積期間と、カウント値との関係を示すグラフである。図１２の横軸は蓄積期間を示しており、図１２の縦軸はカウント値を示している。図１２の点Ａは、動画像の最短蓄積期間Ａ１ｍｉｎにおいてカウンタ３１５のカウント値が必要カウント値Ｃｍａｘ１に達するような状態を示している。このような状態となるような高輝度の被写体に対して、最長蓄積期間Ａ２ｍａｘでの静止画像の撮影を行うと、静止画像の撮影におけるカウント値は図１２において点Ｂで示すような値となる。点Ｂのカウント値は、例えば、動画像において必要な階調を満たすカウント値である必要カウント値Ｃｍａｘ１に、動画像の１フレームの最短蓄積期間Ａ１ｍｉｎと静止画像の最長蓄積期間Ａ２ｍａｘとの比Ｒを乗算することにより得られる値に相当する。即ち、点Ｂのカウント値は、Ｃｍａｘ１×Ｒに相当する。飽和回数カウンタ１１０１のカウント上限値ＳＣ２ｍａｘは、例えば、（Ｃｍａｘ１×Ｒ）をカウンタ３１５のカウント上限値Ｃｍａｘによって除算することによって得られる値に基づいて設定し得る。即ち、カウント上限値ＳＣ２ｍａｘは、以下のような式（１）に基づいて設定し得る。
ＳＣ２ｍａｘ≧（Ｃｍａｘ１×Ｒ）／Ｃｍａｘ ・・・（１） The count upper limit Cmax of the counter 315, the count upper limit SC1max of the first latch circuit 701, the count upper limit SC2max of the saturation counter 1101, etc. can be set based on the following concept. The count upper limit Cmax of the counter 315 is set to be equal to or greater than, for example, a count value (necessary count value) Cmax1 that satisfies a necessary gradation in a moving image. In this case, the first latch circuit 701 only needs to be able to record the counter saturation count SC1 up to twice as described above in the second embodiment. Therefore, the count upper limit SC1max of the first latch circuit 701 is set to 2, for example. On the other hand, a count value that satisfies a necessary gradation in a still image is Cmax2. In a still image, since a wide dynamic range is required to withstand viewing, Cmax2 is larger than Cmax1. In order to count up to Cmax2 using the counter 315 whose count upper limit value is Cmax, it is preferable to determine the count upper limit value SC2max of the saturation number counter 1101 in consideration of the longest accumulation period of still images. Specifically, the shortest accumulation period of one frame of a moving image is A1min. Let A2max be the longest accumulation period of still images. Let R be the ratio between the shortest accumulation period A1min of one frame of moving images and the longest accumulation period A2max of still images. It is preferable to determine SC2max so that a value (Cmax × SC2max) obtained by multiplying the count upper limit value Cmax of the counter 315 by the count upper limit value SC2max of the saturation counter 1101 is equal to or greater than Cmax2 × R. FIG. 12 is a graph showing the relationship between the shortest accumulation period of moving images, the longest accumulation period of still images, and the count value. The horizontal axis in FIG. 12 indicates the accumulation period, and the vertical axis in FIG. 12 indicates the count value. A point A in FIG. 12 shows a state where the count value of the counter 315 reaches the necessary count value Cmax1 in the shortest moving image accumulation period A1min. When a still image is shot in the longest accumulation period A2max for a high-brightness subject in such a state, the count value in the still image shooting is a value as indicated by a point B in FIG. . The count value of the point B is, for example, a ratio R between the shortest accumulation period A1min of one frame of the moving image and the longest accumulation period A2max of the still image to the necessary count value Cmax1 that is a count value that satisfies a necessary gradation in the moving image. It corresponds to a value obtained by multiplying. That is, the count value of the point B corresponds to Cmax1 × R. For example, the count upper limit SC2max of the saturation counter 1101 can be set based on a value obtained by dividing (Cmax1 × R) by the count upper limit Cmax of the counter 315. That is, the count upper limit SC2max can be set based on the following equation (1).
SC2max ≧ (Cmax1 × R) / Cmax (1)

図１３は、本実施形態による撮像装置の動作を示すタイミングチャートである。ここでは、各々のフレームの蓄積期間が互いに重複しないような動画像を撮影している最中に静止画像の撮影が行われる場合を例に説明する。   FIG. 13 is a timing chart illustrating the operation of the imaging apparatus according to the present embodiment. Here, a case will be described as an example in which a still image is captured while a moving image is captured such that the accumulation periods of the frames do not overlap each other.

タイミングｔ１３０１において、動画像の撮影開始の指示が撮影指示部１０７を介してユーザ等によって行われると、制御部１０３は、固体撮像素子１０１に対して、動画像の撮影開始の指示と、制御データとを送信する。当該制御データは、動画像の１フレーム当たりの蓄積期間の設定情報を含む。また、制御部１０３は、固体撮像素子１０１への同期信号ＶＤの供給を開始する。同期信号ＶＤの供給は、動画像の撮影の終了の指示がユーザ等によって行われるまで継続される。タイミングｔ１３０１においては、第１番目の同期信号ＶＤが固体撮像素子１０１に供給される。同期信号ＶＤの間隔は、動画像のフレームレートに応じたフレーム間隔とされる。動画像のフレームレートは、例えば、設定部１０６を介してユーザ等によって設定される。動画像の撮影開始の指示を受信すると、タイミングジェネレータ２１２は、カウント値取得信号Ｐ１を第１のメモリ３１１に対して出力し、リセット信号Ｒ１を第１のラッチ回路７０１に対して出力するとともに、イネーブル信号Ｅ１をハイレベルにする。第１のメモリ３１１は、カウント値取得信号Ｐ１を受信すると、当該カウント値取得信号Ｐ１を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ１を記憶する。第１のラッチ回路７０１は、リセット信号Ｒ１を受信すると、カウンタ飽和回数ＳＣ１の値を０にリセットする。第１のラッチ回路７０１は、ハイレベルのイネーブル信号Ｅ１を受信すると、入力がイネーブル状態となる。こうして、動画像の第１番目のフレームの撮像が開始される。   When an instruction to start shooting a moving image is given by a user or the like via the shooting instruction unit 107 at timing t1301, the control unit 103 instructs the solid-state imaging device 101 to start shooting a moving image and control data. And send. The control data includes setting information of the accumulation period per frame of moving images. Further, the control unit 103 starts supplying the synchronization signal VD to the solid-state image sensor 101. The supply of the synchronization signal VD is continued until an instruction to end the shooting of the moving image is given by the user or the like. At timing t1301, the first synchronization signal VD is supplied to the solid-state imaging device 101. The interval of the synchronization signal VD is a frame interval according to the frame rate of the moving image. The frame rate of the moving image is set by a user or the like via the setting unit 106, for example. Upon receiving an instruction to start capturing moving images, the timing generator 212 outputs a count value acquisition signal P1 to the first memory 311 and outputs a reset signal R1 to the first latch circuit 701. The enable signal E1 is set to high level. When receiving the count value acquisition signal P1, the first memory 311 stores the count value COUNT1 of the counter 315 when the count value acquisition signal P1 is received. When receiving the reset signal R1, the first latch circuit 701 resets the value of the counter saturation count SC1 to zero. When the first latch circuit 701 receives the high-level enable signal E1, the input is enabled. Thus, imaging of the first frame of the moving image is started.

タイミングｔ１３０１から１フレーム分の蓄積期間が経過したタイミングｔ１３０２において、タイミングジェネレータ２１２は、カウント値取得信号Ｐ２を第２のメモリ３１２に対して出力するとともに、イネーブル信号Ｅ１をローレベルにする。第２のメモリ３１２は、カウント値取得信号Ｐ２を受信すると、当該カウント値取得信号Ｐ２を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ２を記憶する。第１のラッチ回路７０１は、イネーブル信号Ｅ１がローレベルになると、入力がディセーブル状態となる。なお、タイミングｔ１３０１からタイミングｔ１３０２までの間に、カウンタ３１５の飽和は生じていないため、第１のラッチ回路７０１にはカウンタ飽和回数ＳＣ１として０が記憶されている。こうして、動画像の第１番目のフレームの撮像が終了する。   At timing t1302 when the accumulation period for one frame has elapsed from timing t1301, the timing generator 212 outputs the count value acquisition signal P2 to the second memory 312 and sets the enable signal E1 to low level. When receiving the count value acquisition signal P2, the second memory 312 stores the count value COUNT2 of the counter 315 when the count value acquisition signal P2 is received. The input of the first latch circuit 701 is disabled when the enable signal E1 is at a low level. Since the counter 315 is not saturated between the timing t1301 and the timing t1302, 0 is stored as the counter saturation count SC1 in the first latch circuit 701. Thus, the imaging of the first frame of the moving image is completed.

第１番目のフレームの撮像が終了してから第２番目のフレームの撮像が開始するまでの間に、走査パルスＰＶ１、ＰＨ１に従って、カウント値ＣＯＵＮＴ１、ＣＯＵＮＴ２及びカウンタ飽和回数ＳＣ１が撮像信号生成部２０９ａに順次送信される。なお、撮像信号生成部２０９ａにおいて行われる処理は、第２実施形態において図９（ａ）を用いて上述した処理と同様であるため、省略する。   Between the end of imaging of the first frame and the start of imaging of the second frame, the count values COUNT1, COUNT2 and the counter saturation count SC1 are obtained in accordance with the scanning pulses PV1, PH1 as the imaging signal generator 209a. Are sent sequentially. Note that the processing performed in the imaging signal generation unit 209a is the same as the processing described above with reference to FIG.

タイミングｔ１３０３において、制御部１０３は、第２番目の同期信号ＶＤを固体撮像素子１０１に対して供給する。これにより、動画像の第２番目のフレームの撮像が開始される。以降、フレームレートに応じたフレーム間隔で入力される同期信号ＶＤに従って、固体撮像素子１０１は、上記と同様の動作を繰り返す。これにより、動画像を構成する複数のフレームの各々が順次取得されていく。   At timing t1303, the control unit 103 supplies the second synchronization signal VD to the solid-state imaging device 101. Thereby, imaging of the second frame of the moving image is started. Thereafter, the solid-state imaging device 101 repeats the same operation as described above according to the synchronization signal VD input at a frame interval corresponding to the frame rate. Thereby, each of the plurality of frames constituting the moving image is sequentially acquired.

動画像の撮影が行われている最中のタイミングｔ１３０４において、静止画像の撮影開始の指示が撮影指示部１０７を介してユーザ等によって行われると、制御部１０３は、固体撮像素子１０１に対して、静止画像の撮影開始の指示と、制御データとを送信する。当該制御データは、静止画像の蓄積期間の設定情報を含む。静止画像の撮影開始の指示を受信すると、タイミングジェネレータ２１２は、カウント値取得信号Ｐ３を第３のメモリ３１３に対して出力し、リセット信号Ｒ２を飽和回数カウンタ１１０１に対して出力するとともに、イネーブル信号Ｅ２をハイレベルにする。第３のメモリ３１３は、カウント値取得信号Ｐ３を受信すると、当該カウント値取得信号Ｐ３を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ３を記憶する。飽和回数カウンタ１１０１は、リセット信号Ｒ２を受信すると、カウンタ飽和回数ＳＣ２の値を０にリセットする。飽和回数カウンタ１１０１は、ハイレベルのイネーブル信号Ｅ２を受信すると、入力がイネーブル状態となる。こうして、静止画像の撮影が開始される。   When an instruction to start shooting a still image is given by the user or the like via the shooting instruction unit 107 at a timing t1304 during which a moving image is being shot, the control unit 103 causes the solid-state imaging device 101 to Then, an instruction to start capturing a still image and control data are transmitted. The control data includes still image accumulation period setting information. When receiving the instruction to start capturing a still image, the timing generator 212 outputs the count value acquisition signal P3 to the third memory 313, outputs the reset signal R2 to the saturation number counter 1101, and also enables the enable signal. Set E2 to high level. When receiving the count value acquisition signal P3, the third memory 313 stores the count value COUNT3 of the counter 315 when the count value acquisition signal P3 is received. When the saturation number counter 1101 receives the reset signal R2, it resets the value of the counter saturation number SC2 to zero. When the saturation counter 1101 receives the high level enable signal E2, the input is enabled. Thus, still image shooting is started.

静止画像の蓄積期間中であるタイミングｔ１３０５とタイミングｔ１３０６とにおいて、カウンタ３１５のカウント値がカウント上限値Ｃｍａｘからカウント下限値０に遷移する。タイミングｔ１３０５においては、飽和回数カウンタ１１０１によるカウンタ飽和回数ＳＣ２が、０から１にカウントアップされる。タイミングｔ１３０６においては、飽和回数カウンタ１１０１によるカウンタ飽和回数ＳＣ２が、１から２にカウントアップされる。   At timing t1305 and timing t1306 during the still image accumulation period, the count value of the counter 315 changes from the count upper limit value Cmax to the count lower limit value 0. At timing t1305, the counter saturation count SC2 by the saturation counter 1101 is incremented from 0 to 1. At timing t1306, the counter saturation count SC2 by the saturation counter 1101 is counted up from 1 to 2.

タイミングｔ１３０４から静止画像の蓄積期間が経過したタイミングｔ１３０７において、タイミングジェネレータ２１２は、カウント値取得信号Ｐ４を第４のメモリ３１４に対して出力するとともに、イネーブル信号Ｅ２をローレベルにする。第４のメモリ３１４は、カウント値取得信号Ｐ４を受信すると、当該カウント値取得信号Ｐ４を受信した際におけるカウンタ３１５のカウント値ＣＯＵＮＴ４を記憶する。飽和回数カウンタ１１０１は、イネーブル信号Ｅ２がローレベルになると、入力がディセーブル状態となる。こうして、静止画像の撮影が終了する。   At timing t1307 when the still image accumulation period has elapsed from timing t1304, the timing generator 212 outputs the count value acquisition signal P4 to the fourth memory 314 and sets the enable signal E2 to the low level. When receiving the count value acquisition signal P4, the fourth memory 314 stores the count value COUNT4 of the counter 315 when the count value acquisition signal P4 is received. When the enable signal E2 becomes a low level, the input of the saturation counter 1101 is disabled. Thus, still image shooting is completed.

静止画像の撮像が終了すると、走査パルスＰＶ２、ＰＨ２に従って、カウント値ＣＯＵＮＴ３、ＣＯＵＮＴ４及びカウンタ飽和回数ＳＣ２が撮像信号生成部２０９ａに順次送信される。なお、撮像信号生成部２０９ａにおいて行われる処理は、第２実施形態において図９（ｂ）を用いて上述した処理と同様であるため、省略する。   When the still image capturing is completed, the count values COUNT3 and COUNT4 and the counter saturation count SC2 are sequentially transmitted to the imaging signal generation unit 209a in accordance with the scanning pulses PV2 and PH2. Note that the processing performed in the imaging signal generation unit 209a is the same as the processing described above with reference to FIG.

このように、本実施形態によれば、本実施形態によれば、カウンタ３１５の飽和が多数回生じた場合であっても飽和回数をカウントし得る飽和回数カウンタ１１０１が備えられている。このため、本実施形態によれば、カウンタ３１５が多数回飽和するような場合であっても、良好な画像を得ることができ、ダイナミックレンジの広い良好な画像を得ることができる。   Thus, according to the present embodiment, according to the present embodiment, the saturation number counter 1101 that can count the number of saturations even when the counter 315 is saturated many times is provided. For this reason, according to this embodiment, even when the counter 315 is saturated many times, a good image can be obtained and a good image with a wide dynamic range can be obtained.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
本発明は、上記実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program It can also be realized by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１０１…固体撮像素子
１０３…制御部
１０７…撮影指示部
２０２…センサ部アレイ
２０３…センサ部
２１０…計数部
２２０…記憶部
２０５…計数部アレイ
３０１…フォトダイオード
３０４…画素 DESCRIPTION OF SYMBOLS 101 ... Solid-state image sensor 103 ... Control part 107 ... Shooting instruction | indication part 202 ... Sensor part array 203 ... Sensor part 210 ... Counting part 220 ... Memory | storage part 205 ... Counting part array 301 ... Photodiode 304 ... Pixel

Claims (12)

光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、前記カウンタのカウント値を記憶するメモリとをそれぞれ備える複数の画素と、
第１の画像の撮像開始の際における前記カウンタのカウント値と、前記第１の画像の撮像終了の際における前記カウンタのカウント値とに基づいて第１の撮像信号を生成し、前記第１の画像とは異なる第２の画像の撮像開始の際における前記カウンタのカウント値と、前記第２の画像の撮像終了の際における前記カウンタのカウント値とに基づいて第２の撮像信号を生成する生成部と
を有することを特徴とする固体撮像素子。 A plurality of pixels each including a sensor unit that emits pulses at a frequency corresponding to the frequency of receiving photons, a counter that counts the number of pulses, and a memory that stores a count value of the counter;
A first imaging signal is generated based on a count value of the counter at the start of imaging of the first image and a count value of the counter at the end of imaging of the first image, and the first image Generation of generating a second imaging signal based on the count value of the counter at the start of imaging of the second image different from the image and the count value of the counter at the end of imaging of the second image And a solid-state imaging device. 前記センサ部は、アバランシェフォトダイオードを備えていることを特徴とする請求項１に記載の固体撮像素子。   The solid-state imaging device according to claim 1, wherein the sensor unit includes an avalanche photodiode. 前記メモリは、前記第１の画像の撮像開始の際における前記カウンタのカウント値と、前記第１の画像の撮像終了の際における前記カウンタのカウント値と、前記第２の画像の撮像開始の際における前記カウンタのカウント値と、前記第２の画像の撮像終了の際における前記カウンタのカウント値とを記憶することを特徴とする請求項１又は２に記載の固体撮像素子。   The memory has a count value of the counter at the start of imaging of the first image, a count value of the counter at the end of imaging of the first image, and at the start of imaging of the second image. 3. The solid-state imaging device according to claim 1, wherein the count value of the counter and the count value of the counter at the end of imaging of the second image are stored. 前記第１の画像の撮像開始の際に前記カウンタのカウント値をリセットするカウンタリセット部を備え、
前記メモリは、前記第１の画像の撮像開始の際における前記カウンタのカウント値を記憶せず、前記第１の画像の撮像終了の際における前記カウンタのカウント値を記憶し、
前記生成部は、前記メモリに記憶された、前記第１の画像の撮像終了の際における前記カウンタのカウント値に基づいて前記第１の撮像信号を生成することを特徴とする請求項１又は２に記載の固体撮像素子。 A counter reset unit that resets the count value of the counter at the start of imaging of the first image;
The memory does not store the count value of the counter at the start of imaging of the first image, but stores the count value of the counter at the end of imaging of the first image;
The said generation part produces | generates a said 1st imaging signal based on the count value of the said counter at the time of completion | finish of imaging of the said 1st image memorize | stored in the said memory. The solid-state image sensor described in 1. 前記第２の画像の撮像終了の際に前記カウンタによるカウントを停止するカウント停止部を備え、
前記メモリは、前記第２の画像の撮像開始の際における前記カウンタのカウント値を記憶し、前記第２の画像の撮像終了の際における前記カウンタのカウント値を記憶せず、
前記生成部は、前記メモリに記憶された、前記第２の画像の撮像開始の際における前記カウンタのカウント値と、前記カウンタに保持された、前記第２の画像の撮像終了の際における前記カウンタのカウント値とに基づいて前記第２の撮像信号を生成することを特徴とする請求項１、２及び４のいずれか１項に記載の固体撮像素子。 A count stop unit that stops counting by the counter at the end of imaging of the second image;
The memory stores the count value of the counter at the start of imaging of the second image, does not store the count value of the counter at the end of imaging of the second image,
The generation unit stores the count value of the counter stored in the memory at the start of imaging of the second image, and the counter stored in the counter at the end of imaging of the second image. 5. The solid-state imaging device according to claim 1, wherein the second imaging signal is generated on the basis of the count value. 前記カウンタの飽和回数を記憶する飽和回数記憶部を更に備え、
前記生成部は、前記第１の画像の撮像中に生じた前記カウンタの飽和回数を更に用いて前記第１の撮像信号を生成し、前記第２の画像の撮像中に生じた前記カウンタの飽和回数を更に用いて前記第２の撮像信号を生成することを特徴とする請求項１から５のいずれか１項に記載の固体撮像素子。 A saturation number storage unit for storing the number of saturations of the counter;
The generating unit generates the first imaging signal by further using the number of times of saturation of the counter that occurred during the imaging of the first image, and the saturation of the counter that occurred during the imaging of the second image. The solid-state imaging device according to claim 1, wherein the second imaging signal is generated by further using the number of times. 前記第１の画像において必要とされる階調と、前記第２の画像において必要とされる階調と、前記第１の画像の最短蓄積期間と、前記第２の画像の最長蓄積期間と、前記カウンタのカウント上限値とに基づいて、前記飽和回数記憶部のカウント上限値が設定されることを特徴とする請求項６に記載の固体撮像素子。   A gradation required in the first image, a gradation required in the second image, a shortest accumulation period of the first image, and a longest accumulation period of the second image; The solid-state imaging device according to claim 6, wherein a count upper limit value of the saturation number storage unit is set based on a count upper limit value of the counter. 前記第１の画像又は前記第２の画像において必要とされる階調に応じて前記カウンタのカウント上限値が設定されることを特徴とする請求項１から７のいずれか１項に記載の固体撮像素子。   The solid count according to any one of claims 1 to 7, wherein a count upper limit value of the counter is set in accordance with a gradation required in the first image or the second image. Image sensor. 前記第１の画像の撮像期間と前記第２の画像の撮像期間とが重複する第１の動作モードと、前記第１の画像の撮像期間と前記第２の画像の撮像期間とが重複しない第２の動作モードとで動作し得ることを特徴とする請求項１から８のいずれか１項に記載の固体撮像素子。   The first operation mode in which the imaging period of the first image and the imaging period of the second image overlap, and the imaging mode in which the imaging period of the first image and the imaging period of the second image do not overlap. The solid-state imaging device according to claim 1, wherein the solid-state imaging device can operate in two operation modes. 前記第１の画像の撮像期間と前記第２の画像の撮像期間とが異なることを特徴とする請求項１から９のいずれか１項に記載の固体撮像素子。   10. The solid-state imaging device according to claim 1, wherein an imaging period of the first image and an imaging period of the second image are different. 光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、前記カウンタのカウント値を記憶するメモリとをそれぞれ備える複数の画素と、第１の画像の撮像開始の際における前記カウンタのカウント値と、前記第１の画像の撮像終了の際における前記カウンタのカウント値とに基づいて第１の撮像信号を生成し、前記第１の画像とは異なる第２の画像の撮像開始の際における前記カウンタのカウント値と、前記第２の画像の撮像終了の際における前記カウンタのカウント値とに基づいて第２の撮像信号を生成する生成部とを有する固体撮像素子と、
前記固体撮像素子によって取得される第１の撮像信号と前記第２の撮像信号とに対して所定の処理を行う制御部と
を備えることを特徴とする撮像装置。 A plurality of pixels each including a sensor unit that emits pulses at a frequency according to the frequency of receiving photons, a counter that counts the number of pulses, and a memory that stores a count value of the counter, and imaging of the first image A first imaging signal is generated based on the count value of the counter at the start and the count value of the counter at the end of imaging of the first image, and is different from the first image. A solid-state imaging device including a generation unit that generates a second imaging signal based on the count value of the counter at the start of imaging of the second image and the count value of the counter at the end of imaging of the second image Elements,
An image pickup apparatus comprising: a control unit that performs predetermined processing on the first image pickup signal and the second image pickup signal acquired by the solid-state image pickup device. 光子の受光頻度に応じた頻度でセンサ部から発せられるパルスの数をカウントするカウンタの第１の画像の撮像開始の際におけるカウント値と、前記第１の画像の撮像終了の際におけるカウント値とに基づいて、第１の撮像信号を生成するステップと、
前記第１の画像とは異なる第２の画像の撮像開始の際における前記カウンタのカウント値と、前記第２の画像の撮像終了の際における前記カウンタのカウント値とに基づいて、第２の撮像信号を生成するステップと
を有することを特徴とする撮像方法。 A count value at the start of imaging of the first image of a counter that counts the number of pulses emitted from the sensor unit at a frequency according to the frequency of receiving photons, and a count value at the end of imaging of the first image Generating a first imaging signal based on:
Based on the count value of the counter at the start of imaging of the second image different from the first image and the count value of the counter at the end of imaging of the second image, the second imaging And a step of generating a signal.
JP2017099032A 2017-05-18 2017-05-18 Solid-state image sensor and image sensor Active JP6909050B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017099032A JP6909050B2 (en) 2017-05-18 2017-05-18 Solid-state image sensor and image sensor
US15/978,781 US10652494B2 (en) 2017-05-18 2018-05-14 Solid-state imaging device, imaging apparatus, and imaging method for generating images based on a frequency of photons and having overlapping imaging periods
JP2021109964A JP7223070B2 (en) 2017-05-18 2021-07-01 Solid-state imaging device and imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017099032A JP6909050B2 (en) 2017-05-18 2017-05-18 Solid-state image sensor and image sensor

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021109964A Division JP7223070B2 (en) 2017-05-18 2021-07-01 Solid-state imaging device and imaging device

Publications (2)

Publication Number Publication Date
JP2018196015A true JP2018196015A (en) 2018-12-06
JP6909050B2 JP6909050B2 (en) 2021-07-28

Family

ID=64272704

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017099032A Active JP6909050B2 (en) 2017-05-18 2017-05-18 Solid-state image sensor and image sensor
JP2021109964A Active JP7223070B2 (en) 2017-05-18 2021-07-01 Solid-state imaging device and imaging device

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021109964A Active JP7223070B2 (en) 2017-05-18 2021-07-01 Solid-state imaging device and imaging device

Country Status (2)

Country Link
US (1) US10652494B2 (en)
JP (2) JP6909050B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022067623A (en) * 2020-10-20 2022-05-06 キヤノン株式会社 Photoelectric conversion element, method for controlling photoelectric conversion element, and information processing apparatus
JP2023004679A (en) * 2021-06-28 2023-01-17 キヤノン株式会社 Imaging apparatus
JP2023061645A (en) * 2021-10-20 2023-05-02 キヤノン株式会社 Photoelectric conversion device, photoelectric conversion system, moving object, equipment
JP2024171629A (en) * 2023-05-30 2024-12-12 キヤノン株式会社 Photoelectric conversion device, mobile object, photoelectric conversion method, and computer program
JP2024171639A (en) * 2023-05-30 2024-12-12 キヤノン株式会社 Photoelectric conversion device, mobile object, control method, and computer program

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6909050B2 (en) * 2017-05-18 2021-07-28 キヤノン株式会社 Solid-state image sensor and image sensor
JP7743465B2 (en) 2023-05-30 2025-09-24 キヤノン株式会社 Photoelectric conversion device, mobile object, photoelectric conversion method, and computer program
JP2025003143A (en) 2023-06-23 2025-01-09 キヤノン株式会社 Photoelectric conversion device, mobile object, photoelectric conversion method, and computer program
JP2025003228A (en) * 2023-06-23 2025-01-09 キヤノン株式会社 IMAGING SYSTEM, MOBILE BODY, IMAGING METHOD, AND COMPUTER PROGRAM
JP2025003229A (en) * 2023-06-23 2025-01-09 キヤノン株式会社 IMAGING SYSTEM, MOBILE BODY, IMAGING METHOD, AND COMPUTER PROGRAM
JP2025004459A (en) * 2023-06-26 2025-01-15 キヤノン株式会社 Photoelectric conversion device, image processing device, mobile object, processing method, and computer program
JP2025006264A (en) 2023-06-29 2025-01-17 キヤノン株式会社 Photoelectric conversion device, mobile object, photoelectric conversion method, and computer program
JP2025006098A (en) 2023-06-29 2025-01-17 キヤノン株式会社 IMAGING SYSTEM, MOBILE BODY, IMAGING METHOD, AND COMPUTER PROGRAM
JP2025033575A (en) * 2023-08-29 2025-03-13 キヤノン株式会社 Photoelectric conversion device, mobile object, control method, and computer program
JP2025040119A (en) 2023-09-11 2025-03-24 キヤノン株式会社 Photoelectric conversion device, mobile object, control method, and computer program
JP2025040787A (en) * 2023-09-12 2025-03-25 キヤノン株式会社 Photoelectric conversion device, mobile object, control method, and computer program
JP2025058571A (en) * 2023-09-28 2025-04-09 キヤノン株式会社 Photoelectric conversion device, mobile object, processing method, and computer program

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001054022A (en) * 1999-08-13 2001-02-23 Nippon Hoso Kyokai <Nhk> Solid-state imaging device
JP2004518347A (en) * 2000-10-26 2004-06-17 ロックウェル サイエンティフィック カンパニー リミテッド ライアビリティー カンパニー Amplified CMOS transducer for single photon readout of light receiving element
WO2007000879A1 (en) * 2005-06-29 2007-01-04 National University Corporation NARA Institute of Science and Technology Solid-state imaging element and signal reading method thereof
KR20070085867A (en) * 2004-12-07 2007-08-27 브라잇 이미징 리미티드 Image processing method and apparatus for scenes with high contrast deviation
US20130248689A1 (en) * 2010-09-06 2013-09-26 Munir Eldesouki Time-delay integration imaging method and apparatus using a high-speed in-pixel analog photon counter
WO2014097857A1 (en) * 2012-12-20 2014-06-26 ソニー株式会社 Image pickup element, image pickup device, electronic apparatus, threshold calculation device, and image pickup method
WO2014181889A1 (en) * 2013-05-10 2014-11-13 株式会社テレシステムズ Substance identification device and substance identification method employing x-ray panoramic/ct photographing
JP2015068791A (en) * 2013-09-30 2015-04-13 株式会社東芝 Radiation detection device and radiation detection method
JP2016513942A (en) * 2013-03-15 2016-05-16 ラムバス・インコーポレーテッド Conditional reset image sensor to monitor threshold
WO2017058488A1 (en) * 2015-10-01 2017-04-06 Qualcomm Incorporated High dynamic range solid state image sensor and camera system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0799868B2 (en) * 1984-12-26 1995-10-25 日本放送協会 Solid-state imaging device
US5665959A (en) * 1995-01-13 1997-09-09 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Adminstration Solid-state image sensor with focal-plane digital photon-counting pixel array
JP4255345B2 (en) 2003-09-12 2009-04-15 株式会社ルネサステクノロジ Imaging device
US7547872B2 (en) * 2005-02-14 2009-06-16 Ecole Polytechnique Federale De Lausanne Integrated circuit comprising an array of single photon avalanche diodes
JP5521721B2 (en) * 2009-08-28 2014-06-18 ソニー株式会社 Image sensor and camera system
JP2012235265A (en) 2011-04-28 2012-11-29 Panasonic Corp Image sensor and driving method of the same
JP2013090139A (en) 2011-10-18 2013-05-13 Sony Corp Image pickup device and camera system
JP6535163B2 (en) 2014-02-24 2019-06-26 日本放送協会 Signal processing circuit and image sensor
JP2016219993A (en) 2015-05-19 2016-12-22 キヤノン株式会社 Method of driving imaging device
EP3430648B1 (en) * 2016-03-15 2020-09-23 Dartmouth College Stacked backside-illuminated quanta image sensor with cluster-parallel readout
JP6808564B2 (en) 2017-04-07 2021-01-06 キヤノン株式会社 Signal processing devices and methods, image sensors, and image pickup devices
JP6909050B2 (en) * 2017-05-18 2021-07-28 キヤノン株式会社 Solid-state image sensor and image sensor

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001054022A (en) * 1999-08-13 2001-02-23 Nippon Hoso Kyokai <Nhk> Solid-state imaging device
JP2004518347A (en) * 2000-10-26 2004-06-17 ロックウェル サイエンティフィック カンパニー リミテッド ライアビリティー カンパニー Amplified CMOS transducer for single photon readout of light receiving element
KR20070085867A (en) * 2004-12-07 2007-08-27 브라잇 이미징 리미티드 Image processing method and apparatus for scenes with high contrast deviation
WO2007000879A1 (en) * 2005-06-29 2007-01-04 National University Corporation NARA Institute of Science and Technology Solid-state imaging element and signal reading method thereof
US20130248689A1 (en) * 2010-09-06 2013-09-26 Munir Eldesouki Time-delay integration imaging method and apparatus using a high-speed in-pixel analog photon counter
WO2014097857A1 (en) * 2012-12-20 2014-06-26 ソニー株式会社 Image pickup element, image pickup device, electronic apparatus, threshold calculation device, and image pickup method
JP2016513942A (en) * 2013-03-15 2016-05-16 ラムバス・インコーポレーテッド Conditional reset image sensor to monitor threshold
WO2014181889A1 (en) * 2013-05-10 2014-11-13 株式会社テレシステムズ Substance identification device and substance identification method employing x-ray panoramic/ct photographing
JP2015068791A (en) * 2013-09-30 2015-04-13 株式会社東芝 Radiation detection device and radiation detection method
WO2017058488A1 (en) * 2015-10-01 2017-04-06 Qualcomm Incorporated High dynamic range solid state image sensor and camera system

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022067623A (en) * 2020-10-20 2022-05-06 キヤノン株式会社 Photoelectric conversion element, method for controlling photoelectric conversion element, and information processing apparatus
JP7770798B2 (en) 2020-10-20 2025-11-17 キヤノン株式会社 Photoelectric conversion element, photoelectric conversion element control method, and information processing device
JP2023004679A (en) * 2021-06-28 2023-01-17 キヤノン株式会社 Imaging apparatus
JP7767041B2 (en) 2021-06-28 2025-11-11 キヤノン株式会社 Imaging device
JP2023061645A (en) * 2021-10-20 2023-05-02 キヤノン株式会社 Photoelectric conversion device, photoelectric conversion system, moving object, equipment
JP7775021B2 (en) 2021-10-20 2025-11-25 キヤノン株式会社 Photoelectric conversion device, photoelectric conversion system, mobile object, equipment
JP2024171629A (en) * 2023-05-30 2024-12-12 キヤノン株式会社 Photoelectric conversion device, mobile object, photoelectric conversion method, and computer program
JP2024171639A (en) * 2023-05-30 2024-12-12 キヤノン株式会社 Photoelectric conversion device, mobile object, control method, and computer program
JP7753292B2 (en) 2023-05-30 2025-10-14 キヤノン株式会社 Photoelectric conversion device, mobile object, photoelectric conversion method, and computer program
JP7786828B2 (en) 2023-05-30 2025-12-16 キヤノン株式会社 Photoelectric conversion device, mobile object, control method, and computer program

Also Published As

Publication number Publication date
JP2021153346A (en) 2021-09-30
JP6909050B2 (en) 2021-07-28
US10652494B2 (en) 2020-05-12
JP7223070B2 (en) 2023-02-15
US20180338102A1 (en) 2018-11-22

Similar Documents

Publication Publication Date Title
JP7223070B2 (en) Solid-state imaging device and imaging device
US9025074B2 (en) Image capturing apparatus and method for controlling the same
JP6039165B2 (en) Imaging device and imaging apparatus
CN111800591B (en) Image pickup element, control method thereof, and image pickup device
CN111149352B (en) Image pickup apparatus and control method thereof
JP2021090134A (en) Imaging apparatus and control method for the same
US9794497B2 (en) Solid-state imaging device controlling read-out of signals from pixels in first and second areas
JP6872956B2 (en) Imaging system and control method of imaging system
JP7108471B2 (en) Solid-state imaging device, imaging device, and imaging method
CN111133750A (en) Image Sensors and Camera Equipment
JP2016090785A (en) Imaging apparatus and control method thereof
JP6265962B2 (en) Imaging device and imaging apparatus
JP2016058877A (en) Imaging apparatus and control method thereof
US7965326B2 (en) Semiconductor element, method of driving semiconductor element and solid imaging apparatus
JP2019103121A (en) Imaging device, imaging apparatus, and imaging method
JP2018078609A (en) Imaging device and imaging apparatus
JP2018061230A (en) Imaging apparatus, driving method thereof, and imaging system
JP2012129634A (en) Solid-state imaging device and imaging system
JP2017216649A (en) Imaging device, imaging device, and imaging signal processing method
JP2008187614A (en) Photographing apparatus
JP2020028115A (en) Imaging device
JP2023046663A (en) PHOTOELECTRIC CONVERSION DEVICE, IMAGING DEVICE, CONTROL METHOD, AND COMPUTER PROGRAM
US10623642B2 (en) Image capturing apparatus and control method thereof with change, in exposure period for generating frame, of conversion efficiency
JP6366325B2 (en) Imaging system
US20220006941A1 (en) Solid-state imaging device

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20171214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210702

R151 Written notification of patent or utility model registration

Ref document number: 6909050

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151