[go: up one dir, main page]

CN114829969A - 飞行时间传感器、飞行时间系统和系统 - Google Patents

飞行时间传感器、飞行时间系统和系统 Download PDF

Info

Publication number
CN114829969A
CN114829969A CN202080087445.1A CN202080087445A CN114829969A CN 114829969 A CN114829969 A CN 114829969A CN 202080087445 A CN202080087445 A CN 202080087445A CN 114829969 A CN114829969 A CN 114829969A
Authority
CN
China
Prior art keywords
signal line
coupled
capacitor
circuit
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080087445.1A
Other languages
English (en)
Other versions
CN114829969B (zh
Inventor
中川庆
戈兰·泽图尼
兹维卡·维格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Sony Group Corp
Original Assignee
Sony Semiconductor Solutions Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp, Sony Group Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN114829969A publication Critical patent/CN114829969A/zh
Application granted granted Critical
Publication of CN114829969B publication Critical patent/CN114829969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H10F39/182—Colour image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/803—Pixels having integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8053—Colour filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Electric Clocks (AREA)

Abstract

一种飞行时间装置，包括像素阵列，该像素阵列包括像素电路阵列，其中，该阵列的列包括：第一像素电路，该第一像素电路包括第一光电二极管，耦接到所述第一光电二极管的第一电容器和第二电容器，以及第二像素电路，该第二像素电路包括第二光电二极管，耦接到所述第二光电二极管的第三电容器和第四电容器，耦接至所述第一电容器的第一信号线；耦接至所述第二电容器第二信号线；耦接至所述第三电容器的第三信号线；耦接至所述第四电容器的第四信号线，第一开关电路、第二开关电路、通过第一开关电路耦接到第一信号线和第三信号线的第一比较器、以及通过第二开关电路耦接到第二信号线和第四信号线的第二比较器。

Description

飞行时间传感器、飞行时间系统和系统
技术领域
本申请总体上涉及图像传感器。更具体地，本申请涉及在飞行时间(TOF)传感器、飞行时间系统和系统中用于距离和深度确定的系统和方法。
背景技术
图像感测装置通常包括一般实施为像素电路阵列的图像传感器，以及信号处理电路和任何相关的控制或定时电路。在图像传感器本身内，由于光的撞击，电荷收集在像素电路的光电转换装置中。通常存在非常大量的单独的光电转换装置(例如，数千万)，以及并行工作的许多信号处理电路组件。信号处理电路内的各种组件被大量的光电转换装置共享；例如，一列或多列光电转换装置可以共享单个模数转换器(ADC)或采样和保持(S/H)电路。
发明内容
[技术问题]
本公开的各个方面涉及图像传感器和其中的距离确定方法。
[问题的解决方案]
在本公开的一个方面中，提供了一种飞行时间传感器，包括：像素阵列，包括布置成阵列的多个像素电路，其中所述阵列的第一列包括：第一像素电路，包括第一光电二极管、耦接至所述第一光电二极管的第一电容器和耦接至所述第一光电二极管的第二电容器，以及第二像素电路，包括第二光电二极管、耦接至所述第二光电二极管的第三电容器和耦接至所述第二光电二极管的第四电容器；第一信号线，耦接至所述第一电容器；第二信号线，耦接至所述第二电容器；第三信号线，耦接至所述第三电容器；第四信号线，耦接至所述第四电容器；第一开关电路；第二开关电路；第一比较器，通过所述第一开关电路耦接至所述第一信号线和所述第三信号线；以及第二比较器，通过所述第二开关电路耦接至所述第二信号线和所述第四信号线。
在本公开的另一方面，提供了一种飞行时间系统，包括：光源，被配置为发射光；以及传感器，包括：像素阵列，包括布置成阵列的多个像素电路，其中，所述阵列的列包括：第一像素电路，包括第一光电二极管、耦接至所述第一光电二极管的第一电容器以及耦接至所述第一光电二极管的第二电容器，以及第二像素电路，包括：第二光电二极管；第三电容器，耦接至所述第二光电二极管；以及第四电容器，耦接至所述第二光电二极管；耦接至所述第一电容器的第一信号线，耦接至所述第二电容器的第二信号线、耦接至所述第三电容器的第三信号线、耦接至所述第四电容器的第四信号线、第一开关电路，第二开关电路；第一比较器，通过所述第一开关电路耦接至所述第一信号线和所述第三信号线；以及第二比较器，通过所述第二开关电路耦接至所述第二信号线和所述第四信号线。
在本公开的另一方面，提供了一种系统，包括：被配置为生成图像数据的第一传感器，所述第一传感器包括第一像素阵列；以及第二传感器，被配置为生成距离数据，所述第二传感器包括：第二像素阵列，包括布置成阵列的多个像素电路，其中，所述阵列的列包括：第一像素电路，包括第一光电二极管；耦接至所述第一光电二极管的第一电容器，以及耦接至所述第一光电二极管的第二电容器，以及包括第二光电二极管、耦接至所述第二光电二极管的第三电容器以及耦接至所述第二光电二极管的第四电容器的第二像素电路，耦接至所述第一电容器的第一信号线、耦接至所述第二电容器的第二信号线、耦接至所述第三电容器的第三信号线，耦接至所述第四电容器的第四信号线；第一开关电路；第二开关电路；第一比较器，通过所述第一开关电路耦接至所述第一信号线和所述第三信号线，以及第二比较器，通过第二开关电路耦接至第二信号线和第四信号线。
照此，本公开的各个方面提供了至少在深度感测的技术领域以及成像、图像处理等相关的技术领域的改进。
本公开可以以各种形式体现，包括由计算机实施的方法、计算机程序产品、计算机系统和网络、用户界面和应用编程接口控制的硬件或电路；以及硬件实现的方法、信号处理电路、图像传感器电路、应用专用集成电路、现场可编程门阵列，等等。前述概述仅旨在给出本公开的各个方面的一般想法，并且不以任何方式限制本公开的范围。
[本发明的有利效果]
数量I和Q可以在第N帧中获得，并且数量-I和-Q可以在第N+1帧中获得。
附图说明
参照附图，在以下描述中更全面地公开各种实施方式的这些和其他更详细的和具体的特征，其中：
[图1A]图1A示出了根据本公开的各个方面的示例性TOF系统；
[图1B]图1B示出了根据本公开的各个方面的示例性TOF系统；
[图2]图2示出了根据本公开的各个方面的示例性TOF传感器；
[图3A]图3A示出了根据本公开各个方面的示例性像素电路；
[图3B]图3B示出了根据本公开各个方面的示例性像素电路；
[图4]图4示出了根据本公开的各个方面的示例性读出电路；
[图5A]图5A示出图4的示例性读出电路中的示例性读出模式和操作；
[图5B]图5B示出图4的示例性读出电路中的示例性读出模式和操作；
[图5C]图5C示出图4的示例性读出电路中的示例性读出模式和操作；
[图5D]图5D示出了图4的示例性读出电路中的示例性读出模式和操作；
[图6]图6示出了图4的示例性读出电路中的示例性读出模式和操作；
[图7]图7示出了图4的示例性读出电路中的示例性读出模式和操作；
[图8]图8示出了图4的示例性读出电路中的示例性读出模式和操作；
[图9A]图9A示出图4的示例性读出电路中的示例性读出模式和操作；
[图9B]图9B示出图4的示例性读出电路中的示例性读出模式和操作；
[图10]图10示出了与本公开的各个方面一起使用的示例性IQ马赛克模式；
[图11A]图11A示出图4的示例性读出电路中的示例性读出模式和操作；
[图11B]图11B示出图4的示例性读出电路中的示例性读出模式和操作；
[图12A]图12A示出图4的示例性读出电路中的示例性读出模式和操作；
[图12B]图12B示出图4的示例性读出电路中的示例性读出模式和操作；
[图13A]图13A示出图4的示例性读出电路中的示例性读出模式和操作；
[图13B]图13B示出了图4的示例性读出电路中的示例性读出模式和操作；
[图14A]图14A示出图4的示例性读出电路中的示例性读出模式和操作；
[图14B]图14B示出了图4的示例性读出电路中的示例性读出模式和操作；
[图15]图15示出了根据本公开各个方面的示例性操作方法；以及
[图16]图16示出了根据本公开的各个方面的另一示例性操作方法。
具体实施方式
在以下描述中，阐述了许多细节，诸如流程图、数据表和系统配置。对本领域的技术人员而言将显而易见的是，这些具体细节仅仅是示范性的并且不旨在限制本申请的范围。
此外，虽然本公开主要集中在处理电路用于图像传感器中的示例，但是将理解，这仅是实现方式的一个示例。将进一步理解，所公开的系统和方法可用于其中需要检测基于波的传感器中的距离的任何装置中；例如，音频电路、声子传感器、雷达系统等。
成像系统
图1A示出了被配置成对位于距离d远的对象102进行检测和/或的TOF成像系统101a的第一示例100a。TOF成像系统101a包括被配置为生成朝向对象102的发射光波120的光发生器111和被配置为从对象102接收反射光波130的TOF图像传感器112。发射光波120可具有周期波形。TOF图像传感器112可以是能够将入射辐射转换成信号的任何装置。例如，TOF图像传感器112可通过互补金属氧化物半导体(CMOS)图像传感器(CIS)、电荷耦合器件(CCD)等来实施。TOF成像系统101a可进一步包括距离确定电路，诸如控制器113(例如，CPU)和存储器114，其可操作以执行如下文进一步描述的飞行时间处理的一个或多个示例。
图1B示出了被配置成对位于距离d远的对象102进行检测和/或成像的TOF成像系统101b的第二示例100b。TOF成像系统101b包括被配置为生成朝向对象102的发射光波120的光发生器111、被配置为从对象102接收反射光波130的TOF图像传感器112、以及被配置为捕捉对象102的RGB图像的RGB图像传感器115。发射光波120可具有周期波形。TOF图像传感器112可以是能够将入射辐射转换成信号的任何装置。例如，TOF图像传感器112和RGB传感器115可各自通过互补金属氧化物半导体(CMOS)图像传感器(CIS)、电荷耦合器件(CCD)等来实施。虽然第二示例100b描述的是RGB图像传感器115，但实际上，图像传感器115可捕捉单色图像或可包含不同于RGB的滤色器。此外，虽然图1B将TOF图像传感器112和RGB图像传感器115图示为单独组件，但在本公开的一些方面中，TOF图像传感器112和RGB图像传感器115可被集成为单个芯片和/或利用单个像素阵列。TOF成像系统101b可进一步包括距离确定和处理电路，诸如控制器113(例如，CPU)和存储器114，其可操作以执行如下文进一步描述的飞行时间和图像处理的一个或多个示例。
例如，光发生器111可以是发光二极管(LED)、激光二极管、或者任何其他光发生装置或者装置的组合，并且可以通过控制器113控制光波形。光发生器可在红外范围内操作以便减少来自可见光谱的干扰，虽然可由图像传感器112感知的任何波长范围均可以利用。控制器113可被配置为从图像传感器接收图像并且计算指示与对象102各点距离d的深度图。
图2示出了根据本公开各个方面的示例性图像传感器200。图像传感器200可以是图1中示出的TOF图像传感器112的示例。如图2所示，图像传感器200包括像素电路211的阵列210，每个像素电路均位于水平信号线212与一组垂直信号线213a、213b、213c、213d彼此交叉的交叉处。水平信号线212在像素阵列210外部的点处操作性地连接至垂直扫描电路220(也称为“行扫描电路”或“垂直驱动电路”)。水平信号线212将信号从垂直扫描电路220传送至像素电路211的特定行。虽然图2示出用于给定行的像素电路211的单个水平信号线212，但是实际上，可以为每行像素电路211提供多个水平信号线212。
像素电路211交替地以浮动扩散FDa和FDb(例如，如图3所示)存储对应于入射光量的电荷，并且以下面将更详细描述的方式选择性地将对应于电荷量的模拟信号输出至垂直信号线213a、213b、213c、213d。尽管图2示出了给定像素电路211的一侧上的垂直信号线213a和213c以及给定像素电路211的另一侧上的垂直信号线213b和213d，但实际上，垂直信号线213a、213b、213c、213d可全部设置在给定像素电路211的单侧上；或者垂直信号线213a、213b、213c、213d中的一个可以位于给定像素电路211的一侧，并且垂直信号线213a、213b、213c、213d中的其他三个可以位于给定像素电路211的另一侧。此外，出于说明的目的，图2中实际上仅示出了阵列210中的像素电路211的子集；然而，实际上，图像传感器200可具有任何数量的像素电路211。图2示出了每个像素电路211的两条垂直信号线213a和213b或者213c和213d(“双头”系统)；然而，实际上，图像传感器200可以包含每列像素电路211的更大数量的垂直信号线。
阵列210的一些行中的像素电路211连接到垂直信号线213a和213b，而阵列210的其他行中的像素电路211连接到垂直信号线213c和213d。在一些方面中，像素电路211连接到四行组中的特定垂直信号线，即，阵列210的第一四行中的像素电路211连接到垂直信号线213a和213b，阵列210的第二四行中的像素电路211连接到垂直信号线213c和213d，阵列210的第三四行中的像素电路连接到垂直信号线213c和213d，等等。
垂直信号线213a、213b、213c、213d将用于特定列的模拟信号(用于垂直信号线213a和213c的A和用于垂直信号线213b和213c的B)传导至读出电路231，读出电路231包括开关电路232并且包括用于像素电路211的每一列的两个比较器234。每个比较器234将模拟信号与从参考信号发生器233输出的参考信号进行比较。参考信号发生器233可以是例如数模转换器(DAC)，并且参考信号可以具有例如周期性斜坡波形。每个比较器234输出指示来自相应信号线输入的输入模拟信号与参考信号之间的比较的数字信号。
读出电路231的输出被提供给信号处理电路235。信号处理电路235可以包括附加组件，诸如计数器、锁存器、S/H电路等。信号处理电路235能够执行相关双采样(CDS)的方法。CDS能够通过对每个像素电路211采样两次来克服一些像素噪声相关的问题。首先，对像素电路211的复位电压
Figure BDA0003698906350000071
进行采样。这也可以被称为P相值或cds值。随后，对像素电路211的数据电压Vdata(即，像素电路211曝光之后的电压)进行采样。这也可以被称为D相值或曝光值。然后从数据值Vdata减去复位值Vreset以提供反映落在像素电路211上的光量的值。可以对像素电路211的每个头执行CDS方法。
信号处理电路的各种组件由水平扫描电路240控制，水平扫描电路240也称为“列扫描电路”或“水平驱动电路”。水平扫描电路240使信号处理电路经由输出电路250输出信号以用于进一步处理、存储、传输等。垂直扫描电路220、切换电路232、参考电路发生器233和水平电路240可以在驱动控制器260和/或通信和定时电路270的控制下操作，驱动控制器260和/或通信和定时电路270又可以基于时钟电路280操作。时钟电路280可以是时钟发生器，其生成用于图像传感器200的不同部件的一个或多个时钟信号。另外或替代地，时钟电路280可为时钟转换器，所述时钟转换器转换从图像传感器200的外部接收的一或多个时钟信号且将经转换的时钟信号提供到图像传感器200的不同组件。
图3A示出了具有双头配置的第一示例性像素电路300a。像素电路300a可以是图2中阵列210的第一行或第二行中示出的像素电路211的示例。如图3A所示，像素电路300a包括光电转换元件301(例如，光电二极管)、像素复位晶体管302、第一传输晶体管303a、第二传输晶体管303b、第一浮动扩散FDa、第二浮动扩散FDb、第一头复位晶体管304a、第二头复位晶体管304b、第一介入晶体管305a、第二介入晶体管305b、第一放大器晶体管306a、第二放大器晶体管306b、第一选择晶体管307a和第二选择晶体管307b。光电转换元件301、第一传输晶体管303a、第一头复位晶体管304a、第一介入晶体管305a、第一放大器晶体管306a以及第一选择晶体管307a被控制为经由第一垂直信号线308a输出模拟信号(A)，第一垂直信号线308a可以是图2中示出的垂直信号线213a的示例。该组部件可被称为“头A”。光电转换元件301、第二转移晶体管303b、第二头复位晶体管304b、第二介入晶体管305b、第二放大器晶体管306b和第二选择晶体管307b被控制为经由第二垂直信号线308b输出模拟信号(B)，所述第二垂直信号线308b可以是图2中所示的垂直信号线213b的示例。该组部件可被称为“头B”。图3A还示出了可以是图2中示出的垂直信号线213c的示例的第三垂直信号线308c和可以是图2中示出的垂直信号线213d的示例的第四垂直信号线308d。然而，如图3A所示，像素电路300a未连接至第三垂直信号线308c或第四垂直信号线308d。
图3B示出了具有双头配置的第二示例性像素电路300b。像素电路300b可以是图2中阵列210的最后一行示出的像素电路211的示例。如图3B所示，像素电路300b与图3A的像素电路300a具有结构相似性，并且包括光电转换元件301(例如，光电二极管)、像素复位晶体管302、第一传输晶体管303a、第二传输晶体管303b、第一浮动扩散FDa、第二浮动扩散FDb、第一头复位晶体管304a、第二头复位晶体管304b、第一介入晶体管305a、第二介入晶体管305b、第一放大器晶体管306a、第二放大器晶体管306b、第一选择晶体管307a和第二选择晶体管307b。光电转换元件301、第一传输晶体管303a、第一头复位晶体管304a、第一中间晶体管305a、第一放大器晶体管306a以及第一选择晶体管307a被控制为经由第三垂直信号线308c输出模拟信号(A)。该组部件可被称为“头A”。光电转换元件301、第二转移晶体管303b、第二头复位晶体管304b、第二居间晶体管305b、第二放大器晶体管306b和第二选择晶体管307b被控制以经由第四垂直信号线308d输出模拟信号(B)。该组部件可被称为“头B”。图3B还示出了第一垂直信号线308a和第二垂直信号线308b。然而，如图3B所示，像素电路300b未连接至第一垂直信号线308a或第二垂直信号线308b。
在任一像素电路(300a或300b)中，第一传输晶体管303a和第二传输晶体管303b分别由第一传输栅极线309a和第二传输栅极线309b上的控制信号控制。第一头复位晶体管304a和第二头复位晶体管304b由头复位栅极线310上的控制信号控制。第一介入晶体管305a和第二介入晶体管305b受FD栅极线311上的控制信号控制。第一选择晶体管307a和第二选择晶体管307b由选择栅极线312上的控制信号控制。第一传输栅极线309a和第二传输栅极线309b、头复位栅极线310、FD栅极线311和选择栅极线312可以是图2中示出的水平信号线212的示例。
在操作中，以时分方式控制像素电路300a或像素电路300b，使得在水平周期的一半期间，经由头A转换入射光以产生输出信号A；并且，在水平周期的另一半期间，经由头B转换入射光以产生输出信号B。头A部分和头B部分之中的帧的划分可被称作头的相位。例如，在水平周期从0到t运行的情况下，像素电路300a或像素电路300b可以被控制，使得头A从0到t/2(0相位)操作，并且头B从t/2到t(180相位)操作，使得头A从t/4操作到3/4(90相位)并且头B从0操作到t/4并且从3/4操作到t(270相位)，使得头A从t/2操作到t并且头B从0操作到t/2，或者使得头A从0操作到t/4并且从3t/4操作到t并且头B从t/4操作到3t/4。在这种操作下，像素电路300a或像素电路300b的数量Q和I可以被定义为使得Q由0相位减去180相位给出并且I由90相位减去270相位给出。
尽管图3A至图3B示出了像素电路300a和在特定配置中具有多个晶体管的像素电路300b，但是本公开不限于此，并且可应用于其中像素电路300a或像素电路300b包括更少或更多的晶体管以及其他元件，诸如额外的电容器、电阻器等，的配置。
读出模式
根据本公开的图像传感器可具有多个不同的读出模式，其将首先参照图4进行描述。图4示出了像素阵列的一部分，诸如图2所示的阵列210；以及读出电路的一部分，诸如图2所示的读出电路231。具体地，图4示出了两个相邻列的像素电路410，其可以与图2中示出的像素电路211和/或图3A和图3B中示出的像素电路300a、300b相同或相似；每列的四个垂直信号线420a、420b、420c、420b，其可以与图2中示出的垂直信号线213a、213b、213d和/或图3A和图3B中示出的垂直信号线308a、308b、308c、308d相同或相似；开关电路430，其可以与图2中示出的开关电路232相同或相似；参考信号发生器440，其可以与图2中示出的参考信号发生器233相同或相似；以及多个比较器450，该比较器可与图2中示出的比较器234相同或相似。每个像素电路410被示出为由虚线平分，从而示出每个像素电路410的两个头。
下面的四个像素电路410在一个头处(例如，在形成第一浮动扩散FDa的电容器处)耦接至第一垂直信号线420a，并且在另一个头处(例如，在形成第二浮动扩散FDb的电容器处)耦接至第二垂直信号线420b。因此，下部的四个像素电路410可以各自对应于图3A中示出的像素电路300a。上部四个像素电路410在一个头处(例如，在形成第一浮动扩散FDa的电容器处)耦接至第三垂直信号线420c，并且在另一个头处(例如，在形成第二浮动扩散FDb的电容器处)耦接至第四垂直信号线420d。因此，下部的四个像素电路410可以各自对应于图3B中示出的像素电路300b。
对于给定列，开关电路430包括第一组开关电路431和第二组开关电路432。如图所示，每组开关电路431、432包括三个开关，每个开关可以单独控制。第一组开关电路431包括在第一端连接至左列的第一垂直信号线420a的第一开关、在第一端连接至左列的第三垂直信号线420c的第二开关以及在第一端连接至右列的第一垂直信号线420a的第三开关。第一、第二和第三开关的第二端耦合(如图所示，电容耦合)至左列的第一比较器450的第一输入端。第二组开关电路431包括在第一端连接至左列的第二垂直信号线420b的第一开关、在第一端连接至左列的第四垂直信号线420d的第二开关以及在第一端连接至右列的第二垂直信号线420b的第三开关。第一、第二和第三开关的第二端耦合(如图所示，电容耦合)至左列的第二比较器450的第一输入端。第一比较器450的第二输入和第二比较器450耦合(如图所示，电容耦合)到参考信号发生器440。
因此，第一比较器450通过第一开关电路431耦接至少第一垂直信号线420a和第三垂直信号线420c，并且第二比较器450通过第二开关电路432耦接至少第二垂直信号线420b和第四垂直信号线420d。第一开关电路431和第二开关电路432可由定时电路控制，诸如图2中示出的通信和定时电路270。左列的像素电路411也耦接到右列的比较器450；例如，第三垂直信号线420c连接到右列的第一开关电路431的第三开关，第四垂直信号线420d连接到右列的第二开关电路432的第三开关。
结合图5A-图14B更详细地描述图4中示出的读出电路部分的各种读出模式。在图5A至图14B中示出的部件与在图4中示出的部件相对应，并且因此不重复部件的详细描述。
图5A至图5D分别示出了第N帧至第(N+3)帧的所谓的正常模式。在图5A中，示出了第N帧。如图所示，第一开关电路431和第二开关电路432中的每一个的第一开关闭合，而第一开关电路431和第二开关电路432中的每一个的第二开关和第三开关断开。在四个连续的水平周期1H至4H中驱动底部四行中的像素电路410，使得在各水平周期中，相应像素电路410的头A在0相位操作，并且相应像素电路410的头B在180相位操作。
在图5B中，示出了第(N+1)帧。如图所示，第一开关电路431和第二开关电路432的状态与图5A中的相同；然而，像素电路410的相位被修改。由此，在四个连续的水平周期1H至4H中驱动底部四行中的像素电路410，使得在各水平周期中，相应像素电路410的头A在180相位下操作，并且相应像素电路410的头B在0相位下操作。
在图5C中，示出了第(N+2)帧。如图所示，第一开关电路431和第二开关电路432的状态与图5A中的相同；然而，像素电路410的相位被修改。由此，在四个连续的水平周期1H至4H中驱动底部四行中的像素电路410，使得在各水平周期中，相应像素电路410的头A以90相位操作，并且相应像素电路410的头B以2700相位操作。
在图5D中，示出了第(N+3)帧。如图所示，第一开关电路431和第二开关电路432的状态与图5A中的相同；然而，像素电路410的相位被修改。由此，在四个连续的水平周期1H至4H中驱动底部四行中的像素电路410，使得在各水平周期中，相应像素电路410的头A在270相位中操作，并且相应像素电路410的头B在90相位中操作。
每一帧和/或一帧内的每一水平周期的输出可存储于存储器中。在这四个帧之后，可如上所述计算数量Q和I。在本公开的一些方面，在设置在比较器450之后的信号处理电路(诸如，图2中所示的信号处理电路235)中计算数量Q和数量I。信号处理电路可以包括存储器和计算电路，例如处理器(例如，CPU或FPGA)。
图6示出了用于第N帧的所谓的像素稀疏化或像素跳跃模式。具体地，图6展示了跳过一行像素的“跳过1”模式；然而，本公开还可以用跳过两行像素的“跳过2”读出模式来实施。如图6所示，第一开关电路431和第二开关电路432中的每一个的第一开关闭合，而第一开关电路431和第二开关电路432中的每一个的第二开关和第三开关断开。底部四行中的每隔一个像素电路410在两个连续的水平周期1H至2H中被驱动，使得在各水平周期中，相应像素电路410的头A在0相位下操作，并且相应像素电路410的头B在180相位下操作。
在图6中，在帧中读出位于底部行的像素电路410和位于从底部起的第三行的像素电路410，同时跳过位于从底部起的第二行的像素电路410和位于从底部起的第四行的像素电路410。继图6中示出的第N帧之后，像素电路410的相位可以以相对于图5A至图5D针对第(N+1)帧至第(N+3)帧描述的方式修改。由此，在这四个帧之后，可以计算出数量Q和I。然而，与图5A至图5D的正常模式相比，跳过1模式可以在一半的时间内实施，因为在每个帧中仅包括一半的水平周期。
图7示出了第N帧的所谓的像素合并模式。具体地，图7示出了对四个像素组进行合并的“2×2合并”模式，然而，本公开可采用“2×4合并模式”、“1×2合并模式”、“1×4合并模式”等来实施。如图7所示，第一开关电路431和第二开关电路432中的每一个的第一开关和第三开关闭合，而第一开关电路431和第二开关电路432中的每一个的第二开关断开。
在第一水平周期1H中，驱动像素电路410的第一行、第二行、第五行和第六行(从底部计数)，使得对应像素电路410的头A在0相位操作，并且对应像素电路410的头B在180相位操作。在第一水平周期1H期间，用于在左列和右列两者中的像素电路410的第一行和第二行的信号通过用于左列的第一开关电路431和第二开关电路432被提供给用于左列的比较器450，而用于在左列和右列两者中的像素电路410的第五行和第六行的信号通过用于右列的第一开关电路431和第二开关电路432被提供给用于右列的比较器450。
在第二水平周期2H中，驱动像素电路410的第三、第四、第七和第八行，使得对应像素电路410的头A在0相位操作，并且对应像素电路410的头B在180相位操作。在第二水平周期2H期间，用于在左列和右列两者中的像素电路410的第三行和第四行的信号通过用于左列的第一开关电路431和第二开关电路432被提供给用于左列的比较器450，而用于在左列和右列两者中的像素电路410的第七行和第八行的信号通过用于右列的第一开关电路431和第二开关电路432被提供给用于右列的比较器450。
在图7中示出的第N帧之后，像素电路410的相位可以以相对于图5A至图5D针对第(N+1)帧至第(N+3)帧描述的方式修改。由此，在这四个帧之后，可以计算出数量Q和I。然而，与图5A至图5D的正常模式相比，2×2合并模式可在一半时间内实施，因为每个帧中仅包含一半的水平周期。
合并和跳过模式可被组合成混合模式。图8示出了实施2×4合并和跳过2的这种混合模式。如图8所示，左列中的第一开关电路431和第二开关电路432的第一开关和第三开关闭合，而左列中的第一开关电路431和第二开关电路432的每一个的第二开关断开。右列中的第一开关电路431和第二开关电路432的所有三个开关断开。
在第一水平周期1H中，驱动像素电路410的底部四行，使得对应像素电路410的头A在0相位操作，并且对应像素电路410的头B在180相位操作。在第一水平周期1H期间，用于在左列和右列两者中的像素电路410的底部四行的信号通过用于左列的第一开关电路431和第二开关电路432被提供给用于左列的比较器450。
跳过接下来的四行像素电路410，使得在第二水平周期2H中，驱动下一组八个像素电路(图8中未示出)的底部四行。继图8中示出的第N帧之后，像素电路410的相位可以以相对于图5A至图5D针对第(N+1)帧至第(N+3)帧描述的方式修改。由此，在这四个帧之后，可以计算出数量Q和I。然而，与图5A至图5D的正常模式相比，2×4跳过2模式可以在四分之一的时间中实施，因为在每个帧中仅包括四分之一的水平周期。
在上述模式的每一个中，因为利用每像素四个相位，所以使用四个帧来获得数量Q和I。然而，在一些模式中，通过利用每像素两个相位仅在两个帧中获得数量Q和I。这些模式可被称为IQ模式。IQ模式可利用上述正常模式、跳过模式、合并模式和混合模式中的任一个来实施。图9A-图9B示出2×2合并IQ模式。
在图9A中，示出了第N帧。如图所示，左列中的第一开关电路431和第二开关电路432的第一开关和第三开关以及右列中的第一开关电路431和第二开关电路432的第二开关和第三开关闭合，而左列中的第一开关电路431和第二开关电路432的第二开关以及右列中的第一开关电路431和第二开关电路432的第一开关断开。在第一水平周期1H中，驱动第一和第三行(从底部计数)的像素电路410，使得对应像素电路410的头A在0相位操作，并且对应像素电路410的头B在180相位操作，并且驱动第五和第七行的像素电路410，使得对应像素电路410的头A在90相位操作，并且对应像素电路410的头B在270相位操作。
在第二水平周期2H中，驱动第二行和第四行像素电路410，使得对应像素电路410的头A操作在180相位，并且对应像素电路410的头B操作在0相位，并且驱动第五行和第七行像素电路410，使得对应像素电路410的头A操作在270相位，并且对应像素电路410的头B操作在90相位。
在第一水平周期1H和第二水平周期2H期间，用于在左列和右列两者中的像素电路410的底部四行的信号通过用于左列的第一开关电路431和第二开关电路432被提供给用于左列的比较器450，同时，用于在左列和右列两者中的像素电路410的顶部四行的信号通过用于右列的第一开关电路431和第二开关电路432被提供给用于右列的比较器450。
在图9B中，示出了第(N+1)帧。第一开关电路431和第二开关电路432中的每一个开关的配置保持与图9A中的相同。在第一水平周期1H中，驱动第一行和第三行像素电路410，使得对应像素电路410的头A在90相位下操作，并且对应像素电路410的头B在270相位下操作，并且驱动第五行和第七行像素电路410，使得对应像素电路410的头A在0相位下操作，并且对应像素电路410的头B在180相位下操作。
在第二水平周期2H中，驱动第二行和第四行像素电路410，使得对应像素电路410的头A在270相位下操作，并且对应像素电路410的头B在90相位下操作，并且驱动第五行和第七行像素电路410，使得对应像素电路410的头A在180相位下操作，并且对应像素电路410的头B在0相位下操作。
在第一水平周期1H和第二水平周期2H期间，用于在左列和右列两者中的像素电路410的底部四行的信号通过用于左列的第一开关电路431和第二开关电路432被提供给用于左列的比较器450，同时，用于在左列和右列两者中的像素电路410的顶部四行的信号通过用于右列的第一开关电路431和第二开关电路432被提供给用于右列的比较器450。
IQ马赛克/去马赛克读出模式
图10示出了可用这些模式实现的示例性马赛克/去马赛克(mdm)过程，如下面将更详细地讨论的。如图10所示，获得第一数据块1010和第二数据块1020。第一数据块1010和第二数据块可以例如通过关于图11A-图14B讨论的过程来获得。
第一数据块1010包括与交替列中的数量I和Q对应的像素数据。第二数据块1020包括与交替列中的数量-I和-Q对应的像素数据。通过从第一数据块1010减去第二数据块1020，获得第三数据块1030。第三数据块1030包括与数量Q’和I’对应的数据，其中，数量Q’和I’与消除了环境误差的像素数据对应。
在环境误差源之中的是环境光和头增益失配，环境光对于给定像素电路410的头A和头B两者来说通常是相同的，头增益失配对于给定像素电路410的头A和头B两者来说不一定是相同的。环境误差可通过IQ去马赛克过程来消除，其中第三数据块1030被转换成第四数据块1040和第五数据块1050。第四数据块1040包括与所有列中的数量I’对应的数据，第五数据块1050包括与所有列中的数量Q’对应的数据。
IQ去马赛克过程可由以下表达式(1)表示：
[数学式1]
Figure BDA0003698906350000161
Q、I、Qerror和Ierror可以分别由以下表达式(2)-(4)给出：
[数学式2]
Q＝xα-yβ (2)
[数学式3]
I＝mα-nβ (3)
[数学式4]
Qerror＝Ierror＝γα-γβ (4)
在上文中，数量x、y、m和n对应于主动光(例如，由图1A至图1B中示出的光发生器111发射的光)的量；数量γ对应于环境光的量；并且α和β对应于头增益失配。通过利用基于第一数据块1010和第二数据块1020的IQ去马赛克处理，表达式(1)变成以下表达式(5)：
[数学式5]
Figure BDA0003698906350000162
由此，环境误差被消除。数量I和Q可以以各种模式获得，如图11A-图14B所示。
图11A至图11B分别示出了第N帧和第(N+1)帧的正常IQ mdm模式。在图11A中，示出了第N帧。如图所示，第一开关电路431和第二开关电路432中的每一个的第一开关闭合，而第一开关电路431和第二开关电路432中的每一个的第二开关和第三开关断开。底部四行中的像素电路410在四个连续的水平周期1H至4H中被驱动，使得在各水平周期中，左列中的相应像素电路410的头A在0相位操作，左列中的相应像素电路410的头B在180相位操作，右列中的相应像素电路410的头A在90相位操作，并且右列中的相应像素电路410的头B在270相位操作。
在图11B中，示出了第(N+1)帧。如图所示，第一开关电路431和第二开关电路432的状态与图11A中的相同；然而，像素电路410的相位被修改。由此，在四个连续的水平周期1H至4H中驱动底部四行中的像素电路410，使得在各水平周期中，相应像素电路410的头A在180相位下操作，左列中的相应像素电路410的头B在0相位下操作，右列中的相应像素电路410的头A在270相位下操作，并且右列中的相应像素电路410的头B在0相位下操作。
通过上述方式，在第N帧中可以获得数量I和Q，在第(N+1)帧中可以获得数量-I和-Q。然后，该数量可受到图10中所示的IQ马赛克/去马赛克处理。
图12A至图12B分别示出了第N帧和第(N+1)帧的跳过1IQ mdm模式。在图12A中，示出了第N帧。如图所示，第一开关电路431和第二开关电路432中的每一个的第一开关闭合，而第一开关电路431和第二开关电路432中的每一个的第二开关和第三开关断开。在四个连续的水平周期1H至4H中驱动第一行、第三行、第五行和第七行中的像素电路410，使得在各水平周期中，在左列中的相应像素电路410的头A在0相位操作，在左列中的相应像素电路410的头B在180相位操作，在右列中的相应像素电路410的头A在90相位操作，并且在右列中的相应像素电路410的头B在270相位操作。第二行、第四行、第六行和第八行中的像素电路410被跳过。
在图12B中，示出了第(N+1)帧。如图所示，第一开关电路431和第二开关电路432的状态与图12A中的相同；然而，像素电路410的相位被修改。由此，在四个连续的水平周期1H至4H中驱动第一行、第三行、第五行和第七行中的像素电路410，使得在各水平周期中，相应像素电路410的头A在180相位下操作，在左列中的相应像素电路410的头B在0相位下操作，在右列中的相应像素电路410的头A在270相位下操作，在右列中的相应像素电路410的头B在0相位下操作。第二、第四、第六和第八行中的像素电路410再次被跳过。
通过上述方式，在第N帧中可以获得数量I和Q，在第(N+1)帧中可以获得数量-I和-Q。然后，该数量可受到图10中所示的IQ马赛克/去马赛克处理。
图13A至图13B分别示出了第N帧和第(N+1)帧的2×2像素合并IQ mdm模式。在图13A中，示出了第N帧。第一开关电路431和第二开关电路432中的每一个的第一开关和第二开关闭合，而第一开关电路431和第二开关电路432中的每一个的第三开关断开。在四个连续的水平周期1H至4H中驱动行对中的像素电路410，使得在各水平周期中，左列中的相应像素电路410的头A在0相位操作，左列中的相应像素电路410的头B在180相位操作，右列中的相应像素电路410的头A在90相位操作，并且右列中的相应像素电路410的头B在270相位操作。
在第一水平周期1H中，底部两行像素电路410被驱动，使得对应像素电路410的头A和头B在上述相位中操作。在第一水平周期1H期间，用于左列中的像素电路410的第一行和第二行的信号通过用于左列的第一开关电路431和第二开关电路432被提供给用于左列的比较器450，而用于右列中的像素电路410的第一行和第二行的信号通过用于右列的第一开关电路431和第二开关电路432被提供给用于右列的比较器450。
在第二水平周期2H中，第三和第四行像素电路410被驱动，使得对应像素电路410的头A和头B在上述相位中操作。在第二水平周期2H期间，用于左列中的像素电路410的第三和第四行的信号通过用于左列的第一开关电路431和第二开关电路432被提供给用于左列的比较器450，而用于右列中的像素电路410的第三和第四行的信号通过用于右列的第一开关电路431和第二开关电路432被提供给用于右列的比较器450。第三水平周期3H和第四水平周期4H类似地跟随。
在图13B中，示出了第(N+1)帧。第一开关电路431和第二开关电路432中的每一个的第一开关和第二开关闭合，而第一开关电路431和第二开关电路432中的每一个的第三开关断开。在四个连续的水平周期1H至4H中驱动行对中的像素电路410，使得在各水平周期中，左列中的相应像素电路410的头A在180相位下操作，左列中的相应像素电路410的头B在0相位下操作，右列中的相应像素电路410的头A在270相位下操作，并且右列中的相应像素电路410的头B在90相位下操作。
在第一水平周期1H中，底部两行像素电路410被驱动，使得对应像素电路410的头A和头B在上述相位中操作。在第一水平周期1H期间，用于左列中的像素电路410的第一行和第二行的信号通过用于左列的第一开关电路431和第二开关电路432被提供给用于左列的比较器450，而用于右列中的像素电路410的第一行和第二行的信号通过用于右列的第一开关电路431和第二开关电路432被提供给用于右列的比较器450。
在第二水平周期2H中，第三和第四行像素电路410被驱动，使得对应像素电路410的头A和头B在上述相位中操作。在第二水平周期2H期间，用于左列中的像素电路410的第三和第四行的信号通过用于左列的第一开关电路431和第二开关电路432被提供给用于左列的比较器450，而用于右列中的像素电路410的第三和第四行的信号通过用于右列的第一开关电路431和第二开关电路432被提供给用于右列的比较器450。第三水平周期3H和第四水平周期4H类似地跟随。
通过上述方式，在第N帧中可以获得数量I和Q，在第(N+1)帧中可以获得数量-I和-Q。然后，该数量可受到图10中所示的IQ马赛克/去马赛克处理。
图14A至图14B分别示出了第N帧和第(N+1)帧的2×2像素合并跳过1IQ mdm模式。在图14A中，示出了第N帧。第一开关电路431和第二开关电路432中的每一个的第一开关和第二开关闭合，而第一开关电路431和第二开关电路432中的每一个的第三开关断开。每隔一对行中的像素电路410在两个连续的水平周期IH和2H中被驱动，使得在各水平周期中，左列中的相应像素电路410的头A在0相位中操作，左列中的相应像素电路410的头B在180相位中操作，右列中的相应像素电路410的头A在90相位中操作，并且右列中的相应像素电路410的头B在270相位中操作。
在第一水平周期1H中，底部两行像素电路410被驱动，使得对应像素电路410的头A和头B在上述相位中操作。在第一水平周期1H期间，用于左列中的像素电路410的第一行和第二行的信号通过用于左列的第一开关电路431和第二开关电路432被提供给用于左列的比较器450，而用于右列中的像素电路410的第一行和第二行的信号通过用于右列的第一开关电路431和第二开关电路432被提供给用于右列的比较器450。
在第二水平周期2H中，驱动第五行和第六行像素电路410，使得对应像素电路410的头A和头B在上述相位中操作。在第二水平周期2H期间，用于左列中的像素电路410的第五行和第六行的信号通过用于左列的第一开关电路431和第二开关电路432被提供给用于左列的比较器450，而用于右列中的像素电路410的第三行和第四行的信号通过用于右列的第一开关电路431和第二开关电路432被提供给用于右列的比较器450。第三水平周期3H和第四水平周期4H类似地跟随。第三、第四、第七和第八行像素电路410被跳过。
在图14B中，示出了第(N+1)帧。第一开关电路431和第二开关电路432中的每一个的第一开关和第二开关闭合，而第一开关电路431和第二开关电路432中的每一个的第三开关断开。每隔一对行中的像素电路410在两个连续的水平周期IH和2H中被驱动，使得在各水平周期中，左列中的相应像素电路410的头A在180相位中操作，左列中的相应像素电路410的头B在0相位中操作，右列中的相应像素电路410的头A在270相位中操作，并且右列中的相应像素电路410的头B在90相位中操作。
在第一水平周期1H中，底部两行像素电路410被驱动，使得对应像素电路410的头A和头B在上述相位中操作。在第一水平周期1H期间，用于左列中的像素电路410的第一行和第二行的信号通过用于左列的第一开关电路431和第二开关电路432被提供给用于左列的比较器450，而用于右列中的像素电路410的第一行和第二行的信号通过用于右列的第一开关电路431和第二开关电路432被提供给用于右列的比较器450。
在第二水平周期2H中，驱动像素电路410的第五行和第六行，使得对应像素电路410的头A和头B在上述相中操作。在第二水平周期2H期间，用于左列中的像素电路410的第五行和第六行的信号通过用于左列的第一开关电路431和第二开关电路432被提供给用于左列的比较器450，而用于右列中的像素电路410的第三行和第四行的信号通过用于右列的第一开关电路431和第二开关电路432被提供给用于右列的比较器450。第三水平周期3H和第四水平周期4H类似地跟随。像素电路410的第三、第四、第七和第八行被跳过。
在上述方式中，在第N帧中可以获得数量I和Q，在第(N+1)帧中可以获得数量-I和-Q。然后，该数量可受到图10中所示的IQ马赛克/去马赛克处理。
操作方法
成像系统，诸如图1A-图1B所示的TOF成像系统101a或TOF成像系统101b，可被操作以实施以上读出模式中的任何一种，并且由此提供对象检测、深度图生成、面部/手势识别、成像或以上的组合。
图15示出了根据本公开的示例性成像方法。成像方法可由TOF成像系统101a或TOF成像系统10b实现。在1501，进行接近模式选择。该选择可由本地用户做出，例如通过在实现TOF成像系统101a或TOF成像系统101b的装置的按钮或触摸屏上的操作。该选择还可由实现TOF成像系统101a或TOF成像系统101b的装置的控制器作出，例如通过远程用户请求或自动或预编程操作。在接近模式中，在1502处，低功率模式(LPM)可再次由本地用户和/或装置的控制器选择。低功率模式可以是上述稀疏化模式、合并模式或混合模式中的任何一种。在1503，作出对象检测确定。如果没有检测到对象，则该示范性方法可以重新初始化或重新开始。
如果检测到对象，则在1504处选择深度测量模式。如上所述，该选择可以由本地用户和/或装置的控制器做出。在深度测量模式中，在1505，由本地用户和/或装置的控制器选择读出模式。读出模式可以是上述正常模式、像素稀疏化模式、合并模式、IQ马赛克模式、mdm模式或混合模式中的任何一种。在1506处，装置产生深度图。在1507，装置执行面部识别操作和/或手势识别操作。在本发明的一些方面中，示范性成像方法可仅产生深度图(且不执行识别操作)或可仅执行识别操作(且不产生全深度图)。
以此方式，在1501至1503中，装置确定是否存在对象，且如果存在，则在1504至1506/1507中，装置可产生深度图和/或执行识别操作。
图16示出了根据本发明的另一示例性成像方法。成像方法可由TOF成像系统10b实现，所述TOF成像系统10b除了TOF传感器之外还结合RGB传感器。在1601处，进行接近模式选择。该选择可由本地用户做出，例如通过在实现TOF成像系统101b的装置的按钮或触摸屏上的操作。该选择还可由实现TOF成像系统101b的装置的控制器作出，例如通过远程用户请求或自动或预编程操作。在接近模式中，在1602处，低功率模式(LPM)可以被再次由本地用户和/或装置的控制器选择。低功率模式可以是上述稀疏化模式、合并模式或混合模式中的任何一种。在1603，作出对象检测确定。如果没有检测到对象，则该示范性方法可以重新初始化或重新开始。
如果检测到对象，那么在1604处，可开启RGB相机，例如RGB图像传感器115。上电操作可以由本地用户进行和/或可以由装置的控制器自动发生。一旦RGB相机开启，在1605处，使用来自RGB相机的信号来执行初步面部识别操作。此后，在1606处，由本地用户和/或装置的控制器选择读出模式。读出模式可以是上述正常模式、像素稀疏化模式、合并模式、IQ马赛克模式、mdm模式或混合模式中的任何一种。在1607，装置生成深度图。在1608，装置执行面部识别操作。面部识别操作可以利用来自RGB相机(诸如初步面部识别操作的结果)和TOF相机(诸如深度图)的输入。另外或替代地，可执行手势识别。在本发明的一些方面中，示范性成像方法可仅产生深度图(且不执行识别操作)或可仅执行识别操作(且不产生全深度图)。
以这种方式，在1601至1506中，装置确定对象是否存在，并且如果存在，在1604至1607/1608中，装置可以生成深度图和/或执行识别操作。
结论
关于本文中所描述的过程、系统、方法、启发式等，应当理解，尽管此类过程等的步骤已经被描述为根据特定有序序列发生，但此类过程可利用所描述的步骤以不同于本文中所描述的次序的次序执行来实践。还应理解，某些步骤可同时执行，可添加其他步骤，或可省略本文描述的某些步骤。换言之，提供本文中的过程的描述是为了说明某些实施方式的目的，并且决不应被解释为对权利要求的限制。
因此，应当理解，以上描述旨在是说明性的而非限制性的。在阅读以上描述后，除了所提供的示例之外的许多实施例和应用将显而易见。不应参考以上描述来确定范围，而是应参考所附权利要求以及这些权利要求所赋予的等效物的全部范围来确定范围。预期并预期在本文讨论的技术中将发生未来的发展，并且所公开的系统和方法将被结合到这种未来的实施例中。总之，应当理解，本申请能够进行修改和变化。
除非在本文中做出相反的明确指示，否则在权利要求中使用的所有术语旨在被给予如本文中描述的技术领域的技术人员所理解的其最广泛的合理构造和它们的普通含义。具体地，除非权利要求列举了相反的明确限制，否则单数冠词“一”、“该”、“所述”等的使用应被理解为列举了所指示元素中的一个或多个。
提供本公开的摘要以允许读者快速确定本技术公开的性质。在理解其不用于解释或限制权利要求的范围或含义的情况下提交。此外，在以上具体实施方式中，可以看出，出于精简本公开的目的，各个特征在各个实施方式中被组合在一起。本公开的该方法不应被解释为反映所要求保护的实施例需要比在每个权利要求中明确陈述的特征更多的特征的意图。相反，如以下权利要求所反映的，发明主题在于少于单个披露的实施例的所有特征。因此，以下权利要求由此并入详细说明中，其中每个权利要求独立地作为单独要求保护的主题。
本领域技术人员应理解，根据设计需求和其他因素，可出现各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内即可。
[参考标号列表]
101a,101b TOF成像系统。

Claims (20)

1.一种飞行时间传感器，包括：
像素阵列，包括布置成阵列的多个像素电路，其中，所述阵列的第一列包括：
第一像素电路，包括第一光电二极管、耦接至所述第一光电二极管的第一电容器以及耦接至所述第一光电二极管的第二电容器；以及
第二像素电路，包括第二光电二极管、耦接至所述第二光电二极管的第三电容器以及耦接至所述第二光电二极管的第四电容器；
第一信号线，耦接至所述第一电容器；
第二信号线，耦接至所述第二电容器；
第三信号线，耦接至所述第三电容器；
第四信号线，耦接至所述第四电容器；
第一开关电路；
第二开关电路；
第一比较器，通过所述第一开关电路耦接至所述第一信号线和所述第三信号线；以及
第二比较器，通过所述第二开关电路耦接至所述第二信号线和所述第四信号线。
2.根据权利要求1所述的飞行时间传感器，其中，
所述阵列的第二列包括：
第三像素电路，包括第三光电二极管、耦接至所述第三光电二极管的第五电容器、和耦接至所述第三光电二极管的第六电容器；以及
第四像素电路，包括第四光电二极管、耦接至所述第四光电二极管的第七电容器、以及耦接至所述第四光电二极管的第八电容器；以及
所述飞行时间传感器还包括：
第五信号线，连接至所述第五电容器，
第六信号线，连接至所述第六电容器；
第七信号线，耦接至所述第七电容器；以及
第八信号线，耦接至所述第八电容器。
3.根据权利要求2所述的飞行时间传感器，其中，
所述第一比较器通过所述第一开关电路耦接至所述第五信号线；并且
所述第二比较器通过所述第二开关电路耦接至所述第六信号线。
4.根据权利要求2所述的飞行时间传感器，进一步包括：
第三开关电路；
第四开关电路；
第三比较器，通过所述第三开关电路耦接至所述第五信号线、所述第七信号线、以及所述第三信号线；以及
第四比较器，通过所述第四开关电路耦接至所述第六信号线、所述第八信号线和所述第二信号线。
5.根据权利要求1所述的飞行时间传感器，进一步包括被配置为控制所述第一开关电路和所述第二开关电路的定时电路。
6.根据权利要求5所述的飞行时间传感器，其中，所述定时电路被配置为使得所述飞行时间传感器基于所述第一开关电路和所述第二开关电路的状态在多个读出模式之一中操作。
7.根据权利要求6所述的飞行时间传感器，其中，所述多个读出模式包括像素稀疏化模式，在所述像素稀疏化模式中，所述像素阵列的预定数量的行被跳过。
8.根据权利要求6所述的飞行时间传感器，其中，所述多个读出模式包括像素合并模式，在所述像素合并模式中，预定数量的像素电路的组被合并。
9.根据权利要求6所述的飞行时间传感器，其中，所述多个读出模式包括混合模式，在所述混合模式中，所述像素阵列的第一预定数量的行被跳过，并且第二预定数量的未被跳过的像素电路的组被合并。
10.根据权利要求6所述的飞行时间传感器，其中，所述多个读出模式包括IQ模式，在所述IQ模式中，所述第一像素电路在一个水平周期内以第一相位和与所述第一相位互补的第二相位被驱动。
11.根据权利要求1所述的飞行时间传感器，进一步包括：
参考信号发生器，被配置为将参考信号输出至所述第一比较器和所述第二比较器。
12.根据权利要求11所述的飞行时间传感器，其中，所述参考信号具有周期性斜坡波形。
13.一种飞行时间系统，包括：
光源，被配置为发射光；以及
传感器，包括：
像素阵列，包括布置成阵列的多个像素电路，其中，所述阵列的列包括：
第一像素电路，包括第一光电二极管、耦接至所述第一光电二极管的第一电容器以及耦接至所述第一光电二极管的第二电容器；以及
第二像素电路，包括第二光电二极管、耦接至所述第二光电二极管的第三电容器、以及耦接至所述第二光电二极管的第四电容器；
第一信号线，耦接至所述第一电容器；
第二信号线，耦接至所述第二电容器；
第三信号线，耦接至所述第三电容器；
第四信号线，耦接至所述第四电容器；
第一开关电路；
第二开关电路；
第一比较器，通过所述第一开关电路耦接至所述第一信号线和所述第三信号线；以及
第二比较器，通过所述第二开关电路耦接至所述第二信号线和所述第四信号线。
14.根据权利要求13所述的飞行时间系统，其中，所述传感器进一步包括被配置为控制所述第一开关电路和所述第二开关电路的定时电路。
15.根据权利要求14所述的飞行时间系统，其中所述定时电路被配置为使得所述传感器基于所述第一开关电路和所述第二开关电路的状态在多个读出模式之一中操作。
16.根据权利要求15所述的飞行时间系统，其中，所述多个读出模式包括像素稀疏化模式、像素合并模式、混合模式和IQ模式中的至少一个模式，在所述像素稀疏化模式中，所述像素阵列的预定数量的行被跳过，在像素合并模式中，预定数量的像素电路的组被合并，在混合模式中，所述像素阵列的第一预定数量的行被跳过，并且第二预定数量的未被跳过的像素电路的组被合并，在IQ模式中，所述第一像素电路在一个水平周期内以第一相位和与所述第一相位互补的第二相位被驱动。
17.根据权利要求13所述的飞行时间系统，其中，所述光源是激光二极管或发光二极管。
18.根据权利要求14所述的飞行时间系统，其中，所述光具有在红外范围内的波长。
19.一种系统，包括：
第一传感器，被配置为生成图像数据，所述第一传感器包括第一像素阵列；以及
第二传感器，被配置为生成距离数据，所述第二传感器包括：
第二像素阵列，包括布置成阵列的多个像素电路，其中，所述阵列的一列包括：
第一像素电路，包括第一光电二极管、耦接至所述第一光电二极管的第一电容器以及耦接至所述第一光电二极管的第二电容器；以及
第二像素电路，包括第二光电二极管、耦接至所述第二光电二极管的第三电容器、以及耦接至所述第二光电二极管的第四电容器；
第一信号线，耦接至所述第一电容器；
第二信号线，耦接至所述第二电容器；
第三信号线，耦接至所述第三电容器；
第四信号线，耦接至所述第四电容器；
第一开关电路；
第二开关电路；
第一比较器，通过所述第一开关电路耦接至所述第一信号线和所述第三信号线；以及
第二比较器，通过所述第二开关电路耦接至所述第二信号线和所述第四信号线。
20.如权利要求19所述的系统，其特征在于，
所述图像数据对应于对象的RGB表示；以及
所述距离数据对应于所述对象的深度图。
CN202080087445.1A 2019-12-26 2020-12-15 飞行时间传感器、飞行时间系统和成像系统 Active CN114829969B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962953804P 2019-12-26 2019-12-26
US62/953,804 2019-12-26
PCT/JP2020/046675 WO2021131887A1 (en) 2019-12-26 2020-12-15 Time-of-flight sensor, time-of-flight system and system

Publications (2)

Publication Number Publication Date
CN114829969A true CN114829969A (zh) 2022-07-29
CN114829969B CN114829969B (zh) 2025-07-18

Family

ID=74141790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080087445.1A Active CN114829969B (zh) 2019-12-26 2020-12-15 飞行时间传感器、飞行时间系统和成像系统

Country Status (6)

Country Link
US (3) US11297270B2 (zh)
EP (1) EP4081824B1 (zh)
KR (1) KR20220122623A (zh)
CN (1) CN114829969B (zh)
DE (1) DE112020006326T5 (zh)
WO (1) WO2021131887A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11297270B2 (en) * 2019-12-26 2022-04-05 Sony Corporation Readout circuit and method for time-of-flight image sensor
EP4141488A1 (en) * 2021-08-31 2023-03-01 Infineon Technologies AG Method for pixel binning in a time-of-flight sensor, switched device for a time-of-flight sensor and computer program
KR20240002437A (ko) * 2022-06-29 2024-01-05 삼성전자주식회사 이미지 센서

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025900A1 (en) * 2009-08-03 2011-02-03 Sony Corporation Solid-state image sensing device, analog-digital conversion method of solid-state image sensing device, and electronic apparatus
CN102811318A (zh) * 2011-06-03 2012-12-05 索尼公司 固态成像装置和相机系统
CN103297715A (zh) * 2009-05-11 2013-09-11 索尼公司 固体摄像装置、固体摄像装置的驱动方法及电子设备
US20190081095A1 (en) * 2017-09-08 2019-03-14 Sony Semiconductor Solutions Corporation Pixel-level background light subtraction
US20190260949A1 (en) * 2018-02-20 2019-08-22 Semiconductor Components Industries, Llc Imaging systems having dual storage gate overflow capabilities
WO2019178939A1 (zh) * 2018-03-23 2019-09-26 上海芯仑光电科技有限公司 像素采集电路、光流传感器和光流及图像信息采集系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4107269B2 (ja) * 2004-02-23 2008-06-25 ソニー株式会社 固体撮像装置
KR101484111B1 (ko) * 2008-09-25 2015-01-19 삼성전자주식회사 입체 이미지 센서
KR20140092712A (ko) * 2013-01-16 2014-07-24 삼성전자주식회사 센싱 픽셀 및 이를 포함하는 이미지 센서
US9762890B2 (en) * 2013-11-08 2017-09-12 Samsung Electronics Co., Ltd. Distance sensor and image processing system including the same
JP6650309B2 (ja) 2016-03-24 2020-02-19 スタンレー電気株式会社 距離計測装置
JP7146483B2 (ja) * 2018-06-27 2022-10-04 ソニーセミコンダクタソリューションズ株式会社 受光装置およびその制御方法、並びに電子機器
KR102606240B1 (ko) * 2018-07-09 2023-11-24 삼성전자주식회사 멀티탭 픽셀을 포함하는 이미지 센서
KR102543350B1 (ko) * 2018-08-16 2023-06-15 삼성전자주식회사 이미지 센서
US11297270B2 (en) * 2019-12-26 2022-04-05 Sony Corporation Readout circuit and method for time-of-flight image sensor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297715A (zh) * 2009-05-11 2013-09-11 索尼公司 固体摄像装置、固体摄像装置的驱动方法及电子设备
US20110025900A1 (en) * 2009-08-03 2011-02-03 Sony Corporation Solid-state image sensing device, analog-digital conversion method of solid-state image sensing device, and electronic apparatus
CN102811318A (zh) * 2011-06-03 2012-12-05 索尼公司 固态成像装置和相机系统
US20190081095A1 (en) * 2017-09-08 2019-03-14 Sony Semiconductor Solutions Corporation Pixel-level background light subtraction
US20190260949A1 (en) * 2018-02-20 2019-08-22 Semiconductor Components Industries, Llc Imaging systems having dual storage gate overflow capabilities
WO2019178939A1 (zh) * 2018-03-23 2019-09-26 上海芯仑光电科技有限公司 像素采集电路、光流传感器和光流及图像信息采集系统

Also Published As

Publication number Publication date
US20210203868A1 (en) 2021-07-01
US11297270B2 (en) 2022-04-05
US12081884B2 (en) 2024-09-03
DE112020006326T5 (de) 2022-12-22
EP4081824B1 (en) 2025-03-19
US20230232129A1 (en) 2023-07-20
US20220247951A1 (en) 2022-08-04
KR20220122623A (ko) 2022-09-02
CN114829969B (zh) 2025-07-18
WO2021131887A1 (en) 2021-07-01
US11641532B2 (en) 2023-05-02
EP4081824A1 (en) 2022-11-02

Similar Documents

Publication Publication Date Title
US9225922B2 (en) Image-sensing devices and methods of operating the same
CN114829969B (zh) 飞行时间传感器、飞行时间系统和成像系统
KR101155754B1 (ko) 데이터 처리 방법, 물리량 분포의 검지를 위한 반도체 장치및 전자 기기
US9083905B2 (en) Structured light imaging system
US8355068B2 (en) Solid-state image sensing device, analog-digital conversion method of solid-state image sensing device, and electronic apparatus
US7230558B2 (en) Column analog-to-digital conversion apparatus and method supporting a high frame rate in a sub-sampling mode
US12022221B2 (en) Image sensor
CN104202543A (zh) 数据处理方法、数据处理设备、半导体装置和电子设备
US7768562B2 (en) Method, apparatus and system providing imager vertical binning and scaling using column parallel sigma-delta digital conversion
WO2019146457A1 (en) Time-of-flight image sensor with distance determination
TWI353176B (en) Solid-image-pickup device, image-pickup device, an
JP7491940B2 (ja) 飛行時間型画像センサのための処理回路および方法
JP2017126846A (ja) 撮像素子、撮像素子の駆動方法、並びに、電子機器
WO2021187124A1 (en) Imaging with ambient light subtraction
US20250247634A1 (en) Binning in hybrid pixel structure of image pixels and event vision sensor (evs) pixels
JP6485675B1 (ja) 固体撮像装置、及びそれを備える撮像装置
WO2021149625A1 (en) I, q counter circuit and method for time-of-flight image sensor
KR20230063232A (ko) 이미지 센서, 그 동작 방법 및 이를 포함하는 전자 장치
US10904456B1 (en) Imaging with ambient light subtraction
US20250016474A1 (en) Multi-storage gated imaging system
US11122230B2 (en) Imaging apparatus and imaging method
KR20230071031A (ko) 이미지 센서의 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant