CN120122086A

CN120122086A - 信号生成设备和信号生成系统

Info

Publication number: CN120122086A
Application number: CN202411770223.6A
Authority: CN
Inventors: 森本和浩
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2023-12-07
Filing date: 2024-12-04
Publication date: 2025-06-10
Also published as: JP2025091560A; US20250189637A1; KR20250087444A; DE102024135613A1

Abstract

本发明涉及一种信号生成设备和信号生成系统。该设备包括多个光电转换元件，该设备使用来自多个光电转换元件的信号来生成多个子帧，并且使用多个子帧的信号来生成距离测量帧，其中多个子帧至少包括第一子帧和第二子帧，在第一子帧中，曝光时段在从发光元件发光后经过第一时段之后开始，以及在第二子帧中，曝光时段在从发光元件发光后经过比第一时段长的第二时段之后开始，其中第一子帧至少包括第一曝光时段和第二曝光时段，其中第一曝光时段的开始定时和第二曝光时段的开始定时不同。

Description

信号生成设备和信号生成系统

技术领域

实施例的方面涉及设备和系统。

背景技术

美国专利申请公开第2017/0052065号的说明书讨论了一种距离测量设备，该距离测量设备通过从光源发射光并且使用受光元件接收包括从物体反射的光的光，来测量到该物体的距离。在美国专利申请公开第2017/0052065号的说明书中所讨论的距离测量设备中，使用单光子雪崩二极管(SPAD)元件作为受光元件，该SPAD元件通过使通过光电转换而生成的电子倍增来获取信号。美国专利申请公开第2017/0052065号的说明书讨论了在改变针对在SPAD元件中进行光子检测的各子帧的曝光时段(门控间隔)的开始定时的同时重复地进行测量的距离测量方法。

在如美国专利申请公开第2017/0052065号的说明书中所讨论的距离测量方法中，在距离分辨率和减少距离测量时间之间存在折衷关系。更具体地，如果增加子帧中的曝光时段，则尽管距离测量时间缩短，但距离分辨率劣化。相反，如果减少子帧中的曝光时段，则尽管距离分辨率提高，但距离测量时间增加。然而，为了改善距离测量性能，可能要求在不增加距离测量时间的情况下确保适当的距离分辨率。

发明内容

根据实施例的一个方面，信号生成设备包括：多个光电转换元件，其中，所述信号生成设备使用来自所述多个光电转换元件的信号来生成多个子帧，并且使用所述多个子帧的信号来生成距离测量帧，其中，所述多个子帧至少包括第一子帧和第二子帧，其中在所述第一子帧中，曝光时段在从发光元件发光后经过第一时段之后开始，以及在所述第二子帧中，曝光时段在从所述发光元件发光后经过比所述第一时段长的第二时段之后开始，其中，所述第一子帧至少包括第一曝光时段和第二曝光时段，其中，所述第一曝光时段的开始定时和所述第二曝光时段的开始定时不同。

通过参考附图对典型实施例的以下描述，本公开的其他特征将变得明显。

附图说明

图1是示出根据典型实施例的距离信息生成设备的示意性结构的框图。

图2是示出根据典型实施例的信号生成设备中所包括的光电转换设备的示意图。

图3是示出根据典型实施例的光电转换设备的传感器基板中的配置的图。

图4是示出根据典型实施例的光电转换设备的电路基板的结构的图。

图5示出根据典型实施例的光电转换设备的像素电路的结构例。

图6的(A)是示出根据典型实施例的光电转换设备的像素电路的驱动的示意图。

图6的(B)是示出根据典型实施例的光电转换设备的像素电路的驱动的示意图。

图6的(C)是示出根据典型实施例的光电转换设备的像素电路的驱动的示意图。

图7是根据比较典型实施例的驱动定时图。

图8A示出根据比较典型实施例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图8B示出根据比较典型实施例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图9是根据第一典型实施例的驱动定时图。

图10A示出根据第一典型实施例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图10B示出根据第一典型实施例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图11A示出根据第二典型实施例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图11B示出根据第二典型实施例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图12A示出根据第二典型实施例的变形例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图12B示出根据第二典型实施例的变形例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图12C示出根据第二典型实施例的变形例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图13A示出根据第三典型实施例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图13B示出根据第三典型实施例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图14A示出根据第四典型实施例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图14B示出根据第四典型实施例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图15A示出根据第四典型实施例的变形例1的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图15B示出根据第四典型实施例的变形例1的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图16A示出根据第四典型实施例的变形例2的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图16B示出根据第四典型实施例的变形例2的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图17A示出根据第四典型实施例的变形例3的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图17B示出根据第四典型实施例的变形例3的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图18A示出根据第五典型实施例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图18B示出根据第五典型实施例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图19A示出根据第五典型实施例的比较例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图19B示出根据第五典型实施例的比较例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。

图20是根据第六典型实施例的信号生成系统的功能框图。

图21A是根据第七典型实施例的信号生成系统的功能框图。

图21B是根据第七典型实施例的信号生成系统的功能框图。

图22A是根据第八典型实施例的信号生成系统的功能框图。

图22B是根据第八典型实施例的信号生成系统的功能框图。

图23A是根据第九典型实施例的信号生成系统的功能框图。

图23B是根据第九典型实施例的信号生成系统的功能框图。

具体实施方式

提供以下典型实施例以体现本公开的技术构思，并且不旨在限制本发明。附图中所示出的构件的大小和位置关系可能为了明确描述而被夸张。在以下描述中，相同的部件被分配相同的附图标记，并且可以省略对其的描述。

在下文中，将参考附图来详细描述本公开的典型实施例。在以下描述中，适当地使用指示特定方向和位置的术语(例如，“上”、“下”、“右”、“左”以及包括这些术语的其他术语)。这些术语用于便于对要参考附图来描述的典型实施例的理解。本公开的技术范围不被这些术语的含义所限制。

在本说明书中，“平面”是指从与半导体层的光入射面垂直的方向观看的面。截面是指在与半导体层的光入射面垂直的方向上的面。在当微观上观看时半导体层的光入射面是粗糙面的情况下，基于宏观上观看的半导体层的光入射面来定义平面。

在以下描述中，将雪崩光电二极管(APD)的阳极设置为固定电位，并且从阴极侧取出信号。因此，具有极性与信号电荷相同的电荷作为多数载流子的第一导电类型的半导体区域是N型半导体区域，并且具有极性与信号电荷不同的电荷作为多数载流子的第二导电类型的半导体区域是P型半导体区域。即使在将APD的阴极设置为固定电位并从阳极侧取出信号的情况下，也可以实现本公开的典型实施例。在这种情况下，具有极性与信号电荷相同的电荷作为多数载流子的第一导电类型的半导体区域是P型半导体区域，并且具有极性与信号电荷不同的电荷作为多数载流子的第二导电类型的半导体区域是N型半导体区域。以下将给出对将APD的一个节点设置为固定电位的情况的描述，但是可以使两个节点处的电位可变。

在以下典型实施例中，可以描述电路的元件之间的连接。在这种情况下，即使在所要观察的元件之间插入了其他元件的情况下，除非另有说明，否则所要观察的元件也被视为是连接的。例如，假设元件A连接到具有多个节点的电容元件C的一个节点，并且元件B连接到其他节点。即使在这种情况下，除非另有说明，否则元件A和元件B被视为是连接的。

图1是示出根据典型实施例的距离信息生成设备30的示意性结构的示例的硬件框图。距离信息生成设备30包括发光设备31、信号生成设备32和信号处理电路33。信号生成设备32可以包括光电转换设备100和信号处理电路33。图1所示的距离信息生成设备30的结构仅仅是示例，并且距离信息生成设备30的结构不限于图1所示的结构。例如，包括在信号处理电路33中的第一帧生成单元37和第二帧生成单元38可以被包括在光电转换设备100中。

距离信息生成设备30是使用诸如光检测和测距(LiDAR)等的技术来测量到作为距离测量对象的对象物X的距离的设备。距离信息生成设备30基于从发光设备31发光起直到该光被对象物X反射并被光电转换设备100接收为止的时滞，来测量从距离信息生成设备30到对象物X的距离。距离信息生成设备30还可以在包括对象物X的预定距离测量范围内发射激光，并且通过由像素阵列接收反射光来二维地在多个点处测量距离。距离信息生成设备30由此可以输出距离信息。可替代地，距离信息生成设备30可以输出基于距离信息的图像信息(包括与距离信息相对应的颜色差和对比度差的图像信息)。

信号生成设备32所要接收的光除了包含从对象物X反射的光之外，还包含诸如太阳光等的环境光。因此，距离信息生成设备30使用如下方法来进行环境光影响降低的距离测量，该方法用于测量多个时段(小区间时段)中的各时段中的入射光的光量并且确定为反射光已经进入光量达到峰值的时段。

发光设备31是将诸如激光等的光发射到距离信息生成设备30的外部的设备。能够容易地以二维阵列形成的垂直腔面发射激光器(VCSEL)例如可以用于激光。

信号处理电路33可以包括用于对数字信号进行计算处理的处理器和存储数字信号的存储器。作为存储器，例如可以使用半导体存储器。距离信息生成设备30不必包括信号处理电路33。在这种情况下，信号处理电路33中所包括的结构的至少一部分被设置在光电转换设备100中。在这种情况下，信号生成设备32与光电转换设备100相同。

信号生成设备32生成包括基于入射光的脉冲的脉冲信号。在本典型实施例中，信号生成设备32中所包括的光电转换设备100生成脉冲信号。例如，可以使用包括作为光电转换元件的APD的光电转换设备。在这种情况下，如果一个光子进入APD并且生成电荷，则通过雪崩倍增来生成一个脉冲。信号生成设备32中所包括的光电转换设备100不限于使用APD作为光电转换元件的光电转换设备，并且可以是使用不同的光电二极管作为光电转换元件的光电转换设备。

在本典型实施例中，光电转换设备100包括像素阵列，在该像素阵列中，在多个行和多个列上配置多个光电转换元件(像素)。现将参照图2至图6的(C)来描述光电转换设备100。以下所要描述的光电转换设备的结构仅仅是示例。光电转换设备不限于此，并且可以使用任何光电转换设备，只要该设备使得可以实现以下所要描述的各典型实施例的功能即可。

图2是示出距离信息生成设备30中包括的堆叠型光电转换设备100的结构的图。光电转换设备100包括与电连接的传感器基板11(第一基板)和电路基板21(第二基板)相对应的两个堆叠基板。传感器基板11包括第一半导体层和第一布线结构，第一半导体层包括以下所要描述的光电转换单元102。电路基板21包括第二半导体层和第二布线结构，第二半导体层包括诸如以下所要描述的信号处理单元103等的信号检测电路。光电转换设备100所包括的第二半导体层、第二布线结构、第一布线结构和第一半导体层按该顺序堆叠。各典型实施例中所描述的光电转换设备100是光从传感器基板11的第一半导体层的第一面侧进入的背照式光电转换设备，并且电路基板配置在面向传感器基板11的第一半导体层的第一面的第二面上。

在下文中，传感器基板11和电路基板21将被描述为通过切割而被单独化的芯片，但是传感器基板11和电路基板21不限于芯片。例如，传感器基板11和电路基板21可以是晶圆。可替代地，可以在将传感器基板11和电路基板21在晶圆状态下堆叠之后，通过切割来使该传感器基板11和电路基板21单独化，或者可以将传感器基板11和电路基板21在晶圆状态下芯片化，并且然后通过堆叠芯片来接合该传感器基板11和电路基板21。

在传感器基板11上配置以二维阵列配置有多个光电转换元件的光电转换区域12，并且在电路基板21上配置用于处理光电转换区域12中所检测到的信号的电路区域22。

图3是示出传感器基板11中的配置的示例的图。各自包括具有APD的光电转换单元102的光电转换元件101在平面图中以二维阵列配置，并且形成光电转换区域12。

光电转换元件101足以能够测量光到达的时刻以及光量。

例如，在飞行时间(TOF)传感器中使用光电转换元件101的情况下，不必形成图像。然而，光电转换元件101可以是用于形成图像的像素。

图4是电路基板21的结构图。电路基板21包括信号处理单元103、读出电路112、控制脉冲生成单元115、水平扫描电路单元111、信号线113、垂直扫描电路单元110、输出电路114和驱动线116，信号处理单元103各自处理图2所示的光电转换单元102光电转换后的电荷。

图3所示的光电转换单元102中的各光电转换单元以及图4所示的信号处理单元103中的对应信号处理单元经由针对各光电转换元件所设置的连接布线电连接。

垂直扫描电路单元110接收从控制脉冲生成单元115供给的控制脉冲，并且经由驱动线116将该控制脉冲供给到各光电转换元件。诸如移位寄存器或地址解码器等的逻辑电路用作垂直扫描电路单元110。

从各光电转换元件101的光电转换单元102输出的信号由信号处理单元103中的对应信号处理单元来处理。各信号处理单元103中设置有计数器和存储器，并且存储器中存储有数字值。

水平扫描电路单元111将用于依次选择各列的控制脉冲输入到信号处理单元103，以从各光电转换元件101的用于存储数字信号的存储器中读出信号。

将信号从垂直扫描电路单元110在选定列上已经选择的光电转换元件的信号处理单元103输出到信号线113。

将输出到信号线113的信号经由输出电路114输出到设置在光电转换设备100的外部的记录单元或信号处理单元。

在图2中，光电转换区域中的光电转换单元可以是一维排列的。不必为所有光电转换单元中的各光电转换单元提供信号处理单元的功能。例如，一个信号处理单元可以被多个光电转换单元共用，并且可以顺次进行信号处理。

如图3和图4所示，多个信号处理单元103被配置在平面图中与光电转换区域12重叠的区域中。然后，垂直扫描电路单元110、水平扫描电路单元111、读出电路112、输出电路114和控制脉冲生成单元115被配置在平面图中传感器基板11的边缘和光电转换区域12的边缘之间的区域中。换句话说，传感器基板11包括光电转换区域12和配置在光电转换区域12周围的非光电转换区域。然后，垂直扫描电路单元110、水平扫描电路单元111、读出电路112、输出电路114和控制脉冲生成单元115被配置在平面图中与非光电转换区域重叠的区域中。

图5是示出包括图3和图4所示的等效电路的光电转换元件的示例的框图。图5示出包括典型APD的光电转换元件的框图。

在图5中，包括APD 201的光电转换单元102被设置在传感器基板11上，并且其他构件被设置在电路基板21上。

APD 201通过光电转换来生成与入射光相对应的电荷对。将电压VL(第一电压)供给到APD 201的阳极。将高于供给到阳极的电压VL的电压VH(第二电压)供给到APD 201的阴极。将用于使APD 201进行雪崩倍增操作的反向偏置电压供给到阳极和阴极。通过向APD201供给这样的电压，由入射光生成的电荷引起雪崩倍增，并且生成雪崩电流。

在供给反向偏置电压的情况下，APD 201在盖革(Geiger)模式或线性模式中操作。在盖革模式中，APD 201以大于击穿电压的阳极和阴极之间的电位差进行操作。在线性模式中，APD 201以接近击穿电压或者等于或小于击穿电压的阳极和阴极之间的电位差进行操作。

在盖革模式中操作的APD将被称为单光子雪崩二极管(SPAD)。例如，电压VL是-30V，并且电压VH是1V。APD 201可以在线性模式中操作，或者可以在盖革模式中操作。

将淬灭元件202连接到APD 201和用于供给电压VH的电源。淬灭元件202用作在通过雪崩倍增使信号倍增时的负载电路(淬灭电路)，并且具有用于通过降低要供给到APD201的电压来抑制雪崩倍增的功能(淬灭操作)。淬灭元件202还具有如下的功能(再充电操作)，该功能用于通过使与淬灭操作所导致的压降在量上相对应的电流流动，来使要供给到APD 201的电压返回到电压VH。

在图5中，淬灭元件202由晶体管构成，并且经由驱动线VR向淬灭元件202的栅极供给电位。从驱动线VR供给的电位是通过切换淬灭元件202的电阻值来使APD 201的节点A处的阴极电位复位的复位信号。

信号处理单元103包括波形整形单元210、门电路321(第一选择电路)、计数器211和输出电路306(第二选择电路)。在本说明书中，在一个实施例中，信号处理单元103包括波形整形单元210、门电路321、计数器211和输出电路306中的任何单元。

波形整形单元210通过对在光子检测时所获得的APD 201的阴极的电位变化进行整形来输出脉冲信号。例如，使用反相器电路作为波形整形单元210。图5示出了使用一个反相器作为波形整形单元210的示例，但是可以使用多个反相器串联连接的电路作为波形整形单元210，或者可以使用具有波形整形效果的其他电路作为波形整形单元210。

门电路321可以例如由与(AND)电路构成。AND电路的一个输入端子连接到波形整形单元210，另一个输入端子连接驱动线GATE。通过控制向门电路321的信号的供给，来设置以下所要描述的曝光时段。门电路321在经由驱动线GATE从光电转换元件的外部输入的门信号处于高(H)电平的时段期间，将波形整形单元210的输出信号输出到计数器211。另一方面，门电路321在该门信号处于低(L)电平的时段期间，不将波形整形单元210的输出信号输出到计数器211。通过例如输入高(H)电平时段期间的纳秒到皮秒的脉冲作为门信号，可以选择性地仅检测在作为要观察的时段的子帧时段期间已经进入的光子信号。

计数器211对从波形整形单元210输出的脉冲信号的数量(次数)进行计数并且存储计数值。计数器211测量进入光电转换元件的光量。根据经由驱动线CTRL从光电转换元件的外部输入的控制信号，计数器211切换是否进行计数器211的计数操作以及是否停止计数操作。计数器211的示例包括多位数字计数器，但是可以使用一位数字存储器或使用电容元件的模拟存储器。计数器211和输出电路306通过与计数器211的位数相对应的配线连接。当经由驱动线RES供给控制脉冲pRES时，使存储在计数器211中的信号复位。

输出电路306接收经由驱动线SEL从光电转换元件的外部输入的选择信号，并且将从计数器211输出的信号输出到信号线113。在本典型实施例中，经由图5中的驱动线SEL从图4中的垂直扫描电路单元110供给控制脉冲pSEL，并且使计数器211与信号线113之间的电连接在连接状态与断开状态之间切换。

输出电路306例如包括用于输出信号的缓冲器电路，并且例如可以使用三态缓冲器。

可以在淬灭元件202和APD 201之间以及在光电转换单元102和信号处理单元103之间设置诸如晶体管等的开关，以切换它们之间的电连接。可替代地，可以使用诸如晶体管等的开关，来对要供给到光电转换单元102的电压VH或电压VL的供给进行电切换。此外，通过对要输入到构成淬灭元件202的晶体管的栅极的电压进行切换，可以在无需提供额外的开关的情况下切换上述电连接。

图6的(A)至图6的(C)是示意性地示出APD的操作与输出信号之间的关系的图。

图6的(A)是选择性地示出图5所示的APD 201、淬灭元件202和波形整形单元210的图。在图6的(A)中，波形整形单元210的输入侧被视为节点A，并且输出侧被视为节点B。图6的(B)示出图6的(A)中的节点A处的波形变化，并且图6的(C)示出图6的(A)中的节点B处的波形变化。

在从时刻t0到时刻t1的时段期间，向图6的(A)中的APD 201施加电位差VH-VL。如果在时刻t1光子进入APD 201，则APD 201中发生雪崩倍增，雪崩倍增电流流向淬灭元件202，并且节点A处的电压下降。如果压降量进一步增大并且施加到APD 201的电位差变得更小，则在时刻t2，APD 201的雪崩倍增停止。因此，节点A处的电压停止下降到低于某一值。此后，在从时刻t2到时刻t3的时段期间，从电压VL补偿压降的电流流向节点A，并且在时刻t3，节点A处的电位电平静态地稳定在原始电位电平。此时，波形整形单元210对节点A处的输出波形的超过某个阈值的部分进行修正，并且在节点B处作为信号输出。

信号线113的配置以及读出电路112和输出电路114的配置不限于图5所示的配置。例如，信号线113可以被配置为在行方向上延伸，并且读出电路112可以被配置在延伸的信号线113的端部处。

将参照图9、图10A和图10B来描述根据第一典型实施例的光电转换设备。参考作为比较典型实施例的图7至图8B，将参考图9、图10A和图10B来描述能够在不增加距离测量时间的情况下确保适当距离分辨率(作为本公开的预设典型实施例的效果)所依据的原理。

图7是根据比较典型实施例的驱动定时图，并且图8A和图8B示出根据比较典型实施例的指示驱动中的每单位时间的门驱动的曲线图。

在图7中，发射光指示从发光元件发射光的定时。反射光指示从发光元件发射的光被对象物反射并且被用作信号检测设备的光电转换设备检测到的定时。

使用包括第一子帧和第二子帧的N个子帧(N是2以上的整数)的信号，生成一个距离测量帧。在各子帧中，处于H电平的时段是能够检测来自发光元件的光的时段。在各子帧中，处于L电平的时段是不能检测来自发光元件的光的时段。在本典型实施例中，信号处于H电平的时段与能够由配置在光电转换区域中的多个光电转换元件检测光的曝光时段相对应，并且信号处于L电平的时段与不能由多个光电转换元件检测光的非曝光时段相对应。曝光时段是指光电转换单元102是活动的并且由例如诸如计数器电路等的信号检测电路读出来自光电转换单元102的信号的时段。非曝光时段是指不由诸如计数器电路等的信号检测电路读出来自光电转换单元102的信号的时段。

例如，曝光时段是指经由驱动线GATE输入到门电路的门信号处于H电平的时段。例如，非曝光时段是指经由驱动线GATE输入到门电路的门信号处于L电平的时段。在通过将循环脉冲输入到驱动线VR而使淬灭元件202复位的驱动中，曝光时段可以被定义为在驱动线VR切换到H电平之后直到门信号切换到L电平为止的时段。

曝光时段和非曝光时段不限于上述示例。曝光时段可以被定义为对APD施加可以进行雪崩倍增的反向偏置电位、淬灭元件处于非淬灭状态并且能够由诸如计数器等的信号检测电路读出来自APD的信号的时段。非曝光时段可以被定义为淬灭元件处于淬灭状态并且不经由淬灭元件读出来自APD的信号的时段。作为另一个示例，非曝光时段可以被定义为减小施加到APD的电位差以防止APD中发生雪崩倍增的时段，并且曝光时段可以被定义为使APD中发生雪崩倍增的电位差的时段。可替代地，非曝光时段可以被定义为以不驱动诸如计数器等的信号检测电路的方式进行控制的时段，并且曝光时段可以被定义为以驱动诸如计数器等的信号检测电路的方式进行控制的时段。

例如，图1所示的第一帧生成单元37生成多个子帧，并且第二帧生成单元38生成距离测量帧。第一帧生成单元37和第二帧生成单元38可以被配置在光电转换设备100中。在这种情况下，例如，第一帧生成单元37和第二帧生成单元38可以被配置在图4所示的读出电路112中，并且可以基于从APD输出的信号来计算距离信息。在这种情况下，控制脉冲生成单元115可以进行帧定时生成。

为了使描述易于理解，在图7中，将发射光、反射光和子帧配置成一行。虽然发射光的定时有多个，但是图7示出各子帧中的一个发光定时。具体地，在实际驱动中，基于第一发射光，进行第一子帧的第一光量测量。此外，基于第二发射光，进行第一子帧的第二光量测量。基于第m发射光(m是2以上的整数)，进行第一子帧的第m光量测量，并且基于第m+1发射光，进行第二子帧的第一光量测量。随后，类似地进行光量测量，直到第N子帧。

如图7所示，在生成第一子帧的时段期间，在不改变从发光到第一子帧的曝光时段开始的定时的情况下，重复多次进行包括光发射的第一子帧的光量测量。之后，进行第二子帧的光量测量。将第二子帧的光量测量中的从发光到曝光时段开始的时段设置为比第一子帧的光量测量中的从发光到曝光时段开始的时段更长的时段。与第一子帧的光量测量相似地，在不改变从发光到第二子帧的曝光时段开始的定时的情况下，重复多次进行包括光发射的第二子帧的光量测量。然后，进行第N子帧的光量测量。在第N子帧中，与前述子帧相似地，在不改变从发光到曝光时段开始的定时的情况下，多次进行第N子帧的光量测量。基于包括第一子帧至第N子帧的多个子帧中的光量测量的结果，生成与反射光有关的直方图信息。基于与所检测到的光子的数量(频度)最大的级别相对应的时间信息，计算到对象物的距离。

在比较典型实施例中，在一个子帧中，以曝光时段的相同的开始定时和结束定时多次进行检测，并且在下一子帧中，曝光时段的开始定时和结束定时与先前子帧中的定时相对移位。

图8A示出根据比较典型实施例的门轮廓和各子帧中的停留时段分布。门轮廓是表示预定子帧的单个光量测量中对入射光子的感光度的时间变化的函数，并且在比较典型实施例中，门轮廓与门被接通的时段相对应。在图8A中，为了便于描述，门轮廓由矩形函数表示。实际上，由于传感器中的脉冲延迟或有限复位时间，在上升和下降波形中可能发生失真、过冲或振铃。停留时段分布是指用于指示在某个子帧中重复测量发射光和接收光时要对光的接收定时进行累计的次数的分布。在比较典型实施例中，由于在子帧中，在从发光到曝光时段开始定时的时段相同的情况下多次测量反射光并且对其进行累计，因此停留时段分布指示δ函数。

图8B示出根据比较典型实施例的通过门轮廓和停留时段分布的合成积(卷积)而获得的有效门轮廓。

接下来，将描述本典型实施例。图9是根据本典型实施例的驱动定时图，并且图10A和图10B示出根据本典型实施例的指示驱动中的每单位时间的门驱动的曲线图。

在图9中，由于发射光、反射光、各子帧和直方图与图7所示的相似，因此将省略对其的描述。

在图9中，在各子帧的光量测量中，同时地控制信号生成设备中所包括的以多个行和列的阵列所配置的多个光电转换元件的曝光时段。

例如，在光电转换区域中，同时控制以行和列的阵列配置的多个光电转换元件的曝光时段。具体地，在多个光电转换元件中的至少两个以上光电转换元件中，第一曝光时段同时开始，并且此后，第二曝光时段同时开始。在多个光电转换元件中，同时控制配置在要进行信号生成的区域中的多个光电转换元件的曝光时段。

在本典型实施例中，一个子帧包括第一曝光时段P1和第二曝光时段P2，并且第一曝光时段P1的开始定时和第二曝光时段P2的开始定时不同。第一子帧包括要在从发光元件发光起在预定时段之后开始曝光的第一曝光时段和要在从发光元件发光起在长于预定时段的时段之后开始曝光的第二曝光时段。这里，预定时段包括0。在本典型实施例中，从发光元件发光起直到第二曝光时段开始的时段短于从发光元件发光起直到第一曝光时段结束的时段。换句话说，在一个子帧中，第二曝光时段包括与第一曝光时段重叠的时段和不与第一曝光时段重叠的时段这两者。利用这种结构，由于曝光时段可以在一个子帧中重叠，因此在生成直方图的情况下，使得可以以高分辨率进行距离测量。

在图9中，在一个子帧中，曝光时段的开始定时相对于光源的发光定时以恒定速度移位，但结构不限于此。例如，曝光时段的开始定时可以相对于光源的发光定时不规则地移位。

例如，第一子帧还可以包括第三曝光时段和第四曝光时段，并且可以使第一曝光时段至第四曝光时段的开始定时之间的时段差相同，或者可以使该时段差不同。第一曝光时段P1的开始定时与第二曝光时段P2的开始定时之间的时段差称为第一时段差D1。第二曝光时段P2的开始定时与第三曝光时段的开始定时之间的时段差称为第二时段差。第三曝光时段的开始定时与第四曝光时段的开始定时之间的时段差称为第三时段差。在本典型实施例中，第一时段差、第二时段差和第三周时段差被设置为相同的长度。

通过对子帧中的曝光时段中获得的光量值的总信号量进行累计所获得的累计信号量进行计数，来生成直方图。在本典型实施例中，使用诸如直方图的上升、下降、众数值或质心等的信息，来计算从发光到受光的时间差。因此，使得可以测量到对象物的距离。

如图9所示，在本典型实施例中，多个帧包括第一子帧和第二子帧，在第一子帧中，曝光时段在从发光元件发光起在第一时段之后开始，并且在第二子帧中，曝光时段在从发光元件发光起在比第一时段长的第二时段之后开始。

然后，第一子帧中的多个曝光时段中的任何曝光时段与第二子帧中的多个曝光时段中的任何曝光时段部分地重叠。第一子帧中的从发光元件发光起直到多个曝光时段中至少之一的结束定时的时段长于第二子帧中的从发光元件发光起直到多个曝光时段中至少之一的开始定时的时段。利用这种结构，在生成直方图时，第一子帧的累计信号量和第二子帧的累计信号量可以重叠。第一时段是包括0的整数，并且第二时段是不包括0的整数。换句话说，在子帧之间，在使曝光时段的开始定时相对于光源的发光定时移位的同时进行光量测量。因此，与曝光时段不重叠的情况相比，可以提高距离分辨率。

图10A示出根据本典型实施例的门轮廓和各子帧中的停留时段分布。门轮廓是表示预定子帧的单个光量测量中对入射光子的感光度的时间变化的函数，并且在本典型实施例中，门轮廓与门被接通的时段相对应。在图10A中，为了便于描述，门轮廓由矩形函数表示。实际上，由于传感器中的脉冲延迟或有限复位时间，在上升和下降波形中可能发生失真、过冲或振铃。如图10A所示，根据本典型实施例，由于在子帧中以恒定速度使受光定时移位的同时进行累计，因此累计的停留时段分布由矩形函数表示。根据本典型实施例，与比较典型实施例中的停留时段分布相比，可以加宽停留时段分布的宽度。

图10B示出根据本典型实施例的通过门轮廓和停留时段分布的合成积(卷积)而获得的有效门轮廓。在本典型实施例中，由于如图10A所示可以使得停留时段分布的宽度更宽，因此通过卷积而获得的有效门轮廓具有诸如梯形等的形状。

根据本典型实施例，有效门轮廓可以不采用二进制值而采用中间值，并且采用中间值的时段可以与紧接在前的子帧或紧接在后的子帧的有效门轮廓的一部分重叠。利用该结构，基于紧接在前的子帧或紧接在后的子帧中的累计输出的内分比，使得可以获得比门移位间隔更精细的分辨率。因此，可以提供能够在不增加距离测量时间的情况下确保适当的距离分辨率的信号生成设备。

将参考图11A和图11B来描述第二典型实施例。图11A和图11B示出根据本典型实施例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。图11A示出门轮廓和各子帧中的停留时段分布，并且图11B示出有效门轮廓。

在第一典型实施例中，在一个子帧中以恒定速度使多个曝光时段的开始时间移位。本典型实施例与第一典型实施例的不同之处在于：在不同定时在一个子帧中以二值的方式使曝光时段移位，并且在各定时多次进行曝光。除了该点和下面将要描述的点之外，本典型实施例的结构与第一典型实施例的结构基本相同。因此，将省略对其他点的描述。

在本典型实施例中，在一个子帧中，重复多次进行要在从发光元件发光起经过第一时段之后开始的曝光的第一曝光时段，并且重复多次进行要在从发光元件发光起经过第二曝光时段之后开始的曝光的第二曝光时段。然后，使用多个第一曝光时段中获得的信号和多个第二曝光时段中获得的信号来计算累计信号量。

在本典型实施例中，将第一曝光时段的重复次数和第二曝光时段的重复次数设置为相同的数。例如，重复进行十次第一曝光时段，并且重复进行十次第二曝光时段。次数不限于此。例如，第一曝光时段的重复次数和第二曝光时段的重复次数可以不同。在这种情况下，基于考虑到第一曝光时段的重复次数和第二曝光时段的重复次数不同的直方图，来测量到对象物的距离。在本典型实施例中，如图11B所示，有效门轮廓具有倒T形形状。换句话说，有效门轮廓具有凸形状。

根据本典型实施例，与第一典型实施例相似地，可以提供能够在不增加距离测量时间的情况下确保适当的距离分辨率的信号生成设备。此外，可以使用比第一典型实施例中的脉冲发生器更简单的脉冲发生器。由此，使得可以实现距离信息生成设备的成本的降低。

在本典型实施例中，作为变形例，第一曝光时段和第二曝光时段的长度可以变化。图12A示出第一曝光时段中的门轮廓1，并且图12B示出根据变形例的第二曝光时段中的门轮廓2。在变形例中，第一曝光时段长于第二曝光时段。

图12C示出通过门轮廓1、门轮廓2和停留时段分布的合成积(卷积)而获得的有效门轮廓。以这种方式，通过针对具有不同的曝光时段的宽度和不同的曝光时段的开始定时的门轮廓1和门轮廓2进行多次累计，也可以获得与图11B所示的有效门轮廓相似的有效门轮廓。因此，同样在变形例中，可以提供能够在不增加距离测量时间的情况下确保适当的距离分辨率的信号生成设备。

将参考图13A和图13B来描述第三典型实施例。图13A和图13B示出根据本典型实施例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。图13A示出门轮廓和各子帧中的停留时段分布，并且图13B示出有效门轮廓。

在本典型实施例中，使第一子帧中的多个曝光时段和第二子帧中的多个曝光时段移位。除了该点和下面将要描述的点之外，本典型实施例与第一典型实施例基本相同。因此，将省略描述。

在本典型实施例中，以如下方式进行控制：使得第一子帧中的多个曝光时段的结束定时变得等于或晚于第二子帧中的多个曝光时段的开始定时。此外，使子帧之间的定时差等于或小于门轮廓的宽度。利用该结构，与第一典型实施例相比，可以使用更小数量的子帧来涵盖所要观察的距离测量范围。因此，与第一典型实施例相比，可以缩短距离测量时间。特别地，通过使定时差几乎等于门轮廓的宽度，有效门轮廓的增大/减小关系可以在紧接在前的子帧或紧接在后的子帧中反转。更具体地，如图13B所示，第一子帧的有效门轮廓的倾斜度具有负值的区域可以与第二子帧的有效门轮廓的倾斜度具有正值的区域相对应。

在本典型实施例中，与第一典型实施例类似，可以提供能够在不增加距离测量时间的情况下确保适当的距离分辨率的信号生成设备。此外，通过在保持有效门轮廓的增大/减小关系的反转关系的同时获取多个子帧的数据，使得无论到对象物的距离如何都可以获得高分辨率。

将参考图14A和图14B来描述第四典型实施例。图14A和图14B示出根据本典型实施例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。图14A示出门轮廓和各子帧中的停留时段分布，并且图14B示出有效门轮廓。

本典型实施例与第一典型实施例的不同之处在于：在一个子帧中，曝光时段的开始定时的移位量随着时段的经过而逐渐减小，并且此后，曝光时段的开始定时的移位量随着时段的经过而逐渐增大。除了该点和下面将要描述的点之外，本典型实施例与第一典型实施例基本相同。因此，将省略对其他点的描述。

在本典型实施例中，各子帧中的停留时段分布代替矩形形状而具有双侧对称的三角形形状。例如，第一时段差和第三时段差相同，并且第二时段差小于第一时段差。因此，如图14B所示，与第一典型实施例相比，有效门轮廓具有更陡的倾斜度。因此，与第一典型实施例相比，通过使对象物上反射的光跨越紧接在前的子帧或紧接在后的子帧，可以提高距离测量精度。

在本典型实施例中，与第一典型实施例相似地，可以提供能够在不增加距离测量时间的情况下确保适当的距离分辨率的信号生成设备。此外，与第一典型实施例相比，可以提高距离测量精度。

在本典型实施例中，作为变形例1，如图15A所示，各子帧中的停留时段分布可以具有非对称三角形形状。例如，可以通过随着时段的经过逐渐减小曝光时段的开始定时的移位量来进行累计。

换句话说，在一个子帧中，可以使多个曝光时段之间的重叠在子帧的后半部分中增大。第三时段差小于第二时段差，并且第二时段差小于第一时段差。在这种情况下，如图15B所示，与第一典型实施例相比，有效门轮廓也具有更陡的倾斜度。因此，在变形例1中，使得可以进一步提高距离测量精度。代替随着时段的经过逐渐减小曝光时段的开始定时的移位量，可以通过在保持移位量恒定的同时改变针对曝光时段的各开始定时进行累计的次数，来实现相似的停留时段分布。在这种情况下，在第一曝光时段中进行累计的次数和在第二曝光时段中进行累计的次数是不同的。例如，在第二曝光时段中进行累计的次数可以大于在第一曝光时段中进行累计的次数。

在本典型实施例中，作为变形例2，如图16A所示，各子帧中的停留时段分布可以具有M形。例如，在一个子帧中，曝光时段的开始定时的移位量可以随着时段的经过而逐渐增大，并且从某一中点起，曝光时段的开始定时的移位量可以随着时段的经过而逐渐减小。

换句话说，在一个子帧中，多个曝光时段之间的重叠可以在该子帧的第一半和第二半中增大，并且多个曝光时段之间的重叠可以在该子帧的中心附近减小。同样在变形例2中，如图16B所示，与第一典型实施例相比，有效门轮廓具有更陡的倾斜度。因此，在变形例2中，使得可以进一步提高距离测量精度。

在本典型实施例中，作为变形例3，如图17A所示，各子帧中的停留时段分布可以具有抛物线形状。例如，在一个子帧中，多个曝光时段之间的重叠可以在该子帧的中心附近增大，并且多个曝光时段之间的重叠可以在子帧的前半部分和后半部分中减小。例如，第二时段差可以小于第一时段差，并且第三时段差可以小于第二时段差。在这种情况下，如图17B所示，与第一典型实施例相比，有效门轮廓也具有更陡的倾斜度。因此，在变形例3中，使得可以进一步提高距离测量精度。

将参考图18A和图18B来描述第五典型实施例。图18A和图18B示出根据本典型实施例的指示驱动中的每单位时间的门驱动和有效门轮廓的曲线图。图18A示出门轮廓和各子帧中的停留时段分布，并且图18B示出有效门轮廓。

本典型实施例与第一典型实施例的不同之处在于：光电转换元件中所包括的计数器是向上/向下计数器。除了该点和下面将要描述的点之外，本典型实施例与第一典型实施例基本相同。因此，将省略对其他点的描述。

在本典型实施例中，向上/向下计数器用作计数器。利用这种结构，可以在一个子帧中切换向上计数和向下计数。因此，如图18A所示，在停留时段分布中，可以有效地取负值。在通过卷积所获得的有效门轮廓中，也可以取负值。因此，使得可以在消除外部光的影响的同时执行高度精确的距离测量。

在本典型实施例中，与第一典型实施例相似，可以提供能够在不增加距离测量时间的情况下确保适当的距离分辨率的信号生成设备。此外，与第一典型实施例相比，可以降低外部光的影响。

在本典型实施例中，作为变形例，如图19A所示，各子帧中的停留时段分布可以代替矩形形状而具有三角形形状。例如，在一个子帧中，曝光时段的开始定时的移位量可以随着时段的经过而逐渐减小，并且此后，曝光时段的开始定时的移位量可以随着时段的经过而逐渐增大。在这种情况下，如图19B所示，有效门轮廓可以具有近似正弦的形状。因此，在进行使用傅立叶变换原理等的处理的情况下，可以简化后续的计算处理。

将参考图20来描述根据第六典型实施例的信号生成系统。图20是示出根据本典型实施例的信号生成系统的示意性结构的框图。

上述典型实施例中所描述的信号生成设备(光电转换设备)可以应用于各种信号生成系统。可以应用信号生成设备的信号生成系统(光电转换系统)的示例包括数字静态照相机、数字摄像机、监视照相机、复印机、传真机、移动电话、车载照相机和观测卫星。信号生成系统中也包括具有诸如镜头等的光学系统以及摄像设备的照相机模块。作为示例，从这些信号生成系统中，图20示出数字静态照相机的框图。

图20中例示的信号生成系统包括用作信号生成设备的示例的摄像设备1004和用于在摄像设备1004上形成被摄体的光学像的透镜1002。信号生成系统还包括用于改变穿过透镜1002的光量的光圈1003和用于保护透镜1002的挡板1001。透镜1002和光圈1003用作用于将光聚集到摄像设备1004上的光学系统。摄像设备1004是根据任何上述典型实施例的信号生成设备(摄像设备)，并且将由透镜1002形成的光学像转换成电信号。

信号生成系统还包括用作用于通过对摄像设备1004输出的电信号进行处理来生成图像的图像生成单元的信号处理单元1007。信号处理单元1007进行用于适当地进行各种类型的校正和压缩并且输出图像数据的操作。信号处理单元1007可以形成在设置有摄像设备1004的半导体基板上，或者可以形成在与设置有摄像设备1004的半导体基板不同的其他半导体基板上。摄像设备1004和信号处理单元1007可以形成在相同的半导体基板上。

信号生成系统还包括用于暂时存储图像数据的存储器单元1010和用于与外部计算机通信的外部接口单元(外部I/F单元)1013。信号生成系统还包括用于记录或读出所拍摄的图像数据的诸如半导体存储器等的记录介质1012以及用于进行到记录介质1012上的记录或从记录介质1012的读出的记录介质控制接口单元(记录介质控制I/F单元)1011。记录介质1012可以内置于信号生成系统中，或者可以可拆卸地附接到信号生成系统。

信号生成系统还包括用于对各种类型的计算和整个数字静态照相机进行控制的整体控制/计算单元1009和用于向摄像设备1004和信号处理单元1007输出各种定时信号的定时信号生成单元1008。可以从信号生成系统的外部输入定时信号。在一个实施例中，信号生成系统至少包括摄像设备1004和用于处理从摄像设备1004输出的电信号的信号处理单元1007。

摄像设备1004将摄像信号输出到信号处理单元1007。信号处理单元1007对从摄像设备1004输出的摄像信号进行预定信号处理并且输出图像数据。信号处理单元1007使用摄像信号生成图像。

以这种方式，根据本典型实施例，可以实现应用了根据任何上述典型实施例的信号生成设备(摄像设备)的信号生成系统。

参照图21A和图21B来描述根据第七典型实施例的信号生成系统和可移动体。图21A和图21B是示出根据本典型实施例的信号生成系统和可移动体的结构的图。

图21A示出与车载照相机相关的信号生成系统的示例。信号生成系统1300包括信号生成设备1310。信号生成设备1310是任何上述典型实施例中所描述的信号生成设备。信号生成系统1300包括用于对信号生成设备1310所获取到的多个图像数据进行图像处理的图像处理单元1312。信号生成系统1300还包括用于计算到对象物的距离的距离获取单元1316和用于基于所计算出的距离来确定是否可能发生碰撞的碰撞确定单元1318。在该示例中，距离获取单元1316可以获取与到ToF对象物的距离有关的距离信息，或者可以使用视差信息来获取距离信息。更具体地，距离信息是与视差、散焦量或到对象物的距离有关的信息。碰撞确定单元1318可以使用这些距离信息中的任何信息来确定碰撞的可能性。距离信息获取单元可以由专门设计的硬件来实现，或者可以通过软件模块来实现。可替代地，距离信息获取单元可以由现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现，或者可以由这些的组合来实现。

信号生成系统1300与车辆信息获取设备1320连接，并且可以获取诸如车速、横摆率、方向舵角等的车辆信息。信号生成系统1300还与控制电子控制单元(ECU)1330连接。控制ECU 1330用作用于基于碰撞确定单元1318所获得的确定结果来输出用于生成车辆的制动力的控制信号的控制设备。信号生成系统1300还与警报设备1340连接，警报设备1340基于碰撞确定单元1318所获得的确定结果来引起向驾驶员的警报。例如，在碰撞确定单元1318所获得的确定结果指示碰撞的可能性高的情况下，控制ECU 1330进行车辆控制，以通过制动、释放加速器、或者减小引擎输出，来避免碰撞和减小损坏。警报设备1340通过发出诸如声音等的警报、在汽车导航系统的屏幕上显示警告信息、或者使安全带或方向盘振动，来向用户发出警报。

在本典型实施例中，例如，信号生成系统1300拍摄诸如车辆前侧或后侧等的车辆周围的图像。图21B示出用于拍摄车辆前侧(摄像范围1350)的图像的信号生成系统1300。车辆信息获取设备1320向信号生成系统1300或信号生成设备1310发出指令。通过这种结构，可以进一步提高距离测量的精度。

以上已经给出了对以诸如不与其他车辆碰撞等的方式进行控制的示例的描述。信号生成系统还可以应用于进行使车辆跟随其他车辆的自动操作控制的情况或者进行防止车辆从车道偏移的自动操作控制的情况。除了诸如汽车等的车辆之外，信号生成系统还可以应用于例如诸如船舶、飞行器或工业机器人等的可移动体(可移动设备)。这样的可移动体包括用于生成主要用于可移动体的移动的驱动力的驱动力生成单元和主要用于可移动体的移动的旋转体中的一个或两者。驱动力生成单元可以是引擎或马达等。旋转体可以是轮胎、车轮、船舶的螺旋桨或者飞行器的推进器等。此外，除了可移动体之外，信号生成系统还可以应用于使用物体识别的多种多样的设备，诸如智能运输系统(ITS)等。

参照图22A和图22B来描述根据第八典型实施例的信号生成系统。参照图22A，将描述用作根据本典型实施例的信号生成系统的眼镜1600(智能眼镜)。眼镜1600包括信号生成设备1602。信号生成设备1602是上述各典型实施例中所描述的信号生成设备。包括诸如有机发光二极管(OLED)或发光二极管(LED)等的发光设备的显示装置可以被设置在各镜片1601的背面上。信号生成设备1602的数量可以是一个或多于一个。可以组合使用多种类型的信号生成设备。信号生成设备1602的配置位置不限于图22A所示的位置。

眼镜1600还包括控制设备1603。控制设备1603用作用于向信号生成设备1602和上述显示装置供电的电源。控制设备1603控制信号生成设备1602和显示装置的操作。在镜片1601中，形成用于将光聚集到信号生成设备1602的光学系统。

图22B示出根据一个应用例的眼镜1610(智能眼镜)。眼镜1610包括控制设备1612，并且控制设备1612配备有与信号生成设备1602相当的信号生成设备以及显示装置。在各镜片1611中，形成用于投射从控制设备1612的信号生成设备和显示装置发射的光的光学系统，并且图像被投射到镜片1611上。控制设备1612用作用于向信号生成设备和显示装置供电的电源，并且控制信号生成设备和显示装置的操作。控制设备1612可以包括用于检测佩戴者的视线的视线检测单元。红外光可用于检测视线。红外光发射单元将红外光发射到正在注视所显示的图像的用户的眼球上。包括受光元件的摄像单元检测已经被眼球反射的所发射的红外光的反射光。由此，获得眼球的拍摄图像。提供用于减少平面图中的从红外光发射单元到显示单元的光的减少单元，这抑制了图像质量的下降。

从通过使用红外光进行摄像而获得的眼球的拍摄图像中，检测用户相对于显示图像的视线。任何已知的方法可以应用于使用眼球的拍摄图像的视线检测。作为示例，可以使用基于通过反射发射到角膜上的光而获得的浦肯野氏(Purkinje)图像的视线检测方法。

更具体地，进行基于瞳孔中心角膜反射的视线检测处理。使用瞳孔中心角膜反射，基于眼球的拍摄图像中所包括的瞳孔的像和Purkinje图像，来计算表示眼球的方向(旋转角度)的视线向量，并且由此检测用户的视线。

根据本典型实施例的显示装置可以包括具有受光元件的信号生成设备，并且可以基于来自信号生成设备的与用户有关的视线信息来控制显示装置上的显示图像。

具体地，在显示装置中，基于视线信息来确定用户所要注视的第一视场区域和除第一视场区域之外的第二视场区域。可以由显示装置的控制设备来确定第一视场区域和第二视场区域，或者可以接收外部控制设备所确定的第一视场区域和第二视场区域。在显示装置的显示区域中，可以将第一视场区域的显示分辨率控制为高于第二视场区域的显示分辨率。换句话说，可以使第二视场区域的分辨率低于第一视场区域的分辨率。

显示区域包括第一显示区域和与第一显示区域不同的第二显示区域。基于视线信息，可以从第一显示区域和第二显示区域中确定优先级高的区域。可以由显示装置的控制设备来确定第一显示区域和第二显示区域，或者可以接收外部控制设备所确定的第一显示区域和第二显示区域。可以将优先级高的区域的分辨率控制为高于除了优先级高的区域以外的区域的分辨率。换句话说，可以将优先级相对低的区域的分辨率设置为低分辨率。

可以使用人工智能(AI)来确定第一视场区域和优先级高的区域。AI可以是如下模型，该模型被配置为使用眼球的图像和该图像中的眼球实际注视的方向作为教师数据，来从眼球的图像估计视线的角度和到视线中存在的对象的距离。AI程序可以被包括在显示装置中，可以被包括在信号生成设备中，或者可以被包括在外部设备中。在外部设备包括AI程序的情况下，经由通信将AI程序发送到显示装置。

在基于视线检测来进行显示控制的情况下，本典型实施例可以应用于还包括用于拍摄外部的图像的信号生成设备的智能眼镜。智能眼镜可以实时地显示通过摄像而获得的外部信息。

上述信号生成设备和信号生成系统可以例如应用于诸如智能电话和平板电脑等的电子装置。

图23A和图23B是示出安装有信号生成设备的电子装置1500的示例的图。图23A示出电子装置1500的正面侧，并且图23B示出电子装置1500的背面侧。

如图23A所示，电子装置1500的正面的中心处配置了用于显示图像的显示器1510。然后，沿着电子装置1500的正面的上侧，配置了使用信号生成设备的前置照相机1521和1522、用于发射红外光的IR光源1530和用于发射可见光的可见光源1540。

如图23B所示，沿着电子装置1500的背面的上侧，配置了使用信号生成设备的后置照相机1551和1552、用于发射红外光的IR光源1560和用于发射可见光的可见光源1570。

在具有这种结构的电子装置1500中，使用上述信号生成设备，这使得可以在例如将到对象物的距离考虑在内的情况下拍摄质量更高的图像。

除了上述之外，信号生成设备可以应用于诸如红外传感器、使用有源红外光源的距离测量传感器、安全照相机或者人或生物特征认证照相机等的电子装置。信号生成设备可以提高这些电子装置的精度和性能。

在本说明书中，除非另有明确定义，诸如“A或B”和“A和B至少之一”等的词语可以包括所列项目的所有可能的组合。此外，除非另有明确定义，诸如“A或/和B至少之一”和“A或/和B中的一个或多于一个”等的词语可以包括所列项目的所有可能的组合。也就是说，上述词语被解释为公开了包括至少一个A的情况、包括至少一个B的情况和包括至少一个A和至少一个B两者的情况中的所有情况。这同样适用于三个或多于三个部件的组合。

可以在不脱离技术思想的情况下适当地改变上述典型实施例。本说明书中的公开不限于本说明书中所描述的事项，并且包括从本说明书和本说明书所附的附图可以想到的所有事项。本说明书中的公开包括本说明书中所描述的个体概念的补充集合。更具体地，在本说明书中描述了“A大于B”的情况下，即使省略了“B不大于A”的描述，也认为本说明书公开了“B不大于A”。这是因为，在描述了“A大于B”的情况下，这是以“B不大于A”的情况为前提。

上述典型实施例的公开包括以下结构和方法。

(结构1)

一种信号生成设备，包括：

多个光电转换元件，

其中，所述信号生成设备使用来自所述多个光电转换元件的信号来生成多个子帧，并且使用所述多个子帧的信号来生成距离测量帧，

其中，所述多个子帧至少包括第一子帧和第二子帧，其中在所述第一子帧中，曝光时段在从发光元件发光后经过第一时段之后开始，以及在所述第二子帧中，曝光时段在从所述发光元件发光后经过比所述第一时段长的第二时段之后开始，

其中，所述第一子帧至少包括第一曝光时段和第二曝光时段，

其中，所述第一曝光时段的开始定时和所述第二曝光时段的开始定时不同。

(结构2)

根据结构1所述的信号生成设备，其中，从所述发光元件发光起直到所述第二曝光时段开始的时段比从所述发光元件发光起直到所述第一曝光时段结束的时段短。

(结构3)

根据结构1或2所述的信号生成设备，

其中，所述多个子帧是由第一生成单元生成的，以及

其中，所述距离测量帧是由第二生成单元生成的。

(结构4)

根据结构1至3中任一项所述的信号生成设备，

其中，所述第一子帧包括多个曝光时段，所述多个曝光时段包括所述第一曝光时段和所述第二曝光时段，以及

其中，在所述第一子帧中，所述多个曝光时段的开始定时以恒定速度移位。

(结构5)

根据结构1至3中任一项所述的信号生成设备，其中，在所述第一子帧中，所述第一曝光时段和所述第二曝光时段各自重复多次。

(结构6)

根据结构5所述的信号生成设备，其中，对累计信号量进行计数，所述累计信号量是通过对通过重复多次所述第一曝光时段所获得的光量值和通过重复多次所述第二曝光时段所获得的光量值进行累计而获得的。

(结构7)

根据结构1至6中任一项所述的信号生成设备，其中，所述第一子帧中的从所述发光元件发光起直到所述曝光时段的结束定时的时段比所述第二子帧中的从所述发光元件发光起直到所述曝光时段的开始定时的时段长。

(结构8)

根据结构1至7中任一项所述的信号生成设备，其中，在所述多个光电转换元件中的至少两个或多于两个光电转换元件中，所述第二曝光时段同时开始。

(结构9)

根据结构1至8中任一项所述的信号生成设备，

其中，所述第一子帧包括第三曝光时段和第四曝光时段，

其中，所述第一子帧包括所述第一曝光时段的开始定时与所述第二曝光时段的开始定时之间的第一时段差、所述第二曝光时段的开始定时与所述第三曝光时段的开始定时之间的第二时段差、以及所述第三曝光时段的开始定时与所述第四曝光时段的开始定时之间的第三时段差，以及

其中，所述第一时段差和所述第三时段差相同，以及所述第二时段差小于所述第一时段差。

(结构10)

根据结构1至8中任一项所述的信号生成设备，

其中，所述第一子帧包括第三曝光时段和第四曝光时段，

其中，所述第一时段差大于所述第二时段差，以及所述第二时段差大于所述第三时段差。

(结构11)

根据结构1至8中任一项所述的信号生成设备，

其中，所述第一子帧包括第三曝光时段和第四曝光时段，

其中，所述第三时段差小于所述第二时段差，以及所述第二时段差小于所述第一时段差。

(结构12)

根据结构1至11中任一项所述的信号生成设备，

其中，所述多个光电转换元件各自包括雪崩光电二极管和门电路，所述门电路被配置为控制是否输出所述雪崩光电二极管的信号，以及

其中，所述第一曝光时段和所述第二曝光时段是通过控制要供给到所述门电路的信号来设置的。

(结构13)

根据结构12所述的信号生成设备，

其中，所述门电路是与电路，以及

其中，来自所述雪崩光电二极管的信号和来自驱动线的信号被输入到所述与电路。

(结构14)

根据结构12或13所述的信号生成设备，其中所述多个光电转换元件各自包括计数器。

(结构15)

根据结构14所述的信号生成设备，其中，所述计数器是向上/向下计数器。

(结构16)

根据结构1至15中任一项所述的信号生成设备，

其中，对多次的第一曝光时段进行累计，以及对多次的第二曝光时段进行累计，以及

其中，所述第一曝光时段的累计次数与所述第二曝光时段的累计次数不同。

(结构17)

根据结构16所述的信号生成设备，其中，所述第二曝光时段的累计次数大于所述第一曝光时段的累计次数。

(结构18)

一种信号生成系统，包括：

发光设备，其包括发光元件；以及

根据结构1至17中任一项所述的信号生成设备，

其中，所述信号生成设备检测从所述发光设备发射并被对象物反射的光的反射光。

根据本公开，可以提供能够在不增加距离测量时间的情况下确保适当的距离分辨率的信号生成设备。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims

1.一种信号生成设备，包括：

多个光电转换元件，

其中，所述第一曝光时段的开始定时和所述第二曝光时段的开始定时不同，以及

其中，从所述发光元件发光起直到所述第二曝光时段开始的时段比从所述发光元件发光起直到所述第一曝光时段结束的时段短。

2.根据权利要求1所述的信号生成设备，

其中，所述多个子帧是由第一生成单元生成的，以及

其中，所述距离测量帧是由第二生成单元生成的。

3.根据权利要求1所述的信号生成设备，

4.根据权利要求1所述的信号生成设备，其中，在所述第一子帧中，所述第一曝光时段和所述第二曝光时段各自重复多次。

5.根据权利要求4所述的信号生成设备，其中，对累计信号量进行计数，所述累计信号量是通过对通过重复多次所述第一曝光时段所获得的光量值和通过重复多次所述第二曝光时段所获得的光量值进行累计而获得的。

6.根据权利要求1所述的信号生成设备，其中，所述第一子帧中的从所述发光元件发光起直到所述曝光时段的结束定时的时段比所述第二子帧中的从所述发光元件发光起直到所述曝光时段的开始定时的时段长。

7.根据权利要求6所述的信号生成设备，其中，在所述多个光电转换元件中的至少两个或多于两个光电转换元件中，所述第二曝光时段同时开始。

8.根据权利要求1所述的信号生成设备，

其中，所述第一子帧包括第三曝光时段和第四曝光时段，

9.根据权利要求1所述的信号生成设备，

其中，所述第一子帧包括第三曝光时段和第四曝光时段，

10.根据权利要求1所述的信号生成设备，

其中，所述第一子帧包括第三曝光时段和第四曝光时段，

其中，所述第一时段差大于所述第二时段差，以及所述第二时段差小于所述第三时段差。

11.根据权利要求1所述的信号生成设备，

12.根据权利要求11所述的信号生成设备，

其中，所述门电路是与电路，以及

13.根据权利要求11所述的信号生成设备，其中，所述多个光电转换元件各自包括计数器。

14.根据权利要求13所述的信号生成设备，其中，所述计数器是向上/向下计数器。

15.根据权利要求1所述的信号生成设备，

16.根据权利要求15所述的信号生成设备，其中，所述第二曝光时段的累计次数大于所述第一曝光时段的累计次数。

17.一种信号生成设备，包括：

多个光电转换元件，

其中，所述第一曝光时段的开始定时和所述第二曝光时段的开始定时不同，

18.根据权利要求17所述的信号生成设备，

19.根据权利要求17所述的信号生成设备，其中，所述第一子帧中的从所述发光元件发光起直到所述曝光时段的结束定时的时段比所述第二子帧中的从所述发光元件发光起直到所述曝光时段的开始定时的时段长。

20.根据权利要求19所述的信号生成设备，其中，在所述多个光电转换元件中的至少两个或多于两个光电转换元件中，所述第二曝光时段同时开始。

21.根据权利要求17所述的信号生成设备，

其中，所述门电路是与电路，以及

22.根据权利要求17所述的信号生成设备，其中，所述多个光电转换元件各自包括计数器。

23.根据权利要求17所述的信号生成设备，

24.根据权利要求23所述的信号生成设备，其中，所述第二曝光时段的累计次数大于所述第一曝光时段的累计次数。

25.一种信号生成系统，包括：

发光设备，其包括发光元件；以及

根据权利要求1至24中任一项所述的信号生成设备，