CN117813530A

CN117813530A - 基于传感器控制LiDAR分辨率配置

Info

Publication number: CN117813530A
Application number: CN202280054574.XA
Authority: CN
Inventors: Q·鲁
Original assignee: Atieva Inc
Current assignee: Atieva Inc
Priority date: 2021-08-04
Filing date: 2022-08-03
Publication date: 2024-04-02
Also published as: EP4381324A1; WO2023015214A1; JP2024530860A; US12025747B2; US20230044279A1

Abstract

一种计算机实现的方法包括：使用车辆的第一传感器生成第一输出，第一传感器包括红外相机或基于事件的传感器，第一输出指示车辆的周围环境的一部分；将第一输出提供给车辆的具有视场(FOV)的LiDAR；至少部分地基于第一输出来配置LiDAR的分辨率；使用LiDAR生成车辆的周围环境的至少一部分的表示；向车辆的感知组件提供车辆的第二传感器的第二输出和LiDAR的第三输出，感知组件被配置为关于第二输出和第三输出执行物体检测、传感器融合和物体跟踪，其中第一输出绕过感知组件的至少一部分；以及使用感知组件的第四输出执行车辆的运动控制。

Description

基于传感器控制LiDAR分辨率配置

相关申请的交叉引用

本申请要求于2021年8月4日提交的题为“SENSOR-BASED CONTROL OF LIDARRESOLUTION CONFIGURATION”的美国专利申请No.17/444,424的优先权，其公开内容通过引用整体并入本文。

技术领域

本文档涉及基于传感器控制LiDAR分辨率配置。

背景技术

当今所制造的一些车辆配备有一种或多种类型的系统，其可以至少部分地处理与车辆的驾驶相关的操作。一些这样的辅助涉及自动地勘测车辆的周围环境并且能够关于检测到的车辆、行人或物体采取行动。当在行驶期间执行监视时，来自系统的更快响应时间通常是优选的，因为它可以增加在检测之后可用于采取补救行动的时间量。

发明内容

在第一方面，一种计算机实现的方法包括：使用车辆的第一传感器生成第一输出，第一传感器包括红外相机或基于事件的传感器中的至少一种，第一输出指示车辆的周围环境的一部分；将第一输出提供给所述车辆的LiDAR(激光雷达)，所述LiDAR具有视场(FOV)；至少部分地基于第一输出来配置LiDAR的分辨率；使用LiDAR生成车辆的周围环境的至少一部分的表示；向车辆的感知组件提供车辆的第二传感器的第二输出和LiDAR的第三输出，感知组件被配置为关于第二输出和第三输出执行物体检测、传感器融合和物体跟踪，其中第一输出绕过感知组件的至少一部分；以及使用感知组件的第四输出执行车辆的运动控制。

实施方式可以包括以下特征中的任何一个或全部。LiDAR被配置为使用FOV内的较高分辨率分区(HRR)操作，LiDAR在HRR内具有比FOV中的其他地方更高的分辨率，并且其中配置LiDAR的分辨率包括使用LiDAR基于第一输出定义FOV内的HRR的定位，其中表示包括FOV中的HRR。基于第一输出定义HRR的定位包括将HRR定位在周围环境的至少一部分的表示中的周围环境的一部分的位置处。第一输出包括周围环境的一部分的坐标，并且其中使用该坐标来定位HRR。配置LiDAR的分辨率包括调整LiDAR在HRR处的扫描速率。配置LiDAR的分辨率包括调整LiDAR在HRR处的激光脉冲频率。LiDAR是具有多个视场的闪光LiDAR，其中FOV是多个视场的第一FOV，并且其中配置闪光LiDAR的分辨率包括使第一FOV朝向周围环境的一部分转向。第一传感器是红外相机，并且其中第一输出指示周围环境的一部分具有与周围环境的另一部分不同的温度。红外相机基于周围环境的一部分具有比周围环境的另一部分更高的温度来选择要由第一输出指示的周围环境的该部分。第一输出仅包括识别周围环境的一部分的信息，而不识别周围环境的另一部分。第一传感器是基于事件的传感器，并且其中第一输出指示周围环境的一部分的像素变化与周围环境的另一部分的像素变化不同。基于事件的传感器基于周围环境的一部分具有比周围环境的另一部分更大的像素变化来选择要由第一输出指示的周围环境的该部分。第一输出仅包括识别周围环境的一部分的信息，而不识别周围环境的另一部分。第二传感器是红外相机或基于事件的传感器中的至少一个。第二传感器不是红外相机或基于事件的传感器中的任何一个。生成第一输出还包括使用感知组件执行变换。

在第二方面，一种系统包括：第一传感器，用于生成第一输出，第一传感器包括红外相机或基于事件的传感器中的至少一个，第一输出指示系统的周围环境的一部分；以及具有视场(FOV)的LiDAR，其中，LiDAR接收由第一传感器生成的第一输出，并且至少部分地基于第一输出来配置LiDAR的分辨率。

实施方式可以包括以下特征中的任何一个或全部。LiDAR生成周围环境的至少一部分的表示。LiDAR被配置为使用FOV内的较高分辨率分区(HRR)进行操作，LiDAR在HRR内具有比FOV中的其他地方更高的分辨率，并且其中LiDAR基于第一输出定义FOV内的HRR的定位，并且其中表示包括FOV中的HRR。LiDAR调整LiDAR在HRR处的扫描速率。LiDAR在HRR处调整LiDAR的激光脉冲频率。LiDAR是具有多个视场的闪光LiDAR，其中HRR对应于多个视场的第一FOV，并且其中LiDAR通过使HRR朝向周围环境的一部分转向来配置分辨率。第一输出包括周围环境的一部分的坐标，并且其中LiDAR使用该坐标定位HRR。第一传感器是红外相机，并且其中第一输出指示周围环境的一部分具有与周围环境的另一部分不同的温度。红外相机基于周围环境的一部分具有比周围环境的另一部分更高的温度来选择要由第一输出指示的周围环境的该部分。第一输出仅包括识别周围环境的一部分的信息，而不识别周围环境的另一部分。第一传感器是基于事件的传感器，并且其中第一输出指示周围环境的一部分的与周围环境的另一部分不同的运动。基于事件的传感器基于周围环境的一部分具有比周围环境的另一部分更大的运动来选择要由第一输出指示的周围环境的该部分。第一输出仅包括识别周围环境的一部分的信息，而不识别周围环境的另一部分。该系统还包括：感知组件，用于接收系统的第二传感器的第二输出和LiDAR的第三输出，感知组件用于关于第二输出和第三输出执行物体检测、传感器融合和物体跟踪，其中第一输出绕过感知组件的至少一部分。第二传感器不是红外相机或基于事件的传感器中的任何一个。感知组件部分地包括变换组件，并且其中第一输出在由LiDAR接收之前使用变换组件进行变换。第一传感器和LiDAR位于系统的共同壳体内。

附图说明

图1示出了系统的示例。

图2示出了车辆周围环境的表示的示例。

图3A示出了包括扫描LiDAR、红外相机和基于事件的传感器的系统的示例。

图3B示出了包括闪光LiDAR、红外相机和基于事件的传感器的系统的示例。

图3C示出了闪光LiDAR的另一示例。

图4示出了红外相机的示例。

图5示出了基于事件的传感器的示例。

图6示出了扫描LiDAR的另一示例。

图7示出了方法的示例。

图8示出了车辆的示例。

图9示出了可以用于实现本公开的各方面的计算设备的示例架构。

各附图中相同的附图标记表示相同的元件。

具体实施方式

本文档描述了用于执行基于传感器控制LiDAR分辨率配置的系统和技术的示例。例如，可以控制LiDAR在一个或多个区域中的分辨率。在一些实施方式中，基于硬件和软件的感知组件执行关于来自LiDAR和/或其他传感器的输入信号的物体检测、传感器融合和物体跟踪。LiDAR可以被配置为使用其视场内的较高分辨率分区进行操作。红外相机和/或基于事件的传感器可以用于提示LiDAR通过相对于视场定位较高分辨率分区来配置其分辨率。在这方面，该方法可以比使用感知组件来控制LiDAR明显更快。因此，来自红外相机和/或基于事件的传感器的输出可以绕过感知组件。

本文的示例涉及车辆。车辆是运输乘客或货物或两者的机器。车辆可以具有使用至少一种类型的燃料或其他能源(例如，电力)的一个或多个马达。车辆的示例包括但不限于汽车、卡车和公共汽车。车轮的数量可以在车辆类型之间不同，并且一个或多个(例如，所有)车轮可以用于推进车辆。车辆可以包括容纳一个或多个人的乘客舱。至少一个车辆乘员可以被认为是驾驶员；然后可以向驾驶员提供各种工具、实施件或其他设备。在本文的示例中，由车辆携带的任何人都可以被称为车辆的“驾驶员”或“乘客”，而不管该人是否正在驾驶该车辆，或者该人是否有权访问用于驾驶该车辆的控件，或者该人是否缺乏用于驾驶该车辆的控件。仅出于说明性目的，本示例中的车辆被示出为彼此相似或相同。

本文中的示例涉及辅助驾驶。在一些实施方式中，辅助驾驶可以由辅助驾驶(AD)系统执行，包括但不限于自动驾驶系统。例如，AD系统可以包括高级驾驶辅助系统(ADAS)。辅助驾驶涉及至少部分地使一个或多个动态驾驶任务自动化。ADAS可以进行辅助驾驶，是辅助驾驶系统的一个例子。辅助驾驶部分地基于通常定位于车辆上、车辆下方或车辆内的一个或多个传感器的输出来执行。AD系统可以在控制车辆的运动之前和/或同时规划车辆的一个或多个轨迹。规划轨迹可以定义车辆行驶的路径。这样，根据规划轨迹推进车辆可以对应于控制车辆的操作行为的一个或多个方面，诸如但不限于车辆的转向角、档位(例如，前进或后退)、速度、加速度和/或制动。

虽然自主车辆是执行辅助驾驶的系统的示例，但是并非每个辅助驾驶系统都被设计为提供完全自主的车辆。SAE国际已经定义了驾驶自动化的几个级别，通常分别称为级别0、1、2、3、4和5。例如，0级系统或驾驶模式可能不涉及由系统持续车辆控制。例如，1级系统或驾驶模式可以包括自适应巡航控制、紧急制动辅助、自动紧急制动辅助、车道保持和/或车道居中。例如，2级系统或驾驶模式可以包括高速公路辅助、自主避障和/或自主停车。例如，3级或4级系统或驾驶模式可以包括辅助驾驶系统对车辆的逐渐增加的控制。例如，5级系统或驾驶模式可能不需要人为干预辅助驾驶系统。

本文中的示例涉及传感器。传感器被配置为检测其环境的一个或多个方面并输出反映该检测的信号。检测到的方面在检测时可以是静态的或动态的。仅作为说明性示例，传感器可以指示传感器与物体之间的距离、携载传感器的车辆的速度、车辆的轨迹或车辆的加速度中的一个或多个。传感器可以生成输出而不用任何东西探测周围环境(被动感测，例如，像捕获电磁辐射的图像传感器)，或者传感器可以探测周围环境(主动感测，例如，通过发出电磁辐射和/或声波)并检测对探测的响应。可以与一个或多个实施例一起使用的传感器的示例包括但不限于：光传感器(例如，相机)；基于光的感测系统(例如，LiDAR)；基于无线电的传感器(例如，雷达)；声学传感器(例如，超声设备和/或麦克风)；惯性测量单元(例如，陀螺仪和/或加速度计)；速度传感器(例如，用于车辆或其组件)；位置传感器(例如，用于车辆或其组件)；定向传感器(例如，用于车辆或其组件)；惯性测量单元；扭矩传感器；温度传感器(例如，初级或次级温度计)；压力传感器(例如，用于环境空气或车辆的部件)；湿度传感器(例如，雨检测器)；或座椅占用传感器。

本文的示例涉及LiDAR。如本文所使用的，LiDAR包括至少部分地基于光的任何物体检测系统，其中系统在一个或多个方向上发射光。光可以由激光器和/或发光二极管(LED)生成，仅举两个示例。LiDAR可以在不同方向上发射光脉冲(例如，以不同的极角和/或不同的方位角为特征)，以便勘测周围环境。例如，一个或多个激光束可以照射在可定向反射器上以瞄准激光脉冲。在一些实施方式中，LiDAR可以包括调频连续波(FMCW)LiDAR。例如，FMCW LiDAR可以使用具有调制(例如，扫频或“啁啾”)频率的非脉冲扫描光束，其中确定发射信号与检测信号之间的拍频。LiDAR可以通过合适的传感器检测返回信号以生成输出。如本文所使用的，LiDAR的视场内的较高分辨率分区包括发生比视场的另一区域中更高分辨率的任何分区。仅举一些示例，LiDAR可以是扫描LiDAR或非扫描LiDAR(例如，闪光LiDAR)。扫描LiDAR可以基于机械扫描(例如，如本文图3A中所例示的)或非机械扫描来操作。仅举几个示例，非机械扫描LiDAR可以使用光学相控阵列或具有小于光的波长的结构的可调谐超表面(例如，包括液晶)来操作。

本文中的示例涉及红外相机。如本文所使用的，红外相机包括检测至少在红外辐射范围内的电磁辐射的任何图像传感器。例如，红外相机可以至少在约700-14000纳米的波长范围内记录图像。例如，红外相机的输出可以是根据接收到的辐射的波长对像素元素进行编码的图像。在一些实施方式中，红外相机可以在生成输出之前应用一个或多个阈值，包括但不限于仅在检测到低于特定极限的波长(例如，其可以表示人、动物或车辆，其可以具有比其他环境更高的温度)时才生成输出。例如，红外相机的输出可以是红外相机检测到的辐射满足阈值的坐标(例如，x、y坐标)。

本文的示例涉及基于事件的传感器。如本文所使用的，基于事件的传感器包括至少记录亮度随时间的局部变化的任何图像传感器。基于事件的传感器可以输出与光强度变化的检测(例如，通过像素)相对应的事件(例如，连续的事件流)。在一些实施方式中，基于事件的传感器可以在生成输出之前应用一个或多个阈值，包括但不限于仅在检测到足够大的亮度变化(例如，其可以表示人、动物或车辆在运动中)时才生成输出。例如，基于事件的传感器的输出可以是基于事件的传感器检测到的辐射满足阈值的坐标(例如，x、y坐标)。

图1示出了系统100的示例。系统100可以与本文其他地方描述的一个或多个其他示例一起使用。系统100可以使用下面参考图9描述的一些或所有组件来实现。

系统100部分地包括红外相机102、基于事件的传感器104、至少一个传感器106和LiDAR 108。下面描述的示例示出了配置LiDAR 108的分辨率的方式。可以使用比所示更多或更少的组件。

系统100包括感知组件110，感知组件110接收传感器数据并执行物体检测和跟踪以帮助系统100规划如何控制自我车辆的行为。在下面描述的系统100的第一实施方式中，当控制LiDAR 108的分辨率配置时，可以完全绕过感知组件110。在这种情况下，LiDAR 108可以在不使用感知组件110的任何方面的情况下配置其分辨率。稍后将描述系统100的第二实施方式，其中可以部分地绕过感知组件110。

以下涉及系统100的第一和第二实施方式。感知组件110包括组件112。例如，组件112可以被配置为执行物体的检测(例如，以将物体与路面或其他背景区分开)。作为另一示例，组件112可以被配置为执行物体的分类(例如，物体是车辆还是人)。作为另一示例，组件112可以被配置为执行分割(例如，将原始检测点关联到相干组合件中以反映物体的形状和姿态)。

感知组件110可以包括定位组件114。在一些实现中，定位组件114用于基本上实时地估计自我车辆的定位。例如，定位组件114可以使用一个或多个传感器输出，包括但不限于全球定位系统和/或全球导航卫星系统。

感知组件110可以包括传感器融合组件116。传感器融合组件116可以融合来自两个或更多个传感器的输出，以便于促进感知组件110的操作。在一些实施方式中，这样的输出中的一个或多个可以由红外相机102、基于事件的传感器104、传感器106和/或LiDAR 108生成。例如，这可以促进感知组件110可以考虑来自LiDAR 108的指示物体(诸如(例如，在图2中)车辆206、自行车208和/或行人210)可能干扰自我车辆的预期运动轨迹的输出，以及指示到物体的距离的其他传感器输出(例如，来自雷达或超声波传感器)。

感知组件110可以包括跟踪组件118。在一些具体实施中，跟踪组件118可以跟踪自我车辆周围的物体，以用于规划车辆运动的目的。例如，可以在由感知组件110处理的传感器数据的连续实例中跟踪车辆206、自行车208和/或行人210中的一个或多个。

以下描述涉及系统100的第一实施方式，其中当控制LiDAR 108的分辨率配置时可以完全绕过感知组件110。红外相机102可以为LiDAR 108生成输出120。基于事件的传感器104可以为LiDAR 108生成输出122。输出120和/或122绕过感知组件110。如果并且在某种程度上需要处理(例如，通过坐标变换)输出120和/或122，则这可以由LiDAR 108或由单独的组件(未示出)执行。在一些实施方式中，接收输出120和/或122可以允许LiDAR 108更快速地改变其在生成表示200(图2)时应用的分辨率。也就是说，在第一实施方式中，LiDAR 108在不使用感知组件110的任何方面的情况下控制其分辨率配置。简要参考图2，输出120和/或122可以允许LiDAR 108应用帧216、220和/或224，而不必通过感知组件110处理信息。例如，LiDAR 108可以更快地增加检测到的物体(例如，车辆206、自行车208和/或行人210)处的分辨率，因为控制操作不通过感知组件110。

系统100包括运动规划组件124。运动规划组件124可响应于对自我车辆的周围环境的监测和/或驾驶员的输入，开规划系统100以执行一个或多个动作或不执行任何动作。可以考虑由感知组件110处理的一个或多个传感器的输出。运动规划组件124包括预测组件126。例如，预测组件126使用感知组件110的输出(例如，被跟踪物体)来预测或估计被跟踪物体的可能的未来运动，以及这如何与自我车辆的当前的或规划的运动相关。运动规划组件124包括轨迹构建组件128。例如，轨迹构建组件128获取由预测组件126生成的预测，可选地与来自感知组件110的关于被跟踪物体的信息一起，并为自我车辆准备轨迹路径。

系统100包括车辆致动组件130。车辆致动组件130可以根据由轨迹构建组件128生成的路径来控制自我车辆的一个或多个方面。例如，可以控制自我车辆的转向、档位选择、加速和/或制动。

也就是说，在系统100的第一实施方式中，LiDAR 108可以基于红外相机102和/或基于事件的传感器104来控制其分辨率配置，而不调用感知组件110。相反，感知组件110然后可以由系统100用于处理LiDAR 108的LiDAR输出，作为车辆的运动规划和控制的基础。

以下描述涉及系统100的第二实施方式，其中感知组件110可以被部分地绕过，以便控制LiDAR 108的分辨率配置。在部分绕过感知组件110的这种场景中，系统100可以使用感知组件110进行相对简单和快速的操作，其用作LiDAR 108控制其分辨率配置的基础。在一些实施方式中，感知组件110包括变换组件132。例如，变换组件132可以被实现为在计算硬件上运行的相对简单的程序。

变换组件132可以接收来自红外相机102的传感器输出和/或来自基于事件的传感器104的传感器输出，并且可以执行传感器输出的坐标变换(例如，通过映射)，使得它们可以由LiDAR 108使用。因此，变换组件132可以生成输出134以供LiDAR 108接收。在不调用感知堆栈的其他方面的情况下生成输出134。例如，生成输出134不涉及使用组件112、定位组件114、传感器融合组件116或跟踪组件118。使用变换组件132来生成输出134，并绕过感知组件110的其余部分，可以被认为是允许LiDAR 108快速配置其分辨率的快速跟踪方法。

LiDAR 108可以使用输出134来配置其分辨率(例如，以调整其视场内的一个或多个较高分辨率分区)。在LiDAR 108配置其分辨率并生成LiDAR输出之后，系统100可以使用感知组件110的其余部分来处理LiDAR输出。例如，感知组件110的该剩余部分可以如上面关于系统100的第一实施方式所描述的那样操作。

在完全绕过感知组件110(例如，上述系统100的第一实施方式)的实现中，变换组件132可以用于感知处理，或者可以省略。

图2示出了车辆周围环境的表示200的示例。该表示200可以与本文其他地方描述的一个或多个其他示例一起使用。在一些实施方式中，该表示200可以在AD系统中(例如，通过LiDAR)生成，作为辅助车辆驾驶的一部分。具有AD系统的车辆在这里在表示200中不可见，并且将被称为“自我车辆”。

表示200指示自我车辆的周围环境的至少一部分。例如，周围环境的一部分可以在任何给定时刻处于LiDAR的视场中。这里的这种周围环境包括但不限于在具有交通信号灯和至少一个人行横道的交叉路口相遇的街道202和204。已经检测到的周围环境的各方面可以包括在表示200中。这里，车辆206被示出为示意性地指示AD系统已经检测到另一车辆。例如，车辆206可以位于街道202上的自我车辆前方。这里，自行车208被示出为示意性地指示AD系统已经检测到自行车。例如，自行车208可以定位于街道204上并且朝向交叉路口行进。这里，行人210被示出为示意性地指示AD系统已经检测到人。例如，行人210可以定位于街道202和204的交叉路口附近。

LiDAR可以以一个或多个级别的图像分辨率操作。通常，在LiDAR的更高分辨率下，周围环境的相对更多细节被包括在表示200中。相反，在LiDAR的较低分辨率下，表示200中包括相对较少的周围环境细节。LiDAR可以通过发射光脉冲(例如，一定波长范围内的激光脉冲)并检测来自它们的反射来操作。LiDAR和/或AD系统的标准或默认操作模式可以是使用第一分辨率水平。网格212在此示意性地示出为被应用在帧214(例如，LiDAR的视场)内，并且涉及在生成表示200时使用第一分辨率水平。网格212在整个帧214中延伸，但是为了清楚起见仅在帧214的一部分中示出。帧214包括在该示例中表示200的可见的各部分。

可以在表示200的一个或多个方面中应用不同的分辨率。这里，帧216应用于车辆206。网格218在此示意性地示出为应用在帧216内，并且涉及在生成表示200时对车辆206使用第二分辨率水平。网格218在整个帧216中延伸，但是为了清楚起见，仅在帧216的一部分中示出。例如，第二分辨率可以大于第一分辨率。

这里，将帧220应用于自行车208。网格222在此示意性地示出为应用在帧220内，并且涉及在生成表示200时对自行车208使用第三分辨率水平。网格222在整个帧220延伸，但是为了清楚起见仅在帧220的一部分中示出。在一些实施方式中，第三分辨率可以大于第一分辨率。例如，第二分辨率和第三分辨率可以基本上彼此相等。

这里，帧224应用于行人210。网格226在此示意性地示出为应用在帧224内，并且涉及在生成表示200时对行人210使用第四分辨率水平。网格226在整个帧224中延伸，但是为了清楚起见，仅在帧224的一部分中示出。在一些实施方式中，第四分辨率可以大于第一分辨率。例如，第二分辨率、第三分辨率和第四分辨率可以基本上彼此相等。

图3A示出了包括扫描LiDAR 302、红外相机304和基于事件的传感器306的系统300的示例。系统300可以与本文其他地方描述的一个或多个其他示例一起使用。可以使用下面参考图9描述的一些或所有组件来实现系统300。

扫描LiDAR 302可以被实现为一起操作的一个或多个物理设备。这里，扫描LiDAR302基本上包括在壳体308内。壳体308可以在至少一些区域中对一种或多种类型的电磁辐射是透明的。例如，壳体308可以包括跨壳体308的周边的至少一部分延伸的窗口310。壳体308可以是用于系统300的至少两个组件的共同壳体。例如，红外相机304或基于事件的传感器306中的一个或多个和扫描LiDAR302可以位于壳体308内。

这里，壳体308中的切口312用于示出扫描LiDAR 302的内部的一部分。扫描LiDAR302包括壳体308内的反射器314。反射器314可以包括基本上至少反射扫描LiDAR 302所使用的电磁辐射类型的一种或多种材料(例如，具有反射涂层的透明玻璃)。反射器314可以在一个或多个方向上移动。在一些实施方式中，反射器314可以旋转，以便在不同的基本上水平的方向上定向。例如，反射器314可以安装在垂直轴316上，垂直轴316可以在任一方向或两个方向上旋转。反射器314的定向可以由一个或多个马达或其他致动器(未示出)控制。

扫描LiDAR 302的操作可以涉及光318和光320，光318在此示意性地示出为基本上垂直定向的虚线，一端在反射器314处，光320在此示意性地示出为基本上水平定向的虚线，一端在反射器314处。光318-320可以示出由扫描LiDAR 302发射光(例如，激光脉冲)，或者由扫描LiDAR302接收反射光(例如，来自激光脉冲)，或者两者。例如，扫描LiDAR 302的光源(未示出)可以生成激光光束，该激光光束作为光318传播到反射器314，并且在那里被反射为光320并继续远离扫描LiDAR 302行进。作为另一示例，光可以作为光320朝向反射器314行进，并且被反射为光318并继续朝向扫描LiDAR302的图像传感器(未示出)行进。可以使用其他方法。

如上所述，反射器314可以用于改变光320在出射方向上的定向。可以以多种方式中的任何一种来定义该定向。在一些实施方式中，光320可以在任何时间通过光320相对于参考方向324形成的角度322来表征，该参考方向324可以被选择为在任意方向上。例如，当使得反射器314旋转时，角度322(例如，方位角)可以相对于参考方向324连续变化。在一些实施方式中，在出射方向上的光320可以在任何时间通过相对于任意水平或平面的高程326来表征。例如，可以生成具有不同高程326值的激光脉冲，以便提供在多于一个维度上的扫描。

红外相机304可以生成可以由扫描LiDAR 302考虑的一个或多个输出。输出可以通过红外相机304与扫描LiDAR 302之间的连接328来提供。连接328可以是有线连接或无线连接。

再次参考图2，红外相机304可以检测自我车辆的周围环境的任何部分是否具有与周围环境的任何其他部分不同的温度。在一些实施方式中，红外相机304可以基于周围环境的一部分具有比周围环境的其他部分更高的温度来选择要由其输出指示的周围环境的该部分。例如，红外相机304可以基于从车辆206接收到指示比其附近温度更高的电磁辐射(例如，基于传动系和/或排气部件)来检测车辆206。作为另一个示例，红外相机304可以基于接收到指示比其附近温度更高的电磁辐射(例如，基于骑车人的体温)来检测自行车208。作为另一示例，红外相机304可以基于从他或她接收到指示比附近温度更高的电磁辐射来检测行人210。这样，红外相机304可以检测这些和/或其他特征，并且可以向扫描LiDAR 302进行指示这种特征的存在和位置的输出。红外相机304可以在进行检测时使用至少一个热传感器330。

基于事件的传感器306可以生成可以由扫描LiDAR 302考虑的一个或多个输出。输出可以通过基于事件的传感器306与扫描LiDAR 302之间的连接332来提供。连接332可以是有线连接或无线连接。再次参考图2，基于事件的传感器306可检测自我车辆的周围环境的任何部分是否具有与周围环境的任何其他部分不同的像素变化。在一些实施方式中，基于事件的传感器306可以基于周围环境的一部分具有比周围环境的其他部分更大的像素变化来选择要由其输出指示的周围环境的该部分。例如，基于事件的传感器306可以基于检测到所捕获的图像中的像素的亮度变化来检测车辆206，这种亮度变化指示车辆206正在相对于街道202和/或204移动。作为另一示例，基于事件的传感器306可以基于检测到指示自行车208正在相对于街道202和/或204移动的亮度变化来检测自行车208。作为另一示例，基于事件的传感器306可以基于检测到指示行人210正在相对于街道202和/或204移动的亮度变化来检测行人210。这样，基于事件的传感器306可以检测这些和/或其他特征，并且可以向扫描LiDAR 302做出指示这种特征的存在和位置的输出。基于事件的传感器306可以使用至少一个相机334来进行检测。

扫描LiDAR 302可以接收由红外相机304和/或基于事件的传感器306生成的输出，并且可以将输出用于一个或多个目的。在一些实施方式中，扫描LiDAR 302可以基于该输出来控制其在生成表示200(图2)时的分辨率。例如，响应于接收到输出，可以在帧216、220和/或224内应用更高的分辨率。当扫描LiDAR 302在该区域中应用与自我车辆的周围环境的一些其他部分相比更大的分辨率时，帧216、220和224中的每一个可以被称为更高分辨率分区。在一些实施方式中，扫描LiDAR 302可以调整扫描速率以控制分辨率水平。例如，可以降低反射器314的旋转速度以促进每单位时间或每单位角度322产生更多激光脉冲。在一些实施方式中，扫描LiDAR 302可以调整激光脉冲频率以控制分辨率水平。例如，可以在至少一个特定方向上产生每单位时间更多的激光脉冲以增加分辨率。

系统300是包括用于生成第一输出(例如，在连接328或332处)的第一传感器的系统的示例，第一传感器包括红外相机(例如，红外相机304)或基于事件的传感器(例如，基于事件的传感器306)中的至少一个。第一输出指示系统的周围环境的一部分。在一些实施方式中，第一输出可以指示帧216、220和/或224中的任何一个或全部。该系统包括具有视场的LiDAR(例如，扫描LiDAR 302)。LiDAR接收由第一传感器生成的第一输出，并且至少部分地基于第一输出来控制视场。可以执行各传感器与LiDAR之间的适当标定以及坐标变换，以确保红外或事件相机的输出被正确地映射到LiDAR视场中。

系统300可以包括在自我车辆的AD系统中。AD系统可以被配置为执行一个或多个操作以辅助自我车辆的驾驶。在一些实施方式中，AD系统可以被配置用于执行自我车辆的运动控制。在这样做时，AD系统可以利用接收传感器数据并执行物体检测和跟踪的感知组件来帮助AD系统规划如何控制自我车辆的行为。例如，感知组件可以被配置为执行一个或多个物体(例如，车辆206、自行车208和/或行人210)的检测，执行两个或更多个传感器输出(例如，来自红外相机304和/或基于事件的传感器306和/或其他传感器)的融合，并且执行一个或多个物体的跟踪(例如，车辆206、自行车208和/或行人210随时间的移动)。这里，第一输出(例如，来自红外相机304和/或基于事件的传感器306)绕过感知组件。在一些实施方式中，这可以允许扫描LiDAR 302更快速地改变其在生成表示200(图2)时应用的分辨率。例如，扫描LiDAR 302可以更快地增加检测到的物体处的分辨率，因为控制操作不通过感知组件。

图3B示出包含闪光LiDAR 352、红外相机354和基于事件的传感器356的系统350的示例。系统350可以与本文其他地方描述的一个或多个其他示例一起使用。系统350可以使用下面参考图9描述的一些或所有组件来实现。

闪光LiDAR 352可以被实现为一起操作的一个或多个物理设备。此处，闪光LiDAR352包含至少一个光源358、光学器件360、至少一个图像传感器362、驱动器电子器件364和计算组件366。可以附加地或替代地使用其他组件。

在系统350的操作中，光源358(其包括例如激光器或发光二极管)生成闪光，光学器件360(例如，一个或多个透镜和/或任何其他光学基板)将该闪光朝向系统350的周围环境的至少一部分引导。图像传感器362(其包括例如电荷耦合器件或互补金属氧化物半导体传感器)检测已经被周围环境反射的发射光中的至少一些。驱动器电子器件364(其包括例如芯片或其他集成电路)控制和同步至少光源358和图像传感器362的操作。计算组件366(其包括例如执行指令的一个或多个处理器)执行计算以确定系统350的周围环境的一个或多个特性。

红外相机354可以生成可以由闪光LiDAR 352考虑的一个或多个输出。再次参考图2，红外相机354可以检测自我车辆的周围环境的任何部分是否具有与周围环境的任何其他部分不同的温度。在一些实施方式中，红外相机354可以基于周围环境的一部分具有比周围环境的其他部分更高的温度来选择要由其输出指示的周围环境的该部分。例如，红外相机354可以基于从车辆206接收到指示比其附近温度更高的电磁辐射(例如，基于传动系和/或排气部件)来检测车辆206。作为另一个示例，红外相机354可以基于接收到指示比其附近温度更高的电磁辐射(例如，基于骑车人的体温)来检测自行车208。作为另一示例，红外相机354可以基于从他或她接收到指示比附近温度更高的电磁辐射来检测行人210。这样，红外相机354可以检测这些和/或其他特征，并且可以向闪光LiDAR 352进行输出，指示这样的特征的存在和位置。红外相机354可以使用至少一个热传感器来进行检测。

基于事件的传感器356可以生成可以由闪光LiDAR 352考虑的一个或多个输出。再次参考图2，基于事件的传感器356可检测自我车辆的周围环境的任何部分是否具有与周围环境的任何其他部分不同的像素变化。在一些实施方式中，基于事件的传感器356可以基于周围环境的一部分具有比周围环境的其他部分更大的像素变化来选择要由其输出指示的周围环境的该部分。例如，基于事件的传感器356可以基于检测到所捕获的图像中的像素的亮度变化来检测车辆206，这种亮度变化指示车辆206正在相对于街道202和/或204移动。作为另一示例，基于事件的传感器356可以基于检测到指示自行车208正在相对于街道202和/或204移动的亮度变化来检测自行车208。作为另一示例，基于事件的传感器356可以基于检测到指示行人210正在相对于街道202和/或204移动的亮度变化来检测行人210。因此，基于事件的传感器356可以检测这些和/或其他特征，并且可以向闪光LiDAR 352做出指示这样的特征的存在和位置的输出。基于事件的传感器356可以使用至少一个相机来进行检测。

闪光LiDAR 352可以接收由红外相机354和/或基于事件的传感器356生成的输出，并且可以将输出用于一个或多个目的。闪光LiDAR 352可以基于输出来控制其在生成表示200(图2)时的分辨率。在一些实施方式中，响应于接收到输出，可以在帧216、220和/或224内应用更高的分辨率。当与自我车辆的周围环境的某个其他部分相比，闪光LiDAR 352在该区域中应用更大的分辨率时，帧216、220和224中的每一个可以被称为更高分辨率分区。例如，可以控制光源358和/或光学器件360，使得所生成的闪光在较高分辨率区域中具有比在另一分区中更集中的光线。

系统350的两个或更多个组件可以与共同壳体一起定位。例如，红外相机354或基于事件的传感器356中的一个或多个和闪光LiDAR 352可以位于共同壳体内。

系统350是包括用于生成第一输出的第一传感器的系统的示例，第一传感器包括红外相机(例如，红外相机354)或基于事件的传感器(例如，基于事件的传感器356)中的至少一个。第一输出指示系统的周围环境的一部分。在一些实施方式中，第一输出可以指示帧216、220和/或224中的任何一个或全部。该系统包括具有视场的LiDAR(例如，闪光LiDAR352)。LiDAR接收由第一传感器生成的第一输出，并且至少部分地基于第一输出来控制视场。

图3C示出了闪光LiDAR 370的另一示例。闪光LiDAR 370可以与本文其他地方描述的一个或多个其他示例一起使用。举例来说，闪光LiDAR 370可包括参考闪光LiDAR 352(图3B)描述的组件中的一些或全部。

这里以俯视图示意性地示出了闪光LiDAR 370。闪光LiDAR 370可以包括一个或多个发送器单元和一个或多个接收器单元。例如，发送器单元可以包括至少一个光源，并且接收器单元可以包括至少一个图像传感器。发送器单元和接收器单元可以彼此分离，或者可以实现为集成的发送器/接收器(Tx/Rx)单元。这里，闪光LiDAR 370包括Tx/Rx单元372A、372B和372C。Tx/Rx单元372A-372C可以包括相比彼此相同或不同的组件。例如，Tx/Rx单元372A-372C中的每一个可以至少包括光源和图像传感器。一些组件可以是Tx/Rx单元372A-372C中的两个或更多个所共有的。例如，LiDAR 370可以包括用于Tx/Rx单元372A-372C的驱动器电子器件和/或计算组件。

这里，Tx/Rx单元372A-372C彼此水平并排定位。可以使用其他布置。闪光LiDAR370的设计可以考虑视场与范围之间的折中。例如，相对宽(窄)的视场与相对较短(较长)的范围相关联。在一些实施方式中，Tx/Rx单元372A-372C中的一些或全部可以彼此不同地配置，以便促进对闪光LiDAR 370的视场和/或范围的更大选择。换句话说，Tx/Rx单元372A可以具有比Tx/Rx单元372B更低的分辨率；此外，Tx/Rx单元372B可以具有比Tx/Rx单元372C更低的分辨率。

因此，Tx/Rx单元372A-372C中的每一个覆盖视场和范围的不同组合。视场在此示意性地示出为等腰三角形，其底边相对于观看者垂直定向。例如，三角形的底边在此指示视场在水平方向上的相应宽度，并且三角形距其底边的高度在此指示距闪光LiDAR 370的相应范围。Tx/Rx单元372A在此具有视场374A，Tx/Rx单元372B在此具有视场374B，并且Tx/Rx单元372C在此具有视场374C。视场374A比视场374B宽并且具有比视场374B短的范围。视场374B比视场374C宽并且具有比视场374C短的范围。可以说闪光LiDAR 370具有基于视场374A-374C中的一些或全部的视场。

在一些实施方式中，闪光LiDAR 370可以包括单个Tx/Rx单元以提供Tx/Rx单元372A-372C(或其他组合)的功能。在这样的示例中，闪光LiDAR 370可以以时分复用方式顺序地切换通过与多个Tx/Rx单元的相应视场和范围相对应的配置。例如，闪光LiDAR 370然后可以使用是Tx/Rx单元372A-372C中的任何一个的速率的大约三倍的帧速率来操作。

在一些实施方案中，至少两个单元可用于闪光LiDAR 370。例如，一个单元可以对应于Tx/Rx单元372A-372B，并且另一个单元可以对应于Tx/Rx单元372C。

Tx/Rx单元372A-372C中的一个或多个可以在至少一个方向上移动。在一些实施方式中，具有比至少一个其他Tx/Rx单元相对更大的分辨率的Tx/Rx单元可以是可移动的。Tx/Rx单元可以是水平和/或垂直可移动的，仅举几个示例。在一些实施方式中，Tx/Rx单元可以围绕一个或多个旋转轴旋转。这里，闪光LiDAR 370包括旋转机构376。在一些实现中，旋转机构376被应用于至少Tx/Rx单元372C。旋转机构376可以被致动以使Tx/Rx单元372C绕垂直旋转轴旋转。例如，箭头378示意性地示出了对应于Tx/Rx单元372C的旋转的视场374C的旋转。旋转机构376可以包括一个或多个旋转致动器。例如，旋转机构376可以包括可以安装Tx/Rx单元372C的至少一个轴，以及被配置为使轴相对于闪光LiDAR 370旋转的至少一个致动器(例如，电动马达)。

Tx/Rx单元372A-372C中的至少一个的移动可以基于一个或多个输入。在一些实施方案中，Tx/Rx单元372C可由旋转机构376旋转以配置闪光LiDAR 370的分辨率。例如，分辨率配置可以基于来自红外相机和/或基于事件的系统的信号来转向至少一个较高分辨率分区(例如，对应于视场374C)。

在闪光LiDAR 370包括单个Tx/Rx单元以提供Tx/Rx单元372A-372C(或其他组合)的功能的示例中，闪光LiDAR 370可以定位在提供定向调整的可移动安装件处。在一些实施方案中，闪光LiDAR 370可定位在旋转机构376上。例如，对于涉及相对长的范围和窄的视场的实例，这可以促进适当的定向。

图4示出了红外相机400的示例。红外相机400可以与本文其他地方描述的一个或多个其他示例一起使用。红外相机400可以使用下面参考图9描述的一些或所有组件来实现。

红外相机400包括透镜402、热传感器404和处理电子器件406。可以附加地或代替所示的组件使用其他组件(未示出)。透镜402可以包括在被设计成便于红外相机400接收至少红外波长范围内的电磁辐射的任何光学组件中。透镜402在要捕获和检测的波长范围内是至少部分透射的。

热传感器404包括被配置为检测由物体生成的红外辐射的组件。在一些实现中，热传感器404包括热电传感器。例如，可以使用热电材料的多个传感器元件，并且它们的输出信号的差异可以反映被检测的红外辐射。

处理电子器件406可以接收来自热传感器404的输出并执行处理以促进生成合适的输出。在一些具体实施中，处理电子器件406可寻求确定自我车辆的周围环境的一部分是否具有与周围环境的另一部分不同的温度(例如，更高的温度)。例如，处理电子器件406可以应用阈值，使得输出识别处于或高于最低温度的物体。处理电子器件406可以将来自热传感器404的输出转换成适合于LiDAR的格式。例如，可以通过相对于LiDAR的视场的坐标来指示已经被热检测的物体的位置。

简而言之，红外相机400可以接收电磁辐射408(例如，来自图2中的自我车辆的周围环境)。处理电子器件406可以基于辐射确定应当向LiDAR识别出车辆206、自行车208和/或行人210。因此，处理电子器件406生成指示车辆206、自行车208和/或行人210中的至少一个具有与其他周围环境不同的温度的输出410。

图5示出了基于事件的传感器500的示例。基于事件的传感器500可以与本文其他地方所描述的一个或多个其他示例一起使用。基于事件的传感器500可以使用下面参考图9描述的一些或所有组件来实现。

基于事件的传感器500包括透镜502、图像传感器504、变化检测器506和事件发生器508。可以附加地或代替所示的组件而使用其他组件(未示出)。透镜502可以包括在任何光学组件中，该光学部件被设计成便于基于事件的传感器500接收至少在可见光的波长范围内的电磁辐射。透镜502在要被捕获和检测的波长范围内是至少部分透射的。

图像传感器504包括被配置为检测周围环境中的物体的图像的组件。可以使用促进检测亮度变化的任何图像传感器技术。图像传感器504可以基于电荷耦合设备或互补金属氧化物半导体，仅举两个示例。

变化检测器506可以分析来自图像传感器504的信号并检测帧之间的逐像素差异。这样的差异可以指示视场内的物体相对于基于事件的传感器500移动。例如，如果车辆206、自行车208和/或行人210中的一个或多个在运动中，则变化检测器506可以检测由图像传感器504捕获的图像的像素变化。基于事件的传感器500(例如，在自我车辆中实现)可以在捕获各帧的时间期间移动。图像传感器504的这种运动具有使得帧改变的效果。基于事件的传感器500的时间分辨率可以足够高(例如，在大约1μs的数量级)。因此，自我运动通常可忽略不计。如果不可忽略，则可以使用运动补偿算法。

事件发生器508可以接收来自变化检测器506的输出并执行处理以促进检测自我车辆周围环境中的一个或多个事件。在一些实施方式中，事件生成器508可寻求确定自我车辆的周围环境的一部分是否经历与周围环境的另一部分不同的像素变化(例如，更大的运动量)。例如，事件生成器508可以应用阈值，使得输出识别出经历至少最小量的运动的物体。事件生成器508可以以适合于LiDAR的格式生成输出。例如，可以通过相对于LiDAR的视场的坐标来指示已经通过基于亮度的事件检测而注意到的物体的位置。

简而言之，基于事件的传感器500可接收电磁辐射510(例如，来自图2中的自我车辆的周围环境)。变化检测器506和事件发生器508可以基于辐射来确定应当向LiDAR识别出车辆206、自行车208和/或行人210。因此，事件生成器508生成指示车辆206、自行车208和/或行人210中的至少一个经历与其他周围环境不同的像素变化的输出512。

在一些实施方式中，红外相机400和/或基于事件的传感器500可以输出关于周围环境的坐标，其可以由LiDAR直接使用(例如，无需变换)。例如，红外相机400和/或基于事件的传感器500输出指示在LiDAR已知的参考系中在何处增加分辨率的坐标。然后，LiDAR可以将较高分辨率分区瞄准由这些坐标指示的方向。在一些实施方式中，红外相机400和/或基于事件的传感器500可以输出关于LiDAR在执行变换之后可以使用的周围环境的坐标。例如，红外相机400和/或基于事件的传感器500输出与LiDAR使用的参考系不同的参考系中的坐标，并且LiDAR可以变换坐标，然后将较高分辨率分区朝向由经变换的坐标指示的方向引导。

在一些实现中，红外相机400和/或基于事件的传感器500生成表示由红外相机400和/或基于事件的传感器500可检测的周围环境的整个范围的输出。例如，这种类型的输出可以被称为“全视图”输出。在这样的输出中，一个或多个变量(例如，热量变量和/或像素变化变量)可以指示感兴趣的至少一个区域。因此，接收输出的LiDAR可以确定感兴趣区域的方向/位置。

在一些实施方式中，红外相机400和/或基于事件的传感器500生成仅表示可能感兴趣的区域的输出。例如，这种类型的输出可以被称为“热点”输出。这样的输出仅包括识别具有不同温度和/或像素变化的周围环境的部分的信息，而不识别周围环境的其他部分。因此，接收输出的LiDAR可以确定感兴趣区域的方向/位置。

图6示出了扫描LiDAR 600的另一示例。扫描LiDAR 600可以与本文其他地方描述的一个或多个其他示例一起使用。扫描LiDAR 600可以使用下面参考图9描述的一些或所有组件来实现。

扫描LiDAR 600包括光源602、扫描仪604、光传感器606和处理电子器件608。光源602可以包括一个或多个组件以生成相干光。例如，可以使用激光器。可以基于光传感器606的容量和/或基于扫描LiDAR 600应该与之一起使用的预期周围环境和物体来选择要由激光器生成的波长。

扫描器604包括一个或多个反射器610和控制器612。在一些实施方式中，反射器610可以与反射器314(图3A)类似或相同。例如，反射器610可以被配置为将来自光源602的光朝向扫描LiDAR 600的周围环境反射，并且对于由扫描LiDAR 600接收的光，将这种光朝向光传感器606反射。作为另一示例，在双轴设计中，反射器610的一个实例可以反射从光源602到达的出射光，并且反射器610的另一实例可以朝向光传感器606反射入射光。控制器612可以控制反射器610的定向或其他定位。在一些实施方式中，控制器612可以在确定是否增加由扫描LiDAR 600执行的成像的分辨率时考虑来自红外相机和/或基于事件的传感器的输出。可以控制反射器610的旋转角度和/或旋转速度。例如，再次简要地参考图2，控制器612可以促进帧216内的LiDAR分辨率对应于网格218；帧220内的LiDAR分辨率对应于网格222；和/或帧224内的LiDAR分辨率对应于网格226。

光传感器606包括至少对意图被检测的波长范围(例如，可见光)敏感的一个或多个元件。光传感器606可以基于电荷耦合设备或互补金属氧化物半导体，仅举两个示例。

处理电子器件608可以接收光传感器606的输出和来自控制器612的信息(例如，关于反射器610的当前定向)并使用它们来生成LiDAR输出。

简而言之，光源602可以生成光614。例如，可以使用反射器610将光614朝向扫描LiDAR 600的周围环境的一个或多个部分引导。光传感器606可以接收光616。例如，光616可以包括来自扫描LiDAR 600的一些或全部周围环境的光614的反射。处理电子器件608可以基于光传感器606的输出而生成输出618。

图7示出了方法700的示例。方法700可以与本文其他地方描述的一个或多个其他示例一起使用。可以执行比所示更多或更少的操作。除非另有说明，否则可以以不同的顺序执行两个或更多个操作。

在操作702处，方法700包括使用车辆的第一传感器生成输出。例如，参考图3A，第一传感器可以包括红外相机304和/或基于事件的传感器306。

在操作704处，方法700包括将第一输出提供给车辆的LiDAR。例如，参考图1，输出120和/或122可以被提供给LiDAR 108。作为另一示例，输出134可以被提供给LiDAR 108。LiDAR具有视场(例如，在图2中)，并且被配置为使用视场内的较高分辨率分区(例如，图2中的帧216、220和/或224)进行操作。LiDAR在较高分辨率分区内具有比视场中的其他地方更高的分辨率。例如，网格218、222和/或226可以对应于比表示200的至少一些其他部分更高的分辨率。

在操作706处，方法700包括使用LiDAR基于第一输出限定较高分辨率分区。例如，可以定义图2中的帧216、220和/或224的尺寸、形状和位置。因此，LiDAR可以通过限定较高分辨率分区来配置其分辨率。

在操作708处，方法700包括使用LiDAR生成车辆周围环境的表示。例如，可以生成表示200(图2)。该表示包括较高分辨率分区。

在操作710处，方法700包括向车辆的感知组件提供车辆的第二传感器的第二输出和LiDAR的第三输出。例如，参考图1，可以将传感器106、红外相机102和/或基于事件的传感器104的至少一个输出以及LiDAR 108的输出提供给感知组件110。感知组件被配置为执行关于第二和第三输出的物体检测(例如，由组件112)、传感器融合(例如，由传感器融合组件116)和物体跟踪(例如，由跟踪组件118)。第一输出绕过感知组件。例如，参考图1，输出120和/或122可以直接提供给LiDAR 108，而不首先通过感知组件110。

在操作712处，方法700包括使用感知组件的第四输出执行车辆的运动控制。例如，参考图1，车辆致动组件130可以根据由运动规划组件124执行的预测和轨迹规划来执行运动控制。

图8示出了车辆800的示例。车辆800可以与本文其他地方描述的一个或多个其他示例一起使用。车辆800包括ADAS/AD系统802和车辆控件804。ADAS/AD系统802可以使用下面参考图9描述的一些或所有组件来实现。ADAS/AD系统802包括传感器806和规划算法808。为了简单起见，这里省略了车辆800可以包括的其他方面，包括但不限于可以实现ADAS/AD系统802的车辆800的其他组件。

传感器806在此被描述为还包括用于处理传感器输出并基于该处理执行检测的适当电路和/或可执行编程。传感器806可以包括雷达810。在一些实施方式中，雷达810可以包括至少部分地基于无线电波的任何物体检测系统。例如，雷达810可以沿相对于车辆向前的方向定向，并且可以用于至少检测距一个或多个其他物体(例如，另一车辆)的距离。雷达810可以通过感测与车辆800相关的物体的存在来检测车辆800的周围环境。

传感器806可以包括LiDAR 812。在一些实施方式中，LiDAR 812可包含至少部分地基于激光的任何物体检测系统。例如，LiDAR 812可以沿相对于车辆的任何方向定向，并且可以用于至少检测距一个或多个其他物体(例如，另一车辆)的距离。LiDAR 812可以通过感测物体相对于车辆800的存在来检测车辆800的周围环境。在一些实施方式中，LiDAR 812是扫描LiDAR，其接收来自红外相机814和/或基于事件的传感器816的输出以在LiDAR 812的视场内限定较高分辨率分区。在一些实施方式中，LiDAR 812是非扫描LiDAR(例如，闪光LiDAR)，其接收来自红外相机814和/或基于事件的传感器816的输出以在LiDAR 812的视场内限定较高分辨率分区。

传感器806可以包括相机818。在一些实施方式中，相机818可以包括车辆800考虑其信号的任何图像传感器。例如，相机818可以沿相对于车辆的任何方向定向，并且可以用于检测车辆、车道、车道标记、路缘和/或道路标志。相机818可以通过视觉地记录与车辆800相关的情况来检测车辆800的周围环境。

传感器806可以包括超声波传感器820。在一些实施方案中，超声波传感器820可包含用于基于超声波至少检测物体的接近度的任何发送器、接收器和/或收发器。例如，超声传感器820可以定位在车辆的外表面处或附近。超声波传感器820可以通过感测物体相对于车辆800的存在来检测车辆800的周围环境。

单独的任何传感器806或两个或更多个传感器806共同可以检测ADAS/AD系统802是否正在控制车辆800的运动、车辆800的周围环境。在一些实施方式中，传感器806中的至少一个可以生成在向驾驶员提供提示时和/或在控制车辆800的运动时所考虑的输出。例如，可以组合两个或更多个传感器的输出(例如，雷达810、LiDAR 812和相机818的输出)。在一些实施方式中，一个或多个其他类型的传感器可以附加地或替代地包括在传感器806中。

规划算法808可以规划ADAS/AD系统802以响应于对车辆800的周围环境的监测和/或驾驶员的输入而执行一个或多个动作或不执行任何动作。可以考虑传感器806中的一个或多个的输出。在一些实施方式中，规划算法808可以执行运动规划和/或规划车辆800的轨迹。

车辆控件804可以包括转向控件822。在一些实施方式中，ADAS/AD系统802和/或车辆800的另一驾驶员通过操纵转向控件822来调整至少一个车轮的转向角度来控制车辆800的轨迹。转向控件822可以被配置用于通过转向控件822与可调节轮之间的机械连接来控制转向角度，或者可以是线控转向系统的一部分。

车辆控件804可以包括档位控件824。在一些实施方式中，ADAS/AD系统802和/或车辆800的另一驾驶员使用档位控件824从车辆的多个操作模式(例如，驾驶模式、空档模式或停车模式)中进行选择。例如，档位控件824可以用于控制车辆800中的自动变速器。

车辆控件804可以包括信号控件826。在一些实施方式中，信号控件826可以控制车辆800可以生成的一个或多个信号。例如，信号控件826可以控制车辆800的转向信号和/或喇叭。

车辆控件804可以包括制动控件828。在一些实施方式中，制动控件828可以控制一种或多种类型的制动系统，该一种或多种类型的制动系统被设计为使车辆减速、使车辆停止和/或在停止时使车辆保持静止。例如，制动控件828可以由ADAS/AD系统802致动。作为另一示例，制动控件828可以由驾驶员使用制动踏板来致动。

车辆控件804可以包括车辆动态系统830。在一些实施方式中，除了驾驶员的控制之外，或者在没有驾驶员的控制的情况下，或者代替驾驶员的控制，车辆动态系统830可以控制车辆800的一个或多个功能。例如，当车辆在山坡上停止时，如果驾驶员没有激活制动控件828(例如，踩下制动踏板)，则车辆动态系统830可以使车辆保持静止。

车辆控件804可以包括加速控件832。在一些实施方式中，加速控件832可以控制车辆的一种或多种类型的推进马达。例如，加速控件832可以控制车辆800的电动马达和/或内燃机马达。

车辆800可以包括用户接口834。用户接口834可以包括音频接口836。在一些实施方式中，音频接口836可以包括定位于乘客舱中的一个或多个扬声器。例如，音频接口836可以至少部分地与车辆中的信息娱乐系统一起操作。

用户接口834可以包括视觉接口838。在一些实施方式中，视觉接口838可以包括车辆800的乘客舱中的至少一个显示装置。例如，视觉界面838可以包括触摸屏设备和/或仪表组显示器。

图9示出了可以用于实现本公开的各方面的计算设备900的示例架构，包括本文描述的任何系统、装置和/或技术，或者可以在各种可能的实施例中利用的任何其他系统、装置和/或技术。

图9中所示的计算设备可以用于执行本文描述的操作系统、应用程序和/或软件模块(包括软件引擎)。

在一些实施例中，计算设备900包括至少一个处理设备902(例如，处理器)，诸如中央处理单元(CPU)。各种处理设备可从各种制造商获得，例如Intel或Advanced MicroDevices。在该示例中，计算设备900还包括系统存储器904和将包括系统存储器904的各种系统组件耦合到处理设备902的系统总线906。系统总线906是可以使用的任何数量类型的总线结构中的一种，包括但不限于存储器总线或存储器控制器、外围总线、以及使用各种总线架构中的任一种的本地总线。

可以使用计算设备900实现的计算设备的示例包括台式计算机、膝上型计算机、平板计算机、移动计算设备(诸如智能电话、触摸板移动数字设备或其他移动设备)或被配置为处理数字指令的其他设备。

系统存储器904包括只读存储器908和随机存取存储器910。包含用于诸如在启动期间在计算设备900内传送信息的基本例程的基本输入/输出系统912可以被存储在只读存储器908中。

在一些实施例中，计算设备900还包括用于存储数字数据的辅助存储设备914，诸如硬盘驱动器。辅助存储设备914通过辅助存储接口916连接到系统总线906。辅助存储设备914及其相关联的计算机可读介质为计算设备900提供计算机可读指令(包括应用程序和程序模块)、数据结构和其他数据的非易失性和非暂时性存储。

尽管本文描述的示例环境采用硬盘驱动器作为辅助存储设备，但是在其他实施例中使用其他类型的计算机可读存储介质。这些其他类型的计算机可读存储介质的示例包括磁带盒、闪存卡、固态驱动器(SSD)、数字视频盘、伯努利盒式磁带、光盘只读存储器、数字通用盘只读存储器、随机存取存储器或只读存储器。一些实施例包括非暂时性介质。例如，计算机程序产品可以有形地体现在非暂时性存储介质中。另外，这样的计算机可读存储介质可以包括本地存储装置或基于云的存储装置。

多个程序模块可以存储在辅助存储设备914和/或系统存储器904中，包括操作系统918、一个或多个应用程序920、其他程序模块922(诸如本文描述的软件引擎)和程序数据924。计算设备900可以利用任何合适的操作系统。

在一些实施例中，用户通过一个或多个输入设备926向计算设备900提供输入。输入设备926的示例包括键盘928、鼠标930、麦克风932(例如，用于语音和/或其他音频输入)、触摸传感器934(诸如触摸板或触敏显示器)和手势传感器935(例如，用于手势输入)。在一些实施方案中，输入设备926基于存在、接近度和/或运动提供检测。其他实施例包括其他输入设备926。输入设备可以通过耦合到系统总线906的输入/输出接口936连接到处理设备902。这些输入设备926可以通过任何数量的输入/输出接口连接，诸如并行端口、串行端口、游戏端口或通用串行总线。输入设备926和输入/输出接口936之间的无线通信也是可能的，并且在一些可能的实施例中包括红外、无线技术、802.11a/b/g/n、蜂窝、超宽带(UWB)、ZigBee或其他射频通信系统，仅举几个示例。

在该示例实施例中，诸如监视器、液晶显示设备、发光二极管显示设备、投影仪或触敏显示设备的显示设备938也经由诸如视频适配器940的接口连接到系统总线906。除了显示设备938之外，计算设备900还可以包括各种其他外围设备(未示出)，诸如扬声器或打印机。

计算设备900可以通过网络接口942连接到一个或多个网络。网络接口942可以提供有线和/或无线通信。在一些实施方式中，网络接口942可以包括用于发送和/或接收无线信号的一个或多个天线。当在局域网环境或广域网环境(诸如互联网)中使用时，网络接口942可以包括以太网接口。其他可能的实施例使用其他通信设备。例如，计算设备900的一些实施例包括用于跨网络通信的调制解调器。

计算设备900可以包括至少某种形式的计算机可读介质。计算机可读介质包括可以由计算设备900访问的任何可用介质。作为示例，计算机可读介质包括计算机可读存储介质和计算机可读通信介质。

计算机可读存储介质包括在被配置为存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的任何设备中实现的易失性和非易失性、可移除和不可移除介质。计算机可读存储介质包括但不限于随机存取存储器、只读存储器、电可擦除可编程只读存储器、闪存或其他存储器技术、光盘只读存储器、数字通用盘或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备、或者可以用于存储期望的信息并且可以由计算设备900访问的任何其他介质。

计算机可读通信介质通常在诸如载波或其他传输机制的调制数据信号中体现计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传递介质。术语“经调制的数据信号”涉及以对信号中的信息进行编码的方式设置或改变其特性中的一个或多个特性的信号。作为示例，计算机可读通信介质包括诸如有线网络或直接有线连接的有线介质，以及诸如声学、射频、红外和其他无线介质的无线介质。任何上述的组合也包括在计算机可读介质的范围内。

图9中所示的计算设备也是可编程电子器件的示例，其可以包括一个或多个这样的计算设备，并且当包括多个计算设备时，这样的计算设备可以与合适的数据通信网络耦合在一起，以便共同执行本文公开的各种功能、方法或操作。

在一些实施方式中，计算设备900可以被表征为ADAS计算机。例如，计算设备900可以包括有时用于处理在人工智能(AI)领域中发生的任务的一个或多个组件。然后，计算设备900通常包括用于ADAS或AI的需求的足够的处理能力和必要的支持架构。例如，处理设备902可以包括多核架构。作为另一示例，除了处理设备902之外或作为处理设备902的一部分，计算设备900可以包括一个或多个协处理器。在一些实施方式中，至少一个硬件加速器可以耦合到系统总线906。例如，可以使用图形处理单元。在一些实施方式中，计算设备900可以实施神经网络特定硬件以处理一个或多个ADAS任务。

在整个说明书中使用的术语“基本上”和“约”用于描述和解释小的波动，例如由于处理中的变化。例如，它们可以指小于或等于±5％，例如小于或等于±2％，例如小于或等于±1％，例如小于或等于±0.5％，例如小于或等于±0.2％，例如小于或等于±0.1％，例如小于或等于±0.05％。此外，当在本文中使用时，不定冠词诸如“一个/种(a)”或“一个/种(an)”意指“至少一个/种”。

应当理解，前述概念和下面更详细讨论的附加概念的所有组合(假设这些概念不相互矛盾)被认为是本文公开的发明主题的一部分。特别地，出现在本公开结尾处的所要求保护的主题的所有组合被认为是本文公开的发明主题的一部分。

已经描述了许多实施方式。然而，应当理解，在不脱离本说明书的精神和范围的情况下，可以进行各种修改。

另外，附图中描绘的逻辑流程不需要所示的特定顺序或相继顺序来实现期望的结果。另外，可以提供其他过程，或者可以从所描述的流程中消除过程，并且可以向所描述的系统添加其他组件或从所描述的系统移除其他组件。因此，其他实施方式在所附权利要求的范围内。

虽然已经如本文所述示出了所描述的实施方式的某些特征，但是本领域技术人员现在将想到许多修改、替换、改变和等同物。因此，应当理解，所附权利要求旨在覆盖落入实施方式的范围内的所有这样的修改和改变。应当理解，它们仅作为示例而非限制呈现，并且可以在形式和细节上进行各种改变。除了相互排斥的组合之外，本文描述的装置和/或方法的任何部分可以以任何组合进行组合。本文描述的实施方式可以包括所描述的不同实施方式的功能、组件和/或特征的各种组合和/或子组合。

Claims

1.一种计算机实现的方法，包括：

使用车辆的第一传感器生成第一输出，所述第一传感器包括红外相机或基于事件的传感器中的至少一个，所述第一输出指示所述车辆的周围环境的一部分；

将所述第一输出提供给所述车辆的LiDAR，所述LiDAR具有视场(FOV)；

至少部分地基于所述第一输出来配置所述LiDAR的分辨率；

使用所述LiDAR生成所述车辆的周围环境的至少一部分的表示；

向所述车辆的感知组件提供所述车辆的第二传感器的第二输出和所述LiDAR的第三输出，所述感知组件被配置为关于所述第二输出和所述第三输出执行物体检测、传感器融合和物体跟踪，其中所述第一输出绕过所述感知组件的至少一部分；以及

使用所述感知组件的第四输出执行所述车辆的运动控制。

2.根据权利要求1所述的计算机实现的方法，其中，所述LiDAR被配置为使用所述FOV内的较高分辨率分区(HRR)进行操作，所述LiDAR在所述HRR内具有比所述FOV中的其他地方更高的分辨率，并且其中，配置所述LiDAR的分辨率包括使用所述LiDAR基于所述第一输出来定义所述FOV内的HRR的定位，其中，所述表示包括所述FOV中的HRR。

3.根据权利要求2所述的计算机实现的方法，其中，基于所述第一输出来定义所述HRR的定位包括将所述HRR定位在所述周围环境的至少一部分的表示中的所述周围环境的所述部分的位置处。

4.根据权利要求3所述的计算机实现的方法，其中，所述第一输出包括所述周围环境的所述部分的坐标，并且其中，使用所述坐标来定位所述HRR。

5.根据权利要求2所述的计算机实现的方法，其中，配置所述LiDAR的分辨率包括调整所述LiDAR在所述HRR处的扫描速率。

6.根据权利要求2所述的计算机实现的方法，其中，配置所述LiDAR的分辨率包括调整所述LiDAR在所述HRR处的激光脉冲频率。

7.根据权利要求1所述的计算机实现的方法，其中，所述LiDAR是具有多个视场的闪光LiDAR，其中所述FOV是所述多个视场的第一FOV，并且其中，配置所述闪光LiDAR的分辨率包括使所述第一FOV朝向所述周围环境的所述一部分转向。

8.根据权利要求1所述的计算机实现的方法，其中，所述第一传感器是所述红外相机，并且其中，所述第一输出指示所述周围环境的所述部分具有与所述周围环境的另一部分不同的温度。

9.根据权利要求8所述的计算机实现的方法，其中，所述红外相机基于所述周围环境的所述部分具有比所述周围环境的所述另一部分更高的温度来选择要由所述第一输出指示的所述周围环境的所述部分。

10.根据权利要求8所述的计算机实现的方法，其中，所述第一输出仅包括识别所述周围环境的所述部分的信息，而不识别所述周围环境的所述另一部分。

11.根据权利要求1所述的计算机实现的方法，其中，所述第一传感器是所述基于事件的传感器，并且其中，所述第一输出指示所述周围环境的所述部分的像素变化与所述周围环境的另一部分的像素变化不同。

12.根据权利要求11所述的计算机实现的方法，其中，所述基于事件的传感器基于所述周围环境的所述部分具有比所述周围环境的所述另一部分更大的像素变化来选择要由所述第一输出指示的所述周围环境的所述部分。

13.根据权利要求11所述的计算机实现的方法，其中，所述第一输出仅包括识别所述周围环境的所述部分的信息，而不识别所述周围环境的所述另一部分。

14.根据权利要求1所述的计算机实现的方法，其中，所述第二传感器是所述红外相机或所述基于事件的传感器中的至少一个。

15.根据权利要求1所述的计算机实现的方法，其中，所述第二传感器不是所述红外相机或所述基于事件的传感器中的任何一个。

16.根据权利要求1所述的计算机实现的方法，其中，生成所述第一输出还包括使用所述感知组件执行变换。

17.一种系统，包括：

第一传感器，用于生成第一输出，所述第一传感器包括红外相机或基于事件的传感器中的至少一个，所述第一输出指示所述系统的周围环境的一部分；以及

具有视场(FOV)的LiDAR，其中，所述LiDAR接收由所述第一传感器生成的所述第一输出，并且至少部分地基于所述第一输出来配置所述LiDAR的分辨率。

18.根据权利要求17所述的系统，其中，所述LiDAR生成所述周围环境的至少一部分的表示。

19.根据权利要求18所述的系统，其中，所述LiDAR被配置为使用所述FOV内的较高分辨率分区(HRR)进行操作，所述LiDAR在所述HRR内具有比所述FOV中的其他地方更高的分辨率，并且其中，所述LiDAR基于所述第一输出来定义所述HRR在所述FOV内的定位，并且其中，所述表示包括所述FOV中的所述HRR。

20.根据权利要求19所述的系统，其中，所述LiDAR调整所述LiDAR在所述HRR处的扫描速率。

21.根据权利要求19所述的系统，其中，所述LiDAR调整所述LiDAR在所述HRR处的激光脉冲频率。

22.根据权利要求19所述的系统，其中，所述LiDAR是具有多个视场的闪光LiDAR，其中，所述HRR对应于所述多个视场的第一FOV，并且其中，所述LiDAR通过使所述HRR朝向所述周围环境的所述一部分转向来配置所述分辨率。

23.根据权利要求19所述的系统，其中，所述第一输出包括所述周围环境的所述部分的坐标，并且其中，所述LiDAR使用所述坐标来定位所述HRR。

24.根据权利要求17所述的系统，其中，所述第一传感器是所述红外相机，并且其中，所述第一输出指示所述周围环境的所述部分具有与所述周围环境的另一部分不同的温度。

25.根据权利要求24所述的系统，其中，所述红外相机基于所述周围环境的所述部分具有比所述周围环境的所述另一部分更高的温度来选择要由所述第一输出指示的所述周围环境的所述部分。

26.根据权利要求24所述的系统，其中，所述第一输出仅包括识别所述周围环境的所述部分的信息，而不识别所述周围环境的所述另一部分。

27.根据权利要求17所述的系统，其中，所述第一传感器是所述基于事件的传感器，并且其中，所述第一输出指示所述周围环境的所述部分的运动与所述周围环境的另一部分的运动不同。

28.根据权利要求27所述的系统，其中，所述基于事件的传感器基于所述周围环境的所述部分具有比所述周围环境的所述另一部分更大的运动来选择要由所述第一输出指示的所述周围环境的所述部分。

29.根据权利要求27所述的系统，其中，所述第一输出仅包括识别所述周围环境的所述部分的信息，而不识别所述周围环境的所述另一部分。

30.根据权利要求17所述的系统，还包括：

感知组件，用于接收所述系统的第二传感器的第二输出和所述LiDAR的第三输出，所述感知组件用于关于所述第二输出和所述第三输出执行物体检测、传感器融合和物体跟踪，其中所述第一输出绕过所述感知组件的至少一部分。

31.根据权利要求30所述的系统，其中，所述第二传感器不是所述红外相机或所述基于事件的传感器中的任何一个。

32.根据权利要求30所述的系统，其中，所述感知组件部分地包括变换组件，并且其中，所述第一输出在由所述LiDAR接收之前使用所述变换组件进行变换。

33.根据权利要求17所述的系统，其中，所述第一传感器和所述LiDAR被定位于所述系统的共同壳体内。