CN120166977A - 用于联合行为规划和预测的人工智能建模技术 - Google Patents

Abstract

一种方法包括：使用由自体对象的相机捕获的图像数据来检测自体对象周围的空间中的一个或多个代理对象；存储分层节点图，该分层节点图包括目的层和在该目的层之后的交互节点的多个交互层，该目的层包括一个或多个目的节点；将交互节点添加到多个交互层中的交互节点的交互层；基于分层节点图内与轨迹相对应的一个或多个节点的一个或多个节点得分来确定用于多个轨迹中的每个轨迹的轨迹得分；以及基于用于轨迹的轨迹得分来针对自体对象选择多个轨迹中的轨迹。

Description

用于联合行为规划和预测的人工智能建模技术

相关申请的交叉引用

本申请要求于2022年9月30日提交的美国临时申请号63/377,954和于2022年9月30日提交的美国临时申请号63/378,028的优先权，出于所有目的，这些申请中的每个申请通过引用全部并入本文。

技术领域

本公开总体上涉及选择用于自体的适当的轨迹的基于人工智能的建模技术。

背景技术

由于计算机技术的快速发展，用于自主车辆和机器人(统称为自体)的自主导航技术已经变得无处不在。这些进步允许自体的更安全、更可靠的自主导航。自体通常需要在复杂和动态的环境和地形中导航，这些环境和地形可以包括车辆、交通、行人、骑自行车的人以及各种其他静态或动态障碍物。理解自体的周围环境针对明智和有能力的决策以避免冲突是必要的。

发明内容

由于上述原因，期望可以分析自体的周围环境并且选择避免与自体的周围环境中的对象碰撞的轨迹的方法和系统。实现本文中的系统和方法的系统(例如自体的计算系统)可以使用具有交互节点层的分层节点图来这样做，这些交互节点表示系统在自体的周围环境中检测到的与一个或多个代理对象的潜在交互或非交互。该系统可以基于不同的变量(诸如基于物理的约束、舒适度、干预可能性和/或类人鉴别器)针对分层节点图的相应交互节点生成得分。该系统可以组合用于各个节点的得分，以确定用于该节点的得分。该系统可以标识由分层节点图表示的轨迹。轨迹可以分别包括不同层的交互节点的不同变化，并且在分层节点图内相互链接。该系统可以基于相应轨迹的交互节点的节点得分来生成用于轨迹的轨迹得分，诸如通过对相应轨迹的相应节点得分执行函数。该系统可以比较彼此之间的轨迹得分，以选择具有最高轨迹得分的轨迹。该系统可以使用所选择的轨迹来操作自体。该过程可以大大简化轨迹选择技术以使得自体能够使用比传统技术更少的处理能力做出更快的决策，传统技术可以尝试确定用于周围环境中物体的可能轨迹，这可能要求在繁忙的街道上的大量的处理资源。

在一个实施例中，一种方法包括：由处理器，使用由自体对象的相机捕获的图像数据来检测自体对象周围的空间中的一个或多个代理对象；由处理器存储分层节点图，该分层节点图包括：目的层，该目的层包括与用于自体对象实现的目的相对应的一个或多个目的节点；在目的层之后的交互节点的多个交互层，每个交互节点与鉴于一个或多个代理对象的用于自体对象的多个轨迹中的至少一个轨迹相对应并且与节点得分相对应，多个交互层包括交互节点的初始交互层和交互节点的初始交互层之后的交互节点的多个后续交互层，其中多个后续交互层中的每个交互节点依赖于多个交互层中的先前交互层中的至少一个交互节点；响应于确定交互节点的初始交互层中的第一交互节点的节点得分超过阈值，由处理器，将第二交互节点添加到多个后续交互层中的交互节点的后续交互层，第二交互节点被链接至第一交互节点；由处理器，基于与轨迹相对应的一个或多个节点的一个或多个节点得分来确定用于多个轨迹中的每个轨迹的轨迹得分；以及由处理器，基于用于轨迹的轨迹得分来针对自体对象选择多个轨迹中的轨迹。

该方法还可以包括：由处理器，根据所选择的轨迹来控制自体对象。

确定用于轨迹的轨迹得分可以包括由处理器聚合轨迹的一个或多个节点的一个或多个节点得分。

选择轨迹可以包括响应于确定用于轨迹的轨迹得分高于多个轨迹中的其他轨迹的轨迹得分，由处理器选择轨迹。

该方法可以包括：由处理器执行神经网络，以确定用于分层节点图的每个交互节点的节点得分。

用于每个交互节点的节点得分可以与关联于交互节点的舒适度相对应。

用于每个交互节点的节点得分可以与关联于交互节点的舒适度和关联于交互节点的干预可能性相对应。

该方法还可以包括：响应于使用由自体对象的相机捕获的图像数据检测到自体对象周围的空间中的一个或多个代理对象，由处理器生成分层节点图。

该方法还可以包括：由处理器执行分析协议，以确定用于分层节点图的每个交互节点的节点得分；由处理器，将节点得分与阈值进行比较；以及由处理器，从分层节点图移除分层节点图的与小于阈值的节点得分相对应的每个交互节点。

该方法还可以包括：响应于确定将第二交互节点添加到多个后续层中的交互节点的后续层使得分层节点图的节点数目超过阈值，由处理器基于用于第三节点的节点得分来从分层节点图移除第三节点。

在另一实施例中，一种自体对象可以包括：相机；处理器；以及被配置为由处理器执行的非暂态计算机可读介质，。处理器可以被配置为使用由相机捕获的图像数据来检测自体对象周围的空间中的一个或多个代理对象；存储分层节点图，该分层节点图包括：目的层，该目的层包括与用于自体对象实现的目的相对应的一个或多个目的节点；在目的层之后的交互节点的多个交互层，每个交互节点与鉴于一个或多个代理对象的用于自体对象的多个轨迹中的至少一个轨迹相对应并且与节点得分相对应，多个交互层包括交互节点的初始交互层和交互节点的初始交互层之后的交互节点的多个后续交互层，其中多个后续交互层中的每个交互节点依赖于多个交互层中的先前交互层中的至少一个交互节点；响应于确定交互节点的初始交互层中的第一交互节点的节点得分超过阈值，将第二交互节点添加到多个后续交互层中的交互节点的后续交互层，第二交互节点被链接至第一交互节点；基于与轨迹相对应的一个或多个节点的一个或多个节点得分来确定用于多个轨迹中的每个轨迹的轨迹得分；以及基于用于轨迹的轨迹得分来针对自体对象选择多个轨迹中的轨迹。

处理器还可以被配置为根据所选择的轨迹来控制自体对象。

处理器可以被配置为通过聚合轨迹的一个或多个节点的一个或多个节点得分，确定用于轨迹的轨迹得分。

处理器可以被配置为通过响应于确定用于轨迹的轨迹得分高于多个轨迹中的其他轨迹的轨迹得分而选择轨迹来选择轨迹。

处理器还可以被配置为执行神经网络，以确定用于分层节点图的每个交互节点的节点得分。

用于每个交互节点的节点得分可以与关联于交互节点的舒适度相对应。

用于每个交互节点的节点得分可以与关联于交互节点的舒适度和关联于交互节点的干预可能性相对应。

处理器还可以被配置为响应于使用由自体对象的相机捕获的图像数据检测到自体对象周围的空间中的一个或多个代理对象来生成分层节点图。

处理器还可以被配置为执行分析协议，以确定用于分层节点图的每个交互节点的节点得分；将节点得分与阈值进行比较；以及从分层节点图移除分层节点图的与小于阈值的节点得分相对应的每个交互节点。

处理器还可以被配置为响应于确定将第二交互节点添加到多个后续层中的交互节点的后续层使得分层节点图的节点数目超过阈值，由处理器基于用于第三节点的节点得分来从分层节点图移除第三节点。

附图说明

本公开的非限制性实施例通过与附图相关的示例来描述，附图是示意性的并且不旨在按比例绘制。除非被指示为表示背景技术，否则附图表示本公开的各个方面。

图1A图示了根据实施例的AI使能的视觉数据分析系统的组件。

图1B图示了根据实施例的与自体相关联的各种传感器。

图1C图示了根据实施例的车辆的组件。

图2图示了根据实施例的在AI使能的视觉数据分析系统中执行的过程的流程图。

图3图示了根据实施例的车行道场景。

图4A至4E图示了根据实施例的用于车行道场景的分层节点图。

具体实施方式

现在将参照附图中描绘的说明性实施例，并且此处将使用具体语言来描述它们。然而，要理解，并不旨在因此限制权利要求或本公开的范围。相关领域的并且拥有本公开的技术人员可以想到的本文说明的发明特征的更改和进一步修改以及本文说明的主题内容的原理的附加应用将被认为在本文公开的主题的范围内。在不脱离本公开的精神或范围的情况下，可以使用其他实施例和/或可以进行其他改变。具体实施方式中描述的说明性实施例并不意味着限制所呈现的主题。

在道路上驾驶的自体(例如自主车辆，诸如汽车、卡车、公共汽车、摩托车、全地形车、手推车、机器人或其他自动化设备)必须针对道路上的其他对象不断监测自体的周围环境。自体(例如自体的处理器)可以检测不同的对象，诸如行人、其他车辆或动物，并且遇到自体必须围绕对象驾驶以到达期望目的地或期望目的的场景，诸如行人正在穿过道路时自体左转进入最右侧车道。在这种场景中，自体可以通过确定用于行人和该区域中任何其他对象的不同潜在轨迹以及用于自体的潜在轨迹来导航绕过行人。自体可以使用优化函数分析潜在轨迹中的每个潜在轨迹，以确定用于自体的轨迹，以实现左转进入最右侧车道的目的，同时避开行人。给定所涉及的大量变量，这可能需要大量的处理能力和时间来做出决策。自体可以每秒(例如每50毫秒)多次执行这种决策，以自主导航道路。因此，自主的自体可以使用大量的处理能力，并且因此使用能量和时间，做出关于如何导航车行道的决策。随着时间的推移，使用这种处理能力可以使自体延迟到达目的地，并且使用增加量的能量。

实现本文描述的系统和方法的自体或系统可以克服上述技术缺陷。例如，系统或自体的处理器可以实现分层节点图，该分层节点图包括自体遇到的场景的不同节点层。分层节点图可以包括与用于自体实现的目的(例如避开行人、到达目标车道或停车位等)相对应的目的节点以及与自体和代理对象(例如在自体周围的环境中正在移动或可以移动的对象)之间的交互和/或非交互相对应的交互节点。交互的示例可以包括在代理对象之前或之后经过或者接触代理对象的自体，但交互不要求与代理对象接触。非交互的示例可以包括自体执行动作以完全避开代理对象。处理器可以针对自体和自体使用自体的相机检测到的代理对象在分层节点图中标识这种节点。处理器可以基于干预可能性(例如人为干预可能性)、类人鉴别器和/或相应交互节点或目的节点的基于物理的约束来确定用于交互节点和/或目的节点中的每个节点的得分。处理器可以标识分层节点图的不同轨迹，每个轨迹包括在分层节点图内按顺序次序的目的节点和一个或交互节点。处理器可以确定用于每个轨迹的轨迹得分。处理器可以选择与最高轨迹得分相对应的轨迹。处理器可以使用所选择的轨迹来控制自体。以该方式，自体可以确定用于自体的最优轨迹，而无需确定周围环境中对象的轨迹或使用复杂的成本函数，从而减少了选择用于自主驾驶的轨迹的处理成本和时间。

分层节点图可以具有分层节点层。处理器可以使用层的分层配置来确定如何穿越分层节点图，以确定用于控制自体的潜在轨迹。例如，分层节点图可以包括目的层，该目的层包括一个或多个目的节点。目的节点可以各自是用于自体的一个或多个轨迹的开始。接下来，分层节点图可以包括多个交互层、初始交互层和一个或多个后续交互层。每个交互层可以包括一个或多个交互节点。初始交互层的交互节点可以各自被链接至至少一个目的节点。第一后续交互层的交互节点可以各自被链接至初始交互层中的至少一个交互节点。后续交互层中到第一后续交互层的交互节点可以各自被链接至先前交互层中的至少一个交互节点。处理器可以使用节点之间的链接来穿越不同的轨迹，并且组合轨迹的交互节点和/或目的节点的得分，以针对自体选择轨迹。

为了避免生成太大的并且可能要求大量的计算资源来维持和评估不同的轨迹的分层节点图，处理器可以随着时间的推移修剪分层节点图。例如，处理器可以将分层节点图的节点的节点得分与阈值进行比较。响应于确定节点的节点得分小于阈值，处理器可以从分层节点图移除该节点。在一个示例中，处理器可以移除具有不期望特征的节点，诸如接触对象的自体，以避免将处理资源用于处理器不会选择的轨迹。处理器可以移除这种节点，并且随着时间的推移扩展到其他评分较高的节点，以维持处理器可以用于高效控制自体的分层节点图。

图1A是可以在其中实现本文讨论的方法和系统的系统的组件的非限制性示例。图1A图示了人工智能(AI)使能的视觉数据分析系统100的组件。系统100可以包括分析服务器110a、系统数据库110b、管理员计算设备120、自体140a至140b(统称为(多个)自体140)、自体计算设备141a至141c(统称为自体计算设备141)和服务器160。系统100不限于本文描述的组件，并且可以包括为简洁起见而未示出的附加或其他组件，这些组件将被认为在本文描述的实施例的范围内。

上述组件可以通过网络130连接。网络130的示例可以包括但不限于私有或公共LAN、WLAN、MAN、WAN和互联网。网络130可以包括根据一个或多个标准和/或经由一个或多个传输介质的有线和/或无线通信。

网络130上的通信可以根据各种通信协议(诸如传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)和IEEE通信协议)来执行。在一个示例中，网络130可以包括根据蓝牙规范集或另一标准或专有无线通信协议的无线通信。在另一示例中，网络130还可以包括蜂窝网络上的通信，包括例如GSM(全球移动通信系统)、CDMA(码分多址)或EDGE(用于全球演进的增强型数据)网络。

系统100图示了可以被用于实现一个或多个AI模型(诸如(多个)AI模型110c和分层节点图110d)的系统架构和组件的示例。具体地，如图1A所描绘和本文描述的，分析服务器110a可以使用本文讨论的方法以使用从自体140检索的数据(例如通过使用数据流172和174)来生成和使用分层节点图110d用于自主导航。在一个示例中，(多个)AI模型110c可以基于由自体140的相机捕获的图像数据来检测表示围绕自体140的区域的不同体素的占用。基于占用数据，分析服务器110a或自体140可以检测围绕自体140的区域中的不同代理对象(例如移动对象)。自体140或分析服务器110a可以使用检测到的代理对象来生成分层节点图110d，以包括目的节点和/或交互节点。目的节点可以指示用于自体140实现的各个目的，并且交互节点可以指示自体140和代理对象之间或代理对象本身之间的潜在交互或非交互。自体140或分析服务器110a可以针对分层节点图110d的节点生成节点得分。自体140可以使用节点得分来生成用于不同轨迹的轨迹得分，这些轨迹包括分层节点图110d内链接节点的不同变化。自体140可以基于轨迹的轨迹得分(例如基于具有最高轨迹得分的轨迹)来选择轨迹。自体140可以根据所选择的轨迹自主操作。因此，系统100描绘了使用分层节点图的导航方法，该方法比传统的轨迹生成和/或选择方法更快并且要求更少的处理资源。

在图1A中，AI模型110c和分层节点图110d被图示为系统数据库110b的组件，但AI模型110c和分层节点图110d可以被存储在不同或单独的组件中，诸如云存储装置或分析服务器110a或自体140可访问的任何其他数据存储库。

分析服务器110a还可以被配置为显示电子平台，该电子平台图示了用于训练AI模型110c的各种训练属性。电子平台可以被显示在管理员计算设备120上，使得分析师可以监测AI模型110c的训练。由分析服务器110a生成和托管的电子平台的示例可以是被配置为显示从自体140收集的训练数据集和/或AI模型110c的训练状态/度量的基于web的应用或网站。

分析服务器110a可以是包括能够执行本文描述的各种任务和过程的处理器和非暂态机器可读存储装置的任何计算设备。这种计算设备的非限制性示例可以包括工作站计算机、膝上型计算机、服务器计算机等。虽然系统100包括单个分析服务器110a，但系统100可以包括在分布式计算环境(诸如云环境)中操作的任何数量的计算设备。

自体140可以表示将与其先前或当前导航会话相关联的数据发送到分析服务器110a的各种电子数据源。自体140可以是被配置用于导航的任何装置，诸如车辆140a和/或卡车140c。自体140不限于是车辆，并且也可以包括机器人设备。例如，自体140可以包括机器人140b，该机器人140b可以表示能够导航各种地形的通用、双足、自主的人形机器人。机器人140b可以配备有实现平衡、导航、感知或与物理世界交互的软件。机器人140b还可以包括被配置为将视觉数据发送到分析服务器110a的各种相机。

尽管本文中被称为“自体”，但自体140可以是也可以不是被配置用于自动导航的自主设备。例如，在一些实施例中，自体140可以由人类操作员或远程处理器控制。自体140可以包括各种传感器，诸如图1B中所描绘的传感器。传感器可以被配置为在自体140导航各种地形(例如道路)时收集数据。分析服务器110a可以收集由自体140提供的数据。例如，分析服务器110a可以从各种传感器获得导航会话和/或道路/地形数据(例如在道路上导航的自体140的图像)，使得收集的数据最终被AI模型110c使用用于训练目的。

如本文使用的，导航会话与自体140行进路线的行程相对应，而不管该行程是自主的还是由人类控制的。在一些实施例中，导航会话可以用于数据收集和模型训练目的。然而，在一些其他实施例中，自体140可以是指由消费者购买的车辆，并且行程的目的可以被归类为日常使用。当自体140从非移动位置移动超过阈值距离(例如0.1英里、100英尺)或超过阈值速率(例如超过0mph、超过1mph、超过5mph)时，导航会话可以开始。当自体140返回到非移动位置和/或关闭时(例如当驾驶员离开车辆时)，导航会话可以结束。

自体140可以表示由分析服务器110a监测以生成分层节点图110d的自体的集合。例如，用于车辆140a的驾驶员可以授权分析服务器110a监测与其相应车辆相关联的数据。结果，分析服务器110a可以利用本文讨论的各种方法来收集传感器/相机数据，并且在收集传感器/相机数据的自体140的环境中检测代理对象。分析服务器110a可以通过在来自不同场景的层序列中添加彼此链接的目的节点和交互节点而从数据中逐步构建分层节点图110d，其中自体140向这些场景提供数据。分析服务器110a可以针对不同的节点生成节点得分，并且修剪出具有低节点得分或否则低于阈值的节点得分的节点。分析服务器110a可以将分层节点图部署或发送到不同的自体140，以用于自主驾驶。

随着时间的推移，自体140可以向分析服务器110a发送关于不同场景的其他数据。分析服务器110a可以基于数据随时间更新分层节点图110d，并且将分层节点图110d的更新版本发送给自体140以用于自主驾驶。因此，系统100描绘了其中从自体140接收的导航数据可以被用于更新分层节点图110d的循环。自体140可以包括出于导航目的(例如选择用于导航的轨迹)处理分层节点图110d的处理器。

自体140可以配备有允许自体从其周围环境收集数据并且(可能)自主导航的各种技术。例如，自体140可以配备有推理芯片来运行自动驾驶软件。

用于每个自体140的各种传感器可以监测收集的与不同导航会话相关联的数据，并且将该数据发送到分析服务器110a。图1B至1C图示了根据实施例的集成在自体140内的传感器的框图。相对于图1B至1C而讨论的每个传感器的数量和位置可以取决于图1A中讨论的自体的类型。例如，机器人140b可以包括与车辆140a或卡车140c不同的传感器。例如，机器人140b可以不包括气囊激活传感器170q。而且，车辆140a和卡车140c的传感器可以与图1C所图示的不同地被定位。

如本文讨论的，集成在每个自体140内的各种传感器可以被配置为测量与每个导航会话相关联的各种数据。分析服务器110a可以定期收集由这些传感器监测和收集的数据，其中数据根据本文描述的方法进行处理，并且被用于生成分层节点图110d和/或执行AI模型110c以生成占用地图，以检测自体140周围的空间中的代理对象。而且，分层节点图110d和/或执行AI模型110c可以针对自体140生成轨迹推荐。

自体140可以包括用户界面170a。用户界面170a可以是指自体计算设备(例如图1A中的自体计算设备141)的用户界面。用户界面170a可以被实现为与车辆内部集成或被耦合至车辆内部的显示屏、平视显示器、触摸屏等。用户界面170a可以包括输入设备，诸如触摸屏、旋钮、按钮、键盘、鼠标、手势传感器、方向盘等。在各种实施例中，用户界面170a可以适用于向自体140的其他设备或传感器(例如图1B所图示的传感器)(诸如控制器170c)提供用户输入(例如作为一种信号和/或传感器信息)。

用户界面170a还可以用一个或多个逻辑设备来实现，这些逻辑设备可以适用于执行指令，诸如软件指令，以实现本文描述的各种过程和/或方法中的任何过程和/或方法。例如，用户界面170a可以适用于形成通信链路、发送和/或接收通信(例如传感器信号、控制信号、传感器信息、用户输入和/或其他信息)或执行各种其他过程和/或方法。在另一示例中，驾驶员可以使用用户界面170a来控制自体140的温度或激活其特征(例如自主驾驶或转向系统170o)。因此，用户界面170a可以结合本文描述的其他传感器来监测和收集驾驶会话数据。用户界面170a还可以被配置为显示由分析服务器110a和/或AI模型110c生成/预测的各种数据。

取向传感器170b可以被实现为指南针、浮子、加速度计、和/或能够测量自体140的取向(例如相对于一个或多个参考取向(诸如重力和/或磁北)的横滚、俯仰和/或偏航的幅度和方向)的其他数字或模拟设备中的一种或多种。取向传感器170b可以适用于向自体140提供航向测量。在其他实施例中，取向传感器170b可以适用于使用取向测量的时间序列向自体140提供横滚、俯仰和/或偏航率。取向传感器170b可以被定位和/或适用于相对于自体140的特定坐标系进行取向测量。

控制器170c可以被实现为任何适当的逻辑设备(例如处理设备、微控制器、处理器、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)、存储器存储设备、存储器读取器、或其他设备或设备组合)，该逻辑设备可以适用于执行、存储和/或接收适当的指令，诸如实现用于控制自体140的各种操作的控制循环的软件指令。这种软件指令还可以实现用于处理传感器信号、确定传感器信息、提供用户反馈(例如通过用户界面170a)、向设备查询操作参数、选择用于设备的操作参数或执行本文描述的各种操作中的任何操作的方法。

通信模块170e可以被实现为任何有线和/或无线接口，该接口被配置为将传感器数据、配置数据、参数和/或其他数据和/或信号传送到图1A所示的任何特征(例如分析服务器110a)。如本文描述的，在一些实施例中，通信模块170e可以以分布式方式实现，使得通信模块170e的部分在图1B所示的一个或多个元素和传感器内实现。在一些实施例中，通信模块170e可以延迟传送传感器数据。例如，当自体140不具有网络连接性时，通信模块170e可以将传感器数据存储在临时数据存储装置中，并且在自体140被标识为具有适当的网络连接性时发送传感器数据。

速度传感器170d可以被实现为电子皮托管、计量齿轮或轮子、水速传感器、风速传感器、风速率传感器(例如方向和幅度)、和/或能够测量或确定自体140的线速度(例如在周围介质中和/或与自体140纵轴对准)并且提供这种测量作为传感器信号(其可以被传送给各种设备)的其他设备。

陀螺仪/加速度计170f可以被实现为一个或多个电子六分仪、半导体设备、集成芯片、加速度计传感器、或能够测量自体140的角速度/加速度和/或线性加速度(例如方向和幅度)并且提供这种测量作为传感器信号(其可以被传送给各种设备，诸如分析服务器110a)的其他系统或设备。陀螺仪/加速度计170f可以被定位和/或适用于相对于自体140的特定坐标系进行这种测量。在各种实施例中，陀螺仪/加速度计170f可以与图1B所描绘的其他元素在公共外壳和/或模块中被实现，以确保公共参考系或参考系之间的已知变换。

全球导航卫星系统(GNSS)170h可以被实现为全球定位卫星接收器和/或能够基于例如从空间和/或地面源接收的无线信号来确定自体140的绝对和/或相对位置并且能够提供诸如传感器信号的测量(其可以被传送到各种设备)的另一设备。在一些实施例中，GNSS170h可以适用于确定自体140的速率、速度和/或偏航率(例如使用位置测量的时间序列)，诸如自体140的绝对速率和/或角速率的偏航分量。

温度传感器170i可以被实现为热敏电阻、电传感器、电温度计、和/或能够测量与自体140相关联的温度并且提供这种测量作为传感器信号的其他设备。温度传感器170i可以被配置为测量与自体140相关联的环境温度，诸如驾驶舱或仪表板温度，例如该环境温度可以被用于估计自体140的一个或多个元素的温度。

湿度传感器170j可以被实现为相对湿度传感器、电传感器、电相对湿度传感器、和/或能够测量与自体140相关联的相对湿度并且提供这种测量作为传感器信号的另一设备。

转向传感器170g可以适用于根据由逻辑设备(诸如控制器170c)提供的一个或多个控制信号和/或用户输入来物理地调节自体140的航向。转向传感器170g可以包括自体140的一个或多个致动器和控制表面(例如方向舵或其他类型的转向或调整机构)，并且可以适用于将控制表面物理地调节到各种正和/或负转向角度/位置。转向传感器170g还可以适用于感测这种转向机构的当前转向角度/位置，并且提供这种测量。

推进系统170k可以被实现为螺旋桨、涡轮机或其他基于推力的推进系统、机械轮式和/或履带式推进系统、基于风/帆的推进系统、和/或可以被用于向自体140提供动力的其他类型的推进系统。推进系统170k还可以监测自体140的动力和/或推力相对于自体140的参考坐标系的方向。在一些实施例中，推进系统170k可以被耦合至传感器170g和/或与转向传感器170g集成。

乘客约束传感器170l可以监测安全带检测和锁定/解锁装配件以及其他乘客约束子系统。乘客约束传感器170l可以包括各种环境和/或状态传感器、致动器、和/或促进与自体140的操作相关联的安全机制的操作的其他设备。例如，乘客约束传感器170l可以被配置为从图1B所描绘的其他传感器接收运动和/或状态数据。乘客约束传感器170l可以确定安全测量(例如安全带)是否正在被使用。

如图1C所描绘的，相机170m可以是指集成在自体140内的一个或多个相机，并且可以包括集成(或改装)到自体140中的多个相机。相机170m可以是自体140的面向内部或外部的相机。例如，如图1C所描绘的，自体140可以包括一个或多个面向内部的相机，这些相机可以监测和收集自体140的乘客的镜头。自体140可以包括八个面向外部的相机。例如，自体140可以包括前置相机170m-1、前视侧相机170m-2、前视侧相机170m-3、每个前挡泥板上的后视侧相机170m-4、每侧的相机170m-5(例如集成在B柱内)和后置相机170m-6。

参照图1B，雷达170n和超声传感器170p可以被配置为监测自体140到其他对象(诸如其他车辆或不可移动对象(例如树木或车库门))的距离。自体140还可以包括被配置为使用经由各种传感器(例如雷达170n、速度传感器170d和/或超声传感器170p)收集的数据来自主导航自体140的自主驾驶或转向系统170o。

因此，自主驾驶或转向系统170o可以分析由本文描述的一个或多个传感器收集的各种数据，以标识驾驶数据。例如，自主驾驶或转向系统170o可以基于自体140的速度和其到道路上的另一车辆的距离来计算前方碰撞的风险。自主驾驶或转向系统170o还可以确定驾驶员是否正在触摸方向盘。自主驾驶或转向系统170o可以将分析的数据发送到本文讨论的各种特征，诸如分析服务器。

气囊激活传感器170q可以预测或检测碰撞，并且引起一个或多个气囊的激活或展开。气囊激活传感器170q可以发送关于气囊展开的数据，包括与引起展开的事件相关联的数据。

再次参照图1A，管理员计算设备120可以表示由系统管理员操作的计算设备。管理员计算设备120可以被配置为显示由分析服务器110a检索或生成的数据(例如各种分析度量和风险得分)，其中系统管理员可以监测由分析服务器110a利用的各种模型、审阅反馈和/或促进由分析服务器110a和/或各个自体140维持的(多个)AI模型110c的训练和/或分层节点图110d的生成。

(多个)自体140可以是被配置为导航各种路线的任何设备，诸如车辆140a或机器人140b。如相对于图1B至1C讨论的，自体140可以包括各种遥测传感器。自体140还可以包括自体计算设备141。具体地，每个自体可以具有其自己的自体计算设备141。例如，卡车140c可以具有自体计算设备141c。为简洁起见，自体计算设备被统称为(多个)自体计算设备141。自体计算设备141可以控制自体140的信息娱乐系统上的内容呈现，处理与信息娱乐系统相关联的命令，聚合传感器数据，管理数据到电子数据源的通信，接收更新和/或发送消息。在一个配置中，自体计算设备141与电子控制单元通信。在另一配置中，自体计算设备141是电子控制单元。自体计算设备141可以包括能够执行本文描述的各种任务和过程的处理器和非暂态机器可读存储介质。例如，本文描述的(多个)AI模型110c可以由自体计算设备141存储和执行(或直接访问)。自体计算设备141的非限制性示例可以包括车辆多媒体和/或显示系统。

在自体140的自体计算设备141可以如何生成和/或使用用于导航的分层节点图110d的一个示例中，当自体计算设备141控制自体140以用于自主驾驶时，自体140的相机可以生成自体140周围的空间的图像数据。自体计算设备141可以执行(多个)AI模型110c以自动检测空间中的代理对象，诸如通过从图像数据中生成和分析针对占用特性表示空间的不同体素。自体计算设备141可以确定用于自体140要执行的任务，诸如执行左转。响应于确定任务，自体计算设备141可以生成或使用分层节点图110d来确定要用于控制自体140执行任务的轨迹。

例如，为了生成分层节点图110d，自体计算设备141可以生成与任务相对应的一个或多个目的节点。目的节点可以与用于任务的不同目的或目标相对应，诸如执行左转、安全执行左转、避免超过具体速度等。自体计算设备141可以生成一个或多个交互节点。交互节点可以与自体140和自体140周围的空间中检测到的代理对象之间的不同交互或非交互相对应。例如，自体计算设备141可以通过确定代理对象(例如行人或车辆)的标识或分类、代理对象的当前位置、代理对象相对于任务的目标位置的当前位置、代理对象相对于自体140的当前位置和/或代理对象的当前状态(例如移动或不移动、移动速度、移动方向、大小等)来确定自体140可以如何与代理对象交互。自体计算设备141可以使用机器学习技术、使用一个或多个函数或通过用关于代理对象生成的传感器数据查询存储器来确定代理对象的这种标识或分类和特性。自体计算设备141可以通过使用机器学习模型、通过使用一个或多个函数或通过查询存储器来使用所确定的特性确定可以发生的不同交互。自体计算设备141可以生成用于交互或非交互的交互节点，这些交互或非交互可以在尝试实现目的节点的相应目的时发生。自体计算设备141可以将交互节点链接至交互节点相应依赖的目的节点。

自体计算设备141可以确定用于分层节点图110d的节点的节点得分。自体计算设备141可以使用函数或机器学习技术对相应节点的数据这样做。例如，自体计算设备141可以将各个交互节点的数据输入到机器学习模型(例如神经网络、支持向量机、随机森林等)中，并且针对每个交互节点执行机器学习模型。机器学习模型可以基于执行来输出用于交互节点的节点得分。自体计算设备141可以将得分存储在针对其生成得分的相应节点中。

机器学习模型可以被训练为基于诸如舒适度、基于物理的约束(例如撞击的可能性)、类人鉴别器(例如人类执行相同动作的可能性)和/或干预可能性的因素来输出节点得分。机器学习模型可以被训练来这样做，例如使用指示用于各个因素的得分的标记技术。可以训练机器学习模型来聚合用于各个节点的得分，以生成用于节点的节点得分。在一些情况下，可以使用多个机器学习模型针对用于分层数据结构的每个节点的单独因素生成得分。

自体计算设备141可以随着时间的推移扩展分层节点图110d。自体计算设备141可以基于分层节点图110d的节点的得分来这样做。例如，自体计算设备141可以标识具有小于阈值的节点得分(例如至少一个节点得分)的任何交互节点。自体计算设备141可以确定不在所标识的交互节点上扩展，并且相应地将标签插入到这种交互节点或存储器中，或者从分层节点图移除低评分节点。

针对具有超过阈值的节点得分的交互节点，自体计算设备141可以确定依赖于(例如在事务之后或依靠)事务的另一交互。在一个示例中，如果行人正在穿过道路，则初始交互节点的交互可以是在行人穿过道路后左转。然而，自体计算设备141可以检测到迎面而来的车辆，该车辆可以正以朝着自体140将要进入的空间相同的方向行驶。因此，自体计算设备141可以生成交互节点，该交互节点被链接至与让行人穿过道路相对应的初始交互节点但是与让迎面而来的车辆经过相对应。自体计算设备141可以生成被链接至初始交互节点但是与在迎面而来的车辆前方经过相对应的另一交互节点。自体计算设备141还可以生成用于与行人和迎面而来的车辆不交互的交互节点，诸如等待行人和迎面而来的车辆离开空间或转向自体140不会与行人或迎面而来的车辆交互的方向(例如右转)。自体计算设备141可以随着时间的推移针对自体140周围空间中的任何数目的代理对象重复节点评分和扩展过程。

自体计算设备141可以针对由分层节点图110d所概述的不同轨迹生成轨迹得分。例如，分层节点图110d可以包括一个或多个轨迹，每个轨迹都以目的节点开始，并且包括彼此链接到目的节点的交互节点。在一些情况下，目的节点可能未被包括在轨迹中。自体计算设备141可以基于构成相应轨迹的节点的节点得分来确定用于每个轨迹的轨迹得分。自体计算设备141可以从相应节点检索节点得分，并且执行函数(例如使用聚合或求和技术，确定平均值或加权平均值，确定中值等)，或者对检索到的节点得分使用机器学习技术来生成用于相应轨迹的轨迹得分。在一些情况下，自体计算设备141可以基于用于不同因素的节点得分来确定用于每个轨迹的多个轨迹得分。

自体计算设备141可以基于轨迹得分从轨迹中选择轨迹。自体计算设备141可以一起比较轨迹得分，以确定具有满足条件的轨迹得分的轨迹。例如，自体计算设备141可以标识与最高轨迹得分相对应的轨迹。在另一示例中，自体计算设备141可以确定用于满足条件的轨迹的轨迹得分的组合(例如最接近用于组合因素的解空间的轨迹得分的组合)或者具有最高平均值、加权平均值、总和、加权和或中值的轨迹得分的组合。自体计算设备141可以根据从分层节点图110d中标识或选择的轨迹来控制自体140。

在分析服务器110a生成分层节点图110d的情况下，分析服务器110a可以使用与自体计算设备141类似的技术来生成分层节点图110d。分析服务器110a可以使用来自用于不同场景的多个自体140的数据来这样做。在一些情况下，分析服务器110a可以从分层节点图110d移除(例如指示或标注不对轨迹本身的节点执行进一步计算或移除节点)低评分的轨迹，使得自体140不浪费处理资源来确定是否实现低评分轨迹。分析服务器110a可以将分层节点图110d发送到自体140，并且自体140可以通过标识与由自体140所面临的场景相对应或匹配的交互节点和/或代理对象来使用分层节点图110d。自体140可以基于自体140针对各个场景收集的数据来用新的交互节点和/或目的节点更新分层节点图110d，并且因此更新新的轨迹。

图2图示了根据实施例的在AI使能的视觉数据分析系统中执行的方法200的流程图。方法200可以包括步骤202至210。然而，其他实施例可以包括附加或备选步骤，或者可以省略一个或多个步骤。方法200可以由自体计算设备(例如类似于自体计算设备141的计算机或自体140的处理器)执行。然而，方法200的一个或多个步骤可以由在图1A至1C中描述的分布式计算系统中操作的任何数目的计算设备(例如分析服务器110a)执行。例如，自体的一个或多个计算设备可以在本地执行图2中描述的一些或所有步骤。

使用方法200，自体计算设备可以实现用于针对自体的轨迹选择的节点分层数据结构。为此，自体计算设备可以检测围绕自体(例如自体对象)的空间或环境中的一个或多个代理对象(例如正在移动或可以移动的对象)。自体计算设备可以存储节点数据结构，该节点数据结构包括指示用于自体实现的目的的目的节点和/或与自体和代理对象之间的不同潜在交互和/或非交互相对应的交互节点。自体计算设备可以基于轨迹节点的节点得分来确定用于遵循目的节点和交互节点的不同排列的不同轨迹的轨迹得分。轨迹得分可以与相应轨迹的舒适度、基于物理的约束、干预可能性和/或鉴别器(例如类人鉴别器)相对应。自体计算设备可以比较轨迹得分以标识最高的轨迹得分。自体计算设备可以选择具有最高轨迹得分的轨迹。自体计算设备可以使用所选择的轨迹来控制自体。

在步骤202处，自体计算设备检测自体对象周围的空间中的一个或多个代理对象。自体计算设备可以使用由自体对象的相机捕获的图像数据来检测一个或多个代理对象。例如，自体对象的相机可以随时间和/或在自体对象驾驶时生成围绕自体对象的环境的图像数据(例如图像或视频)。自体计算设备可以在相机使用对象识别技术生成图像时处理图像数据，诸如通过执行机器学习模型或人工智能模型，以检测图像数据中的不同对象。自体计算设备可以标识检测到的对象相对于自体对象的位置。在一个示例中，自体计算设备可以通过检测表示围绕自体对象的空间的不同体素的占用来检测图像数据中的对象。

自体计算设备可以确定自体计算设备检测到的对象的类型。例如，对象的类型可以是静止对象和代理对象。自体计算设备可以使用存储器中的查找技术来确定对象的类型。例如，自体计算设备可以从图像数据中检测对象。响应于检测到对象，自体计算设备可以使用存储器中的查找来将检测到的对象与被存储在存储器中的对象进行匹配。被存储在存储器中的对象可以已经存储了与对象类型的关联。自体计算设备可以基于与被存储在存储器中的对象的匹配来确定检测到的对象的类型。在一些情况下，自体计算设备执行以检测对象的机器学习模型或人工智能模型可以附加地确定对象的类型。在一些情况下，自体计算设备可以确定对象的标识或分类(例如确定对象是标志还是行人)，并且基于该确定来确定对象的类型(例如使用存储器中的查找以用于标识或分类)。自体计算设备可以以任何方式检测对象并且确定对象的类型。

在步骤204处，自体计算设备存储分层节点图。分层节点图可以包括目的层，该目的层包括与用于自体对象实现的目的相对应的一个或多个目的节点。分层节点图还可以包括目的层之后的交互节点的一个或多个交互层。交互节点可以各自与自体对象和自体计算设备在围绕自体对象的空间中检测到的代理对象中的至少一个代理对象(例如行人、过往汽车等)之间的交互或非交互相对应。目的节点可以与用于自体要完成的目的(例如转向最左侧车道，避免撞到行人等)相对应。每个节点可以是存储特定于该节点的数据的数据结构(例如表格或Strapi模型)。多个交互层可以包括交互节点的初始交互层和/或交互节点的初始层之后的交互节点的一个或多个后续交互层。

分层节点图的层次结构内的相邻层中的节点可以与层次结构内的先前层和/或后续层的一个或多个节点链接(例如存储链接节点的标识符)。例如，目的层中的目的节点可以被分别链接至初始交互层中的至少一个交互节点；初始交互层中的各个交互节点可以被链接至分层节点的第一后续交互层中的至少一个交互节点等。链接可以指示节点之间的依赖性或因果性。例如，初始交互节点(例如初始交互层中的交互节点)可以被链接至后续交互节点(例如后续交互层中的交互节点)。初始交互节点可以与在执行左转之前等待行人经过相对应。后续交互节点可以是在执行左转之前等待过往车辆经过。后续交互节点可能依赖于初始交互节点，因为只有在初始交互节点的交互首先发生的情况下，后续交互节点的交互才是可能的。在一些情况下，依赖性可以指示交互的顺序性质。例如，上述后续交互的交互可以在交互节点的交互之后发生。分层节点图可以包括不同交互层中的任何数目的交互节点，这些交互节点以该方式与分层节点图的其他交互层中的交互节点链接。

目的层中的目的节点与初始交互层中的交互节点之间的链接可以具有与交互节点之间的依赖性类似的依赖性。例如，目的可以是执行最左转。与目的是向另一方向转弯相比，执行最左转可以使得与不同代理对象(例如车辆或行人)的不同交互成为可能。因此，与目的节点链接以用于进行左转的交互节点可以考虑到代理对象，这些代理对象可能受到自体对象是否和/或如何进行左转影响或影响自体对象是否和/或如何进行左转。

交互节点也可以与和一个或多个其他代理对象的交互的缺乏相对应。例如，目的节点可以与执行左转的目的相对应。自体计算设备可以检测到用于转弯的车道上的行人和从右侧接近的另一车辆。分层节点图中可以存在交互节点，用于自体对象的不活动，诸如右转以避开行人和汽车，或者在路径畅通之前保持静止。每个这种交互节点都可以是分层节点图中的交互节点。

在一些情况下，自体计算设备可以生成分层节点图。自体计算设备可以响应于确定用于自体对象要完成的至少一个任务(例如确定左转以遵循预定或配置的路径)来生成分层节点。任务可以是目的。自体计算设备可以进一步响应于在自体对象周围的空间中检测到一个或多个代理对象而生成分层节点图。

例如，响应于确定完成目的和/或在自体对象周围的空间中检测到一个或多个代理对象，自体计算设备可以生成分层节点图的目的层的一个或多个目的节点。自体计算设备可以通过基于任务针对用于自体计算设备要完成的不同目的查询存储器来生成一个或多个目的节点。用于左转任务的这种目的的示例可以是避免撞到任何行人、避免撞到任何其他车辆、确保转弯不太急、确保自体对象的速度保持在阈值以下等。自体计算设备可以通过在存储器中存储或分配用于各个目的节点的数据结构来生成一个或多个目的节点。自体计算设备可以用关于相应目的节点的目的的信息填充用于不同目的节点的数据结构，诸如目的的标识和关于目的的任何元数据(例如用于目的节点的节点得分)。

自体计算设备可以针对分层节点图的一个或多个交互层中的每个交互层生成一个或多个交互节点。自体计算设备可以基于自体计算设备在自体对象和检测到的代理对象之间确定的潜在交互和/或非交互来生成交互节点。自体计算设备可以确定用于目的节点中的每个目的节点的这种交互和/或非交互。例如，针对与左转进入远车道的目的相关联的目的节点，自体计算设备可以确定与在车道上穿过街道的行人和在同一车道上接近的另一车辆的潜在交互或非交互。例如，自体计算设备可以通过使用对象是什么的位置和/或标识查询存储器来确定潜在的交互，并且标识与场景相对应的潜在交互。在一些情况下，自体计算设备可以执行机器学习模型(例如神经网络、支持向量机、随机森林等)来标识不同的潜在交互。自体计算设备可以类似地查询存储器或执行机器学习模型，以确定哪些代理对象可以参与用于自体实现目的的潜在交互。在一些情况下，自体计算设备类似地确定与所标识的代理对象的潜在交互，而无需首先确定哪些代理对象可以参与与自体对象的潜在交互以用于执行目的。自体计算设备可以生成将交互节点链接至分层节点图中的目的节点的交互节点。自体计算设备可以包括交互标识以及关于被链接至目的节点的每个交互节点中的交互的元数据(例如交互类型、用于交互的交互节点的节点得分、交互节点的对象中的一个或每个对象的速度等)。自体计算设备可以将任何数目的交互节点链接至目的节点。

自体计算设备可以顺序地链接依赖于彼此的不同交互层的交互节点。例如，与代理对象的一个交互可以只能够在与同一代理对象或不同代理对象的另一交互之后发生。因此，自体计算设备可以在分层节点图的单独交互层中将后续交互与早期交互链接。例如，自体对象可以让行人穿过街道，然后让另一车辆经过自体对象。自体计算设备可以在分层节点图的相邻层中将用于让行人经过的交互节点链接至用于让车辆经过的交互节点。自体计算设备可以将任何数目的交互节点链接至任何数目的层中的各个交互节点。因此，自体计算设备可以考虑到可以发生的不同交互或非交互以及用于自体对象实现的目的来生成分层节点图。

在一些情况下，分层节点图可以由服务器(例如分析服务器110a)生成并且部署在自体对象上。例如，服务器可以从自主驾驶场景中的不同自体对象接收图像数据，这些场景涉及场景内自体对象周围的不同代理对象。服务器可以接收自主驾驶场景的数据，并且生成分层节点图(例如单个分层节点图)，该分层节点图覆盖了具有用于场景的目的的目的节点以及用于与场景的代理对象进行交互和非交互的交互节点的场景中的每个场景。当服务器从自体对象接收用于场景的数据时，服务器可以通过针对不同场景添加目的节点和交互节点来生成分层节点图。服务器可以避免目的节点或交互节点的重复，例如通过在向分层节点图添加新节点之前、针对相同类型的节点(例如目的节点或交互节点)分析分层节点图、以及仅响应于确定相同节点或类似节点(例如具有类似于阈值以上的元数据的节点)尚未存在于分层节点图而添加新节点。在一些情况下，诸如为了保护处理资源，分析可以只在节点将被添加到的同一节点分支中的节点(例如彼此链接的节点)上进行。服务器可以随着时间的推移生成这种节点分层节点图。服务器可以将分层节点图(例如作为主分层节点图)部署(例如诸如以二进制文件发送到各个自体对象以用于使用)到自体对象，以用于本文描述的自主驾驶。部署后，服务器可以继续接收数据，并且基于接收到的数据更新分层节点图。服务器可以响应于接收到这样做的输入，或响应于确定满足任何其他条件，以设定的间隔部署分层节点图的更新版本。

自体计算设备可以针对分层节点图的节点生成节点得分。自体计算设备可以针对交互节点和目的节点生成这种节点得分。自体计算设备可以使用分析协议(例如被配置为生成用于节点的节点得分的函数、算法、机器学习模型或人工智能模型)针对各个节点生成节点得分。例如，自体计算设备可以通过检索节点数据结构中的数据并且执行被训练以针对节点生成得分的神经网络来针对节点生成节点得分。神经网络可以基于相应节点内的数据来输出用于各个节点的节点得分。在另一示例中，自体计算设备可以通过对节点内的值执行函数(例如总和、中值、平均值、加权和、加权平均值等)来生成节点得分。自体计算设备可以以任何方式针对节点生成节点得分。

在一些情况下，节点得分可以对应于诸如舒适度、基于物理的约束(例如碰撞检查)、干预可能性(例如人类干预的可能性)和/或类人鉴别器(例如指示人类驾驶员将执行相同决策的得分)的因素。例如，当训练神经网络(或另一机器学习模型)时，可以训练神经网络以生成与这些因素的每个因素或子集相关的得分，其中各个因素的较高值可以对应于较高的得分，而较低级别的因素可以对应于较低的得分。因此，当神经网络针对节点生成得分时，神经网络可以模拟确定表示或对应于这些因素的得分。在另一示例中，可以训练或配置不同的机器学习模型(例如神经网络)或函数，以针对不同因素生成得分。在这种情况下，机器学习模型或函数可以被配置为处理来自相应节点的特定类型的数据或相同类型的数据。针对每个节点，不同的机器学习模型或函数可以针对相应因素输出得分。不同的机器学习模型或函数可以处理因素的得分，以针对节点生成节点得分。用于因素的得分可以是节点得分。自体计算设备可以存储针对相应节点本身中的节点生成的任何节点得分。服务器可以类似地生成节点得分，并且将其存储在服务器生成的分层节点图的节点中。

在非限制性示例中，现在参照图3，描绘了车行道场景300。车行道场景300包括尝试左转进入十字路口的车道304的自体对象302。这样做时，自体对象302的自体计算设备可以收集围绕自体对象302的环境的图像数据。从图像数据中，自体计算设备可以检测到车道304以及代理对象306和308。代理对象306可以是在车道304上穿过道路的行人。代理对象308可以是在行人后面右转到自体对象302尝试转向的同一道路上的车辆。自体计算设备可以基于与代理对象306和308的潜在交互来生成分层节点图。

再次参照图2，在步骤206处，自体计算设备将交互节点(例如第二交互节点)添加到分层节点图的交互节点的后续层。自体计算设备可以在例如步骤204中生成分层节点图时或者在生成分层节点图之后执行步骤206以更新分层节点图。自体计算设备可以响应于检测或确定与围绕分层节点图的空间中的代理节点的交互而添加交互节点。在一个示例中，自体计算设备可以在生成分层节点图并且在围绕自体对象的空间中检测到新的代理节点后添加交互节点。自体计算设备可以通过确定新交互节点所依赖的一个或多个交互节点来添加交互节点(例如基于新交互节点的交互是在先前交互节点的交互之后还是基于先前交互节点的交互发生的)。自体计算设备可以将交互节点添加到交互层中的分层节点图，该交互层跟随先前交互节点所位于的交互层之后。

自体计算设备可以响应于确定用于交互节点的节点得分超过阈值而添加交互节点。例如，在将交互节点添加到分层节点图之前，自体计算设备可以确定用于交互节点的节点得分。自体计算设备可以基于交互节点中的数据使用本文描述的系统和方法来这样做。自体计算设备可以将节点得分与阈值(例如定义的阈值)进行比较。响应于确定节点得分超过阈值，自体计算设备可以将交互节点添加到分层节点图。否则，自体计算设备可以丢弃交互节点(例如从存储器移除交互节点或以其他方式不将交互节点添加到分层节点图)，或者将交互节点添加到具有限制将任何其他交互节点与交互节点链接的标志的分层节点图。在一些情况下，自体计算设备可以针对用于交互节点的不同因素生成节点得分，并且将节点得分与阈值(例如针对每个因素的相同阈值或不同阈值)进行比较。自体计算设备可以响应于确定得分超过阈值的数目或组合(例如定义数目或组合)而将交互节点添加到分层节点图。否则，自体计算设备可以丢弃交互节点。服务器可以类似地将交互节点添加到服务器生成的分层节点图。

在一些情况下，自体计算设备可以从分层节点图移除节点。例如，自体计算设备可以标识分层节点图的不同节点的节点得分。自体计算设备可以将节点得分与阈值进行比较。响应于确定用于节点的节点得分小于阈值，自体计算设备可以从分层节点图移除该节点。在从分层节点图移除节点时，自体计算设备可以标识依赖于分层节点图中的被移除节点的任何节点。在一些情况下，自体计算设备可以进一步响应于确定相应的被移除节点不依赖于分层节点图中的另一节点(例如先前交互层或目的层中的节点)而移除任何这种节点。这样做时，自体计算设备可以从分层节点图移除不期望的节点和分支，管理员可能永远不希望将其选择为所选择的轨迹的一部分，或者可以使包括被移除节点的轨迹永远不被选择。因此，自体计算设备可以避免使用在分层节点图存储和/或轨迹选择中存储被移除节点或被移除分支所要求的处理资源。

在另一示例中，自体计算设备可以维持分层节点图的定义大小。例如，当将交互节点添加到分层节点图时，自体计算设备可以确定添加节点是否会使得分层节点图具有超过阈值的大小(例如节点数目)。自体计算设备可以针对分层节点图的每个节点(例如每个交互节点)实例化和递增计数器，并且针对要被添加的节点递增计数器。响应于确定新节点使得或将使得分层节点图具有超过阈值的大小，自体计算设备可以标识不同节点(例如不同交互节点)的节点得分，并且移除具有最低的交互得分的交互节点或具有低于阈值的节点得分的交互节点，包括依赖于所选择的节点的任何节点。自体计算设备可以根据被移除的节点数目递减计数器。因此，自体计算设备可以维持恒定或一致的大小，以维持在自体计算设备检测到其他代理对象时维持分层节点图并且避免处理中的尖峰的处理要求。

在非限制性示例中，参照图4A至4F，自体计算设备可以基于在围绕自体对象的环境中检测到的代理对象来生成分层节点图400。分层节点图400可以包括目的层402、轨迹层404、交互层406、交互层408和目的层410。交互层406可以是初始交互层。交互层408可以是后续交互层。自体计算设备可以基于自体计算设备从来自自体对象的相机的图像数据中检测到的车道412、占用414和移动对象(例如代理对象)416来生成分层节点图400。

为了生成分层节点图400，自体计算设备可以使用基于步骤的方法。例如，自体计算设备可以首先生成目的节点418、420、422和424，并且将这些目的节点418、420、422和424添加到分层节点图400。自体计算设备可以针对目的节点418、420、422和424中的每个目的节点生成节点得分。自体计算设备可以将用于目的节点418、420、422和424的节点得分与阈值进行比较。自体计算设备可以确定用于目的节点418、420和422中的每个目的节点的目的节点，但不能确定用于目的节点424的目的节点。因此，自体计算设备可以生成轨迹节点426、428、430和432，它们相应地被链接至不同的目的节点418、420和422，但不被链接至目的节点424，因为用于目的节点424的节点得分低于阈值。轨迹节点和轨迹层可以被包括也可以不被包括在自体计算设备在实现本文描述的系统和方法时创建的分层数据结构中。轨迹节点426、428、430和432可以与自体对象可以采取的不同运动、路径或轨迹相对应，以实现轨迹节点426、428、430和432所链接或依赖的目的节点418、420、422的目的。轨迹节点可以在轨迹节点426、428、430和432中存储相应轨迹的数据(例如移动速度和位置)。

自体计算设备可以对轨迹节点426、428、430和432中的数据使用函数或机器学习模型来生成用于轨迹节点426、428、430和432的节点得分。自体计算设备可以将轨迹节点426、428、430和432的节点得分与阈值进行比较。自体计算设备可以标识超过阈值的轨迹节点，并且基于标识的轨迹节点生成初始交互层的交互节点。例如，自体计算设备可以确定用于轨迹节点430的节点得分超过阈值，并且响应于该确定生成被链接至轨迹节点430和/或依赖于轨迹节点430的交互节点434和436。用于交互节点434的交互可以是在行人前方驾驶，如图像448所图示的。用于交互节点436的交互可以是让行人经过(例如向行人让行)并且在行人之后左转，如图像450所图示的。自体计算设备可以确定用于交互节点434和436的节点得分，并且将节点得分与阈值(例如与被用于轨迹节点426、428、430和432的节点得分的阈值相同的阈值或不同的阈值)进行比较。自体计算设备可以确定交互节点436的节点得分超过阈值，但交互节点434的节点得分没有超过阈值。因此，自体计算设备可以不将任何其他交互节点链接至交互节点434，而是可以将依赖于(例如被链接至)交互节点436的交互节点440、442和442添加到分层节点图400。用于交互节点440的交互可以是根据交互节点436的交互在行人后面但在另一车辆前方驾驶，如图像452所图示的。用于交互节点442的交互可以是让行人和车辆经过(例如向行人和车辆让行)并且左转，如图像454所图示的。自体计算设备可以针对任何数目的交互节点和/或交互层重复该过程。

在一些情况下，自体计算设备可以生成依赖于交互节点的目的节点。例如，如果自体计算设备确定交互节点442的交互的发生将触发另一目的，则自体计算设备可以生成目的节点446，该目的节点446依赖于交互节点442。自体计算设备可以通过确定交互节点442的数据满足存储在存储器中的条件来做出这种确定。在一个示例中，交互可以是在让代理对象经过自体对象后完成左转。自体计算设备可以分析交互节点442后的新状态，并且生成目的节点446，以在自体对象正在驾驶的新车道上直线驾驶。新目的可以对应于新的轨迹，或者发起重复方法200以生成分层节点图来选择轨迹。

再次参照图2，在步骤208处，自体计算设备确定用于分层节点图的多个轨迹中的每个轨迹的轨迹得分。轨迹可以是或包括目的节点和在交互节点层之间彼此链接的一个或多个交互节点。例如，轨迹可以包括与其中自体对象以左转为目的并且自体计算设备检测到穿过的行人和另一车辆经过的场景相对应的节点。轨迹可以涉及与行人穿过道路并且车辆经过后左转相对应的节点。场景中的另一轨迹可以是在行人前方左转。场景中的另一轨迹可以是在行人后面但车辆经过之前左转。另一轨迹可以是完全避开行人和经过的车辆，并且取而代之地右转。可以存在与分层节点图的节点相对应的任何数目的轨迹。自体计算设备可以根据或以其他方式基于轨迹节点的节点得分来确定轨迹的轨迹得分。例如，自体计算设备可以对每个轨迹的节点的节点得分执行函数(例如求和或聚合技术、中值、平均值、加权和、加权平均值等)或机器学习模型，以生成用于相应轨迹的轨迹得分。

在一些情况下，自体计算设备可以确定用于各个轨迹的多个轨迹得分。不同的轨迹得分可以对应于不同的因素(例如基于物理的约束(例如碰撞检查)、舒适度分析、干预可能性、类人鉴别器等)。自体计算设备可以对用于相应因素的节点得分使用上述函数或机器学习模型来确定用于这些因素的轨迹得分。在一些情况下，自体计算设备可以组合用于轨迹的不同轨迹得分以生成单个轨迹得分，诸如通过使用函数或机器学习模型来这样做。

在一些情况下，自体计算设备可以从分层节点图移除整个轨迹。自体计算设备可以通过在存储器中存储指示不使用轨迹的标志或指示或者通过删除轨迹的节点来从分层节点图移除各个轨迹。自体计算设备可以响应于确定用于轨迹的轨迹得分低于阈值或响应于确定该轨迹得分满足另一条件(诸如分层节点图的轨迹的最低轨迹得分)而移除轨迹。这样做时，自体计算设备可以减小分层节点图的大小，或者以其他方式确保处理资源不被浪费在评估低评分轨迹上。

在步骤210处，自体计算设备针对自体对象选择轨迹。自体计算设备可以基于自体计算设备从分层节点图确定的轨迹的轨迹得分来选择用于自体对象的轨迹。自体对象可以响应于确定用于轨迹的轨迹得分满足条件来选择轨迹。在一个示例中，自体对象可以响应于确定用于轨迹的轨迹得分是自体计算设备确定的轨迹得分中的最高得分而选择轨迹。响应于选择轨迹，自体计算设备可以根据所选择的轨迹来控制自体对象。

结合本文公开的实施例而描述的各种说明性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或这两者的组合。为了清晰地说明硬件和软件的这种可互换性，已经在其功能性方面总体描述了各种说明性组件、块、模块、电路和步骤。这种功能性是被实现为硬件还是软件取决于特定应用和施加在整个系统上的设计约束。本领域技术人员可以针对每个特定应用以不同方式实现所描述的功能性，但这种实现决策不应当被解释为导致偏离本公开或权利要求的范围。

在计算机软件中实现的实施例可以在软件、固件、中间件、微码、硬件描述语言或其任何组合中被实现。代码段或机器可执行指令可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序语句的任何组合。通过传递和/或接收信息、数据、自变量、参数或存储器内容，代码段可以被耦合至另一代码段或硬件电路。信息、自变量、参数、数据等可以经由任何适合的手段(包括存储器共享、消息传递、令牌传递、网络传输等)来被传递、转发或发送。

被用于实现这些系统和方法的实际软件代码或专用控制硬件并不限制所要求保护的特征或本公开。因此，在不参照具体软件代码的情况下描述系统和方法的操作和行为，要理解，软件和控制硬件可以被设计为基于本文中的描述来实现系统和方法。

当在软件中被实现时，功能可以作为一个或多个指令或代码被存储在非暂态的计算机可读或处理器可读的存储介质上。本文公开的方法或算法的步骤可以被实施在处理器可执行软件模块中，该处理器可执行软件模块可以驻留在计算机可读或处理器可读存储介质上。非暂态计算机可读或处理器可读介质包括计算机存储介质和有形存储介质两者，有形存储介质促进将计算机程序从一个地方转移到另一地方。非暂态的处理器可读存储介质可以是由计算机可以访问的任何可用介质。通过示例而非限制，这种非暂态的处理器可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储装置、磁盘存储装置或其他磁性存储设备、或者任何其他有形存储介质，该任何其他有形存储介质可以被用于以指令或数据结构的形式存储期望的程序代码并且可以由计算机或处理器访问。本文使用的磁盘和光盘包括光碟(CD)、激光光盘、光盘、数字多功能光盘(DVD)、蓝光盘和软盘，其中“磁盘”通常磁性地再现数据，而“光盘”则用激光光学地再现数据。上面各项的组合也应该被包括在计算机可读介质的范围内。附加地，方法或算法的操作可以作为代码和/或指令的一个或任何组合或集合驻留在非暂态的处理器可读介质和/或计算机可读介质上，这些非暂态的处理器可读介质和/或计算机可读介质可以并入计算机程序产品中。

提供所公开的实施例的前述描述是为了使得本领域技术人员能够制造或使用本文描述的实施例及其变化。对这些实施例的各种修改对于本领域技术人员来说将是很明显的，并且本文定义的原理可以被应用于其他实施例，而不脱离本文公开的主题的精神或范围。因此，本公开并不旨在限于本文所示的实施例，而是要被赋予与以下权利要求以及本文公开的原理和新颖特征一致的最宽范围。

虽然已经公开了各个方面和实施例，但也设想其他方面和实施例。所公开的各个方面和实施例是出于说明的目的，并不旨在进行限制，真实的范围和精神由以下权利要求指示。

Claims (20)

1.一种方法，包括：

由处理器使用由自体对象的相机捕获的图像数据来检测所述自体对象周围的空间中的一个或多个代理对象；

由所述处理器存储分层节点图，所述分层节点图包括：

目的层，所述目的层包括与用于所述自体对象实现的目的相对应的一个或多个目的节点；

在所述目的层之后的交互节点的多个交互层，每个交互节点与鉴于所述一个或多个代理对象的用于所述自体对象的多个轨迹中的至少一个轨迹相对应并且与节点得分相对应，所述多个交互层包括交互节点的初始交互层和所述交互节点的初始交互层之后的交互节点的多个后续交互层，其中所述多个后续交互层中的每个交互节点依赖于所述多个交互层中的先前交互层中的至少一个交互节点；

响应于确定所述交互节点的初始交互层中的第一交互节点的节点得分超过阈值，由所述处理器将第二交互节点添加到所述多个后续交互层中的交互节点的后续交互层，所述第二交互节点被链接至所述第一交互节点；

由所述处理器基于与所述轨迹相对应的一个或多个节点的一个或多个节点得分来确定用于所述多个轨迹中的每个轨迹的轨迹得分；以及

由所述处理器基于用于所述轨迹的所述轨迹得分来针对所述自体对象选择所述多个轨迹中的轨迹。

2.根据权利要求1所述的方法，还包括：

由所述处理器根据所选择的所述轨迹来控制所述自体对象。

3.根据权利要求1所述的方法，其中确定用于所述轨迹的所述轨迹得分包括：由所述处理器聚合所述轨迹的所述一个或多个节点的所述一个或多个节点得分。

4.根据权利要求1所述的方法，其中选择所述轨迹包括：响应于确定用于所述轨迹的所述轨迹得分高于所述多个轨迹中的其他轨迹的轨迹得分，由所述处理器选择所述轨迹。

5.根据权利要求1所述的方法，还包括：

由所述处理器执行神经网络，以确定用于所述分层节点图的每个交互节点的所述节点得分。

6.根据权利要求1所述的方法，其中用于每个交互节点的所述节点得分与关联于所述交互节点的舒适度相对应。

7.根据权利要求1所述的方法，其中用于每个交互节点的所述节点得分与关联于所述交互节点的舒适度以及关联于所述交互节点的干预可能性相对应。

8.根据权利要求1所述的方法，还包括：

响应于使用由所述自体对象的相机捕获的图像数据检测到所述自体对象周围的所述空间中的所述一个或多个代理对象，由所述处理器生成所述分层节点图。

9.根据权利要求1所述的方法，还包括：

由所述处理器执行分析协议，以确定用于所述分层节点图的每个交互节点的所述节点得分；

由所述处理器将所述节点得分与阈值进行比较；以及

由所述处理器从所述分层节点图移除所述分层节点图的与小于所述阈值的节点得分相对应的每个交互节点。

10.根据权利要求1所述的方法，还包括：

响应于确定将所述第二交互节点添加到所述多个后续层中的交互节点的所述后续层使得所述分层节点图的节点数目超过阈值，由所述处理器基于用于第三节点的节点得分来从所述分层节点图移除所述第三节点。

11.一种自体对象，包括：

相机；

处理器；以及

非暂态计算机可读介质，所述非暂态计算机可读介质被配置为由所述处理器执行，其中所述处理器被配置为：

使用由所述相机捕获的图像数据来检测自体对象周围的空间中的一个或多个代理对象；

存储分层节点图，所述分层节点图包括：

目的层，所述目的层包括与用于所述自体对象实现的目的相对应的一个或多个目的节点；

在所述目的层之后的交互节点的多个交互层，每个交互节点与鉴于所述一个或多个代理对象的用于所述自体对象的多个轨迹中的至少一个轨迹相对应并且与节点得分相对应，所述多个交互层包括交互节点的初始交互层和所述交互节点的初始交互层之后的交互节点的多个后续交互层，其中所述多个后续交互层中的每个交互节点依赖于所述多个交互层中的先前交互层中的至少一个交互节点；

响应于确定所述交互节点的初始交互层中的第一交互节点的节点得分超过阈值，将第二交互节点添加到所述多个后续交互层中的交互节点的后续交互层，所述第二交互节点被链接至所述第一交互节点；

基于与所述轨迹相对应的一个或多个节点的一个或多个节点得分来确定用于所述多个轨迹中的每个轨迹的轨迹得分；以及

基于用于所述轨迹的所述轨迹得分来针对所述自体对象选择所述多个轨迹中的轨迹。

12.根据权利要求11所述的自体对象，其中所述处理器还被配置为：

根据所选择的所述轨迹来控制所述自体对象。

13.根据权利要求11所述的自体对象，其中所述处理器被配置为通过聚合所述轨迹的所述一个或多个节点的所述一个或多个节点得分来确定用于所述轨迹的所述轨迹得分。

14.根据权利要求11所述的自体对象，其中所述处理器被配置为通过响应于确定用于所述轨迹的所述轨迹得分高于所述多个轨迹中的其他轨迹的轨迹得分而选择所述轨迹来选择所述轨迹。

15.根据权利要求11所述的自体对象，其中所述处理器还被配置为：

执行神经网络，以确定用于所述分层节点图的每个交互节点的所述节点得分。

16.根据权利要求11所述的自体对象，其中用于每个交互节点的所述节点得分与关联于所述交互节点的舒适度相对应。

17.根据权利要求11所述的自体对象，其中用于每个交互节点的所述节点得分与关联于所述交互节点的舒适度以及关联于所述交互节点的干预可能性相对应。

18.根据权利要求11所述的自体对象，其中所述处理器还被配置为：

响应于使用由所述自体对象的相机捕获的图像数据检测到所述自体对象周围的所述空间中的所述一个或多个代理对象，生成所述分层节点图。

19.根据权利要求11所述的自体对象，其中所述处理器还被配置为：

执行分析协议，以确定用于所述分层节点图的每个交互节点的所述节点得分；

将所述节点得分与阈值进行比较；以及

从所述分层节点图移除所述分层节点图的与小于所述阈值的节点得分相对应的每个交互节点。

20.根据权利要求11所述的自体对象，其中所述处理器还被配置为：

响应于确定将所述第二交互节点添加到所述多个后续层中的交互节点的所述后续层使得所述分层节点图的节点数目超过阈值，基于用于第三节点的节点得分来从所述分层节点图移除所述第三节点。