CN119600563A - 用于收集数据以用于对象检测模型的后续训练的方法 - Google Patents

Abstract

本发明涉及用于收集数据以用于对象检测模型的后续训练的方法，由车辆执行的计算机实现的方法(100)包括：响应于检测到车辆或其他道路使用者的规避动作，获取(S102)与检测到规避动作的场景有关的传感器数据；通过对象检测模型基于传感器数据来确定(S104)在场景中是否检测到对象；以及响应于没有检测到对象，存储(S106)传感器数据以用于对象检测模型的后续训练。本发明进一步涉及在服务器中执行的方法。

Description

用于收集数据以用于对象检测模型的后续训练的方法

技术领域

本发明构思涉及自主车辆领域。特别地，本发明涉及用于收集数据以用于对象检测模型的后续训练的方法以及设备。

背景技术

近年来，随着技术的发展，图像捕获和处理技术已被广泛应用于不同的技术领域。特别是，如今生产的车辆通常配备有某种形式的视觉或感知系统，以用于实现新的功能。此外，越来越多的现代化车辆具有先进驾驶员辅助系统(ADAS)以提高车辆安全性以及更普遍的道路安全性。ADAS(例如，可以由自适应巡航控制(ACC)、防撞系统、前向碰撞警告、车道支持系统等来代表)是一种对车辆驾驶员进行辅助的电子系统。如今，在与ADAS领域以及自主驾驶(AD)领域相关联的诸多技术领域内，正在进行研究和开发。也可以在通用术语自动驾驶系统(ADS)下提及ADAS和AD，该ADAS和AD与例如由SAE J3016驾驶自动化级别(0-5)定义的所有不同的自动化级别相对应。

ADAS和AD系统的一项重要任务是检测道路上的障碍物，这在今天通常是基于训练得到的机器学习模型通过在车辆所捕获的图像中进行对象检测来完成的。开发用于对象检测的系统的关键挑战之一在于，收集大型的且具有代表性的数据集。

利用当今可用的机器学习算法，人们可以相对确信，在检测在数据集中具有良好支持的那些类型的对象方面可以实现良好的性能。例如其他的车辆、行人、骑自行车的人、交通锥等的示例很容易获取，因为这些类型的对象在驾驶情景中会经常遇到。然而，对于数据很少或没有数据的不太常见的对象而言，情况并非如此。此类对象的示例是道路的废弃物或其他类型的意外阻碍(诸如，路面损坏)。此类对象的基本特性是，它们可以以任何方式、形状或形式出现，并且出现的次数极不规则。由于废弃物或其他意外阻碍的种类繁多且罕见，因此训练对象检测模型来很好地检测所有这些对象在当下是一项具有挑战性且耗费时间的任务。例如，一个人可能会驾驶数百公里或者甚至数千公里，而甚至不会遇到任何废弃物。

因此，当涉及到对用于识别废弃物或其他意外阻碍的对象检测模型的开发，特别是涉及到收集此类对象的训练数据时，需要加以改进。

发明内容

本文中所公开的技术寻求减轻、缓解或消除现有技术中的一个或多个以上所提及的缺陷和缺点，以解决与收集罕见或意外对象的数据以开发自主或半自主车辆相关的各种问题。

为了提高自动驾驶系统的性能，特别是所述系统的对象检测模型的性能，应收集并标记尽可能多的数据，以用于在对象检测模型的训练中使用。如以上所强调的，废弃物或其他类型的意外阻碍的基本特性，即它们中存在的多样性和罕见性，使得这成为了一项非常具有挑战性的任务。

发明人已经实现了一种新的且改进后的收集训练数据(特别是这类对象的训练数据)的方式。本公开的技术提供了一种收集随后可被用于对象检测模型的后续训练的数据的方式。本发明构思至少部分地建立于这样的认知上，即由车辆执行的意外规避动作可以被用作存在着对象的预示信号。这是本技术建立于其上的第一个指标。此外，如果对象检测模型在发生了规避动作的场景中未能检测到对象，则可以将其用作在该位置处存在某种类型的废弃物或意外阻碍的预示信号，这是对象检测模型以前在当前的训练数据集中从未遇到过的。这是本技术建立于其上的第二个指标。

所公开的发明的各方面及实施例在下面以及所附的独立权利要求和从属权利要求中被限定。

根据第一方面，提供了一种由车辆执行的计算机实现的方法，用于收集数据以用于自动驾驶系统的对象检测模型的后续训练。该方法包括：响应于检测到车辆或其他道路使用者的规避动作，获取与检测到规避动作的场景有关的传感器数据。该方法进一步包括：通过对象检测模型基于传感器数据来确定在场景中是否检测到对象。该方法进一步包括：响应于没有检测到对象，存储传感器数据以用于对象检测模型的后续训练。

本公开技术的一个可行的相关优点在于，它提供了一种收集对象检测模型的训练数据的改进方式，这反过来又促进了更安全且更有能力的对象检测模型，因为这些模型可以在更多种类的对象上进行训练。特别地，本发明构思提供了一种针对在道路上可能会出现的新的或罕见的对象(诸如，废弃物或其他类型的阻碍对象)的改进的数据挖掘方式。该方法可以以自动化形式来实现这一点，这允许从大型数据流中提取这类数据。更具体地说，本技术可以利用车队从真实世界驾驶情景中收集这些数据。存储和手动浏览所有这些数据不是一种可行的替代方案。

本公开的技术可以进一步提高相关数据和/或注释数据的收集速度。这可以通过检测规避动作的事实与对象检测模型未能检测到对象的事实一起来达成，可以被用作针对场景而获取的传感器数据的预注释。预注释可以是针对在场景中存在着对象检测模型尚未在其上进行训练的新的或罕见的对象的指示。因此，这种预注释也可以被用作数据潜在相关性的指示，从某种意义上来说，如果对象检测模型在所述数据上进行训练，则可以提高其性能。

此外，本公开技术的一些实施例在处理潜在的训练样本时提供了改进的准确性和效率，因为在对潜在的训练样本采取行动之前，它可以依赖于对规避动作的多次检测。

根据第二方面，提供了一种包括指令的计算机程序产品，当程序由计算设备执行时，这些指令使计算设备执行根据第一方面的任何实施例的方法。根据第二方面的可替代实施例，提供了一种(非暂时性)计算机可读存储介质。非暂时性计算机可读存储介质存储被配置为由处理系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行根据第一方面的任何实施例的方法的指令。当可应用时，第一方面的以上所提及的特征也适用于该第二方面。为了避免不必要的重复，可参考上述内容。

根据第三方面，提供了一种由服务器执行的计算机实现的方法，用于收集数据以用于自动驾驶系统的对象检测模型的后续训练。该方法包括：从车辆接收如下数据，该数据指示尽管在检测到车辆或其他道路使用者的规避动作的场景中对象检测模型没有检测到对象，但已检测到该规避动作。该方法进一步包括：接收与检测到规避动作的场景有关的传感器数据。该方法进一步包括：存储传感器数据以用于对象检测模型的后续训练。当可应用时，第一方面和第二方面的以上所提及的特征也适用于该第三方面。为了避免不必要的重复，可参考上述内容。

根据第四方面，提供了一种包括指令的计算机程序产品，当程序由计算设备执行时，这些指令使计算设备执行根据第三方面的任何实施例的方法。根据第四方面的可替代实施例，提供了一种(非暂时性)计算机可读存储介质。非暂时性计算机可读存储介质存储被配置为由处理系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行根据第三方面的任何实施例的方法的指令。当可应用时，第一方面、第二方面和第三方面的以上所提及的特征也适用于该第四方面。为了避免不必要的重复，可参考上述内容。

根据第五方面，提供了一种车辆，能够收集数据以用于对象检测模型的后续训练，该对象检测模型被配置为检测车辆周围环境中的对象。车辆包括一个或多个传感器。该车辆进一步包括：控制电路，被配置为响应于检测到车辆或其他道路使用者的规避动作，而获取与检测到规避动作的场景有关的传感器数据。该控制电路进一步被配置为：通过对象检测模型基于传感器数据来确定在场景中是否检测到对象。该控制电路进一步被配置为：响应于没有检测到对象，存储传感器数据以用于对象检测模型的后续训练。当可应用时，第一方面至第四方面的以上所提及的特征也适用于该第五方面。为了避免不必要的重复，可参考上述内容。

根据第六方面，提供了服务器，用于收集数据以用于自动驾驶系统的对象检测模型的后续训练。服务器包括：控制电路，被配置为从车辆接收如下数据，该数据用于指示尽管在检测到由车辆或其他道路使用者执行的规避动作的场景中对象检测模型没有检测到对象，但已检测到该规避动作。控制电路进一步被配置为：接收与检测到规避动作的场景有关的传感器数据。控制电路进一步被配置为：存储传感器数据以用于对象检测模型的后续训练。当可应用时，第一方面至第五方面的以上所提及的特征也适用于该第六方面。为了避免不必要的重复，可参考上述内容。

根据第七方面，提供了一种用于训练对象检测模型的方法。该方法包括：获取训练数据集，该训练数据集包括由根据第一方面或第三方面的任何实施例的方法所收集的用于训练对象检测模型的数据。该方法进一步包括：在所获取的训练数据集上训练对象检测模型。训练对象检测模型的步骤在服务器中或者在车辆中执行。当可应用时，第一方面至第六方面的以上所提及的特征也适用于该第七方面。为了避免不必要的重复，可参考上述内容。

如本文中所使用的术语“非暂时性”旨在描述计算机可读存储介质(或“存储器”)，排除了传播电磁信号，但并不旨在以其他方式限制由短语“计算机可读介质或存储器”所涵盖的物理计算机可读存储设备的类型。例如，术语“非暂时性计算机可读介质”或“有形的存储器”旨在涵盖不必永久地存储信息的存储设备的类型，包括例如随机存取存储器(RAM)。以非暂时性的形式存储在有形的计算机可访问存储介质上的程序指令和数据可以进一步通过传送介质或诸如电子、电磁或数字信号的信号来传送，这些信号可以通过诸如网络和/或无线链路的通信介质来传递。因此，如本文中使用的，术语“非暂时性”是对介质本身的限制(即，有形的，而不是信号)，而不是对数据存储持久性的限制(例如，RAM对比ROM)。

所公开的各方面和优选实施例可以以对于本领域普通技术人员而言显而易见的任何方式来彼此适当地组合，使得关于一个方面所公开的一个或多个特征或实施例也可以被认为是关于另一方面或另一方面的实施例所公开的。

进一步的实施例在从属权利要求中定义。应强调，当在本说明书中使用时，术语“包括/包含”用于指明所述特征、整体、步骤或部件的存在。它并不排除一个或多个其他特征、整体、步骤、部件或它们的组的存在或添加。

所公开的技术的这些以及其他的特征和优点将在以下参考下文中所描述的实施例来进一步阐明。

附图说明

当结合所附附图使用时，通过参考本公开的示例实施例的以下说明性且非限制性的详细描述，将更充分地理解所公开的技术的上述方面、特征和优点，其中：

图1是根据一些实施例的由车辆执行的用于收集数据以用于自动驾驶系统的对象检测模型的后续训练的方法的示意性流程图表示。

图2是根据一些实施例的由服务器执行的用于收集数据以用于自动驾驶系统的对象检测模型的后续训练的方法的示意性流程图表示。

图3是根据一些实施例的用于训练对象检测模型的方法的示意性流程图表示。

图4是根据一些实施例的车辆的示意性图示。

图5是根据一些实施例的服务器的示意性图示。

图6是根据一些实施例的用于收集数据以用于对象检测模型的后续训练的分布式系统的示意性图示。

图7A和图7B通过示例的方式示意性地图示出了其中检测到规避动作的第一驾驶情景和第二驾驶情景。

具体实施方式

现在将参考所附附图来详细地描述本公开，其中示出了所公开的技术的一些示例实施例。然而，所公开的技术可以以其他的形式来体现，并且不应被解释为限于所公开的示例实施例。提供所公开的示例实施例以将所公开的技术的范围充分地传达给本领域技术人员。本领域技术人员将理解，本文中所解释的步骤、服务和功能可以使用单独的硬件电路、使用与编程微处理器或通用计算机协同工作的软件、使用一个或多个专用集成电路(ASIC)、使用一个或多个现场可编程门阵列(FPGA)和/或使用一个或多个数字信号处理器(DSP)来实现。

还将理解，当采用方法的形式来描述本公开时，本公开也可以被体现在包括一个或多个处理器、与一个或多个处理器耦接的一个或多个存储器的装置中，在该装置中加载有计算机代码以实现该方法。例如，在一些实施例中，一个或多个存储器可以存储一个或多个计算机程序，该计算机程序在由一个或多个处理器执行时，使该装置执行本文中所公开的步骤、服务和功能。

还应当理解的是，本文中所使用的术语仅用于描述特定实施例的目的，并且并不旨在进行限制。必须注意的是，如在本说明书和所附权利要求中所使用的，用语“一”、“一个”、“该”和“所述”旨在表示存在一个或多个元素，除非上下文另有明确规定。因此，例如，在某些上下文等中，对“一个单元”或“该单元”的引用可以指多于一个的单元。此外，词语“包含”、“包括”、“含有”并不排除其他的元素或步骤。应当强调的是，当在本说明书中使用时，术语“包含/含有”用于指定所述特征、整体、步骤或部件的存在。它并不排除一个或多个其他特征、整体、步骤、部件或它们的组的存在或添加。术语“和/或”应被解释为“两者”且各自都作为替代方案的含义。

将理解，尽管本文中可以使用术语“第一”、“第二”等来描述各种元件或特征，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区分开来。例如，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件，而并不脱离实施例的范围。第一元件和第二元件都是元件，但它们不是同一元件。

如本文中所使用的，一组元素中的“一个或多个”一词(例如，“A、B和C中的一个或多个”或“A、B和C中的至少一个”)应被解释为合取逻辑或析取逻辑。换言之，它可以指所有元素、一组元素中的一个元素或者两个或更多个元素的组合。例如，“A、B和C中的一个或多个”一词可以被解释为A或B或C、A和B和C、A和B、B和C、或者A和C。

目前用于自主(或半自主)车辆中的对象检测的解决方案通常会利用某种深度学习算法。在整个的本公开中，参考了对象检测模型，该模型指的是基于这类算法的机器学习模型(也可以被称为机器学习算法和神经网络等)。更具体地，本文中的“对象检测模型”是指被设计为对数字图像、视频帧、激光雷达(LIDAR)数据或其他类型数据中的特定对象的实例进行识别并定位的计算系统或算法。该模型可以采用来自计算机视觉、机器学习和模式识别的先进技术的组合，以分析视觉数据并输出围绕输入图像中存在的感兴趣对象的边界框或感兴趣区。对象检测模型可以进一步被配置为对检测到的对象类型进行分类。对象检测模型可以涵盖不同的架构，包括但不限于，卷积神经网络(CNN)、递归神经网络(RNN)、变换器、以及其他现有的或未来的替代方案。

对象检测模型的部署通常涉及训练阶段，在该阶段，模型从已标记的训练数据中进行学习，以在后续的推理或检测阶段实现准确的对象定位和/或分类。训练数据(以及推理过程中的输入数据)可以是例如图像或图像序列、LIDAR数据(即，点云)、雷达数据等。此外，训练/输入数据可以包括一种或多种不同数据类型的组合或融合。训练/输入数据可以包括例如用于描绘已注释对象的图像以及包含相同的已注释对象的相应LIDAR点云。

在一些实施例中，可以使用公开可用的适当的软件开发机器学习代码元素来实现机器学习模型，例如，诸如以本领域普通技术人员已知适当的任何方式，在Pytorch、TensorFlow和Keras中或者在任何其他适当的软件发展平台中可用的那些代码元素。

图1是用于收集数据以用于自动驾驶系统(ADS)的对象检测模型的后续训练的方法100的示意性流程图表示。因此，所收集的数据可被用于训练对象检测模型。在下文中，为了便于参考，“用于后续训练的数据”一词将被称为“训练数据”。此外，尽管“用于后续训练的数据”被称为“训练数据”，但应理解的是，它可以涵盖已标记的(也被称为已注释的)数据和/或尚未被标记/被注释的数据。在后者的情况下，这些数据可以在被用于对象检测模型的训练之前在后续步骤中被标记/注释。

特别地，方法100可以被用于对道路环境中罕见对象或意外对象(诸如，废弃物或其他类型的障碍物或阻碍对象)的训练数据进行检测。方法100可以由车辆执行。换言之，方法100可以由车辆本地提供的计算设备(诸如，由车辆的自动驾驶系统)来执行。将通过示例的方式来结合图4进一步描述这种车辆。如本文中所使用的，“车辆”是任何形式的机动交通工具。例如，车辆可以是任何道路车辆，诸如汽车(如图4以及图7A至图7B中所图示的)、摩托车、(货运)卡车、公共汽车等。

以下，更详细地描述方法100的不同步骤。即使以特定的顺序被图示出，方法100的各步骤也可以以任何适当的顺序来执行以及可以多次执行。因此，尽管图1可以示出方法步骤的特定顺序，但这些步骤的顺序可以与所描绘的不同。此外，两个或更多个步骤可以同时地执行或者部分同时地执行。例如，被表示为S106至S116的步骤可以基于特定实现以任何顺序或在任何时间点执行。这种变体将取决于所选择的软件和硬件系统并且取决于设计者的选择。所有这些变体都在本发明的范围内。同样地，软件实现可以用具有基于规则的逻辑以及其他逻辑的标准编程技术来完成，用以完成各种步骤。方法100的其他变体将根据本公开而变得显而易见。以上提及并描述的实施例仅被作为示例来给出，并且不应被限制于本发明。在如以下描述的专利权利要求中所要求保护的本发明的范围内的其他解决方案、用途、目的和功能对于本领域技术人员来说应是显而易见的。

方法100包括响应于检测到车辆或其他道路使用者的规避动作，获取(S102)与检测到规避动作的场景有关的传感器数据。

场景可以被理解为在该处执行了规避动作的一般区域。换句话说，场景可以被视为在该处检测到规避动作的物理环境。因此，场景包括可能会导致规避动作的任何潜在对象，即车辆(或驾驶员)通过执行规避动作而尝试避开的任何对象。

传感器数据与场景有关，因为传感器数据反映了场景的一个或多个属性。换句话说，传感器数据包括与场景相关的信息。与场景有关的传感器数据可以是与场景相关的任何类型的数据。例如，传感器数据可以包括图像数据、LIDAR数据、雷达数据和超声波数据中的一种或多种。在本文中，图像数据应被理解为用于描绘在该处执行了规避动作的场景的一个或多个图像。因此，图像可以描绘在场景中存在的任何对象。一个或多个图像可以构成图像序列。换言之，图像序列中的每个图像可以描绘在不同时间点处和/或来自不同视角的场景。因此，图像序列可以被理解为场景的视频的帧序列。可替代地，一个或多个图像可以构成由至少两个不同相机捕获的多个图像。因此，多个图像可以从不同的视角描绘场景。传感器数据可以进一步包括与规避转向动作相关的信息，诸如惯性测量数据或规避动作的路径。

本专利申请的上下文中所使用的“规避动作”一词是指，车辆为了避开碰撞、潜在障碍物、阻碍或危险情况等而采取的移动动作。规避动作可以是例如从当前行驶方向上突然偏离。规避动作可能会涉及车辆速度的动态调整(即，通过增加速度或制动)和/或其轨迹的动态调整。在一些实施例中，规避动作是规避转向动作。换句话说，规避动作可以通过调整车辆的轨迹来实现。

规避动作可以是从车辆或其他道路使用者的预期轨迹上偏离的动作。换言之，可以将车辆从该车辆或其他道路使用者的预期轨迹上偏离作为规避动作来进行检测。本文中的预期轨迹是指，车辆在给定环境或驾驶情景中预计将要遵循的预测或计划的路径或运动。可以基于自我车辆的基于机器学习的轨迹预测来确定预期轨迹。预期轨迹可以基于车辆的各种因素来形成，这些因素包括但不限于，传感器数据、地图数据或位置数据、车辆动力学、计划路线、行为预测和实时决策算法。传感器数据可以提供关于车辆周围环境的信息，即车辆如何感知其周围环境。车辆的周围环境应被理解为围绕车辆周围的一般区域，在该区域中，各对象(诸如其他车辆、地标、障碍物等)可以由车辆传感器(RADAR、LIDAR、相机等)来检测并识别，即，在车辆的传感器范围内。因此，传感器数据可以给出关于其他车辆、行人、障碍物和道路状况等的位置的信息。它可以进一步给出关于车辆行驶的车道方向或道路方向的信息。地图数据或位置数据可以提供关于能够预期车辆如何进行导航的额外信息。车辆动力学可以提供关于车辆如何驾驶的信息，包括速度、加速度等。计划路线可以基于车辆的目的地，并提供关于车辆预期沿着其驾驶的路线和/或车道的信息。行为预测可以例如基于驾驶情景，诸如沿着高速公路驾驶。在这种情况下，可以预期车辆将以一定的速度并且沿着一定的车道行驶，因此任何与这些偏离的情况都可以指示存在规避动作。行为预测也可以与驾驶员的驾驶特点有关。实时决策是指车辆(驾驶员或自主驾驶系统)如何对驾驶情景中的突然变化做出反应，这可能会导致车辆在预期轨迹上的改变，诸如已计划的变道。以上描述了如何确定预期轨迹和/或如何检测规避动作的一些示例。在下文中，将给出一些进一步的示例。

预期轨迹可以基于车辆的当前车道。更具体地，预期轨迹可以是车辆继续在当前车道上行驶。于是，如果车辆从车道中央偏离、越过车道标记或临时改变车道(例如，切换到相邻车道，并随后回到先前车道)，则可以检测到规避动作。在另一个示例中，预期轨迹可以是已计划的变道，例如由驾驶员使用转向信号所指示的或者由自动驾驶系统的计划路径所指示的。如果已计划的变道终止，则可以检测到规避动作。

总之，车辆的预期轨迹可以被视为一条将与车辆相关的若干因素考虑在内的动态的且经过计算的路径。

在一些实施例中，基于车道估计模型来形成预期轨迹。本文中的车道估计模型是指，被配置为检测并跟踪道路上车道的位置和边界的计算算法或系统。车道估计模型可以是自主车辆的感知模块的一部分，因为它使得车辆能够了解其在车道内的位置，并为导航和控制做出适当的决策。因此，如果车辆如车道估计模型所预测的那样从车道上偏离，则可以检测到规避动作。

在另一个示例中，可以将车辆在横向移动上的突发或突然改变作为规避动作来进行检测。因此，检测规避动作可以基于车辆或其他道路使用者的横向移动。车辆或其他道路使用者的横向移动可以是例如车辆的横向加速度和/或横向偏航率。因此，可以将横向加速度和/或横向偏航率的峰值或尖峰作为规避动作来进行检测。

如本领域技术人员容易理解的，形成预期轨迹或检测车辆的规避动作的与以上所解释的那些不同的其他方式也是可行的。本公开的技术不受以上所给出的各示例的限制，而是还包括这类其他方式。下面结合图7A和图7B进一步给出说明性示例。

规避动作可以是由驾驶员输入所引起的。换句话说，车辆的驾驶员可以通过调整转向输入、气体输入和/或制动输入来执行规避动作。可替代地，规避动作可以是由车辆的控制系统所引起的。例如，车辆的ADS可以通过根据所确定的控制策略调整转向输入、气体输入和/或制动输入来执行规避动作。随后，ADS的不同子系统可以检测到规避动作。可替代地或相组合地，规避动作可以是车辆的制动。规避动作可以由车辆驾驶员或者由自动驾驶系统启动。

如以上所叙述的，车辆自身(也被称为自我车辆)可以检测到规避动作。在这种情况下，可以基于车辆的车载传感器来检测规避动作。车载传感器可以收集关于车辆自身的传感器数据，诸如车辆动力学特性(例如，方向、速度、加速度或其他惯性测量数据)。车载传感器可以进一步收集关于车辆周围环境的传感器(诸如摄像头、LIDAR、雷达和/或超声波传感器)的数据。

可替代地，自我车辆可以检测被该自我车辆观察到的另一个道路使用者(诸如另一车辆)的规避动作。在这种情况下，自我车辆基于被配置为收集关于其周围环境的传感器数据的传感器(诸如，摄像头、LIDAR、雷达和/或超声波传感器)来检测规避动作。

继续，方法100进一步包括通过对象检测模型基于传感器数据来确定(S104)场景中是否检测到对象。换句话说，可以将所获取的传感器数据输入到对象检测模型中，该模型确定场景中是否存在对象。在本文中，在场景中存在对象应被理解为，在规避动作的位置处存在对象。换言之，S104表示的步骤可以被理解为，确定是否检测到可能会导致规避动作的对象。换句话说，可以确定(S104)在车辆(或驾驶员)通过执行规避动作而避开的位置处是否存在对象。本文中的对象是指，道路上可能会存在的任何类型的障碍物。特别地，对象可以是任何可能会对驾驶员或其他道路使用者构成潜在危险的对象，因为它可能会阻碍交通、造成事故或损坏车辆。对象可以是例如道路废弃物。道路废弃物的示例包括如下项目，诸如垃圾、掉落的树枝、岩石、轮胎碎片、脱落的车辆零件、道路交通事故、建筑材料以及其他通常不属于道路基础设施的一部分的对象。此外，对象可以是路面的损坏，诸如坑洼、裂缝或锐利的边缘。此外，对象可以是驾驶员可能想要避免的水坑、雪堆或冰块等。

方法100进一步包括，响应于没有检测到对象，将传感器数据存储(S106)为对象检测模型的训练数据。换句话说，在对象检测模型在规避动作的场景处未能检测到对象的情况下，传感器数据被存储为对象检测模型的训练数据。该方法可以进一步包括存储与场景相关联的自由空间估计数据。自由空间估计数据可以提供关于在规避动作的场景处是否可能存在对象的进一步指示。因此，在自由空间估计数据指示出在规避动作的场景处存在阻碍的情况下，这可以进一步增加对象实际存在的可能性，尽管对象检测模型未能检测到这样的对象。因此，这可被用于增强用于描绘对象检测模型以前从未见过的罕见的或新的对象的传感器数据的信号。

本文中的自由空间估计数据是指所谓的自由空间估算算法的输出，该算法被配置为检测车辆前方是否有阻碍。换言之，自由空间估计算法可以提供关于车辆周围哪些是占用空间以及哪些是未占用空间的信息。

该方法可以进一步包括存储与检测到的规避动作相关联的时间戳。时间戳可以指示检测到规避动作的时间点。服务器以后可以使用该时间戳来基于检测到的规避动作是发生在多久之前的或是发生在多近的而做出决策。

方法100可以进一步包括获取(S108)与检测到规避动作的场景有关的附加传感器数据。该方法可以进一步包括存储(S110)所述的附加传感器数据以作为对象检测模型的附加训练数据。附加传感器数据可以是通过同一车辆但是在不同的时间点处捕获的传感器数据。传感器数据和附加传感器数据可以按照时间帧或者按照更长的时间间隙而在时间上分开。可替代地或相组合地，附加传感器数据可以是通过同一车辆但是从不同的视角捕获的传感器数据。因此，附加传感器数据可以与来自不同视角和/或在不同时间点处的场景有关。甚至更进一步地，附加传感器数据可以是与先前获取的传感器数据不同类型的传感器数据。甚至更进一步地，附加传感器数据可以是由不同车辆收集的传感器数据。获取(S108)并存储(S110)附加传感器数据使得收集同一实例的更多训练数据成为可能。特别地，通过在不同时间点处和/或从不同视角收集场景的训练数据，提供了对对象检测模型的改进训练，因为它可以进行学习以识别若干个不同场景中的对象。

可以响应于例如从服务器接收到针对这些数据的请求，而执行获取(S108)附加传感器数据以及随后将该附加传感器数据存储(S110)为附加训练数据。结合图5进一步描述了这种服务器的示例。

方法100可以进一步包括向服务器传送(S116)与检测到规避动作的场景有关的传感器数据。换句话说，作为训练数据而存储的传感器数据可以被传送(S116)到服务器。将传感器数据传送(S116)到服务器可以进一步包括将附加传感器数据传送到服务器。车辆可以进一步将与检测到的规避动作相关联的自由空间估计数据和/或时间戳传送到服务器。传感器数据可以作为原始数据来传送。可替代地，传感器数据可以作为融合数据来传送，即在以某种方式进行了处理之后。

可以响应于从服务器接收到请求，而执行传送(S116)传感器数据。将例如结合图2进一步描述从服务器素发送的请求。这可以是有利的，因为它提供了更为有效的数据处理/传送。

方法100可以进一步包括存储(S112)检测到规避动作的场景的地理位置。换句话说，可以存储(S112)在该处执行了规避动作的地理位置。本文中的地理位置是指任何形式的地理位置数据，诸如全球坐标系统中的位置(例如，GPS坐标)或者本地坐标系统中的位置(例如，地图上的位置)。

方法100可以进一步包括将地理数据传送(S114)到服务器。如以下将结合图6进一步解释的，所传送的地理位置可能会触发服务器发送针对与检测到规避动作的场景有关的传感器数据的请求。随后，车辆可以响应于接收到该请求而传送传感器数据。

可选地，用于执行这些功能的可执行指令被包括在非暂时性计算机可读存储介质中、或者在被配置为由一个或多个处理器执行的其他计算机程序产品中。

一般而言，计算机可访问介质可以包括任何有形的或非暂时性存储介质或存储器介质，诸如电子介质、磁性介质或光学介质(例如，经由总线耦接到计算机系统的磁盘或CD/DVD-ROM)。如本文中所使用的，术语“有形的”和“非暂时性”旨在描述计算机可读存储介质(或“存储器”)，排除了传播电磁信号，但并不旨在以其他方式限制由短语“计算机可读介质或存储器”所涵盖的物理计算机可读存储设备的类型。例如，术语“非暂时性计算机可读介质”或“有形的存储器”旨在涵盖不必永久地存储信息的存储设备类型，包括例如随机存取存储器(RAM)。以非暂时性的形式存储在有形的计算机可访问存储介质上的程序指令和数据可以进一步通过传送介质或诸如电子、电磁或数字信号的信号来传送，这些信号可以通过诸如网络和/或无线链路的通信介质来传递。

图2是根据一些实施例的由服务器执行的用于收集自动驾驶系统的对象检测模型的训练数据的方法200的示意性流程图表示。服务器可以通信地连接到一个或多个车辆，这些车辆能够执行如前文中参考图1所描述的方法100。下面结合图5进一步描述这种服务器。

以下，更详细地描述方法200的不同步骤。即使以特定的顺序被图示出，方法200的各步骤也可以以任何适当的顺序来执行以及可以多次执行。因此，尽管图2可以示出方法步骤的特定顺序，但这些步骤的顺序可以与所描绘的不同。此外，两个或更多个步骤可以同时地执行或者部分同时地执行。这种变体将取决于所选择的软件和硬件系统并且取决于设计者的选择。所有这些变体都在本发明的范围内。同样地，软件实现可以用具有基于规则的逻辑以及其他逻辑的标准编程技术来完成，用以完成各种步骤。以上提及并描述的实施例仅被作为示例来给出，并且不应被限制于本发明。在如在以下描述的专利权利要求中所要求保护的本发明的范围内的其他解决方案、用途、目的和功能对于本领域技术人员来说应是显而易见的。

该方法包括从车辆接收(S202)如下数据，该数据用于指示尽管在检测到规避动作的场景中对象检测模型没有检测到对象，但已检测到由车辆或其他道路使用者执行的规避动作。接收到的数据可以是例如由车辆给出的标识，该标识指示已检测到规避动作并且车辆的自动驾驶系统的对象检测模型在该场景中没有检测到对象。在一些实施例中，用于指示已检测到车辆或其他道路使用者的规避动作的数据进一步包括检测到规避动作处的地理位置。用于指示已检测到车辆或其他道路使用者的规避动作的数据可以进一步包括时间戳。时间戳可以指示何时检测到规避动作。

该方法进一步包括接收(S206)与检测到规避动作的场景有关的传感器数据。可以从车辆接收(S206)传感器数据。在一些实施例中，传感器数据是图像数据。换句话说，传感器数据可以是用于描绘场景的一个或多个图像。然而，如前文中参考图1所解释的，传感器数据可以包括一种或多种类型的数据，包括但不限于，LIDAR数据、雷达数据和超声波数据。响应于将针对传感器数据的请求传送(S204)到车辆，可以接收(S206)与检测到规避动作的场景有关的传感器数据。方法200可以进一步包括传送针对与检测到规避动作的场景有关的附加传感器数据的请求。由此，可以收集该场景的更多的潜在训练数据。

该方法进一步包括存储(S208)传感器数据以作为对象检测模型的训练数据。

在一些实施例中，响应于在所限定的地理区域内的地理位置处检测到的规避动作的次数超过阈值，而执行传送(S204)针对传感器数据的请求。换句话说，服务器可以从一个或多个车辆收集检测到的规避动作的实例。这些实例的地理位置可以由服务器存储。一旦与落在所限定的地理区域内的地理位置相关联的规避动作的次数超过阈值，则服务器可以将针对传感器数据的请求传送(S204)到车辆。在由不同的道路使用者在大致相同的区域处发生了多于一个的规避动作的情况下，这可以被用作用于表明在该位置处存在任何类型的对象或障碍物的可能性有所增加的信号。因此，通过在请求传感器数据之前采用检测到的规避动作的次数的阈值，可以提高该方法的可靠性(即，在收集相关训练数据的意义上)。换言之，阈值可以用于增强在该位置处存在的对象的信号。阈值可以是用户定义的或预定义的阈值。此外，与每个检测到的规避动作相关联的时间戳可以被用于忽略规避动作的任何不相关的检测，例如，由同一阻碍对象引起的太早的规避动作。

针对与检测到的规避动作的场景有关的传感器数据的请求可以被传送(S204)到检测到规避动作的车辆。换言之，该请求可以被传送(S204)到导致阈值被超过的车辆。可替代地或附加地，该请求可以被传送(S204)到即将通过该地理区域的后续车辆。因此，可以指示后续车辆收集该地理区域处的场景的传感器数据，并将收集到的传感器数据传送到服务器。甚至更进一步地，在阈值被超过之前，服务器可以将请求传送(S204)到在该地理区域处检测到规避动作的一个或多个车辆。随后，任何存储了与场景有关的传感器数据的车辆都可以将这些数据传送到服务器。

地理区域可以被理解为包括多个地理位置的区域。地理区域可以例如被限定为特定区域。换言之，当在彼此相距一定距离内的地理位置处检测到一定次数的规避动作的情况下，阈值可能会被超过。通过使用地理区域，可以适当地对规避动作的地理位置中的任何不准确之处进行处理。例如，在真实世界情景中，检测到的规避动作的两个地理位置不太可能完全相同。

方法200可以进一步包括为传感器数据分配(S210)注释数据。注释数据可以是用于指定在传感器数据所属的场景中是否存在对象的数据。注释数据可以进一步指定对象的类型。注释数据可以是例如用于声明有对象/无对象的标签，或者声明它是什么类型的对象的标签。注释数据可以进一步包括边界框数据或分割数据，这些数据用于指定对象在传感器数据中存在于何处(例如，在图像中的何处)。可以基于用户输入来分配注释数据。因此，注释数据可以是手动生成的数据。在一些实施例中，可以基于与使用训练数据训练的对象检测模型不同的注释算法来生成注释数据。

可以响应于注释数据指示在场景中存在对象，而将传感器数据存储(S208)为对象检测模型的训练数据。在这种情况下，尽管对象检测模型未能检测到对象，但注释数据可以被用于验证在场景处是否存在对象。此外，在对象检测模型的训练期间，注释数据可以被用作针对传感器数据的基础真值。

响应于注释数据指示在场景中不存在对象，方法200可以进一步包括将传感器数据存储(S212)为自动驾驶系统的车道估计模型的训练数据。如前文中所解释的，可以基于车道估计模型来检测规避动作。因此，在注释数据指示没有对象存在的情况下，可以假设对象检测模型已正确地检测到在场景处没有对象。这种情况可以表明，规避动作是例如由于其中车道估计模型未能正确地估计出车道的情景而被错误地检测到的。因此，可以将与场景有关的传感器数据存储为车道估计模型的训练数据，而不是对象检测模型的训练数据。因此，方法100可以被描述为用于收集自动驾驶系统的对象检测模型或车道估计模型的训练数据的方法100。

可选地，用于执行这些功能的可执行指令被包括在非暂时性计算机可读存储介质中、或者在被配置为由一个或多个处理器执行的其他计算机程序产品中。

图3是根据一些实施例的用于训练对象检测模型的方法的示意性流程图表示。在下文中，将更详细地描述不同的步骤。如以上所叙述的，在整个本公开中，对象检测模型应被理解为用于对对象进行检测和/或分类的机器学习模型。

本文中的“训练”一词是指对机器学习模型进行教导用以识别数据集中的模式和关系，或者更具体地说，用以检测/分类/识别图像中的对象和/或其他类型的数据的过程。训练过程可以是指从头开始训练新的机器学习模型。然而，该过程也可以是指对现有机器学习模型的重新训练或对现有模型的微调。

机器学习模型的重新训练是指用新的或更新后的数据集来更新现有模型的过程。重新训练模型可以包括从头开始训练模型，其中训练数据包括新的数据(在这种情况下是通过前文中描述的技术而收集的训练数据)。可替代地，重新训练模型可以包括仅在新的数据上训练已经训练得到的模型。重新训练的目的可以是提高模型针对新的、前所未见的数据或模型为不常见的罕见数据而言的准确性及泛化能力。

当原始训练数据不再代表真实世界数据时，或者当模型的性能由于数据分布上的改变而有所降低时，也可能需要重新训练。当模型需要适应新的任务或应用时，也可能需要重新训练。

重新训练过程包括若干个步骤，类似于初始训练过程。将新的数据添加到现有的数据集中，并且使用更新后的数据来对模型进行重新训练。取决于数据变化程度，在重新训练之前可能需要对模型进行修改或重新配置。

机器学习模型的微调是指在新的数据上训练已经针对不同的任务或不同的数据而训练得到的预训练模型的过程。微调可以包括对预训练模型的一部分(例如，最后几层)、整个模型进行训练，或者替换或添加新的层并仅对新的层进行训练。预训练模型例如可以是通用机器学习模型，其在微调之后适用于针对新领域的新任务。

根据第七方面，提供了一种用于训练对象检测模型的方法。该方法包括：获取训练数据集，该训练数据集包括由根据第一方面或第三方面的任何实施例的方法所收集的训练数据。该方法进一步包括：在所获取的训练数据集上训练对象检测模型。训练对象检测模型的步骤在服务器中或者在车辆中执行。当可应用时，以上所提及的第一方面至第六方面的特征也适用于该第七方面。为了避免不必要的重复，可参考上述内容。

方法300包括获取(S302)训练数据集，该训练数据集包括由以上结合图1描述的方法100和/或由以上结合图2描述的方法200所收集的训练数据。

术语“获取”在整个本公开中被广义地加以解释，并且涵盖在被配置为在彼此通信的两个实体之间或进一步与其他外部实体直接地和/或间接地接收、检索、收集和获得等。然而，在一些实施例中，术语“获取”应被解释为确定、推导、形成、计算等。换言之，获取训练数据集可以涵盖收集、确定、计算或生成训练数据集，例如，通过执行结合图1所描述的方法100和/或结合图2所描述的方法200。可替代地，训练数据集可以例如从另一实体中接收，或者从存储有训练数据集的存储器或数据库中接收。因此，如本文中所使用的，“获取”可以指示在第一实体/单元处从第二实体/单元中接收参数或者在第一实体或单元处例如基于从另一实体/单元中接收到的数据而确定参数。

方法300进一步包括：在所获取的训练数据集上训练(S304)对象检测模型。训练(S304)对象检测模型可以根据本领域技术人员容易理解的任何适当的过程来完成。例如，可以使用监督学习来训练(S304)对象检测模型，其中训练数据集的每个实例都具有相关联的标签，该标签用于声明存在对象和/或它是什么类型的对象。

训练(3204)对象检测模型的步骤可以在服务器(诸如结合图5进一步描述的服务器)中执行。可替代地，训练(S304)对象检测模型的步骤可以在车辆(诸如结合图4所描述的车辆)中执行。以下将结合图6进一步描述对象检测模型的训练。

方法300可以进一步包括在训练得到的对象检测模型是在车辆中训练的情况下，将它传送到服务器。可替代地，方法300可以进一步包括在训练得到的对象检测模型是在服务器中训练的情况下，将它传送到车辆。

可选地，用于执行这些功能的可执行指令被包括在非暂时性计算机可读存储介质中、或者在被配置为由一个或多个处理器执行的其他计算机程序产品中。

图4是根据一些实施例的车辆400的示例的示意性图示。车辆400配备有自动驾驶系统(ADS)410。如本文中所使用的，“车辆”是任何形式的机动交通工具。例如，车辆400可以是任何道路车辆，例如汽车(如本文中所图示出的)、摩托车、(货运)卡车、公共汽车、智能自行车等。

车辆400包括多个元件，这些元件在自主或半自主车辆中可能是常见的。可以理解，车辆400可以具有图4中所示的各种元件的任何组合。此外，车辆400可以包括比图4中所示的元件更多的元件。虽然各种元件在本文中被示出为位于车辆400的内部，但一个或多个元件也可以位于车辆400的外部。此外，即使在本文中按特定布置描绘了各种元件，但如本领域技术人员容易理解的，也可以按不同布置来实现各种元件。应进一步注意，各种元件可以以任何适当的方式来彼此通信地连接。图4的车辆400应仅被视为说明性示例，因为车辆400的各元件可以以若干种不同的方式来加以实现。

车辆400包括控制系统402。控制系统402被配置为执行对车辆400的各功能和操作的总体控制。控制系统402包括控制电路404和存储器406。控制电路402可以物理地包括一个单独电路设备。可替代地，控制电路402可以跨若干个电路设备分布。作为示例，控制电路402可以与车辆的其他部分共享其控制电路404。控制电路402可以包括一个或多个处理器，例如中央处理单元(CPU)、微控制器或微处理器。一个或多个处理器可以被配置为执行存储在存储器406中的程序代码，以便执行车辆400的各功能和操作。处理器可以是或者可以包括用于进行数据或信号处理或者用于执行存储在存储器406中的计算机代码的任何数量的硬件部件。在一些实施例中，控制电路404或其一些功能可以在一个或多个所谓的片上系统(SoC)上实现。作为示例，ADS 410可以在SoC上实现。存储器406可选地包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍速率随机存取存储器(DDR RAM)、或其他随机存取固态存储器设备；并且可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备、或其他非易失性固态存储设备。存储器406可以包括数据库部件、对象代码部件、脚本部件或用于支持本描述中的各种活动的任何其他类型的信息结构。

在所图示出的示例中，存储器406进一步存储地图数据408。地图数据408可以例如由车辆400的ADS 410使用，以便执行车辆400的自主功能。地图数据408可以包括高清晰度(HD)地图数据。可以设想，存储器408即使被图示为与ADS 410分离的元件，但也可以被提供为ADS 410的整体元件。换句话说，根据一些实施例，任何分布式存储器设备或本地存储器设备都可被用于实现本发明的构思。类似地，控制电路404可以是分布式的，例如，使得控制电路404的一个或多个处理器被提供为ADS 410或车辆400的任何其他系统的集成元件。换句话说，根据示例性实施例，任何分布式控制电路设备或本地控制电路设备都可被用于实现本发明的构思。

车辆400进一步包括传感器系统420。传感器系统420被配置为获取与车辆本身或其周围环境有关的感测数据。传感器系统420可以例如包括被配置为收集车辆400的地理位置数据的全球导航卫星系统(GNSS)模块422(例如GPS)。传感器系统420可以进一步包括一个或多个传感器424。一个或多个传感器424可以是任何类型的车载传感器，例如相机、LIDAR和RADAR、超声波传感器、陀螺仪、加速度计、里程计等。应理解，传感器系统420还可以提供直接或经由车辆400中的专用传感器控制电路来获取感测数据的可能性。

车辆400进一步包括通信系统426。通信系统426被配置为与外部单元进行通信，例如其他车辆(即，经由车辆到车辆(V2V)通信协议)、远程服务器(例如，云服务器，如下面结合图5进一步解释的)、数据库或其他外部设备(即，车辆到基础设施(V2I)或车辆到一切(V2X)通信协议)。通信系统426可以使用一种或多种通信技术来进行通信。通信系统426可以包括一个或多个天线。蜂窝通信技术可被用于远程通信，例如到远程服务器或云计算系统。此外，如果所使用的蜂窝通信技术具有低延迟，则它也可被用于V2V、V2I或V2X通信。蜂窝无线电技术的示例包括全球移动通信系统(GSM)、通用无线分组业务(GPRS)、增强型数据速率GSM演进(EDGE)、长期演进(LTE)、第五代移动通信技术(5G)、5G NR等，还包括未来的蜂窝解决方案。然而，在一些解决方案中，可以使用中短程通信技术，例如无线局域网(LAN)，例如基于IEEE 802.11的解决方案，用于与车辆400附近的其他车辆或与本地基础设施元件进行通信。欧洲电信标准协会(ETSI)正在制定用于车辆通信的蜂窝标准，例如，由于低延迟以及对高带宽和通信通道的高效处理，5G被认为是一种适当的解决方案。

通信系统426可以进一步提供通过一个或多个天线将输出发送到远程位置(例如，远程操作员或控制中心)的可能性。此外，通信系统426可以进一步被配置为允许车辆400的各种元件彼此通信。作为示例，通信系统可以提供本地网络设置，例如CAN总线、I2C、以太网和光纤等。车辆内的本地通信也可以是具有诸如无线保真(WiFi)、远距离无线电(LoRa)、紫蜂(Zigbee)、蓝牙(Bluetooth)或类似的中/短程技术的协议的无线类型。

车辆400进一步包括操纵系统428。操纵系统428被配置为控制车辆400的操纵。操纵系统428包括转向模块430，该转向模块330被配置为控制车辆400的行驶方向。操纵系统428进一步包括节气门模块432，该节气门模块432被配置为控制车辆400的节气门的致动。操纵系统428进一步包括制动模块434，该制动模块434被配置为控制车辆400的制动器的致动。操纵系统428的各种模块可以接收来自车辆400的驾驶员的手动输入(即，分别来自方向盘、油门踏板和制动踏板)。然而，操纵系统428可以通信地连接到车辆的ADS 410，以接收与各种模块应该如何动作有关的指令。因此，ADS 410可以控制车辆400的操纵。

如上所述，车辆400包括ADS 410。ADS 410可以是车辆的控制系统402的一部分。ADS 410被配置为执行车辆400的自主功能的各功能和操作。ADS 410可以包括多个模块，其中每个模块被赋予ADS 410的不同功能。

ADS 410可以包括定位模块412或定位块/系统。定位模块412被配置为确定和/或监测车辆400的地理位置和行驶方向，并且可以利用来自传感器系统420的数据，例如来自GNSS模块422的数据。可替代地或组合地，定位模块412可以利用来自一个或多个传感器424的数据。然而，定位系统可以可替代地被实现为实时动态(RTK)GPS，以提高精确性。

ADS 410可以进一步包括感知模块414或感知块/系统。感知模块414可以指任何公知的模块和/或功能，例如包括在车辆400的一个或多个电子控制模块和/或节点中，被自适应为和/或被配置为对与车辆400的驾驶相关的感测数据进行解释，以识别例如障碍物、车道、相关标志物、适当的导航路径等。因此，感知模块414可以被自适应为依赖于多个数据源并从多个数据源获取输入，这些数据源例如是汽车成像、图像处理、计算机视觉和/或车内联网等，并且与例如来自传感器系统420的感测数据相结合。

用于检测和/或分类车辆400的周围环境中的对象的对象检测模型可以是ADS 410的一部分，或者更具体地说是感知模块414的一部分。车辆400被配置为执行用于收集对象检测模型的训练数据的方法100的功能。这些功能可以在车辆中提供的单独计算设备中实现。计算设备可以包括控制电路，这些控制电路被配置为执行如上面结合图1所描述的方法100的步骤。可替代地，如本领域技术人员容易理解的，这些功能可以分布在车辆400的一个或多个模块、系统或元件上。例如，控制系统402的控制电路404可以被配置为执行方法100的步骤。

定位模块412和/或感知模块414可以通信地连接到传感器系统420，以便从传感器系统420接收感测数据。定位模块412和/或感知模块414可以进一步将控制指令传送到传感器系统420。

ADS可以进一步包括路径规划模块416。路径规划模块416被配置为基于分别由感知模块414和定位模块412确定的车辆的感知和位置来确定车辆400的规划路径。由路径规划模块416确定的规划路径可以被发送到操纵系统428以供执行。如前文中所解释的，计划路径可以构成预期轨迹。

ADS可以进一步包括决策和控制模块418。决策和控制模块418被配置为执行ADS410的控制并做出决策。例如，决策和控制模块418可以决定是否应该执行由路径规划模块416所确定的规划路径。决策和控制模块418可以进一步被配置为检测车辆的任何规避动作，诸如从计划路径或路径规划模块416的预期轨迹上偏离。这包括由ADS 410和由车辆驾驶员执行的规避动作。此外，感知模块414可以被配置为检测另一车辆或道路使用者的规避动作。

应当理解，所描述的解决方案的各部分可以在车辆400中、在位于车辆外部的系统中、或者在车辆内部和外部的组合中实现；例如在与车辆通信的服务器中、所谓的云解决方案。各实施例的不同特征和步骤可以以除了所描述的组合方式之外的其他组合方式来进行组合。此外，车辆400的元件(即，系统和模块)可以以与本文中所描述的组合方式不同的组合方式来实现。

图5是根据一些实施例的用于收集自动驾驶系统的对象检测模型的训练数据的服务器500的示意性图示。服务器500可以被配置为执行如结合图2所描述的方法200。

为了本专利申请的目的，如本文中所描述的服务器500(也可以被称为远程服务器、云服务器、中央服务器、后台服务器、车队服务器或后端服务器)是指，被配置为通过通信网络向客户端或用户提供各种计算服务、数据储存、处理能力或资源的计算机系统或联网设备。在本案中，“客户端”一词是指车队中的联网车辆(诸如以上所描述的车辆400)。

即使服务器500在本文中被图示为一台设备，但服务器500也可以是由多个不同的计算设备形成的分布式计算系统。

服务器500包括控制电路502。控制电路502可以物理地包括一个单独的电路设备。可替代地，控制电路502可以跨若干个电路设备而分布。

如图5的示例中所示，服务器500可以进一步包括收发器506和存储器508。控制电路502通信地连接到收发器506和存储器508。控制电路502可以包括数据总线，并且控制电路502可以经由数据总线而与收发器506和/或存储器508通信。

控制电路502可以被配置为执行对服务器500的各功能和操作的总体控制。控制电路502可以包括处理器504，诸如中央处理单元(CPU)、微控制器或微处理器。处理器504可以被配置为执行存储在存储器508中的程序代码，以便执行服务器500的各功能和操作。控制电路502被配置为执行如以上结合图2所述的方法200的步骤。这些步骤可以被实现在存储于存储器508中的一个或多个功能中。

收发器506被配置为使得服务器500能够与其他实体(诸如，车辆或其他服务器)通信。收发器506可以向服务器500传送数据并且可以从服务器500接收数据。

存储器508可以是非暂时性计算机可读存储介质。存储器508可以是缓冲器、闪存、硬盘驱动器、可移动介质、易失性存储器、非易失性存储、随机存取存储器(RAM)或另一适当设备中的一个或多个。在典型的布置中，存储器508可以包括用于长期数据储存的非易失性存储器和用作服务器500的系统存储器的易失性存储器。存储器508可以通过数据总线而与电路502交换数据。在存储器508与电路502之间还可以存在随附控制线和地址总线。

服务器500的功能和操作可以以可执行逻辑例程(例如，代码行、软件程序等)的形式来实现，该可执行逻辑例程被存储在服务器500的非暂时性计算机可读记录介质(例如，存储器508)上并由电路502(例如，使用处理器504)执行。换言之，当说明电路502被配置为执行特定功能时，电路502的处理器504可以被配置为执行存储在存储器508上的程序代码部分，其中所存储的程序代码部分对应于特定功能。此外，设备502的各功能和操作可以是独立的软件应用，或者形成了用于执行与设备502相关的附加任务的软件应用的一部分。所描述的各功能和操作可以被视为(例如，上面结合图2讨论的方法200)，而相应的设备被配置为对该方法加以执行。此外，虽然所描述的各功能和操作可以在软件中实现，但这种功能也可以经由专用硬件或固件或者硬件、固件和软件中的一个或多个的一些组合来实现。在下文中，对服务器500的各功能和操作进行描述。

控制电路502被配置为从车辆接收如下数据，该数据用于指示尽管在检测到规避动作的场景中对象检测模型没有检测到对象，但已检测到由车辆或其他道路使用者执行的规避动作的数据。

控制电路502进一步被配置为接收与检测到规避动作的场景有关的传感器数据。

控制电路502进一步被配置为将传感器数据存储为对象检测模型的训练数据。

应该注意的是，如以上结合图2所描述的方法200的原理、特征、方面和优点也适用于本文中所描述的服务器500。为了避免不必要的重复，可参考上述内容。

服务器500可以进一步被配置为执行用于训练对象检测模型的方法300的步骤，如以上结合图3所描述的。可替代地，可以根据本发明的构思来提供用于执行用于训练对象检测模型的方法300的其他服务器。其他服务器可以具有与如以上所描述的服务器500相同的配置。

其他服务器(或以上所描述的服务器500)可以被配置为获取训练数据集，该训练数据集包括由以上结合图1描述的方法100或以上结合图2描述的方法200所收集的训练数据。其他服务器(或以上所描述的服务器500)可以进一步被配置为在所获取的训练数据集上训练对象检测模型。

图6以示例的方式图示出了用于收集对象检测模型的训练数据的分布式系统600。系统600可以另外地或可替代地是用于训练对象检测模型的系统600。系统600可以被视为在本文中所公开的本发明构思的各方面的非限制性示例的实现。例如，系统600被配置为执行如以上结合图1所描述的方法100。系统600可以进一步被配置为执行如以上结合图2所描述的方法200。系统600可以进一步被配置为执行如以上结合图3所描述的方法300。因此，除非另有说明，否则以上结合图1至图5所描述的任何特征或原理也适用于本文中所描述的系统600。

系统600包括服务器602(或远程服务器、云服务器、中央服务器、后台服务器、车队服务器或后端服务器)，在下文中称为远程服务器602或仅称为服务器602。服务器602可以是如以上结合图5所描述的服务器500。因此，服务器602可以被配置为执行如以上结合图2所描述的方法200。服务器602可以进一步被配置为执行如以上结合图3所描述的方法300。如所图示出的，服务器602可以在云中(即，作为云实现的服务器)来提供。

系统600进一步包括一个或多个车辆604a-604c，也被称为车队604a-604c。一个或多个车辆604a-604c可以是如以上结合图4所描述的车辆。因此，一个或多个车辆604a-604c可以被配置为执行如以上结合图1所描述的方法100。车辆604a-604c可以进一步被配置为执行如结合图3所描述的方法300。

一个或多个车辆604a-604c通信地连接到远程服务器602，以用于在车辆与服务器之间传送和/或接收数据606。一个或多个车辆604a-604c可以进一步彼此通信地连接。数据606可以是任何类型的数据，诸如通信信号或传感器数据。通信可以通过任何适当的无线通信协议来实行。无线通信协议例如可以是远程通信协议，诸如蜂窝通信技术(例如，GSM、GPRS、EDGE、LTE、5G、5G NR等)，或者是短至中程通信协议，诸如基于无线局域网(LAN)(例如，IEEE 802.11)的解决方案。服务器602包括适当的存储器和控制电路，例如一个或多个处理器或处理电路以及一个或多个其他部件(诸如，数据接口和收发器)。服务器602还可以包括软件模块或其他部件，使得控制电路可以被配置为执行从存储器加载的机器可读指令，以实现要执行的方法的步骤。

通过示例的方式，图6中所图示出的车队包括三个车辆(第一、第二和第三车辆604a-604c)。然而，系统600可以包括任何数量的车辆604a-604c。在下文中，系统600将主要参考第一车辆604a来进行描述。应当理解，这些原理适用于车队中的任何车辆。

在下文中，将描述根据一些实施例的系统600如何执行对象检测模型的训练数据的收集的示例。有关不同步骤的进一步详细内容，参考以上的图1和图2，以避免过度重复。

响应于车辆604a检测到由车辆604a自身或者由其他道路使用者(例如，车队中的另一车辆或不属于该车队的车辆)执行的规避动作，车辆604a获取(即，对应于步骤S102)与检测到规避动作的场景有关的传感器数据。

随后，车辆604a通过车辆604a的对象检测模型来确定(即，对应于步骤S104)在场景中是否检测到对象。这可以通过将传感器数据输入到对象检测模型中来完成。

如果没有检测到对象，则车辆604a随后至少临时地存储(即，对应于步骤S106)传感器数据。传感器数据可以被存储，例如，直到接收到针对该传感器数据的请求或者存储达到了一定的时间量为止。此外，车辆604向服务器传送(即，对应于步骤S114)用于指示已检测到规避动作的数据。该数据进一步包括检测到规避动作的场景的地理位置。

与车队通信的服务器602可以从该车队的一个或多个车辆接收(即，对应于步骤S202)用于指示检测到的规避动作的这类数据。因此，服务器602可以将接收到的规避动作检测相聚合，以找出是否在同一大致区域(即，在大致相同的地理位置)中发生了一定次数的规避动作。更具体地说，响应于接收到用于指示已检测到规避动作的所述数据，服务器602可以确定在特定地理区域内的地理位置处检测到的规避动作的次数是否超过阈值。在已超过阈值的情况下，服务器602传送(即，对应于步骤S204)针对获取与已检测到规避动作的场景有关的传感器数据的请求。

如前文中所解释的，针对获取传感器数据的请求可以被传送到车辆604a或者车队中的可能已经存储了与该场景有关的传感器数据或可以获取此类传感器数据的任何其他车辆。

在一些实施例中，服务器602可以进一步接收检测到的规避动作的轨迹。随后，服务器602可以进一步被配置为确定对象的预期地理位置和/或对象可能存在于其中的区。关于对象的地理位置和/或区的信息可以被用作针对该对象的注释数据。

在车辆604a接收到针对传感器数据的请求的情况下，车辆604a将传感器数据传送(即，对应于步骤S116)到服务器602。

服务器602转而将任何接收到的传感器数据存储(即，对应于步骤S208)为对象检测模型的训练数据。

服务器602可以进一步为传感器数据分配(即，对应于步骤S210)注释数据。在注释数据指示出不存在对象的情况下，服务器可以将传感器数据存储(即，对应于步骤S212)为自动驾驶系统的车道估计模型的训练数据，而不是存储为对象检测模型的训练数据。

系统600的以上所描述的过程应被理解为本公开技术的非限制性示例，以用于提高理解。进一步的变体根据本公开而为显而易见的，并且本领域技术人员容易实现。例如，在一些实施例中，从车辆604a传送到服务器602的用于指示已检测到规避动作的数据可以进一步包括所获取的传感器数据。随后，服务器602可以基于进一步的评估(例如，检查同一地理区域中检测到的规避动作的次数是否超过了阈值)，来决定是将该传感器数据存储为训练数据还是丢弃该传感器数据。

如以上所描述的图示系统提供了一种收集例如道路上出现的新的或罕见的对象(诸如，废弃物或其他障碍物)的训练数据的有效方式。该系统在时间方面是有效的，因为使用多个车辆的车队来收集并传送潜在的训练样本。这可以增加在特定时间内可被收集到的训练样本的数量。系统600在数据管理(例如，传送和储存)方面可能更为有效，因为只有在服务器明确请求传感器数据的情况下(响应于找到了感兴趣的传感器数据)，才需要将它从车辆传送到服务器。系统600的进一步优点在于，当在通常与场景中存在的相关对象的信号相同的区域中使用多个检测到的规避动作时，可以使数据的自动收集更加可靠。

如上所述，系统600可以进一步被配置为执行用于训练对象检测模型的方法300。对象检测模型的训练可以通过所谓的联合学习来执行。

联合学习是一种从在边缘处训练得到的“局部”模型整合成“全局”或“中心”模型的方案。这在例如智能手机的“语音助手”和“打字模型”中很普遍。在本上下文中，车辆构成边缘设备或节点，而远程服务器(或多个远程服务器)可以构成中央服务器，该中央服务器负责对来自边缘设备中的每一个的模型更新进行聚合或合并。这将被称为集中式联合学习方案。然而，在一些实施例中，可以省略对中央实体的需要，并且边缘设备(例如，车辆的车队)可以被配置为对它们自己加以协调以获取全局模型，所谓的去中心化联合学习方案。在下文中，主要参考集中式联合学习方案来给出描述。然而，假定本领域技术人员将容易地理解如何将本文中的教导实现为分散的联合学习方案，并且由本文中所公开的本发明传达出的范围涵盖了这样的实现。应当指出，在本上下文中，术语“全局”不一定意味着“全范围”，而是应被解释为某些事务在多个“本地”实体之间“共享”。

在本示例中，可以在车辆604a中执行在训练数据集上训练(或重新训练)S304对象检测模型，该训练数据集包括通过由车辆执行的方法100或由服务器执行的方法200所收集的训练数据。训练数据集可以从远程服务器602获取，并且通过由车辆自身或车队的其他车辆获取的传感器数据来收集。可选地，车辆604a将已训练(或重新训练)的对象检测模型传送到远程服务器602。远程服务器602转而可以将该训练得到的对象检测模型分发给系统中的其他车辆。可替代地，远程服务器602可以从两个或更多个对象检测模型中形成聚合的对象检测模型，然后将其分发。

可替代地，对象检测模型的训练(S304)可以由远程服务器602执行。如上所述，远程服务器602可以从车队收集训练数据，如以上所解释的。随后，服务器602可以将训练得到的对象检测模型分发给系统600的一个或多个车辆604a-604c。

图7A通过示例的方式示意性地图示出了其中检测到规避动作的第一驾驶情景700。更具体地，图7A图示出了其中车辆702检测到其自身的规避动作的场景。规避动作可以例如由车辆的驾驶员或者由车辆的自动驾驶系统引起。

车辆702在本文中被图示为沿着由第一车道标记708a和第二车道标记708b限定的第一车道706a行驶。相邻的或第二车道706b也被图示出，并且由第二车道标记708b和第三车道标记708c限定。车辆702可以是如前文中所描述的车辆400。如前文中所解释的，车辆702包括一个或多个传感器，在本文中由摄像头704表示。此外，车辆的预期轨迹714被图示为沿着第一车道706a的车道中央的虚线箭头。

如图7A中进一步图示出的，对象710在车辆702的行驶方向上位于其前方。本文中的对象710表示道路上的某种废弃物或其他形式的障碍物。

在本文中，车辆702在稍后的时间点处的位置由车辆702’以虚线图示出。此外，由用714’表示的点划线图示出了实际轨迹。实际轨迹714’表示车辆702’已沿着其实际行驶过的轨迹。本文中的实际轨迹714’从车辆702的预期轨迹714上偏离。该偏离可能是例如由车辆驾驶员试图避开对象710而引起的。因此，可以基于车辆702从预期轨迹上的偏离来检测车辆的规避动作。

图7A中进一步图示出了先前检测到的多个规避动作的轨迹712a-712g。这些轨迹712a-712g可以由服务器存储。如前文中所解释的，服务器可以响应于在地理区域内的地理位置处检测到的规避动作的次数超过阈值，而请求与检测到的规避动作的场景有关的传感器数据。在本文中，地理区域以点划线通过由圆圈来表示，并由716表示。然而，应当注意，地理区域的形状和大小不限于所图示出的示例。在所图示出的示例中，当前在地理区域716内检测到了七个规避动作，即先前检测到的规避动作的轨迹712a-712g和车辆702的实际轨迹714’。在阈值为6的情况下，在地理区域716处执行(并检测)第七次规避动作的车辆702可以触发服务器请求已发生规避动作的场景的传感器数据。

图7B以示例的方式示意性地图示出了其中检测到规避动作的第二驾驶情景700’。更具体地，图7B图示出了其中车辆702检测到其他道路使用者的规避动作的情景。与第一情景700一样，第二情景700’图示出了车辆702沿着第一车道706a行驶。其他道路使用者(在本文中被图示为另一车辆720)被图示为沿着第二车道706b行驶。由虚线箭头图示出了另一车辆720的预期轨迹718。预期轨迹718可以由车辆702确定为另一车辆720预期沿着其行驶的轨迹。

在第二种情景700’中，对象710存在于另一辆车720前方的道路上。以虚线图示出的车辆(在本文中被表示为720’)表示在稍后时间点处的另一车辆720，在该时间点处，另一辆车720’遇到了对象710。进一步图示出了由点划线表示的另一车辆720’的实际轨迹718’。

在其他道路使用者720在车辆702的传感器范围内的情况下，车辆702可以将另一车辆720的轨迹作为规避动作来进行检测。随后，车辆702可以获取检测到规避动作的场景的传感器数据，并且继续执行如前文中所描述的方法100。

以上已经参考具体实施例呈现了本发明。然而，除了以上描述的实施例之外的其他实施例也是可行的且在本发明的范围内。在本发明的范围内，可以提供与以上描述的方法步骤不同的方法步骤，并通过硬件或软件来执行该方法。因此，根据示例性实施例，提供了一种非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质存储一个或多个程序，该一个或多个程序被配置为由车辆控制系统的一个或多个处理器执行，该一个或多个程序包括用于执行根据以上讨论的实施例中的任一个实施例的方法的指令。可替代地，根据另一示例性实施例，云计算系统可以被配置为执行本文中所呈现的任何方法。云计算系统可以包括分布式云计算资源，该分布式云计算资源在一个或多个计算机程序产品的控制下联合地执行本文中所呈现的方法。

应该注意的是，任何附图标记都不限制权利要求的范围，本发明可以至少部分地通过硬件和软件的方式来实现，并且同一硬件项目可以表示多个“装置”或“单元”。

Claims (15)

1.一种用于收集数据以用于自动驾驶系统的对象检测模型的后续训练的方法(100)，所述方法(100)可由车辆执行，包括以下步骤：

响应于检测到所述车辆或其他道路使用者的规避动作，获取(S102)与检测到所述规避动作的场景有关的传感器数据；

通过所述对象检测模型基于所述传感器数据来确定(S104)在所述场景中是否检测到对象；以及

响应于没有检测到对象，存储(S106)所述传感器数据以用于所述对象检测模型的后续训练。

2.根据权利要求1所述的方法(100)，进一步包括：

获取(S108)与检测到所述规避动作的所述场景有关的附加传感器数据；以及

将所述附加传感器数据存储(S110)为用于所述对象检测模型的后续训练的附加数据。

3.根据权利要求1或2所述的方法(100)，其中，

所述规避动作是从所述车辆或所述其他道路使用者的预期轨迹上偏离的动作。

4.根据权利要求3所述的方法(100)，其中，

所述预期轨迹基于车道估计模型而形成。

5.根据权利要求1所述的方法(100)，其中，

检测所述规避动作基于所述车辆或所述其他道路使用者的横向移动。

6.根据权利要求1所述的方法(100)，进一步包括：

将与检测到所述规避动作的所述场景有关的所述传感器数据传送(S116)到服务器。

7.根据权利要求1所述的方法(100)，进一步包括：

存储(S112)检测到所述规避动作的所述场景的地理位置。

8.一种包括指令的计算机程序产品，当所述程序由计算设备执行时，所述指令使所述计算设备执行根据权利要求1所述的方法(100)。

9.一种用于收集数据以用于自动驾驶系统的对象检测模型的后续训练的方法(200)，所述方法(200)可由服务器执行，包括以下步骤：

从车辆接收(S202)如下数据，所述数据用于指示尽管在检测到所述车辆或其他道路使用者的规避动作的场景中所述对象检测模型没有检测到对象，但已检测到所述规避动作；

接收(S206)与检测到所述规避动作的所述场景有关的传感器数据；

存储(S208)所述传感器数据以用于所述对象检测模型的后续训练。

10.根据权利要求9所述的方法(200)，其中，

响应于将针对所述传感器数据的请求传送(S204)到所述车辆，接收(S206)与检测到所述规避动作的所述场景有关的所述传感器数据。

11.根据权利要求10所述的方法(200)，其中，

用于指示已检测到所述车辆或所述其他道路使用者的规避动作的所述数据进一步包括检测到所述规避动作的地理位置，

其中响应于在所限定的地理区域内的地理位置处检测到的规避动作的次数超过阈值，执行传送(S204)针对所述传感器数据的请求。

12.根据权利要求9所述的方法(S200)，进一步包括：

为所述传感器数据分配(S210)注释数据；

其中响应于所述注释数据指示在所述场景中存在对象，执行存储(S208)所述传感器数据以用于所述对象检测模型的后续训练；并且

其中响应于所述注释数据指示在所述场景中不存在对象，所述方法(200)进一步包括存储(S212)所述传感器数据以用于所述自动驾驶系统的车道估计模型的后续训练。

13.一种包括指令的计算机程序产品，当所述程序由计算设备执行时，所述指令使所述计算设备执行根据权利要求9至12中任一项所述的方法(200)。

14.一种车辆(400)，能够收集数据以用于对象检测模型的后续训练，所述对象检测模型被配置为检测车辆周围环境中的对象，所述车辆包括：

一个或多个传感器(424)；以及

控制电路(404)，被配置为：

响应于检测到所述车辆或其他道路使用者的规避动作，获取与检测到所述规避动作的场景有关的传感器数据；

通过所述对象检测模型基于所述传感器数据来确定在所述场景中是否检测到对象；以及

响应于没有检测到对象，存储所述传感器数据以用于所述对象检测模型的后续训练。

15.一种服务器(500)，用于收集数据以用于自动驾驶系统的对象检测模型的后续训练，所述服务器(500)包括控制电路(502)，所述控制电路(502)被配置为：

从车辆接收如下数据，所述数据用于指示尽管在检测到所述车辆或其他道路使用者的规避动作的场景中所述对象检测模型没有检测到对象，但已检测到所述规避动作；

接收与检测到所述规避动作的所述场景有关的传感器数据；以及

存储所述传感器数据以用于所述对象检测模型的后续训练。