CN121411850A - 自动驾驶车辆模拟中控制转移的自适应交互式人机界面 - Google Patents

Abstract

一种驾驶员在环模拟器，包括：车辆座椅、驾驶员视图显示器、人机界面(HMI)显示器、输入设备以及与驾驶员视图显示器、HMI显示器和输入设备通信的控制器。该控制器包括处理器和与该处理器通信的非暂时性计算机可读介质。该控制器被编程为检测控制转移(TOC)事件；响应于检测到TOC事件，在HMI显示器上显示TOC事件已发生的通知；以及检测由驾驶员在环模拟器的用户通过输入设备提供的输入，其中，该输入指示用户控制了通过驾驶员在环模拟器体验的模拟。

Description

自动驾驶车辆模拟中控制转移的自适应交互式人机界面

技术领域

本公开总体上涉及用于自动驾驶车辆模拟中控制转移的自适应交互式人机界面(HMI)的方法和系统。

背景技术

该引言总体上呈现了本公开的背景。现有具名发明人的工作，就其在本引言中所描述的程度而言，以及在提交时可能不符合现有技术的描述的方面，既不明确也不暗示地承认作为针对本公开的现有技术。

一些自动驾驶车辆需要人类驾驶员在某些情况下接管，例如意外的车辆行为。控制转移(TOC)机制可以帮助驾驶员顺利接管车辆，同时规避风险。为了帮助TOC机制，需要为模拟系统开发自适应HMI系统。

发明内容

一种驾驶员在环模拟器，包括：车辆座椅、驾驶员视图显示器、人机界面(HMI)显示器、一个或多个输入设备以及与驾驶员视图显示器、HMI显示器和输入设备通信的控制器。该控制器包括处理器和与该处理器通信的非暂时性计算机可读介质。该控制器被编程为：检测控制转移(TOC)事件；响应于检测到TOC事件，在HMI显示器上显示TOC事件已发生的通知；以及响应于检测到TOC事件，检测由驾驶员在环模拟器的用户通过输入设备提供的输入，其中该输入指示用户控制了通过驾驶员在环模拟器体验的模拟。TOC事件是人类驾驶员应该退出自动驾驶并应该手动控制自动驾驶车辆的事件。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每个程序被配置为执行该方法的动作。本段中描述的驾驶员在环模拟器通过记录响应TOC事件的用户输入来改进自动驾驶车辆技术。

实施方式可以包括以下特征中的一项或多项。驾驶员在环模拟器中输入设备是方向盘。控制器被编程为接收场景数据。控制器被编程为命令驾驶员视图显示器显示基于场景数据的场景。驾驶员在环模拟器可以包括与控制器通信的多个传感器。控制器被编程为模拟自动驾驶车辆的驾驶，直到控制器响应于检测到TOC事件接收到指示用户控制了模拟的输入。控制器被编程为记录用户响应于检测到TOC事件提供的输入。TOC事件是多个传感器中的至少一个传感器引起的传感器故障。所描述的技术的实施方式可以包括硬件、方法或过程、或者计算机可访问介质上的计算机软件。

本公开还描述了一种用于模拟自动驾驶车辆的方法。该方法包括检测驾驶员在环模拟器中的控制转移(TOC)事件。此外，该方法包括响应于检测到TOC事件，在人机界面(HMI)显示器上显示TOC事件已发生的通知。该方法还包括检测由驾驶员在环模拟器的用户通过输入设备提供的输入。该输入指示用户响应于检测到TOC事件控制了通过驾驶员在环模拟器体验的模拟。本段中描述的驾驶员在环模拟器通过记录响应TOC事件的用户输入来改进自动驾驶车辆技术。该通知包括黄色方向盘和指示用户应该手动接管驾驶员在环模拟器的控制的文本。该方法还包括在用户对驾驶员在环模拟器进行手动控制之后，经由HMI显示器显示绿色方向盘和指示用户成功接管驾驶员在环模拟器的手动控制的文本。该方法还包括经由HMI显示器显示红色方向盘和指示驾驶员在环模拟器自TOC事件发生以来经过预定时间量之后正在退出自动驾驶的文本。

根据下面提供的详细描述，本公开的其他应用领域将变得显而易见。应当理解，详细描述和具体示例仅旨在说明的目的，而不旨在限制本公开的范围。

当结合附图时，根据包括权利要求书和示例性实施例的详细描述，当前公开的系统和方法的上述特征和优点以及其他特征和优点是显而易见的。

附图说明

通过详细描述和附图将更全面地理解本公开，其中：

图1是驾驶员在环模拟器的示意图。

图2是用于模拟自动驾驶车辆的方法的流程图。

具体实施方式

现在将详细参考附图中示出的本公开的几个示例。只要有可能，在附图和描述中使用相同或相似的附图标记来指代相同或相似的零部件或步骤。

参考图1，驾驶员在环模拟器10被配置为模拟自动驾驶车辆，并且包括车辆座椅12和位于车辆座椅12前面的一个或多个输入设备14以模拟自动驾驶车辆。车辆座椅12可包括触觉致动器和座椅调节机构。驾驶员在环模拟器10可以包括制动致动器，例如操纵杆或制动踏板。输入设备14可以是方向盘、操纵杆、加速器致动器(例如，加速踏板)、制动致动器(例如，制动踏板)、或适合于接收用户的物理输入的任何其他设备或致动器。驾驶员在环模拟器10还包括一个或多个驾驶员视图显示器16和一个或多个人机界面(HMI)显示器18。驾驶员视图显示器16被配置为显示模拟驾驶场景的虚拟环境。驾驶员视图显示器可以连接到运行具有动态场景的高质量自动驾驶车辆(AV)虚拟模拟环境的工作站。驾驶员视图显示器16可以是多个弯曲屏幕的形式。HMI显示器18被配置为模拟自动驾驶车辆的HMI显示器。HMI显示器18可以与AV模拟环境通信，以有通知的图标的形式显示道路网络、车辆位置和HMI因素。HMI显示器18可以显示由AV系统生成的潜在消息，以与驾驶员在环模拟器10中的人类驾驶员进行通信。HMI显示器18的布局可以包括具有真实GPS信息的道路网络、3D车辆模型、具有轨迹引导的V形标志以及要在TOC逻辑中使用的方向盘/转向灯。

驾驶员在环模拟器10还包括控制器34和与控制器34通信的一个或多个传感器20。传感器20收集信息并生成指示所收集的信息的传感器数据。作为非限制性示例，传感器20可以感测驾驶员在环模拟器10的用户的移动、动作和/或生物响应。例如，传感器20可以包括被配置为测量方向盘或另一输入设备14的转向角的一个或多个转向角传感器(SAS)。传感器20可以包括生物传感器，例如测量用户压力的心率监测器。

控制器34被编程为从传感器20接收传感器数据并且包括至少一个处理器44和非暂时性计算机可读存储设备或介质46。处理器44可以是定制处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的多个处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、宏处理器、其组合、或者通常是用于执行指令的设备。计算机可读存储设备或介质46可以包括例如只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储装置。KAM是持久性或非易失性存储器，其可用于在处理器44断电时存储各种操作变量。控制器34的计算机可读存储设备或介质可以使用多个存储设备来实现，例如PROM(可编程只读存储器)、EPROM(电可编程只读存储器)、EEPROM(电可擦除只读存储器)、闪存或其他能够存储数据的电、磁、光或组合存储设备，其中的一些代表可执行指令，由控制器34在控制驾驶员在环模拟器10时使用。控制器34与驾驶员视图显示器16、传感器20和HMI显示器18通信。

这些指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。当指令由处理器44执行时，接收并处理来自传感器20的信号，执行用于自动控制车辆10的部件的逻辑、计算、方法和/或算法，并且基于逻辑、计算、方法和/或算法产生控制信号。尽管图1中示出了单个控制器34，但是驾驶员在环模拟器10可以包括多个控制器34，其通过适当的通信介质或通信介质的组合进行通信，并且协作来处理传感器信号、执行逻辑、计算、方法和/或算法，并生成控制信号以自动控制驾驶员在环模拟器10的特征。非暂时性计算机可读存储设备或介质46包括机器可读指令(例如，在图2中示出)，当由一个或多个处理器执行该机器可读指令时，使处理器44执行方法100(图2)。

图2是用于模拟自动驾驶车辆的方法100，并且开始于框102。在框102处，控制器34接收场景数据(例如，开放场景(OpenScenario)文件)。场景数据包括针对特定自动驾驶车辆的预定义场景。预定义的场景包括交通车辆行为和目标路线。场景数据还包括TOC触发条件。TOC触发条件或TOC事件是指人类驾驶员应该退出自动驾驶并应该手动控制自动驾驶车辆的情况。作为非限制性示例，当自动驾驶车辆未检测到前导车辆、恶劣天气、不准确的位置数据、一个或多个传感器20的传感器故障时，或者当自动驾驶车辆无法处理周围情况的复杂性时，发生TOC事件。然后方法100进行到框104。

在框104处，开始TOC实验。当人类驾驶员位于驾驶员在环模拟器10中时，控制器34运行场景数据以模拟驾驶场景。动态场景模块解析场景数据并将所有交通参与者置于虚拟环境中。当模拟自动驾驶车辆遵循预定义路线时，绑定的传感器数据还会捕获数据。然后，方法100继续到框106。

在框106处，传感器数据与虚拟环境生成的数据同步。前视摄像头视图(例如，传感器20之一)显示在驾驶员视图显示器16中。HMI因素，例如车辆位置和道路网络布局，显示在HMI显示器18中。然后，方法100继续到框108。

在框108处，控制器34检测TOC事件。TOC事件是人类驾驶员应该退出自动驾驶并手动控制自动驾驶车辆(或模拟自动驾驶车辆)的事件。作为非限制性示例，当自动驾驶车辆未检测到前导车辆、恶劣天气、不准确的位置数据、一个或多个传感器20的传感器故障时，或者当自动驾驶车辆无法处理周围情况的复杂性时，发生TOC事件。

然后，方法100继续到框110。在框110处，驾驶员在环模拟器10中的动态场景模块可以通知干预模块处理与人类驾驶员/测试员的交互操作。然后，方法100继续到框112。

在框112处，HMI显示器18响应于检测到TOC事件显示通知(“TOC通知”)。该通知表明发生了TOC事件。此时，用户可以抓住输入设备14(例如，方向盘)。该通知可以采用改变颜色的图标的形式。此时，传感器20可以收集信息，例如转向角旋转速率、加速度或制动器致动、以及用户的压力水平。因此，在框113处，控制器34检测来自用户的输入(例如，转向角旋转速率、加速度或制动器致动等)。然后，方法100继续到框114。

在框114处，控制器34确定从自动驾驶到手动模式的接管操作是否顺利。驾驶员在环模拟器10可以向用户提供反馈(例如，传感器数据)以确保驾驶员在环模拟器10正确地从自动驾驶切换到手动模式以增强人类体验。可以设想，如果自从检测到TOC事件以来从自动驾驶切换到手动模式花费了超过预定量的时间，则控制器34可以确定存在TOC故障。预期人类可以手动地从自动驾驶模式切换到手动模式。如果检测到TOC事件，驾驶员在环模拟器10还可以自动从自动驾驶切换到手动模式。

HMI显示器18在不同位置以不同颜色显示TOC通知。开始时，HMI显示器18不显示TOC通知。当检测到TOC事件时，HMI显示器18显示TOC通知。此时，TOC通知可以是一个黄色方向盘，其带有指示用户应该手动接管的文本。例如，文本可能包括短语“请手动接管”。一旦发生TOC事件，时钟就会开始计算自TOC事件以来的时间。如果自TOC事件以来已经过去了预定量的时间(例如，十秒)，则HMI显示器18显示TOC超时或故障消息。TOC超时或故障通知可以包括红色方向盘并且包括指示驾驶员在环模拟器10正在禁用自动驾驶的文本。例如，文本可以包括短语“退出自动驾驶！！！”。如果用户在时钟到达自检测到TOC事件以来的预定时间量之前手动控制输入设备14(例如，方向盘)，则HMI显示器18显示指示用户成功接管驾驶员在环模拟器10的手动控制的TOC通知。该TOC通知可以包括绿色方向盘和指示用户成功接管驾驶员在环模拟器10的手动控制的文本。例如，文本可能包括短语“接管成功”。该TOC通知还可以包括绿色方向盘旁边的绿色手图标。当驾驶员在环模拟器10在TOC事件结束之后再次准备好进行自动驾驶时，HMI显示器18可以显示绿色方向盘和指示自动驾驶正在进行的文本。

虽然上面描述了示例性实施例，但是这些实施例并不旨在描述权利要求所涵盖的所有可能的形式。说明书中使用的词语是描述性的词语而不是限制性的，并且应当理解，在不脱离本公开的精神和范围的情况下可以做出各种改变。如前所述，各种实施例的特征可以组合以形成可能未明确描述或示出的当前公开的系统和方法的进一步实施例。虽然各种实施例可能已被描述为提供优点或对于一种或多种所需特性优于其他实施例或现有技术实施方式，但本领域普通技术人员认识到，可对一种或多种特征或特性进行折衷以实现所需整体系统属性，这取决于具体的应用和实施方式。这些属性可包括但不限于成本、强度、耐久性、生命周期成本、市场性、外观、包装、尺寸、适用性、重量、可制造性、组装简易性等。因此，所描述的不如其他实施例那么理想的实施例或者关于一个或多个特征的现有技术实施方式并不超出本公开的范围并且对于特定应用来说可能是理想的。

附图是简化形式且未按精确比例绘制。仅出于方便和清楚的目的，可针对附图使用方向术语，例如顶部、底部、左、右、上、上方、之上、之下、下方、后部和前部。这些和类似的方向术语不应被解释为以任何方式限制本公开的范围。

本文描述了本公开的实施例。然而，应当理解，所公开的实施例仅仅是示例，并且其他实施例可以采取各种替代形式。附图不一定按比例绘制；某些特征可以被放大或最小化以显示特定组件的细节。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅作为教导本领域技术人员以不同方式采用当前公开的系统和方法的代表性基础。如本领域普通技术人员将理解的，参照任一附图示出和描述的各种特征可以与一幅或多幅其他图中示出的特征组合以产生未明确示出或描述的实施例。所示特征的组合提供了典型应用的代表性实施例。然而，对于特定应用或实施方式可能需要与本公开的教导一致的特征的各种组合和修改。

该描述本质上仅仅是说明性的并且决不旨在限制本公开、其应用或用途。本公开的广泛教导可以以多种形式实现。因此，虽然本公开包括特定示例，但是由于在研究附图、说明书和所附权利要求后其他修改将变得显而易见，本公开的真实范围不应当受到这种限制。

Claims (10)

1.一种驾驶员在环模拟器，包括：

车辆座椅；

驾驶员视图显示器；

人机界面HMI显示器；

输入设备；以及

控制器，所述控制器与所述驾驶员视图显示器、所述HMI显示器和所述输入设备进行通信，其中，所述控制器包括处理器和与所述处理器通信的非暂时性计算机可读介质，并且所述控制器被编程为：

检测控制转移TOC事件，其中，所述TOC事件是人类驾驶员应该退出自动驾驶并应该进行手动控制的事件；

响应于检测到所述TOC事件，在所述HMI显示器上显示所述TOC事件已发生的通知；以及

响应于检测到所述TOC事件，检测由所述驾驶员在环模拟器的用户通过所述输入设备提供的输入，其中，所述输入指示所述用户控制了通过所述驾驶员在环模拟器体验的模拟。

2.根据权利要求1所述的驾驶员在环模拟器，其中，所述输入设备是方向盘。

3.根据权利要求2所述的驾驶员在环模拟器，其中，所述控制器被编程为接收场景数据。

4.根据权利要求3所述的驾驶员在环模拟器，其中，所述控制器被编程为命令所述驾驶员视图显示器显示基于所述场景数据的场景。

5.根据权利要求4所述的驾驶员在环模拟器，还包括与所述控制器通信的多个传感器，并且所述控制器被编程为模拟自动驾驶车辆的驾驶，直到所述控制器响应于检测到所述TOC事件接收到指示所述用户控制了所述模拟的输入。

6.根据权利要求5所述的驾驶员在环模拟器，其中，所述控制器被编程为记录所述用户响应于检测到所述TOC事件提供的输入。

7.根据权利要求6所述的驾驶员在环模拟器，其中，所述TOC事件是所述多个传感器中的至少一个传感器引起的传感器故障。

8.一种用于模拟自动驾驶车辆的方法，包括：

检测驾驶员在环模拟器中的控制转移TOC事件；

响应于检测到所述TOC事件，在人机界面HMI显示器上显示所述TOC事件已发生的通知；以及

响应于检测到所述TOC事件，检测由所述驾驶员在环模拟器的用户通过所述输入设备提供的输入，其中，所述输入指示所述用户控制了通过所述驾驶员在环模拟器体验的模拟。

9.根据权利要求8所述的方法，其中，所述输入设备是方向盘。

10.根据权利要求9所述的方法，还包括接收场景数据。