[go: up one dir, main page]

CN109334566B - 用于提供车外反馈的方法、装置、设备和存储介质 - Google Patents

用于提供车外反馈的方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN109334566B
CN109334566B CN201811013806.9A CN201811013806A CN109334566B CN 109334566 B CN109334566 B CN 109334566B CN 201811013806 A CN201811013806 A CN 201811013806A CN 109334566 B CN109334566 B CN 109334566B
Authority
CN
China
Prior art keywords
vehicle
pedestrian
feedback information
feedback
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811013806.9A
Other languages
English (en)
Other versions
CN109334566A (zh
Inventor
王雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority to CN201811013806.9A priority Critical patent/CN109334566B/zh
Publication of CN109334566A publication Critical patent/CN109334566A/zh
Priority to EP19194264.8A priority patent/EP3616996A1/en
Priority to US16/555,229 priority patent/US11074810B2/en
Priority to JP2019157033A priority patent/JP6855542B2/ja
Application granted granted Critical
Publication of CN109334566B publication Critical patent/CN109334566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/503—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
    • B60Q1/5035—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays
    • B60Q1/5037—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays the display content changing automatically, e.g. depending on traffic situation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/543—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating other states or conditions of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/545—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating other traffic conditions, e.g. fog, heavy traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/547—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for issuing requests to other traffic participants; for confirming to other traffic participants they can proceed, e.g. they can overtake
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/549—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for expressing greetings, gratitude or emotions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

根据本公开的示例实施例，提供了用于提供车外反馈的方法、装置、设备和计算机可读存储介质。用于提供车外反馈的方法包括检测正在行驶的车辆外部的行人对车辆的注意力状态，注意力状态指示行人是否注意到车辆的存在；至少部分基于注意力状态来确定要由车辆向行人指示的反馈信息；以及控制车辆利用车辆的输出设备来输出反馈信息。以此方式，可以由车辆向行人提供更有针对性的反馈信息。

Description

用于提供车外反馈的方法、装置、设备和存储介质
技术领域
本公开的实施例主要涉及车外交互领域，并且更具体地，涉及用 于提供车外反馈的方法、装置、设备和计算机可读存储介质。
背景技术
当车辆在道路上行驶时，经常需要与道路上的行人、车辆进行交 互。当前的车辆，无论是具有或不具有自动驾驶能力，通常都可以通 过车辆行驶动作、车灯、鸣笛等方式来向行人传递一些反馈信息，诸 如车辆行驶的意图、可能的突发情况的告警等等。当车辆低速接近行 人时，车内的驾驶员或乘客也可以依靠口头语言或者诸如手势、表情 等非言语性动作来传达信息。向车外的行人提供反馈信息可以帮助减 少安全事故的发生。
发明内容
根据本公开的示例实施例，提供了一种用于提供车外反馈的方 案。
在本公开的第一方面中，提供了一种用于提供车外反馈的方法。 该方法包括检测正在行驶的车辆外部的行人对车辆的注意力状态，注 意力状态指示行人是否注意到车辆的存在；至少部分基于注意力状态 来确定要由车辆向行人指示的反馈信息；以及控制车辆利用车辆的输 出设备来输出反馈信息。
在本公开的第二方面中，提供了一种用于提供车外反馈的装置。 该装置包括注意力检测模块，被配置为检测正在行驶的车辆外部的行 人对车辆的注意力状态，注意力状态指示行人是否注意到车辆的存 在；反馈确定模块，被配置为至少部分基于注意力状态来确定要由车 辆向行人指示的反馈信息；以及反馈输出模块，被配置为控制车辆利 用车辆的输出设备来输出反馈信息。
在本公开的第三方面中，提供了一种设备，包括一个或多个处理 器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被 一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第 一方面的方法。
在本公开的第四方面中，提供了一种计算机可读存储介质，其上 存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方 面的方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的 实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其 它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特 征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注 表示相同或相似的元素，其中：
图1示出了本公开的多个实施例能够在其中实现的示例环境的示 意图；
图2A示出了根据本公开的一些实施例的示例车辆的顶视图；
图2B示出了根据本公开的一些实施例的示例车辆的后视图；
图2C示出了根据本公开的一些实施例的示例车辆的侧视图；
图3示出了根据本公开的一些实施例的用于提供车外反馈的过程 的流程图；
图4示出了根据本公开的实施例的用于提供车外反馈的装置的示 意框图；以及
图5示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示 了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形 式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这 些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公 开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范 围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理 解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至 少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至 少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相 同的对象。下文还可能包括其他明确的和隐含的定义。
如以上提及的，在车辆行驶过程中需要向车外行人提供反馈信 息。当前的反馈信息主要是基于对车外环境的判断而提供的。具有自 动环境检测能力的车辆、诸如具有相应设备配备的无人驾驶车辆可能 通过传感器等设备自动检测车辆和行人所处的外部环境，以判断给出 何种反馈信息。例如，通过检测车辆在其上行驶的道路上是否出现行 人来判断是否应鸣笛。然而，仅依靠外部交通环境来提供车外反馈信 息可能有时不足以提示行人。在不具有自动环境检测能力的车辆、诸 如具有驾驶员的传统车辆可能需要依靠车内驾驶员的主观判断来确 定是否由车辆的输出设备或者由驾驶员对行人进行提示。
近年来，无人驾驶技术逐渐崭露头角。越来越多的企业开始投入 无人驾驶的研发和生产中。可预想到，未来一段时间内的道路上将会 出现部分无人驾驶车辆。由于无人驾驶车辆中驾驶员角色的消失，这 将损失了传统驾驶时根据驾驶员的灵活判断来提供反馈信息这种与 行人互动的方式。仅根据无人驾驶车辆对交通规则和对外部环境来提 供反馈信息可能无法满足“人车互动”的需求。
根据本公开的实施例，提出了一种用于提供车外反馈的方案。在 该方案中，检测正在行驶的车辆外部的行人对车辆的注意力状态，并 且至少基于注意力状态来确定和向行人输出反馈信息。本公开的方案 能够根据行人对车辆的注意力状态来提供针对性反馈信息。这使得车 外的人车互动更高效有用，并且可以在较短的交互时间内尽可能让行 人快速获得有用信息、以保障行人在道路上的安全环境。
以下将参照附图来具体描述本公开的实施例。图1示出了本公开 的多个实施例能够在其中实现的示例交通环境100的示意图。在该示 例环境100中，车辆110正在道路102上行驶，行人120位于车辆110 附近。示例交通环境100还示出了一些示例交通引导设施，例如交通 信号等130、132以及人行横道标识134。
在本文中，术语“行人”是相对于车辆110或者其他车辆上的驾 驶员和乘客而言的。行人120可以正在道路上行走、停留、处于或正 在操作其他非机动车辆(例如滑板车、自行车)、或者正在执行其他 动作。车辆110可以是可以承载人和/或物并且通过发动机等动力系统 移动的任何类型的车辆，包括但不限于轿车、卡车、巴士、摩托车、 房车、火车等等。车辆110可以是具有一定自动驾驶能力的车辆，这 样的车辆也被称为无人驾驶车辆。当然，车辆110还可以是不具有自 动驾驶能力的车辆，这样的车辆要求驾驶员进行驾驶行为。
车辆110可以通信地耦合到计算设备140。虽然被示出为单独的 实体，但计算设备140可以被嵌入在车辆110中。计算设备140也可 以车辆110外部的实体，并且可以经由无线网络与车辆110通信。计 算设备140可以被实现为一个或多个计算设备，其至少包含处理器、 存储器以及其他通常存在于通用计算机中的组件，以便实现计算、存 储、通信、控制等功能。
应当理解，图1中示出的环境100仅是一个具体示例。根据实际 情况，环境100中可能存在更多、更少或者不同的物体。例如，供车 辆行驶的道路、道路上的车辆位置和数目、行人的位置和数目、行人 与车辆的相对位置、交通引导设施等一项或多项的布置可能不相同。 图1中示出的反馈信息112仅是一个具体示例。车辆110还可以以其 他形式输出其他反馈信息。
如果车辆110正在行驶(而不是处于停车状态)，可能会需要对 外部120的行人提供反馈信息112。反馈信息112用于向行人120传 递引导、限制、警告或指示信息。例如，在图1的示例中，车辆110 利用前侧的显示屏幕来显示反馈信息112，其包含文字“即将右转， 车速20km/h”。这样的反馈信息112可以向行人120指示车辆110 的行驶状态，包括车辆110的行驶路径和车速。这使得行人120能够 快速理解车辆的行驶方向和路径，从而最大化保障行人在道路上的安 全。
根据本公开的实施例，车辆110输出的反馈信息112至少部分基 于行人120对正在行驶的车辆110的注意力状态。本申请的发明人已 经发现，车外反馈信息对行人的提示与行人对车辆的注意力状态有 关。例如，如果正在穿过道路的行人视线没有注意到正在驶来的车辆， 那么通过信号灯可能无法让行人注意到车辆。此时可以选择鸣笛，使 行人注意到车辆的存在。如果在这个例子中行人注意到车辆，可以在 车辆的显示屏幕上显示提示信息而无需鸣笛。
反馈信息112的具体内容和呈现方式有时还取决于车辆110的具 体硬件配置。在详细描述本公开的实施例之前，首先参照图2A至2C 介绍车辆110的硬件配置的示例。图2A描绘了车辆110的一个示例 的顶视图201。在该示例中，车辆110包括安装在车辆外部的一个或 多个显示屏幕。显示屏幕可以包括安装在车辆110的侧部的左侧面屏 幕210、右侧面屏幕214、安装在车辆110的后部的后侧屏幕212，以 及安装在车辆110的前部的前侧屏幕216。后侧屏幕212还可以从图 2B描绘的车辆110的后视图202更清楚看出。显示屏幕可以是任何 类型的能够显示文字、图像和/或动画等形式的反馈信息的屏幕。除了 图2A中示出的屏幕之外或者作为备选，一个或多个其他屏幕也可以 被安装在车辆110的其他位置。
从图2A的顶视图201还可以看出，车辆110还包括用于发出光 线的一个或多个信号灯。信号灯可以位于车辆110的不同位置，诸如 图2A中示出的右前侧信号灯220、右后侧信号灯222、左后侧信号 224和左前侧信号灯226。信号灯220、222、224和226例如可以是 射线灯。车辆110还可以包括其他类型的灯光。例如，图2C描绘了 车辆110的侧视图203。从侧视图203，除了可以看出车辆110的侧 面屏幕、例如左侧面屏幕210之外，还可以包括安装于车辆110侧面 的流线型灯带228。包括射线灯、灯带等在内的这些信号灯可以任何 类型的能够输出光线形式的反馈信息的灯。
车辆110还可以包括一个或多个扬声器。继续回到图2A，其中 示出了位于车辆110的前部的扬声器230。应当理解，一个或多个其 他扬声器可以位于车辆110的其他外置。扬声器230可以用于输出可 听形式的反馈信息。
除了用于信息输出的设备之外，车辆110还可以包括用于车辆外 的数据采集的一个或多个设备，诸如位于车辆110顶部的数据采集设 备240。数据采集设备240可以是图像捕获设备、诸如摄像机，和/ 或可以用于感测数据的其他类型的传感器等。也应当理解，一个或多 个其他数据采集设备可以位于车辆110的其他位置。
以上参考图2A至图2C描绘了车辆110的硬件配置的示例。然而， 取决于车辆110的类型和具体配置，用于反馈信息的输出和用于数据 采集的硬件设备的类型、数目、布置方式等可以变化。本公开的实施 例在此方面不受限制。
下文将参考图3来更详细描述如何控制车辆110提供基于注意力 状态的反馈信息112。图3示出了根据本公开的一些实施例的用于提 供车外反馈的过程300的流程图。过程300可以由图1的计算设备140 来实现，该计算设备140可以被嵌入车辆110或者作为车辆110外部 的独立设备。为了方便讨论，将结合图1来描述过程300。
在框310，计算设备140检测正在行驶的车辆110外部的行人120 对车辆110的注意力状态。注意力状态指的是行人120是否注意到车 辆110的存在，例如行人120的视线是否正在看向车辆110。在一些 实现中，在行人120注意到车辆110的情况下，注意力状态还可以更 具体地指示行人120的视线落入在车辆110的哪个位置。例如，行人 120正在看向车辆110的前部、侧部或者后部。
注意力状态的检测可以基于各种注意力识别技术。在一些实现 中，计算设备140可以获取实时采集到的车辆110周围环境的图像信 息，并且通过数据分析来判断外部环境中是否存在行人120。用于分 析的图像信息可以由车辆110的数据采集设备240实时采集。例如， 数据采集设备240可以被配置为采集车辆110的一个或多个方向的外 部环境的图像。在这样的示例中，数据采集设备240可以包括一个或 多个图像采集器，每个图像采集器被配置为采集不同方向的图像。数 据采集设备240还可以包括全景图像采集设备，其能够采集更宽角度 的图像。除了车辆110承载的数据采集设备之外，还可以备选地或附 加地借助位于车辆110外部的数据采集设备，例如位于道路102两侧 或者由道路102上的其他车辆采集到的数据。
对于行人120的存在的检测可以基于例如图像分析技术中的对象 识别技术。在一些实现中，除了通过分析采集到的图像来检测行人的 存在之外，还可以通过例如红外感测等其他感测数据来确定行人120 是否存在。在一些示例中，可以仅检测与车辆110处于预定距离范围 的行人，因为通常车外反馈信息112可能更适合于与车辆110距离较 近的行人。
如果判断车辆110的外部环境中存在行人120，计算设备140可 以从采集到的图像信息中分析行人120的姿势、动作、面部的朝向以 及行人120与车辆110的相对位置等来确定行人120是否注意到车辆 以及行人120的视线可能落在车辆110的哪个位置。对于行人120的 存在以及对车辆110的注意力状态的检测可以利用其他当前已经存在 的或者将来待开发的技术。本公开的范围在此方面不受限制。
在框320，计算设备140至少部分基于注意力状态来确定要由车 辆110向行人120指示的反馈信息112。根据本公开的实施例，取决 于行人120是否注意到车辆110和/或行人120注意到车辆110的特定 位置，计算设备140可以确定不同的反馈信息以用于由车辆110输出。 如以上提及的，反馈信息112用于向行人120传递引导、限制、警告 或指示信息。在一些实现中，为了车辆和行人的安全，反馈信息112 可以包括针对行人的行进的引导信息、与安全交通规则相关的警告信 息、与当前交通状况有关的指示信息、与车辆的行驶状态有关的指示 信息等。在一些实现中，反馈信息112可以仅包括简单的互动信息， 例如对行人120的问候语、指示车辆110的自动驾驶状态、指示天气 情况、指示附近的交通情况等等。反馈信息112的更多具体示例将在 下文详细描述。
在一些实施例中，如果注意力状态指示行人120未注意到车辆 110，计算设备140可以至少确定可听形式的反馈信息112。例如，如 果在车辆110行驶到行人120附近时，行人120正在望向其他方向或 者正与旁人打闹而未注意到车辆110，那么可听形式的反馈信息可能 更容易使行人120获知。可听形式的反馈信息112例如是可以由车辆 110的扬声器230输出的反馈信息。这样的反馈信息可以包括喇叭声、 或者具有具体内容的音频。在一些示例中，可听形式的反馈可以以定 向传递的方式输出行人120。除了可听声音之外，在注意力状态指示 行人120未注意到车辆110的情况下，车辆110还可以确定可视形式 的反馈信息112，例如可见光形式的反馈信息。如果行人120当前未 注意到车辆110，可见光可能会使得行人120从当前的注视方向或者 正在进行的动作中转移到注意车辆110的驶来方向。
在一些实施例中，如果注意力状态指示行人120注意到车辆110， 计算设备140可以至少确定可视形式的反馈信息112。在行人120已 经注意到车辆110的情况下，可视形式的反馈信息更有助于行人120 快速获知。可视形式的反馈信息112可以包括经由车辆110的一个或 多个显示屏幕，例如图2A中示出的屏幕210、212、214和/或216等 显示的文字、图像和/或动画等。可视形式的反馈信息112还可以包括 例如可见光形式的反馈信息。可见光形式的反馈信息112可以由车辆 110的一个或多个信号灯，诸如信号灯220、222、224、226和/或灯 带228等进行输出。当然，除了可视形式的反馈信息之外，在行人120 注意到车辆110的情况下，计算设备140还可以附加地确定可听形式 的反馈信息。
如果在行人120注意到车辆110的情况下，注意力状态还指示行 人120注意到车辆110的特定位置，计算设备140还可以基于特定位 置来确定车辆110用于输出反馈信息112的输出设备。例如，如果检 测到行人120位于车辆110的前方，可以确定通过前侧屏幕216和/ 或前侧信号灯220、226来输出反馈信息。在一些情况下，输出设备 的确定也可以约束要输出的反馈信息112的具体内容，即反馈信息 112包括可供屏幕显示的文字或图像内容、或是由信号灯可指示的反 馈信号。
以上讨论了基于行人120对车辆110的注意力状态来确定反馈信 息112的一些实施例。在另外的实施例中，除了注意力状态之外，计 算设备140还可以检测与车辆110和行人中的至少一项相关联的环境 因素并且进一步基于与车辆110和/或行人120相关联的环境因素来确 定反馈信息112。车辆110和/或行人120当前所处的具体环境也会影 响到反馈信息的内容和输出形式的选择。
可能会影响反馈信息112的环境因素的一些示例包括车辆110正 行驶在其上的道路102布置的状况，例如是否接近路口、路口的类型 (例如十字路口、丁字路口等)、道路102是否宽敞(例如是否足够 容纳行人与车辆的同时通行)、道路102的路面是否平整、道路102是否处于隧道内等等。环境因素还可以包括车辆110正行驶在其上的 道路102上的交通引导实施的状况，例如是否有交通信号灯、交通信 号是否正确运行、是否有路面交通指示标志(诸如人行横道、转弯标 识等)。如果交通引导设施不够完善，车辆110可以主动输出附加引 导信息作为反馈信息112。
在另外的实例中，环境因素还可以包括车辆110和/或行人120的 预期运动轨迹。车辆110的预期运动轨迹可以由车辆110提供。例如， 对于具有自动驾驶能力的车辆110，其运动轨迹可能已经被预先设置。 当然，也可以通过分析车辆110的驾驶操作来判断其运动轨迹，这种 方式同时适用于具有自动驾驶能力和不具有自动驾驶能力的车辆 110。行人120的预期运动轨迹可以通过采集到的包含行人120的图 像或其他类型的感测数据来确定。车辆110和行人120的预期运动轨 迹可以用于判断车辆110和行人120是否将会交汇或者相互之间的距 离将会缩短或增加。行人120本身的运动轨迹还可以用于判断行人 120的行为和意图，例如是否要进入或离开机动车道、是否要横跨道 路护栏、是否要转弯等等。
进一步地，环境因素还可以包括检测到的行人120的预定行为， 例如行人120是否正在打电话、正在与旁人交谈或打闹、正在听歌或 看书、正在与车辆110打招呼等。预定行为也可以包括例如行人120 是否要进入或离开机动车道、是否要横跨道路护栏等行为。备选地或 附加地，环境因素还可以包括车辆110外部的照明状况。车辆110外 部的照明状况可能与当前时间和/或当前车辆110和行人120所处的交 通环境有关。例如，通常白天的照明情况较好，在夜晚时的照明依靠 于路灯，或者如果当前车辆110和行人120在隧道内，即使处于白天， 照明也需要依靠路灯。
以上给出了一些环境因素的示例。这些环境因素都可以直接或间 接影响反馈信息112的具体内容和/或输出方式(例如由哪个输出设备 输出)。计算设备140可以利用上述环境因素中的一个或多个来确定 反馈信息112。关于基于环境因素(以及基于注意力状态)确定反馈 信息112的一些具体示例将在下文详细描述。
继续参考图3，在框330，计算设备140控制车辆110利用车辆 110的输出设备来输出反馈信息112。在计算设备140被嵌入车辆110 的情况下，计算设备140可以直接向输出设备发送输出反馈信息的指 示，其中包括要输出的具体反馈信息112。在计算设备140独立于车 辆110外部的实体的情况下，计算设备140可以向车辆110的控制系 统发送输出反馈信息的指示，并在指示中承载要输出的具体反馈信息 112。在这种情况下，车辆110的控制系统可以控制车辆110的对应 输出设备输出反馈信息112。
虽然以上讨论的示例中仅一个行人120位于车辆110外部。在一 些情况下，车辆110的外部可能存在多个行人。此时，计算设备140 可以考虑每个行人分别对车辆110的注意力状态、行人注意到车辆 110的具体位置、行人与车辆110的相对位置、与该行人相关联的环 境因素等等来确定由车辆110输出的反馈信息。针对不同行人的不同 反馈信息可以都由车辆110输出。例如由于不同行人与车辆的相对位 置不同或者注意到车辆的不同位置，可以由车辆110的对应位置处的 输出设备进行输出。在一些实施例中，计算设备140还可以确定适合 于一群行人的反馈信息用于由车辆110输出。
为了更好地理解注意力状态如何影响反馈信息的确定(在一些情 况下，还考虑环境因素的影响)，下文中将给出一些示例场景和在这 些场景下所确定的具体反馈信息。
首先考虑在注意力状态指示行人120注意到车辆110的一些示例 场景。在一个场景下，假设车辆110和行人120处于具有相对完善的 交通引导设施的环境中，例如具有正常运行的交通信号灯、路口标志、 人行横道标志。在这种场景下，计算设备140可以根据车行人120注 意到车辆110的具体位置、交通信号灯的当前状态、车辆110与行人 120的运行轨迹中的一项或多项来确定反馈信息112。
在一个示例中，如果检测到行人120的运动轨迹是要穿过路口， 并且针对车辆110的交通信号灯指示禁止通行的红灯或暂缓通行的黄 灯、或者检测到针对行人120的交通信号灯指示绿灯时，计算设备140 可以生成用于引导行人120穿过路口的引导信息。例如，反馈信息112 可以是能够被显示在显示屏幕上的内容，例如文字“请通行”或者动 态展示行进方向的指示符等等。计算设备140还可以确定反馈信息 112的展示时间，例如可以持续到行人120已经穿过路口。在一些情 况下，计算设备140还可以根据行人120对车辆110的视线注视位置 来确定以车辆110的哪块屏幕来显示这样的反馈信息。
计算设备140还可以不断变换反馈信息112。在一些情况下，计 算设备140还可以确定一些交互信息以用作反馈信息112。例如，如 果检测到行人120已经穿过路口并且可能正要错过车辆110或者正在 与车辆110挥手，计算设备140可以确定用于在显示屏幕上显示的诸 如文字“再见”、与“再见”相关的表情符号或者表达情绪的其他表 情符号，例如与“微笑”相关的表情符号。
在一些示例中，如果检测到环境中的交通信号灯即将发生变化， 计算设备140可以输出与当前交通状况有关的指示信息。例如，如果 针对车辆110的交通信号灯从绿灯转向红灯，可以确定和提供诸如“稍 后绿灯请通行”，以提示行人120等待针对行人的绿色交通信号灯并 且还可以向行人120指示即将可以通过路口。在另一个示例中，如果 针对车辆110的交通信号灯从红灯转为绿灯，则可以确定和提供诸如 “即将变灯，请等待下次绿灯通行”，以提示行人120当前不宜通行。
在另一些示例中，如果检测到行人120注意到车辆110并且处于 具有相对完善的交通引导设施的环境中，计算设备140还可以确定与 车辆110的行驶状态有关的指示信息用作反馈信息112，这些信息可 以包括但不限于用于车辆的行驶方向、行驶路线、行驶速度、是否处 于自动驾驶状态。计算设备140还可以确定简单的交互信息以用作反 馈112，例如与行人互动(例如问候语)、或者提供诸如当前温度、天 气预报等其他有用信息。与行驶状态有关的指示信息和/或交互信息可 以由车辆110的显示屏幕显示。上述信息也可以附加地或备选地由车 辆110的信号灯或灯带进行指示，诸如由流线型灯带的闪烁这样的反馈信息来指示车辆行驶方向。这样的反馈信息的显示例如可以在确定 行人120的运动轨迹与车辆110的运动轨迹没有交叉的情况下。因为 在这种情况下可能无需给出更多指示用于保护行人安全。在一些情况 下，计算设备140还可以确定可以由车辆110中具有投射功能的信号 灯输出的投影图案，用于投影出行人120的保护圈或者引导行人120 的行进路径。
在第二场景下，假设注意力状态指示行人120注意到车辆110， 但是车辆110和行人120处于没有完善的交通引导设施的环境中。在 这种场景的一些示例中，计算设备140检测到路口没有交通信号灯用 于对行人穿过路口进行引导。为了保护行人安全，计算设备140可以 指示车辆110在接近行人120时主动检索，并且确定用于引导行人120 穿过路口的引导信息。例如，可以通过具有投射功能的信号灯输出的 投影图案，用于投影出行人120的保护圈或者引导行人120的行进路 径。还可以通过行人120能够注意到的显示屏幕通过指示信息，例如 文字“请通行”或者动态展示行进方向的指示符等等。计算设备140 还可以确定反馈信息112的展示时间，例如可以持续到行人120已经 穿过路口。在一些情况下，计算设备140还可以确定一些交互信息以 用作反馈信息112。例如，如果检测到行人120已经穿过路口并且可 能正要错过车辆110或者正在与车辆110挥手，计算设备140可以确 定用于在显示屏幕上显示的诸如文字“再见”、与“再见”相关的表 情符号或者表达情绪的其他表情符号，例如与“微小”相关的表情符 号。
在处于没有完善的交通引导设施的环境这种场景中，如果检测到 车辆110和/行人120所处的道路比较狭窄，可能造成车辆与行人的距 离较近，那么计算设备140也可以确定相应的引导信息用于引导行人 的行进。例如，在车辆110接近行人120时，除了控制车辆110缓慢 行驶之外，还可以确定用于由具有投射功能的信号灯输出的投影图案 作为反馈信息112，用于投影出行人120的保护圈或者引导行人120 的行进路径，和/或用于投影出车辆110的行驶路线。备选地或附加地， 在车辆110经过行人120时，计算设备140还可以确定一些交互信息 以用作反馈信息112，诸如用于由车辆110的侧面屏幕显示的文字“请 注意窄道通行安全，谢谢”。在车辆110行驶超过行人120时，计算 设备140可以确定用于由车辆110的后侧屏幕显示的文字“祝你有个 愉快的一天”等问候语。
在一些极端的道路情况下，例如车辆110和行人120无法并行行 走的道路中，可以控制车辆110在接近行人120时停止行驶，并且确 定用于投射出行人120的保护圈或者引导行人120的行进路径等投射 图案。同时，还可以确定诸如文字“请放心前进，我正在跟随”等用 于显示，以使行人120能够确定车辆110的行驶意图并且安全行进。
在这种过窄道路下，为了引导行人120的行进，还可以根据当前 外部环境的照明状况来确定是否需要由车辆110的信号灯发出照明光 线作为反馈信息112。这能够更好地保障行人的安全。
在第三场景下，假设注意力状态指示行人120注意到车辆110， 但是计算设备140还检测到行人120的特定行为可能违背交通规则， 例如行人120在没有人行横道的情况下横穿马路、横穿道路围栏、走 向高速路等违章行为。在这种场景下，计算设备140可以确定与安全 交通规则相关的警告信息作为反馈信息112。例如，反馈信息112可 以被确定为用于在车辆110的屏幕上显示的提醒文字“请勿横穿马 路”、“高速路危险！”等。反馈信息112还可以包括诸如鸣笛或者可 语音播报的警告信息，例如通过车辆110的扬声器发出的定向语音信 号。
下文将给出在注意力状态指示行人120未注意到车辆110下的一 些示例场景。在一个示例中，如果计算设备140还检测到行人120正 在玩手机、打电话或听歌等特定行为，并且还检测到行人120即将走 到当前正在禁止行人通行的路口(例如，针对行人的交通信号灯为红 色)，计算设备140还可以确定车辆110和行人120的预期行进轨迹 是否交叉。如果两者的运行轨迹不发生交叉，计算设备140可以确定 一些引导信息和/或交互信息，例如用于投射出行人120的保护圈或者 引导行人120的行进路径等投射图案等对行人120进行引导，以保证 行人120行走的安全。如果车辆110和行人120的运行轨迹将会发生 交叉，计算设备140可以附加地或备选地确定可听形式的提示信息， 诸如通过车辆110的扬声器发出的鸣笛或语音提示，以提醒行人120 注意车辆。
以上讨论了在一些示例场景下，基于注意力状态和一个或多个环 境因素来提供针对性的反馈信息。然而，应当理解，这些场景的描述 仅为了以示例方式来解释说明本公开的实施例。取决于实际需要，在 不同或类似场景下，还可以选择不同的反馈信息。通过考虑注意力状 态并且还可以考虑环境因素，可以向行人提供更有针对性的车外反 馈，从而使车外的人车互动更高效有用。此外，还可以在较短的交互 时间内可以尽可能让行人快速理解车辆、道路交通等多种信息，从而 最大化保障行人在道路上的安全。
图4示出了根据本公开实施例的用于提供车外反馈的装置400的 示意性框图。装置400可以被包括在图1的计算设备140中或者被实 现为计算设备140。如图4所示，装置400包括注意力检测模块410， 被配置为检测正在行驶的车辆外部的行人对车辆的注意力状态，注意 力状态指示行人是否注意到车辆的存在。装置400还包括反馈确定模 块420，被配置为至少部分基于注意力状态来确定要由车辆向行人指 示的反馈信息。装置400进一步包括反馈输出模块430，被配置为控 制车辆利用车辆的输出设备来输出反馈信息。
在一些实施例中，反馈确定模块420可以进一步包括环境检测模 块，被配置为检测与车辆和行人中的至少一项相关联的环境因素，以 及基于环境的反馈确定模块，被配置为进一步基于环境因素来确定反 馈信息。
在一些实施例中，环境检测模块可以被配置为检测以下至少一 项：车辆正行驶在其上的道路布置的状况；道路上的交通引导设施的 状况；行人的预期运动轨迹；车辆的预期运动轨迹；行人的预定行为； 以及车辆外部的照明状况。
在一些实施例中，反馈输出模块430可以被配置为响应于注意力 状态指示行人未注意到车辆，至少确定可听形式的反馈信息。
在一些实施例中，反馈输出模块430可以被配置为响应于注意力 状态指示行人注意到车辆，至少确定可视形式的反馈信息。
在一些实施例中，装置400可以进一步包括输出设备确定模块， 被配置为响应于注意力状态进一步指示行人注意到车辆的特定位置， 基于特定位置来确定车辆用于输出反馈信息的输出设备。
在一些实施例中，车辆的输出设备可以包括以下至少一项：安装 在车辆外部的至少一个显示屏幕，至少一个扬声器，以及至少一个信 号灯。
在一些实施例中，反馈确定模块被配置为确定以下至少一项：针 对行人的行进的引导信息；与安全交通规则相关的警告信息；与当前 交通状况有关的指示信息；与车辆的行驶状态有关的指示信息；以及 交互信息。
在一些实施例中，注意力检测模块410可以包括：图像获取模块， 被配置为获得车辆的周围环境的图像信息；行人存在分析模块，被配 置为通过分析图像信息来确定行人是否存在；以及注意力分析模块， 被配置为响应于确定行人存在，通过进一步分析图像信息来确定行人 对车辆的注意力状态。
在一些实施例中，车辆包括具有自动驾驶能力的车辆。
图5示出了可以用来实施本公开的实施例的示例设备500的示意 性框图。设备500可以用于实现图1的计算设备140。如图所示，设 备500包括中央处理单元(CPU)501，其可以根据存储在只读存储 器(ROM)502中的计算机程序指令或者从存储单元508加载到随机 访问存储器(RAM)503中的计算机程序指令，来执行各种适当的动 作和处理。在RAM 503中，还可存储设备500操作所需的各种程序 和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。 输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505，包括：输入单元506， 例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器 等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网 卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/ 数据。
处理单元501执行上文所描述的各个方法和处理，例如过程300。 例如，在一些实施例中，过程300可被实现为计算机软件程序，其被 有形地包含于机器可读介质，例如存储单元508。在一些实施例中， 计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而 被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由 CPU 501执行时，可以执行上文描述的过程300的一个或多个步骤。 备选地，在其他实施例中，CPU 501可以通过其他任何适当的方式(例 如，借助于固件)而被配置为执行过程300。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑 部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部 件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用 标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑 设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语 言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计 算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当 由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被 实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为 独立软件包部分地在机器上执行且部分地在远程机器上执行或完全 在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以 包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、 装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介 质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁 性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者 上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基 于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储 器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM 或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光 学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求 这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示 的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处 理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细 节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施 例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反 地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合 适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了 本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上 面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅 是实现权利要求书的示例形式。

Claims (18)

1.一种用于提供车外反馈的方法，包括：
检测正在行驶的车辆外部的行人对所述车辆的注意力状态，所述注意力状态指示所述行人是否注意到所述车辆的存在；
至少部分基于所述注意力状态来确定要由所述车辆向所述行人指示的反馈信息，其中确定所述反馈信息包括：
响应于所述注意力状态指示所述行人注意到所述车辆，至少确定可视形式的反馈信息；以及
控制所述车辆利用所述车辆的输出设备来输出所述反馈信息。
2.根据权利要求1所述的方法，其中确定所述反馈信息进一步包括：
检测与所述车辆和所述行人中的至少一项相关联的环境因素；以及
进一步基于所述环境因素来确定所述反馈信息。
3.根据权利要求2所述的方法，其中检测所述环境因素包括检测以下至少一项：
所述车辆正行驶在其上的道路布置的状况；
所述道路上的交通引导设施的状况；
所述行人的预期运动轨迹；
所述车辆的预期运动轨迹；
所述行人的预定行为；以及
所述车辆外部的照明状况。
4.根据权利要求1所述的方法，其中确定所述反馈信息包括：
响应于所述注意力状态指示所述行人未注意到所述车辆，至少确定可听形式的反馈信息。
5.根据权利要求1所述的方法，进一步包括：
响应于所述注意力状态进一步指示所述行人注意到所述车辆的特定位置，基于所述特定位置来确定所述车辆用于输出所述反馈信息的输出设备。
6.根据权利要求1所述的方法，其中所述车辆的所述输出设备包括以下至少一项：
安装在所述车辆外部的至少一个显示屏幕，
至少一个扬声器，以及
至少一个信号灯。
7.根据权利要求1所述的方法，其中确定所述反馈信息包括确定以下至少一项：
针对所述行人的行进的引导信息；
与安全交通规则相关的警告信息；
与当前交通状况有关的指示信息；
与所述车辆的行驶状态有关的指示信息；以及
交互信息。
8.根据权利要求1所述的方法，其中检测所述注意力状态包括：
获得所述车辆的周围环境的图像信息；
通过分析所述图像信息来确定所述行人是否存在；以及
响应于确定所述行人存在，通过进一步分析所述图像信息来确定所述行人对所述车辆的注意力状态。
9.根据权利要求1至8中任一项所述的方法，其中所述车辆包括具有自动驾驶能力的车辆。
10.一种用于提供车外反馈的装置，包括：
注意力检测模块，被配置为检测正在行驶的车辆外部的行人对所述车辆的注意力状态，所述注意力状态指示所述行人是否注意到所述车辆的存在；
反馈确定模块，被配置为至少部分基于所述注意力状态来确定要由所述车辆向所述行人指示的反馈信息，其中所述反馈确定模块被配置为响应于所述注意力状态指示所述行人注意到所述车辆，至少确定可视形式的反馈信息；以及
反馈输出模块，被配置为控制所述车辆利用所述车辆的输出设备来输出所述反馈信息。
11.根据权利要求10所述的装置，其中所述反馈确定模块进一步包括：
环境检测模块，被配置为检测与所述车辆和所述行人中的至少一项相关联的环境因素，以及
基于环境的反馈确定模块，被配置为进一步基于所述环境因素来确定所述反馈信息。
12.根据权利要求11所述的装置，其中所述环境检测模块被配置为检测以下至少一项：
所述车辆正行驶在其上的道路布置的状况；
所述道路上的交通引导设施的状况；
所述行人的预期运动轨迹；
所述车辆的预期运动轨迹；
所述行人的预定行为；以及
所述车辆外部的照明状况。
13.根据权利要求10所述的装置，其中所述反馈确定模块被配置为响应于所述注意力状态指示所述行人未注意到所述车辆，至少确定可听形式的反馈信息。
14.根据权利要求10所述的装置，进一步包括：
输出设备确定模块，被配置为响应于所述注意力状态进一步指示所述行人注意到所述车辆的特定位置，基于所述特定位置来确定所述车辆用于输出所述反馈信息的输出设备。
15.根据权利要求10所述的装置，其中所述车辆的所述输出设备包括以下至少一项：
安装在所述车辆外部的至少一个显示屏幕，
至少一个扬声器，以及
至少一个信号灯。
16.根据权利要求10所述的装置，其中所述反馈确定模块被配置为确定以下至少一项：
针对所述行人的行进的引导信息；
与安全交通规则相关的警告信息；
与当前交通状况有关的指示信息；
与所述车辆的行驶状态有关的指示信息；以及
交互信息。
17.一种电子设备，所述设备包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一项所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-9中任一项所述的方法。
CN201811013806.9A 2018-08-31 2018-08-31 用于提供车外反馈的方法、装置、设备和存储介质 Active CN109334566B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811013806.9A CN109334566B (zh) 2018-08-31 2018-08-31 用于提供车外反馈的方法、装置、设备和存储介质
EP19194264.8A EP3616996A1 (en) 2018-08-31 2019-08-29 Method and device for providing feedback to outside of vehicle, device, and storage medium
US16/555,229 US11074810B2 (en) 2018-08-31 2019-08-29 Method and device for providing feedback to outside of vehicle, device, and storage medium
JP2019157033A JP6855542B2 (ja) 2018-08-31 2019-08-29 車両外部のフィードバックを提供する方法、装置、機器および記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811013806.9A CN109334566B (zh) 2018-08-31 2018-08-31 用于提供车外反馈的方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN109334566A CN109334566A (zh) 2019-02-15
CN109334566B true CN109334566B (zh) 2022-01-25

Family

ID=65297020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811013806.9A Active CN109334566B (zh) 2018-08-31 2018-08-31 用于提供车外反馈的方法、装置、设备和存储介质

Country Status (4)

Country Link
US (1) US11074810B2 (zh)
EP (1) EP3616996A1 (zh)
JP (1) JP6855542B2 (zh)
CN (1) CN109334566B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019078866A1 (en) * 2017-10-19 2019-04-25 Ford Global Technologies, Llc VEHICLE VEHICLE AND INFRASTRUCTURE COMMUNICATION SYSTEM, AND PEDESTRIAN DETECTION
CN109572555B (zh) * 2018-11-13 2020-01-21 百度在线网络技术（北京）有限公司 一种应用于无人车的遮挡信息显示方法和系统
DE102019206424B3 (de) * 2019-05-03 2020-02-13 Volkswagen Aktiengesellschaft Verfahren zur Interaktion zwischen einem Fahrzeug und einer Person, Berührungsdetektionseinrichtung für ein Fahrzeug und Fahrzeug
CN110176154A (zh) * 2019-06-14 2019-08-27 大陆投资(中国)有限公司 用于实现车辆与其它车辆的用户或行人之间的互动的方法
CN112530172A (zh) * 2019-09-17 2021-03-19 奥迪股份公司 预防骑行目标碰撞前车的安全提示系统和安全提示方法
CN111178286B (zh) * 2019-12-31 2023-09-12 智车优行科技（上海）有限公司 姿态轨迹预测方法、装置及电子设备
CN113147751A (zh) * 2020-01-06 2021-07-23 奥迪股份公司 用于车辆的驾驶辅助系统、方法及可读存储介质
KR102829342B1 (ko) * 2020-05-08 2025-07-02 현대자동차주식회사 차량의 커뮤니케이션 조명 시스템
CN111696385A (zh) * 2020-05-12 2020-09-22 宁波吉利汽车研究开发有限公司 一种行人预警系统及方法
US11623523B2 (en) * 2020-05-22 2023-04-11 Magna Electronics Inc. Display system and method
DE102020210238A1 (de) * 2020-08-12 2022-02-17 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Warnen von Verkehrsteilnehmern mit einer Umfeldüberwachung eines in Betrieb befindlichen Fahrzeugs und Vorrichtung zur Ausführung des Verfahrens
CN111985388B (zh) * 2020-08-18 2024-09-13 深圳市自行科技有限公司 行人注意力检测驾驶辅助系统、装置和方法
CN114379574B (zh) 2020-10-20 2023-10-31 沃尔沃汽车公司 用于车辆的对象提醒设备、系统和方法
CN112785769B (zh) * 2020-12-31 2023-03-03 深圳云天励飞技术股份有限公司 基于人脸识别的排队叫号管理方法、装置、设备及存储介质
CN112863146B (zh) * 2021-01-05 2022-12-09 重庆长安汽车股份有限公司 一种驾驶员导航高速出口时分心的提醒方法
CN121019443A (zh) * 2021-03-18 2025-11-28 深圳引望智能技术有限公司 灯光投影控制装置、方法及存储介质
CN113428176B (zh) * 2021-06-25 2023-11-14 阿波罗智联(北京)科技有限公司 无人车驾驶策略的调整方法、装置、设备和存储介质
CN113246848A (zh) * 2021-07-07 2021-08-13 宁波四维尔工业有限责任公司 汽车发光格栅控制方法、系统、存储介质及汽车发光格栅
CN115691093B (zh) * 2021-07-28 2025-01-14 比亚迪股份有限公司 提醒方法、提醒系统及存储介质、电子设备
CN113844361B (zh) * 2021-09-24 2023-09-05 阿波罗智联(北京)科技有限公司 提示方法、装置、电子设备、存储介质以及程序产品
JP7442948B2 (ja) * 2021-10-18 2024-03-05 矢崎総業株式会社 車外表示装置
CN113986008A (zh) * 2021-10-22 2022-01-28 广州小鹏自动驾驶科技有限公司 一种车辆的控制方法和装置
KR20230168859A (ko) * 2022-06-08 2023-12-15 현대모비스 주식회사 자동차 조명 장치 및 그 작동 방법
CN115158153A (zh) * 2022-07-21 2022-10-11 重庆长安汽车股份有限公司 车辆的自主泊车车外交互方法及装置
JP2024031669A (ja) * 2022-08-26 2024-03-07 市光工業株式会社 車載表示装置及びその動作方法、並びにコンピュータプログラム
JP2024132039A (ja) * 2023-03-17 2024-09-30 トヨタ自動車株式会社 制御装置、遠隔自動運転システム、および、移動体の制御方法
US12352079B2 (en) * 2023-04-12 2025-07-08 Volvo Car Corporation Detection and avoidance of car dooring of cyclists
CN116572828B (zh) * 2023-05-22 2025-11-04 重庆长安汽车股份有限公司 基于行驶场景的车辆行人沟通方法、装置、设备及存储介质
CN119283764A (zh) * 2024-10-28 2025-01-10 阿维塔科技(重庆)有限公司 一种车辆安全预警控制方法、装置及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108248504A (zh) * 2016-12-28 2018-07-06 现代自动车株式会社 用于控制车辆的虚拟发动机声音的装置和方法

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4255906B2 (ja) * 2004-12-03 2009-04-22 富士通テン株式会社 運転支援装置
US8537030B2 (en) * 2010-02-15 2013-09-17 Ford Global Technologies, Llc Pedestrian alert system and method
DE102011112717B4 (de) * 2011-09-07 2017-05-04 Audi Ag Verfahren zum Bereitstellen einer Darstellung in einem Kraftfahrzeug abhängig von einer Blickrichtung eines Fahrzeugführers und Kraftfahrzeug mit einer Einrichtung zum Bereitstellen einer Darstellung in einem Kraftfahrzeug
JP5696701B2 (ja) * 2012-08-31 2015-04-08 株式会社デンソー 対歩行者報知装置
US9196164B1 (en) * 2012-09-27 2015-11-24 Google Inc. Pedestrian notifications
US20150109148A1 (en) * 2013-10-18 2015-04-23 Elwha Llc Pedestrian Warning System
JP6429368B2 (ja) * 2013-08-02 2018-11-28 本田技研工業株式会社 歩車間通信システムおよび方法
US9336436B1 (en) * 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
JP2015114726A (ja) 2013-12-09 2015-06-22 キヤノン株式会社 情報伝達装置及びその制御方法、情報装置、コンピュータプログラム
JP6137001B2 (ja) * 2014-03-14 2017-05-31 株式会社デンソー 車載装置
US9142127B1 (en) * 2014-04-29 2015-09-22 Maxwell Consulting, LLC Systems and methods for traffic guidance nodes and traffic navigating entities
JP6337646B2 (ja) * 2014-06-26 2018-06-06 株式会社Ｊｖｃケンウッド 車載映像システム、映像転送システム、映像転送方法及び映像転送プログラム
JP6256239B2 (ja) * 2014-07-25 2018-01-10 株式会社デンソー 歩行者検出装置および歩行者検出方法
JP2016065938A (ja) * 2014-09-24 2016-04-28 エイディシーテクノロジー株式会社 広告表示装置
US9947215B2 (en) * 2014-09-26 2018-04-17 Harman International Industries, Incorporated Pedestrian information system
US9855890B2 (en) * 2014-12-11 2018-01-02 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle interaction with external environment
KR102371587B1 (ko) * 2015-05-22 2022-03-07 현대자동차주식회사 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
JP6185968B2 (ja) * 2015-09-16 2017-08-23 ヤフー株式会社 情報処理システム、携帯端末、サーバ装置、情報処理方法及びプログラム
US11066009B2 (en) * 2015-10-27 2021-07-20 Koito Manufacturing Co., Ltd. Vehicular illumination device, vehicle system, and vehicle
KR101750178B1 (ko) * 2015-12-02 2017-06-22 엘지전자 주식회사 차량 외부 알람방법, 이를 실행하는 차량 운전 보조장치 및 이를 포함하는 차량
JP6738613B2 (ja) * 2016-02-10 2020-08-12 株式会社小糸製作所 車両用表示システム
JPWO2017138146A1 (ja) 2016-02-12 2018-02-15 三菱電機株式会社 情報表示装置及び情報表示方法
WO2017138148A1 (ja) 2016-02-12 2017-08-17 三菱電機株式会社 情報表示装置及び情報表示方法
JP6380460B2 (ja) * 2016-05-27 2018-08-29 トヨタ自動車株式会社 車両の表示制御装置
US9928734B2 (en) * 2016-08-02 2018-03-27 Nio Usa, Inc. Vehicle-to-pedestrian communication systems
JP2018028806A (ja) * 2016-08-18 2018-02-22 株式会社ネクスコ・サポート北海道 車両用警報制御装置および車両用警報制御システム
US9881503B1 (en) * 2016-09-08 2018-01-30 GM Global Technology Operations LLC Vehicle-to-pedestrian-communication systems and methods for using the same
US10137893B2 (en) * 2016-09-26 2018-11-27 Keith J. Hanna Combining driver alertness with advanced driver assistance systems (ADAS)
KR101966655B1 (ko) * 2016-09-30 2019-04-09 주식회사 피엘케이 테크놀로지 광학 흐름 분석을 이용한 차량 충돌 경보 금지 방법
JP6458792B2 (ja) * 2016-11-04 2019-01-30 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
KR102724665B1 (ko) 2016-11-09 2024-10-31 삼성전자주식회사 보행자 및 차량의 탑승자에게 상대방의 접근을 알리는 방법 및 장치
US10196058B2 (en) * 2016-11-28 2019-02-05 drive.ai Inc. Method for influencing entities at a roadway intersection
KR102648812B1 (ko) * 2016-12-15 2024-03-19 현대자동차주식회사 차량 및 그의 보행자 감지 알림 방법
KR101996418B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996415B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
US10166996B2 (en) * 2017-02-09 2019-01-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for adaptively communicating notices in a vehicle
JP6515125B2 (ja) * 2017-03-10 2019-05-15 株式会社Ｓｕｂａｒｕ 画像表示装置
US20180276986A1 (en) * 2017-03-22 2018-09-27 Toyota Research Institute, Inc. Vehicle-to-human communication in an autonomous vehicle operation
JP6717272B2 (ja) * 2017-08-01 2020-07-01 トヨタ自動車株式会社 車外報知装置
US10315563B1 (en) * 2018-05-22 2019-06-11 Zoox, Inc. Acoustic notifications
US10497255B1 (en) * 2018-08-21 2019-12-03 GM Global Technology Operations LLC Autonomous vehicle to pedestrian communication using directional sound

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108248504A (zh) * 2016-12-28 2018-07-06 现代自动车株式会社 用于控制车辆的虚拟发动机声音的装置和方法

Also Published As

Publication number Publication date
JP2020037401A (ja) 2020-03-12
CN109334566A (zh) 2019-02-15
JP6855542B2 (ja) 2021-04-07
US11074810B2 (en) 2021-07-27
US20200074847A1 (en) 2020-03-05
EP3616996A1 (en) 2020-03-04

Similar Documents

Publication Publication Date Title
CN109334566B (zh) 用于提供车外反馈的方法、装置、设备和存储介质
US12351105B1 (en) Methods for communicating state, intent, and context of an autonomous vehicle
US12491814B2 (en) Communication between autonomous vehicle and external observers
JP6084598B2 (ja) 標識情報表示システム及び標識情報表示方法
WO2020024844A1 (zh) 智能驾驶控制方法和装置、车辆、电子设备、介质、产品
CN112789205B (zh) 针对自动驾驶车辆检测队列并对队列进行响应
CN112298024B (zh) 一种避让提醒系统、方法、车辆及计算机存储介质
US11042154B2 (en) Transportation equipment and traveling control method therefor
CN107077795A (zh) 用于探测车辆周围环境中出现的行驶障碍的辅助系统
JP2011108175A (ja) 運転支援装置、運転支援方法および運転支援プログラム
CN113022441A (zh) 一种车辆盲区的检测方法、装置、电子设备及存储介质
JP2020042778A (ja) 無人車の交差点通過方法、装置、機器及び記憶媒体
CN112298016A (zh) 一种远光灯提醒系统、方法、车辆及计算机存储介质
CN112298022A (zh) 一种迎宾系统、方法、车辆及计算机存储介质
CN112298021A (zh) 一种环境交互系统、方法、车辆及计算机存储介质
CN112606831A (zh) 一种用于客车的防碰撞警示信息对外交互方法及系统
CN112298020A (zh) 一种车机信息展示系统、方法、车辆及计算机存储介质
CN112298017A (zh) 一种互动系统、方法及计算机存储介质
EP4331938B1 (en) Control method and apparatus
KR102353084B1 (ko) 교차로 횡단보도 신호등 안전표시 전광판
CN112365729A (zh) 一种路况提醒系统、方法、车辆及计算机存储介质
CN112298018A (zh) 一种求助系统、方法、车辆及计算机存储介质
CN112298023A (zh) 一种车距提醒系统、方法、车辆及计算机存储介质
CN117341695A (zh) 辅助驾驶引导方法、增强现实设备及可读存储介质
CN112298015A (zh) 一种车队信息共享系统、方法及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211026

Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd.

Address before: 100080 No.10, Shangdi 10th Street, Haidian District, Beijing

Applicant before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant