CN111845757A - 分心驾驶消除系统 - Google Patents

Abstract

一种分心驾驶消除系统，包括位于汽车乘客舱内的图像捕捉装置，该图像捕捉装置捕捉车辆操作者的第一只手和第二只手以及方向盘的图像；分析单元，具有存储在存储器中的多个预定物品的几何形状和视觉特征。分析单元接收图像并将图像与存储在存储器中的预定物品进行比较，以识别车辆操作者的第一只手或第二只手中的任何一只手是否未与方向盘直接接触而与一个预定物品直接接触从而引发分心驾驶事件。当分心驾驶事件引发时，生成分心驾驶信号。当分心驾驶信号被转发时，指示系统生成指示，该指示警告车辆操作者处于分心驾驶事件。

Description

分心驾驶消除系统

技术领域

本公开涉及汽车分心驾驶消除系统。

背景技术

分心驾驶是道路交通事故和死亡的主要原因，每年影响数千人。经研究分心驾驶行为，发现大部分分散注意力的驾驶行为包括某种形式的手部活动。示例包括使用手机、吃、喝、刮胡子、化妆或打扮、输入GPS系统数据、调整音频或空调控制系统、抱宠物、吸烟行为(例如，伸手拿烟并且点烟或者点燃打火机)，以及伸手触摸小孩。当前的汽车分心驾驶预防系统提供了车载相机或类似的传感装置，其与面部识别软件一起操作并且通常指向并监控车辆操作者的眼睛。这种面部识别系统可以指示驾驶员是否疲劳、睡着或者驾驶员的眼睛没有朝向车辆前方的道路，然而，面部识别系统不识别其他物品的运动，也不区分可能涉及分心驾驶事件的物品，例如，上述那些物品。

因此，虽然当前的汽车分心驾驶警告系统实现了其预期目的，但是需要一种用于识别分心驾驶行为的新型、改进的系统和方法。

发明内容

根据几个方面，一种用于汽车的分心驾驶消除系统，包括位于汽车乘客舱内的图像捕捉装置，该图像捕捉装置捕捉车辆操作者的至少一只手以及方向盘的图像；具有存储在存储器中的多个预定物品的分析单元，从图像捕捉装置接收图像并将图像与预定物品进行比较，以识别车辆操作者的至少一只手是否与一个预定物品接触，从而引发分心驾驶事件。

在本公开的另一方面，当分心驾驶事件引发时，生成分心驾驶信号。指示系统使分心驾驶信号转发至指示系统。

在本公开的另一方面，指示系统包括以下至少一个：乘客舱内可听到的听觉装置，以及车辆操作者可看见的视觉警告装置。

在本公开的另一方面，当分心驾驶事件引发时，生成分心驾驶信号；并且信息娱乐系统在接收到分心驾驶信号时锁定至少一个功能。

在本公开的另一方面，至少一只手限定了第一只手和第二只手，并且图像捕捉装置限定了具有捕捉第一只手和第二只手的图像的视场的相机。

在本公开的另一方面，图像捕捉装置的视场还包括汽车的乘客，并且捕捉乘客接触的任何预定物品的图像。

在本公开的另一方面，当仅乘客持有任何预定物品时，分心驾驶事件未引发。

在本公开的另一方面，图像捕捉装置和分析单元在被限定为当汽车在运动或运行且未停车时的驾驶事件期间持续活动。

在本公开的另一方面，进行连续监控，以确定至少一只手是否与方向盘直接接触，并且如果至少一只手中断与方向盘接触并与任何预定物品接触，则引发分心驾驶事件。

在本公开的另一方面，预定物品包括装置充电线、包括智能电话、便携式计算机、平板电脑的手持装置、包括杯子或罐的圆柱形物体以及有固定形状的物体。

根据几个方面，一种用于汽车的分心驾驶消除系统，包括位于汽车乘客舱内的图像捕捉装置，其捕捉车辆操作者的第一只手和第二只手以及方向盘的图像；分析单元，具有存储在存储器中的多个预定物品的几何形状和视觉特征。分析单元从图像捕捉装置接收图像，并将图像与存储在存储器中的预定物品进行比较，以识别车辆操作者的第一只手或第二只手中的任何一只手是否未与方向盘直接接触而与一个预定物品直接接触，从而引发分心驾驶事件。当分心驾驶事件引发时，生成分心驾驶信号。当分心驾驶信号被转发给指示系统时，指示系统生成指示，该指示警告车辆操作者处于分心驾驶事件。

在本公开的另一方面，当分析单元识别车辆操作者的第一只手或第二只手中的任何一只手与方向盘直接接触并且还与一个预定物品直接接触时，也引发分心驾驶事件。

在本公开的另一方面，图像捕捉装置限定了具有捕捉图像的视场的相机；并且图像捕捉装置的视场还捕捉汽车乘客，包括乘客持有的任何预定物品。

在本公开的另一方面，当仅乘客持有任何预定物品时，不引发分心驾驶事件。

在本公开的另一方面，面部识别人工智能程序与分析单元一起起作用。

在本公开的另一方面，图像捕捉装置限定了捕捉在方向盘处和方向盘附近的图像以及车辆操作者的面部特征(其中包括车辆操作者的眼睛)的图像的相机，使用面部识别人工智能程序分析面部特征的图像。

在本公开的另一方面，指示系统包括乘客舱内的听觉装置和车辆操作者可看见的视觉警告装置。

根据几个方面，一种消除汽车的分心驾驶事件的方法，包括：使用图像捕捉装置捕捉车辆操作者的第一只手和第二只手以及方向盘的图像；将图像转发到分析单元，分析单元具有存储在存储器中的多个预定物品的几何形状和视觉特征；分析单元将图像与存储在存储器中的预定物品进行比较，并且识别车辆操作者的第一只手或第二只手中的任何一只手是否未与方向盘直接接触而与一个预定物品直接接触，从而引发分心驾驶事件；当分心驾驶事件引发时，生成分心驾驶信号；并且在指示系统接收到分心驾驶信号时，提供来自指示系统的指示，该指示警告车辆操作者处于分心驾驶事件。

在本公开的另一方面，该方法还包括：在捕捉步骤之前，如果汽车正在行驶而未停车，则激活图像捕捉装置；在捕捉步骤之后，确定第一只手和第二只手是否都是可见的；并且识别第一只手和第二只手是否都离开了方向盘，第一只手和第二只手都离开方向盘被限定为不与方向盘直接接触。

在本公开的另一方面，该方法还包括：将分析单元连接到自动驾驶系统，并且应用来自分析单元的输出以在驾驶员参与事件和自动驾驶事件之间转变。

根据本文提供的描述，进一步的适用领域将变得显而易见。应该理解，说明书和具体示例仅仅是为了说明的目的，而不是旨在限制本公开的范围。

附图说明

本文描述的附图仅用于说明目的，并不旨在以任何方式限制本公开的范围。

图1是根据示例性方面的用于汽车的分心驾驶消除系统的向前看的右后透视图；

图2是类似于图1向前看的右后透视图；

图3是图1的汽车向前看的后透视图；

图4是类似于图1向前看的右后透视图；

图5是图1的系统向前看的左后透视图；

图6是本公开的分心驾驶消除系统的操作步骤的流程图；

图7是从图6修改的流程图，以进一步包括面部识别能力；以及

图8是从图6修改的流程图，以进一步包括车辆操作者和车辆乘客手部图像采集。

具体实施方式

以下描述本质上仅仅是示例性的，并不旨在限制本公开、应用或用途。

参考图1，设置有用于车辆(例如，汽车12)的分心驾驶消除系统10，该系统识别并警告车辆操作者14或驾驶员分心驾驶事件，这些事件不限于车辆操作者的眼睛16是否聚焦在汽车12前方或周围的道路18上。分心驾驶消除系统10识别车辆操作者14的第一只手20和第二只手22中的每一只，并且进一步识别在驾驶事件期间第一只手20或第二只手22中的一只手中的或第一只手20或第二只手22中的一只手接触的多个预定物品，该驾驶事件期间在本文中限定为当汽车12正在运动或运行而未停车时。

分心驾驶消除系统10首先识别方向盘24，并识别第一只手20或第二只手22中的至少一只是否与方向盘24接触。分心驾驶消除系统10还识别多个预定物品。例如，由分心驾驶消除系统10识别和区分的预定物品包括但不限于电线26(例如用于给装置电池充电的充电线)、手持装置28(例如智能电话、便携式计算机或平板电脑)、圆柱形物体30(例如杯子或罐)以及有固定形状的物体32(例如汽水瓶)，并且包括其他物品，例如但不限于食物(例如汉堡包)、刷子或口红架、换档器、无线电控制器以及包括电动剃须刀在内的便携式手持装置。分心驾驶消除系统10持续监控第一只手20或第二只手22中的至少一只手或这两只手是否与方向盘24直接接触，并且如果在驾驶事件期间第一只手20或第二只手22中的一只手接触任何其他预定物品，则指示正在发生分心驾驶事件。在图1中提供的示例中，车辆操作者14的第一只手20中持有电线26，而第二只手22中持有手持装置28。第一只手20和/或第二只手22也可与方向盘24接触，或者第一只手20和第二只手22可均不与方向盘24接触。因此，根据图1中感测的情况指示出分心驾驶事件。

参考图2并再次参考图1，在分心驾驶事件的另一示例中，车辆操作者14的第一只手20 与方向盘24接触，然而，第二只手22持有预定物品，例如，有固定形状的物体32。每当车辆操作者14的第一只手20或第二只手22中的一只与预定物品接触时，分心驾驶消除系统10的分析单元34生成分心驾驶信号，该信号被转发到指示系统36。指示系统36可以包括但不限于可以在乘客舱内听到的听觉装置38和视觉警告装置40，例如，车辆操作者14可看见的指示灯。还可以根据分心驾驶事件的发生和分心驾驶信号的生成，来采取补救措施。补救措施可以包括减少呈现给车辆操作者14的信息量，例如，通过禁用诸如至信息娱乐系统的用户界面。

还应注意，尽管车辆操作者14的第一只手20与方向盘24接触，但第一只手20也持有多个预定物品42之一，这些物品42的几何形状和可识别的视觉特征保存在分析单元34的存储器43中或者由分析单元34中所包含的人工智能程序45学习。在一个示例性方面，预定物品42限定了显示为瓶子的有固定形状物体32的瓶盖。还应注意，分析单元34可以连接到用于汽车12的自动或半自动操作的自动或半自动驾驶系统，以下统称为自动驾驶系统47。分心驾驶消除系统10配置成监控车辆操作者14，并确定车辆操作者14是否以安全的方式操作汽车12。响应于验证车辆操作者14正在以安全的方式操作，用户界面选项在下面描述的信息娱乐系统中可供汽车乘客使用。例如，当汽车行驶或移动时，为了防止分心驾驶，汽车中通常会禁用导航输入所需目的地。如果分心驾驶消除系统10确定车辆操作者14正在安全地操作汽车12，则在汽车12正在行驶和/或正在移动的情况下，允许乘客管理导航输入新目的地。

预定物品42可以通过减少或完全阻止手与方向盘24接触来分散车辆操作者14的注意力。此外，因为在该示例中，车辆操作者14正在饮用有固定形状的物体32(限定为瓶子)，所以即使当车辆保持运行并且未停泊时，例如车辆12停靠在停车标志或停车灯处，行人44 也可能不会立即被车辆操作者14识别。因此，除了多个预定物品42中的任何一个物品的存在之外，行人44的存在与分心驾驶消除系统10协调生成分心驾驶事件，从而生成转发到指示系统36的分心驾驶信号。

参考图3并再次参考图2，分心驾驶消除系统10设置有位于汽车12乘客舱48内的至少一个，并且根据几个方面的多个的，图像捕捉装置46，用于捕捉第一只手20、第二只手22和方向盘24的图像。根据几个方面，图像捕捉装置46包括第一相机50，第一相机50可以安装在车辆立柱(例如，A柱52)附近，或者安装在乘客舱48内的其他结构(包括车辆内部车顶)附近。第一相机50提供视场54，视场54至少捕捉车辆操作者14(为了清楚起见，在图3中未示出)，包括至少第一手20和第二手22，以及方向盘24。视场54还可以包括车辆操作者14可以用手接触到的物品，例如，GPS装置56、无线电装置58、换档器60和具有例如手动选项选择装置的信息娱乐系统62。如前所述，响应于分心驾驶信号而采取的补救措施可以包括，例如通过禁用信息娱乐系统的选项选择装置62，减少呈现给车辆操作者14的信息量。在视场54中，还捕捉了操作者侧车辆座椅64和乘客侧车辆座椅65的至少一部分。

根据几个方面，图像捕捉装置可以包括第二相机66，第二相机66可以单独使用或者与第一相机50结合使用。第二相机66可以安装在车辆立柱(例如，第二A柱68)附近，或者安装在车辆乘客舱48内的其他结构(例如，车顶)附近。第二相机66提供视场70，视场70 至少捕捉车辆操作者14(为了清楚起见，在图3中未示出)和方向盘24以及以上针对第一相机50列出的物品。第一相机50和第二相机66单独或组合地覆盖乘客舱48内的第一只手 20和第二只手22的100％的可见行为和活动。

参考图4并再次参考图1至图3，分心驾驶消除系统10可以将所示的非分心驾驶事件与参考图1和图2所示的分心驾驶事件区分开来。非分心驾驶事件的一个示例可以包括车辆操作者14的第一只手20和第二只手22都与方向盘24接触。如图4所示的非分心驾驶事件的另一示例可以包括车辆操作者的一只手(例如，第一只手20)与方向盘24接触，而车辆操作者的另一只手(例如，第二只手22)不与方向盘24接触，但是也不持有或接触一个预定物品，例如，上述那些所描述的预定物品。如果汽车12还配备有自动驾驶系统47，则汽车 12可以在识别出非分心驾驶事件时，使用来自分心驾驶消除系统10的识别输出，从自动或半自动驾驶事件转变为驾驶员参与事件，或者从驾驶员参与事件转变为自动或半自动驾驶事件。

参考图5并再次参考图1至图4，分心驾驶消除系统10可以将示出的分心驾驶事件与参考图4示出的非分心驾驶事件区分开来。车辆操作者14的第二只手22与方向盘24接触同时第一只手20与预定物品(例如，手持装置28)接触，从而指示分心驾驶事件。车辆操作者14可能正在发短信、接听或拨打电话、阅读电子邮件消息或进行数据搜索。

参考图6并再次参考图1至图5，流程72示出了分心驾驶消除系统10采取的步骤。在第一步骤74中，当汽车12正在行驶且未停泊时(包括在红灯、停车标志、交通等处停车期间)，激活系统。在第二步骤76中，图像捕捉装置(例如，第一相机50和第二相机66)在方向盘24处和附近捕捉图像。在第三步骤78中，确定第一只手20和第二只手22是否都可见。如果对第三步骤78的响应为“是”，则在第四步骤80中，确定第一只手20和/或第二只手22是否接触或持有预定物品。此外，确定第一只手20和第二只手22是否都离开方向盘 24，第一只手20和第二只手22都离开方向盘24被限定为不与方向盘24直接接触。如果对步骤80中做出的两个确定的响应都为“否”，则分心驾驶消除系统10返回并重复第二步骤 76。

如果对第三步骤78的响应为“否”，这意味着车辆操作者的双手都不可见，则在预定时间阈值之后，生成警告信号82。根据几个方面，预定时间阈值可以是1.5秒。根据几个方面，警告信号82可以采取听觉警告、视觉警告、触觉警告或这三种警告的组合的形式。根据几个方面，警告信号82被发送到信息娱乐系统，使得可以禁用一个或多个用户界面输入。根据进一步的方面，警告信号82被发送到半自动系统，该半自动系统例如可以用于减慢汽车12的速度。此外，如果对第四步骤80的响应为“是”，则在预定时间阈值之后，生成警告信号82，这意味着检测到第一只手20和/或第二只手22接触或持有一个预定物品，和/或第一只手20 和第二只手22都离开方向盘24。在生成警告信号82之后，分心驾驶消除系统10返回并重复第二步骤76。

注意，由第二只手22进行的，诸如接触换档器60和驻车制动杆这样的预定物品的动作，称为非分心驾驶事件。系统不会响应于这些动作而生成警告信号82，因为这些动作预期用于汽车12正常运行。

参考图7并再次参考图1至图6，流程84将分心驾驶消除系统10的特征与面部识别和其他技术相结合，以提高信号生成决策的准确性。在第一步骤86中，当汽车12正在行驶而未停泊时(包括在红灯、停车标志、交通等处停车期间)，激活系统。在第二步骤88中，图像捕捉装置(例如，第一相机50和第二相机66)在方向盘24处和附近捕捉图像，捕捉包括眼睛在内的面部特征的图像，例如，从触摸传感器等收集额外数据。在第三步骤90中，做出两个阶段确定。在第一阶段确定92中，确定第一只手20和第二只手22是否都可见。在第二阶段确定94中，确定车辆操作者的眼睛是否聚焦在前面的道路上。如果对第一阶段确定92 和第二阶段确定94的响应都为“是”，则程序进行到第四步骤96。

在第四步骤96中，做出两个阶段确定。在第三阶段确定98中，确定第一只手20和/或第二只手22是否接触或持有预定物品。此外，确定第一只手20和第二只手22是否都离开方向盘24。在第四阶段确定100中，确定车辆操作者的眼睛是否没有聚焦在前面的道路上。如果对第三阶段确定98或第四阶段确定100的响应为“否”，则程序返回并重复第二步骤88。

如果在第三步骤90期间，对第一阶段确定92和第二阶段确定94的响应都为“否”，则在预定时间阈值之后，生成类似于警告信号82的警告信号102。根据几个方面，警告信号102 可以采取听觉警告、视觉警告、触觉警告或这三种警告的组合的形式。如果在第四步骤96期间，对第三阶段确定98的响应或对第四阶段确定100的响应为“是”，则生成警告信号102。在生成警告信号102之后，分心驾驶消除系统10返回并重复第二步骤88。

参考图8并再次参考图1至7，流程104组合了分心驾驶消除系统10的特征，用于收集车辆操作者14和坐在参考图3示出和描述的乘客侧车辆座椅65中的车辆乘客(未示出)的图像。在第一步骤106中，当汽车12正在行驶而未停泊时(包括在红灯、停车标志、交通等处停车期间)，激活系统。在第二步骤108中，图像捕捉装置(例如，第一相机50和第二相机66)捕捉车辆操作者14和乘客的手的图像。在第三步骤110中，确定车辆操作者的手(20、 22)中的一只或两只手是否正在操作车辆屏幕、系统按钮或系统(例如信息娱乐系统)的功能，或者车辆乘客的手中的一只或两只手是否正在操作车辆屏幕、系统按钮或系统(例如信息娱乐系统)的功能。

如果对在第三步骤110中做出的确定的响应是车辆操作者的手(20、22)中的一只或两只手正在操作一个或多个功能，则在第四步骤112中，在预定时间阈值之后，激活类似于警告信号82的警告。在第四步骤112中生成的警告信号还防止或禁用进入或来自车辆屏幕、系统按钮或系统(例如信息娱乐系统)的预定功能、反应或响应。在第四步骤112中生成警告之后，分心驾驶消除系统10返回并重复第二步骤108。

如果对在第三步骤110中做出的确定的响应是车辆乘客的一只手或两只手正在操作一个或多个功能，则在第五步骤114中，不激活警告，并且允许车辆乘客操作并能够控制进入或来自车辆屏幕、系统按钮或系统(例如，信息娱乐系统)的预定功能、反应和响应。在第五步骤114之后，分心驾驶消除系统10返回并重复第二步骤108。

本公开的分心驾驶消除系统10提供了几个优点。这些优点包括系统利用图像识别技术，以通过分析驾驶员的手来检测、警告和消除分心驾驶行为。该系统提供了一组装置，这组装置捕捉车辆操作者的手在方向盘附近和/或方向盘上的图像，并且处理这些图像，以识别手的状态，例如，在方向盘上、不在方向盘上、接触或持有物体等，并且当确定正在发生分心驾驶事件时，提供警告。该系统还可以与面部识别和其他触觉系统一起运行，从而以更高的精度对其他分心驾驶行为进行识别并发出信号，其中，其他分心驾驶行为例如为，手动上的和视觉上的分心。

本公开的描述本质上仅仅是示例性的，并且不脱离本公开的主旨的变化旨在落入本公开的范围内。这种变化不应被视为背离本公开的精神和范围。

Claims (10)

1.一种用于汽车的分心驾驶消除系统，包括：

位于汽车乘客舱内的图像捕捉装置，捕捉车辆操作者的至少一只手以及方向盘的图像；以及

分析单元，具有存储在存储器中的多个预定物品，所述分析单元从所述图像捕捉装置接收所述图像并将所述图像与所述预定物品进行比较，以识别所述车辆操作者的所述至少一只手是否与其中一个预定物品接触，从而引发分心驾驶事件。

2.根据权利要求1所述的分心驾驶消除系统，还包括：

当所述分心驾驶事件引发时生成的分心驾驶信号；以及

指示系统，其中所述分心驾驶信号被转发给所述指示系统。

3.根据权利要求2所述的分心驾驶消除系统，其中，所述指示系统包括以下至少一个：

乘客舱内可听到的听觉装置；以及

所述车辆操作者可看见的视觉警告装置。

4.根据权利要求1所述的分心驾驶消除系统，还包括：

当所述分心驾驶事件引发时生成的分心驾驶信号；以及

信息娱乐系统，其在接收到所述分心驾驶信号时锁定至少一个功能。

5.根据权利要求1所述的分心驾驶消除系统，其中，所述至少一只手限定了第一只手和第二只手，并且所述图像捕捉装置限定了具有捕捉所述第一只手和所述第二只手的图像的视场的相机。

6.根据权利要求5所述的分心驾驶消除系统，其中，所述图像捕捉装置的视场还包括汽车乘客，并且捕捉所述乘客持有的任何预定物品的图像。

7.根据权利要求6所述的分心驾驶消除系统，其中，当仅由乘客持有任何预定物品时，不引发所述分心驾驶事件。

8.根据权利要求1所述的分心驾驶消除系统，其中，所述图像捕捉装置和所述分析单元在驾驶事件期间持续活动，其中驾驶事件期间限定为当汽车在运动，或在运行且未停泊时。

9.根据权利要求1所述的分心驾驶消除系统，其中，进行连续监控，以确定所述至少一只手是否与所述方向盘直接接触，并且其中，如果所述至少一只手与所述方向盘断开接触并与任何预定物品接触，则引发所述分心驾驶事件。

10.根据权利要求1所述的分心驾驶消除系统，其中，所述预定物品包括装置充电线、手持装置、圆柱形物体以及有固定形状的物体，其中手持装置包括智能电话、便携式计算机、平板电脑，圆柱形物体包括杯子或罐。

Images