CN108423004A - 一种双目识别驾驶员状态检测系统及方法 - Google Patents

Abstract

本发明提供了一种双目识别驾驶员状态检测系统，涉及车辆智能控制技术领域。本发明的双目识别驾驶员状态检测系统包括：双目摄像头配置成检测驾驶员的图像信息和深度信息。控制器配置成将图像信息和深度信息进行3D建模，得到驾驶员的状态信息。整车控制装置根据驾驶员的状态信息控制车辆动作。本发明中的双目识别驾驶员状态检测系统中双目摄像头获取的数据增加了一个维度，不仅增大摄像头布置位置的可能区域，而且集成身份识别、手势识别、眼球追踪和疲劳驾驶与一体，具有很好的应用前景。

Description

一种双目识别驾驶员状态检测系统及方法

技术领域

本发明涉及车辆智能控制技术领域，特别是涉及双目识别驾驶员状态检测系统及方法。

背景技术

驾驶员状态监测的实质性研究工作是从20世纪80年代开始的，为了真正解决驾驶员状态监测问题，世界许多专家和学者都进行了有益的探索，并提出了不少崭新的思想和方法。最具代表性的有基于生理现象的检测方法、基于汽车行为的检测方法、基于驾驶员反应的检测方法以及基于行驶条件的检测方法几种。其中基于驾驶员身体反应的疲劳检测方法相对与其他方法在各项指标都较好。随着计算机软硬件技术、图像处理技术和智能信息处理技术的发展,近年来的研究也集中在基于驾驶员视觉信息的非接触式疲劳监测技术上。

目前市场上的驾驶员状态监测属于单目摄像头+红外补光灯方案，这种方案使用红外补光灯发出红外光照射驾驶员，由于缺少图像的深度信息以及摄像头的视角有限等问题，无法集成手势识别的功能或只能识别很简单的手势。

发明内容

本发明的一个目的是要提供一种集眼神追踪、疲劳检测、身份识别和手势识别与一体的双目识别驾驶员状态检测系统。

本发明一个进一步的目的是提供一种应用于双目识别驾驶员状态检测系统的方法。

特别地，本发明提供了一种双目识别驾驶员状态检测系统，包括：

双目摄像头，配置成检测驾驶员的图像信息和深度信息；

控制器，配置成对所述图像信息和所述深度信息进行3D建模，获取所述驾驶员的状态信息；和

整车控制装置，配置成根据所述状态信息控制车辆动作。

可选地，所述整车控制装置包括：

初始数据存储单元，配置成存储所述驾驶员的初始状态信息；

控制单元，配置成对所述状态信息与所述初始状态信息进行比较，并根据比较结果控制车辆动作；

其中，所述动作包括提示动作和/或控制动作，所述提示动作为根据所述比较结果提示所述驾驶员做出相应动作，所述控制动作为直接根据所述比较结果控制所述车辆做出相应动作。

可选地，所述状态信息包括疲劳信息，所述初始状态信息包括初始疲劳信息；

所述控制单元还配置成比较所述疲劳信息和所述初始疲劳信息以判断所述驾驶员是否疲劳驾驶，若所述驾驶员疲劳驾驶，则提示所述驾驶员需要休息。

可选地，还包括：

车辆抬头显示，与所述整车控制装置连接，配置成在所述控制单元判断所述驾驶员疲劳时，将疲劳驾驶提示信息显示于所述驾驶员前方的挡风玻璃处，以提示所述驾驶员需要休息。

可选地，还包括：

导航系统，与所述整车控制装置连接，用于在所述控制单元判断所述驾驶员疲劳时，提示所述驾驶员需要休息，并自动导航到最近休息点。

可选地，所述状态信息还包括身份信息，所述初始状态信息还包括初始身份信息；

所述控制单元还配置成判断所述身份信息与初始身份信息是否匹配，若匹配，则在所述驾驶员尝试启动所述车辆时控制发动机启动，若不匹配，则在所述驾驶员尝试启动所述车辆时控制发动机不启动。

可选地，所述状态信息还包括手势信息，所述初始状态信息还包括初始手势信息；

所述控制单元还配置成确定与所述手势信息匹配的所述初始手势信息，并控制所述车辆做出与所述手势信息匹配的所述初始手势信息对应的动作。

可选地，所述状态信息还包括眼神信息，所述初始状态信息还包括初始眼神信息；

所述控制单元还配置成根据所述眼神信息判断所述驾驶员是否注视车辆前方时，若所述驾驶员未注视车辆前方，则提示所述驾驶员注视车辆前方。

特别地，本发明还提供一种双目识别驾驶员状态检测方法，包括如下步骤：

通过双目摄像头检测驾驶员的图像信息与深度信息；

将所述图像信息与所述深度信息进行3D建模，获取所述驾驶员的状态信息；

根据所述状态信息控制车辆动作。

可选地，根据比较结果控制车辆动作前还包括：

存储所述驾驶员的初始状态信息；

将所述状态信息与所述初始状态信息进行比较；

其中，所述动作包括提示动作和/或控制动作，所述提示动作为根据所述比较结果提示所述驾驶员做出相应动作，所述控制动作为直接根据所述比较结果控制所述车辆做出相应动作。

本发明中的双目识别驾驶员状态检测系统中双目摄像头可以获得驾驶员的图像信息和深度信息，相比单目摄像头，其获取的数据增加了一个维度，这对于以上所有功能的识别精度都有很大的帮助，并且由于有了深度信息，不仅增大摄像头布置位置的可能区域，而且集成身份识别、手势识别、眼球追踪和疲劳驾驶与一体，增加了车辆智能性能，降低成本，减小驾车危险的发生，具有很好的应用前景。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本发明一个实施例的双目识别驾驶员状态检测系统的示意性框图；

图2是根据本发明的另一个具体实施例的双目识别驾驶员状态检测系统的示意性框图；

图3是根据本发明的又一个具体实施例的双目识别驾驶员状态检测系统的示意性框图；

图4是根据本发明的又一个具体实施例的双目识别驾驶员状态检测系统的示意性框图；

图5是根据本发明一个具体实施例的双目识别驾驶员状态检测方法的流程图；

图6是根据本发明另一个具体实施例的双目识别驾驶员状态检测方法的流程图。

具体实施方式

图1是根据本发明一个实施例的双目识别驾驶员状态检测系统100的示意性框图。本实施例中双目识别驾驶员状态检测系统100一般性地可包括双目摄像头10、控制器20和整车控制装置30。其中，双目摄像头10配置成检测驾驶员的图像信息和深度信息。其中，双目摄像头10是通过图像匹配和三角视差测量来捕捉深度信息。控制器20配置成对双目摄像头10检测到的图像信息和深度信息进行3D建模，并将建模后的模型数据导入应用算法平台，以得到驾驶员的状态信息，其中，状态信息包括驾驶员眼神信息、疲劳信息、身份信息和/或手势信息。控制器20中集成了SDK(算法包)，将双目摄像头10检测到的数据通过软件算法进行点云数据图像3D建模。整车控制装置30配置成根据驾驶员的状态信息控制车辆动作，其中，控制器20与整车控制装置30通过CAN-FD网进行交互。

本发明中的双目识别驾驶员状态检测系统100中双目摄像头10可以获得驾驶员的图像信息和深度信息，相比单目摄像头，其获取的数据增加了一个维度，这对于以上所有功能的识别精度都有很大的帮助，并且由于有了深度信息，不仅增大摄像头布置位置的可能区域，而且集成身份识别、手势识别、眼球追踪和疲劳驾驶与一体，增加了车辆智能性能，降低成本，减小驾车危险的发生，具有很好的应用前景。

图2示出了本发明的一个具体实施例的双目识别驾驶员状态检测系统100的示意性框图。作为一个具体地实施例，整车控制装置30可以包括初始数据存储单元31和控制单元32。首先，在将驾驶员的初始状态信息置于车辆的初始数据存储单元31中，其存储过程可以是通过在车辆开发过程中提前存储也可以是在车辆的驾驶员驾驶车辆之前存储在其中。一般情况是在每一车辆的驾驶员启动车辆前进行提前存储。控制单元32配置成对状态信息与初始状态信息进行比较，并根据比较结果控制车辆动作。其中，动作包括提示动作和/或控制动作，提示动作为根据比较结果提示驾驶员做出相应动作，控制动作为直接根据比较结果控制车辆做出相应动作。

作为一个具体地实施例，状态信息包括疲劳信息，初始状态信息包括初始疲劳信息。控制单元32配置成比较疲劳信息和初始疲劳信息以判断驾驶员是否疲劳驾驶，若驾驶员疲劳驾驶，则提示驾驶员需要休息。具体地，一般车辆在刚启动时，双目摄像头10会开始拍摄驾驶员的面部信息和眼睛状态信息，并默认此时的信息为驾驶员清醒时的状态信息，并将该信息默认为初始疲劳信息。该过程保证了每一个不同的驾驶员具有不同的清醒时的信息值，避免了受到不同的人具有不同的生理特征的影响。经过一段时间的驾驶，驾驶员的面部及眼睛状态信息都会发生一些变化，通过双目摄像头10对驾驶员的面部状态、眼睛状态的检测，与驾驶员初始面部信息及眼睛状态信息进行分析对比，将疲劳信息分为多个等级，例如可以为一级疲劳、二级疲劳等。具体地，疲劳信息可以是眼睑的眨眼次数，眨眼频率，还可以是眼睑瞳孔的数据。当然，疲劳信息的等级与车辆的速度、车辆所处的档位都有密切的关系。例如，如果车辆处于R档或车辆处于静止状态时，系统不能报警。车辆在之前没有检测到驾驶员疲劳，那驾驶员踩刹车，急加速，以及转向时即使检测到驾驶员疲劳，报警也会被抑制。根据驾驶员的状态将驾驶员疲劳等级分为两级。当驾驶员到达某一疲劳等级状态时，整车控制装置30就会通过显示或声音的方式提示驾驶员到达了一级疲劳和二级疲劳。

更为具体地，图3示出了本本发明的一个具体实施例的双目识别驾驶员状态检测系统100的示意性框图。作为一个实施例，本发明的双目识别驾驶员状态检测系统100还包括车辆抬头显示40。其中，车辆抬头显示又叫平行显示系统，是指以驾驶员为中心、盲操作、多功能仪表盘。它的作用，就是把时速、导航等重要的行车信息，投影到驾驶员前面的风挡玻璃上，让驾驶员尽量做到不低头、不转头就能看到时速、导航等重要的驾驶信息。本实施例中车辆抬头显示40通过网络与整车控制装置30连接，用于将检测到驾驶员疲劳时，将提示疲劳驾驶信息显示于驾驶员前方的挡风玻璃处以提示驾驶员需要休息。当然，在驾驶员的状态到达二级疲劳等级时，不仅通过车辆抬头显示40将相关提示信息显示于车辆的挡风玻璃处，同时语音播报提示驾驶员需要休息，不能继续驾驶车辆。

作为另一个实施例，如图3所示，本实施例的双目识别驾驶员状态检测系统100还包括导航系统50，该导航系统50通过网络与整车控制装置30连接，用于在控制单元32判断驾驶员疲劳时，提示驾驶员需要休息。在检测驾驶员到达一级疲劳至二级疲劳等级时，在导航系统50中语音提示疲劳驾驶信息，并且导航系统50会知道切换导航路线，自动导航到最近休息点以使驾驶员休息。

具体地，如果车辆未开导航系统50，优选利用车辆抬头显示40显示与驾驶员前侧的挡风玻璃处，以提示驾驶员需要休息。而如果导航系统50开启，那么可以优选地在导航系统50处进行疲劳状态的提示。

很显然，利用本实施例中的双目识别驾驶员状态检测系统100将驾驶员的疲劳分为不同等级，根据不同车速，对于疲劳等级不一样的设定。当达到了一定的疲劳等级时，及提示驾驶员到达疲劳状态需要休息，减少了驾驶员疲劳驾驶情况，从而减少因疲劳驾驶而导致的事故的发生。

本实施例中，预设疲劳信息中将疲劳信息分为不同的疲劳等级，具体可以包括一级疲劳和二级疲劳。利用本实施例根据不同车速，对于疲劳等级不一样的设定。当达到了一定的疲劳等级时，及提示驾驶员到达疲劳状态需要休息，减少了驾驶员疲劳驾驶情况，从而减少因疲劳驾驶而导致的事故的发生。

作为另一个优选地实施例，状态信息还包括身份信息，初始状态信息还包括初始身份信息。控制单元32还配置成判断身份信息与初始身份信息是否匹配，若匹配，则在驾驶员尝试启动车辆时控制发动机启动，若不匹配，则在驾驶员尝试启动车辆时控制发动机不启动。在该过程中，首先要将可以驾驶该车辆的驾驶员的预设身份信息输入整车控制装置30，再通过双目摄像头10检测到的驾驶员的身份信息与预设身份信息进行对比匹配。若本次驾驶员的身份信息与预设身份信息匹配，则本次驾驶员在启动车辆时车辆发动机能够被启动。具体地，输入的预设身份信息可以是面部图像，而检测的面部图像信息与提前预设的进入到整车控制装置30中的面部图像信息匹配，则可以启动车辆随着车辆的普及，在实际使用车辆过程中，一些家庭的孩子在还未成年时具有较强的好奇心，可能会偷父母的车辆钥匙去体验驾车，此时就容易出现很多危险情况。本发明的双目识别驾驶员状态检测系统100的身份识别功能，就能够阻止小孩驾驶车辆。即便有车钥匙，小孩仍然不能起到发动机，保证了小孩的安全。另外，之前车辆的安全系统做的不好时，在驾驶员忘记关闭车门的情况下，很多偷车的盗贼偷取车辆驾驶逃跑，而如果利用本发明的双目识别驾驶员状态检测系统100的身份识别功能后，即时车辆未关闭，钥匙也忘记拔掉，车辆仍然不能被启动，也避免了盗车贼偷走车辆的发生，减少经济损失。

作为另一个具体地实施例，本发明的整车控制装置30还配置成当判断驾驶员的手势信息与初始手势信息匹配，则控制车辆做相应的手势所匹配的动作。一般情况下，利用单目摄像头捕捉到的手势为二维手势，对于有一些操作无法识别。而本实施例的双目摄像头10不仅可以捕捉到驾驶员图像信息还可以捕捉到驾驶员的深度信息，使得驾驶员的三维手势都能被识别到。具体地，在实现手势识别功能前，需要先在整车控制装置30内设置预设手势信息，每一预设手势信息代表了操作车辆控制台的一个动作，如果双目摄像头10检测到驾驶员当前手势信息与预设手势信息匹配，那么整车控制装置30按照手势信息所代表的指令控制车辆相应的动作。预设手势信息可以包括如，点击手势，点击手势则对应控制车辆的相应位置处的开关开启。当双目摄像头10检测到驾驶员的手势信息与预设手势信息中的点击手势相匹配，则在该手势位置处相应的开关就会被开启，车辆相应的功能开启。又例如，预设手势为向上滑动时，车辆内部娱乐主机的声音会变大。当双目摄像头10检测到驾驶员手势信息与预设的向上滑动手势信息匹配时，整车控制装置30控制车辆的娱乐主机的声音相应的变大。当然，预设手势信息并不只包括点击、上滑等，还有一些较为复杂的如画圈代表收音机，手指张开代表导航开始等，可以根据车主的喜好进行设定。很显然，利用手势控制车辆内部的开关，无需在相应位置处去按动按钮，车辆更加智能，驾驶员的驾驶体验更好。

作为另一个状态信息还包括眼神信息，初始状态信息还包括初始眼神信息。控制单元32还配置成根据眼神信息判断驾驶员是否注视车辆前方时，若驾驶员未注视车辆前方，则提示驾驶员注视车辆前方。具体地，在驾驶员驾驶车辆的过程中，一般驾驶员需要眼睛注视前方，并不断观察车辆的前方即车辆后视镜处，以观察车辆周围的情况。而一些情况下，如驾驶员被其他事物吸引并没有注视车辆前方而是看其他地方如看驾驶室内部其他人员，或者低头看手机等动作都是非常危险容易造成事故的发生。本实施例在整车控制装置30中提前预设驾驶员注视车辆前方的眼神或者头部的视角范围。当车辆在形式过程中，驾驶员眼神或头部转动角度超过该范围，那么就会出现语音或者在中控屏70中进行提示，以使驾驶员能够及时的恢复到正常驾驶状态，避免危险的产生。

很显然地，本申请利用双目摄像头10捕捉驾驶员的图像信息与深度信息，可以将集成身份识别、手势识别、眼球追踪和疲劳驾驶与一体，不仅使车辆驾驶体验更好，且更加能够减小事故产生，提高车辆驾驶安全性能，这对成本控制、节省布置空间有诸多益处，具有较好的应用前景。

图4示出了本本发明的一个具体实施例的双目识别驾驶员状态检测系统100的示意性框图。本实施例中的双目识别驾驶员状态检测系统100还可以包括网关60和中控屏70。其中，网关60与控制器20和整车控制装置30通过网络连接，其中网关60与控制器20通过Ethernet网连接。中控屏70与网关60和整车控制装置30通过网络连接，用于显示车辆状态信息及提示信息。中控屏70与网关60之间也通过Ethernet网连接。并且中控屏70与网关60均通过Flexray网与整车控制装置30连接。使用Flexray作为主干网并调整了各个传感器的连接方式，在增大了系统传输速率的同时，为本专利功能实现提供技术基础。

具体地，驾驶员疲劳监测(DMM)保留两个接口，DMM包括双目摄像头10和控制器20。控制器20可以分别通过CAN-FD和Ethernet与ADAS ECU(ADAS主控制器20即整车控制装置30)和VGM(网关60)相连，对于低配车型(驾驶员疲劳监测的一个子功能--身份识别如果需要做云端识别，传输的数据量较大，不适合用CAN或CAN-FD来进行数据传输)，无身份识别或身份识别为本地识别可以使用CAN-FD，对于高配车型，身份识别通过云端实现，可以使用Ethernet接口。

本发明的整车控制装置30还配置成当判断驾驶员的疲劳信息与初始疲劳信息相比出现疲劳驾驶情况时，则控制提示驾驶员需要休息。

图5示出了本发明一个具体实施例的双目识别驾驶员状态检测方法的流程图。其中，本实施例的双目识别驾驶员状态检测方法，可以包括如下步骤：

S10通过双目摄像头10检测驾驶员的图像信息与深度信息；

S20将图像信息与深度信息进行3D建模，获取驾驶员的状态信息；

S30根据状态信息控制车辆动作。

图6示出了本发明一个具体实施例的双目识别驾驶员状态检测方法的流程图。作为另一个具体实施例，根据比较结果控制车辆动作前还包括：

S40存储驾驶员的初始状态信息；

S50将状态信息与初始状态信息进行比较。

其中，动作包括提示动作和/或控制动作，提示动作为根据比较结果提示驾驶员做出相应动作，控制动作为直接根据比较结果控制车辆做出相应动作。

作为一个具体地实施例，驾驶员的状态信息包括驾驶员的疲劳信息，通过对驾驶员眼睛图像的分析，对比驾驶员启动该系统时的眼睛图像，判断驾驶员的疲劳等级，当识别到驾驶员到达一预设疲劳等级时，提示驾驶员已疲劳需要休息，并将提示信息显示于中控屏70、车辆抬头显示40或导航系统50中。

本实施例中，预设疲劳等级一般包括一级疲劳和二级疲劳。利用本实施例根据不同车速，对于疲劳等级不一样的设定。当达到了一定的疲劳等级时，及提示驾驶员到达疲劳状态需要休息，减少了驾驶员疲劳驾驶情况，从而减少因疲劳驾驶而导致的事故的发生。

作为一个具体地实施例，驾驶员的状态信息还包括驾驶员的身份信息，通过双目摄像头10采集的驾驶员的面部图像信息与提前存储的预设驾驶员面部图像信息对比，识别到身份信息与预设身份信息匹配时，在启动车辆时，发动机启动。本发明的身份识别过程保证了小孩的安全，也保证了车辆的安全，减小经济损失。

作为一个具体地实施例，驾驶员的状态信息还包括驾驶员的手势信息，通过双目摄像头10捕捉的驾驶员的深度信息得到手势信息，以通过识别驾驶员的手势信息来控制车辆根据手势信息做相应的动作。

作为一个具体地实施例，驾驶员的状态信息还包括驾驶员的眼神信息，通过双目摄像头10捕捉的驾驶员的图像信息，以进行眼神追踪。当车辆在形式过程中，驾驶员眼神或头部转动角度超过该范围，那么就会出现语音或者在中控屏70中进行提示，以使驾驶员能够及时的恢复到正常驾驶状态，避免危险的产生。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种双目识别驾驶员状态检测系统，其特征在于，包括：

双目摄像头，配置成检测驾驶员的图像信息和深度信息；

控制器，配置成对所述图像信息和所述深度信息进行3D建模，获取所述驾驶员的状态信息；和

整车控制装置，配置成根据所述状态信息控制车辆动作。

2.根据权利要求1所述的双目识别驾驶员状态检测系统，其特征在于，

所述整车控制装置包括：

初始数据存储单元，配置成存储所述驾驶员的初始状态信息；

控制单元，配置成对所述状态信息与所述初始状态信息进行比较，并根据比较结果控制车辆动作；

其中，所述动作包括提示动作和/或控制动作，所述提示动作为根据所述比较结果提示所述驾驶员做出相应动作，所述控制动作为直接根据所述比较结果控制所述车辆做出相应动作。

3.根据权利要求2所述的双目识别驾驶员状态检测系统，其特征在于，

所述状态信息包括疲劳信息，所述初始状态信息包括初始疲劳信息；

所述控制单元还配置成比较所述疲劳信息和所述初始疲劳信息以判断所述驾驶员是否疲劳驾驶，若所述驾驶员疲劳驾驶，则提示所述驾驶员需要休息。

4.根据权利要求3所述的双目识别驾驶员状态检测系统，其特征在于，

还包括：

车辆抬头显示，与所述整车控制装置连接，配置成在所述控制单元判断所述驾驶员疲劳时，将疲劳驾驶提示信息显示于所述驾驶员前方的挡风玻璃处，以提示所述驾驶员需要休息。

5.根据权利要求3所述的双目识别驾驶员状态检测系统，其特征在于，

还包括：

导航系统，与所述整车控制装置连接，用于在所述控制单元判断所述驾驶员疲劳时，提示所述驾驶员需要休息，并自动导航到最近休息点。

6.根据权利要求2所述的双目识别驾驶员状态检测系统，其特征在于，

所述状态信息还包括身份信息，所述初始状态信息还包括初始身份信息；

所述控制单元还配置成判断所述身份信息与初始身份信息是否匹配，若匹配，则在所述驾驶员尝试启动所述车辆时控制发动机启动，若不匹配，则在所述驾驶员尝试启动所述车辆时控制发动机不启动。

7.根据权利要求2所述的双目识别驾驶员状态检测系统，其特征在于，

所述状态信息还包括手势信息，所述初始状态信息还包括初始手势信息；

所述控制单元还配置成确定与所述手势信息匹配的所述初始手势信息，并控制所述车辆做出与所述手势信息匹配的所述初始手势信息对应的动作。

8.根据权利要求2所述的双目识别驾驶员状态检测系统，其特征在于，

所述状态信息还包括眼神信息，所述初始状态信息还包括初始眼神信息；

所述控制单元还配置成根据所述眼神信息判断所述驾驶员是否注视车辆前方时，若所述驾驶员未注视车辆前方，则提示所述驾驶员注视车辆前方。

9.一种双目识别驾驶员状态检测方法，其特征在于，包括如下步骤：

通过双目摄像头检测驾驶员的图像信息与深度信息；

将所述图像信息与所述深度信息进行3D建模，获取所述驾驶员的状态信息；

根据所述状态信息控制车辆动作。

10.根据权利要求9所述的方法，其特征在于，

根据比较结果控制车辆动作前还包括：

存储所述驾驶员的初始状态信息；

将所述状态信息与所述初始状态信息进行比较；

其中，所述动作包括提示动作和/或控制动作，所述提示动作为根据所述比较结果提示所述驾驶员做出相应动作，所述控制动作为直接根据所述比较结果控制所述车辆做出相应动作。