CN108216254A

CN108216254A - 基于面部图像与脉搏信息融合的路怒情绪识别方法

Info

Publication number: CN108216254A
Application number: CN201810022416.1A
Authority: CN
Inventors: 杨立才; 于申浩; 张成昱
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2018-01-10
Filing date: 2018-01-10
Publication date: 2018-06-29
Anticipated expiration: 2038-01-10
Also published as: CN108216254B

Abstract

本发明公开了基于面部图像与脉搏信息融合的路怒情绪识别方法，采集驾驶员的面部图像与脉搏信息，并分别进行预处理，再从面部图像与脉搏信息中分别提取能够反映驾驶员路怒情绪的特征量，并对提取到的两路特征进行融合，然后基于数据挖掘与机器学习的相关算法与技术，建立驾驶员路怒情绪识别模型，对驾驶员的情绪状态进行实时监测，及时判别驾驶员的情绪状态。本发明可以实现对驾驶员路怒情绪的实时监测与判别，能够有效降低“路怒症”对交通安全带来的不利影响。

Description

基于面部图像与脉搏信息融合的路怒情绪识别方法

技术领域

本发明属于交通安全驾驶领域，尤其涉及基于面部图像与脉搏信息融合的路怒情绪识别方法。

背景技术

随着人民生活水平的不断提高和交通运输业的快速发展，家用汽车、出租车、客车以及各类货车的数量逐年增长，这给人们的日常出行及生活带来了极大的便利，但与此同时，当前的道路交通状况也因此变得更加复杂。此外，快节奏的生活及工作，使人们的压力越来越大，当这种压力转移到道路交通方面时，便会引发各种不良后果，“路怒症”便是其中之一。

“路怒症”是指机动车驾驶员有攻击性或愤怒的行为，其主要表现为用侮辱性言语或手势、故意使用威胁安全的方式驾驶车辆、实施威胁他人生命健康的行为等。道路交通安全是社会公共安全的重要构成要素，随着在路车辆的增加和道路交通状况日趋复杂，“路怒症”对道路交通安全的影响日益凸显。2015年“交通安全日”公布的数据显示，全国年度内共查处1733万起路怒事件，由“路怒症”引起的攻击性驾驶行为已严重影响着城市道路交通秩序。

目前，国内外对“路怒症”的研究主要包括驾驶员路怒情绪的产生机理和影响因素、驾驶员愤怒驾驶时的行为表现、驾驶员愤怒驾驶对交通安全的影响以及驾驶员驾驶过程中的路怒情绪的识别等。其中对路怒症的产生机理、驾驶员愤怒驾驶的行为表现和不良影响的研究相对成熟，但对路怒情绪识别方面的研究较少，且主要采用主观调查法，即通过访谈、问卷调查以及观察等形式对驾驶员的路怒情绪进行判别。主观调查法虽然具有直接、简单的特点，但易受到驾驶员主观因素的影响且具有时间滞后性，无法对驾驶员进行及时有效的帮助和驾驶安全等不良行为的预警。路怒情绪的客观分析法，即通过采集驾驶员的语音、面部图像、生理参数等客观信息，基于数据分析实现驾驶员路怒情绪客观、真实、实时性的判别，是路怒情绪识别最行之有效的方法。受传统信息采集和数据处理技术的制约，路怒情绪客观分析方法主要采用面部图像或语音作为信息源，存在信息源单一、路怒情绪识别率达不到实际应用效果等不足之处。基于现代数据采集与信息融合技术、数据挖掘与机器学习等算法，探究基于多源信息融合的路怒情绪识别方法，对准确识别驾驶员的路怒情绪，从而尽可能地减小乃至避免驾驶员因路怒情绪对道路交通安全等产生的不良影响，具有重要的理论意义和应用价值。

发明内容

本发明所要解决的问题在于，提供一种基于面部图像与脉搏信息融合的路怒情绪识别方法，基于多源信息和数据融合等技术准确识别驾驶员的路怒情绪并预警，防止驾驶员因路怒情绪造成交通安全事故等不良后果。

为实现上述目的，本发明采用的技术方案如下：

基于面部图像与脉搏信息融合的路怒情绪识别方法，包括以下步骤：

步骤(1)：数据采集：

通过设置在车内仪表盘之上的红外高速摄像头采集驾驶员的面部视频图像信息；

通过佩戴在驾驶员手腕处的腕带式无线脉搏采集终端采集驾驶员的脉搏信息；

步骤(2)：数据预处理：

从面部视频图像信息中获取驾驶员的面部图像，从面部图像中提取面部特征；

从脉搏信息中提取脉搏特征；

将面部特征和脉搏特征进行特征融合与降维处理，得到驾驶员的路怒情绪特征；

步骤(3)：利用支持向量机SVM对驾驶员的路怒情绪特征进行训练，建立驾驶员的路怒情绪识别模型；

步骤(4)：利用训练得到的路怒情绪识别模型对驾驶员的情绪状态进行实时监测，判别驾驶员的路怒情绪状态。

进一步的，所述步骤(1)中，红外高速摄像头首先对驾驶员进行定位，再进行面部视频图像采集；腕带式无线脉搏采集终端采用光电式脉搏传感器，对驾驶员进行脉搏信息采集。

进一步的，所述步骤(2)中，提取面部特征，具体为：

从面部视频信息中获取驾驶员的面部图像，并从中提取面部特征，步骤：

从视频图像信息中选取设定时间段，提取连续若干帧图像，对图像去噪，然后基于YCbCr色彩空间的自适应肤色分割方法对图像中的人脸区域进行识别与分割，再从人脸区域中基于灰度投影积分提取面部特征，所述人脸区域包括人的眼睛、眉毛和嘴巴区域。

在人眼区域，所提取的特征，包括：眨眼次数、眨眼频率、眼睛开合度、单位时间内异常开合的持续时间以及平均眨眼时间，单位时间内异常开合的持续时间超过设定阈值，则表示当前驾驶员处于愤怒状态；

在眉毛区域，所提取的特征，包括：眉毛上下偏移量以及左右眉毛相对偏移量，当左右眉毛相对偏移量超过设定阈值，则表示当前驾驶员处于愤怒状态；

在嘴巴区域，所提取的特征，包括：嘴巴开合度、嘴巴异常开合度、嘴巴开合次数以及嘴巴开合频率，当嘴巴异常开合度大于设定阈值，则表示当前驾驶员处于愤怒状态；

将人眼区域、眉毛区域和嘴巴区域所提取的特征融合后综合评判驾驶员的愤怒状态，提高识别率。

进一步的，所述步骤(2)中，提取脉搏特征，具体为：

基于小波变换对脉搏信号进行滤波和去噪处理，分别从时域和频域提取脉搏特征，所述脉搏特征包括线性特征和非线性特征。

时域脉搏特征，包括：相邻脉搏主波波峰间期的均值、相邻脉搏主波波峰间期的标准差、相邻脉搏主波波峰间期的均方根、相邻脉搏主波波峰间期的一阶差分或相邻脉搏主波波峰间期的二阶差分；

频域脉搏特征，包括：低频功率谱、高频功率谱、高低频比例、功率谱峰值或峰值频率；

非线性特征，包括：心率变异性HRV关联指数和李雅普诺夫Lyapunov指数。

进一步的，所述步骤(2)中，特征融合与降维具体为：

将面部特征和脉搏特征进行特征融合与降维处理，得到驾驶员的路怒情绪特征，步骤：

将所述面部特征和脉搏特征进行特征融合，形成多维特征空间，再对多维特征空间进行降维，得到驾驶员的路怒情绪特征。

进一步的，所述步骤(3)中，从情绪识别特征向量矩阵中抽取部分实验样本成为训练集，作为支持向量机SVM的输入向量，对SVM进行训练，并提高SVM的泛化能力和鲁棒性，最终构建驾驶员路怒情绪识别模型。

所述步骤(3)的驾驶员路怒情绪识别模型建立步骤为：

步骤(31)：将经过PCA降维后的驾驶员的路怒情绪特征随机分为训练集和测试集；

步骤(32)：选用径向基RBF核函数，确定惩罚因子C以及交叉检验次数；

步骤(33)：利用训练集数据训练识别模型，再用测试集计算识别率；

当识别率达到预期要求时，则模型训练结束；

当识别率未能达到预期要求时，则优化惩罚因子C，再次利用训练集进行模型训练，直到识别率达到预期要求。

YCbCr色彩空间与RGB色彩空间之间的转化关系为：

其中，Y表示亮度，即灰阶值；Cb反映的是RGB输入信号的蓝色部分与其亮度值的差异；Cr反映的是RGB输入信号的红色部分与其亮度值之间的差异。

在色彩空间转换后，通过计算像素的概率值构成连续的数据信息并得到肤色概率图，然后进行二值化得到人脸肤色二值图像，进而获得二值图像最小外接矩形，则该部分即为人脸区域。

再从人脸区域中基于灰度投影积分提取面部特征，包括人的眼睛、眉毛和嘴巴区域。灰度积分投影的公式为：

水平方向：

竖直方向：

其中，I(x,y)为图像中点(x,y)的灰度值。

小波变换的公式为：

其中，f(t)为待处理信号；为小波函数；a为小波变换的尺度，控制小波函数的伸缩，对应于频率；τ为偏移量，控制小波函数的平移，对应于时间。

所述降维处理采用主成分分析法(PCA)，其主成分计算公式为：

P_i＝(X₁，X₂，X₃，…，X_p)*(L₁，L₂，L₃，…，L_p)^T

其中，P_i(i＝1,2,3，…p)为特征矩阵中的各列向量，L_i(i＝1,2,3，…p)为主成分载荷矩阵L的各列向量。

径向基核函数公式为：

K(x_i,x_j)＝exp(-γ‖x_i-x_j‖²)

其中，γ>0，默认值为1/k，k为类别数。

本发明对比现有技术，具有以下创新点：

1.相较于传统的单一图像信号源方法，本发明综合利用驾驶员的脉搏信息和面部图像，实现基于多源信息特征融合的路怒情绪识别；

2.在对面部图像进行特征提取时，分别从眼睛、眉毛和嘴巴区域提取了关键特征，综合多种特征提高了路怒情绪的识别率；

3.本发明在建立路怒情绪识别模型时，使用了主成分分析法(PCA)和支持向量机(SVM)算法；

4.提出基于肤色分割和灰度积分投影相结合的面部特征提取方法，能够快速并准确地提取出人脸区域内驾驶员的路怒情绪特征。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为驾驶员路怒情绪识别方法流程图；

图2为信息采集装置的安装示意图；

图3为脉搏波形图；

图4为SVM路怒情绪分类识别模型建立流程图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

图1给出了驾驶员路怒情绪识别方法的流程，其整个过程包括驾驶员原始信息采集及预处理、脉搏和面部图像信息的特征提取、特征融合降维、路怒情绪识别模型的建立四个部分。信息采集装置包括红外高速摄像头和一个腕带式无线脉搏采集终端。

图2给出了各采集装置的安放位置。在图2中，红外高速摄像头位于仪表盘之上，驾驶员正前方，具有定位和信息采集双重功能，当驾驶员处在合理的信息采集位置时，红外高速摄像头开始对驾驶员进行视频信息采集；

腕带式无线脉搏采集终端采用光电式脉搏传感器，对驾驶员进行脉搏信息的采集，并以无线蓝牙方式进行数据传输；

对驾驶员的视频信息和脉搏信息进行原始数据采集后，需要从视频信息中提取面部图像，并对两路信息进行数据预处理，具体实施方法分别为：

(1)从视频信息中选取关键段提取连续多帧图像，去噪，然后基于YCbCr色彩空间的自适应肤色分割方法对图像中的人脸区域进行识别与分割，其中YCbCr色彩空间与RGB色彩空间之间的转化关系为：

在色彩空间转换之后，通过计算像素的概率值构成连续的数据信息并得到肤色概率图，肤色概率计算公式为：

其中，x为YCbCr色彩空间中的Cb、Cr值；m为YCbCr色彩空间的样本均值；C为协方差矩阵：

C＝E{(x-m)(x-m)^T}

然后进行二值化得到人脸肤色二值图像，进而获得二值图像最小外接矩形，该部分即为人脸区域。

水平方向：

竖直方向：

其中，I(x,y)为图像中点(x,y)的灰度值。

(2)对脉搏信号基于小波变换进行滤波、去噪。小波变换是将各个相异尺度移位的小波基和待处理信号进行的内积运算，其公式为：

其中，f(t)是待处理信号；为小波函数；a为小波变换的尺度，控制小波函数的伸缩，对应于频率；τ为偏移量，控制小波函数的平移，对应于时间。

当上述预处理过程完成之后，对得到的面部图像和脉搏信息分别进行特征提取。

面部图像经过预处理之后得到了人眼、眉毛以及嘴巴三种关键区域。人在出现愤怒情绪的时候，面部肌肉通常会出现短时间的剧烈变化，进而带动以上三种关键区域发生明显改变，因而，从中提取特征进行识别，能够更好地提高路怒情绪的识别率。具体特征包括以下几种：

在人眼区域，所提取的特征包括眨眼次数、眨眼频率、眼睛开合度、单位时间内异常开合(即开合度大于正常状态下的110％)的持续时间以及平均眨眼时间。其中，取驾驶员正常状态下的眼睛开合度为参考标准，人在愤怒情况下通常会伴随“瞪眼”这一明显特征，因而当驾驶员的眼睛张开程度超过正常状态下，判定为异常开合，若持续时间超过5s，则可以初步判定驾驶员处于愤怒状态；

在眉毛区域，所提取的特征包括眉毛上偏移量以及左右眉毛相对偏移量。其中，当驾驶员出现愤怒情绪时，眉毛会随着“瞪眼”的动作而发生连带变化，或眉毛出现明显上移，或出现“皱眉”而使左右眉毛发生相对位移。眉毛区域的特征须配合人眼区域特征一起进行判别；

在嘴巴区域，所提取的特征包括嘴巴开合度、嘴巴异常开合度(开合度大于正常情况)、嘴巴开合次数以及嘴巴开合频率。人在愤怒情绪下，通常会有情绪表达，最明显的就是通过语言，比如大喊大叫。取驾驶员正常说话时的嘴巴最大张开程度为参考标准，超过标准则判断为异常开合。在将人眼和眉毛区域特征作为判别驾驶员路怒状态的主要特征时，再引入嘴巴区域特征可以有效降低误识别率、进一步提高识别的准确度。

对处理后的脉搏信息，从时域和频域提取脉搏特征，且所述脉搏特征包括线性特征和非线性特征。图3为一幅典型的脉搏图像。单周期脉搏信号一般包含下述几部分：主波(升支、降支)、降中峡、重搏波、重搏前波等。图中A、G两点为主动脉开放点，表征一个脉搏周期的始终；B处即表示主波波峰R，标识动脉血容量和血压最大值；D点即为重搏前波波峰，由动脉扩张和血管内血压降低产生的反射形成；E点为降中峡；F点为重波波峰。

从脉搏信息中提取时域、频域的线性特征，时域统计特征包括R-R间期的均值、R-R间期标准差、R-R间期均方根、R-R间期一阶差分、R-R间期二阶差分，频域特征包括低频功率谱、高频功率谱、高低频比例、功率谱峰值、峰值频率；非线性特征包括心率变异性HRV关联指数和李雅普诺夫Lyapunov指数。

主成分分析法(PCA)是在图像解析和数据挖掘等领域中被广泛应用的一种降维方法，其主要思想是：将多维度特征向量中的多个变量转化为数量更少的主成分，各主成分均为初始特征的线性组合，同时满足各数据变量互相线性无关的条件，即，将n维特征映射到k维上(k<n)，重新构造全新的k维正交特征，从而达到降维目的。主成分分析法的主成分计算公式为：

P_i＝(X₁，X₂，X₃，…，X_p)*(L₁，L₂，L₃，…，L_p)^T

其中，P_i(i＝1,2,3，…p)为特征矩阵中的各列向量、L_i(i＝1,2,3，…p)为主成分载荷矩阵L的各列向量，以P_i为特征量进行愤怒情绪识别；

将之前提取到的两路特征进行融合，形成多维特征空间，然后基于上述主成分分析法的计算公式计算其主成分，取累计贡献率达95％及以上的各主成分作为新的特征向量矩阵，以此达到降维的目的。

驾驶员路怒情绪识别模型，选用机器学习中的支持向量机(SVM)算法。支持向量机是二分类模式识别算法，可常规性地理解为寻求特征空间上间隔最大距离线性分类器，学习策略为寻求使两种模式间距离最大化，从而变成一个凸二次规划问题的求解。支持向量机的核心策略为寻求使得分类间隔最大的分类超平面。

对于线性不可分问题，以对其向高维空间转化的方法，能够使其转化为线性可分。支持向量机通过引入核函数，解决了高维空间下的内积运算困难，使得非线性模型的分类成为可能。核函数的基本作用是接受两个低维空间的向量，并求解其经过变换后的高维空间之中的向量内积，进而求解出分类器。

从融合后的新的特征向量矩阵中抽取部分实验样本，作为输入向量的训练样例，对决策器进行训练，依此来构建具有高识别能力的路怒情绪决策器，并在后期提高决策器的泛化能力和鲁棒性，最终构建驾驶员路怒情绪识别模型。

图4为SVM路怒情绪分类识别模型建立流程图，其步骤如下：

步骤(1)：将经过PCA降维后的驾驶员的路怒情绪特征随机分为训练集和测试集；

步骤(2)：选定核函数类型。本方法选用径向基(RBF)核函数，原因为所选核函数能够非线性地映射样本，从而处理分类标注和属性的非线性关系，相较于其他核函数，具有更小数值复杂度。径向基核函数公式为：

K(x_i,x_j)＝exp(-γ‖x_i-x_j‖²)

其中，γ>0，默认值为1/k，k为类别数。

然后确定惩罚因子C以及交叉检验次数两项参数。当C值越大表示对错误分类的惩罚越大，但是过大也会导致过拟合，所以适当的C值对分类准确性很重要；

步骤(3)：利用训练集数据训练识别模型，再用测试集计算识别率，当识别率达到预期要求时，则路怒情绪分类识别模型确定为可用；当识别率未能达到预期要求时，则优化惩罚因子C等参数，再次利用训练集进行模型训练，直到识别率达到预期要求；

步骤(4)：输入新的数据之后，通过路怒情绪识别模型产生路怒情绪识别结果；

当对驾驶员的路怒情绪识别结果为愤怒时，可通过车载报警装置对驾驶员进行及时提醒或安抚，从而使驾驶员及时对自我情绪进行调整，以避免出现不良驾驶后果，进而减小“路怒症”对道路交通安全产生的不良影响。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.基于面部图像与脉搏信息融合的路怒情绪识别方法，其特征是，包括以下步骤：

步骤(1)：数据采集：

步骤(2)：数据预处理：

从脉搏信息中提取脉搏特征；

2.如权利要求1所述的基于面部图像与脉搏信息融合的路怒情绪识别方法，其特征是，所述步骤(1)中，红外高速摄像头首先对驾驶员进行定位，再进行面部视频图像采集；腕带式无线脉搏采集终端采用光电式脉搏传感器，对驾驶员进行脉搏信息采集。

3.如权利要求1所述的基于面部图像与脉搏信息融合的路怒情绪识别方法，其特征是，所述步骤(2)中，提取面部特征，具体为：

4.如权利要求3所述的基于面部图像与脉搏信息融合的路怒情绪识别方法，其特征是，

5.如权利要求1所述的基于面部图像与脉搏信息融合的路怒情绪识别方法，其特征是，所述步骤(2)中，提取脉搏特征，具体为：

基于小波变换对脉搏信号进行滤波和去噪处理，分别从时域和频域提取脉搏特征，所述脉搏特征包括线性特征和非线性特征；

6.如权利要求1所述的基于面部图像与脉搏信息融合的路怒情绪识别方法，其特征是，所述步骤(2)中，特征融合与降维具体为：

7.如权利要求1所述的基于面部图像与脉搏信息融合的路怒情绪识别方法，其特征是，所述步骤(3)中，从情绪识别特征向量矩阵中抽取部分实验样本成为训练集，作为支持向量机SVM的输入向量，对SVM进行训练，并提高SVM的泛化能力和鲁棒性，最终构建驾驶员路怒情绪识别模型。

8.如权利要求1所述的基于面部图像与脉搏信息融合的路怒情绪识别方法，其特征是，所述步骤(3)的驾驶员路怒情绪识别模型建立步骤为：

当识别率达到预期要求时，则模型训练结束；

当识别率未能达到预期要求时，则优化惩罚因子C，再次利用训练集进行模型训练，直到识别率达到预期。