CN116807479B - 一种基于多模态深度神经网络的驾驶注意力检测方法 - Google Patents

Abstract

本发明公开了一种基于多模态深度神经网络的驾驶注意力检测方法，属于驾驶注意力检测技术领域，为了解决现有驾驶注意力检测过程中用单一模态的指标去进行检测的可靠性不足的技术问题，包括：S1：获取原始公开数据集中的脑电数据和眼电数据；S2：分别对所述脑电数据和所述眼电数据进行预处理，得到预处理后的眼电数据和预处理后的脑电数据；S3：根据所述预处理后的眼电数据和所述预处理后的脑电数据，对多模态深度神经网络进行训练，得到训练好的多模态深度神经网络；S4：利用所述训练好的多模态深度神经网络对驾驶输入图像进行注意力检测，得到驾驶注意力检测结果。本发明能够有效地提升检测结果的准确性。

Description

一种基于多模态深度神经网络的驾驶注意力检测方法

技术领域

本发明涉及驾驶注意力检测技术领域，具体涉及一种基于多模态深度神经网络的驾驶注意力检测方法。

背景技术

注意力指一个人专心于某一事物、或活动时的心理状态，当驾驶员驾驶过程中处于注意力不集中的心理状态时，会导致其反应能力下降，进而伴随着其执行驾驶任务的意愿降低，失去对车辆的安全把控，从而造成严重的交通事故。因此，准确有效的检测出驾驶员的注意力状态具有重要意义。

注意力检测是指对被试者的面部表情、肢体动作、生理信号等特征进行提取并分类进而做出评判并划分等级在众多不同模态的信号中，被试者的生理信号更能真实地反映被试者的注意力状态。相比面部表情等物理特征，利用EEG等生理信号进行注意力检测具有时间分辨率高、识别效果好、可靠性高的优势。目前基于生理信号的疲劳检测方法有脑电图，肌电图、心电图和眼电图等。

近年来，机器学习算法在驾驶注意力检测领域做出了巨大的贡献。但相比于传统的机器学习，深度学习不仅在注意力检测方面具有更高的识别准确率，而且在特征提取、数据扩充等方面提出了相对更好的解决方案，吸引了大量的研究者。在大多数关于深度学习注意力检测的研究中，使用神经网络对数据做特征提取时，模型深度不够导致提取的特征显著性不够强，提取数据特征时尺度也太过单一进而导致特征的多样性不足。大多数关于注意力检测的研究都是基于单模态EEG数据的研究，但是驾驶注意力缺失是一种复杂的现象，涉及到复杂的生理过程，用单一模态的指标去进行检测的可靠性不足。

发明内容

本发明的目的在于提供一种基于多模态深度神经网络的驾驶注意力检测方法，以解决现有驾驶注意力检测过程中用单一模态的指标去进行检测的可靠性不足的技术问题。

本发明解决上述技术问题的技术方案如下：

本发明提供一种基于多模态深度神经网络的驾驶注意力检测方法，所述基于多模态深度神经网络的驾驶注意力检测方法包括：

S1：获取原始公开数据集中的脑电数据和眼电数据；

S2：分别对所述脑电数据和所述眼电数据进行预处理，得到预处理后的眼电数据和预处理后的脑电数据；

S3：根据所述预处理后的眼电数据和所述预处理后的脑电数据，对多模态深度神经网络进行训练，得到训练好的多模态深度神经网络；

其中，所述多模态深度神经网络包括依次设置的多尺度并行卷积模块、下采样模块、全连接层和决策融合层；其中，所述多尺度并行卷积模块有多个，多个所述多尺度并行卷积模块堆叠设置；

所述多尺度并行卷积模块用于提取输入数据的局部特征和全局特征，并将所述局部特征和所述全局特征融合后依次进行归一化处理和Relu激活函数处理后输出至下采样模块；

所述下采样模块用于压缩所述多尺度并行卷积模块输出数据的尺寸，并将压缩后的输出数据传输至所述全连接层；

所述全连接层用于将下采样模块压缩后的数据特征进行分类；

所述决策融合层用于根据全连接层的输出以及驾驶注意力检测过程中眼电数据和脑电数据各自对应的权重，生成驾驶注意力检测结果；

S4：利用所述训练好的多模态深度神经网络对驾驶输入图像进行注意力检测，得到驾驶注意力检测结果。

可选择地，所述S2中，对所述脑电数据进行预处理包括：

将所述脑电数据的原始信号进行频段分解，得到分解后的脑电数据；其中，所述分解后的脑电数据包括多个波段的频段信号；

提取所述分解后的脑电数据的微分熵特征；

对所述微分熵特征进行归一化处理，得到预处理后的脑电数据。

可选择地，所述微分熵特征的计算公式为：

其中，表示时间序列的微分熵特征，表示圆周率，表示以为底的指数函数，log表示对数函数，表示时间序列且服从高斯分布，和为时间序列的均值和方差。

可选择地，所述S2中，对所述眼电数据进行预处理包括：

利用3种不同的方式提取所述眼电数据中的36维特征，得到预处理后的眼电数据。

可选择地，所述S3包括：

S31：分别将所述预处理后的脑电数据和预处理后的眼电数据划分为训练集和验证集；

S32：利用所有训练集对所述多模态深度神经网络进行训练；

S33：根据各训练集在各测试集上的错误率，确定驾驶注意力检测过程中眼电数据和脑电数据各自对应的权重；

S34：根据所述眼电数据和脑电数据各自对应的权重，确定数据融合计算公式；

S35：为所述多模态深度神经网络赋予所述数据融合计算公式，以得到训练好的多模态深度神经网络。

可选择地，所述S33包括：

其中，表示权值，表示错误率；

所述S34中，所述数据融合计算公式为：

其中，表示融合结果，表示预处理后的脑电数据，表示脑电数据的权重，表示预处理后的眼电数据，表示眼电数据的权重。

可选择地，所述多尺度并行卷积模块包括卷积输入层、浅层并行卷积块、深层并行卷积块、特征融合部分、第三归一化层和激活函数层；

所述卷积输入层的输出结果同时作为所述浅层并行卷积块和所述深层并行卷积块的输入；

所述浅层并行卷积块用于提取输入数据的局部特征且包括浅层压缩卷积函数层和多个并行设置的第一多尺度卷积块，所述浅层压缩卷积函数层的输出同时作为各第一多尺度卷积块的输入，各所述第一多尺度卷积块的输出作为所述浅层压缩卷积函数层的输出，并且，各所述第一多尺度卷积块分别包括一维卷积函数层和常量填充函数层；

所述深层并行卷积块用于提取输入数据的全局特征且包括第一深层压缩卷积函数层、第二深层压缩卷积函数层以及多个并行设置的第二多尺度卷积块，所述卷积输入层的输出结果作为所述第一深层压缩卷积函数层的输入，所述第一深层压缩卷积函数层的输出作为所述第二深层压缩卷积函数层的输入，所述第二深层压缩卷积函数层的输出同时作为各所述第二多尺度卷积块的输入，各所述第二多尺度卷积块的输出融合后作为所述深层并行卷积块的输出，并且，各所述第二多尺度卷积块分别包括两组函数组，每组函数组分别包括一个一维卷积函数和一个常量填充函数；

所述浅层并行卷积块的输出和所述深层并行卷积块的输出同时作为所述特征融合部分的输入，所述特征融合部分用于对所述局部特征和所述全局特征进行特征融合，以得到特征融合结果；

所述第三归一化层的输入为所述特征融合结果，其输出作为所述激活函数层的输入，所述激活函数层的输出为所述多尺度并行卷积模块的输出。

可选择地，所述浅层压缩卷积函数层定义为：

各所述第一多尺度卷积块的计算为：

所述第二深层压缩卷积函数层的计算为：

所述第二多尺度卷积块的计算为：

所述特征融合部分、所述第三归一化层和所述激活函数层的计算为：

其中，表示卷积核为1的卷积函数，表示输入数据且，表示批量大小，表示数据通道数，表示特征维度；表示常量填充函数，表示卷积函数，分别表示第一多尺度卷积块1特征、第一多尺度卷积块2特征、第二多尺度卷积块1特征、第二多尺度卷积块2特征、第二多尺度卷积块3特征，表示浅层压缩卷积特征、深层压缩卷积特征，表示多尺度并行卷积模块的输出，表示特征融合，表示归一化函数，表示Relu激活函数。

可选择地，所述下采样模块包括依次设置的输入层、卷积层、平均池化层、降维层、Relu函数层和过拟合层；

所述下采样模块的计算公式为：

其中，表示多尺度并行卷积特征，X表示输入数据且，表示批量大小，表示特征维度，数据通道为85，表示降维函数，表示平均池化函数，表示Dropout函数，表示Relu激活函数，表示Batch Normalization归一化函数，表示卷积核为1的卷积函数。

可选择地，所述多模态深度神经网络的损失函数为：

其中，表示样本数，表示第个样本的真实标签为，表示第个样本预测为第个标签值的概率，表示分类任务。

本发明具有以下有益效果：

1、本发明通过脑电与眼电数据进行决策融合的方式来进行驾驶注意力检测，由于EOG（眼电）信号与EEG（脑电）信号具有互补性，因此基于二者的决策融合能够有效地提升检测结果的准确性；

2、本发明提出多模态深度神经网络的多尺度并行卷积模块，一方面通过6个多尺度并行卷积子模块堆叠而成，增加了深度学习模型的深度，使得提取的最终特征更具显著性；另一方面使用了5个并行卷积块从不同维度来提取数据特征，丰富了特征提取的多样性；

3、本发明使用了SEED-VIG数据集来检验多模态深度神经网络的性能并在二分类中取得了不错的效果，相比于近几年的其他前沿模型，本发明提出多模态深度神经网络的各项指标更高，在跨被试上的表现更加稳定，具有较好的鲁棒性。

附图说明

图1为本发明基于多模态深度神经网络的驾驶注意力检测方法的流程图；

图2为本发明多模态深度神经网络的结构示意图；

图3为多尺度并行卷积模块的结构示意图；

图4为下采样模块的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明提供一种基于多模态深度神经网络的驾驶注意力检测方法，参考图1所示，基于多模态深度神经网络的驾驶注意力检测方法包括：

S1：获取原始公开数据集中的脑电数据和眼电数据；

本发明原始公开数据集为上海交通大学BCMI研究中心的公开数据集SEED-VIG，该数据集的采集基于虚拟现实的模拟驾驶系统，在满足实验要求的情况下，随机选取了23名被试，被试者的平均年龄在23岁左右，分别有11位男性与12位女性，实验数据经过分析和筛选，只有21名被试的数据适合用于注意力检测的研究。

在原始公开数据集中，本发明获取了17个电极的脑电数据（以下称为EEG数据），也就是17通道，每个被试总共进行118分钟（7080秒）的数据收集，每秒的采样频率为200Hz，共计1416000个采样点。

除了脑电数据之外，还获取了原始公开数据集中的眼电数据。

S2：分别对脑电数据和眼电数据进行预处理，得到预处理后的眼电数据和预处理后的脑电数据；

对脑电数据进行预处理包括：

将脑电数据的原始信号进行频段分解，得到分解后的脑电数据；其中，分解后的脑电数据包括多个波段的频段信号；

根据已有的研究，原始EEG的原始信号可以根据内在特征和不同的行为状态划分为5种不同的频段。因此本发明将脑电数据的原始信号划分为不同的频段来分析是具有可行性的。本发明使用巴特沃斯滤波器将原始信号分解为五个频段Delta(0.5-4Hz)、Theta(4-8Hz)、Alpha(8-12Hz)、Beta(12-30Hz)、Gamma(30-50Hz)，这样不仅可以得到特定的频段，还能过滤掉无关的频段进而去除数据的噪声。划分好频段之后，EEG从1416000*17(采样点*通道数)变为了1416000*17*5（采样点*通道数*波段）。

提取分解后的脑电数据的微分熵特征；

微分熵特征的计算公式为：

其中，表示时间序列的微分熵特征，表示圆周率，表示以为底的指数函数，log表示对数函数，表示时间序列且服从高斯分布，和为时间序列的均值和方差。

对微分熵特征进行归一化处理，得到预处理后的脑电数据。

本发明每隔8秒对脑电数据打一次标签，采样频率为200Hz。对每个个体数据按8s的采样率做一个分割得到数据格式为885*17*5*1600（个体样本数*通道数*波段*单个样本采样点）；之后每隔100个采样点（0.5秒的数据）就提取一个微分熵，得到数据格式为885*17*5*16 （个体样本数*通道数*波段*微分熵值）。全部23份数据处理完成之后合并成一个混合数据集，大小为23*885*17*5*16。

很多研究表明，特征提取阶段对数据进行归一化处理，有助于加快基于反向传播的神经网络算法对数据的学习过程。因此，本发明对提取到的脑电信号的微分熵特征进行归一化处理，将数据映射到0-1的范围之内，以加快模型的收敛速度的同时提升模型的准确度。

S3：根据预处理后的眼电数据和预处理后的脑电数据，对多模态深度神经网络进行训练，得到训练好的多模态深度神经网络；

参考图2所示，多模态深度神经网络包括依次设置的多尺度并行卷积模块、下采样模块、全连接层和决策融合层；其中，多尺度并行卷积模块有多个，多个多尺度并行卷积模块堆叠设置；

多尺度并行卷积模块用于提取输入数据的局部特征和全局特征，并将局部特征和全局特征融合后依次进行归一化处理和Relu激活函数处理后输出至下采样模块；其结构参考图3所示，包括：

卷积输入层、浅层并行卷积块、深层并行卷积块、特征融合部分、第三归一化层和激活函数层；

卷积输入层的输出结果同时作为浅层并行卷积块和深层并行卷积块的输入；

浅层并行卷积块用于提取输入数据的局部特征且包括浅层压缩卷积函数层和多个并行设置的第一多尺度卷积块，浅层压缩卷积函数层的输出同时作为各第一多尺度卷积块的输入，各第一多尺度卷积块的输出作为浅层压缩卷积函数层的输出，并且，各第一多尺度卷积块分别包括一维卷积函数层和常量填充函数层；

浅层压缩卷积函数层的作用在于压缩通道数、减少模型参数，一定程度上避免了模型的过拟合。多个并行设置的第一多尺度卷积块包括第一多尺度卷积块1与第一多尺度卷积块2，两个并行卷积块分别使用了不同尺寸的卷积核来拓宽特征提取视野。在浅层并行卷积块中，并行卷积块由一个一维卷积函数Conv与一个常量填充函数ConstantPad1d(CPad)组成。常量填充函数的目的在于填充特征值的数量，使得数据被不同尺度的卷积函数提取特征后保持特征维度的一致性。

浅层压缩卷积函数层定义为：

各所述第一多尺度卷积块的计算为：

深层并行卷积块用于提取输入数据的全局特征且包括第一深层压缩卷积函数层、第二深层压缩卷积函数层以及多个并行设置的第二多尺度卷积块，卷积输入层的输出结果作为第一深层压缩卷积函数层的输入，第一深层压缩卷积函数层的输出作为第二深层压缩卷积函数层的输入，第二深层压缩卷积函数层的输出同时作为各第二多尺度卷积块的输入，各第二多尺度卷积块的输出融合后作为深层并行卷积块的输出，并且，各第二多尺度卷积块分别包括两组函数组，每组函数组分别包括一个一维卷积函数和一个常量填充函数；

第二深层压缩卷积函数层的计算为：

所述第二多尺度卷积块的计算为：

两个压缩层加大了网络结构的深度，使得提取的特征更具全局性。并多个并行设置的第二多尺度卷积块包括第二多尺度卷积块1、第二多尺度卷积块2和第二多尺度卷积块3，三个并行第二多尺度卷积块分别使用了不同尺寸的卷积核来拓宽特征提取视野。在深层并行卷积块中，第二多尺度卷积块由两个相同卷积函数Conv与两个相同常量填充函数CPad交替组成。使用两次卷积函数的目的在于进一步增加网络结构的深度。

浅层并行卷积块的输出和深层并行卷积块的输出同时作为特征融合部分的输入，特征融合部分用于对局部特征和全局特征进行特征融合，以得到特征融合结果；

第三归一化层的输入为特征融合结果，其输出作为激活函数层的输入，激活函数层的输出为多尺度并行卷积模块的输出。

特征融合部分、所述第三归一化层和所述激活函数层的计算为：

其中，表示卷积核为1的卷积函数，表示输入数据且，表示批量大小，表示数据通道数，表示特征维度；表示常量填充函数，表示卷积函数，分别表示第一多尺度卷积块1特征、第一多尺度卷积块2特征、第二多尺度卷积块1特征、第二多尺度卷积块2特征、第二多尺度卷积块3特征，表示浅层压缩卷积特征、深层压缩卷积特征，表示多尺度并行卷积模块的输出，表示特征融合，表示归一化函数，表示Relu激活函数。

下采样模块用于压缩多尺度并行卷积模块输出数据的尺寸，并将压缩后的输出数据传输至全连接层；参考图4所示，下采样模块包括依次设置的输入层、卷积层、第一归一化层、平均池化层、降维层、Relu函数层、第二归一化层和过拟合层；

下采样模块的计算公式为：

其中，表示多尺度并行卷积特征，X表示输入数据且，表示批量大小，表示特征维度，数据通道为85，表示降维函数，表示平均池化函数，表示Dropout函数，表示Relu激活函数，表示Batch Normalization归一化函数，表示卷积核为1的卷积函数。

全连接层用于将下采样模块压缩后的数据特征进行分类；

决策融合层用于根据全连接层的输出以及驾驶注意力检测过程中眼电数据和脑电数据各自对应的权重，生成驾驶注意力检测结果。

基于此，S3包括：

S31：分别将预处理后的脑电数据和预处理后的眼电数据划分为训练集和验证集；

S32：利用所有训练集对多模态深度神经网络进行训练；

S33：根据各训练集在各测试集上的错误率，确定驾驶注意力检测过程中眼电数据和脑电数据各自对应的权重；即：

其中，表示权值，表示错误率。

S34：根据眼电数据和脑电数据各自对应的权重，确定数据融合计算公式；

数据融合计算公式为：

其中，表示融合结果，表示预处理后的脑电数据，表示脑电数据的权重，表示预处理后的眼电数据，表示眼电数据的权重。

S35：为多模态深度神经网络赋予数据融合计算公式，以得到训练好的多模态深度神经网络。

S4：利用训练好的多模态深度神经网络对驾驶输入图像进行注意力检测，得到驾驶注意力检测结果。

本发明多模态深度神经网络的损失函数为：

其中，表示样本数，表示第个样本的真实标签为，表示第个样本预测为第个标签值的概率，表示分类任务。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于多模态深度神经网络的驾驶注意力检测方法，其特征在于，所述基于多模态深度神经网络的驾驶注意力检测方法包括：

S1：获取原始公开数据集中的脑电数据和眼电数据；

S2：分别对所述脑电数据和所述眼电数据进行预处理，得到预处理后的眼电数据和预处理后的脑电数据；

S3：根据所述预处理后的眼电数据和所述预处理后的脑电数据，对多模态深度神经网络进行训练，得到训练好的多模态深度神经网络；

其中，所述多模态深度神经网络包括依次设置的多尺度并行卷积模块、下采样模块、全连接层和决策融合层；其中，所述多尺度并行卷积模块有多个，多个所述多尺度并行卷积模块堆叠设置；

所述多尺度并行卷积模块用于提取输入数据的局部特征和全局特征，并将所述局部特征和所述全局特征融合后依次进行归一化处理和Relu激活函数处理后输出至下采样模块；

所述下采样模块用于压缩所述多尺度并行卷积模块输出数据的尺寸，并将压缩后的输出数据传输至所述全连接层；

所述全连接层用于将下采样模块压缩后的数据特征进行分类；

所述决策融合层用于根据全连接层的输出以及驾驶注意力检测过程中眼电数据和脑电数据各自对应的权重，生成驾驶注意力检测结果；

所述S3包括：

S31：分别将所述预处理后的脑电数据和预处理后的眼电数据划分为训练集和验证集；

S32：利用所有训练集对所述多模态深度神经网络进行训练；

S33：根据各训练集在各测试集上的错误率，确定驾驶注意力检测过程中眼电数据和脑电数据各自对应的权重；

S34：根据所述眼电数据和脑电数据各自对应的权重，确定数据融合计算公式；

S35：为所述多模态深度神经网络赋予所述数据融合计算公式，以得到训练好的多模态深度神经网络；

所述S33包括：

其中，表示权值，表示错误率；

S4：利用所述训练好的多模态深度神经网络对驾驶输入图像进行注意力检测，得到驾驶注意力检测结果。

2.根据权利要求1所述的基于多模态深度神经网络的驾驶注意力检测方法，其特征在于，所述S2中，对所述脑电数据进行预处理包括：

将所述脑电数据的原始信号进行频段分解，得到分解后的脑电数据；其中，所述分解后的脑电数据包括多个波段的频段信号；

提取所述分解后的脑电数据的微分熵特征；

对所述微分熵特征进行归一化处理，得到预处理后的脑电数据。

3.根据权利要求2所述的基于多模态深度神经网络的驾驶注意力检测方法，其特征在于，所述微分熵特征的计算公式为：

其中，表示时间序列的微分熵特征，表示圆周率，表示以为底的指数函数，log表示对数函数，表示时间序列且服从高斯分布，和为时间序列的均值和方差。

4.根据权利要求1所述的基于多模态深度神经网络的驾驶注意力检测方法，其特征在于，所述S2中，对所述眼电数据进行预处理包括：

利用3种不同的方式提取所述眼电数据中的36维特征，得到预处理后的眼电数据。

5.根据权利要求1所述的基于多模态深度神经网络的驾驶注意力检测方法，其特征在于，

所述S34中，所述数据融合计算公式为：

其中，表示融合结果，表示预处理后的脑电数据，表示脑电数据的权重，表示预处理后的眼电数据，表示眼电数据的权重。

6.根据权利要求1所述的基于多模态深度神经网络的驾驶注意力检测方法，其特征在于，所述多尺度并行卷积模块包括卷积输入层、浅层并行卷积块、深层并行卷积块、特征融合部分、第三归一化层和激活函数层；

所述卷积输入层的输出结果同时作为所述浅层并行卷积块和所述深层并行卷积块的输入；

所述浅层并行卷积块用于提取输入数据的局部特征且包括浅层压缩卷积函数层和多个并行设置的第一多尺度卷积块，所述浅层压缩卷积函数层的输出同时作为各第一多尺度卷积块的输入，各所述第一多尺度卷积块的输出作为所述浅层压缩卷积函数层的输出，并且，各所述第一多尺度卷积块分别包括一维卷积函数层和常量填充函数层；

所述深层并行卷积块用于提取输入数据的全局特征且包括第一深层压缩卷积函数层、第二深层压缩卷积函数层以及多个并行设置的第二多尺度卷积块，所述卷积输入层的输出结果作为所述第一深层压缩卷积函数层的输入，所述第一深层压缩卷积函数层的输出作为所述第二深层压缩卷积函数层的输入，所述第二深层压缩卷积函数层的输出同时作为各所述第二多尺度卷积块的输入，各所述第二多尺度卷积块的输出融合后作为所述深层并行卷积块的输出，并且，各所述第二多尺度卷积块分别包括两组函数组，每组函数组分别包括一个一维卷积函数和一个常量填充函数；

所述浅层并行卷积块的输出和所述深层并行卷积块的输出同时作为所述特征融合部分的输入，所述特征融合部分用于对所述局部特征和所述全局特征进行特征融合，以得到特征融合结果；

所述第三归一化层的输入为所述特征融合结果，其输出作为所述激活函数层的输入，所述激活函数层的输出为所述多尺度并行卷积模块的输出。

7.根据权利要求6所述的基于多模态深度神经网络的驾驶注意力检测方法，其特征在于，所述浅层压缩卷积函数层定义为：

各所述第一多尺度卷积块的计算为：

所述第二深层压缩卷积函数层的计算为：

所述第二多尺度卷积块的计算为：

所述特征融合部分、所述第三归一化层和所述激活函数层的计算为：

其中，表示卷积核为1的卷积函数，表示输入数据且，表示批量大小，表示数据通道数，表示特征维度；表示常量填充函数，表示卷积函数，分别表示第一多尺度卷积块1特征、第一多尺度卷积块2特征、第二多尺度卷积块1特征、第二多尺度卷积块2特征、第二多尺度卷积块3特征，表示浅层压缩卷积特征、深层压缩卷积特征，表示多尺度并行卷积模块的输出，表示特征融合，表示归一化函数，表示Relu激活函数。

8.根据权利要求1所述的基于多模态深度神经网络的驾驶注意力检测方法，其特征在于，所述下采样模块包括依次设置的输入层、卷积层、平均池化层、降维层、Relu函数层和过拟合层；

所述下采样模块的计算公式为：

其中，表示多尺度并行卷积特征，X表示输入数据且，表示批量大小，表示特征维度，数据通道为85，表示降维函数，表示平均池化函数，表示Dropout函数，表示Relu激活函数，表示Batch Normalization归一化函数，表示卷积核为1的卷积函数。

9.根据权利要求1所述的基于多模态深度神经网络的驾驶注意力检测方法，其特征在于，所述多模态深度神经网络的损失函数为：

其中，表示样本数，表示第个样本的真实标签为，表示第个样本预测为第个标签值的概率，表示分类任务。