CN108874137A - 一种基于脑电信号的手势动作意图检测的通用模型 - Google Patents

Abstract

本发明涉及一种基于脑电信号的手部动作意图检测的通用模型。具体的来说，通过处理采集的脑电信号，通过卷积神经网络的方法搭建一个通用模型，实现对受试者有无意图做手部动作的检测。本发明提出的模型是一种通用模型，不同于之前工作中的个人模型，该模型不将参与者的脑电信号用于训练而直接参与测试，训练的数据来自于其他的参与者，实验者通过对脑电信号的分析获得模型的准确率。本发明属于计算机领域、车辆设计领域、人机交互科学、心理科学、认知神经科学和自动控制领域的综合应用。

Description

一种基于脑电信号的手势动作意图检测的通用模型

技术领域

本发明涉及一种基于脑电信号的手势动作意图检测的通用模型。具体的来说，通过处理采集的脑电信号，通过卷积神经网络的方法搭建一个通用模型，实现对受试者有无意图做手势动作的检测。本发明提出的模型是一种通用模型，不同于之前工作中的个人模型，该模型不将参与者的脑电信号用于训练而直接参与测试，训练的数据来自于其他的参与者，实验者通过对脑电信号的分析获得模型的准确率。本发明属于计算机领域、车辆设计领域、人机交互科学、心理科学、认知神经科学和自动控制领域的综合应用。

背景技术

日常生活中，我们的手势动作在很多情况下是无意识情况下做出来的。比如，驾驶者驾驶车辆时由于疲劳或者紧张导致的急刹车以及打方向盘等情况，或者指挥员由于个人习惯等原因无意中做出的某些手势，会与某些命令手势相近，给命令执行者带来困惑。不仅如此，除了手势动作的真假意图识别，对于身体其他部位的动作意图的识别也是很有必要的。近年来，随着计算机处理能力和性能的提高，深度学习领域得到了极大的发展，在图像处理、自然语言处理和脑机接口等方面都有着极大的应用。

目前许多方法已经研究了如何使用外部传感器来检测可能出现的紧急情况并采用一些措施来避免紧急情况的发生。但是，对于如何区分手势动作的意图还是一个新的研究方向，不仅如此，对于传统的通过外部传感器来预测紧急事件发生并不是从人的角度去解析明亮，而是对环境信息的感知。通常情况下，人自己本身也不能感知自己做的动作是否是停止手势动作意图或者非意图，而脑-机接口(BCI)可以在人脑和计算机或其他外界设备之间建立一种直接的信息交流和控制通道，是一种不依赖与常规大脑输出通路(外围神经和肌肉组织)的全新的信息交流系统。应用脑-机接口，通过人在做手势动作时的脑电信号来区分手势动作的意图，目前研究人员还没有提出相关的基于BCI的手势动作意图检测系统，而且已有的研究模型都是基于一种个人模型，即一个人一个模型，这种方法在实际应用中相当费时，就目前情况看，该个人模型远达不到实际应用的要求。

我们认为个人模型在应用层面是不适合的，基于脑电信号的识别手势动作意图检测系统是要能够适应不同的参与者。搭建一个适用于不同参与者的通用模型和手势动作的意图检测，是本发明的主要目的。

发明内容

根据本发明要求，提供一种基于脑电信号的手势动作意图检测的通用模型方法，包括脑电信号的采集与预处理，卷积神经网络的构建模型。脑电采集模块用于接收脑电信号，然后实验者对脑电信号进行处理，输入搭建的卷积神经网络中，识别受试者的手势动作意图，并检测该通用模型的效果。

本发明涉及一种驾驶员手势动作意图检测的通用模型方法，所述方法包括：步骤1，搭建实验场景，确定实验对象，分别采集参与者脑电信号；步骤2，首先将脑电信号进行处理，将得到的离线脑电信号进行训练(训练所用脑电信号不参与测试)，得到模型；步骤3，将其余的参与者的脑电信号输入已得到的模型进行测试，判断该参与者的使用该模型的准确度。

所述，步骤1包括：步骤11，确定实验场地，搭建实验场景，确地实验参与者，并告知参与者实验注意事项，以及做好应对实验过程中突然事件发生的准备；步骤12，通过置于用户大脑头皮上的脑电电极采集用户的脑电信号，并通过脑电放大器获得并输出待处理的脑电信号；

所述，步骤2包括：步骤21，对采集到的部分参与者的脑电信号进行处理，得到停止手势意图样本和非停止手势意图样本，标记停止手势意图的信号片段；步骤22，搭建卷积神经网络，调参，调试通用模型，得到模型的训练准确度。

所述，步骤3包括：步骤31，将剩余参与者的原始脑电信号按照之前的处理方法处理，得到与训练时数据同样性质的可以输入搭建好模型的信号；步骤 32，将处理好的信号输入步骤2中搭建好的通用模型中，并测试得到该模型的准确度。

所述，步骤21包括：步骤211，对脑电信号进行降采样处理，将1000赫兹的采样频率降到200赫兹，并将降采样的脑电信号做正则化处理；步骤212，对长序列的脑电信号进行取样，刹车事件发生的时刻后一秒的信号作为停止手势意图样本，刹车事件发生的时刻前三秒到四秒的信号作为非意图样本；

所述，步骤22包括：步骤221，将用于训练的参与者的脑电信号停止手势意图和非意图样本输入搭建的卷积神经网络；步骤222，根据网络输出结果进行调参，确定适合该模型的卷积层数、学习率、各层卷积核大小和个数、激活函数；步骤223，完成卷积神经网络的搭建，并确定搭建好的通用模型(八位受试者参与训练，这八位受试者的数据不参与测试)。

所述，步骤32进一步阐述为：步骤321，将剩余的实验参与者的脑电信号 (共五位)按照之前的处理方法处理，分别输入搭建好的通用模型；步骤322，得到该模型的分类准确率，并在得到结果后分析该模型的性能。

本发明提出一种基于脑电信号的手势动作意图检测的通用模型方法，其有利于提高脑控车及自动驾驶系统的安全性和驾驶体验，并可能在应用层面得到更佳的体验。不仅如此，除了在脑控车领域，将来在军队指挥员的手势识别等将会有很大帮助。

附图说明

图1为本发明的工作系统框图；

图2为本发明所需要采集的脑电信号对应的通道位置；

图3为本发明的模型示意图；

具体实施方式

本发明所描述的基于脑电信号的手势动作真假意图检测的通用模型方法特别适用于应用层面，本领域技术人员可以根据该发明的基础和原理，与现有的各种检测系统相结合，进一步扩展或者提高该模型的性能。

本发明的基本原理是当有停止需要发生时，驾驶员在遇到行人过马路时做停止手势，否则在没遇到行人时一直做停止手势与启动手势交替，通过对驾驶员脑电信号进行处理来检测真刹车意图；检测真刹车意图时，并不是应用同一个参与者的数据，而是根据不同人在相似或者相同的环境条件下，以及在相同的刺激下，脑电信号的相似性或者同步性，用多位参与者的数据通过卷积神经网络搭建一个通用模型，该模型在实验条件下适用于其他不同的参与者，相信在将来应用层面中，基于大量的数据，该模型将会得到更好的进步，更好的应用。

下面结合附图和具体实施例对本发明提供的基于脑电信号的手势动作真假意图检测的通用模型方法进行详细描述。

同时，在这里做以说明的是，为了使实施例更加详尽，下面的实施例为最佳、优选实施例，对于一些公知技术本领域技术人员也可采用其他替代方式而进行实施；而且附图部分仅是为了更具体的描述实施例，而并不旨在对本发明进行具体的限定。

本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。另外，为了避免对本发明的实质造成不必要的混淆，并没有详细说明众所周知的方法、过程、流程、元件和电路等。

在本发明的实施例中，提出了一种基于脑电信号的手势动作真假意图检测的通用模型方法，参考图1，该系统包括基于脑电信号的手势动作真假意图脑电信号的采集和卷积神经网络的信号特征提取和分类。

所述模型需要采集和预处理脑电信号；

其中，脑电信号的采集应用脑电采集仪采集脑电信号并且进行放大和模数转换，并得到采集的离线脑电信号。采集的通道总数共16个，根据“10-20国际标准导联”将脑电采集电极放置在使用者头部的F3，F4，Fz，C3，C4，Cz，P7，P3，P4，P8，Pz，O1，O2，Oz，T7，T8位置，将参考电极放置在使用者耳垂上的A11、A12位置(各电极位置如图2所示)。采样频率设置为1000Hz。

其中，获得离线脑电信号后需要进行正则化处理，处理过程如下：

1)滤波去噪

由于采集脑电信号时极易受到外界的噪音干扰等，所以首先对脑电信号进行滤波处理，以滤除低频动作干扰等，对每个通道的脑电数据进行带通滤波，截止频率为0.53-60Hz。

2)降采样和正则化

脑电数据被降采样到200Hz以降低计算量，即从原来1000赫兹的采样频率降为200赫兹。在将降采样的信号输入卷积神经网络之前，需要对脑电信号进行正则化处理，处理方法如下：

其中，X_i,j是脑电信号在第i个通道的第j个采样点和σ_i是脑电信号采样X_i,j在第i个通道上的均值和标准差，该计算方法将使得到的降采样的离线的离散脑电信号正则化。

所述模型的搭建基础是卷积神经网络；

其中，卷积神经网络基本原理如下：

与传统的机器学习方法和神经网络相比，一方面，卷积神经网络通过稀疏连接和权值共享，减少了权重的数量，使网络易于优化，另一方面，过度拟合的风险降低。作为一种神经网络，权值共享的网络结构使其与生物神经网络更加相似，降低了网络模型的复杂度。它具有传统神经网络不具备的优点，如良好的容错性，并行处理能力和自学习能力。在本发明中，我们设计了一种用于检测紧急刹车意图(紧急和正常驾驶意图分类)的新型卷积神经网络结构。如图3所示，所提出的网络由六层组成：1)输入层，2)第一卷积层，3)第二卷积层，4)第三卷积层，5)完全连接层，以及6)输出层。

1)输入层

CNN网络的输入是矩阵X，其大小为200×16(即，每个信道中有16个信道和200个采样点)。X是由(1)得到的归一化EEG信号。

2)卷积层

卷积处理模拟具有局部接受性的简单神经元，并通过稀疏连接和权值共享的方法提取一些主要信号特征，卷积层中每个神经元的输入来自前一层的输出，特征映射的大小由卷积核的大小决定。

在本发明模型中，使用了三层卷积网络，如图2所示，输入通过三个卷积层到达全连接层，每层的卷积表达式为：

其中c(c＝1,2,3)是卷积层数，F是卷积滤波器，b是偏置。N^c是卷积层c的卷积滤波器的数量。

目前，各种各样的激活函数已经被提出，常见的有sigmoid函数、softmax 函数等，在本发明的卷积神经网络中的卷积层中，该卷积层的输出(下一层的输入)为：

H^C＝tanh(H^C')， (3)

在常规的卷积神经网络中，每个卷积层后面通常有下采样层(池化层)。由于下采样将会导致脑电信号的波谷或者波峰的某些信息地市，所以在本发明中，为了保留脑电信号的大部分信息，我们不使用下采样层。

3)全连接层

全连接层与最简单的神经网络——感知机极为相似，都是由两层神经元组成。全连接层将卷积层得到的输出作为输入，并以卷积网络提取的特征为基础分类脑电信号，区分紧急刹车样本和非紧急刹车样本。该层的数学表达式为：

在这里，ω_t是每个神经元连接的权重，b_i是每个神经元的偏置，而H_i则是相应的输出。

4)输出层

在这一层，会将输入模型的信号分为两类，一类是紧急样本，一类是非紧急样本，由以下激活函数给出：

y＝sigmoid(Y) (5)

其中，Y是全连接层的输出，y代表的是两个分类。

5)权值的更新

我们运用经典的误差逆传播(BP)算法来进行卷积神经网络各卷积核权值和偏置的更新，我们应用均方误差函数作为损失函数，梯度下降法来进行更新，损失函数如下：

其中y是实际的输出，而y’是期望的输出，l为类别的数量(在本发明中是两类)。

在我们设计的网络中，权值和偏置的更新不会在所有样本接受训练之后进行。对于权值和偏置每40或60个样本更新一次，可以大大减少计算量，加快更新速度。

最后应说明的是，以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制，本发明在应用上可以延伸为其他的修改、变化、应用和实施例，并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。

Claims (5)

1.一种基于脑电信号的手势动作意图检测的通用模型方法，包括脑电信号的采集与预处理，卷积神经网络的构建模型。脑电采集并接收离线脑电信号，然后实验者对脑电信号进行处理，输入搭建的卷积神经网络中，识别驾驶员的停止手势，并检测该通用模型的效果。

2.本发明涉及一种驾驶员手势动作意图检测的通用模型方法，所述方法包括：

步骤1，分别采集参与者脑电信号，并进行放大与模数转换；

步骤2，将脑电信号进行处理，将得到的离线脑电信号进行训练(训练所用脑电信号不参与测试)，得到模型；

步骤3，将其余的参与者的脑电信号输入已得到的模型进行测试，判断该参与者的使用该模型的准确度。

3.根据权利要求2所述的驾驶员手势动作意图检测的通用模型方法，其中，步骤2包括：

步骤21，对采集到的部分参与者的脑电信号进行处理，得到手势意图样本和非意图样本，标记停止手势意图的信号片段；

步骤22，搭建卷积神经网络，调参，调试通用模型，得到模型的训练准确度。

4.根据权利要求3所述的驾驶员手势动作意图检测的通用模型方法，其中，步骤21进一步包括：

步骤211，对脑电信号进行降采样处理，将1000赫兹的采样频率降到200赫兹，并将降采样的脑电信号做正则化处理；

步骤212，对长序列的脑电信号进行取样，刹车事件发生的时刻后一秒的信号作为停止手势意图样本，刹车事件发生的时刻前三秒到四秒的信号作为非意图样本。

5.根据权利要求3所述的手势动作意图检测的通用模型方法，其中：

步骤222，根据网络输出结果进行调参，确定适合该模型的卷积层数、学习率、各层卷积核大小和个数、激活函数；

步骤223，完成卷积神经网络的搭建，并确定搭建好的通用模型(八位受试者参与训练，这八位受试者的数据不参与测试)。