CN111407243A

CN111407243A - 一种基于深度学习的脉搏信号压力识别方法

Info

Publication number: CN111407243A
Application number: CN202010206857.4A
Authority: CN
Inventors: 邢晓芬; 张弘毅; 郭锴凌; 梁国栋; 徐向民
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2020-03-23
Filing date: 2020-03-23
Publication date: 2020-07-14
Anticipated expiration: 2040-03-23
Also published as: CN111407243B

Abstract

本发明涉及计算机领域，提出了一种基于深度学习的脉搏信号压力识别方法。该方法能够通过实验中有标注的脉搏信号数据提取出包括统计特征、脉搏波形特征、非线性特征和小波变换特征多种特征，利用滑动时间窗构建具有时间特性的二维特征图，最后通过卷积神经网络建立并训练相关的算法模型。在训练好的算法模型基础上，方法可以对新检测的脉搏信号样本进行分析并判断被试者当前情绪，实时判断佩戴者的压力状况。本发明能够准确地识别用户当前压力状态，且计算复杂度小，可以做到实时识别，能够帮助用户及时发现自身心理问题，并进行相应的干预措施，从而有效提升用户的生活质量。

Description

一种基于深度学习的脉搏信号压力识别方法

技术领域

本发明属于人工智能、模式识别领域，涉及一种计算机信息处理方法，具体涉及一种基于深度学习的脉搏信号压力识别方法。

背景技术

随着经济社会的发展，人们的生活节奏不断加快，进而造成生活压力的日益增大。心理学相关研究表明，长时间持续的心理压力会导致包括抑郁症在内的多种心理疾病，进而造成生理上的严重损害。因此，实时监测用户的压力状态，并进行正确的心理干预，具有极为重要的研究意义。近年来，移动互联网技术取得了飞速的发展，可穿戴设备已经在人们的生活中扮演着十分重要的角色，逐渐成为消费类电子中比较流行的产品。可穿戴设备具有方便携带、测量准确和扩展能力强的优势，受到消费者和研究者的青睐。

现有的情绪识别技术，存在着多种局限：1，仅能判断如悲伤、快乐等多种特定的情绪，对压力的辨识能力不足；2，需要基于多种生理信号综合判断，部分算法使用脑电、心电等信号，这些信号需要通过专业的实验设备如脑电帽等进行采集，难以应用在日常生活中；3，识别算法通常为浅层的机器学习算法，准确率不高。

发明内容

针对现有的压力识别方法的不足，本申请提出一种基于深度学习的脉搏信号压力识别方法，该方法针对通过可穿戴设备采集到的脉搏信号，进行包括滤波处理、特征提取和构造特征图等过程，后利用卷积神经网络对信号特征进行分析，识别用户的压力状态，可以做到实时接收信号并实时分析。

本申请提出的一种基于深度学习的脉搏信号压力识别方法，包括

S1,通过佩戴在用户手腕上的可穿戴设备获取脉搏信号；

S2,对脉搏信号的原始数据进行经验模态分解，去除基线漂移，得到无基线漂移的波形信号；

S3,建立特征工程，通过特征提取模块从S2中得到的波形信号中提取统计特征、脉搏波形特征、非线性特征和小波变换特征；

S4,设置滑动时间窗，按照数据的时间顺序依次平移，并提取时间窗内数据的特征向量，最后将所有特征向量按时间维度拼接为二维特征图；

S5,使用卷积神经网络，将二维特征图输入卷积神经网络，识别用户的压力情绪；

S6,使用损失函数对卷积神经网络进行反复训练和优化，构建完整的实时压力识别模型。

进一步地，所述步骤S1中，通过可穿戴设备采集手腕处动脉透光度的变化波形，进而提取脉搏信号。

进一步地，步骤S2中，对原始数据通过本征模分解，提取出脉搏信号的所有本征模函数并求和，从而去除带有包络性质的基线漂移。

进一步地，步骤S3中，

提取所述统计特征，包括：对S2中形成的波形信号，计算主波峰间隔作为心搏间隔IBI，并计算IBI的平均值与标准差；对IBI计算一阶差分序列，并提取一阶差分序列的标准差和均值加入到特征工程中；

提取所述脉搏波形特征，包括：求出S2中形成的波形信号的副波波峰点，并计算相邻的主副波峰点插值序列，将序列的均值加入到特征工程中；

提取所述非线性特征，包括：基于S2中得到的波形信号，计算2阶近似熵并加入特征工程；

提取所述小波变换特征，包括：对S2中形成的波形信号进行基波函数为“db1”的9层小波分解，并将每层小波系数平方和占全部系数平方和之比加入特征工程。

进一步地，所述小波分解的公式为：

式中，WT_f(a,τ)为分解结果，a为变换尺度,τ为时域偏移，t为时间，

为基波分解函数，f(t)为S2步骤中形成的波形信号。

进一步地，步骤S4中，对长度为20秒的数据段，设置长度为W秒的时间窗，以s秒为步进值遍历数据段，其中，0<s<W<T，且T小于数据总长度，并对每个时间窗内的数据提取中所述的统计特征、脉搏波形特征、非线性特征和小波变换特征，最后拼接为二维特征图，特征图的大小为(T-W)/S×15。

进一步地，步骤S5中，包括：

S51、通过步进值为2的10个二维卷积核对大小为10×15的特征图进行二维卷积，卷积核大小为2×15，经过卷积后的特征图大小为5×1，数量为10张；

S52、对10张卷积后的特征图进行拼接，拼接后大小为5×10，并输入大小为1×10的卷积核进行卷积，本层共有10个卷积核；

S53、对10张卷积后的特征图进行拼接，拼接后大小为5×10，输入大小为3*10的卷积核进行卷积，本层共有10个卷积核；

S54、将S51、S52、S53获取的所有特征图展开为一维向量，分别进行批标准化处理，并把处理后的向量输入全连接层进行降维，降维后的数据被输入Softmax分类函数进行分类。

进一步地，步骤S6中所述训练的具体训练过程为：对公开的WESAD数据集进行处理，得到带有压力情绪标签的特征图，投入模型反复训练，直至获得最好的分类表现；在此基础上，基于中国标准视频素材库(CEVS)和心理学标准范式建立符规范的实验场景，采集适龄中国居民的脉搏数据并标注，同样将数据投入模型训练，直至模型分类表现最优。

与现有的压力识别技术相比，本发明申请具有以下有益效果：

(1)传统的压力识别技术，通常依赖多种生理信号综合分析得到结果，其中：部分技术依赖脑电信号EEG、心电信号ECG等采集要求较为严格的信号，难以植入可穿戴设备中；部分技术依赖皮肤电导等容易受到干扰的信号。而本申请的立足点为可穿戴设备采集的脉搏信号，该信号可以被腕表类设备通过光电子器件采集，不会对佩戴者的日常生活产生影响，且不易受到干扰，可靠性强。

(2)传统的压力识别技术流程通常为原始数据→多种特征→分类结果，这意味着算法的本质是对于特征的排列组合，没有考虑到压力作为人类情绪的一种，具有持续性和阶段性的特点。本申请提出了一种基于滑动时间窗的特征提取方法，建立了具有时频域特性的特征图，充分利用了压力情绪在时间上的特性。

(3)本申请引入了卷积神经网络，卷积神经网络的二维卷积核具有一定的步进值，从而具有一定大小的感受野，反映在特征图上，则表现为时间维上跨度。卷积核融合了时频域的多种特征，并通过特征聚合融合在一起，为模型提供了多种时间域内的信息，提高了识别的准确率。

(4)本申请所提出的卷积神经网络分别利用国际标准的公开数据库WESAD和自行实验采集的数据库进行训练、测试，在提升准确率的同时，提高了模型的泛化能力。在训练好的模型基础上，本方法可以对新检测的脉搏信号样本进行分析并判断被试者当前情绪，实时判断佩戴者的压力状况。

(5)本发明能够准确地识别用户当前压力状态，且计算复杂度小，可以做到实时识别，能够帮助用户及时发现自身心理问题。

(6)本申请同样为其他情绪识别领域内的问题提供了参考，可以将本申请之思想应用于其他生理信号和情绪标签的识别问题中，具有十分广阔的应用前景和深入研究价值。

附图说明

图1为本发明实施例提供的一种基于深度学习的脉搏信号压力识别方法的整体流程图。

图2为本发明实施例中建立二维特征图步骤的原理图。

图3为本发明实施例中卷积神经网络结构的示意图。

图4为标准脉搏波形图。

具体实施方式

以下结合具体实施例对本发明进行详细说明。应当理解，描述这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。

如图2所示，本实例提供一种基于深度学习的脉搏信号压力识别方法，该识别方法建立在通过可穿戴设备采集的脉搏信号数据上，方法整体流程可分为两部分，包括数据的预处理和神经网络识别。数据预处理包括数据滤波、特征提取和构造二维特征图,其中特征提取包括提取统计特征、脉搏波形特征、非线性特征和小波变换特征。神经网络部分包括时频域卷积模块、特征聚合模块和分类模块。同时，为了获得具有压力识别能力的模型参数，本申请基于公开数据库及自建数据库进行训练。

本实施例提供的一种基于深度学习的脉搏信号压力识别方法，包括以下步骤：

S1,通过佩戴在用户手腕上的可穿戴设备获取脉搏信号；

S3,建立特征工程，通过特征提取模块从经S2中处理后得到的波形信号中提取统计特征、脉搏波形特征、非线性特征和小波变换特征；

S6,使用损失函数对卷积神经网络进行反复训练和优化，构建完整的实时压力识别模型。本实施例使用Focalloss损失函数，Focalloss损失函数的数学形式为FL(p_t)＝-α_t(1-p_t)^γlog(p_t)

式中，t为分类类别(此处为压力、中立、愉悦)，P_t为S4中二维特征图经S5中神经网络处理后输出的t类别分类概率，α_t为经过实验确定的系数比例，γ为模型训练者自行设定的增强因数，在本文中设置为2。

所述的原始数据为通过可穿戴设备采集到的脉搏信号，包括并不限于通过光电子器件照射手腕动脉，并采集反射光获得的血液容积变化波形。

所述的数据滤波具体为通过经验模态分解(EMD)对原始脉搏信号的模态进行分析，分解得到信号的本征模序列集合，将所有的本征模序列相加，从而去除了由呼吸等因素导致的基线漂移。具体的步骤如下：

a)找出步骤S1中获得的原数据序列X[n]的所有的极大值点，并用三次样条插值函数拟合形成原数据的上包络线；同样，找出所有的极小值点，通过三次样条插值函数拟合形成数据的下包络线。

b)上包络线和下包络线的均值记作AVG，将原数据序列X[n]减去该平均包络AVG，得到一个新的数据序列h。

c)若h仍然存在负的极大值和正的局部极小值，则重复步骤b)。

d)将所有的本征模函数相加，则得到无基线漂移的波形信号。

所述的特征提取主要提取以下特征：统计特征、脉搏波形特征、非线性特征和小波变换特征。

统计特征，包括脉搏波峰间隔IBI的均值和标准差，以及IBI一阶差分序列的均值和标准差，具体地，通过差分法寻找波形的极大值点，然后利用0.7×最大值为阈值，将波形的重搏波的干扰点剔除掉，从而提取出脉搏波形的峰值点，将所有峰值点所在时间坐标加入序列，得到心搏间隔IBI，进而提取IBI的均值和标准差；对IBI求一阶差分，将一阶差分序列的标准差和均值加入到特征工程。

脉搏波形特征为脉搏主从波峰之间时间差的均值，具体地，将S2中形成的波形信号，按标准脉搏波形划分为段，分别计算每段中数据的主副波峰时间差，并计算时间差的均值。标准脉搏波形图如图4所示，图中，1处表示主波，2处表示潮波，3处表示降中峡，4处表示重搏波。

非线性特征为脉搏数据的2阶近似熵，具体地，是求出S2中形成的波形信号以2为阶数，0.5为容忍度的近似熵，并加入特征工程。

小波变换特征为对信号进行基波函数为“db1”的9层小波分解后，每层小波系数平方和在所有系数平方和中的占比。具体地，小波分解的公式如下：

分别求出每层小波系数的平方和，再将该层平方和与所有系数平方和总值相除，计算每层小波系数平方和占比，加入特征工程。

所述的构造二维特征图方法如图3所示，针对S2中形成的波形信号，设置具有一定长度的滑动时间窗，按照数据的时间顺序依次平移，并提取窗内数据的特征向量，最后将所有特征向量按时间维度拼接为二维特征图。

具体地，对长度为T秒的数据段，设置长度为W秒的时间窗口，以s秒为步进值遍历数据段，其中，0<s<W<T，且T小于数据总长度，并对每个时间窗口内的数据求解统计特征、脉搏波形特征、非线性特征和小波变换特征等各种特征，最后拼接为二维特征图。经过实验验证，T、W、s最优取值分别为20,10,1，所得二维特征图的大小为10×15。

如图3所示，本发明实施例提供的一种卷积神经网络的结构图，包括以下4层结构：

1)卷积层1，包括10个2×15大小的二维卷积核，卷积核的步进值为2，卷积层使用PReLU作为激活函数，经过卷积后的特征图大小为5×1，数量为10张；

2)卷积层2，包括10个1×10大小的二维卷积核，卷积核的步进值为1，卷积层使用PReLU作为激活函数；

3)卷积层3，包括10个3×10大小的二维卷积核，卷积核的步进值为2，卷积层使用PReLU作为激活函数；

4)全连接层，将卷积层1、2、3的输出特征图延展并拼接为一维特征向量，长度为120，输入本层，输出3维特征向量并通过softmax函数进行分类。

激活函数形式为：

上式中，a为可学习系数，x为激活函数的输入。

所述训练的训练过程，具体步骤为：对公开的WESAD数据集进行处理，得到带有压力情绪标签的特征图，投入模型反复训练，直至获得最好的分类表现；在此基础上，基于中国标准视频素材库(CEVS)和心理学标准范式建立符规范的实验场景，采集适龄中国居民的脉搏数据并标注，同样将数据投入模型训练，直至模型分类表现最优。

本发明实施例设计的压力识别方法，其具体实施步骤如下：

步骤1：按照规定姿势佩戴可穿戴设备，按照使用要求采集被试者的脉搏数据；

步骤2：对采集到的脉搏数据进行滤波，去除基线漂移；

步骤3：设置滑动时间窗，基于滑动时间窗，对采集到的脉搏数据构造二维特征图，具体而言，特征包括统计特征、非线性特征、波形特征和小波变换特征；

步骤4：将特征图输入训练好的神经网络模型，得到佩戴者当前的压力状态；

步骤5：根据用户反馈，调整并训练神经网络的相应参数，形成更具有泛化性的神经网络算法，获得更高的准确率。

本发明申请也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于其他与情绪识别分析方法相关的技术方案中，具有十分广阔的应用前景。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以想到各种变形或修改，但在不脱离本公开精神的前提下，做出的所有修改和替换都将落入所附权利要求定义的本公开保护范围内。

Claims

1.一种基于深度学习的脉搏信号压力识别方法，其特征在于，包括：

S1,通过佩戴在用户手腕上的可穿戴设备获取脉搏信号；

S3,建立特征工程，通过特征提取模块从无基线漂移的波形信号中提取统计特征、脉搏波形特征、非线性特征和小波变换特征；

2.根据权利要求1所述的一种基于深度学习的脉搏信号压力识别方法，其特征在于：所述步骤S1中，通过可穿戴设备采集手腕处动脉透光度的变化波形，进而提取脉搏信号。

3.根据权利要求1所述的一种基于深度学习的脉搏信号压力识别方法，其特征在于：步骤S2中，对原始数据通过本征模分解，提取出脉搏信号的所有本征模函数并求和，从而去除带有包络性质的基线漂移。

4.根据权利要求1所述的一种基于深度学习的脉搏信号压力识别方法，其特征在于：步骤S3中，

5.根据权利要求4所述的一种基于深度学习的脉搏信号压力识别方法，其特征在于：所述小波分解的公式为：

式中，WT_f(a，τ)为分解结果，a为变换尺度,τ为时域偏移，t为时间，

为基波分解函数，f(t)为S2步骤中形成的波形信号。

6.根据权利要求1所述的一种基于深度学习的脉搏信号压力识别方法，其特征在于：步骤S4中，对长度为T秒的数据段，设置长度为W秒的时间窗，以s秒为步进值遍历数据段，其中，0<s<W<T，且T小于数据总长度，并对每个时间窗内的数据提取所述的统计特征、脉搏波形特征、非线性特征和小波变换特征，最后拼接为二维特征图，特征图的大小为(T-W)/S×15。

7.根据权利要求1所述的一种基于深度学习的脉搏信号压力识别方法，其特征在于：步骤S5中，包括：

8.根据权利要求1所述的一种基于深度学习的脉搏信号压力识别方法，其特征在于：步骤S6中所述训练的具体训练过程为：对公开的WESAD数据集进行处理，得到带有压力情绪标签的特征图，投入模型反复训练，直至获得最好的分类表现；在此基础上，基于中国标准视频素材库和心理学标准范式建立符规范的实验场景，采集适龄中国居民的脉搏数据并标注，同样将数据投入模型训练。