[go: up one dir, main page]

CN109243569A - 基于大脑信息识别被试自发想象物体位移方位的识别方法 - Google Patents

基于大脑信息识别被试自发想象物体位移方位的识别方法 Download PDF

Info

Publication number
CN109243569A
CN109243569A CN201810713015.0A CN201810713015A CN109243569A CN 109243569 A CN109243569 A CN 109243569A CN 201810713015 A CN201810713015 A CN 201810713015A CN 109243569 A CN109243569 A CN 109243569A
Authority
CN
China
Prior art keywords
imagination
brain
data
subject
spontaneous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810713015.0A
Other languages
English (en)
Inventor
李春光
曲巍
胡海燕
郭浩
张虹淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201810713015.0A priority Critical patent/CN109243569A/zh
Publication of CN109243569A publication Critical patent/CN109243569A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G06F2218/14—Classification; Matching by matching peak patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于大脑信息识别被试自发想象物体位移方位的识别方法，整个数据采集在自然环境下进行，不给予被试任何刺激，并且整个过程中所有想象动作均由被试自发完成，充分调动了被试的主动想象意识。利用近红外脑成像技术采集被试想象动作信息，识别出被试想象动作以及该动作类型，并实时控制物体平台。

Description

基于大脑信息识别被试自发想象物体位移方位的识别方法
技术领域
本发明涉及大脑信息识别，特别是涉及基于大脑信息识别被试自发想象物体位移方位的识别方法。
背景技术
近年来，随着生活水平的提高与城市商业圈的完善，娱乐休闲在人们生活中所占的比重逐渐增大。人们有更多时间与金钱花费在娱乐休闲上，大多数人会选择与家人或朋友一起看电影、购物。在很多商圈与影城中，都有供行人娱乐的抓娃娃机，这些娃娃机中有很多最近流行的布偶或毛绒玩具，会吸引部分购物者和观影者前来抓娃娃。抓娃娃如果仅仅依靠手随意操控是难以抓到的，它需要眼、手的共同协作以及我们注意力。在抓取娃娃的过程中，我们需要我们的目光注视着抓娃娃机的爪子，时刻注意它与目标娃娃的垂直距离，不断的将爪子与目标娃娃的距离信息反馈给大脑，同时我们大脑根据反馈的信息，集中注意力，利用手控制操控杆，直到爪子落下抓取目标娃娃。
近几年来，随着VR技术的发展以及相关配件价格的下降，VR产品已经走进大众生活，比如用VR设备观看电影有更好的视觉体验，用VR设备玩游戏让玩家身临其境有更好的游戏体验等等。在玩VR游戏时，玩家需要戴上特制的VR眼镜用来接受虚拟情景，以及戴上特质传感器手套用来获取玩家位置移动数据，比如前段时间很火的VR游戏The Climb，玩家戴上VR眼镜和手套，便可以在虚拟现实中勇攀高峰。
无论是在抓娃娃还是玩VR游戏的过程中，我们的注意力都需要高度集中，除了控制基本的生理活动，大脑活动都用在对手的控制从而抓到娃娃或者登上高峰。手是抓取这一过程的执行部分，由此我们猜想能否不借助我们的手，而是外部设备根据我们大脑活动信息直接操控爪子的运行方向或者游戏中手的攀登方向。
fNIRS作为BCI研究手段，一般用来采集运动执行和运动想象这两种脑信息。运动执行是指大脑控制人体某部分肌肉完成相应的动作，如弯臂与屈臂动作。运动想象(motorimaginary,MI)是跟运动执行相似，不同之处在于运动想象是个体在心里想象着自己的做出动作而不伴随任何的身体运动。在想象的过程中，个体没有做出任何实际动作的输出，甚至没有体验到肌肉活动，只是想象自己在实际执行这个动作。运动想象是对要进行的运动一种有意识地表征，一般会在运动准备过程中无意的排演出来。
多项研究将fNIRS用于BCI研究中，其中Naseer和Hong采用fNIRS技术采集10名被试执行左右手伸屈臂动作时的脑血氧数据，以及利用线性判别器实现对运动想象任务的左右手的二元识别，平均分类率达到87.2％。Hong等利用fNIRS技术采集数名被试在进行心算、左手想象运动和右手想象运动时的大脑血氧信号，运用线性多分类判别器进行信号识别，平均分类率达到74.6％。Takahashi等人利用fNIRS研究手指敲击任务的分类研究。Leamy等人利用fNIRS和EEG采集被试挤压球任务的信号，结合fNIRS和EEG二者特征进行组合建立分类器，大大提高了正确率。
目前，基于fNIRS技术的BCI实现二分类或者三分类已经能够达到比较满意的结果。但是已有的分类大多是对不同躯体，使用大脑不同区域做出的动作进行分类，比如焦学军等人利用fNIRS技术实现左臂想象伸展和右臂想象伸展的BCI。姚家扬等人利用EEG信号实现左右手、右脚和舌头这四类想象动作的分类识别，并将分类结果利用计算机转化为控制指令，传输到虚拟现实场景，实现左转，右转，前进，后退等虚拟动作的操作。
现在大多数研究都利用不同躯体想象动作的脑信息实现脑机接口，对于直接利用某一躯体控制物体运动的不同想象动作脑信息实现脑机接口的研究还处于空白阶段。
发明内容
基于此，有必要针对上述技术问题，提供一种基于大脑信息识别被试自发想象物体位移方位的识别方法，整个数据采集在自然环境下进行，不给予被试任何刺激，并且整个过程中所有想象动作均由被试自发完成，充分调动了被试的主动想象意识。
一种基于大脑信息识别被试自发想象物体位移方位的识别方法，包括：
获取采集的测试区域的多个通道的血红蛋白信号；
利用功率谱密度分析方法分析所述多个通道的血红蛋白信号的各频率能量分布；
基于上述功率谱密度分析方法分析确定的主频范围和波峰间隔，对所述多个通道的血红蛋白信号进行小波包分解和重构；
针对0-0.03hz的通道重构时间序列求和；
针对以上的总时间序列采用对比分析法判断想象任务起始时刻；
任务起始时刻前的10个数据点判别想象任务模态；
针对每一个子频段，平均15个子区域内的通道重构时间序列；
找出各个子频带子区域下活跃前20％和不活跃的低20％；
针对高20％和低20％的数据，分别对比两种想象任务的初步特征，去同存异；
采用遗传算法和支持向量机相结合的方法优化特征组合；
利用上述得到的最优特征重新训练分类模型。
上述基于大脑信息识别被试自发想象物体位移方位的识别方法，基于大脑信息识别被试自发想象物体位移方位的识别方法，整个数据采集在自然环境下进行，不给予被试任何刺激，并且整个过程中所有想象动作均由被试自发完成，充分调动了被试的主动想象意识。
在另外的一个实施例中，步骤“利用功率谱密度分析方法分析所述多个通道的血红蛋白信号的各频率能量分布；”中，利用直接法对数据进行功率谱密度的分析。
在另外的一个实施例中，步骤“利用功率谱密度分析方法分析所述多个通道的血红蛋白信号的各频率能量分布；”中，利用matlab软件中功率谱密度periodogram函数进行功率谱密度的分析。
在另外的一个实施例中，步骤“采用遗传算法和支持向量机相结合的方法优化特征组合”具体包括将“针对高20％和低20％的数据，分别对比两种想象任务的初步特征，去同存异；”中共有的特征量剔除，剩余的特征量采用遗传算法和交叉验证方法选取最优特征量，使用SVM算法作为约束条件。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一项所述方法的步骤。
一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任一项所述的方法。
附图说明
图1为本申请实施例提供的一种基于大脑信息识别被试自发想象物体位移方位的识别方法中的实验流程示意图。
图2为本申请实施例提供的一种基于大脑信息识别被试自发想象物体位移方位的识别方法中的小包波示意图。
图3为本申请实施例提供的一种基于大脑信息识别被试自发想象物体位移方位的识别方法中的遗传算法过程图。
图4为本申请实施例提供的一种基于大脑信息识别被试自发想象物体位移方位的识别方法中的被试2各想象动作0～0.03Hz频段血氧总量的示意图。
图5为本申请实施例提供的一种基于大脑信息识别被试自发想象物体位移方位的识别方法中的被试12各想象动作0～0.03Hz频段血氧总量的示意图。
图6为本申请实施例提供的一种基于大脑信息识别被试自发想象物体位移方位的识别方法中的眼动区、额叶区、运动区能量图。
图7为本申请实施例提供的一种基于大脑信息识别被试自发想象物体位移方位的识别方法中的候选特征量的示意图。
图8为本申请实施例提供的一种基于大脑信息识别被试自发想象物体位移方位的识别方法中的判断想象认为开始的流程示意图。
图9为本申请实施例提供的一种基于大脑信息识别被试自发想象物体位移方位的识别方法中的判断想象任务方位的流程示意图。
图10为本申请实施例提供的一种基于大脑信息识别被试自发想象物体位移方位的识别方法中的判断想象任务方位的通道重构的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参阅图9和图10，一种基于大脑信息识别被试自发想象物体位移方位的识别方法，包括：
获取采集的测试区域的多个通道的血红蛋白信号；
利用功率谱密度分析方法分析所述多个通道的血红蛋白信号的各频率能量分布；
基于上述功率谱密度分析方法分析确定的主频范围和波峰间隔，对所述多个通道的血红蛋白信号进行小波包分解和重构；
针对0-0.03hz的通道重构时间序列求和；
针对以上的总时间序列采用对比分析法判断想象任务起始时刻；
任务起始时刻前的10个数据点判别想象任务模态；
针对每一个子频段，平均15个子区域内的通道重构时间序列；
找出各个子频带子区域下活跃前20％和不活跃的低20％；
针对高20％和低20％的数据，分别对比两种想象任务的初步特征，去同存异；
采用遗传算法和支持向量机相结合的方法优化特征组合；
利用上述得到的最优特征重新训练分类模型。
上述基于大脑信息识别被试自发想象物体位移方位的识别方法，基于大脑信息识别被试自发想象物体位移方位的识别方法，整个数据采集在自然环境下进行，不给予被试任何刺激，并且整个过程中所有想象动作均由被试自发完成，充分调动了被试的主动想象意识。
在另外的一个实施例中，步骤“利用功率谱密度分析方法分析所述多个通道的血红蛋白信号的各频率能量分布；”中，利用直接法对数据进行功率谱密度的分析。
在另外的一个实施例中，步骤“利用功率谱密度分析方法分析所述多个通道的血红蛋白信号的各频率能量分布；”中，利用matlab软件中功率谱密度periodogram函数进行功率谱密度的分析。
在另外的一个实施例中，步骤“采用遗传算法和支持向量机相结合的方法优化特征组合”具体包括将“针对高20％和低20％的数据，分别对比两种想象任务的初步特征，去同存异；”中共有的特征量剔除，剩余的特征量采用遗传算法和交叉验证方法选取最优特征量，使用SVM算法作为约束条件。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一项所述方法的步骤。
一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任一项所述的方法。
下面介绍一个本发明的具体应用场景：
本发明主要研究通过大脑血红蛋白信息来判断被试的想象状态，从而控制物体平台的移动。在实验测试阶段，首先以被试在想象动作前的20s休息时间作为基线，建立用于判断被试休息态和想象态的模型；之后再跟两种不同的想象动作意识，建立用于想象动作分类的模型，最后基于这两个模型来判别被试最终运动意图，通过串口发送指令的形式控制物体位移平台进行实验的验证。
每位被试的头形会存在一些细微的差异以及在实验过程中被试的头部会晃动的因素，导致我们采集数据所使用的15个探头每个被试所采集的位置存在偏差，不能一一对应。在数据分析的过程中，如果直接使用由这15个探头采集的22个通道的数据会因为个体的差异带来重大的偏差。因此本发明根据数据分析的需要，在必要时将采集到的22通道数据重新调整。
在信号处理与分析中，任何一种信号都可以认为是由不同频率的正玄波组成，并且该信号可以利用功率谱密度来分析每种频率波对该信号的贡献大小。本发明采集的数据在某种意义上也是一种信号，因此使用功率谱密度从频率层面来分析想象动作的主频活动范围以及波峰间隔。以此来确定本发明最终选用的频率范围和频段间隔，为后续小波包分解奠定基础。
功率谱密度分析方法的本质是利用密度的概念来分析不同频率点处信号的功率分布，因此我们此方法分析采集的血氧数据各频率下能量分布情况。
基于上述功率谱密度确定的主频范围和波峰间隔，本发明采用小波包将数据进行分解。
小波分析是一种常用的时频局部化分析方法，但是该种方法在分解的过程中只会将低频段的信号进行分解，而高频段的信号不在进行分解，这种分解的后果就是频率的分辨率在不断的分解中会降低。为了解决分辨率会不断的降低这一问题，小波包分解应运而生。
小波包分解可以对所要分析的信号提供一种更为精细的分析方法。小波包分解以小波分析为基础，在分解的过程中引入最优基的概念。最优基就是将我们分析的频带采用不同层次划分，根据我们所需要分析的信号专有特点选择最适应的基函数，让二者相匹配，从而增强信号的解析能力。
小波包将原始信号一层一层向下分解，图3是层数为3层的小波包分解树，本发明分解的层数是7，只需继续往下分解4层即可。在图3中每一父节点有左右两个子树，左子树是父节点的低通滤波，右子树是父节点的高通滤波。
本发明采用Matlab软件自带的函数进行小波包的分解与重构，具体Matlab数据处理代码如下：
Input:
X//所要分析信号序列
L//分解层数
Wpname//小波基名称
Algorithm：
tt＝wpdec(X,L,Wpname)；//小波包分解
wave_trans＝wprcoef(tt,[L,0])；//小波包重构
Output：
wave_trans
小波包分解的注意事项是若其分解层数为L，则小波包分解的数据点X长度必须大于2L。由于每个被试大脑血氧能量不同，对重构后的各个频段下的含氧信号进行变化速率的求解，使用如下公式：
由于变化速率的计算会用到之前的数据点，因此小波包分解数据点X长度需要增加4。
当我们执行某种动作或者想象动作时，脑细胞需要消耗氧气，从微观来看，每个脑区的血氧变化不一，有些脑区在想象时血氧含量降低，有些脑区在想象时血氧含量升高，这种情况不便于我们想象动作的识别；但是从宏观来看，当我们进行想象时，大脑整体的血氧含量会升高或降低，因此本发明将小波包分解与重构中低频段的各通道能量值求和，作为实验过程中各时刻大脑血氧总值。每次经过小波包分解处理后的数据有180个点，对这些数据使用两个连续窗函数进行研究。
对第一个窗函数进行均值和差值和的计算，该窗函数的数据长度为30；对第二个窗函数进行极大差值的计算，该窗函数的数据长度为10。计算完之后，将两个窗函数的结果进行比较，具体操作如下：
第一个窗函数均值：
第一个窗函数差值和：
其中xi是序列X第i个值，n是序列X的长度。
第二个窗函数极大差值：
其中Xi是序列X第i个值，Xj是序列X第j个值，n是序列X的长度。
经过上述步骤便得到连续两个窗函数的均值、差值与极大差值。在采用下述公式作为起始的判断：
若p大于1，则第二个窗口最后一个点就是想象动作起始点。并将该起始点的前10个点均值数据作为后续想象动作分类的分析数据，形成一个矩阵，纵轴代表小波包分解后的不同频段信息，横轴代表通道，从通道1～通道22。
在本发明的数据处理过程中，我们采用了改进版二八定律将数据重新归一化，即前20％的数据可以体现该想象动作的实施，后20％的数据也可以体现该想象动作实施。
数据归一化公式如下：
xi，j是数据集Xi中的一员，是数据集Xi中能量值为前20％数据元组成的新集合，ψi(x)是数据集Xi中能量值为后20％的数据元组成的新集合，数据集X由{X1，X2，X3，X4，X5，X6}组成，X1代表0～0.03Hz频段数据集，X2代表0～0.03Hz频段数据集，X3代表0.03～0.06Hz频段数据集，X4代表0.06～0.09Hz频段数据集，X5代表0.12～0.15Hz频段数据集，X6代表0.15～0.18Hz频段数据集。该公式输出两个向量，分别表示前20％能量归一化值，称为正向量和后20％能量归一化值，称为负向量，如下图所示。
上图中的矩阵，纵轴从上往下六行分别代表(0～0.03Hz)、(0.03～0.06Hz)、(0.06～0.09Hz)、(0.09～0.12Hz)、(0.12～0.15Hz)、(0.15～0.18Hz)六个频段，横轴从左往右15列代表区域1～15。左图中，红色区域代表该频段该区域的值为1，即它的原始能量值在该频段的前20％，淡蓝色区域代表该频段该区域的值为0，即它的原始能量值在该频段的后80％；右图中，深蓝色区域代表该频段该区域值为1，即它的原始能量值在该频段的后20％，淡蓝色区域代表该频段该区域的值为0，即它的原始能量值在该频段的前80％。
采用上述方法将数据归一化后得到一个可表示大脑活动信息的矩阵，由于每个被试大脑头颅存在差异以及实验数据采集过程中头部的晃动，会造成每个被试采集数据点不对应，因此采用头套布局调整勾划的新区域将数据重新处理，具体操作如下：新区域中每一点对应着原头套中的若干通道，若这几个通道中有重点通道，则根据重点通道的类型标为1或-1，经此处理后得到新矩阵。采用频次统计方法，统计16个被试两种想象动作的矩阵，将频次大于想象动作总数70％的置为1，其他的置为0。对于两种想象动作的频次统计图，会存在一些共有的特征量，首先将共有的特征量剔除，剩下的特征量采用遗传算法和交叉验证方法验证选取最优特征量，使用SVM算法作为约束条件。具体遗传算法如图3。
将上述方法得到最优特征量重新训练分类器，并根据实验的需要，本发明根据之前的数据采集方法重新采集三名被试的脑血氧信息数据。利用上述介绍的数据分析方法分析数据，并验证由最优特征量训练的分类器的性能。
基于上述小波包分解得到的数据，利用低频段各通道能量总和进行想象动作起始判断。
图4和图5是被试2、被试12在0～0.03Hz频段能量图，红色虚线是我们在实验时手动标定的想象动作起始点。从上图可以看出，大多数红色虚线附近低频段血氧含量值都有个突变，对于每一个被试在想象动作附近都有相同的规律。从统计学上讲，这种大规模的突变是偶然，而是由于某种活动引起的。在实验过程中，我们要求被试在想象前做一个睁眼动作，为了探究是否由于睁眼导致的低频段血氧含量突变，我们将总能量图分解成眼动区、额叶区以及运动区各脑区的能量图，如图6所示。(图4到图6中，纵轴是能量值，横轴是时间序列)
从图6可以看出在红色虚线附近，不仅眼动区存在突变，额叶区和运动区的能量图也存在突变，变化规律相似，但前额叶区的波形波动最大。前额叶区主要负责想象运动路径规划功能，由此我们可以认为图6中红色虚线附近能量值的突变不是由于被试在实验过程中睁眼导致的，所以该突变的产生是由于被试在进行想象动作前，大脑为接下来的想象动作做准备而产生的意识的活动。因此本发明将低频段总能量波形突变处作为想象动作的起始点，为下文想象动作分类提供数据分析来源。若某处本来有想象动作，但低频段总能量波形没有发生突变，则认为该处想象数据无效，不作为下文想象动作数据分析的来源。
总共16个被试，两种想象动作，每种想象动作重复三组，共有96个想象动作，想象动作识别率为77％(74/96)。
上述得到想象动作的数据经过数据归一化后，得到各个想象状态的矩阵图。再利用频次统计分析，取频次大于70％任务数为1，其余为0，得到如下候选特征量，参阅图7。
由于两种想象状态的候选特征量存在一些重复特征，这些重复特征量对于两种类别动作的判别没有影响，因此将共有特征剔除，得到下图所示候选特征量。
将上述候选特征量采用遗传算法，并使用交叉验证方法验证得到10个最优特征量，如下表所示：
最优特征量
为了验证上述得到的10个最优特征量，本发明利用上述得到的最优特征量重新训练分类模型，并将新采集的3名被试数据经过滤波、小波包分解与重构、数据归一化等操作提取表示各个想象状态的10个特征量。新采集的3名被试有效想象动作为14个，其中向前想象和向后想象各7个，经前述训练的分类模型分类后，向前想象动作正确识别出5个，误识别2个；向后想象动作正确识别出7个，误识别0个，总正确识别数为12个，误识别2个，识别正确率为85.7％。因此本发明得到10个特征量具有泛化性，根据此10个特征量训练的分类模型可用于后续的平台验证。
20名被试参加了本项实验，3名女性，17名男性，年龄19±2岁。所有被试都是健康青少年，都来自我院本科生，同时他们的中枢神经系统均无任何异常情况。所有被试在实验结束均获得相应的志愿时长补偿。
人的大脑以大脑半球纵裂为界分为左右两个半球，每个大脑半球由额叶、顶叶、颞叶和枕叶四大脑叶构成。虽然不同脑叶在结构和功能上存在明显的差异，但是从总体上来看，每个个体相同脑叶的结构和功能却有着很相似，差异很小，这使得人类可以对不同个体同一脑叶产生的精神或者神经方面的问题，采用相同的方法解决。例如癫痫病可以将某些脑区切除，从而治愈此类疾病。
每个脑叶是空间上连通的一部分皮层，大脑的许多功能不仅仅是由单一的脑叶完成的，而是由多个脑叶的共同参与下完成的。但是每一个脑叶都具有某一种独特的功能。目前学术界认为额叶主管着高级认知功能，比如学习、语言、自主运动控制等；顶叶主要是参与躯体感觉、空间信息处理、视觉信息和体感信息的整合；颞叶主管听觉、嗅觉、高级视觉功能(如物体识别)等；枕叶主管视觉处理。
随着医学技术的发展，德国医生布洛德曼发现每个脑叶的各个部分有着更为细化功能，因此布洛德曼提出布罗德曼分区，将大脑分成52个小分区，每一个分区称为BrodmannArea(BA)细化后的BA分区有着更为具体的功能定位。
根据Milton和Holmes等人的研究，我们可知想象动作执行与实际运动执行激活的的脑区差不多，主要是辅助运动区域(supplementary motor area,SMA)、顶叶皮层(parietal cortical)、皮质运动前区(premotor cortex)、基底神经节(basal ganglion)等。Ehrsson等人利用fMRI技术探索手指、脚趾、舌头等躯体在质心现象动作时，大脑的相关脑区激活情况。研究表明以上想象动作可以系统地使部分主要运动皮层激活，当进行手指想象运动时，可以激活与手指相关区域的对侧主运动皮质和对侧背运动前皮层；当进行脚部想象运动时，可以激活对侧辅助运动区域中的足部区域和对侧主运动皮；舌部想象运动可以激活主运动皮层的舌部区域和双侧前运动皮层。Ueno等人也利用fMRI技术来探索真实的手指运动与想象手指运动的激活大脑区域的差异。结果显示，在实际任务中，对侧运动皮层和体感皮层激活较大，并且在想象任务期间对侧下额叶皮质、同侧运动、体感皮质和中脑的激活较高。
根据已有文献，运动想象涉及以下脑区：辅助运动区、主运动区、前额皮层等。本发明的研究重点是由于运动想象而引起的脑血氧的变化和基于视觉的反馈运动想象，因此主要关注的脑区是主运动区(primary motor cortex，PMC，对应着布洛德曼分区BA4)，辅助运动区(SMA，对应着布洛德曼BA6)，在这两个脑区采集与运动想象相关的大脑血氧信息、眼动区(frontal eye cortex,FEC，对应着布罗德曼BA8)，前额皮层(prefrontal cortex,PFC，对应着布洛德曼BA9、BA10、BA11)，在这几个脑区采集想象运动的路径规划相关的大脑信息。
当我们在进行想象运动时，我们的主运动区、辅助运动区等脑区比较活跃。由于我们的研究的是控制物体移动，因此眼动区、前额皮层这两个与视觉和规划运动路径的脑区也被列为检测对象。最终我们需要采集大脑主运动区、辅助运动区、眼动区以及前额皮层这四个区域的信息，下图是本发明采集数据的头套布局，Cz代表大脑中心。
基于本发明的研究目的，本发明将想象右手握住杯子向前移动作为平台上的物体前进的信号，想象右手握住杯子向后移动作为平台上物体后退的信号。最后将这些控制信号经过编程处理传给物体平台，进行控制信号准确度的分析与验证。想象动作与控制信号之间对应的关系如下：
想象运动动作以及对应的控制信号
前期准备：告知被试实验的具体流程，并进行一些前期的想象动作的培训，确保每一位被试都可以完成相应的想象任务。培训完成后，为被试戴上光纤帽，所有的光纤探头在实验前都需要用酒精擦拭清除灰尘等妨碍光线传播的物体，将整个实验过程中所需要的电脑以及相应的软件打开，并录入被试的相关信息。
整个实验共有4(组)×2(想象任务)个实验数据，即共采集4组数据，每一组有2个想象任务，每两个想象任务之间休息40秒以上(该时间由被试自己把握，在训练时会让被试感受40秒大概多长)，每个想象任务大约持续6秒，在整个想象过程和休息的过程，被试都是睁眼的。具体的流程如图1所示。
每个想象任务分为两个阶段：休息调整阶段和想象阶段。在想象阶段中又分为想象准备、正式想象和想象结束。
想象准备阶段(0～4s)：被试休息时间达到40s，并且大脑已经平静下来，闭眼4s左右，告知我们想象任务即将开始，同时被试将自己的注意集中在面前的水杯。
想象阶段：被试睁眼，根据此次的想象的任务做出相应的想象动作。如果此次想象任务是向前想象，那么被试就想象手握着水杯往前移动水杯，同时目光随着想象的动作往前移；如果此次想象任务是向后想象，那么被试就想象手握着水杯往后移动水杯，同时目光随着想象的动作往后移。
想象结束：当想象任务结束时，被试用手指轻敲桌面，给予我们想象动作已经完成的信号。
休息调整阶段：想象结束后，便是休息调整阶段，被试自行休息，整个过程我们不给予任何提示，只有当被试需要提示下一个想象任务时才会有相应的提示。
为避免头部的污渍对信号的信噪比产生影响，所有被试必须在参加试验前清理头皮并保证头皮干燥。由于想象运动没有实际的肢体动作，整个实验过程中会有实验人员进行数据标记，为后续数据分析提供一个参考点。由于外界自然光及灯光会对实验数据产生影响，因此在实验进行时会关闭室内所有灯光。实验前还会告知在实验过程中休息时不能数数，以及整个实验过程中头部不能出现大幅运动。
本发明大脑信息数据采集所用的设备是日本岛津制作所公司生产的可以同时采集多个通道数据的NIRS装置FOIRE-3000.FOIRE-3000近红外光学成像系统是一种通过对大脑无损伤的近红外光来监测脑区血红蛋白含量变化的光学脑功能成像系统。被试在接受测试时可以自由行走或快走，日常活动不受限，从而增加采集数据的泛化性。该设备具有较高的采样频率(7Hz)，可以采集到完整的生理信号，如心率(～1Hz)。
由于本发明所采集的脑区较少，涉及的大脑皮层面积较小，故采用型号为FORIE-3000/8的近红外光学成像系统作为本发明的实验数据采集设备。
本发明提出了基于大脑脑血氧信息，控制物体平台完成相应的实际动作这一设想。采用fNIRS技术采集被试在想象过程中的脑信息，借助小波包分解与重构得到前六频段数据，并利用低频段信息总能量判断想象运动的起始，若判断出想象动作则将前六频段数据归一化，提取不同想象动作的特征量用于训练分类器。为了验证该分类器的泛化性，本发明采集三名新的被试数据用于离线验证，得到85％的分类正确率。同时也进行了在线的数据采集与分类，得到想象动作起始判断识别率为75％，不同想象动作状态的识别率为83％。最终得到结论如下：
(1)本发明提出了一种基于大脑信息识别被试自发想象物体位移方位的识别方法，整个数据采集在自然环境下进行，不给予被试任何刺激，并且整个实验过程中所有想象动作均由被试自发完成，充分调动了被试的主动想象意识，具有一定的现实意义。
(2)本发明针对被试头颅大小差异以及在实验过程中头部运动会影响各探头位置提出了基于探头位置的新区域划分，每一新区域对应着几个相邻的通道，从一定程度上减小了头颅大小差异和头部晃动所造成的误差。
(3)基于不同想象动作的识别，所有特征量均在此被试真正想象动作前进行提取，研究被试想象动作意识特征，不涉及真正想象运动时的信息。因此判断出被试想象动作开始后，便可以根据之前的数据实时对被试想象动作状态进行判别，为脑机接口的实时控制奠定了良好的基础。
(4)本实验通过脑机接口的实时验证，证明了基于大脑血氧信息实时判别想象动作起始，想象动作类别，并进行物体平台的的实时控制的可行性验证，为脑机接口在娱乐休闲方面的发展奠定了基础。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于大脑信息识别被试自发想象物体位移方位的识别方法，其特征在于，包括：
获取采集的测试区域的多个通道的所述血红蛋白信号；
利用功率谱密度分析方法分析所述多个通道的血红蛋白信号的各频率能量分布；
基于上述功率谱密度分析方法分析确定的主频范围和波峰间隔，对所述多个通道的血红蛋白信号进行小波包分解和重构；
针对0-0.03hz的通道重构时间序列求和；
针对以上的总时间序列采用对比分析法判断想象任务起始时刻；
任务起始时刻前的10个数据点判别想象任务模态；
针对每一个子频段，平均15个子区域内的通道重构时间序列；
找出各个子频带子区域下活跃前20％和不活跃的低20％；
针对高20％和低20％的数据，分别对比两种想象任务的初步特征，去同存异；
采用遗传算法和支持向量机相结合的方法优化特征组合；
利用上述得到的最优特征重新训练分类模型。
2.根据权利要求1所述的基于大脑信息识别被试自发想象物体位移方位的识别方法，其特征在于，步骤“利用功率谱密度分析方法分析所述多个通道的血红蛋白信号的各频率能量分布；”中，利用直接法对数据进行功率谱密度的分析。
3.根据权利要求1所述的基于大脑信息识别被试自发想象物体位移方位的识别方法，其特征在于，步骤“利用功率谱密度分析方法分析所述多个通道的血红蛋白信号的各频率能量分布；”中，利用matlab软件中功率谱密度periodogram函数进行功率谱密度的分析。
4.根据权利要求1所述的基于大脑信息识别被试自发想象物体位移方位的识别方法，其特征在于，步骤“采用遗传算法和支持向量机相结合的方法优化特征组合”具体包括将“针对高20％和低20％的数据，分别对比两种想象任务的初步特征，去同存异；”中共有的特征量剔除，剩余的特征量采用遗传算法和交叉验证方法选取最优特征量，使用SVM算法作为约束条件。
5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1到4任一项所述方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1到4任一项所述方法的步骤。
7.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1到4任一项所述的方法。
CN201810713015.0A 2018-06-29 2018-06-29 基于大脑信息识别被试自发想象物体位移方位的识别方法 Pending CN109243569A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810713015.0A CN109243569A (zh) 2018-06-29 2018-06-29 基于大脑信息识别被试自发想象物体位移方位的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810713015.0A CN109243569A (zh) 2018-06-29 2018-06-29 基于大脑信息识别被试自发想象物体位移方位的识别方法

Publications (1)

Publication Number Publication Date
CN109243569A true CN109243569A (zh) 2019-01-18

Family

ID=65072335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810713015.0A Pending CN109243569A (zh) 2018-06-29 2018-06-29 基于大脑信息识别被试自发想象物体位移方位的识别方法

Country Status (1)

Country Link
CN (1) CN109243569A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110477869A (zh) * 2019-09-03 2019-11-22 苏州大学 确定运动任务是否达到最终目标的识别方法
CN111584027A (zh) * 2020-04-30 2020-08-25 天津大学 融合复杂网络和图卷积的脑控康复系统运动想象识别系统
CN113017622A (zh) * 2021-03-03 2021-06-25 苏州大学 基于fNIRS的想象物体位移方向的解码方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103584840A (zh) * 2013-11-25 2014-02-19 天津大学 基于脑电、心率变异及两者相干性的自动睡眠分期方法
CN104375635A (zh) * 2014-08-14 2015-02-25 华中科技大学 一种快速近红外脑机接口方法
CN106901749A (zh) * 2017-01-06 2017-06-30 苏州大学 一种脑皮层血红蛋白信息表征运动能力参数的提取方法
CN107438398A (zh) * 2015-01-06 2017-12-05 大卫·伯顿 移动式可穿戴的监控系统
CN107563298A (zh) * 2017-08-08 2018-01-09 苏州大学 基于大脑血红蛋白信息的想象运动阶段的蹲起走状态的识别方法
CN107595295A (zh) * 2017-06-09 2018-01-19 苏州大学 一种基于大脑血红蛋白信息的下肢运动阻力状态的识别方法
CN107854127A (zh) * 2017-10-30 2018-03-30 苏州大学 一种运动状态的检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103584840A (zh) * 2013-11-25 2014-02-19 天津大学 基于脑电、心率变异及两者相干性的自动睡眠分期方法
CN104375635A (zh) * 2014-08-14 2015-02-25 华中科技大学 一种快速近红外脑机接口方法
CN107438398A (zh) * 2015-01-06 2017-12-05 大卫·伯顿 移动式可穿戴的监控系统
CN106901749A (zh) * 2017-01-06 2017-06-30 苏州大学 一种脑皮层血红蛋白信息表征运动能力参数的提取方法
CN107595295A (zh) * 2017-06-09 2018-01-19 苏州大学 一种基于大脑血红蛋白信息的下肢运动阻力状态的识别方法
CN107563298A (zh) * 2017-08-08 2018-01-09 苏州大学 基于大脑血红蛋白信息的想象运动阶段的蹲起走状态的识别方法
CN107854127A (zh) * 2017-10-30 2018-03-30 苏州大学 一种运动状态的检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HEDIAN JIN 等: "To classify two-dimensional motion state of step length and walking speed by applying cerebral hemoglobin information", 《2017 10TH INTERNATIONAL CONFERENCE ON HUMAN SYSTEM INTERACTIONS (HSI)》 *
张朕 等: "基于fNIRs技术的清醒-睡眠状态识别", 《航天医学与医学工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110477869A (zh) * 2019-09-03 2019-11-22 苏州大学 确定运动任务是否达到最终目标的识别方法
CN111584027A (zh) * 2020-04-30 2020-08-25 天津大学 融合复杂网络和图卷积的脑控康复系统运动想象识别系统
CN111584027B (zh) * 2020-04-30 2022-03-11 天津大学 融合复杂网络和图卷积的脑控康复系统运动想象识别系统
CN113017622A (zh) * 2021-03-03 2021-06-25 苏州大学 基于fNIRS的想象物体位移方向的解码方法

Similar Documents

Publication Publication Date Title
Shin et al. Open access dataset for EEG+ NIRS single-trial classification
CN111714118B (zh) 一种基于集成学习的脑认知模型融合方法
Touwen Neurological development in infancy
CN115349873A (zh) 一种基于脑机接口系统的闭环脑功能强化训练装置及方法
Pinheiro et al. Wheelchair simulator game for training people with severe disabilities
Holm et al. An improved five class MI based BCI scheme for drone control using filter bank CSP
CN112244774A (zh) 脑机接口康复训练系统及方法
CN109310561A (zh) 运动示教系统和运动示教方法
Alhargan et al. Affect recognition in an interactive gaming environment using eye tracking
Pane et al. Identifying severity level of cybersickness from eeg signals using cn2 rule induction algorithm
Tao et al. Automated stress recognition using supervised learning classifiers by interactive virtual reality scenes
CN109243569A (zh) 基于大脑信息识别被试自发想象物体位移方位的识别方法
CN108542385A (zh) 一种利用嗅觉脑电波进行感官风味物质分类的方法
Lee et al. ADHD assessment and testing system design based on virtual reality
CN116603229A (zh) 基于脑电信号的电子游戏难度动态调整方法
CN117524422B (zh) 基于室内绿植改善人体应激恢复性的评估系统及方法
CN106901751A (zh) 一种基于大脑血红蛋白信息的运动速度状态的识别方法
Iskra et al. Accounting for dynamic cognition–action interaction in decision-making tasks in sports: A scoping review.
Gu et al. BCI+ VR rehabilitation design of closed-loop motor imagery based on the degree of drug addiction
KR20080107961A (ko) 오감 정보 처리기법 및 뇌파를 활용한 사용자 적응형임상진단/치료시스템
Zakrzewski et al. VR-oriented EEG signal classification of motor imagery tasks
Ghosh A survey of brain computer interface using non-invasive methods
Gu et al. Research on the intelligent evaluation of addiction degree and new method of rehabilitation of drug addicts
Bekhelifi et al. Towards Fast Single-Trial Online ERP based Brain-Computer Interface using dry EEG electrodes and neural networks: a pilot study
Skredsvig et al. The Apple Catcher Game: A Novel Motor Imagery BCI for Hand Rehabilitation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190118