[go: up one dir, main page]

CN107242876B - 一种用于精神状态的计算机视觉方法 - Google Patents

一种用于精神状态的计算机视觉方法 Download PDF

Info

Publication number
CN107242876B
CN107242876B CN201710259448.9A CN201710259448A CN107242876B CN 107242876 B CN107242876 B CN 107242876B CN 201710259448 A CN201710259448 A CN 201710259448A CN 107242876 B CN107242876 B CN 107242876B
Authority
CN
China
Prior art keywords
layer
image
micro
convolution
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710259448.9A
Other languages
English (en)
Other versions
CN107242876A (zh
Inventor
詹曙
李秋宇
杨福猛
余骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201710259448.9A priority Critical patent/CN107242876B/zh
Publication of CN107242876A publication Critical patent/CN107242876A/zh
Application granted granted Critical
Publication of CN107242876B publication Critical patent/CN107242876B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Evolutionary Computation (AREA)
  • Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于精神状态辅助诊断的计算机视觉方法，该方法使用已确知微表情的面部视频作为训练数据库，使用含有卷积层和池化层的卷积神经网络对视频中的图像帧进行特征的提取和融合，之后使用随机梯度下降法进行多次迭代更新得到优化后的网络作为训练完成的网络。然后将待测图像输入进已训练完成的网络中，由已训练完成的网络直接输出待检测图像中是否出现有微表情的检测结果，为医生诊断病人精神状态提供参考。当人们试图压抑自己真实情感时会出现微表情，检测微表情能反映出人的精神状态，从而辅助医生诊断，在一定程度上提高了医生对病人精神状态诊断的准确性和效率。

Description

一种用于精神状态的计算机视觉方法
技术领域
本发明涉及计算机视觉方法领域，具体是一种用于精神状态辅助诊断的计算机视觉方法。
背景技术
对病人精神状态诊断作用和目的是诊断出病人在心理即精神行为状态以及是否发生改变，针对不同的精神状态来改善病人精神行为状态是在治疗过程中十分重要的一环。病人在治疗的过程中会受一些应激源如手术、对自己病情的了解等的影响，产生比较剧烈的心理与生理应激反应，这些应激反应如果十分强烈，可能会对内分泌系统、神经系统产生影响，产生焦虑、抑郁等心理，甚者会干扰诊断、手术、治疗等的实施和效果。因此，对于病人的精神状态特点和变化，及时发现并给予相应的心理治疗是十分重要的。现在对病人精神状态评估多数为问卷调查和自我评估，缺少一些客观的辅助判断来帮助医生诊断病人的精神状态，易造成评估不准，导致诊断出现误差。
而病人的微表情可以辅助医生进行精神状态的判断，微表情是一种持续时间仅为1/25～1/5s非常快速的表情，它是人们试图压抑或隐藏自己真实情感时表现出短暂的、不能自主控制的面部表情。在临床上，医生如果能发现病人的微表情，则可以更好的判断病人的精神状态及其变化，从而针对性地进行治疗，缩短治疗时间，提高治疗效果。未经过系统训练的人对微表情识别能力不高，而用计算机来自动检测微表情是很好的检测方法，微表情的自动检测可以在不被病人察觉的情况下进行，从而加强了判断的真实性和有效性。将计算机自动检测结合到临床诊断里，会帮助医生更好的对病人精神状态进行诊断。
发明内容
本发明的目的是提供一种用于精神状态辅助诊断的计算机视觉方法，以解决现有技术对于病人精神状态评估方法单一、缺少客观评估的问题。
为了达到上述目的，本发明所采用的技术方案为：
一种用于精神状态辅助诊断的计算机视觉方法，其特征在于：将微表情视频中的图像帧使用含有卷积层和池化层的卷积神经网络方法进行特征提取和融合，之后使用随机梯度下降算法进行卷积神经网络的优化得到已训练的网络模型，再将待测视频中的图像帧输入进已训练的网络模型中，得到检测结果，其步骤如下：
(1)、选取多个对象的多个面部表情视频作为训练数据库，训练数据库中包含无表情视频和微表情视频；
(2)、将训练数据库中每个视频的每帧图像取出并灰度化，将每帧图像剪裁成多个等大小的正方形块状的人脸图像作为训练样本；
(3)、将步骤(2)得到的训练样本输入到卷积神经网络进行网络的训练，此卷积神经网络共包括多层卷积层多层池化层，卷积与池化的操作交替进行，其中卷积层中处理过程为：
第一层为卷积层，已知有多个卷积核，分别将卷积核与原图像进行离散卷积并加上偏置项之后，通过ReLU激活函数得出提取后的图像特征，表示如下：
Figure GDA0001355692160000021
其中l代表网络层数，i代表像素的位置，
Figure GDA0001355692160000022
代表第l-1层中图像的第i个像素，
Figure GDA0001355692160000023
代表第l层中第j个的图像特征，Mj代表输入的所有图像的集合，k 代表卷积核，
Figure GDA0001355692160000024
代表第l层中的第j个卷积核中第i个值，
Figure GDA0001355692160000025
代表第l层中的第 j个偏置项。f(x)代表ReLU激活函数，表示如下：
f(x)＝max(0,x) (2)，
卷积完成之后将结果输入到下一层即与卷积层交替相邻的池化层进行池化运算；
池化层中处理过程为：
卷积后的图像特征输入到交替相邻的下一层池化层中，将上一层即与池化层交替相邻的卷积层的图像特征分成n*n的块，在每一块中求出最大的图像特征值，再将此特征最大值乘以乘性偏置项，然后加上偏置项，最后通过ReLU激活函数得出融合后的图像特征，表示如下：
Figure GDA0001355692160000026
其中l代表网络层数，
Figure GDA0001355692160000027
代表第l-1层中的第j个图像特征，
Figure GDA0001355692160000028
代表第l层中的第j个图像特征，
Figure GDA0001355692160000031
代表第l层中的第j个乘性偏置项，
Figure GDA0001355692160000032
代表第l层中的第j个偏置项，f(x)代表ReLU激活函数，g(x)代表输入的图像特征中的最大值，表示如下：
g(x)＝max(xi)i∈Mj (4)，
其中Mj代表输入的所有图像特征的集合；
(4)、重复步骤(3)直至计算完所有的卷积层和池化层；
(5)、使用随机梯度下降法优化卷积神经网络，经过至少1000次迭代后得到已训练的网络；
(6)、已知有一待检测是否出现微表情的患者的视频中的图像帧序列，将待测视频的每帧图像输入进步骤(5)中得到的已训练的网络中去，由卷积神经网络输出是否出现微表情，如果含有微表情则将含有微表情的图像帧标记出来作为结果。
所述的一种用于精神状态辅助诊断的计算机视觉方法，其特征在于：使用卷积神经网络来进行视频中图像帧的特征提取和融合并使用随机梯度下降法进行网络优化得到已训练的网络，进而进行微表情检测。
本发明通过从已知的微表情视频数据中进行训练的基础上，检测病人的面部是否出现微表情，依据结果辅助医生对病人精神状态进行诊断，从而达到提高对病人精神状态诊断准确率和诊断效率以及提高医生工作的效率并减轻医生工作量的目标。该技术可应用于对病人精神状态诊断的辅助诊断。
本发明中，随机梯度下降算法是一种优化算法，比较适用于控制变量较多，受控系统比较复杂，无法建立准确数学模型的最优化控制过程。在训练网络过程中目标是使网络的输出结果与正确结果的误差最小，经过多次迭代，得到目标函数的极小值。
本发明使用卷积神经网络的方法进行特征提取和图像分类。该方法从提取低层次特征逐步到提取高层次抽象的特征，从而更好的提取了有效的特征信息，提高了计算准确率，并且卷积神经网络有很高的灵活性，可以根据不同的实际情况进行不同参数的调整，再应用到不同的场合中去。
本发明的有益效果是：将卷积神经网络对于视频信息的特征提取用于临床微表情检测，从而辅助医生对病人的精神状态进行诊断，实现了将微表情的自动检测运用到临床诊断中去，提高了对病人精神状态诊断准确率和效率。
附图说明
图1是本发明的实现流程框架图。
图2是本发明实验中的检测结果。
具体实施方式
如图1所示，一种用于精神状态辅助诊断的计算机视觉方法，过程如下：
(1)、选取12个对象的343个面部表情视频序列作为训练数据库。其中包括无表情视频和微表情视频。
(2)、将视频每帧图像取出并灰度化，将每帧图像剪裁出等大小的人脸图像，先作为训练样本。
(3)、使用卷积神经网络进行网络的训练，此卷积神经网络共包括4层卷积层4层池化层，卷积与池化的操作交替进行，首先将图像输入到第一层卷积层中，已知有多个卷积核，分别将卷积核与原图像进行离散卷积并加上偏置项之后，通过ReLU激活函数得出提取后的图像特征，表示如下：
Figure GDA0001355692160000041
其中l代表网络层数，i代表像素的位置，
Figure GDA0001355692160000042
代表第l-1层中图像的第i个像素，
Figure GDA0001355692160000043
代表第l层中第j个的图像特征，Mj代表输入的所有图像的集合，k代表卷积核，
Figure GDA0001355692160000044
代表第l层中的第j个卷积核中第i个值，
Figure GDA0001355692160000045
代表第l层中的第j个偏置项。f(x)代表ReLU激活函数，表示如下：
f(x)＝max(0,x) (2)，
卷积完成之后将结果输入到下一层即与卷积层交替相邻的池化层进行池化运算；
卷积后的图像特征输入到交替相邻的下一层池化层中，将上一层即与池化层交替相邻的卷积层的图像特征分成n*n的块，在每一块中求出最大的图像特征值，再将此特征最大值乘以乘性偏置项，再加上偏置项，通过ReLU激活函数得出融合后的图像特征，表示如下：
Figure GDA0001355692160000051
其中l代表网络层数，
Figure GDA0001355692160000052
代表第l-1层中的第j个图像特征，
Figure GDA0001355692160000053
代表第l层中的第j个图像特征，
Figure GDA0001355692160000054
代表第l层中的第j个乘性偏置项，
Figure GDA0001355692160000055
代表第l层中的第j个偏置项，f(x)代表ReLU激活函数，g(x)代表输入的图像特征中的最大值，表示如下：
g(x)＝max(xi)i∈Mj (4)；
其中Mj代表输入的所有图像特征的集合。
(4)、重复步骤(3)直至计算完所有的卷积层和池化层。
(5)、使用随机梯度下降法优化卷积神经网络，经过近1000次迭代后得到已训练的网络。
(6)、已知有一待检测是否出现微表情的患者的视频中的图像帧序列，将待测视频的每帧图像输入进步骤(5)中得到的已训练的网络中去，由卷积神经网络输出是否出现微表情，如果含有微表情则将含有微表情的图像帧标记出来作为结果，如图2所示，此5幅图像为待检测是否含有微表情的视频中的图像帧序列，图中第三幅含有边框的图是被检测出微表情的图像，其他四幅没有被检测出微表情。将此结果作为医生做出诊断的参考。图2中图片来自CASME数据库。

Claims (2)

1.一种用于精神状态的计算机视觉方法，其特征在于：将微表情视频中的图像帧使用含有卷积层和池化层的卷积神经网络方法进行特征提取和融合，之后使用随机梯度下降算法进行卷积神经网络的优化得到已训练的网络模型，再将待测视频中的图像帧输入进已训练的网络模型中，得到检测结果，其步骤如下：
(1)、选取多个对象的多个面部表情视频作为训练数据库，训练数据库中包含无表情视频和微表情视频；
(2)、将训练数据库中每个视频的每帧图像取出并灰度化，将每帧图像剪裁成多个等大小的正方形块状的人脸图像作为训练样本；
(3)、将步骤(2)得到的训练样本输入到卷积神经网络进行网络的训练，此卷积神经网络共包括4层卷积层4层池化层，卷积与池化的操作交替进行，其中卷积层中处理过程为：
第一层为卷积层，已知有多个卷积核，分别将卷积核与原图像进行离散卷积并加上偏置项之后，通过ReLU激活函数得出提取后的图像特征，表示如下：
Figure FDA0002497489870000011
其中l代表网络层数，i代表像素的位置，
Figure FDA0002497489870000012
代表第l-1层中图像的第i个像素，
Figure FDA0002497489870000013
代表第l层中第j个的图像特征，Mj代表输入的所有图像的集合，k代表卷积核，
Figure FDA0002497489870000014
代表第l层中的第j个卷积核中第i个值，
Figure FDA0002497489870000015
代表第l层中的第j个偏置项，f(x)代表ReLU激活函数，表示如下：
f(x)＝max(0,x) (2)，
卷积完成之后将结果输入到下一层即与卷积层交替相邻的池化层进行池化运算；
池化层中处理过程为：
卷积后的图像特征输入到交替相邻的下一层池化层中，将上一层即与池化层交替相邻的卷积层的图像特征分成n*n的块，在每一块中求出最大的图像特征值，再将此特征最大值乘以乘性偏置项，然后加上偏置项，最后通过ReLU激活函数得出融合后的图像特征，表示如下：
Figure FDA0002497489870000016
其中l代表网络层数，
Figure FDA0002497489870000021
代表第l-1层中的第j个图像特征，
Figure FDA0002497489870000022
代表第l层中的第j个图像特征，
Figure FDA0002497489870000023
代表第l层中的第j个乘性偏置项，
Figure FDA0002497489870000024
代表第l层中的第j个偏置项，f(x)代表ReLU激活函数，g(x)代表输入的图像特征中的最大值，表示如下：
g(x)＝max(xi)i∈Mj (4)，
其中Mj代表输入的所有图像特征的集合；
(4)、重复步骤(3)直至计算完所有的卷积层和池化层；
(5)、使用随机梯度下降法优化卷积神经网络，经过至少1000次迭代后得到已训练的网络；
(6)、已知有一待检测是否出现微表情的患者的视频中的图像帧序列，将待测视频的每帧图像输入进步骤(5)中得到的已训练的网络中去，由卷积神经网络输出是否出现微表情，如果含有微表情则将含有微表情的图像帧标记出来作为结果。
2.根据权利要求1所述的一种用于精神状态的计算机视觉方法，其特征在于：使用卷积神经网络来进行视频中图像帧的特征提取和融合并使用随机梯度下降法进行网络优化得到已训练的网络，进而进行微表情检测。
CN201710259448.9A 2017-04-20 2017-04-20 一种用于精神状态的计算机视觉方法 Expired - Fee Related CN107242876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710259448.9A CN107242876B (zh) 2017-04-20 2017-04-20 一种用于精神状态的计算机视觉方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710259448.9A CN107242876B (zh) 2017-04-20 2017-04-20 一种用于精神状态的计算机视觉方法

Publications (2)

Publication Number Publication Date
CN107242876A CN107242876A (zh) 2017-10-13
CN107242876B true CN107242876B (zh) 2020-12-15

Family

ID=60017270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710259448.9A Expired - Fee Related CN107242876B (zh) 2017-04-20 2017-04-20 一种用于精神状态的计算机视觉方法

Country Status (1)

Country Link
CN (1) CN107242876B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298325A (zh) * 2019-07-02 2019-10-01 四川长虹电器股份有限公司 基于视频表情识别的表达障碍患者辅助护理系统
CN110507335B (zh) * 2019-08-23 2021-01-01 山东大学 基于多模态信息的服刑人员心理健康状态评估方法及系统
CN110507297A (zh) * 2019-08-30 2019-11-29 深圳市汇健医疗工程有限公司 基于5g网络的手术中心智慧手术干预平台
CN112487980B (zh) * 2020-11-30 2024-06-14 深圳市广信安科技股份有限公司 基于微表情治疗方法、装置、系统与计算机可读存储介质
CN112716494A (zh) * 2021-01-18 2021-04-30 上海对外经贸大学 基于微表情与脑波分析算法的心理健康状况分析算法
CN119132581B (zh) * 2024-11-13 2025-02-25 陕西省核工业二一五医院 基于面部表情识别的精神疾病患者辅助分析方法及设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010027035A (ja) * 2008-06-16 2010-02-04 Canon Inc 個人認証装置及び個人認証方法
JP5361530B2 (ja) * 2009-05-20 2013-12-04 キヤノン株式会社 画像認識装置、撮像装置及び画像認識方法
US8442927B2 (en) * 2009-07-30 2013-05-14 Nec Laboratories America, Inc. Dynamically configurable, multi-ported co-processor for convolutional neural networks
CN103258204B (zh) * 2012-02-21 2016-12-14 中国科学院心理研究所 一种基于Gabor和EOH特征的自动微表情识别方法
CN103617436B (zh) * 2013-12-17 2017-01-25 山东大学 基于差分切片能量图和Gabor变换的微表情识别方法
US9552510B2 (en) * 2015-03-18 2017-01-24 Adobe Systems Incorporated Facial expression capture for character animation
CN105608440B (zh) * 2016-01-03 2019-05-31 复旦大学 基于最小化误差的面部微表情序列特征抽取方法
CN106446810A (zh) * 2016-09-12 2017-02-22 合肥工业大学 一种用于精神状态分析的计算机视觉方法
CN106570474B (zh) * 2016-10-27 2019-06-28 南京邮电大学 一种基于3d卷积神经网络的微表情识别方法

Also Published As

Publication number Publication date
CN107242876A (zh) 2017-10-13

Similar Documents

Publication Publication Date Title
CN107242876B (zh) 一种用于精神状态的计算机视觉方法
Haloi Improved microaneurysm detection using deep neural networks
Kumar et al. Redefining retinal lesion segmentation: a quantum leap with DL-UNet enhanced auto encoder-decoder for fundus image analysis
CN105117611B (zh) 基于卷积神经元网络的中医舌诊模型的确定方法及系统
CN110992382A (zh) 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统
Rajput et al. An accurate and noninvasive skin cancer screening based on imaging technique
Yang et al. Classification of diabetic retinopathy severity based on GCA attention mechanism
CN108710950A (zh) 一种图像量化分析方法
CN115409804A (zh) 一种乳腺磁共振影像的病灶区域识别标注及疗效预测方法
Pappula et al. Detection and classification of pneumonia using deep learning by the dense net-121 model
CN112216379A (zh) 一种基于智能联合学习的疾病诊断系统
CN110349166A (zh) 一种针对于视网膜图像的血管分割方法、装置及设备
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
CN115530830A (zh) 孤独症早筛眼动仪检测系统、方法、介质、设备及终端
CN108549899A (zh) 一种图像识别方法及装置
EP4341951A1 (en) Geographic atrophy progression prediction and differential gradient activation maps
CN110120266B (zh) 骨骼年龄评估方法
Fan et al. EGFNet: Efficient guided feature fusion network for skin cancer lesion segmentation
Sourab et al. Diagnosis of COVID-19 from chest X-ray images using convolutional neural networking with K-fold cross validation
Yanar et al. Clinical decision support for early diagnosis of cardiomegaly by using deep learning techniques on chest x-rays
Abd El-Khalek et al. XV-AMD: An Explainable Vision Transformer Detection Framework for Age-Related Macular Degeneration Using Fundus Imaging
Wiliani et al. Identifying Skin Cancer Disease Types With You Only Look Once (YOLO) Algorithm
CN114332990A (zh) 一种情绪识别方法、装置、设备及介质
Guo et al. Channel attention separable convolution network for skin lesion segmentation
CN115831356A (zh) 一种基于人工智能算法的辅助预测诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201215

CF01 Termination of patent right due to non-payment of annual fee