[go: up one dir, main page]

CN111166290A - 一种健康状态检测方法、设备和计算机存储介质 - Google Patents

一种健康状态检测方法、设备和计算机存储介质 Download PDF

Info

Publication number
CN111166290A
CN111166290A CN202010009254.5A CN202010009254A CN111166290A CN 111166290 A CN111166290 A CN 111166290A CN 202010009254 A CN202010009254 A CN 202010009254A CN 111166290 A CN111166290 A CN 111166290A
Authority
CN
China
Prior art keywords
camera
detection
image
health
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010009254.5A
Other languages
English (en)
Inventor
崔晓颖
秦川
王小梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010009254.5A priority Critical patent/CN111166290A/zh
Publication of CN111166290A publication Critical patent/CN111166290A/zh
Priority to EP20912646.5A priority patent/EP4074247B1/en
Priority to PCT/CN2020/135090 priority patent/WO2021139471A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/02416—Measuring pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供的一种健康状态检测方法、设备和计算机存储介质的技术方案中，通过控制第一摄像头采集环境图像，从环境图像中获取检测参数，若判断出所述检测参数满足所述检测参数对应的检测条件，控制第二摄像头或者所述第一摄像头采集人脸图像，并根据所述人脸图像生成健康状态数据。本发明实施例通过第一摄像头采集环境图像判断检测参数对应的检测条件，控制第二摄像头或者所述第一摄像头采集人脸图像生成健康状态数据，用户无需手动进行健康状态检测，能够自动进行健康状态检测，从而实现健康状态的无感检测。

Description

一种健康状态检测方法、设备和计算机存储介质
【技术领域】
本发明涉及图像分析技术领域，具体地涉及一种健康状态检测方法、设备和计算机存储介质。
【背景技术】
随着生活节奏的加快，年轻人工作繁忙可能无暇关注自己的健康状态，在过去的检测健康状态，需要去医院排队检测，或者是自己购买一些诊断设备，例如血压计等等。而往往这样的检测过程漫长繁琐，因此市面上又诞生了很多应用程序(Application，简称app)，如美图美妆、爱肌肤等app，心率监测，身高体重指数(Body Mass Index，简称BMI)测试等，然而这些健康应用在进行健康状态检测时，需要用户有检测需求并手动打开健康应用，通过固定位置拍摄或者别人辅助拍摄等方法获取用户的健康状态。
【发明内容】
有鉴于此，本发明提供一种健康状态检测方法、设备和计算机存储介质，能够实现自动进行健康状态检测，从而实现健康状态的无感检测。
第一方面，本发明实施例提供了一种健康状态检测方法，所述方法应用于具有显示屏和摄像头的电子设备，所述摄像头包括第一摄像头或者所述摄像头包括第一摄像头和第二摄像头；所述方法包括：
当监测到所述显示屏处于工作状态，控制所述第一摄像头采集环境图像；
从所述环境图像中获取检测参数；
判断所述检测参数是否满足所述检测参数对应的检测条件；
若判断出所述检测参数满足所述检测参数对应的检测条件，控制所述第二摄像头或者所述第一摄像头采集人脸图像；
根据所述人脸图像生成健康状态数据。
在一种可能的实现方式中，所述根据所述人脸图像生成至少一个健康状态数据，包括：
将所述人脸图像输入预先建立的神经网络模型，输出至少一个健康状态数据。在一种可能的实现方式中，所述至少一个健康状态数据包括皮肤状态、心率、血压以及体脂。
在一种可能的实现方式中，所述检测参数包括环境的光线亮度、人脸图像范围和人脸静止不动时长；所述判断所述检测参数是否满足所述检测参数对应的检测条件包括：
判断所述人脸图像范围是否位于预设位置范围内、所述环境的光线亮度是否大于或者等于第一预设阈值且所述人脸静止不动时长是否大于或者等于第二预设阈值。
在一种可能的实现方式中，所述根据所述人脸图像生成健康状态数据之后，还包括：
判断所述健康状态数据是否位于预设健康数据范围值，并根据判断结果生成健康状态评估结果。
在一种可能的实现方式中，所述第一摄像头包括低功耗摄像头。
第二方面，本发明实施例提供了一种电子设备，包括：
检测单元用于监测所述显示屏是否处于工作状态；处理单元用于当检出单元监测到所述显示屏处于工作状态，控制所述第一摄像头采集环境图像；处理单元还用于从所述环境图像中获取检测参数；处理单元还用于判断所述检测参数是否满足所述检测参数对应的检测条件；若检测单元判断出所述检测参数满足所述检测参数对应的检测条件，控制所述第二摄像头或者所述第一摄像头采集人脸图像；处理单元还用于根据所述人脸图像生成至少一个健康状态数据。
在一种可能的实现方式中，所述处理单元，用于将所述人脸图像输入预先建立的神经网络模型，输出至少一个健康状态数据。在一种可能的实现方式中，所述健康状态数据包括皮肤状态、心率、血压以及体脂中至少一个。
在一种可能的实现方式中，所述检测参数包括环境的光线亮度、人脸图像范围和人脸静止不动时长。
在一种可能的实现方式中，所述处理单元，用于判断所述人脸图像范围是否位于预设位置范围内、所述环境的光线亮度是否大于或者等于第一预设阈值且所述人脸静止不动时长是否大于或者等于第二预设阈值。
在一种可能的实现方式中，所述处理单元，用于判断所述健康状态数据是否位于预设健康数据范围值，并根据判断结果生成健康状态评估结果。
在一种可能的实现方式中，所述第一摄像头包括低功耗摄像头。
第三方面，本发明实施例提供了一种电子设备，包括：显示屏；第一摄像头；第二摄像头；一个或多个处理器；存储器；多个应用程序；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得设备执行上述任一方面任一项可能的实现中的信息显示方法。
第四方面，本发明实施例提供了一种计算机存储介质，所述计算机介质存储用于设备执行的程序代码，所述程序代码包括用于执行第一方面或者第一方面的任一可能的实现方式中的方法的指令。
本发明实施例提供的技术方案中，通过控制第一摄像头采集环境图像，从环境图像中获取检测参数，若判断出所述检测参数满足所述检测参数对应的检测条件，控制第二摄像头或者所述第一摄像头采集人脸图像，并根据所述人脸图像生成健康状态数据。本发明实施例通过第一摄像头采集环境图像判断检测参数对应的检测条件，控制第二摄像头或者所述第一摄像头采集人脸图像生成健康状态数据，用户无需手动进行健康状态检测，能够自动进行健康状态检测，从而实现健康状态的无感检测。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一实施例所提供的一种系统架构的结构示意图；
图2是本发明一实施例所提供的一种卷积神经网络的结构示意图；
图3是本发明一实施例所提供的一种具有显示屏和摄像头的电子设备的结构示意图；
图4是图3中的局部放大示意图；
图5是本发明实施例所提供的第一摄像头与第二摄像头采集图像范围的示意图；
图6是本发明一实施例所提供的另一种系统架构的结构示意图；
图7是本发明一实施例提供的另一种具有显示屏和摄像头的电子设备的结构示意图；
图8是本发明一实施例所提供的一种健康状态检测方法的流程图；
图9是本发明实施例所提供的一种识别人脸图像范围的示意图；
图10是本发明一实施例所提供的一种电子设备的结构示意图；
图11是本发明一实施例提供的另一种电子设备的结构示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本发明实施例提供的健康状态检测方法能够应用在电子设备中的显示屏处于工作状态的场景中，下面对显示屏处于工作状态的场景进行简单介绍。
显示屏处于工作状态的场景：
当显示屏处于亮屏状态时，则表明显示屏处于工作状态。例如用户利用电子设备查看文档、观看视频以及拍摄图片，或者用户利用电子设备进行社交聊天等场景时，显示屏均处于亮屏状态，即表明显示屏处于工作状态。上述显示屏处于工作状态的场景均为显示屏处于工作状态的场景。
在显示屏处于工作状态的场景采用本发明实施例提供的健康状态检测的技术方案，通过第一摄像头采集环境图像判断检测参数对应的检测条件，从而控制第二摄像头或者所述第一摄像头采集人脸图像生成健康状态数据，从而降低检测健康状态的流程复杂度。并且在健康状态检测过程中，用户无需手动进入健康类应用并进行拍摄图像进行健康检测，而是在用户正常使用电子设备的过程中实现“无感知”的检测健康状态，从而提高了健康检测的效率，使得用户能够在满足检测健康状态的条件下，实时获取到健康状态信息，并且使得用户能够实时了解到自身的健康状态信息，对身体状态进行监控，从而提高了用户的身体健康状态质量。
由于本发明实施例涉及神经网络的应用，为了便于理解，下面先对本发明实施例可能涉及的相关术语及神经网络等相关概念进行介绍。
(1)神经网络
神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距b为输入的运算单元，该运算单元的输出可以为：
Figure BDA0002356502430000041
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。激活函数可以是sigmoid函数。神经网络是将许多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
(2)深度神经网络
深度神经网络(deep neural network，简称DNN)，也称多层神经网络，可以理解为具有很多层隐含层的神经网络，这里的“很多”并没有特别的度量标准。从DNN按不同层的位置划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。例如，全连接神经网络中层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式如下：
Figure BDA0002356502430000042
其中，
Figure BDA0002356502430000043
是输入向量，
Figure BDA0002356502430000044
是输出向量，
Figure BDA0002356502430000045
是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量经过如此简单的操作得到输出向量。由于DNN层数多，则系数W和偏移向量
Figure BDA0002356502430000046
的数量也就很多了。这些参数在DNN中的定义如下所述：以系数W为例：假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为
Figure BDA0002356502430000047
上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。总结就是：第L-1层的第k个神经元到第L层的第j个神经元的系数定义为
Figure BDA0002356502430000048
需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。
(3)卷积神经网络
卷积神经网络(convolutional neuron network，简称CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。这其中隐含的原理是：图像的某一部分的统计信息与其他部分是一样的。即意味着在某一部分学习的图像信息也能用在另一部分上。所以对于图像上的所有位置，都能使用同样的学习得到的图像信息。在同一卷积层中，可以使用多个卷积核来提取不同的图像信息，一般地，卷积核数量越多，卷积操作反映的图像信息越丰富。
卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
(4)损失函数
在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
(5)光亮度
光亮度(luminance)又称发光率，是指一个表明的明亮程度，以L表示，即从一个表明反射出来的光通量。或者说是指在某方向上单位投影面积的面光源沿该方向的发光强度。光照度，即通常所说的勒克司度(lux)，表示被摄主体表明单位面积上受到的光通量。1勒克司相当于1流明/平方米，即被摄主体每平方米的面积上，受距离一米、发光强度为1烛光的光源，垂直照射的光通量。光照度是衡量拍摄环境的一个重要指标。
(6)机器学习
机器学习(Machine Learning,简称ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。
图1为本发明一实施例提供的一种系统架构100的结构示意图。如图1所示，系统架构100可包括电子设备110、数据采集设备130、训练设备140和服务器数据库120。
数据采集设备130包括数据采集模块131和模型数据库132。数据采集模块131用于采集训练数据，训练数据包括人脸图像。数据采集模块131将训练数据存入模型数据库132。模型数据库132用于维护训练数据。
训练设备140基于模型数据库132中维护的训练数据得到目标模型/规则1171。下面对训练设备140基于训练数据得到目标模型/规则1171进行描述，训练设备140对输入的人脸图像进行处理，并输出至少一个健康状态数据，从而完成目标模型/规则1171的训练。
本发明实施例中的目标模型/规则1171具体可以包括神经网络。需要说明的是，在实际应用中，模型数据库132中维护的训练数据不一定都来自于数据采集设备130的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备140也不一定完全基于模型数据库132维护的训练数据进行目标模型/规则1171的训练，也有可能从云端数据库或其他数据库获取训练数据进行模型训练，本发明实施例对训练数据的获取方法不做限定。
根据训练设备140训练得到的目标模型/规则1171可以应用于不同的系统或设备中，如应用于图1所示的电子设备110，电子设备110可以是终端，如手机终端、平板电脑、笔记本电脑、增强现实(augmented reality，AR)AR/虚拟现实(virtual reality，VR)、车载终端等，还可以是服务器或者云端等。
如图1所示，电子设备110包括检测单元111、第一摄像头112、第二摄像头113、处理单元114。
检测单元111用于监测显示屏是否处于工作状态。处理单元114用于当检测单元111监测到所述显示屏处于工作状态时，控制第一摄像头112采集环境图像。处理单元114还用于判断所述检测参数是否满足所述检测参数对应的检测条件；若判断出所述检测参数满足所述检测参数对应的检测条件，控制所述第二摄像头113或者所述第一摄像头112采集人脸图像；根据所述人脸图像生成健康状态数据。电子设备110包括健康应用。其中，处理单元114可通过健康应用启动第一摄像头112，以控制第一摄像头112采集人脸图像；处理单元114可通过健康应用启动第二摄像头113，以控制第二摄像头113采集人脸图像。
具体地，处理单元114包括获取模块115、判断模块116、计算模块117以及评估模块118，其中，计算模块117包括目标模型/规则1171。
获取模块115用于从环境图像中获取检测参数，其中，检测参数包括环境的光线亮度、人脸图像范围和人脸静止不动时长。判断模块116用于判断所述人脸图像范围是否位于预设位置范围内、所述环境的光线亮度是否大于或者等于第一预设阈值且所述人脸静止不动时长是否大于或者等于第二预设阈值。当判断模块116判断出人脸图像范围位于预设位置范围内、所述环境的光线亮度大于或者等于第一预设阈值且所述人脸静止不动时长大于或者等于第二预设阈值时，处理单元114通过健康应用调用第二摄像头113，以控制第二摄像头113采集人脸图像。
计算模块117用于将人脸图像输入目标模型/规则1171，输出至少一个健康状态数据。评估模块118用于判断健康状态数据是否位于预设健康数据范围值，并根据判断结果生成健康状态评估结果。
通过上述流程，评估模块118将健康状态评估结果反馈给用户，在用户无需手动打开健康应用进行健康检测的情况下，实现自动进行健康状态检测，从而实现健康状态的无感检测。
需要说明的是，训练设备140可以针对不同的目标或称不同的任务，基于不同的训练数据生成相应的目标模型/规则1171，该相应的目标模型/规则1171即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果，例如，在本发明中可以是向用户提供健康状态数据。在电子设备110的计算模块117执行计算等相关的处理过程中，电子设备110可以调用服务器数据库120中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入服务器数据库120中。
如图1所示，根据训练设备140训练得到目标模型/规则1171，该目标模型/规则1171在本发明实施例中可以是本发明中的神经网络，具体的，本发明实施例提供的神经网络可以卷积神经网络(convolutional neuron network，CNN)，深度卷积神经网络(deepconvolutional neural networks,DCNN)等等。
由于卷积神经网络是一种常见的神经网络，下面结合图2重点对卷积神经网络的结构进行详细的介绍。如上文的基础概念介绍，卷积神经网络是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，卷积神经网络是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的图像做出响应。
如图2所示，卷积神经网络(CNN)200可以包括输入层210，卷积层/池化层220(其中池化层为可选的)，以及神经网络层230。下面对这些层的相关内容做详细介绍。
卷积层/池化层220：
卷积层：
如图2所示卷积层/池化层220可以包括如示例221-226层，举例来说：在一种实现中，221层为卷积层，222层为池化层，223层为卷积层，224层为池化层，225为卷积层，226为池化层；在另一种实现方式中，221、222为卷积层，223为池化层，224、225为卷积层，226为池化层。即卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。
下面将以卷积层221为例，介绍一层卷积层的内部工作原理。
卷积层221可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关。
需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用多个尺寸(行×列)相同的权重矩阵，即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度，这里的维度可以理解为由上面的“多个”来决定。
不同的权重矩阵可以用来提取图像中不同的特征，例如，一个权重矩阵可以用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪声进行模糊化等。该多个权重矩阵尺寸(行×列)相同，经过该多个尺寸相同的权重矩阵提取后的特征图的尺寸也相同，再将提取到的多个尺寸相同的特征图合并形成卷积运算的输出。
这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络200进行正确的预测。
当卷积神经网络200有多个卷积层的时候，初始的卷积层(例如221)往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络200深度的加深，越往后的卷积层(例如226)提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。
池化层：
由于常常需要减少训练参数的数量，因此，卷积层之后常常需要周期性的引入池化层，在如图2中220所示例的221-226各层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。
神经网络层230：
在经过卷积层/池化层220的处理后，卷积神经网络200还不足以输出所需要的输出信息。因为如前，卷积层/池化层220只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络200需要利用神经网络层230来生成一个或者一组所需要的类的数量的输出。因此，在神经网络层230中可以包括多层隐含层(如图2所示的231、232至23n)以及输出层240，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类，图像超分辨率重建等等。
在神经网络层230中的多层隐含层之后，也就是整个卷积神经网络200的最后层为输出层240，该输出层240具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络200的前向传播(如图2由210至240方向的传播为前向传播)完成，反向传播(如图2由240至210方向的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络200的损失，及卷积神经网络200通过输出层输出的结果和理想结果之间的误差。
需要说明的是，如图2所示的卷积神经网络200仅作为一种卷积神经网络的示例，在具体的应用中，卷积神经网络还可以以其他网络模型的形式存在。
图3为本发明一实施例提供的另一种具有显示屏和摄像头的电子设备的结构示意图，摄像头包括第一摄像头和第二摄像头。如图3所示，该电子设备110包括显示屏119、第一摄像头112以及第二摄像头113。显示屏119用于显示多种变化的数字、文字、图形图像等等。第一摄像头112和第二摄像头113均包括内置摄像头，用于拍摄图像。其中，第一摄像头112与第二摄像头113的区别在于采集的图像以及采集的图像范围不同。第一摄像头112采集环境图像，第二摄像头113采集人脸图像。并且第一摄像头112与第二摄像头113均位于电子设备110的前面板区域，如图4所示，第一摄像头112与第二摄像头113之间设有预设距离d。例如，预设距离d为3㎜。如图5所示，第一摄像头112能够采集的图像范围为A，第二摄像头113能够采集的图像范围为B，其中，图像范围A＞图像范围B。
在本发明实施例中，第一摄像头采集的图像是环境图像，目的是为了获取检测参数。通过设置第一摄像头的采集的图像范围大于第二摄像头的采集的图像范围，有利于更快的从环境图像中获取检测参数，判断检测参数是否满足检测参数对应的检测条件。而第二摄像头采集的图像是人脸图像，目的是为了检测健康状态数据的。将第二摄像头采集的图像范围缩小，能够获取更为精准的人脸区域图像进行检测健康状态数据。
图6为本发明一实施例提供的另一种系统架构图的结构示意图，如图6所示，该系统架构与图1的系统架构区别在于：图1的系统架构包括第一摄像头112和第二摄像头114，而图6的系统架构包括第一摄像头112。
当判断模块117判断出人脸图像范围位于预设位置范围内、所述环境的光线亮度大于或者等于第一预设阈值且所述人脸静止不动时长大于或者等于第二预设阈值时，处理单元115通过健康应用调用第一摄像头112，以控制第一摄像头112采集人脸图像。
图7为本发明一实施例提供的一种具有显示屏和摄像头的电子设备的结构示意图，摄像头包括第一摄像头。如图7所示，该电子设备110包括显示屏119和第一摄像头112。第一摄像头112位于电子设备110的前面板区域。显示屏119用于显示多种变化的数字、文字、图形图像等等。第一摄像头112可为内置摄像头，用于拍摄图像。
在本发明实施例中，第一摄像头112为低功耗摄像头。低功耗摄像头为一种可持续拍摄的摄像头，具有消耗功率低，能够长时间进行作业的优点。
图8是本发明一实施例所提供的一种健康状态检测方法的流程图，如图8所示，方法应用于具有显示屏和摄像头的电子设备，摄像头包括第一摄像头或者摄像头包括第一摄像头和第二摄像头，该方法包括：
步骤102、当监测到显示屏处于工作状态，控制第一摄像头采集环境图像。
本发明实施例中，如图1和图3所示，当检测单元111检测到显示屏119处于亮屏状态时，则表明显示屏119处于工作状态。当检测单元111检测到显示屏119处于熄屏状态时，则表明显示屏119处于非工作状态。
当检测单元111监测到显示屏119处于工作状态时，检测单元111将检测结果反馈给处理单元114，处理单元114根据检测结果通过健康应用调用第一摄像头112，以控制第一摄像头112采集环境图像1。其中，第一摄像头112为低功耗摄像头，可持续采集环境图像1。
环境图像为第一摄像头112在电子设备100所处的环境中采集到的图像，环境图像可包括人脸图像。
本发明实施例中，在步骤102之前，还包括：
步骤101a、检测电子设备是否安装有健康应用，若是，则执行步骤104，若否，则继续执行步骤101b。
健康应用是用于检测健康状态的应用程序，健康应用安装于电子设备110。
本发明实施例中，处理单元114检测电子设备110是否安装有健康应用，若处理单元114检测出电子设备110安装有健康应用，则表明电子设备110具备健康检测的条件，并继续执行步骤102。
步骤101b、安装健康应用，并继续执行步骤104。
本发明实施例中，当处理单元114检测出电子设备110未安装健康应用之后，首先安装健康应用，并继续执行步骤104。
步骤104、从环境图像中获取检测参数，检测参数包括人脸图像范围、环境的光线亮度和人脸静止不动时长。
本实施例中的步骤104可由图1中的获取模块115执行。
本发明实施例中，步骤104，具体包括：
步骤104a、从环境图像中获取人脸图像范围。
本发明实施例中，从环境图像中获取人脸图像范围，具体包括：从环境图像中识别出人脸区域；识别出人脸区域中的额头区域、脸颊区域以及器官区域；根据额头区域、脸颊区域以及器官区域确定出人脸图像范围。
如图1和图9所示，获取模块115通过机器学习的方式学习人脸特征之后，能够从环境图像1中识别出人脸区域，识别出人脸区域中的额头区域21、脸颊区域22以及器官区域23，并根据额头区域21、脸颊区域22以及器官区域23确定出人脸图像范围2。
步骤104b、从环境图像中获取环境的光线亮度。
本发明实施例中，从环境图像中获取环境的光线亮度，具体包括：从环境图像中识别出光源信息；从光源信息中识别光线亮度。其中，光源信息包括自然光、白炽灯、环境光等光源。
例如：获取模块115能够从环境图像中识别出光源信息为自然光，识别出自然光的光线亮度为10lux。
步骤104c、从环境图像中获取人脸静止不动时长。
本发明实施例中，从环境图像中获取人脸静止不动时长，具体包括：
从第一个环境图像开始执行，获取当前环境图像的人脸区域中的额头区域、脸颊区域以及器官区域的位置；第一个环境图像为当前环境图像；
获取下一个环境图像的人脸区域中的额头区域、脸颊区域以及器官区域的位置；
判断当前环境图像获取的人脸区域中的额头区域、脸颊区域以及器官区域的位置与下一个环境图像获取的人脸区域中的额头区域、脸颊区域以及器官区域的位置是否相同；
若判断出当前环境图像获取的人脸区域中的额头区域、脸颊区域以及器官区域的位置与下一个环境图像获取的人脸区域中的额头区域、脸颊区域以及器官区域的位置相同，将下一个环境图像确定为当前环境图像，并继续执行获取下一个环境图像的人脸区域中的额头区域、脸颊区域以及器官区域的位置的步骤；
若判断出当前环境图像获取的人脸区域中的额头区域、脸颊区域以及器官区域的位置与下一个环境图像获取的人脸区域中的额头区域、脸颊区域以及器官区域的位置不相同，将第一个环境图像的采集时间点与下一个环境图像的前一个环境图像的采集时间点之间的时间段确定为人脸静止不动时长。
在本发明实施例中，第一摄像头112可周期性的采集环境图像，例如，每间隔0.1s采集一次环境图像。例如，第一摄像头112采集环境图像时，第一摄像头112在2s内，共采集了20张环境图像。
例如：获取模块115判断出第1个环境图像获取的人脸区域中的额头区域、脸颊区域以及器官区域的位置与第2个环境图像获取的人脸区域中的额头区域、脸颊区域以及器官区域的位置相同，则继续获取第3个环境图像的获取的人脸区域中的额头区域、脸颊区域以及器官区域的位置。若判断出第2个环境图像获取的人脸区域中的额头区域、脸颊区域以及器官区域的位置和第3个环境图像获取的人脸区域中的额头区域、脸颊区域以及器官区域的位置不相同，将第1个环境图像的采集时间点与第2个环境图像采集时间点之间的时间段确定为人脸静止不动时长。
步骤106、判断人脸图像范围是否位于预设位置范围内、环境的光线亮度是否大于或者等于第一预设阈值且人脸静止不动时长是否大于或者等于第二预设阈值，若是，则执行步骤108；若否，则继续执行步骤102。
本发明实施例中，如图1所示，若判断模块116判断出人脸图像范围位于预设位置范围内、环境的光线亮度大于或者等于第一预设阈值且人脸静止不动时长大于或者等于第二预设阈值，则表明获取的检测参数满足检测条件，可继续执行步骤108；若判断模块116判断出人脸图像范围未位于预设位置范围内、环境的光线亮度小于第一预设阈值且人脸静止不动时长小于第二预设阈值中任意一项检测条件成立，则表明获取的检测参数不满足检测条件，继续执行步骤102。
本发明实施例中，如图9所示，预设位置范围为显示屏119中的圆形框3，其中，圆形框3可以为以人脸的中心位置为圆心、以设定距离为半径的圆形区域。当检测单元111判断出人脸图像范围2位于圆形框3内，则表明人脸图像范围2位于预设位置范围中，第一摄像头112能够采集到完整的人脸图像。可选地，当检测单元111判断出设定范围比例的人脸图像范围2位于圆形框图3内时，其中，设定范围比例为大于80％且小于100％，作为一种可选方法，设定范围比例为90％，表明人脸图像位于预设位置范围中，第一摄像头112能够采集到完整的人脸图像，从而能够降低健康状态检测难度，提高了健康状态检测的效率。
本发明实施例中，第一预设阈值可以为10lux。第一预设阈值可根据历史经验进行设置。当光线亮度大于或者等于10lux时，表明能够清晰的获取到人脸图像，以能够从人脸图像中能够获取到皮下血液流动的信息。
本发明实施例中，第二预设阈值可以为1s。在第一摄像头112采集环境图像的过程中，处理单元114可控制第一摄像头112每隔0.1s采集一次环境图像，处理单元114也可以控制第一摄像头112每隔0.5s采集一次环境图像。若检测单元111判断出第一摄像头112在1s内采集的环境图像中获取的人脸中的额头区域、脸颊区域以及器官区域的位置相同，则表明当前人脸处于静止状态，人脸静止不动时长为1秒。
本发明实施例中，检测条件不限定于上述列举的三个检测条件。本发明实施例中，通过获取上述三个检测参数并判断上述三个检测参数是否满足检测参数对应的检测条件，从而能够判断出电子设备110是否具备进行健康检测的条件，从而提高了健康检测的效率。
步骤108、控制第二摄像头或者第一摄像头采集人脸图像。
本发明实施例中，第二摄像头113包括RGB摄像头。RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。因此RGB摄像头所采集的图像在色彩以及清晰度上优于低功耗摄像头所采集的图像。由于第一摄像头112为低功耗摄像头，存在拍摄质量较低的问题，因此通过第二摄像头113采集人脸图像，能够使得获取到的色彩以及清晰度更高的人脸图像，从而提高人脸图像分析的准确性，提高健康状态检测的效率。
步骤110、将人脸图像输入预先建立的神经网络模型，输出至少一个健康状态数据。
本发明实施例中，至少一个健康状态数据包括皮肤状态、心率、血压或者体脂。作为优选方案，一个健康状态数据可包括状态、心率、血压以及体脂中至少一个。其中，计算模块117可通过第一摄像头112或者第二摄像头113输入的同一个人脸图像，输出这四种健康状态数据，但四种健康状态数据输出的时间不同。例如，在计算模块117中，心率和血压的健康状态数据经过目标模型/规则1171进行大量的计算，因此输出心率和血压的健康状态数据需要花费较长的时间。
本发明实施例中，例如，如图1所示，在处理单元114通过健康应用调用第二摄像头113，以控制第二摄像头113采集人脸图像之后，将人脸图像输入目标模型/规则1171，输出至少一个健康状态数据。在人脸图像输入目标模型/规则1171之后，在目标模型/规则1171中，将获取的人脸图像转化为人脸图像参数后，通过卷积层提取皮肤区域的表现特征，经过池化层处理和全连接层的数字化处理之后生成皮肤区域参数，从而识别出皮肤区域，并通过不同的皮肤区域参数确定出皮肤区域的皮下血液流动图像表现特征。进一步地，在计算模块117的目标模型/规则1171中，建立有皮下血液流动图像表现特征与健康状态数据之间的对应关系，从而根据皮下血液流动图像表现特征输出对应的健康状态数据。
例如，皮下血液流动图像表现特征包括皮下血管颜色变化频率的表现特征。在目标模型/规则1171建立有皮下血液颜色变化频率的表现特征与心率数据的对应关系，即皮下血管颜色每发生一次变化，能够从皮下血液颜色变化频率的表现特征与心率数据的对应关系中获取对应的心率数据，通过连续的皮下血液颜色变化频率的表现特征在频域上的表现，从目标模型/规则1171输出心率数据。例如，获取预设时间段的人脸图像，通过将预设时间段的人脸图像输入目标模型/规则1171后，在目标模型/模型1171中获取预设时间段的皮下血液颜色的表现特征，根据预设时间段内皮下血液颜色变化频率的表现特征在频域上的表现，从目标模型/规则1171输出对应的心率数据，其中心率数据不是一个固定的值，而是根据预设时间段内皮下血液颜色变化频率的表现特征在频域上的表现，输出一个动态的心率数据。例如，预设时间段为10s。
步骤112、判断健康状态数据是否位于预设健康数据范围值，并根据判断结果生成健康状态评估结果。
本发明实施例中，例如，预设健康数据范围的心率健康指数的取值范围包括65至70。而通过步骤112，获取到的心率的健康状态数据为75，因此评估模块118判断出心率的健康状态数据的数值偏高，根据心率偏高的判断结果，给出心率偏高对应的健康状态评估结果。健康状态评估结果包括健康状态评估结论和健康状态评估结论对应的健康状态指导信息。例如，健康状态评估结论包括心率偏高。健康状态指导信息包括少量多餐，避免过饱，吃低热能食物等信息。
本发明实施例中，进一步地，该方法还包括：
步骤114、将至少一个健康状态数据保存至本地数据库，并根据至少一个健康状态数据生成检测报表。
本发明实施例中，处理单元114根据至少一个健康状态数据生成检测报表，以便于用户能够及时了解自身的健康状态数据。
本发明实施例中，在步骤114之后，可选地，该方法还包括：
步骤114’、将至少一个健康状态数据发送至云端服务器，以使云端服务器保存至少一个健康状态数据，并根据至少一个健康状态数据生成检测报表返回给电子设备。
本发明实施例中，通过将健康状态数据保存至云端服务器，以便用户更换电子设备110之后，还可以通过云端服务器查询到历史健康状态数据以及历史检测报表。
本发明实施例提供的技术方案中，通过控制第一摄像头采集环境图像，从环境图像中获取检测参数，若判断出检测参数满足检测参数对应的检测条件，控制第二摄像头或者第一摄像头采集人脸图像，并根据人脸图像生成健康状态数据。本发明实施例通过第一摄像头采集环境图像判断检测参数对应的检测条件，控制第二摄像头或者所述第一摄像头采集人脸图像生成健康状态数据，用户无需手动进行健康状态检测，能够自动进行健康状态检测，从而实现健康状态的无感检测。
图10是本发明一实施例所提供的一种电子设备的结构示意图，应理解，电子设备110能够执行上述健康状态检测方法中的各个步骤，为了避免重复，此处不再详述。电子设备110包括：检测单元801和处理单元802。
检测单元801用于监测所述显示屏是否处于工作状态。处理单元802用于当检出单元802监测到所述显示屏处于工作状态，控制所述第一摄像头采集环境图像；处理单元802还用于从所述环境图像中获取检测参数；处理单元802还用于判断所述检测参数是否满足所述检测参数对应的检测条件；若检测单元判断出所述检测参数满足所述检测参数对应的检测条件，控制所述第二摄像头或者所述第一摄像头采集人脸图像；处理单元802还用于根据所述人脸图像生成至少一个健康状态数据。
在一种可能的实现方式中，所述处理单元802，用于将所述人脸图像输入预先建立的神经网络模型，输出至少一个健康状态数据。。
在一种可能的实现方式中，所述至少一个健康状态数据包括皮肤状态、心率、血压以及体脂中至少一个。
在一种可能的实现方式中，所述检测参数包括环境的光线亮度、人脸图像范围和人脸静止不动时长。
在一种可能的实现方式中，所述处理单元802，用于判断所述人脸图像范围是否位于预设位置范围内、所述环境的光线亮度是否大于或者等于第一预设阈值且所述人脸静止不动时长是否大于或者等于第二预设阈值。
在一种可能的实现方式中，所述处理单元802，用于判断所述健康状态数据是否位于预设健康数据范围值，并根据判断结果生成健康状态评估结果。
在一种可能的实现方式中，所述第一摄像头包括低功耗摄像头。
应理解，这里的信息显示设备110以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(applicationspecific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此，在本发明的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本发明实施例还提供一种电子设备，该电子设备可以是终端设备也可以是内置于所述终端设备的电路设备。该设备可以用于执行上述方法实施例中的功能/步骤。
图11为本发明一实施例提供的另一种电子设备的结构示意图，如图11所示，电子设备900包括处理器910和收发器920。可选地，该电子设备900还可以包括存储器930。其中，处理器910、收发器920和存储器930之间可以通过内部连接通路互相通信，传递控制和/或数据信号，该存储器930用于存储计算机程序，该处理器910用于从该存储器930中调用并运行该计算机程序。
可选地，电子设备900还可以包括天线940，用于将收发器920输出的无线信号发送出去。
上述处理器910可以和存储器930可以合成一个处理装置，更常见的是彼此独立的部件，处理器910用于执行存储器930中存储的程序代码来实现上述功能。具体实现时，该存储器930也可以集成在处理器910中，或者，独立于处理器910。该处理器910可以与图10中设备900中的处理单元802对应。
除此之外，为了使得电子设备900的功能更加完善，该电子设备900还可以包括输入单元960、显示单元970、音频电路980、摄像头990和传感器901等中的一个或多个，所述音频电路还可以包括扬声器982、麦克风984等。其中，显示单元970可以包括显示屏。
可选地，上述电子设备900还可以包括电源950，用于给终端设备中的各种器件或电路提供电源。
应理解，图11所示的电子设备900能够实现图8所示健康状态检测方法实施例的各个过程。电子设备900中的各个模块的操作和/或功能，分别为了实现上述方法实施例中的相应流程。具体可参见上述方法实施例中的描述，为避免重复，此处适当省略详细描述。
应理解，图11所示的电子设备900中的处理器910可以是片上系统(system on achip，SOC)，该处理器910中可以包括中央处理器(central processing unit，CPU)，还可以进一步包括其他类型的处理器，所述CPU可以叫主CPU，神经网络处理器NPU 30作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。各部分处理器配合工作实现之前的方法流程，并且每部分处理器可以选择性执行一部分软件驱动程序。
例如，图8中步骤102至114可以由CPU执行，也可以由DSP执行。
总之，处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在存储器930中。以上NPU30仅用于举例，实际的神经网络功能可以由除了NPU30之外的处理设备代替，如图像处理器(graphics processing unit，GPU)也可用于神经网络的处理，本实施例对此不限定。
本发明还提供了一种计算机存储介质，该计算机存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行如上述图8所示的健康状态检测方法中的各个步骤。
以上各实施例中，涉及的处理器910可以例如包括中央处理器(centralprocessing unit，CPU)、微处理器、微控制器或数字信号处理器，还可包括GPU、NPU和ISP，该处理器还可包括必要的硬件加速器或逻辑处理硬件电路，如特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明技术方案程序执行的集成电路等。此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储器中。
存储器可以是只读存储器(read-only memory，ROM)、可存储静态信息和指令的其它类型的静态存储设备、随机存取存储器(random access memory，RAM)或可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备，或者还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质等。
本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种健康状态检测方法，其特征在于，所述方法应用于具有显示屏和摄像头的电子设备，所述摄像头包括第一摄像头或者所述摄像头包括第一摄像头和第二摄像头；所述方法包括：
当监测到所述显示屏处于工作状态，控制所述第一摄像头采集环境图像；
从所述环境图像中获取检测参数；
判断所述检测参数是否满足所述检测参数对应的检测条件；
若判断出所述检测参数满足所述检测参数对应的检测条件，控制所述第二摄像头或者所述第一摄像头采集人脸图像；
根据所述人脸图像生成至少一个健康状态数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸图像生成至少一个健康状态数据，包括：
将所述人脸图像输入预先建立的神经网络模型，输出至少一个健康状态数据。
3.根据权利要求1所述的方法，其特征在于，所述健康状态数据包括皮肤状态、心率、血压以及体脂中至少一个。
4.根据权利要求1所述的方法，其特征在于，所述检测参数包括环境的光线亮度、人脸图像范围和人脸静止不动时长；
所述判断所述检测参数是否满足所述检测参数对应的检测条件包括：
判断所述人脸图像范围是否位于预设位置范围内、所述环境的光线亮度是否大于或者等于第一预设阈值且所述人脸静止不动时长是否大于或者等于第二预设阈值。
5.根据权利要求1所述的方法，其特征在于，所述根据所述人脸图像生成健康状态数据之后，还包括：
判断所述健康状态数据是否位于预设健康数据范围值，并根据判断结果生成健康状态评估结果。
6.根据权利要求1所述的方法，其特征在于，所述第一摄像头包括低功耗摄像头。
7.一种健康状态检测设备，其特征在于，包括：
显示屏；摄像头，所述摄像头包括第一摄像头或者所述摄像头包括第一摄像头和第二摄像头；一个或多个处理器；存储器；多个应用程序；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行以下步骤：
当监测到所述显示屏处于工作状态，控制所述第一摄像头采集环境图像；
从所述环境图像中获取检测参数；
判断所述检测参数是否满足所述检测参数对应的检测条件；
若判断出所述检测参数满足所述检测参数对应的检测条件，控制所述第二摄像头或者所述第一摄像头采集人脸图像；
根据所述人脸图像生成至少一个健康状态数据。
8.根据权利要求7所述的设备，其特征在于，当所述指令被所述设备执行时，使得所述设备具体执行以下步骤：
将所述人脸图像输入预先建立的神经网络模型，输出至少一个健康状态数据。
9.根据权利要求7所述的设备，其特征在于，所述至少一个健康状态数据包括皮肤状态、心率、血压以及体脂。
10.根据权利要求7所述的设备，其特征在于，当所述指令被所述设备执行时，使得所述设备具体执行以下步骤：
所述判断所述检测参数是否满足所述检测参数对应的检测条件包括：
判断所述人脸图像范围是否位于预设位置范围内、所述环境光线亮度环境的光线亮度是否大于或者等于第一预设阈值且所述人脸静止不动时长是否大于或者等于第二预设阈值。
11.根据权利要求7所述的设备，其特征在于，当所述指令被所述设备执行时，使得所述设备具体执行以下步骤：
判断所述健康状态数据是否位于预设健康数据范围值，并根据判断结果生成健康状态评估结果。
12.根据权利要求7所述的设备，其特征在于，所述第一摄像头包括低功耗摄像头。
13.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至6中任一项所述的健康状态检测方法。
CN202010009254.5A 2020-01-06 2020-01-06 一种健康状态检测方法、设备和计算机存储介质 Pending CN111166290A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010009254.5A CN111166290A (zh) 2020-01-06 2020-01-06 一种健康状态检测方法、设备和计算机存储介质
EP20912646.5A EP4074247B1 (en) 2020-01-06 2020-12-10 Health status test method and device, and computer storage medium
PCT/CN2020/135090 WO2021139471A1 (zh) 2020-01-06 2020-12-10 一种健康状态检测方法、设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010009254.5A CN111166290A (zh) 2020-01-06 2020-01-06 一种健康状态检测方法、设备和计算机存储介质

Publications (1)

Publication Number Publication Date
CN111166290A true CN111166290A (zh) 2020-05-19

Family

ID=70619419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010009254.5A Pending CN111166290A (zh) 2020-01-06 2020-01-06 一种健康状态检测方法、设备和计算机存储介质

Country Status (3)

Country Link
EP (1) EP4074247B1 (zh)
CN (1) CN111166290A (zh)
WO (1) WO2021139471A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951954A (zh) * 2020-08-10 2020-11-17 中国平安人寿保险股份有限公司 身体健康状态检测方法、装置、可读存储介质及终端设备
CN111938615A (zh) * 2020-07-31 2020-11-17 维沃移动通信有限公司 健康参数采集方法、装置及电子设备
CN112651947A (zh) * 2020-12-30 2021-04-13 深兰科技（上海）有限公司 飞行器的控制方法、装置、飞行器及计算机可读存储介质
CN112861788A (zh) * 2021-03-10 2021-05-28 中电健康云科技有限公司 基于脸色识别技术判断健康状况的方法
WO2021139471A1 (zh) * 2020-01-06 2021-07-15 华为技术有限公司 一种健康状态检测方法、设备和计算机存储介质
CN114822832A (zh) * 2021-01-28 2022-07-29 北京小米移动软件有限公司 一种健康状态监测方法、装置、电子设备及存储介质
CN116363721A (zh) * 2021-12-28 2023-06-30 哲库科技(上海)有限公司 设备操作模式切换方法及相关装置
JP7348448B1 (ja) 2022-06-01 2023-09-21 株式会社 サティス製薬 Ａｉ肌水分量解析方法、装置、またはシステムおよび学習済みａｉ肌水分量解析モデル
JP2023166041A (ja) * 2022-05-08 2023-11-20 知行 宍戸 Ａｉ肌解析方法、装置、またはシステム、およびスキンユニット同定ａｉモデル訓練方法または肌特徴解析ａｉモデル訓練方法、並びに学習済みスキンユニット同定ａｉモデルまたは学習済み肌特徴解析ａｉモデル
CN118692679A (zh) * 2024-08-23 2024-09-24 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) 一种基于环境图像的生理健康状态评估方法、装置和介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113669375B (zh) * 2021-09-02 2023-05-16 武汉联影医疗科技有限公司 动压滑动轴承的使用情况确定方法、系统、装置
CN113904956B (zh) * 2021-10-29 2023-04-25 新华三大数据技术有限公司 一种网络健康度检测方法、装置、电子设备及存储介质
CN114496240A (zh) * 2021-12-16 2022-05-13 珠海格力电器股份有限公司 一种食谱推荐方法、装置、计算机设备及存储介质
CN115507519A (zh) * 2022-09-29 2022-12-23 青岛海尔空调器有限总公司 用于空调器监控的方法及装置、空调器、存储介质
CN115798021B (zh) * 2023-01-31 2023-04-18 中国民用航空飞行学院 一种飞行员航前异常状态检测方法及系统
CN119235315B (zh) * 2024-12-04 2025-04-11 江苏微桔智能科技有限公司 一种基于ai的非接触式生理与心理健康检测装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160307030A1 (en) * 2014-09-03 2016-10-20 Samet Privacy, Llc Image processing apparatus for facial recognition
CN107730445A (zh) * 2017-10-31 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN108509905A (zh) * 2018-03-30 2018-09-07 百度在线网络技术（北京）有限公司 健康状态评估方法、装置、电子设备及存储介质
CN108875546A (zh) * 2018-04-13 2018-11-23 北京旷视科技有限公司 人脸身份验证方法、系统及存储介质
CN109151180A (zh) * 2018-07-27 2019-01-04 维沃移动通信有限公司 一种对象识别方法及移动终端

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101901591B1 (ko) * 2011-11-01 2018-09-28 삼성전자주식회사 얼굴 인식 장치 및 그 제어방법
KR102420100B1 (ko) * 2014-03-14 2022-07-13 삼성전자주식회사 건강 상태 정보를 제공하는 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
CN106210532B (zh) * 2016-07-29 2019-10-11 宇龙计算机通信科技(深圳)有限公司 一种拍照处理方法及终端设备
CN108335749A (zh) * 2018-01-26 2018-07-27 首都师范大学 抑郁症数据分析方法及装置
CN108399364A (zh) * 2018-01-29 2018-08-14 杭州美界科技有限公司 一种主副摄像头设置的脸部状态评估方法
KR102487926B1 (ko) * 2018-03-07 2023-01-13 삼성전자주식회사 심장 박동을 측정하기 위한 전자 장치 및 방법
CN108734676B (zh) * 2018-05-21 2020-12-01 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109363634A (zh) * 2018-10-08 2019-02-22 蔡义文 皮肤的测评方法、装置、手机、计算机设备及存储介质
CN110049240B (zh) * 2019-04-03 2021-01-26 Oppo广东移动通信有限公司 摄像头控制方法、装置、电子设备和计算机可读存储介质
CN110134316B (zh) * 2019-04-17 2021-12-24 华为技术有限公司 模型训练方法、情绪识别方法及相关装置和设备
CN111166290A (zh) * 2020-01-06 2020-05-19 华为技术有限公司 一种健康状态检测方法、设备和计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160307030A1 (en) * 2014-09-03 2016-10-20 Samet Privacy, Llc Image processing apparatus for facial recognition
CN107730445A (zh) * 2017-10-31 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN108509905A (zh) * 2018-03-30 2018-09-07 百度在线网络技术（北京）有限公司 健康状态评估方法、装置、电子设备及存储介质
CN108875546A (zh) * 2018-04-13 2018-11-23 北京旷视科技有限公司 人脸身份验证方法、系统及存储介质
CN109151180A (zh) * 2018-07-27 2019-01-04 维沃移动通信有限公司 一种对象识别方法及移动终端

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021139471A1 (zh) * 2020-01-06 2021-07-15 华为技术有限公司 一种健康状态检测方法、设备和计算机存储介质
CN111938615A (zh) * 2020-07-31 2020-11-17 维沃移动通信有限公司 健康参数采集方法、装置及电子设备
CN111951954A (zh) * 2020-08-10 2020-11-17 中国平安人寿保险股份有限公司 身体健康状态检测方法、装置、可读存储介质及终端设备
CN112651947A (zh) * 2020-12-30 2021-04-13 深兰科技（上海）有限公司 飞行器的控制方法、装置、飞行器及计算机可读存储介质
CN114822832A (zh) * 2021-01-28 2022-07-29 北京小米移动软件有限公司 一种健康状态监测方法、装置、电子设备及存储介质
CN112861788A (zh) * 2021-03-10 2021-05-28 中电健康云科技有限公司 基于脸色识别技术判断健康状况的方法
CN116363721A (zh) * 2021-12-28 2023-06-30 哲库科技(上海)有限公司 设备操作模式切换方法及相关装置
JP2023166041A (ja) * 2022-05-08 2023-11-20 知行 宍戸 Ａｉ肌解析方法、装置、またはシステム、およびスキンユニット同定ａｉモデル訓練方法または肌特徴解析ａｉモデル訓練方法、並びに学習済みスキンユニット同定ａｉモデルまたは学習済み肌特徴解析ａｉモデル
JP7505714B2 (ja) 2022-05-08 2024-06-25 知行 宍戸 褥瘡痕を含む皮膚のａｉ肌解析方法、装置、またはシステム、およびスキンユニット同定ａｉモデル
JP7348448B1 (ja) 2022-06-01 2023-09-21 株式会社 サティス製薬 Ａｉ肌水分量解析方法、装置、またはシステムおよび学習済みａｉ肌水分量解析モデル
JP2023176831A (ja) * 2022-06-01 2023-12-13 株式会社 サティス製薬 Ａｉ肌水分量解析方法、装置、またはシステムおよび学習済みａｉ肌水分量解析モデル
CN118692679A (zh) * 2024-08-23 2024-09-24 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) 一种基于环境图像的生理健康状态评估方法、装置和介质

Also Published As

Publication number Publication date
WO2021139471A1 (zh) 2021-07-15
EP4074247A4 (en) 2023-02-01
EP4074247B1 (en) 2025-11-26
EP4074247A1 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
CN111166290A (zh) 一种健康状态检测方法、设备和计算机存储介质
CN113284054B (zh) 图像增强方法以及图像增强装置
US20210166066A1 (en) Image processing system and image processing method
Frintrop et al. Computational visual attention systems and their cognitive foundations: A survey
CN110110653A (zh) 多特征融合的情绪识别方法、装置和存储介质
US20220067519A1 (en) Neural network synthesis architecture using encoder-decoder models
Yu et al. An object-based visual attention model for robotic applications
JP2018190332A (ja) 画像認識装置および学習装置
CN117935339A (zh) 一种基于多模态融合的微表情识别方法
CN109074652A (zh) 图像识别装置、移动体装置以及图像识别程序
CN112487844A (zh) 手势识别方法、电子设备、计算机可读存储介质和芯片
CN106951870A (zh) 主动视觉注意的监控视频显著事件智能检测预警方法
CN114339054A (zh) 拍照模式的生成方法、装置和计算机可读存储介质
CN108363964A (zh) 一种预先处理的皮肤皱纹评估方法及系统
US20250166536A1 (en) Night mode for xr systems
CN115624322A (zh) 一种基于高效时空建模的非接触生理信号检测方法及系统
CN114303117A (zh) 使用离轴相机的眼睛跟踪和注视估计
Wang et al. MetaScleraSeg: an effective meta-learning framework for generalized sclera segmentation
US20220237894A1 (en) Surface recognition
CN117056786A (zh) 非接触式应激状态识别方法与系统
Letsch et al. Localizing salient body motion in multi-person scenes using convolutional neural networks
Lin et al. Remote physiological measurement with multiscale feature extraction and global attention module
Zheng et al. Hand-over-face occlusion and distance adaptive heart rate detection based on imaging photoplethysmography and pixel distance in online learning
Sugumar Diagnosing Diabetic Retinopathy from Retinal Fundus Images Using Internet of Things and AI Deep Learning
Athif et al. Face mask detection under low light condition using convolutional neural network (CNN)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200519

RJ01 Rejection of invention patent application after publication