CN106600903A - 一种基于图像识别的预警方法及装置 - Google Patents

Abstract

本发明公开了一种基于图像识别的预警方法及装置，该方法通过采集人脸图像序列，提取人眼开合高度序列，并滤除人眼开合高度序列中正常眨眼时的无效人眼开合高度，获取有效的人眼开合高度序列，最后根据有效的人眼开合高度序列，结合预设的模型计算用户的专注度相关值，当该专注度相关值低于设定的判定阈值时，判定用户专注度低，进行报警。该装置包括图像处理模块、过滤模块和预警模块。本发明的方法及装置，适用面广，同时用户的体验也会更好。

Description

一种基于图像识别的预警方法及装置

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于图像识别的预警方法及装置。

背景技术

人脸识别技术用于从图形图像中提取用户的五官物理信息，如人脸，人嘴，人眼等等，被广泛应用于汽车、手机、监控摄像头等平台上，达到了较为成熟的水平，识别率高达90％以上。但该技术仅用于提取人的物理信息，而无法提取用户的疲劳度专注度等。

目前的现有技术中，主要通过使用硬件传感器来感知用户的一些信息，如针对驾驶员，使用握力传感器在方向盘上，感知用户是否没有握方向盘，或者握力下降，以此判断用户注意力不在开车上，从而实现报警。或者在用户身上穿戴倾角传感器，感知用户的身体位置和倾斜角度，以此判断用户的疲劳度，实现报警。

可见，现有技术方案的实现是依赖于硬件，如传感器等。使用硬件来检测用户专注和疲劳度，有以下的一些缺点：

应用门槛高，需要安装传感器，显然不是每个用户都会接受，造价成本也会很高；

应用局限性大，如握力传感器，只适合驾驶员，而倾斜角度传感器，只适合那些坐直坐正的用户，倘若用户必须躺着进行工作，或者倾斜着工作，传感器很难使用，而对那些有固有身体缺陷的用户来说，就更不准确了；

个别传感器还需要随身携带，用户显然难以接受，普及成本就会更大。

发明内容

本发明提供了一种基于图像识别的预警方法及装置，通过图像处理来识别检测用户专注度疲劳度并进行预警，避免了采用硬件传感器所带来的上述技术问题，适用面更广，用户体验更好。

为了实现上述目的，本发明技术方案如下：

一种基于图像识别的预警方法，其特征在于，所述方法包括：

采集人脸图像序列，提取人眼开合高度序列；

滤除人眼开合高度序列中正常眨眼时的无效人眼开合高度，获取有效的人眼开合高度序列；

根据有效的人眼开合高度序列，结合预设的模型计算用户的专注度相关值，当该专注度相关值低于设定的判定阈值时，判定用户专注度低，进行报警。

进一步地，所述滤除人眼开合高度序列中正常眨眼时的无效人眼开合高度，包括：

根据人体眨眼的时间设置时间框；

使用设置的时间框在所述人眼开合高度序列上滑动，计算时间框内的人眼开合高度变化频率；

在时间框内的人眼开合高度变化频率大于设定的阈值时，删除时间框内的人眼开合高度值。

本发明的一种实现方式，所述根据有效的人眼开合高度序列，结合预设的模型计算用户的专注度相关值，包括：

根据采集的用户正常状态下的人脸图像序列，提取人眼开合高度序列，计算出该用户正常状态下的人眼开合高度H，并且以H/2作为判断用户是否专注度低的人眼开合高度阈值f；

根据预设的模型计算用户的专注度相关值，公式如下：

Q＝(H1+H2+…+Hm)/mf

其中，Q为专注度相关值，H1～Hm为有效的人眼开合高度序列，m为有效的人眼开合高度序列中人眼开合高度值的数量。

本发明的另一种实现方式，所述采集人脸图像序列，提取人眼开合高度序列，还包括：

提取人脸图像中的人眼数量。

则，所述根据有效的人眼开合高度序列，结合预设的模型计算用户的专注度相关值，包括：

根据采集的用户正常状态下的人脸图像序列，提取人眼开合高度序列，计算出该用户正常状态下的人眼开合高度H，并且以H/2作为判断用户是否专注度低的人眼开合高度阈值f；

根据预设的模型计算用户的专注度相关值，公式如下：

Q＝y*(H1+H2+…+Hm)/mf

其中，Q为专注度相关值，H1～Hm为有效的人眼开合高度序列，m为有效的人眼开合高度序列中人眼开合高度值的数量，y为识别出的人眼数量。

本发明还提出了一种基于图像识别的预警装置，所述装置包括：

图像处理模块，用于采集人脸图像序列，提取人眼开合高度序列；

过滤模块，用于滤除人眼开合高度序列中正常眨眼时的无效人眼开合高度，获取有效的人眼开合高度序列；

预警模块，用于根据有效的人眼开合高度序列，结合预设的模型计算用户的专注度相关值，当该专注度相关值低于设定的判定阈值时，判定用户专注度低，进行报警。

本发明提出的一种基于图像识别的预警方法及装置，基于图像来进行检测用户专注度和疲劳度，在智能手机普及的今天，高清的摄像头是附带在手机上的，因此硬件几乎不需要用户额外的扩充成本，普及度也高；同时图像识别度非常的高，针对的是用户面部进行处理分析，用户的身体位置，力度等，都无需关心。因此本发明适用面会更广，波及的用户群几乎不受限制，只要脸部无残疾即可，同时用户的体验也会更好。

附图说明

图1为正常状态人眼开合高度变化示意图；

图2为人在专注度低状态时的人眼开合高度变化示意图；

图3为人在睡眠状态时的人眼开合高度变化示意图；

图4为本发明基于图像识别的预警方法流程图；

图5为本发明滤除无效人眼开合高度的示意图；

图6为本发明基于图像识别的装置结构示意图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

本发明的总体思路是通过人脸图像识别，得到人眼开合高度，从而根据人在正常状态时和专注度低状态时的人眼开合高度的差异，来判断人的专注度和疲劳度，并根据判断结果发出预警。

通过采集一系列的人脸图像序列，识别出对应的人眼开合高度，以人眼开合高度为Y轴，以时间或人脸图像序列号为X轴，可以得到人眼开合高度变化的图形。其中人在正常状态时的人眼开合高度变化如图1所示，人在专注度低状态时的人眼开合高度变化如图2所示，而人在极端专注度低直至进入睡眠状态时的人眼开合高度变化如图3所示。可见人眼开合高度在不同的精神状态下发生了明显的变化，可以根据这些变化来识别人的精神状态，从而在适当的时候发出警报。例如在开车时，当识别出驾驶员出现专注度低状态，立刻发出警报，提醒驾驶员停车休息。

由于不同的人的人眼开合高度具有差异，因此对于不同的用户，首先需要根据用户的人脸图像训练得到该用户在正常时的人眼开合高度，作为后续判定的基础。

根据用户的人脸图像识别人眼信息可以通过adaboost算法、对称变换法、霍夫变换法、特殊光源法、基于统计的方法、灰度投影法和基于模板的方法等等进行。本实施例对大量的人脸图像进行人工标注关键点，通过训练获取训练模版，当输入待识别的人脸图像后，经过训练模版匹配计算出待识别人脸图像中的识别关键点，从而获取人眼的位置信息，识别率由训练数据质量和来源图像的质量决定。

例如，通过上述方法可以获得人眼在人脸图像中的位置，即二维人脸图像中XY坐标数值，可以识别的内容包括：左眼瞳孔、左眼左眼角、左眼右眼角、左眼上部最高处、左眼下部最低处、左眼左眼角与左眼上部最高处的等分点、左眼左眼角与左眼下部最低处的等分点、左眼右眼角与左眼上部最高处的等分点、左眼右眼角与左眼上部最低处的等分点；右眼瞳孔、右眼左眼角、右眼右眼角、右眼上部最高处、右眼下部最低处、右眼左眼角与右眼上部最高处的等分点、右眼左眼角与右眼下部最低处的等分点、右眼右眼角与右眼上部最高处的等分点、右眼右眼角与右眼上部最低处的等分点。

从而可以根据上面的坐标信息，算出人眼开合高度为h，即人眼最大的Y坐标减去最小的Y坐标所得。

本实施例通过采集用户正常状态下的n张人脸图像，分别计算出对应的人眼开合高度H1，H2，…，Hn，以它们的均值作为该用户正常状态下的人眼开合高度H，并且以H/2作为判断用户是否专注度低的人眼开合高度阈值f：

f＝(H1+H2+…+Hn)/2n

从而可以通过识别人脸图像计算得到人眼开合高度，与阈值f进行比较，来判断用户的专注度和疲劳度。

如图4所示，本实施例一种基于图像识别的预警方法，包括：

步骤S1、采集人脸图像序列，提取人眼开合高度序列。

目前智能手机、智能平板以及其他带有摄像头的设备日渐普及，通过摄像头采集人脸图像变得越来越方便，例如汽车上安装行车记录仪来采集驾驶员的人脸图像，或通过监控摄像头采集人脸图像等。

本实施例为了分析当前的用户状态，以设定的时间周期T采集人脸图像序列来进行分析。而对人脸图像序列进行图像识别，获取对应的人眼开合高度信息，在上文已经进行阐述，这里不再赘述。

从而能够根据获得的人眼开合高度序列，绘制出人眼开合高度随时间变化的图形。

步骤S2、滤除人眼开合高度序列中正常眨眼时的无效人眼开合高度，获取有效的人眼开合高度序列。

人在正常状态下都会有眨眼睛的动作，眨眼睛会引起眼睛的闭合，造成识别出的人眼开合高度发生变化，但这并不是由于人体的专注度低和疲劳造成的，是人体的正常反应，应该在识别出的人眼开合序列中删除相应的值。

本实施例滤除人眼开合高度序列中正常眨眼时的无效人眼开合高度，包括：

根据人体眨眼的时间设置时间框；

使用设置的时间框在人眼开合高度序列上滑动，计算时间框内的人眼开合高度变化频率；

在时间框内的人眼开合高度变化频率大于设定的阈值时，删除时间框内的人眼开合高度值。

如图5所示，当高度的波形骤升骤降时，是眨眼动作。图表上表示为频率快，反之则是专注度低，因此需要过滤掉这些骤升骤降的波形对应的人眼开合高度值。本实施例利用其频率变化快的特点，即可过滤掉。人体眨眼一般要0.3-0.4秒，因此以0.4秒为框，在坐标X轴上从左往右移动，每移动0.1秒，对框内的人眼开合高度变化频率进行计算，如果在这个区间内，高度从很高到很低，再从很低到很高，即变化频率快，那么这个区间即为眨眼，这个框内的人眼开合高度，即可去除。图5中眨眼区域内人眼开合高度值，可去除，从而避免人正常眨眼对识别准确率的影响。

需要说明的是，对于计算用户正常状态时的人眼开合高度H，也需要对人体眨眼进行过滤，滤除人眼开合高度序列中正常眨眼时的无效人眼开合高度，这里不再赘述。

步骤S3、根据有效的人眼开合高度序列，结合预设的模型计算用户的专注度相关值，当该专注度相关值低于设定的判定阈值时，判定用户专注度低，进行报警。

假设对于在时间周期T内采集的人脸图像，经过识别和过滤后，得到m个有效的人眼开合高度，根据如下模型计算用户的专注度相关值Q：

Q＝(H1+H2+…+Hm)/mf

如前文所述，f为人眼开合高度阈值，通常设定f为正常状态下人眼开合高度的一半。可见当Q等于2时，有效的人眼开合高度的均值与用户在正常状态时的人眼开合高度均值相等，在Q等于1时，有效的人眼开合高度的均值下降到正常状态时的人眼开合高度均值的一半。

因此设置合适的判定阈值，就可以根据计算得到的Q值，判断用户的当前状态，本实施例设置Q值的判定阈值为1，如果大于1则判定为用户在正常的状态，否则判定用户的专注度不够，需要报警提醒。

容易理解的是，判定阈值的取值根据实际应用来进行设置，一般取值在0.8～1.2之间。

优选地，还可以加入识别出的人眼个数y作为模型的参数，即按照如下模型计算用户的专注度相关值Q：

Q＝y*(H1+H2+…+Hm)/mf

其中人眼个数y＝(0，1，2)，y＝1，代表识别了单眼，y＝2识别了双眼，y＝0无法识别任何眼睛。

也就是说，当用户偏离镜头，完全或者部分无法检测眼睛时(如驾驶员未正视前方，而导致无法识别出眼睛)，即y值小于2，会直接导致专注度相关值降低，需要报警；或当用户专注度低，眨眼频率降低，专注度相关值持续低于判定阀值，需要报警；或当用户睡着时，会导致无法检测眼睛或者人眼开合高度大大小于阀值，计算的专注度相关值降低，需要报警。

如图6所示，基于上述方法，本实施例还提出了一种基于图像识别的预警装置，该装置包括：

图像处理模块，用于采集人脸图像序列，提取人眼开合高度序列；

过滤模块，用于滤除人眼开合高度序列中正常眨眼时的无效人眼开合高度，获取有效的人眼开合高度序列；

预警模块，用于根据有效的人眼开合高度序列，结合预设的模型计算用户的专注度相关值，当该专注度相关值低于设定的判定阈值时，判定用户专注度低，进行报警。

对应于上述基于图像识别的预警方法，过滤模块在滤除人眼开合高度序列中正常眨眼时的无效人眼开合高度时，执行如下操作：

根据人体眨眼的时间设置时间框；

使用设置的时间框在所述人眼开合高度序列上滑动，计算时间框内的人眼开合高度变化频率；

在时间框内的人眼开合高度变化频率大于设定的阈值时，删除时间框内的人眼开合高度值。

对应于上述基于图像识别的预警方法，预警模块根据有效的人眼开合高度序列，结合预设的模型计算用户的专注度相关值，执行如下操作：

根据采集的用户正常状态下的人脸图像序列，提取人眼开合高度序列，计算出该用户正常状态下的人眼开合高度H，并且以H/2作为判断用户是否专注度低的人眼开合高度阈值f；

根据预设的模型计算用户的专注度相关值，公式如下：

Q＝(H1+H2+…+Hm)/mf

其中，Q为专注度相关值，H1～Hm为有效的人眼开合高度序列，m为有效的人眼开合高度序列中人眼开合高度值的数量。

进一步地，图像处理模块还用于提取人脸图像中的人眼数量。则预警模块根据有效的人眼开合高度序列，结合预设的模型计算用户的专注度相关值，执行如下操作：：

根据采集的用户正常状态下的人脸图像序列，提取人眼开合高度序列，计算出该用户正常状态下的人眼开合高度H，并且以H/2作为判断用户是否专注度低的人眼开合高度阈值f；

根据预设的模型计算用户的专注度相关值，公式如下：

Q＝y*(H1+H2+…+Hm)/mf

其中，Q为专注度相关值，H1～Hm为有效的人眼开合高度序列，m为有效的人眼开合高度序列中人眼开合高度值的数量，y为识别出的人眼数量。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于图像识别的预警方法，其特征在于，所述方法包括：

采集人脸图像序列，提取人眼开合高度序列；

滤除人眼开合高度序列中正常眨眼时的无效人眼开合高度，获取有效的人眼开合高度序列；

根据有效的人眼开合高度序列，结合预设的模型计算用户的专注度相关值，当该专注度相关值低于设定的判定阈值时，判定用户专注度低，进行报警。

2.根据权利要求1所述的基于图像识别的预警方法，其特征在于，所述滤除人眼开合高度序列中正常眨眼时的无效人眼开合高度，包括：

根据人体眨眼的时间设置时间框；

使用设置的时间框在所述人眼开合高度序列上滑动，计算时间框内的人眼开合高度变化频率；

在时间框内的人眼开合高度变化频率大于设定的阈值时，删除时间框内的人眼开合高度值。

3.根据权利要求1所述的基于图像识别的预警方法，其特征在于，所述根据有效的人眼开合高度序列，结合预设的模型计算用户的专注度相关值，包括：

根据采集的用户正常状态下的人脸图像序列，提取人眼开合高度序列，计算出该用户正常状态下的人眼开合高度H，并且以H/2作为判断用户是否专注度低的人眼开合高度阈值f；

根据预设的模型计算用户的专注度相关值，公式如下：

Q＝(H1+H2+…+Hm)/mf

其中，Q为专注度相关值，H1～Hm为有效的人眼开合高度序列，m为有效的人眼开合高度序列中人眼开合高度值的数量。

4.根据权利要求1所述的基于图像识别的预警方法，其特征在于，所述采集人脸图像序列，提取人眼开合高度序列，还包括：

提取人脸图像中的人眼数量。

5.根据权利要求4所述的基于图像识别的预警方法，其特征在于，所述根据有效的人眼开合高度序列，结合预设的模型计算用户的专注度相关值，包括：

根据采集的用户正常状态下的人脸图像序列，提取人眼开合高度序列，计算出该用户正常状态下的人眼开合高度H，并且以H/2作为判断用户是否专注度低的人眼开合高度阈值f；

根据预设的模型计算用户的专注度相关值，公式如下：

Q＝y*(H1+H2+…+Hm)/mf

其中，Q为专注度相关值，H1～Hm为有效的人眼开合高度序列，m为有效的人眼开合高度序列中人眼开合高度值的数量，y为识别出的人眼数量。

6.一种基于图像识别的预警装置，其特征在于，所述装置包括：

图像处理模块，用于采集人脸图像序列，提取人眼开合高度序列；

过滤模块，用于滤除人眼开合高度序列中正常眨眼时的无效人眼开合高度，获取有效的人眼开合高度序列；

预警模块，用于根据有效的人眼开合高度序列，结合预设的模型计算用户的专注度相关值，当该专注度相关值低于设定的判定阈值时，判定用户专注度低，进行报警。

7.根据权利要求6所述的基于图像识别的预警装置，其特征在于，所述过滤模块在滤除人眼开合高度序列中正常眨眼时的无效人眼开合高度时，执行如下操作：

根据人体眨眼的时间设置时间框；

使用设置的时间框在所述人眼开合高度序列上滑动，计算时间框内的人眼开合高度变化频率；

在时间框内的人眼开合高度变化频率大于设定的阈值时，删除时间框内的人眼开合高度值。

8.根据权利要求6所述的基于图像识别的预警装置，其特征在于，所述预警模块根据有效的人眼开合高度序列，结合预设的模型计算用户的专注度相关值，执行如下操作：

根据采集的用户正常状态下的人脸图像序列，提取人眼开合高度序列，计算出该用户正常状态下的人眼开合高度H，并且以H/2作为判断用户是否专注度低的人眼开合高度阈值f；

根据预设的模型计算用户的专注度相关值，公式如下：

Q＝(H1+H2+…+Hm)/mf

其中，Q为专注度相关值，H1～Hm为有效的人眼开合高度序列，m为有效的人眼开合高度序列中人眼开合高度值的数量。

9.根据权利要求6所述的基于图像识别的预警装置，其特征在于，所述图像处理模块还用于提取人脸图像中的人眼数量。

10.根据权利要求9所述的基于图像识别的预警装置，其特征在于，所述预警模块根据有效的人眼开合高度序列，结合预设的模型计算用户的专注度相关值，执行如下操作：：

根据采集的用户正常状态下的人脸图像序列，提取人眼开合高度序列，计算出该用户正常状态下的人眼开合高度H，并且以H/2作为判断用户是否专注度低的人眼开合高度阈值f；

根据预设的模型计算用户的专注度相关值，公式如下：

Q＝y*(H1+H2+…+Hm)/mf

其中，Q为专注度相关值，H1～Hm为有效的人眼开合高度序列，m为有效的人眼开合高度序列中人眼开合高度值的数量，y为识别出的人眼数量。