CN105023005A - 人脸识别装置及其识别方法 - Google Patents

Abstract

一种人脸识别装置及其识别方法，该装置直接连接主机或终端，具有独立工作的辨识人脸图像、以确认该人脸图像的身份的功能；设有四个部件：双摄像头、人脸识别处理器模块、人脸样本数据库模块和通讯模块。其识别方法包括三个操作步骤：配置、识别、信息传递与接收。装置结构简单，一体化地解决了现有技术的三项缺陷：自带双摄像头，解决摄像头的统一性问题；并依托双摄像头解决了活体检测的技术瓶颈，使得人脸识别安全、可靠，能够实际应用于互联网场景。主机或终端只需要插上本装置(或直接装设在主机或终端内部)，再安装相应的密钥解密功能模块，就可直接读取人脸识别的身份和活体检测结果，从而实现人脸识别技术的真正实用化和普及化。

Description

人脸识别装置及其识别方法

技术领域

本发明涉及一种人脸识别装置及其识别方法，属于计算机视觉图像识别的技术领域。

背景技术

自动识别人脸的技术或设备，在公共安全、智能监控、数字身份认证、电子商务、多媒体和数字娱乐等许多领域都具有巨大的应用价值和广泛的应用市场；同时，因为人脸识别的研究涉及的学科众多，具有重要的理论研究价值，受到各国政府、科研单位以及军事、安全、情报部门的广泛关注和高度重视。

经过几十年的研究，人脸识别已经取得了长足的发展与进步。尤其是最近十年间，以“人脸”为对象的计算机视觉研究已经成为一个极其重要、研究方向众多并有着广泛应用前景的学术和科技领域。其中，人脸检测识别技术是计算机自动处理人脸图像的前端工作，如何在复杂背景下，处理各种不同光照、姿态与表情变化多端的人脸检测与识别的问题已经得到了较好的解决。当前研究表明，计算机已经具备实时检测出图像中的人脸功能，并且人脸检测算法已经达到较高的性能。同样受到广泛关注的还有针对人脸识别的研究，近十年间涌现出了很多的研究方法和成果。从各种机构与组织的人脸识别评测结果可以看到，受控条件下的人脸识别率已经有了大幅度的提高，这预示着人脸识别将会有广泛的应用前景。“人脸”作为计算机视觉中一个非常重要的研究对象，其研究成果推动着研究产业化的逐步实现，而市场越来越多的实际应用需求，又对“人脸”的相关研究提出了越来越高的性能要求与标准。当前很热的互联网金融也将人脸识别作为一种可靠性值得信赖的身份认证方式。其次，不同主机或终端运行的人脸识别功能模块通常都需要分别进行相应的二次开发，这就需要开发者具有相当的软件研发能力。然而在许多应用场景下，使用者并不具有软件开发能力，导致不同环境下的人脸识别功能模块的开发也存在很大问题，限制了推广应用。再次，活体检测功能对于人脸识别技术真正走向实用是个十分关键的环节，能否确实防止利用照片或视频来伪造人脸，对人脸识别的实用化过程中的安全性保障起着至关重要的决定作用。

目前基于单摄像头的活体检测算法都无法真正做到准确无误的活体检测。真正可靠、有效的活体检测方法需要多摄像头配合协作运行，然而，目前的主机或终端往往是只安装配置了单一摄像头，造成活体检测成为限制人脸识别功能推广应用的瓶颈。为了解决人脸自动识别技术的上述三个现有缺陷，许多计算机行业的科技人员都在进行广泛的研究和试验。

发明内容

有鉴于此，本发明的目的是提供一种人脸识别装置及其识别方法，本发明人脸识别装置利用专设功能模块和相关部件的组合，能够较好地一体化解决现有技术中三项技术缺陷：只配置单摄像头、需要软件二次开发和不能可靠确认与完成活体检测的问题，从而实现了人脸识别技术的真正实用化。

为了达到上述目的，本发明提供了一种人脸识别装置，其特征在于：该装置直接连接在主机或终端上，具有独立工作的辨识人脸图像、以确认该人脸图像的身份的功能；设有：双摄像头、人脸识别处理器模块、人脸样本数据库模块和通讯模块共四个组成部件；其中：

双摄像头，分别为可见光摄像头和近红外摄像头，用于分别获取人脸的可见光照片和近红外照片，以供进行人脸检测和人脸识别，确认每个人脸图像的身份；人脸的可见光照片和近红外照片还能够相互配合，一起用于活体检测与判断；

人脸样本数据库存储器，用于存储人脸图像和/或从人脸图像中提取的人脸特征数据、以及其身份数据，以供人脸识别处理模块调用匹配，进行人脸检测和人脸识别，确认每个人脸图像的身份；

人脸识别处理器模块，负责接收双摄像头传送来的人脸照片，再与人脸样本数据库内存储的人脸图像和/或从人脸图像中提取的人脸特征数据进行匹配检测，以判断确认该人脸图像的身份；并将检测判断结果经由通讯模块发送给主机或终端；设有：人脸检测、人脸识别、活体检测、私钥加密、以及接收主机控制信号和信息共五个单元；

通讯模块，负责该装置与主机或终端的信息交互功能；设有包括USB、串口和SPI总线中的一个或多个接口，其用直接连接方式连接主机或终端，以使具备不同接口的各种主机或终端都能连接该装置而具备人脸识别功能。

为了达到上述目的，本发明还提供了一种采用本发明人脸识别装置的识别方法，其特征在于：所述方法包括下列操作步骤：

步骤1，人脸识别装置直接连接主机或终端，再配置人脸样本数据库的人脸图像和/或从人脸图像中提取的人脸特征数据、以及其身份信息，还要配置各种预置参数；

步骤2，人脸识别装置进行人脸识别和活体检测；

步骤3，人脸识别装置将检测辨识结果加密传递给主机或终端，主机或终端接收该识别结果执行相应操作。

本发明人脸识别装置的应用场合十分广泛，适用于任何一台需要具备人脸识别功能的主机或终端，几乎适用于未来的金融、公共安全、智能监控、数字身份认证、电子商务和数字娱乐、多媒体等许多领域。下面例举几个具体的应用场合：移动支付场景中的各种收款终端，在执行互联网支付时，添置人脸识别功能进行付款方的身份验证。ATM取款时，进行取款人的身份验证。机场、海关、车站等各个通关口或单位、学校小区的出入口的身份识别。

本发明人脸识别装置的创新优点是：该装置的结构简单、创新，自带双摄像头，不再需要主机配备摄像头，解决了摄像头的统一性问题；同时，依托双摄像头较好地解决了活体检测的技术瓶颈，使得人脸识别能够更加安全、可靠，并真正地实际应用于互联网场景。主机或终端只需要插上本装置(或直接装设在主机或终端内部)，再安装相应的密钥解密的现有功能模块，就可以直接读取人脸识别的身份识别和活体检测的结果，使得人脸识别真正、便利地进入实用化和普及化。

此外，本发明人脸识别装置能够使得需要具备人脸识别功能的各种主机、终端或其他装置都能够迅速升级而配置为具有人脸识别功能的主机、终端或其他智能装置；而且，升级简单、配置便捷，即插即用，使用容易、方便，不需要用户具有很强的软件开发能力，识别结果采用加密方法，准确、安全、可靠。利用双摄像头方案解决活体检测难题，能够防止和抵御照片和视频的伪造登录手段，使得人脸识别能够真正安全地使用于互联网场景。

附图说明

图1是本发明人脸识别装置结构组成示意图。

图2是本发明人脸识别装置的识别方法操作步骤流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

参见图1，介绍本发明人脸识别装置的结构组成：该装置直接与主机或终端相连接，具有独立工作的辨识人脸图像、以确认该人脸图像的身份的功能。该人脸识别装置设有四个组成部件：双摄像头、人脸样本数据库存储器、人脸识别处理器模块和通讯模块。其中：

双摄像头(即可见光摄像头和近红外摄像头)，分别用于获取人脸的可见光照片和近红外照片，以供进行人脸检测和人脸识别，确认每个人脸图像的身份。人脸的可见光照片和近红外照片还能用于相互配合，一起用于活体检测与判断。

人脸样本数据库存储器，用于存储人脸图像和/或从人脸图像中提取的人脸特征数据、以及其身份数据，以供人脸识别处理器模块调用匹配，进行人脸检测和人脸识别，确认每个人脸图像的身份。

人脸识别处理器模块，负责接收双摄像头传送来的人脸照片，再与人脸样本数据库存储器内存储的人脸图像和/或从人脸图像中提取的人脸特征数据进行匹配检测，以判断确认该人脸图像的身份；并将检测判断结果经由通讯模块发送给主机或终端；设有：人脸检测、人脸识别、活体检测、私钥加密、以及接收主机控制信号和信息共五个单元。这五个单元的功能分别说明如下：

人脸检测单元，负责接收来自可见光和/或近红外光双摄像头的照片，并在该照片中寻找与检测人脸位置后，将检测结果发送到人脸识别单元。

人脸识别单元，用于对来自人脸检测单元的人脸图像分别与人脸样本数据库存储器中存储的人脸图像和/或从人脸图像中提取的人脸特征数据进行匹配，以识别与判断被检测的该人脸图像的身份信息，并将识别结果发送到私钥加密单元。

活体检测单元，负责分别接收双摄像头传来的人脸的可见光照片和近红外照片，用于甄别该照片中的人脸图像是否为真实活人，防止以照片和/或视频登录的差错，并将检测结果发送至私钥加密单元。

私钥加密单元，负责对来自人脸识别单元的识别结果和活体检测单元的检测结果分别进行加密处理后，再经由通讯模块传递给主机。

接收主机控制信号和信息单元，负责接收主机传送给该人脸识别装置的、包括人脸照片图像质量评估反馈信息、人脸照片曝光参数的修改指令、人脸照片图像的存储参数、人脸图像样本数据库的配置模式指令的各种控制信号，以及主机传回的其自身存储的人脸图像和/或从人脸图像中提取的人脸特征数据、以及其身份信息，用于调控该人脸识别装置的运行状态。

通讯模块，负责该人脸识别装置与主机或终端的信息交互；设有包括USB、串口和SPI总线中的一个或多个接口，其采用直接连接方式连接主机或终端，以使具备不同接口的各种主机或终端都能连接该装置而具备人脸识别功能。

本发明人脸识别装置还选择配设有供给未配备显示器的主机或终端使用的两个标识部件：一个指示灯和一个按键，用于选择配置人脸图像：若在配置人脸样本数据库时，指示灯亮，表明该装置正在进行的人脸检测和人脸识别工作正常；此时按压按键，就将需要存储的当前人脸图图像和/或从人脸图像中提取的人脸特征数据、以及其身份信息记录于人脸样本数据库存储器。

图1中还展示了与本发明人脸识别装置配合工作的主机或终端的结构组成：其至少设有主机的人脸样本数据库、向人脸识别装置发送信息单元、公钥解密单元和人脸识别结果接收单元共四个部件。

本发明人脸识别装置除了直接与主机或终端相连接，构成具有独立工作的辨识人脸图像、以确认该人脸图像的身份的功能装置以外，还能够直接安装于家用电器装置的内部和/或外壳上，构成一体化的具有人脸识别控制功能的智能家用电器；也就是只有预先设定的人员才能使用该智能家用电器(例如：冰箱、空调、电视等)。

参见图2，介绍本发明人脸识别装置的识别方法的下列具体操作步骤：

步骤1，配置：人脸识别装置直接连接主机或终端，再配置人脸样本数据库的人脸图像和/或从人脸图像中提取的人脸特征数据、以及其身份信息，还要配置各种预置参数。该步骤1包括下列操作内容：

(11)以有线连接方式(选用USB接口、串口或SPI总线)将人脸识别装置直接连接主机。

(12)主机查找并添加外部设备，同时，主机启动运行人脸识别装置的驱动模块。

(13)主机为人脸识别装置配置或调配照相的曝光参数：

主机按照默认参数配置曝光参数，并以该曝光参数拍摄人脸照片，再由用户人眼直接从显示器观察得到本次照片的拍摄质量评估结果，或者主机采用质量评估运算对该人脸照片评估图像质量，然后根据评估结果，分别在不同光照环境重新调配和设置相应的曝光参数。

(14)主机选择采用下述两种建模方式配置人脸样本数据库。

(A)直接从主机导入人脸图像的建模方式：主机先直接对已经存储的人脸图像建立人脸与身份的对应关系，再将这些信息批量导入该人脸识别装置的人脸样本数据库存储器。

(B)该人脸识别装置拍摄人脸图像的建模方式：让相关人员实际站在该装置摄像头前，先启动可见光摄像头进行人脸拍照；用户通过主机显示器观察决定选择是否保存当前每次拍摄的人脸照片图像，再设置存储参数，确定并存储该人脸图像和/或从人脸图像中提取的人脸特征数据于人脸样本数据库中，同时分配身份标识信息。需要说明的是，每个人脸存储有多张人脸图像作为模板。

在步骤(B)中，若主机或终端没有显示器时，该人脸识别装置依靠选配增设的指示灯和按键执行独立拍照、配置人脸样本数据库的操作：当人脸检测和人脸识别工作正常时，指示灯亮；此时按下按键，存储当前的人脸图片和/或从人脸图像中提取的人脸特征数据、以及其身份信息进入人脸样本数据库。

步骤2，识别：人脸识别装置进行人脸识别和活体检测。该步骤2包括下列操作内容：

(21)待识别人员站立在双摄像头前，人脸识别装置启动可见光摄像头和/或近红外摄像头拍摄该人脸的可见光照片和/或近红外光照片；

(22)将人脸的可见光照片和/或近红外光照片送到人脸检测单元，人脸检测单元计算并获得该两种照片中的人脸位置框后，再将割取得到的人脸图像方框送给人脸识别单元；同时，将该两种人脸图像送到活体检测单元。

(23)人脸识别单元对人脸图像方框进行辨识，同时跟人脸样本数据库中的人脸图像和/或从人脸图像中提取的人脸特征数据进行匹配比对，寻找该人脸图像对应的身份信息是否位于人脸样本数据库中；若在，则得到该人脸的身份信息，执行后续步骤(24)；如果不在，则返回该人脸不在人脸样本数据库的检测结果，结束该流程操作；

(24)活体检测单元接收到人脸的可见光图像和近红外光图像后，对该人脸进行活体检测判断：即甄别判断该人脸照片是否是有效的活体照片，防止采用照片或者视频的人脸伪造登录，并给私钥加密单元返回是否为真实人脸标识的识别结果。

步骤3，信息传递与接收：人脸识别装置将检测辨识结果加密传递给主机或终端，主机或终端接收该识别结果执行相应操作。该步骤3包括下列操作内容：

(31)私钥加密单元分别接收到人脸识别单元和活体检测单元发来的识别结果和检测结果后，对该人脸图像及其身份信息和活体信息分别进行加密后，一起打成加密数据包。

(32)通讯模块将该包括本次识别的可见光人脸图像及其身份信息和活体信息的加密数据包传送给主机。

(33)主机接收来自人脸识别装置的加密数据包后，先进行公私密钥核对与解密操作，再将解密后的、包括本次识别的人脸图像及其身份信息(是谁、其身份信息和本次识别的人脸照片图像)、活体检测的检测结果(是否为有效的真人，或者是无效的照片、视频等)都传递给主机内的相应接收处理模块，以便主机执行后续相应的处理操作。

Claims (9)

1.一种人脸识别装置，其特征在于：该装置直接连接在主机或终端上，具有独立工作的辨识人脸图像、以确认该人脸图像的身份的功能；设有：双摄像头、人脸样本数据库存储器、人脸识别处理器模块和通讯模块共四个组成部件；其中：

双摄像头，为可见光摄像头和近红外摄像头，用于分别获取人脸的可见光照片和近红外照片，以供进行人脸检测和人脸识别，确认每个人脸图像的身份；人脸的可见光照片和近红外照片还能够相互配合，一起用于活体检测与判断；

人脸样本数据库存储器，用于存储人脸图像和/或从人脸图像中提取的人脸特征数据、以及其身份数据，以供人脸识别处理模块调用匹配，进行人脸检测和人脸识别，确认每个人脸图像的身份；

人脸识别处理器模块，负责接收双摄像头传送来的人脸照片，再与人脸样本数据库内存储的人脸图像和/或从人脸图像中提取的人脸特征数据进行匹配检测，以判断确认该人脸图像的身份；并将检测判断结果经由通讯模块发送给主机或终端；设有：人脸检测、人脸识别、活体检测、私钥加密、以及接收主机控制信号和信息共五个单元；

通讯模块，负责该装置与主机或终端的信息交互功能；设有包括USB、串口和SPI总线中的一个或多个接口，其用直接连接方式连接主机或终端，以使具备不同接口的各种主机或终端都能连接该装置而具备人脸识别功能。

2.根据权利要求1所述的人脸识别装置，其特征在于：所述人脸识别处理器模块中的五个单元功能说明如下：

人脸检测单元，负责接收来自可见光和/或近红外光双摄像头的照片，并在该照片中寻找与检测人脸位置后，将检测结果发送到人脸识别单元；

人脸识别单元，用于对来自人脸检测单元的人脸图像与人脸样本数据库中存储的人脸图像和/或从人脸图像中提取的人脸特征数据进行匹配，以识别与判断被检测的该人脸图像的身份信息；

活体检测单元，负责分别接收双摄像头传来的人脸的可见光照片和近红外照片，用于甄别该照片中的人脸图像是否为真实活人，防止照片或视频登录的差错，并将检测结果发送至私钥加密单元；

私钥加密单元，负责对来自人脸识别单元和活体检测单元的检测结果分别进行加密处理后，再经由通讯模块传递给主机；

接收主机控制信号和信息单元，负责接收主机传送给该装置的、包括人脸照片图像质量评估反馈、人脸照片曝光参数的修改指令、人脸照片图像的存储参数、人脸图像样本库的配置模式指令的各种控制信号，以及主机传回的其自身存储的人脸图像和/或从人脸图像中提取的人脸特征数据、以及其身份信息，用于调控该装置的运行状态。

3.根据权利要求1所述的人脸识别装置，其特征在于：所述装置还选择配设有供给未配备显示器的主机或终端使用的两个标识部件：指示灯和按键，用于选择配置人脸图像：若配置人脸样本数据库时，指示灯亮，表明该装置正在进行的人脸检测和人脸识别工作正常；此时按压按键，就将需要存储的当前人脸图图像和/或从人脸图像中提取的人脸特征数据、以及其身份信息记录于人脸样本数据库。

4.根据权利要求1所述的人脸识别装置，其特征在于：所述装置直接安装于家用电器装置，构成一体化的具有人脸识别控制功能的智能家用电器。

5.一种采用权利要求1所述的人脸识别装置的识别方法，其特征在于：所述方法包括下列操作步骤：

步骤1，人脸识别装置直接连接主机或终端，再配置人脸样本数据库的人脸图像和/或从人脸图像中提取的人脸特征数据、以及其身份信息，还要配置各种预置参数；

步骤2，人脸识别装置进行人脸识别和活体检测；

步骤3，人脸识别装置将检测辨识结果加密传递给主机或终端，主机或终端接收该识别结果执行相应操作。

6.根据权利要求5所述的人脸识别装置的识别方法，其特征在于：所述步骤1包括下列操作内容：

(11)将人脸识别装置采用USB接口、串口或SPI总线的有线连接方式直接插接在主机上；

(12)主机查找并添加外部设备，同时，主机启动运行人脸识别装置的驱动模块；

(13)主机为人脸识别装置配置或调配照相的曝光参数：

主机按照默认参数配置曝光参数，并以该曝光参数拍摄人脸照片，再由用户人眼直接从显示器观察得到本次照片的拍摄质量评估结果，或者主机采用质量评估运算对该人脸照片评估图像质量，然后根据评估结果，分别在不同光照环境重新调配和设置相应的曝光参数；

(14)主机选择采用下述两种建模方式配置人脸样本数据库：

(A)直接从主机导入人脸图像：主机先直接对已经存储的人脸图像建立人脸与身份的对应关系，再将这些信息批量导入该装置的人脸样本数据库；

(B)该人脸识别装置拍摄人脸图像的建模方式：让相关人员实际站在该装置摄像头前，先启动可见光摄像头进行人脸拍照；用户通过主机显示器观察决定选择是否保存当前每次拍摄的人脸照片图像，再设置存储参数，确定并存储该人脸图像和/或从人脸图像中提取的人脸特征数据于人脸样本数据库中，同时分配身份标识信息；需要说明的是，每个人脸存储有多张人脸图像作为模板。

7.根据权利要求6所述的人脸识别装置的识别方法，其特征在于：所述步骤(B)中，若主机或终端没有显示器时，该人脸识别装置依靠选配增设的指示灯和按键执行独立拍照、配置人脸样本数据库的操作：当人脸检测和人脸识别工作正常时，指示灯亮；此时按下按键，存储当前的人脸图片和/或从人脸图像中提取的人脸特征数据、以及其身份信息进入人脸样本数据库。

8.根据权利要求5所述的人脸识别装置的识别方法，其特征在于：所述步骤2包括下列操作内容：

(21)待识别人员站立在双摄像头前，人脸识别装置启动可见光摄像头和/或近红外摄像头拍摄该人脸的可见光照片和/或近红外光照片；

(22)将人脸的可见光照片和/或近红外光照片送到人脸检测单元，人脸检测单元计算并获得该两种照片中的人脸位置框后，再将割取得到的人脸图像方框送给人脸识别单元；同时，将该两种人脸图像送到活体检测单元；

(23)人脸识别单元对人脸图像方框进行辨识，同时跟人脸样本数据库中的人脸图像和/或从人脸图像中提取的人脸特征数据进行匹配比对，寻找该人脸图像对应的身份信息是否位于人脸样本数据库中；若在，则得到该人脸的身份信息，执行后续步骤(24)；如果不在，则返回该人脸不在人脸样本数据库的检测结果，结束该流程操作；

(24)活体检测单元接收到人脸的可见光图像和近红外光图像后，对该人脸进行活体检测判断：即甄别判断该人脸照片是否是有效的活体照片，防止采用照片或者视频的人脸伪造登录，并给私钥加密单元返回是否为真实人脸标识的识别结果。

9.根据权利要求5所述的人脸识别装置的识别方法，其特征在于：所述步骤3包括下列操作内容：

(31)私钥加密单元接收到人脸识别单元和活体检测单元分别发来的检测结果后，对该人脸图像及其身份信息和活体信息分别进行加密后，一起打成加密数据包；

(32)通讯模块将该包括本次识别的可见光人脸图像及其身份信息和活体信息的加密数据包传送给主机；

(33)主机接收来自人脸识别装置的加密数据包后，先进行公私密钥核对与解密操作，再将解密后的、包括本次识别的人脸图像及其身份信息、活体检测的识别结果都传递给主机内的相应接收处理模块，以便主机执行后续相应的处理操作。