[go: up one dir, main page]

CN111967296A - 虹膜活体检测方法、门禁控制方法及装置 - Google Patents

虹膜活体检测方法、门禁控制方法及装置 Download PDF

Info

Publication number
CN111967296A
CN111967296A CN202010599660.1A CN202010599660A CN111967296A CN 111967296 A CN111967296 A CN 111967296A CN 202010599660 A CN202010599660 A CN 202010599660A CN 111967296 A CN111967296 A CN 111967296A
Authority
CN
China
Prior art keywords
iris
artifact
face
human
detection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010599660.1A
Other languages
English (en)
Other versions
CN111967296B (zh
Inventor
张慧
李星光
刘京
校利虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Irisking Science & Technology Co ltd
Original Assignee
Beijing Irisking Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Irisking Science & Technology Co ltd filed Critical Beijing Irisking Science & Technology Co ltd
Priority to CN202010599660.1A priority Critical patent/CN111967296B/zh
Publication of CN111967296A publication Critical patent/CN111967296A/zh
Application granted granted Critical
Publication of CN111967296B publication Critical patent/CN111967296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供了一种虹膜活体检测方法、门禁控制方法及装置，其中，该检测方法包括：获取能对齐的热辐射、可见光及近红外的图像；将可见光图像和/或近红外图像与热辐射图像的多模态组合输入至多模态人脸活体检测模型，得到人脸伪造物检测结果；多模态人脸活体检测模型是多模态组合的真人人脸和人脸伪造物类型的样本对相应多输入神经网络训练得到；利用人眼区域活体检测模型对近红外图像进行活体检测，得到人眼区域伪造物检测结果；人眼区域活体检测模型是利用人眼近红外图像模态的真人人眼和人眼区域伪造物类型的样本对神经网络训练得到；得到虹膜活体检测结果。通过上述方案能够实现在复杂面部遮挡情况下的高精度虹膜识别的门禁控制管理。

Description

虹膜活体检测方法、门禁控制方法及装置
技术领域
本发明涉及身份识别技术领域，尤其涉及一种虹膜活体检测方法、门禁控制方法及装置。
背景技术
目前，门禁管理主要采用指纹识别和人脸识别技术实现，这两种生物特征技术的成本较低，在一般情况下使用方便。但是，在医院等特殊应用场景或防疫等特殊时期，人需要佩戴口罩、面罩、护目镜、帽子等防控物品，所以人的面部会受到不同程度的遮挡，在此情况下，人脸识别的使用方便程度严重下降，甚至根本无法正确识别；而指纹识别由于受到接触性限制也变得不可用。而虹膜识别具有无接触性，并且不需要摘除口罩、面罩、眼镜、护目镜、帽子等遮挡物，所以更适合这种特殊情况下的身份识别。
发明内容
本发明提供了一种虹膜活体检测方法、门禁控制方法及装置，以实现在复杂面部遮挡情况下的高精度虹膜识别的门禁控制管理。
为了达到上述目的，本发明采用以下方案实现：
根据本发明实施例的一个方面，提供了一种虹膜活体检测方法，包括：
获取待检测对象的热辐射图像、可见光图像及近红外图像；其中，所述热辐射图像、所述可见光图像及所述近红外图像中的人脸区域能够对齐；
将根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的人脸区域图像输入至多模态人脸活体检测模型，得到多模态人脸伪造物检测结果；其中，所述多模态人脸活体检测模型是利用符合所述多模态组合的第一训练样本对具有相应多输入的第一神经网络训练得到，所述第一训练样本的集合包含真人人脸类型和人脸伪造物类型的训练样本；
利用人眼区域活体检测模型对所述近红外图像中的人眼区域图像进行活体检测，得到人眼区域伪造物检测结果；其中，所述人眼区域活体检测模型是利用符合人眼近红外图像模态的第二训练样本对第二神经网络训练得到，所述第二训练样本的集合包含真人人眼类型和人眼区域伪造物类型的训练样本；所述人眼区域伪造物类型包括虹膜伪造物类型；
根据所述多模态人脸伪造物检测结果和所述人眼区域伪造物检测结果得到所述待检测对象的虹膜活体检测结果。
在一些实施例中，根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的人脸区域图像的情况下，所述第一神经网络为多通道输入网络；或者，根据所述可见光图像和所述近红外图像中的其中一个与所述热辐射图像得到的多模态组合的人脸区域图像的情况下，所述第一神经网络为孪生网络。
在一些实施例中，获取待检测对象的热辐射图像、可见光图像及近红外图像，包括：采集包括所述待检测对象的可见光图像，并检测所述可见光图像中的人脸区域位置，得到所述可见光图像中的人脸区域图像；根据所述可见光图像中的人脸区域的位置，控制采集包括所述待检测对象的清晰虹膜的近红外图像，得到所述近红外图像中的人脸区域图像和人眼区域图像，并对所述近红外图像中的人眼区域图像进行虹膜定位，得到所述近红外图像中的虹膜区域图像；采集包括所述待检测对象的热辐射图像，并根据相关相机位置关系，将所述可见光图像或所述近红外图像中的人脸区域图像映射至所述热辐射图像，得到所述热辐射图像中的人脸区域图像。
在一些实施例中，所述人眼区域伪造物类型还包含人脸伪造物类型；所述第二神经网络包括第一卷积网络层、第二卷积网络层、第一输出层、及第二输出层；其中，所述第一卷积网络层的输出端与所述第一输出层连接，用于对接收的所述近红外图像中的人眼区域图像进行特征提取，并根据特征提取结果输出人脸伪造物类型的人眼区域伪造物检测结果；所述第二卷积网络层的输入端和输出端分别与所述第一卷积网络层的输出端和所述第二输出层连接，用于对根据所述近红外图像中的人眼区域图像中的虹膜区域定位结果从所述近红外图像中的人眼区域图像的特征提取结果中得到的虹膜区域特征进行特征提取，并根据虹膜区域特征的特征提取结果输出虹膜伪造物类型的人眼区域伪造物检测结果。
在一些实施例中，所述的虹膜活体检测方法还包括：利用人体体温活体检测模型对所述热辐射图像进行活体检测，得到基于人体体温的人脸伪造物检测结果；其中，所述人体体温活体检测模型是利用符合热辐射图像模态的第三训练样本对第三神经网训练得到，所述第三训练样本的集合包括真人人脸类型和人脸伪造物类型的训练样本。根据所述多模态人脸伪造物检测结果和所述人眼区域伪造物检测结果得到所述待检测对象的虹膜活体检测结果，包括：根据所述多模态人脸伪造物检测结果、所述人眼区域伪造物检测结果、及所述基于人体体温的人脸伪造物检测结果得到所述待检测对象的虹膜活体检测结果。
在一些实施例中，所述的虹膜活体检测方法还包括：将根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的虹膜区域图像输入至多模态虹膜活体检测模型，得到多模态虹膜伪造物检测结果；其中，所述多模态虹膜活体检测模型是利用符合所述多模态组合的第四训练样本对具有相应多输入的第四神经网络训练得到，所述第四训练样本的集合包含真人虹膜类型和虹膜伪造物类型的训练样本，所述第四神经网络和所述第一神经网络相同。根据所述多模态人脸伪造物检测结果和所述人眼区域伪造物检测结果得到所述待检测对象的虹膜活体检测结果，包括：根据所述多模态人脸伪造物检测结果、所述人眼区域伪造物检测结果、及所述多模态虹膜伪造物检测结果得到所述待检测对象的虹膜活体检测结果。
在一些实施例中，所述的虹膜活体检测方法，还包括：利用人体体温活体检测模型对所述热辐射图像进行活体检测，得到基于人体体温的人脸伪造物检测结果；其中，所述人体体温活体检测模型是利用符合热辐射图像模态的第三训练样本对第三神经网训练得到，所述第三训练样本的集合包括真人人脸类型和人脸伪造物类型的训练样本；以及，将根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的虹膜区域图像输入至多模态虹膜活体检测模型，得到多模态虹膜伪造物检测结果；其中，所述多模态虹膜活体检测模型是利用符合所述多模态组合的第四训练样本对具有相应多输入的第四神经网络训练得到，所述第四训练样本的集合包含真人虹膜类型和虹膜伪造物类型的训练样本，所述第四神经网络和所述第一神经网络相同。根据所述多模态人脸伪造物检测结果和所述人眼区域伪造物检测结果得到所述待检测对象的虹膜活体检测结果，包括：对所述基于人体体温的人脸伪造物检测结果、所述多模态人脸伪造物检测结果、及人脸伪造物类型的人眼区域伪造物检测结果进行归一化并加权求和，得到所述待检测对象为人脸伪造物的检测结果；其中，人脸伪造物包括无人体温度假体、人造热源体、及佩戴的面具中的一个或多个，所述无人体温度假体包括打印纸和人体模型中的一个或多个；对所述多模态虹膜伪造物检测结果和虹膜伪造物类型的人眼区域伪造物检测结果进行归一化并加权求和，得到所述待检测对象为虹膜伪造物的检测结果；虹膜伪造物包括佩戴的美瞳、义眼、及玻璃眼球中的一个或多个；将所述待检测对象为人脸伪造物的检测结果和/或所述待检测对象为虹膜伪造物的检测结果作为所述待检测对象的虹膜活体检测结果进行输出。
在一些实施例中，所述的虹膜活体检测方法还包括：利用人体体温活体检测模型对所述热辐射图像进行活体检测，得到基于人体体温的人脸伪造物检测结果；其中，所述人体体温活体检测模型是利用符合热辐射图像模态的第三训练样本对第三神经网训练得到，所述第三训练样本的集合包括真人人脸类型和人脸伪造物类型的训练样本；以及，将根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的虹膜区域图像输入至多模态虹膜活体检测模型，得到多模态虹膜伪造物检测结果；其中，所述多模态虹膜活体检测模型是利用符合所述多模态组合的第四训练样本对具有相应多输入的第四神经网络训练得到，所述第四训练样本的集合包含真人虹膜类型和虹膜伪造物类型的训练样本，所述第四神经网络和所述第一神经网络相同。根据所述多模态人脸伪造物检测结果和所述人眼区域伪造物检测结果得到所述待检测对象的虹膜活体检测结果，包括：若所述基于人体体温的人脸伪造物检测结果的归一化分数大于或等于第一设定人脸伪造物分数阈值，或人脸伪造物类型的人眼区域伪造物检测结果的归一化分数大于或等于第二设定人脸伪造物分数阈值，则确定所述待检测对象为人脸伪造物；若所述基于人体体温的人脸伪造物检测结果的归一化分数小于所述第一设定人脸伪造物分数阈值且大于或等于第三设定人脸伪造物分数阈值，且人脸伪造物类型的人眼区域伪造物检测结果的归一化分数小于所述第二设定阈值且大于或等于第四设定阈值，则确定所述待检测对象为人脸伪造物；其中，所述第三设定阈值小于所述第一设定阈值，所述第四设定阈值小于所述第二设定阈值；
若所述基于人体体温的人脸伪造物检测结果的归一化分数小于所述第一设定人脸伪造物分数阈值且大于或等于所述第三设定人脸伪造物分数阈值，且所述多模态人脸伪造物检测结果的归一化分数小于第五设定人脸伪造物分数阈值且大于或等于第六设定人脸伪造物分数阈值，则确定所述待检测对象为人脸伪造物；其中，所述第五设定人脸伪造物分数阈值小于所述第一设定人脸伪造物分数阈值和所述第二设定人脸伪造物分数阈值，所述第六设定人脸伪造物分数阈值小于所述第五设定人脸伪造物分数阈值；
若所述基于人体体温的人脸伪造物检测结果的归一化分数小于所述第三设定人脸伪造物分数阈值且大于或等于第七设定人脸伪造物分数阈值，且人脸伪造物类型的人眼区域伪造物检测结果的归一化分数小于所述第四设定人脸伪造物分数阈值且大于或等于第八设定人脸伪造物分数阈值，且所述多模态人脸伪造物检测结果的归一化分数小于所述第六设定人脸伪造物分数阈值且大于或等于第九设定人脸伪造物分数阈值，则确定所述待检测对象为人脸伪造物；其中，所述第七设定人脸伪造物分数阈值小于所述第三设定人脸伪造物分数阈值，所述第八设定人脸伪造物分数阈值小于所述第四设定人脸伪造物分数阈值，所述第九设定人脸伪造物分数阈值小于所述第六设定人脸伪造物分数阈值；
若虹膜伪造物类型的人眼区域伪造物检测结果归一化分数大于或等于第一设定虹膜伪造物分数阈值，则确定所述待检测对象为虹膜伪造物；
若虹膜伪造物类型的人眼区域伪造物检测结果归一化分数小于所述第一设定虹膜伪造物分数阈值且大于或等于第二设定虹膜伪造物分数阈值，且所述多模态虹膜伪造物检测结果归一化分数小于第三设定虹膜伪造物分数阈值且大于或等于第四设定虹膜伪造物分数阈值，则确定所述待检测对象为虹膜伪造物；所述第二设定虹膜伪造物分数阈值小于所述第一设定虹膜伪造物分数阈值，所述第四设定虹膜伪造物分数阈值小于所述第三设定虹膜伪造物分数阈值，所述第三设定虹膜伪造物分数阈值小于所述第一设定虹膜伪造物分数阈值。
在一些实施例中，所述第三设定人脸伪造物分数阈值是所述第一设定人脸伪造物分数阈值的第一设定小数倍数，所述第四设定人脸伪造物分数阈值是所述第二设定人脸伪造物分数阈值的第一设定小数倍数，所述第六设定人脸伪造物分数阈值是所述第五设定人脸伪造物分数阈值的第一设定小数倍数；所述第七设定人脸伪造物分数阈值是所述第一设定人脸伪造物分数阈值的第二设定小数倍数，所述第八设定人脸伪造物分数阈值是所述第二设定人脸伪造物分数阈值的第二设定小数倍数，所述第九设定人脸伪造物分数阈值是所述第五设定人脸伪造物分数阈值的第二设定小数倍数；所述第二设定小数倍数小于所述第一设定小数倍数；所述第二设定虹膜伪造物分数阈值是所述第一设定虹膜伪造物分数阈值的第一设定小数倍数，所述第四设定虹膜伪造物分数阈值是所述第三设定虹膜伪造物分数阈值的第一设定小数倍数。
在一些实施例中，所述的虹膜活体检测方法，还包括：获取所述待检测对象的体温，并在所述待检测对象的体温超过设定人体温度阈值范围的情况下，输出体温报警信息或所述待检测对象为伪造物的虹膜活体检测结果。
在一些实施例中，获取所述待检测对象的体温，包括：利用所述可见光图像和/或所述近红外图像对待检测对象进行人脸识别，得到人脸关键点定位结果；根据所述人脸关键点定位结果确定所述待检测对象的面部遮挡类型；其中，面部遮挡类型为面部无遮挡、佩戴口罩的遮挡、佩戴护目镜的遮挡、及包括佩戴口罩和护目镜的遮挡；若所述待检测对象的面部遮挡类型为面部无遮挡，则根据所述待检测对象的温度分布数据计算所述待检测对象的整个人脸区域的平均温度，作为所述待检测对象的体温；其中，所述待检测对象的温度分布数据与所述热辐射图像相对应；若所述待检测对象的面部遮挡类型为佩戴口罩的遮挡，则根据所述待检测对象的温度分布数据计算所述待检测对象所佩戴口罩以上的人脸区域的平均温度，作为所述待检测对象的体温；若所述待检测对象的面部遮挡类型为佩戴护目镜的遮挡，则根据所述待检测对象的温度分布数据计算所述待检测对象所佩戴护目镜以下的人脸区域的平均温度，作为所述待检测对象的体温；若所述待检测对象的面部遮挡类型为包括佩戴口罩和护目镜的遮挡，则根据所述待检测对象的温度分布数据得到所述待检测对象所佩戴护目镜上缘裸露皮肤的温度，作为所述待检测对象的体温。
在一些实施例中，将根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的人脸区域图像输入至多模态人脸活体检测模型，得到多模态人脸伪造物检测结果，包括：在所述待检测对象的体温不超过所述设定人体温度阈值范围的情况下，将根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的人脸区域图像输入至多模态人脸活体检测模型，得到多模态人脸伪造物检测结果。利用人眼区域活体检测模型对所述近红外图像中的人眼区域图像进行活体检测，得到人眼区域伪造物检测结果，包括：在所述待检测对象的体温不超过所述设定人体温度阈值范围的情况下，利用人眼区域活体检测模型对所述近红外图像中的人眼区域图像进行活体检测，得到人眼区域伪造物检测结果。
根据本发明实施例的另一个方面，提供了一种虹膜识别门禁控制方法，包括：利用上述任一实施例所述的虹膜活体检测方法得到待检测对象的虹膜活体检测结果；根据所述待检测对象的虹膜活体检测结果控制门禁开关。
根据本发明实施例的另一个方面，提供了一种虹膜活体检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述虹膜活体检测方法的步骤。
根据本发明实施例的另一个方面，提供了一种虹膜识别门禁控制系统，包括：可见光相机，用于采集待检测对象的可见光图像；近红外相机，用于采集待检测对象的近红外图像；测温模块，用于采集待检测对象的热辐射图像；上述任一实施例所述的虹膜活体检测装置，用于根据待检测对象的可见光图像、近红外图像、及热辐射图像，得到待检测对象的虹膜活体检测结果。
根据本发明实施例的另一个方面，提供了一种虹膜识别门禁系统，包括：上述任一实施例所述的虹膜识别门禁控制系统。
根据本发明实施例的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述方法的步骤。
本发明实施例的虹膜活体检测方法、虹膜识别门禁控制方法、虹膜活体检测装置、虹膜识别门禁控制系统、虹膜识别门禁系统、及计算机可读存储介质，通过实现采用热辐射图像进行多模态融合的高可靠活体检测，能够实现在复杂面部遮挡情况下的高精度虹膜识别的门禁控制管理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明一实施例的虹膜活体检测方法的流程示意图；
图2是本发明一实施例中的人眼区域活体检测模型的网络结构示意图；
图3是本发明一实施例的虹膜识别门禁控制方法的流程示意图；
图4是本发明一实施例的虹膜识别门禁控制系统的结构示意图；
图5是本发明一具体实施例的虹膜识别门禁控制方法的流程示意图；
图6是本发明一具体实施例中的孪生网络的结构示意图；
图7是本发明一具体实施例中的多通道输入网络的结构示意图；
图8是本发明一具体实施例中的人眼区域活体检测模型的网络结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
在大规模疫情爆发时，体温往往是最直接的身体健康指标之一，也是确保被识别目标是来自活体人的重要手段之一。身份识别、体温检测及高可靠性的活体检测对区域控制具有重要作用。
对此，本发明实施例提供了一种虹膜活体检测方法，创造性地将能够反映人体体温的热辐射图像结合至其他类型的图像进行活体检测，从而能够实现在疫情时期面部受遮挡的情况下进行高精度虹膜识别的门禁控制管理。
图1是本发明一实施例的虹膜活体检测方法的流程示意图。参见图1，该些实施例的虹膜活体检测方法，可包括以下步骤S110～步骤S140。其中，步骤S120和步骤S130的执行顺序可以互换。
需要预先说明的是，人脸伪造物可以指较大面积(如大于或等于人脸范围)的假体，虹膜伪造物可以指虹膜附近范围内的假体。人脸伪造物的覆盖范围往往大于虹膜伪造物的覆盖范围，由于其二者覆盖范围不同，决定了其二者的假体类型有所不同。例如，人脸伪造物可以是打印纸、人脸模型、面具等，虹膜伪造物可以是美瞳、义眼、玻璃眼球等。另外，人眼区域伪造物可以包含虹膜伪造物；人眼区域伪造物还可以包括眼周和眼球在内区域的人眼伪造物，由于超出了虹膜或眼球区域，还包括眼周部分，所以该人眼伪造物的类型往往易与人脸伪造物类似或一致，所以，可以说人眼区域伪造物还可以包括人脸伪造物类型。
下面将对步骤S110～步骤S140的具体实施方式进行详细说明。
步骤S110：获取待检测对象的热辐射图像、可见光图像及近红外图像；其中，所述热辐射图像、所述可见光图像及所述近红外图像中的人脸区域能够对齐。
上述步骤S110中，待检测对象可以指包括人脸区域的人体部分。热辐射图像可以利用测温模块采集得到，可见光图像可以利用可见光相机(人脸相机)采集得到，近红外图像可以利用近红外相机采集得到。另外，虹膜识别设备可以包括可见光相机和近红外图像，可以在虹膜识别设备中增加测温模块来采集热辐射图像、可见光图像及近红外图像。此外，通过活体检测的待检测对象可以继续利用虹膜识别设备中的虹膜识别设备进行虹膜身份识别。
所述热辐射图像、所述可见光图像及所述近红外图像中的人脸区域能够对齐可以是指，各种图像中的人脸区域位置能够直接或经变形后对应起来，这需要采集相应图像的设备的相对位置较为一致或固定。例如，可见光相机和测温模块的位置相对固定，其二者采集的图像较容易对齐，所以在后续步骤S120中，为方便地利用现有设备，可以选用可见光图像和热辐射图像组成多模态组合。
具体实施时，上述步骤S110中，获取待检测对象的热辐射图像、可见光图像及近红外图像，具体可包括步骤：S111，采集包括所述待检测对象的可见光图像，并检测所述可见光图像中的人脸区域位置，得到所述可见光图像中的人脸区域图像；S112，根据所述可见光图像中的人脸区域的位置，控制采集包括所述待检测对象的清晰虹膜的近红外图像，得到所述近红外图像中的人脸区域图像和人眼区域图像，并对所述近红外图像中的人眼区域图像进行虹膜定位，得到所述近红外图像中的虹膜区域图像；S113，采集包括所述待检测对象的热辐射图像，并根据相关相机位置关系，将所述可见光图像或所述近红外图像中的人脸区域图像映射至所述热辐射图像，得到所述热辐射图像中的人脸区域图像。
上述步骤S111中，可以利用可见光相机采集得到可见光图像，然后进行人脸检测得到可见光图像中的人脸图像；或可以用可见光人脸相机直接采集得到可见光人脸图像。上述步骤S112中，根据检测到的可见光图像中的人脸位置，可以调整近红外相机的采集姿势，使得能够虹膜清晰，从而得到近红外图像，具体可得到近红外人脸图像、近红外人眼区域图像，可以进一步进行虹膜定位，得到可见光图像中的虹膜区域图像。上述步骤S113中，采集到待检测对象的热辐射图像之后，可以通过映射得到热辐射图像中的人脸区域图像，从而得到面部温度。
此外，在上述步骤S111中，还可以对可见光图像进行关键点定位，得到人脸关键点(如眼睛、鼻子等)位置。在上述步骤S112中，还可以对近红外图像进行关键点定位，得到人眼关键点(如眼角)位置。人脸关键点和人眼关键点可以用于确定待检测对象的面部遮挡类别，如是否无遮挡，是否佩戴口罩，是否佩戴护目镜。
本实施例中，可以利用现有的方法从可见光图像和近红外图像中识别出人脸位置、人脸关键点，还可以利用类似的方法从近红外图像中识别出人眼区域位置、人眼关键点。单独利用热辐射图像较难找到人脸区域位置，通过控制采集过程，能够使采集位置对齐，从而使采集的图像中的人脸区域可以对齐，所以可以将人脸位置映射至热辐射图像，得到热辐射图像中精确人脸位置。
步骤S120：将根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的人脸区域图像输入至多模态人脸活体检测模型，得到多模态人脸伪造物检测结果；其中，所述多模态人脸活体检测模型是利用符合所述多模态组合的第一训练样本对具有相应多输入的第一神经网络训练得到，所述第一训练样本的集合包含真人人脸类型和人脸伪造物类型的训练样本。
上述步骤S120中，多模态组合可以是指多种信息的组合。可见光图像、近红外图像、及热辐射图像中每种图像包含一种图像信息，各自可以称为一种模态。多模态组合中可以包含可见光图像和近红外图像二者之一，或同时包含可见光图像和近红外图像二者，另外，还包括热辐射图像。若可见光图像、近红外图像、及热辐射图像均为人脸图像，则多模态组合的人脸区域图像，可以直接由这些图像组合得到；若这些图像除了包括人脸区域，还包含其他区域，则可以通过之前或以后的图像识别，得到各自图像的人脸区域图像，进而构成多模态组合的人脸区域图像。此外，多模态组合从可见光图像、近红外图像、及热辐射图像三种图像中得到，不排除还可以包含其他种类的图像。
多模态人脸活体检测模型可以接收多种模态的信息的输入，或者说可以将多种模态的信息考虑进去，一并分析得到检测结果。该多模态人脸活体检测模型所基于的第一神经网络可以是卷积神经网络，可以是多部分网络的组合。多模态人脸活体检测模型的输出结果可以是分类结果，可以是概率或分数，例如，是人脸伪造物的概率。另外，该模型的识别对象或能力可以因训练样本的不同而不同。第一训练样本符合所述多模态组合可以是指，第一训练样本包含该多模态组合中的各种信息，例如，若该多模态组合包括热辐射图像模态和可见光图像模态，那么，一个第一训练样本可以包含同一对象(如人脸或假体)的热辐射图像和可见光图像以及相应的是否为人脸伪造物的标签。第一训练样本的集合中可以包含多种类别的训练样本，例如，为真人人脸类型的样本，为人脸伪造物类型的样本。人脸伪造物类型的训练样本例如可以包括无人体温度的假体、人造热源体、佩戴的面具等类型的训练样本，其中，无人体温度的假体例如可以是人脸的打印纸，可以是无人体温度的人体模型，人造热源体可以是带有热源的人体模型。此外，第一训练样本中的“第一”是为了与用来训练其他神经网络的样本相区分，并非是指同一训练样本集中样本的次序等。
上述步骤S120中，该第一神经网络可以是各种多输入的神经网络。
例如，根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的人脸区域图像的情况下，所述第一神经网络可以为多通道输入网络。多通道输入网络又可称为伪孪生网络，可以根据通道数包含多部分网络，每部分网络(可以包括卷积层、池化层、全连接层)可以单独接收相应输入进行处理，各部分网络的全连接层输出数据可以融合在一起，形成考虑多通道输入的结果。在训练该种模型时，可以在得到考虑多通道输入的结果后得到损失函数，然后反馈至该模型，从而达到训练该多通道输入网络的目的。若多模态组合由可见光图像(或近红外图像)与热辐射图像组成，则该多通道输入网络可以有两个通道的输入；若多模态组合由可见光图像、近红外图像及热辐射图像组成，则该多通道输入网络可以有三个通道的输入。
再例如，根据所述可见光图像和所述近红外图像中的其中一个与所述热辐射图像得到的多模态组合的人脸区域图像的情况下，所述第一神经网络可以为孪生网络。孪生网络与上述多通道输入网络(伪孪生网络)的主要区别在于，孪生网络中的两部分网络的池化层的通道参数存在一定关联。
步骤S130：利用人眼区域活体检测模型对所述近红外图像中的人眼区域图像进行活体检测，得到人眼区域伪造物检测结果；其中，所述人眼区域活体检测模型是利用符合人眼近红外图像模态的第二训练样本对第二神经网络训练得到，所述第二训练样本的集合包含真人人眼类型和人眼区域伪造物类型的训练样本；所述人眼区域伪造物类型包括虹膜伪造物类型。
上述步骤S130中，所述人眼区域伪造物类型包括虹膜伪造物类型，从而可以利用该种类型的第二训练样本训练第二神经网络来识别待检测物是否属于虹膜伪造物，从而可以检测是否佩戴美瞳、为义眼、为玻璃眼球等虹膜伪造物类型的假体攻击。
如此一来，第二训练样本的集合包含的训练样本的类别可以包括真人人眼类型和各种人眼区域伪造物类型。其中，人脸伪造物类型例如可以是无人体温度的假体、人造热源体、佩戴的面具等，而对于人眼区域伪造物类型而言，人脸伪造物类型的主要是指人眼区域(可包括眼球周围的眼皮、眼角等)。真人人眼类型可以是指真人、非伪造物的人眼区域的相关信息。
进一步，所述人眼区域伪造物类型可以同时包含人脸伪造物类型和虹膜伪造物类型，以此，不仅可以利用虹膜区域图像检测是否为虹膜伪造物，还可以利用人眼区域图像检测是否为人脸伪造物。
图2是本发明一实施例中的人眼区域活体检测模型的网络结构示意图，参见图2，所述第二神经网络可包括第一卷积网络层、第二卷积网络层、第一输出层、及第二输出层。其中，所述第一卷积网络层的输出端与所述第一输出层连接，可用于对接收的所述近红外图像中的人眼区域图像进行特征提取，并根据特征提取结果输出人脸伪造物类型的人眼区域伪造物检测结果。所述第二卷积网络层的输入端和输出端分别与所述第一卷积网络层的输出端和所述第二输出层连接，可用于对根据所述近红外图像中的人眼区域图像中的虹膜区域定位结果从所述近红外图像中的人眼区域图像的特征提取结果中得到的虹膜区域特征进行特征提取，并根据虹膜区域特征的特征提取结果输出虹膜伪造物类型的人眼区域伪造物检测结果。
本实施例中，所述近红外图像中的人眼区域图像中的虹膜区域定位结果可以另外对近红外图像进行虹膜定位得到，所以第二卷积网络层还可以接收外部输入的虹膜定位结果。通过第一卷积网络层和第二卷积网络层的连接关系，第二神经网络可以共享特征，一方面将从人眼区域图像提取的特征可以全部用于人脸伪造物的识别，另一方面可以从人眼区域图像中虹膜区域提取的特征用于虹膜伪造物的识别。
步骤S140：根据所述多模态人脸伪造物检测结果和所述人眼区域伪造物检测结果得到所述待检测对象的虹膜活体检测结果。
上述步骤S140中，人眼区域伪造物可以包括虹膜伪造物类型，或者还可以包括人脸伪造物类型。多模态人脸伪造物检测结果和人脸伪造物类型的人眼区域伪造物检测结果，可以用来判断待检测对象是否为人脸伪造物(假体攻击范围较大，如面具、打印纸等)；虹膜伪造物类型的人眼区域伪造物检测结果，可以用来判断待检测对象是否为虹膜伪造物(假体攻击主要在虹膜或眼球范围，如美瞳、义眼等)。一般而言，若判断待检测对象为人脸伪造物，或为虹膜伪造物，可以认为没有通过活体检测。如此一来，可以综合各种人脸伪造物检测结果得到是否为人脸伪造物的结果，可以综合各种虹膜伪造物检测结果得到是否为虹膜伪造物的结果，根据两类结果综合得到是否为活体的结果，具体可以不是人脸伪造物，也不是虹膜伪造物时，才认为是活体。
上述各实施例中，通过上述步骤S110可以获得后续步骤所需的各种模态的图像；通过上述步骤S120可以实现利用多模态(多源)的图像检测待检测对象是否属于人脸伪造物类型的假体攻击，由于融合了至少两种模态的信息，所以可以得到精度更高的人脸伪造物检测结果；通过上述步骤S130，可以基于近红外图像检测待检测对象是否属于虹膜伪造物类型的假体攻击，进一步，通过特征共享还可以得到基于近红外图像的人脸伪造物检测结果；通过上述步骤S140，可以同时考虑多模态检测结果和基于近红外图像的检测结果，从而融合了更多信息得到待检测对象的最终活体检测结果，进一步提高了活体检测的精度。
为了进一步提高虹膜活体检测的精度，可以还基于人体体温进行人脸伪造物检测，并结合各种检测结果得到活体检测结果。
具体实施时，图1所示的虹膜活体检测方法还可包括步骤：S150，利用人体体温活体检测模型对所述热辐射图像进行活体检测，得到基于人体体温的人脸伪造物检测结果；其中，所述人体体温活体检测模型是利用符合热辐射图像模态的第三训练样本对第三神经网训练得到，所述第三训练样本的集合包括真人人脸类型和人脸伪造物类型的训练样本。
在此情况下，在一些实施例中，可以综合步骤S120、步骤S130及步骤S150的多种检测结果得到最终的活体检测结果。例如，上述步骤S140，即，根据所述多模态人脸伪造物检测结果和所述人眼区域伪造物检测结果得到所述待检测对象的虹膜活体检测结果，具体可包括步骤：S1411，根据所述多模态人脸伪造物检测结果、所述人眼区域伪造物检测结果、及所述基于人体体温的人脸伪造物检测结果得到所述待检测对象的虹膜活体检测结果。该步骤S1411中，具体可以对所述多模态人脸伪造物检测结果和基于人体体温的人脸伪造物检测结果进行归一化加权，得到人脸伪造物检测结果；将人眼区域伪造物检测结果(对于针对虹膜伪造物类型的第二训练样本而言)作为虹膜伪造物检测结果；之后，人脸伪造物检测结果和虹膜伪造物检测结果中只要有一个结果表明是假体，则可认为最终检测结果是假体攻击，不是活体。
本实施例中，在上述步骤S120、步骤S130的检测结果的基础上，结合了基于面部体温的检测结果得到最终虹膜活体检测结果，所以考虑更多模态信息，进一步提升了检测精度。
在另一些实施例中，可以先根据上述步骤S150的检测结果判断是否为伪造物，若是，可以直接认定待检测物不是活体，可以不用进行后续步骤。因为假体伪造物一般很难做到逼真的人体温度的效果，所以根据热辐射图像得到的体温结果直接判定是否为假体，可以提高判断效率。
为了进一步提高虹膜活体检测结果的精度，用于多模态人脸伪造物检测的多模态组合，其中图像的分辨率够高，虹膜区域足够清晰的情况下，可以利用类似于前述步骤S130的方法进行多模态虹膜伪造物检测，从而在虹膜伪造物的判断方面可以考虑更多信息，提高检测精度。
具体实施时，图1所示虹膜活体检测方法还可包括步骤：S160，将根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的虹膜区域图像输入至多模态虹膜活体检测模型，得到多模态虹膜伪造物检测结果；其中，所述多模态虹膜活体检测模型是利用符合所述多模态组合的第四训练样本对具有相应多输入的第四神经网络训练得到，所述第四训练样本的集合包含真人虹膜类型和虹膜伪造物类型的训练样本，所述第四神经网络和所述第一神经网络相同。
在此情况下，上述步骤S140，即，根据所述多模态人脸伪造物检测结果和所述人眼区域伪造物检测结果得到所述待检测对象的虹膜活体检测结果，具体可包括步骤：S1421，根据所述多模态人脸伪造物检测结果、所述人眼区域伪造物检测结果、及所述多模态虹膜伪造物检测结果得到所述待检测对象的虹膜活体检测结果。该步骤S1421中，具体可以对所述人眼区域伪造物检测结果(对于针对人脸伪造物的第二训练样本而言)和多模态虹膜伪造物检测结果进行归一化加权，得到人脸伪造物检测结果；之后，人脸伪造物检测结果和多模态虹膜伪造物检测结果中只要有一个结果表明是假体，则可认为最终检测结果是假体攻击，不是活体。
上述步骤S160中，该多模态虹膜活体检测模型与前述多模态人脸活体检测模型所基于的神经网可以是相同的网络，主要区别在于，该多模态虹膜活体检测模型所用的第四训练样本是针对虹膜区域的，伪造物类型为虹膜伪造物类型，而多模态人脸活体检测模型所用的第一训练样本是针对人脸区域的，伪造物类型为人脸伪造物类型。因此，该多模态虹膜活体检测模型与前述多模态人脸活体检测模型主要在于模型参数不同。
上述步骤S140中，可以结合所有目前已有的检测结果得到虹膜活体检测结果，由于进一步考虑基于多模态虹膜活体检测模型得到的多模态虹膜伪造物检测结果，融合了更多信息，提高了检测精度。
对于基于多种检测结果得到最终虹膜活体检测结果的情况，可以对同一类型的检测结果加权得到该类型伪造物的检测结果，进而对于不同类型伪造物检测结果综合得到最终活体检测结果。如，上述步骤S1411、S1421的具体实施方式。
再例如，在一具体实施例中，图1所示的虹膜活体检测方法还可包括：上述步骤S150，即，利用人体体温活体检测模型对所述热辐射图像进行活体检测，得到基于人体体温的人脸伪造物检测结果；其中，所述人体体温活体检测模型是利用符合热辐射图像模态的第三训练样本对第三神经网训练得到，所述第三训练样本的集合包括真人人脸类型和人脸伪造物类型的训练样本；还包括上述步骤S160，即，将根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的虹膜区域图像输入至多模态虹膜活体检测模型，得到多模态虹膜伪造物检测结果；其中，所述多模态虹膜活体检测模型是利用符合所述多模态组合的第四训练样本对具有相应多输入的第四神经网络训练得到，所述第四训练样本的集合包含真人虹膜类型和虹膜伪造物类型的训练样本，所述第四神经网络和所述第一神经网络相同。其中的第一神经网络可以包括上述第一卷积神经网络、第一输出层、第二卷积神经网络及第二输出层。该实施例，同时考虑了上述步骤S120、S130、S150、S160的多种模态的检测结果，所得检测结果更准确。
在此情况下，一些实施例中，可以通过对检测结果加权的最终结果来得到活体检测结果。例如，上述步骤S140，即，根据所述多模态人脸伪造物检测结果和所述人眼区域伪造物检测结果得到所述待检测对象的虹膜活体检测结果，具体可包括步骤：
S1431，对所述基于人体体温的人脸伪造物检测结果(表示为
Figure BDA0002558713610000151
)、所述多模态人脸伪造物检测结果(表示为
Figure BDA0002558713610000152
)、及人脸伪造物类型的人眼区域伪造物检测结果(表示为
Figure BDA0002558713610000153
)进行归一化并加权求和，得到所述待检测对象为人脸伪造物的检测结果(如，
Figure BDA0002558713610000154
其中，α，β，λ可称为权重)；其中，人脸伪造物可包括无人体温度假体、人造热源体、及佩戴的面具中的一个或多个，所述无人体温度假体可包括打印纸和人体模型中的一个或多个；
S1432，对所述多模态虹膜伪造物检测结果(表示为
Figure BDA0002558713610000161
)和虹膜伪造物类型的人眼区域伪造物检测结果(表示为
Figure BDA0002558713610000162
)进行归一化并加权求和，得到所述待检测对象为虹膜伪造物的检测结果(
Figure BDA0002558713610000163
其中，γ，χ可称为权重)；虹膜伪造物可包括佩戴的美瞳、义眼、及玻璃眼球中的一个或多个；
S1433，将所述待检测对象为人脸伪造物的检测结果(表示为Speri)和/或所述待检测对象为虹膜伪造物的检测结果(可表示为Socular)作为所述待检测对象的虹膜活体检测结果进行输出。
上述步骤S1431和步骤S1432可不限定执行顺序。步骤S1433中，若人脸伪造物的检测结果Speri和虹膜伪造物的检测结果Socular其中之一达到判断为假体的条件，则可认为待检测对象为假体攻击。
另一些实施例中，可以通过制定判定策略来得到活体检测结果。例如，上述步骤S140，即，根据所述多模态人脸伪造物检测结果和所述人眼区域伪造物检测结果得到所述待检测对象的虹膜活体检测结果，具体可包括步骤：
S1441，若所述基于人体体温的人脸伪造物检测结果的归一化分数(表示为
Figure BDA0002558713610000164
)大于或等于第一设定人脸伪造物分数阈值(表示为
Figure BDA0002558713610000165
)，或人脸伪造物类型的人眼区域伪造物检测结果的归一化分数(表示为
Figure BDA0002558713610000166
)大于或等于第二设定人脸伪造物分数阈值(表示为
Figure BDA0002558713610000167
)，则确定所述待检测对象为人脸伪造物；
S1442，若所述基于人体体温的人脸伪造物检测结果的归一化分数(表示为
Figure BDA0002558713610000168
)小于所述第一设定人脸伪造物分数阈值(表示为
Figure BDA0002558713610000169
)且大于或等于第三设定人脸伪造物分数阈值(可表示为
Figure BDA00025587136100001610
)，且人脸伪造物类型的人眼区域伪造物检测结果的归一化分数(表示为
Figure BDA00025587136100001611
)小于所述第二设定阈值(表示为
Figure BDA00025587136100001612
)且大于或等于第四设定阈值(可表示为
Figure BDA00025587136100001613
)，则确定所述待检测对象为人脸伪造物；其中，所述第三设定阈值小于所述第一设定阈值，所述第四设定阈值小于所述第二设定阈值；
S1443，若所述基于人体体温的人脸伪造物检测结果的归一化分数(表示为
Figure BDA00025587136100001614
)小于所述第一设定人脸伪造物分数阈值(表示为
Figure BDA00025587136100001615
)且大于或等于所述第三设定人脸伪造物分数阈值(可表示为
Figure BDA00025587136100001616
)，且所述多模态人脸伪造物检测结果的归一化分数(表示为
Figure BDA0002558713610000171
)小于第五设定人脸伪造物分数阈值(表示为
Figure BDA0002558713610000172
)且大于或等于第六设定人脸伪造物分数阈值(表示为
Figure BDA0002558713610000173
)，则确定所述待检测对象为人脸伪造物；其中，所述第五设定人脸伪造物分数阈值小于所述第一设定人脸伪造物分数阈值和所述第二设定人脸伪造物分数阈值，所述第六设定人脸伪造物分数阈值小于所述第五设定人脸伪造物分数阈值；
S1444，若所述基于人体体温的人脸伪造物检测结果的归一化分数(表示为
Figure BDA0002558713610000174
)小于所述第三设定人脸伪造物分数阈值(可表示为
Figure BDA0002558713610000175
)且大于或等于第七设定人脸伪造物分数阈值(可表示为
Figure BDA0002558713610000176
)，且人脸伪造物类型的人眼区域伪造物检测结果的归一化分数(表示为
Figure BDA0002558713610000177
)小于所述第四设定人脸伪造物分数阈值(可表示为
Figure BDA0002558713610000178
)且大于或等于第八设定人脸伪造物分数阈值(可表示为
Figure BDA0002558713610000179
)，且所述多模态人脸伪造物检测结果的归一化分数(表示为
Figure BDA00025587136100001710
)小于所述第六设定人脸伪造物分数阈值(表示为
Figure BDA00025587136100001711
)且大于或等于第九设定人脸伪造物分数阈值(表示为
Figure BDA00025587136100001712
)，则确定所述待检测对象为人脸伪造物；其中，所述第七设定人脸伪造物分数阈值小于所述第三设定人脸伪造物分数阈值，所述第八设定人脸伪造物分数阈值小于所述第四设定人脸伪造物分数阈值，所述第九设定人脸伪造物分数阈值小于所述第六设定人脸伪造物分数阈值；
S1445，若虹膜伪造物类型的人眼区域伪造物检测结果归一化分数(表示为
Figure BDA00025587136100001713
)大于或等于第一设定虹膜伪造物分数阈值(可表示为
Figure BDA00025587136100001714
)，则确定所述待检测对象为虹膜伪造物；
S1446，若虹膜伪造物类型的人眼区域伪造物检测结果归一化分数(表示为
Figure BDA00025587136100001715
)小于所述第一设定虹膜伪造物分数阈值(可表示为
Figure BDA00025587136100001716
)且大于或等于第二设定虹膜伪造物分数阈值(可表示为
Figure BDA00025587136100001717
)，且所述多模态虹膜伪造物检测结果归一化分数(表示为
Figure BDA00025587136100001718
)小于第三设定虹膜伪造物分数阈值(可表示为
Figure BDA00025587136100001719
)且大于或等于第四设定虹膜伪造物分数阈值(可表示为
Figure BDA00025587136100001720
)，则确定所述待检测对象为虹膜伪造物；所述第二设定虹膜伪造物分数阈值小于所述第一设定虹膜伪造物分数阈值，所述第四设定虹膜伪造物分数阈值小于所述第三设定虹膜伪造物分数阈值，所述第三设定虹膜伪造物分数阈值小于所述第一设定虹膜伪造物分数阈值。
本实施例中，各检测结果可以为分类分数，可以将各检测结果归一化至同一范围，如0～1之间。本实施例可以结合各种检测结果，综合得到虹膜活体检测结果，使得检测结果更不易遗漏，更准确。
进一步地，上述步骤S1441～步骤S1446中，所述第三设定人脸伪造物分数阈值(可表示为
Figure BDA0002558713610000181
)可以是所述第一设定人脸伪造物分数阈值(表示为
Figure BDA0002558713610000182
)的第一设定小数倍数(可表示为x)，所述第四设定人脸伪造物分数阈值(可表示为
Figure BDA0002558713610000183
)可以是所述第二设定人脸伪造物分数阈值(表示为
Figure BDA0002558713610000184
)的第一设定小数倍数(可表示为x)，所述第六设定人脸伪造物分数阈值(表示为
Figure BDA0002558713610000185
)可以是所述第五设定人脸伪造物分数阈值(表示为
Figure BDA0002558713610000186
)的第一设定小数倍数(可表示为x)；所述第七设定人脸伪造物分数阈值(可表示为
Figure BDA0002558713610000187
)可以是所述第一设定人脸伪造物分数阈值(表示为
Figure BDA0002558713610000188
)的第二设定小数倍数，所述第八设定人脸伪造物分数阈值(可表示为
Figure BDA0002558713610000189
)可以是所述第二设定人脸伪造物分数阈值(表示为
Figure BDA00025587136100001810
)的第二设定小数倍数(可表示为y)，所述第九设定人脸伪造物分数阈值(表示为
Figure BDA00025587136100001811
)可以是所述第五设定人脸伪造物分数阈值(表示为
Figure BDA00025587136100001812
)的第二设定小数倍数(可表示为y)；所述第二设定小数倍数(可表示为y)小于所述第一设定小数倍数(可表示为x)；所述第二设定虹膜伪造物分数阈值(可表示为
Figure BDA00025587136100001813
)可以是所述第一设定虹膜伪造物分数阈值(可表示为
Figure BDA00025587136100001814
)的第一设定小数倍数(可表示为x)，所述第四设定虹膜伪造物分数阈值(可表示为
Figure BDA00025587136100001815
)可以是所述第三设定虹膜伪造物分数阈值(可表示为
Figure BDA00025587136100001816
)的第一设定小数倍数(可表示为x)。更具体的实施例中，第一设定小数倍数和第二设定小数倍数可以根据具体情况设定。其他实施例中，不同阈值间的倍数可有所不同。
为了更好地进行预警，图1所示的虹膜活体检测方法还可包括步骤：S170，获取所述待检测对象的体温，并在所述待检测对象的体温超过设定人体温度阈值范围的情况下，输出体温报警信息或所述待检测对象为伪造物的虹膜活体检测结果。
其中，该设定人体温度阈值范围可以是最大限度的人体温度的范围，如30度～40度。如疫情期间用来检疫检测的体温范围可以是显示人体无病症状态的范围，往往小于该设定人体温度阈值范围。输出体温报警信息可以借助测温模块进行假体判断。输出体温报警信息可以使人员注意可能出现疑似假体，为了排除测温模块稳定性的影响，最终假体检测结果可以结合后续步骤来得到。或者，若测温模块稳定性较好，可以直接输出认定为假体的检测结果，以提高检测速度。
具体实施时，上述步骤S170中，获取所述待检测对象的体温，具体可包括步骤：
S171，利用所述可见光图像和/或所述近红外图像对待检测对象进行人脸识别，得到人脸关键点定位结果；
S172，根据所述人脸关键点定位结果确定所述待检测对象的面部遮挡类型；其中，面部遮挡类型为面部无遮挡、佩戴口罩的遮挡、佩戴护目镜的遮挡、及包括佩戴口罩和护目镜的遮挡；
S173，若所述待检测对象的面部遮挡类型为面部无遮挡，则根据所述待检测对象的温度分布数据计算所述待检测对象的整个人脸区域的平均温度，作为所述待检测对象的体温；其中，所述待检测对象的温度分布数据与所述热辐射图像相对应；
S174，若所述待检测对象的面部遮挡类型为佩戴口罩的遮挡，则根据所述待检测对象的温度分布数据计算所述待检测对象所佩戴口罩以上的人脸区域的平均温度，作为所述待检测对象的体温；
S175，若所述待检测对象的面部遮挡类型为佩戴护目镜的遮挡，则根据所述待检测对象的温度分布数据计算所述待检测对象所佩戴护目镜以下的人脸区域的平均温度，作为所述待检测对象的体温；
S176，若所述待检测对象的面部遮挡类型为包括佩戴口罩和护目镜的遮挡，则根据所述待检测对象的温度分布数据得到所述待检测对象所佩戴护目镜上缘裸露皮肤的温度，作为所述待检测对象的体温。
其中，上述步骤S173～步骤S176是分别针对步骤S172中涉及的各种面部遮挡类型获取待检测对象的体温的方式。护目镜、口罩等遮挡物的遮挡情况，可以通过如上述步骤S111～步骤S113中进行关键点定位、人脸检测，来确定遮挡类别。如可见光图像中没有检测到口、鼻关键点，则可以认为佩戴了口罩；再如，步骤S113中，映射得到的眼角关键点对应区域温度偏低，可以认为佩戴了护目镜。此外，上述步骤S176，在佩戴口罩和护目镜的情况下，可能还佩戴了其他物品，则可出现大面积面部遮挡，此时可以寻找面部裸露皮肤进行测温，例如，可以通过在热辐射图像中寻找面部上温度普遍较高的区域，得到裸露皮肤温度。
进一步的实施例中，可以在待检测对象的体温正常的情况下才进行如步骤S120、步骤S130等的检测步骤。
例如，上述步骤S120，即，将根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的人脸区域图像输入至多模态人脸活体检测模型，得到多模态人脸伪造物检测结果，具体可包括步骤：在所述待检测对象的体温不超过所述设定人体温度阈值范围的情况下，将根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的人脸区域图像输入至多模态人脸活体检测模型，得到多模态人脸伪造物检测结果；
再例如，上述步骤S130中，利用人眼区域活体检测模型对所述近红外图像中的人眼区域图像进行活体检测，得到人眼区域伪造物检测结果，具体可包括步骤：在所述待检测对象的体温不超过所述设定人体温度阈值范围的情况下，利用人眼区域活体检测模型对所述近红外图像中的人眼区域图像进行活体检测，得到人眼区域伪造物检测结果。
基于图1所示的虹膜活体检测方法，本发明实施例还提供了一种虹膜识别门禁控制方法。图3是本发明一实施例的虹膜识别门禁控制方法的流程示意图。参见图3，该些实施例的虹膜识别门禁控制方法可包括：
步骤S210：利用本发明任一实施例所述的虹膜活体检测方法得到待检测对象的虹膜活体检测结果；
步骤S220：根据所述待检测对象的虹膜活体检测结果控制门禁开关。
另外，基于与图1所示虹膜活体检测方法相同的发明构思，本发明实施例还提供了一种虹膜活体检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述的虹膜活体检测方法的步骤。
基于本发明实施例所述的虹膜活体检测装置，本发明实施例还提供了一种虹膜识别门禁控制系统。图4是本发明一实施例的虹膜识别门禁控制系统的结构示意图，参见图4，该些实施例的虹膜识别门禁控制系统可包括：可见光相机310、近红外相机320、测温模块330及本发明任一实施例所述的虹膜活体检测装置。
其中，可见光相机310可用于采集待检测对象的可见光图像；近红外相机320可用于采集待检测对象的近红外图像；测温模块330可用于采集待检测对象的热辐射图像；本发明任一实施例所述的虹膜活体检测装置可用于根据待检测对象的可见光图像、近红外图像、及热辐射图像，得到待检测对象的虹膜活体检测结果。
此外，本发明实施例还提供了一种虹膜识别门禁系统，包括：本发明任一实施例所述的虹膜识别门禁控制系统。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例所述的虹膜活体检测方法、本发明任一实施例所述的虹膜识别门禁控制方法的步骤。
需要说明的是上述虹膜识别门禁控制方法、虹膜活体检测装置、虹膜识别门禁系统、计算机可读存储介质是基于与图1所示的虹膜活体检测方法相同的发明构思或借助该方法实现的，解决问题的原理相似，因此可以相互参见实施，重复之处不再赘述。
为使本领域技术人员更好地了解本发明，下面将以具体实施例说明本发明的实施方式。
在一具体实施例中，提出一种具有温度测量和高可靠性活体检测的虹膜识别门禁控制方法，不仅可以具有一般虹膜识别设备的注册、识别功能外，还可以在虹膜识别设备上增加测温模块，实现对复杂面部遮挡情况下的高精度测温，从而可以基于热辐射图、可见光人脸图像、近红外虹膜图像的实现多模态的活体检测，进而实现基于虹膜识别的门禁控制。
图5是本发明一具体实施例的虹膜识别门禁控制方法的流程示意图。参见图5，该虹膜识别门禁控制方法可包括以下步骤：
(1)在开始时，可以获取热辐射图像、可见光人脸图像、近红外虹膜图像，可以通过图像对齐得到热辐射人脸图像；
(2)测量待检测对象的体温T，判断体温T是否异常(体温T小于体温阈值下限Th_min，或T大于体温阈值上限Th_max)，若是，则认为待检测对象为假体，或者可以进行体温异常报警；
(3)若体温T正常，则可以利用可见光图像、热辐射图像、近红外图像进行多模态活体检测；
(4)综合步骤(3)的检测结果，进行多模态活体检测结果融合，若判断不是活体，则可以进行假体报警，否则可以进行虹膜注册或虹膜识别的过程，以此可以进行门禁控制。
在上述步骤(1)中：a)可以在可见光人脸相机拍摄的大场景的可见光图像中检测人脸区域，得到可见光人脸图像，并可以定位得到人脸关键点(如眼睛、鼻子、嘴角、脸周等)；b)根据对可见光图像的人脸检测结果，控制调整近红外相机采集清晰的近红外图像，在近红外图像上检测虹膜，得到近红外虹膜图像，并可以定位得到眼部关键点，得到近红外人眼图像，根据近红外虹膜图像和近红外人眼图像可以进行后续基于近红外图像的虹膜活体检测流程，还可以进行虹膜识别流程；c)可以根据近红外相机和测温模块，或可见光相机和测温模块的位置关系，将检测到的可见光图像或近红外图像中的人脸区域的位置映射到通过测温模块采集的热辐射图上，得到脸部热辐射图像(或称为热辐射人脸图像、热辐射图像的人脸区域)，用来进行面部的测温。
在上述步骤(2)中，可以根据多种遮挡模型，分类计算面部温度，进行温度补偿，实现稳定的面部测温，得到待测对象体温。
具体地，要实现高精度的面部测温，一方面取决于测温模块的精度，另一方面取决于测温位置和测温距离。在脸部无遮挡的情况下，对脸部关键点定位相对容易。但当脸部遮挡情况复杂时，例如，佩戴口罩、眼镜、帽子、以及其他遮挡物等，测温位置的定位难度显著增加。为此，本实施例中，针对多种脸部遮挡情况，构建面向复杂面部情况的人脸检测与关键点定位的模型或策略，精确定位人脸上的眼睛、鼻子、嘴角、脸周等关键点。其中，用于人脸识别和关键点定位的方法可采用现有的方法实现。在检测过程中，可以将多种不同遮挡情况的人脸分为多个类别。
例如，可以按正常、佩戴口罩、佩戴护目镜、大面积面罩遮挡等几个类别进行分类。如此一来，在测温过程中，可以根据不同的遮挡情况选择不同的测温位置及策略。例如，对应策略可包括：在正常情况下(面部无遮挡)，可以计算整个面部的平均温度，作为人体体温；在佩戴口罩的情况下，可以计算面部上半部分的平均温度，作为人体体温；在佩戴护目镜的情况下，如果带口罩，可以计算护目镜以上部分的平均温度，作为人体体温；在佩戴护目镜的情况下，如果没带口罩，可以计算护目镜以外其他面部区域的平均温度，作为人体体温；此外，在大面积面罩遮挡的情况下，可以在面罩(如护目镜)上缘寻找裸露皮肤测温，得到人体体温。
为配合精确的测温策略，可以进行精确的眼镜及护目镜关键点定位(如边缘框架)，避免眼镜和护目镜对测温的影响。定位方法可采用与人脸关键点定位相同的算法进行。
在上述步骤(3)中，进行多模态活体检测。由于虹膜识别设备一般可具备近红外相机、可见光相机，所以可以在虹膜识别设备中增加测温模块。利用三类图像传感器实现基于多源图像的多模态活体检测。基于热辐射图、可见光人脸图像、近红外图像的特征融合进行活体检测，比利用单一模态的特征进行活体检测具有更高的精度。人脸伪造物，如打印纸、面具、模型和人造热源等伪造物的检测分数可记录为Speri，虹膜伪造物，如美瞳、义眼、玻璃眼球等伪造物的检测分数可记录为Socular，可对检测分数Speri和分数Socular进行归一化，例如归一化至0～1之间的分数，其中，分数越高可表明检测对象为伪造物(或伪造目标)的概率越高。
多模态活体检测方法可包括三个部分：一是，基于热辐射图的伪造物检测；二是，基于热辐射人脸区域及可见光人脸的特征层融合活体检测；三是，基于近红外图虹膜区域的活体检测。
具体地，在基于热辐射图进行伪造物检测的过程中：由于假体一般很难做到逼真的人体温度效果，因此可利用脸部及脸部附近区域的热辐射图进行活体的判断，可检测区分是否为人脸伪造物，如是否为无人体温度假体、人造热源、佩戴面具等的假体攻击。基于热辐射图像的伪造物检测分数可记录为
Figure BDA0002558713610000231
由于热辐射图的复杂程度相对较低，假热源又一般呈现与真人较明显的区别，所以可以采用轻量的深度网络模型进行是否为伪造物的分类，可以利用深度卷积网络实现。
在基于热辐射人脸区域及可见光人脸的特征层融合进行活体检测过程中：人脸相机(可见光相机)和测温模块的位置较容易相对固定，可见光图像中人脸区域和热辐射图中的人脸区域可容易地精确对齐，所以可以选择对这两种模态进行提取特征和分析，可以采用孪生网络的方式(如图6所示)或者多通道输入(伪孪生网络)(如图7所示)的方式进行特征层融合学习和分类。基于热辐射人脸区域及可见光人脸的伪造物检测可检测人脸伪造物，如无人体温度假体、人造热源、佩戴面具等的假体攻击，分数可记录为
Figure BDA0002558713610000232
根据用于分类的图像的范围和分辨率，若可见光图像和热辐射图像中的虹膜区域足够大，也可以用其二者来进行虹膜伪造物，如佩戴美瞳、义眼、玻璃眼球等伪造物的检测，检测分数可记录为
Figure BDA0002558713610000233
在基于近红外图虹膜区域进行活体检测的过程中：在近红外图像中进行虹膜伪造物的检测比在可见光图像中进行虹膜伪造物的检测要容易，检测虹膜伪造物如佩戴美瞳、义眼、玻璃眼球等伪造形式也更精确。因此，本实施例选择通过对近红外图像中的虹膜区域进行独立的虹膜伪造物检测，并且最终可与其他两种模态进行分数层融合。如图8所示，利用人眼区域活体检测模型，可以基于近红外整幅眼周图像的卷积网络对人脸伪造物(如打印纸、模型等伪造物)进行分类检测，分类分数可记录为
Figure BDA0002558713610000241
另外，对虹膜伪造物(如佩戴美瞳、义眼、玻璃眼球等伪造物)的检测与整幅眼周图像的特征提取可共享前三层卷积网络层，在卷积特征层上截取定位到的虹膜区域，后面接卷积层和全卷积层，从而进行虹膜伪造物分类检测，分类分数可记录为
Figure BDA0002558713610000242
上述步骤(4)中，可以将上述步骤(3)中的三部分的检测结果进行融合计算，可采用简单的分数层计算融合方法，确定最终的分类分数。分数层融合分别针对Speri和Socular进行计算，公式可如下：
Figure BDA0002558713610000243
Figure BDA0002558713610000244
其中，α，β，λ，γ，χ为融合参数，调节不同分类对于最终分类的作用，
Figure BDA0002558713610000245
进行了归一化处理，
Figure BDA0002558713610000246
进行了归一化处理。分类参数可根据分类结果人工设定，也可采用学习的方式确定。
或者可以采用策略式判断是否存在伪造攻击行为，根据系统实际情况，根据各个部分活体检测的结果，设计合理的融合策略用于活体检测。策略设计方案示例如下：
(A)对于打印纸、模型等伪造物的判断策略
若
Figure BDA0002558713610000247
或
Figure BDA0002558713610000248
则认定为假体(打印纸、模型等伪造物)，其中
Figure BDA0002558713610000249
和
Figure BDA00025587136100002410
为较大的阈值设定；
反之，若
Figure BDA00025587136100002411
且
Figure BDA00025587136100002412
或，
Figure BDA00025587136100002413
且
Figure BDA00025587136100002414
则认定为假体(打印纸、模型等伪造物)；
再反之，若
Figure BDA00025587136100002415
且
Figure BDA00025587136100002416
且
Figure BDA00025587136100002417
则认定为假体(打印纸、模型等伪造物)。
(B)对于佩戴美瞳、义眼、玻璃眼球等伪造物的判断策略
若
Figure BDA0002558713610000251
则认定为假体(佩戴美瞳、义眼、玻璃眼球等伪造物)，其中
Figure BDA0002558713610000252
为较大的阈值设定；
反之，若
Figure BDA0002558713610000253
且
Figure BDA0002558713610000254
则认定为假体(佩戴美瞳、义眼、玻璃眼球等伪造物)。
(C)上述过程(A)和(B)中，若有一个判断为假体，则最终认定待检测对象为假体。
本实施例，提供了一种基于高可靠性的测温和活体检测方法，能够提供一种具有温度测量和高可靠性活体检测的虹膜识别门禁系统。实现了采用热辐射图像进行多模态融合的高可靠活体检测，能够解决在复杂面部遮挡情况下的体温测量和活体检测问题。
综上所述，本发明实施例的虹膜活体检测方法、虹膜识别门禁控制方法、虹膜活体检测装置、虹膜识别门禁控制系统、虹膜识别门禁系统、及计算机可读存储介质，通过实现采用热辐射图像进行多模态融合的高可靠活体检测，能够实现在复杂面部遮挡情况下的高精度虹膜识别的门禁控制管理。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种虹膜活体检测方法，其特征在于，包括：
获取待检测对象的热辐射图像、可见光图像及近红外图像；其中，所述热辐射图像、所述可见光图像及所述近红外图像中的人脸区域能够对齐；
将根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的人脸区域图像输入至多模态人脸活体检测模型，得到多模态人脸伪造物检测结果；其中，所述多模态人脸活体检测模型是利用符合所述多模态组合的第一训练样本对具有相应多输入的第一神经网络训练得到，所述第一训练样本的集合包含真人人脸类型和人脸伪造物类型的训练样本；
利用人眼区域活体检测模型对所述近红外图像中的人眼区域图像进行活体检测，得到人眼区域伪造物检测结果；其中，所述人眼区域活体检测模型是利用符合人眼近红外图像模态的第二训练样本对第二神经网络训练得到，所述第二训练样本的集合包含真人人眼类型和人眼区域伪造物类型的训练样本；所述人眼区域伪造物类型包括虹膜伪造物类型；
根据所述多模态人脸伪造物检测结果和所述人眼区域伪造物检测结果得到所述待检测对象的虹膜活体检测结果。
2.如权利要求1所述的虹膜活体检测方法，其特征在于，
根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的人脸区域图像的情况下，所述第一神经网络为多通道输入网络；
或者，
根据所述可见光图像和所述近红外图像中的其中一个与所述热辐射图像得到的多模态组合的人脸区域图像的情况下，所述第一神经网络为孪生网络。
3.如权利要求1所述的虹膜活体检测方法，其特征在于，获取待检测对象的热辐射图像、可见光图像及近红外图像，包括：
采集包括所述待检测对象的可见光图像，并检测所述可见光图像中的人脸区域位置，得到所述可见光图像中的人脸区域图像；
根据所述可见光图像中的人脸区域的位置，控制采集包括所述待检测对象的清晰虹膜的近红外图像，得到所述近红外图像中的人脸区域图像和人眼区域图像，并对所述近红外图像中的人眼区域图像进行虹膜定位，得到所述近红外图像中的虹膜区域图像；
采集包括所述待检测对象的热辐射图像，并根据相关相机位置关系，将所述可见光图像或所述近红外图像中的人脸区域图像映射至所述热辐射图像，得到所述热辐射图像中的人脸区域图像。
4.如权利要求1所述的虹膜活体检测方法，其特征在于，
所述人眼区域伪造物类型还包含人脸伪造物类型；
所述第二神经网络包括第一卷积网络层、第二卷积网络层、第一输出层、及第二输出层；
其中，所述第一卷积网络层的输出端与所述第一输出层连接，用于对接收的所述近红外图像中的人眼区域图像进行特征提取，并根据特征提取结果输出人脸伪造物类型的人眼区域伪造物检测结果；所述第二卷积网络层的输入端和输出端分别与所述第一卷积网络层的输出端和所述第二输出层连接，用于对根据所述近红外图像中的人眼区域图像中的虹膜区域定位结果从所述近红外图像中的人眼区域图像的特征提取结果中得到的虹膜区域特征进行特征提取，并根据虹膜区域特征的特征提取结果输出虹膜伪造物类型的人眼区域伪造物检测结果。
5.如权利要求1所述的虹膜活体检测方法，其特征在于，
所述方法还包括：
利用人体体温活体检测模型对所述热辐射图像进行活体检测，得到基于人体体温的人脸伪造物检测结果；其中，所述人体体温活体检测模型是利用符合热辐射图像模态的第三训练样本对第三神经网训练得到，所述第三训练样本的集合包括真人人脸类型和人脸伪造物类型的训练样本；
根据所述多模态人脸伪造物检测结果和所述人眼区域伪造物检测结果得到所述待检测对象的虹膜活体检测结果，包括：
根据所述多模态人脸伪造物检测结果、所述人眼区域伪造物检测结果、及所述基于人体体温的人脸伪造物检测结果得到所述待检测对象的虹膜活体检测结果。
6.如权利要求1所述的虹膜活体检测方法，其特征在于，
所述方法还包括：
将根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的虹膜区域图像输入至多模态虹膜活体检测模型，得到多模态虹膜伪造物检测结果；其中，所述多模态虹膜活体检测模型是利用符合所述多模态组合的第四训练样本对具有相应多输入的第四神经网络训练得到，所述第四训练样本的集合包含真人虹膜类型和虹膜伪造物类型的训练样本，所述第四神经网络和所述第一神经网络相同；
根据所述多模态人脸伪造物检测结果和所述人眼区域伪造物检测结果得到所述待检测对象的虹膜活体检测结果，包括：
根据所述多模态人脸伪造物检测结果、所述人眼区域伪造物检测结果、及所述多模态虹膜伪造物检测结果得到所述待检测对象的虹膜活体检测结果。
7.如权利要求4所述的虹膜活体检测方法，其特征在于，
所述方法还包括：
利用人体体温活体检测模型对所述热辐射图像进行活体检测，得到基于人体体温的人脸伪造物检测结果；其中，所述人体体温活体检测模型是利用符合热辐射图像模态的第三训练样本对第三神经网训练得到，所述第三训练样本的集合包括真人人脸类型和人脸伪造物类型的训练样本；以及，
将根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的虹膜区域图像输入至多模态虹膜活体检测模型，得到多模态虹膜伪造物检测结果；其中，所述多模态虹膜活体检测模型是利用符合所述多模态组合的第四训练样本对具有相应多输入的第四神经网络训练得到，所述第四训练样本的集合包含真人虹膜类型和虹膜伪造物类型的训练样本，所述第四神经网络和所述第一神经网络相同；
根据所述多模态人脸伪造物检测结果和所述人眼区域伪造物检测结果得到所述待检测对象的虹膜活体检测结果，包括：
对所述基于人体体温的人脸伪造物检测结果、所述多模态人脸伪造物检测结果、及人脸伪造物类型的人眼区域伪造物检测结果进行归一化并加权求和，得到所述待检测对象为人脸伪造物的检测结果；其中，人脸伪造物包括无人体温度假体、人造热源体、及佩戴的面具中的一个或多个，所述无人体温度假体包括打印纸和人体模型中的一个或多个；
对所述多模态虹膜伪造物检测结果和虹膜伪造物类型的人眼区域伪造物检测结果进行归一化并加权求和，得到所述待检测对象为虹膜伪造物的检测结果；虹膜伪造物包括佩戴的美瞳、义眼、及玻璃眼球中的一个或多个；
将所述待检测对象为人脸伪造物的检测结果和/或所述待检测对象为虹膜伪造物的检测结果作为所述待检测对象的虹膜活体检测结果进行输出。
8.如权利要求4所述的虹膜活体检测方法，其特征在于，
所述方法还包括：
利用人体体温活体检测模型对所述热辐射图像进行活体检测，得到基于人体体温的人脸伪造物检测结果；其中，所述人体体温活体检测模型是利用符合热辐射图像模态的第三训练样本对第三神经网训练得到，所述第三训练样本的集合包括真人人脸类型和人脸伪造物类型的训练样本；以及，
将根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的虹膜区域图像输入至多模态虹膜活体检测模型，得到多模态虹膜伪造物检测结果；其中，所述多模态虹膜活体检测模型是利用符合所述多模态组合的第四训练样本对具有相应多输入的第四神经网络训练得到，所述第四训练样本的集合包含真人虹膜类型和虹膜伪造物类型的训练样本，所述第四神经网络和所述第一神经网络相同；
根据所述多模态人脸伪造物检测结果和所述人眼区域伪造物检测结果得到所述待检测对象的虹膜活体检测结果，包括：
若所述基于人体体温的人脸伪造物检测结果的归一化分数大于或等于第一设定人脸伪造物分数阈值，或人脸伪造物类型的人眼区域伪造物检测结果的归一化分数大于或等于第二设定人脸伪造物分数阈值，则确定所述待检测对象为人脸伪造物；
若所述基于人体体温的人脸伪造物检测结果的归一化分数小于所述第一设定人脸伪造物分数阈值且大于或等于第三设定人脸伪造物分数阈值，且人脸伪造物类型的人眼区域伪造物检测结果的归一化分数小于所述第二设定阈值且大于或等于第四设定阈值，则确定所述待检测对象为人脸伪造物；其中，所述第三设定阈值小于所述第一设定阈值，所述第四设定阈值小于所述第二设定阈值；
若所述基于人体体温的人脸伪造物检测结果的归一化分数小于所述第一设定人脸伪造物分数阈值且大于或等于所述第三设定人脸伪造物分数阈值，且所述多模态人脸伪造物检测结果的归一化分数小于第五设定人脸伪造物分数阈值且大于或等于第六设定人脸伪造物分数阈值，则确定所述待检测对象为人脸伪造物；其中，所述第五设定人脸伪造物分数阈值小于所述第一设定人脸伪造物分数阈值和所述第二设定人脸伪造物分数阈值，所述第六设定人脸伪造物分数阈值小于所述第五设定人脸伪造物分数阈值；
若所述基于人体体温的人脸伪造物检测结果的归一化分数小于所述第三设定人脸伪造物分数阈值且大于或等于第七设定人脸伪造物分数阈值，且人脸伪造物类型的人眼区域伪造物检测结果的归一化分数小于所述第四设定人脸伪造物分数阈值且大于或等于第八设定人脸伪造物分数阈值，且所述多模态人脸伪造物检测结果的归一化分数小于所述第六设定人脸伪造物分数阈值且大于或等于第九设定人脸伪造物分数阈值，则确定所述待检测对象为人脸伪造物；其中，所述第七设定人脸伪造物分数阈值小于所述第三设定人脸伪造物分数阈值，所述第八设定人脸伪造物分数阈值小于所述第四设定人脸伪造物分数阈值，所述第九设定人脸伪造物分数阈值小于所述第六设定人脸伪造物分数阈值；
若虹膜伪造物类型的人眼区域伪造物检测结果归一化分数大于或等于第一设定虹膜伪造物分数阈值，则确定所述待检测对象为虹膜伪造物；
若虹膜伪造物类型的人眼区域伪造物检测结果归一化分数小于所述第一设定虹膜伪造物分数阈值且大于或等于第二设定虹膜伪造物分数阈值，且所述多模态虹膜伪造物检测结果归一化分数小于第三设定虹膜伪造物分数阈值且大于或等于第四设定虹膜伪造物分数阈值，则确定所述待检测对象为虹膜伪造物；所述第二设定虹膜伪造物分数阈值小于所述第一设定虹膜伪造物分数阈值，所述第四设定虹膜伪造物分数阈值小于所述第三设定虹膜伪造物分数阈值，所述第三设定虹膜伪造物分数阈值小于所述第一设定虹膜伪造物分数阈值。
9.如权利要求8所述的虹膜活体检测方法，其特征在于，
所述第三设定人脸伪造物分数阈值是所述第一设定人脸伪造物分数阈值的第一设定小数倍数，所述第四设定人脸伪造物分数阈值是所述第二设定人脸伪造物分数阈值的第一设定小数倍数，所述第六设定人脸伪造物分数阈值是所述第五设定人脸伪造物分数阈值的第一设定小数倍数；
所述第七设定人脸伪造物分数阈值是所述第一设定人脸伪造物分数阈值的第二设定小数倍数，所述第八设定人脸伪造物分数阈值是所述第二设定人脸伪造物分数阈值的第二设定小数倍数，所述第九设定人脸伪造物分数阈值是所述第五设定人脸伪造物分数阈值的第二设定小数倍数；
所述第二设定小数倍数小于所述第一设定小数倍数；
所述第二设定虹膜伪造物分数阈值是所述第一设定虹膜伪造物分数阈值的第一设定小数倍数，所述第四设定虹膜伪造物分数阈值是所述第三设定虹膜伪造物分数阈值的第一设定小数倍数。
10.如权利要求1所述的虹膜活体检测方法，其特征在于，还包括：
获取所述待检测对象的体温，并在所述待检测对象的体温超过设定人体温度阈值范围的情况下，输出体温报警信息或所述待检测对象为伪造物的虹膜活体检测结果。
11.如权利要求10所述的虹膜活体检测方法，其特征在于，获取所述待检测对象的体温，包括：
利用所述可见光图像和/或所述近红外图像对待检测对象进行人脸识别，得到人脸关键点定位结果；
根据所述人脸关键点定位结果确定所述待检测对象的面部遮挡类型；其中，面部遮挡类型为面部无遮挡、佩戴口罩的遮挡、佩戴护目镜的遮挡、及包括佩戴口罩和护目镜的遮挡；
若所述待检测对象的面部遮挡类型为面部无遮挡，则根据所述待检测对象的温度分布数据计算所述待检测对象的整个人脸区域的平均温度，作为所述待检测对象的体温；其中，所述待检测对象的温度分布数据与所述热辐射图像相对应；
若所述待检测对象的面部遮挡类型为佩戴口罩的遮挡，则根据所述待检测对象的温度分布数据计算所述待检测对象所佩戴口罩以上的人脸区域的平均温度，作为所述待检测对象的体温；
若所述待检测对象的面部遮挡类型为佩戴护目镜的遮挡，则根据所述待检测对象的温度分布数据计算所述待检测对象所佩戴护目镜以下的人脸区域的平均温度，作为所述待检测对象的体温；
若所述待检测对象的面部遮挡类型为包括佩戴口罩和护目镜的遮挡，则根据所述待检测对象的温度分布数据得到所述待检测对象所佩戴护目镜上缘裸露皮肤的温度，作为所述待检测对象的体温。
12.如权利要求10所述的虹膜活体检测方法，其特征在于，
将根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的人脸区域图像输入至多模态人脸活体检测模型，得到多模态人脸伪造物检测结果，包括：
在所述待检测对象的体温不超过所述设定人体温度阈值范围的情况下，将根据所述可见光图像和所述近红外图像中的至少一个与所述热辐射图像得到的多模态组合的人脸区域图像输入至多模态人脸活体检测模型，得到多模态人脸伪造物检测结果；
利用人眼区域活体检测模型对所述近红外图像中的人眼区域图像进行活体检测，得到人眼区域伪造物检测结果，包括：
在所述待检测对象的体温不超过所述设定人体温度阈值范围的情况下，利用人眼区域活体检测模型对所述近红外图像中的人眼区域图像进行活体检测，得到人眼区域伪造物检测结果。
13.一种虹膜识别门禁控制方法，其特征在于，包括：
利用如权利要求1至12任一项所述的虹膜活体检测方法得到待检测对象的虹膜活体检测结果；
根据所述待检测对象的虹膜活体检测结果控制门禁开关。
14.一种虹膜活体检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至12任一项所述方法的步骤。
15.一种虹膜识别门禁控制系统，其特征在于，包括：
可见光相机，用于采集待检测对象的可见光图像；
近红外相机，用于采集待检测对象的近红外图像；
测温模块，用于采集待检测对象的热辐射图像；
如权利要求14所述的虹膜活体检测装置，用于根据待检测对象的可见光图像、近红外图像、及热辐射图像，得到待检测对象的虹膜活体检测结果。
16.一种虹膜识别门禁系统，其特征在于，包括：如权利要求15所述的虹膜识别门禁控制系统。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至13任一项所述方法的步骤。
CN202010599660.1A 2020-06-28 2020-06-28 虹膜活体检测方法、门禁控制方法及装置 Active CN111967296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010599660.1A CN111967296B (zh) 2020-06-28 2020-06-28 虹膜活体检测方法、门禁控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010599660.1A CN111967296B (zh) 2020-06-28 2020-06-28 虹膜活体检测方法、门禁控制方法及装置

Publications (2)

Publication Number Publication Date
CN111967296A true CN111967296A (zh) 2020-11-20
CN111967296B CN111967296B (zh) 2023-12-05

Family

ID=73360891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010599660.1A Active CN111967296B (zh) 2020-06-28 2020-06-28 虹膜活体检测方法、门禁控制方法及装置

Country Status (1)

Country Link
CN (1) CN111967296B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112394973A (zh) * 2020-11-23 2021-02-23 山东理工大学 一种基于伪孪生网络的多语言代码剽窃检测方法
CN112396125A (zh) * 2020-12-01 2021-02-23 中国第一汽车股份有限公司 一种定位测试场景的分类方法、装置、设备及存储介质
CN112466024A (zh) * 2020-11-24 2021-03-09 上海卓繁信息技术股份有限公司 一种智能防疫系统
CN112800847A (zh) * 2020-12-30 2021-05-14 广州广电卓识智能科技有限公司 人脸采集源检测方法、装置、设备和介质
CN113506391A (zh) * 2021-06-08 2021-10-15 上海欣能信息科技发展有限公司 一种基于5g通讯的电力作业准入系统
CN114092995A (zh) * 2021-10-21 2022-02-25 北京中科虹霸科技有限公司 虹膜图像采集方法、虹膜识别方法及装置
CN114299599A (zh) * 2021-12-27 2022-04-08 杭州海康威视数字技术股份有限公司 虹膜识别方法、装置、设备及系统
CN114519882A (zh) * 2022-02-16 2022-05-20 奥比中光科技集团股份有限公司 一种人脸识别方法、装置及电子设备
CN115393931A (zh) * 2022-08-19 2022-11-25 奥比中光科技集团股份有限公司 一种活体检测方法、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833646A (zh) * 2009-03-11 2010-09-15 中国科学院自动化研究所 一种虹膜活体检测方法
WO2013131407A1 (zh) * 2012-03-08 2013-09-12 无锡中科奥森科技有限公司 双验证人脸防伪方法及装置
CN104834901A (zh) * 2015-04-17 2015-08-12 北京海鑫科金高科技股份有限公司 一种基于双目立体视觉的人脸检测方法、装置及系统
US20150347734A1 (en) * 2010-11-02 2015-12-03 Homayoon Beigi Access Control Through Multifactor Authentication with Multimodal Biometrics
CN105138996A (zh) * 2015-09-01 2015-12-09 北京上古视觉科技有限公司 一种具有活体检测功能的虹膜识别系统
US20160189149A1 (en) * 2014-12-30 2016-06-30 Ebay Inc. Biometric systems and methods for authentication and determination of group characteristics
CN106204815A (zh) * 2016-06-23 2016-12-07 江西洪都航空工业集团有限责任公司 一种基于人脸检测和识别的门禁系统
CN106372615A (zh) * 2016-09-19 2017-02-01 厦门中控生物识别信息技术有限公司 一种人脸防伪识别方法以及装置
CN107273812A (zh) * 2017-05-22 2017-10-20 西安交通大学 一种用于身份认证的活体虹膜防伪方法
US20190020831A1 (en) * 2017-07-12 2019-01-17 Chi-Sheng Hsieh Near-infrared thermal-imaging camera, and system using the near-infrared thermal-imaging camera for observing a living target
CN109543640A (zh) * 2018-11-29 2019-03-29 中国科学院重庆绿色智能技术研究院 一种基于图像转换的活体检测方法
CN110008813A (zh) * 2019-01-24 2019-07-12 阿里巴巴集团控股有限公司 基于活体检测技术的人脸识别方法和系统
US20200311238A1 (en) * 2017-12-13 2020-10-01 Princeton Identity, Inc. Systems and methods of multi-modal biometric analysis

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833646A (zh) * 2009-03-11 2010-09-15 中国科学院自动化研究所 一种虹膜活体检测方法
US20150347734A1 (en) * 2010-11-02 2015-12-03 Homayoon Beigi Access Control Through Multifactor Authentication with Multimodal Biometrics
WO2013131407A1 (zh) * 2012-03-08 2013-09-12 无锡中科奥森科技有限公司 双验证人脸防伪方法及装置
US20160189149A1 (en) * 2014-12-30 2016-06-30 Ebay Inc. Biometric systems and methods for authentication and determination of group characteristics
CN104834901A (zh) * 2015-04-17 2015-08-12 北京海鑫科金高科技股份有限公司 一种基于双目立体视觉的人脸检测方法、装置及系统
CN105138996A (zh) * 2015-09-01 2015-12-09 北京上古视觉科技有限公司 一种具有活体检测功能的虹膜识别系统
CN106204815A (zh) * 2016-06-23 2016-12-07 江西洪都航空工业集团有限责任公司 一种基于人脸检测和识别的门禁系统
CN106372615A (zh) * 2016-09-19 2017-02-01 厦门中控生物识别信息技术有限公司 一种人脸防伪识别方法以及装置
CN107273812A (zh) * 2017-05-22 2017-10-20 西安交通大学 一种用于身份认证的活体虹膜防伪方法
US20190020831A1 (en) * 2017-07-12 2019-01-17 Chi-Sheng Hsieh Near-infrared thermal-imaging camera, and system using the near-infrared thermal-imaging camera for observing a living target
US20200311238A1 (en) * 2017-12-13 2020-10-01 Princeton Identity, Inc. Systems and methods of multi-modal biometric analysis
CN109543640A (zh) * 2018-11-29 2019-03-29 中国科学院重庆绿色智能技术研究院 一种基于图像转换的活体检测方法
CN110008813A (zh) * 2019-01-24 2019-07-12 阿里巴巴集团控股有限公司 基于活体检测技术的人脸识别方法和系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
BASMA AMMOUR等: "Face–Iris Multimodal Biometric Identification System", ELECTRONICS, vol. 9, no. 1, pages 1 - 8 *
GARG H 等: "Multimodal Biometric Based on Fusion of Ridge Features with Minutiae Features and Face Features", INTERNATIONAL JOURNAL OF INFORMATION SYSTEM MODELING AND DESIGN, vol. 11, no. 1, pages 37 - 57 *
MEREDITH VAN NATTA等: "The rise and regulation of thermal facial recognition technology during the COVID-19 pandemic", DOI: 10.1093/JLB/LSAA038, vol. 7, no. 1, pages 1 - 9 *
叶文炜;何丽鹏;林峰;: "指纹静脉多模识别光学系统的设计", 激光与光电子学进展, no. 09, pages 370 - 376 *
杨林: "基于卷积神经网络的多模态生物识别方法研究", 中国优秀硕士学位论文全文数据库 (信息科技辑), no. 2019, pages 138 - 789 *
杨舒林: "基于人脸识别的移动终端考勤系统设计", 中国优秀硕士学位论文全文数据库 (信息科技辑), no. 2019, pages 138 - 895 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112394973A (zh) * 2020-11-23 2021-02-23 山东理工大学 一种基于伪孪生网络的多语言代码剽窃检测方法
CN112394973B (zh) * 2020-11-23 2024-03-12 山东理工大学 一种基于伪孪生网络的多语言代码剽窃检测方法
CN112466024A (zh) * 2020-11-24 2021-03-09 上海卓繁信息技术股份有限公司 一种智能防疫系统
CN112396125A (zh) * 2020-12-01 2021-02-23 中国第一汽车股份有限公司 一种定位测试场景的分类方法、装置、设备及存储介质
CN112396125B (zh) * 2020-12-01 2022-11-18 中国第一汽车股份有限公司 一种定位测试场景的分类方法、装置、设备及存储介质
CN112800847B (zh) * 2020-12-30 2023-03-24 广州广电卓识智能科技有限公司 人脸采集源检测方法、装置、设备和介质
CN112800847A (zh) * 2020-12-30 2021-05-14 广州广电卓识智能科技有限公司 人脸采集源检测方法、装置、设备和介质
CN113506391A (zh) * 2021-06-08 2021-10-15 上海欣能信息科技发展有限公司 一种基于5g通讯的电力作业准入系统
CN114092995A (zh) * 2021-10-21 2022-02-25 北京中科虹霸科技有限公司 虹膜图像采集方法、虹膜识别方法及装置
CN114092995B (zh) * 2021-10-21 2025-06-13 北京中科虹霸科技有限公司 虹膜图像采集方法、虹膜识别方法及装置
CN114299599A (zh) * 2021-12-27 2022-04-08 杭州海康威视数字技术股份有限公司 虹膜识别方法、装置、设备及系统
CN114519882A (zh) * 2022-02-16 2022-05-20 奥比中光科技集团股份有限公司 一种人脸识别方法、装置及电子设备
CN115393931A (zh) * 2022-08-19 2022-11-25 奥比中光科技集团股份有限公司 一种活体检测方法、设备及存储介质

Also Published As

Publication number Publication date
CN111967296B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN111967296B (zh) 虹膜活体检测方法、门禁控制方法及装置
EP3373798B1 (en) Method and system for classifying optic nerve head
Li et al. Automatic location of optic disk in retinal images
Bevilacqua et al. A novel approach to evaluate blood parameters using computer vision techniques
US20220198831A1 (en) System for determining one or more characteristics of a user based on an image of their eye using an ar/vr headset
CN102902970A (zh) 一种虹膜定位方法
CN103136505A (zh) 利用多种生理信息混合辨识身份的系统及方法
KR20160115501A (ko) 생체 정보 획득 방법 및 이를 위한 장치
EP3680794A1 (en) Device and method for user authentication on basis of iris recognition
CN109886080A (zh) 人脸活体检测方法、装置、电子设备及可读存储介质
US10956735B1 (en) System and method for determining a refractive error from red reflex images of eyes
CN113158821B (zh) 基于多模态的眼部检测数据的处理方法、装置及终端设备
CN111307290A (zh) 应用虹膜识别的非接触式身份识别与体温监测的方法与装置
CN111829661A (zh) 一种基于人脸解析的额温测量方法及系统
Abdel-Nasser et al. Automatic nipple detection in breast thermograms
CN115273150A (zh) 基于人体姿态估计的安全帽佩戴的新型识别方法及系统
CN110929570B (zh) 虹膜快速定位装置及其定位方法
Raza et al. Hybrid classifier based drusen detection in colored fundus images
Akram et al. Microaneurysm detection for early diagnosis of diabetic retinopathy
Kügler et al. Physical attacks in dermoscopy: An evaluation of robustness for clinical deep-learning
Zhao et al. A strabismus widespread screening method based on wearable eye tracker
Patel et al. Glaucoma detection using mask region-based convolutional neural networks
Gandhimathi et al. Detection of neovascularization in proliferative diabetic retinopathy fundus images.
CN110399786A (zh) 一种无感识别方法及系统
US20190316966A1 (en) Image processing device and image processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant