CN111814659A - 一种活体检测方法、和系统 - Google Patents
一种活体检测方法、和系统 Download PDFInfo
- Publication number
- CN111814659A CN111814659A CN202010645004.0A CN202010645004A CN111814659A CN 111814659 A CN111814659 A CN 111814659A CN 202010645004 A CN202010645004 A CN 202010645004A CN 111814659 A CN111814659 A CN 111814659A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- coordinate
- detected
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请公开了一种活体检测方法,该方法包括,采集待检测目标同一时刻的可见光图像和热成像图像,确定可见光图像各像素与热成像图像各像素之间对应位置,基于所确定像素对应位置区域的可见光图像和热成像图像,判定待检测目标是否为活体。在不降低检测的准确性的情形下,提高了活体检测的实时性。
Description
技术领域
本发明涉及图像识别检测领域,特别地,涉及一种活体检测方法。
背景技术
活体识别检测主要是通过识别活体上的生物特征信息来进行,它把生物特征信息作为生命特征来区分用照片、硅胶、塑料等非生命物质伪造的生物特征。通俗地讲,就是在识别检测的过程中确定被检测目标确实是个“活体”,不是照片、视频或其他什么。
公开号为CN109446981A的一种脸部活体检测方法,该方法获取待检测对象的脸部图像,该脸部图像包括热红外脸部图像和可见光脸部图像;从可见光脸部图像中检测出脸部区域;然后根据脸部区域在热红外脸部图像中的对应位置得到脸部热量信息;根据脸部热量信息进行测温和呼吸频率预测来检测是否为活体。
该方法基于脸部热量信息来进行测温和呼吸频率预测,耗时长,并不适合实时的人脸活体检测,例如,在人流量大、要求快速检测响应的闸机出入口,上述活体检测方法并不适用。
发明内容
本发明提供了一种活体检测方法,以提高活体检测的实时性。
本发明提供的一种活体检测方法是这样实现的:
采集待检测目标同一时刻的可见光图像和热成像图像,
确定可见光图像各像素与热成像图像各像素之间对应位置,
基于所确定像素对应位置区域的可见光图像和/或热成像图像,判定待检测目标是否为活体。
较佳地,所述可见光图像和热成像图像为分别来自于双目相机的双目图像,
所述确定可见光图像各像素与热成像图像各像素之间对应位置包括,根据双目相机的标定参数、以及待检测目标到双目相机基线的距离,确定可见光图像各像素与热成像图像各像素之间对应位置。
较佳地,所述双目相机的焦距相同;
所述根据双目相机的标定参数、以及待检测目标到双目相机基线的距离,确定可见光图像各像素与热成像图像各像素之间对应位置,包括,
根据双目相机的基线距离、相机焦距、以及待检测目标到双目相机基线的距离,计算相机焦距与基线长度的乘积除以待检测目标到两相机基线的距离,得到双目图像中左目图像中的像素x坐标与右目图像中的像素x坐标之差,
设定感兴趣区域ROI,根据左目图像中的像素y坐标与右目图像中的像素y坐标相同、以及左目图像中的像素x坐标与右目图像中的像素x坐标之差,确定可见光图像中感兴趣区域与热成像图像中感兴趣区域之间对应位置。
较佳地,所述双目相机的焦距不同;
所述根据双目相机的标定参数、以及待检测目标到双目相机基线的距离,确定可见光图像各像素与热成像图像各像素之间对应位置,包括,
根据双目相机的基线距离、各相机焦距、以及待检测目标到双目相机基线的距离,得到双目图像中左目图像中的像素x坐标与右目图像中的像素x坐标满足的关系,该关系为:待检测目标到双目相机基线的距离与左目相机焦距之和与左目相机焦距的比值,乘以左目图像中的像素x坐标所得到的第一结果,与,待检测目标到双目相机基线的距离与右目相机焦距之和与右目相机焦距的比值,乘以右目图像中的像素x坐标所得到的第二结果,两结果之和等于待检测目标到双目相机基线的距离;
设定感兴趣区域ROI,根据左目图像中的像素y坐标与右目图像中的像素y坐标相同、以及左目图像中的像素x坐标与右目图像中的像素x坐标的关系,确定可见光图像中感兴趣区域与热成像图像中感兴趣区域之间对应位置。
较佳地,所述设定感兴趣区域ROI,根据左目图像中的像素y坐标与右目图像中的像素y坐标相同、以及左目图像中的像素x坐标与右目图像中的像素x坐标之差,确定可见光图像中感兴趣区域与热成像图像中感兴趣区域之间对应位置,包括,
基于可见光图像,按照待检测目标的部位区域设定第一ROI区域,提取第一ROI区域中的图像数据作为有效区域数据,
根据可见光图像中的像素y坐标与热成像图像中的像素y坐标相同、以及可见光图像中的像素x坐标与热成像图像中的像素x坐标之差,确定热成像图像中与第一ROI区域对应的第二ROI区域,
所述基于所确定像素对应位置区域的可见光图像或热成像图像,判定待检测目标是否为活体,包括,
基于热成像图像中的第二ROI区域图像数据,获得灰度图,
根据热成像图像的灰度图,判定待检测目标是否为活体。
较佳地,所述基于热成像图像中的第二ROI区域图像数据,获得灰度图,包括,
设定灰度等级,基于热成像图像中的第二ROI区域图像数据,统计各灰度分布,得到第一灰度直方图,
所述根据热成像图像的灰度图,判定待检测目标是否为活体,包括,
基于第一灰度直方图,计算第一灰度平均值,将第一灰度平均值与预设的第一阈值和第二阈值进行比较,其中,第一阈值小于第二阈值,
若第一灰度平均值在第一阈值和第二阈值之间,则判定待检测目标为活体。否则,判定待检测目标为非活体,得到第一判定结果。
较佳地,该方法进一步包括,
在第二ROI区域,选取第三ROI区域,基于第三ROI区域进行灰度统计,得到第二灰度直方图,
基于第二灰度直方图,获得特征向量,并输入至训练后的神经网络模型进行识别;或者,基于第二灰度直方图,计算第二灰度平均值,将第二灰度平均值与预设的第三阈值和第四阈值进行比较,其中,第三阈值小于第四阈值,若第二灰度平均值在第三阈值和第四阈值之间,则判定待检测目标为活体,否则,判定待检测目标为非活体,得到第二判定结果;
综合第一判定结果和第二判定结果,当第一判断结果和第二判定结果都判定为活体时,则判定待检测目标为活体,否则,判定待检测目标为非活体,
当待检测目标为活体时,进行待检测目标的体温测量。
较佳地,所述待检测目标的部位区域为脸部区域,
所述按照待检测目标的部位区域设定第一ROI区域包括,
根据瞳孔之间间距确定一有效矩形区域的宽度,根据额部发际线到下巴的距离确定有效矩形区域的高度,
获取脸部图像中的左眼瞳孔坐标、右眼瞳孔坐标、嘴部左嘴角坐标、以及右嘴角坐标,计算4个坐标的均值,得到脸部中心位置,
按照有效矩形区域的中心与脸部中心位置的距离小于设定的第一距离阈值,确定有效矩形区域的位置;
或者,
提取脸部图像轮廓,该轮廓为额部发际线、右脸庞边界线、下颌边界、以及左脸庞边界线依次连接的封闭曲线,将该封闭曲线所形成的区域作为第一ROI区域。
较佳地,所述第三ROI区域包括,至少覆盖额部和/或者眼部的第一矩形区域,以及至少覆盖鼻部和嘴部的第二矩形区域,所述第一矩形区域和第二矩形区域相拼接;
所述当待检测目标为活体时,进行待检测目标的体温测量,包括,基于额部区域进行体温测量。
较佳地,所述设定感兴趣区域ROI,根据左目图像中的像素y坐标与右目图像中的像素y坐标相同、以及左目图像中的像素x坐标与右目图像中的像素x坐标之差,确定可见光图像中感兴趣区域与热成像图像中感兴趣区域之间对应位置,包括,
基于热成像图像,按照设定的温度阈值确定第四ROI区域,
根据热成像图像中的像素y坐标与可见光图像中的像素y坐标相同、以及可见光图像中的像素x坐标与热成像图像中的像素x坐标之差,确定可见光图像中与第四ROI区域对应的第五ROI区域,
所述基于所确定像素对应位置区域的可见光图像或热成像图像,判定待检测目标是否为活体,包括,
基于可见光图像中的第五ROI区域图像数据,提取图像特征,并输入至训练后的神经网络模型进行识别。
本发明还提供一种活体检测系统,该系统包括,
用于采集可见光图像的第一图像采集模块,以及用于采集热成像图像的第二图像采集模块,所述第一图像采集模块和第二图像采集模块为独立的图像采集模块或集成为双目成像形态,
处理器,用于触发第一图像采集模块和第二图像采集模块采集待检测目标同一时刻的可见光图像和热成像图像,确定可见光图像各像素与热成像图像各像素之间对应位置,基于所确定像素对应位置区域的可见光图像和热成像图像,判定待检测目标是否为活体。
本发明提供的一种活体检测方法,分别采集同一时刻可见光图像和热成像图像,将可见光图像各像素与热成像图像各像素进行位置对应,从而能够充分发挥可见光图像和热成像图像相结合的优势,在不降低检测的准确性的情形下,降低了算法的复杂性,避免了现有技术中在利用热成像图像进行活体检测时为提高准确性而导致的耗时和算法的复杂性,提高了活体检测的响应速度,并提高了检测的准确性。
附图说明
图1为本申请基于脸部区域进行活体检测的一种流程示意图。
图2为有效矩形区域的一种示意图。
图3为不规则有效区域的一种示意图。
图4为双目相机中两相机图像像素位置关系的一种示意图。
图5为脸部T形区域的一种示意图。
图6为体温测量区域的一种示意图。
图7为本申请进行活体检测的另一种流程示意图。
图8为本申请活体检测系统的一种示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白,以下结合附图对本申请做进一步详细说明。
申请人发现,尽管纸张、硅胶、屏幕等材质本身的属性和人体差异巨大,辐射出的热红外成分和强度都不一样,通过对图像的分析能够准确地进行活体判别,但就人体本身而言,由于身体部位的不同,甚至一天中时间的不同,有细微的差别,以红外探测器所检测到脸部热成像图像为例,即使在脸部,不同区域的红外图像均不同,并且,红外成像得到的灰度图与常见的可见光甚至是近红外人脸图像差异非常大,尽管公开号为CN109446981A的技术方案中通过相机标定可以将红外成像向可将光图像做对齐,但在可见光图像中能够获得脸部区域,而在红外图像中难以获得与可见光脸部区域精确对应的脸部区域,这导致了现有技术中只能通过测温和呼吸频率预测来进行活体检测。
有鉴于此,本申请对用于图像采集的相机预先进行内参和外参的标定,检测可见光图像中待检测目标的第一感兴趣区域(ROI,region of interest),根据标定参数和待检测目标与相机的距离,精确地确定热成像图像图中与第一感兴趣区域对应的第二感兴趣区域。对第二感兴趣区域的灰度分布进行直方图统计,根据对直方图的统计特性判断出待检测目标是否为活体。其中,进一步地,当待检测目标为活体时,定位到第二感兴趣区域中的特定位置,进行体温测量。
以下将以待检测目标为包括脸部特征的图像识别为例来进行说明,所应理解的是,本申请不限于脸部区域,还可以是待检测目标其他特征。
在本申请实施例中,活体检测系统包括采集可见光图像的第一相机和采集热成像图像的第二相机,其中,第一相机和第二相机的焦距相同,并且两相机以双目相机的方式排列分布,测距模块用于测量待检测目标到两相机基线的距离。采用张正友标定方法,分别对第一相机和第二相机进行相机内参和外参的标定、以及两相机之间外参的标定,所述两相机之间外参包括两相机基线的长度、以及双目的校正。
所应理解的是,标定的方法可不限于张正友标定方法,其他可以获得上述标定参数的方法均可。
参见图1所示,图1为本申请基于脸部区域进行活体检测的一种流程示意图。该活体检测方法包括,
步骤101,待检测目标被检测到进入识别区域后,通过测距模块获取其距离,并唤醒检测系统采集同一时刻的可见光图像和热成像图像。
其中,测距模块所获得的距离为待检测目标到两相机基线的距离。
步骤102,基于可见光图像,进行脸部区域检测,提取第一感兴趣区域作为有效区域,以有利于节省计算量和提高最终的判断精度。
其中,第一ROI区域可以有如下实施方式:
实施方式之一,参见图2所示,图2为有效矩形区域的一种示意图。获取脸部图像中的左眼瞳孔坐标、右眼瞳孔坐标、嘴部左嘴角坐标、右嘴角坐标,计算4个坐标的均值,得到脸部中心位置,
用数学式表达为:
fc_x=(eyel_x+eyer_x+mouthl_x+mouthr_x)/4
fc_y=(eyel_y+eyer_y+mouthl_y+mouthr_y)/4
其中,脸部中心位置的坐标为(fc_x,fc_y),左眼瞳孔坐标为(eyel_x,eyel_y),右眼瞳孔坐标(eyer_x,eyer_y),左嘴角坐标(mouthl_x,mouthl_y),右嘴角坐标(mouthr_x,mouthr_y)。
以瞳孔之间间距(瞳间距)的2倍的宽度作为有效矩形区域(图2中虚线)的宽度,将有效矩形区域的宽度的至少70%作为有效矩形区域的高度,形成用于提取图像数据的有效矩形区域,其中,有效矩形区域的宽度的数学式表达为:
facewidth=w*(eyer_x-eyel_x)
faceheight=h*facewidth,
其中,facewidth为有效矩形区域宽度,w为第一系数,faceheight为有效矩形区域高度,h为第二系数;其中,第一系数大于1,较佳地,取值为2,第二系数根据额部发际线到部分或全部下巴的高度确定。
有效矩形区域在脸部的位置(定位)可以结合脸部中心位置、有效矩形区域的高度、宽度按照使得有效矩形区域所限定的图像像素数量增加为目标确定;例如,有效矩形区域的中心与脸部中心位置的距离小于设定的第一距离阈值,较佳地,有效矩形区域的中心与脸部中心位置重合。
实施方式之二,有效区域的形状还可以是由多条曲线段首尾连接而形成的封闭的不规则多边形,以从脸部图像中区分出要提取的图像数据。例如,参见图3所示,图3为不规则有效区域的一种示意图。提取脸部图像轮廓,该轮廓为额部发际线、右脸庞边界线、下颌边界、以及左脸庞边界线依次连接的封闭曲线,将该封闭曲线所形成的区域作为有效区域。
步骤103,根据第一相机和第二相机的基线长度、以及测距模块获得的待检测目标到两相机基线的距离,确定热成像图像(第二相机图像)中与可见光图像(第一相机图像)中第一感兴趣区域对应的第二感兴趣区域。
参见图4所示,图4为双目相机中两相机图像像素位置关系的一种示意图。在该步骤中,由于第一相机和第二相机组成了双目相机,按照双目相机的成像原理,当第一相机和第二相机的焦距相同时,可见光图像中像素的y坐标与热成像图像中像素的y坐标相同,可见光图像中像素的x坐标与热成像图像中像素的x坐标满足:双目相机中左目中的像素x坐标与右目中的像素x坐标之差,等于,相机焦距与基线长度的乘积,除以待检测目标到两相机基线的距离,数学式表示为:
其中,ul为左目图像中像素的x坐标,ur为右目图像中像素的x坐标,f为相机焦距,T为基线长度,Z为待检测目标到两相机基线的距离。
这样,基于可见光图像第一ROI区域中各像素的坐标,通过上述关系,就可以获得热成像图像中与第一ROI区域精确对应的第二ROI区域。
当第一相机和第二相及的焦距不相同时,按照双目相机的成像原理,可见光图像中像素的y坐标与热成像图像中像素的y坐标相同,可见光图像中像素的x坐标与热成像图像中像素的x坐标满足:
tr+tl=T
消除上述三个等式中的tr、tl,可得:
其中,ul为左目图像中像素的x坐标,ur为右目图像中像素的x坐标,fl为左目相机焦距,fr为右目相机焦距,T为基线长度,Z为待检测目标到两相机基线的距离。
同样地,基于可见光图像第一ROI区域中各像素的坐标,通过上述关系,就可以获得热成像图像中与第一ROI区域精确对应的第二ROI区域。
所应理解的是,为了减少计算量,可以根据第一ROI区域边界的像素位置,获得与之对应的第二ROI区域边界的像素位置,得到第二ROI区域。
步骤104,根据应用需求设定灰度等级,基于第二ROI区域中的图像数据,统计各灰度的分布,即,将图像中的所有像素,按照灰度值的大小,统计其出现的频率,得到第一灰度直方图。
以256级灰度为例,统计第二ROI区域内灰度分布,得到灰度直方图。较佳地,可根据经验统计特定范围内的灰度值即可,例如灰度值在[16,220]内的分布以降低计算量,提升检测精度。
步骤105,基于第一灰度直方图,计算该直方图的平均值,得到第一灰度平均值,将第一灰度平均值与预设的第一阈值和第二阈值进行比较,其中,第一阈值小于第二阈值,
若第一灰度平均值在第一阈值和第二阈值之间,即,第一灰度平均值大于第一阈值、且小于第二阈值,则判定待检测目标为活体。否则,判定待检测目标为非活体。
步骤106,为了提高检测的可靠性,防止攻击,基于第二ROI区域,选取第三ROI区域作为特定区域,基于第三ROI区域进行灰度统计,得到第二灰度直方图。
参见图5所示,鉴于活体脸部中的由额部和/或者眼部、以及鼻部、嘴部组成的T形区域热成像较大,故将该T形区作为第三ROI区域,即,第三ROI区域包括,至少覆盖额部或者眼部的第一矩形区域,以及至少覆盖鼻部和嘴部的第二矩形区域,所述第一矩形区域和第二矩形区域相拼接。
所应理解的是,为了提高抗攻击的能力,第三ROI区域可以随机地进行调整和变换。
步骤107,基于第二灰度直方图,获得特征向量,输入至训练后的支持向量机SVM,以对特征向量进行识别。
在该步骤中,可以根据直方图中各个bin以及各bin所包含的像素位置,构建特征向量,将特征向量输入至训练后的SVM进行活体识别。
或者,与步骤105类似,基于第二灰度直方图,计算该直方图的平均值,得到第二灰度平均值,将第二灰度平均值与预设的第三阈值和第四阈值进行比较,其中,第三阈值小于第四阈值,
若第二灰度平均值在第三阈值和第四阈值之间,即,第二灰度平均值大于第三阈值、且小于第四阈值,则判定待检测目标为活体。否则,判定待检测目标为非活体。
步骤108,综合步骤105和步骤107的判定结果,输出检测结果,即,当步骤105和步骤107判定待检测目标为活体时,输出检测结果为活体,否则,输出检测结果为非活体。
步骤109,当待检测目标为活体时,基于额部区域进行体温测量。较佳地,该额部区域可以位于眼睛上方IPD/3处,额部区域宽度为IPD的1.2倍,高度为IPD/3,参见图6所示。
进一步地,为了提高体温测量的准确性,可以根据可见光图像的检测结果,避免脸部有遮挡的区域,调节体温测量区域。
本实施例通过采集可见光图像的第一相机和采集热成像图像的第二相机所组成的双目相机,基于测距模块所获得的深度信息,利用双目相机图像之间的关系,使得可见光图像与热成像图像的像素精确地匹配,从而能够从热成像图像中准确地确定ROI区域,并使得基于ROI区域所统计出灰度直方图准确,大大降低了现有技术中采用呼吸和体温预测方式的耗时,提高了活体检测的响应速度。
参见图7所示,图7为本申请进行活体检测的另一种流程示意图。
步骤701,待检测目标被检测到进入识别区域后,通过测距模块获取其距离,并唤醒检测系统采集同一时刻的可见光图像和热成像图像。
其中,测距模块所获得的距离为待检测目标到两相机基线的距离。
步骤702,基于热成像图像,按照设定的温度阈值确定第四ROI区域。
由于热成像图像是通过非接触探测红外热量,并将其转换为电信号,得到待检测目标的温度分布,进而在显示器上生成热图像和温度值,故而,可根据温度分布情况设定ROI区域。例如,可以将温度明显高于其他的区域作为ROI区域,或者,将温度值超过设定温度阈值的区域作为ROI区域。
以脸部图像为例,通常,如图5所示,在脸部区域的由额部或者眼部、以及鼻部、嘴部组成的T形区域热成像较大,这样,可以将该T形区域作为ROI区域。
步骤703,根据用于采集可见光图像的第一相机和用于采集热成像图像的第二相机之间的位置距离、以及测距模块所获得的待检测目标到两相机基线的距离,确定可见光图像中与热成像图像中第四感兴趣区域对应的第五感兴趣区域。
基于热成像图像第四ROI区域中各像素的坐标,通过公式1的关系,就可以获得可见光图像中与第四ROI区域精确对应的第五ROI区域。
步骤704,基于可见光图像,对第五ROI区域中的图像进行预处理,基于预处理后的图像提取图像特征,将提取的图像特征输入至训练好的神经网络模型进行分类识别,将识别结果作为检测结果输出。
本实施例中,基于热成像图像中的ROI区域来确定可见光图像中与之精确对应的ROI区域,避免了可见光图像采集时由于待检测目标的部分区域被遮挡而导致的检测失败,例如,基于脸部图像的活体检测时,即使脸部区域被口罩遮挡,也能够通过热成像图像锁定目标,过滤掉恶意的攻击,而基于可见光图像进一步地进行识别,提高了活体检测的准确性。
参见图8所示,图8为本申请活体检测系统的一种示意图。该检测系统包括,用于采集可见光图像的第一相机,以及用于采集热成像图像的第二相机,所述第一相机和第二相机为双目相机,第一相机连接有可见光成像模块,将采集的可见光图像输入至微处理器,第二相机连接有热成像模块,将采集的热成像图像输入至微处理器,
测距模块,用于获得待检测目标到双目相机基线的距离,
处理器,用于触发第一相机和第二相机采集待检测目标同一时刻的可见光图像和热成像图像,根据双目相机的标定参数、以及确定可见光图像各像素与热成像图像各像素之间对应位置,基于可见光图像和热成像图像,判定待检测目标是否为活体。
该检测系统还包括可见光补光模块,用于为第一相机提供补光光源,以及存储器。所应理解的是,所述第一相机、第二相机还可以分别是第一图像采集模块和第二图像采集模块,所述第一图像采集模块和第二图像采集模块为独立的图像采集模块或集成为双目成像形态。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例提供的活体检测系统,能够很好兼容既有的检测系统。
本发明实施例还提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述活体检测方法的步骤。
对于装置/网络侧设备/存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (11)
1.一种活体检测方法,其特征在于,该方法包括,
采集待检测目标同一时刻的可见光图像和热成像图像,
确定可见光图像各像素与热成像图像各像素之间对应位置,
基于所确定像素对应位置区域的可见光图像和/或热成像图像,判定待检测目标是否为活体。
2.如权利要求1所述的方法,其特征在于,所述可见光图像和热成像图像为分别来自于双目相机的双目图像,
所述确定可见光图像各像素与热成像图像各像素之间对应位置包括,根据双目相机的标定参数、以及待检测目标到双目相机基线的距离,确定可见光图像各像素与热成像图像各像素之间对应位置。
3.如权利要求2所述的方法,其特征在于,所述双目相机的焦距相同;
所述根据双目相机的标定参数、以及待检测目标到双目相机基线的距离,确定可见光图像各像素与热成像图像各像素之间对应位置,包括,
根据双目相机的基线距离、相机焦距、以及待检测目标到双目相机基线的距离,计算相机焦距与基线长度的乘积除以待检测目标到两相机基线的距离,得到双目图像中左目图像中的像素x坐标与右目图像中的像素x坐标之差,
设定感兴趣区域ROI,根据左目图像中的像素y坐标与右目图像中的像素y坐标相同、以及左目图像中的像素x坐标与右目图像中的像素x坐标的关系,确定可见光图像中感兴趣区域与热成像图像中感兴趣区域之间对应位置。
4.如权利要求2所述的方法,其特征在于,所述双目相机的焦距不同;
所述根据双目相机的标定参数、以及待检测目标到双目相机基线的距离,确定可见光图像各像素与热成像图像各像素之间对应位置,包括,
根据双目相机的基线距离、各相机焦距、以及待检测目标到双目相机基线的距离,得到双目图像中左目图像中的像素x坐标与右目图像中的像素x坐标满足的关系,该关系为:待检测目标到双目相机基线的距离与左目相机焦距之和与左目相机焦距的比值,乘以左目图像中的像素x坐标所得到的第一结果,与,待检测目标到双目相机基线的距离与右目相机焦距之和与右目相机焦距的比值,乘以右目图像中的像素x坐标所得到的第二结果,两结果之和等于待检测目标到双目相机基线的距离;
设定感兴趣区域ROI,根据左目图像中的像素y坐标与右目图像中的像素y坐标相同、以及左目图像中的像素x坐标与右目图像中的像素x坐标的关系,确定可见光图像中感兴趣区域与热成像图像中感兴趣区域之间对应位置。
5.如权利要求3或4所述的方法,其特征在于,所述设定感兴趣区域ROI,根据左目图像中的像素y坐标与右目图像中的像素y坐标相同、以及左目图像中的像素x坐标与右目图像中的像素x坐标的关系,确定可见光图像中感兴趣区域与热成像图像中感兴趣区域之间对应位置,包括,
基于可见光图像,按照待检测目标的部位区域设定第一ROI区域,提取第一ROI区域中的图像数据作为有效区域数据,
根据可见光图像中的像素y坐标与热成像图像中的像素y坐标相同、以及可见光图像中的像素x坐标与热成像图像中的像素x坐标的关系,确定热成像图像中与第一ROI区域对应的第二ROI区域,
所述基于所确定像素对应位置区域的可见光图像或热成像图像,判定待检测目标是否为活体,包括,
基于热成像图像中的第二ROI区域图像数据,获得灰度图,
根据热成像图像的灰度图,判定待检测目标是否为活体。
6.如权利要求5所述的方法,其特征在于,所述基于热成像图像中的第二ROI区域图像数据,获得灰度图,包括,
设定灰度等级,基于热成像图像中的第二ROI区域图像数据,统计各灰度分布,得到第一灰度直方图,
所述根据热成像图像的灰度图,判定待检测目标是否为活体,包括,
基于第一灰度直方图,计算第一灰度平均值,将第一灰度平均值与预设的第一阈值和第二阈值进行比较,其中,第一阈值小于第二阈值,
若第一灰度平均值在第一阈值和第二阈值之间,则判定待检测目标为活体。否则,判定待检测目标为非活体,得到第一判定结果。
7.如权利要求6所述的方法,其特征在于,该方法进一步包括,
在第二ROI区域,选取第三ROI区域,基于第三ROI区域进行灰度统计,得到第二灰度直方图,
基于第二灰度直方图,获得特征向量,并输入至训练后的神经网络模型进行识别;或者,基于第二灰度直方图,计算第二灰度平均值,将第二灰度平均值与预设的第三阈值和第四阈值进行比较,其中,第三阈值小于第四阈值,若第二灰度平均值在第三阈值和第四阈值之间,则判定待检测目标为活体,否则,判定待检测目标为非活体,得到第二判定结果;
综合第一判定结果和第二判定结果,当第一判断结果和第二判定结果都判定为活体时,则判定待检测目标为活体,否则,判定待检测目标为非活体,
当待检测目标为活体时,进行待检测目标的体温测量。
8.如权利要求3所述的方法,其特征在于,所述待检测目标的部位区域为脸部区域,
所述按照待检测目标的部位区域设定第一ROI区域包括,
根据瞳孔之间间距确定一有效矩形区域的宽度,根据额部发际线到下巴的距离确定有效矩形区域的高度,
获取脸部图像中的左眼瞳孔坐标、右眼瞳孔坐标、嘴部左嘴角坐标、以及右嘴角坐标,计算4个坐标的均值,得到脸部中心位置,
按照有效矩形区域的中心与脸部中心位置的距离小于设定的第一距离阈值,确定有效矩形区域的位置;
或者,
提取脸部图像轮廓,该轮廓为额部发际线、右脸庞边界线、下颌边界、以及左脸庞边界线依次连接的封闭曲线,将该封闭曲线所形成的区域作为第一ROI区域。
9.如权利要求7所述的方法,其特征在于,所述第三ROI区域包括,至少覆盖额部和/或者眼部的第一矩形区域,以及至少覆盖鼻部和嘴部的第二矩形区域,所述第一矩形区域和第二矩形区域相拼接;
所述当待检测目标为活体时,进行待检测目标的体温测量,包括,基于额部区域进行体温测量。
10.如权利要求3或4所述的方法,其特征在于,所述设定感兴趣区域ROI,根据左目图像中的像素y坐标与右目图像中的像素y坐标相同、以及左目图像中的像素x坐标与右目图像中的像素x坐标的关系,确定可见光图像中感兴趣区域与热成像图像中感兴趣区域之间对应位置,包括,
基于热成像图像,按照设定的温度阈值确定第四ROI区域,
根据热成像图像中的像素y坐标与可见光图像中的像素y坐标相同、以及可见光图像中的像素x坐标与热成像图像中的像素x坐标之差,确定可见光图像中与第四ROI区域对应的第五ROI区域,
所述基于所确定像素对应位置区域的可见光图像或热成像图像,判定待检测目标是否为活体,包括,
基于可见光图像中的第五ROI区域图像数据,提取图像特征,并输入至训练后的神经网络模型进行识别。
11.一种活体检测系统,其特征在于,该系统包括,
用于采集可见光图像的第一图像采集模块,以及用于采集热成像图像的第二图像采集模块,所述第一图像采集模块和第二图像采集模块为独立的图像采集模块或集成为双目成像形态;
处理器,用于触发第一图像采集模块和第二图像采集模块采集待检测目标同一时刻的可见光图像和热成像图像,确定可见光图像各像素与热成像图像各像素之间对应位置,基于所确定像素对应位置区域的可见光图像和热成像图像,判定待检测目标是否为活体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010645004.0A CN111814659B (zh) | 2020-07-07 | 2020-07-07 | 一种活体检测方法、和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010645004.0A CN111814659B (zh) | 2020-07-07 | 2020-07-07 | 一种活体检测方法、和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111814659A true CN111814659A (zh) | 2020-10-23 |
| CN111814659B CN111814659B (zh) | 2024-03-29 |
Family
ID=72841743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010645004.0A Active CN111814659B (zh) | 2020-07-07 | 2020-07-07 | 一种活体检测方法、和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111814659B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111879724A (zh) * | 2020-08-05 | 2020-11-03 | 中国工程物理研究院流体物理研究所 | 基于近红外光谱成像的人皮面具识别方法及系统 |
| US20220222479A1 (en) * | 2021-01-13 | 2022-07-14 | Ford Global Technologies, Llc | Material spectroscopy |
| CN118794361A (zh) * | 2024-09-10 | 2024-10-18 | 杭州海康威视数字技术股份有限公司 | 管径测量方法、装置及系统 |
| US12307814B2 (en) | 2021-01-13 | 2025-05-20 | Ford Global Technologies, Llc | Material spectroscopy |
Citations (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5311240A (en) * | 1992-11-03 | 1994-05-10 | Eastman Kodak Company | Technique suited for use in multi-zone autofocusing cameras for improving image quality for non-standard display sizes and/or different focal length photographing modes |
| KR20110102073A (ko) * | 2010-03-10 | 2011-09-16 | 홍익대학교 산학협력단 | 얼굴 인식 시스템에서의 위조 검출 방법 |
| TW201426161A (zh) * | 2012-12-27 | 2014-07-01 | Ind Tech Res Inst | 深度影像擷取裝置、其校正方法與量測方法 |
| CN106372601A (zh) * | 2016-08-31 | 2017-02-01 | 上海依图网络科技有限公司 | 一种基于红外可见双目图像的活体检测方法及装置 |
| CN106845345A (zh) * | 2016-12-15 | 2017-06-13 | 重庆凯泽科技股份有限公司 | 活体检测方法及装置 |
| US20170171456A1 (en) * | 2015-12-10 | 2017-06-15 | Google Inc. | Stereo Autofocus |
| KR101748563B1 (ko) * | 2016-09-26 | 2017-06-20 | 유비씨엔(주) | 양안기반 시선추적 방법 |
| US20180165512A1 (en) * | 2015-06-08 | 2018-06-14 | Beijing Kuangshi Technology Co., Ltd. | Living body detection method, living body detection system and computer program product |
| CN108596061A (zh) * | 2018-04-12 | 2018-09-28 | Oppo广东移动通信有限公司 | 人脸识别方法、装置及移动终端、存储介质 |
| CN108764058A (zh) * | 2018-05-04 | 2018-11-06 | 吉林大学 | 一种基于热成像效应的双摄像头人脸活体检测方法 |
| JP2018200268A (ja) * | 2017-05-29 | 2018-12-20 | 株式会社東海理化電機製作所 | 画像認識装置 |
| CN109191504A (zh) * | 2018-08-01 | 2019-01-11 | 南京航空航天大学 | 一种无人机目标跟踪方法 |
| CN109446981A (zh) * | 2018-10-25 | 2019-03-08 | 腾讯科技(深圳)有限公司 | 一种脸部活体检测、身份认证方法及装置 |
| US20190107443A1 (en) * | 2016-04-13 | 2019-04-11 | Shenzhen Everbest Machinery Industry Co., Ltd. | Infrared temperature measurement method and device |
| KR20190060243A (ko) * | 2017-11-24 | 2019-06-03 | 연세대학교 산학협력단 | 열화상 카메라를 이용한 호흡 측정 시스템 |
| KR20190090544A (ko) * | 2018-01-25 | 2019-08-02 | 금오공과대학교 산학협력단 | 적외선 센서 및 얼굴인식기술을 이용한 카메라 감시 시스템 |
| US20190301861A1 (en) * | 2018-03-02 | 2019-10-03 | TuSimple | Method and apparatus for binocular ranging |
| CN110309782A (zh) * | 2019-07-02 | 2019-10-08 | 四川大学 | 一种基于红外与可见光双目系统的活体人脸检测方法 |
| CN110334678A (zh) * | 2019-07-12 | 2019-10-15 | 哈尔滨理工大学 | 一种基于视觉融合的行人检测方法 |
| US20200005061A1 (en) * | 2018-06-28 | 2020-01-02 | Beijing Kuangshi Technology Co., Ltd. | Living body detection method and system, computer-readable storage medium |
| CN110763140A (zh) * | 2019-07-08 | 2020-02-07 | 北京宇航时代科技发展有限公司 | 一种非平行光轴高精度双目测距方法 |
| CN110991266A (zh) * | 2019-11-13 | 2020-04-10 | 北京智芯原动科技有限公司 | 一种双目人脸活体检测方法及装置 |
| CN111164647A (zh) * | 2017-10-04 | 2020-05-15 | 谷歌有限责任公司 | 使用单个相机估算深度 |
| WO2020103427A1 (zh) * | 2018-11-23 | 2020-05-28 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
| CN111222380A (zh) * | 2018-11-27 | 2020-06-02 | 杭州海康威视数字技术股份有限公司 | 一种活体检测方法、装置、及其识别模型训练方法 |
| CN111323125A (zh) * | 2020-02-28 | 2020-06-23 | 北京格灵深瞳信息技术有限公司 | 一种测温方法、装置及计算机存储介质、电子设备 |
-
2020
- 2020-07-07 CN CN202010645004.0A patent/CN111814659B/zh active Active
Patent Citations (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5311240A (en) * | 1992-11-03 | 1994-05-10 | Eastman Kodak Company | Technique suited for use in multi-zone autofocusing cameras for improving image quality for non-standard display sizes and/or different focal length photographing modes |
| KR20110102073A (ko) * | 2010-03-10 | 2011-09-16 | 홍익대학교 산학협력단 | 얼굴 인식 시스템에서의 위조 검출 방법 |
| TW201426161A (zh) * | 2012-12-27 | 2014-07-01 | Ind Tech Res Inst | 深度影像擷取裝置、其校正方法與量測方法 |
| US20180165512A1 (en) * | 2015-06-08 | 2018-06-14 | Beijing Kuangshi Technology Co., Ltd. | Living body detection method, living body detection system and computer program product |
| US20170171456A1 (en) * | 2015-12-10 | 2017-06-15 | Google Inc. | Stereo Autofocus |
| CN107852460A (zh) * | 2015-12-10 | 2018-03-27 | 谷歌有限责任公司 | 立体自动对焦 |
| US20190107443A1 (en) * | 2016-04-13 | 2019-04-11 | Shenzhen Everbest Machinery Industry Co., Ltd. | Infrared temperature measurement method and device |
| CN106372601A (zh) * | 2016-08-31 | 2017-02-01 | 上海依图网络科技有限公司 | 一种基于红外可见双目图像的活体检测方法及装置 |
| WO2018040307A1 (zh) * | 2016-08-31 | 2018-03-08 | 上海依图网络科技有限公司 | 一种基于红外可见双目图像的活体检测方法及装置 |
| KR101748563B1 (ko) * | 2016-09-26 | 2017-06-20 | 유비씨엔(주) | 양안기반 시선추적 방법 |
| CN106845345A (zh) * | 2016-12-15 | 2017-06-13 | 重庆凯泽科技股份有限公司 | 活体检测方法及装置 |
| JP2018200268A (ja) * | 2017-05-29 | 2018-12-20 | 株式会社東海理化電機製作所 | 画像認識装置 |
| CN111164647A (zh) * | 2017-10-04 | 2020-05-15 | 谷歌有限责任公司 | 使用单个相机估算深度 |
| KR20190060243A (ko) * | 2017-11-24 | 2019-06-03 | 연세대학교 산학협력단 | 열화상 카메라를 이용한 호흡 측정 시스템 |
| KR20190090544A (ko) * | 2018-01-25 | 2019-08-02 | 금오공과대학교 산학협력단 | 적외선 센서 및 얼굴인식기술을 이용한 카메라 감시 시스템 |
| US20190301861A1 (en) * | 2018-03-02 | 2019-10-03 | TuSimple | Method and apparatus for binocular ranging |
| CN108596061A (zh) * | 2018-04-12 | 2018-09-28 | Oppo广东移动通信有限公司 | 人脸识别方法、装置及移动终端、存储介质 |
| CN108764058A (zh) * | 2018-05-04 | 2018-11-06 | 吉林大学 | 一种基于热成像效应的双摄像头人脸活体检测方法 |
| US20200005061A1 (en) * | 2018-06-28 | 2020-01-02 | Beijing Kuangshi Technology Co., Ltd. | Living body detection method and system, computer-readable storage medium |
| CN109191504A (zh) * | 2018-08-01 | 2019-01-11 | 南京航空航天大学 | 一种无人机目标跟踪方法 |
| CN109446981A (zh) * | 2018-10-25 | 2019-03-08 | 腾讯科技(深圳)有限公司 | 一种脸部活体检测、身份认证方法及装置 |
| WO2020103427A1 (zh) * | 2018-11-23 | 2020-05-28 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
| CN111222380A (zh) * | 2018-11-27 | 2020-06-02 | 杭州海康威视数字技术股份有限公司 | 一种活体检测方法、装置、及其识别模型训练方法 |
| CN110309782A (zh) * | 2019-07-02 | 2019-10-08 | 四川大学 | 一种基于红外与可见光双目系统的活体人脸检测方法 |
| CN110763140A (zh) * | 2019-07-08 | 2020-02-07 | 北京宇航时代科技发展有限公司 | 一种非平行光轴高精度双目测距方法 |
| CN110334678A (zh) * | 2019-07-12 | 2019-10-15 | 哈尔滨理工大学 | 一种基于视觉融合的行人检测方法 |
| CN110991266A (zh) * | 2019-11-13 | 2020-04-10 | 北京智芯原动科技有限公司 | 一种双目人脸活体检测方法及装置 |
| CN111323125A (zh) * | 2020-02-28 | 2020-06-23 | 北京格灵深瞳信息技术有限公司 | 一种测温方法、装置及计算机存储介质、电子设备 |
Non-Patent Citations (4)
| Title |
|---|
| 小海歌哥: "双目相机--双目视差与深度距离关系推导详解", 《CSDN》, pages 1 - 6 * |
| 张奎;陈兆学;赵航;王远军;: "基于两组同心圆环点的双目摄像机标定方法研究", 光学技术, no. 03, 15 May 2016 (2016-05-15), pages 8 - 13 * |
| 胡广胜;王青;单清群;: "红外与可见光双摄像机标定方法研究", 科技创新与应用, no. 04, 8 February 2017 (2017-02-08), pages 15 - 17 * |
| 陈佳;杨进华;张金泉;雷美荣;: "基于单个摄像机的双目立体视觉测距技术研究", 长春理工大学学报(自然科学版), no. 01, 15 March 2008 (2008-03-15), pages 3 - 5 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111879724A (zh) * | 2020-08-05 | 2020-11-03 | 中国工程物理研究院流体物理研究所 | 基于近红外光谱成像的人皮面具识别方法及系统 |
| US20220222479A1 (en) * | 2021-01-13 | 2022-07-14 | Ford Global Technologies, Llc | Material spectroscopy |
| US11657589B2 (en) * | 2021-01-13 | 2023-05-23 | Ford Global Technologies, Llc | Material spectroscopy |
| US12307814B2 (en) | 2021-01-13 | 2025-05-20 | Ford Global Technologies, Llc | Material spectroscopy |
| CN118794361A (zh) * | 2024-09-10 | 2024-10-18 | 杭州海康威视数字技术股份有限公司 | 管径测量方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111814659B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111814659B (zh) | 一种活体检测方法、和系统 | |
| US11922646B2 (en) | Tracking surgical items with prediction of duplicate imaging of items | |
| CN110110629B (zh) | 面向室内环境控制的人员信息检测方法与系统 | |
| CN109670441B (zh) | 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质 | |
| CN108764071B (zh) | 一种基于红外和可见光图像的真实人脸检测方法及装置 | |
| Bharadwaj et al. | Biometric quality: a review of fingerprint, iris, and face | |
| EP4659699A2 (en) | Method for estimating blood component quantities in surgical textiles | |
| CN101609507B (zh) | 步态识别方法 | |
| CN110889355B (zh) | 一种人脸识别校验方法、系统及存储介质 | |
| CN108549886A (zh) | 一种人脸活体检测方法及装置 | |
| CN106372615A (zh) | 一种人脸防伪识别方法以及装置 | |
| CN111598865B (zh) | 基于热红外和rgb双摄的手足口病检测方法、装置及系统 | |
| CN112525352A (zh) | 一种基于人脸识别的红外测温补偿方法及终端 | |
| CN112396573A (zh) | 基于图像识别的面部皮肤分析方法及系统 | |
| CN106022304A (zh) | 一种基于双目相机的实时人体坐姿情况检测方法 | |
| TW201701820A (zh) | 檢測眼球運動的方法、其程式、該程式的記憶媒體以及檢測眼球運動的裝置 | |
| CN118632654A (zh) | 收集与量化舌像特征的方法与装置 | |
| KR101854991B1 (ko) | 눈 흰자위와 동공의 색을 기반으로 한 디지털 이미지 색 보정 방법 및 시스템 | |
| CN114894337B (zh) | 一种用于室外人脸识别测温方法及装置 | |
| Parziale et al. | Advanced technologies for touchless fingerprint recognition | |
| Jaddoa et al. | Automatic eyes localization in thermal images for temperature measurement in cattle | |
| CN108537138A (zh) | 一种基于机器视觉的眼睛闭合度计算方法 | |
| CN113008380A (zh) | 一种智慧ai体温预警方法、系统及存储介质 | |
| CN113069088B (zh) | 一种人工智能交互装置 | |
| JP2023549865A (ja) | 児童を対象とした両眼距離測定の方法及びシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |