CN108229420A - 一种人脸识别方法、移动终端 - Google Patents
一种人脸识别方法、移动终端 Download PDFInfo
- Publication number
- CN108229420A CN108229420A CN201810060309.8A CN201810060309A CN108229420A CN 108229420 A CN108229420 A CN 108229420A CN 201810060309 A CN201810060309 A CN 201810060309A CN 108229420 A CN108229420 A CN 108229420A
- Authority
- CN
- China
- Prior art keywords
- face
- recognized
- image
- mobile terminal
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Telephone Function (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种人脸识别方法、移动终端,所述方法包括:在检测到人脸识别触发操作时,拍摄待识别人脸以得到待识别人脸图像;根据待识别人脸图像,确定待识别人脸图像中的第一场景信息;根据第一场景信息,判断待识别人脸图像对应的场景模式是否为预设场景模式;若是,则根据预设场景模式对应的人脸模板图像,对待识别人脸进行人脸识别;其中,第一场景信息包括下述至少一种:拍摄待识别人脸图像时移动终端中的第一传感器参数、待识别人脸图像中的第一深度信息、待识别人脸图像中的第一人脸占比率。本发明能够避免拍摄场景对人脸识别过程的影响,有效提高人脸识别效率,提高用户使用体验。
Description
技术领域
本发明涉及终端技术领域,尤其涉及一种人脸识别方法、移动终端。
背景技术
随着智能终端技术的发展,人脸识别技术广泛应用于人们日常生活中。例如,在智能终端中,通过人脸识别技术在屏幕解锁、电子支付、账号登录等过程中进行身份验证。
实际应用中,用户预先在智能终端中录入人脸模板图像,在人脸识别过程中,智能终端拍摄用户的待测人脸图像,进而将拍摄得到的待测人脸图像与预先录入的人脸模板图像进行匹配,若匹配成功,则用户身份验证通过。但是,现有的人脸识别过程对待测人脸图像的拍摄要求较高,例如,用户需要对准摄像头多次调整位置进行拍摄,导致人脸识别的识别效率较低,用户使用体验较差。
发明内容
本发明实施例提供一种方法人脸识别方法、移动终端,以解决现有的人脸识别的识别效率较低的问题。
为了解决上述技术问题,本发明是这样实现的:一种人脸识别方法,包括:
在检测到人脸识别触发操作时,拍摄待识别人脸以得到待识别人脸图像;
根据所述待识别人脸图像,确定所述待识别人脸图像中的第一场景信息;
根据所述第一场景信息,判断所述待识别人脸图像对应的场景模式是否为预设场景模式;
若是,则根据所述预设场景模式对应的人脸模板图像,对所述待识别人脸进行人脸识别;
其中,所述第一场景信息包括下述至少一种:
拍摄所述待识别人脸图像时移动终端中的第一传感器参数、所述待识别人脸图像中的第一深度信息、所述待识别人脸图像中的第一人脸占比率。
本发明实施例还提供了一种移动终端,包括:拍摄模块、确定模块、判断模块和识别模块,其中:
所述拍摄模块,用于在检测到人脸识别触发操作时,拍摄待识别人脸以得到待识别人脸图像;
所述确定模块,用于根据所述待识别人脸图像,确定所述待识别人脸图像中的第一场景信息;
所述判断模块,用于根据所述第一场景信息,判断所述待识别人脸图像对应的场景模式是否为预设场景模式;
所述识别模块,用于在所述待识别人脸图像对应的场景模式为所述预设场景模式时,根据所述预设场景模式对应的人脸模板图像,对所述待识别人脸进行人脸识别;
其中,所述第一场景信息包括下述至少一种:
拍摄所述待识别人脸图像时移动终端中的第一传感器参数、所述待识别人脸图像中的第一深度信息、所述待识别人脸图像中的第一人脸占比率。
本发明实施例还提供了一种移动终端,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的人脸识别程序,所述人脸识别程序被所述处理器执行时实现如上所述的人脸识别方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有人脸识别程序,所述人脸识别程序被处理器执行时实现如上所述的人脸识别方法的步骤。
在本发明实施例中,在检测到人脸识别触发操作时,拍摄待识别人脸以得到待识别人脸图像,确定该待识别人脸图像中的第一场景信息,其中,第一场景信息包括下述至少一种:拍摄待识别人脸图像时移动终端中的第一传感器参数、待识别人脸图像中的第一深度信息、待识别人脸图像中的第一人脸占比率;根据该第一场景信息,判断待识别人脸图像对应的场景模式是否为预设场景模式,进而在确定待识别人脸图像对应的场景模式为预设场景模式时,根据该预设场景模式对应的人脸模板图像,对待识别人脸进行人脸识别,从而能够避免拍摄场景对人脸识别过程的影响,有效提高人脸识别效率,提高用户使用体验。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实施例提供的一种人脸识别方法的流程示意图;
图2为本发明实施例提供的预设场景模式对应的人脸模板图像的示意图;
图3为本发明实施例提供的常规人脸识别模式对应的人脸模板图像的示意图;
图4为本发明实施例提供的一种移动终端的结构示意图;
图5为实现本发明各个实施例的一种移动终端的硬件结构示意图。
具体实施方式
下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下结合附图,详细说明本发明各实施例提供的技术方案。
实施例1
图1为本发明实施例提供的一种人脸识别方法的流程示意图。所述方法可以如下所示。
步骤102:在检测到人脸识别触发操作时,拍摄待识别人脸以得到待识别人脸图像。
实际应用中,用户可能会存在在特定场景下进行人脸识别的需求,例如,手机平放在桌子上时,用户希望不拿起手机,通过脸部前倾,使得手机摄像头能够捕捉到待识别人脸的部分人脸时即可以实现人脸识别操作。
现有的常规人脸识别模式对应的人脸模板图像为拍摄目标人脸的全部人脸得到的,由于在特定场景下拍摄得到的待识别人脸图像中可能仅包含待识别人脸的部分人脸,使得待识别人脸图像与常规人脸识别模式下对应的人脸模板图像的匹配率较低,人脸识别的识别准确率较低。
为了满足用户在特定场景下的人脸识别需求,在人脸识别之前,也即在检测到人脸识别触发操作之前,在移动终端中建立预设场景模式。
需要说明的是,预设场景模式可以根据用户的实际人脸识别的场景需要建立。
用户希望后续在什么特殊场景下进行人脸识别,即可以在移动终端中建立该特殊场景对应的预设场景模式。例如,用户早上刚睡醒时要用人脸识别解锁手机,在常规人脸识别模式下,躺着进行人脸识别的成功率较低,因此,用户可以将早上躺着解锁作为解锁场景,并在该解锁场景下进行人脸模板图像的录入,进而根据在该解锁场景下录入的人脸模板图像,在移动终端中建立该解锁场景对应的预设场景模式。
本发明实施例中,在检测到人脸识别触发操作之前,还包括:
建立预设场景模式;
建立预设场景模式,包括:
在接收到人脸模板录入指令时,拍摄目标人脸以得到人脸模板图像;
根据人脸模板图像,确定该人脸模板图像中的第二场景信息和第一人脸特征信息;
根据第二场景信息和第一人脸特征信息,建立预设场景模式。
具体地,第二场景信息包括:拍摄人脸模板图像时移动终端中的第二传感器参数、人脸模板图像中的第二深度信息和人脸模板图像中的第二人脸占比率。
其中,第二传感器参数包括下述至少一种:拍摄人脸模板图像时移动终端中的陀螺仪传感器参数、拍摄人脸模板图像时移动终端中的重力传感器参数。
图2为本发明实施例提供的预设场景模式对应的人脸模板图像的示意图。
如图2所示,预设场景模式对应的拍摄场景下拍摄得到的人脸模板图像中可以仅包括目标人脸的部分人脸。
移动终端拍摄得到人脸模板图像之后,根据该人脸模板图像,确定该人脸模板图像中的第二场景信息和第一人脸特征信息。
移动终端获取拍摄人脸模板图像时移动终端中的第二传感器参数(例如,陀螺传感器参数、重力传感器参数,等),该第二传感器参数可以用于确定拍摄人脸模板图像时移动终端的状态,例如,平放、直立,等。
针对拍摄得到的人脸模板图像,移动终端确定该人脸模板图像中的第二人脸占比率(即人脸部分在整个图像中的面积比例),以及确定该人脸模板图像中的第二深度信息(例如,人脸部分相对于背景部分的距离、角度,等)。
将上述确定的第二传感器参数、第二人脸占比率和第二深度信息确定为人脸模板图像中的第二场景信息,其中,第二场景信息用于在后续人脸识别过程中进行场景模式判断。
进一步地,针对拍摄得到的人脸模板图像,移动终端对该人脸模板图像中的人脸部分进行像素特征点采集,可以重点采集人脸部分的中心区域的像素特征点,并根据采集得到的像素特征点确定该人脸模板图像中的第一人脸特征信息,其中,第一人脸特征信息用于在后续人脸识别过程中进行人脸匹配识别。
移动终端根据人脸模板图像中的第二场景信息和第一人脸特征信息建立预设场景模式,使得后续可以针对预设场景模式对应的拍摄场景进行人脸识别,满足用户在特殊场景下的人脸识别需求。
在移动终端中,还包括常规人脸识别模式对应的人脸模板图像,常规人脸识别模式对应的人脸模板图像中不包括场景信息,仅包括根据常规人脸识别模式对应的人脸模板图像,确定的第三人脸特征信息,用于满足用户在常规人脸识别场景下的人脸识别需求。
常规人脸识别模式对应的人脸模板图像包括目标人脸的全部,并且需要确保目标人脸为正脸录入,避免仰头、低头或歪头等情况,而且需要确保人脸模板图像中的目标人脸较为清晰,也就是说,在常规人脸识别模式下,人脸模板图像的录入要求较高。
图3为本发明实施例提供的常规人脸识别模式对应的人脸模板图像的示意图。
移动终端在检测到用户触发的人脸识别触发操作时,开启移动终端中的摄像头。用户对准移动终端的摄像头,使得摄像头对取景范围内的用户对应的待识别人脸进行拍摄,得到待识别人脸图像。
需要说明的是,人脸识别触发操作可以是按下移动终端的预设功能键(例如,电源键、主键等),可以是通过预设触发操作(例如,点击屏幕、双击屏幕、抬腕动作等),可以是点击支付控件或登录控件,还可以是其他人脸识别触发操作,这里不做具体限定。
步骤104:根据待识别人脸图像,确定待识别人脸图像中的第一场景信息。
具体地,第一场景信息包括下述至少一种:拍摄待识别人脸图像时移动终端中的第一传感器参数、待识别人脸图像中的第一深度信息、待识别人脸图像中的第一人脸占比率。
其中,第一传感器参数包括下述至少一种:拍摄待识别人脸图像时移动终端中的陀螺仪传感器参数、拍摄待识别人脸图像时移动终端中的重力传感器参数。
移动终端获取拍摄待识别人脸图像时移动终端中的第一传感器参数(例如,陀螺传感器参数、重力传感器参数,等)、确定该待识别人脸图像中的第一人脸占比率(即待识别人脸部分在整个图像中的面积比例),以及确定该待识别人脸图像中的第一深度信息(例如,待识别人脸部分相对于背景部分的距离、角度,等)。
将上述确定的第一传感器参数、第一人脸占比率和第一深度信息中的至少一种确定为待识别人脸图像中的第一场景信息。
移动终端通过确定待识别人脸图像中的第一场景信息,使得可以确定拍摄待识别人脸图像时的拍摄场景。
本发明实施例中,还包括:
在满足预设启动条件时,启动预设场景模式;
根据待识别人脸图像,确定待识别人脸图像中的第一场景信息,包括:
当所述预设场景模式开启时,根据所述待识别人脸图像,确定所述待识别人脸图像中的所述第一场景信息。
相对于常规人脸识别模式对应的第三人脸特征信息,预设场景模式对应的第一人脸特征信息包含的人脸特征信息较少,为了在人脸特征信息较少的情况下仍然能够确保人脸识别的安全性,对预设场景模式的开启进行限制,使得在满足预设启动条件时,移动终端才可以启动预设场景模式进行人脸识别。
需要说明的是,预设启动条件可以根据用户实际需要进行设定,这里不做具体限定。
预设启动条件可以包括:地点a,时间段b-c,移动终端在确定满足该预设启动条件时,自动启动预设场景模式。例如,用户可以设置每天早上7:00-8:00,若移动终端确定当前地理位置为预设家庭地址的情况下,自动启动能够实现用户躺着进行人脸识别的预设场景模式,使得用户每天早上醒来都可以躺着拿起手机,通过人脸识别进行手机解锁。
此外,预设启动条件也可以是用户输入的验证密码,移动终端在接收到用户输入的验证密码之后,启动预设场景模式。
在人脸识别过程中,移动终端首先判断预设场景模式是否启动,只有在确定预设场景模式启动的情况下,才进一步根据待识别人脸图像,确定待识别人脸图像对应的第一场景信息。
若移动终端确定预设场景模式未启动,则无需确定第一场景信息,而是根据常规人脸识别模式对应的人脸模板图像,对待识别人脸进行人脸识别。
步骤106:根据第一场景信息,判断待识别人脸图像对应的场景模式是否为预设场景模式。
具体地,根据第一场景信息,判断待识别人脸图像对应的场景模式是否为预设场景模式,包括:
若第一场景信息和第二场景信息满足预设匹配条件,则确定待识别人脸图像对应的场景模式为预设场景模式;
与第一场景信息对应的,预设匹配条件包括下述至少一种:
第一传感器参数和第二传感器参数相匹配;
第一深度信息和第二深度信息相匹配;
第一人脸占比率和第二人脸占比率相匹配。
将人脸识别过程中拍摄得到的待识别人脸图像中的第一场景信息,与预设场景模式对应的人脸模板图像中的第二场景信息进行匹配,得到第一场景信息和第二场景信息之间的匹配度,若该匹配度大于预设阈值,表示拍摄待识别人脸图像时的拍摄场景与录入人脸模板图像时的拍摄场景可以对应,即可以确定该待识别人脸图像对应的场景模式为预设场景模式。
需要说明的是,可以根据上述一个预设匹配条件对第一场景信息和第二场景信息进行匹配,也可以根据上述多个预设匹配条件综合对第一场景信息和第二尝尽信息进行匹配,这里不做具体限定。
步骤108:若待识别人脸图像对应的场景模式为预设场景模式,根据该预设场景模式对应的人脸模板图像,对待识别人脸进行人脸识别。
具体地,根据预设场景模式对应的人脸模板图像,对所述待识别人脸进行人脸识别,包括:
确定待识别人脸图像中的第二人脸特征信息;
确定第一人脸特征信息与第二人脸特征信息之间的匹配度;
若该匹配度大于预设阈值,则确定对待识别人脸识别通过。
在确定待识别人脸图像对应的场景模式为预设场景模式后,针对待识别人脸图像,移动终端对该待识别人脸图像中的人脸部分进行像素特征点采集,可以重点采集人脸部分的中心区域的像素特征点,并根据采集得到的像素特征点确定该待识别人脸图像中的第二人脸特征信息。
对第一人脸特征信息与第二人脸特征信息进行匹配,确定第一人脸特征信息与第二人脸特征信息之间的匹配度,若该匹配度大于预设阈值,表示待识别人脸与目标人脸一致,即可以确定对待识别人脸识别通过。
若第一人脸特征信息与第二人脸特征信息之间的匹配度不大于预设阈值,即待识别人脸图像与预设场景模式对应的人脸模板图像不匹配。
此时,为了提高人脸识别的容错率,避免由于场景判断错误造成的识别错误,对待识别图像与常规人脸识别模式对应的人脸模板图像进行匹配,即判断待识别图像中的第二人脸特征信息,与常规人脸识别模式对应的人脸模板图像中的第三人脸特征信息是否匹配。若匹配,则确定对待识别人脸识别通过;若不匹配,则确定对待识别人脸识别失败。
在本发明实施例中,若根据第一场景信息,确定待识别人脸图像对应的场景模式不是预设场景模式,则根据常规人脸模式对应的人脸模板图像,对待识别人脸进行人脸识别。
具体地,判断待识别人脸图像中的第二人脸特征信息,与常规人脸识别模式对应的人脸模板图像中的第三人脸特征信息是否匹配。若匹配,则确定对待识别人脸识别通过;若不匹配,则确定对待识别人脸识别失败。
本发明实施例记载的技术方案,在检测到人脸识别触发操作时,拍摄待识别人脸以得到待识别人脸图像,确定该待识别人脸图像中的第一场景信息,其中,第一场景信息包括下述至少一种:拍摄待识别人脸图像时移动终端中的第一传感器参数、待识别人脸图像中的第一深度信息、待识别人脸图像中的第一人脸占比率;根据该第一场景信息,判断待识别人脸图像对应的场景模式是否为预设场景模式,进而在确定待识别人脸图像对应的场景模式为预设场景模式时,根据该预设场景模式对应的人脸模板图像,对待识别人脸进行人脸识别,从而能够避免拍摄场景对人脸识别过程的影响,有效提高人脸识别效率,提高用户使用体验。
实施例2
图4为本发明实施例提供的一种移动终端的结构示意图。移动终端400包括:拍摄模块401、确定模块402、判断模块403和识别模块404,其中:
拍摄模块401,用于在检测到人脸识别触发操作时,拍摄待识别人脸以得到待识别人脸图像;
确定模块402,用于根据待识别人脸图像,确定待识别人脸图像中的第一场景信息;
判断模块403,用于根据第一场景信息,判断待识别人脸图像对应的场景模式是否为预设场景模式;
识别模块404,用于在待识别人脸图像对应的场景模式为预设场景模式时,根据该预设场景模式对应的人脸模板图像,对待识别人脸进行人脸识别;
其中,第一场景信息包括下述至少一种:
拍摄待识别人脸图像时移动终端中的第一传感器参数、待识别人脸图像中的第一深度信息、待识别人脸图像中的第一人脸占比率。
可选地,移动终端400还包括:建立模块,其中:
建立模块,用于在检测到人脸识别触发操作之前,建立预设场景模式;
建立模块进一步包括:拍摄单元、第一确定单元和建立单元,其中:
拍摄单元,用于在接收到人脸模板录入指令时,拍摄目标人脸以得到人脸模板图像;
第一确定单元,用于根据人脸模板图像,确定该人脸模板图像中的第二场景信息和第一人脸特征信息;
建立单元,用于根据第二场景信息和第一人脸特征信息,建立预设场景模式;
其中,第二场景信息包括:拍摄人脸模板图像时移动终端中的第二传感器参数、人脸模板图像中的第二深度信息和人脸模板图像中的第二人脸占比率。
可选地,判断模块403具体用于:
若第一场景信息和第二场景信息满足预设匹配条件,则确定待识别人脸图像对应的场景模式为预设场景模式;
与第一场景信息对应的,预设匹配条件包括下述至少一种:
第一传感器参数和第二传感器参数相匹配;
第一深度信息和第二深度信息相匹配;
第一人脸占比率和第二人脸占比率相匹配。
可选地,识别模块404进一步包括:第二确定单元和匹配单元,其中:
第二确定单元,用于确定待识别人脸图像中的第二人脸特征信息;
匹配单元,用于确定第一人脸特征信息与第二人脸特征信息之间的匹配度;
第二确定单元,还用于在匹配度大于预设阈值时,确定对待识别人脸识别通过。
可选地,第一传感器参数包括下述至少一种:拍摄待识别人脸图像时移动终端中的陀螺仪传感器参数、拍摄待识别人脸图像时移动终端中的重力传感器参数;
第二传感器参数包括下述至少一种:拍摄人脸模板图像时移动终端中的陀螺仪传感器参数、拍摄人脸模板图像时移动终端中的重力传感器参数。
可选地,移动终端400还包括:启动模块,其中:
启动模块,用于在满足预设启动条件时,启动预设场景模式;
确定模块具体用于:当预设场景模式开启时,根据待识别人脸图像,确定待识别人脸图像中的第一场景信息。
本发明实施例提供的移动终端能够实现上述方法实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。
图5为实现本发明各个实施例的一种移动终端的硬件结构示意图,
该移动终端500包括但不限于:射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、处理器510、以及电源511等部件。本领域技术人员可以理解,图5中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,移动终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中,处理器510,用于在检测到人脸识别触发操作时,拍摄待识别人脸以得到待识别人脸图像;根据待识别人脸图像,确定待识别人脸图像中的第一场景信息;根据第一场景信息,判断待识别人脸图像对应的场景模式是否为预设场景模式;若是,则根据预设场景模式对应的人脸模板图像,对待识别人脸进行人脸识别;其中,第一场景信息包括下述至少一种:拍摄待识别人脸图像时移动终端中的第一传感器参数、待识别人脸图像中的第一深度信息、待识别人脸图像中的第一人脸占比率。
在检测到人脸识别触发操作时,拍摄待识别人脸以得到待识别人脸图像,确定该待识别人脸图像中的第一场景信息,其中,第一场景信息包括下述至少一种:拍摄待识别人脸图像时移动终端中的第一传感器参数、待识别人脸图像中的第一深度信息、待识别人脸图像中的第一人脸占比率;根据该第一场景信息,判断待识别人脸图像对应的场景模式是否为预设场景模式,进而在确定待识别人脸图像对应的场景模式为预设场景模式时,根据该预设场景模式对应的人脸模板图像,对待识别人脸进行人脸识别,从而能够避免拍摄场景对人脸识别过程的影响,有效提高人脸识别效率,提高用户使用体验。
应理解的是,本发明实施例中,射频单元501可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器510处理;另外,将上行的数据发送给基站。通常,射频单元501包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元501还可以通过无线通信系统与网络和其他设备通信。
移动终端通过网络模块502为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元503可以将射频单元501或网络模块502接收的或者在存储器509中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元503还可以提供与移动终端500执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元503包括扬声器、蜂鸣器以及受话器等。
输入单元504用于接收音频或视频信号。输入单元504可以包括图形处理器(Graphics Processing Unit,GPU)5041和麦克风5042,图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元506上。经图形处理器5041处理后的图像帧可以存储在存储器509(或其它存储介质)中或者经由射频单元501或网络模块502进行发送。麦克风5042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元501发送到移动通信基站的格式输出。
移动终端500还包括至少一种传感器505,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板5061的亮度,接近传感器可在移动终端500移动到耳边时,关闭显示面板5061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器505还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元506用于显示由用户输入的信息或提供给用户的信息。显示单元506可包括显示面板5061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板5061。
用户输入单元507可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板5071上或在触控面板5071附近的操作)。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器510,接收处理器510发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板5071。除了触控面板5071,用户输入单元507还可以包括其他输入设备5072。具体地,其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板5071可覆盖在显示面板5061上,当触控面板5071检测到在其上或附近的触摸操作后,传送给处理器510以确定触摸事件的类型,随后处理器510根据触摸事件的类型在显示面板5061上提供相应的视觉输出。虽然在图5中,触控面板5071与显示面板5061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板5071与显示面板5061集成而实现移动终端的输入和输出功能,具体此处不做限定。
接口单元508为外部装置与移动终端500连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元508可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端500内的一个或多个元件或者可以用于在移动终端500和外部装置之间传输数据。
存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器509可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器510是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器509内的软件程序和/或模块,以及调用存储在存储器509内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器510可包括一个或多个处理单元;优选的,处理器510可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器510中。
移动终端500还可以包括给各个部件供电的电源511(比如电池),优选的,电源511可以通过电源管理系统与处理器510逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,移动终端500包括一些未示出的功能模块,在此不再赘述。
优选的,本发明实施例还提供一种移动终端,包括处理器510,存储器509,存储在存储器509上并可在处理器510上运行的人脸识别程序,该人脸识别程序被处理器510执行时实现上述人脸识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有人脸识别程序,该人脸识别程序被处理器执行时实现上述人脸识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
Claims (13)
1.一种人脸识别方法,其特征在于,包括:
在检测到人脸识别触发操作时,拍摄待识别人脸以得到待识别人脸图像;
根据所述待识别人脸图像,确定所述待识别人脸图像中的第一场景信息;
根据所述第一场景信息,判断所述待识别人脸图像对应的场景模式是否为预设场景模式;
若是,则根据所述预设场景模式对应的人脸模板图像,对所述待识别人脸进行人脸识别;
其中,所述第一场景信息包括下述至少一种:
拍摄所述待识别人脸图像时移动终端中的第一传感器参数、所述待识别人脸图像中的第一深度信息、所述待识别人脸图像中的第一人脸占比率。
2.如权利要求1所述的方法,其特征在于,在检测到人脸识别触发操作之前,所述方法还包括:
建立所述预设场景模式;
所述建立所述预设场景模式,包括:
在接收到人脸模板录入指令时,拍摄目标人脸以得到所述人脸模板图像;
根据所述人脸模板图像,确定所述人脸模板图像中的第二场景信息和第一人脸特征信息;
根据所述第二场景信息和所述第一人脸特征信息,建立所述预设场景模式;
其中,所述第二场景信息包括:拍摄所述人脸模板图像时移动终端中的第二传感器参数、所述人脸模板图像中的第二深度信息和所述人脸模板图像中的第二人脸占比率。
3.如权利要求2所述的方法,其特征在于,所述根据所述第一场景信息,判断所述待识别人脸图像对应的场景模式是否为预设场景模式,包括:
若所述第一场景信息和所述第二场景信息满足预设匹配条件,则确定所述待识别人脸图像对应的场景模式为所述预设场景模式;
与所述第一场景信息对应的,所述预设匹配条件包括下述至少一种:
所述第一传感器参数和所述第二传感器参数相匹配;
所述第一深度信息和所述第二深度信息相匹配;
所述第一人脸占比率和所述第二人脸占比率相匹配。
4.如权利要求3所述的方法,其特征在于,所述根据所述预设场景模式对应的人脸模板图像,对所述待识别人脸进行人脸识别,包括:
确定所述待识别人脸图像中的第二人脸特征信息;
确定所述第一人脸特征信息与所述第二人脸特征信息之间的匹配度;
若所述匹配度大于预设阈值,则确定对所述待识别人脸识别通过。
5.如权利要求2所述的方法,其特征在于,所述第一传感器参数包括下述至少一种:拍摄所述待识别人脸图像时移动终端中的陀螺仪传感器参数、拍摄所述待识别人脸图像时移动终端中的重力传感器参数;
所述第二传感器参数包括下述至少一种:拍摄所述人脸模板图像时移动终端中的陀螺仪传感器参数、拍摄所述人脸模板图像时移动终端中的重力传感器参数。
6.如权利要求1所述的方法,其特征在于,所述方法还包括:
在满足预设启动条件时,启动所述预设场景模式;
所述根据所述待识别人脸图像,确定所述待识别人脸图像中的第一场景信息,包括:
当所述预设场景模式开启时,根据所述待识别人脸图像,确定所述待识别人脸图像中的所述第一场景信息。
7.一种移动终端,其特征在于,包括:拍摄模块、确定模块、判断模块和识别模块,其中:
所述拍摄模块,用于在检测到人脸识别触发操作时,拍摄待识别人脸以得到待识别人脸图像;
所述确定模块,用于根据所述待识别人脸图像,确定所述待识别人脸图像中的第一场景信息;
所述判断模块,用于根据所述第一场景信息,判断所述待识别人脸图像对应的场景模式是否为预设场景模式;
所述识别模块,用于在所述待识别人脸图像对应的场景模式为所述预设场景模式时,根据所述预设场景模式对应的人脸模板图像,对所述待识别人脸进行人脸识别;
其中,所述第一场景信息包括下述至少一种:
拍摄所述待识别人脸图像时移动终端中的第一传感器参数、所述待识别人脸图像中的第一深度信息、所述待识别人脸图像中的第一人脸占比率。
8.如权利要求7所述的移动终端,其特征在于,还包括:建立模块,其中:
所述建立模块,用于在检测到所述人脸识别触发操作之前,建立所述预设场景模式;
所述建立模块进一步包括:拍摄单元、第一确定单元和建立单元,其中:
所述拍摄单元,用于在接收到人脸模板录入指令时,拍摄目标人脸以得到所述人脸模板图像;
所述第一确定单元,用于根据所述人脸模板图像,确定所述人脸模板图像中的第二场景信息和第一人脸特征信息;
所述建立单元,用于根据所述第二场景信息和所述第一人脸特征信息,建立所述预设场景模式;
其中,所述第二场景信息包括:拍摄所述人脸模板图像时移动终端中的第二传感器参数、所述人脸模板图像中的第二深度信息和所述人脸模板图像中的第二人脸占比率。
9.如权利要求8所述的移动终端,其特征在于,所述判断模块具体用于:
若所述第一场景信息和所述第二场景信息满足预设匹配条件,则确定所述待识别人脸图像对应的场景模式为所述预设场景模式;
与所述第一场景信息对应的,所述预设匹配条件包括下述至少一种:
所述第一传感器参数和所述第二传感器参数相匹配;
所述第一深度信息和所述第二深度信息相匹配;
所述第一人脸占比率和所述第二人脸占比率相匹配。
10.如权利要求9所述的移动终端,其特征在于,所述识别模块进一步包括:第二确定单元和匹配单元,其中:
所述第二确定单元,用于确定所述待识别人脸图像中的第二人脸特征信息;
所述匹配单元,用于确定所述第一人脸特征信息与所述第二人脸特征信息之间的匹配度;
所述第二确定单元,还用于在所述匹配度大于预设阈值时,确定对所述待识别人脸识别通过。
11.如权利要求8所述的移动终端,其特征在于,所述第一传感器参数包括下述至少一种:拍摄所述待识别人脸图像时移动终端中的陀螺仪传感器参数、拍摄所述待识别人脸图像时移动终端中的重力传感器参数;
所述第二传感器参数包括下述至少一种:拍摄所述人脸模板图像时移动终端中的陀螺仪传感器参数、拍摄所述人脸模板图像时移动终端中的重力传感器参数。
12.如权利要求7所述的移动终端,其特征在于,还包括:启动模块,其中:
所述启动模块,用于在满足预设启动条件时,启动所述预设场景模式;
所述确定模块具体用于:当所述预设场景模式开启时,根据所述待识别人脸图像,确定所述待识别人脸图像中的所述第一场景信息。
13.一种移动终端,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的人脸识别程序,所述人脸识别程序被所述处理器执行时实现如权利要求1至6中任一项所述的人脸识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810060309.8A CN108229420B (zh) | 2018-01-22 | 2018-01-22 | 一种人脸识别方法、移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810060309.8A CN108229420B (zh) | 2018-01-22 | 2018-01-22 | 一种人脸识别方法、移动终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108229420A true CN108229420A (zh) | 2018-06-29 |
| CN108229420B CN108229420B (zh) | 2020-10-16 |
Family
ID=62668367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810060309.8A Active CN108229420B (zh) | 2018-01-22 | 2018-01-22 | 一种人脸识别方法、移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108229420B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858227A (zh) * | 2019-02-02 | 2019-06-07 | Oppo广东移动通信有限公司 | 指纹录入方法、装置、电子设备及存储介质 |
| CN110310018A (zh) * | 2019-06-17 | 2019-10-08 | 深圳市幺柒零信息科技有限公司 | 车牌信息处理方法、装置、电子设备及存储介质 |
| CN110675433A (zh) * | 2019-10-31 | 2020-01-10 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN110717399A (zh) * | 2019-09-11 | 2020-01-21 | 深圳传音控股股份有限公司 | 人脸识别方法和电子终端设备 |
| CN110852217A (zh) * | 2019-10-30 | 2020-02-28 | 维沃移动通信有限公司 | 人脸识别的方法及电子设备 |
| CN115331278A (zh) * | 2021-05-11 | 2022-11-11 | 阿里巴巴新加坡控股有限公司 | 数据处理方法、装置、电子设备和存储介质 |
| CN117058738A (zh) * | 2023-08-07 | 2023-11-14 | 深圳市华谕电子科技信息有限公司 | 移动执法设备移动的远距离人脸检测及识别方法和系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103136533A (zh) * | 2011-11-28 | 2013-06-05 | 汉王科技股份有限公司 | 基于动态阈值的人脸识别方法及装置 |
| CN104050449A (zh) * | 2014-06-13 | 2014-09-17 | 无锡天脉聚源传媒科技有限公司 | 一种人脸识别方法及装置 |
| US20140333413A1 (en) * | 2013-05-08 | 2014-11-13 | Eren Kursun | Systems And Methods For High Fidelity Multi-Modal Out-Of-Band Biometric Authentication |
| CN106454104A (zh) * | 2016-10-28 | 2017-02-22 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
| CN106991377A (zh) * | 2017-03-09 | 2017-07-28 | 广东欧珀移动通信有限公司 | 结合深度信息的人脸识别方法、人脸识别装置和电子装置 |
| CN107277265A (zh) * | 2017-07-13 | 2017-10-20 | 广东欧珀移动通信有限公司 | 解锁控制方法及相关产品 |
| CN107360383A (zh) * | 2017-07-26 | 2017-11-17 | 北京百思科技有限公司 | 一种自动生成视频的方法及系统 |
| CN107368722A (zh) * | 2017-06-02 | 2017-11-21 | 广东欧珀移动通信有限公司 | 生物图像的验证方法、计算机可读存储介质、移动终端 |
| CN107392184A (zh) * | 2017-08-28 | 2017-11-24 | 广东欧珀移动通信有限公司 | 人脸识别验证方法和装置 |
| CN107463813A (zh) * | 2017-07-13 | 2017-12-12 | 广东欧珀移动通信有限公司 | 状态控制方法及相关产品 |
-
2018
- 2018-01-22 CN CN201810060309.8A patent/CN108229420B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103136533A (zh) * | 2011-11-28 | 2013-06-05 | 汉王科技股份有限公司 | 基于动态阈值的人脸识别方法及装置 |
| US20140333413A1 (en) * | 2013-05-08 | 2014-11-13 | Eren Kursun | Systems And Methods For High Fidelity Multi-Modal Out-Of-Band Biometric Authentication |
| CN104050449A (zh) * | 2014-06-13 | 2014-09-17 | 无锡天脉聚源传媒科技有限公司 | 一种人脸识别方法及装置 |
| CN106454104A (zh) * | 2016-10-28 | 2017-02-22 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
| CN106991377A (zh) * | 2017-03-09 | 2017-07-28 | 广东欧珀移动通信有限公司 | 结合深度信息的人脸识别方法、人脸识别装置和电子装置 |
| CN107368722A (zh) * | 2017-06-02 | 2017-11-21 | 广东欧珀移动通信有限公司 | 生物图像的验证方法、计算机可读存储介质、移动终端 |
| CN107277265A (zh) * | 2017-07-13 | 2017-10-20 | 广东欧珀移动通信有限公司 | 解锁控制方法及相关产品 |
| CN107463813A (zh) * | 2017-07-13 | 2017-12-12 | 广东欧珀移动通信有限公司 | 状态控制方法及相关产品 |
| CN107360383A (zh) * | 2017-07-26 | 2017-11-17 | 北京百思科技有限公司 | 一种自动生成视频的方法及系统 |
| CN107392184A (zh) * | 2017-08-28 | 2017-11-24 | 广东欧珀移动通信有限公司 | 人脸识别验证方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 邱贞宇: "多功能门禁系统终端设计", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858227A (zh) * | 2019-02-02 | 2019-06-07 | Oppo广东移动通信有限公司 | 指纹录入方法、装置、电子设备及存储介质 |
| CN109858227B (zh) * | 2019-02-02 | 2021-04-06 | Oppo广东移动通信有限公司 | 指纹录入方法、装置、电子设备及存储介质 |
| CN110310018A (zh) * | 2019-06-17 | 2019-10-08 | 深圳市幺柒零信息科技有限公司 | 车牌信息处理方法、装置、电子设备及存储介质 |
| CN110310018B (zh) * | 2019-06-17 | 2023-08-25 | 深圳市幺柒零信息科技有限公司 | 车牌信息处理方法、装置、电子设备及存储介质 |
| CN110717399A (zh) * | 2019-09-11 | 2020-01-21 | 深圳传音控股股份有限公司 | 人脸识别方法和电子终端设备 |
| CN110852217A (zh) * | 2019-10-30 | 2020-02-28 | 维沃移动通信有限公司 | 人脸识别的方法及电子设备 |
| CN110852217B (zh) * | 2019-10-30 | 2024-04-26 | 维沃移动通信有限公司 | 人脸识别的方法及电子设备 |
| CN110675433A (zh) * | 2019-10-31 | 2020-01-10 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| US11450027B2 (en) | 2019-10-31 | 2022-09-20 | Beijing Dajia Internet Information Technologys Co., Ltd. | Method and electronic device for processing videos |
| CN115331278A (zh) * | 2021-05-11 | 2022-11-11 | 阿里巴巴新加坡控股有限公司 | 数据处理方法、装置、电子设备和存储介质 |
| CN117058738A (zh) * | 2023-08-07 | 2023-11-14 | 深圳市华谕电子科技信息有限公司 | 移动执法设备移动的远距离人脸检测及识别方法和系统 |
| CN117058738B (zh) * | 2023-08-07 | 2024-05-03 | 深圳市华谕电子科技信息有限公司 | 移动执法设备移动的远距离人脸检测及识别方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108229420B (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229420B (zh) | 一种人脸识别方法、移动终端 | |
| CN107679514A (zh) | 一种人脸识别方法及电子设备 | |
| CN109190509B (zh) | 一种身份识别方法、装置和计算机可读存储介质 | |
| CN108594942A (zh) | 一种身份识别方法及移动终端 | |
| CN108549802A (zh) | 一种基于人脸识别的解锁方法、装置以及移动终端 | |
| CN107845057A (zh) | 一种拍照预览方法及移动终端 | |
| CN108345845A (zh) | 图像传感器、镜头模组、移动终端、人脸识别方法及装置 | |
| CN107623778A (zh) | 来电接听方法及移动终端 | |
| CN107808084A (zh) | 一种触控操作方法及移动终端 | |
| CN107742072A (zh) | 人脸识别方法及移动终端 | |
| CN108446665B (zh) | 一种人脸识别方法和移动终端 | |
| CN108509782A (zh) | 一种人脸识别控制方法及移动终端 | |
| CN108307110A (zh) | 一种图像虚化方法及移动终端 | |
| CN108335258A (zh) | 一种移动终端的图像处理方法和装置 | |
| CN108345780A (zh) | 一种解锁控制方法及移动终端 | |
| CN108174081B (zh) | 一种拍摄方法及移动终端 | |
| CN110602387B (zh) | 拍摄方法及电子设备 | |
| CN107809515A (zh) | 一种显示控制方法及移动终端 | |
| CN108282611A (zh) | 一种图像处理方法及移动终端 | |
| CN108875352B (zh) | 用户身份的验证方法、装置及移动终端 | |
| CN107944242A (zh) | 一种生物识别功能禁用方法和移动终端 | |
| CN107704292A (zh) | 一种应用程序中的图片设置方法及移动终端 | |
| CN108062465B (zh) | 一种解锁方法及移动终端 | |
| CN110381281A (zh) | 一种提示方法及移动终端 | |
| CN111444491B (zh) | 一种信息处理方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |