[go: up one dir, main page]

TWI752105B - 特徵圖像的獲取方法及獲取裝置、使用者認證方法 - Google Patents

特徵圖像的獲取方法及獲取裝置、使用者認證方法 Download PDF

Info

Publication number
TWI752105B
TWI752105B TW106136868A TW106136868A TWI752105B TW I752105 B TWI752105 B TW I752105B TW 106136868 A TW106136868 A TW 106136868A TW 106136868 A TW106136868 A TW 106136868A TW I752105 B TWI752105 B TW I752105B
Authority
TW
Taiwan
Prior art keywords
image
pattern
recognized
face
changed
Prior art date
Application number
TW106136868A
Other languages
English (en)
Other versions
TW201828152A (zh
Inventor
王正博
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201828152A publication Critical patent/TW201828152A/zh
Application granted granted Critical
Publication of TWI752105B publication Critical patent/TWI752105B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephone Function (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

本發明提供了特徵圖像的獲取方法及裝置、使用者認證方法,其中,獲取方法包括:該方法應用於安裝有攝影機的終端上,包括:響應於觸發面部特徵圖像的獲取指令,控制所述攝影機對待識別對象的面部進行拍照得到初始圖像;控制所述終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案;控制所述攝影機對待識別對象的面部進行拍照得到變化圖像;依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像。採用本發明實施例,可以依據不同顯示圖案照射下得到的初始圖像和變化圖像來獲取特徵圖像,能保證面部特徵圖像能夠更為真實的反映出使用者的臉部特點,從而避免對人臉圖片而非對真實使用者進行拍照也會被認為是有效臉部特徵圖像的現象。

Description

特徵圖像的獲取方法及獲取裝置、使用者認證方法
本發明係有關活體識別領域,尤其是一種面部特徵圖像的獲取方法、一種面部特徵圖像的獲取裝置、一種用於面部特徵圖像的獲取裝置、以及,一種使用者認證方法。
現有技術中,使用者在使用具有攝影機的手持智慧終端或者台式機等,使用網際網路業務時,例如,登錄郵箱,瀏覽產品詳情頁等,一些平臺或者客戶端會要求對使用者進行拍照。例如,採集使用者的臉部照片,獲得使用者的面部特徵圖像,從而對使用者的面部特徵圖像進行記錄和保存,以便對各個使用者進行區別並保證網際網路業務的安全性等。   發明人在研究過程中發現,傳統基於單個攝影機對使用者進行人臉拍照獲得臉部特徵圖像時,易受到偽造的二維人臉圖像的欺騙,例如,非法使用者拿著合法使用者的人臉圖像進行拍照,則也有可能被各個平臺或客戶端認為是該合法使用者的真實人臉照片。這就使得後續合法使用者的網際網路業務無法保證安全性,以被非法使用者攻擊。
基於此,本發明提供了一種特徵圖像的獲取方法和使用者認證方法,解決現有技術識別準確度低的問題。   根據本發明一個方面,提供一種特徵圖像的獲取方法和行動計算設備,用以採用變化前後的顯示圖案分別照射使用者的面部的方式,從而拍照得到使用者在兩種不同的顯示圖案照射下的初始圖像和變化圖像,進而依據不同顯示圖案照射下下得到的初始圖像和變化圖像來獲取特徵圖像,就能保證面部特徵圖像能夠更為真實的反映出使用者的臉部特點,從而避免對人臉圖片而非對真實使用者進行拍照也會被認為是有效臉部特徵圖像的現象。   根據本發明的另一個方面,本發明還提供了特徵圖像的獲取裝置、用於特徵圖像的獲取裝置和行動計算設備,用以保證上述方法在實際中的實現及應用。   為了解決上述問題,本發明揭露了一種特徵圖像的獲取方法,其中,該方法應用於安裝有攝影機的終端上,該方法包括:   響應於觸發面部特徵圖像的獲取指令,控制所述攝影機對待識別對象的面部進行拍照得到初始圖像;   控制所述終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案;   控制所述攝影機對待識別對象的面部進行拍照得到變化圖像;   依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像。   其中,所述控制所述攝影機對待識別對象的面部進行拍照得到初始圖像之後,還包括:   判斷所述初始圖像中是否包括所述待識別對象的關鍵面部特徵,如果是,則執行所述控制所述終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案的步驟,如果否,則執行所述控制所述攝影機對待識別對象的面部進行拍照得到初始圖像的步驟。   其中,所述控制所述攝影機對待識別對象的面部進行拍照得到變化圖像之後,還包括:   判斷所述變化圖像中是否包括所述待識別對象的關鍵面部特徵,如果是,則執行所述依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像的步驟,如果否,則執行所述控制所述攝影機對待識別對象的面部進行拍照得到變化圖像的步驟。   其中,所述響應於面部特徵圖像的獲取指令,控制終端所述攝影機對待識別對象的面部進行拍照得到初始圖像,包括:   按照預設的二維週期性函數產生所述顯示螢幕上待顯示的初始圖案;   按照預設顏色通道控制所述初始圖案在所述顯示螢幕上進行顯示;   控制所述攝影機對待識別對象的面部進行拍照,獲得所述初始圖案照射下的初始圖像。   其中,所述控制所述終端的顯示螢幕按照預設圖案改變方式改變顯示圖案,包括:   對所述初始圖像進行相位取反,得到變化後的圖案;   按照所述預設顏色通道控制所述變化後的圖案在所述顯示螢幕上進行顯示。   其中,所述依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像,包括:   將所述變化圖像和初始圖像進行求差運算,並將該求差運算得到的差分圖像確定為所述待識別對象的面部特徵圖像。   其中,所述依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像之後,還包括:   響應於觸發的識別指令,依據所述面部特徵圖像對所述待識別對象是否為活體進行檢測。   其中,所述響應於觸發的識別指令,依據所述面部特徵圖像對所述待識別對象是否為活體進行檢測之後,還包括:   在所述待識別對象為活體的情況下,將所述待識別對象在所述終端上輸入的安全資訊轉發至伺服器以便驗證。   其中,所述響應於觸發的識別指令,依據所述特徵圖像對所述待識別對象是否為活體進行檢測,包括:   獲取預先訓練的、能夠表徵活體面部特點的分類器,所述活體面部特點為:人類面部上各器官的分佈特點;   判斷所述面部特徵圖像表示的陰影特徵是否與所述分類器表示的活體面部特點相匹配。   其中,所述控制所述攝影機對待識別對象的面部進行拍照得到初始圖像之前,或者,所述控制所述攝影機對待識別對象的面部進行拍照得到變化圖像之前,還包括:   在所述顯示螢幕上顯示一提醒資訊,所述提醒資訊用於提醒所述待識別對象保持靜止。   其中,所述依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像之後,還包括:   將所述初始圖像、變化後的圖像和面部特徵圖像顯示在所述顯示螢幕上。   本發明還提供了另一種特徵圖像的獲取方法,該方法應用於與終端相連的伺服器上,所述終端安裝有攝影機,該方法包括:   響應於觸發面部特徵圖像的獲取指令,控制所述終端的攝影機對待識別對象的面部進行拍照得到初始圖像;   控制所述終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案;   控制所述攝影機對待識別對象的面部進行拍照得到變化圖像;   依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像。   本發明還提供了一種特徵圖像的獲取裝置,該獲取裝置整合於安裝有攝影機的終端上,該獲取裝置包括:   控制單元,用於響應於觸發面部特徵圖像的獲取指令,控制所述攝影機對待識別對象的面部進行拍照得到初始圖像;控制所述終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案;以及,控制所述攝影機對待識別對象的面部進行拍照得到變化圖像;   獲取特徵圖像單元,用於依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像。   其中,所述控制單元還用於:   判斷所述初始圖像中是否包括所述待識別對象的關鍵面部特徵關鍵面部特徵,如果是,則執行所述控制所述終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案的步驟,如果否,則執行所述控制所述攝影機對待識別對象的面部進行拍照得到初始圖像的步驟。   其中,所述控制單元還用於:   判斷所述變化圖像中是否包括所述待識別對象的關鍵面部特徵,如果是,則執行所述依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像的步驟,如果否,則執行所述控制所述攝影機對待識別對象的面部進行拍照得到變化圖像的步驟。   其中,所述控制單元用於響應於觸發面部特徵圖像的獲取指令,控制所述攝影機對待識別對象的面部進行拍照得到初始圖像,具體為:   所述控制單元用於按照預設的二維週期性函數產生所述顯示螢幕上待顯示的初始圖案;按照預設顏色通道控制所述初始圖案在所述顯示螢幕上進行顯示;以及,控制所述攝影機對待識別對象的面部進行拍照,獲得所述初始圖案照射下的初始圖像。   其中,所述控制單元用於控制所述攝影機對待識別對象的面部進行拍照得到變化圖像,具體為:   對所述初始圖像進行相位取反,得到變化後的圖案;以及,按照所述預設顏色通道控制所述變化後的圖案在所述顯示螢幕上進行顯示。   其中,所述獲取特徵圖像單元,具體包括:   求差運算子單元,用於將所述變化圖像和初始圖像進行求差運算;   確定子單元,用於將該求差運算得到的差分圖像確定為所述待識別對象的面部特徵圖像。   其中,所述獲取裝置還包括:   檢測單元,用於響應於觸發的識別指令,依據所述面部特徵圖像對所述待識別對象是否為活體進行檢測。   其中,所述獲取裝置還包括:   資訊發送單元,用於在所述待識別對象為活體的情況下,將所述待識別對象在所述終端上輸入的安全資訊轉發至伺服器以便驗證。   其中,所述檢測單元包括:   分類器獲取子單元,用於獲取預先訓練的、能夠表徵活體面部特點的分類器,所述活體面部特點為:人類面部上各器官的分佈特點;   判斷子單元,用於判斷所述面部特徵圖像表示的陰影特徵是否與所述分類器表示的活體面部特點相匹配。   其中,所述獲取裝置還包括:   提醒顯示單元,用於在所述顯示螢幕上顯示一提醒資訊,所述提醒資訊用於提醒所述待識別對象保持靜止。   其中,所述獲取裝置還包括:   圖像顯示單元,用於將所述初始圖像、變化後的圖像和面部特徵圖像顯示在所述顯示螢幕上。   本發明還提供了一種特徵圖像的獲取裝置,該獲取裝置整合於與終端相連的伺服器上,所述終端安裝有攝影機,該獲取裝置包括:   控制單元,用於響應於觸發面部特徵圖像的獲取指令,控制所述攝影機對待識別對象的面部進行拍照得到初始圖像;控制所述終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案;以及,控制所述攝影機對待識別對象的面部進行拍照得到變化圖像;   獲取特徵圖像單元,用於依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像。   本發明還提供了一種用於特徵圖像的獲取裝置,包括有儲存器,以及一個或者多個應用程式,其中一個或多個應用程式儲存於儲存器中,且經配置以由一個或者多個處理器執行所述一個或者多個應用程式包含用於進行以下操作的指令:   響應於觸發面部特徵圖像的獲取指令,控制所述攝影機對待識別對象的面部進行拍照得到初始圖像;   控制所述終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案;   控制所述攝影機對待識別對象的面部進行拍照得到變化圖像;   依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像。   本發明還提供了一種使用者認證方法,包括:   獲取在第一光照狀態下的使用者的第一生物圖像;   獲取在第二光照狀態下的使用者的第二生物圖像,其中,所述第一光照狀態與第二光照狀態不同;   基於第一生物圖像和第二生物圖像,獲取差異資料;和   基於所述差異資料與預設閾值的關係,對所述使用者進行認證。   其中,所述基於第一、第二生物圖像,獲取差異資料,包括:   將所述第二生物圖像的各像素點的像素值,分別對應減去所述第一生物圖像的各像素點的像素值,得到各像素點的像素差值;   將所述像素差值組成的差異圖像作為所述差異資料。   其中,所述基於差異資料與預設閾值的關係,對所述使用者進行認證,包括:   依據所述差異資料與所述預設閾值的比對結果,判斷所述使用者是否可以通過認證,所述預設閾值用於表示使用者為活體時的生物特徵。   本發明還提供了一種行動計算設備,包括:   攝像組件,用於獲取在第一光照狀態下、第二光照狀態下的使用者分別的第一生物圖像和第二生物圖像其中,所述第一光照狀態與第二光照狀態不同;   計算組件,用於基於第一、第二生物圖像,獲取差異資料;和   認證組件,用於基於差異資料與預設閾值的關係,對所述使用者進行認證。   其中,還包括:   顯示螢幕,用於接收使用者的輸入並展示對所述使用者進行認證的結果。   其中,至少所述第一光照狀態與第二光照狀態其中之一,由所述顯示螢幕發射的光與自然光共同作用形成。   其中,按照預設的週期性函數產生所述顯示螢幕上的圖案,產生顯示螢幕發射的光。   與現有技術相比,本發明包括以下優點:   在本發明實施例中,利用了在顯示螢幕的顯示圖案發生變化的情況下,使用者的面部的各器官因為具有高低不同且分佈面積也不同等特徵,所以不同的器官會對顯示圖案的變化反映出不同的陰影特徵,從而得到能夠反映使用者獨特的面部的特點的面部特徵圖像。進而,將該面部特徵圖像還可以提供給使用者,提升使用者的體驗。
下面將結合本發明實施例中的圖式,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明一部分實施例,而不是全部的實施例。基於本發明中的實施例,所屬技術領域中具有通常知識者在沒有做出進步性勞動前提下所獲得的所有其他實施例,都屬於本發明保護的範圍。   雖然本發明的概念易於進行各種修改和替代形式,但是其具體實施例已經通過圖式中的示例示出並且將在本文中詳細描述。然而,應當理解,沒有意圖將本發明的概念限制為所揭露的特定形式,而是相反,意圖是覆蓋與本發明以及所附請求項一致的所有修改、等同物和替代物。   說明書中對“一個實施例”、“實施例”、“說明性實施例”等的引用,指示所描述的實施例可包括特定特徵、結構或特性,但是每個實施例可以或可以不必包括特定特徵、結構或特性。此外,這樣的短語不一定指的是相同的實施例。進一步地,認為在所屬技術領域中具有通常知識者的知識範圍內,當結合實施例描述特定特徵、結構或特性時,結合無論是否明確描述的其它實施例影響這樣的特徵,結構或特性。另外,應當理解,以“A,B和C中的至少一個”的形式包括在列表中的項目可以表示(A);(B);(C);(A和B);(A和C);(B和C);或(A,B和C)。類似地,以“A,B或C中的至少一個”的形式列出的項目可以表示(A);(B);(C);(A和B);(A和C);(B和C)或(A,B和C)。   在一些情況下,所揭露的實施例可以在硬體、韌體、軟體或其任何組合中實現。所揭露的實施例還可以被實現為由一個或多個暫時性或非暫時性機器可讀(例如,電腦可讀)儲存媒介攜帶或儲存的指令,其可以由一個或多個處理器讀取和執行。機器可讀儲存媒介可以體現為用於以機器可讀形式(例如,易失性或非易失性儲存器、媒介碟或其他媒介)儲存或傳輸資訊的任何儲存設備,機制或其他實體結構的設備)。   在圖式中,一些結構或方法特徵可以以特定佈置及/或順序示出。然而,應當理解,可能不需要這樣的具體佈置及/或排序。相反,在一些實施例中,這些特徵可以以與說明性圖式中所示不同的方式及/或順序來佈置。另外,在特定圖中包括結構或方法特徵並不意味著暗示這種特徵在所有實施例中都是需要的,並且在一些實施例中可以不包括或可以與其他特徵組合。”   參考圖1所示,為本發明的面部特徵圖像的獲取方法在實際應用中的場景示意圖。   在圖1中,揭露了一種手持的智慧終端101,在該智慧終端101上安裝有攝影機102,並且在該智慧終端101的顯示螢幕上提供有人機交互介面103,使用者可以通過該人機交互介面103和觸控按鈕104和智慧終端101進行交互。當然,圖1僅僅畫出了手持的智慧終端101,但是本發明實施例也可以應用於具有攝影機的個人電腦(PC)或者一體機等,只要具有攝影機以及整合有本發明中的獲取裝置即可。根據本發明另一個實施例,智慧終端可以安裝應用軟體,使用者可以通過應用軟體的交互介面與應用軟體進行交互。對圖1的進一步詳細描述,請見下面實施例。   參考圖2,示出了本發明的一種特徵圖像的獲取方法實施例的流程圖,本實施例提供的方案可以應用於伺服器或者終端上,應用於伺服器時,伺服器與使用者使用的終端相連,該終端上安裝有攝影機。應用於終端時,該終端上也安裝有攝影機。下面以應用於安裝有攝影機的智慧手機為例,本實施例包括以下步驟:   步驟201:響應於觸發面部特徵圖像的獲取指令,控制所述攝影機對待識別對象的面部進行拍照得到初始圖像。   在本實施例中,以待識別對象為使用者、應用場景為智慧手機為例,在使用者的智慧手機上整合了獲取功能,該獲取功能可以作為已有APP的新功能,也可以作為一個獨立的APP安裝在智慧手機上。該獲取功能可以提供一個人機交互介面,在該人機交互介面上使用者可以觸發指令,例如,觸發面部特徵圖像或其他類型生物特徵圖像的獲取指令。具體的,可以通過點擊人機交互介面上提供的按鈕或者鏈接等觸發。以面部特徵圖像獲取指令為例,獲取功能在接收到面部特徵圖像的獲取指令後,控制該智慧手機上安裝的攝影機給使用者的面部進行第一次拍照,如果拍照成功則可以得到初始圖像。   具體的,在該使用者的面部拍照得到初始圖像的過程具體可以包括步驟A1~步驟A3:   步驟A1:按照預設的二維週期性函數產生所述顯示螢幕上待顯示的初始圖案。   在本實施例中,可以在智慧手機的顯示螢幕上顯示初始圖案且該初始圖案照射在使用者的臉部時,再對使用者的臉部進行拍照從而獲得初始圖像。在實際應用中,初始圖案可以是具有規律變化的圖案或者非規律變化的圖案均可,例如波浪圖案或棋盤狀圖案等。   在本例子中可以按照預設的二維週期性函數來產生用來在顯示螢幕上待顯示的初始圖案。具體的,初始圖案的週期性可以採用如公式一所示的函數表示:
Figure 02_image001
(一)   其中,
Figure 02_image003
為顯示螢幕的橫向像素序號,
Figure 02_image005
為縱向像素序號。在實際應用中,不妨取顯示螢幕中最左側且最上方的像素為
Figure 02_image007
,而
Figure 02_image009
分別為橫向和縱向這兩個方向的週期,
Figure 02_image011
則分別為橫向和縱向這兩個方向的初始相位。   步驟A2:按照預設顏色通道控制所述初始圖案在所述顯示螢幕上進行顯示。   接著,由公式一所示的二維週期性函數
Figure 02_image013
可以產生具體的初始圖案。例如,將
Figure 02_image015
代入函數f 得到
Figure 02_image017
,具體的,代入
Figure 02_image019
即可產生波浪形圖案,而代入
Figure 02_image021
則可產生棋盤狀圖案,公式中的AB 在此為常數。可以理解的是,函數
Figure 02_image023
的形式並不限於這兩種。在得到初始圖案之後,可以再將初始圖案
Figure 02_image017
用一個或多個顏色通道獨立顯示,例如灰度,RGB的單個色彩通道或多個,等等。   步驟A3:控制所述攝影機對待識別對象的面部進行拍照,獲得所述初始圖案照射下的初始圖像。   在智慧手機的顯示螢幕上顯示了初始圖案之後,控制攝影機對使用者的面部進行拍照,獲取在初始圖案照射下的初始圖像,該初始圖像為使用者的原始面部圖像。   步驟202:控制所述終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案。   在本實施例中,為了能夠準確獲知使用者的面部在不同的顯示圖案照射下的陰影變化情況,在第一次照射初始圖像之後,控制終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案。具體的,可以以平移相位等頻率不變而改變相位的方式改變顯示圖案。   則本步驟中改變顯示圖案的過程具體可以包括:   步驟B1:對所述初始圖像進行相位取反,得到變化後的圖案。   為了更加突出使用者面部的各器官在不同的顯示圖案的照射下的明暗變化,在本例子中可以對步驟201中的初始圖案進行相位取反操作,空間頻率可以保持和初始圖案一致,從而得到變化後的顯示圖案。   步驟B2:按照所述預設顏色通道控制所述變化後的圖案在所述顯示螢幕上進行顯示。   接著再按照和步驟A2相同的顏色通道來控制變化後的顯示圖案,在智慧手機的顯示螢幕上進行顯示,從而使變化後的圖案也照射在使用者的面部。   步驟203:控制所述攝影機對待識別對象的面部進行拍照得到變化圖像。   接著在變化後的圖案照射在使用者的面部的情況下,再控制攝影機對使用者的面部進行第二次拍照,從而得到在變化後的圖案下包括使用者初始面部圖像的變化圖像。   步驟204:依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像。   因為變化圖像在對初始圖像相位取反的情況下,對使用者的面部進行拍照獲得的圖像,所以利用初始圖像和變化圖像可以得到差分圖像,從而得到使用者的面部的特徵。   具體的,獲得使用者的面部特徵圖像的過程,可以將變化圖像和初始圖像進行求差運算,即,依次將變化圖像的像素值減去對應的初始圖像的像素值,從而得到差分圖像,進而將求差運算得到的差分圖像確定為所述待識別對象的面部特徵圖像。   步驟205:將所述初始圖像、變化後的圖像和面部特徵圖像顯示在所述顯示螢幕上。   在得到使用者的面部特徵圖像之後,還可以將初始圖像、變化後的圖像和面部特徵圖像都顯示在智慧手機的顯示螢幕上,從而使使用者可以看到自己的原始面部圖像,以及面部特徵圖像。具體的,初始圖像可以顯示於圖1中所示的“初始圖像的顯示區域”1031處,變化圖像可以顯示於圖1所示的“變化圖像的顯示區域”1032處,面部特徵圖像可以顯示於“面部特徵圖像的顯示區域”1033處。   可見,在本發明實施例中,利用了在顯示螢幕的顯示圖案發生變化的情況下,使用者的面部的各器官因為具有高低不同且分佈面積不同等特徵,所以不同的器官會對顯示圖案的變化反映出不同的陰影特徵,從而得到能夠反映使用者獨特的面部的特點的面部特徵圖像。進而,將該面部特徵圖像還可以提供給使用者,提升使用者的體驗。   在實際應用中,前述的特徵圖像的獲取方法可以應用於活體識別技術領域,例如,利用步驟204得到的面部特徵圖像對使用者進行活體識別,從而依據真實的人類的各面部器官具有陰影特徵的特點,能夠區別於使用者的臉部照片等從而識別出真實人類,來提高活體識別的效率。   參考圖3,示出了本發明的另一種特徵圖像的獲取方法實施例的流程圖,本實施例可以包括以下步驟:   步驟301:響應於觸發面部特徵圖像的獲取指令,在所述顯示螢幕上顯示一提醒資訊,所述提醒資訊用於提醒所述待識別對象保持靜止。   在本實施例中,在使用者觸發了面部特徵圖像的獲取指令後,可以在顯示螢幕上顯示一提醒資訊,該提醒資訊用於提醒使用者保持靜止,以便攝影機可以對使用者的臉部進行對焦並拍照。具體的,該提醒資訊可以顯示於圖1所示的“提醒資訊的展示區域”1034處。   步驟302:控制所述攝影機對待識別對象的面部進行拍照得到初始圖像。   步驟302的具體實現方式可以參考圖2所示的實施例的詳細介紹,在此不再贅述。   步驟303:判斷所述初始圖像中是否包括所述待識別對象的全部面部器官,如果是,則步驟304,如果否,則返回步驟302。   在對使用者進行第一次拍照得到初始圖像之後,還可以判斷拍照得到的初始圖像中是否包括了使用者的關鍵面部特徵,例如,初始圖像中是否包括了使用者的眼睛、鼻子、眉毛、嘴巴和左右臉。只有初始圖像中包括了能夠體現一個使用者的面部基本特徵的關鍵面部器官,才能獲得使用者的關鍵面部特徵,如果沒有包括全部面部器官,則返回步驟302重新對拍照得到初始圖像,直至初始圖像符合要求。   步驟304:控制所述終端的顯示螢幕按照相位取反的方式改變顯示圖案。   步驟305:控制所述攝影機對待識別對象的面部進行拍照得到變化圖像。   步驟304和步驟305的具體實現方式可以參考圖2所示的實施例的詳細介紹,在此不再贅述。   步驟306:判斷所述變化圖像中是否包括所述待識別對象的關鍵面部特徵,如果是,重複執行步驟302~步驟306,獲取多組互相對應的初始圖像和變化圖像,進入步驟307,如果否,則返回步驟305。   在得到變化圖像之後,還可用按照步驟303的方式來判斷變化圖像是否包括了使用者的面部的關鍵器官,如果包括則說明這次變化圖像也拍照成功,接著再返回步驟302,重複執行步驟302~步驟305多次,從而獲得多組對應的初始圖像和變化圖像。如果不包括則說明變化圖像拍照不成功,則返回步驟305重新對使用者的臉部進行拍照。   步驟307:依據多組初始圖像和變化圖像獲取所述待識別對象的多幅面部特徵圖像。   在本步驟中,對多次拍照得到的多組初始圖像和變化圖像,從而計算得到多幅面部特徵圖像。例如,一共拍照得到5組初始圖像和變化圖像,則每一組初始圖像和變化圖像都進行像素值相減,從而得到5幅差分圖像作為該使用者的五幅面部特徵圖像。   步驟308:響應於觸發的識別指令,依據所述多幅面部特徵圖像對所述待識別對象是否為活體進行檢測。   進而,可以依據步驟307中的多幅面部特徵圖像對待識別對象是否為活體進行檢測。例如,可以將多幅面部特徵圖像進行平均,得到平均面部特徵圖像為依據進行檢測,也可以分別以多幅面部特徵圖像進行檢測並將多次檢測結果進行綜合得到最終檢測結果。   具體的,可以預先訓練一個能夠表徵使用者的面部特點的分類器,例如,例如利用人類臉上的器官的各個分佈特點來訓練分類器,具體的,人類眼睛與鼻子相比,一般眼睛的位置比鼻子更低,而嘴巴一般分佈在鼻子下方,即臉部的最下方,在對人類拍照的時候,鼻子的部分因為高度較高所以一般會產生陰影,而鼻子兩側的臉部因為光線較強所以可以亮度較高等。對人類臉部的各器官可以進行分析,從而訓練得到一個分類器。   則在得到使用者的面部特徵圖像後,可以將面部特徵圖像輸入分類器從而得到檢測結果,分類器具體檢測時可以依據面部特徵圖像所表徵的陰影特徵,與分類器中訓練的活體面部特點是否一致,來得到檢測結果。如果一致,則說明拍照的對象是活體,如果不一致,則說明拍照的對象可以是照片等。   具體的,可以參考圖4所示,圖4中的a為真實人類的初始圖像,而b為真實人類的變化圖像,最終依據a和b得到的面部特徵圖像c就表徵出了專屬於人類面部特點的陰影特徵。而圖4中的d為一幅臉部照片作為初始圖像,e為另一幅臉部照片作為變化圖像,則得到的f的面部特徵圖像,就不能表徵出真實人類的臉部各個器官的特點。   步驟309:在所述待識別對象為活體的情況下,將所述待識別對象在所述終端上輸入的安全資訊轉發至伺服器以便驗證。   進一步的,如果檢測到操作終端的對象為真實人類,則可以通過人機交互介面接收使用者輸入的登錄帳戶和登錄密碼等安全資訊,並將該安全資訊發送至伺服器進行驗證,如果驗證通過則響應該使用者的資料處理請求,例如修改密碼或者轉帳等操作,如果驗證不通過則可以不響應該使用者的資料處理請求。   在本實施例中,可以採集多組初始圖像和變化圖像從而得到多幅面部特徵圖像來進行活體檢測,從而提高了活體檢測的準確率,能夠過濾掉待識別對象為人臉照片的情況,從而保證了網路資料的安全性。   對於前述的方法實施例,為了簡單描述,故將其都表述為一系列的動作組合,但是所屬技術領域中具有通常知識者應該知悉,本發明並不受所描述的動作順序的限制,因為依據本發明,某些步驟可以採用其他順序或者同時進行。其次,所屬技術領域中具有通常知識者也應該知悉,說明書中所描述的實施例均屬於較佳實施例,所涉及的動作和模組並不一定是本發明所必須的。   參考圖5所示,示出了本發明一種特徵圖像的獲取裝置實施例的結構方塊圖,該獲取裝置整合於安裝有攝影機的終端上,本實施例可以包括:   控制單元501,用於響應於觸發面部特徵圖像的獲取指令,控制所述攝影機對待識別對象的面部進行拍照得到初始圖像;控制所述終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案;以及,控制所述攝影機對待識別對象的面部進行拍照得到變化圖像。   其中,控制單元501用於響應於觸發面部特徵圖像的獲取指令,控制所述攝影機對待識別對象的面部進行拍照得到初始圖像,具體為:所述控制單元501用於按照預設的二維週期性函數產生所述顯示螢幕上待顯示的初始圖案;按照預設顏色通道控制所述初始圖案在所述顯示螢幕上進行顯示;以及,控制所述攝影機對待識別對象的面部進行拍照,獲得所述初始圖案照射下的初始圖像。   其中,控制單元501用於控制所述攝影機對待識別對象的面部進行拍照得到變化圖像,具體為:對所述初始圖像進行相位取反,得到變化後的圖案;以及,按照所述預設顏色通道控制所述變化後的圖案在所述顯示螢幕上進行顯示。   其中,控制單元501還可以用於:   判斷所述初始圖像中是否包括所述待識別對象的關鍵面部特徵,如果是,則執行所述控制所述終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案的步驟,如果否,則執行所述控制所述攝影機對待識別對象的面部進行拍照得到初始圖像的步驟。   其中,控制單元501還可以用於:   判斷所述變化圖像中是否包括所述待識別對象的關鍵面部特徵,如果是,則執行所述依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像的步驟,如果否,則執行所述控制所述攝影機對待識別對象的面部進行拍照得到變化圖像的步驟。   獲取特徵圖像單元502,用於依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像。   其中,獲取特徵圖像單元502,具體包括:   求差運算子單元,用於將所述變化圖像和初始圖像進行求差運算;和,確定子單元,用於將該求差運算得到的差分圖像確定為所述待識別對象的面部特徵圖像。   其中,獲取裝置還可以包括:   圖像顯示單元503,用於將所述初始圖像、變化後的圖像和面部特徵圖像顯示在所述顯示螢幕上。   本實施例的獲取功能利用了在顯示螢幕的顯示圖案發生變化的情況下,使用者的面部的各器官因為具有高低不同且分佈面積不同等特徵,所以不同的器官會對顯示圖案的變化反映出不同的陰影特徵,從而得到能夠反映使用者獨特的面部的特點的面部特徵圖像。進而,將該面部特徵圖像還可以提供給使用者,提升使用者的體驗。   參考圖6所示,本發明還提供了一種特徵圖像的獲取裝置實施例,在本實施例中,所述獲取裝置可以整合於安裝有攝影機的終端上,該獲取裝置可以包括:   提醒顯示單元601,用於在所述顯示螢幕上顯示一提醒資訊,所述提醒資訊用於提醒所述待識別對象保持靜止。   控制單元501,用於響應於觸發面部特徵圖像的獲取指令,控制所述攝影機對待識別對象的面部進行拍照得到初始圖像;控制所述終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案;以及,控制所述攝影機對待識別對象的面部進行拍照得到變化圖像。   控制單元501還用於判斷所述初始圖像中是否包括所述待識別對象的關鍵面部特徵,如果是,則執行所述控制所述終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案的步驟,如果否,則執行所述控制所述攝影機對待識別對象的面部進行拍照得到初始圖像的步驟。   控制單元501還用於判斷所述變化圖像中是否包括所述待識別對象的關鍵面部特徵,如果是,則執行所述依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像的步驟,如果否,則執行所述控制所述攝影機對待識別對象的面部進行拍照得到變化圖像的步驟。   獲取特徵圖像單元502,用於依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像。   檢測單元602,用於響應於觸發的識別指令,依據所述面部特徵圖像對所述待識別對象是否為活體進行檢測。   其中,檢測單元602具體可以包括:   分類器獲取子單元,用於獲取預先訓練的、能夠表徵活體面部特點的分類器,所述活體面部特點為:人類面部上各器官的分佈特點;和,判斷子單元,用於判斷所述面部特徵圖像表示的陰影特徵是否與所述分類器表示的活體面部特點相匹配。   資訊發送單元603,用於在所述待識別對象為活體的情況下,將所述待識別對象在所述終端上輸入的安全資訊轉發至伺服器以便驗證。   在本實施例中,可以採集多組初始圖像和變化圖像從而得到多幅面部特徵圖像來進行活體檢測,從而提高了活體檢測的準確率,能夠過濾掉待識別對象為人臉照片的情況,從而保證了網路資料的安全性。   本發明還揭露了一種特徵圖像的獲取裝置,該獲取裝置整合於與終端相連的伺服器上,所述終端安裝有攝影機,該獲取裝置包括:   控制單元,用於響應於觸發面部特徵圖像的獲取指令,控制所述攝影機對待識別對象的面部進行拍照得到初始圖像;控制所述終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案;以及,控制所述攝影機對待識別對象的面部進行拍照得到變化圖像;   和,獲取特徵圖像單元,用於依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像。   本實施例的獲取功能利用了在顯示螢幕的顯示圖案發生變化的情況下,使用者的面部的各器官因為具有高低不同且分佈面積不同等特徵,所以不同的器官會對顯示圖案的變化反映出不同的陰影特徵,從而得到能夠反映使用者獨特的面部的特點的面部特徵圖像。進而,將該面部特徵圖像還可以提供給使用者,提升使用者的體驗。   圖7是根據一示例性實施例示出的一種面部特徵的獲取裝置700的電腦設備的方塊圖。例如,裝置700可以是行動終端、電腦,訊息收發設備,平板設備,或者各種電腦設備等。   參照圖7,裝置700可以包括以下一個或多個組件:處理組件702,儲存器704,電源組件706,多媒體組件708,音頻組件710,輸入/輸出(I/O)的介面712,傳感器組件714,以及通信組件716。   處理組件702通常控制裝置700的整體操作,諸如與顯示,電話呼叫,資料通信,相機操作和記錄操作相關聯的操作。處理元件702可以包括一個或多個處理器720來執行指令,以完成上述的方法的全部或部分步驟。此外,處理組件702可以包括一個或多個模組,便於處理組件702和其他組件之間的交互。例如,處理部件702可以包括多媒體模組,以方便多媒體組件708和處理組件702之間的交互。   儲存器704被配置為儲存各種類型的資料以支持在設備700的操作。這些資料的示例包括用於在裝置700上操作的任何應用程式或方法的指令,連絡人資料,電話簿資料,訊息,圖片,影片等。儲存器704可以由任何類型的易失性或非易失性儲存設備或者它們的組合實現,如靜態隨機存取儲存器(SRAM),電可擦除可程式化唯讀儲存器(EEPROM),可擦除可程式化唯讀儲存器(EPROM),可程式化唯讀儲存器(PROM),唯讀儲存器(ROM),磁儲存器,快閃儲存器,磁碟或光碟。   電源組件706為裝置700的各種組件提供電力。電源組件706可以包括電源管理系統,一個或多個電源,及其他與為裝置700產生、管理和分配電力相關聯的組件。   多媒體組件708包括在所述裝置700和使用者之間的提供一個輸出介面的螢幕。在一些實施例中,螢幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果螢幕包括觸摸面板,螢幕可以被實現為觸摸屏,以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸傳感器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸傳感器可以不僅感測觸摸或滑動動作的邊界,而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中,多媒體組件708包括一個前置攝影機及/或後置攝影機。當設備700處於操作模式,如拍攝模式或影片模式時,前置攝影機及/或後置攝影機可以接收外部的多媒體資料。每個前置攝影機和後置攝影機可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。   音頻組件710被配置為輸出及/或輸入音頻信號。例如,音頻組件710包括一個麥克風(MIC),當裝置700處於操作模式,如呼叫模式、記錄模式和語音識別模式時,麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步儲存在儲存器704或經由通信組件716發送。在一些實施例中,音頻組件710還包括一個揚聲器,用於輸出音頻信號。   I/O介面712為處理組件702和外圍介面模組之間提供介面,上述外圍介面模組可以是鍵盤,點擊輪,按鈕等。這些按鈕可包括但不限於:主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。   傳感器組件714包括一個或多個傳感器,用於為裝置700提供各個方面的狀態評估。例如,傳感器組件714可以檢測到設備700的打開/關閉狀態,組件的相對定位,例如所述組件為裝置700的顯示器和小鍵盤,傳感器組件714還可以檢測裝置700或裝置700一個組件的位置改變,使用者與裝置700接觸的存在或不存在,裝置700方位或加速/減速和裝置700的溫度變化。傳感器組件714可以包括接近傳感器,被配置用來在沒有任何的實體接觸時檢測附近物體的存在。傳感器組件714還可以包括光傳感器,如CMOS或CCD圖像傳感器,用於在成像應用中使用。在一些實施例中,該傳感器組件714還可以包括加速度傳感器,陀螺儀傳感器,磁傳感器,壓力傳感器或溫度傳感器。   通信組件716被配置為便於裝置700和其他設備之間有線或無線方式的通信。裝置700可以接入基於通信標準的無線網路,如WiFi,2G或3G,或它們的組合。在一個示例性實施例中,通信部件716經由廣播信道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中,所述通信部件716還包括近場通信(NFC)模組,以促進短程通信。例如,在NFC模組可基於射頻識別(RFID)技術,紅外資料協會(IrDA)技術,超寬頻(UWB)技術,藍牙(BT)技術和其他技術來實現。   在示例性實施例中,裝置700可以被一個或多個應用專用積體電路(ASIC)、數位信號處理器(DSP)、數位信號處理設備(DSPD)、可程式化邏輯器件(PLD)、現場可程式化閘陣列(FPGA)、控制器、微控制器、微處理器或其他電子元件實現,用於執行上述方法。   在示例性實施例中,還提供了一種包括指令的非臨時性電腦可讀儲存媒介,例如包括指令的儲存器704,上述指令可由裝置700的處理器720執行以完成上述方法。例如,所述非臨時性電腦可讀儲存媒介可以是ROM、隨機存取儲存器(RAM)、CD-ROM、磁帶、軟盤和光資料儲存設備等。   一種非臨時性電腦可讀儲存媒介,當所述儲存媒介中的指令由行動終端的處理器執行時,使得行動終端能夠執行一種特徵圖像的獲取方法,所述方法包括:響應於觸發面部特徵圖像的獲取指令,控制所述攝影機對待識別對象的面部進行拍照得到初始圖像;控制所述終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案;控制所述攝影機對待識別對象的面部進行拍照得到變化圖像;依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像。   參考圖8所示,本發明還揭露了一種使用者認證方法實施例,本實施例提供的使用者認證方法可以包括:   步驟801:獲取在第一光照狀態下的使用者的第一生物圖像。   本實施例的使用者認證方法可以應用於終端側,也可以應用於伺服器側,下面以應用於終端側為例進行說明。本步驟中,首先使用攝影機採集在第一光照狀態下的使用者的第一生物圖像,該第一生物圖像可以是使用者的面部圖像,例如,包括了關鍵面部器官(臉、鼻子、嘴巴、眼睛和眉毛等)的圖像,該光照狀態用於表示在攝影機採集面部圖像時,當前環境下照射在使用者的面部的螢幕顯示圖案的相位。具體的,可以參考圖2和圖3所示的實施例中關於螢幕顯示圖像的詳細介紹,在此不再贅述。   步驟802:獲取在第二光照狀態下的使用者的第二生物圖像。   在採集了第一生物圖像之後,接著改變當前環境下照射在使用者的面部的螢幕顯示圖案的相位,得到與第一光照狀態不同的第二光照狀態,並採集在第二光照狀態下的使用者的第二生物圖像,該第二生物圖像與第一生物圖像的圖像內容相同,例如,第二生物圖像也是使用者的面部圖像。   步驟803:基於第一生物圖像和第二生物圖像,獲取差異資料。   在本步驟中,具體可以通過將第二生物圖像和第一生物圖像的差值圖像作為差異資料。例如,可以將所述第二生物圖像的各像素點的像素值,分別對應減去所述第一生物圖像的各像素點的像素值,得到各像素點的像素差值,再將各像素點的像素差值組成的差異圖像作為差異資料。   步驟804:基於所述差異資料與預設閾值的關係,對所述使用者進行認證。   在本步驟中,可以預先設置一個預設閾值,該預設閾值可以用於表示使用者是活體時對應的生物特徵(例如面部特徵)。例如,可以基於大量活體的面部特徵圖像來訓練一個分類器,或者,基於大量活體的面部特徵圖像來建立一個面部特徵圖像庫,等等。則本步驟可以將差異圖像與預設閾值進行比對,兩者的比對結果可以表示使用者是活體的可能性,即差異圖像與預設閾值越接近,則表示使用者越有可能是活體。進而依據比對結果來判斷所述使用者是否可以通過認證,即使用者是否為活體,使用者如果是活體則通過認證,如果使用者不是活體則拒絕認證。例如,差異圖像與面部特徵圖像庫的比對結果為相似度大於80%,則表示該差異圖像對應的使用者為活體。   在本實施例中,採用改變光照狀態的方式來分別獲取第一生物圖像和第二生物圖像,進而得到第二生物圖像和第一生物圖像之間的差異資料,並依據差異資料與預設閾值的關係,來對使用者進行認證。因此,可以通過差異資料反映出的生物特徵來準確對使用者認證。   參考圖9所示,本發明還揭露了一種行動計算設備實施例,本實施例提供的行動計算設備可以包括:   攝像組件901,用於獲取在第一光照狀態下、第二光照狀態下的使用者分別的第一生物圖像和第二生物圖像其中,所述第一光照狀態與第二光照狀態不同。   計算組件902,用於基於第一、第二生物圖像,獲取差異資料。   認證組件903,用於基於差異資料與預設閾值的關係,對所述使用者進行認證。   其中,該行動計算設備還可以包括:   顯示螢幕904,用於接收使用者的輸入並展示對所述使用者進行認證的結果。   其中,至少所述第一光照狀態與第二光照狀態其中之一,由所述顯示螢幕904發射的光與自然光共同作用形成。   其中,按照預設的週期性函數可以產生所述顯示螢幕上的圖案,產生顯示螢幕904發射的光。   本實施例的行動計算設備,採用改變光照狀態的方式來分別獲取第一生物圖像和第二生物圖像,進而得到第二生物圖像和第一生物圖像之間的差異資料,並依據差異資料與預設閾值的關係,來對使用者進行認證。因此,可以通過差異資料反映出的生物特徵來準確對使用者認證。   需要說明的是,本說明書中的各個實施例均採用遞進的方式描述,每個實施例重點說明的都是與其他實施例的不同之處,各個實施例之間相同相似的部分互相參見即可。對於裝置類實施例而言,由於其與方法實施例基本相似,所以描述的比較簡單,相關之處參見方法實施例的部分說明即可。   最後,還需要說明的是,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。   以上對本發明所提供的特徵圖像的獲取方法及裝置、使用者認證方法進行了詳細介紹,本文中應用了具體個例對本發明的原理及實施方式進行了闡述,以上實施例的說明只是用於幫助理解本發明的方法及其核心思想;同時,對於所屬技術領域中具有通常知識者,依據本發明的思想,在具體實施方式及應用範圍上均會有改變之處,綜上所述,本說明書內容不應理解為對本發明的限制。
101‧‧‧智慧終端102‧‧‧攝影機103‧‧‧人機交互介面1031‧‧‧初始圖像的顯示區域1032‧‧‧變化圖像的顯示區域1033‧‧‧面部特徵圖像的顯示區域1034‧‧‧提醒資訊的展示區域104‧‧‧觸控按鈕201‧‧‧步驟202‧‧‧步驟203‧‧‧步驟204‧‧‧步驟205‧‧‧步驟301‧‧‧步驟302‧‧‧步驟303‧‧‧步驟304‧‧‧步驟305‧‧‧步驟306‧‧‧步驟307‧‧‧步驟308‧‧‧步驟309‧‧‧步驟501‧‧‧控制單元502‧‧‧獲取特徵圖像單元503‧‧‧圖像顯示單元601‧‧‧提醒顯示單元602‧‧‧檢測單元603‧‧‧資訊發送單元700‧‧‧獲取裝置702‧‧‧處理組件704‧‧‧儲存器706‧‧‧電源組件708‧‧‧多媒體組件710‧‧‧音頻組件712‧‧‧輸入/輸出的介面714‧‧‧傳感器組件716‧‧‧通信組件720‧‧‧處理器801‧‧‧步驟802‧‧‧步驟803‧‧‧步驟804‧‧‧步驟901‧‧‧攝像組件902‧‧‧計算組件903‧‧‧認證組件904‧‧‧顯示螢幕
為了更清楚地說明本發明實施例中的技術方案,下面將對實施例描述中所需要使用的圖式作簡單地介紹,顯而易見地,下面描述中的圖式僅僅是本發明的一些實施例,對於所屬技術領域中具有通常知識者來講,在不付出進步性勞動性的前提下,還可以根據這些圖式獲得其他的圖式。   圖1是本發明的特徵圖像的獲取方法的場景架構圖;   圖2是本發明的特徵圖像的獲取方法實施例的一流程圖;   圖3是本發明的特徵圖像的獲取方法實施例的另一流程圖;   圖4是本發明的特徵圖像的獲取方法實施例的效果示意圖;   圖5是本發明的特徵圖像的獲取裝置實施例的一結構方塊圖;   圖6是本發明的特徵圖像的獲取裝置實施例的另一結構方塊圖;   圖7是本發明的終端的結構示意圖;   圖8是本發明的使用者認證方法實施例的流程圖;   圖9是本發明的行動計算設備實施例的結構方塊圖。

Claims (19)

  1. 一種特徵圖像的獲取方法,其特徵在於,該方法應用於安裝有攝影機的終端上,該方法包括:響應於觸發面部特徵圖像的獲取指令,在所述終端的顯示螢幕上顯示初始圖案且所述初始圖案照射在待識別對象的面部時,控制所述攝影機對所述待識別對象的面部進行拍照得到初始圖像;控制所述終端的所述顯示螢幕按照預設的圖案改變方式改變顯示圖案,以得到變化後的圖案;在所述終端的所述顯示螢幕上顯示所述變化後的圖案且所述變化後的圖案照射在所述待識別對象的面部時,控制所述攝影機對所述待識別對象的面部進行拍照得到變化圖像;依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像。
  2. 根據請求項1所述的方法,其中,所述控制所述攝影機對待識別對象的面部進行拍照得到初始圖像之後,還包括:判斷所述初始圖像中是否包括所述待識別對象的關鍵面部特徵,如果是,則執行所述控制所述終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案的步驟,如果否,則執行所述控制所述攝影機對待識別對象的面部進行拍照 得到初始圖像的步驟。
  3. 根據請求項1所述的方法,其中,所述控制所述攝影機對待識別對象的面部進行拍照得到變化圖像之後,還包括:判斷所述變化圖像中是否包括所述待識別對象的關鍵面部特徵,如果是,則執行所述依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像的步驟,如果否,則執行所述控制所述攝影機對待識別對象的面部進行拍照得到變化圖像的步驟。
  4. 根據請求項1所述的方法,其中,所述響應於面部特徵圖像的獲取指令,控制終端所述攝影機對待識別對象的面部進行拍照得到初始圖像,包括:按照預設的二維週期性函數產生所述顯示螢幕上待顯示的初始圖案;按照預設顏色通道控制所述初始圖案在所述顯示螢幕上進行顯示;控制所述攝影機對待識別對象的面部進行拍照,獲得所述初始圖案照射下的初始圖像。
  5. 根據請求項4所述的方法,其中,所述控制所述終端的顯示螢幕按照預設圖案改變方式改變顯示圖案,包括:對所述初始圖像進行相位取反,得到變化後的圖案; 按照所述預設顏色通道控制所述變化後的圖案在所述顯示螢幕上進行顯示。
  6. 根據請求項1所述的方法,其中,所述依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像,包括:將所述變化圖像和初始圖像進行求差運算,並將該求差運算得到的差分圖像確定為所述待識別對象的面部特徵圖像。
  7. 根據請求項1所述的方法,其中,所述依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像之後,還包括:響應於觸發的識別指令,依據所述面部特徵圖像對所述待識別對象是否為活體進行檢測。
  8. 根據請求項7所述的方法,其中,所述響應於觸發的識別指令,依據所述面部特徵圖像對所述待識別對象是否為活體進行檢測之後,還包括:在所述待識別對象為活體的情況下,將所述待識別對象在所述終端上輸入的安全資訊轉發至伺服器以便驗證。
  9. 根據請求項7所述的方法,其中,所述響應於觸發的識別指令,依據所述特徵圖像對所述待識別對象是否為活 體進行檢測,包括:獲取預先訓練的、能夠表徵活體面部特點的分類器,所述活體面部特點為:人類面部上各器官的分佈特點;判斷所述面部特徵圖像表示的陰影特徵是否與所述分類器表示的活體面部特點相匹配。
  10. 根據請求項1所述的方法,其中,所述控制所述攝影機對待識別對象的面部進行拍照得到初始圖像之前,或者,所述控制所述攝影機對待識別對象的面部進行拍照得到變化圖像之前,還包括:在所述顯示螢幕上顯示一提醒資訊,所述提醒資訊用於提醒所述待識別對象保持靜止。
  11. 根據請求項1所述的方法,其中,所述依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像之後,還包括:將所述初始圖像、變化後的圖像和面部特徵圖像顯示在所述顯示螢幕上。
  12. 一種特徵圖像的獲取方法,其特徵在於,該方法應用於與終端相連的伺服器上,所述終端安裝有攝影機,該方法包括:響應於觸發面部特徵圖像的獲取指令,在所述終端的顯示螢幕上顯示初始圖案且所述初始圖案照射在待識別對 象的面部時,控制所述終端的攝影機對待識別對象的面部進行拍照得到初始圖像;控制所述終端的所述顯示螢幕按照預設的圖案改變方式改變顯示圖案,以得到變化後的圖案;在所述終端的所述顯示螢幕上顯示所述變化後的圖案且所述變化後的圖案照射在所述待識別對象的面部時,控制所述攝影機對所述待識別對象的面部進行拍照得到變化圖像;依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像。
  13. 一種特徵圖像的獲取裝置,其特徵在於,該獲取裝置整合於安裝有攝影機的終端上,該獲取裝置包括:控制單元,用於響應於觸發面部特徵圖像的獲取指令,在所述終端的顯示螢幕上顯示初始圖案且所述初始圖案照射在待識別對象的面部時,控制所述攝影機對所述待識別對象的面部進行拍照得到初始圖像;控制所述終端的所述顯示螢幕按照預設的圖案改變方式改變顯示圖案,以得到變化後的圖案;以及,在所述終端的所述顯示螢幕上顯示所述變化後的圖案且所述變化後的圖案照射在所述待識別對象的面部時,控制所述攝影機對所述待識別對象的面部進行拍照得到變化圖像;獲取特徵圖像單元,用於依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像。
  14. 一種特徵圖像的獲取裝置,其特徵在於,該獲取裝置整合於與終端相連的伺服器上,所述終端安裝有攝影機,該獲取裝置包括:控制單元,用於響應於觸發面部特徵圖像的獲取指令,在所述終端的顯示螢幕上顯示初始圖案且所述初始圖案照射在待識別對象的面部時,控制所述攝影機對所述待識別對象的面部進行拍照得到初始圖像,以得到變化後的圖案;控制所述終端的顯示螢幕按照預設的圖案改變方式改變顯示圖案;以及,在所述終端的所述顯示螢幕上顯示所述變化後的圖案且所述變化後的圖案照射在所述待識別對象的面部時,控制所述攝影機對所述待識別對象的面部進行拍照得到變化圖像;獲取特徵圖像單元,用於依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像。
  15. 一種用於特徵圖像的獲取裝置,其特徵在於,包括有儲存器,以及一個或者多個應用程式,其中一個或多個應用程式儲存於儲存器中,且經配置以由一個或者多個處理器執行所述一個或者多個應用程式包含用於進行以下操作的指令:響應於觸發面部特徵圖像的獲取指令,在終端的顯示螢幕上顯示初始圖案且所述初始圖案照射在待識別對象的面部時,控制攝影機對所述待識別對象的面部進行拍照得 到初始圖像;控制所述終端的所述顯示螢幕按照預設的圖案改變方式改變顯示圖案,以得到變化後的圖案;在所述終端的所述顯示螢幕上顯示所述變化後的圖案且所述變化後的圖案照射在所述待識別對象的面部時,控制所述攝影機對所述待識別對象的面部進行拍照得到變化圖像;依據所述初始圖像和變化圖像獲取所述待識別對象的面部特徵圖像。
  16. 一種使用者認證方法,其特徵在於,包括:獲取在第一光照狀態下的使用者的第一生物圖像;獲取在第二光照狀態下的使用者的第二生物圖像,其中,所述第一光照狀態與第二光照狀態不同;基於第一生物圖像和第二生物圖像,獲取差異資料;和基於所述差異資料與預設閾值的關係,對所述使用者進行認證,其中,所述使用者認證方法應用於安裝有攝影機的終端,所述第一生物圖像和所述第二生物圖像均為使用者的面部圖像,所述第一光照狀態和所述第二光照狀態用於表示在所述攝影機採集所述使用者的面部圖像時,照射在所述使用者的面部的所述終端的顯示螢幕上顯示的圖案的相位,其中,所述第一光照狀態下所述顯示螢幕上顯示的圖 案的相位不同於所述第二光照狀態下所述顯示螢幕上顯示的圖案的相位。
  17. 根據請求項16所述的方法,其中,所述基於第一、第二生物圖像,獲取差異資料,包括:將所述第二生物圖像的各像素點的像素值,分別對應減去所述第一生物圖像的各像素點的像素值,得到各像素點的像素差值;將所述像素差值組成的差異圖像作為所述差異資料。
  18. 根據請求項16所述的方法,其中,所述基於差異資料與預設閾值的關係,對所述使用者進行認證,包括:依據所述差異資料與所述預設閾值的比對結果,判斷所述使用者是否可以通過認證,所述預設閾值用於表示使用者為活體時的生物特徵。
  19. 一種行動計算設備,其特徵在於,包括:攝像組件,用於獲取在第一光照狀態下、第二光照狀態下的使用者分別的第一生物圖像和第二生物圖像其中,所述第一光照狀態與第二光照狀態不同;計算組件,用於基於第一、第二生物圖像,獲取差異資料;和認證組件,用於基於差異資料與預設閾值的關係,對所述使用者進行認證, 其中,所述行動計算設備還包括:顯示螢幕,用於接收使用者的輸入並展示對所述使用者進行認證的結果,其中,至少所述第一光照狀態與第二光照狀態其中之一由所述顯示螢幕發射的光與自然光共同作用形成,其中,按照預設的週期性函數產生所述顯示螢幕上的圖案,產生所述顯示螢幕發射的光,其中,所述第一生物圖像和所述第二生物圖像均為使用者的面部圖像,所述第一光照狀態和所述第二光照狀態用於表示在所述攝像組件獲取所述使用者的面部圖像時,照射在所述使用者的面部的所述顯示螢幕上顯示的圖案的相位,其中,所述第一光照狀態下所述顯示螢幕上顯示的圖案的相位不同於所述第二光照狀態下所述顯示螢幕上顯示的圖案的相位。
TW106136868A 2017-01-26 2017-10-26 特徵圖像的獲取方法及獲取裝置、使用者認證方法 TWI752105B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710061682.0 2017-01-26
CN201710061682.0A CN108363939B (zh) 2017-01-26 2017-01-26 特征图像的获取方法及获取装置、用户认证方法
??201710061682.0 2017-01-26

Publications (2)

Publication Number Publication Date
TW201828152A TW201828152A (zh) 2018-08-01
TWI752105B true TWI752105B (zh) 2022-01-11

Family

ID=62907104

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106136868A TWI752105B (zh) 2017-01-26 2017-10-26 特徵圖像的獲取方法及獲取裝置、使用者認證方法

Country Status (7)

Country Link
US (1) US20180211097A1 (zh)
EP (1) EP3574448A4 (zh)
JP (1) JP2020505705A (zh)
KR (1) KR20190111034A (zh)
CN (1) CN108363939B (zh)
TW (1) TWI752105B (zh)
WO (1) WO2018140571A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540489B2 (en) * 2017-07-19 2020-01-21 Sony Corporation Authentication using multiple images of user from different angles
KR102655949B1 (ko) * 2018-05-30 2024-04-09 삼성전자주식회사 3d 영상 기반의 얼굴 인증 방법 및 장치
CN109376592B (zh) * 2018-09-10 2021-04-27 创新先进技术有限公司 活体检测方法、装置和计算机可读存储介质
JP7604774B2 (ja) * 2019-09-25 2024-12-24 オムロン株式会社 入場管理装置およびこれを備えた入場管理システム、入場管理プログラム
US11475714B2 (en) * 2020-02-19 2022-10-18 Motorola Solutions, Inc. Systems and methods for detecting liveness in captured image data
CN113933293A (zh) * 2021-11-08 2022-01-14 中国联合网络通信集团有限公司 浓度检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US20140056491A1 (en) * 2012-08-24 2014-02-27 Vodafone Ip Licensing Limited Method and device for authenticating a user
CN105518711A (zh) * 2015-06-29 2016-04-20 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
US20160117544A1 (en) * 2014-10-22 2016-04-28 Hoyos Labs Ip Ltd. Systems and methods for performing iris identification and verification using mobile devices
TWI564849B (zh) * 2015-10-30 2017-01-01 元智大學 行人倒數計時顯示器即時識別方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7995196B1 (en) * 2008-04-23 2011-08-09 Tracer Detection Technology Corp. Authentication method and system
GB2463025A (en) * 2008-08-28 2010-03-03 Sharp Kk Method of and apparatus for acquiring an image
KR101212802B1 (ko) * 2011-03-31 2012-12-14 한국과학기술연구원 피사계 심도가 강조된 영상을 획득하는 방법 및 그 장치
US9082235B2 (en) 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
US8548207B2 (en) * 2011-08-15 2013-10-01 Daon Holdings Limited Method of host-directed illumination and system for conducting host-directed illumination
JP2013122443A (ja) * 2011-11-11 2013-06-20 Hideo Ando 生体活動測定方法、生体活動測定装置、生体活動検出信号の転送方法および生体活動情報を利用したサービスの提供方法
US9075975B2 (en) * 2012-02-21 2015-07-07 Andrew Bud Online pseudonym verification and identity validation
CN104143078B (zh) * 2013-05-09 2016-08-24 腾讯科技(深圳)有限公司 活体人脸识别方法、装置和设备
CN104348778A (zh) * 2013-07-25 2015-02-11 信帧电子技术(北京)有限公司 一种在手机端进行人脸初步验证的远程身份认证的系统、终端和方法
CN103440479B (zh) * 2013-08-29 2016-12-28 湖北微模式科技发展有限公司 一种活体人脸检测方法与系统
CN105874472B (zh) * 2014-02-21 2019-09-17 三星电子株式会社 具有虹膜颜色识别的多频带生物识别相机系统
CN112932416A (zh) * 2015-06-04 2021-06-11 松下知识产权经营株式会社 生物体信息检测装置及生物体信息检测方法
CN105637532B (zh) * 2015-06-08 2020-08-14 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
CN105117695B (zh) * 2015-08-18 2017-11-24 北京旷视科技有限公司 活体检测设备和活体检测方法
CN105205455B (zh) * 2015-08-31 2019-02-26 李岩 一种移动平台上人脸识别的活体检测方法及系统
CN105654028A (zh) * 2015-09-29 2016-06-08 厦门中控生物识别信息技术有限公司 一种真假人脸识别方法及装置
CN108431698A (zh) * 2015-10-23 2018-08-21 西维克斯控股有限责任公司 使用移动装置进行认证的系统和方法
CN105389553A (zh) * 2015-11-06 2016-03-09 北京汉王智远科技有限公司 一种活体检测方法和装置
CN105389554B (zh) * 2015-11-06 2019-05-17 北京汉王智远科技有限公司 基于人脸识别的活体判别方法和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US20140056491A1 (en) * 2012-08-24 2014-02-27 Vodafone Ip Licensing Limited Method and device for authenticating a user
US20160117544A1 (en) * 2014-10-22 2016-04-28 Hoyos Labs Ip Ltd. Systems and methods for performing iris identification and verification using mobile devices
CN105518711A (zh) * 2015-06-29 2016-04-20 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
TWI564849B (zh) * 2015-10-30 2017-01-01 元智大學 行人倒數計時顯示器即時識別方法

Also Published As

Publication number Publication date
EP3574448A4 (en) 2020-10-21
KR20190111034A (ko) 2019-10-01
US20180211097A1 (en) 2018-07-26
EP3574448A1 (en) 2019-12-04
CN108363939A (zh) 2018-08-03
TW201828152A (zh) 2018-08-01
CN108363939B (zh) 2022-03-04
WO2018140571A1 (en) 2018-08-02
JP2020505705A (ja) 2020-02-20

Similar Documents

Publication Publication Date Title
TWI752105B (zh) 特徵圖像的獲取方法及獲取裝置、使用者認證方法
US10242364B2 (en) Image analysis for user authentication
CN108197586B (zh) 脸部识别方法和装置
KR101242304B1 (ko) 무선 디바이스의 기능에 대한 제어되는 액세스
US9082235B2 (en) Using facial data for device authentication or subject identification
CN105654033B (zh) 人脸图像验证方法和装置
CN110503023A (zh) 活体检测方法及装置、电子设备和存储介质
CN108280418A (zh) 脸部图像的欺骗识别方法及装置
JP6391708B2 (ja) 虹彩画像を取得する方法および装置、ならびに虹彩識別機器
TWI706270B (zh) 身分識別方法、裝置和電腦可讀儲存媒體
CN110287672A (zh) 验证方法及装置、电子设备和存储介质
CN106446803A (zh) 直播内容识别处理方法、装置及设备
CN107038428A (zh) 活体识别方法和装置
CN107766820A (zh) 图像分类方法及装置
CN106980836B (zh) 身份验证方法及装置
CN107133551B (zh) 指纹验证方法及装置
CN107169429A (zh) 活体识别方法和装置
CN108846321A (zh) 识别人脸假体的方法及装置、电子设备
CN107977636A (zh) 人脸检测方法及装置、终端、存储介质
CN110969067B (zh) 用户注册、认证方法及装置
CN107992833A (zh) 图像识别方法、装置及存储介质
CN109598183B (zh) 一种人脸认证的方法、装置及系统
CN109426758A (zh) 皮肤特征信息的采集方法及装置、计算机可读存储介质
HK1258642B (zh) 特徵图像的获取方法及获取装置、用户认证方法
HK1258642A1 (zh) 特徵图像的获取方法及获取装置、用户认证方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees