[go: up one dir, main page]

TWI704505B - 人臉辨識系統、建立人臉辨識之資料之方法及其人臉辨識之方法 - Google Patents

人臉辨識系統、建立人臉辨識之資料之方法及其人臉辨識之方法 Download PDF

Info

Publication number
TWI704505B
TWI704505B TW108116457A TW108116457A TWI704505B TW I704505 B TWI704505 B TW I704505B TW 108116457 A TW108116457 A TW 108116457A TW 108116457 A TW108116457 A TW 108116457A TW I704505 B TWI704505 B TW I704505B
Authority
TW
Taiwan
Prior art keywords
facial
face
image
feature
threshold
Prior art date
Application number
TW108116457A
Other languages
English (en)
Other versions
TW202042113A (zh
Inventor
曾羽鴻
Original Assignee
和碩聯合科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 和碩聯合科技股份有限公司 filed Critical 和碩聯合科技股份有限公司
Priority to TW108116457A priority Critical patent/TWI704505B/zh
Priority to CN202010383544.6A priority patent/CN111931548B/zh
Priority to US15/930,739 priority patent/US11281922B2/en
Application granted granted Critical
Publication of TWI704505B publication Critical patent/TWI704505B/zh
Publication of TW202042113A publication Critical patent/TW202042113A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

一種人臉辨識系統、建立人臉辨識之資料之方法及其人臉辨識之方法。人臉辨識系統包括影像取得模組、臉部分析模組及特徵比對模組。影像取得模組用以取得註冊人臉影像。臉部分析模組用以分析註冊人臉影像以得到註冊臉部特徵，藉以設定註冊臉部特徵之特徵閥值。特徵比對模組用以將註冊臉部特徵與複數之人臉影像的臉部特徵比對，以將超過相似閥值對應的相似人臉影像的臉部特徵註冊為易誤報人臉影像特徵，並使臉部分析模組設定易誤報人臉影像特徵之易誤報閥值。

Description

人臉辨識系統、建立人臉辨識之資料之方法及其人臉辨識之方法
本發明係關於一種人臉辨識系統、建立人臉辨識之資料之方法及其人臉辨識之方法，特別是一種能夠找出易誤認人臉影像的人臉辨識系統、建立人臉辨識之資料之方法及其人臉辨識之方法。
隨著科技的進步，現在已經出現許多人臉辨識的技術，例如應用在門禁或監控影像的即時辨識，但是對於相似的人臉的辨識仍然有困難。以圖1為例，圖1係先前技術中之相似人臉比對之示意圖。圖1中係顯示第一人臉影像91及第二人臉影像92。第一人臉影像91及第二人臉影像92具有相似的容貌，先前技術之人臉辨識技術容易判斷為同一人。
因此，有必要發明一種新的人臉辨識系統、建立人臉辨識之資料之方法及其人臉辨識之方法，以解決先前技術的缺失。
本發明之主要目的係在提供一種人臉辨識系統，其具有能夠找出易誤認人臉影像的效果。
本發明之另一主要目的係在提供一種用於上述結構的建立人臉辨識之資料方法。
本發明之又一主要目的係在提供一種使用上述方法的人臉辨識之方法。
為達成上述之目的，本發明之人臉辨識系統包括影像取得模組、臉部分析模組、第一資料庫及特徵比對模組。影像取得模組用以取得註冊人臉影像。臉部分析模組係電性連接影像取得模組，用以分析註冊人臉影像以得到註冊臉部特徵，藉以設定註冊臉部特徵之特徵閥值。第一資料庫用以儲存複數之人臉影像。特徵比對模組係電性連接第一資料庫，用以將註冊臉部特徵與第一資料庫儲存之複數之人臉影像的臉部特徵比對，以將超過相似閥值對應的相似人臉影像的臉部特徵註冊為易誤報人臉影像特徵，並使臉部分析模組設定易誤報人臉影像特徵之易誤報閥值。
本發明之建立人臉辨識之資料之方法包括以下步驟：取得註冊人臉影像；分析註冊人臉影像以得到註冊臉部特徵；將註冊臉部特徵與儲存於第一資料庫之複數人臉影像的臉部特徵進行比對，以取得超過相似閥值的相似人臉影像；將相似人臉影像註冊的臉部特徵為易誤報人臉影像；設定易誤報人臉影像特徵之易誤報閥值；以及設定註冊臉部特徵之特徵閥值。
本發明之人臉辨識之方法包括以下步驟：取得擷取影像；執行影像處理以找出擷取臉部影像；根據擷取臉部影像分析得到擷取臉部特徵；比對擷取臉部特徵與註冊臉部特徵以得到第一相似度；判斷第一相似度是否大於特徵閥值；若第一相似度小於特徵閥值，係辨識為非註冊人物；若第一相似度大於或等於特徵閥值，係比對擷取臉部特徵與易誤報人臉影像特徵得到第二相似度；判斷第二相似度是否小於易誤報閥值；以及若第二相似度小於易誤報閥值，係辨識為已註冊人物。
為能讓 貴審查委員能更瞭解本發明之技術內容，特舉較佳具體實施例說明如下。
以下請先參考圖2係本發明之人臉辨識系統之架構示意圖。
於本發明之實施例中，人臉辨識系統1係具有建立人臉辨識之資料及辨識人臉之功能，可為硬體裝置、軟體結合硬體、韌體結合硬體等組合，例如可以設置於一桌上型電腦、筆記型電腦或平板電腦等設備，或是利用一種儲存於記憶模組(圖未式)內的電腦程式產品來達成本發明之目的，但本發明並不限於此。人臉辨識系統1包括影像取得模組10、臉部分析模組20、特徵比對模組30、臉部辨識模組40、第一資料庫51、第二資料庫52及第三資料庫53，上述模組係彼此電性連接，且臉部分析模組20、特徵比對模組30及臉部辨識模組4可以是硬體裝置、韌體或其組合，亦可利用電腦程式產品儲存於電腦可讀取媒體中以達成，或是硬體裝置和電腦程式之組合，但本發明並不限於此。影像取得模組10用以接收外界的影像。外界的影像可以由相機、攝影機或智慧型手機擷取得到，或是直接接收影像之檔案，本發明並不限制取得影像之方式或是影像之類型。因此於建立人臉辨識之資料之過程中，首先影像取得模組10要先接收註冊人臉影像。
臉部分析模組20係電性連接該影像取得模組10。臉部分析模組20用以分析接收的註冊人臉影像，找出該人臉中的各特徵，以得到一註冊臉部特徵。舉例來說，臉部分析模組20可以根據註冊人臉影像之臉部五官以得到不同之臉部區域，再計算出人臉部之眼睛部位、鼻子部位及嘴巴部位等臉部五官之特徵值，但本發明並不限制僅能用此方式找出臉部特徵。特徵比對模組30係電性連接臉部分析模組20，用以將人臉中的各特徵與其他人臉的特徵進行比對。臉部辨識模組40係電性連接影像取得模組10及臉部分析模組20，用以對影像取得模組10取得之擷取影像進行處理，以找出影像中的臉部影像，再由臉部分析模組20進行分析。
第一資料庫51及第二資料庫52係儲存事先建置之複數人臉影像，此複數人臉影像可以為從各處(例如網際網路)大量蒐集複數之人臉影像，且第一資料庫51儲存的該些複數之人臉影像還可包括相似人臉影像或之前曾經誤報之人臉影像。例如人臉辨識系統1可以先利用影像取得模組10接收複數之人臉影像，特徵比對模組30係將複數之人臉影像互相比對，以找出該複數之相似人臉影像，藉以儲存該複數之相似人臉影像於該第一資料庫51中。第一資料庫51及第二資料庫52儲存的較佳的人臉影像數目為各10萬個以上，但蒐集方式及數目不以此為限。且需注意的是，若第一資料庫51及第二資料庫52所建立的人臉影像數目不夠多時，也可以將第一資料庫51及第二資料庫52整合為單一個資料庫。特徵比對模組30係將該註冊臉部特徵與該第一資料庫51內所儲存的人臉影像的臉部特徵做比對以確認是否超過一相似閥值。特徵比對模組30藉由一餘弦相似性或一歐氏距離等技術進行比對，但本發明並不限於此。相似閥值為一般用來辨識相似度之閥值，其相似閥值亦為經重複測試以找出準確率最高的閥值，例如可以為0.6，但本發明並不限於此數值。
若註冊臉部特徵與第一資料庫51所儲存的複數之人臉影像比對後有超過相似閥值，就代表此註冊人臉影像與其他的人臉有一定的相似程度，也就是會容易誤認為其他的人臉，以下稱為相似人臉影像。所以臉部分析模組20將特徵值超過該相似閥值對應的該相似人臉影像設定為一易誤報人臉影像，並將其特徵註冊為一易誤報人臉影像特徵，以儲存於第三資料庫53中。臉部分析模組20亦同時使用第二資料庫52，根據預設的誤報機率找尋出已儲存於該第三資料庫53之該易誤報人臉影像特徵對應的閥值。設定誤報機率可以為千分之一，但本發明並不以此數值為限。閥值的計算方法可將閥值的數值從0.01到0.99，每次增加0.01，使用第二資料庫52找尋出可滿足誤報機率的閥值，但本發明並不限於此方式。藉此設定為易誤報人臉影像特徵之一易誤報閥值，並儲存於第二資料庫52中。例如當得知有三個易誤報人臉影像時，臉部分析模組20將三個易誤報人臉影像特徵進行計算，使用第二資料庫52找尋出可滿足誤報機率時的閥值，例如此三個易誤報人臉影像特徵可滿足誤報機率的易誤報閥值分別為0.55、0.62及0.67。須注意的是，不同的註冊人臉可能會沒有或有不同數目的易誤報人臉。
接著臉部分析模組20可以進一步設定該註冊臉部特徵之一特徵閥值，再儲存於第三資料庫53中。於本發明之一實施例中，臉部分析模組20係使用第二資料庫52，以根據註冊臉部特徵，將閥值的數值從0.01到0.99依序測試以找出符合誤報機率的閥值，即設定為該特徵閥值，例如找出特徵閥值可以為0.58。誤報機率可以為千分之一，但本發明並不以此數值為限，並且易誤報人臉影像特徵對應的閥值、特徵閥值等所使用到對應的誤報機率可為相同或不同，惟在本實施例皆使用為千分之一。藉此，人臉辨識系統1可以設定完成人臉辨識資料之建立。
需注意的是，人臉辨識系統1具有的各模組可以為硬體裝置、軟體程式結合硬體裝置、韌體結合硬體裝置等方式架構而成，例如可以將一電腦程式產品儲存於一電腦可讀取媒體中以達成本發明之各項功能，但本發明並不以上述的方式為限。此外，本實施方式僅例示本發明之較佳實施例，為避免贅述，並未詳加記載所有可能的變化組合。然而，本領域之通常知識者應可理解，上述各模組或元件未必皆為必要。且為實施本發明，亦可能包含其他較細節之習知模組或元件。各模組或元件皆可能視需求加以省略或修改，且任兩模組間未必不存在其他模組或元件。
接著請參考圖3係本發明之建立人臉辨識之資料之方法之步驟流程圖此處需注意的是，以下雖以上述人臉辨識系統1為例說明本發明之閥值建立及人臉辨識之方法，但本發明之閥值建立及人臉辨識之方法並不以使用在上述相同結構的人臉辨識系統1為限。
首先進行步驟301：取得一註冊人臉影像。
首先影像取得模組10接收外界的影像，以取得一註冊人臉影像。
接著進行步驟302：分析該註冊人臉影像以得到一註冊臉部特徵。
接著臉部分析模組20用以分析接收的該註冊人臉影像，找出該人臉中的各特徵，以得到一註冊臉部特徵。
接著進行步驟303：將該註冊臉部特徵與儲存於一第一資料庫之複數人臉影像的臉部特徵進行比對，以取得一相似閥值的相似人臉影像。
接著特徵比對模組30係將該註冊臉部特徵與該第一資料庫51儲存的複數之人臉影像的臉部特徵比對以確認是否超過一相似閥值。第一資料庫51儲存的複數之人臉影像可包括相似人臉影像或之前曾經誤報之人臉影像。例如人臉辨識系統1可以先利用影像取得模組10接收複數之人臉影像，特徵比對模組30係將複數之人臉影像互相比對，以找出該複數之相似人臉影像，但本發明並不限於此設定方式。故此時特徵比對模組30找出第一資料庫51中之複數之相似人臉影像與該註冊臉部特徵類似之人臉影像。相似閥值可以為0.6，但本發明並不限於此數值。
接著進行步驟304：將相似人臉影像的臉部特徵註冊為一易誤報人臉影像特徵。
若有超過該相似閥值對應的相似人臉影像，代表此註冊人臉影像與第一資料庫51中其他的人臉有一定的相似程度，因此臉部分析模組20將第一資料庫51中超過該相似閥值的相似人臉影像設定為一易誤報人臉影像，並找出其特徵，以註冊為易誤報人臉影像特徵。若沒有超過相似閥值就不需要再建立易誤報人臉影像特徵。
接著進行步驟305：設定該易誤報人臉影像特徵之一易誤報閥值。
此時臉部分析模組20係使用第二資料庫52以根據誤報機率，找出該易誤報人臉影像特徵符合誤報機率時所對應之一易誤報閥值。誤報機率可以為千分之一，找出閥值的一種算法是閥值的數值從0.01到0.99，每次增加0.01，找尋出可滿足誤報機率時的閥值，即為易誤報閥值。但本發明並不限於此方式。
最後進行步驟306：設定該註冊臉部特徵之一特徵閥值。
臉部分析模組20係使用第二資料庫52，根據誤報機率及步驟302中得到之該註冊臉部特徵，設定該註冊臉部特徵符合誤報機率時所對應之一特徵閥值。與步驟305類似，臉部分析模組20將閥值的數值從0.01到0.99，每次增加0.01，找尋出註冊臉部特徵可滿足誤報機率時的閥值，但本發明並不限於此方式。最後再利用第三資料庫53儲存上述的該註冊臉部特徵、該易誤報人臉影像特徵、該易誤報閥值及該特徵閥值。由於不同的註冊人臉可能會沒有或具有不同數目的易誤報人臉，故每一個要註冊的人臉影像都要經過上述的建立資料的流程，來確認每一個註冊臉部特徵是否有其對應的易誤報人臉影像及易誤報閥值。
於本發明之另一實施例中，人臉辨識系統1可執行辨識人臉之流程。人臉辨識系統1要進行辨識人臉之流程時，同樣先由該影像取得模組10取得一擷取影像，臉部辨識模組40再對擷取影像執行一影像處理，以找出一擷取臉部影像。例如先對擷取影像進行第一次二值化處理將影片中的前景及背景分離得到二值化影像，再將多個二值化影像重疊以找出人臉的位置。藉此，臉部辨識模組40即可在動態影像中找出感興趣區域(region of interest，ROI)，也就是擷取臉部影像。但本發明並不以上述的流程為限。臉部分析模組20即可根據該擷取臉部影像分析得到一擷取臉部特徵。接著特徵比對模組30用以讀取該第三資料庫53將擷取臉部特徵與第三資料庫53儲存的註冊臉部特徵進行比對，以得到第一相似度。特徵比對模組30確認第一相似度是否大於該特徵閥值(例如上述的0.58)，也就是確定擷取臉部特徵是否與已註冊的臉部特徵相似。若當大於該特徵閥值時，代表擷取臉部特徵與已註冊的臉部特徵相似，該特徵比對模組30進一步讀取該第三資料庫53的易誤報人臉影像，將擷取臉部特徵與第三資料庫53儲存的易誤報人臉影像特徵進行比對，以得到第二相似度。特徵比對模組30再確認第二相似度是否小於該易誤報閥值，也就是確認擷取臉部特徵是否可能是容易誤判的人臉影像。例如第二相似度是否小於上述的0.55、0.62及0.67其中任一閥值，確認是否有可能與三個易誤報人臉影像類似。
若第一相似度小於該特徵閥值，可代表擷取臉部特徵沒有與已註冊的臉部特徵相似，因此該特徵比對模組30係將擷取臉部影像辨識為一非註冊人物。若第一相似度大於或等於該特徵閥值，且第二相似度比對結果小於該易誤報閥值，則擷取臉部影像屬於已註冊的臉部特徵，但不屬於容易誤判之人臉影像，故該特徵比對模組30係將擷取臉部影像辨識為一已註冊人物。或另外當第一相似度大於或等於該特徵閥值，第二相似度大於或等於該易誤報閥值，且第二相似度大於或等於第一相似度時，代表雖然與已註冊的臉部特徵相似，但是擷取臉部影像較相似易誤報人臉影像，因此該特徵比對模組30係將擷取臉部影像辨識為非註冊人物。最後當第一相似度大於或等於該特徵閥值，第二相似度大於或等於該易誤報閥值，但第二相似度小於第一相似度時，代表擷取臉部影像與已註冊的臉部特徵相似，且較不相似易誤報人臉影像，因此該特徵比對模組30係將擷取臉部影像辨識為已註冊人物。
接著請參考圖4A-4B係本發明之人臉辨識之方法之步驟流程圖。
首先進行步驟401：取得一擷取影像。
首先該影像取得模組10接收外界的影像，以取得一擷取影像。
其次進行步驟402：執行一影像處理以找出一擷取臉部影像。
其次臉部辨識模組40再對擷取影像執行一影像處理，以找出一擷取臉部影像。
再執行步驟403：根據該擷取臉部影像分析得到一擷取臉部特徵。
接著臉部分析模組20即可根據該擷取臉部影像分析得到一擷取臉部特徵。
接著進行步驟404：比對該擷取臉部特徵與該註冊臉部特徵以得到一第一相似度。
接著特徵比對模組30用以讀取該第三資料庫53，將擷取臉部特徵與第三資料庫53所有儲存的註冊臉部特徵進行比對，以得到一第一相似度。由於每一個已註冊的臉部特徵都有其特徵閥值，故此步驟404中擷取臉部特徵會與多個註冊臉部特徵進行比對。
接著進行步驟405：判斷該第一相似度是否大於或等於該特徵閥值。
特徵比對模組30確認擷取臉部特徵與註冊臉部特徵之間的第一相似度是否大於或等於該特徵閥值。藉此可確定擷取臉部特徵是否與第三資料庫53中已註冊的臉部特徵相似。
若比對後確認第一相似度大於或等於該特徵閥值，則進一步進行步驟406：比對擷取臉部特徵與該易誤報人臉影像特徵得到一第二相似度。
若擷取臉部特徵與所有的註冊臉部特徵比對後的第一相似度有任一個是大於該特徵閥值時，例如擷取臉部特徵與註冊臉部特徵間的第一相似度為0.66，大於特徵閥值0.58，則確認擷取臉部特徵與該已註冊的臉部特徵相似，該特徵比對模組30進一步讀取該第三資料庫53對應該已註冊人臉的易誤報人臉影像，將擷取臉部特徵與第三資料庫53儲存的易誤報人臉影像特徵進行比對，以得到一第二相似度。若步驟304中有找出對應此註冊臉部特徵有三個容易誤判的人臉影像，此步驟405中特徵比對模組30就將擷取臉部特徵與該三個容易誤判的人臉影像都進行相似度比對，亦即會得到三個第二相似度。
接著進行步驟407：判斷該第二相似度是否小於該易誤報閥值。
接著特徵比對模組30確認第二相似度是否小於該易誤報閥值，以確認擷取臉部特徵是否可能是容易誤判的人臉影像。
若於步驟407之判斷中有任一個第二相似度大於或等於該易誤報閥值(例如前述的0.55、0.62及0.67)，則進行步驟408：判斷該第二相似度是否小於該第一相似度。
當擷取臉部特徵與任一個容易誤判的人臉影像的第二相似度比對大於或等於易誤報閥值，表示擷取臉部特徵與至少一個容易誤判的人臉影像相似，但也可能為註冊臉部特徵。故要再判斷是否為已註冊的臉部特徵。
若擷取臉部特徵的所有第一相似度於步驟405之判斷中都小於該特徵閥值，則進行步驟409：辨識為一非註冊人物。
若擷取臉部特徵與所有的註冊臉部特徵比對後的第一相似度都沒有大於註冊臉部特徵各自的特徵閥值，就代表擷取臉部特徵與所有的註冊臉部特徵都不相似。故特徵比對模組30係直接判斷擷取臉部影像為一非註冊人物，也就是陌生人。另外當步驟407之判斷中有任一個第二相似度大於或等於該易誤報閥值，但步驟408之判斷中第二相似度大於或等於該第一相似度，係代表擷取臉部影像與易誤報人臉影像相似，且擷取臉部影像與易誤報人臉影像的相似程度大於與已註冊的臉部特徵的相似程度。所以最後特徵比對模組30係將擷取臉部影像辨識為一非註冊人物。
若於步驟407之判斷中，擷取臉部特徵與所有的容易誤判的人臉影像的比對結果小於該易誤報閥值，則進行步驟410：辨識為一已註冊人物。
當擷取臉部特徵與所有的容易誤判的人臉影像間的第二相似度都小於各自的易誤報閥值，表示擷取臉部特徵與所有的容易誤判的人臉影像都不相似。此時代表擷取臉部影像屬於已註冊的臉部特徵，但不屬於容易誤判之人臉影像，故特徵比對模組30係將擷取臉部影像辨識為一已註冊人物。
最後若步驟407之判斷中有任一個第二相似度大於或等於該易誤報閥值，但步驟408之判斷中第二相似度小於該第一相似度，係代表擷取臉部影像雖然與易誤報人臉影像相似，且擷取臉部影像與易誤報人臉影像的相似程度小於與已註冊的臉部特徵的相似程度。所以最後特徵比對模組30係將擷取臉部影像辨識為已註冊人物。
此處需注意的是，本發明之建立人臉辨識之資料之方法及人臉辨識之方法並不以上述之步驟次序為限，只要能達成本發明之目的，上述之步驟次序亦可加以改變。
藉此，人臉辨識系統1在辨識人臉時，除了確認是否為已經儲存的臉部資料，更可以判斷是否為容易誤認的人臉影像，因此可以大幅增加人臉辨識的準確率。
需注意的是，上述實施方式僅例示本發明之較佳實施例，為避免贅述，並未詳加記載所有可能的變化組合。然而，本領域之通常知識者應可理解，上述各模組或元件未必皆為必要。且為實施本發明，亦可能包含其他較細節之習知模組或元件。各模組或元件皆可能視需求加以省略或修改，且任兩模組間未必不存在其他模組或元件。只要不脫離本發明基本架構者，皆應為本專利所主張之權利範圍，而應以專利申請範圍為準。
先前技術 91:第一人臉影像 92:第二人臉影像 本發明 1:人臉辨識系統 10:影像取得模組 20:臉部分析模組 30:特徵比對模組 40:臉部辨識模組 51:第一資料庫 52:第二資料庫 53:第三資料庫
圖1係先前技術中之相似人臉比對之示意圖。 圖2係本發明之人臉辨識系統之架構示意圖。 圖3係本發明之建立人臉辨識之資料之方法之步驟流程圖。 圖4A-4B係本發明之人臉辨識之方法之步驟流程圖。
1:人臉辨識系統
10:影像取得模組
20:臉部分析模組
30:特徵比對模組
40:臉部辨識模組
51:第一資料庫
52:第二資料庫
53:第三資料庫

Claims (16)

  1. 一種建立人臉辨識之資料之方法，係用於一人臉辨識系統，該方法包括以下步驟：取得一註冊人臉影像；分析該註冊人臉影像以得到一註冊臉部特徵；將該註冊臉部特徵與儲存於一第一資料庫之複數人臉影像的臉部特徵進行比對，以取得超過一相似閥值的一相似人臉影像；將該相似人臉影像的臉部特徵註冊為一易誤報人臉影像特徵；找出該易誤報人臉影像特徵符合一誤報機率時所對應之閥值以設定為該易誤報人臉影像特徵之一易誤報閥值；以及設定該註冊臉部特徵之一特徵閥值。
  2. 如申請專利範圍第1項所述之建立人臉辨識之資料之方法，更包括比對一第二資料庫以得到該易誤報閥值及該特徵閥值之步驟。
  3. 如申請專利範圍第2項所述之建立人臉辨識之資料之方法，更包括使用該第二資料庫找出該易誤報人臉影像特徵符合該誤報機率時所對應之閥值以設定為該易誤報閥值之步驟。
  4. 如申請專利範圍第3項所述之建立人臉辨識之資料之方法，更包括使用該第二資料庫找出該註冊人臉影像符合該誤報機率時所對應之閥值以設定為該特徵閥值之步驟。
  5. 如申請專利範圍第3或4項所述之建立人臉辨識之資料之方法，更包括設定該誤報機率係為千分之一之步驟。
  6. 一種人臉辨識之方法，係使用一人臉辨識資料，該人臉辨識資料包括一註冊臉部特徵及一易誤報人臉影像特徵，該方法包括以下步驟：取得一擷取影像；執行一影像處理以找出一擷取臉部影像；根據該擷取臉部影像分析得到一擷取臉部特徵；比對該擷取臉部特徵與該註冊臉部特徵以得到一第一相似度；判斷該第一相似度是否大於或等於一特徵閥值；若該第一相似度小於該特徵閥值，係辨識為一非註冊人物；若該第一相似度大於或等於該特徵閥值，係比對擷取臉部特徵與該易誤報人臉影像特徵得到一第二相似度；判斷該第二相似度是否小於一易誤報閥值；以及 若該第二相似度小於該易誤報閥值，將該擷取影像辨識為一已註冊人物。
  7. 如申請專利範圍第6項所述之人臉辨識之方法，更包括下列步驟：若該第二相似度大於或等於該易誤報閥值且該第二相似度小於該第一相似度，係辨識為該已註冊人物。
  8. 如申請專利範圍第6項所述之人臉辨識之方法，更包括下列步驟：若該第二相似度大於或等於該易誤報閥值且該第二相似度大於或等於該第一相似度，係辨識為該非註冊人物。
  9. 一種人臉辨識系統，包括：一影像取得模組，用以取得一註冊人臉影像；一臉部分析模組，係電性連接該影像取得模組，用以分析該註冊人臉影像以得到一註冊臉部特徵，並設定該註冊臉部特徵之一特徵閥值；一第一資料庫，用以儲存複數之人臉影像；以及一特徵比對模組，係電性連接該第一資料庫，用以將該註冊臉部特徵與該第一資料庫儲存之該複數之人臉影像的臉部特徵比對，以將超過一相似閥值對應的一相似人臉影像的臉部特徵註冊為一易誤報人臉影像特徵，並使該臉部分析模組找出該易誤報人臉影 像特徵符合一誤報機率時所對應之閥值以設定為該易誤報人臉影像特徵之一易誤報閥值。
  10. 如申請專利範圍第9項所述之人臉辨識系統，更包括一第二資料庫，儲存有複數之人臉影像，以供易誤報閥值該臉部分析模組根據該第二資料庫設定該易誤報人臉影像特徵符合該誤報機率時所對應之閥值為該易誤報閥值。
  11. 如申請專利範圍第10項所述之人臉辨識系統，其中該第二資料庫進一步供該臉部分析模組設定該註冊人臉影像符合該誤報機率時所對應之閥值為該特徵閥值。
  12. 如申請專利範圍第10或11項所述之人臉辨識系統，其中該誤報機率係為千分之一。
  13. 如申請專利範圍第9項所述之人臉辨識系統，更包括一第三資料庫，用以儲存該註冊臉部特徵、該易誤報人臉影像特徵、該易誤報閥值及該特徵閥值。
  14. 如申請專利範圍第13項所述之人臉辨識系統，更包括一臉部辨識模組；其中當該影像取得模組取得一擷取影像後，該臉部辨識模組係執行一影像處理以找出一擷取臉部影像，藉以根據該擷取臉部影像分析得到一擷取臉部特徵； 藉此，該特徵比對模組用以讀取該第三資料庫以比對該擷取臉部特徵與該註冊臉部特徵以得到一第一相似度；若該第一相似度小於該特徵閥值時，該特徵比對模組係辨識該擷取臉部影像為一非註冊人物；若該第一相似度大於或等於該特徵閥值時，該特徵比對模組係讀取該第三資料庫以比對擷取臉部特徵與該易誤報人臉影像特徵得到一第二相似度；若該第二相似度小於該易誤報閥值，該特徵比對模組係辨識該擷取臉部影像為一已註冊人物。
  15. 如申請專利範圍第14項所述之人臉辨識系統，其中若該第二相似度大於或等於該易誤報閥值且小於該第一相似度，該特徵比對模組係辨識該擷取臉部影像為該已註冊人物。
  16. 如申請專利範圍第14項所述之人臉辨識系統，其中若該第二相似度大於或等於該易誤報閥值且大於或等於該第一相似度，該特徵比對模組係辨識該擷取臉部影像為該非註冊人物。
TW108116457A 2019-05-13 2019-05-13 人臉辨識系統、建立人臉辨識之資料之方法及其人臉辨識之方法 TWI704505B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108116457A TWI704505B (zh) 2019-05-13 2019-05-13 人臉辨識系統、建立人臉辨識之資料之方法及其人臉辨識之方法
CN202010383544.6A CN111931548B (zh) 2019-05-13 2020-05-08 人脸识别系统、建立人脸识别数据的方法及人脸识别方法
US15/930,739 US11281922B2 (en) 2019-05-13 2020-05-13 Face recognition system, method for establishing data of face recognition, and face recognizing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108116457A TWI704505B (zh) 2019-05-13 2019-05-13 人臉辨識系統、建立人臉辨識之資料之方法及其人臉辨識之方法

Publications (2)

Publication Number Publication Date
TWI704505B true TWI704505B (zh) 2020-09-11
TW202042113A TW202042113A (zh) 2020-11-16

Family

ID=73228659

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108116457A TWI704505B (zh) 2019-05-13 2019-05-13 人臉辨識系統、建立人臉辨識之資料之方法及其人臉辨識之方法

Country Status (3)

Country Link
US (1) US11281922B2 (zh)
CN (1) CN111931548B (zh)
TW (1) TWI704505B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11036969B1 (en) * 2017-02-08 2021-06-15 Robert Kocher Group identification device
EP3806015A1 (en) * 2019-10-09 2021-04-14 Palantir Technologies Inc. Approaches for conducting investigations concerning unauthorized entry
US12437503B2 (en) * 2020-04-27 2025-10-07 Nec Corporation Person retrieval system
US11921831B2 (en) * 2021-03-12 2024-03-05 Intellivision Technologies Corp Enrollment system with continuous learning and confirmation
CN115249370A (zh) * 2021-04-09 2022-10-28 瑞昱半导体股份有限公司 应用于人脸识别系统的处理电路及处理方法
CN113255594B (zh) * 2021-06-28 2024-09-17 深圳市商汤科技有限公司 人脸识别方法和装置、神经网络
CN116052248A (zh) * 2022-12-27 2023-05-02 北京声智科技有限公司 人脸识别方法、装置、电子设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201013546A (en) * 2008-09-19 2010-04-01 Altek Corp Hierarchical face recognition training method and hierarchical face recognition method thereof
TWI415011B (zh) * 2009-12-17 2013-11-11 Ind Tech Res Inst 人臉辨識方法及應用此方法之系統
US9721148B2 (en) * 2007-12-31 2017-08-01 Applied Recognition Inc. Face detection and recognition
TW201917636A (zh) * 2017-10-18 2019-05-01 大猩猩科技股份有限公司 一種基於線上學習的人臉辨識方法與系統

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007148872A (ja) * 2005-11-29 2007-06-14 Mitsubishi Electric Corp 画像認証装置
TWI325568B (en) 2006-04-12 2010-06-01 Univ Nat Cheng Kung A method for face varification
JP2008117333A (ja) * 2006-11-08 2008-05-22 Sony Corp 情報処理装置、情報処理方法、個人識別装置、個人識別装置における辞書データ生成・更新方法および辞書データ生成・更新プログラム
US8315463B2 (en) * 2006-11-14 2012-11-20 Eastman Kodak Company User interface for face recognition
JP5010905B2 (ja) * 2006-12-13 2012-08-29 パナソニック株式会社 顔認証装置
CN101140620A (zh) * 2007-10-16 2008-03-12 上海博航信息科技有限公司 一种人脸识别系统
US8473420B2 (en) * 2009-06-26 2013-06-25 Microsoft Corporation Computational models for supporting situated interactions in multi-user scenarios
CN101770613A (zh) * 2010-01-19 2010-07-07 北京智慧眼科技发展有限公司 基于人脸识别和活体检测的社保身份认证方法
JP5567853B2 (ja) * 2010-02-10 2014-08-06 キヤノン株式会社 画像認識装置および方法
US10657362B2 (en) 2015-06-30 2020-05-19 Nec Corporation Of America Facial recognition system
US9747494B2 (en) * 2015-11-16 2017-08-29 MorphoTrak, LLC Facial matching system
US11216541B2 (en) * 2018-09-07 2022-01-04 Qualcomm Incorporated User adaptation for biometric authentication
CN109492523A (zh) * 2018-09-17 2019-03-19 深圳壹账通智能科技有限公司 人脸识别系统性能测试方法、装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9721148B2 (en) * 2007-12-31 2017-08-01 Applied Recognition Inc. Face detection and recognition
TW201013546A (en) * 2008-09-19 2010-04-01 Altek Corp Hierarchical face recognition training method and hierarchical face recognition method thereof
TWI415011B (zh) * 2009-12-17 2013-11-11 Ind Tech Res Inst 人臉辨識方法及應用此方法之系統
TW201917636A (zh) * 2017-10-18 2019-05-01 大猩猩科技股份有限公司 一種基於線上學習的人臉辨識方法與系統

Also Published As

Publication number Publication date
US20200364479A1 (en) 2020-11-19
TW202042113A (zh) 2020-11-16
CN111931548B (zh) 2023-12-12
US11281922B2 (en) 2022-03-22
CN111931548A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
TWI704505B (zh) 人臉辨識系統、建立人臉辨識之資料之方法及其人臉辨識之方法
US10565433B2 (en) Age invariant face recognition using convolutional neural networks and set distances
CN108154171B (zh) 一种人物识别方法、装置及电子设备
CN109800643B (zh) 一种活体人脸多角度的身份识别方法
CN105518709B (zh) 用于识别人脸的方法、系统和计算机程序产品
CN109426785B (zh) 一种人体目标身份识别方法及装置
Chen et al. An end-to-end system for unconstrained face verification with deep convolutional neural networks
US11017215B2 (en) Two-stage person searching method combining face and appearance features
Marcel et al. On the recent use of local binary patterns for face authentication
CN108376242B (zh) 针对视频的持续性特征描述符
CN105184304B (zh) 图像辨识装置以及对图像辨识装置的特征量数据注册方法
CN113591921B (zh) 图像识别方法及装置、电子设备、存储介质
CN107330397B (zh) 一种基于大间隔相对距离度量学习的行人重识别方法
US8934679B2 (en) Apparatus for real-time face recognition
CN111738120B (zh) 人物识别方法、装置、电子设备及存储介质
CN108875341A (zh) 一种人脸解锁方法、装置、系统及计算机存储介质
CN107423690A (zh) 一种人脸识别方法及装置
US20160307057A1 (en) Fully Automatic Tattoo Image Processing And Retrieval
Anand et al. An improved local binary patterns histograms techniques for face recognition for real time application
El Khiyari et al. Age invariant face recognition using convolutional neural networks and set distances
CN108021846A (zh) 一种人脸识别方法和装置
WO2018040306A1 (zh) 一种监控视频中检测频繁过人的方法
de Paula Lemes et al. Dynamic pore filtering for keypoint detection applied to newborn authentication
CN115457623A (zh) 停留时长检测方法、装置及服务器
Narang et al. Robust face recognition method based on SIFT features using Levenberg-Marquardt Backpropagation neural networks