TWI415010B - Face recognition method based on individual blocks of human face - Google Patents
Face recognition method based on individual blocks of human face Download PDFInfo
- Publication number
- TWI415010B TWI415010B TW98141413A TW98141413A TWI415010B TW I415010 B TWI415010 B TW I415010B TW 98141413 A TW98141413 A TW 98141413A TW 98141413 A TW98141413 A TW 98141413A TW I415010 B TWI415010 B TW I415010B
- Authority
- TW
- Taiwan
- Prior art keywords
- face
- module
- image
- cutting
- method based
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000001815 facial effect Effects 0.000 abstract description 12
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Collating Specific Patterns (AREA)
Description
本發明係關於一種以人臉個別區塊為基礎之人臉辨識方法，特別是指一種將整張人臉切割成數個部分，分別利用此數個部分區塊影像做人臉局部特徵抽取與比對後，再組合一個最終辨識結果之人臉辨識方法。
一般的人臉辨識方法大多是利用一整張臉的影像做辨識，但以一整張人臉影像做為辨識之特徵時，容易因為人臉的局部遮掩、局部光線不同或角度變化，對整張人臉的特徵值產生大量的變化，容易導致最終辨識失敗；後來有人開發出以人臉五官為基礎的人臉辨識方法，如專利「以人臉五官辨識為基礎之人臉辨識方法」(專利公開號：200707310)，此專利提出可將整張人臉影像切割出五官的區域，包含了眉毛、左眼、右眼、鼻子、嘴巴及耳朵；再將這些五官影像分別輸入事先訓練好的個別分類器中，依照距離資訊及門檻值來辦別輸入的影像屬於哪一個候選人，最後把這些五官影像辨識出的候選人結合起來，以投票決定是屬於人臉資料庫中的哪一位；但此做法會衍生出下列問題：
1.臉型的結構在辨識上是很重要的依據，但若將人臉影像切割的太仔細，將會失去彼此之間結構的關連。
2.以小區域的影像做為辨識之基礎，但若尋找五官位置的演算法並不堅固，位置上的小偏差將會導致切割出的五官區域影像差別很大。
3.對於五官類別的定義並無一套公定的標準，純粹用主觀意識來描述且定義，但每個人對於五官外型的看法很難達到一致，因此對於最後辨識結果的描述，容易造成使用者使用上的誤解及混淆的問題產生。
由此可見，上述習用方式仍有諸多缺失，實非一良善之設計，而亟待加以改良。
本案發明人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本件以人臉個別區塊為基礎之人臉辨識方法。
本發明之目的即在於提供一種以人臉個別區塊為基礎之人臉辨識方法，係用以改善整張人臉影像受到人臉的局部遮掩、局部光線不同或角度變化的影響，透過切割人臉影像成數個部份的方法，再分別抽取特徵做辨識比對，可提高人臉辨識的環境適應性及辨識正確率；可達成上述發明目的之以人臉個別區塊為基礎之人臉辨識方法，係利用整張人臉影像做切割，並分別抽取特徵做辨識，以達到提升辨識率的目的；而人臉影像切割成數個部分之後，分別利用LBP方法(參考文獻1)以算出人臉影像區塊的特徵值，再利用Adaboost(參考文獻2)將數個部分區塊影像選取出具有代表性的特徵值，並做為Adaboost特徵選取模組；辨識時，每個影像區塊可利用Adaboost特徵選取模組選出特徵值，分別跟資料庫中每個人相對區塊的特徵值做計算，此計算後的數值利用門檻值來判斷是否為相比較的此人；每個影像區塊都能得到多個可能的候選辨
識結果候選者，最後利用Borda Count(參考文獻3)決策模組選出最終的辨識結果，Borda Count決策模組選出的並不一定為得票最多的那一位候選者，透過不同的權重值，會將整體的趨勢考慮進去，領先趨勢者也就是透過權重計算之後，得到最多分的才為最後的辨識結果；另外，Borda Count決策模組中有設一門檻值，當同時考慮權重及排名算出分數最高的候選者時，其分數若高於此門檻值，則接受；若低於此門檻值，則認為此人為非法人員。
請參閱圖一，為本發明之以人臉個別區塊為基礎之人臉辨識方法之系統架構圖，由圖中可知，其系統主要包括為：一影像輸入模組1，係與人臉影像切割模組2相介接，負責將人臉影像輸入人臉影像切割模組2中；一人臉影像切割模組2，係與一影像輸入模組1及一LBP特徵模組3相介接，負責將影像輸入模組1輸入的人臉影像，係以水平、垂直或是水平合併垂直的方式切割成數個人臉區塊影像；一LBP特徵模組3，係與人臉影像切割模組2及Adaboost特徵選取模組4相介接，該LBP特徵模組3係利用LBP方法，來對切割後的人臉影像區塊，找出其特徵值；一Adaboost特徵選取模組4，係與LBP特徵模組3及比較模組5相介接，該Adaboost特徵選取模組4會針對每個影像區塊，來選出最具代表性的特徵值；一比較模組5，係與Adaboost特徵選取模組4、人臉區塊影像資料庫6
及Borda Count決策模組7相介接，該比較模組5係可利用Adaboost特徵選取模組4所選出特徵值，分別跟人臉區塊影像資料庫6中每個人相對區塊的特徵值做計算，此計算後的數值利用門檻值來判斷是否為相比較的此人；一人臉區塊影像資料庫6，係與比較模組5相介接，該人臉區塊影像資料庫6係包括有每個人相對區塊的特徵值；一Borda Count決策模組7，係與比較模組5相介接，該Borda Count決策模組7係負責選出最終的辨識結果。
請參閱圖二，為本發明之以人臉個別區塊為基礎之人臉辨識方法之人臉辨識方法流程圖，由圖中可知，其步驟為：1.當進行辨識時，一張人臉影像輸入101，透過人臉影像切割模組先找到人臉位置(進行人臉位置定位)，並將人臉影像切割成三等分(三個影像區塊)102；2.將切割好的這三等分區域，經由LBP特徵模組可以計算得到人臉各個影像區塊(三個影像區塊)的特徵值103；3.將三個影像區塊的人臉影像得到的影像特徵值分別輸入Adaboost特徵選取模組12中，再透過之前已訓練好的選取器，每個影像區塊會選出最具代表性的特徵值104；4.將這些特徵值輸入比較模組中，辨識影像區塊的特徵值和資料庫中的每個人相對區塊的特徵值之分數，做兩兩相減取絕對值，此數值利用門檻值來判定是否為相比較的此人105；5.透過比較模組比較之後，每個影像區塊皆會產生數個可能的候選
辨識結果，這些候選者由分數最高依序排至最低分數，最後利用Borda Count決策模組來選出最終的結果(利用Borda Count決策模組結合各影像區塊的辨識結果，以選出最終的辨識結果)106。
在進行人臉辨識之前，必須事先訓練好Adaboost特徵選取模組，以做為辨識時的特徵選取器，該Adaboost特徵選取模組的訓練方式為先準備兩類的資料，每一個人都有數張欲訓練的影像，第一類為將同一個人的影像兩兩相減取絕對值，第二類為將不同人的影像兩兩相減取絕對值；之後再將Adaboost特徵選取模組做初始化，將欲區分的兩類資料的權重(weight)設為相同，以遞回的方式每回合從眾多的弱分類器(weak classifiers)(參考文獻2)中選擇效能最好的弱分類器，根據此弱分類器的答案更新每個資料的權重，更新的方式為答對的資料權重減少，答錯的資料權重增加，其目的係為讓下一回合選擇的弱分類器可以補強這回合所答錯的答案；最後，將這些弱分類器組合成強分類器(參考文獻2)即成為Adaboost特徵選取模組，依照如此的訓練方式，分別對人臉影像的各個影像區塊做處理，即可訓練完成Adaboost特徵選取模組。
請參閱圖三，為本發明之以人臉個別區塊為基礎之人臉辨識方法之人臉影像切割模組示意圖，由圖中可知，由於人臉影像切割模組已經先找出了人臉區域，因此切出的三等分剛好分別為重要的三部分特徵，各別是眼睛及眉毛、鼻子和嘴巴。
請參閱圖四，為本發明之以人臉個別區塊為基礎之人臉辨識方法之人Borda Count決策模組實施示意圖，在人臉辨識方法流程中，其中該Borda
Count決策模組會將排名最後一名的給予S0分，倒數到二名給予S1分，類推至第一名給予SN分，並且S0<S1<...<SN；以圖四為例說明，A得到的分數為51*3+0*(5+23+21)=153，B得到的分數為205，C得到的分數為151，D得到的分數為91，獲分最高者為B；除了考慮名次外，Borda Count決策模組還考慮了權重值，因此選出的最後結果並不一定為得票最多的候選者，透過不同的權重值，會將整體的趨勢考慮進去；另外亦可不考慮權重的趨勢只依照票數，ABCD都為四票，最後結果可能為其中一個，但若考慮權重，在權重=5、權重=23以及權重=21這三種情況下，B的名次都比A高，因此最後算分數的時候，B的分數勝出，領先趨勢者也就是透過權重計算之後，得到最多分的才為最後的結果；而該Borda Count決策模組中係有設一門檻值，當同時考慮權重及排名算出分數最高的候選者時，其分數若高於此門檻值，則接受結果；若低於此門檻值，則認為此人為非法人員。
本發明所提供之以人臉個別區塊為基礎之人臉辨識方法，與其他習用技術相互比較時，更具備下列優點：
1.本發明可克服人臉的局部遮掩、局部光線不同或角度變化的影響以提高辨識率，進而強化人臉辨識的環境適應性。
2.本發明可降低人臉訓練的時間，當資料庫增加新的使用者時，不需要重新訓練Adaboost特徵選取模組，以增加系統整體效率。
3.本發明可有效切割出人臉區域，由於不是切割小範圍的五官區域，而只是將人臉影像等分的切割，降低了五官區域切割的誤差
性，以增加切割的準確性，並維持五官之間的結構性，以達到提高辨識率之目的。
上列詳細說明係針對本發明之一可行實施例之具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。
綜上所述，本案不但在技術思想上確屬創新，並能較習用物品增進上述多項功效，應以充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請 貴局核准本件發明專利申請案，以勵發明，至感德便。
1‧‧‧影像輸入模組
2‧‧‧人臉影像切割模組
3‧‧‧LBP特徵模組
4‧‧‧Adaboost特徵選取模組
5‧‧‧比較模組
6‧‧‧人臉區塊影像資料庫
7‧‧‧Borda Count決策模組
圖一為本發明之以人臉個別區塊為基礎之人臉辨識方法之系統架構圖；圖二為本發明之以人臉個別區塊為基礎之人臉辨識方法之人臉辨識方法流程圖；圖三為本發明之以人臉個別區塊為基礎之人臉辨識方法之人臉影像切割模組示意圖；以及圖四為本發明之以人臉個別區塊為基礎之人臉辨識方法之人Borda Count決策模組實施示意圖。
Claims (5)
- 一種以人臉個別區塊為基礎之人臉辨識方法，其步驟為：(1)輸入人臉影像，並經由人臉影像切割模組，做人臉位置定位後，將人臉影像切割出三個影像區塊；(2)利用LBP特徵模組計算出各個影像區塊的特徵值；(3)以Adaboost特徵選取模組透過之前已訓練好的選取器，選出各個影像區塊具代表性的特徵值；(4)以比較模組來計算辨識影像區塊的特徵值及資料庫中每個人相對區塊的特徵值之分數，再利用門檻值判斷是否為相比較的此人；(5)利用Borda Count決策模組結合各影像區塊的辨識結果，以選出最終的辨識結果。
- 如申請專利範圍第1項所述之以人臉個別區塊為基礎之人臉辨識方法，其中該人臉影像切割模組，係可以水平方式切割成數個人臉區塊影像。
- 如申請專利範圍第1項所述之以人臉個別區塊為基礎之人臉辨識方法，其中該人臉影像切割模組，係可以垂直方式切割成數個人臉區塊影像。
- 如申請專利範圍第1項所述之以人臉個別區塊為基礎之人臉辨識方法，其中該人臉影像切割模組，係可以水平與垂直組合方式切割成數個人臉區塊影像。
- 如申請專利範圍第1項所述之以人臉個別區塊為基礎之人臉辨識方 法，其中該Borda Count決策模組中有設一門檻值，當同時考慮權重及排名算出分數最高的候選者時，其分數若高於此門檻值，則接受結果，若低於此門檻值，則認為此人為非法人員。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW98141413A TWI415010B (zh) | 2009-12-03 | 2009-12-03 | Face recognition method based on individual blocks of human face |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW98141413A TWI415010B (zh) | 2009-12-03 | 2009-12-03 | Face recognition method based on individual blocks of human face |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201120766A TW201120766A (en) | 2011-06-16 |
| TWI415010B true TWI415010B (zh) | 2013-11-11 |
Family
ID=45045296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW98141413A TWI415010B (zh) | 2009-12-03 | 2009-12-03 | Face recognition method based on individual blocks of human face |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI415010B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI759731B (zh) * | 2020-04-27 | 2022-04-01 | 淡江大學 | 機器學習方法 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI508001B (zh) * | 2013-10-30 | 2015-11-11 | Wistron Corp | 路人偵測方法、裝置與電腦程式產品 |
| TWI512641B (zh) * | 2014-04-02 | 2015-12-11 | Pegatron Corp | 辨識系統與辨識方法 |
| CN110321763A (zh) * | 2018-03-29 | 2019-10-11 | 沅圣科技股份有限公司 | 多角度人脸辨识系统及其学习方法与辨识方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200707310A (en) * | 2005-08-08 | 2007-02-16 | Chunghwa Telecom Co Ltd | Facial recognition method based on recognition of facial features |
| TW200741586A (en) * | 2006-04-24 | 2007-11-01 | Pre Action Internat Pty Ltd | Method for determining rectangular size of human face |
| TW200836112A (en) * | 2007-02-16 | 2008-09-01 | Ind Tech Res Inst | Method of emotion recognition |
-
2009
- 2009-12-03 TW TW98141413A patent/TWI415010B/zh not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200707310A (en) * | 2005-08-08 | 2007-02-16 | Chunghwa Telecom Co Ltd | Facial recognition method based on recognition of facial features |
| TW200741586A (en) * | 2006-04-24 | 2007-11-01 | Pre Action Internat Pty Ltd | Method for determining rectangular size of human face |
| TW200836112A (en) * | 2007-02-16 | 2008-09-01 | Ind Tech Res Inst | Method of emotion recognition |
Non-Patent Citations (1)
| Title |
|---|
| 繆紹綱，李勝隆，運用動態資訊與多重辨識器於道路行進車輛之車牌辨識系統，中原大學，20050630。 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI759731B (zh) * | 2020-04-27 | 2022-04-01 | 淡江大學 | 機器學習方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201120766A (en) | 2011-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Berg et al. | Who's in the picture | |
| Fan et al. | Label distribution-based facial attractiveness computation by deep residual learning | |
| Mirjalili et al. | Soft biometric privacy: Retaining biometric utility of face images while perturbing gender | |
| KR101252454B1 (ko) | 대표 지문 템플릿 생성 장치 및 방법 | |
| US11893831B2 (en) | Identity information processing method and device based on fundus image | |
| Lui et al. | Preliminary studies on the good, the bad, and the ugly face recognition challenge problem | |
| CN103093216B (zh) | 基于人脸图像的性别分类方法及系统 | |
| CN108829900A (zh) | 一种基于深度学习的人脸图像检索方法、装置及终端 | |
| CN109117795B (zh) | 基于图结构的神经网络表情识别方法 | |
| Weng et al. | Multi-feature ordinal ranking for facial age estimation | |
| CN108805077A (zh) | 一种基于三元组损失函数的深度学习网络的人脸识别系统 | |
| US20220335291A1 (en) | Learning apparatus, learning method, inference apparatus, inference method, and recording medium | |
| Kashem et al. | Face recognition system based on principal component analysis (PCA) with back propagation neural networks (BPNN) | |
| TWI415010B (zh) | Face recognition method based on individual blocks of human face | |
| Kurban et al. | A multi-biometric recognition system based on deep features of face and gesture energy image | |
| CN107066955A (zh) | 一种从局部人脸区域还原整张人脸的方法 | |
| Moon et al. | Open set user identification using gait pattern analysis based on ensemble deep neural network | |
| KR101107308B1 (ko) | 영상 검색 및 인식 방법 | |
| US9779285B2 (en) | Face template balancing | |
| Ibrahim et al. | Dynamic local ternary pattern for face recognition and verification | |
| Sharma et al. | Suspect face retrieval via multicriteria decision process | |
| Li et al. | A feature-level solution to off-angle iris recognition | |
| Monwar | A multimodal biometric system based on rank level fusion | |
| Rehkha et al. | Differentiating monozygotic twins by facial features | |
| CN110334698A (zh) | 眼镜检测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |