TWI318108B - A real-time face detection under complex backgrounds - Google Patents

Description

1318108 九、發明說明： 【發明所屬之技術領域】 =發明係有關於一種適用於複雜背景的即時人 ΐ正確，尤其是指—種利用三步驟人臉偵測演算法，^以 人:正確位置與大小，並進-步找出限睛和 置之適用於複雜背景的即時人臉_方法 【先前技術】 按，隨著有線及無線網際網路應用日漸普及、 易化時代的來臨’傳統的保密與認證 = =:證!:錄，使用者除需記憶多組密以 外’早純密碼認證更有可能被盜用或入侵的产 双J而，利用個人獨特的生物特徵所辨識之「生理= 碼」’像是藉由人臉、指紋、個人簽名、與虹膜辨識 „複製或遭竊的特性，可以真正有效解決安全 問題。在所有生物認證技術中，人臉辨識是其 辨識者最自然及最友善的方法，且其為一非侵犯性系統 被辨識者無需要做特定的辨識程序動作’即可完成辨識。 因此較不會引起侵犯人權之異議，可以有效的達到過濾嫌 犯的目的。況且人臉也是人和人之間最明顯差異、同時亦 是隨時隨地具備的特徵。 現有方法對人臉偵測技術性能的探討相當多，但大多 數是靜態頭及肩（Head-and-Shou 1 der )人臉資料庫的測試 分析，如我國專利420939提出以連續晝面來判斷時間前 後像素差，進行動作機率與膚色完整度的對應；我國專利 505892 出以膚色、移動及輪廊資訊來找出人臉可此區 1318108 域’在匯入新舊人臉記錄器比對後以進行人臉追蹤；我國 專利550517提出強化暗色像素與其周圍亮色像素的對比 度並增加暗色像素與其周圍亮色像素的亮度差異，以债測 影像中之可能眼睛片段（Eye-Analogue Segment);我國專 利569148提出對輸入影像執行色彩分割（Color Segment)，再利用人臉區塊中與膚色相異的特徵子區塊來 定位人臉特徵；美國專利6, 661，907提出應用色彩分割影 像内容，再從中搜尋最具有膚色的區塊；美國專利 6, 792, 135提出利用邊緣密度（Edge Density)及具關聯性 的樣本模組（Template Module)來搜尋人臉區塊；美國專 利6, 816, 611在偵測出膚色區塊後，利用基因演算法搜尋 具拋物線形狀的人臉區塊。 综合以上得知’不分中外膚色仍是人臉彳貞測技術的主 流；雖然這些方法各擅其長，然而在動態的實況（Live)人 臉偵測時則需面對更實際的問題：（1)色彩模型的選擇與 參數設定是否能維持膚色在窗戶邊、日光燈下、有陰影、 人臉受遮蔽、及似膚色的背景或衣著時的穩定性；（2)人 臉看成非人臉（False Reject)，而把非人臉看成人臉 (False Acceptance)的錯誤率；（3)及時偵測的速度。已 有的實況人臉偵測論文很少，在SCI期刊的檢索中，僅能 找到有連續影像資料串（Video Sequence)檔案輸入的測試 、報告。就實況人臉偵測的實驗設計而言，這些文獻所能提 供的性能分析頗為有限。因為有關人數、視角、背景、表 情、物距、及光源變化等條件，並未經歷廣泛且深入的大 量數據探究，部份取像條件仍是設限的情況。 另一方面’在商用的套裝軟體方面如知名的 1318108

Identix、BioID等公司，雖然有人臉偵測辨識的 SDK(Software Development Kit)推出，如 Identix 公司 的FacelT SDK ’以協助研發人員開發應用軟體。但是在實 際使用時，對於其中函式的呼叫參數無法知其所以然、函 式功能也不能做修改’當遇到False Acceptance或False Reject時更是苦無對策。另一方面，SDK高昂的價格更是 令人卻步’因而有必要發展自有的技術以利國家經濟發 展。 【發明内容】 本發明為適用於複雜背景的即時人臉偵測方法，此演 算法主要有三大步驟：首先，經修正的瓜〇彩色模型被用 來提供人臉可能區塊的線索，在這些區塊中，小波轉換特 徵技術被運用以迅速地移除大多數的非人臉區塊；之後， 支援向量機演算法負責分辨由空間模板匹配法所篩選出 的可能人臉候選區塊，藉由臉部各器官間所提供的有效鑑 別資訊，得以判定人臉區塊的真偽並取得正確位置資訊； 最後，應用小波係數分散度的方法以進一步萃取出眼睛和 嘴巴的坐標，再依據眼、嘴三角形並參酌人體形態學以橢 圓框出人臉區塊。 |[實施方式】 本發明係採用先做眼睛及嘴巴萃取、再進行人臉區域 搜尋、及人臉驗証的三階段策略；如第一圖所示為本發明 所設計的系統功能架構流程圖。系統主要的功能模組共有 以下四個方塊··僅用於實況測試時彩色影像使用的膚色區 域偵測、小波表示法、人臉候選區塊選取、及人臉區塊辨 識輸出。主要步驟詳述如下： 1318108 (A) 動態實況測試··利用膚色來檢測出輸入影像中可能為 人臉的區塊。對於輸入影像的每一個像素/(x，〆），求 取其在左、C、方之參數設定值分別為L 〇、〇. 95、j 〇 時的彩色模型轉換後之值，並以線性切割之方法 取出影像中呈現膚色之區塊。 (B) 小波表示法（Discrete Wavelet Frames，DWF): 在小波分析中’尺度函數办)（Sca!ing Function)用來 分解出輸入信號的低頻分量，而小波函數^(々（Wavelet Function)則用來分解出輸入信號的高頻分量。兩函數 間的關聯性可由以下算式（Two-Scale Difference Equation)得知 <Κχ、= 4ϊγ^φ、2χ-θ， (1) k ⑻兴2jc-A:)。 （2) k 其中 罐)=〈也+1，，，也,,〉， （3) 洲=〈〜,，么，,〉， (4) 分別為低通及高通正交鏡面濾波器（Quadrature Mirror Filters ， QMF)， g(k)=(-i)kh(i-k) (5) 同時，低通濾波器須滿足限制條件 » (6) 為力的之轉換（/-transform)。在hd(z)=i的初期條 件下，低通及高通濾波器可以遞迴的形式來表示不同 寬度的滤波器 1318108

Hs(z) = H(zv)hs-1(z) *Gs{z)=G(z2，)Hs-i(z) (5=0, 1, ···, S-\sZ) > 在信號處理領域則寫成 >為*~ (9) 8s+i=[g]n-*hs 1 (1〇) [•L說明信號點數插補因子為5(通常取2)，故信號 在第51階（Level)的離散小波轉換即可以列式為.尤 /(χ)=2ΧΑ*(χ) ‘、 ⑺ (δ) (11) 而近似係數Cs,,(Approximation Coefficient)與細微係 數心（Detail Coefficient)的關係式則為 ， cs,t='Zcs<kh(k-2t) > k (12) (13) 將上述算式經稍加修改後，即可得小波轉換的不抽樣 表示法如下 ：{hs(x-t),f(x)) ’ （⑷ = (^(^-0,/W) (15) 小波表示法產生較小波轉換多餘的資訊，在圖訊識別 的研究範嚀内業已獲得正面的肯定，因而我們將把這 項技術應用在這個申請案裡冀以獲得令人滿意的成 果。第二圖為輸入影像的小波水平分量表示法之輸出 結果，由於眼睛及嘴巴均呈現水平狀分佈，以致於不 太需要其他次頻帶的小波分量。 在動態貫況測試時僅轉換人臉候選區塊的部份成

nDWF

1DWF 9 1318108 為小波係數，在靜態測試時則轉換整張影像成為小波 係數；在（A)中可能的人臉區塊裏，以小波視窗來過濾 出可能的人臉候選區塊，並進一步整併各種視窗尺寸 及相鄰位置所得到的不同尺寸大小人臉候選區塊；而 視窗整併原則係以各種不同大小波視窗濾波器人臉區 塊濾波所得之結果為參考依據，小波視窗在相鄰像素 位置間偵測出人臉候選區塊次數愈多者，其聚落所形 成之面積也相對愈大，面積相對較大者將被保留作為 整併後進一步判定是否為人臉之候選區塊，在這裡前 2/3大之區塊將會被保留’其他較小的區塊則視為非人 臉區塊予以刪除。 (C)人臉候選區塊： 臉部特徵偵測（Facial Features Detection with Varying Size Windows):由於人體姿態改變往往會造 成人臉呈現平面旋轉或深度旋轉的情形；另外，不設 限的環境（unconstrained environments)及光線更會 造成人臉出現方向性的變化。在心理學的領域裏，已 把這種執行多人臉"ί貞測（Multiface Detection)時所遇 到人臉變異性很大的問題定義為與視界相關（View Dependent)的研究。為解決以上的問題，在這個功能 模組中，設計了一個多視角（Multiview)的特徵視窗如 第二圖所示，以搜尋眼睛及嘴巴的可能位置。第二圖 的特徵視窗主要係根據人臉T字型部位眼睛、鼻子、 嘴巴與臉頰週遭區域之小波係數強弱不同的人臉特性 而設計。當人臉呈現1/2側偏（Half Profile)，2/3側 偏（Two-Thirds Profile)，臉部遭到手、裝飾物品、 10 1318108 頭髮、鬍鬚所造成的遮蔽，或因表情變化所造成嘴形 的各式各樣外貌如大開、微開、合嘴等均需納入考量。 細合以上要點並根據各種情境的觀察可得知，眼睛區 塊的亮度通常較鼻樑及臉頰區塊暗許多，嘴巴區塊的 壳度也總是較週遭上下左右區塊暗許多。所以分別計 算視窗中各黑色及灰色方塊裡的小波係數絕對值之 和’比較區塊間彼此的大小關係便可以判定何處為候 選區塊。位於第二圖下方的判定規則（ReqUisi f 〇r W Facial Candidate)，係依據黑色區塊裡的小波係數絕 對值和需大於周圍灰色子區塊裡的小波係數取絕對值 和的原則構思而成。在完成視窗的架構後，接著要進 行人臉候選區塊的搜哥。為了適應人臉的大小在不同 的取像距離下所造成的尺寸變化，這一個多視界視窗 的起始尺寸是從最小的24x24像素逐次增大5/4倍， 例如30x30、37x37、46x46·..，一直到最大的尺寸設為 起始大小的10x5/4倍。緣於照片大小不一，故當輸入 • 影像的長或寬小於增大中的視窗時，視窗大小便不可 以再變更，即最後的尺寸是以輸入影像尺寸為上限。 在第二圖中每一白色點代表符合特徵視窗判定規則的 像素，當相鄰像素都通過該規則時就會形成較大面積 的白色區塊。白色區塊面積愈大者即意味著有愈多的 人臉候選區塊重疊在一起，但實際上除了人群擁擠時 的遮蔽情況外，人臉間並不會彼此完全重疊。因此我 們有必要整併大幅度重疊的區塊，以找出人臉候選區 塊。另一方面，由於人臉候選區塊的搜尋是在各個不 同尺寸視窗下逐像素比對判定，故在每—種尺寸視窗 11 1318108 搜尋完畢後皆需進行整併作業。 使用支援向量機來辨識人臉（Face Classification by Using SVM):在這個功能模組裏， 辨識人臉/非人臉的工作將在空間領域長執行。在人臉 候選區塊，如第三圖所示，辨識方面最重要的部份就 是要先暸解所使用的分類器其複雜度與強韌性。複雜 度影響執行效率，而強韌性則顧及系統穩定度。在人 臉辨識的過程裏會遇到的錯誤類型有錯誤接受（False Accept ’ FA)與錯誤拒絕（False Reject ’ FR)兩種。若 把這兩種錯誤的相互關聯變化趨勢纟會圖，即可得出決 定系統性能的接受操作曲線（Receiver Operating Curve，ROC)，系統最佳操作點則可根據實際應用需求 來設定。由於錯誤接受率與錯誤拒絕率兩變數形成所 謂的零和狀況（Zero Sum Situation)，所以欲降低錯 誤接受率彺往得犧牲錯誤拒絕率。為消除人臉候選區 塊因尺寸大小不一造成後續處理步驟的困擾，尺寸規 格化（Normalization)是必要的，而這尺寸大小在對空 間領域（Spatial Domain)的分析中業已經設定為24x24 像素。當然，參數值的抉擇必須考量人臉辨識系統是 否能忍受過大或過小的人臉候選區塊可能有抽樣不足 (Under Sampling)或過度抽樣（Over Sampling)的問 題。為減輕光線對人臉候選區域的影響，等化灰階分 佈（Histogram Equal ization)是很有效的一個前處理 過程。與小波領域（Wavelet Domain)很類似的一點， 就是在空間領域内眼睛區塊也通常較鼻樑上端部位 暗，所以跟第二圖特徵視窗類似的黑-白-黑長條型空 12 間視窗也被用以搜尋人臉區塊中的T字部位中心坐 標，以做為人臉/非人臉辨識所需之基準點 (Landmark)。若此空間視窗中間位置的灰色子區塊裡 的灰階平均值同時大於左、右兩個黑色子區塊裡的灰 階平均值，則灰色子區塊的中心坐標位置便定為基準 點。可以定出基準點的人臉候選區塊很有可能就是真 正的人臉，然無法定出基準點的人臉候選區塊將被移 除。如第二圖所示，在找到T字部位之基準點後以黑 點標示’藉著此基準點之辅助得以重新修正人臉候選 區塊的面積俾去除臉部以外多餘的部份，之後人臉候 選區塊由規格化24x24像素變更為19x19像素。面積 修正後的人臉候選區塊在等化灰階分佈的處理後逕饋 入支援向量機做人臉/非人臉的辨識，經判定為人臉的 區塊參酌基準點並依未規格化前之原始區塊大小以 1:1矩形框覆蓋標示輸出結果。 以不同尺寸之特徵視窗來搜尋符合人臉器官對光 線明暗不同反應的候選區塊；依人臉候選區塊取出相 對應的原始輸入影像中的人臉區塊，首次自原始輸入 影像中取出之人臉候選區塊正規化大小值為24χ24像 素’第二次自原始輪入影像中取出之人臉候選區塊正 規化大小值19x19像素，經正規化及像素直方分佈等 化處理後’以空間領域黑_白_黑樣板取出人臉Τ字部 位的t心點，藉由Τ字部位的中心點，可將人臉候選 區塊大小重新修正’以去除多餘的背景部份，重新經 像素直方分佈等化處理後，饋人支援向量機做人臉/# 人臉之判讀’支援向量機所用之基底函數為多項式基 13 1318108 底，^[貞測照片中的人臉時準位值設為-0 · 4，實況侦測 人臉時準位值設為0。 另，請參閱第四圖所示，尚可由下列步輝做更進一步 的精確人臉器官定位與人臉切割： (C1)由於眉毛、眼睛、與嘴巴均呈現長條形，在水平 分量小波次頻帶的分佈尤其顯著，為有效的應用這項資 訊，已偵測到的輸入人臉區塊藉正規化過程調整為40x60 像素，以利小波係數分散度（Wavelet Entropy)計算，算 式如下 _1 N-1

Wavelet_entropy = — (x, y)|l〇g|i/i!S (x, y)| ( 1 6 ) (C2)於步驟（Cl)中，#=3，人/7為水平分量小波次 頻帶，使用3x3分散度視窗搜尋人臉區塊内的每—點後， 區塊内所有的小波係數值皆由此視窗的平均分散度來取 代。 (C3)經由二值化（Binary Thresholding)過程，可以 很有效的找到人臉區塊内具有較大水平分量的係數分佈 子區塊；反之，水平分量較小的係數分佈子區塊將在此遭 到排除，經由18x18的區塊樣板比對（c〇rreiati〇n Coefficient) ’面積夠大的子區塊方才列入人臉器官之考 量。 (C4)根據T字部位基準點以確立左右眼睛的兩個子區 塊’再參酌等腰眼嘴三角形之幾何結構以搜尋嘴巴子區 塊，若由於嘴巴受到遮蔽或因人臉深度旋轉造成射攝影機 無法明確取得嘴形時’人臉偵測輸出將僅提供眼睛的坐 標、同時不標示嘴巴的位置。 14 1318108 ⑽在這個步驟裡，使用點集合（㈤心駆卿心) 的方法來取得人臉器官子區塊的m⑽注意的是 此坐標大賴㈣落在_是目卩讀與嘴^心的位置；由 步驟(C4)所得之子區塊的中心坐標是展開子區塊切割 (Region Segmentation)過程的起始位置’應用像素4—相 連（4-connectivity)的子區塊成長（Region Growing)原理 後即可更新各子區塊的面積範圍，以定出子區塊的正確邊 界。在重新計算各子區塊的中心位置後，就能夠取出各子 區塊的重心坐標並加以標示。一般而言，眼睛子區塊在子 區塊成長過程時往往會納入眉毛部位或因配戴眼睛之故 而將鏡框包括進來，所以在取出眼睛子區塊的重心坐標標 示時需往下調整約1/3眼睛子區塊個的距離做為位置補 償。最後，依據眼嘴三角形的重心坐標及人臉縱橫比6:4 以橢圓形框出人臉區塊，即是人臉切割的結果。 綜上所述，本發明實施例確能達到所預期之使用功 效，又其所揭露之具體構造，不僅未曾見諸於同類產品 中，亦未曾公開於申請前，誠已完全符合專利法之規定與 要求，爰依法提出發明專利之申請，懇請惠予審查，並賜 准專利，則實感德便。 15 1318108 【圖式簡單說明】 第一圖：本發明之系統功能架構流程圖 第二圖：本發明之人臉定位功能方塊流程圖 第三圖：本發明之支援向量機用於人臉區塊辨識示意圖 第四圖：本發明之人臉器官定位與人臉切割示意圖 【主要元件符號說明】

16

Claims (1)

1318108 十、申請專利範圍： L/種適用於複雜背景的即時人臉偵測方法’主要包括下 列步驟： 動態實況測試：利用膚色線索來快速的找出可能是人臉 的區域； 小波表示法：在動態實況測試時僅轉換人臉候選區塊的 部份成為小波係數，在靜態測試時則轉換 • 整張影像成為小波係數； 人臉候選區塊：以不同尺寸之特徵視窗來搜尋符合人臉 _ 器官對光線明暗不同反應的候選區塊。 2. —種適用於複雜背景的即時人臉偵測方法，主要包括下 列步驟： (A)利用膚色來檢測出輸入影像中可能為人臉的區塊： 對於輸入影像的每一個像素/(>，7)，求取其在 彩色模型轉換後之值，並以線性切割之方法取出影 像中呈現膚色之區塊； 鲁 （B)在（A)中可能的人臉區塊裏，以小波視窗來過濾出可 能的人臉候選區塊，並進一步整併各種視窗尺寸及 相鄰位置所得到的不同尺寸大小人臉候選區塊；_ (C)依人臉候選區塊取出相對應的原始輸入影像中的人 臉區塊，經正規化及像素直方分佈等化處理後，以 空間領域黑-白-黑樣板取出人臉T字部位的中心 點，藉由T字部位的中心點，可將人臉候選區塊大 小重新修正’以去除多餘的背景部份’重新經像素 直方分佈等化處理後，饋入支援向量機做人臉/非人 17 1318108 臉之判讀。 3. 如申請專利範圍第2項所述適用於複雜背景的即時人臉 偵測方法，其中，於步驊（A)中尤、C、万之參數設定值 分別為 1. 0、0. 95、1. 0。 4. 如申請專利範圍第2項戶斤述適用於複雜背景的即時人臉 偵測方法，其中，於步驟（B)中視窗整併原則係以各種 不同大小波視窗濾、波器人臉區塊渡波所得之結果為參 考依據，小波視窗在相鄰像素位置間4貞測出人臉候選區 塊次數愈多者，其聚落所形成之面積也相對愈大，面積 相對較大者將被保留作為整併後進一步判定是否為人 臉之候選區塊，在這裡前2/3大之區塊將會被保留，其 他較小的區塊則視為非人臉區塊予以刪除。 5·如申請專利範圍第2項所述適用於複雜背景的即時人臉 偵測方法，其中，於步驟（C)中首次自原始輸入影像中 取出之人臉候選區塊正規化大小值為24x24像素，第二 次自原始輸入影像中取出之人臉候選區塊正規化大小 值19x19像素。 6.如申請專利範圍第2項所述適用於複雜背景的即時人臉 偵測方法，其中，於步驟（c)中支援向量機所用之基底 函數為多項式基底，偵測照片中的人臉時準位值設為 4，實況偵測人臉時準位值設為〇。 … λ如申請專圍第2項所述適用於複雜背景 偵測方法’其中，於步驟(c)尚可由下列步驟做隹 的精確人臉器官定位與人臉切割： 尺進一步 (C1)由於眉毛、眼睛、與嘴巴均呈現長條形 量小波次頻帶的分佈尤其顯著，為有致7平分 竭用這項 18 ^ 1318108 資訊，已偵測到的輸入人臉區塊藉正規化過程調整 為40x60像素，以利小波係數分散度（Wavelet Entropy)計算，算式如下 Wavelet _ entropy = —Ej^(^y)|i〇g|^u,y)| (C2)於步驟（Cl)中’ #=3，為水平分量小波次頻 帶，使用3x3分散度視窗搜尋人臉區塊内的每一點 後，區塊内所有的小波係數值皆由此視窗的平均分 散度來取代； (C3)經由二值化（Binary Thresholding)過程，可以很 有效的找到人臉區塊内具有較大水平分量的係數 分佈子區塊；反之，水平分量較小的係數分佈子區 塊將在此遭到排除，經由18x18的區塊樣板比對 (Correlation Coefficient)，面積夠大的子區塊 方才列入人臉器官之考量； (C4)根據T字部位基準點以轉立左右眼睛的兩個子區 塊，再參酌等腰眼嘴三角形之幾何結構以搜尋嘴巴 子區塊，若由於嘴巴受到遮蔽或因人臉深度旋轉造 成射攝影機無法明確取得嘴形時，人臉偵測輸出將 僅提供眼睛的坐標、同時不標示嘴巴的位置； (C5)在這個步驟裡，使用點集合（Point Aggregati〇n) 的方法來取得人臉器官子區塊的重心位置，值得注 思的疋此坐標大都數都會落在剛好是眼球與嘴巴 中心的位置；由步驟（C4)所得之子區塊的中心坐標 疋展開子區塊切割（Region Segmentation)過程的 起始位置’應用像素4-相連（4-connectivity)的子 19 1318108 區塊成長（Region Growing)原理後即可更新各子區 塊的面積範圍，以定出子區塊的正確邊界；在重新 計算各子區塊的中，讀置後’就能夠取出各子 的重心坐標並加«示；—般而言，眼睛 框r進來’所以在取出眼』 重心坐標及人⑽眼嘴三角形的 汉縱枳比6:4以橢圓形框出人臉區 塊，即疋人臉切割的結果。 20