TWM615574U - 整合影像處理及深度學習之活體辨識系統 - Google Patents

Abstract

一種整合影像處理及深度學習之活體辨識系統，透過伺服端預先提供已完成訓練的物件偵測模型及活體分類模型，以及將客戶端產生的原始圖像輸入物件偵測模型，以便自原始圖像中擷取與臉部相應的圖像區塊作為臉部物件，並且將臉部物件輸入活體分類模型以輸出判斷活體或非活體的分類結果，用以達到提高臉部辨識的安全性之技術功效。

Description

整合影像處理及深度學習之活體辨識系統

本創作涉及一種辨識系統，特別是整合影像處理及深度學習之活體辨識系統。

近年來，隨著網際網路的普及與蓬勃發展，各種線上交易或線上申辦的服務便如雨後春筍般湧現。然而，由於前述服務均是在線上（Online）完成，無法如傳統方式能夠直接面對面進行確認，因此，如何防止有心人士透過翻拍等手段通過身分辨識便成為各家廠商亟欲解決的問題之一。

一般而言，傳統的臉部辨識方式是直接根據圖像中的臉部特徵進行辨識，舉例來說，假設圖像中存在臉部特徵，便視為圖像中存在臉的部位，而由於不同的臉部均具有不同的臉部特徵，故能夠根據臉部特徵來辨識身分。然而，單純根據圖像中的臉部特徵無法判斷圖像是否為翻拍，或者是由顯示裝置所顯示，因此傳統的臉部辨識具有安全性不足之問題。

有鑑於此，便有廠商提出搭配其它生物特徵的技術手段，其透過同時搭配臉部辨識及指紋辨識來辨識使用者的身分，用以強化辨識的安全性。不過，由於指紋同樣容易被仿造，因此，即便同時搭配臉部辨識及指紋辨識，仍然無法有效解決安全性不足之問題。

綜上所述，可知先前技術中長期以來一直存在臉部辨識的安全性不足之問題，因此實有必要提出改進的技術手段，來解決此一問題。

本創作揭露一種整合影像處理及深度學習之活體辨識系統。

首先，本創作揭露一種整合影像處理及深度學習之活體辨識系統，此系統包含：客戶端及伺服端。其中，客戶端用以致能攝像元件拍攝以產生原始圖像，並且傳送所述原始圖像至伺服端，以及接收分類結果以輸出活體訊息或非活體訊息。接著，所述伺服端透過網路與客戶端相互連接，所述伺服端包含：儲存模組、偵測模組及分類模組。其中，儲存模組用以儲存已完成訓練的物件偵測模型及活體分類模型；偵測模組連接儲存模組，用以將接收自客戶端的原始圖像輸入至物件偵測模型以執行臉部偵測，當偵測到原始圖像中存在臉部時，自原始圖像中擷取與臉部相應的圖像區塊以產生臉部物件；將臉部物件輸入活體分類模型以輸出分類結果，並且將此分類結果傳送至客戶端以輸出活體訊息或非活體訊息。

本創作所揭露之系統如上，與先前技術的差異在於本創作是透過伺服端預先提供已完成訓練的物件偵測模型及活體分類模型，以及將客戶端產生的原始圖像輸入物件偵測模型，以便自原始圖像中擷取與臉部相應的圖像區塊作為臉部物件，再將臉部物件輸入活體分類模型以輸出判斷活體或非活體的分類結果。

透過上述的技術手段，本創作可以達成提高臉部辨識的安全性之技術功效。

以下將配合圖式及實施例來詳細說明本創作之實施方式，藉此對本創作如何應用技術手段來解決技術問題並達成技術功效的實現過程能充分理解並據以實施。

首先，在說明本創作所揭露之整合影像處理及深度學習之活體辨識系統之前，先對本創作所自行定義的名詞作說明，本創作所述的活體訊息是指用以說明分類結果為活著的生物體之訊息；非活體訊息則是指用以說明分類結果不是活著的生物體之訊息。舉例來說，假設原始圖像是使用攝像元件直接對著臉部拍攝，那麼，基於此原始圖像的分類結果將被歸類為活體，進而使客戶端輸出活體訊息。反之，假設原始圖像是使用攝像元件進行翻拍（例如：對著顯示裝置所顯示的臉部拍攝），那麼，基於此原始圖像的分類結果將被歸類為非活體，並且使客戶端輸出非活體訊息。

以下配合圖式對本創作整合影像處理及深度學習之活體辨識系統做進一步說明，請先參閱「第1圖」，「第1圖」為本創作整合影像處理及深度學習之活體辨識系統的系統方塊圖，此系統包含：客戶端110及伺服端120。其中，客戶端110用以致能攝像元件拍攝以產生原始圖像，並且傳送所述原始圖像至伺服端120，以及接收分類結果以輸出活體訊息或非活體訊息。在實際實施上，攝像元件可包含電荷耦合元件（Charge-coupled Device, CCD）及互補式金屬氧化物半導體（Complementary Metal-Oxide-Semiconductor, CMOS），並且以直接或間接（如：翻拍）拍攝方式產生原始圖像，其中，以直接拍攝方式產生的原始圖像，將在依序經過物件偵測模型及活體分類模型後，輸出活體訊息；以間接拍攝方式產生的原始圖像，將在依序經過物件偵測模型及活體分類模型後，輸出非活體訊息。另外，所述客戶端110可為電腦主機、智慧型手機、平板電腦、個人數位助理、具網路功能的智慧型相機等等，所述伺服端120可使用電腦主機、刀鋒伺服器或其相似物來實現。

在伺服端120的部分，其透過網路與客戶端110相互連接，所述伺服端120包含：儲存模組121、偵測模組122及分類模組123。其中，儲存模組121用以儲存已完成訓練的物件偵測模型及活體分類模型。在實際實施上，所述物件偵測模型及活體分類模型是指已經完成訓練（Training）的機器學習之模型，其可使用深度學習的深度神經網路（Deep Neural Network, DNN）、卷積神經網路（Convolutional Neural Network, CNN）、遞迴神經網路（Recurrent Neural Network, RNN）或其相似的類神經網路等等方式來實現，有別於傳統使用區域二元模式（Local Binary Patterns, LBP）、方向梯度直方圖（Histogram of Oriented Gradient, HOG）或尺度不變特徵轉換（Scale Invariant Feature Transform, SIFT）等等方式取得特徵以執行臉部偵測，本創作係先以基於類神經網路的物件偵測模型偵測臉部，再以另一個同樣基於類神經網路的活體分類模型輸出分類結果，而非使用單一類神經網路同時進行偵測及分類。

偵測模組122連接儲存模組121，用以將接收自客戶端110的原始圖像輸入至物件偵測模型以執行臉部偵測，當偵測到原始圖像中存在臉部時，自原始圖像中擷取與臉部相應的圖像區塊以產生臉部物件。在實際實施上，所述與臉部相應的圖像區塊除了包含臉部之外，可能還同時包含部分背景。

分類模組123連接偵測模組122，用以將所述臉部物件輸入活體分類模型以輸出分類結果，並且將此分類結果傳送至客戶端110以輸出活體訊息或非活體訊息。舉例來說，當分類結果為數值1時，客戶端110輸出活體訊息；當分類結果為數值0時，客戶端110輸出非活體訊息。

另外，所述系統還可包含認證主機130，其用以在伺服端120將分類結果嵌入至臉部物件，並且將已嵌入分類結果的臉部物件傳送至認證主機130時，使認證主機130在分類結果為活體時，根據接收到的臉部物件及客戶端110的公開金鑰生成允許驗證客戶端110身分的數位憑證，並且以認證主機130的私密金鑰對此數位憑證進行簽章後傳送至客戶端110，以及當伺服端120在輸出的分類結果為非活體時，伺服端120儲存客戶端110的網路位址、唯一識別碼及日期時間作為警示訊息，並且傳送重拍訊息至客戶端110以要求重新拍攝原始圖像。在實際實施上，所述警示訊息可以文字方式記載為「警示：圖像為非活體拍攝；IP：140.125.32.160；唯一識別碼：E001A；時間日期：202103201700」。

特別要說明的是，在實際實施上，本創作所述的模組皆可利用硬體來實現，除此之外，本創作亦可部分地或完全地基於硬體來實現，例如，系統中的一個或多個模組可以透過積體電路晶片、系統單晶片（System on Chip, SoC）、複雜可程式邏輯裝置（Complex Programmable Logic Device, CPLD）、現場可程式邏輯閘陣列（Field Programmable Gate Array, FPGA）等來實現。本創作可以是系統及／或電腦程式。電腦程式可以包括電腦可讀儲存媒體，其上載有用於使處理器實現本創作的各個方面的電腦可讀程式指令，電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體可以是但不限於電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子（非窮舉的列表）包括：硬碟、隨機存取記憶體、唯讀記憶體、快閃記憶體、光碟、軟碟以及上述的任意合適的組合。此處所使用的電腦可讀儲存媒體不被解釋爲瞬時信號本身，諸如無線電波或者其它自由傳播的電磁波、通過波導或其它傳輸媒介傳播的電磁波（例如，通過光纖電纜的光信號）、或者通過電線傳輸的電信號。另外，此處所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算／處理設備，或者通過網路，例如：網際網路、區域網路、廣域網路及／或無線網路下載到外部電腦設備或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換器、集線器及／或閘道器。每一個計算／處理設備中的網路卡或者網路介面從網路接收電腦可讀程式指令，並轉發此電腦可讀程式指令，以供儲存在各個計算／處理設備中的電腦可讀儲存媒體中。執行本創作操作的電腦可讀程式指令可以是組合語言指令、指令集架構指令、機器指令、機器相關指令、微指令、韌體指令、或者以一種或多種程式語言的任意組合編寫的原始碼或目的碼（Object Code），所述程式語言包括物件導向的程式語言，如：Common Lisp、Python、C++、Objective-C、Smalltalk、Delphi、Java、Swift、C#、Perl、Ruby與PHP等，以及常規的程序式（Procedural）程式語言，如：C語言或類似的程式語言。所述電腦可讀程式指令可以完全地在電腦上執行、部分地在電腦上執行、部分在客戶端電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服端上執行。

請參閱「第2A圖」至「第2C圖」，「第2A圖」至「第2C圖」為本創作整合影像處理及深度學習之活體辨識方法的方法流程圖，應用在包含客戶端110及伺服端120的網路環境，其步驟包括：伺服端120預先提供已完成訓練的物件偵測模型及活體分類模型（步驟210）；客戶端110致能攝像元件拍攝以產生原始圖像，並且將所述原始圖像傳送至伺服端以輸入至物件偵測模型，用以執行臉部偵測，當伺服端偵測到原始圖像中存在臉部時，自原始圖像中擷取與臉部相應的圖像區塊以產生臉部物件（步驟220）；以及伺服端將此臉部物件輸入活體分類模型以輸出分類結果，並且將此分類結果傳送至客戶端以輸出活體訊息或非活體訊息（步驟230）。透過上述步驟，即可透過伺服端120預先提供已完成訓練的物件偵測模型及活體分類模型，以及將客戶端110產生的原始圖像輸入物件偵測模型，以便自原始圖像中擷取與臉部相應的圖像區塊作為臉部物件，並且將臉部物件輸入活體分類模型以輸出判斷活體或非活體的分類結果。

另外，在步驟230之後，伺服端120還可將分類結果嵌入至臉部物件，再將已嵌入分類結果的臉部物件傳送至認證主機130，使認證主機130在分類結果為活體時，根據接收到的臉部物件及客戶端110的公開金鑰生成允許驗證客戶端110身分的數位憑證，並且以認證主機130的私密金鑰對數位憑證簽章後傳送至客戶端110，以及當伺服端120在輸出的分類結果為非活體時，伺服端120儲存客戶端110的網路位址、唯一識別碼及日期時間作為警示訊息，並且傳送重拍訊息至客戶端110以要求重新拍攝原始圖像（步驟240）。如此一來，可有效避免使用翻拍的臉部圖像進行身分驗證，大幅提高驗證的安全性。除此之外，在步驟230，伺服端120輸出分類結果時，伺服端120可在活體分類模型輸出的分類結果為活體時，隨機產生表情訊息，並且將產生的表情訊息傳送至客戶端110顯示，同時請求此客戶端110致能攝像元件拍攝使用者根據顯示的表情訊息所調整的臉部表情以作為表情圖像並傳送至伺服端120（步驟231）；以及當伺服端120接收到表情圖像時，將表情圖像輸入至預設且已完成訓練的表情辨識模型進行辨識，當表情辨識模型輸出的表情辨識結果與表情訊息不符時，將分類結果由活體調整為非活體（步驟232）。舉例來說，假設表情辨識結果為微笑，而表情訊息同樣也為微笑時，代表表情辨識結果與表情訊息相符，反之則代表不符。如此一來，即可更進一步確認拍攝對象是否為活體，而不是翻拍自照片或顯示影像。

以下配合「第3圖」以實施例的方式進行如下說明，請先參閱「第3圖」，「第3圖」為應用本創作進行活體辨識之示意圖。假設要進行臉部辨識，為了確保不會被有心人士利用照片或顯示圖像、影像等方式假冒，故應先確認拍攝到的目標臉部是否為活體。因此，在實際實施上，伺服端120會預先提供已完成訓練的物件偵測模型及活體分類模型，當客戶端110（以下稱行動裝置300）欲進行臉部辨識及認證時，可致能行動裝置300的攝像元件320進行拍攝以產生原始圖像，並且將產生的原始圖像傳送至伺服端120以輸入至物件偵測模型，用以執行臉部偵測，當伺服端120偵測到原始圖像中存在臉部時，將從原始圖像中擷取與臉部相應的圖像區塊以產生臉部物件，並且將臉部物件輸入活體分類模型以輸出分類結果，再將此分類結果傳送至行動裝置300以輸出活體訊息或非活體訊息。舉例來說，假設分類結果為「活體」，行動裝置300會根據此分類結果顯示相應的活體訊息311，例如：以文字方式呈現「圖像為活體拍攝」。更進一步來說，假設欲將拍攝的原始圖像應用於身分認證，當伺服端120在輸出的分類結果與活體訊息311相應時，將臉部物件傳送至認證主機130以執行臉部辨識及身分驗證之用，反之，當伺服端120在輸出的分類結果與非活體訊息相應時，可直接輸出警示訊息，例如：以文字方式呈現「非活體拍攝」。

綜上所述，可知本創作與先前技術之間的差異在於透過伺服端預先提供已完成訓練的物件偵測模型及活體分類模型，以及將客戶端產生的原始圖像輸入物件偵測模型，以便自原始圖像中擷取與臉部相應的圖像區塊作為臉部物件，以及將臉部物件輸入活體分類模型以輸出判斷活體或非活體的分類結果，藉由此一技術手段可以解決先前技術所存在的問題，進而達成提高臉部辨識的安全性之技術功效。

雖然本創作以前述之實施例揭露如上，然其並非用以限定本創作，任何熟習相像技藝者，在不脫離本創作之精神和範圍內，當可作些許之更動與潤飾，因此本創作之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

110:客戶端 120:伺服端 121:儲存模組 122:偵測模組 123:分類模組 130:認證主機 300:行動裝置 310:螢幕 311:活體訊息 320:攝像元件 步驟210:伺服端預先提供已完成訓練的一物件偵測模型及一活體分類模型 步驟220:客戶端致能一攝像元件拍攝以產生一原始圖像，並且將所述原始圖像傳送至該伺服端以輸入至該物件偵測模型，用以執行臉部偵測，當該伺服端偵測到該原始圖像中存在臉部時，自該原始圖像中擷取與臉部相應的一圖像區塊以產生一臉部物件 步驟230:該伺服端將該臉部物件輸入該活體分類模型以輸出一分類結果，並且將該分類結果傳送至該客戶端以輸出一活體訊息或一非活體訊息 步驟231:該伺服端在該活體分類模型輸出的該分類結果為活體時，隨機產生一表情訊息，並且將產生的該表情訊息傳送至該客戶端顯示，同時請求該客戶端致能該攝像元件拍攝根據顯示的該表情訊息所調整的臉部表情以作為一表情圖像並傳送至該伺服端 步驟232:當該伺服端接收到該表情圖像時，將該表情圖像輸入至預設且已完成訓練的一表情辨識模型進行辨識，當該表情辨識模型輸出的一表情辨識結果與該表情訊息不符時，將該分類結果由活體調整為非活體 步驟240:該伺服端將該分類結果嵌入至該臉部物件，再將已嵌入該分類結果的該臉部物件傳送至一認證主機，使該認證主機在該分類結果為活體時，根據接收到的該臉部物件及該客戶端的一公開金鑰生成允許驗證該客戶端身分的一數位憑證，並且以該認證主機的一私密金鑰對該數位憑證簽章後傳送至該客戶端，以及當該伺服端在輸出的該分類結果為非活體時，該伺服端儲存該客戶端的網路位址、唯一識別碼及日期時間作為一警示訊息，並且傳送一重拍訊息至該客戶端以要求重新拍攝該原始圖像

第1圖為本創作整合影像處理及深度學習之活體辨識系統的系統方塊圖。 第2A圖至第2C圖為本創作整合影像處理及深度學習之活體辨識方法的方法流程圖。 第3圖為應用本創作進行活體辨識之示意圖。

110:客戶端

120:伺服端

121:儲存模組

122:偵測模組

123:分類模組

130:認證主機

Claims (5)

1. 一種整合影像處理及深度學習之活體辨識系統，該系統包含： 一客戶端，用以致能一攝像元件拍攝以產生一原始圖像，並且傳送所述原始圖像，以及接收一分類結果以輸出一活體訊息或一非活體訊息；以及 一伺服端，透過網路與該客戶端相互連接，該伺服端包含： 一儲存模組，用以儲存已完成訓練的一物件偵測模型及一活體分類模型； 一偵測模組，連接該儲存模組，用以將接收自該客戶端的所述原始圖像輸入至該物件偵測模型以執行臉部偵測，當偵測到該原始圖像中存在臉部時，自該原始圖像中擷取與臉部相應的一圖像區塊以產生一臉部物件；以及 一分類模組，連接該偵測模組，用以將該臉部物件輸入該活體分類模型以輸出該分類結果，並且將該分類結果傳送至該客戶端以輸出該活體訊息或該非活體訊息。
2. 如請求項1之整合影像處理及深度學習之活體辨識系統，其中該攝像元件包含電荷耦合元件（Charge-coupled Device, CCD）及互補式金屬氧化物半導體（Complementary Metal-Oxide-Semiconductor, CMOS），並且以直接或間接拍攝方式產生該原始圖像，其中，以直接拍攝方式產生的該原始圖像，依序經過該物件偵測模型及該活體分類模型後，輸出該活體訊息，以間接拍攝方式產生的該原始圖像，依序經過該物件偵測模型及該活體分類模型後，輸出該非活體訊息。
3. 如請求項1之整合影像處理及深度學習之活體辨識系統，其中該物件偵測模型及該活體分類模型係以深度學習的深度神經網路（Deep Neural Network, DNN）、卷積神經網路（Convolutional Neural Network, CNN）、遞迴神經網路（Recurrent Neural Network, RNN）或其相似的類神經網路執行臉部偵測及輸出該分類結果。
4. 如請求項1之整合影像處理及深度學習之活體辨識系統，其中該系統更包含一認證主機，用以在該伺服端將該分類結果嵌入至該臉部物件，並且將已嵌入該分類結果的該臉部物件傳送至該認證主機時，使該認證主機在該分類結果為活體時，根據接收到的該臉部物件及該客戶端的一公開金鑰生成允許驗證該客戶端身分的一數位憑證，並且以該認證主機的一私密金鑰對該數位憑證簽章後傳送至該客戶端，以及當該伺服端在輸出的該分類結果為非活體時，該伺服端儲存該客戶端的網路位址、唯一識別碼及日期時間作為一警示訊息，並且傳送一重拍訊息至該客戶端以要求重新拍攝該原始圖像。
5. 如請求項1之整合影像處理及深度學習之活體辨識系統，其中該伺服端在該活體分類模型輸出的該分類結果為活體時，隨機產生一表情訊息，並且將產生的該表情訊息傳送至該客戶端顯示，同時請求該客戶端致能該攝像元件拍攝根據顯示的該表情訊息所調整的臉部表情以作為一表情圖像並傳送至該伺服端，以及當該伺服端接收到該表情圖像時，將該表情圖像輸入至預設且已完成訓練的一表情辨識模型進行辨識，當該表情辨識模型輸出的一表情辨識結果與該表情訊息不符時，將該分類結果由活體調整為非活體。

Images