TWI722872B

TWI722872B - 人臉辨識裝置以及人臉辨識方法

Info

Publication number: TWI722872B
Application number: TW109112931A
Authority: TW
Inventors: 陳凱勛; 孫培華; 張燕雲
Original assignee: 技嘉科技股份有限公司
Priority date: 2020-04-17
Filing date: 2020-04-17
Publication date: 2021-03-21
Also published as: EP3896603A1; US20210326580A1; JP7384772B2; EP3896603B1; TW202141354A; US11417149B2; JP2021174504A; CN113536869A

Abstract

本發明提出一種人臉辨識裝置以及人臉辨識方法。人臉辨識裝置包括攝影模組、處理器以及記憶體。攝影模組取得辨識目標的第一影像，以及取得辨識目標的第二影像。處理器分析第一影像是否滿足影像條件，以判斷辨識目標是否為真實人臉。記憶體儲存人臉資料庫。當處理器判斷第一影像滿足影像條件時，處理器分析第二影像中的多個人臉特徵，並且處理器藉由所述多個人臉特徵來比對第二影像是否匹配於人臉資料庫中的人臉註冊資料，以決定第二影像是否通過辨識。

Description

人臉辨識裝置以及人臉辨識方法

本發明是有關於一種辨識技術，且特別是有關於一種人臉辨識裝置以及人臉辨識方法。

對於目前的人臉辨識技術而言，在利用紅外線攝影機取得人臉影像以進行辨識的過程中，當未註冊的使用者使用具有已註冊的人臉圖片的紅外線照片來讓紅外線攝影機進行拍攝時，由於人臉辨識裝置將無法判斷辨識對像為真實人臉或紅外線照片，導致人臉辨識裝置將依據紅外線照片的拍攝結果來進行人臉辨識。換言之，未註冊的使用者可利用具有已註冊的人臉圖片的紅外線照片來破解人臉辨識。有鑑於此，如何使人臉辨識具有防破解機制，以下將提出幾個實施例的解決方案。

本發明提供一種人臉辨識裝置以及人臉辨識方法具有防破解機制。

本發明的人臉辨識裝置包括攝影模組、處理器以及記憶體。攝影模組用以取得辨識目標的第一影像，以及取得辨識目標的第二影像。處理器耦接攝影模組，並且用以分析第一影像是否滿足影像條件，以判斷辨識目標是否為真實人臉。記憶體耦接處理器，並且用以儲存人臉資料庫。當處理器判斷第一影像滿足影像條件時，處理器分析第二影像中的多個人臉特徵，並且處理器藉由所述多個人臉特徵來比對第二影像是否匹配於人臉資料庫中的人臉註冊資料，以決定第二影像是否通過辨識。

在本發明的一實施例中，上述的人臉辨識裝置更包括紅外線發光模組。紅外線發光模組耦接處理器。攝影模組包括紅外線攝影機。紅外線攝影機用於分時取得第一影像以及第二影像。當紅外線攝影機取得第一影像時，紅外線發光模組同時發射第一照明光至辨識目標。當紅外線攝影機取得第二影像時，紅外線發光模組同時發射第二照明光至辨識目標。

在本發明的一實施例中，上述的第一照明光的亮度高於第二照明光。

在本發明的一實施例中，上述的影像條件包括當第一影像的第一人臉特徵數量低於第一門檻值時，處理器判斷第一影像滿足影像條件。

在本發明的一實施例中，上述的影像條件包括當第一影像的第一人臉特徵數量以及第二影像的第二人臉特徵數量相異時，處理器判斷第一影像滿足影像條件。

在本發明的一實施例中，上述的影像條件包括當第一影像的第一人臉特徵數量大於第二門檻值時，處理器判斷第一影像未滿足影像條件。

在本發明的一實施例中，上述的人臉辨識裝置更包括紅外線發光模組。紅外線發光模組耦接處理器。攝影模組包括彩色攝影機以及紅外線攝影機。彩色攝影機用於取得第一影像。紅外線攝影機用於取得第二影像。當紅外線攝影機取得第二影像時，紅外線發光模組同時發射紅外線照明光至辨識目標。

在本發明的一實施例中，上述的影像條件包括判斷第一影像是否為彩色影像。

在本發明的一實施例中，上述的人臉辨識裝置更包括顯示器。顯示器耦接處理器。顯示器顯示彩色攝影機所拍攝到的動態影像。

在本發明的一實施例中，上述的第一影像以及第二影像為同時取得。

本發明的人臉辨識方法包括以下步驟。藉由攝影模組取得辨識目標的第一影像，以及取得辨識目標的第二影像。分析第一影像是否滿足影像條件，以判斷辨識目標是否為真實人臉。當第一影像滿足影像條件時，分析第二影像中的多個人臉特徵，並且藉由所述多個人臉特徵來比對第二影像是否匹配於人臉資料庫中的人臉註冊資料，以決定第二影像是否通過辨識。

基於上述，本發明的人臉辨識裝置以及人臉辨識方法可拍攝兩張人臉影像，並且可先藉由分析第一人臉影像來有效判斷辨識目標是否為真實人臉，再藉由第二人臉影像中的多個人臉特徵來進行人臉辨識。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100、300、600:人臉辨識裝置

110、310、610:處理器

120:攝影模組

130、330、630:記憶體

200、400、700:辨識目標

340、640:紅外線發光模組

350、650:顯示器

510、520:影像

510_1~510_M、520_1~520_N:人臉特徵

521、522:過曝區域

621:彩色攝影機

622:紅外線攝影機

S210~S230、S410~S460、S710~S760:步驟

圖1是依照本發明的一實施例的人臉辨識裝置的示意圖。

圖2是依照本發明的一實施例的人臉辨識方法的流程圖。

圖3是依照本發明的第一實施例的人臉辨識裝置的示意圖。

圖4是依照本發明的第一實施例的人臉辨識方法的流程圖。

圖5A是依照本發明的一實施例中藉由拍攝人臉照片所產生的影像的示意圖。

圖5B是依照本發明的一實施例中藉由拍攝真實人臉所產生的影像的示意圖。

圖6是依照本發明的第二實施例的人臉辨識裝置的示意圖。

圖7是依照本發明的第二實施例的人臉辨識方法的流程圖。

為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本發明確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

圖1是依照本發明的一實施例的人臉辨識裝置的示意圖。參考圖1，人臉辨識裝置100包括處理器110、攝影模組120以及記憶體130。處理器110耦接攝影模組120以及記憶體130。記憶體130可儲存人臉資料庫。在本實施例中，攝影模組120可同時或分時取得辨識目標200的第一影像以及第二影像。在本實施例中，處理器110可先分析第一影像是否滿足影像條件，以判斷辨識目標200是否為真實人臉。並且，當處理器110判斷第一影像滿足影像條件時，處理器110可接續分析第二影像中的多個人臉特徵。處理器110可藉由所述多個人臉特徵來比對第二影像是否匹配於人臉資料庫中的人臉註冊資料，以決定第二影像是否通過辨識。

在本實施例中，處理器110可例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)、其他類似處理裝置或這些裝置的組合。記憶體130還可儲存由攝影模組120所拍攝的影像、相關影像分析程式或人臉辨識程式，以使處理器110可讀取並執行之。

在本實施例中，攝影模組120可包括一個或多個攝影機，並且所述攝影機可分別例如是彩色攝影機(RGB camera)或紅外線攝影機(Infrared camera)。在本發明的一些實施例中，攝影模組120至少包括一紅外線攝影機來用於取得人臉影像以進行人臉辨識。在本實施例中，攝影模組120可在同時或在相當接近的時間來取得第一影像以及第二影像，並且第一影像可先用於處理器110判斷辨識目標200是否為真實人臉，以決定是否繼續利用第二影像進行人臉辨識。具體而言，本實施例的處理器110可預先設定有特定影像條件來判斷第一影像是否取自真實人臉，並且當第一影像經判斷為真實人臉時，處理器110才會接著對第二影像進行人臉特徵分析及辨識。另外，本實施例所述的影像條件例如可以是人臉特徵數量或色彩程度。

圖2是依照本發明的一實施例的人臉辨識方法的流程圖。參考圖1以及圖2，本實施例的人臉辨識方法可適用於圖1實施例的人臉辨識裝置100，以使人臉辨識裝置100進行步驟S210~S230。在步驟S210，人臉辨識裝置100藉由攝影模組120取得辨識目標200的第一影像，以及取得辨識目標200的第二影像。在步驟S220，處理器110可分析第一影像是否滿足影像條件，以判斷辨識目標200是否為真實人臉。若否，則處理器110重新執行步驟S210，以重新拍攝第一影像以及第二影像。若是，則處理器110執行步驟S230。在步驟S230中，當第一影像滿足影像條件時，處理器110分析第二影像中的多個人臉特徵，並且處理器110藉由所述多個人臉特徵來比對第二影像是否匹配於人臉資料庫中的人臉註冊資料，以決定第二影像是否通過辨識。因此，本實施例的人臉辨識方法可提供具有防破解的人臉辨識功能。

圖3是依照本發明的第一實施例的人臉辨識裝置的示意圖。圖4是依照本發明的第一實施例的人臉辨識方法的流程圖。先參考圖3，人臉辨識裝置300包括處理器310、紅外線攝影機320(即上述圖1實施例的攝影模組120可進一步包括紅外線攝影機)、記憶體330、紅外線發光模組340以及顯示器350。處理器310耦接紅外線攝影機320、記憶體330、紅外線發光模組340以及顯示器350。記憶體330可儲存人臉資料庫。在本實施例中，當紅外線攝影機320拍攝辨識目標400，以取得第一影像時，紅外線發光模組340可同時發射第一照明光至辨識目標400，以照明辨識目標400。並且，當紅外線攝影機320拍攝辨識目標400，以取得第二影像時，紅外線發光模組340可同時發射第二照明光至辨識目標400，以照明辨識目標400。換言之，本實施例的紅外線攝影機320可在不同時間取得兩張不同亮度(或曝光程度)的影像，但本發明並不限制第一影像以及第二影像的取得順序。

同時參考圖3以及圖4，圖3的人臉辨識裝置300可依據執行圖4的步驟S410~S460來實現具有防破解的人臉辨識功能。在步驟S410，人臉辨識裝置300可藉由紅外線發光模組340發射第一照明光至辨識目標400，並且藉由紅外線攝影機320取得辨識目標400的第一影像。在步驟S420，人臉辨識裝置300可藉由紅外線發光模組340發射第二照明光至辨識目標400，並且藉由紅外線攝影機320取得辨識目標400的第二影像。值得注意的是，步驟S410以及步驟S420的執行順序可交換，而不限於圖4的順序。並且，在本實施例中，紅外線發光模組340用於照明辨識目標400的第一照明光的亮度高於第二照明光。紅外線發光模組340可藉由兩個發光單元來分別提供第一照明光以及第二照明光，或者是藉由同一發光單元依序調整亮度設定來提供第一照明光以及第二照明光。

圖5A是依照本發明的一實施例中藉由拍攝人臉照片所產生的影像的示意圖。圖5B是依照本發明的一實施例中藉由拍攝真實人臉所產生的影像的示意圖。先參考圖5A以及圖5B，需先說明的是，若辨識目標400為紅外線照片，而並非為真實人臉，則因為紅外線照片即使受到高亮度的紅外線照明後，紅外線攝影機320所取得的第一影像不易或不會受到高亮度的紅外線照明影響而發生影像曝光過度(over-exposure)的情況，因此呈現如圖5A所示的影像510(即呈現接近如原始紅外線照片)。影像510包括顯示多個人臉特徵510_1~510_M，並且M為正整數。

反之，若辨識目標400為真實人臉，則因為真實人臉經照射高亮度的紅外線照明後，真實人臉的某些區域可能會發生影像曝光過度的情況，而呈現如圖5B所示的影像520。影像520包括顯示多個人臉特徵520_1~520_N，並且N為正整數。並且，影像520當中的人臉圖像上還包括過曝區域521、522。由於與過曝區域521、522重疊的人臉特徵將會被過曝區域521、522遮蔽，而無法被處理器310辨識出來，因此由拍攝真實人臉所產生的影像520當中的人臉特徵數量將會低於真實人臉上的人臉特徵數量，並且會低於由拍攝人臉照片所產生的影像510當中的人臉特徵數量(N<M)。

再參考圖3以及圖4，在步驟S430，處理器310可依據第一影像中所辨識到的第一人臉特徵的數量是否低於第一門檻值來判斷辨識目標400為是否為真實人臉。若否，則表示辨識目標400並非為真實人臉，因此處理器310重新執行步驟S410。若是，則表示辨識目標400為真實人臉，因此處理器310執行步驟S440。在步驟S440，處理器310分析第二影像中的多個人臉特徵，以取得所述多個人臉特徵的多個特徵值。在步驟S450，處理器310藉由所述多個人臉特徵的所述多個特徵值來比對第二影像是否匹配於人臉資料庫中的人臉註冊資料，其中人臉資料庫儲存於記憶體330並由處理器310讀取而執行之。若否，則處理器310結束人臉辨識或重新執行步驟S410。若是，則處理器310執行步驟S460。在步驟S460，顯示器350可顯示辨識成功畫面。因此，本實施例的人臉辨識裝置300以及人臉辨識方法可有效地避免他人使用紅外線照片來替代真實人臉讓紅外線攝影機320進行拍攝，而欺騙處理器310通過人臉辨識驗證。

然而，處理器310判斷辨識目標400為是否為真實人臉的影像條件不限於上述步驟S430。在一實施例中，處理器310可判斷第一影像的第一人臉特徵數量以及第二影像的第二人臉特徵數量是否相異來判斷辨識目標400為是否為真實人臉。對此，當第一影像的第一人臉特徵數量以及第二影像的第二人臉特徵數量相異時，表示第一影像發生影像過曝的情況，因此處理器310可判斷辨識目標400為真實人臉。反之，當第一影像的第一人臉特徵數量以及第二影像的第二人臉特徵數量相同時，表示第一影像未發生影像過曝的情況，因此處理器310可判斷辨識目標400為非為真實人臉(可能是紅外線照片)。

在另一實施例中，處理器310可判斷第一影像的第一人臉特徵數量是否大於第二門檻值來判斷辨識目標400為是否為真實人臉。對此，當第一影像的第一人臉特徵數量大於第二門檻值時，表示第一影像未發生影像過曝的情況，因此處理器310可判斷辨識目標400為非真實人臉(可能是紅外線照片)。反之，當第一影像的第一人臉特徵數量未大於第二門檻值時，表示第一影像發生影像過曝的情況，因此處理器310可判斷辨識目標400為真實人臉。值得注意的是，在又一實施例中，處理器310亦可透過判斷第一影像是否同時滿足上述三種影像條件的至少其中之二來更嚴謹地判斷辨識目標400為是否為真實人臉。

圖6是依照本發明的第二實施例的人臉辨識裝置的示意圖。圖7是依照本發明的第二實施例的人臉辨識方法的流程圖。先參考圖6，人臉辨識裝置600包括處理器610、彩色攝影機621、紅外線攝影機622(即上述圖1實施例的攝影模組120可進一步包括彩色攝影機以及紅外線攝影機)、記憶體630、紅外線發光模組640以及顯示器650。處理器610耦接彩色攝影機621、紅外線攝影機622、記憶體630、紅外線發光模組640以及顯示器650。記憶體630可儲存人臉資料庫。在本實施例中，彩色攝影機621用於拍攝辨識目標700，以取得第一影像。並且，當紅外線攝影機622拍攝辨識目標700，以取得第二影像時，紅外線發光模組640可同時發射紅外線照明光至辨識目標700，以照明辨識目標700。換言之，本實施例的彩色攝影機621以及紅外線攝影機622可在不同時間或相同時間取得第一影像以及第二影像，並且本發明並不限制第一影像以及第二影像的取得順序。

同時參考圖6以及圖7，圖6的人臉辨識裝置600可依據執行圖7的步驟S710~S760來實現具有防破解的人臉辨識功能。在步驟S710，人臉辨識裝置600可藉由彩色攝影機621取得辨識目標700的第一影像。在步驟S720，人臉辨識裝置600可藉由紅外線發光模組640發射紅外線照明光至辨識目標700，並且藉由紅外線攝影機622取得辨識目標700的第二影像。值得注意的是，步驟S710以及步驟S720的執行順序可交換或同時，而不限於圖6的順序。

需先說明的是，若辨識目標700為紅外線照片，而並非為真實人臉，則彩色攝影機621將會取得一張非彩色的第一影像(可例如是灰階影像)。反之，若辨識目標700為真實人臉，則彩色攝影機621可取得一張彩色的第一影像。因此，在步驟S730，處理器610可判斷第一影像是否為彩色影像。若否，則表示辨識目標700並非為真實人臉，因此處理器310重新執行步驟S710。若是，則表示辨識目標700為真實人臉，因此處理器610執行步驟S740。在步驟S740，處理器610分析第二影像中的多個人臉特徵，以取得所述多個人臉特徵的多個特徵值。在步驟S750，處理器610藉由所述多個人臉特徵的所述多個特徵值來比對第二影像是否匹配於人臉資料庫中的人臉註冊資料，其中人臉資料庫儲存於記憶體630並由處理器610讀取而執行之。若否，則處理器610結束人臉辨識或重新執行步驟S710。若是，則處理器610執行步驟S760。在步驟S760，顯示器650可顯示辨識成功畫面。因此，本實施例的人臉辨識裝置600以及人臉辨識方法可有效地避免他人使用紅外線照片來替代真實人臉讓紅外線攝影機622進行拍攝，而欺騙處理器610通過人臉辨識驗證。

另外，在本實施例中，使用者在操作人臉辨識裝置600進行人臉辨識的過程中，顯示器650可顯示彩色攝影機621所拍攝到的動態影像，以讓使用者可將人臉位置進行適當地調整，而使彩色攝影機621以及紅外線攝影機622可有效地拍攝人臉。

綜上所述，本發明的人臉辨識裝置及人臉辨識方法，在人臉辨識過程中可取得兩張人臉影像來分別用於判斷辨識目標是否為真實人臉以及進行人臉辨識，以實現防破解功能。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:人臉辨識裝置

110:處理器

120:攝影模組

130:記憶體

200:辨識目標

Claims

一種人臉辨識裝置，包括：一紅外線發光模組，用以在一第一時間發射一第一照明光至一辨識目標，並在一第二時間發射一第二照明光至該辨識目標，其中該第一照明光的亮度高於該第二照明光；一攝影模組，用以在該第一時間取得該辨識目標的一第一影像，以及在該第二時間取得該辨識目標的一第二影像；一處理器，耦接該攝影模組及該紅外線發光模組，並且用以分析該第一影像是否滿足一影像條件，以判斷該辨識目標是否為一真實人臉；以及一記憶體，耦接該處理器，並且用以儲存一人臉資料庫，其中當該處理器判斷該第一影像滿足該影像條件時，該處理器分析該第二影像中的多個人臉特徵，並且該處理器藉由該些人臉特徵來比對該第二影像是否匹配於該人臉資料庫中的一人臉註冊資料，以決定該第二影像是否通過辨識。
如請求項1所述的人臉辨識裝置，其中該攝影模組包括一紅外線攝影機，並且該紅外線攝影機用於分時取得該第一影像以及該第二影像，其中在該第一時間，該紅外線發光模組發射該第一照明光至該辨識目標，使該紅外線攝影機取得經該第一照明光照射下的該第一影像，並且在該第二時間，該紅外線發光模組發射該第二照明光至該辨識目標，使該紅外線攝影機取得經該第二照明光照射下的該第二影像。
如請求項2所述的人臉辨識裝置，其中該影像條件包括當該第一影像的一第一人臉特徵數量低於一第一門檻值時，該處理器判斷該第一影像滿足該影像條件。
如請求項2所述的人臉辨識裝置，其中該影像條件包括當該第一影像的一第一人臉特徵數量以及該第二影像的一第二人臉特徵數量相異時，該處理器判斷該第一影像滿足該影像條件。
如請求項2所述的人臉辨識裝置，其中該影像條件包括當該第一影像的一第一人臉特徵數量大於一第二門檻值時，該處理器判斷該第一影像未滿足該影像條件。
如請求項1所述的人臉辨識裝置，其中該攝影模組包括一彩色攝影機以及一紅外線攝影機，並且該彩色攝影機用於取得該第一影像，該紅外線攝影機用於取得該第二影像，其中在該第二時間，該紅外線發光模組發射一紅外線照明光至該辨識目標，使該紅外線攝影機取得經該第一紅外線照明光照射下的該第二影像。
如請求項6所述的人臉辨識裝置，其中該影像條件包括判斷當該第一影像為一彩色影像時，該處理器判斷該第一影像滿足該影像條件。
如請求項6所述的人臉辨識裝置，更包括：一顯示器，耦接該處理器，並且用以顯示該彩色攝影機所拍攝到的一動態影像。
如請求項6所述的人臉辨識裝置，其中該第一影像以及該第二影像為同時取得。
一種人臉辨識方法，包括：藉由一紅外線發光模組，在一第一時間發射一第一照明光至一辨識目標，並在一第二時間發射一第二照明光至該辨識目標，其中該第一照明光的亮度高於該第二照明光；藉由一攝影模組在該第一時間取得該辨識目標的一第一影像，以及在該第二時間取得該辨識目標的一第二影像；藉由一處理器分析該第一影像是否滿足一影像條件，以判斷該辨識目標是否為一真實人臉；以及當該第一影像滿足該影像條件時，藉由該處理器分析該第二影像中的多個人臉特徵，並且藉由該些人臉特徵來比對該第二影像是否匹配於一人臉資料庫中的一人臉註冊資料，以決定該第二影像是否通過辨識。
如請求項10所述的人臉辨識方法，其中該攝影模組包括一紅外線攝影機，並且該人臉辨識方法更包括：在該第一時間，藉由該紅外線發光模組發射該第一照明光至該辨識目標，使該紅外線攝影機取得經該第一照明光照射下的該第一影像；以及在該第二時間，藉由該紅外線發光模組發射該第二照明光至該辨識目標，使該紅外線攝影機取得經該第二照明光照射下的該第二影像。
如請求項11所述的人臉辨識方法，其中判斷該第一影像是否滿足該影像條件的步驟包括：當該第一影像的一第一人臉特徵數量低於一第一門檻值時，判斷該第一影像滿足該影像條件。
如請求項11所述的人臉辨識方法，其中判斷該第一影像是否滿足該影像條件的步驟包括：當該第一影像的一第一人臉特徵數量以及該第二影像的一第二人臉特徵數量相異時，判斷該第一影像滿足該影像條件。
如請求項11所述的人臉辨識方法，其中判斷該第一影像是否滿足該影像條件的步驟包括：當該第一影像的一第一人臉特徵數量大於一第二門檻值時，判斷該第一影像未滿足該影像條件。
如請求項10所述的人臉辨識方法，其中該攝影模組包括一彩色攝影機以及一紅外線攝影機，該彩色攝影機用於取得該第一影像，並且該人臉辨識方法更包括：在該第二時間，藉由該紅外線發光模組發射一紅外線照明光至該辨識目標，使該紅外線攝影機取得經該第一紅外線照明光照射下的該第二影像。
如請求項15所述的人臉辨識方法，其中判斷該第一影像是否滿足該影像條件的步驟包括：判斷當該第一影像為一彩色影像時，該處理器判斷該第一影像滿足該影像條件。
如請求項15所述的人臉辨識方法，更包括：藉由一顯示器顯示該彩色攝影機所拍攝到的一動態影像。
如請求項15所述的人臉辨識方法，其中該第一影像以及該第二影像為同時取得。