[go: up one dir, main page]

TWI748596B - 眼睛中心定位方法及其系統 - Google Patents

眼睛中心定位方法及其系統 Download PDF

Info

Publication number
TWI748596B
TWI748596B TW109127247A TW109127247A TWI748596B TW I748596 B TWI748596 B TW I748596B TW 109127247 A TW109127247 A TW 109127247A TW 109127247 A TW109127247 A TW 109127247A TW I748596 B TWI748596 B TW I748596B
Authority
TW
Taiwan
Prior art keywords
eye center
eye
center
model
image
Prior art date
Application number
TW109127247A
Other languages
English (en)
Other versions
TW202207076A (zh
Inventor
許巍嚴
鍾季叡
Original Assignee
國立中正大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立中正大學 filed Critical 國立中正大學
Priority to TW109127247A priority Critical patent/TWI748596B/zh
Application granted granted Critical
Publication of TWI748596B publication Critical patent/TWI748596B/zh
Publication of TW202207076A publication Critical patent/TW202207076A/zh

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明提供一種眼睛中心定位方法，其包含以下步驟：首先，萃取步驟係驅動處理器依據人臉辨識模型萃取輸入影像而產生第一影像，且輸入影像儲存於記憶體。接著，生成步驟係驅動處理器依據生成對抗網路模型將第一影像重新生成為第二影像。然後，定位步驟係驅動處理器依據梯度模型定位第二影像的眼睛區域而產生初始眼睛中心。再者，轉換步驟係驅動處理器依據轉換模型轉換初始眼睛中心而產生對應於第一影像之深度眼睛中心。最後，校正步驟係驅動處理器依據校正模型修正深度眼睛中心而產生精準眼睛中心。藉此，可有效地定位眼睛中心。

Description

眼睛中心定位方法及其系統
本發明係關於一種眼睛中心定位方法及其系統，且特別是關於一種利用生成對抗網路與深度對應點之眼睛中心定位方法及其系統。
眼睛中心(瞳孔)定位是眾多視覺應用的第一步，亦為最重要的一步，例如：人臉識別系統與面部表情分析。此外，虹膜檢測和定位也離不開眼睛中心定位。眼睛中心定位的精準度將直接地影響下一步的處理。然而，習知的眼睛中心定位方法幾乎僅考慮與應用於「正臉」或「有限偏航旋轉(Yaw rotation)」的臉部上。
多視角臉部的「大偏航旋轉角度(Large yaw-rotation angle)」包含：眼睛遭受鼻樑遮蔽、陰影遮蔽或眼鏡遮蔽；以及「完全消失的眼睛」包含：完全區塊遮蔽、閉眼、戴墨鏡或眼鏡反光。臉部旋轉與外物的干擾都將導致眼部區域無法完整地的顯示，而大幅地影響眼睛定位困難度，並容易造成眼睛定位錯誤。
為解決上述問題，本發明提供一種眼睛中心定位方法及其系統，在眼睛中心定位的過程中，為了避免眼睛遭受遮蔽而消失的影響，利用Complete Representation Generative Adversarial Network(CR-GAN)方法與透過轉換原人臉區域與新生成正臉之間的深度對應點，以有效地定位眼睛中心。
依據本發明的方法態樣之一實施方式提供一種眼睛中心定位方法，其由眼睛中心定位系統執行，且眼睛中心定位系統包含處理器與記憶體。眼睛中心定位方法包含以下步驟：萃取步驟、生成步驟、定位步驟、轉換步驟以及校正步驟。萃取步驟係驅動處理器依據人臉辨識模型萃取輸入影像而產生第一影像，且輸入影像儲存於記憶體。生成步驟係驅動處理器依據生成對抗網路模型將第一影像重新生成為第二影像。定位步驟係驅動處理器依據梯度模型定位第二影像的眼睛區域而產生初始眼睛中心。轉換步驟係驅動處理器依據轉換模型轉換初始眼睛中心而產生對應於第一影像之深度眼睛中心。校正步驟係驅動處理器依據校正模型修正深度眼睛中心而產生精準眼睛中心。
藉此，本發明之眼睛中心定位方法利用生成對抗網路將原始人臉影像重新生成出新生成正臉影像，並透過處理器產生對應於原始人臉影像之深度眼睛中心，最後得到修正後的精準眼睛中心。
根據前段所述實施方式的眼睛中心定位方法，其中第一影像具有一第一粗糙眼睛中心，第二影像具有一第二粗糙眼睛中心。轉換模型包含第一運算模型與第二運算模型，且轉換步驟包含以下步驟：旋轉變量檢測步驟與位置預測步驟，其中旋轉變量檢測步驟係驅動處理器依據第一運算模型計算第一粗糙眼睛中心與第二粗糙眼睛中心的線性關係而產生深度旋轉變量。位置預測步驟係驅動處理器依據第二運算模型與深度旋轉變量計算初始眼睛中心而產生深度眼睛中心。
根據前段所述實施方式的眼睛中心定位方法，其中第一運算模型包含第一粗糙眼睛中心之第一方程式、第二粗糙眼睛中心之第二方程式與第三方程式、第一斜率、第二斜率、第三斜率及深度旋轉變量，第一方程式表示為
Figure 02_image001
，第二方程式表示為
Figure 02_image003
，第三方程式表示為
Figure 02_image005
，第一斜率表示為
Figure 02_image007
，第二斜率表示為
Figure 02_image009
，第三斜率表示為
Figure 02_image011
，深度旋轉變量表示為
Figure 02_image013
與
Figure 02_image015
且符合下式：
Figure 02_image017
。
根據前段所述實施方式的眼睛中心定位方法，其中第二運算模型包含初始眼睛中心、第二粗糙眼睛中心、深度旋轉變量及深度眼睛中心，初始眼睛中心表示為
Figure 02_image019
，第二粗糙眼睛中心表示為
Figure 02_image021
，深度旋轉變量表示為
Figure 02_image013
與
Figure 02_image015
，深度眼睛中心表示為
Figure 02_image023
且符合下式：
Figure 02_image025
。
根據前段所述實施方式的眼睛中心定位方法，其中第一影像具有第一粗糙眼睛中心，且校正步驟包含以下步驟：轉換子步驟與修正子步驟，其中轉換子步驟係驅動處理器依據梯度模型定位第一影像的眼睛區域而產生邊界眼睛中心，並計算邊界眼睛中心與第一粗糙眼睛中心之差值，最後依據轉換模型轉換差值而產生校正值。修正子步驟係驅動處理器依據校正模型與校正值修正深度眼睛中心而產生精準眼睛中心。
根據前段所述實施方式的眼睛中心定位方法，其中校正模型包含精準眼睛中心、校正值、邊界眼睛中心、第一粗糙眼睛中心、深度眼睛中心及深度旋轉變量，精準眼睛中心表示為
Figure 02_image027
，校正值表示為
Figure 02_image029
，邊界眼睛中心為
Figure 02_image031
，第一粗糙眼睛中心表示為
Figure 02_image033
，深度眼睛中心表示為
Figure 02_image023
，深度旋轉變量表示為
Figure 02_image013
與
Figure 02_image015
且符合下式：
Figure 02_image035
Figure 02_image037
。
依據本發明的結構態樣之一實施方式提供一種眼睛中心定位系統，其用以定位輸入影像之精準眼睛中心，且眼睛中心定位系統包含記憶體以及處理器，其中記憶體係存取輸入影像、人臉辨識模型、生成對抗網路模型、梯度模型、轉換模型及校正模型。處理器係電性連接於記憶體，且處理器依據人臉辨識模型萃取輸入影像而產生第一影像。處理器依據生成對抗網路模型將第一影像重新生成為第二影像。處理器依據梯度模型定位第二影像的眼睛區域而產生初始眼睛中心。處理器依據轉換模型轉換初始眼睛中心而產生對應於第一影像之深度眼睛中心，然後處理器依據校正模型修正深度眼睛中心而產生精準眼睛中心。
藉此，處理器利用儲存於記憶體內的人臉辨識模型、生成對抗網路模型、梯度模型、轉換模型及校正模型而定位輸入影像的眼睛中心。
根據前段所述實施方式的眼睛中心定位系統，其中第一影像具有第一粗糙眼睛中心，第二影像具有第二粗糙眼睛中心，且轉換模型包含第一運算模型與第二運算模型。處理器依據第一運算模型計算第一粗糙眼睛中心與第二粗糙眼睛中心的線性關係而產生深度旋轉變量。處理器依據第二運算模型與深度旋轉變量計算初始眼睛中心而產生深度眼睛中心。
根據前段所述實施方式的眼睛中心定位系統，其中第一運算模型包含第一粗糙眼睛中心之第一方程式、第二粗糙眼睛中心之第二方程式與第三方程式、第一斜率、第二斜率、第三斜率及深度旋轉變量，第一方程式表示為
Figure 02_image001
，第二方程式表示為
Figure 02_image003
，第三方程式表示為
Figure 02_image005
，第一斜率表示為
Figure 02_image007
，第二斜率表示為
Figure 02_image009
，第三斜率表示為
Figure 02_image011
，深度旋轉變量表示為
Figure 02_image013
與
Figure 02_image015
且符合下式：
Figure 02_image017
。
根據前段所述實施方式的眼睛中心定位系統，其中第二運算模型包含初始眼睛中心、第二粗糙眼睛中心、深度旋轉變量及深度眼睛中心，初始眼睛中心表示為
Figure 02_image019
，第二粗糙眼睛中心表示為
Figure 02_image021
，深度旋轉變量表示為
Figure 02_image013
與
Figure 02_image015
，深度眼睛中心表示為
Figure 02_image023
且符合下式：
Figure 02_image025
。
根據前段所述實施方式的眼睛中心定位系統，其中第一影像具有第一粗糙眼睛中心，且處理器依據梯度模型定位第一影像的眼睛區域而產生邊界眼睛中心，並計算邊界眼睛中心與第一粗糙眼睛中心之差值，處理器依據轉換模型轉換差值而產生校正值，然後處理器依據校正模型與校正值修正深度眼睛中心而產生精準眼睛中心。
根據前段所述實施方式的眼睛中心定位系統，其中校正模型包含精準眼睛中心、校正值、邊界眼睛中心、第一粗糙眼睛中心、深度眼睛中心及深度旋轉變量，精準眼睛中心表示為
Figure 02_image027
，校正值表示為
Figure 02_image029
，邊界眼睛中心為
Figure 02_image031
，第一粗糙眼睛中心表示為
Figure 02_image033
，深度眼睛中心表示為
Figure 02_image023
，深度旋轉變量表示為
Figure 02_image013
與
Figure 02_image015
且符合下式：
Figure 02_image035
Figure 02_image037
。
以下將參照圖式說明本發明之複數個實施例。為明確說明起見，許多實務上的細節將在以下敘述中一併說明。然而，應瞭解到，這些實務上的細節不應用以限制本發明。也就是說，在本發明部分實施例中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之；並且重複之元件將可能使用相同的編號表示之。
此外，本文中當某一元件(或機構或模組等)「連接」 、「設置」或「耦合」於另一元件，可指所述元件是直接連接、直接設置或直接耦合於另一元件，亦可指某一元件是間接連接、間接設置或間接耦合於另一元件，意即，有其他元件介於所述元件及另一元件之間。而當有明示某一元件是「直接連接」、「直接設置」或「直接耦合」於另一元件時，才表示沒有其他元件介於所述元件及另一元件之間。而第一、第二、第三等用語只是用來描述不同元件或成分，而對元件/成分本身並無限制，因此，第一元件/成分亦可改稱為第二元件/成分。且本文中之元件/成分/機構/模組之組合非此領域中之一般周知、常規或習知之組合，不能以元件/成分/機構/模組本身是否為習知，來判定其組合關係是否容易被技術領域中之通常知識者輕易完成。
請一併參照第1圖與第2圖，其中第1圖係繪示本發明的結構態樣之實施方式的眼睛中心定位系統100的方塊示意圖，第2圖係繪示第1圖結構態樣之實施方式的眼睛中心定位系統100的輸入影像200、第一影像210及第二影像220的示意圖。如圖所示，眼睛中心定位系統100用以定位輸入影像200之精準眼睛中心250，且眼睛中心定位系統100包含處理器110與記憶體120。
記憶體120存取輸入影像200、人臉辨識模型121、生成對抗網路模型122、梯度模型123、轉換模型124及校正模型125，且處理器110電性連接於記憶體120。首先，處理器110依據人臉辨識模型121萃取輸入影像200而產生第一影像210。接著，處理器110依據生成對抗網路模型122將第一影像210重新生成為第二影像220，並依據梯度模型123定位第二影像220的眼睛區域(未另標號)而產生初始眼睛中心230。然後，處理器110依據轉換模型124轉換初始眼睛中心230而產生對應於第一影像210之深度眼睛中心240。最終，處理器110依據校正模型125修正深度眼睛中心240而產生精準眼睛中心250。藉此，處理器110利用儲存於記憶體120內的人臉辨識模型121、生成對抗網路模型122、梯度模型123、轉換模型124及校正模型125而定位輸入影像200的眼睛中心，並輸出精準眼睛中心250。
請一併參照第1圖至第3圖，其中第3圖係繪示本發明的方法態樣之實施方式的眼睛中心定位方法S100的步驟流程圖。如圖所示，眼睛中心定位方法S100可經由眼睛中心定位系統100執行，且眼睛中心定位方法S100包含以下步驟：萃取步驟S110、生成步驟S120、定位步驟S130、轉換步驟S140以及校正步驟S150。
萃取步驟S110係驅動處理器110依據人臉辨識模型121萃取輸入影像200而產生第一影像210，且輸入影像200儲存於記憶體120；換言之，萃取步驟S110係萃取輸入影像200中的人臉區域。生成步驟S120係驅動處理器110依據生成對抗網路模型122將第一影像210重新生成為第二影像220。定位步驟S130係驅動處理器110依據梯度模型123定位第二影像220的眼睛區域而產生初始眼睛中心230。轉換步驟S140係驅動處理器110依據轉換模型124轉換初始眼睛中心230而產生對應於第一影像210之深度眼睛中心240。校正步驟S150驅動處理器110依據校正模型125修正深度眼睛中心240而產生精準眼睛中心250。
藉此，本發明之眼睛中心定位方法S100利用生成對抗網路模型122將原人臉影像(即第一影像210)重新生成為正臉影像(即第二影像220)，並透過處理器110產生對應於原人臉影像之深度眼睛中心240，最後經由校正模型125得到修正後的精準眼睛中心250。
詳細地說，生成對抗網路模型122是運用Complete Representation Generative Adversarial Network(CR-GAN)方法將第一影像210重新生成為第二影像220。當面對原人臉影像處於大偏航旋轉角度和完全消失的眼睛時，經由CR-GAN方法所產生的正臉影像從不完整的眼部可重新獲得完整表示(如第2圖所示)。因此，從相同原人臉的正視角可更精準地與合理地定位出正臉的眼睛中心。另外，梯度模型123是基於梯度方法而定位第二影像220的初始眼睛中心230，但梯度方法為一般習知技術且非本發明之重點，細節不再贅述。
請一併參照第1圖至第4圖，其中第4圖係繪示第3圖方法態樣之實施方式的眼睛中心定位方法S100的轉換步驟S140的步驟流程圖。值得注意的是，第一影像210可具有第一粗糙眼睛中心CEC 1，第二影像220可具有第二粗糙眼睛中心CEC 2，且第一粗糙眼睛中心CEC 1與第二粗糙眼睛中心CEC 2是眼睛區域的中心而非瞳孔中心。更特別的是，於轉換步驟S140中，轉換模型124可包含第一運算模型(未另繪示)與第二運算模型(未另繪示)，且轉換步驟S140中可包含旋轉變量檢測步驟S141與位置預測步驟S142。
旋轉變量檢測步驟S141係驅動處理器110依據第一運算模型計算第一粗糙眼睛中心CEC 1與第二粗糙眼睛中心CEC 2的線性關係而產生深度旋轉變量(未另繪示)。具體而言，第一運算模型可包含第一粗糙眼睛中心CEC 1之第一方程式、第二粗糙眼睛中心CEC 2之第二方程式與第三方程式、第一方程式之第一斜率、第二方程式之第二斜率、第三方程式之第三斜率及深度旋轉變量，第一方程式表示為
Figure 02_image001
，第二方程式表示為
Figure 02_image003
，第三方程式表示為
Figure 02_image005
，第一斜率表示為
Figure 02_image007
，第二斜率表示為
Figure 02_image009
，第三斜率表示為
Figure 02_image011
，深度旋轉變量表示為
Figure 02_image013
與
Figure 02_image015
且符合下列式子(1)：
Figure 02_image017
(1)。
詳細地說，旋轉變量檢測步驟S141透過X軸和Z軸的兩線性方程式(即第一方程式與第二方程式)計算出深度旋轉變量
Figure 02_image015
並透過X軸和Y軸的兩線性方程式(即第一方程式與第三方程式)計算出深度旋轉變量
Figure 02_image015
，因此可將2D影像實施3D座標的轉換，以有效地說明第一影像210與第二影像220之間的旋轉關係。
接續地，位置預測步驟S142係驅動處理器110依據第二運算模型與深度旋轉變量計算初始眼睛中心230而產生深度眼睛中心240。具體而言，第二運算模型可包含初始眼睛中心230、第二粗糙眼睛中心CEC 2、深度旋轉變量及深度眼睛中心240，初始眼睛中心230表示為
Figure 02_image019
，第二粗糙眼睛中心CEC 2表示為
Figure 02_image021
，X軸與Y軸之座標值分別表示為
Figure 02_image039
與
Figure 02_image041
，深度旋轉變量表示為
Figure 02_image013
與
Figure 02_image015
，深度眼睛中心240表示為
Figure 02_image023
且符合下式子(2)：
Figure 02_image043
Figure 02_image045
(2)。
詳細地說，位置預測步驟S142透過第一影像210與第二影像220之間的深度旋轉變量來預測未知的定位，且以右眼作為舉例，但本發明並不以此為限。基於第二影像220正視角而預測的初始眼睛中心230，並經由式子(2)將初始眼睛中心230實施旋轉變量的未知定位轉換，以獲得右眼區域的深度眼睛中心240。但是，由於CR-GAN生成的不穩定，導致深度眼睛中心240不能作為最後的定位結果。因此，需要額外再計算一個校正值(未另繪示)，以確保第二影像220正視角和第一影像210的眼睛中心定位是同一個位置。
請一併參照第1圖至第5圖，其中第5圖係繪示第3圖方法態樣之實施方式的眼睛中心定位方法S100的校正步驟S150的步驟流程圖。如圖所示，校正步驟S150可包含轉換子步驟S151與修正子步驟S152，其中轉換子步驟S151係驅動處理器110依據梯度模型123定位第一影像210的眼睛區域而產生邊界眼睛中心(未另繪示)，並計算邊界眼睛中心與第一粗糙眼睛中心CEC 1之座標差值，最後依據轉換模型124轉換差值而產生校正值。修正子步驟S152係驅動處理器110依據校正模型125與校正值修正深度眼睛中心240而產生精準眼睛中心250。
具體而言，校正模型125可包含精準眼睛中心250、校正值、邊界眼睛中心、第一粗糙眼睛中心CEC 1、深度眼睛中心240及深度旋轉變量，精準眼睛中心250表示為
Figure 02_image027
，校正值表示為
Figure 02_image029
，邊界眼睛中心為
Figure 02_image031
，第一粗糙眼睛中心CEC 1表示為
Figure 02_image033
，深度眼睛中心240表示為
Figure 02_image023
，深度旋轉變量表示為
Figure 02_image013
與
Figure 02_image015
符合下式子(3)：
Figure 02_image035
Figure 02_image047
(3)。
詳細地說，基於第一影像210正視角所得到邊界眼睛中心，並計算邊界眼睛中心與第一粗糙眼睛中心CEC 1的差值後，再轉換至深度定位作為校正值。最後，加上第二影像220的深度眼睛中心240並轉換回第一影像210正視角作為真實精準定位而產生輸入影像200的精準眼睛中心250。藉此，可同時解決臉部大偏航旋轉角度與眼睛被完全遮蔽，進而有效地並精準地定位眼睛中心。
雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明的精神和範圍內，當可作各種的更動與潤飾，因此本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:眼睛中心定位系統 110:處理器 120:記憶體 121:人臉辨識模型 122:生成對抗網路模型 123:梯度模型 124:轉換模型 125:校正模型 200:輸入影像 210:第一影像 220:第二影像 230:初始眼睛中心 240:深度眼睛中心 250:精準眼睛中心 S100:眼睛中心定位方法 S110:萃取步驟 S120:生成步驟 S130:定位步驟 S140:轉換步驟 S141:旋轉變量檢測步驟 S142:位置預測步驟 S150:校正步驟 S151:轉換子步驟 S152:修正子步驟 CEC 1:第一粗糙眼睛中心 CEC 2:第二粗糙眼睛中心
第1圖係繪示本發明的結構態樣之一實施方式的眼睛中心定位系統的方塊示意圖； 第2圖係繪示第1圖結構態樣之實施方式的眼睛中心定位系統的輸入影像、第一影像及第二影像的示意圖； 第3圖係繪示本發明的方法態樣之一實施方式的眼睛中心定位方法的步驟流程圖； 第4圖係繪示第3圖方法態樣之實施方式的眼睛中心定位方法的轉換步驟的步驟流程圖；以及 第5圖係繪示第3圖方法態樣之實施方式的眼睛中心定位方法的校正步驟的步驟流程圖。
S100:眼睛中心定位方法
S110:萃取步驟
S120:生成步驟
S130:定位步驟
S140:轉換步驟
S150:校正步驟

Claims (10)

  1. 一種眼睛中心定位方法，由一眼睛中心定位系統執行，該眼睛中心定位系統包含一處理器與一記憶體，且該眼睛中心定位方法包含以下步驟：一萃取步驟，係驅動該處理器依據一人臉辨識模型萃取一輸入影像而產生一第一影像，該第一影像具有一第一粗糙眼睛中心，該輸入影像儲存於該記憶體；一生成步驟，係驅動該處理器依據一生成對抗網路模型將該第一影像重新生成為一第二影像；一定位步驟，係驅動該處理器依據一梯度模型定位該第二影像的一眼睛區域而產生一初始眼睛中心；一轉換步驟，係驅動該處理器依據一轉換模型轉換該初始眼睛中心而產生對應於該第一影像之一深度眼睛中心；以及一校正步驟，係驅動該處理器依據一校正模型修正該深度眼睛中心而產生一精準眼睛中心，且該校正步驟包含：一轉換子步驟，係驅動該處理器依據該梯度模型定位該第一影像的一眼睛區域而產生一邊界眼睛中心，並計算該邊界眼睛中心與該第一粗糙眼睛中心之一差值，最後依據該轉換模型轉換該差值而產生一校正值；及一修正子步驟，係驅動該處理器依據該校正模型與該校正值修正該深度眼睛中心而產生該精準眼睛中心。
  2. 如請求項1所述之眼睛中心定位方法，其中 該第二影像具有一第二粗糙眼睛中心，該轉換模型包含一第一運算模型與一第二運算模型，且該轉換步驟包含：一旋轉變量檢測步驟，係驅動該處理器依據該第一運算模型計算該第一粗糙眼睛中心與該第二粗糙眼睛中心的線性關係而產生一深度旋轉變量；及一位置預測步驟，係驅動該處理器依據該第二運算模型與該深度旋轉變量計算該初始眼睛中心而產生該深度眼睛中心。
  3. 如請求項2所述之眼睛中心定位方法，其中該第一運算模型包含該第一粗糙眼睛中心之一第一方程式、該第二粗糙眼睛中心之一第二方程式與一第三方程式、一第一斜率、一第二斜率、一第三斜率及該深度旋轉變量，該第一方程式表示為L 1，該第二方程式表示為L 2，該第三方程式表示為L 3，該第一斜率表示為m 1，該第二斜率表示為m 2，該第三斜率表示為m 3，該深度旋轉變量表示為face θ*與face θ' 且符合下式：
    Figure 109127247-A0305-02-0019-1
  4. 如請求項2所述之眼睛中心定位方法，其中該第二運算模型包含該初始眼睛中心、該第二粗糙眼睛中心、該深度旋轉變量及該深度眼睛中心，該初始眼睛中心表示為IF erC*，該第二粗糙眼睛中心表示為
    Figure 109127247-A0305-02-0019-18
    ，該深度旋轉 變量表示為face θ*與face θ' ，該深度眼睛中心表示為
    Figure 109127247-A0305-02-0020-19
    且符合下式：
    Figure 109127247-A0305-02-0020-2
  5. 如請求項1所述之眼睛中心定位方法，其中該校正模型包含該精準眼睛中心、該校正值、該邊界眼睛中心、該第一粗糙眼睛中心、該深度眼睛中心及一深度旋轉變量，該精準眼睛中心表示為I erC*，該校正值表示為α4，該邊界眼睛中心為
    Figure 109127247-A0305-02-0020-20
    ，該第一粗糙眼睛中心表示為
    Figure 109127247-A0305-02-0020-21
    ，該深度眼睛中心表示為
    Figure 109127247-A0305-02-0020-22
    ，該深度旋轉變量表示為face θ*與face θ' 且符合下式：
    Figure 109127247-A0305-02-0020-3
  6. 一種使用如請求項1所述之眼睛中心定位方法的眼睛中心定位系統，用以定位該輸入影像之該精準眼睛中心，且該眼睛中心定位系統包含：一記憶體，係存取該輸入影像、該人臉辨識模型、該生成對抗網路模型、該梯度模型、該轉換模型及該校正模型；以及一處理器，係電性連接於該記憶體，且該處理器依據該人臉辨識模型萃取該輸入影像而產生該第一影像，該第一 影像具有該第一粗糙眼睛中心，該處理器依據該生成對抗網路模型將該第一影像重新生成為該第二影像，該處理器依據該梯度模型定位該第二影像的該眼睛區域而產生該初始眼睛中心，該處理器依據該轉換模型轉換該初始眼睛中心而產生對應於該第一影像之該深度眼睛中心，然後該處理器依據該校正模型修正該深度眼睛中心而產生該精準眼睛中心；其中，該處理器依據該梯度模型定位該第一影像的該眼睛區域而產生該邊界眼睛中心，並計算該邊界眼睛中心與該第一粗糙眼睛中心之該差值，該處理器依據該轉換模型轉換該差值而產生該校正值；其中，該處理器依據該校正模型與該校正值修正該深度眼睛中心而產生該精準眼睛中心。
  7. 如請求項6所述之眼睛中心定位系統，其中該第二影像具有一第二粗糙眼睛中心，該轉換模型包含一第一運算模型與一第二運算模型，其中，該處理器依據該第一運算模型計算該第一粗糙眼睛中心與該第二粗糙眼睛中心的線性關係而產生一深度旋轉變量；及該處理器依據該第二運算模型與該深度旋轉變量計算該初始眼睛中心而產生該深度眼睛中心。
  8. 如請求項7所述之眼睛中心定位系統，其中 該第一運算模型包含該第一粗糙眼睛中心之一第一方程式、該第二粗糙眼睛中心之一第二方程式與一第三方程式、一第一斜率、一第二斜率、一第三斜率及該深度旋轉變量，該第一方程式表示為L 1，該第二方程式表示為L 2，該第三方程式表示為L 3，該第一斜率表示為m 1，該第二斜率表示為m 2，該第三斜率表示為m 3，該深度旋轉變量表示為face θ*與face θ' 且符合下式：
    Figure 109127247-A0305-02-0022-4
  9. 如請求項7所述之眼睛中心定位系統，其中該第二運算模型包含該初始眼睛中心、該第二粗糙眼睛中心、該深度旋轉變量及該深度眼睛中心，該初始眼睛中心表示為IF erC*，該第二粗糙眼睛中心表示為
    Figure 109127247-A0305-02-0022-23
    ，該深度旋轉變量表示為face θ*與face θ' ，該深度眼睛中心表示為
    Figure 109127247-A0305-02-0022-24
    且符合下式：
    Figure 109127247-A0305-02-0022-6
  10. 如請求項6所述之眼睛中心定位系統，其中該校正模型包含該精準眼睛中心、該校正值、該邊界眼睛中心、該第一粗糙眼睛中心、該深度眼睛中心及一深度旋轉變量，該精準眼睛中心表示為I erC*，該校正值表示為α4，該邊界眼睛中心為
    Figure 109127247-A0305-02-0022-25
    ，該第一粗糙眼睛中心表示為
    Figure 109127247-A0305-02-0022-26
    ，該深度眼睛中心表示為
    Figure 109127247-A0305-02-0022-27
    ，該深度旋轉變量表示為face θ* 與face θ' 且符合下式：
    Figure 109127247-A0305-02-0023-7
TW109127247A 2020-08-11 2020-08-11 眼睛中心定位方法及其系統 TWI748596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW109127247A TWI748596B (zh) 2020-08-11 2020-08-11 眼睛中心定位方法及其系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109127247A TWI748596B (zh) 2020-08-11 2020-08-11 眼睛中心定位方法及其系統

Publications (2)

Publication Number Publication Date
TWI748596B true TWI748596B (zh) 2021-12-01
TW202207076A TW202207076A (zh) 2022-02-16

Family

ID=80680843

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109127247A TWI748596B (zh) 2020-08-11 2020-08-11 眼睛中心定位方法及其系統

Country Status (1)

Country Link
TW (1) TWI748596B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12400429B2 (en) 2023-02-24 2025-08-26 National Sun Yat-Sen University Method and electrical device for training cross-domain classifier

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205480A (zh) * 2015-10-31 2015-12-30 潍坊学院 一种复杂场景中人眼定位方法及系统
US20190096135A1 (en) * 2017-09-26 2019-03-28 Aquifi, Inc. Systems and methods for visual inspection based on augmented reality
TWI668639B (zh) * 2018-05-30 2019-08-11 瑞軒科技股份有限公司 臉部辨識系統與方法
TWI687871B (zh) * 2019-03-28 2020-03-11 國立勤益科技大學 應用於安全防護之影像辨識系統

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205480A (zh) * 2015-10-31 2015-12-30 潍坊学院 一种复杂场景中人眼定位方法及系统
CN105205480B (zh) 2015-10-31 2018-12-25 潍坊学院 一种复杂场景中人眼定位方法及系统
US20190096135A1 (en) * 2017-09-26 2019-03-28 Aquifi, Inc. Systems and methods for visual inspection based on augmented reality
TWI668639B (zh) * 2018-05-30 2019-08-11 瑞軒科技股份有限公司 臉部辨識系統與方法
TWI687871B (zh) * 2019-03-28 2020-03-11 國立勤益科技大學 應用於安全防護之影像辨識系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12400429B2 (en) 2023-02-24 2025-08-26 National Sun Yat-Sen University Method and electrical device for training cross-domain classifier

Also Published As

Publication number Publication date
TW202207076A (zh) 2022-02-16

Similar Documents

Publication Publication Date Title
KR102334139B1 (ko) 적응적 호모그래피 매핑에 기초한 눈 시선 추적
CN103390152B (zh) 基于sopc的适合人机交互的视线跟踪系统
CN111783605B (zh) 一种人脸图像识别方法、装置、设备及存储介质
US20210142450A1 (en) Image Processing Method And Apparatus, Storage Medium, And Terminal
US10733705B2 (en) Information processing device, learning processing method, learning device, and object recognition device
US9898082B1 (en) Methods and apparatus for eye tracking
US11181978B2 (en) System and method for gaze estimation
CN109634431B (zh) 无介质浮空投影视觉追踪互动系统
CN110781712B (zh) 一种基于人脸检测与识别的人头空间定位方法
CN114491592B (zh) 加密图像信息获取装置及方法
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN114494347A (zh) 一种单摄像头多模式视线追踪方法和装置、电子设备
CN115049738A (zh) 人与相机之间距离的估计方法及系统
TWI748596B (zh) 眼睛中心定位方法及其系統
CN116245940A (zh) 基于结构差异感知的类别级六自由度物体位姿估计方法
CN110598647A (zh) 一种基于图像识别的头部姿态识别方法
JP4865517B2 (ja) 頭部の位置・姿勢検出装置
CN104463876A (zh) 一种基于自适应滤波的复杂背景下图像多圆快速检测方法
Perra et al. Adaptive eye-camera calibration for head-worn devices
CN114820513A (zh) 视力检测方法
US20220269341A1 (en) Sight positioning method, head-mounted display device, computer device and computer-readable storage medium
CN114419259A (zh) 一种基于物理模型成像仿真的视觉定位方法及系统
JP2018101211A (ja) 車載器
CN108447024B (zh) 基于在轨恒星数据的人工智能畸变自校正方法
KR101001184B1 (ko) 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법