TWI895879B - 臉部辨識系統及生理資訊生成方法 - Google Patents

Abstract

一種臉部辨識系統及生理資訊生成方法。臉部辨識系統包括可見光感應器、熱成像感應器、及處理器。生理資訊生成方法是由處理器來執行，並使用即時目標偵測演算法。生理資訊生成方法包括接收一或多個可見光影像和熱影像；在處理器中的即時目標偵測演算法鑑別當前可見光影像中的臉部區域不成時，鑑別當前熱影像中的鼻孔區域；根據鼻孔區域中偵測伴隨亮度變化而取得呼氣及吸氣的週期，在處理器中判定鼻孔區域為異常和生成異常的生理資訊；及通知異常的呼吸資訊。

Description

臉部辨識系統及生理資訊生成方法

本發明是關於影像辨識系統及其影像辨識方法，尤其是臉部辨識系統及其生理資訊生成方法。

影像辨識系統，如網路攝影機、監視器、相機等，可用來鑑別人體輪廓作為有關人體健康和人身安全的感興趣區域(region of interest，ROI)。例如：醫院內的網路攝影機可用來監視嬰兒的身體狀況有無異常，如果嬰兒在家時同樣也可透過網路攝影機來監視。當嬰兒剛出生，新手媽媽回家照顧她的嬰兒及需要隨時注意嬰兒的身體狀況有無異常，如嬰兒發燒或不規律呼吸、或嬰兒因翻身或溢奶而突然猝死。因此，新手媽媽可使用網路攝影機來監視嬰兒的身體狀況。網路攝影機可面向嬰兒的臉部來辨識有無覆蓋物覆蓋嘴巴和鼻子，像是棉被、枕頭、衣物或玩偶等。除了網路攝影機之外，還有熱像儀和接觸式感應裝置等量測嬰兒的身體狀況。熱像儀可量測嬰兒體溫。接觸式感應裝置包括脈搏感測器和加速度計，其中脈搏感測器測量嬰兒的心率、加速計測量嬰兒的呼吸。另 外，醫院內的網路攝影機可用來監視長者、病患和孩童的身體健康和安全，也可設在任何適當的地方，室內或室外場所。

然而，網路攝影機無法辨識不規則形狀、任意角度擺放的覆蓋物，其可覆蓋嬰兒臉部的一部分。網路攝影機也無法辨識嬰兒的體溫。另外，熱像儀容易辨識與實際身體況不符的溫度，像是實際上嬰兒的身體狀況是正常的，但是熱像儀卻測量到異常的嬰兒體溫。還有，接觸感應裝置無法長時間配戴在嬰兒身上，也就無法長時間監視嬰兒的心率和呼吸。

一種臉部辨識系統包括偵測裝置及主機。偵測裝置可見光感應器和熱成像感應器。位在一目標範圍內的可見光感應器用於擷取一或多個當前可見光影像。位在該目標範圍內的熱成像感應器用於擷取一或多個當前熱影像。主機耦接該偵測裝置，並執行即時目標偵測演算法(real-time object detection algorithm)，當主機判定當前熱影像中的鼻孔區域為異常，就通知異常的生理資訊，其中即時目標偵測演算法用於鑑別當前可見光影像和當前熱影像中的臉部範圍。若即時目標偵測演算法在當前可見光影像中臉部範圍鑑別不成時，即時目標偵測演算法是鑑別當前熱影像中臉部範圍內的鼻孔區域，且主機根據鼻孔區域中偵測伴隨亮度變化而取得呼氣及吸氣的週期，判定該當前熱影像中臉部範圍內的鼻孔區域為異常和生成異常的生理資訊而通知異常的生理資訊。

一種生理資訊生成方法是由處理器來執行。該生理資訊生成方法使用即時目標偵測演算法執行以下步驟：接收一或多個可見光影像和熱影像；在處理器中的即時目標偵測演算法鑑別當前可見光影像中的臉部區域不成時，鑑別當前熱影像中的鼻孔區域；根據鼻孔區域中偵測伴隨亮度變化而取得呼氣及吸氣的週期，判定當前熱影像中臉部範圍內的鼻孔區域為異常和產生異常的生理資訊；及通知異常的生理資訊。

20:視窗

100:偵測裝置

102:可見光感應器

104:熱成像感應器

106:第一殼體

113:第一通訊元件

200:主機

202:第二機殼

204:處理器

206:儲存元件

208:警告元件

210:通訊元件

213:第二通訊元件

300:支架

VSI:可見光影像

THI:熱影像

S100:生理資訊生成方法

S110~S187:步驟

圖1係根據本發明一實施例，繪製臉部辨識系統的立體示意圖。

圖2係圖1臉部辨識系統的第一組態示意圖。

圖3A係圖1臉部辨識系統的第二組態示意圖。

圖3B係圖1臉部辨識系統的第三組態示意圖。

圖4A至4F係根據本發明一實施例的當前可見光影像和當前熱影像，繪製生理資訊生成方法的流程示意圖。

圖5係根據本發明一實施例的當前可見光影像，繪製鑑別額頭區域的情境示意圖。

圖6係圖5鑑別額頭區域的訊號波型示意圖。

圖7係根據本發明一實施例的當前可見光影像，繪製嬰兒無被覆蓋的情境示意圖。

圖8係根據本發明一實施例的當前可見光影像，繪製嬰兒有被覆蓋的情境示意圖。

圖9係根據本發明一實施例的當前熱影像，繪製鑑別嬰兒呼氣時的情境示意圖。

圖10係根據本發明一實施例的當前熱影像，繪製鑑別嬰兒吸氣時的情境示意圖。

圖11係根據本發明一實施例的當前熱影像，繪製鑑別成人呼氣時的情境示意圖。

圖12係根據本發明一實施例的當前熱影像，繪製鑑別成人吸氣時的情境示意圖。

圖13係根據本發明一實施例使用視窗量測每一熱影像中額頭區域的溫度的情境示意圖。

請參照圖1，臉部辨識系統10包括偵測裝置100、主機200及支架300。偵測裝置100是由支架300所支持，並透過無線或有線通訊技術耦接主機200。例如：偵測裝置100和主機200彼此是有線連接或透過網路收發擷取的影像和生理資訊，以便進一步處理或儲存。

根據一實施例，偵測裝置100是配置在一目標範圍內而可面向一或多位個體，像是位在室內的嬰兒、成人、或長者。例如：偵測裝置100可配置在房間內而朝向嬰兒的臉部影像，偵 測裝置100也就可用於擷取嬰兒的臉部影像。偵測裝置100包括可見光感應器102和熱成像感應器104，這兩種感應器102,104配置在第一殼體106。可見光感應器102用於擷取一或多個位於目標區域內的當前可見光影像VSI。熱成像感應器104用於擷取一或多個位於目標區域內的當前熱影像THI。

可見光感應器102和熱成像感應器104可用於偵測相同個體的臉部範圍。例如：多個可見光影像VSI中，有一或多個不規則形狀的覆蓋物覆蓋個體的鼻子和嘴巴。覆蓋物也擺放成任意角度來覆蓋個體的鼻子和嘴巴。多個熱影像THI中，顯示嬰兒在呼吸時，其鼻孔的亮度變化。

可見光感應器102可以是電荷耦合裝置(Charge-coupled Device，CCD)或互補式金屬氧半物半導體(Complementary metal-oxide-semiconductor，CMOS)，以此在長時間內持續偵測多個可見光影像VSI，其中時間可以是連續的或不連續的。例如：CMOS可偵測一系列連續的當前可見光影像VSI，而且這些當前可見光影像VSI可顯示嬰兒在呼吸時，其額頭區域的亮度。

根據一實施例，可見光感應器102可擷取當前可見光影像，其照度範圍約略為50勒克斯(Lux)以上且1000勒克斯(Lux)以下。在此照度範圍內，即時目標偵測演算法就可鑑別可見光影像VSI的臉部範圍，其中臉部範圍包括額頭區域、鼻孔區域、嘴巴區域、眼睛區域、眉毛區域等五官區域。

根據一實施例，可見光感應器102擷取影像的最大距離可以是40公分(cm)以上且60公分以下(cm)。在此距離範圍內，即時目標偵測演算法就可鑑別可見光影像VSI的臉部範圍。

根據一實施例，可見光感應器102可裝配一主動光源，用以增加可見光感應器102偵測時的照度。

熱成像感應器104可以是紅外線熱像儀，用來長時間擷取多個熱影像THI，以此量測個體溫度，其中時間可以是連續的或不連續的。例如：紅外線熱像儀在量測個體溫度時，擷取一系列的熱影像THI中個體的溫度梯度分布。紅外線熱像儀包括一或多個紅外線感應器、一或多個光學鏡頭、及成像處理器(未繪示)。當物體發射紅外線輻射時，紅外線感應器可擷取紅外線輻射並產生紅外線訊號。紅外線感應器可以是熱電偶、熱電堆、光學陣列等。成像感應器可將紅外線訊號轉換成熱影像THI。光學鏡頭可將來自物體表面的紅外線輻射聚焦到輻射感應器上。例如：成像處理器生成一系列熱影像THI，捕捉嬰兒鼻孔在呼吸時的亮度變化。

請參照圖1和圖2，主機200包括第二機殼202、處理器204、儲存元件206、及警告元件208。處理器204、儲存元件206、及警告元件208裝配在第二機殼202。

處理器204可耦接儲存元件206、及警告元件208。例如：處理器可以是中央處理器(Central Processing Unit，CPU)、圖像處理器(Graphics Processing Unit，GPU)、微處理器(Micro Processing Unit，MPU)、數位訊號處理器(Digital Signal Processor，DSP)及微控制器(Microcontroller Unit，MCU)等。

根據一實施例，當可見光感應器102擷取當前可見光影像VSI且熱成像感應器104擷取當前熱影像THI時，處理器執行生理資訊生成方法S100，其使用即時目標偵測演算法。即時目標偵測演算法包括卷積神經網路(CNN)及遞歸神經網路(RNN)、跨階段局部網路(cross stage partial network，CSPNet)、基於區域的卷積神經網路(Region-based Convolutional Neural Networks，R-CNN)及YOLO(You Only Look Once，YOLO)等深度學習模型。例如：在電腦科學領域中，YOLO是指即時目標偵測演算法，其可在圖像或影像幀中偵測多個物體。YOLO包括CSPDarknet 53，其是由卷積神經網路(Convolutional Neural Network，CNN)、密集連接卷積網路(Densely Connected Convolutional Network，DenseNet)、及跨階段分布網路(Cross stage partial network，CSPNet)所組成的。

當處理器執行YOLO時，YOLO可被訓練來辨識當前可見光影像VSI和當前熱影像THI中的臉部範圍。這些影像中包括嬰兒的臉部、成人的臉部等。在每一個影像中的臉部範圍，YOLO可鑑別臉部範圍內的特定區域，如額頭、眉毛、眼睛、鼻孔、嘴巴等五官。預設的YOLO可將一或多個連續熱影像縮放至相同尺寸，再切割成多個網格(Grid Cell)。這些網格可用來同時預測多個邊界框(Bounding Box)以及屬於各個邊界框的信賴指 數(Confidence score)。這些信賴指數是反映YOLO對邊界框所圈選鼻孔的信賴程度及此邊界框預測的準確度。後續，YOLOV3依序透過作為基底網路層的Darknet-53及作為多特徵網路層的特徵金字塔網絡(Feature Pyramid Network,FPN)，將這些連續熱影像進行摺積(Convolution)和殘差(Residual)等演算，來達到自我預測及生成在這些連續熱影像中有關特定區域的生理資訊。因此，YOLO可輸出三種不同尺度的特徵圖，並且預測一系列連續熱影像THI中有關臉部範圍的生理資訊。YOLO鑑別當前可見光影像VSI和當前熱影像THI中臉部範圍之後，主機200生成生理資訊，包括心率資訊、呼吸資訊、及溫度資訊等。

儲存元件206可儲存多個當前可見光影像VSI及當前熱影像THI，還可儲存即時目標偵測演算法。儲存元件206可以是硬碟機、光碟盤、隨身硬碟、快閃記憶體、固態硬碟等非揮發性記憶體，及動態隨機存取記憶體、靜態隨機存取記憶體等揮發性記憶體。另外，儲存元件206也可儲存有關人工智慧的演算法及識別模型。

警告元件208耦接處理器204。例如：警告元件208可以是蜂鳴器或警示燈。當處理器204執行即時目標偵測演算法時，即時目標偵測演算法可鑑別當前可見光影像VSI或當前熱影像THI中的臉部範圍，而使處理器204可根據即時目標偵測演算法鑑別的結果，判定有關臉部範圍有無異常和生成相應的生理資訊。後續，若處理器204判定臉部範圍有異常，則處理器204致 動警告元件208。根據一實施例，警告元件208可裝配在主機200，或裝配在偵測裝置100中的第一殼體106。

請參照圖3A，根據一實施例，臉部辨識系統10還包括通訊元件210，其配置在第二殼體202和耦接處理器204。通訊元件210係透過有線或無線通訊技術，連接網路或存取點(Access Point，AP)而可發射或接收生理資訊。例如：通訊元件210可以是WI-FI、藍芽等無線通訊技術。通訊元件210可發射生理資訊到使用者設備，或接收來自使用者設備發射的生理資訊。使用者設備可以是智慧型手機、平板或伺服器等。

請參照圖3B，根據一實施例，臉部辨識系統10還包括第一通訊元件113和第二通訊元件213。例如：第一通訊元件113裝配在偵測裝置100，而第二通訊元件213裝配在主機200和耦接處理器204。當可見光感應器102和熱成像感應器104偵測相同個體的臉部資訊時，第一通訊元件113發射個體的臉部資訊到第二通訊元件213。個體的臉部資訊包括當前可見光影像和當前熱影像中個體的臉部範圍，像是額頭區域、眉毛區域、眼睛區域、鼻孔區域及嘴巴區域。

請參照圖4A至4F，生理資訊生成方法S100是由臉部辨識系統執行。生理資訊生成方法S100使用在處理器中的即時目標偵測演算法，並根據當前可見光影像VSI和當前熱影像THI中的臉部範圍，鑑別個體的臉部範圍和生成相應的生理資訊。生理資訊包括心率資訊、呼吸資訊、及溫度資訊等。

根據一實施例，當偵測裝置100面向個體的臉部時，偵測裝置100擷取當前可見光影像VSI和當前熱影像THI。之後，主機200執行YOLO而YOLO就可鑑別個體的臉部範圍。接續，主機200生成有關臉部範圍中對應至少一個鑑別區域的生理資訊。因此，主機200透過比較生成的生理資訊和參考資訊，來判定鑑別區域有無異常，若是，主機200生成異常的生理資訊和發射異常生理資訊的通知到使用者設備，或致動警告元件208發出警報，及若否，主機200持續記錄和儲存無異常的(或稱正常的)生理資訊到儲存元件206。參考資訊可以是個體的正常值範圍，像是正常體溫範圍、心率範圍、及呼吸範圍。意即，主機200根據鼻孔區域中偵測伴隨亮度變化而取得呼氣及吸氣的週期，判定該當前熱影像中的一鼻孔區域為異常和生成該異常的生理資訊。

如圖4A所示，當YOLO鑑別臉部範圍時，YOLO依序鑑別當前可見光影像VSI中的臉部範圍，再鑑別當前熱影像THI中的臉部範圍。意即，YOLO可藉此判定當前可見光影像中的臉部範圍是否可鑑別，若是，YOLO進一步鑑別臉部範圍內的額頭、鼻孔及嘴巴，及若否，YOLO就鑑別當前熱影像THI中的臉部範圍。

例如：步驟S110，主機200接收來自偵測裝置100提供有關個體的當前可見光影像VSI和當前熱影像THI中的臉部範圍。步驟S120，主機執行在處理器204中的即時目標偵測演算法 時，即時目標偵測演算法可鑑別當前可見光影像VSI中的臉部範圍。之後，步驟S130，即時目標偵測演算法判定當前可見光影像VSI中的臉部範圍是否可鑑別，若是，生理資訊生成方法S100接續執行步驟S140，若否，生理資訊生成方法S100接續執行步驟S150。步驟S140，使用在處理器204中的即時目標偵測演算法鑑別當前可見光影像VSI中臉部範圍內的額頭區域、鼻孔區域和嘴巴區域。步驟S150，在處理器204中的即時目標偵測演算法鑑別當前熱影像THI中臉部範圍內的額頭區域和鼻孔區域。

執行步驟S130之前，YOLO可由主機200執行，並透過第一訓練資料訓練如何判定當前可見光影像VSI中的臉部範圍是否可鑑別。第一訓練資料包括嬰兒和成人的可見光影像VSI和熱影像THI，因為取得有關嬰兒或孩童沒有呼吸或他們的鼻子和嘴巴被覆蓋的可見光影像VSI和熱影像THI是不容易的挑戰。第一訓練資料是來自15位自願者提供熱影像THI和托嬰中心協助提供14,089張嬰兒的熱影像。4,089張嬰兒的熱影像中的8,062張作為訓練資料和標註鼻孔區域、6,027張作為測試資料。訓練資料中去除過於相似的影像，留下4,089張嬰兒的熱影像中的809張作為訓練用影像。YOLO可鑑別臉部範圍內的一或多個區域作為感興趣區域。

當主機200執行即時目標偵測演算法時，即時目標偵測演算法是將神經網路應用在全部可見光影像VSI(含多個當前可 見光影像VSI)，神經網路就可將每一張當前可見光影像VSI分割成網格，並在一次評估中預測每一個區域的邊界框及其準確度。即時目標偵測演算法也可將神經網路應用在全部熱影像THI(含多個當前熱影像THI)。

如圖4A至4C、圖5和圖6所示，有關可見光影像VSI中鑑別心率的流程包括步驟S141至步驟S148，詳述如下：

步驟S141，在處理器204中的即時目標演算法判定當前可見光影像VSI中額頭區域、鼻孔區域、及嘴巴區域是否可鑑別的，若是，生理資訊生成方法S100前進到步驟S142或步驟S160，若否，生理資訊生成方法S100再次回到步驟S150。步驟S160是指當前可見光影像VSI中鑑別鼻孔區域和嘴巴區域的流程，稍後將詳細描述。

步驟S142，在處理器204中的即時目標偵測演算法鑑別額頭區域的亮度變化。接續，步驟S143，根據額頭區域中像素的亮度變化，主機200提取額頭區域的光體積變化描記器取得之訊號為PPG(Photoplethysmography)訊號。之後，步驟S144，主機200將PPG訊號從時域轉換成頻域，如快速傅立葉轉換(Fast Fourier Transform，FFT)。然後，步驟S145，根據頻域的頻譜，主機200提取峰值頻率作為心率資訊。後續，步驟S146，主機200根據正常的心率範圍，判定心率資訊有無異常，若否(或無異常)，生理資訊生成方法S100前進到步驟S147，若是(或有無異常)，生理資訊生成方法S100前進到步驟S148。步驟S147，記錄 並儲存正常的生理資訊。步驟S148，通知異常的生理資訊。意即，主機200是根據根據額頭區域中像素的亮度變化，生成對應的心率資訊。此外，在光照一致和頭部移動最小的情況下，主機200使用即時目標偵測演算法可大約在15秒內測量出穩定的心率資訊。新生兒正常的心率範圍是每分鐘140~160次；嬰兒正常的心率範圍是每分鐘110~140次；兒童正常的心率範圍是每分鐘80~100次。

如圖5至圖6所示，根據一實施例，主機200可透過高通濾波器，量測在時域內的心率資訊。例如；主機200使用視窗20來提取一或多個連續的當前可見光影像VSI中額頭區域內的亮度資訊(如像素)，再根據亮度資訊計算平均值，以此取得額頭區域內的穩定亮度值(如像素)。接續，主機200透過時間序列分析，計算一定時間內的亮度平均值(如平均像素)作為基準參考值。因此，主機200當下獲得的亮度平均值皆須減掉此參考值以獲得一亮度相對值，該亮度相對值可濾除低頻成分以避免後續傅立葉轉換後的低頻干擾，屬於時域的高通濾波器設計，其中亮度平均參考值採動態更新機制。還有，亮度平均參考值採動態更新機制。

如圖4A至圖4D、圖7至圖8所示，鑑別當前可見光影像VSI中鼻孔區域和嘴巴區域的流程包括步驟S160至步驟S162，說明如下。

步驟S160，在處理器204中的即時目標偵測演算法鑑別 有無至少一個覆蓋物覆蓋在鼻孔區域和嘴巴區域，其中在處理器204中的即時目標偵測演算法可鑑別一或多個不規則形狀的覆蓋物擺放成任意角度，而且所述覆蓋物可覆蓋鼻孔區域和嘴巴區域。若無，則生理資訊生成方法S100前進到步驟S161，若有，則生理資訊生成方法S100前進到步驟S162。步驟S161，記錄和儲存正常的呼吸資訊。步驟S162，通知異常的呼吸資訊。

在步驟S160之前，在處理器204中的即時目標偵測演算法可透過第二訓練資料，來訓練如何鑑別多個當前可見光影像VSI中一或多個覆蓋物有無覆蓋嬰兒的鼻子和嘴巴，如圖7和圖8所示。每一覆蓋物擺放成不規則形狀和任意角度。第二訓練資料是從網路上尋找有關嬰幼兒睡覺的可見光影像有2607張，其中908張作為鑑別無口鼻覆蓋臉部區域的訓練資料。另外，自行合成覆蓋嬰幼兒嘴巴及鼻孔的可見光影像有772張作為鑑別作為訓練資料的有覆蓋物覆蓋在臉部區域內的嘴巴區域和鼻孔區域，如圖8所示。第二訓練資料中去除過於相似的影像。

完成訓練後，在處理器204中的即時目標偵測演算法可透過測試資料，來測試其在鑑別時的準確率。測試資料是在網路上尋找或自行拍攝有關嬰幼兒的可見光影像有232張做為測試資料，其中有覆蓋嘴巴及鼻孔的可見光影像有66張，且無覆蓋嘴巴及鼻孔的可見光影像有169張。經由實測後，可由表格一呈現實驗數據：表格一

表格一中，正常誤判率(E)是正常人臉誤判數(A)除以無遮蔽數(P)及遮蔽數(N)之總和；遮蔽漏判率(F)是遮蔽人臉誤判數(C)及遮蔽人臉漏判數(D)之總和除以無遮蔽數(P)及遮蔽數(N)之總和；準確率是1扣除誤判率(E)和不判率(F)之總和。

根據一實施例，通訊元件210可發射正常的心率資訊到使用者設備。使用者設備可以是智慧型手機、平板、伺服器等。

請參照圖4A、圖4E至圖4F、圖9至圖12，鑑別當前熱影像THI中鼻孔區域的流程包括步驟S150、步驟S170至步驟S179，說明如下。

當主機200執行即時目標偵測演算法時，即時目標偵測演算法可根據14,089張嬰兒的熱影像THI，訓練來鑑別當前熱影像中的臉部範圍。例如：YOLO將神經網路應用在全部的當前熱影像THI，神經網路就可將每一張當前熱影像THI分隔成網格，並在一次評估中預測邊界框及其準確率。然後，YOLO在訓練完 成後，判定當前熱影像中的額頭區域和鼻孔區域是否可鑑別。意即，步驟S170，即時目標偵測演算法可判定當前熱影像中的額頭區域和鼻孔區域是否可鑑別的。

如圖9至圖10所示，根據一實施例，當偵測裝置100面向嬰兒和偵測嬰兒的體溫時，YOLO可鑑別當前熱影像THI中的鼻孔區域。後續，YOLO使用局部暗區(Darknet framework)偵測和計數鼻孔在呼氣和吸氣時的週期。

如圖4F所示，步驟S171，即時目標偵測演算法鑑別鼻孔區域的亮度變化。其次，步驟S173，主機200接收鼻孔區域在呼氣和吸氣時的多個溫度讀數。當呼氣時，鼻孔呼出的氣體溫度略同於人體溫度，如圖9所示。當吸氣時，鼻孔吸入的環境氣體溫度低於人體溫度，如圖10所示。因此，主機200可在比較鼻孔呼吸時的溫度差和正常呼吸標準後，判定嬰兒的呼吸資訊有無異常。根據兩者的溫度差大小，作為人體是否呼吸的依據。也就是說，當鼻孔在一預設時間內呼氣和吸氣時的亮度保持未變化時，主機200判定呼吸資訊為異常的。如此，步驟S175，主機根據鼻孔區域中偵測伴隨亮度變化而取得呼氣及吸氣的週期，來判定鼻孔區域是否為異常和生成相應的生理資訊，若否(或無異常)，則生理資訊生成方法S100前進到步驟S177，若是(或有異常)，則生理資訊生成方法S100前進到步驟S179。步驟S177，記錄和儲存正常的呼吸資訊。步驟S179，通知異常的呼吸資訊。

例如：當呼吸時，正常的嬰兒吸器和呼氣約在每分鐘20~60次。正常呼吸標準可以是每3~5秒間一次吸氣後一次呼氣。如果嬰兒的鼻孔沒有在3~5秒內完成一次吸氣後跟著一次呼氣，則他們的呼吸被認為是異常的。也就是說，如果在一個呼吸週期(一次吸氣後跟著一次呼氣)中的溫度差至少保持未變化3秒鐘，他們的呼吸被認為是異常的。

經統計後，可由表格二呈現實驗數據：

表格二中，誤判率(E)是正常呼吸誤判數(A)除以正常呼吸(P)及模擬停止呼吸數(N)之總和；不判率(F)是停止呼吸不判數(B)除以正常呼吸(P)及模擬停止呼吸數(N)之總和；準確率是1扣除誤判率(E)和不判率(F)之總和。

如圖11至圖12所示，根據一實施例，處理器204中的即 時目標偵測演算法可基於一資料來訓練。該資料是來自15個成人且每一人持續呼吸1分鐘的熱影像THI。以人工標記鼻孔區域中的二個鼻孔，並將熱影像區分為二種類型：鼻孔吸氣時的熱影像和鼻孔呼氣時的熱影像。即時目標偵測演算法在比較標記的熱影像和標準答案(Ground Truth)後，訓練如何鑑別當前熱影像中的鼻孔區域在呼氣及吸氣時的週期有無異常，其中標準答案是標記鼻孔在呼氣時的時間點。在即時目標偵測演算法完成訓練後，主機200可依據鼻孔在吸氣及呼氣時的切換次數，換算有關個體每分鐘呼吸次數(Breaths Per Minute，BPM)，藉此根據鼻孔區域中偵測伴隨亮度變化而取得呼氣及吸氣的週期，鑑別當前熱影像中的鼻孔區域在呼氣及吸氣時的週期有無異常和生成相應的生理資訊。若主機200鑑別該當前熱影像中的鼻孔區域有異常，則生成異常的生理資訊，其對應該異常的鼻孔區域。若主機200鑑別該當前熱影像中的鼻孔區域無異常，則生成無異常(或正常)的生理資訊，其對應該無異常的鼻孔區域。意即，當主機200接收鼻孔在呼氣及吸氣時的亮度變化時，主機200可將一個呼吸週期(一次吸氣後跟著一次呼氣)轉換成個體每分鐘呼吸次數(Breaths Per Minute，BPM)。接續，主機200可在比較轉換的個體每分鐘呼吸次數和個體每分鐘呼吸次數的標準後，判定個體的呼吸資訊有無異常。通常，個體每分鐘呼吸次數的標準包括：新生兒呼吸約在每分鐘呼吸40~50次；嬰兒呼吸約在每分鐘呼吸30~40次；兒童呼吸約在每分鐘呼吸20~30次。如果轉換的個體每分鐘呼吸次數低 於或高於個體每分鐘呼吸次數的標準，就可將轉換的個體每分鐘呼吸次數視為異常。例如：步驟S175，主機可根據鼻孔區域中偵測伴隨亮度變化而取得呼氣及吸氣的週期，來判定當前熱影像中的鼻孔區域在呼氣及吸氣時的週期有無異常和生成相應的生理資訊，若是，生理資訊生成方法S100前進到步驟S177，若否，生理資訊生成方法S100前進到步驟S179。步驟S177，記錄和儲存正常的呼吸資訊。步驟S179，通知異常的呼吸資訊。

如圖11至圖12所示，當呼氣時，鼻孔呼出的氣體溫度略同於人體溫度，如圖11所示。意即，此時鼻孔的亮度變化可視為亮(反白熱影像)。當吸氣時，鼻孔吸入的環境氣體溫度低於人體溫度，如圖12所示。意即，此時鼻孔的亮度變化可視為暗(反黑熱影像)。因此，當成人完成一個呼吸週期-一次吸氣跟著一次呼氣一在3至5秒內，他們的呼吸可視為正常的。意即，鼻孔的亮度在亮、暗之間週期地變化。同理，當鼻孔的亮度在一個呼吸週期保持未變化，他們的呼吸可視為異常的。也就是說，當呼氣時，多個當前熱影像THI的其中之一中鼻孔在視窗20呈現反白熱影像。當吸氣時，多個當前熱影像THI的其中之一中鼻孔在視窗20呈現反黑熱影像。經統計後，可由表格三呈現實驗數據：

另外，多個連續熱影像的40%可設定為用來訓練YOLO模型資料鑑別這些特定區域及生成有關人體生理資訊的訓練集、多個連續熱影像的10%設定為用來驗證YOLO模型鑑別準確率的驗證集及多個連續熱影像的50%設定為用來測試YOLO模型鑑別準確率的測試集。

請參照圖4A、圖4E和圖13，鑑別熱影像中額頭區域的流程包括步驟S150、S170、步驟S180至步驟S187，稍後詳細說明如下。

根據一實施例，步驟S180，當偵測裝置100中的熱成像感應器104面向個體且偵測個體體溫時，主機200接收多個來自當前熱影像THI中有關額頭區域的溫度讀數。額頭區域可由主機200執行的即時目標偵測演算法來鑑別。其次，步驟S181，主機200可透過額頭定位、恆溫校正、和距離校正來補償溫度誤差。因此，步驟S183，主機200可判定量測的平均溫度是否在正常溫度範圍內，其中正常溫度範圍從34.7℃到37.5℃。若是，則生理資訊生成方法S100前進到步驟S185，若否，則生理資訊生成方法S100前進到步驟S187。步驟S185，記錄和儲存正常的生 理資訊。步驟S187，通知異常的生理資訊。

如圖13所示，YOLO可訓練來鑑別當前熱影像TH1中的額頭區域。後續，偵測裝置100用來偵測多個在額頭上多個不同的位置量測有關各個位置的溫度，以此計算該等溫度的平均值。主機200用來計算量測的溫度和標準的溫度之間的溫度誤差，藉此補償溫度誤差。正常溫度是使用紅外線溫度計量測目標的額頭區域內三個不同位置的溫度讀數，再平均這些溫度讀數而取得平均溫度。

紅外線溫度計是採用由美國食品藥品監督管理局(Food and Drug Administration，FDA)認證的溫度計。基於實驗數據，溫度誤差可呈現在以下的表格四，其中平均誤差為0.14℃。

另外，主機200可使用量測恆定溫度的溫度計來校正量測的溫度。偵測裝置100中的熱成像感應器104可持續量測和追蹤個體的額頭溫度，以便補償誤差。熱成像感應器104也可同時在相同的場域量測多個個體的體溫。主機200可在比較他們追蹤的溫度和周圍其他人的溫度後，校正目標對象的溫度誤差。

當主機200執行YOLO演算法時，YOLO可使用視窗20鑑別額頭區域內的多個不同位置，並透過熱像儀量測每一個位置上的溫度。其次，熱成像感應器104可在YOLO鑑別相同熱影像中的相同額頭區域後，使用視窗20量測每一熱影像THI中額頭區域的溫度。因此，處理器可透過軟體來補償所述誤差，也可透過硬體來修正所述誤差。例如，平均溫度在34.7℃以上且37.5℃以下。

綜上所述，根據上述實施例，本案臉部辨識系統及其生理資訊生成方法是以即時目標偵測演算法鑑別當前可見光影像中的臉部範圍時，若即時目標偵測演算法鑑別當前可見光影像中的臉部範圍不成，則即時目標偵測演算法鑑別當前熱影像中臉部範圍內的鼻孔區域，藉此根據鼻孔區域中偵測伴隨亮度變化而取得呼氣及吸氣的週期，判定該鼻孔區域為異常和生成該異常的生理資訊。

對於那些熟悉本領域的技術人員來說，可以對本公開內容進行各種修改和變更。本說明書和範例僅被視為示範性實施例，本公開內容的範圍由下列權利要求及其等效物指示。

S100:生理資訊生成方法 S110~S150:步驟

Claims (20)

1. 一種臉部辨識系統，包括： 一偵測裝置，包括： 一可見光感應器，位在一目標範圍內，並擷取一當前可見光影像；及 一熱成像感應器，位在該目標範圍內，並擷取一當前熱影像；以及 一主機，耦接該偵測裝置，並執行一即時目標偵測演算法，當該主機判定該當前熱影像中的一鼻孔區域為異常時，該主機通知一異常的生理資訊，其中 該即時目標偵測演算法用於鑑別該當前可見光影像的臉部範圍和該當前熱影像中的臉部範圍，若該即時目標偵測演算法鑑別該當前可見光影像中的該臉部範圍不成時，該即時目標偵測演算法鑑別該當前熱影像中的該臉部範圍內的該鼻孔區域，及偵測伴隨該鼻孔區域的鼻孔亮度的變化以取得該鼻孔區域呼氣及吸氣的週期，進而判定該鼻孔區域為異常而生成該異常的生理資訊。
2. 如請求項1所述的臉部辨識系統，其中該主機包括接收來自該鼻孔區域的該鼻孔亮度的變化偵測的多個溫度讀數；及比較該鼻孔區域在呼氣和吸氣之間的溫度差及一正常呼吸標準而判定呼吸資訊為異常。
3. 如請求項1所述的臉部辨識系統，其中該主機包括當該鼻孔區域的該鼻孔亮度在超過一正常呼吸標準的期間仍保持未變化時，判定呼吸資訊為異常。
4. 如請求項1所述的臉部辨識系統，其中該主機包括將該鼻孔亮度在亮、暗之間的切換次數轉換成個體每分鐘呼吸次數；比較該轉換的個體每分鐘呼吸次數及個體每分鐘呼吸次數的標準；及當該轉換的個體每分鐘呼吸次數低於或高於該個體每分鐘呼吸次數的標準時，判定呼吸資訊為異常。
5. 如請求項2所述的臉部辨識系統，其中，在偵測該當前熱影像中該鼻孔區域的該鼻孔亮度的變化在亮、暗之間切換的步驟之前，該即時目標偵測演算法用於將該當前熱影像分類成一鼻孔呼氣時的熱影像和一鼻孔吸氣時的熱影像。
6. 如請求項1所述的臉部辨識系統，其中，當該當前可見光影像的該臉部範圍可鑑別時，該主機用於鑑別一額頭區域的額頭亮度的變化，再將該額頭區域的該額頭亮度的變化轉換成一頻譜以提取至少一峰值頻率作為一心率資訊，以及根據該峰值頻率低於或高於一正常範圍來判定該心率資訊為異常。
7. 如請求項6所述的臉部辨識系統，其中，當該當前可見光影像的該臉部範圍可鑑別時，該主機用於計算該額頭區域內像素的亮度變化，及將該像素從時域轉換至頻域而產生該頻譜。
8. 如請求項1所述的臉部辨識系統，其中，當該當前可見光影像的該臉部範圍可鑑別時，該主機用於鑑別該當前可見光影像中的嘴巴區域和該鼻孔區域，再根據至少一覆蓋物覆蓋該嘴巴區域或該鼻孔區域，來判定呼吸資訊為異常。
9. 如請求項1所述的臉部辨識系統，其中，當該即時目標偵測演算法用於鑑別該當前可見光影像中的額頭區域時，該偵測裝置用於偵測該額頭區域內多個不同位置的溫度讀數；及該主機用於接收和平均該額頭區域內的該些溫度讀數，當該些溫度讀數的平均溫度低於或高於一溫度範圍時，該主機判定該平均溫度為異常。
10. 如請求項1所述的臉部辨識系統，其中該主機包括一處理器及耦接該處理器的一警告元件，當該處理器偵測伴隨該鼻孔區域的該鼻孔亮度的變化以取得該鼻孔區域呼氣及吸氣的該週期而生成該異常的該生理資訊時，致動該警告元件。
11. 如請求項10所述的臉部辨識系統，其中該主機還包括一通訊元件，耦接該處理器。
12. 一種生理資訊生成方法，使用一即時目標偵測演算法，並由一處理器執行，該生理資訊生成方法包括： 接收一或多個可見光影像和熱影像； 透過該處理器執行該即時目標偵測演算法以鑑別一當前可見光影像中的一臉部範圍，當該即時目標偵測演算法鑑別該臉部範圍不成時，鑑別一當前熱影像中的該臉部範圍內的一鼻孔區域； 偵測伴隨該鼻孔區域的鼻孔亮度的變化以取得該鼻孔區域呼氣及吸氣的週期，進而判定該鼻孔區域為異常而生成一異常的生理資訊；以及 通知異常的呼吸資訊。
13. 如請求項12所述的生理資訊生成方法，其中，在判定該當前熱影像中該鼻孔區域為異常的步驟之前，該生理資訊生成方法還包括：接收來自該鼻孔區域的該鼻孔亮度的變化的多個溫度讀數，比較該鼻孔區域在該呼氣及吸氣週期的溫度差和正常呼吸標準，以判定該當前熱影像中的該鼻孔區域為異常。
14. 如請求項12所述的生理資訊生成方法，其中，在判定該鼻孔區域的該鼻孔亮度變化為異常的步驟之前，該生理資訊生成方法還包括：當該鼻孔區域在超過一正常呼吸標準的期間保時未變化時，判定該鼻孔區域為異常。
15. 如請求項12所述的生理資訊生成方法，其中，在通知異常生理資訊的步驟之前，該生理資訊生成方法還包括：將該鼻孔區域的該鼻孔亮度的變化在亮、暗之間的切換次數轉換成個體每分鐘呼吸次數，比較該轉換的個體每分鐘呼吸次數和一個體每分鐘呼吸次數的標準，以及當該轉換的個體每分鐘呼吸次數低於或高於該個體每分鐘呼吸次數的標準，生成該呼吸資訊為異常。
16. 如請求項13所述的生理資訊生成方法，其中，在偵測該當前熱影像中該鼻孔區域的該鼻孔亮度的變化在亮、暗之間切換的步驟之前，該生理資訊生成方法還包括：以該即時目標偵測演算法將該當前熱影像分類成鼻孔呼氣時的熱影像和鼻孔吸氣時的熱影像。
17. 如請求項12所述的生理資訊生成方法，其中，當該當前可見光影像的該臉部範圍可鑑別時，該生理資訊生成方法還包括：鑑別一額頭區域的額頭亮度變化，將該額頭區域的該額頭亮度的變化轉換成一頻譜以提取至少一峰值頻率作為一心率資訊，以及根據該峰值頻率低於或高於一正常範圍來判定該心率資訊為異常。
18. 如請求項12所述的生理資訊生成方法，其中，當該可見光影像的該臉部範圍可鑑別時，該生理資訊生成方法還包括：鑑別該當前可見光影像中的嘴巴區域和該鼻孔區域，以及根據至少一覆蓋物覆蓋該嘴巴區域或該鼻孔區域，來判定呼吸資訊為異常。
19. 如請求項18所述的生理資訊生成方法，其中，當該當前可見光影像的該臉部範圍可鑑別時，該生理資訊生成方法還包括：計算額頭區域內像素的亮度變化，及將該像素從時域轉換至頻域而產生頻譜。
20. 如請求項12所述的生理資訊生成方法，其中，當該即時目標偵測演算法用於鑑別該當前可見光影像中的額頭區域時，該生理資訊生成方法還包括：偵測該額頭區域內多個不同位置的溫度讀數，接收和平均該額頭區域內的該些溫度讀數，以及當該些溫度讀數的平均溫度低於或高於一溫度範圍時，判定該平均溫度為異常。