TWI684959B - 口鼻異物遮蔽檢測方法及其系統 - Google Patents

Abstract

一種口鼻異物遮蔽檢測方法包含偵測步驟及警示步驟，偵測步驟包含透過影像擷取裝置擷取影像資料，並將影像資料進行臉部偵測而得到臉部影像，利用影像提取法提取臉部影像之嘴部區域以形成嘴部影像，再將嘴部影像輸入至異物遮蔽卷積神經網路以產生判斷結果，判斷結果分為無異物狀態及有異物狀態，警示步驟則根據判斷結果發出警示，當判斷結果為無異物狀態時，則進行偵測步驟，當判斷結果為有異物狀態時，則發出警示。藉此，透過將嘴部影像輸入至異物遮蔽卷積神經網路，以降低影像資料中的環境因素造成異物遮蔽檢測方法及其系統發生誤判。

Description

口鼻異物遮蔽檢測方法及其系統

本發明是關於一種口鼻異物遮蔽檢測方法及其系統，特別是關於一種透過卷積神經網路進行判斷之口鼻異物遮蔽檢測方法及其系統。

由於照護者不可能隨侍在側，為避免受照護者的口鼻因異物遮蔽而導致受照護者窒息，因此照護者往往會透過口鼻異物遮蔽檢測系統協助照護，以減輕負擔，然傳統的口鼻異物檢測系統會因為環境的光線或受照護者的衣物顏色而導致口鼻異物遮蔽檢測系統判斷異常。

有鑑於此，發展一種不會受到環境光線或受照護者的衣物顏色影響的口鼻因異物遮蔽檢測方法及其系統是非常重要的。

因此，本發明之目的在於提供一種不受環境因素影響的口鼻異物遮蔽檢測方法及其系統，其透過將嘴部影像輸入至異物遮蔽卷積神經網路進行判斷，以降低影像資料中 的環境因素造成口鼻異物遮蔽檢測方法及其系統所發生之誤判。

依據本發明的方法態樣之一實施方式提供一種口鼻異物遮蔽檢測方法，其包含偵測步驟及警示步驟。偵測步驟包含臉部偵測步驟、影像提取步驟及異物遮蔽判斷步驟。臉部偵測步驟係透過影像擷取裝置擷取影像資料，再將影像資料進行臉部偵測而得到臉部影像，影像提取步驟係利用影像提取法提取臉部影像之嘴部區域以形成嘴部影像，異物遮蔽判斷步驟係將嘴部影像輸入至異物遮蔽卷積神經網路以產生判斷結果，判斷結果分為無異物狀態或有異物狀態。警示步驟係根據判斷結果以發出警示。當判斷結果為無異物狀態時，則執行偵測步驟，當判斷結果為有異物狀態時，則發出警示。

藉此，本發明的口鼻異物遮蔽檢測方法利用將嘴部影像輸入至異物遮蔽卷積神經網路以降低影像資料中的環境因素所造成之檢測誤判。而且當異物遮蔽卷積神經網路判斷受照護者的口鼻為有異物狀態時，可發出警示提醒照護者盡速處理。

根據前段所述的口鼻異物遮蔽檢測方法，其更包含建模步驟。建模步驟包含資料庫建立步，驟、影像處理步驟及資料訓練步驟。資料庫建立步驟係建立異物遮蔽檢測資料庫，異物遮蔽檢測資料庫中包含複數異物遮蔽影像及複數正常影像，影像處理步驟係將各異物遮蔽影像及各正常影像進行影像處理以形成處理後異物遮蔽檢測影像並存入異物 遮蔽檢測資料庫，資料訓練步驟係利用異物遮蔽檢測資料庫中之異物遮蔽影像、正常影像及處理後異物遮蔽檢測影像訓練異物遮蔽卷積神經網路。

根據前段所述的口鼻異物遮蔽檢測方法，其中影像處理可為圖像翻轉、直方圖等化、對數轉換、伽瑪處理或拉普拉斯處理。

根據前段所述的口鼻異物遮蔽檢測方法，其中異物遮蔽卷積神經網路可包含六卷積層、三池化層、一隱藏層及一輸出層。

根據前段所述的口鼻異物遮蔽檢測方法，其中卷積層包含複數卷積核，其中卷積核之大小為3×3，且卷積核之步幅為1。

根據前段所述的口鼻異物遮蔽檢測方法，其中各卷積層使用填充法，以調整各卷積層輸出之複數特徵圖之特徵圖大小。

根據前段所述的口鼻異物遮蔽檢測方法，其中各池化層是採用最大池化法，各池化層可包含池化濾波器，池化濾波器之大小為2×2，且池化濾波器之步幅為2。

根據前段所述的口鼻異物遮蔽檢測方法，其中隱藏層包含全連接層，且全連接層之神經元數量為128。

根據前段所述的口鼻異物遮蔽檢測方法，其中影像提取法為將臉部影像執行九宮格化，以產生臉部九宮格影像，並提取臉部九宮格影像之下方三格的部分影像，以產生嘴部影像。

根據前段所述的口鼻異物遮蔽檢測方法，其中臉部偵測是採用多工聯集卷積神經網路，以偵測影像資料之臉部位置。

根據前段所述的口鼻異物遮蔽檢測方法，其中異物遮蔽卷積神經網路包含歸一化指數層，歸一化指數層包含影像狀態、嘴部影像、影像狀態參數、影像狀態機率以及影像狀態機率集合，其中y ⁽ⁱ⁾為影像狀態，k為影像狀態數量，x ⁽ⁱ⁾為嘴部影像，θ ₁,θ ₂...,θ _K 為影像狀態參數，p(y ⁽ⁱ⁾=k|x ⁽ⁱ⁾；θ)為影像狀態機率，h _θ (x ⁽ⁱ⁾)為影像狀態機率集合，T為轉置矩陣，歸一化指數層符合下式：

依據本發明的結構態樣之一實施方式提供一種口鼻異物遮蔽檢測系統，其包含影像擷取裝置、處理器及警示裝置。影像擷取裝置用以擷取影像資料。處理器包含臉部偵測模組、影像提取模組及異物遮蔽判斷模組。臉部偵測模組電性連接影像擷取裝置，臉部偵測模組透過影像擷取裝置擷取影像資料，並將影像資料進行臉部偵測而得到臉部影像。影像提取模組電性連接臉部偵測模組，影像提取模組利用影像提取法提取臉部影像之嘴部區域以形成嘴部影像。異物遮蔽判斷模組電性連接影像提取模組，異物遮蔽判斷模組將嘴部影像輸入至異物遮蔽卷積神經網路以產生判斷結果。警示裝置訊號連接處理器，警示裝置根據判斷結果以發 出警示，當判斷結果為無異物狀態時，則執行偵測步驟，當判斷結果為有異物狀態時，則發出警示。

藉此，本發明的口鼻異物遮蔽檢測系統利用異物遮蔽判斷模組將嘴部影像輸入至異物遮蔽卷積神經網路以降低影像資料中的環境因素所造成之檢測誤判。

根據前段所述的口鼻異物遮蔽檢測系統，其中影像擷取裝置為攝影機。

根據前段所述的口鼻異物遮蔽檢測系統，其中異物遮蔽卷積神經網路包含六卷積層、三池化層、一隱藏層及一輸出層。

根據前段所述的口鼻異物遮蔽檢測系統，其中臉部偵測是採用多工聯集卷積神經網路，以偵測影像資料之臉部位置。

s100‧‧‧口鼻異物遮蔽檢測方法

s110‧‧‧偵測步驟

s111‧‧‧臉部偵測步驟

s112‧‧‧影像提取步驟

s113‧‧‧異物遮蔽判斷步驟

s120‧‧‧警示步驟

s130‧‧‧建模步驟

s131‧‧‧資料建立步驟

s132‧‧‧影像處理步驟

s133‧‧‧資料訓練步驟

200‧‧‧異物遮蔽卷積神經網路架構

cl1‧‧‧第一卷積層

cl2‧‧‧第二卷積層

cl3‧‧‧第三卷積層

cl4‧‧‧第四卷積層

cl5‧‧‧第五卷積層

cl6‧‧‧第六卷積層

pl1‧‧‧第一池化層

pl2‧‧‧第二池化層

pl3‧‧‧第三池化層

hl‧‧‧隱藏層

op‧‧‧輸出層

sl‧‧‧歸一化指數層

300‧‧‧臉部九宮格影像

310‧‧‧嘴部影像

400‧‧‧口鼻異物遮蔽檢測系統

410‧‧‧影像擷取裝置

420‧‧‧處理器

421‧‧‧臉部偵測模組

422‧‧‧影像提取模組

423‧‧‧異物遮蔽判斷模組

430‧‧‧警示裝置

第1圖繪示依照本發明之一方法態樣之一實施例的口鼻異物遮蔽檢測方法之步驟流程圖；第2圖繪示依照本發明之一方法態樣之另一實施例的口鼻異物遮蔽檢測方法之步驟流程圖；第3圖繪示依照第1圖實施方式的口鼻異物遮蔽檢測方法之異物遮蔽卷積神經網路架構之示意圖；第4圖繪示依照第1圖實施方式的口鼻異物遮蔽檢測方法之臉部九宮格影像示意圖； 第5圖繪示依照第1圖實施方式的口鼻異物遮蔽檢測方法之嘴部影像示意圖；以及第6圖繪示依照本發明之一結構態樣之一實施方式的口鼻異物遮蔽檢測系統之方塊示意圖。

以下將參照圖式說明本發明之複數個實施例。為明確說明起見，許多實務上的細節將在以下敘述中一併說明。然而，應瞭解到，這些實務上的細節不應用以限制本發明。也就是說，在本發明部分實施例中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之；並且重複之元件將可能使用相同的編號表示之。

第1圖繪示依照本發明之一方法態樣之一實施方式的口鼻異物遮蔽檢測方法s100之步驟流程圖。由第1圖可知口鼻異物遮蔽檢測方法s100包含偵測步驟s110及警示步驟s120。

詳細來說，偵測步驟s110可包含臉部偵測步驟s111、影像提取步驟s112以及異物遮蔽判斷步驟s113。其中臉部偵測步驟s111透過影像擷取裝置410(標示於第6圖)擷取影像資料，並將影像資料進行臉部偵測而得到臉部影像；影像提取步驟s112利用影像提取法提取臉部影像之嘴部區域以形成嘴部影像310(標示於第5圖)；異物遮蔽判斷步驟s113將嘴部影像310輸入至異物遮蔽卷積神經網路以 產生判斷結果，判斷結果至少可分為無異物狀態或有異物狀態。警示步驟s120係根據判斷結果以發出警示。當判斷結果為無異物狀態時，則執行偵測步驟s110以持續監測受照護者的狀態，而當判斷結果為有異物狀態時，則發出警示以提示照護者盡速處理。藉此，透過將嘴部影像310輸入至異物遮蔽卷積神經網路進行判斷受照護者的口鼻是否遭到異物遮蔽，以降低異物遮蔽卷積神經網路受到影像資料中的環境因素影響而發生誤判，其中環境因素可為環境的光線或受照護者之衣物顏色。

第2圖繪示依照本發明之一方法態樣之另一實施方式的口鼻異物遮蔽檢測方法s100之步驟流程圖。口鼻異物遮蔽檢測方法s100包含偵測步驟s110、警示步驟s120及建模步驟s130。

請配合參照第1圖，在第2圖的實施方式中，偵測步驟s110及警示步驟s120均與第1圖中對應之步驟相同，不再贅述。特別的是，第2圖實施方式之口鼻異物遮蔽檢測方法s100可更包含建模步驟s130。建模步驟s130包含資料建立步驟s131、影像處理步驟s132以及資料訓練步驟s133，其中資料建立步驟s131建立異物遮蔽檢測資料庫，異物遮蔽檢測資料庫中可包含複數異物遮蔽影像及複數正常影像，其中複數遮蔽影像可包含棉被遮蔽影像、吐奶遮蔽影像等；影像處理步驟s132將各異物遮蔽影像及各正常影像進行影像處理以形成處理後異物遮蔽檢測影像，並存入異物遮蔽檢測資料庫；資料訓練步驟s133利用異物遮蔽檢測 資料庫中之異物遮蔽影像、正常影像及處理後異物遮蔽檢測影像訓練異物遮蔽卷積神經網路。藉此，透過將複數異物遮蔽影像及複數正常影像分別進行影像處理而得到處理後異物遮蔽檢測影像，以增加異物遮蔽卷積神經網路的訓練樣本，從而提升異物遮蔽卷積神經網路的判斷準確度。

為了增加異物遮蔽卷積神經網路的訓練樣本，上述影像處理步驟s132之影像處理的方法可為圖像翻轉、直方圖等化、對數轉換、伽瑪處理或拉普拉斯處理。將異物遮蔽影像進行影像處理的目的在於模擬各種情況下的照度及影像輪廓以訓練異物遮蔽卷積神經網路，其中直方圖等化能將異物遮蔽影像中的亮度重新均勻分布，使異物遮蔽影像中偏暗的部分變亮，而異物遮蔽影像中偏亮的部分變暗，對數轉換(Log)可將異物遮蔽影像中亮度較低的部分透過對數轉換以提升亮度，伽瑪處理(Gamma)則是透過調整伽瑪值(gamma)使異物遮蔽影像中較暗的部分變亮或使異物遮蔽影像中較亮的部分變暗，拉普拉斯處理(Laplace)則是利用二階偏微分的原理得到異物遮蔽影像的輪廓、形狀及分布狀況。簡單來說，將異物遮蔽影像進行直方圖等化、對數轉換、伽瑪處理及拉普拉斯處理，以及將所述異物遮蔽影像進行圖像翻轉後再進行直方圖等化、對數轉換、伽瑪處理及拉普拉斯處理後，可得到九張處理後異物遮蔽檢測影像，以提升異物遮蔽卷積神經網路的訓練樣本數，影像處理的方法雖揭露如上，但不以本揭示內容所揭露之實施方式為限。此外，請配合參照表一，表一所示為第一實施例與第一比較例之準確 度比較表，其中第一實施例之異物遮蔽卷積神經網路與第一比較例之異物遮蔽卷積神經網路具有相同的網路架構，其差異在於第一實施例之異物遮蔽卷積神經網路的訓練樣本數高於第一比較例之異物遮蔽卷積神經網路之訓練樣本數，其中第一實施例的異物遮蔽卷積神經網路之訓練樣本為異物遮蔽影像、正常影像及處理後異物遮蔽檢測影像，而第一比較例的異物遮蔽卷積神經網路之訓練樣本為異物遮部影像及正常影像，由表一可知，第一比較例的異物遮蔽卷積神經網路之準確度為84%，而第一實施例的異物遮蔽卷積神經網路之準確度為94%，也就是說，於建模步驟s130時，利用較多的訓練樣本訓練異物遮蔽影像可提升異物遮蔽卷積神經網路的準確度。

第3圖繪示依照第1圖實施方式的口鼻異物遮蔽檢測方法s100之異物遮蔽卷積神經網路架構200之示意圖，表二為第3圖實施方式之異物遮蔽卷積神經網路架構200之列表。請配合參照第3圖及表二，異物遮蔽卷積神經網路架構200可包含六卷積層(未標示)、三池化層(未標示)、一隱藏層hl及一輸出層op。卷積層包含第一卷積層cl1、第二卷積層cl2、第三卷積層cl3、第四卷積層cl4、第五卷積層cl5及第六卷積層cl6，其中第一卷積層cl1及第二卷積層cl2可為conv3_16，即第一卷積層cl1及第二卷積層 cl2的卷積核大小為3×3且第一卷積層cl1及第二卷積層cl2之輸出的特徵圖數量為16，第三卷積層cl3及第四卷積層cl4可為conv3_32，即第三卷積層cl3及第四卷積層cl4的卷積核大小為3×3且第三卷積層cl3及第四卷積層cl4之輸出的特徵圖數量32，第五卷積層cl5及第六卷積層cl6可為conv3_64，即第五卷積層cl5及第六卷積層cl6的卷積核大小為3×3且第五卷積層cl5及第六卷積層cl6之輸出的特徵圖數量為64。另外，各卷積層可包含複數卷積核以輸出複數張特徵圖，各卷積核之大小為3×3，各卷積核之步幅可為1，且各卷積層可採用填充法以調整卷積層輸出之特徵圖的特徵圖大小，詳細來說，影像資料的大小可為50×50，在執行卷積層的卷積運算前，可先利用填充法對影像資料進行填充以得到填充後的影像資料，填充後的影像資料的大小為52×52，填充法可為補零填充法，再針對填充後的影像資料進行卷積運算。池化層包含第一池化層pl1、第二池化層pl2及第三池化層pl3，各池化層可採用最大池化法，且各池化層包含池化濾波器，池化濾波器的大小為2×2且池化濾波器的步幅為2。隱藏層hl可包含第一全連接層，第一全連接層可為FC_128，即第一全連接層的神經元數量為128。輸出層op可包含第二全連接層，且第二全連接層可為FC_2，即第二全連接層之神經元數量為2。

異物遮蔽卷積神經網路架構200可更包含歸一化指數(softmax)層sl，歸一化指數層sl可用以計算有異物狀態的機率及無異物狀態的機率，以產生判斷結果。歸一化指數層sl層包含影像狀態、影像狀態數量、嘴部影像310、影像狀態參數、影像狀態機率以及影像狀態機率集合，其中y ⁽ⁱ⁾為影像狀態，k為影像狀態數量，x ⁽ⁱ⁾為嘴部影像310，θ為影像狀態參數之集合，θ ₁,θ ₂...,θ _K 為影像狀態參數，p(y ⁽ⁱ⁾=k|x ⁽ⁱ⁾；θ)為影像狀態機率，h _θ (x ⁽ⁱ⁾)為影像狀態機率集合，T為轉置矩陣，歸一化指數層sl符合下式：

藉此，異物遮蔽卷積神經網路可用以判斷嘴部影像310之各影像狀態的機率，其中影像狀態至少為有異物影像及無異物影像，當有異物影像的機率高於無異物影像的機率時，判斷結果為有異物狀態，當無異物影像的機率高於有異物影像的機率時，判斷結果為無異物狀態。

請配合參照表三及表四，表三所示為本發明之第二實施例之異物遮蔽卷積神經網路架構200與第二比較 例、第三比較例、第四比較例、第五比較例及第六比較例之異物遮蔽卷積神經網路架構之比較表，表四所示為第二實施例之異物遮蔽卷積神經網路架構200的準確度與第二比較例、第三比較例、第四比較例、第五比較例及第六比較例之異物遮蔽卷積神經網路架構的準確度之比較表。由表三及表四可知，第二實施例之異物遮蔽卷積神經網路架構200之準確度高於第二比較例、第三比較例、第四比較例、第五比較例及第六比較例之異物遮蔽卷積神經網路架構。

為了從影像資料中得到臉部影像，臉部偵測可採用多工聯集卷積神經網路(Multi-task Cascaded Convolutional Networks,MTCNN)，以偵測影像資料之臉部位置，多工聯集卷積神經網路包含建議網路(Proposal Net,P-Net)、縮小網路(Refine-Net,R-Net)及輸出網路(Output-Net,O-Net)，其中建議網路為透過建議網路卷積神經網路生成複數人臉框，縮小網路為透過縮小網路卷積神經網路排除非人臉框，而輸出網路為透過輸出網路卷積神經網路輸出人臉特徵。藉此，透過將影像資料輸入至多工聯集卷積神經網路中以得到臉部影像。

第4圖繪示依照第1圖實施方式的口鼻異物遮蔽檢測方法s100之臉部九宮格影像300示意圖，第5圖繪示依照第1圖實施方式的口鼻異物遮蔽檢測方法s100之嘴部影像310示意圖。請參照第4圖及第5圖，影像提取法可為將臉部影像執行九宮格化，以產生臉部九宮格影像300，並提取臉部九宮格影像300之下方三格的部分影像，以產生嘴部影像310，再將嘴部影像310輸入至異物遮蔽卷積神經網路以產生判斷結果，透過由影像資料中擷取出之嘴部影像310做為異物遮蔽卷積神經網路的輸入資料以降低環境因素的影響，可避免異物遮蔽卷積神經網路發生誤判。

由於人的臉孔大小會有差異，為避免嘴部影像310之大小具有差異而導致口鼻異物遮蔽檢測方法s100發生誤判，口鼻異物遮蔽檢測方法s100可更包含將嘴部影像310進行正規化處理，請配合參照表五，表五所示為第三實施例之異物遮蔽卷積神經網路之準確度與第七比較例、第八比較例、第九比較例及第十比較例之異物遮蔽卷積神經網路之準確度比較表，其中第三實施例之嘴部影像310正規化後的大小為50×50，第七比較例之嘴部影像正規化後大小為25×25，第八比較例之嘴部影像正規化後大小為75×75，第九比較例之嘴部影像正規化後大小為100×100，第十比較例之嘴部影像正規化後大小為150×150。由表五可知，第三實施例之異物遮蔽卷積神經網路具有較高的準確度，即嘴部影像310的大小為50×50時，異物遮蔽卷積神經網路的準確度較高。

第6圖繪示依照本發明之一結構態樣之一實施方式的口鼻異物遮蔽檢測系統400之方塊示意圖，由第6圖可知，口鼻異物遮蔽檢測系統400包含影像擷取裝置410、處理器420及警示裝置430。影像擷取裝置410可用以擷取影 像資料。處理器420電性連接影像擷取裝置410並包含臉部偵測模組421、影像提取模組422及異物遮蔽判斷模組423。臉部偵測模組421電性連接影像擷取裝置410，臉部偵測模組421透過影像擷取裝置410擷取影像資料，並將影像資料進行臉部偵測而得到臉部影像。影像提取模組422電性連接臉部偵測模組421，影像提取模組422利用影像提取法提取臉部影像之嘴部區域以形成嘴部影像310。異物遮蔽判斷模組423電性連接影像提取模組422，異物遮蔽判斷模組423將嘴部影像310輸入至異物遮蔽卷積神經網路以產生判斷結果。警示裝置430訊號連接處理器420，且警示裝置430可根據判斷結果以發出警示。當判斷結果為無異物狀態時，則執行偵測步驟s110，當判斷結果為有異物狀態時，則發出警示。

詳細來說，影像擷取裝置410可用以擷取受照護者之影像以產生影像資料，其中影像擷取裝置410可為攝影機。處理器420之臉部偵測模組421可針對影像資料進行臉部偵測以得到臉部影像，其中臉部偵測可採用多工聯集卷積神經網路，以偵測影像資料之臉部位置。處理器420之影像提取模組422可利用影像提取法提取臉部影像中的嘴部區域以形成嘴部影像310，影像提取法可為將臉部影像進行九宮格化以產生臉部九宮格影像300，並提取臉部九宮格影像300中下方三格影像以形成嘴部影像310。再者，處理器420之異物遮蔽判斷模組423可將嘴部影像310輸入至異物遮蔽卷積神經網路以產生判斷結果，判斷結果可分為有異物 狀態及無異物狀態。處理器420可為微處理器、中央處理器(CPU)或其他電子運算處理單元。警示裝置430根據判斷結果以發出警示。當判斷結果為無異物狀態時，影像擷取裝置410再次擷取受照護者之影像以持續監測受照護者之狀態，而當判斷結果為有異物狀態時，警示裝置430發出警示以提示照護者盡速處理。警示裝置430可為影像警示(如閃燈)或聲音警示(如蜂鳴器)。口鼻異物遮蔽檢測系統400可應用於電腦或手機。

為提升口鼻異物遮蔽檢測系統400之準確度，異物遮蔽卷積神經網路架構200可包含六卷積層、三池化層、隱藏層hl及輸出層op，而異物遮蔽卷積神經網路架構200與第3圖、表二、表三及表四相同，在此不另贅述。

綜上所述，本發明之口鼻異物遮蔽檢測方法及口鼻異物遮蔽檢測系統可提供下列優點：

(1)透過影像處理以增加異物遮蔽卷積神經網路的訓練樣本，以提升異物遮蔽卷積神經網路的準確度。

(2)透過將嘴部影像輸入至異物遮蔽卷積神經網路以避免影像資料中的環境因素導致異物遮蔽卷積神經網路誤判，藉以提升異物遮蔽卷積神經網路的準確度。

(3)口鼻異物遮蔽檢測方法及口鼻異物遮蔽檢測系統之異物遮蔽卷積神經網路架構具有較高之準確度。

雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明的精 神和範圍內，當可作各種的更動與潤飾，因此本發明的保護範圍當視後附的申請專利範圍所界定者為準。

s100‧‧‧口鼻異物遮蔽檢測方法

s110‧‧‧偵測步驟

s111‧‧‧臉部偵測步驟

s112‧‧‧影像提取步驟

s113‧‧‧異物遮蔽判斷步驟

s120‧‧‧警示步驟

Claims (15)

1. 一種口鼻異物遮蔽檢測方法，包含一偵測步驟，包含：一臉部偵測步驟，係透過一影像擷取裝置擷取一影像資料，將該影像資料進行一臉部偵測而得到一臉部影像；一影像提取步驟，係利用一影像提取法提取該臉部影像之一嘴部區域，以形成一嘴部影像；及一異物遮蔽判斷步驟，係將該嘴部影像輸入至一異物遮蔽卷積神經網路，以產生一判斷結果，該判斷結果分為一有異物狀態或一無異物狀態；以及一警示步驟，係根據該判斷結果以發出警示，當該判斷結果為該無異物狀態時，則執行該偵測步驟，當該判斷結果為該有異物狀態時，則發出警示。
2. 如申請專利範圍第1項所述之口鼻異物遮蔽檢測方法，更包含：一建模步驟，包含：一資料建立步驟，係建立一異物遮蔽檢測資料庫，該異物遮蔽檢測資料庫中包含複數異物遮蔽影像及複數正常影像； 一影像處理步驟，係將各該異物遮蔽影像及各該正常影像進行一影像處理，以形成一處理後異物遮蔽檢測影像，並存入該異物遮蔽檢測資料庫；及一資料訓練步驟，係利用該異物遮蔽檢測資料庫之該些異物遮蔽影像、該些正常影像及該些處理後異物遮蔽檢測影像訓練該異物遮蔽卷積神經網路。
3. 如申請專利範圍第2項所述之口鼻異物遮蔽檢測方法，其中該影像處理為一圖像翻轉、一直方圖等化、一對數轉換、一伽瑪處理或一拉普拉斯處理。
4. 如申請專利範圍第1項所述之口鼻異物遮蔽檢測方法，其中該異物遮蔽卷積神經網路包含六卷積層、三池化層、一隱藏層及一輸出層。
5. 如申請專利範圍第4項所述之口鼻異物遮蔽檢測方法，其中各該卷積層包含複數卷積核，其中各該卷積核之大小為3×3，且各該卷積核之步幅為1。
6. 如申請專利範圍第4項所述之口鼻異物遮蔽檢測方法，其中各該卷積層使用一填充法，以調整各該卷積層輸出之複數特徵圖之特徵圖大小。
7. 如申請專利範圍第4項所述之口鼻異物遮蔽檢測方法，其中各該池化層是採用最大池化法，各該池化層包含一池化濾波器，該池化濾波器之大小為2×2，且該池化濾波器之步幅為2。
8. 如申請專利範圍第4項所述之口鼻異物遮蔽檢測方法，其中該隱藏層包含一全連接層，且該全連接層之神經元數量為128。
9. 如申請專利範圍第1項所述之口鼻異物遮蔽檢測方法，其中該影像提取法為將該臉部影像執行九宮格化，以產生一臉部九宮格影像，並提取該臉部九宮格影像之下方三格的部分影像，以產生該嘴部影像。
10. 如申請專利範圍第1項所述之口鼻異物遮蔽檢測方法，其中該臉部偵測是採用一多工聯集卷積神經網路，以偵測該影像資料之一臉部位置。
11. 如申請專利範圍第1項所述之口鼻異物遮蔽檢測方法，其中，該異物遮蔽卷積神經網路包含一歸一化指數層，該歸一化指數層包含至少一影像狀態、該嘴部影像、至少一影 像狀態參數、至少一影像狀態機率及一影像狀態機率集合，其中y ⁽ⁱ⁾為該至少一影像狀態，k為影像狀態數量，x ⁽ⁱ⁾為該嘴部影像，θ ₁,θ ₂...,θ _K 為各該影像狀態參數，p(y ⁽ⁱ⁾=k|x ⁽ⁱ⁾；θ)為該影像狀態機率，h _θ (x ⁽ⁱ⁾)為該影像狀態機率集合，T為轉置矩陣，該歸一化指數層符合下式：

    
12. 一種口鼻異物遮蔽檢測系統，包含：一影像擷取裝置，用以擷取一影像資料；一處理器，電性連接該影像擷取裝置，並包含：一臉部偵測模組，電性連接該影像擷取裝置，該臉部偵測模組透過該影像擷取裝置擷取該影像資料，將該影像資料進行一臉部偵測而得到一臉部影像；一影像提取模組，電性連接該臉部偵測模組，該影像提取模組利用一影像提取法提取該臉部影像之一嘴部區域，以形成一嘴部影像；及一異物遮蔽判斷模組，電性連接該影像提取模組，該異物遮蔽判斷模組將該嘴部影像輸入至一異物遮蔽卷積神經網路以產生一判斷結果；以及 一警示裝置，訊號連接該處理器，該警示裝置根據該判斷結果以發出警示，當該判斷結果為該無異物狀態時，則執行一偵測步驟，當該判斷結果為該有異物狀態時，則發出警示。
13. 如申請專利範圍第12項所述之口鼻異物遮蔽檢測系統，其中該影像擷取裝置為攝影機。
14. 如申請專利範圍第12項所述之口鼻異物遮蔽檢測系統，其中該異物遮蔽卷積神經網路包含六卷積層、三池化層、一隱藏層及一輸出層。
15. 如申請專利範圍第12項所述之口鼻異物遮蔽檢測系統，其中該臉部偵測是採用一多工聯集卷積神經網路，以偵測該影像資料之一臉部位置。

Images