TWI689285B - 臉部對稱性檢測方法及其系統 - Google Patents

Abstract

一種臉部對稱性檢測方法包含偵測步驟及判斷步驟，偵測步驟包含前處理步驟、特徵提取步驟及特徵選取步驟。前處理步驟透過影像擷取裝置擷取影像資料並針對影像資料進行前處理以得到處理後影像。特徵提取步驟針對處理後影像進行特徵提取以產生影像特徵集合，影像特徵集合包含複數特徵對稱性指數及複數特徵區塊相似度。特徵選取步驟針對影像特徵集合進行特徵選取以形成判斷特徵集合，並將判斷特徵集合輸入至分類器。判斷步驟為分類器根據判斷特徵集合以產生判斷結果，判斷結果為不對稱狀態或正常狀態。藉此，可提升檢測方法及其系統的準確度。

Description

臉部對稱性檢測方法及其系統

本發明是關於一種臉部中風檢測方法及其系統，特別是關於一種透過複數特徵對稱性指數及複數特徵區塊相似度進行判斷的臉部中風檢測方法及其系統。

由於臉部中風最明顯的特徵為眼睛及嘴巴歪斜，然傳統的中風檢測的方法及其系統僅針對原始影像的臉部特徵做左右對稱性的判斷，因此傳統的中風檢測的方法及其系統的準確度較低，進而導致臉部中風的患者錯過最佳的就醫時間。

有鑑於此，發展一種具有高準確度的臉部中風檢測方法及其系統是非常重要的。

因此，本發明之目的在於提供一種臉部中風檢測方法及其系統，其透過複數特徵對稱性指數及複數特徵區塊相似度進行判斷，可提升臉部中風檢測方法及其系統的準確度，以避免臉部中風患者因誤判而延誤就醫時間。

依據本發明的方法態樣之一實施方式提供一種臉部中風檢測方法，其包含偵測步驟以及判斷步驟，其中偵測步驟包含前處理步驟、特徵提取步驟及特徵選取步驟。前處理步驟係透過影像擷取裝置擷取影像資料，並針對影像資料進行前處理以得到處理後影像。特徵提取步驟係針對處理後影像進行特徵提取以產生影像特徵集合，影像特徵集合包含複數特徵對稱性指數及複數特徵區塊相似度。特徵選取步驟係針對影像特徵集合進行特徵選取以形成判斷特徵集合，並將判斷特徵集合輸入至分類器。判斷步驟為分類器根據判斷特徵集合進行判斷以產生判斷結果，判斷結果分為中風狀態或正常狀態。

藉此，本發明的臉部中風檢測方法透過將從影像特徵集合中選取出之判斷特徵集合輸入至分類器，以提升臉部中風檢測方法的準確度。

根據前段所述的臉部中風檢測方法，其中前處理步驟包含臉部偵測步驟、正規化處理步驟、特徵點偵測步驟及校正處理步驟。臉部偵測步驟係針對影像資料進行臉部偵測並擷取內臉影像。正規化處理步驟係針對內臉影像進行正規化處理以得到正規化內臉影像。特徵點偵測步驟係針對正規化內臉影像進行特徵點偵測以得到特徵點內臉影像，特徵點內臉影像包含複數臉部特徵點。校正處理步驟係利用臉部特徵點中至少二者校正特徵點內臉影像以得到處理後影像。

根據前段所述的臉部中風檢測方法，其中特徵點偵測是採用基於迴歸樹以得到特徵點內臉影像，且臉部特徵點的數量可為60。

根據前段所述的臉部中風檢測方法，其中複數特徵對稱性指數包含嘴部斜率、嘴部面積比值、嘴部距離比值、兩眼距離比值及兩眼面積比值，而複數特徵區塊相似度包含眼部彩色相似性指數、眼部三值化相似性指數、複數眼部賈柏相似性指數、嘴部彩色相似性指數、嘴部三值化相似性指數及複數嘴部賈柏相似性指數。

根據前段所述的臉部中風檢測方法，其中分類器可為支援向量機、隨機森林或貝氏分類器。

根據前段所述的臉部中風檢測方法，其更包含建模步驟。建模步驟包含資料庫建立步驟、訓練前處理步驟、訓練特徵提取步驟及訓練特徵選取步驟。資料庫建立步驟係建立中風檢測資料庫，中風檢測資料庫中可包含複數中風影像及複數正常影像。訓練前處理步驟係針對各中風影像或各正常影像進行訓練前處理以形成處理後中風檢測影像。訓練特徵提取步驟係針對處理後中風檢測影像進行訓練特徵提取以產生中風檢測特徵集合，中風檢測特徵集合可包含複數訓練對稱性指數及複數訓練區塊相似度。訓練特徵選取步驟係針對中風檢測特徵集合進行訓練特徵選取以產生判斷特徵集合，並利用判斷特徵集合訓練分類器。

根據前段所述的臉部中風檢測方法，其中訓練特徵選取是使用隨機生成循序前進浮動演算法，以產生判斷特徵集合。

依據本發明的結構態樣之一實施方式提供一種臉部中風檢測系統，其包含影像擷取裝置以及處理器，其中處理 器包含前處理模組、特徵提取模組及特徵選取模組。前處理模組係針對影像資料進行前處理以得到處理後影像。特徵提取模組係針對處理後影像進行特徵提取以產生影像特徵集合。特徵選取模組係針對影像特徵集合進行特徵選取以形成判斷特徵集合，並將判斷特徵集合輸入至分類器以產生判斷結果。

藉此，本發明的臉部中風檢測系統之特徵選取模組透過將影像特徵集合中選取出之判斷特徵集合輸入至分類器，以提升臉部中風檢測系統的準確度。

根據前段所述的臉部中風檢測系統，其更包含中風檢測資料庫，中風檢測資料庫包含複數中風影像及複數正常影像。

根據前段所述的臉部中風檢測系統，其中影像擷取裝置可為攝影機，且分類器可為支援向量機、隨機森林或貝氏分類器。

s100‧‧‧臉部中風檢測方法

s110‧‧‧偵測步驟

s111‧‧‧前處理步驟

s1111‧‧‧臉部偵測步驟

s1112‧‧‧正規化處理步驟

s1113‧‧‧特徵點偵測步驟

s1114‧‧‧校正處理步驟

s112‧‧‧特徵提取步驟

s113‧‧‧特徵選取步驟

s120‧‧‧判斷步驟

s130‧‧‧建模步驟

s131‧‧‧資料庫建立步驟

s132‧‧‧訓練前處理步驟

s1321‧‧‧訓練臉部偵測步驟

314‧‧‧右嘴區塊

400‧‧‧臉部中風檢測系統

410‧‧‧影像擷取裝置

420‧‧‧處理器

421‧‧‧前處理模組

422‧‧‧特徵提取模組

423‧‧‧特徵選取模組

424‧‧‧分類器

430‧‧‧中風檢測資料庫

P ₂₈、P ₂₉、P ₃₃、P ₃₆、P ₃₇、P ₃₈、P ₃₉、P ₄₀、P ₄₁、P ₄₂、P ₄₃、P ₄₄、P ₄₅、P ₄₆、P ₄₇、P ₄₈、P ₄₉、P ₅₀、P ₅₁、P ₅₂、P ₅₃、P ₅₄、P ₅₅、P ₅₆、P ₅₇、P ₅₈、P ₅₉‧‧‧臉部特徵點

s1322‧‧‧訓練正規化處理步驟

s1323‧‧‧訓練特徵點偵測步驟

s1324‧‧‧訓練校正處理步驟

s133‧‧‧訓練特徵提取步驟

s134‧‧‧訓練特徵選取步驟

310a‧‧‧眼部區塊

310b‧‧‧嘴部區塊

311‧‧‧左眼區塊

312‧‧‧右眼區塊

313‧‧‧左嘴區塊

f ₁‧‧‧第一中心點

f ₂‧‧‧第二中心點

f ₃‧‧‧第三中心點

roi _LE ‧‧‧左眼區塊起始點

roi _RE ‧‧‧右眼區塊起始點

roi _LM ‧‧‧左嘴區塊起始點

roi _RM ‧‧‧右嘴區塊起始點

P _LE ‧‧‧左眼區塊基準點

P _RE ‧‧‧右眼區塊基準點

M‧‧‧垂直線

第1圖繪示依照本發明之一方法態樣之一實施方式的臉部中風檢測方法之步驟流程圖；第2圖繪示依照第1圖實施方式的臉部中風檢測方法之前處理步驟之步驟流程圖；第3圖繪示依照第1圖實施方式的臉部中風檢測方法之前處理步驟的特徵點偵測步驟之特徵點內臉影像的特徵點示意圖； 第4圖繪示依照第1圖實施方式的臉部中風檢測方法之前處理步驟的處理後影像之特徵點示意圖；第5圖繪示依照第4圖實施方式的臉部中風檢測方法之處理後影像的眼部區塊及嘴部區塊之特徵點示意圖；第6圖繪示依照本發明之一方法態樣之另一實施例的臉部中風檢測方法之步驟流程圖；第7圖繪示依照第6圖實施方式的臉部中風檢測方法之建模步驟的訓練前處理步驟之步驟流程圖；第8圖繪示依照本發明之一結構態樣之一實施方式的臉部中風檢測系統之方塊示意圖；以及第9圖繪示依照本發明之一結構態樣之另一實施方式的臉部中風檢測系統之方塊示意圖。

第1圖繪示依照本發明之一方法態樣之一實施方式的臉部中風檢測方法s100之步驟流程圖。由第1圖可知，臉部中風檢測方法s100包含偵測步驟s110以及判斷步驟s120。

詳細來說，偵測步驟s110包含前處理步驟s111、特徵提取步驟s112及特徵選取步驟s113，其中前處理步驟s111係透過影像擷取裝置410(標示於第8圖)擷取影像資料，並針對影像資料進行前處理以得到處理後影像，特徵提取步驟s112係針對處理後影像進行特徵提取以產生影像特徵集合，影像特徵集合包含複數特徵對稱性指數及複數 特徵區塊相似度，而特徵選取步驟s113係針對影像特徵集合進行特徵選取以形成判斷特徵集合，並將判斷特徵集合輸入至分類器424(標示於第8圖)。判斷步驟s120為分類器424根據判斷特徵集合進行判斷以產生判斷結果，判斷結果分為中風狀態或正常狀態。藉此，透過將特徵選取步驟s113所形成之判斷特徵集合輸入至分類器424，以提升臉部中風檢測方法s100的準確度。

第2圖繪示依照第1圖實施方式的臉部中風檢測方法s100之前處理步驟s111之步驟流程圖，第3圖繪示依照第1圖實施方式的臉部中風檢測方法s100之前處理步驟s111的特徵點偵測步驟s1113之特徵點內臉影像的特徵點示意圖，第4圖繪示依照第1圖實施方式的臉部中風檢測方法s100之前處理步驟s111的處理後影像之特徵點示意圖。由第2圖、第3圖及第4圖可知，前處理步驟s111可包含臉部偵測步驟s1111、正規化處理步驟s1112、特徵點偵測步驟s1113及校正處理步驟s1114。臉部偵測步驟s1111可針對影像資料進行臉部偵測以擷取內臉影像，其中內臉影像可為經過臉部偵測後所擷取下來的人臉影像，臉部偵測的方法可為方向梯度直方圖(Histogram of Oriented Gradient；HOG)。正規化處理步驟s1112係針對內臉影像進行正規化處理，以得到正規化內臉影像，其作用在於調整內臉影像之大小，而其正規化處理的方法可為相鄰內插法(Nearest Neighbor Interpolation)。特徵點偵測步驟s1113係針對正規化內臉影像進行特徵點偵測以得到特徵點內臉影像，特 徵點內臉影像包含複數臉部特徵點，其中特徵點偵測的方法可採用基於迴歸樹(Ensemble of Regression Trees；ERT)，且臉部特徵點的數量可為60。校正處理步驟s1114係利用臉部特徵點中至少二者校正特徵點內臉影像以得到處理後影像，其中校正的方式可為根據臉部特徵點中之左眼眼頭與右眼眼頭之斜率進行校正，即臉部特徵點(P ₃₉ ,P ₄₂)，首先計算兩眼眼頭斜率，再根據兩眼眼頭斜率計算特徵點內臉影像的校正旋轉角度以校正特徵點內臉影像，從而產生處理後影像。兩眼眼頭斜率的計算符合式(1)。

其中，EyeM為兩眼眼頭斜率，

為臉部特徵點P ₄₂之y軸座標，

為臉部特徵點P ₃₉之y軸座標，

為臉部特徵點P ₄₂之x軸座標，

為臉部特徵點P ₃₉之x軸座標。校正旋轉角度的計算符合式(2)。

其中angle為校正旋轉角度。必須一提的是，在後續段落中，

表示為臉部特徵點P _i 的x座標，

表示為臉部特徵點P _i 的y座標，其中i可為0-59，在往後段落中將不再贅述。

請配合參照第1圖、第3圖及第4圖，特徵提取步驟s112中所產生之影像特徵集合可包含複數特徵對稱性指數及複數特徵區塊相似度，其中複數特徵對稱性指數包含嘴部斜率、嘴部面積比值、嘴部距離比值、兩眼距離比值及兩眼面積比值，而複數特徵區塊相似度可包含眼部彩色相似性指數、眼部三值化相似性指數、複數眼部賈柏相似性指 數、嘴部彩色相似性指數、嘴部三值化相似性指數及複數嘴部賈柏相似性指數。

嘴部斜率可為臉部特徵點之兩嘴角特徵點的斜率，即臉部特徵點(P ₅₄ ,P ₄₈)，嘴部斜率的計算符合式(3)。

其中，MouthM為嘴部斜率。

嘴部面積比值可藉由左邊嘴部的面積及右邊嘴部的面積進行計算而產生，左邊嘴部的面積可透過臉部特徵點(P ₄₈ ,P ₄₉ ,P ₅₀ ,P ₅₁ ,P ₅₇ ,P ₅₈ ,P ₅₉)進行計算，而右邊嘴部的面積可透過臉部特徵點(P ₅₁ ,P ₅₂ ,P ₅₃ ,P ₅₄ ,P ₅₅ ,P ₅₆ ,P ₅₇)進行計算，左邊嘴部的面積計算符合式(4)。

其中，A _LM 為左邊嘴部的面積，右邊嘴部的面積計算符合式(5)。

其中，A _RM 為右邊嘴部的面積，而嘴部面積比值符合式(6)。

其中，ratio _MA 為嘴部面積比值。

嘴部距離比值可藉由臉部特徵點之左邊嘴部特徵點平均距離及右邊嘴部特徵點平均距離以產生嘴部距離比值，其中透過臉部特徵點(P ₄₉ ,P ₅₉)及臉部特徵點(P ₅₀ ,P ₅₈)可得出左邊嘴部特徵點平均距離，透過臉部特徵點(P ₅₂ ,P ₅₆)及 臉部特徵點(P ₅₃ ,P ₅₅)可得出右邊嘴部特徵點平均距離，左邊嘴部特徵點平均距離符合式(7)。

其中，D _LM 為左邊嘴部特徵點平均距離，D(P ₄₉ ,P ₅₉)為臉部特徵點(P ₄₉ ,P ₅₉)之歐基里德距離，D(P ₅₀ ,P ₅₈)為臉部特徵點(P ₅₀ ,P ₅₈)之歐基里德距離，右邊嘴部特徵點平均距離符合式(8)。

其中，D _RM 為右邊嘴部特徵點平均距離，D(P ₅₂ ,P ₅₆)為臉部特徵點(P ₅₂ ,P ₅₆)之歐基里德距離，D(P ₅₃ ,P ₅₅)為臉部特徵點(P ₅₃ ,P ₅₅)之歐基里德距離，而嘴部距離比值符合式(9)。

其中，ratio _MD 為嘴部距離比值。

為了計算兩眼距離比值可透過臉部特徵點(P ₃₇ ,P ₄₁)與臉部特徵點(P ₃₈ ,P ₄₀)得出左眼特徵點平均距離，及透過臉部特徵點(P ₄₃ ,P ₄₇)與臉部特徵點(P ₄₄ ,P ₄₆)得出右眼特徵點平均距離，藉以產生兩眼距離比值，左眼特徵點平均距離符合式(10)。

其中，D _LE 為左眼特徵點平均距離，D(P ₃₇ ,P ₄₁)為臉部特徵點(P ₃₇ ,P ₄₁)之歐基里德距離，D(P ₃₈ ,P ₄₀)為臉部特徵點(P ₃₈ ,P ₄₀)之歐基里德距離，右眼特徵點平均距離符合式(11)。

其中，D _RE 為右眼特徵點平均距離，D(P ₄₃ ,P ₄₇)為臉部特徵點(P ₄₃ ,P ₄₇)之歐基里德距離，D(P ₄₄ ,P ₄₆)為臉部特徵點(P ₄₄ ,P ₄₆)之歐基里德距離，而兩眼距離比值符合式(12)。

其中，ratio _ED 為兩眼距離比值。

兩眼面積比值可藉由左眼的面積及右眼的面積進行計算而產生，左眼的面積可透過臉部特徵點(P ₃₆ ,P ₃₇ ,P ₃₈ ,P ₃₉ ,P ₄₀ ,P ₄₁ )進行計算，右眼的面積可透過臉部特徵點(P ₄₂ ,P ₄₃ ,P ₄₄ ,P ₄₅ ,P ₄₆ ,P ₄₇ )計算，左眼的面積計算符合式(13)。

其中，A _LE 為左眼的面積，右眼的面積計算符合式(14)。

其中，A _RE 為右眼的面積，而兩眼面積比值符合式(15)。

其中，ratio _EA 為兩眼面積比值。

第5圖繪示依照第4圖實施方式的臉部中風檢測方法s100之處理後影像的眼部區塊310a及嘴部區塊310b之特徵點示意圖，由第5圖可知，處理後影像可更包含眼部區塊310a的影像及嘴部區塊310b的影像，其中眼部區塊310a可包含左眼區塊311及右眼區塊312，嘴部區塊310b可包含左嘴區塊313及右嘴區塊314。

複數特徵區塊相似度之眼部彩色相似性指數、眼部三值化相似性指數及複數眼部賈柏相似性指數可透過左眼區塊311的影像及右眼區塊312的影像進行計算，其中左眼區塊311可包含左眼區塊基準點P _LE 及左眼區塊起始點roi _LE ，右眼區塊312包含右眼區塊基準點P _RE 及右眼區塊起始點roi _RE 。為了得到左眼區塊311的影像及右眼區塊312的影像，首先，可藉由臉部特徵點P ₂₈的垂直線M找出臉部特徵點P ₃₉與垂直線M的最短距離之第一中心點f ₁及臉部特徵點P ₄₂與垂直線M的最短距離之第二中心點f ₂，左眼區塊基準點P _LE 的x座標可以第一中心點f ₁的x座標做為參考，右眼區塊基準點P _RE 之x座標可以第二中心點f ₂的x座標做為參考，而左眼區塊基準點P _LE 及右眼區塊基準點P _RE 的y座標可以臉部特徵點P ₂₉之y座標做為參考，因此左眼區塊基準點P _LE 的座標可表示為

，右眼區塊基準點P _RE 的座標可表示為

，並進而計算左眼區塊起始點roi _LE 及右眼區塊起始點roi _RE 之座標位置，左眼區塊311及右眼區塊312的大小可為35×35，因此左眼區塊起始點roi _LE 的座標可表示為

，右眼區塊起始點roi _RE 的座標可表示為

。

複數特徵區塊相似度之嘴部彩色相似性指數、嘴部三值化相似性指數及複數嘴部賈柏相似性指數可透過左嘴區塊313的影像及右嘴區塊314的影像進行計算，臉部特徵點P ₃₃及臉部特徵點P ₅₁的中心點可為第三中心點f ₃，左嘴區塊起始點roi _LM 及右嘴區塊起始點roi _RM 是以第三中心點 f ₃之y座標作為參考，左嘴區塊起始點roi _LM 之x座標的基準點為臉部特徵點P ₅₀的x座標，右嘴區塊起始點roi _RM 之x座標的基準點為臉部特徵點P ₅₂的x座標，左嘴區塊313及右嘴區塊314的大小可為20×20，因此左嘴區塊起始點roi _LM 的座標可表示為

，右嘴區塊起始點roi _RM 的座標可表 示為

。

眼部彩色相似性指數為將左眼區塊311的影像及右眼區塊312的影像進行相似度指標評估之結果，而嘴部彩色相似性指數為將左嘴區塊313的影像及右嘴區塊314的影像進行相似度指標評估之結果。相似度指標評估符合式(16)。

其中，G ₁、G ₂分別為進行相似度比較之二相似度指標評估的輸入影像，二相似度指標評估的輸入影像可分別為左眼區塊311的影像及右眼區塊312的影像，或者分別為左嘴區塊313的影像及右嘴區塊314的影像，SSIM(G ₁ ,G ₂)為相似度指標，C ₁、C ₂為常數，C ₁可為6.5025，C ₂可為58.5225，

為輸入影像G ₁之平均值、

為輸入影像G ₂之平均值，

為輸入影像G ₁之標準差，

為輸入影像G ₂之標準差，

為共變異數。值得一提的是，在計算相似度指標評估前，需先將二相似度指標評估的輸入影像中之一者進行左右映射後再進行運算。

眼部三值化相似性指數係分別將左眼區塊311的影像及右眼區塊312的影像進行局部三值化，再針對局部 三值化後之左眼區塊影像及局部三值化後之右眼區塊影像進行相似度指標評估，以產生眼部三值化相似性指數。嘴部三值化相似性指數係分別將左嘴區塊313的影像及右嘴區塊314的影像進行局部三值化，再針對局部三值化後之左嘴區塊影像及局部三值化後之右嘴區塊影像進行相似度指標評估，以產生嘴部三值化相似性指數。將眼部區塊310a及嘴部區塊310b進行局部三值化的目的在於可減少不同的光線所造成的影響，以有效的降低雜訊並增強紋理特徵，局部三值化的方法符合式(17)及式(18)。

且

其中，LTP _R,N (u,v)為局部三值化後之結果，R,N表示半徑為R的圓上有N個鄰近的像素值，n _c 表示中心點(u,v)的像素值，n _i 為第i個鄰近點的像素值，t為門檻值，門檻值可為5，所以區間將會處於[n _c -t,n _c +t]，s(x)為鄰近點進行局部三值化之後的結果。換句話說，當n _i 大於n _c +t時，則s(x)=1，而n _i 落於區間內時，則s(x)=0，當n _i 小於n _c -t時，則s(x)=-1。

眼部賈柏相似性指數為分別將左眼區塊311的影像及右眼區塊312的影像進行賈柏濾波器轉換而產生複數左眼部紋理特徵圖及複數右眼部紋理特徵圖，再針對複數左眼部紋理特徵圖及複數右眼部紋理特徵圖進行相似度指標評估之結果，其中左眼部紋理特徵圖係增強左眼區塊311的影像中不明顯之區域，而右眼部紋理特徵圖是增強右眼區 塊312的影像中不明顯之區域。嘴部賈柏相似性指數為分別將左嘴區塊313的影像及右嘴區塊314的影像進行賈柏濾波器轉換而形成複數左嘴部紋理特徵圖及複數右嘴部紋理特徵圖，再針對複數左嘴部紋理特徵圖及複數右嘴部紋理特徵圖進行相似度指標評估之結果，其中左嘴部紋理特徵圖是增強左嘴區塊313的影像中不明顯之區域，而右嘴部紋理特徵圖是增強右嘴區塊314的影像中不明顯之區域。賈柏濾波器轉換為將符合式(19)。

G _θ,s (x,y)=∫∫ φ _s,θ (x,y)．f(x,y)dxdy 式(19)。

其中，G _θ,s (x,y)為輸入影像經賈柏濾波器轉換後之輸出影像，φ _s,θ (x,y)為賈柏濾波器，s為尺度，s大於或等於0且小於或等於4。θ為角度，θ大於或等於0且小於或等於7，藉此可得到40種不同尺度與角度之賈柏濾波器。f(x,y)為賈柏濾波器轉換之輸入影像，其可為左眼區塊311的影像、右眼區塊312的影像、左嘴區塊313的影像或右嘴區塊314的影像。

請參考表一，由表一可知，影像特徵集合可包含嘴部斜率、兩眼面積比值、兩眼距離比值、眼部彩色相似性指數、眼部三值化相似性指數、眼部賈柏相似性指數、嘴部面積比值、嘴部距離比值、嘴部彩色相似性指數、嘴部三值化相似性指數及嘴部賈柏相似性指數，其中眼部賈柏相似性指數及嘴部賈柏相似性指數的數量可各為40，故影像特徵集合中的特徵數量可為89。臉部中風檢測方法s100之特徵選取步驟s113可針對影像特徵集合進行特徵選取以形成 判斷特徵集合，並將判斷特徵集合輸入至分類器424以產生判斷結果。分類器424可為支援向量機、隨機森林或貝氏分類器，且不同之分類器424可具有相異之判斷特徵集合。

第6圖繪示依照本發明之一方法態樣之另一實施例的臉部中風檢測方法s100之步驟流程圖。由第6圖可知，臉部中風檢測方法s100包含建模步驟s130、偵測步驟s110及判斷步驟s120。

請配合參照第1圖、第2圖、第3圖、第4圖及第5圖，在第6圖的實施方式中，偵測步驟s110及判斷步驟s120均與第1圖、第2圖、第3圖、第4圖及第5圖中對應之步驟相同，不再贅述。建模步驟s130包含資料庫建立步驟s131、 訓練前處理步驟s132、訓練特徵提取步驟s133及訓練特徵選取步驟s134，其中資料庫建立步驟s131係用以建立中風檢測資料庫430(標示於第9圖)，中風檢測資料庫430包含複數中風影像及複數正常影像，訓練前處理步驟s132係針對各中風影像或各正常影像進行訓練前處理以形成處理後中風檢測影像，訓練特徵提取步驟s133係針對處理後中風檢測影像進行訓練特徵提取以產生中風檢測特徵集合，中風檢測特徵集合包含複數訓練對稱性指數及複數訓練區塊相似度，訓練特徵提取的方法與特徵提取的方法相同，在此不另贅述，故中風檢測特徵集合中的特徵數量可為89，訓練特徵選取步驟s134係針對中風檢測特徵集合進行訓練特徵選取以產生判斷特徵集合，並利用判斷特徵集合訓練分類器424。

第7圖繪示依照第6圖實施方式的臉部中風檢測方法s100之建模步驟s130的訓練前處理步驟s132之步驟流程圖，訓練前處理步驟s132可包含訓練臉部偵測步驟s1321、訓練正規化處理步驟s1322、訓練特徵點偵測步驟s1323及訓練校正處理步驟s1324。訓練臉部偵測步驟s1321係針對中風影像或正常影像進行臉部偵測以擷取訓練內臉影像，臉部偵測方法與第2圖之臉部偵測步驟s1111相同，在此不另贅述。訓練正規化處理步驟s1322針對訓練內臉影像進行正規化處理，以得到訓練正規化內臉影像，其作用及正規化處理方法與第2圖之正規化處理步驟s1112相同，在此不另贅述。訓練特徵點偵測步驟s1323係針對訓練 正規化內臉影像進行特徵點偵測以得到訓練特徵點內臉影像，訓練特徵點內臉影像包含複數臉部特徵點，其特徵點偵測的方法與第2圖之特徵點偵測步驟s1113相同，在此不另贅述。訓練校正處理步驟s1324係利用臉部特徵點中至少二者校正訓練特徵點內臉影像以得到處理後中風檢測影像，校正的方式與第2圖之校正處理步驟s1114相同，在此不另贅述。

訓練特徵選取步驟s134之訓練特徵選取的方法可為隨機生成循序前進浮動演算法。訓練特徵選取步驟s134為將隨機生成循序前進浮動演算法與分類器424結合以從中風檢測特徵集合選取最適合分類器424的特徵集合以形成判斷特徵集合，並利用判斷特徵集合訓練分類器424。藉此，可降低判斷特徵集合中的特徵數量，以降低訓練前處理及分類器424的辨識時間。也就是說，臉部中風檢測方法s100可應用於不同的分類器424，且因應分類器424的不同，可選取出不同的判斷特徵集合，以使臉部中風檢測方法s100在應用於不同的分類器424時，皆可具有良好的準確度。隨機生成循序前進浮動演算法可包含產生步驟(Generation)、納入步驟(Inclusion)及排除步驟(Exclusion)。

產生步驟係從中風檢測特徵集合中隨機挑選k個特徵作為測試特徵集合，中風檢測特徵集合的特徵數量為D，且中風檢測特徵集合的特徵數量可為89，而中風檢測特 徵集合中未被挑選的D-k個特徵為待選特徵，由待選特徵所形成之集合為待選特徵集合。

納入步驟是從D-k個待選特徵中找出最佳測試特徵，並將最佳測試特徵納入測試特徵集合以形成最佳測試特徵集合，最佳測試特徵集合可使分類器424具有最高的準確度，納入步驟的運算符合式(20)。

其中，T ⁺為最佳測試特徵，A為中風檢測特徵集合，B _k 為測試特徵集合，k為維數，k可為2-15，α為待選特徵，J(B _k +α)為分類器424使用特徵集合B _k +α執行判斷時的準確度。值得一提的是，在執行完納入步驟的運算後，執行納入步驟的運算後之測試特徵集合B _k+1為未執行納入步驟的運算之測試特徵集合B _k 加上最佳測試特徵T ⁺所形成之集合，且測試特徵集合的維數會增加，即B _k+1 =B _k +T ⁺，且k=k+1，並執行排除步驟。

排除步驟是從測試特徵集合中找出最差測試特徵，使得測試特徵集合在捨去最差測試特徵後形成最佳測試特徵集合，排除步驟的運算符合式(21)。

其中，T ^-為最差測試特徵，β為測試特徵集合中一者，J(B _k -β)為分類器424使用特徵集合B _k -β執行判斷時的準確度。值得一提的是，在執行完排除步驟的運算後，當J(B _k -T ^-)大於J(B _k-1)時，則代表捨去T ^-準確度較高，B _k-1=B _k -T ^-，k=k-1，當T ^-與T ⁺的相同時，即代表納入步驟和排除步驟找出的特徵相同，則T ^-為捨棄特徵且 ψ=ψ+1，依序進行排除步驟，其中J(B _k -T ^-)為分類器424使用特徵集合B _k -T ^-執行判斷時的準確度，J(B _k-1)為分類器424使用特徵集合B _k-1執行判斷時的準確度，ψ為捨棄特徵的數量；當J(B _k -T ^-)小於J(B _k-1)時，代表特徵集合B _k -T ^-沒有比特徵集合B _k-1還要好。若維數k與捨棄特徵的數量ψ的和不等於中風檢測特徵集合的特徵數量D，即k+ψ≠D，則執行納入步驟，而當維數k與捨棄特徵的數量ψ的和等於中風檢測特徵集合的特徵數量D，即k+ψ=D時，B _k 即為判斷特徵集合。

請配合參照表二，表二所示為臉部中風檢測方法s100之分類器424為支援向量機時的準確度比較表，其中第一實施例為使用隨機生成循序前進浮動演算法訓練分類器424，第一比較例是將中風檢測特徵集合做為判斷特徵集合訓練分類器，第二比較例為使用循序前進浮動搜尋演算法訓練分類器。由表二可知，第一實施例之判斷特徵集合的特徵數量為53，且準確度可達100%，即利用隨機生成循序前進浮動演算法訓練分類器424可使臉部中風檢測方法s100具有較高的準確度且所需的特徵數量較少，也就是說第一實施例的訓練前處理及分類器424的辨識時間低於第一比較例及第二比較例。

請配合參照表三，表三所示為臉部中風檢測方法s100之分類器424係隨機森林時的準確度比較表，其中第二實施例為使用隨機生成循序前進浮動演算法訓練分類器424，第三比較例是將中風檢測特徵集合做為判斷特徵集合訓練分類器，第四比較例為使用循序前進浮動搜尋演算法訓練分類器。由表三可知，第二實施例的準確度高於第三比較例與第四比較例的準確度，也就是說利用隨機生成循序前進浮動演算法訓練分類器424可具有較高的準確度。

請配合參照表四，表四所示為臉部中風檢測方法s100之分類器424係貝氏分類器時的準確度比較表，其中第三實施例為使用隨機生成循序前進浮動演算法訓練分類器424，第五比較例是將中風檢測特徵集合做為判斷特徵集合訓練分類器，第六比較例為使用循序前進浮動搜尋演算法訓練分類器。由表四可知，第三實施例的準確度高於第五比較例之準確度，而第三實施例與第六比較例相同，然第三實施例所使用的特徵數量低於第六比較例的判斷特徵數量，因此第三實施例的分類器424的辨識時間可低於第六比較例。

表四

第8圖繪示依照本發明之一結構態樣之一實施方式的臉部中風檢測系統400之方塊示意圖。由第8圖可知，臉部中風檢測系統400包含影像擷取裝置410及處理器420，其中影像擷取裝置410可用以擷取影像資料，處理器420電性連接影像擷取裝置410。

詳細來說，處理器420可包含前處理模組421、特徵提取模組422、特徵選取模組423及分類器424。前處理模組421係針對影像資料進行前處理以得到處理後影像。特徵提取模組422係針對處理後影像進行特徵提取以產生影像特徵集合。特徵選取模組423係針對影像特徵集合進行特徵選取，以形成判斷特徵集合，並將判斷特徵集合輸入至分類器424以產生判斷結果，判斷結果可分為中風狀態或正常狀態。藉此，臉部中風檢測系統400可具有較高的判斷準確度，以避免發生誤判導致臉部中風患者延誤治療的黃金時間。

第9圖繪示依照本發明之一結構態樣之另一實施方式的臉部中風檢測系統400之方塊示意圖。由第9圖可知，臉部中風檢測系統400可包含影像擷取裝置410、處理器420及中風檢測資料庫430，其中中風檢測資料庫430可包含複數中風影像及複數正常影像。

請配合參照第6圖及第8圖，在第9圖的實施方式中，影像擷取裝置410及處理器420與第8圖中對應之結構相同，不再贅述。特別的是，處理器420之前處理模組421更可用以執行訓練前處理步驟s132，訓練前處理步驟s132係針對各中風影像或各正常影像進行訓練前處理，以形成處理後中風檢測影像，處理器420之特徵提取模組422更可用以執行訓練特徵提取步驟s133，訓練特徵提取步驟s133係針對處理後中風檢測影像進行訓練特徵提取以產生中風檢測特徵集合，處理器420之特徵選取模組423更可用以執行訓練特徵選取步驟s134，訓練特徵選取步驟s134針對中風檢測特徵集合進行訓練特徵選取，以產生判斷特徵集合，並利用判斷特徵集合訓練分類器424。

為方便使用者隨時進行臉部中風檢測及提升臉部中風檢測系統400的準確度，臉部中風檢測系統400可應用於電腦或手機，且臉部中風檢測系統400之影像擷取裝置410可為攝影機，及其使用之分類器424可為支援向量機、隨機森林或貝氏分類器，藉此，使用者可隨時進行臉部中風檢測並降低誤判的機率。

綜上所述，本發明之臉部中風檢測方法及臉部中風檢測系統可提供下列優點：

(1)透過針對影像特徵集合進行特徵選取所形成之判斷特徵集合，可提升臉部中風檢測方法及其系統的準確度。

(2)透過隨機生成循序前進浮動演算法結合分類器可找出具有最少特徵數量之判斷特徵集合，藉此，可減少判斷特徵集合中特徵的數量以減少分類器的辨識時間。

雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明的精神和範圍內，當可作各種的更動與潤飾，因此本發明的保護範圍當視後附的申請專利範圍所界定者為準。

s100:臉部中風檢測方法

s110:偵測步驟

s111:前處理步驟

s112:特徵提取步驟

s113:特徵選取步驟

s120:判斷步驟

Claims (9)

1. 一種臉部對稱性檢測方法，包含：一偵測步驟，包含：一前處理步驟，係透過一影像擷取裝置擷取一影像資料，並針對該影像資料進行一前處理，以得到一處理後影像；一特徵提取步驟，係針對該處理後影像進行一特徵提取，以產生一影像特徵集合，該影像特徵集合包含複數特徵對稱性指數及複數特徵區塊相似度，該複數特徵對稱性指數包含一嘴部斜率、一嘴部面積比值、一嘴部距離比值、一兩眼距離比值及一兩眼面積比值，該複數特徵區塊相似度包含一眼部彩色相似性指數、一眼部三值化相似性指數、複數眼部賈柏相似性指數、一嘴部彩色相似性指數、一嘴部三值化相似性指數及複數嘴部賈柏相似性指數；及一特徵選取步驟，係針對該影像特徵集合進行一特徵選取，以形成一判斷特徵集合，並將該判斷特徵集合輸入至一分類器；以及一判斷步驟，該分類器根據該判斷特徵集合以產生一判斷結果，該判斷結果分為一不對稱狀態或一正常狀態。
2. 如申請專利範圍第1項所述之臉部對稱性檢測方法，其中該前處理步驟包含：一臉部偵測步驟，係針對該影像資料進行一臉部偵測，並擷取一內臉影像；一正規化處理步驟，係針對該內臉影像進行該正規化處理，以得到一正規化內臉影像；一特徵點偵測步驟，係針對該正規化內臉影像進行一特徵點偵測，以得到一特徵點內臉影像，該特徵點內臉影像包含複數臉部特徵點；及一校正處理步驟，係利用該些臉部特徵點中至少二者校正該特徵點內臉影像，以得到該處理後影像。
3. 如申請專利範圍第2項所述之臉部對稱性檢測方法，其中該特徵點偵測是採用基於迴歸樹，以得到該特徵點內臉影像，且該臉部特徵點的數量為60。
4. 如申請專利範圍第1項所述之臉部對稱性檢測方法，其中該分類器為一支援向量機、一隨機森林或一貝氏分類器。
5. 如申請專利範圍第1項所述之臉部對稱性檢測方法，更包含： 一建模步驟，包含：一資料庫建立步驟，建立一臉部對稱性檢測資料庫，該臉部對稱性檢測資料庫包含複數臉部不對稱影像及複數正常影像；一訓練前處理步驟，係針對各該臉部不對稱影像或各該正常影像進行一訓練前處理，以形成一處理後臉部對稱性檢測影像；一訓練特徵提取步驟，針對該處理後臉部對稱性檢測影像進行一訓練特徵提取，以產生一臉部對稱性檢測特徵集合，該臉部對稱性檢測特徵集合包含複數訓練對稱性指數及複數訓練區塊相似度；及一訓練特徵選取步驟，針對該臉部對稱性檢測特徵集合進行一訓練特徵選取，以產生該判斷特徵集合，並利用該判斷特徵集合訓練該分類器。
6. 如申請專利範圍第5項所述之臉部對稱性檢測方法，其中該訓練特徵選取是使用隨機生成循序前進浮動演算法，以產生該判斷特徵集合。
7. 一種臉部對稱性檢測系統，包含：一影像擷取裝置，用以擷取一影像資料；以及 一處理器，電性連接該影像擷取裝置，並包含一分類器，且該處理器包含：一前處理模組，係針對該影像資料進行一前處理，以得到一處理後影像；一特徵提取模組，係針對該處理後影像進行一特徵提取，以產生一影像特徵集合，該影像特徵集合包含複數特徵對稱性指數及複數特徵區塊相似度，該複數特徵對稱性指數包含一嘴部斜率、一嘴部面積比值、一嘴部距離比值、一兩眼距離比值及一兩眼面積比值，該複數特徵區塊相似度包含一眼部彩色相似性指數、一眼部三值化相似性指數、複數眼部賈柏相似性指數、一嘴部彩色相似性指數、一嘴部三值化相似性指數及複數嘴部賈柏相似性指數；及一特徵選取模組，係針對該影像特徵集合進行一特徵選取，以形成一判斷特徵集合，並將該判斷特徵集合輸入至該分類器，以產生一判斷結果。
8. 如申請專利範圍第7項所述之臉部對稱性檢測系統，更包含一臉部對稱性檢測資料庫，該臉部對稱性檢測資料庫包含複數臉部不對稱影像及複數正常影像。
9. 如申請專利範圍第7項所述之臉部對稱性檢測系統，其中該影像擷取裝置為一攝影機，該分類器為一支援向量機、一隨機森林或一貝氏分類器。

Images