TWI603270B

TWI603270B - 偵測人員使用手持裝置的方法及裝置

Info

Publication number: TWI603270B
Application number: TW103143287A
Authority: TW
Inventors: 林伯聰; 許佳微
Original assignee: 由田新技股份有限公司
Priority date: 2014-12-11
Filing date: 2014-12-11
Publication date: 2017-10-21
Also published as: CN105989329A; TW201621758A

Description

偵測人員使用手持裝置的方法及裝置

本發明是有關於一種影像辨識技術，且特別是有關於一種利用影像辨識技術來偵測人員是否使用手持裝置的方法及裝置。

隨著行動通訊等技術的快速發展，人們可使用諸如功能型手機(feature phone)或智慧型手機(smart phone)等類型的手持裝置來進行通話、傳訊息甚至是網際網路(Internet)瀏覽。此外，隨著半導體製程、材料、機構設計等技術的進步，手持裝置逐漸具備符合輕薄設計以方便手持操作。因此，手持裝置所帶來的方便性，使得人們的生活逐漸無法脫離手持裝置。

然而，人們常常會在操作手持裝置時還會希望同時處理其他事物。當人們在同時處理多件事物的過程中，將會非常容易造成意外。例如，人們在駕駛交通工具同時還使用手持裝置，則會因為注意力分散等因素，而導致交通意外發生。因此，如何有效且即時地監控駕駛行為或其他不適合使用手持裝置的情況以避免意外發生，將會是此領域中極需解決之問題。

本發明提供一種偵測人員使用手持裝置的方法及裝置，其可透過影像辨識技術來判斷人員耳側是否出現特定手勢以及人員的嘴部動作，以準確且快速地判斷人員是否使用手持裝置。

本發明提供一種偵測人員使用手持裝置的方法，適用於電子裝置，此方法包括下列步驟。擷取人員的影像。分析影像，以獲得臉部物件。依據臉部物件決定耳側搜尋區域以及嘴部比對區域。藉由在耳側搜尋區域中搜尋是否存在特定手勢，同時在嘴部比對區域中比對所偵測的嘴部動作資訊是否符合預設嘴部資訊，來判斷人員是否正在使用手持裝置。

在本發明的一實施例中，上述藉由在耳側搜尋區域中搜尋是否存在特定手勢，同時在嘴部比對區域中比對所偵測的嘴部動作資訊是否符合預設嘴部資訊，來判斷人員是否正在使用手持裝置包括下列步驟。偵測耳側搜尋區域中是否出現人員的手部物件。取得手部物件的手指特徵點，其中手指特徵點包括前景邊緣以及梯度值。比對手指特徵點來判斷是否存在特定手勢。

在本發明的一實施例中，上述藉由在耳側搜尋區域中搜尋是否存在特定手勢，同時在嘴部比對區域中比對所偵測的嘴部動作資訊是否符合預設嘴部資訊，來判斷人員是否正在使用手持裝置之後，更包括下列步驟。在預設時間內，判斷人員正在使用手持裝置的手持事件數與偵測到臉部物件之臉部事件數的比例是否大於比例門檻值，以產生提示信號。

在本發明的一實施例中，上述的耳側搜尋區域包括第一耳朵區域以及第二耳朵區域，而依據臉部物件決定耳側搜尋區域以及嘴部比對區域包括下列步驟。依據臉部物件，偵測影像中的肩部特徵，而獲得肩部物件。依據肩部物件與臉部物件而決定耳側搜尋區域。過濾耳側搜尋區域中的干擾特徵，以偵測第一耳朵區域與第二耳朵區域。

在本發明的一實施例中，上述依據臉部物件決定耳側搜尋區域以及嘴部比對區域包括下列步驟。由臉部物件中辨識出鼻孔定位點。基於鼻孔定位點設定嘴部區域。對嘴部區域的影像進行影像處理以判斷人員之嘴部物件。依據嘴部物件在嘴部區域決定嘴部比對區域。

在本發明的一實施例中，上述藉由在耳側搜尋區域中搜尋是否存在特定手勢，同時在嘴部比對區域中比對嘴部動作是否符合預設嘴部資訊，來判斷人員是否正在使用手持裝置包括下列步驟。取得嘴部影像，且依據嘴部影像取得嘴部特徵。依據嘴部特徵來判斷嘴部影像為張開動作影像或閉合動作影像。在嘴部紀錄時間內，依序紀錄嘴部比對區域中所偵測到的所有閉合動作影像或張開動作影像並轉換成編碼序列。將編碼序列存入嘴部動作資訊。

在本發明的一實施例中，上述藉由在耳側搜尋區域中搜尋是否存在特定手勢，同時在嘴部比對區域中比對嘴部動作是否符合預設嘴部資訊，來判斷人員是否正在使用手持裝置包括下列步驟。在嘴部比對時間內，將嘴部比對區域的影像與樣板影像進行比對，以產生嘴型編碼。將嘴型編碼存入編碼序列中。將編碼序列存入嘴部動作資訊。

本發明提供一種偵測人員使用手持裝置的裝置。此裝置包括影像擷取單元、儲存單元以及處理單元。影像擷取單元擷取人員的影像。儲存單元儲存影像以及預設嘴部資訊。處理單元耦接至儲存單元以取得影像。處理單元分析影像，以獲得臉部物件。處理單元依據臉部物件決定耳側搜尋區域以及嘴部比對區域。並且，處理單元藉由在耳側搜尋區域中搜尋是否存在特定手勢，同時在嘴部比對區域中比對所偵測的嘴部動作資訊是否符合預設嘴部資訊，來判斷人員是否正在使用手持裝置。

在本發明的一實施例中，上述的處理單元偵測耳側搜尋區域中是否出現人員的手部物件，取得手部物件的手指特徵點，其中手指特徵點包括前景邊緣以及梯度值，且處理單元比對手指特徵點來判斷是否存在特定手勢。

在本發明的一實施例中，在預設時間內，上述的處理單元判斷人員正在使用手持裝置的手持事件數與偵測到臉部物件之臉部事件數的比例是否大於比例門檻值。

在本發明的一實施例中，上述的耳側搜尋區域包括第一耳朵區域以及第二耳朵區域。處理單元依據臉部物件，偵測影像中的肩部特徵，而獲得肩部物件。處理單元依據肩部物件與臉部物件而決定耳側搜尋區域，且過濾耳側搜尋區域中的干擾特徵，以偵測第一耳朵區域與第二耳朵區域。

在本發明的一實施例中，上述的處理單元由臉部物件中辨識出鼻孔定位點，基於鼻孔定位點設定嘴部搜尋區，對嘴部搜尋區的影像進行影像處理以判斷人員之嘴部物件，且依據嘴部物件在嘴部比對區域取出嘴部區域。

在本發明的一實施例中，上述的處理單元透過影像擷取單元取得嘴部影像，依據嘴部影像取得嘴部特徵，處理單元依據嘴部特徵來判斷嘴部影像為張開動作影像或閉合動作影像，在嘴部紀錄時間內，處理單元依序紀錄嘴部比對區域中所偵測到的所有閉合動作影像或張開動作影像並轉換成編碼序列，且將編碼序列存入嘴部動作資訊。

在本發明的一實施例中，在嘴部比對時間內，上述的處理單元將嘴部比對區域的影像與樣板影像進行比對，以產生嘴型編碼，並將嘴型編碼存入編碼序列中，且將編碼序列存入嘴部動作資訊。

基於上述，本發明實施例可藉由影像辨識技術監控人員的耳側搜尋區域是否出現特定手勢以及嘴部比對區域是否，再同時比對人員的嘴部動作是否符合預設嘴部資訊，以判斷人員是否正在使用手持裝置。藉此，便能有效且準確地判斷人員是否正使用手持裝置。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧裝置

110‧‧‧影像擷取單元

130‧‧‧儲存單元

150‧‧‧處理單元

170‧‧‧影像處理模組170

190‧‧‧警示單元

210‧‧‧臉部偵測模組

230‧‧‧耳側區域定義模組

240‧‧‧嘴部區域定義模組

250‧‧‧手勢判定模組

270‧‧‧嘴部比對模組

280‧‧‧事件數判斷模組

290‧‧‧警示模組

S310~S370、S410~S490、S510~S590、S610~S670、S710 ~S790‧‧‧步驟

400、500‧‧‧影像

410、510‧‧‧臉部物件

440、450、530、540‧‧‧耳側搜尋區域

520‧‧‧臉部區域

w1、w2、w3、w4‧‧‧寬度

h1、h2、h3、h4‧‧‧高度

圖1是依據本發明一實施例說明一種偵測人員使用手持裝置的裝置的方塊圖。

圖2是依照本發明一實施例的影像處理模組的方塊圖。

圖3是依據本發明一實施例說明一種偵測人員使用手持裝置的方法流程圖。

圖4是依據本發明一實施例的人員影像的示意圖。

圖5是依據本發明另一實施例的人員影像的示意圖。

圖6是依據本發明一實施例說明決定嘴部比對區域的流程範例。

圖7是依據本發明一實施例說明紀錄嘴部動作資訊的流程範例。

圖8是依據本發明另一實施例說明紀錄嘴部動作資訊的流程範例。

圖9是依據本發明一實施例說明偵測人員使用手持裝置的範例。

人們在抓取行動電話接聽來電時，通常會將手持裝置拿至臉側附近，以使手持裝置的聽筒朝向耳朵，並使手持裝置的話筒貼近嘴部。此外，由於使用習慣的不同，人們抓取手持裝置的手勢亦可能不同。據此，本發明實施例便是對人員進行影像監控，利用影像辨識技術來判斷人員的耳朵附近是否出現特定手勢，以判斷人員是否手拿行動電話。同時，本發明實施例更判斷人員的嘴部動作是否符合預設嘴部資訊，以判斷人員是否講話。藉此，便能有效且準確地判斷人員是否正使用手持裝置。以下提出符合本發明之精神的多個實施例，應用本實施例者可依其需求而對這些實施例進行適度調整，而不僅限於下述描述中的內容。

圖1是依據本發明一實施例說明一種偵測人員使用手持裝置的裝置的方塊圖。請參照圖1，裝置100包括影像擷取單元110、儲存單元130、處理單元150、影像處理模組170及警示單190。在一實施例中，裝置100例如是設置在行車內，以對駕駛人進行偵測。在其他實施例中，裝置100亦可以使用於自動櫃員機(Automated Teller Machine；ATM)等自動交易裝置，以判斷例如是操作者是否正接聽手持裝置而進行轉帳操作。需說明的是，應用本發明實施例者可依據需求，將裝置100設置於任何需要監控人員是否正使用手持裝置的電子裝置或場所，本發明實施例不加以限制。

影像擷取單元110可以是電荷耦合元件(Charge coupled device；CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors；CMOS)鏡頭、或紅外線鏡頭的攝影機、照相機。影像擷取單元110用以擷取人員的影像，並將影像存放至儲存單元130。

儲存單元130可以是任何型態的固定或可移動隨機存取記憶體(random access memory；RAM)、唯讀記憶體(read-only memory；ROM)、快閃記憶體(flash memory)、硬碟(Hard Disk Drive；HDD)或類似元件或上述元件的組合。

處理單元150耦接影像擷取單元110以及儲存單元130。處理單元150可以是中央處理器(Central Processing Unit；CPU)具有運算功能的晶片組、微處理器或微控制器(micro control unit；MCU)。本發明實施例處理單元150用以處理本實施例之裝置100的所有作業。處理單元150可透過影像擷取單元110取得影像，將影像儲存至儲存單元130中，並對影像進行影像處理之程序。

影像處理模組170例如是由電腦程式語言算撰寫的程式碼片段，上述程式碼片段例如可儲存於儲存單元130(或者另一儲存單元)中並且包括多個指令，藉由處理單元150來執行上述程式碼片段。另外，在其他實施例中，上述影像處理模組170亦可以是由一或多個電路所組成的硬體組件，在此並不限制。

圖2是依照本發明一實施例的影像處理模組170的方塊圖。請參照圖2，影像處理模組130包括臉部偵測模組210、耳側區域定義模組230、嘴部區域定義模組240、手勢判定模組250、嘴部比對模組270、事件數判斷模組280以及警示模組290。

例如，在影像擷取單元110擷取人員的影像後，影像處理模組170的臉部偵測模組210在影像中偵測臉部特徵，而獲得臉部物件。並且，耳側區域定義模組230、嘴部區域定義模組240依據臉部物件來分別決定耳側搜尋區域以及嘴部比對區域。之後，藉由手勢判定模組250在耳側搜尋區域中搜尋是否存在特定手勢，以及嘴部比對模組270在嘴部比對區域中比對是否符合預設嘴部資訊，來判斷人員是否正在使用手持裝置。事件數判斷模組280判斷判斷人員正在使用手持裝置的手持事件數與偵測到臉部物件之臉部事件數的比例是否大於比例門檻值。並且，警示模組290依據判斷結果來提示人員。各功能模組的詳細運作步驟待稍後實施例再進一步說明。

警示單元190例如是液晶顯示器(Liquid Crystal Display；LCD)、有機電激發光顯示器(Organic Electro-Luminescent Display；OELD)等顯示單元、具備至少一個發光二極體(Light Emitting Diode；LED)的燈光模組、包括振動馬達的振動模組及具備單聲道或立體聲揚聲器的揚聲器模組其中之一或其組合。

需說明的是，在其他實施例中，影像擷取單元110更具有照明元件，用以在光線不足時適時進行補光，以確保其所拍攝之影像的清晰度。

為幫助理解本發明之技術，以下舉一情境說明本發明的應用方式。假設本發明實施例的裝置100設置於汽車上，一位駕駛人員坐在駕駛位置(未方便說明，以下以「人員」作為此駕駛人員)，裝置100上的影像擷取單元110可對人員進行拍攝。影像擷取單元110所擷取到人員的影像可包含人員的臉部、肩部甚至是半身。此外，假設手持裝置放置於排檔附近或儀表板上方等任何位置。於此，底下將依據此情境搭配諸多實施例來進行詳細說明。

圖3是依據本發明一實施例說明一種偵測人員使用手持裝置(例如，功能型手機或智慧型手機等類型的行動電話)的方法流程圖。請參照圖2，本實施例的方法適用於圖1的裝置100及圖2的影像處理模組170。下文中，將搭配裝置100及影像處理模組170中的各項元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。

在步驟S310中，處理單元150透過影像擷取單元110擷取人員的影像。例如，影像擷取單元110可設定為每秒30張、45張等拍攝速度，或僅拍攝一張影像，以對人員進行拍攝，並將擷取的影像儲存在儲存單元130中。

在其他實施例中，處理單元150亦可事先設定啟動條件。當符合此啟動條件時，處理單元150可致能影像擷取單元110來擷取人員的影像。例如，可在影像擷取單元110的附近設置感測器(例如，紅外線感測器)。裝置10利用紅外線感測器來偵測是否有人員位於影像擷取單元110可擷取影像的範圍內。倘若紅外線感測器偵測到在影像擷取單元110前方有人員出現(即，符合啟動條件)時，處理單元150便會致能影像擷取單元110開始擷取影像。另外，裝置100上亦可設置啟動鈕，當此啟動鈕被按壓時，處理單元150才啟動影像擷取單元110。需說明的是，上述僅為舉例說明，本發明並不以此為限。

此外，影像處理模組170亦可對擷取到的影像序列執行背景濾除動作。例如，將第I張影像與第I+1張影像進行差分處理，I為正整數。之後，影像處理模組170可將濾除背影的影像轉為灰階影像，藉此進行後續動作。

接著，由處理單元150開始透過影像處理模組170對上述影像序列的各張影像進行影像處理程序。在步驟S330中，處理單元150透過臉部偵測模組210分析影像，以獲得臉部物件。具體而言，處理單元150分析一張或多張影像以取得臉部特徵(例如，眼睛、鼻子、嘴唇等)，再利用臉部特徵的比對，來找出影像中的臉部物件。例如，儲存單元130儲存有特徵資料庫。此特徵資料庫包括了臉部特徵樣本(pattern)。而臉部偵測模組210藉由與特徵資料庫中的樣本進行比對來獲得臉部物件。針對偵測臉部的技術，本發明實施例可利用AdaBoost演算法或其他人臉偵測演算法(例如，主成份分析(Principal Component Analysis；PCA)、獨立成份分析(Independent Component Analysis；ICA)等演算法或利用Haar-like特徵來進行人臉偵測動作等)來獲得各影像中的臉部物件。

而在其他實施例中，在偵測臉部特徵之前，臉部偵測模組210更可先執行背景濾除動作。例如，處理單元150可透過影像擷取單元110事先擷取至少一張未存在人像的背景影像，以在獲得人員的影像之後，臉部偵測模組210可將包括人像的影像與背景影像進行相減，如此便能夠將背景濾除。之後，臉部偵測模組210可將濾除背影的影像轉為灰階影像，再轉為二值化影像。此時，臉部偵測模組210便可於二值化影像中來偵測臉部特徵。

在步驟S350中，處理單元150依據臉部物件而透過耳側區域定義模組230及嘴部區域定義模組240分別決定至少一個耳側搜尋區域以及嘴部比對區域。

在一實施例中，耳側搜尋區域包括第一耳朵區域以及第二耳朵區域。耳側區域定義模組230依據臉部物件，偵測影像中的肩部特徵，而獲得肩部物件。耳側區域定義模組230依據肩部物件與臉部物件而決定耳側搜尋區域，且過濾耳側搜尋區域中的干擾特徵，以偵測第一耳朵區域與第二耳朵區域。在本實施例中，干擾特徵例如是眼鏡干擾特徵及頭髮干擾特徵至少其中之一。

具體而言，在上述欲偵測區域中，耳側區域定義模組230可在臉部物件下方處偵測是否有兩個水平對稱的邊緣特徵存在，而在臉部物件的兩側皆存在有對稱性邊緣特徵時，將此邊緣特徵視為肩部，以獲得肩部物件。

舉例而言，圖4是依據本發明一實施例的人員影像的示意圖。在本實施例中，假設偵測人員使用手持裝置的裝置100的儲存單元130具有特徵資料庫。此特徵資料庫包括臉部特徵樣本 (pattern)、肩部特徵樣本、干擾特徵樣本等樣本。而耳側區域定義模組230藉由比較擷取的影像與特徵資料庫中的樣本，來獲得臉部物件與肩部物件。

請參照圖4，耳側區域定義模組230可於影像400中獲得臉部物件410，並且根據臉部物件410的位置，往下搜尋而獲得肩部物件420、430。此時，耳側區域定義模組230便可依據臉部物件與肩部物件來獲得耳側搜尋區域440、450。例如，搜尋區域440例如是以臉部物件410在垂直軸上的最高點與肩部物件420在垂直軸上的最低點之間的距離作為高度h1，並以臉部物件410在水平軸上的基準點(例如，臉部物件410的1/3寬度處)與肩部物件420的邊緣處之間的距離作為寬度w1。而搜尋區域450例如是以臉部物件410在垂直軸上的最高點與肩部物件430在垂直軸上的最低點之間的距離作為高度h2，並以臉部物件410在水平軸上的另一基準點(例如，臉部物件410的2/3寬度處)與肩部物件430的邊緣處之間的距離作為寬度w2。需說明的是，上述高度h1與高度h2、寬度w1與寬度w2可以為相同亦可以為不同，端視人員雙肩的位置而決定。

或者，耳側區域定義模組230可在臉部物件下方處偵測人員是否穿著衣服，依據衣服的邊緣特徵決定肩部物件。例如，以衣服在水平軸上的最左端及最右端往垂直軸上方延伸的最高點的水平對稱邊緣特徵，來作為肩部物件。

在另一實施例中，耳側區域定義模組230亦可僅依據臉部物件的長度或寬度，來決定耳側位置區域。舉例而言，圖5是依據本發明另一實施例的人員影像的示意圖。請參照圖5，耳側區域定義模組230可於影像500中獲得臉部物件510，並且根據臉部物件510在水平軸上的最右端以及最左端之間寬度(或臉部物件在垂直軸上的最高點以及最低點之間的長度)決定一個臉部區域520。此臉部區域520例如是長寬皆為寬度w3的正方形區域。耳側搜尋區域530例如是以臉部區域520在垂直軸上的最高點往下高度h3(例如，寬度w3的四分之一長度)處作為耳側搜尋區域530在垂直軸上的最高點，並以高度h4(例如，與寬度w3相同的長度)作為耳側搜尋區域530在垂直軸上的長度，再以臉部區域520在水平軸上的最左端作為耳側搜尋區域530在水平軸上的最右端，並在臉部區域520在水平軸上的最左端向左方水平延伸寬度w4(例如，0.7倍的寬度w3長度)處作為耳側搜尋區域530在水平軸上的最左端。而耳側搜尋區域540則對稱於耳側搜尋區域530，依據耳側搜尋區域530類推，便能決定耳側搜尋區域540的邊界，於此不再贅述。需說明的是，寬度w3、w4以及高度h3、h4之間長度比例可依據設計需求來變更，本發明實施例不限於此。

此外，在其他一些實施例中，耳側區域定義模組230亦可以僅決定一個耳側搜尋區域。例如，以圖4中臉部物件410在垂直軸上的最高點與肩部物件420、430在垂直軸上的最低點之間的距離作為耳側搜尋區域的高度。並且，以肩部物件420、430在水平軸上的寬度(肩寬)作為耳側搜尋區域的寬度。

另一方面，除了依據臉部物件決定耳側搜尋區域之外，在另一實施例中，嘴部區域定義模組240由鼻孔物件中辨識出鼻孔定位點，基於鼻孔定位點設定嘴部區域，對嘴部區域的影像進行影像處理以判斷人員之嘴部物件，且依據嘴部物件在嘴部區域決定嘴部比對區域。

舉例而言，圖6是依據本發明一實施例說明決定嘴部比對區域的流程範例。嘴部區域定義模組240可基於鼻孔位置資訊設定嘴部區域，藉由例如是嘴唇顏色與皮膚、牙齒顏色深淺不同的差異，透過調整嘴部區域內的對比而獲得加強影像(步驟S610)，並進一步對此加強影像進行去雜點處理。例如，透過像素矩陣將雜點濾除。嘴部區域定義模組240便可獲得相對於加強影像更清晰的去雜點影像(步驟S630)。接著，嘴部區域定義模組240根據影像中某個顏色與另一個顏色的對比程度進行邊緣銳利化處理，以決定此去雜點影像中的邊緣，因而獲得銳化影像(步驟S550)。由於影像的複雜程度將決定影像占用的記憶容量，為提高比對的效能，嘴部區域定義模組240更對此銳化影像進行二值化處理。例如，嘴部區域定義模組240先設定門檻值，並將影像中的像素分為超出或低於此門檻值的二種數值，而可獲得二值化影像(步驟S670)。最後，嘴部區域定義模組240再次對二值化影像進行邊緣銳利化處理。此時，二值化影像中人員的嘴唇部位已相當明顯，嘴部區域定義模組240便可於嘴部區域中取出嘴部比對區域(步驟S690)。

需說明的是，應用本發明實施例者，可以依據設計需求來決定耳側位置區域以及嘴部比對區域，例如針對不同人員的臉部特徵(例如，臉寬、耳朵大小、嘴唇寬度等)進行調整，本發明並不以此為限。

在步驟S370中，處理單元150藉由手勢判定模組250在耳側搜尋區域中搜尋是否存在特定手勢，同時嘴部比對模組270在嘴部比對區域中比對所偵測的嘴部動作資訊是否符合預設嘴部資訊，來判斷人員是否正在使用手持裝置。

在一實施例中，手勢判定模組250偵測耳側搜尋區域中是否出現人員的手部物件，取得手部物件的手指特徵點，其中手指特徵點包括前景邊緣以及梯度值。接著，手勢判定模組250比對手指特徵點來判斷是否存在特定手勢。

舉例而言，手勢判定模組250將當前影像與參考影像(可以是先前影像，例如此當前影像的前一幅影像或前N幅影像，亦或是預先設定的任一幅影像)兩者各自的耳側搜尋區域(例如，圖4的興趣區域R)執行影像相減演算法，以獲得前景影像。手勢判定模組250並藉由參考影像的耳側搜尋區域，濾除前景影像的雜訊，以獲得前景邊緣。或者，手勢判定模組250可利用邊緣偵測演算法來計算前景邊緣。藉此，手勢判定模組250便可依據前景影像或前景邊緣來判斷是否耳側搜尋區域是否出現手部物件。手勢判定模組250並利用手指特徵(例如，指甲、手指關節、指距等)來決定手部物件的前景邊緣。手勢判定模組250亦可以手腕的角度或手勢區塊的面積大小等特徵來作為前景邊緣的判斷。

此外，手勢判定模組250更計算耳側搜尋區域上的影像的灰階值函數，依據灰階變化(例如，階梯狀變化(step edge)或直線狀變化(line edge))來計算手部物件的梯度值。

在一些實施例中，儲存單元130例如可預先儲存手部物件的膚色樣本，手勢判定模組250更可依據顏色來判定手部物件。例如，手勢判定模組250可依據臉部物件或膚色樣本決定手部物件的膚色值，並找尋在影像中臉部物件以外的其他區域是否出現相同或相近色彩值，來認定手部物件。或者，手勢判定模組250更可依據影像畫面中膚色深淺變化來決定手部物件的邊緣。

在本實施例中，儲存單元130亦可儲存數個對應於特定手勢的手勢樣本，這些手勢樣本中具有各自對應的預設前景邊緣以及預設梯度值。手勢判定模組250便可將預設前景邊緣以及預設梯度值來與上述影像辨識所決定的前景邊緣以及梯度值進行比較，若比對符合，則判斷耳側搜尋區域中的手部物件符合特定手勢。接著，若在預定的時間內(例如，1秒、2秒等)所偵測到的序列影像上，在各影像上的上述耳側搜尋區域中都偵測到特定手勢的特徵時，即可確認人員的手拿手持裝置的狀況。

需說明的是，在一些實施例中，手勢判定模組250更可依據兩個耳側區域(例如，第一耳朵區域以及第二耳朵區域)所偵測到的特定手勢來決定人員的手拿手持裝置的狀況。例如，手勢判定模組250在第一耳朵區域與第二耳朵區域其中之一搜尋到特定手勢時，將判定人員正手拿手持裝置。手勢判定模組250在第一耳朵區域與第二耳朵區域同時搜尋到特定手勢時，則判定人員手拿手持裝置。在第一耳朵區域與第二耳朵區域並不存在特定手勢時，手勢判定模組250亦判定人員並未使用手拿手持裝置。

在手勢判定模組250搜尋特定手勢的過程中，亦可同時或相距特定時間間距(例如，1秒、2秒等)下透過嘴部比對模組270來比對在嘴部比對區域中所偵測的嘴部動作資訊是否符合預設嘴部資訊。例如，預設嘴部資訊是編碼序列、影像變動率或像素變動率等。在一個比對時間(例如，2秒、5秒等)內，嘴部比對模組270可比對影像序列所取得的嘴部動作資訊是否符合預設的編碼序列、影像變動率或像素變動率。若嘴部比對模組270判斷嘴部動作資訊是否符合預設嘴部資訊，則判定人員正在使用手持裝置。反之，則判斷人員並未使用手持裝置。

需說明的是，在比對在嘴部比對區域中所偵測的嘴部動作資訊是否符合預設嘴部資訊之前，嘴部比對模組270更先紀錄嘴部動作資訊以便後續比對。以下將舉實施例說明。

在一實施例中，嘴部比對模組270取得嘴部影像，且依據嘴部影像取得嘴部特徵，依據嘴部特徵來判斷嘴部影像為張開動作影像或閉合動作影像。在嘴部紀錄時間內，嘴部比對模組270依序紀錄嘴部比對區域中所偵測到的所有閉合動作影像或張開動作影像並轉換成編碼序列，且將編碼序列存入嘴部動作資訊。

舉例而言，圖7是依據本發明一實施例說明紀錄嘴部動作資訊的流程範例。請參照圖7，嘴部比對模組270在嘴部比對區域中取出數個嘴部特徵(步驟S710)，例如，嘴部特徵包括上唇部位以及下唇部位。具體而言，嘴部比對模組270取出嘴部特徵的方法，可藉由找出嘴部區域的左右兩側邊界，定義出左側嘴角與右側嘴角。同樣的，嘴部比對模組270藉由找出嘴部比對區域的上下兩側的輪廓線，並經由左側嘴角與右側嘴角的連線辨識出上唇部位與下唇部位。接著，嘴部比對模組270將上唇部位與下唇部位的間距與間隙值(例如，0.5公分、1公分等)進行比較(步驟S720)。判斷上唇部位與下唇部位間的間距是否大於間隙值(步驟S730)。若上唇部位與下唇部位間的間距大於間隙值，則代表使用者的嘴巴是張開的，並藉以獲得一張張開動作影像(步驟S740)。反之，則嘴部比對模組270獲得一張閉合動作影像(步驟S750)。

嘴部比對模組270依據閉合動作影像或張開動作影像產生編碼，並將編碼存入編碼序列中(例如，第N欄，N為正整數)(步驟S760)。編碼序列可以是二元編碼，或以摩斯電碼的方式編碼。例如，將張開動作影像定義為1，而閉合動作影像定義為0。若人員張開嘴巴兩個單位時間後再閉起嘴巴兩個單位時間，則編碼序列即為(1,1,0,0)。接著，嘴部比對模組270判斷是否達到嘴部紀錄時間(步驟S770)。例如，嘴部比對模組270在步驟S710時啟動計時器，並在步驟S770判斷計時器是否到達嘴部紀錄時間。若嘴部比對模組270判斷計時器尚未達到嘴部紀錄時間，則使N=N+1(步驟S780)，並返回步驟S710繼續分辨嘴部的開闔狀況。並且，下次產生的編碼將會儲存至例如是編碼序列中的下一欄位(例如，第N+1欄)。其中，每一個第N欄位均代表一個單位時間(例如，200毫秒、500毫秒等)，儲存於欄位中的編碼則代表一個單位時間所紀錄的所有張開動作影像以及閉合動作影像的順序。

需說明的是，此範例中可在步驟S710至S780的流程中加入延遲時間(例如，100毫秒、200毫秒等)，使步驟S710至S780流程所耗費的時間等於單位時間，以使每個第N欄位代表一個單位時間。最後，嘴部比對模組270將編碼序列存入嘴部動作資訊(步驟S790)。

而在另一實施例中，在嘴部比對時間內，嘴部比對模組270將嘴部比對區域的影像與樣板影像進行比對，以產生嘴型編碼。嘴部比對模組270將嘴型編碼存入編碼序列中，且將編碼序列存入嘴部動作資訊。

舉例而言，圖8是依據本發明另一實施例說明紀錄嘴部動作資訊的流程範例。在本實施例中，嘴部動作資訊亦可代表多種嘴型之組合序列。請參照圖8，嘴部比對模組270將嘴部比對區域的影像與儲存單元130中的數個樣板(pattern)影像進行比對(步驟S810)。樣板影像可以是具有辨識性的特定嘴部動作影像或唇語等，例如，朗讀日文五十音的「、、、、」、中文的「喂、您好、請說、我是」或英文的「hello」等的嘴部各處肌肉呈現的動作。這些樣板影像分別具有一定的變動彈性，即便人員臉部影像中的嘴型與樣板影像具有些微的差異，只要差異在變動彈性可容許的範圍內，嘴部比對模組270依然可辨識為與樣板影像相符。

接著，嘴部比對模組270判斷嘴部比對區域的影像相符於樣板影像(步驟S820)。若比對結果為相符，則嘴部比對模組270產生嘴型編碼，並將嘴型編碼存入編碼序列中(例如，第M欄，M為正整數)(步驟S830)。若比對結果為不符合，則處理單元150將M=M+1(步驟S840)，並返回步驟S810。接著，嘴部比對模組270判斷是否達到嘴部比對時間(步驟S850)。例如，嘴部比對模組270在步驟S810時啟動計時器，並在步驟S840判斷計時器是否到達嘴部比對時間。當計時器到達嘴部比對時間後，嘴部比對模組270將編碼序列存入嘴部動作資訊(步驟S870)。若嘴部比對模組270判斷計時器尚未達到嘴部比對時間，則使M=M+1(步驟S860)，並返回步驟S810繼續將嘴部比對區域的影像與樣板影像進行比對。

此外，在事件數判斷模組280判定人員是否正在使用手持裝置之前，更依據例如是手指特徵點的數量以及出現使用手持裝置的事件數來避免誤判狀況。以下舉實施例說明。

在一實施例中，在預設時間內，事件數判斷模組280判斷人員正在使用手持裝置的手持事件數與偵測到臉部物件之臉部事件數的比例是否大於比例門檻值。具體而言，事件數判斷模組280先判斷手持裝置偵測功能是否已經啟動一段預設時間(例如，5秒、10秒等)，再統計這段偵測時間內偵測到臉部物件(事件F)的臉部事件數N_F以及耳側搜尋區域出現特定手勢且同時偵測到嘴部動作資訊符合預設嘴部資訊(事件P)的手持事件數N_P。接著，事件數判斷模組280計算臉部事件數N_P與手持事件數N_F之比值，並判斷此比值是否大於門檻值(例如，0.6、0.7等)，以認定人員是否正在使用手持裝置。也就是說，事件數判斷模組280要偵測到人臉物件的前提下，才可能有偵測到事件P。

此外，在另一實施例中，在上述預設時間內，事件數判斷模組280更判斷偵測到臉部物件之臉部事件數N_P是否大於事件門檻值(例如，10次、15次等)。需說明的是，當上述條件未符合(例如，臉部事件數N_P與手持事件數N_F之比值未大於門檻值或臉部事件數N_P未大於事件門檻值)時，則事件數判斷模組280待下個預設時間到達時，再次判斷上述條件是否符合。

此外，當處理單元150透過嘴部區域定義模組240、嘴部比對模組270及事件數判斷模組280判斷人員正使用手持裝置時，更透過警示模組290啟動警示程序。具體而言，處理單元150產生提示信號至警示模組290，警示模組便可依據提示信號來警示人員。例如，警示模組290可透過警示單元190顯示文字、影像或圖像說明警告事宜(例如，小心！駕駛過程請勿使用手持裝置！)。警示單元190的燈光模組亦可以特定頻率閃爍燈光或發出特定顏色的燈光(例如，紅色、綠色等)。警示單元190的振動模組例如是利用振動馬達產生固定頻率或變動頻率等方式振動。或者，警示模組290亦可透過警示單元190的揚聲器模組發出提示音。

在一些實施例中，預先儲存在儲存單元130中的預設嘴部資訊可以是取自樣板影像排列組合而成的預設嘴型編碼序列，且各預設嘴型編碼序列均對應於提示信號。例如，當使用者受到挾持時，人員可由嘴部作出唸誦「求救」的動作，但不必發出聲音。處理單元150便能以難以被察覺的方式，使警示單元190產生求救訊號並發送至保全中心等處求援(警示模組可包括通訊模組)。

藉此，本發明實施例的裝置100可透過準確且快速地影像辨識技術來偵測人員是否使用手持裝置，以降低駕駛過程中接聽來電而造成意外的發生率。以下另舉範例說明。

圖9是依據本發明一實施例說明偵測人員使用手持裝置的範例。請參照圖9，處理單元150透過影像擷取單元110取得影像畫面(步驟S910)，且臉部偵測模組210判斷影像畫面中是否出現人臉(步驟S920)。若臉部偵測模組210判斷此影像畫面並未出現人臉，則返回S910，繼續取得接續的影像畫面。反之，當臉部偵測模組210偵測到人臉時，耳側區域定義模組230及嘴部區域定義模組240依據臉部物件來分別決定耳側搜尋區域以及嘴部比較區域(步驟S930)。接著，手勢判定模組250偵測後續影像畫面是否出現人員的手部物件，並藉以取得手指特徵點中的前景邊緣以及梯度(步驟S950)，利用儲存單元130預先儲存的皮膚模組(例如，電腦程式語言撰寫的程式碼片段)來比對手部物件並判斷影像畫面中的出現的手勢(步驟S960)，且透過手指特徵點偵測模組(例如，電腦程式語言撰寫的程式碼片段)來比對影像畫面中的是否存在特定手勢(步驟S970)，更判斷嘴部比較區域中的嘴部動作是否符合預設嘴部資訊。然後，手勢判定模組250判斷偵測結果是否通過空間過濾(spatial filter)以及時間過濾(temporal filter)(步驟S980)。空間過濾例如是判斷特定手勢是否出現在依據臉部物件所決定的耳側搜尋區域。而時間過濾例如是判斷5秒鐘內偵測到使用手機的手持事件數與偵測到人臉的臉部事件數之比值是否大於0.6。若偵測結果未能通過空間過濾或是時間過濾，則返回S910。反之，警示模組290透過警示單元190發出警示(步驟S990)。

需說明的是，上述駕駛汽車(亦可以是飛機、船等)的情境是為了幫助實施例說明，但本發明實施例亦可應用在自動交易裝置或其他監控人員是否正使用手持裝置的電子裝置或場所。

綜上所述，本發明實施例所述的裝置可藉由影像辨識技術判斷耳側搜尋區域是否存在特定手勢，同時判斷人員的嘴部動作是否符合預設嘴部資訊。當判斷結果都符合時，本發明實施例的裝置便可判斷人員正在使用手持裝置，亦可發出提示信號來警示人員。藉此，本發明實施例可有效且即時地監控駕駛行為或其他不適合使用手持裝置的情況，例如，駕駛人員更可提高警覺，自動交易裝置可幫助警察單位快速處理電話詐欺等問題。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S310~S370‧‧‧步驟

Claims

一種偵測人員使用手持裝置的方法，適用於一電子裝置，包括：擷取一人員的至少一影像；分析該至少一影像，以獲得一臉部物件；依據該臉部物件決定至少一耳側搜尋區域以及一嘴部比對區域；以及藉由在該至少一耳側搜尋區域中搜尋是否存在一特定手勢，同時在該嘴部比對區域中比對所偵測的一嘴部動作資訊是否符合一預設嘴部資訊，來判斷該人員是否正在使用一手持裝置，其中偵測該嘴部比對區域以產生一編碼序列，並依據該編碼序列判斷該嘴部動作資訊是否符合該預設嘴部資訊。
如申請專利範圍第1項所述的方法，其中藉由在該至少一耳側搜尋區域中搜尋是否存在該特定手勢，同時在該嘴部比對區域中比對所偵測的該嘴部動作資訊是否符合該預設嘴部資訊，來判斷該人員是否正在使用該手持裝置的步驟包括：偵測該至少一耳側搜尋區域中是否出現該人員的一手部物件；取得該手部物件的至少一手指特徵點，其中該至少一手指特徵點包括一前景邊緣以及至少一梯度值；以及比對該至少一手指特徵點來判斷是否存在該特定手勢。
如申請專利範圍第1項所述的方法，其中藉由在該至少一耳側搜尋區域中搜尋是否存在該特定手勢，同時在該嘴部比對區域中比對所偵測的該嘴部動作資訊是否符合該預設嘴部資訊，來判斷該人員是否正在使用該手持裝置的步驟之後，更包括：在一預設時間內，判斷該人員正在使用該手持裝置的一手持事件數與偵測到該臉部物件之一臉部事件數的比例是否大於一比例門檻值，以產生一提示信號。
如申請專利範圍第1項所述的方法，其中該至少一耳側搜尋區域包括一第一耳朵區域以及一第二耳朵區域，而依據該臉部物件決定該至少一耳側搜尋區域以及該嘴部比對區域的步驟包括：依據該臉部物件，偵測該至少一影像中的一肩部特徵，而獲得一肩部物件；依據該肩部物件與該臉部物件而決定該耳側搜尋區域；以及過濾該耳側搜尋區域中的一干擾特徵，以偵測該第一耳朵區域與該第二耳朵區域。
如申請專利範圍第1項所述的方法，其中依據該臉部物件決定該至少一耳側搜尋區域以及該嘴部比對區域的步驟包括：由該臉部物件中辨識出一鼻孔定位點；基於該鼻孔定位點設定一嘴部區域；以及對該嘴部區域的影像進行一影像處理以判斷該人員之一嘴部物件；以及依據該嘴部物件在該嘴部區域決定該嘴部比對區域。
如申請專利範圍第1項所述的方法，其中藉由在該耳側搜尋區域中搜尋是否存在該特定手勢，同時在該嘴部比對區域中比對該嘴部動作是否符合該預設嘴部資訊，來判斷該人員是否正在使用該手持裝置的步驟包括：取得至少一嘴部影像，且依據該至少一嘴部影像取得多個嘴部特徵；依據該些嘴部特徵來判斷該至少一嘴部影像為一張開動作影像或一閉合動作影像；在一嘴部紀錄時間內，依序紀錄該嘴部比對區域中所偵測到的所有該閉合動作影像或該張開動作影像並轉換成該編碼序列；以及將該編碼序列存入該嘴部動作資訊。
如申請專利範圍第1項所述的方法，其中藉由在該耳側搜尋區域中搜尋是否存在該特定手勢，同時在該嘴部比對區域中比對該嘴部動作是否符合該預設嘴部資訊，來判斷該人員是否正在使用該手持裝置的步驟包括：在一嘴部比對時間內，將該嘴部比對區域的影像與多個樣板影像進行比對，以產生一嘴型編碼；將該嘴型編碼存入該編碼序列中；以及將該編碼序列存入該嘴部動作資訊。
一種偵測人員使用手持裝置的裝置，包括：一影像擷取單元，擷取一人員的至少一影像；一儲存單元，儲存該影像以及一預設嘴部資訊；以及一處理單元，耦接至該儲存單元以取得該影像，其中該處理單元分析該至少一影像，以獲得一臉部物件，該處理單元依據該臉部物件決定至少一耳側搜尋區域以及一嘴部比對區域，且藉由在該至少一耳側搜尋區域中搜尋是否存在一特定手勢，同時在該嘴部比對區域中比對所偵測的一嘴部動作資訊是否符合該預設嘴部資訊，來判斷該人員是否正在使用一手持裝置，其中該處理單元偵測該嘴部比對區域以產生一編碼序列，並依據該編碼序列判斷該嘴部動作資訊是否符合該預設嘴部資訊。
如申請專利範圍第8項所述的裝置，其中該處理單元偵測該至少一耳側搜尋區域中是否出現該人員的一手部物件，取得該手部物件的至少一手指特徵點，其中該至少一手指特徵點包括一前景邊緣以及至少一梯度值，且該處理單元比對該至少一手指特徵點來判斷是否存在該特定手勢。
如申請專利範圍第8項所述的裝置，其中在一預設時間內，該處理單元判斷該人員正在使用該手持裝置的一手持事件數與偵測到該臉部物件之一臉部事件數的比例是否大於一比例門檻值。
如申請專利範圍第8項所述的裝置，其中該至少一耳側搜尋區域包括一第一耳朵區域以及一第二耳朵區域，而該處理單元依據該臉部物件，偵測該至少一影像中的一肩部特徵，而獲得一肩部物件，該處理單元依據該肩部物件與該臉部物件而決定該耳側搜尋區域，且過濾該耳側搜尋區域中的一干擾特徵，以偵測該第一耳朵區域與該第二耳朵區域。
如申請專利範圍第8項所述的裝置，其中該處理單元由該臉部物件中辨識出一鼻孔定位點，基於該鼻孔定位點設定該嘴部搜尋區，對該嘴部搜尋區的影像進行一影像處理以判斷該人員之一嘴部物件，且依據該嘴部物件在該嘴部比對區域取出一嘴部區域。
如申請專利範圍第8項所述的裝置，其中該處理單元透過該影像擷取單元取得至少一嘴部影像，依據該至少一嘴部影像取得多個嘴部特徵，該處理單元依據該些嘴部特徵來判斷該至少一嘴部影像為一張開動作影像或一閉合動作影像，在一嘴部紀錄時間內，該處理單元依序紀錄該嘴部比對區域中所偵測到的所有該閉合動作影像或該張開動作影像並轉換成該編碼序列，且將該編碼序列存入該嘴部動作資訊。
如申請專利範圍第8項所述的裝置，其中在一嘴部比對時間內，該處理單元將該嘴部比對區域的影像與多個樣板影像進行比對，以產生一嘴型編碼，並將該嘴型編碼存入該編碼序列中，且將該編碼序列存入該嘴部動作資訊。