TWI394063B - 應用影像辨識之指令輸入系統以及方法 - Google Patents

Description

應用影像辨識之指令輸入系統以及方法

本發明係有關於一種資料處理技術，更具體言之，係有關於一種利用影像辨識技術作為指令輸入之資料處理技術。

隨著資料處理軟硬體技術的日新月異，使用如個人電腦、筆記型電腦、智慧型行動電話等資料處理裝置作為處理文書、播放簡報或多媒體訊息的工作型態也日益普遍。

舉例言之，學生、教授或商務人士能夠利用筆記型電腦搭配如投影機的影像產生裝置，以播放報告、教學內容或商業訊息之簡報檔，一般習知的簡報檔可例如為微軟所推出的Microsoft Office PowerPoint^TM 。

而於具體實施的過程中，使用者必須透過筆記型電腦的按鍵或與其搭接之滑鼠執行如上一頁、下一頁、開啟或關閉檔案或應用程式等操作指令的輸入。此時，若使用者是位於接近筆記型電腦的位置，固然可以便利的進行操作。然若使用者與筆記型電腦間有相當距離，或使用者必須處於移動狀態時，即無法便利地透過按鍵或滑鼠輸入操作指令。

為解決此一缺點，習知技術有提供利用紅外線或藍芽之無線遙控技術，亦即將操作按鍵或軌跡球等輸入單元設置於類似遙控器的裝置上，並透過無線訊號方式發出操作指令，使筆記型電腦接收該無線訊號，藉以執行允符該指令的操作。此種技術雖能解決使用者在簡報時無法離開筆記型電腦過遠的問題，但額外的無線遙控裝置對於使用者而言不啻是一種限制與負擔，且有時尚須考慮到筆記型電腦與無線遙控裝置匹配相容的問題。此外，無線遙控裝置需要可攜式的電源，因此難免會發生電源耗盡而無法使用的問題。

為解決上述習知技術的缺失，我國專利公告第I289203號揭露一種「手指指向偵測系統及方法」，係提供一種手指指向偵測系統及方法，其係以數台影像擷取裝置擷取使用者之數張手部影像，並以一處理器對擷取之數張手部影像進行影像處理求出數條手指指向線，利用座標轉換程式轉換出手指指向線於指向平面上的投影線，最後計算數條投影線之交點，即為使用者手指指向之目標點。此技術不需使用任何定位手套或標記手套即可偵測出使用者指向一平面上之任意目標點，具有高辨析度及高準確率，且可應用於簡報系統，作為取代雷射筆或滑鼠之人機介面。

前述專利案雖然能解決人機介面存在的問題，但是需要利用數台影像擷取裝置並需要執行物件重心確認與座標轉換等複雜計算，相對的必須耗費較多的使用與建置成本，且系統的安裝手續相當煩雜。此外，複雜的計算過程對於資料處理裝置的資源而言亦為不利的因素，在受限的硬體環境中可能導致辨識率下降。

綜上所述，如何提供一種安裝便利、成本低廉且辨識率高的影像辨識之指令輸入系統以取代習知的指令輸入技術，實為亟待解決之課題。

為解決前述習知技術的種種問題，本發明提供一種應用影像辨識之指令輸入系統，係應用於資料處理裝置中，該資料處理裝置搭接有影像擷取裝置，該應用影像辨識之指令輸入系統包括：設定模組，係用以由該影像擷取裝置所擷取之影像資料中定義至少一指令輸入區域；偵測模組，係由該影像資料中判斷前景影像，以偵測該指令輸入區域內出現之該前景影像的狀態資訊；儲存模組，係用以儲存對應該狀態資訊之控制指令；以及控制模組，係用以依據該偵測模組所偵測之該狀態資訊，自該儲存模組中擷取出對應之控制指令，以透過該控制指令使該資料處理裝置執行功能動作。

於一較佳態樣中，該資料處理裝置復搭接一影像呈現裝置，用以於該影像資料中呈現一特定區域，俾該設定模組將該特定區域定義為顯示區域，其中，該設定模組於該顯示區域的範圍內或範圍外定義至少一指令輸入區域，且該指令輸入區域與該顯示區域具有函數對應關係，以由該偵測模組偵測該指令輸入區域中的狀態資訊。較佳地，該影像呈現裝置依序呈現不同尺寸之第一區域與第二區域，以由該設定模組將該第一區域之邊界與該第二區域之邊界所圍出之區域定義為邊框，再定義該邊框內之區域為顯示區域。

再者，本發明復提供一種應用影像辨識之指令輸入方法，係應用於資料處理裝置中，該資料處理裝置搭接有影像擷取裝置，該應用影像辨識之指令輸入方法包括下列步驟：(1)於該影像擷取裝置所擷取之影像資料中定義至少一指令輸入區域；(2)於該影像資料中判斷前景影像，以偵測該指令輸入區域內出現之該前景影像的狀態資訊；以及(3)儲存對應該狀態資訊之控制指令，以依據所偵測之該狀態資訊擷取出對應之控制指令，俾透過該控制指令使該資料處理裝置執行功能動作。

於一較佳態樣中，該資料處理裝置復搭接一影像呈現裝置，用以於該影像資料中呈現一特定區域，以於步驟(1)將該特定區域定義為顯示區域，且此步驟(1)復包括於該顯示區域的範圍內或範圍外定義至少一指令輸入區域，且該指令輸入區域與該顯示區域具有函數對應關係，以偵測該指令輸入區域中的狀態資訊的步驟。較佳地，上述之步驟(1)復包括下列步驟：(1-1)由該影像呈現裝置依序呈現不同尺寸之第一區域與第二區域；(1-2)將該第一區域之邊界與該第二區域之邊界所圍出之區域定義為邊框；以及(1-3)定義該邊框內或邊框外所包含之區域為顯示區域。

於另一較佳態樣中，上述之步驟(3)復包括儲存前景影像之預設姿態及對應該預設姿態之控制指令，以於所偵測到之前景影像之姿態符合該前景影像之預設姿態時，擷取出對應該預設姿態之控制指令，俾透過該控制指令使該資料處理裝置執行功能動作的步驟。

相較於習知技術，本發明透過搭接影像擷取裝置之資料處理裝置定義一顯示區域，再以影像辨識技術讓使用者直接於該顯示區域中輸入控制指令，大大減少了指令輸入控制系統的建置成本與安裝的複雜度，且透過輔助辨識技術更能提高辨識率，解決了習知硬體輸入單元之指令輸入技術所產生的問題。

以下係藉由特定的具體實施例說明本發明之實施方式，熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點與功效。本發明亦可藉由其他不同的具體實施例加以施行或應用，本說明書中的各項細節亦可基於不同觀點與應用，在不悖離本發明之精神下進行各種修飾與變更。

請參閱第1圖，其係用以顯示本發明之應用影像辨識之指令輸入系統之第一實施例的應用架構示意圖。於本實施例中，本發明之應用影像辨識之指令輸入系統係應用於資料處理裝置20中，資料處理裝置20可例如但不限定為個人電腦、筆記型電腦、智慧型行動電話等資料處理裝置。此外，資料處理裝置20搭接有影像擷取裝置30，於本實施例中影像擷取裝置30係內建於資料處理裝置20。於本發明之其他實施例中，影像擷取裝置30可外接於資料處理裝置20。

承上述，影像擷取裝置30係用以將所擷取到的類比影像訊號轉換成數位影像資料，而經過轉換後之數位影像資料會輸入及/或儲存於資料處理裝置20中，並透過資料處理裝置20利用習知的影像處理應用程式，將所擷取的影像呈現在顯示單元21上，但於其他實施例中，透過資料處理裝置20執行影像處理可能僅於後端進行影像資料的處理而未顯示於顯示單元21上。於本實施例中，該資料處理裝置20為筆記型電腦，而顯示單元21即為筆記型電腦之顯示螢幕，影像擷取裝置30則係內建於筆記型電腦之攝影機，且所擷取的影像會呈現在資料處理裝置20的顯示單元21上。

本發明之應用影像辨識之指令輸入系統包括設定模組11、偵測模組12、儲存模組13以及控制模組14。

設定模組11係用以由該影像擷取裝置30所擷取之影像資料中定義至少一指令輸入區域。

於本實施例中，設定模組11可選擇性地透過資料處理裝置20接收指令輸入區域的定義訊息，並依據指令輸入區域的定義訊息辨識出該指令輸入區域。

偵測模組12係由該影像資料中判斷前景影像，以偵測該指令輸入區域內出現之該前景影像的狀態資訊。較佳者，該狀態資訊可為該前景影像之姿態、明滅變化、動態軌跡及/或停留之時間。於一較佳實施例中，該設定模組11可利用一初始化程序依據該前景影像之特定狀態資訊定義該指令輸入區域。

具體實施時，以動態軌跡為例，請參閱第2a至2c圖，其係用以顯示本發明之應用影像辨識之指令輸入系統之偵測模組的操作示意圖。如2a圖所示，係於指令輸入區域A內偵測之前景影像X為手臂或手掌時，當使用者以手臂或手掌進行向上揮動時，偵測模組12會偵測到如第2b圖所示之前景影像X的動態軌跡是朝指令輸入區域A的上方移動。同理，若當手臂或手掌向下揮動時，則偵測模組12會偵測到如第2c圖所示之前景影像X的動態軌跡是朝指令輸入區域A的下方移動。

承上述，本實施例雖係針對於指令輸入區域A內之影像的二維動態軌跡做偵測，惟於其他實施例中亦可針對於指令輸入區域A內之影像的三維動態軌跡做偵測，舉例而言，前景影像X若以Z軸方向移動，則偵測模組12可透過偵測影像的放大縮小作為其動態軌跡。

儲存模組13係用以儲存對應該狀態資訊之控制指令。

控制模組14係用以依據偵測模組12所偵測之狀態資訊，自該儲存模組13中擷取出對應之控制指令，以透過該控制指令使該資料處理裝置20執行功能動作。

具體實施時，可先由儲存模組13預先儲存前景影像X的影像軌跡，該影像軌跡可例如但不限定為分別相對關聯於控制資料處理裝置20「上一頁」、「下一頁」、開啟與關閉檔案及/或應用程式按鍵之控制指令，俾於使用者透過資料處理裝置20播放簡報檔時，可利用本發明之系統定義出指令輸入區域A，只要當前景影像X出現在指令輸入區域A內，即可偵測X向上揮動或向下揮動的動態軌跡，再將所偵測的動態軌跡與儲存模組13已預先儲存的影像軌跡進行比對，以自儲存模組13中擷取對應之控制指令，以透過該控制指令使該資料處理裝置20執行「上一頁」或「下一頁」的換頁功能動作。

於另一較佳實施例中，以停留時間為例，當前景影像X停留時間被偵測到達到2秒或其他預設時間時，亦可於儲存模組13預先儲存對應之控制指令為使該資料處理裝置20執行點擊滑鼠左鍵或右鍵之功能動作。於本實施例中，亦可設定為在前景影像X之停留時間被偵測到達到2秒或其他預設時間時，開啟依操作模式清單，接著再判斷前景影像X是否有停留在顯示單元21畫面清單中的任一操作模式選項上達到2秒或其他預設時間，若是，可判斷使用者欲執行該項操作模式，如開啟與關閉檔案及/或應用程式指令控制資料處理裝置20的操作。舉例而言，該操作模式係可依使用狀態區分為一般狀態(編輯模式，例如：開檔/存檔/關閉/剪下/複製/貼上/刪除/螢幕虛擬鍵盤功能(可直接編輯文字)/切換程式/顯示桌面/拖拉視窗/改變視窗大小…等)及簡報狀態(簡報模式，例如：存檔/離開/畫筆功能/簡報過程影音錄製/切換至簡報外的程式…等)的功能動作。

值得注意的是，上述偵測模組12所偵測之狀態資訊亦可同時預設動態軌跡以及停留時間的判斷條件。舉例而言，當資料處理裝置20正在執行所輸入「上一頁」或「下一頁」控制指令時，可同時令偵測模組12暫時停止偵測於指令輸入區域A內所出現之前景影像X一段時間(例如：3秒)，以避免因多餘的動作造成誤判斷的情形，例如當使用者以手臂或手掌向上/下揮之後，會因往下/上揮的反向的慣性復歸動作，造成與前一次的動作狀態抵銷效應而無法完成換頁的動作。

於又一較佳實施例中，上述偵測模組12所偵測之狀態資訊除了可設定為前景影像X之動態軌跡及/或停留時間的判斷條件以外，亦可設定為前景影像X之姿態，例如，手掌與手指或手臂彎度等姿態，但不以此為限。具體言之，可於該儲存模組13中儲存前景影像X之預設姿態及對應該預設姿態之控制指令，以於該偵測模組12所偵測到之前景影像X之姿態符合該前景影像X之預設姿態時，由控制模組14自該儲存模組13中擷取出對應該預設姿態之控制指令，以透過該控制指令使該資料處理裝置執行功能動作。

承上述，具體實施時，儲存模組13所儲存之前景影像X之預設姿態係特定前景影像之單一姿態或至少二個不同姿態的連續組合，以依據偵測模組12所偵測的前景影像X本身的單一個或至少二個不同的連續組合，而直接自儲存模組14擷取對應該預設姿態之控制指令的關聯資料。舉例而言，如第3a圖所示，前景影像X本身的特定影像畫面M係可預設為不同數字的手勢變化，以當由偵測模組12所辨識的影像符合預設特定影像畫面M時，即由控制模組14自儲存模組13擷取出相對關聯之控制指令。另如第3b與3c圖所示，係分別顯示以前景影像X代表〝張開〞與〝握合〞動作的不同特定影像畫面M1、M2的連續組合，並可依據該連續組合的不同循繯次數，分別預設與不同控制指令的關聯，亦即當使用者開合次數於符合預設特定影像畫面的連續組合的循環次數，由控制模組14自儲存模組13擷取出相對關聯之控制指令，例如，可預設連續開合二次為功能點選之操作，以及預設連續開合三次為模式切換的操作，但不以此為限，亦即，可根據使用需求預設不同的開合次數來進行其他功能之操作，且於其他具體實施上，也可例如依據前景影像X於預設時間內的開合次數(如：連續兩次)呼叫〝游標〞功能後，再依據偵測單元12補捉前景影像X的動態軌跡而對應將〝游標〞拖曳而移動至顯示單元21畫面清單中特定的操作模式選項上，以當所偵測的前景影像X於該特定的操作模式選項的對應影像重疊停留達到2秒或其他預設時間時，即執行對應預設控制指令的操作。

於再一較佳實施例中，本發明所述之設定模組11係可於偵測模組12執行偵測之前，預先執行一前景影像之註冊程序，以取得該前景影像之尺寸、方向或姿態，俾提高該偵測模組14偵測該前景影像之準確率，如第2d圖所示，偵測模組12所偵測於指令輸入區域A內出現且符合預設型態之前景影像X可透過一註冊程序來預先設定，亦即使用者可於偵測模組12執行前景影像動態軌跡的偵測之前，先於指令輸入區域A內暫時產生註冊區域D，並移動前景影像X使其影像資料移至與該註冊區域D對應重疊而進行註冊程序，以鎖定例如特定手臂或手掌型態的前景影像X的影像資料後，始執行前景影像X動態軌跡的偵測，例如，於具體實施時，可藉由該註冊程序確定所欲操作之前景影像X的尺寸大小，以供偵測模組12有效偵測例如上述的〝張開〞、〝握合〞或其他不同的手勢變化的動作的單一個或至少二個不同的連續組合之特定的前景影像，同時，藉此註冊程序也可提昇手勢指令辨識的效率及精準度。

再者，在其他的較佳實施例中，該偵測模組12亦可利用至少一輔助光源的照射，使該影像擷取裝置20擷取該影像資料時，提高該偵測模組12判斷前景影像之準確率，亦即可排除背景畫面之變動區域，以凸顯主體影像(即對於前景影像X的偵測)，而於上述實施例中，該影像擷取裝置20可搭配一濾光設備或反光/發光物體，以於擷取該影像資料時，提高該偵測模組判斷該前景影像之準確率，例如，以紅外線光源為輔助光源為例，係可於該影像擷取裝置20上裝設紅外線濾鏡(Infrared fliter)以濾除可見光，透過紅外線的照射處使影像凸顯後，再將可見光濾除以得到單純無背景的主體影像，亦即，該濾鏡係可為其他頻譜的單色或彩色濾鏡，俾提高擷取影像動態軌跡的精準度，且無須經過多道影像處理如去背、邊緣、二值化等手續，使得主體影像可以更容易做辨識。

此外，上述之實施例中所偵測的前景影像X並非侷限於手臂或手掌等實體物件，在其它具體實施上，所偵測的前景影像X亦為以明滅變化作為控制訊號之實體物件，以根據其明滅變化作為狀態資訊，俾依據該狀態資訊自儲存模組13中擷取出對應之控制指令，以透過該控制指令使該資料處理裝置執行功能動作，舉例而言，前景影像X所對應的實體物件為反光裝置(例如，反光手環)，並搭配照明裝置來照射該反光裝置，使得主體影像可以更容易做辨識。而在其他實施例中，前景影像X所對應的實體物件為發光裝置或照明裝置(例如，高亮度的發光二極體)，俾直接產生明滅變化的狀態資訊，但不以此為限。

請參閱第4圖，其係為本發明之應用影像辨識之指令輸入方法之第一實施例之流程圖，如圖所示，本發明之應用影像辨識之指令輸入方法係應用於前述之應用影像辨識之指令輸入系統(如第1圖所示)，其中，該應用影像辨識之指令輸入系統係應用於資料處理裝置20中，資料處理裝置20搭接有影像擷取裝置30，而本發明之應用影像辨識之指令輸入方法係先執行步驟S10。

在步驟S10中，於該影像擷取裝置30所擷取之影像資料中定義至少一指令輸入區域A。接著，進至步驟S11。

在步驟S11中，於該影像資料中判斷前景影像，以偵測該指令輸入區域A內出現之該前景影像的狀態資訊。較佳者，該狀態資訊可為該前景影像X之姿態、明滅變化、動態軌跡及/或停留之時間。接著，進至步驟S12。

在步驟S12中，係儲存對應該狀態資訊之控制指令，以依據所偵測之該狀態資訊擷取出對應之控制指令，俾透過該控制指令使該資料處理裝置執行功能動作。

請參閱第5圖，其係用以顯示本發明之應用影像辨識之指令輸入系統之第二實施例的應用架構示意圖。

如圖所示，本實施例與第一實施例之基本架構相同，其差異之處係在於本實施例中的資料處理裝置20復搭接一影像呈現裝置40，影像呈現裝置40可例如為投影機。於具體實施時，影像擷取裝置30所擷取之影像中，可選擇性地包括影像呈現裝置40呈現影像之全部或部分之特定區域。舉例言之，若影像呈現裝置40為一投影機，則其產生之影像會呈現在一投影幕或牆壁等物件上，並於該物件上形成呈現影像之特定區域。

於本實施例中，本發明之應用影像辨識之指令輸入系統包括設定模組11、偵測模組12、儲存模組13、控制模組14、震動補償模組15以及干擾偵測模組16及干擾消除模組17。

設定模組11除了由該影像擷取裝置30所擷取之影像資料中定義至少一指令輸入區域A以外，可進一步於該影像資料中呈現一特定區域，俾該設定模組11將該特定區域定義為顯示區域S。較佳者，該設定模組11係用以依據顏色、灰階程度、色彩漸層之同質性、前後影像差異性、特定物件、特定圖案、特定型態及/或邊緣偵測方式辨識出該顯示區域。具體言之，於影像資料中，設定模組11可辨識出相同顏色、灰階程度、色彩漸層、前後影像、特定物件、特定圖案、特定型態所形成之區域，並能夠與不同之顏色、灰階程度、色彩漸層、前後影像、特定物件、特定圖案、特定型態所形成之區域相區別。而據以形成的區域即可作為顯示區域S。另外，尚可透過影像邊緣偵測技術定義出顯示區域S。

請參閱第6a至6d圖，其係用以顯示本發明之應用影像辨識之指令輸入系統之第二實施例之設定模組的操作示意圖，透過影像呈現裝置40依序呈現不同尺寸之第一區域a與第二區域b，以由該設定模組11將該第一區域a之邊界與該第二區域b之邊界所圍出之區域定義為邊框c，再定義該邊框c內框或外框所包含之區域為顯示區域B。如第6a圖所示，係設定顯示區域S為影像擷取裝置30所擷取到的影像資料之全部範圍，並顯示於顯示單元21，且偵測模組12辨識出影像擷取裝置30所擷取之影像資料中之特定區域。其次，如第6b圖所示，設定模組12會定義特定區域為第一區域a。接著，如第6c圖所示，設定模組12會等比例縮小第一區域a以定義出第二區域b。須特別說明者，係於其他實施例中，可利用等比例放大第一區域a以定義出第二區域b。之後，如第6d圖所示，定義第一區域a之邊界與第二區域b之邊界所圍出之區域為邊框c，而邊框c內之區域為顯示區域B，具體而言，邊框c內的四個頂角分別為4個定位點所定義，但不以此為限，亦即，可針對非四邊形的線性的邊框c定義對應頂角數量的定位點，此外，也可進一步於非線性的邊框c於頂角外的曲面對應增加定位點，以解決非線性的邊框c所產生的投影誤差，即因投影(projection)所造成之非線性失真(non-linear distortion warping)，且以相同方法可取得更多定位點，以定義更精確的顯示區域B，較佳者，設定模組12復用以將邊框c以如藍色或紅色等特定之色彩框出，並顯示於資料處理裝置20上。

於本發明之其他實施例中，可應用在具有複數個資料處理裝置之環境中。用以顯示邊框c之特定之色彩框之該資料處理裝置20，與搭接有影像擷取裝置30之資料處理裝置20可為不同之資料處理裝置，而在其他具體實施的變化態樣與前述第一實施例類似，故在此不予贅述。

於另一較佳實施例中，上述用以偵測前景影像X的狀態資訊之偵測模組12的偵測區域並不侷限於該顯示區域B內，如第6e圖所示，設定模組11於該顯示區域B的範圍內或範圍外係定義至少一指令輸入區域E，且該指令輸入區域E與該顯示區域B具有函數對應關係，以由該偵測模組12偵測該指令輸入區域E中的狀態資訊。詳言之，該指令輸入區域E可根據如第3a圖所示，預設為前景影像X之不同數字的手勢變化與指令輸入區域E的對應關係，以限定當由偵測模組12於指令輸入區域E所辨識的影像符合預設特定影像畫面M時，即由控制模組14自儲存模組13擷取出相對關聯之控制指令，以透過該控制指令使該資料處理裝置執行功能動作，即限制前述之前景影像X僅能於該指令輸入區域E內偵測前景影像X的狀態資訊，例如，以特定的手勢在指令輸入區域E喚起〝游標〞功能，以當〝游標〞功能被呼叫後，才進行該前景影像X之動態軌跡的偵測。

於又一較佳實施例中，本發明復可由控制模組14預設對應顯示區域B或指令輸入區域E之控制指令的執行順序，俾符合例如前述一般模式或簡報模式的不同操作環境的功能要求，以達到分層控制的效果。舉例而言，可由單一或多個連續組合/循環次數之特定的前景影像X分別定義〝游標〞功能為指令a、〝特殊功能選單〞功能為指令b，並預設指令b執行順序為當指令a的被執行後，始判斷是否自儲存模組13中擷取出相對關聯之指令b，即當〝游標〞功能被呼叫後，始可再呼叫〝特殊功能選單〞功能，詳言之，〝特殊功能選單〞可例如為虛擬按鈕、虛擬鍵盤或其他實體輸入裝置(例如：滑鼠、鍵盤)所能完成之點觸式操作的功能動作。

具體實施時，請參閱第7a至7c圖，其係用以顯示本發明之應用影像辨識之指令輸入系統之第二實施例之偵測模組的操作示意圖。如第3a圖所示，設於顯示區域B內出現之前景影像X(以手臂或手掌為例)。則當手臂或手掌向上揮動時，前景影像X會如第3b圖所示的向顯示區域B上方移動，則偵測模組12會偵測到其動態軌跡是朝顯示區域B的上方移動。同理，則當手臂或手掌向下揮動時，前景影像X會如第3c圖所示的向顯示區域B下方移動，則偵測模組12會偵測到其動態軌跡是朝顯示區域B的下方移動。

值得注意的是，在本實施例中，當設定模組12將邊框c以特定之色彩框出後，偵測模組13能偵測於顯示區域B內出現之影像的狀態資訊，而在其他具體實施的變化態樣與前述第一實施例類似，故在此不予贅述。

承上所述，當使用者透過於顯示區域B內揮動手臂或手掌，並令前景影像X如前述第7b或7c圖所示產生向上或向下動態軌跡，則控制模組14即可依據於顯示區域B內所偵測出之前景影像X向上或向下動態軌跡，自儲存模組13中擷取出相對關聯之該指令，亦即「上一頁」或「下一頁」、開啟與關閉檔案及/或應用程式按鍵指令，並依據該「上一頁」或「下一頁」、開啟與關閉檔案及/或應用程式之控制指令使資料處理裝置20的操作。

另外，在背景畫面消除的技術方面，本實施例與第一實施例不同的是，該偵測模組12除了可藉由輔助光源來排除背景畫面之變動區域外，亦可復藉由干擾偵測模組16判斷該顯示區域B中之干擾區域，以使該偵測模組12於該干擾區域中停止偵測該前景影像X，例如可將如第6e圖中，位於顯示區域B內的至少一個指令輸入區域E設定為干擾區域，以避免偵測模組12因為偵測到非預期的前景影像，而造成控制模組14對於資料處理單裝置20的錯誤操作的情況。

承上述，於另一較佳實施例中，復可藉由干擾消除模組17，係將該顯示區域B中之預測變動內容與該顯示區域B中之實際變動內容進行比對，用以使該偵測模組12依據比對的結果判斷該前景影像X，俾提高該偵測模組12判斷之準確率。舉例而言，該干擾消除模組17可藉由資料處理裝置20取得欲呈現之影像(即背景畫面)以對影像呈現裝置40所呈現的影像動態地進行背景消除，例如，將資料處理裝置20的預知投影內容中所設定欲進行背景消除之特定的影像片段，以當影像呈現裝置40呈現該特定的影像片段時，對該特定的影像片段動態地進行背景消除，以避免因影像呈現裝置40所投映的背景畫面，使資料處理裝置20產生的非預期的動作。

再者，請參閱第8圖中所示之應用影像辨識之指令輸入系統，資料處理裝置20內之震動補償模組15用以避免因外力使資料處理裝置20或影像呈現裝置40的震動，造成影像擷取裝置30於影像偵測區域擷取影像不穩定或過量的畫面差異。如第8圖所示，該震動補償模組15係於前述第6d圖所定義的邊框c內之顯示區域B上設定五個定位點C1、C2、C3、C4、C5，其中，定位點C1-C4設於顯示區域B的四個角落，定位點C5則設於顯示區域B上緣之定位點C1與定位點C3之間，接著，儲存模組13會紀錄各該定位點的原始座標，接下來的資料處理裝置20所顯示的每一個畫面都再進行定位點的座標比對，在本實施例中，由於使用者最多同時遮住兩個點(如由左側遮住定位點C1與C2)，因此，只需要取移動距離最小的三個定位點來計算移動的向量，當該三個定位點的平均偏移過大時，即判斷為震動。此時，該震動補償模組15會進行與震動方向相反之畫面修正。

請參閱第9圖，其係用以顯示本發明之應用影像辨識之指令輸入方法之第二實施例的流程圖。

於步驟S20中，辨識該影像擷取裝置所擷取之影像資料中之特定區域。於此步驟中，當影像資料輸入及/或儲存於資料處理裝置後，隨即辨識影像擷取裝置所擷取之影像資料中之特定區域，以將該特定區域定義為顯示區域。接著，進至步驟S21。

於步驟S21中，由該影像呈現裝置依序呈現不同尺寸之第一區域與第二區域。於此步驟中，設定模組會定義特定區域為第一區域，接著，設定模組會等比例縮小第一區域以定義出第二區域。須特別說明者，係於其他實施例中，可利用等比例放大第一區域以定義出第二區域。接著進至步驟S22。

於步驟S22中，將該第一區域之邊界與該第二區域之邊界所圍出之區域定義為邊框，並定義該邊框內或邊框外所包含之區域為顯示區域。接著，進至步驟S23。

於步驟S23中，係偵測該顯示區域內出現之前景影像的狀態資訊。於此步驟中，係以偵測模組由該影像資料中判斷前景影像，以偵測該顯示區域內出現之該前景影像的狀態資訊。較佳者，該狀態資訊可為該前景影像之姿態、明滅變化、動態軌跡及/或停留之時間，且在另一實施例中，當設定模組將邊框以特定之色彩框出後，偵測模組能偵測於顯示區域內出現之影像的狀態資訊，而在其他具體實施的變化態樣與前述第一實施例類似，故在此不予贅述。接著，進至步驟S24。

在步驟S24中，係儲存對應該狀態資訊之控制指令，以依據所偵測之該狀態資訊擷取出對應之控制指令，俾透過該控制指令使該資料處理裝置執行功能動作。

綜上所述，本發明之應用影像辨識之指令輸入系統以及方法具備以下優點：

(1)低建置成本與安裝便利。本發明利用影像擷取裝置搭配資料處理裝置即可進行影像辨識，無須購買其他設備，因此可減少建置指令輸入系統的成本，且同時具備安裝簡便的特性。

(2)辨識率高。本發明利用如背景消除或震動修正等輔助辨識技術來執行前景影像辨識，能大幅度提高辨識率，因此解決了習知硬體輸入單元之指令輸入技術所產生的問題。

上述實施例僅為例示性說明本發明之原理及其功效，而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施例進行修飾與變化。因此，本發明之權利保護範圍，應如後述之申請專利範圍所列。

11．．．設定模組

12．．．偵測模組

13．．．儲存模組

14．．．控制模組

15．．．震動補償模組

16．．．干擾偵測模組

17．．．干擾消除模組

20．．．資料處理裝置

21．．．顯示單元

30．．．影像擷取裝置

40‧‧‧影像呈現裝置

S、B‧‧‧顯示區域

D‧‧‧註冊區域

A、E‧‧‧指令輸入區域

a‧‧‧第一區域

b‧‧‧第二區域

c‧‧‧邊框

X‧‧‧前景影像

M、M1、M2‧‧‧特定影像畫面

C1、C2、C3、C4、C5‧‧‧定位點

S10~S12‧‧‧步驟

S20~S24‧‧‧步驟

第1圖係本發明之應用影像辨識之指令輸入系統之第一實施例的應用架構示意圖；

第2a至2d圖係本發明之應用影像辨識之指令輸入系統之第一實施例之偵測模組的操作示意圖；

第3a至3c圖係本發明之應用影像辨識之指令輸入系統之第一實施例以前景影像之預設姿態影像偵測的操作示意圖；

第4圖係本發明之應用影像辨識之指令輸入方法之第一實施例的流程圖；

第5圖係本發明之應用影像辨識之指令輸入系統之第二實施例的應用架構示意圖；

第6a至6e圖係本發明之應用影像辨識之指令輸入系統之第二實施例之設定模組的操作示意圖；

第7a至7c圖係本發明之應用影像辨識之指令輸入系統之第二實施例之偵測模組的操作示意圖；

第8圖係為本發明之應用影像辨識之指令輸入系統之第二實施例以畫面補償偵測的設定示意圖；以及

第9圖係本發明之應用影像辨識之指令輸入方法之第二實施例的流程圖。

11．．．設定模組

12．．．偵測模組

13．．．儲存模組

14．．．控制模組

20．．．資料處理裝置

21．．．顯示單元

30．．．影像擷取裝置

Claims (38)

1. 一種應用影像辨識之指令輸入系統，係應用於資料處理裝置中，該資料處理裝置搭接有影像擷取裝置，該應用影像辨識之指令輸入系統包括：設定模組，係用以由該影像擷取裝置所擷取之影像資料中定義至少一指令輸入區域及一顯示區域；偵測模組，係由該影像資料中判斷前景影像，以偵測該指令輸入區域內出現之該前景影像的狀態資訊；儲存模組，係用以儲存對應該狀態資訊之控制指令；控制模組，係用以依據該偵測模組所偵測之該狀態資訊，自該儲存模組中擷取出對應之控制指令，以透過該控制指令使該資料處理裝置執行功能動作；以及震動補償模組，係用以於該顯示區域內設有複數個顯示定位點，以記錄該複數個顯示定位點之原始座標，再與該影像擷取裝置所擷取之影像資料中對應該複數個顯示定位點之影像定位點的座標進行比對，當平均偏移量過大時即判斷為震動，以由該震動補償模組對該複數個影像定位點的座標進行修正。
2. 如申請專利範圍第1項所述之應用影像辨識之指令輸入系統，其中，該狀態資訊為該前景影像之姿態、明滅變化、動態軌跡及/或停留時間。
3. 如申請專利範圍第2項所述之應用影像辨識之指令輸入系統，其中，該動態軌跡包括該前景影像於該指令輸入區域內之二維或三維動態軌跡。
4. 如申請專利範圍第1項所述之應用影像辨識之指令輸入系統，其中，該設定模組利用一初始化程序依據該前景影像之特定狀態資訊定義該指令輸入區域。
5. 如申請專利範圍第2項所述之應用影像辨識之指令輸入系統，其中，於該儲存模組中儲存前景影像之預設姿態及對應該預設姿態之控制指令，以於該偵測模組所偵測到之前景影像之姿態符合該前景影像之預設姿態時，由控制模組自該儲存模組中擷取出對應該預設姿態之控制指令，以透過該控制指令使該資料處理裝置執行功能動作。
6. 如申請專利範圍第5項所述之應用影像辨識之指令輸入系統，其中，該設定模組於該偵測模組執行偵測之前，預先執行一前景影像之註冊程序，以取得該前景影像之尺寸、方向或姿態，俾提高該偵測模組偵測該前景影像之準確率。
7. 如申請專利範圍第5項所述之應用影像辨識之指令輸入系統，其中，該前景影像之預設姿態係特定前景影像之單一姿態或至少二個不同姿態的連續組合。
8. 如申請專利範圍第1項所述之應用影像辨識之指令輸入系統，其中，係利用至少一輔助光源的照射，使該影像擷取裝置擷取該影像資料時，提高該偵測模組判 斷該前景影像之準確率。
9. 如申請專利範圍第8項所述之應用影像辨識之指令輸入系統，其中，該影像擷取裝置搭配一濾光設備或反光/發光物體，以於擷取該影像資料時，提高該偵測模組判斷該前景影像之準確率。
10. 如申請專利範圍第1項所述之應用影像辨識之指令輸入系統，其中，該資料處理裝置復搭接一影像呈現裝置，用以於該影像資料中呈現一特定區域，俾該設定模組將該特定區域定義為該顯示區域。
11. 如申請專利範圍第10項所述之應用影像辨識之指令輸入系統，其中，該設定模組於該顯示區域的範圍內或範圍外係定義至少一指令輸入區域，且該指令輸入區域與該顯示區域具有函數對應關係，以由該偵測模組偵測該指令輸入區域中的狀態資訊。
12. 如申請專利範圍第10項所述之應用影像辨識之指令輸入系統，其中，該設定模組係用以依據顏色、灰階程度、色彩漸層之同質性、前後影像差異性、特定物件、特定圖案、特定型態及/或邊緣偵測方式定義出該顯示區域。
13. 如申請專利範圍第10項所述之應用影像辨識之指令輸入系統，其中，該影像呈現裝置依序呈現不同尺寸之第一區域與第二區域，以由該設定模組將該第一區域之邊界與該第二區域之邊界所圍出之區域定義為邊框，再定義該邊框內或邊框外所包含之區域為該顯示 區域。
14. 如申請專利範圍第13項所述之應用影像辨識之指令輸入系統，其中，該設定模組復用以將線性的該邊框之對應頂角定義為定位點。
15. 如申請專利範圍第13項所述之應用影像辨識之指令輸入系統，其中，該設定模組復用以將非線性的該邊框之對應頂角定義為定位點，並於該頂角外的曲面對應增加定位點。
16. 如申請專利範圍第13項所述之應用影像辨識之指令輸入系統，其中，該設定模組復用以將該邊框以特定之色彩框出，並顯示於該資料處理裝置上。
17. 如申請專利範圍第1項所述之應用影像辨識之指令輸入系統，復包括干擾偵測模組，係用以判斷該顯示區域中之干擾區域，以使該偵測模組於該干擾區域中停止偵測該前景影像。
18. 如申請專利範圍第1項所述之應用影像辨識之指令輸入系統，復包括干擾消除模組，係將該顯示區域中之預測變動內容與該顯示區域中之實際變動內容進行比對，用以使該偵測模組依據比對的結果判斷該前景影像，俾提高該偵測模組判斷之準確率。
19. 如申請專利範圍第1項所述之應用影像辨識之指令輸入系統，其中，該前景影像所對應的實體物件為反光裝置。
20. 如申請專利範圍第1項所述之應用影像辨識之指令輸 入系統，其中，該前景影像所對應的實體物件為發光裝置或照明裝置。
21. 一種應用影像辨識之指令輸入方法，係應用於資料處理裝置中，該資料處理裝置搭接有影像擷取裝置，該應用影像辨識之指令輸入方法包括下列步驟：(1)於該影像擷取裝置所擷取之影像資料中定義至少一指令輸入區域及一顯示區域；(2)於該影像資料中判斷前景影像，以偵測該指令輸入區域內出現之該前景影像的狀態資訊；以及(3)儲存對應該狀態資訊之控制指令，以依據所偵測之該狀態資訊擷取出對應之控制指令，俾透過該控制指令使該資料處理裝置執行功能動作，且於該顯示區域內設有複數個顯示定位點，以記錄該複數個顯示定位點之原始座標，將該影像擷取裝置所擷取之影像資料中對應該複數個顯示定位點之影像定位點的座標進行比對，當平均偏移量過大時即判斷為震動，以由該震動補償模組對該複數個影像定位點的座標進行修正。
22. 如申請專利範圍第21項所述之應用影像辨識之指令輸入方法，其中，該狀態資訊為該前景影像之姿態、明滅變化、動態軌跡及/或停留時間。
23. 如申請專利範圍第22項所述之應用影像辨識之指令輸入方法，其中，該動態軌跡包括該前景影像於該指令輸入區域內之二維或三維動態軌跡。
24. 如申請專利範圍第21項所述之應用影像辨識之指令輸入方法，其中，該步驟(1)利用一初始化程序依據該前景影像之特定狀態資訊定義該指令輸入區域。
25. 如申請專利範圍第22項所述之應用影像辨識之指令輸入方法，其中，該步驟(3)復包括儲存前景影像之預設姿態及對應該預設姿態之控制指令，以於所偵測到之前景影像之姿態符合該前景影像之預設姿態時，擷取出對應該預設姿態之控制指令，俾透過該控制指令使該資料處理裝置執行功能動作的步驟。
26. 如申請專利範圍第25項所述之應用影像辨識之指令輸入方法，復包括於該執行步驟(2)之前，係預先執行一前景影像之註冊程序，以取得該前景影像之尺寸、方向或姿態的步驟。
27. 如申請專利範圍第26項所述之應用影像辨識之指令輸入方法，其中，該前景影像之預設姿態係特定前景影像之單一姿態或至少二個不同姿態的連續組合。
28. 如申請專利範圍第21項所述之應用影像辨識之指令輸入方法，其中，步驟(1)復包括利用至少一輔助光源之照射，使該影像擷取裝置擷取該影像資料，藉以提高步驟(2)判斷該前景影像之準確率。
29. 如申請專利範圍第21項所述之應用影像辨識之指令輸入方法，其中，步驟(1)復包括使該影像擷取裝置搭配一濾光設備或反光/發光物體，以於擷取該影像資料時，提高該偵測模組判斷該前景影像之準確率。
30. 如申請專利範圍第21項所述之應用影像辨識之指令輸入方法，其中，該資料處理裝置復搭接一影像呈現裝置，用以於該影像資料中呈現一特定區域，以於步驟(1)將該特定區域定義為該顯示區域。
31. 如申請專利範圍第30項所述之應用影像辨識之指令輸入方法，其中，該步驟(1)復包括於該顯示區域的範圍內或範圍外係定義至少一指令輸入區域，且該指令輸入區域與該顯示區域具有函數對應關係，以偵測該指令輸入區域中的狀態資訊的步驟。
32. 如申請專利範圍第30項所述之應用影像辨識之指令輸入方法，其中，該步驟(1)復包括依據顏色、灰階程度、色彩漸層之同質性、前後影像差異性、特定物件、特定圖案、特定型態及/或邊緣偵測方式定義出該顯示區域的步驟。
33. 如申請專利範圍第30項所述之應用影像辨識之指令輸入方法，其中，該步驟(1)復包括下列步驟：(1-1)由該影像呈現裝置依序呈現不同尺寸之第一區域與第二區域；(1-2)將該第一區域之邊界與該第二區域之邊界所圍出之區域定義為邊框；以及(1-3)定義該邊框內或邊框外所包含之區域為該顯示區域。
34. 如申請專利範圍第33項所述之應用影像辨識之指令輸入方法，其中，該步驟(1-2)復包括將線性的該邊框 之對應頂角定義為定位點的步驟。
35. 如申請專利範圍第33項所述之應用影像辨識之指令輸入方法，其中，該步驟(1-2)復包括將非線性的該邊框之對應頂角定義為定位點，並於該頂角外的曲面對應增加定位點的步驟。
36. 如申請專利範圍第33項所述之應用影像辨識之指令輸入方法，其中，該步驟(1-3)復包括將該邊框以特定之色彩框出，並顯示於該資料處理裝置上的步驟。
37. 如申請專利範圍第21項所述之應用影像辨識之指令輸入方法，復包括判斷該顯示區域中之干擾區域，以於該干擾區域中停止偵測該前景影像的步驟。
38. 如申請專利範圍第21項所述之應用影像辨識之指令輸入方法，復包括將該顯示區域中之預測變動內容與該顯示區域中之實際變動內容進行比對的步驟，用以依據比對的結果判斷該前景影像，俾提高該偵測模組判斷之準確率。