[go: up one dir, main page]

TWI649676B - 人機介面裝置及方法 - Google Patents

人機介面裝置及方法 Download PDF

Info

Publication number
TWI649676B
TWI649676B TW103124827A TW103124827A TWI649676B TW I649676 B TWI649676 B TW I649676B TW 103124827 A TW103124827 A TW 103124827A TW 103124827 A TW103124827 A TW 103124827A TW I649676 B TWI649676 B TW I649676B
Authority
TW
Taiwan
Prior art keywords
state
sensing system
spl
gesture
probability
Prior art date
Application number
TW103124827A
Other languages
English (en)
Other versions
TW201514767A (zh
Inventor
艾克索 漢姆
Original Assignee
美商微晶片科技公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商微晶片科技公司 filed Critical 美商微晶片科技公司
Publication of TW201514767A publication Critical patent/TW201514767A/zh
Application granted granted Critical
Publication of TWI649676B publication Critical patent/TWI649676B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本發明揭示一種用於一感測系統之基於狀態追蹤的手勢辨識引擎之方法，其具有以下步驟：定義一有限狀態機之複數個序列狀態；判定各狀態之一序列進行準位(SPL)；運行時將一狀態概率分佈映射至一(單一)SPL；及將經映射SPL估計用作該感測系統之一輸出值。

Description

人機介面裝置及方法 相關申請案之交叉參考
本申請案主張2013年7月19日申請之美國臨時申請案第61/856,531號之權利，該案之全文以引用方式併入本文中。
本揭示內容係關於一種用於一人機介面之方法及裝置，特定言之，關於在用於一感測系統之一基於HMM的手勢辨識引擎中進行狀態追蹤。
進行多級控制(例如消費類電子產品中之音量控制或螢幕/光亮度控制)之已知系統通常使用環狀觸控板或電容式線性滑桿(通常安裝於筆記型電腦中之鍵盤上)，或當手指在一泛用筆記型電腦觸控板之右邊框上之一專用滑動區域中移動時，此等系統使用來自該觸控板之觸控資訊。
此等感測器提供關於指尖之絕對位置資訊，且因此提供指尖在環狀觸控板上所成之角或在滑桿上所處之位置；可以直截了當的方式直接或區別地映射至一控制級之資訊。
尤其是對於觸控式轉盤，重要的是指尖及觸控式轉盤之幾何中心與該轉盤上之一參考點成某一角，且可對此角求值。
當涉及辨識無一固定幾何中心位置之環狀手勢時，判定環狀移動中所成之一角不再直截了當。在此情況下，例如一泛用非環狀觸控 板結合2D/3D自由懸浮手勢使用近場電容式感測系統或中/遠場感測系統，如視訊系統或紅外線攝影機系統。
考量一可順時針或逆時針環狀移動，且吾人不將其限於具有一固定開始或停止位置。在環狀移動期間之各時間點，為了即時應用，吾人可僅評估直至呈現之時所獲取之資料，即，僅部分手勢型樣。在未知所繪環中心之情況下，開始移動時偵測單元無法斷定該環之方向。例如，一左右移動出現於一順時針環之頂部但亦出現於一逆時針環之底部。
根據一實施例，一種用於一感測系統之基於狀態追蹤的手勢辨識引擎之方法包括以下步驟：定義一有限狀態機之複數個序列狀態；判定各狀態之一序列進行準位(SPL)；運行時將一狀態概率分佈映射至一(單一)SPL；及將經映射SPL估計用作該感測系統之一輸出值。
根據一進一步實施例，一最後狀態可續接複數個序列狀態之一第一狀態。根據一進一步實施例，感測系統可係三維(3D)感測系統。根據一進一步實施例，3D感測系統可係一近場電容式感測系統或一中/遠場感測系統。根據一進一步實施例，中/遠場感測系統可使用一視訊系統或紅外線攝影機系統。根據一進一步實施例，近場電容式感測系統可係一基於一準靜態電場量測的電容式非觸控3D感測系統。根據一進一步實施例，感測系統可係二維(2D)感測系統、電容式或電阻式觸控系統或觸控螢幕系統。根據一進一步實施例，感測系統可係一維(1D)感測系統。根據一進一步實施例，複數個狀態可係一環狀手勢之狀態。根據一進一步實施例，有限狀態機可係一階馬爾可夫(Markov)模型。根據一進一步實施例，可使用一前向鮑姆-韋爾奇(Baum-Welch)演算法計算一最可能狀態。根據一進一步實施例，可使用一維特比(Viterbi)演算法計算一最可能狀態及/或一最可能狀態序 列。根據一進一步實施例，該方法使用一N態隱式馬爾可夫模型(HMM)，其包括一狀態轉變概率矩陣。根據一進一步實施例，狀態轉變概率矩陣在各列中可包括一最大值概率值。根據一進一步實施例，各列之所有概率可合計達100%。根據一進一步實施例，HMM可進一步使用指示預定義移動方向之概率之一觀測矩陣。根據一進一步實施例，觀測矩陣在各列中可包括一最大值概率值。根據一進一步實施例，各列之所有概率可合計達100%。根據一進一步實施例，對於各離散時間瞬間，由感測系統提供之資料可轉遞至有限狀態機以計算N態HMM之一狀態概率分佈。根據一進一步實施例，對於各離散時間瞬間，可選擇具有最大值概率之一狀態且輸出與該狀態相關聯的一SPL。根據一進一步實施例，對於各時間瞬間，可根據狀態概率分佈計算並輸出一SPL。根據一進一步實施例，該方法可區別一順時針環狀手勢、一逆時針環狀手勢或一非移動手勢。根據一進一步實施例，一最大值似然規則可經應用以計算最可能狀態。根據一進一步實施例，對於複數個序列輸出值，可在序列輸出值之後處理期間應用一平滑演算法。
根據另一實施例，一種用於手勢辨識之方法可包括如上文描述之一方法，且進一步包括一基於型樣的手勢辨識模式，其中當滿足一預定義條件時，該方法在基於型樣的手勢辨識模式與由基於狀態追蹤的手勢辨識引擎提供之一基於狀態追蹤的手勢辨識模式之間切換。
根據此一方法之一進一步實施例，基於狀態追蹤的手勢辨識模式可使用一N態隱式馬爾可夫模型(HMM)，其包括一概率矩陣。根據此一方法之一進一步實施例，各狀態可被指派給一觀測概率分佈。根據此一方法之一進一步實施例，在基於狀態追蹤的手勢辨識模式期間，對於各離散時間瞬間，由感測系統提供之資料可經預處理並轉遞至有限狀態機以計算N態HMM之各狀態之一狀態概率分佈。根據此一 方法之一進一步實施例，對於各離散時間瞬間，可選擇具有最大值概率之一狀態並輸出與該狀態相關聯的一SPL。根據此一方法之一進一步實施例，對於各時間瞬間，可根據該狀態概率分佈計算並輸出一SPL。根據此一方法之一進一步實施例，基於狀態追蹤的手勢辨識模式可區別一順時針環狀手勢、一逆時針環狀手勢或一非移動手勢。根據此一方法之一進一步實施例，若滿足一非移動手勢之一預定義時間臨限值，則該方法可切換回至基於型樣的手勢辨識模式。根據此一方法之一進一步實施例，一最大值似然規則可經應用以計算最可能狀態。根據此一方法之一進一步實施例，對於複數個序列輸出值，可在序列輸出值之後處理期間應用一平滑演算法。根據此一方法之一進一步實施例，輸出值可用來控制該裝置之一功能。根據此一方法之一進一步實施例，該功能可增大或減小一音量級，控制一調光器，或控制一捲動功能。
100‧‧‧二維(2D)偵測系統
110‧‧‧二維(2D)人機介面裝置(HID)介面/二維(2D)介面
120‧‧‧二維(2D)感測器
130‧‧‧資料處理系統
200‧‧‧三維(3D)偵測系統
210‧‧‧準靜態電場偵測系統
220‧‧‧三維(3D)求值電路
305‧‧‧印刷電路板(PCB)
310‧‧‧接收電極
320‧‧‧接收電極
330‧‧‧接收電極
340‧‧‧接收電極
350‧‧‧求值晶片
360‧‧‧通用串列匯流排(USB)介面
S1‧‧‧第一狀態
S2‧‧‧第二狀態
S3‧‧‧狀態
S4‧‧‧第四狀態
A‧‧‧狀態轉變概率矩陣
B‧‧‧觀測概率矩陣
q‧‧‧序列進行準位(SPL)估計
α‧‧‧狀態之(前向)概率
θ‧‧‧記憶因數
圖1展示根據一實施例之一2D手勢辨識系統；圖2展示根據一實施例之一3D手勢辨識系統；圖3展示使用複數個接收電極之一基於交變近電場求值的手勢偵測系統之一例示性實施例；圖4展示相對於一物件之距離的一接收感測器之典型輸出信號；圖5展示可由根據圖1至圖3之一系統偵測之複數個手勢；圖6展示相對於根據圖3之一系統之感測電極之一逆時針環狀手勢；圖7展示其等亦出現於根據圖6之手勢之移動中時之方向向量之一集合；圖8至圖10展示多個狀態圖；圖11及圖12展示藉由根據各項實施例之一方法產生之複數個輸出 值；圖13展示具有一條形圖水平計之一例示性應用，該水平計之水平在偵測一環狀手勢時區別地更新。
因此，所提議解決方案之部分係用來識別觀測到之手勢(或型樣)。在所提議方法中，此係藉由使用一概率測度比較一其他可能手勢集合(其可包含代表隨機移動之一無用手勢)完成。一旦識別最可能手勢(例如在繪製一半環之後)就追蹤手勢之進程。(此進程追蹤亦可剛好在開始做手勢(偵測到手勢)之時開始。同樣地，亦可出於不同目的，同時追蹤不太可能手勢之進程)。
根據各項實施例，可提供一種方法以：a)先驗定義或判定一有限狀態機之各狀態之一序列進行準位(SPL)；b)運行時將狀態概率分佈映射至一(單一)SPL；及c)利用此SPL估計作為一資訊源(使用案例)。
運用所提議方法追蹤手勢進程，甚至無需一固定參考位置。吾人之方法適用於(但不限於)所有前述感測系統且將在下文實例中進一步說明。
圖1展示例如一典型二維(2D)偵測系統100。2D感測器120可係例如與一2D介面110耦合之一電容式或電阻式軌跡板或觸控螢幕偵測器，該2D介面110經組態以對由感測器120提供之原始資訊進行解碼並產生各自資料及/或命令，以提供至與該2D介面110耦合之一資料處理系統130。
圖2展示一例示性三維偵測系統200。此系統可使用具有複數個電極且與一3D求值電路220(例如由申請人製造之一積體電路裝置MGC3130)耦合之一準靜態電場偵測系統210，該3D求值電路220可與一資料處理系統130耦合。圖3展示可用於此一系統之一例示性電極配置，其包括配置於一印刷電路板(PCB)305上之複數個接收電極310至 340。PCB亦提供通常配置於PCB之一下部層上(例如PCB 305之底側上)之一傳輸電極以產生準靜態電場。此一系統可例如藉由使用饋送至該傳輸電極之一100kHz交變信號(例如一矩形脈衝列)產生一電場，其延伸於接收電極310至340上之區域空間中。偵測空間內所做之一非觸控手勢引起場干擾，且可藉由配置於傳輸電極周圍及/或之上的接收電極310至340或藉由量測傳輸電極之負載來偵測該場干擾。此一電路板可同時包含求值晶片350且提供例如一USB介面360用於一資料處理系統。進入電場之物件干擾該電場，其中各個電極310至340處之信號不同程度地衰減，此尤其取決於距物件之距離。因此，由電極310至340提供之原始資料之處理提供實際3D資料。可能固有的是在此一電場3D偵測系統中物件距一各自電極310至340之距離越大，量測值越小，如圖4中所示。然而，本申請案不限於此行為，且一電場系統可提供一不同信號回應。可使用一基於隱式馬爾可夫模型(HMM)之手勢辨識系統偵測手勢。該等模型稱為「隱式」，係因為無法直接觀測其等真實/實際狀態。各狀態之「較佳」移動方向經由觀測概率而與其相關聯。標題為「AUTOMATIC GESTURE RECOGNITION FOR A SENSOR SYSTEM」之同在申請中之美國專利申請公開案US2014/0050354中揭示離散手勢事件之辨識(例如如圖5中所示之撥動及繞圈)，該案之全文以引用方式併入本文中。
感測系統可例如係具有感測電極之一電容式感測系統，其量測值係一導電物件與電極之間的距離之一單調測度。用於手勢辨識之特徵可例如係代表在二維(x,y)平面中一手指之移動且根據感測量測值計算之二維方向向量之正負號。如上文說明，3D系統可係任何偵測系統，諸如光學系統、聲學系統等。再者，一資料處理系統可自例如如圖1及圖2中所示之一2D系統或一3D介面接收經處理資訊。
所提議方法亦可應用於無需一第二維之一維(1D)感測系統，例如 觸控或無觸控滑桿功能。下文中，多數實例提到一環狀手勢，諸如一順時針或逆時針環狀手勢。然而，如本申請案內提及，所提議方法亦可應用於1D、2D或3D感測系統。
實例：連續環狀手勢相位追蹤(「懸浮轉盤(AirWheel)」)
假定吾人具備一基於隱式馬爾可夫模型(HMM)之手勢辨識系統，包含表1中定義之4態環狀HMM，其中矩陣A係HMM之狀態轉變概率矩陣(列中為當前狀態，行中為下一狀態)，矩陣B係觀測概率矩陣(列中為狀態，行中為觀測)，且π係初始狀態概率向量。B中之行對應於圖7中之方向向量，其次序與矩陣B頂部上指示之次序相同。HMM代表一逆時針環狀手勢。
圖6展示關於HMM狀態之所有可能特徵向量與使用圖3中所示具有四個接收電極310至340之電場3D感測器之一系統的關聯。觀測空間係四個方向向量之集合，該四個方向向量擷取自由四個接收電極310至340提供之量測資料，用於追蹤該觀測空間前面的一隻手之移動。圖7展示具有四個方向向量之一集合之觀測空間。圖8展示HMM之狀態圖。結合概率矩陣B，吾人發現第一狀態「s1」具有輸出至左上方之方向向量之一高概率B[1,1]=0.95，且具有產生至右上方之向量之一極小概率B[1,4]=0.02。
如圖6及圖8中所示，為了偵測一逆時針環狀手勢，矩陣B(見表1)被設計成具有與各自方向向量相關聯的一最大值。矩陣A經設計以反映一各自手勢之狀態及可能轉變。因此，例如，對於逆時針手勢，狀態s1不會轉變至狀態s3及s4。僅非零轉變概率係自狀態s1轉變至s1自身或轉變至s2。較佳地，矩陣A及B中各列之概率合計達100%。歸因於手勢係環狀，矩陣B中之當前狀態(例如s1)鄰接一先前狀態s4及一下一狀態s2。各狀態與一顯性相關聯，即，一高似然觀測(相關聯於此狀態的B之列中之相異最大值)，或具有高概率之類似觀測之一集 合。例如，貫穿表1中B之列，即，對於各狀態，產生方向與其最可能方向向量相反的一方向向量之概率最小，例如當處於狀態s2時產生一右上方移動之概率最小，其中s2之最可能觀測係左下方。表1僅展示可如何指派概率之一實例。其他值及最大值概率之應用取決於各自手勢及其特性。例如，一手勢及其相關聯HMM可非環狀且具有一相異的開始及結束。該等手勢可變化且無須為環狀。
關於使用一環狀手勢之實例，當手在正x軸上自相位φ=0開始逆時針移動時，在來自感測器之一些樣本之後，在給定HMM中狀態s1將係最可能狀態，因為圖6中之座標系之第一象限內的環狀移動之顯性方向朝向左上方，且當HMM處於狀態s1時最可能產生對應方向向量。矩陣B之第一行中之最大值(其對應於左上方方向向量)係在對應狀態s1之列1中。隨著手繼續逆時針移動，最可能狀態將行進至s2、s3、s4、s1，以此類推。
因此，知道藉由手移動執行一逆時針環，且知道對應HMM中之最可能狀態，吾人可推斷「在何處」，即，當前在環中移動之手處於何相位，而無需知道所繪環之絕對空間位置。
一般描述
假定吾人給定具有N種狀態之一有限狀態機(FSM)。吾人亦給定 一特徵空間，即，可選自或擷取自由在離散時間瞬間下對一連續時間型樣取樣之一感測器提供之量測資料的一特徵集合。假定FSM之各狀態產生該特徵集合中的具有一特定概率之特徵(或觀測)，即，各狀態被指派給一觀測概率分佈。在最簡單案例中，各狀態映射至該特徵集合中的具有概率1之一單一特徵。此等分佈常儲存於一所謂的觀測矩陣B中。FSM代表一特定型樣或一特定型樣集合。
基於此觀測概率分佈，吾人根據序列進程在連續時間型樣中按升序將一序列進行準位(SPL)指派給各狀態(先驗)。在不失一般性之情況下，吾人將SPL之值範圍設定至[0,N]。實例：對於介紹性實例，圖6展示分別指派給狀態s1、s2、s3及s4之N=4 SPL q1=Q(1)=0.5、q2=Q(2)=1.5、q3=Q(3)=2.5及q4=Q(4)=3.5。如此做之動機如下：假定[0,N]範圍中之SPL以一單調方式分佈於全環狀型樣內，自q=0之正x軸且q=1之正y軸開始分佈，至q=2之負x軸，至q=3之負y軸，且返回至q=4之正x軸。Q(1)至Q(4)被放置於匹配其等對應狀態s1至s4之顯性觀測之型樣位置處。
運行時，給定FSM及擷取自感測資料之特徵，計算FMS之狀態之一狀態概率分佈，並對於各新感測樣本更新該狀態概率分佈。在各離散時間瞬間下，獲得一SPL估計之最簡單方式係在此分佈中選擇具有最大值概率之狀態並輸出指派給此狀態之SPL。此外，下文清單1中展示更複雜方法。
一順時針環狀偵測之HMM使用與圖8中所示類似且具有順時針轉變(如圖8中所示指向相反方向之箭頭)之一狀態模型。在追蹤濾波狀態概率下，例如，當最可能狀態主要與左上方方向向量相關聯時(矩陣B中之左上方方向向量之顯性概率)，可假定φ=45°。至下一狀態之轉變對應於約90°角度變化。接著可輸出狀態轉變之累計數。
圖9展示提供一雙向環狀HMM進行順時針手勢偵測及逆時針手勢 偵測兩者之另一實施例。此模型可用來潛在地替換兩個既有的單向環狀HMM，一者用於順時針環且另一者用於逆時針環，從而可導致進行快閃記憶體保存以用於一實際實施例。
用於使如圖11中之階梯形輸出變平滑之額外濾波器可係必要的。該模型可另外經修改以包含一停止準則以允許前向/後向捲動，例如藉由在一手指不移動時將一延時暫停包含於一虛擬滾輪(VSW)模式中。根據其他實施例，狀態數目可隨細微度增大且不限於使用四種狀態之實例。
運行時計算狀態概率分佈之規則可係最大值似然(ML)或最大值後驗概率(MAP)規則以計算最可能狀態或最可能狀態序列。
各狀態被指派一狀態索引i及一SPL Q(i)。
a)自行設計之FSM：對於一預定義連續型樣(或「序列」)，FSM之各狀態被指派給此連續時間型樣中之一特定離散時間瞬間(SPL)，使得狀態索引之次序與對應SPL出現於由此FSM代表之連續型樣中之次序相同或相反。各SPL被定位於N個相鄰序列分段之一者內，較佳被定位於分段中心中。接著，對於各狀態，觀測概率分佈經選擇使得其類似通常在感測器取樣此分段中之連續時間型樣時獲得之觀測。
實例：介紹性實例係此一自行設計之FSM，更準確言之一具有N=4種狀態之一階環狀隱式馬爾可夫模型。圖6展示四個SPL q1、q2、q3及q4周圍之序列分段(四個四分之一環，各象限一個)。表1中之狀態轉變矩陣A反映該模型之環狀結構：如上述，具有非零概率之轉變僅發生自一狀態轉變至其自身狀態或具有次高索引之狀態，及自第四狀態s4轉變回至s1。對於各狀態，觀測矩陣B具有對應於該分段中之顯性移動方向之一顯性，即，最可能觀測。
b)預定義FSM(例如訓練之HMM)：給定具有指派給其各狀態之一觀測概率分佈之一FSM，對於一預定義連續型樣(或「序列」)，識 別該連續時間型樣內各狀態si之一典型SPL Q(i)，使得索引之次序與對應SPL出現於連續時間型樣中之次序相同(或相反)。
實例：給定一觀測集合及含有各狀態之觀測概率分佈之矩陣B，計算各狀態之一平均或預期觀測(例如算術平均值)。給定具有指派之SPL之一參考型樣，例如SPL在此型樣之典型暫時持續時間內均勻分佈，對於各狀態識別該型樣中之SPL(其中其預期觀測擬合此SPL)並將此SPL指派給該狀態。給定表2中之觀測概率矩陣B，其展示矩陣A及B之另一例示性集合，及對應SPL 0.5、1.5、2.5及3.5之相關聯方向箭頭、預期觀測之計算(分佈之平均值或加權和)，同時考量模型之環狀結構將對於第二狀態s2如下般工作：吾人在矩陣B中搜尋列2中對應於狀態s2之最大值，從而產生在行4中至右上方之方向向量B(2,4)=0.9。此概率使對應於此觀測之SPL q=3.5加權。據此，行3中之概率B(2,3)使SPL q=2.5加權。歸因於該模型之環狀結構及SPL模數N之所得計算，對於各觀測，需要決定考量其是在最可能觀測之前還是在最可能觀測之後出現。由於最大值概率係在行4中，故行1中循環至其右邊之觀測之SPL係q=0.5+(N=4)=4.5且對應概率係B(2,1)=0.05。由於行1中循環至行4中最大值B(2,4)=0.9右邊之概率B(2,1)=0.05大於至最大值左邊之概率B(2,3)=0.04，故行2亦應被視為循環至行4右邊，從而產生SPL q=5.5。因此，SPL之加權和變成：SPL(s2)=Q(2)=B(2,1)*4.5+B(2,2)*5.5+B(2,3)*2.5+B(2,4)*3.5=0.05*4.5+0.01*5.5+0.04*2.5+0.9*3.5=3.53
若此結果大於N或小於0，則吾人將需要計算模數N。用於將SPL指派給一狀態之不同方法亦可行，例如忽略面對具有最大值概率之方向向量之相反方向的方向向量。
表2
根據表2中所示之實施例，狀態轉變概率矩陣A係一雙向環狀HMM之集合以產生圖11及圖12中所示之螢幕畫面。圖10展示該雙向環狀HMM之相關聯狀態圖。圖11顯現分成三個連續區段之一手勢的系統輸出位準之一實例。第一區段展示續接一順時針環狀手勢之活動不啟動VSW模式。步階分別指示相關聯的遞增捲動參數、或兩種或更多種狀態之間的轉變。在一特定順時針循環時間之後，使用者立即繼續做一逆時針手勢，以減小如圖11中所示之相關聯參數。
停止準則(即，偵測連續時間型樣之結束之決策規則)可能需要經調適使得其在該型樣幾乎不變更達一定較短量的時間時不偵測一停止。
如上述，根據其他實施例，可藉由增大級數目(即，藉由增大狀態數目)改良進行準位之細微度(即，可使介於兩個連續級之間的步階更小)。
根據進一步實施例，可應用後處理以使兩級之間的轉變變平滑，即，選擇具有最高概率之狀態之規則可被更複雜規則替換。使q表示藉由吾人之演算法計算之SPL估計。在不失任何一般性之情況下，使q之值範圍在[0,N]中，其中N係HMM中之考量中的狀態數目。使Q=[Q(1) Q(2)...Q(N)]表示含有各狀態之SPL之一向量，其中對於所有i=1,2,...,N-1保持Q(i)<=Q(i+1)且Q(i)具有與q相同的值範圍。第 一平滑步階係利用狀態概率傳播之內部平滑：吾人使用所有狀態之概率計算一平均SPL而非選擇具有最大值概率之狀態，其中用α(i)表示狀態之(前向)概率。用於使狀態轉變變平滑之一第二提議係引入[0,1]中之一記憶因數θ以逐步更新SPL估計q。吾人區別具有一相異的開始及停止(非週期性的)之序列/型樣與以環狀手勢辨識為脈絡(週期性的)之週期性序列。使q(k)表示離散時間例項k內之q。
a)非週期性的：q(k+1)=θ*q(k)+(1-θ)* sum_{i=1}{N}α(i)*Q(i)
b)週期性的：q之範圍現係在[0,N]中。歸因於HMM之週期性，如非週期性案例中之一加權和不可行。而是，進行一差分更新方法以避免例如一狀態自具有高SPL之一狀態轉變至具有低SPL之一狀態時出現溢位/反向溢位問題。允許SPL估計q之一更新量僅達N/2以下。
清單1
清單1顯示獲取量測資料及計算HMM前向概率之後在各離散時間步階應用之一例示性更新規則。圖11及圖12展示使用一雙向環狀HMM與表2中之狀態轉變概率矩陣進行的(逆)順時針環之追蹤，其中SPL指派如圖6。圖式中順時針環狀移動增大信號位準，逆時針環狀移動減小信號位準。因此，圖12顯現具有平滑的後處理之實施。首先，執行若干順時針環狀移動以增大圖中所示之捲動參數，接著暫停，且接著一些逆時針環狀移動、暫停、再多一些逆時針環狀移動。表2中之雙向環狀HMM已用於此實例。在圖12中，所繪信號亦存在分段，其中信號位準在移動暫停期間近似恆定。與圖11相比，信號之階梯特性歸因於平滑而明顯減小。
亦可藉由根據其他實施例修改矩陣A及/或B中之HMM模型參數達成平滑。
一些特徵之概述
根據一實施例，可無須選擇具有最大值概率之狀態，但可藉由採用狀態概率分佈之平均值計算一「內插」狀態索引及對應SPL。
可根據各項實施例實施以下狀態之一或多者：FSM可具有有限記憶。FSM可實現馬爾可夫性質，即，FSM可係一階馬爾可夫模型。可使用前向鮑姆-韋爾奇演算法計算最可能狀態。可使用維特比演算法計算最可能狀態及/或最可能狀態序列。馬爾可夫模型之狀態係隱式的，即，FSM係一隱式馬爾可夫模型(HMM)。FSM可係用於一習知的基於事件的型樣辨識系統之一隱式馬爾可夫模型，其中根據HMM之一集合，判定被給定一連續時間型樣或其對應離散時間觀測序列之最可能狀態，且該觀測序列係自一感測器獲得之一給定開始時間例項與一給定停止時間例項之間的特徵序列。
1.若一預定義條件滿足準備用於SPL追蹤之HMM，則可自習知的基於事件的型樣辨識模式切換至SPL追蹤模式。
2.此條件將超過一預定義概率。
3.習知的基於事件的型樣辨識期間之停止偵測之準則可不同於在SPL追蹤模式期間應用之準則。
連續時間型樣可係一手勢，其中一手勢被定義為一預定義移動型樣。例如，連續時間型樣可係一環狀手勢。然而，如上述，可使用其他類型之手勢，甚至使用非環型之手勢或甚至使用非手勢型樣。HMM可係一線性HMM或一環狀HMM。HMM可係一雙向HMM。接著亦可在型樣之相反方向上執行SPL追蹤，即，前向及後向。
偵測方法之應用
環狀手勢類似一旋鈕之控制且因此較佳可用作例如一HiFi集合之例如一虛擬音量控制轉盤：順時針移動增大音量，逆時針移動減小音 量。然而，可根據各項實施例實施任何其他旋鈕功能。
圖13展示使用指示對應於一順時針/逆時針環狀手勢之SPL之一各自水平的一垂直條形圖之一例示性設計，即，當SPL已增大/減小達一特定量時(例如在一環之各四分之一之後)，圖之水平增大/減小達一條。圖13展示可用作具有一相位指示符之一音量控制轉盤及其中發光LED之條之高度指示音量之一LED顯示器的一應用。零個LED發光對應於靜音，所有LED發光對應於最大值音量。調節音量轉盤會增大/減小音量，且當已調節該轉盤達一定義量時，例如達90度(對應於Δφ=1)，一LED發光或關閉。雖然音量轉盤理論上可調節達一無限量，但LED條形圖以靜音或最大值音量為飽和。如上述，可應用任何其他類型之旋鈕功能。
例如但非限制性，其他應用可包含：
- 區別於環狀觸控板之任何媒體播放機控制類型功能
- 以一燈開關控制一調光器
- 替換一PC滑鼠之滾輪
- 各類型感測系統/量測輸入裝置(實例)
1.1D滑桿功能或其他一維手勢；
2.2D觸控板/觸控顯示器、2D攝影機
3.3D攝影機、3D電容式感測系統
- 內部使用型樣辨識系統內之SPL資訊以增大辨識可靠性。
其他模式
提供一1D、2D或3D定位系統(例如，基於攝影機的感測系統或電容式感測系統)，亦可行的是使用例如影像處理技術評估部分型樣(例如，一部分繪製環)。然而，此將需要額外演算法機器(縮放、旋轉、新距離測度)且因此不易根據所提議方法整合至一既有的基於HMM的型樣辨識系統中。備註：使用基於攝影機的感測系統連同SPL追蹤可 被視為一較佳方法。
亦可使用部分HMM來偵測部分型樣。然而，接著將需要對於各部分HMM運行手勢辨識演算法，從而推斷計算複雜度明顯增大。
延伸
- 雙向環狀HMM亦可用來替換用於順時針環及逆時針環之兩個HMM：順時針移動或逆時針移動之間的決策可在一後處理階中作出，其中在手勢停止偵測之後檢查累計差分SPL之正負號。
- 至HMM型樣辨識演算法中之觀測(方向向量)之輸入可限於偵測到移動時之時間例項。以此方式，例如當繪製一順時針環、暫停及繪製一逆時針環時，在移動暫停時不輸入觀測，其中偵測向量僅取決於雜訊，而非實際移動資訊。
參考文獻
R. Aubauer等人(DE 10 2010 007 455 A1 2011.08.11)：「System und Verfahren zum beruehrungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalem Raum」
A. Heim等人：「Automatic Gesture Recognition for a Sensor System」，MTI #3654。

Claims (29)

  1. 一種用於一感測系統之一基於狀態追蹤(state tracking based)的手勢(gesture)辨識引擎之方法，其包括以下步驟：定義一有限狀態機(finite-state machine)之複數個序列(sequential)狀態，其中該有限狀態機係一N態隱式馬爾可夫模型(Hidden Markov Model；HMM)，其包括一狀態轉變概率矩陣(state transition probability matrix)；判定各狀態之一序列進行準位(Sequencece Progress Level；SPL)；運行時(run-time)將一狀態概率分佈映射至一SPL；及利用經映射之該SPL估計作為該感測系統之一輸出值，其中一最可能狀態及/或一最可能狀態序列使用一維特比演算法(Viterbi Algorithm)計算，其中對於各離散時間瞬間(discrete-time instance)，由該感測系統提供之資料係轉遞至該有限狀態機，該有限狀態機計算該N態HMM之一狀態概率分佈，及其中對於各離散時間瞬間，選擇具有最大值概率之一狀態且輸出與該狀態相關聯的一SPL。
  2. 如請求項1之方法，其中一最後狀態續接該複數個序列狀態之一第一狀態。
  3. 如請求項1之方法，其中該感測系統係一個三維(3D)感測系統。
  4. 如請求項3之方法，其中該3D感測系統係一近場電容式感測系統或一中(mid)/遠(far)場感測系統。
  5. 如請求項4之方法，其中該中/遠場感測系統使用一視訊或紅外線攝影機系統。
  6. 如請求項4之方法，其中該近場電容式感測系統係基於一準 (quasi)靜態電場量測的電容式非觸控3D感測系統。
  7. 如請求項1之方法，其中該感測系統係一個二維(2D)感測系統、一電容式或電阻式觸控系統或一觸控螢幕系統。
  8. 如請求項1之方法，其中該感測系統係一個一維(1D)感測系統。
  9. 如請求項1之方法，其中該複數個狀態係一環狀(circular)手勢之狀態。
  10. 如請求項1之方法，其中該狀態轉變概率矩陣在各列中包括一最大值概率值。
  11. 如請求項10之方法，其中各列之所有概率合計達100%。
  12. 如請求項1之方法，其中該HMM進一步使用指示預定義移動方向之概率之一觀測矩陣。
  13. 如請求項12之方法，其中該觀測矩陣在各列中包括一最大值概率值。
  14. 如請求項13之方法，其中各列之所有概率合計達100%。
  15. 如請求項1之方法，其中對於各時間瞬間，根據該狀態概率分佈計算並輸出一SPL。
  16. 如請求項1之方法，其中該方法區別一順時針環狀手勢、一逆時針環狀手勢或一非移動手勢。
  17. 如請求項1之方法，其中一最大值似然規則(Maximum Likelihood rule)經應用以計算該最可能狀態。
  18. 如請求項12之方法，其中對於複數個序列輸出值，在序列輸出值之後處理(post processing)期間應用一平滑(smoothening)演算法。
  19. 一種用於手勢辨識之方法，其包括如請求項1之方法，進一步包括一基於型樣(pattern)的手勢辨識模式，其中當滿足一預定義條件時，該方法在該基於型樣的手勢辨識模式與由該基於狀態追 蹤的手勢辨識引擎提供之一基於狀態追蹤的手勢辨識模式之間切換。
  20. 如請求項19之方法，其中各狀態被指派給一觀測概率分佈。
  21. 如請求項19之方法，其中在該基於狀態追蹤的手勢辨識模式期間，對於各離散時間瞬間，由該感測系統提供之該資料經預處理並轉遞至該有限狀態機，該有限狀態機計算該N態HMM之各狀態之一狀態概率分佈。
  22. 如請求項21之方法，其中對於各時間瞬間，根據該狀態概率分佈計算並輸出一SPL。
  23. 如請求項21之方法，其中該基於狀態追蹤的手勢辨識模式區別一順時針環狀手勢、一逆時針環狀手勢或一非移動手勢。
  24. 如請求項23之方法，其中若滿足一非移動手勢之一預定義時間臨限值，則該方法切換回至該基於型樣的手勢辨識模式。
  25. 如請求項21之方法，其中一最大值似然規則經應用以計算該最可能狀態。
  26. 如請求項21之方法，其中對於複數個序列輸出值，在序列輸出值之後處理期間應用一平滑演算法。
  27. 如請求項22之方法，其中對於複數個序列輸出值，在序列輸出值之後處理期間應用一平滑演算法。
  28. 一種操作經組態以實施如請求項1之方法之一裝置之方法，其中該輸出值係用來控制該裝置之一功能。
  29. 如請求項28之方法，其中該功能增大或減小一音量(volume)級，控制一調光器(dimmer)，或控制一捲動(scroll)功能。
TW103124827A 2013-07-19 2014-07-18 人機介面裝置及方法 TWI649676B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361856531P 2013-07-19 2013-07-19
US61/856,531 2013-07-19
US14/328,265 US9625997B2 (en) 2013-07-19 2014-07-10 Human interface device and method
US14/328,265 2014-07-10

Publications (2)

Publication Number Publication Date
TW201514767A TW201514767A (zh) 2015-04-16
TWI649676B true TWI649676B (zh) 2019-02-01

Family

ID=52343200

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103124827A TWI649676B (zh) 2013-07-19 2014-07-18 人機介面裝置及方法

Country Status (7)

Country Link
US (3) US9625997B2 (zh)
EP (1) EP3033658B1 (zh)
JP (1) JP6463579B2 (zh)
KR (1) KR102364328B1 (zh)
CN (1) CN105452997B (zh)
TW (1) TWI649676B (zh)
WO (1) WO2015009781A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9625997B2 (en) 2013-07-19 2017-04-18 Microchip Technology Incorporated Human interface device and method
US9665725B2 (en) 2015-02-06 2017-05-30 Microchip Technology Incorporated Gesture based access control method and system
US9990113B2 (en) * 2015-09-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for moving a current focus using a touch-sensitive remote control
US10768746B1 (en) 2016-05-10 2020-09-08 Apple Inc. Quasi-continuous-time sampling of discrete-time sampled signals
US10929767B2 (en) 2016-05-25 2021-02-23 International Business Machines Corporation Method for complex events detection using hidden markov models
CN107909003B (zh) * 2017-10-16 2019-12-10 华南理工大学 一种针对大词汇量的手势识别方法
CN112925430A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 实现悬浮触控的方法、3d显示设备和3d终端
KR102470023B1 (ko) * 2021-11-12 2022-11-24 주식회사 만나통신사 실시간 라이브를 이용한 원격 대리탐방 서비스 제공 시스템
CN114626666B (zh) * 2021-12-11 2023-05-05 国网湖北省电力有限公司经济技术研究院 一种基于全时空监测的工程现场进度识别系统
GB202204096D0 (en) * 2022-03-23 2022-05-04 British Telecomm A secure authentication token

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050257174A1 (en) * 2002-02-07 2005-11-17 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
TWI328201B (en) * 2006-10-30 2010-08-01 Ind Tech Res Inst Method and system for object detection in an image plane
US20110205175A1 (en) * 2010-02-25 2011-08-25 Egalax_Empia Technology Inc. Method and device for determining rotation gesture

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6212510B1 (en) 1998-01-30 2001-04-03 Mitsubishi Electric Research Laboratories, Inc. Method for minimizing entropy in hidden Markov models of physical signals
US6694044B1 (en) * 1999-09-16 2004-02-17 Hewlett-Packard Development Company, L.P. Method for motion classification using switching linear dynamic system models
US6944315B1 (en) * 2000-10-31 2005-09-13 Intel Corporation Method and apparatus for performing scale-invariant gesture recognition
SE0302711L (sv) 2003-10-13 2005-03-22 Anders Swedin Beröringskänslig bildskärmsenhet, samt metod för avkänning av en beröring på bildskärmsenheten
US8531431B2 (en) 2003-10-13 2013-09-10 Integritouch Development Ab High speed 3D multi touch sensitive device
JP2007087089A (ja) * 2005-09-21 2007-04-05 Fujitsu Ltd ジェスチャ認識装置、ジェスチャ認識プログラムおよびジェスチャ認識方法
US8904312B2 (en) 2006-11-09 2014-12-02 Navisense Method and device for touchless signing and recognition
CN107102723B (zh) 2007-08-20 2019-12-06 高通股份有限公司 用于基于手势的移动交互的方法、装置、设备和非暂时性计算机可读介质
KR20090050199A (ko) * 2007-11-15 2009-05-20 주식회사 휴민텍 광류와 은닉 마르코프 모델을 이용한 실시간 얼굴 표정인식
EP2104023A3 (en) 2008-03-18 2012-08-22 Anders Swedin Method and apparatus at a touch sensitive device
JP2010079848A (ja) * 2008-09-29 2010-04-08 Waseda Univ 項目選択方法および装置
DE102010007455B4 (de) * 2010-02-10 2024-06-27 Microchip Technology Germany Gmbh System und Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Raum
US10430066B2 (en) 2011-12-06 2019-10-01 Nri R&D Patent Licensing, Llc Gesteme (gesture primitive) recognition for advanced touch user interfaces
CN102592112B (zh) * 2011-12-20 2014-01-29 四川长虹电器股份有限公司 基于隐马尔科夫模型判断手势运动方向的方法
US9323985B2 (en) 2012-08-16 2016-04-26 Microchip Technology Incorporated Automatic gesture recognition for a sensor system
US9625997B2 (en) 2013-07-19 2017-04-18 Microchip Technology Incorporated Human interface device and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050257174A1 (en) * 2002-02-07 2005-11-17 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
TWI328201B (en) * 2006-10-30 2010-08-01 Ind Tech Res Inst Method and system for object detection in an image plane
US20110205175A1 (en) * 2010-02-25 2011-08-25 Egalax_Empia Technology Inc. Method and device for determining rotation gesture

Also Published As

Publication number Publication date
WO2015009781A1 (en) 2015-01-22
US9625997B2 (en) 2017-04-18
TW201514767A (zh) 2015-04-16
EP3033658A1 (en) 2016-06-22
US20180314338A1 (en) 2018-11-01
EP3033658B1 (en) 2020-01-01
KR20160033194A (ko) 2016-03-25
US9958953B2 (en) 2018-05-01
US20170220124A1 (en) 2017-08-03
US20150022490A1 (en) 2015-01-22
JP6463579B2 (ja) 2019-02-06
US10365722B2 (en) 2019-07-30
KR102364328B1 (ko) 2022-02-17
CN105452997B (zh) 2018-12-14
JP2016527628A (ja) 2016-09-08
CN105452997A (zh) 2016-03-30

Similar Documents

Publication Publication Date Title
TWI649676B (zh) 人機介面裝置及方法
US20140351753A1 (en) Method and apparatus for user interface based on gesture
TWI543069B (zh) 電子裝置及其繪圖方法及電腦程式產品
TWI659332B (zh) 用於感測器系統之連續圓形姿勢偵測
TWI703471B (zh) 人機介面裝置及方法
CN110796259A (zh) 用于确定外围设备位移的方法和系统
TW201525849A (zh) 多邊形手勢偵測及互動方法、裝置及電腦程式產品
US9857878B2 (en) Method and apparatus for processing gesture input based on elliptical arc and rotation direction that corresponds to gesture input
TWI711963B (zh) 以導覽子區域的選定來對手指移動進行評估的方法和系統
US20150316991A1 (en) Motion recognition method
CN114910102A (zh) 位置检测装置、系统、方法以及程序
CN107850977B (zh) 使用移动模型的位置测量到对象的映射
KR101370830B1 (ko) 사용자 인터페이스 구현 시스템 및 구현 방법
KR20190028963A (ko) 손떨림 보정 기반의 터치 입력 보정 장치
JP2022122245A (ja) 位置検出装置、位置検出システム、位置検出方法、および位置検出プログラム
KR20180122721A (ko) 정보 처리 장치, 정보 처리 방법 및 기억 매체에 저장된 정보 처리 프로그램
CN105653023A (zh) 用于运行输入设备的方法、输入设备
JP6281745B2 (ja) 摺動操作検出装置、電子機器及びプログラム