[go: up one dir, main page]

TWI412975B - 手勢辨識方法及使用該方法之互動系統 - Google Patents

手勢辨識方法及使用該方法之互動系統 Download PDF

Info

Publication number
TWI412975B
TWI412975B TW098129508A TW98129508A TWI412975B TW I412975 B TWI412975 B TW I412975B TW 098129508 A TW098129508 A TW 098129508A TW 98129508 A TW98129508 A TW 98129508A TW I412975 B TWI412975 B TW I412975B
Authority
TW
Taiwan
Prior art keywords
light
image
shadow
gesture recognition
gesture
Prior art date
Application number
TW098129508A
Other languages
English (en)
Other versions
TW201109998A (en
Inventor
Hsin Chia Chen
Tzung Min Su
Chih Hung Lu
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to TW098129508A priority Critical patent/TWI412975B/zh
Priority to JP2010189686A priority patent/JP5241786B2/ja
Priority to US12/870,290 priority patent/US8675913B2/en
Publication of TW201109998A publication Critical patent/TW201109998A/zh
Application granted granted Critical
Publication of TWI412975B publication Critical patent/TWI412975B/zh
Priority to US14/181,055 priority patent/US8867791B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Processing (AREA)

Description

手勢辨識方法及使用該方法之互動系統
本發明係關於一種互動系統，特別係關於一種手勢辨識方法及使用該方法之互動系統。
請參照第1圖所示，其顯示一種習知觸控系統9。該觸控系統9包括一觸控面90及至少2個攝影機91、92，該等攝影機91、92之視野包含整個觸控面90。當一使用者利用手指碰觸該觸控面90時，攝影機91、92可擷取包含該手指尖端之遮蔽光影的影像視窗。一處理單元則可根據該等影像視窗中該手指尖端之遮蔽光影的位置計算出該手指碰觸該觸控面90之二維位置座標，並根據該二維位置座標之變化以相對控制一顯示器執行相對應之動作。
然而，該觸控系統9之動作原理是根據每個影像視窗中手指尖端之遮蔽光影的位置以計算該手指碰觸該觸控面90之二維位置座標。當使用者利用複數手指碰觸該觸控面90時，相對於攝影機92，由於手指彼此間會互相遮蔽，攝影機92所擷取之影像視窗中並不一定會出現所有手指尖端之遮蔽光影。
例如第1圖中，一使用者利用手指81及82碰觸該觸控面90，此時攝影機91擷取一影像視窗W91 ，其包含手指81及82之遮蔽光影I81 及I82 ；然而，由於手指81及82相對於攝影機92互相遮蔽，因此攝影機92所擷取之影像視窗W92 中僅包含一個遮蔽光影。當一處理單元根據該等影像視窗W91 及W92 計算該手指碰觸該觸控面90之二維位置座標時，便有可能無法正確計算該二維位置座標而導致誤動作之發生。
為解決此一問題，可透過另外設置兩攝影機93及94於該觸控面90之另外兩個角落以另外擷取兩影像視窗W93 、W94 ，該處理單元則可根據該影像視窗W91 及W93 分別計算出手指81及82碰觸該觸控面90之二維位置座標。然而，此種解決方案會增加系統成本。
有鑑於此，本發明另提出一種手勢辨識方法及使用該方法之互動系統，以解決上述習知觸控系統中所存在之問題。
本發明之目的在提出一種手勢辨識方法及使用該方法之互動系統，其根據一影像感測器所擷取之連續影像視窗中遮蔽光影之相互關係進行手勢辨識，可解決因指示物相互遮蔽所導致無法正確計算接觸點座標之問題。
本發明提出一種互動系統之手勢辨識方法，該互動系統包含至少一光源、一反射元件及一影像感測器用以擷取包含至少一指示物遮蔽該光源及/或該反射元件之遮蔽光影的影像視窗。該手勢辨識方法包含下列步驟：以該影像感測器擷取一影像視窗；擷取該影像視窗中之遮蔽光影資訊；根據該遮蔽光影資訊判定是否包含複數指示物；及當判定包含複數指示物時，根據連續影像視窗中遮蔽光影之一相互關係進行手勢辨識。
本發明之手勢辨識方法之一種實施例中，該遮蔽光影資訊包含一平均光影數目、一平均光影間距及/或一最大光影間距。
本發明之手勢辨識方法之一種實施例中，根據連續影像視窗中遮蔽光影之相互關係進行手勢辨識之步驟另包含下列步驟：將該平均光影數目及該平均光影間距與一門檻值比較；當該平均光影數目或該平均光影間距大於該門檻值時，進行上、下、左、右、放大或縮小手勢辨識；當該平均光影數目或該平均光影間距小於該門檻值時，進行旋轉手勢辨識；以及根據所辨識出之手勢更新一影像顯示器之顯示畫面。
本發明另提出一種互動系統，包含一發光單元、一影像感測器及一處理單元。該影像感測器用以連續擷取至少一指示物遮蔽該發光單元之遮蔽光影的影像視窗。該處理單元根據該影像感測器所擷取之連續影像視窗中遮蔽光影之一相互關係進行手勢辨識。
本發明之互動系統之一種實施例中，該發光單元為一主動光源或一被動光源。當發光單元為一被動光源時，該發光單元包含一反射鏡面且該互動系統另包含至少一主動光源。
本發明另提出一種互動系統之手勢辨識方法，該互動系統包含一發光單元及一影像感測器用以擷取包含複數指示物遮蔽該發光單元之遮蔽光影的影像視窗。該手勢辨識方法包含下列步驟：以該影像感測器連續擷取影像視窗；及根據連續影像視窗中複數遮蔽光影之相互關係進行手勢辨識。
本發明之手勢辨識方法之一種實施例中，該等遮蔽光影之相互關係包含該等遮蔽光影之一平均光影間距變化、一最大光影間距變化及一位移方向。
根據本發明之手勢辨識方法及使用該方法之互動系統，於第一模式中，該互動系統根據一指示物之二維座標變化控制一游標之動作；於第二模式中，該互動系統根據複數指示物之遮蔽光影的相互關係更新一顯示器之顯示畫面，例如使顯示畫面顯示畫面捲動(scroll)、物件放大縮小(zoom in/out)、物件旋轉(rotation)、畫面切換或選單等。於本發明之手勢辨識方法及使用該方法之互動系統中，由於不需分別計算出複數指示物之接觸點座標，因此即使指示物相對於影像感測器為互相遮蔽，亦能夠正確進行手勢辨識。
為了讓本發明之上述和其他目的、特徵和優點能更明顯，下文將配合所附圖示，作詳細說明如下。此外，於本發明之說明中，相同之構件係以相同之符號表示，於此合先敘明。
請同時參照第2a及2b圖所示，第2a圖顯示本發明實施例之互動系統10之立體圖，第2b圖顯示本發明第一實施例之互動系統10之操作示意圖。該互動系統10包含一面板100、一發光單元11、一第一光源121、一第二光源122、一影像感測器13、一處理單元14及一影像顯示器15。
該面板100包含一第一邊100a、一第二邊100b、一第三邊100c、一第四邊100d及一表面100s。該面板100之實施例包括一白板(whiteboard)或一觸控螢幕(touch screen)。
該發光單元11設置於該面板100之第一邊100a之該表面100s上。該發光單元11可為一主動光源或一被動光源。當該發光單元11為一主動光源時，其可自行發光且較佳為一線光源。當該發光單元11為一被動光源時，其用以反射其他光源(例如第一光源121及第二光源122)所發出之光；此時，該發光單元11包含一反射鏡面11a面向該面板之第三邊100c，其中該反射鏡面11a可利用一適當材質形成。該第一光源121設置於該面板之第二邊100b之該表面100s上，且較佳朝向該面板之第四邊100d發光。該第二光源122設置於該面板之第三邊100c之該表面100s上，且較佳朝向該面板之第一邊100a發光；其中該第一光源121及該第二光源122較佳為主動光源，例如為一線光源，但並不限於此。
請再參照第2b圖所示，當該發光單元11為一被動光源(例如反射元件)時，該第一光源121可於該反射鏡面11a鏡射一第二鏡像121' ，該第二光源122可於該反射鏡面11a鏡射一第三鏡像122' ，該面板之第四邊100d可於該反射鏡面11a鏡射一第四鏡像100d' ；其中該發光單元11、第一光源121、第二光源122及面板之第四邊100d共同界定一實像空間RS；該發光單元11、第二鏡像121' 、第三鏡像122' 及第四鏡像100d' 共同界定一虛像空間IS。
該影像感測器13設置於該面板100之一角落，於此實施例中該影像感測器13係被設置於該面板之第三邊100c及第四邊100d交界處之角落。該影像感測器13之視野VA至少包含該實像空間RS及該虛像空間IS，用以擷取包含該實像空間RS、虛像空間IS及位於該實像空間RS內之指示物(pointer)，例如一手指81，之遮蔽光影的影像視窗。於一種實施例中，該影像感測器13包含一透鏡(或透鏡組)用以調整該影像感測器13之視野範圍VA以使該影像感測器13能夠擷取該實像空間RS及虛像空間IS之完整影像。影像感測器13之實施例包括，但不限於，CCD影像感測器及CMOS影像感測器。
該處理單元14耦接該影像感測器13，用以處理該影像感測器13所擷取之影像以辨識一個或多個指示物。當辨識出僅包含一個指示物時，則根據影像視窗中指示物之遮蔽光影的位置以相對計算出該指示物碰觸該面板表面100s之二維位置座標。當辨識出包含多個指示物時，該處理單元14則根據影像視窗中指示物之遮蔽光影的相互關係進行手勢辨識，並根據所辨識出之手勢相對控制一影像顯示器更新其顯示畫面，其詳細計算方式將詳述於後。
該影像顯示器15耦接該處理單元14，該影像顯示器15之顯示幕150上可顯示有一游標151，如第2b圖所示。該處理單元14根據所計算出指示物碰觸該面板表面100s之二維位置座標變化以相對控制該顯示幕150上游標151之動作，或根據該影像感測器13所擷取之影像視窗中複數遮蔽光影的相互關係更新該顯示幕150之顯示畫面，例如顯示畫面捲動、物件縮放、物件旋轉、畫面切換或選單等。
為清楚顯示本發明之互動系統，第2a及2b圖中，該面板100係獨立於該影像顯示器15之外，但其並非用以限定本發明，其他實施例中該面板100亦可結合於該影像顯示器15之顯示幕150上。此外，當該面板100為一觸控螢幕時，該影像顯示器15之顯示幕150亦可用作為該面板100，而該發光單元11、第一光源121、第二光源122及影像感測器13則設置於該顯示幕150之表面上。
可以了解的是，雖然第2a及2b圖中該面板100係顯示為一矩形且該發光單元11、第一光源121及第二光源122顯示為互相垂直地設置於該面板100之三個邊，但其僅為本發明之一種實施例，並非用以限定本發明。其他實施例中，該面板100可製作成其他形狀；該發光單元11、第一光源121、第二光源122及影像感測器13亦可以其它的空間關係設置於該面板100上。本發明之精神在於，利用該影像感測器13擷取一影像視窗，並根據該影像視窗中遮蔽光影之位移及遮蔽光影彼此間的相互關係進行手勢辨識，並根據所辨識出之手勢相對更新一影像顯示器之顯示畫面。
第一實施例
請參照第3a及3b圖所示，第3a圖顯示利用本發明第一實施例之互動系統10進行游標操控之示意圖；第3b圖顯示第3a圖中該影像感測器13所擷取一影像視窗20之示意圖。如圖所示，當一指示物，例如一手指81之尖端碰觸該實像空間RS內之面板表面100s上時，此處以一接觸點T81 表示，該指示物於該發光單元11(於此實施例為一反射元件)之反射鏡面11a鏡射一第一鏡像於該虛像空間IS中，此處以一接觸點T81 ' 表示。該影像感測器13根據該第一感測路線R81 擷取該指示物之尖端影像以於該影像視窗20內形成一第一遮蔽光影I81 ；並根據該第二感測路線R81 ' 擷取該第一鏡像之尖端影像以於該影像視窗20內形成一第二遮蔽光影I81 ' ，如第3b圖所示。於此實施例中，該處理單元14內預先儲存有一遮蔽光影位於該影像視窗20中一維位置與一感測路線與該面板之第三邊100c間夾角之相對關係。因此，當該影像感測器13擷取該指示物及其第一鏡像之尖端影像而形成該影像視窗20時，該處理單元14則可根據該影像視窗20之遮蔽光影的一維位置分別求出一第一夾角A81 及一第二夾角A81 ' 。接著，根據三角函數關係，該處理單元14可求出該指示物碰觸該面板表面100s之碰觸點T81 之二維位置座標。
例如於一種態樣中，該面板表面100s構成一直角坐標系，該第三邊100c作為該直角坐標系之X軸，該第四邊100d作為該直角坐標系之Y軸並以該影像感測器13所在位置作為原點。因此，一碰觸點T81 位於該直角坐標系的座標則可表示為(相對該第四邊100d之距離，相對該第三邊100c之距離)。此外，該處理單元14中預先儲存有該面板之第一邊100a與第三邊100c間的距離D1 。藉此，該處理單元14根據下列步驟可求出該指示物81碰觸該面板表面100s之碰觸點T81 之二維位置座標：(a)該處理單元14求出該第一感測路線R81 與該面板之第三邊100c間之第一夾角A81 及該第二感測路線R81 ' 與該面板之第三邊100c間之第二夾角A81 ' ；(b)根據方程式D2 =2D1 /(tanA81 +tanA81 ' )求出該指示物81之碰觸點T81 與該面板之第四邊100d間之距離D2 ；(c)根據D2 ×tanA81 求出該碰觸點T81 之y座標。因此，該碰觸點T81 之二維位置座標則為(D2 ,D2 ×tanA81 )。
請再參照第3a及3b圖所示，本發明第一實施例之互動系統10之運作包含兩種模式。當該處理單元14根據該影像感測器13所擷取之影像視窗20判定僅一個指示物碰觸該面板表面100s時，則控制該互動系統10運作於一第一模式。第一模式中，該影像感測器13以一取樣頻率連續擷取影像，該處理單元14則根據該指示物81之遮蔽光影位於該影像視窗20中之一維位置以計算該指示物81碰觸該面板表面100s之碰觸點T81 的二維位置座標，並根據碰觸點T81 之二維位置座標變化相對控制該影像顯示器15上游標151之動作。例如當該指示物81朝向該面板之第四邊100d移動時，該第一鏡像之接觸點T81 ' 亦同時朝向第四鏡像100d' 移動。此時，該影像視窗20中對應指示物之遮蔽光影I81 及對應第一鏡像之遮蔽光影I81 ' 亦朝向該影像視窗20之左側移動。藉此，該處理單元14則根據每一影像視窗20中該等遮蔽光影I81 及I81 ' 之位置計算該碰觸點T81 之二維位置座標並根據該二維位置座標之變化相對控制該影像顯示器15上之游標151朝向顯示幕150的左方移動。可以了解的是，該指示物之移動方向與該影像視窗20中該等遮蔽光影I81 及I81 ' 之移動方向以及該游標151之移動方向間之關係並不限於上述實施例中所揭示者，該遮蔽光影I81 及I81 ' 與該游標151之移動方向可能根據軟體處理方式的不同而相反於指示物之移動方向。
當該處理單元14根據該影像感測器13所擷取之影像視窗20判定有複數指示物碰觸該面板表面100s時，則控制該互動系統10運作於一第二模式。第二模式中，該處理單元14不再逐一根據每一影像視窗20計算各碰觸點T81 之二維位置座標，僅根據該影像視窗20中複數遮蔽光影之相互關係以判定手勢(gesture)，並根據所判定之手勢更新該影像顯示器15之顯示幕150的顯示畫面，例如畫面捲動、物件放大縮小、物件旋轉、畫面切換或顯示選單等。
請參照第4a圖所示，其顯示本發明之手勢辨識方法之流程圖。該方法包含下列步驟：以一影像感測器擷取一影像視窗(步驟S1 )；擷取該影像視窗中之遮蔽光影資訊(步驟S2 )；根據該遮蔽光影資訊判定是否包含複數指示物(步驟S3 )；若否，進入一第一模式(步驟S4 )；若是，進入一第二模式(步驟S5 )。
請參照第4b圖所示，其顯示第4a圖之步驟S5 中第二模式之實施方式，該遮蔽光影資訊包含一平均光影數目、一平均光影間距及一最大光影間距。第二模式包含下列步驟：判定平均光影數目或平均光影間距是否大於一門檻值(步驟S51 )；若是，則根據連續影像視窗中遮蔽光影之一相互關係進行旋轉手勢辨識(步驟S52 )；若否，則根據連續影像視窗中遮蔽光影之一相互關係進行上/下/左/右/放大/縮小手勢辨識(步驟S53 )；及根據所辨識手勢更新一影像顯示器之顯示畫面(步驟S54 )。可以了解的是，第4b圖可設定為當平均光影數目或平均光影間距小於一門檻值時進行旋轉手勢辨識；而當平均光影數目或平均光影間距大於一門檻值時進行平移手勢辨識。
另一實施例中，第二模式可僅包含一個步驟：根據連續影像視窗中遮蔽光影之一相互關係進行旋轉手勢辨識。另一實施例中，第二模式可僅包含一個步驟：根據連續影像視窗中遮蔽光影之一相互關係進行上/下/左/右/放大/縮小手勢辨識。亦即，一互動系統之第二模式可僅進行旋轉手勢辨識或上/下/左/右/放大/縮小手勢辨識其中之一。
請同時參照第3a-4b圖所示，當利用本發明第一實施例之互動系統10進行手勢辨識時，首先利用該影像感測器13擷取影像以形成一影像視窗20，其包含至少一相對於指示物接觸點T81 之遮蔽光影I81 及至少一相對於第一鏡像接觸點T81 ' 之遮蔽光影I81 ' (步驟S1 )。接著，該處理單元14擷取該影像視窗20中之遮蔽光影資訊，例如該等遮蔽光影之平均光影數目、平均光影間距以及最大光影間距等，以供後續步驟中使用(步驟S2 )。接著，該處理單元14根據所擷取之遮蔽光影資訊判定該影像視窗20中是否具有複數指示物(步驟S3 )，其中每一個指示物會於影像視窗20上產生最多2條遮蔽光影，因此當該影像視窗20上出現大於兩個遮蔽光影時則表示包含複數指示物。
當判定只包含一個指示物時，如第3a及3b圖所示，該處理單元14則控制該互動系統10進入一第一模式(步驟S4 )。於第一模式中，該處理單元14根據該影像感測器13所擷取之影像視窗20中遮蔽光影(例如I81 及I81 ' )之一維位置計算一指示物接觸該面板表面100s之接觸點(例如T81 )之二維位置座標，並根據該二維位置座標變化相對控制該影像顯示器15上游標151之動作。
當該處理單元14根據該遮蔽光影資訊判定有複數指示物接觸該面板表面100s時，如第5a至5h所示，則控制該互動系統10進入一第二模式(步驟S5 )。於第二模式中，該處理單元14根據該影像視窗20中遮蔽光影彼此間之相互關係進行手勢辨識，並根據所辨識出之手勢相對控制該影像顯示器15之顯示幕150所顯示畫面之畫面更新，例如進行畫面捲動、物件或視窗之放大縮小、物件旋轉、畫面切換或顯示選單等。
請參照第5a至5h圖所示，接著說明第二模式之實施方式，其中該發光單元11於此說明中係以一被動光源作說明。此外，可以了解的是，第5a至5h圖所示僅為例示性的，並非用以限定本發明。
畫面捲動手勢：請參照第5a-5d圖所示，當該處理單元14根據該影像感測單元13所擷取之一影像視窗20中之遮蔽光影資訊判定包含複數接觸點(例如T1 及T2 )時，則進入第二模式。接著，該處理單元14判定該影像視窗20中之平均遮蔽光影數目是否大於一門檻值，該門檻值例如為6，或判定平均光影間距Sav是否大於一預設門檻值(步驟S51 )。當平均遮蔽光影數目及平均光影間距Sav均未大於一預設門檻值，則進行平移手勢辨識(步驟S53 )。
於平移手勢辨識時，首先將遮蔽光影分群，例如根據該影像視窗20之中心線C作為分群之依據以區分一第一光影群G1 及一第二光影群G2 ，其中該第一光影群G1 可能為實像光影群或虛像光影群，該第二光影群G2 可能為虛像光影群或實像光影群。
例如第5a-5d圖中，該影像視窗20中之平均光影數目及平均光影間距Sav均未大於預設門檻值，該處理單元14則進行上/下/左/右手勢辨識(步驟S53 )。例如第5a圖中，該處理單元14辨識出該影像視窗20中之第一光影群G1 及第二光影群G2 均向右移動，因此判定使用者正在執行將顯示畫面向右/左捲動之手勢，因而相對控制該影像顯示器15之顯示幕150進行相應之顯示畫面更新(步驟S54 )。
同理，第5b圖中，該處理單元14辨識出該影像視窗20中之第一光影群G1 及第二光影群G2 均向左移動，因此判定使用者正在執行將顯示畫面向左/右捲動之手勢，因而相對控制該影像顯示器15之顯示幕150進行相應之顯示畫面更新(步驟S54 )。
第5c圖中，該處理單元14辨識出該影像視窗20中之第一光影群G1 及第二光影群G2 之平均光影間距逐漸增加，因此判定使用者正在執行將顯示畫面向下/上捲動之手勢，因而相對控制該顯示幕150進行相應之顯示畫面更新(步驟S54 )。
第5d圖中，該處理單元14辨識出該影像視窗20中之第一光影群G1 及第二光影群G2 之平均光影間距逐漸減少，因此判定使用者正在執行將顯示畫面向上/下捲動之手勢，因而相對控制該顯示幕150進行相應之顯示畫面更新(步驟S54 )。
於另一實施例中，當該處理單元14根據該影像感測單元13所擷取之一影像視窗20中之遮蔽光影資訊判定包含複數接觸點時，則直接進行平移手勢辨識(步驟S53 )而不執行步驟S51 。
物件放大縮小手勢：於進行物件放大縮小之步驟前，使用者先於該面板表面100s上形成單一接觸點以進入第一模式，並於第一模式中控制一游標151移動至一物件O上，如第3a圖所示。接著，該使用者再於該面板表面100s上形成複數接觸點，如第5e-5f圖。當該處理單元14根據該影像感測單元13所擷取之一影像視窗20中之遮蔽光影資訊判定包含複數接觸點(例如T1 、T2 )時，則進入第二模式。
接著，該處理單元14判定該影像視窗20中之平均光影數目或平均光影間距Sav是否大於一預設門檻值(步驟S51 )。當平均光影數目及平均光影間距Sav均未大於一預設門檻值，則先將遮蔽光影分群，例如根據該影像視窗20之中心線C作為分群之依據以區分一第一光影群G1 及一第二光影群G2 。
例如第5e-5f圖中，該影像視窗20中之平均光影數目及平均光影間距Sav均未大於預設門檻值，該處理單元14則進行放大/縮小手勢辨識(步驟S53 )。例如第5e圖中，該處理單元14辨識出該影像視窗20中之第一光影群G1 及一第二光影群G2 之平均光影間距大致上無變化而最大光影間距增加，因此判定使用者正在執行將物件放大/縮小之手勢，因而相對控制該影像顯示器15之顯示幕150進行相應之顯示畫面更新(步驟S54 )。
例如第5f圖中，該處理單元14辨識出該影像視窗20中之第一光影群G1 及一第二光影群G2 之平均光影間距大致上無變化而最大光影間距減少，因此判定使用者正在執行將物件縮小/放大之手勢，因而相對控制該影像顯示器15之顯示幕150進行相應之顯示畫面更新(步驟S54 )。
於另一實施例中，當該處理單元14根據該影像感測單元13所擷取之一影像視窗20中之遮蔽光影資訊判定包含複數接觸點時，則直接進行放大/縮小手勢辨識(步驟S53 )而不執行步驟S51 。
此外，於進行放大/縮小手勢辨識前亦可能不需進入第一模式而直接進行第二模式，例如當該面板100為一觸控面板時，由於使用者可直接指向一物件，因此於進行放大/縮小手勢辨識時可直接進入第二模式。
物件旋轉手勢：於進行物件旋轉之步驟前，使用者先於該面板表面100s上形成單一接觸點以進入第一模式，並於第一模式中控制一游標151移動至一物件O上，如第3a圖所示。接著，該使用者再於該面板表面100s上形成複數接觸點T，如第5g-5h圖所示，當該處理單元14根據該影像感測單元13所擷取之一影像視窗20中之遮蔽光影資訊判定包含複數接觸點T時，則進入第二模式。
接著，該處理單元14判定該影像視窗20中之平均光影數目或平均光影間距Sav是否大於一預設門檻值(步驟S51 )。當平均光影數目或平均光影間距Sav大於一預設門檻值，則不進行遮蔽光影分群，而直接根據遮蔽光影朝向該影像視窗20之兩一維方向位移之遮蔽光影數目判定旋轉方向。
例如第5g圖中，該處理單元14辨識出該影像視窗20中向右移動之遮蔽光影數目大於向左移動之遮蔽光影數目，因此判定使用者正在執行將物件右旋/左旋之手勢，因而相對控制該影像顯示器15進行相應之顯示畫面更新(步驟S54 )。
例如第5h圖中，該處理單元14辨識出該影像視窗20中向左移動之遮蔽光影數目大於向右移動之遮蔽光影數目，因此判定使用者正在執行將物件左旋/右旋之手勢，因而相對控制該影像顯示器15進行相應之顯示畫面更新(步驟S54 )。
於另一實施例中，當該處理單元14根據該影像感測單元13所擷取之一影像視窗20中之遮蔽光影資訊判定包含複數接觸點時，則直接進行旋轉手勢辨識(步驟S52 )而不執行步驟S51 。
此外，於進行旋轉手勢辨識前亦可能不需進入第一模式而直接進行第二模式，例如當該面板100為一觸控面板時，由於使用者可直接指向一物件，因此於進行旋轉手勢辨識時可直接進入第二模式。
畫面切換手勢：使用者直接於該面板表面100s上形成複數接觸點T，如第5g-5h圖所示，當該處理單元14根據該影像感測單元13所擷取之一影像視窗20中之遮蔽光影資訊判定包含複數接觸點T時，則直接進入第二模式。
該處理單元14直接根據遮蔽光影朝向該影像視窗20之兩側方向位移之遮蔽光影數目判定是否進行畫面切換。例如第5g及5h圖中，該處理單元14辨識出該影像視窗20中向右及向左移動之遮蔽光影數目分別大於向左及向右移動之遮蔽光影數目，因此判定使用者正在執行畫面切換之手勢，因而相對控制該影像顯示器15進行相應之畫面切換功能。
顯示選單手勢：使用者直接於該面板表面100s上形成複數接觸點T，如第5g-5h圖所示，當該處理單元14根據該影像感測單元13所擷取之一影像視窗20中之遮蔽光影資訊判定包含複數接觸點T時，則直接進入第二模式。
該處理單元14直接根據遮蔽光影朝向該影像視窗20之兩側方向位移之遮蔽光影數目判定是否顯示選單。例如第5g及5h圖中，該處理單元14辨識出該影像視窗20中向右及向左移動之遮蔽光影數目分別大於向左及向右移動之遮蔽光影數目，因此判定使用者正在執行顯示選單之手勢，因而相對控制該影像顯示器15顯示相應之選單。
第二實施例
請參照第6a至6c圖所示，第6a圖顯示本發明第二實施例之互動系統10' 之操作示意圖，第6b及6c圖分別顯示第6a圖之影像感測器13及13' 所擷取之影像視窗20' 及20'' 之示意圖。於此實施例中，該互動系統10' 包含一發光單元11、一第一光源121、一第二光源122及一影像感測器13及13' 。該發光單元11為一主動光源，且較佳朝向該面板之第三邊100c發光。該發光單元11、第一光源121及第二光源122分別設置於該面板之第一邊100a、第二邊100b及第四邊100d。因此，該影像感測器13所擷取之影像視窗20' 內僅包含指示物尖端之第一遮蔽光影I81 及I82 ；該影像感測器13' 所擷取之影像視窗20'' 內僅包含指示物尖端之遮蔽光影I81 '' 及I82 '' 。
於此實施例中，該處理單元14根據該影像感測器13及13' 所擷取之影像視窗20' 及20'' 中複數遮蔽光影之相互關係進行手勢辨識。
畫面捲動手勢：請參照第7a-7b圖所示，當處理單元14根據影像感測單元13及13' 所擷取之影像視窗20' 及20'' 中之遮蔽光影資訊判定包含複數接觸點(例如T1 及T2 )時，則進入第二模式。接著，處理單元14判定影像視窗20' 及20'' 中之平均光影數目或平均光影間距是否大於一門檻值(步驟S51 )。
當影像視窗20及20'' 中之平均光影數目及平均光影間距均未大於預設門檻值，處理單元14則進行左/右手勢辨識(步驟S53 )。例如第7a及7b圖中，處理單元14分別辨識出影像視窗20' 及20'' 中之遮蔽光影均向右及向左移動，因此判定使用者正在執行將顯示畫面向下/上捲動之手勢，因而相對控制該影像顯示器15之顯示幕150進行相應之顯示畫面更新(步驟S54 )。
於另一實施例中，當該處理單元14根據該影像感測單元13及13' 所擷取之影像視窗20及20'' 中之遮蔽光影資訊判定包含複數接觸點時，則直接進行平移手勢辨識(步驟S53 )而不執行步驟S51 。
物件放大縮小手勢：於進行物件放大縮小之步驟前，一使用者先控制一游標移動至一所欲縮放之物件上。接著，該使用者再於該面板表面100s上形成複數接觸點(例如T1 及T2 )，如第7c-7d圖所示。當該處理單元14根據該影像感測單元13及13' 所擷取之一影像視窗20' 及20'' 中之遮蔽光影資訊判定包含複數接觸點時，則進入第二模式。
接著，該處理單元14判定該影像視窗20及20'' 中之平均光影數目或平均光影間距是否大於一門檻值(步驟S51 )。當該影像視窗20中之平均光影數目及平均光影間距均未大於預設門檻值，該處理單元14則進行放大/縮小手勢辨識(步驟S53 )。例如第7c及7d圖中，該處理單元14分別辨識出該影像視窗20' 及20'' 中之遮蔽光影之平均光影間距增加及減小，因此判定使用者正在執行將物件放大/縮小之手勢，因而相對控制該影像顯示器15進行相應之顯示畫面更新(步驟S54 )。
於另一實施例中，當該處理單元14根據該影像感測單元13及13' 所擷取之一影像視窗20' 及20'' 中之遮蔽光影資訊判定包含複數接觸點時，則直接進行放大/縮小手勢辨識(步驟S53 )而不執行步驟S51 。
此外，於進行放大/縮小手勢辨識前亦可能不需進入第一模式而直接進行第二模式，例如當該面板100為一觸控面板時，由於使用者可直接指向一物件，因此於進行放大/縮小手勢辨識時可直接進入第二模式。
物件旋轉手勢：於進行物件旋轉之步驟前，一使用者先控制一游標移動至一所欲旋轉之物件上。接著，該使用者再於該面板表面100s上形成複數接觸點T，如第7e-7f圖所示，當該處理單元14根據該影像感測單元13及13' 所擷取之一影像視窗20' 及20'' 中之遮蔽光影資訊判定包含複數接觸點T時，則進入第二模式。
接著，該處理單元14判定該影像視窗20' 及20'' 中之平均光影數目或平均光影間距是否大於一門檻值(步驟S51 )。當平均光影數目或平均光影間距大於一預設門檻值，則根據遮蔽光影朝向該影像視窗20' 及20'' 中兩一維方向移動之數目判定旋轉方向。
例如第7e及7f圖中，該處理單元14分別辨識出該影像視窗20' 及20'' 中向右及向左移動之遮蔽光影數目大於向左及向右移動之遮蔽光影數目，因此判定使用者正在執行將物件右旋/左旋之手勢，因而相對控制該影像顯示器15進行相應之顯示畫面更新(步驟S54 )。
於另一實施例中，當該處理單元14根據該影像感測單元13及13' 所擷取之一影像視窗20' 及20'' 中之遮蔽光影資訊判定包含複數接觸點時，則直接進行旋轉手勢辨識(步驟S52 )而不執行步驟S51 。
此外，於進行旋轉手勢辨識前亦可能不需進入第一模式而直接進行第二模式。
畫面切換手勢或顯示選單手勢：使用者直接於面板表面100s上形成複數接觸點T，如第7e-7f圖所示，當處理單元14根據影像感測單元13及13' 所擷取之一影像視窗20' 及20'' 中之遮蔽光影資訊判定包含複數接觸點T時，則直接進入第二模式。
該處理單元14直接根據遮蔽光影朝向該影像視窗20' 及20'' 之兩側方向位移之遮蔽光影數目判定是否進行畫面切換或顯示選單手勢。例如第7e及7f圖中，該處理單元14分別辨識出該影像視窗20' 及20'' 中向右及向左移動之遮蔽光影數目大於向左及向右移動之遮蔽光影數目，因此判定使用者正在執行畫面切換或顯示選單手勢之手勢，因而相對控制該影像顯示器15進行相應之畫面切換或顯示選單。
可以了解的是，上述第二模式中遮蔽光影之相互關係所對應之控制功能並不限於第5a-5h及7a-7f圖中所揭示者。本發明之精神在於根據影像視窗中遮蔽光影之相互關係進行手勢辨識而不須逐一計算出接觸點之位置座標以避免由於指示物互相遮蔽所導致無法計算接觸點座標之情形。
如前所述，由於習知觸控系統係透過接觸點二維座標之變化進行手勢辨識，當指示物互相遮蔽時容易導致無法正確計算接觸點座標之情形。本發明透過辨識一影像視窗中遮蔽光影之相互關係以作為手勢辨識之依據，因此僅需利用一個影像感測器即可正確進行手勢辨識，具有降低系統成本之功效。
雖然本發明已以前述實施例揭示，然其並非用以限定本發明，任何本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10、10' ．．．互動系統
100．．．面板
100a．．．面板之第一邊
100b．．．面板之第二邊
100c．．．面板之第三邊
100d．．．面板之第四邊
100d' ．．．第四鏡像
100s．．．面板之一表面
11．．．發光單元
11a．．．反射鏡面
121．．．第一光源
121' ．．．第二鏡像
122．．．第二光源
122' ．．．第三鏡像
13、13' ．．．影像感測器
14．．．處理單元
15．．．影像顯示器
150．．．顯示幕
151．．．游標
20、20' 、20" ．．．影像視窗
RS．．．實像空間
IS．．．虛像空間
T81 、T．．．指示物之接觸點
T81 ' 、T' ．．．第一鏡像之接觸點
A81 ．．．接觸點與第三邊之夾角
A81 ' ．．．第一鏡像與第三邊之夾角
R81 ．．．第一感測路徑
R81 ' ．．．第二感測路徑
I81 、I82 ．．．第一遮蔽光影
I81 ' ．．．第二遮蔽光影
I1 、I2 ．．．第一遮蔽光影
I1 ' 、I2 ' ．．．第二遮蔽光影
I81 " 、I82 " ．．．遮蔽光影
G1 ．．．第一光影群
G2 ．．．第二光影群
C．．．中心線
Sav．．．平均光影間距
8．．．使用者
81、82．．．手指
9．．．觸控系統
91~94．．．攝影機
90．．．觸控面
W91 ~W94 ．．．影像視窗
S1 ~S5 ．．．步驟
第1圖顯示一習知觸控系統之示意圖。
第2a圖顯示本發明實施例之互動系統之立體圖。
第2b圖顯示本發明第一實施例之互動系統之操作示意圖。
第3a圖顯示利用本發明第一實施例之互動系統進行游標操控之示意圖。
第3b圖顯示第3a圖之影像感測器所擷取之一影像視窗之示意圖。
第4a圖顯示本發明實施例之互動系統之手勢辨識方法之流程圖。
第4b圖顯示第4a圖中第二模式之流程圖。
第5a~5d圖分別顯示本發明第一實施例之互動系統之手勢辨識方法中辨識右/左/下/上手勢之示意圖。
第5e~5f圖分別顯示本發明第一實施例之互動系統之手勢辨識方法中辨識放大/縮小手勢之示意圖。
第5g-5h圖分別顯示本發明第一實施例之互動系統之手勢辨識方法中辨識旋轉手勢之示意圖。
第6a圖顯示本發明第二實施例之互動系統之操作示意圖。
第6b~6c圖顯示第6a圖之影像感測器所擷取之影像視窗之示意圖。
第7a~7b圖分別顯示本發明第二實施例之互動系統之手勢辨識方法中辨識右/左手勢之示意圖。
第7c~7d圖分別顯示本發明第二實施例之互動系統之手勢辨識方法中辨識放大/縮小手勢之示意圖。
第7e-7f圖分別顯示本發明第二實施例之互動系統之手勢辨識方法中辨識旋轉手勢之示意圖。
S1 ~S5 ．．．步驟

Claims (22)

  1. 一種互動系統之手勢辨識方法，該互動系統包含至少一光源、一反射元件及一影像感測器用以擷取包含至少一指示物遮蔽該光源及/或該反射元件之遮蔽光影的影像視窗，該手勢辨識方法包含下列步驟：以該影像感測器擷取一影像視窗；擷取該影像視窗中之遮蔽光影資訊；根據該遮蔽光影資訊判定是否包含複數指示物；及當判定包含複數指示物時，根據連續影像視窗中遮蔽光影之一相互關係進行手勢辨識。
  2. 根據申請專利範圍第1項之手勢辨識方法，另包含下列步驟：當判定包含單一指示物時，根據該影像視窗中遮蔽光影之位置計算該指示物相對於該互動系統之一位置座標；及根據連續影像視窗中該指示物之位置座標變化相對控制一影像顯示器上一游標之動作。
  3. 根據申請專利範圍第1項之手勢辨識方法，其中該遮蔽光影資訊包含一平均光影數目、一平均光影間距及一最大光影間距。
  4. 根據申請專利範圍第3項之手勢辨識方法，其中於根據連續影像視窗中遮蔽光影之相互關係進行手勢辨識之步驟另包含下列步驟：將該平均光影數目及該平均光影間距與一門檻值比較；當該平均光影數目或該平均光影間距小於該門檻值時，進行上、下、左、右、放大或縮小手勢辨識；當該平均光影數目或該平均光影間距大於該門檻值時，進行旋轉手勢辨識；及根據所辨識出之手勢更新一影像顯示器之顯示畫面。
  5. 根據申請專利範圍第4項之手勢辨識方法，其中該顯示畫面更新為顯示畫面捲動、物件放大縮小、物件旋轉、畫面切換或選單。
  6. 根據申請專利範圍第4項之手勢辨識方法，其中當該平均光影數目或該平均光影間距小於一門檻值時，該手勢辨識方法另包含下列步驟：將該影像視窗中之遮蔽光影分為兩群。
  7. 根據申請專利範圍第6項之手勢辨識方法，其中分群之方式係根據該影像視窗之中心線將遮蔽光影分為一實像光影群及一虛像光影群。
  8. 根據申請專利範圍第6項之手勢辨識方法，其中當該影像視窗中之兩群遮蔽光影之位移同向時，進行左或右手勢辨識；當該影像視窗中之兩群遮蔽光影間之平均光影間距改變時，進行上或下手勢辨識；當該影像視窗中之遮蔽光影間之最大光影間距改變時，進行放大或縮小之手勢辨識。
  9. 根據申請專利範圍第4項之手勢辨識方法，其中於進行旋轉手勢辨識之步驟中，根據連續影像視窗中位移同向之遮蔽光影數目較高之方向辨識旋轉方向。
  10. 根據申請專利範圍第1項之手勢辨識方法，其中於根據連續影像視窗中遮蔽光影之相互關係進行手勢辨識之步驟係進行上、下、左、右、放大或縮小手勢辨識。
  11. 根據申請專利範圍第1項之手勢辨識方法，其中於根據連續影像視窗中遮蔽光影之相互關係進行手勢辨識之步驟係進行旋轉手勢辨識。
  12. 一種互動系統，該互動系統包含：一發光單元；一影像感測器，用以連續擷取至少一指示物遮蔽該發光單元之遮蔽光影的影像視窗；及一處理單元，根據該影像感測器所擷取之連續影像視窗中遮蔽光影之一相互關係進行手勢辨識。
  13. 根據申請專利範圍第12項之互動系統，其中該發光單元為一主動光源或一被動光源。
  14. 根據申請專利範圍第13項之互動系統，其中當該發光單元為一被動光源時，該被動光源包含一反射鏡面且該互動系統另包含至少一主動光源。
  15. 根據申請專利範圍第14項之互動系統，其中該影像感測器所擷取之影像視窗包含實像遮蔽光影及虛像遮蔽光影，該處理單元根據連續影像視窗中實像遮蔽光影及虛像遮蔽光影之相互關係進行手勢辨識。
  16. 根據申請專利範圍第13項之互動系統，其中當該發光單元為一主動光源時，該互動系統另包含一第二影像感測器。
  17. 根據申請專利範圍第12項之互動系統，另包含一影像顯示器耦接該處理單元，該處理單元根據所辨識出之手勢更新該影像顯示器之顯示畫面。
  18. 一種互動系統之手勢辨識方法，該互動系統包含一發光單元及一影像感測器用以擷取包含複數指示物遮蔽該發光單元之遮蔽光影的影像視窗，該手勢辨識方法包含下列步驟：以該影像感測器連續擷取影像視窗；及根據連續影像視窗中複數遮蔽光影之相互關係進行手勢辨識。
  19. 根據申請專利範圍第18項之手勢辨識方法，其中該等遮蔽光影之相互關係包含該等遮蔽光影之一平均光影間距變化、一最大光影間距變化及一位移方向。
  20. 根據申請專利範圍第18項之手勢辨識方法，其中該發光單元為具有反射鏡面之一被動光源，該影像感測器擷取之影像視窗包含實像遮蔽光影及虛像遮蔽光影，該等遮蔽光影之相互關係包含該實像遮蔽光影與該虛像遮蔽光影間之一平均光影間距變化、一最大光影間距變化及一位移方向。
  21. 根據申請專利範圍第20項之手勢辨識方法，另包含下列步驟：根據該影像視窗之中心線將該等遮蔽光影分為一實像光影群及一虛像光影群。
  22. 根據申請專利範圍第18項之手勢辨識方法，另包含下列步驟：根據所辨識出手勢更新一影像顯示器之顯示畫面。
TW098129508A 2009-09-02 2009-09-02 手勢辨識方法及使用該方法之互動系統 TWI412975B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW098129508A TWI412975B (zh) 2009-09-02 2009-09-02 手勢辨識方法及使用該方法之互動系統
JP2010189686A JP5241786B2 (ja) 2009-09-02 2010-08-26 対話システムのためのジェスチャ認識方法および対話システム
US12/870,290 US8675913B2 (en) 2009-09-02 2010-08-27 Gesture recognition method and interactive system using the same
US14/181,055 US8867791B2 (en) 2009-09-02 2014-02-14 Gesture recognition method and interactive system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098129508A TWI412975B (zh) 2009-09-02 2009-09-02 手勢辨識方法及使用該方法之互動系統

Publications (2)

Publication Number Publication Date
TW201109998A TW201109998A (en) 2011-03-16
TWI412975B true TWI412975B (zh) 2013-10-21

Family

ID=43624976

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098129508A TWI412975B (zh) 2009-09-02 2009-09-02 手勢辨識方法及使用該方法之互動系統

Country Status (3)

Country Link
US (2) US8675913B2 (zh)
JP (1) JP5241786B2 (zh)
TW (1) TWI412975B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5284889A (en) 1992-11-20 1994-02-08 Minnesota Mining And Manufacturing Company Electrically insulating film backing
TWI412975B (zh) 2009-09-02 2013-10-21 Pixart Imaging Inc 手勢辨識方法及使用該方法之互動系統
US9142192B2 (en) * 2011-09-26 2015-09-22 Intel Corporation Simulation of web applications and secondary devices in a web browser, web application development tools, and methods using the same
TW201319921A (zh) * 2011-11-07 2013-05-16 Benq Corp 觸控螢幕畫面控制方法及觸控螢幕畫面顯示方法
US9348464B2 (en) * 2012-06-06 2016-05-24 Semiconductor Components Industries, Llc Imaging systems and methods for user input detection
TWI492099B (zh) * 2012-07-06 2015-07-11 Pixart Imaging Inc 可辨識手勢動作的眼鏡
TWI498771B (zh) 2012-07-06 2015-09-01 Pixart Imaging Inc 可辨識手勢動作的眼鏡
TWI465753B (zh) * 2012-08-15 2014-12-21 Generalplus Technology Inc 位置識別系統、方法以及使用其之姿勢識別系統、方法
CN103677441B (zh) * 2012-09-18 2017-02-08 北京汇冠新技术股份有限公司 红外多点识别方法、红外多点识别装置和红外触摸屏
TWI475448B (zh) * 2012-11-29 2015-03-01 Pixart Imaging Inc 座標定位模組、光學式觸控系統及其計算觸控媒介之座標的方法
US9213448B2 (en) 2012-11-29 2015-12-15 Pixart Imaging Inc. Positioning module, optical touch system and method of calculating a coordinate of a touch medium
JP6251957B2 (ja) * 2013-01-23 2017-12-27 セイコーエプソン株式会社 表示装置、頭部装着型表示装置および表示装置の制御方法
US9234742B2 (en) 2013-05-01 2016-01-12 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
JP6008904B2 (ja) * 2014-07-03 2016-10-19 Ｎｅｃパーソナルコンピュータ株式会社 表示制御装置、表示制御方法、及び、プログラム
US10102423B2 (en) * 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
CN111583818B (zh) * 2020-05-07 2021-07-06 武汉华星光电半导体显示技术有限公司 一种显示面板和显示装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200912718A (en) * 2007-09-07 2009-03-16 Quanta Comp Inc Method and system for distinguishing multiple touch points
TW200925961A (en) * 2007-10-28 2009-06-16 Univ Lunghwa Sci & Technology Touch screen

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0736603A (ja) * 1993-07-16 1995-02-07 Wacom Co Ltd 二次元位置検出装置
JP4033582B2 (ja) * 1998-06-09 2008-01-16 株式会社リコー 座標入力／検出装置および電子黒板システム
JP2003173237A (ja) * 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US6972401B2 (en) * 2003-01-30 2005-12-06 Smart Technologies Inc. Illuminated bezel and touch system incorporating the same
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7346187B2 (en) * 2003-10-10 2008-03-18 Intellivid Corporation Method of counting objects in a monitored environment and apparatus for the same
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
JP2007072508A (ja) * 2005-09-02 2007-03-22 Canon Inc 座標入力装置及びその制御方法、プログラム
US20090044988A1 (en) * 2007-08-17 2009-02-19 Egalax_Empia Technology Inc. Device and method for determining function represented by continuous relative motion between/among multitouch inputs on signal shielding-based position acquisition type touch panel
CN102341814A (zh) * 2009-01-05 2012-02-01 智能技术无限责任公司 姿势识别方法和采用姿势识别方法的交互式输入系统
TWI393037B (zh) * 2009-02-10 2013-04-11 Quanta Comp Inc 光學觸控顯示裝置及其操作方法
TWI412975B (zh) * 2009-09-02 2013-10-21 Pixart Imaging Inc 手勢辨識方法及使用該方法之互動系統
US8681124B2 (en) * 2009-09-22 2014-03-25 Microsoft Corporation Method and system for recognition of user gesture interaction with passive surface video displays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200912718A (en) * 2007-09-07 2009-03-16 Quanta Comp Inc Method and system for distinguishing multiple touch points
TW200925961A (en) * 2007-10-28 2009-06-16 Univ Lunghwa Sci & Technology Touch screen

Also Published As

Publication number Publication date
US8675913B2 (en) 2014-03-18
US20110052007A1 (en) 2011-03-03
JP5241786B2 (ja) 2013-07-17
US8867791B2 (en) 2014-10-21
JP2011054165A (ja) 2011-03-17
US20140160053A1 (en) 2014-06-12
TW201109998A (en) 2011-03-16

Similar Documents

Publication Publication Date Title
TWI412975B (zh) 手勢辨識方法及使用該方法之互動系統
TWI501121B (zh) 手勢辨識方法及使用該方法之觸控系統
CN102541365B (zh) 产生多点触碰指令的系统与方法
TWI393037B (zh) 光學觸控顯示裝置及其操作方法
TWI483143B (zh) 混合式指向裝置
US9262016B2 (en) Gesture recognition method and interactive input system employing same
EP2480955B1 (en) Remote control of computer devices
US20110298708A1 (en) Virtual Touch Interface
TWI420357B (zh) 觸控系統及其指示物座標偵測方法
CN102033656B (zh) 手势辨识方法以及使用该方法的互动系统
CN101833401B (zh) 光学触控显示装置及其操作方法
CN101989150A (zh) 手势辨识方法以及使用该方法的触控系统
US9489077B2 (en) Optical touch panel system, optical sensing module, and operation method thereof
US20140085212A1 (en) Touch panel apparatus, system and operation method thereof
TWI461994B (zh) 光學觸控系統及具該光學觸控系統之電子裝置
TWI471757B (zh) 懸浮及點擊手勢偵測裝置
TWI493382B (zh) 懸浮及點擊手勢偵測裝置
TWI534688B (zh) 光學觸控系統、光學感測模組及其運作方法
TWI444875B (zh) 多點觸碰輸入裝置及其使用單點觸控感應板與影像感測器之資料融合之介面方法
Takahashi et al. Extending Three-Dimensional Space Touch Interaction using Hand Gesture
TW201305853A (zh) 混合式指向裝置
CN102902419A (zh) 混合式指向装置
HK1179719A (zh) 虛擬觸摸接口