TW201925989A - 互動系統 - Google Patents
互動系統 Download PDFInfo
- Publication number
- TW201925989A TW201925989A TW106142906A TW106142906A TW201925989A TW 201925989 A TW201925989 A TW 201925989A TW 106142906 A TW106142906 A TW 106142906A TW 106142906 A TW106142906 A TW 106142906A TW 201925989 A TW201925989 A TW 201925989A
- Authority
- TW
- Taiwan
- Prior art keywords
- user
- action
- head
- interactive system
- control device
- Prior art date
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 34
- 210000003128 head Anatomy 0.000 claims abstract description 52
- 210000001508 eye Anatomy 0.000 claims abstract description 24
- 230000033001 locomotion Effects 0.000 claims abstract description 19
- 210000005252 bulbus oculi Anatomy 0.000 claims description 20
- 230000004424 eye movement Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 15
- 238000010191 image analysis Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004373 eye development Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本發明提供一種互動系統，包括：一顯示裝置，用以顯示使用者可操控的至少一物件；一位置/動作擷取裝置，擷取使用者在該顯示裝置的顯示幕上的眼睛注視位置、以及使用者的頭部或眼球的動作或位置；一控制裝置，依據該眼睛注視位置，決定使用者是否選取該物件，並且在選取該物件後，依據使用者的頭部或眼球的動作或位置對該物件進行操控。
Description
本發明係有關於一人機互動系統，特別是一可依據使用者眼睛/頭部之位置/動作而操控該系統之人機互動系統。
眼球/頭部之位置/動作追蹤技術之發展已有相當的時日，但早期由於硬體成本高昂，故其原始應用多於專門之領域，如醫療器材等，而尚未有普及之應用出現。隨著電子技術之進步，此類硬體裝置的成本也大幅降低，但其目前之應用也大多侷限於使用者眼球注目位置之探測，如電子看板之廣告行銷分析等應用，但仍缺少透過眼球/頭部之位置/動作追蹤技術讓使用者可選擇/操控其顯示內容，並進而達到更自然的人機互動之互動系統。
有鑑於此，本發明提供一種互動系統，透過眼球/頭部之位置/動作追蹤技術，使一使用者可透過眼球/頭部之位置/動作操控該互動系統。
本發明之互動系統包括：一顯示裝置，用以顯示使用者可操控的至少一物件；一位置/動作擷取裝置，擷取使用者在該顯示裝置的顯示幕上的眼睛注視位置、以及使用者的
頭部或眼球的動作或位置；一控制裝置，依據該眼睛注視位置，決定使用者是否選取該物件，並且在選取該物件後，依據使用者的頭部或眼球的動作或位置對該物件進行操控。
如上所述之互動系統，其中，該控制裝置判定該眼睛注視位置對應於該物件所在位置時，進一步判定使用者注視該物件是否超出一既定時間；當超出該既定時間則選取該物件。
如上所述之互動系統，其中，該位置/動作擷取裝置偵測使用者的頭部分別相對於一第一至第三軸的第一至第三旋轉；該第一軸係垂直該顯示裝置的顯示幕，該第二軸係水平地垂直該第一軸且平行該顯示幕，該第三軸係上下地垂直該第一軸且平行該顯示幕；並且該控制裝置依據該第一至第三旋轉以對應地操控該物件。
如上所述之互動系統，其中，該位置/動作擷取裝置偵測使用者的頭部靠近或遠離該顯示裝置，且該控制裝置依據偵測使用者頭部的靠近或遠離動作而對應地操控該物件。
如上所述之互動系統，其中，於該物件被選取後，當該位置/動作擷取裝置偵測到使用者的注視點落於鄰近該物件的邊緣區域時，該控制裝置將該物件往該注視點移動。
如上所述之互動系統，其中，該位置/動作擷取裝置更偵測使用者眼球的移動軌跡或位置，且該控制裝置依據該移動軌跡或位置對該物件進行對應的操控。
如上所述之互動系統，其中，該位置/動作擷取裝置係為，包括：一影像擷取裝置，擷取使用者的眼球動作/位
置、以及使用者的頭部動作；以及一影像分析裝置，分析該影像擷取裝置輸出的結果，以得到使用者的眼睛注視位置、以及使用者的頭部或眼球之動作或位置。
如上所述之互動系統，其中，該影像擷取裝置為紅外線攝影機。
如上所述之互動系統，其中，該物件為一可觸發既定操作之圖標(icon)。
如上所述之互動系統，其中，該物件為一圖片。
100‧‧‧互動系統
102‧‧‧顯示裝置
104‧‧‧位置/動作擷取裝置
104a‧‧‧影像擷取裝置
104b‧‧‧影像分析裝置
106‧‧‧控制裝置
202‧‧‧使用者
204‧‧‧注視位置
206-12‧‧‧物件
220‧‧‧畫框
302‧‧‧第一軸
304‧‧‧第二軸
306‧‧‧第三軸
第1圖係為依據本發明實施例之一互動裝置之電路方塊示意圖。
第2圖係為依據本發明實施例之一互動裝置之操作示意圖。
第3A圖係為使用者頭部相對於顯示裝置之三軸示意圖。
第3B圖係為使用者頭部於三軸旋轉動作之示意圖。
第4A圖係為物件邊緣區域之示意圖。
第4B圖係為畫框顯示一圖片之示意圖。
第4C圖係為畫框顯示一放大圖片之示意圖。
第4D圖係為畫框移動並顯示一放大圖片之示意圖。
第5圖係為使用者左向擺頭與顯示圖片向左選轉之示意圖。
第1圖係為依據本發明實施例之一互動裝置之電
路方塊示意圖。其中互動系統100包括一顯示裝置102、一位置/動作擷取裝置104與一控制裝置106。其中顯示裝置102用以顯示使用者可操控的至少一物件；位置/動作擷取裝置104擷取使用者在顯示裝置102的顯示幕上的眼睛注視位置、以及該使用者的頭部或眼球的動作或位置；控制裝置106依據該眼睛注視位置，決定該使用者是否選取該物件，並且在選取該物件後，依據該使用者的頭部或眼球的動作或位置對該物件進行操控。
顯示裝置102用以顯示使用者可操控的至少一物件，在此範例中，顯示裝置102顯示一圖片瀏覽介面，該圖片瀏覽介面具有多個可選擇之物件且該些物件為圖片，但是並非限定於此。例如顯示裝置102亦可以顯示一具有複數個可出發既定操作之按鈕或圖標(icon)之使用者介面，或是其他市售作業系統之使用者介面等等。
位置/動作擷取裝置104之功能為擷取使用者在顯示裝置102的顯示幕上的眼睛注視位置、以及該使用者的頭部或眼球的動作或位置。其中位置/動作擷取裝置104包含一影像擷取裝置104a和一影像分析裝置104b。影像擷取裝置104a之功能為擷取使用者的眼球動作/位置、以及使用者的頭部位置/動作之影像，而影像分析裝置104b之功能則為分析影像擷取裝置104a輸出的影像，以得到使用者的眼睛注視位置、以及使用者的頭部或眼球之動作或位置。
為使影像分析裝置104b能做出準確的眼球動作/位置分析，影像擷取裝置104a必須提供清晰的影像輸出。例
如影像擷取裝置104a必須清楚擷取使用者瞳孔之移動與位置，如此影像分析裝置104b方可正確地判斷出使用者眼球之注目位置。同理影像擷取裝置104a必須清楚擷取使用者頭部動作之影像以及/或使用者臉部五官所在位置之變化，影像分析裝置104b方可正確地判斷出使用者頭部之動作或位置。
在此實施例中，影像擷取裝置104a為一紅外線攝影機，但並非限定於此；只要是可取得擷取使用者的眼球動作/位置、以及使用者的頭部動作/位置清晰影像之裝置均是，例如影像擷取裝置104a亦可以是一具有高訊雜比或高解析度的攝影機等。紅外線攝影機之優點為在低環境光源的情況下仍能擷取清晰的影像，而且不須以頭戴的方式即可清楚取的使用者眼睛之影像，可使本發明在使用上更為便利。此外紅外線攝影機也不需向使用者發出額外之光源，故不會產生眩光而造成使用者之不適。
控制裝置106之功能包括：依據該眼睛注視位置，決定該使用者是否選取該物件；並且在選取該物件後，依據該使用者的頭部或眼球的動作或位置對該物件進行操控。因此控制裝置106允許使用者僅使用頭部或眼球的動作或位置以進行互動系統100之操作，而不需要透過傳統之控制方式如使用鍵盤、滑鼠或觸控顯示裝置102等，進而可達到更自然的操作體驗。在此實施例中，使用者操作之對象即為顯示裝置102顯示之圖片瀏覽介面所顯示之內容。透過頭部和眼球之動作或位置，可允許使用者更方便與直覺式地操控該圖片瀏覽介面顯示之內容。
第2圖係為依據本發明實施例之一互動裝置之操作示意圖。在此實施例中，顯示裝置102顯示多個使用者可操控的物件206~212，其中物件206~212為不同圖片之縮圖。當位置/動作擷取裝置104(第1圖)判斷使用者202之注視位置204位於物件208時，控制裝置106在顯示裝置102中的畫框220顯示物件208相對應之圖片(即為物件208縮圖之原始圖片)。同理，如果使用者202將注視位置204移至物件210時，控制裝置106也相對應在畫框220改為顯示物件210相對應之圖片。意即使用者202僅需改變自身的注視位置204，即可控制畫框220顯示欲觀賞的圖片。
在上述之實施例中，控制裝置106更可判斷使用者202的注視位置204於一物件上停留之時間。當注視位置204於一物件上停留超過一既定時間時，控制裝置106才判斷使用者202欲選擇該物件，並在畫框220顯示該物件相對應之圖片。由於使用者202的注視位置204可能會在物件206~212間移動以挑選欲觀賞之圖片，因此當注視位置204於一物件僅停留短暫時間時，代表使用者202僅是在瀏覽階段並未作出選擇。而當注視位置204於一物件停留超過一既定時間時，則可判斷代表使用者202欲觀賞該物件相對應之圖片，意即使用者202已決定選擇該物件。透過判斷注視位置204於一物件上停留之時間，控制裝置106可避免顯示畫框220顯示之圖片發生過於快速之切換而讓使用者202感到難以操控的情形。
在此實施例中，位置/動作裝置104更可偵測使用者202的頭部分別相對於一第一至第三軸的第一至第三旋轉。其
中該第一軸係垂直該顯示裝置102的顯示幕，該第二軸係水平地垂直該第一軸且平行該顯示幕，該第三軸係上下地垂直該第一軸且平行該顯示幕；並且控制裝置106依據該第一至第三旋轉以對應地操控該物件。第3A圖係為本實施例中使用者的頭部部分別相對於一第一至第三軸之示意圖。其中使用者202為面對顯示裝置102(第1、2圖)之位置，而其頭部可在第一軸302、第二軸304與第三軸306分別做出擺頭(Roll)、點頭(Pitch)和轉頭(Yaw)的旋轉動作，而第3B圖係為上述使用者202頭部於三軸之旋轉動作之示意圖。控制裝置106可依據使用者202頭部於三軸之旋轉動相對應地操控畫框220所顯示之內容。例如，左右方向轉頭可分別代表畫框220改為顯示當前所選物件之前一與後一物件所相對應之圖片；上下方向點頭可分別代表回到前一與後一之選擇；左右方向擺頭可分別代表向左與向右旋轉畫框220所顯示的圖片，但並不限於此。
位置/動作擷取裝置104可偵測使用者202的頭部靠近或遠離顯示裝置102，且該控制裝置104依據偵測使用者202頭部的靠近或遠離動作而對應地操控物件。在此實施例中，當使用者202選擇一物件後，位置/動作擷取裝置偵測使用者202的頭部與顯示裝置102間之距離，當位置/動作擷取裝置104偵測到使用者202頭部靠近顯示裝置102時，控制裝置106放大畫框220顯示之圖片。相對地，當位置/動作擷取裝置104偵測到使用者202頭部遠離顯示裝置102時，控制裝置106縮小畫框220顯示之圖片。
在此實施例中，當控制裝置104放大畫框220顯示
之圖片時，可能發生放大後圖片之面積大於畫框220之面積，而僅有部分圖片被顯示出之情況。因此，當該位置/動作擷取裝置104偵測到使用者的注視點落於鄰近所顯示圖片(物件)的邊緣區域時，該控制裝置106將該圖片往該注視點移動。參照第4A~4D圖所示，當位置/動作擷取裝置104偵測到使用者202的注視位置204落於畫框220的邊緣區域時，控制裝置106將該畫框220顯示之圖片往該注視點移動。第4A圖為畫框220的邊緣區域之示意圖，其中注視位置204之座標為(x,y)，而畫框之左下與右上兩端點之座標分別為(x1,y1)與(x4,y4)，而圖中(x2,y2)與(x3,y3)為定義邊緣區域之兩個參考坐標點。當注視位置204之座標x1<x<x2時，即判斷注視位置204位於畫框220之左方邊緣區域，控制裝置106將該畫框220顯示之圖片向左移動；同理當注視位置204之座標x3<x<x4時，即判斷注視位置204位於畫框220之右方邊緣區域，控制裝置106將該畫框220顯示之圖片向右移動；當注視位置204之座標y1<y<y2時，即判斷注視位置204位於畫框220之下方邊緣區域，控制裝置106將該畫框220顯示之圖片向下移動；當注視位置204之座標y3<y<y4時，即判斷注視位置204位於畫框220之上方邊緣區域，控制裝置106將該畫框220顯示之圖片向上移動。第4B圖與第4C圖分別為畫框220顯示一圖片以及畫框220顯示放大後的該圖片之示意圖，其中第4B圖中畫框220可顯示該圖片之全部；而在第4C圖中該圖片已被放大至超越畫框220之大小，故畫框220只能顯示出該圖片中央的部分。而第4D圖則為注視位置204位於畫框220之上方邊緣區域，而控制裝置106將畫框220顯示之放大後的該圖片向上
移動之示意圖。
在此實施例中，位置/動作擷取裝置104可偵測使用者202之左右方向擺頭。當位置/動作擷取裝置104偵測到使用者202之左向擺頭，控制裝置106將畫框220顯示之圖片向左旋轉90度；同理當位置/動作擷取裝置104偵測到使用者202之右向擺頭，控制裝置106將畫框220顯示之圖片向右旋轉90度。第5圖為使用者202之左向擺頭與畫框220顯示之圖片向左旋轉90度之示意圖。
在一較佳實施例中，位置/動作擷取裝置104更可偵測使用者202眼球的移動軌跡或位置，且控制裝置106依據該移動軌跡或位置對該物件進行對應的操控。例如；當位置/動作擷取裝置104偵測到使用者202眼球成順時鐘或逆時鐘方向旋轉時，控制裝置106將畫框220所顯示之圖片分別做順時鐘/逆時鐘方向旋轉。
在一較佳實施例中，控制裝置106更可在顯示裝置102中顯示注視位置204之位置，例如使用一指標之形式，以讓使用者202更快速的了解注視位置204之所在位置，並可更自然地操作互動系統100。
本發明之互動系統100可包括；伺服器電腦、個人電腦、筆記型電腦、平板電腦、智慧型手機、電子看板等等，但不限於此。只要是能擷取使用者的眼球/頭部之位置/動作並允許使用者透過該些眼球/頭部之位置/動作進行操控之電子系統皆可。
本發明之控制裝置可為一硬體與軟體之集合，例
如一通常用途之中央處理器與一可依據使用者頭部或眼球的動作而控制顯示裝置顯示內容之軟體之集合，但不限於此。只要是可依據使用者頭部或眼球的動作控制顯示裝置顯示之內容之硬體以及/或軟體皆可。
本說明之規範與圖例應為舉例教示而非限制作用。但其應足為教示習知技藝者在不脫離本發明及後附之申請專利範圍之精神與範圍內，當可做些許的更動與潤飾。
Claims (10)
- 一種互動系統，包括：一顯示裝置，用以顯示使用者可操控的至少一物件；一位置/動作擷取裝置，擷取使用者在該顯示裝置的顯示幕上的眼睛注視位置、以及使用者的頭部或眼球的動作或位置；以及一控制裝置，依據該眼睛注視位置，決定使用者是否選取該物件，並且在選取該物件後，依據使用者的頭部或眼球的動作或位置對該物件進行操控。
- 如申請專利範圍第1項所述之互動系統，其中，該控制裝置判定該眼睛注視位置對應於該物件所在位置時，進一步判定使用者注視該物件是否超出一既定時間；當超出該既定時間則選取該物件。
- 如申請專利範圍第2項所述之互動系統，其中，該位置/動作擷取裝置偵測使用者的頭部分別相對於一第一至第三軸的第一至第三旋轉；該第一軸係垂直該顯示裝置的顯示幕，該第二軸係水平地垂直該第一軸且平行該顯示幕，該第三軸係上下地垂直該第一軸且平行該顯示幕；並且該控制裝置依據該第一至第三旋轉以對應地操控該物件。
- 如申請專利範圍第2項所述之互動系統，其中，該位置/動作擷取裝置偵測使用者的頭部靠近或遠離該顯示裝置，且該控制裝置依據偵測使用者頭部的靠近或遠離動作而對應地操控該物件。
- 如申請專利範圍第2項所述之互動系統，其中，於該 物件被選取後，當該位置/動作擷取裝置偵測到使用者的注視點落於鄰近該物件的邊緣區域時，該控制裝置將該物件往該注視點移動。
- 如申請專利範圍第2項所述之互動系統，其中，該位置/動作擷取裝置更偵測使用者眼球的移動軌跡或位置，且該控制裝置依據該移動軌跡或位置對該物件進行對應的操控。
- 如申請專利範圍第1至6項其中之一所述之互動系統，其中，該位置/動作擷取裝置係為，包括：一影像擷取裝置，擷取使用者的眼球動作/位置、以及使用者的頭部動作；以及一影像分析裝置，分析該影像擷取裝置輸出的結果，以得到使用者的眼睛注視位置、以及使用者的頭部或眼球之動作或位置。
- 如申請專利範圍第7項所述之互動系統，其中，該影像擷取裝置為紅外線攝影機。
- 如申請專利範圍第1至6項其中之一所述之互動系統，其中，該物件為一可觸發既定操作之圖標(icon)。
- 如申請專利範圍第1至6項其中之一所述之互動系統，其中，該物件為一圖片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106142906A TW201925989A (zh) | 2017-12-07 | 2017-12-07 | 互動系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106142906A TW201925989A (zh) | 2017-12-07 | 2017-12-07 | 互動系統 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW201925989A true TW201925989A (zh) | 2019-07-01 |
Family
ID=68048903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW106142906A TW201925989A (zh) | 2017-12-07 | 2017-12-07 | 互動系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TW201925989A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111759461A (zh) * | 2020-07-30 | 2020-10-13 | 上海交通大学医学院附属第九人民医院 | 一种基于眼动仪的眼眶内镜导航手术操作系统 |
-
2017
- 2017-12-07 TW TW106142906A patent/TW201925989A/zh unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111759461A (zh) * | 2020-07-30 | 2020-10-13 | 上海交通大学医学院附属第九人民医院 | 一种基于眼动仪的眼眶内镜导航手术操作系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12307580B2 (en) | Methods for manipulating objects in an environment | |
| US12475635B2 (en) | Methods for displaying and repositioning objects in an environment | |
| US12455670B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US12333083B2 (en) | Methods for manipulating objects in an environment | |
| US12265657B2 (en) | Methods for navigating user interfaces | |
| US12147597B2 (en) | Methods for cursor-based interactions with an electronic device | |
| US20250278166A1 (en) | Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments | |
| CN103150009B (zh) | 信息处理装置和信息处理方法 | |
| US10203764B2 (en) | Systems and methods for triggering actions based on touch-free gesture detection | |
| TWI670625B (zh) | 視線輸入裝置、視線輸入方法、及程式 | |
| US9671869B2 (en) | Systems and methods of direct pointing detection for interaction with a digital device | |
| US9367951B1 (en) | Creating realistic three-dimensional effects | |
| CN101408800B (zh) | 利用摄像头进行三维模型显示控制的方法 | |
| US20150362998A1 (en) | Motion control for managing content | |
| US20150213784A1 (en) | Motion-based lenticular image display | |
| WO2012039140A1 (ja) | 操作入力装置および方法ならびにプログラム | |
| JP2013016060A (ja) | 操作入力装置および操作判定方法並びにプログラム | |
| JP2012238293A (ja) | 入力装置 | |
| Zhang et al. | A novel human-3DTV interaction system based on free hand gestures and a touch-based virtual interface | |
| US9898183B1 (en) | Motions for object rendering and selection | |
| US10082936B1 (en) | Handedness determinations for electronic devices | |
| TW201925989A (zh) | 互動系統 | |
| CN109144235B (zh) | 基于头手协同动作的人机交互方法与系统 | |
| US20250138644A1 (en) | Method and apparatus for controlling electronic device, electronic device, and storage medium | |
| CN120560506A (zh) | 手势交互方法、装置及电子设备 |