TW202032329A

TW202032329A - 電子系統、偵測裝置及電子系統之操作方法

Info

Publication number: TW202032329A
Application number: TW108105774A
Authority: TW
Inventors: 曹容維
Original assignee: 宏碁股份有限公司
Priority date: 2019-02-21
Filing date: 2019-02-21
Publication date: 2020-09-01

Abstract

一種電子系統，包括電子裝置、虛擬實境(VR)顯示裝置以及偵測裝置。電子裝置包括鍵盤，並且電子裝置產生虛擬實境(VR)影像。VR顯示裝置連接至電子裝置，其中VR顯示裝置被配置以顯示VR影像。偵測裝置連接至電子裝置，偵測裝置偵測鍵盤以模擬VR鍵盤影像，並且定位複數基準點和偵測複數手指。上述基準點是上述鍵盤的複數特定按鍵位置。偵測裝置根據基準點和所偵測的手指，判斷手指在鍵盤中的位置，以模擬VR手指影像。電子裝置將VR鍵盤影像和VR手指影像結合至VR影像。

Description

電子系統、偵測裝置及電子系統之操作方法

本揭露係關於一種電子系統，特別是可以偵測鍵盤以模擬虛擬實境(VR)鍵盤影像，使得VR顯示裝置可以顯示VR鍵盤影像的電子系統。

在現代社會中，虛擬實境(virtual reality，VR)技術已被廣泛地使用。虛擬實境是在模擬環境中發生的交互式計算機生成體驗。虛擬實境包括聽覺和視覺反饋，但也可能允許其他類型的感官反饋(例如：觸覺)。虛擬實境技術使用虛擬實境顯示裝置(例如：虛擬實境頭盔)，以顯示逼真的圖像，模擬使用者在虛擬環境(模擬環境)中的物理存在。

然而，當使用者配戴VR顯示裝置時，如果使用者想要進行輸入操作，使用者必須配戴額外的VR輸入裝置作為傳統的輸入裝置的替代品，或者脫下VR顯示裝置使用傳統的輸入裝置(例如：鍵盤)進行輸入操作。如果使用VR輸入裝置進行輸入操作，因為其輸入方式與傳統的輸入方式不同，使用者需要另外學習新的輸入方式。另外，脫下VR顯示裝置使用傳統的輸入裝置進行輸入操作，造成了使用者的不方便。因此，VR技術需要有進一步的輸入方式。

本揭露提供一種電子系統。電子系統包括電子裝置、虛擬實境(VR)顯示裝置以及偵測裝置。電子裝置包括鍵盤，並且電子裝置產生虛擬實境(VR)影像。VR顯示裝置連接至電子裝置，其中VR顯示裝置被配置以顯示VR影像。偵測裝置連接至電子裝置，偵測裝置偵測鍵盤以模擬VR鍵盤影像，並且定位複數基準點和偵測複數手指。基準點是鍵盤的複數特定按鍵位置。偵測裝置根據基準點和所偵測的手指，判斷手指在鍵盤中的位置，以模擬VR手指影像。電子裝置將VR鍵盤影像和VR手指影像結合至VR影像。

本揭露提供一種偵測裝置。偵測裝置包括處理器、掃描器、複數攝影機以及傳輸裝置。掃描器用來偵測並且掃描鍵盤，其中處理器根據所偵測的鍵盤模擬VR鍵盤影像。攝影機用來定位複數基準點和偵測複數手指，基準點是鍵盤的複數特定按鍵位置，其中處理器根據基準點和所偵測的手指，判斷手指在鍵盤中的位置，以模擬VR手指影像。傳輸裝置用來將VR鍵盤影像和VR手指影像傳輸至電子裝置。

本揭露提供一種電子系統的操作方法。此方法包括偵測鍵盤的輪廓、長度以及寬度，以模擬VR鍵盤影像；定位複數基準點和偵測複數手指，基準點藉由手指移至鍵盤的按鍵來定位；根據基準點和所偵測的手指，判斷手指在鍵盤中的位置，以模擬VR手指影像；傳輸VR鍵盤影像和VR手指影像至電子裝置，使得VR鍵盤影像和VR手指影像與VR影像結合；以及藉由VR顯示裝置顯示VR影像。

本揭露提供許多不同的實施例或範例以實施本案的不同特徵。以下的揭露內容敘述各個構件及其排列方式的特定範例，以簡化說明。當然，這些特定的範例並非用以限定。舉例來說，若是本揭露書敘述了一第一特徵形成於一第二特徵之上或上方，即表示其可能包含上述第一特徵與上述第二特徵是直接接觸的實施例，亦可能包含了有附加特徵形成於上述第一特徵與上述第二特徵之間，而使上述第一特徵與第二特徵可能未直接接觸的實施例。另外，以下揭露書不同範例可能重複使用相同的參考符號及/或標記。這些重複係為了簡化與清晰的目的，並非用以限定所討論的不同實施例及/或結構之間有特定的關係。

為本揭露內容之詳述目的，除非特定否認，單數詞包含複數詞，反之亦然。並且字詞“包含”其意為“非限制性地包含”。此外，進似性的(approximation)用語例如“大約”、“幾乎”、“相當地”、“大概”等，可用於本揭露實施例，其意義上如“在、接近或接近在”或“在3至5%內”或“在可接受製造公差內”或任意邏輯上之組合。

此外，其與空間相關用詞。例如“在…下方”、“下方”、“較低的”、“上方”、“較高的” 及類似的用詞，係為了便於描述圖示中一個元件或特徵與另一個(些)元件或特徵之間的關係。除了在圖式中繪示的方位外，這些空間相關用詞意欲包含使用中或操作中的裝置之不同方位。舉例來說，若在示意圖中之裝置被反轉，被描述在其他元件或特徵之“下方”或“在…下方”的元件也會因而變成在另外其他元件或特徵之“上方”。如此一來，示範詞彙“下方”會涵蓋朝上面與朝下面之兩種解讀方式。除此之外，設備可能被轉向不同方位(旋轉90度或其他方位)，則在此使用的空間相關詞也可依此相同解釋。

第1圖係為根據本揭露實施例之電子系統的示意圖。電子系統100包括電子裝置102、偵測裝置104以及虛擬實境(VR)顯示裝置106。

電子裝置102可以模擬或產生虛擬實境(VR)環境，並且根據VR環境產生並且輸出VR影像。電子裝置102可以是桌上型電腦、筆記型電腦、遊戲主機(game console)或其他可以產生VR環境的電子裝置。

電子裝置102更包括鍵盤102-1，鍵盤102-1可以無線地或有線地連接至電子裝置102。鍵盤102-1是具有複數實體按鍵的輸入裝置。鍵盤102-1可以是各種鍵盤，例如一般的具有104個按鍵的QWERTY鍵盤、電競鍵盤或其他鍵盤。透過鍵盤102-1可以進行各種輸入操作，以輸入指令控制電子裝置102所產生之VR環境，從而將控制結果反映在VR影像中。

VR顯示裝置106無線地或有線地連接至電子裝置102。VR顯示裝置106可以接收並且顯示電子裝置102所產生之VR影像。具體來說，電子裝置102模擬或產生虛擬實境(VR)環境之後，電子裝置102根據VR環境產生VR影像，並且將與VR環境相關的VR影像傳輸至VR顯示裝置106，在VR顯示裝置106接收到VR影像之後，VR顯示裝置106可以顯示VR影像。

偵測裝置104無線地或有線地連接至電子裝置102。偵測裝置104可以偵測鍵盤102-1，並且模擬鍵盤102-1的VR鍵盤影像。偵測裝置104更可以偵測使用者的複數手指，以模擬手指的VR手指影像。偵測裝置104將VR鍵盤影像和VR手指影像傳輸至電子裝置102，使得電子裝置102可以將VR鍵盤影像和VR手指影像結合至VR影像。因此，使用者可以在VR顯示裝置106所顯示的VR影像中，看到VR鍵盤影像和VR手指影像。在偵測裝置104中的元件和偵測裝置104的操作將於後續說明。

在一些實施例中，偵測裝置104具有移動定位器，使得偵測裝置104可以偵測並且產生鍵盤102-1相對VR顯示裝置106的位置資訊。具體來說，偵測裝置104的移動定位器可以偵測鍵盤102-1與VR顯示裝置106之間的距離和鍵盤102-1相對VR顯示裝置106的方向。偵測裝置104將位置資訊傳輸至電子裝置102，使得電子裝置102將此位置資訊結合至VR影像。如此一來，使用者可以在VR影像中看到鍵盤102-1在哪裡(以VR鍵盤影像呈現)。使用者可以在配戴VR顯示裝置106的情況下，移動至鍵盤102-1。

在其他實施例中，偵測裝置104具有連接部件(例如：彈簧針(pogo pin))。偵測裝置104透過連接部件連接至外部的移動定位器，從而透過外部的移動定位器偵測並且產生鍵盤102-1相對VR顯示裝置106的位置資訊。

因此，透過使用電子系統100，使用者在配戴VR顯示裝置106以體驗VR環境時，可以在VR顯示裝置106所顯示的VR影像中看到VR鍵盤影像。另外，當使用者根據VR鍵盤影像使用鍵盤102-1時，可以在VR影像中看到VR手指影像，以知道手指在鍵盤102-1的哪個按鍵上。

接下來說明在偵測裝置104中的元件和偵測裝置104的操作。

第2圖係為根據本揭露實施例之偵測裝置的示意圖。偵測裝置104包括處理器202、掃描器204、複數攝影機206以及傳輸裝置208。

處理器202可實質上為一完全自足式計算系統，並包含多個核心或處理器、一匯流排、記憶體控制器、快取記憶體等。多核處理器可為對稱或非對稱處理器。在本揭露實施例中，處理器202可以根據掃描器204和複數攝影機206的偵測結果執行計算、判斷和模擬。

掃描器204可以偵測並且掃描鍵盤(例如：鍵盤102-1)。掃描器204可以是雷射掃描器、攝影機或其他合適的掃描器。掃描器204掃描鍵盤的表面，以得到鍵盤的長度、寬度以及輪廓。處理器202可以根據掃描器204的掃描結果(鍵盤的長度、寬度以及輪廓)模擬VR鍵盤影像。另外，處理器202也可以根據掃描器204的掃描結果，得到鍵盤的每個按鍵的位置和功能，並且將按鍵的位置和功能呈現在VR鍵盤影像中。

在一些實施例中，偵測裝置104更包括記憶體(未顯示)。記憶體儲存複數鍵盤的鍵盤外觀資訊。換句話說，記憶體已經儲存來自各種不同廠商的各種鍵盤的長度、寬度、按鍵分佈等鍵盤外觀資訊。根據掃描器204的鍵盤的掃描結果和對應的鍵盤外觀資訊，處理器202可以更快和更準確的模擬VR鍵盤影像。

在一些實施例中，偵測裝置104使用攝影機206偵測並且掃描鍵盤。換句話說，攝影機206可用來作為掃描器偵測並且掃描鍵盤(即掃描器204與攝影機206是相同部件)。在此情況下，偵測裝置104沒有掃描器204，而使用攝影機206代替掃描器的功能。

攝影機206可以偵測(拍攝)使用者的兩手的手指。攝影機206彼此相隔一既定距離，使得攝影機206可以拍攝不同角度和不同距離的手指影像。如第3圖所示，偵測裝置104具有攝影機206-1、206-2、206-3。攝影機206-1、206-2、206-3彼此相隔一既定距離z，攝影機206-2可以拍攝整個鍵盤102-1，攝影機206-1可以拍攝鍵盤102-1的左半部分，攝影機206-3可以拍攝鍵盤102-1的右半部分。當右手302被攝影機206-2、206-3拍攝時(如第3圖所示)，處理器202可以根據攝影機206-2、206-3所拍攝的手指影像之間的相位差，來模擬右手302的VR手指影像。應理解第3圖所示之攝影機206的數量和位置僅為一範例，並不限制本揭露。

具體來說，如第4圖所示，右手302的食指302-2被攝影機206-2、206-3拍攝。攝影機206-2相對食指302-2具有距離a和角度θ1，攝影機206-3相對食指302-2具有距離b和角度θ2。處理器202可以根據距離a、距離b、角度θ1、角度θ2以及既定距離z(攝影機206-2、206-3之間的距離)，計算出食指302-2與偵測裝置104之間的距離y。處理器202根據距離y和攝影機206-2、206-3所拍攝的食指302-2的影像之間的差異(例如：景深差異、視差等)，可以模擬食指302-2的VR手指影像。因此，在本揭露實施例中，攝影機所拍攝的手指影像之間的相位差包括距離差異、角度差異、景深差異、視差等。

相對地，左手304被攝影機206-1、206-2拍攝，處理器202可以根據攝影機206-2、206-3所拍攝的手指影像之間的相位差，來模擬左手304的VR手指影像。因此，只要手指被至少兩個攝影機拍攝，處理器202就可以模擬VR手指影像。

另外，偵測裝置104透過攝影機206可以先定位複數基準點，並且根據基準點和所偵測的手指，判斷手指在鍵盤中的位置。因此，當使用者配戴VR顯示裝置106使用鍵盤102-1時，可以透過VR手指影像判斷手指在鍵盤102-1的哪個按鍵上。基準點藉由手指移至鍵盤的按鍵來定位(即基準點是鍵盤的複數特定按鍵位置)。舉例來說，如第5圖所示，使用者先將右手302的食指302-2移至圓圈502上，處理器202透過攝影機206將此位置作為第一基準點(或稱為第一特定按鍵位置)，並記錄對應的按鍵是空白鍵。使用者再將食指302-2移至圓圈504上，處理器202透過攝影機206將此位置作為第二基準點(或稱為第二特定按鍵位置)，並記錄對應的按鍵是數字鍵盤的Enter鍵。當後續使用鍵盤102-1，食指302-2在鍵盤102-1的任意位置時，處理器202可以根據第一基準點和第二基準點判斷(計算)攝影機206拍攝的食指302-2在鍵盤102-1的哪個對應按鍵上，並且將判斷結果呈現在VR手指影像。

相對地，也可以用相同的方法對左手定位複數基準點。舉例來說，使用者先將左手304的食指304-2移至圓圈502上，處理器202透過攝影機206將此位置作為第一基準點，並記錄對應的按鍵是空白鍵。使用者再將食指304-2移至圓圈506上，處理器202透過攝影機206將此位置作為第三基準點(或稱為第三特定按鍵位置)，並記錄對應的按鍵是Ctrl鍵。當後續使用鍵盤102-1，食指304-2在鍵盤102-1的任意位置時，處理器202可以根據第一基準點和第三基準點判斷食指304-2在鍵盤102-1的哪個對應按鍵上，並且將判斷結果呈現在VR手指影像。

因此，只要對使用者的每一個手指定位基準點，偵測裝置104後續就可以判斷手指在鍵盤102-1的哪個按鍵上，並且將判斷結果顯示在VR手指影像。在這種情況下，偵測裝置104不需要額外偵測或掃描食指302-2下面的對應按鍵，就可以判斷對應按鍵是什麼。換句話說，偵測裝置104一開始模擬VR鍵盤影像，並且對每一個手指定位基準點後，就可以不需再偵測或掃描鍵盤102-1，而後續持續地偵測手指，以模擬VR手指影像。應理解鍵盤102-1的任意按鍵位置都可以作為基準點。

在一些實施例中，如上面所述，偵測裝置104更包括移動定位器(未顯示)，使得偵測裝置104可以偵測並且產生鍵盤102-1相對VR顯示裝置106的位置資訊。舉例來說，如第6A圖所示，在現實世界600中，鍵盤102-1與VR顯示裝置106之間具有一個距離，並且鍵盤102-1相對VR顯示裝置106具有一個方向。偵測裝置104的移動定位器可以偵測這個距離和方向。換句話說，偵測裝置104的移動定位器可以偵測鍵盤102-1與VR顯示裝置106之間的相對位置。接著，電子裝置102將鍵盤102-1與VR顯示裝置106之間的相對位置結合至VR影像。因此，使用者可以在VR影像中看到鍵盤102-1在哪裡(以VR鍵盤影像呈現)。如第6B圖所示的VR環境602，使用者可以看到VR鍵盤影像604與自己的相對位置，使用者可以在配戴VR顯示裝置106的情況下，移動至鍵盤102-1。

傳輸裝置208可以是傳輸線或無線裝置等。傳輸裝置208可以將VR鍵盤影像和VR手指影像傳輸至電子裝置102，使得電子裝置102可以將VR鍵盤影像和VR手指影像結合至VR影像中。

第7圖係為根據本揭露實施例之電子系統的操作方法的流程圖。在操作702中，偵測裝置偵測鍵盤的長度、寬度以及輪廓，以模擬VR鍵盤影像。舉例來說，偵測裝置104的掃描器204偵測並且掃描鍵盤的長度、寬度以及輪廓，並且偵測裝置104的處理器202可以根據掃描器204的掃描結果模擬VR鍵盤影像。

在操作704中，偵測裝置定位複數基準點和偵測複數手指。基準點藉由手指移至鍵盤的按鍵來定位。舉例來說，偵測裝置104透過攝影機206定位複數基準點和偵測複數手指。

在操作706中，偵測裝置根據基準點和所偵測的手指，判斷手指在鍵盤中的位置，以模擬VR手指影像。舉例來說，偵測裝置104根據基準點和所偵測的手指，判斷手指在鍵盤中的位置，以模擬VR手指影像。因此，如上面所述，使用者可以透過VR手指影像判斷手指在鍵盤102-1的哪個按鍵上。

在操作708中，偵測裝置傳輸上述VR鍵盤影像和上述VR手指影像至電子裝置，使得VR鍵盤影像和VR手指影像與VR影像結合。舉例來說，偵測裝置104透過傳輸裝置208將VR鍵盤影像和VR手指影像傳輸至電子裝置102。電子裝置102接收到VR鍵盤影像和VR手指影像之後，電子裝置102將VR鍵盤影像和VR手指影像與VR影像(由電子裝置102產生)結合。

在一些實施例中，偵測裝置還可以偵測並且產生鍵盤相對於VR顯示裝置的位置資訊，並且將位置資訊傳輸至電子裝置，使得電子裝置將位置資訊結合至VR影像。舉例來說，偵測裝置104透過移動定位器偵測並且產生鍵盤102-1相對VR顯示裝置106的位置資訊。接著，偵測裝置104將位置資訊傳輸至電子裝置102，使得電子裝置102將此位置資訊結合至VR影像。

在操作710中，藉由VR顯示裝置顯示VR影像。舉例來說，電子裝置102將VR影像傳輸至VR顯示裝置106，使得VR顯示裝置可以顯示VR影像。

相較於現有技術，本發明之實施例提供多個優點，並應了解其他實施例可提供不同優點，於此不須討論全部優點，並且全部實施例無特定優點。

透過使用本揭露實施例，使用者可以在配戴VR顯示裝置的情況下，根據VR影像中的VR鍵盤影像和VR手指影像來使用鍵盤，而不需要脫下VR顯示裝置。

此處所使用的術語僅用於描述特定實施例的目的，並且不限制本揭露。如此處所使用的，除非上下文另外清楚的指出，否則單數形式“一”、“一個”以及“該”意旨在也包括複數形式。此外，就被用於詳細描述及/或申請專利範圍中的“囊括”、“包含”、“具有”、“有”、“含”或其變體的術語來說，這些術語旨在以相似於“包括”的方式而具有包容性。

除非另外定義，否則此處所使用的所有術語(包括技術和科學術語)具有與所屬技術領域具有通常知識者通常理解的相同含義。此外，諸如在通用字典中定義的那些術語應該被解釋為具有與其在相關領域的上下文中的含義中相同的含義，並且不會被理解為理想化或過度正式，除非在此處有明確地如此定義。

前述內文概述了許多實施例的特徵，使本技術領域中具有通常知識者可以從各個方面更佳地了解本揭露。本技術領域中具有通常知識者應可理解，且可輕易地以本揭露為基礎來設計或修飾其他製程及結構，並以此達到相同的目的及/或達到與在此介紹的實施例等相同之優點。本技術領域中具有通常知識者也應了解這些相等的結構並未背離本揭露的發明精神與範圍。在不背離本揭露的發明精神與範圍之前提下，可對本揭露進行各種改變、置換或修改。

100:電子系統102:電子裝置102-1:鍵盤104:偵測裝置106:VR顯示裝置202:處理器204:掃描器206:攝影機208:傳輸裝置206-1:攝影機206-2:攝影機206-3:攝影機302:右手302-2:食指304:左手304-2:食指z:既定距離a、b、y:距離θ1、θ2:角度502、504、506:圓圈600:現實世界602:VR環境604:VR鍵盤影像702-710:操作

為了使本揭露之描述方式能涵蓋上述之舉例、其他優點及特徵，上述簡要說明之原理，將透過圖式中的特定範例做更具體的描述。此處所示之圖式僅為本揭露之範例，並不能對本揭露之範圍形成限制，本揭露之原理係透過附圖以進行具有附加特徵與細節之描述與解釋，其中：第1圖係為根據本揭露實施例之電子系統的示意圖。第2圖係為根據本揭露實施例之偵測裝置的示意圖。第3圖係為根據本揭露實施例之偵測裝置偵測鍵盤和手指的示意圖。第4圖係為根據本揭露實施例之偵測裝置偵測手指的示意圖。第5圖係為根據本揭露實施例之偵測裝置定位複數基準點的示意圖。第6A圖係為根據本揭露實施例之在現實世界中的鍵盤和使用者之間位置的示意圖。第6B圖係為根據本揭露實施例之在VR環境中的VR鍵盤影像和使用者之間位置的示意圖。第7圖係為根據本揭露實施例之電子系統的操作方法的流程圖。

100:電子系統

102:電子裝置

102-1:鍵盤

104:偵測裝置

106:VR顯示裝置

Claims

一種電子系統，包括：一電子裝置，用以產生一虛擬實境(VR)影像並適於連接一鍵盤；一VR顯示裝置，連接至上述電子裝置，上述VR顯示裝置被配置以顯示上述VR影像；以及一偵測裝置，連接至上述電子裝置，上述偵測裝置用以偵測上述鍵盤以模擬一VR鍵盤影像，並且用以定位複數基準點和偵測複數手指，上述基準點是上述鍵盤的複數特定按鍵位置，其中當上述鍵盤被使用時，上述偵測裝置根據上述基準點和所偵測的上述手指，判斷上述手指在上述鍵盤中的位置，以模擬一VR手指影像，上述電子裝置將上述VR鍵盤影像和上述VR手指影像結合至上述VR影像。
如申請專利範圍第1項所述之電子系統，其中上述偵測裝置更包括：一移動定位器，用以偵測並且產生上述鍵盤相對於上述VR顯示裝置的一位置資訊，其中上述電子裝置將上述位置資訊結合至上述VR影像。
一種偵測裝置，包括：一處理器；一掃描器，用以偵測並且掃描一鍵盤，其中上述處理器根據所偵測的上述鍵盤模擬一VR鍵盤影像；以及複數攝影機，用以定位複數基準點和偵測複數手指，上述基準點是上述鍵盤的複數特定按鍵位置，其中當上述鍵盤被使用時，上述處理器根據上述基準點和所偵測的上述手指，判斷上述手指在上述鍵盤中的位置，以模擬一VR手指影像；以及一傳輸裝置，用以將上述VR鍵盤影像和上述VR手指影像傳輸至一電子裝置。
如申請專利範圍第3項所述之偵測裝置，其中上述鍵盤被上述攝影機的至少兩個所偵測。
如申請專利範圍第3項所述之偵測裝置，其中上述掃描器是一雷射掃描器。
如申請專利範圍第3項所述之偵測裝置，其中上述掃描器與上述攝影機是相同部件。
如申請專利範圍第3項所述之偵測裝置，更包括：至少一彈簧針(pogo pin)，用以連接一移動定位器，使得上述偵測裝置可以偵測並且產生上述鍵盤在空間的一位置資訊。
如申請專利範圍第3項所述之偵測裝置，其中上述偵測裝置更包括：一記憶體，儲存複數鍵盤外觀資訊，其中上述處理器根據上述鍵盤外觀資訊和所掃描的上述鍵盤模擬上述VR鍵盤影像。
一種電子系統之操作方法，包括：偵測一鍵盤的長度、寬度以及輪廓，以模擬一VR鍵盤影像；定位複數基準點和偵測複數手指，上述基準點是上述鍵盤的複數特定按鍵位置；根據上述基準點和所偵測的上述手指，判斷上述手指在上述鍵盤中的位置，以模擬一VR手指影像；傳輸上述VR鍵盤影像和上述VR手指影像至一電子裝置，使得上述VR鍵盤影像和上述VR手指影像與一VR影像結合；以及藉由一VR顯示裝置顯示上述VR影像。
如申請專利範圍第9項所述之電子系統之操作方法，更包括：偵測並且產生上述鍵盤相對於上述VR顯示裝置的一位置資訊；以及將上述位置資訊結合至上述VR影像。