[go: up one dir, main page]

TWI761960B - 切換輸入裝置的方法、頭戴式顯示器及電腦可讀儲存媒體 - Google Patents

切換輸入裝置的方法、頭戴式顯示器及電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI761960B
TWI761960B TW109132512A TW109132512A TWI761960B TW I761960 B TWI761960 B TW I761960B TW 109132512 A TW109132512 A TW 109132512A TW 109132512 A TW109132512 A TW 109132512A TW I761960 B TWI761960 B TW I761960B
Authority
TW
Taiwan
Prior art keywords
input device
specific
physical input
distance
threshold
Prior art date
Application number
TW109132512A
Other languages
English (en)
Other versions
TW202207009A (zh
Inventor
林聖成
劉建欣
林石隆
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202207009A publication Critical patent/TW202207009A/zh
Application granted granted Critical
Publication of TWI761960B publication Critical patent/TWI761960B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本揭露提供一種用於切換輸入裝置的方法、頭戴式顯示器（HMD）及電腦可讀儲存媒體。所述方法包括：提供視覺內容，其中第一實體輸入裝置在所述視覺內容中是可見的；判斷位於特定物件與所述第一實體輸入裝置之間的第一特定距離是否小於第一閾值；反應於判定所述第一特定距離小於所述第一閾值，啟用所述第一實體輸入裝置；反應於判定所述第一特定距離不小於所述第一閾值，禁用所述第一實體輸入裝置。借此，可讓使用者在不同的輸入裝置之間直觀地進行切換。

Description

切換輸入裝置的方法、頭戴式顯示器及電腦可讀儲存媒體
本發明是有關於一種用於控制輸入裝置的機制，且特別是有關於一種用於切換輸入裝置的方法、頭戴式顯示器（head-mounted display，HMD）及電腦可讀儲存媒體。
隨著混合現實（mixed reality，MR）技術的發展，當前的HMD能夠進行現實存取。對於光學透視或視頻通過（optical see through or video pass through）現實體驗，因為大多數虛擬內容是空間中真實物件的延伸，因此手勢是主要的輸入方法。
為與這些內容進行交互作用，讓用戶接近這些現實世界的物件並伸出手來作為控制的手段是有意義的。在完全虛擬的沉浸式狀態下，手勢僅限於遵守現實世界物理學的簡單操作，然而，舉例來說，電影控制台流覽（movie dashboard browsing）的距離操作（distance operation）仍優選通過額外的物理控制器實現。雖可針對此類場景設計複雜的手勢語言，但其需要大量的機器學習及高使用者學習曲線。並且，即便學習了所有的語言，真實控制器的觸覺回饋及控制精度也無法複製。
目前，手部追蹤與虛擬6自由度（6 degree of freedom，6dof）控制器之間的切換發生在虛擬應用程式的開始。如果偏好手勢操作，那麼使用者可在功能表層手動切換。然而，當MR內容趨於成熟，手勢、虛擬控制器、並且甚至二維（two-dimensional，2D）虛擬輸入控制器（例如，鍵盤及滑鼠）之間的切換將會更加頻繁，並且期望可被同時利用。
因此，設計一種在這些不同的輸入裝置之間進行切換的直觀方式是至關重要的。
有鑑於此，本揭露涉及一種用於切換輸入裝置的方法、HMD及電腦可讀儲存媒體。
本揭露提供一種用於切換輸入裝置的方法，所述方法適用於頭戴式顯示器（HMD）。所述方法包括：提供視覺內容，其中第一實體輸入裝置在所述視覺內容中是可見的；判斷位於特定物件與所述第一實體輸入裝置之間的第一特定距離是否小於第一閾值；反應於判定所述第一特定距離小於所述第一閾值，啟用所述第一實體輸入裝置；反應於判定所述第一特定距離不小於所述第一閾值，禁用所述第一實體輸入裝置。
本揭露提供一種電腦可讀儲存媒體，所述電腦可讀儲存媒體記錄將由頭戴式顯示器（HMD）載入的可執行電腦程式，以執行以下步驟：提供視覺內容，其中第一實體輸入裝置在所述視覺內容中是可見的；判斷特定物件與所述第一實體輸入裝置之間的第一特定距離是否小於第一閾值；反應於判定所述第一特定距離小於所述第一閾值，啟用所述第一實體輸入裝置；反應於判定所述第一特定距離不小於所述第一閾值，禁用所述第一實體輸入裝置。
本揭露提供一種頭戴式顯示器（HMD），所述頭戴式顯示器包括顯示器、儲存電路及處理器。所述儲存電路儲存多個模組。所述處理器耦合到所述顯示器及所述儲存電路，並存取所述模組以實行以下步驟：控制所述顯示器以提供視覺內容，其中第一實體輸入裝置在所述視覺內容中是可見的；判斷特定物件與所述第一實體輸入裝置之間的第一特定距離是否小於第一閾值；反應於判定所述第一特定距離小於所述第一閾值，啟用所述第一實體輸入裝置；反應於判定所述第一特定距離不小於所述第一閾值，禁用所述第一實體輸入裝置。
參見圖1，其示出根據本揭露實施例的HMD的示意圖。在圖1中，HMD 100包括儲存電路102、顯示器104及處理器106。
儲存電路102是固定或移動隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體、硬碟或任何其他類似裝置中的一者或其組合，並且記錄可由處理器106執行的多個模組。
在本揭露的實施例中，顯示器104可以是光學透視顯示器。也就是說，顯示器104中所示的視覺內容可包括虛擬內容及實體內容，其中虛擬內容可包括虛擬實境內容，且實體內容可包括HMD 100前方的現實世界物件，但本揭露不限於此。
處理器106可與儲存電路102及顯示器104耦合，且處理器106可以是例如通用處理器、專用處理器、常規處理器、數位訊號處理器（digital signal processor，DSP）、多個微處理器、與DSP核心相關聯的一個或多個微處理器、控制器、微控制器、應用專用積體電路（Application Specific Integrated Circuit，ASIC）、現場可程式設計閘陣列（Field Programmable Gate Array，FPGA）電路、任何其他類型的積體電路（integrated circuit，IC）、狀態機、基於進階精簡指令集機器（Advanced RISC Machine，ARM）的處理器等。
在本揭露的實施例中，處理器106可存取儲存在儲存電路102中的模組，以實施本揭露中提供的用於切換輸入裝置的方法，此將在下文進行進一步論述。
參見圖2，其示出根據本揭露實施例的用於切換輸入裝置的方法的流程圖。此實施例的方法可由圖1中的HMD 100執行，並且圖2中的每個步驟的細節將在下文用圖1中示出的組件來描述。此外，為更好地理解本揭露的概念，將使用圖3A到圖3C作為實例，其中圖3A到圖3C是根據本揭露第一實施例的應用場景。
在圖3A中，處理器106可實行步驟S210以控制顯示器104來提供視覺內容310。在一個實施例中，視覺內容310可以是包括虛擬物件（例如，物件VO1及VO2）及現實世界物件（例如，第一實體輸入裝置D1、第二實體輸入裝置D2及HMD 100的穿戴者的手H1）的MR內容。也就是說，第一實體輸入裝置D1、第二實體輸入裝置D2及HMD 100的穿戴者的手H1在視覺內容310中是可見的。
在本揭露的實施例中，第一實體輸入裝置D1（例如，鍵盤）及第二實體輸入裝置D2（例如，控制器）可配對於HMD 100。
在一個實施例中，當啟用第一實體輸入裝置D1時，HMD 100的穿戴者可使用第一實體輸入裝置D1來實行對HMD 100的輸入操作（例如，鍵入詞語），而當禁用第一實體輸入裝置D1時，HMD 100的穿戴者可不使用第一實體輸入裝置D1來實行對HMD 100的輸入操作。類似地，當啟用第二實體輸入裝置D2時，HMD 100的穿戴者可使用第二實體輸入裝置D2來實行對HMD 100的輸入操作，而當禁用第二實體輸入裝置D2時，HMD 100的穿戴者可不使用第二實體輸入裝置D2來實行對HMD 100的輸入操作。
在一個實施例中，當第一實體輸入裝置D1及第二實體輸入裝置D2兩者都被啟用時，HMD 100的穿戴者可使用第一實體輸入裝置D1及第二實體輸入裝置D2來實行對HMD 100的輸入操作。另一方面，當第一實體輸入裝置D1及第二實體輸入裝置D2兩者都被禁用時，HMD 100的穿戴者可使用手H1經由手勢實行對HMD 100的輸入操作，但本揭露不限於此。
接著，在步驟S220中，處理器106可判斷特定物件與第一實體輸入裝置D1之間的第一特定距離是否小於第一閾值。
在各種實施例中，處理器106可使用下文討論的機制來實行步驟S220。
具體來說，在本揭露的第一實施例中，特定物件可以是圖3A中的手H1，但本揭露不限於此。在此種情況下，處理器106可經由由內向外追蹤（inside-out tracking）機制獲得對應於特定物件（即，手H1）的特定3D物件（例如，手形3D物件）及對應於第一實體輸入裝置D1的第一3D物件（例如，鍵盤形3D物件）。在各種實施例中，由內向外追蹤機制的細節可參考相關的常規文檔，並且在此對其細節不再予以贅述。接下來，處理器106可將特定3D物件與第一3D物件之間的第一距離定義為第一特定距離，並判斷第一距離是否小於第一閾值。
在各種實施例中，第一閾值可基於設計者的要求被設計為任何距離值，例如3公分、5公分或任何所需值。
在本揭露的第二實施例中，第一實體輸入裝置D1可設置有與HMD 100連接的第一接近感測器。在一些實施例中，第一接近感測器可以是第一實體輸入裝置D1的內置元件或連接到第一實體輸入裝置D1的外部軟體狗（dongle），但本揭露不限於此。
在第二實施例中，處理器106可使用第一接近感測器來偵測第一接近感測器與接近物件（例如，手H1）之間的第二距離。接下來，處理器106可將第二距離定義為特定物件與第一實體輸入裝置D1之間的第一特定距離，並判斷第二距離是否小於第一閾值。
在第三實施例中，HMD 100可連接到第二接近感測器，其中第二接近感測器可穿戴在手H1（例如，特定物件）上，但本揭露不限於此。
在此種情況下，處理器106可對視覺內容310實行影像識別（例如， Google lens TM），以識別視覺內容310中對應於特定物件的特定2D物件（例如，手形2D物件）及對應於第一實體輸入裝置D1的第一2D物件（例如，鍵盤形2D物件）。接下來，處理器106可判斷特定2D物件與第一2D物件之間的第三距離是否小於特定閾值（其可由設計者任意選擇）。如果判定特定2D物件與第一2D物件之間的第三距離小於特定閾值，那麼其表示特定物件可能靠近第一實體輸入裝置D1。因此，處理器106可進一步使用第二接近感測器來偵測第二接近感測器與接近物件（例如，第一實體輸入裝置D1）之間的第四距離。之後，處理器106可將第四距離定義為特定物件與第一實體輸入裝置D1之間的第一特定距離，並判斷第四距離是否小於第一閾值。
在一個實施例中，反應於判定第一特定距離小於第一閾值，處理器106可實行步驟S230以啟用第一實體輸入裝置D1。在此種情況下，HMD 100的穿戴者可使用HMD 100的第一實體輸入裝置D1。
在一些實施例中，在啟用第一實體輸入裝置D1之後，處理器106可進一步禁用手勢識別。因此，HMD 100的穿戴者可能不被允許用他/她的手（例如，手H1）對HMD 100實行輸入操作，但本揭露不限於此。
另一方面，反應於判定第一特定距離不小於第一閾值，處理器106可實行步驟S240以禁用第一實體輸入裝置D1。在此種情況下，HMD 100的穿戴者可不使用HMD 100的第一實體輸入裝置D1。
簡而言之，處理器106可判斷特定物件（例如，手H1）是否足夠靠近第一實體輸入裝置D1。反應於判定特定物件足夠靠近第一實體輸入裝置D1（例如，第一特定距離小於第一閾值），處理器106可相應地啟用第一實體輸入裝置D1使HMD 100的穿戴者能夠實行輸入操作，如圖3A所示。
另一方面，反應於判定特定物件不靠近第一實體輸入裝置D1（例如，第一特定距離不小於第一閾值），處理器106可相應地禁用第一實體輸入裝置D1，使得HMD 100的穿戴者不能使用第一實體輸入裝置D1來實行輸入操作，如圖3B所示，但本揭露不限於此。
在其他實施例中，處理器106可基於特定物件（例如，手H1）有多靠近第二實體輸入裝置D2來判斷是否啟用/禁用第二實體輸入裝置D2。
具體來說，處理器106可經配置以：判斷特定物件與第二實體輸入裝置D2之間的第二特定距離是否小於第二閾值。反應於判定第二特定距離小於第二閾值，處理器106可相應地啟用第二實體輸入裝置使HMD 100的穿戴者能夠實行輸入操作，如圖3C所示。另一方面，反應於判定第二特定距離不小於第二閾值，處理器106可相應地禁用第二實體輸入裝置D2，使得穿戴者不能使用第二實體輸入裝置D2來實行輸入操作，如圖3B所示。相關細節可參考上述實施例中的教示內容，在此不再對其予以贅述。
在一些實施例中，如果與HMD 100配對的所有實體輸入裝置都被禁用，那麼處理器106可啟用手勢識別，使得處理器106可對特定物件（例如，手H1）實行手勢識別。因此，HMD 100的穿戴者將被允許通過實行各種手勢來實行對HMD 100的輸入操作，但本揭露不限於此。舉例而言，穿戴者例如可透過手勢操作（例如翻轉/移動等）視覺內容310中的3D虛擬物件（例如圖3B所示的圓形3D虛擬物體），而HMD 100可因應於穿戴者所輸入的手勢而調整所述3D虛擬物件的顯示方式（例如相應地翻轉/移動等），但可不限於此。
本揭露還提供一種用於執行切換輸入裝置的方法的電腦可讀儲存媒體。電腦可讀儲存媒體由在其中實施的多個程式指令（例如，設置程式指令及部署程式指令）構成。這些程式指令可被載入到HMD 100中，並由HMD 100執行，以執行上述用於切換輸入裝置的方法及HMD 100的功能。
概括來說，在本揭露提供的方法中，可判斷特定物件是否足夠靠近與HMD配對的實體輸入裝置。反應於判定特定物件足夠靠近實體輸入裝置，HMD可相應地啟用實體輸入裝置使HMD的穿戴者能夠通過實體輸入裝置實行輸入操作。
另一方面，反應於判定特定物件不靠近實體輸入裝置，HMD可相應地禁用實體輸入裝置，使得HMD的穿戴者不能使用實體輸入裝置來實行輸入操作。因此，本揭露為HMD的穿戴者切換輸入裝置提供了新穎、方便與直觀的方式。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:頭戴式顯示器 102:儲存電路 104:顯示器 106:處理器 310:視覺內容 D1:第一實體輸入裝置 D2:第二實體輸入裝置 H1:手 S210, S220, S230, S240:步驟 VO1, VO2:對象
圖1示出根據本揭露實施例的HMD的示意圖。 圖2示出根據本揭露實施例的用於切換輸入裝置的方法的流程圖。 圖3A到圖3C是根據本揭露第一實施例的應用場景。
S210, S220, S230, S240:步驟

Claims (20)

  1. 一種用於切換輸入裝置的方法，適用於頭戴式顯示器（HMD），包括： 提供視覺內容，其中第一實體輸入裝置在所述視覺內容中是可見的； 判斷位於特定物件與所述第一實體輸入裝置之間的第一特定距離是否小於第一閾值； 反應於判定所述第一特定距離小於所述第一閾值，啟用所述第一實體輸入裝置； 反應於判定所述第一特定距離不小於所述第一閾值，禁用所述第一實體輸入裝置。
  2. 如請求項1所述的方法，其中所述第一實體輸入裝置配對於所述頭戴式顯示器，並且所述判斷所述特定物件與所述第一實體輸入裝置之間的所述第一特定距離是否小於所述第一閾值的步驟包括： 經由由內向外追蹤機制獲得對應於所述特定物件的特定三維物件及對應於所述第一實體輸入裝置的第一三維物件； 將所述特定三維物件與所述第一三維物件之間的第一距離定義為所述第一特定距離，並且判斷所述第一距離是否小於所述第一閾值。
  3. 如請求項1所述的方法，其中所述第一實體輸入裝置配對於所述頭戴式顯示器並且設置有第一接近感測器，所述頭戴式顯示器與所述第一接近感測器連接，並且所述判斷所述特定物件與所述第一實體輸入裝置之間的所述第一特定距離是否小於所述第一閾值的步驟包括： 使用所述第一接近感測器偵測所述第一接近感測器與所接近物件之間的第二距離； 將所述第二距離定義為所述特定物件與所述第一實體輸入裝置之間的所述第一特定距離，並且判斷所述第二距離是否小於所述第一閾值。
  4. 如請求項1所述的方法，其中所述頭戴式顯示器配對於所述第一實體輸入裝置並連接到第二接近感測器，並且所述判斷所述特定物件與所述第一實體輸入裝置之間的所述第一特定距離是否小於所述第一閾值的步驟包括： 對所述視覺內容實行影像識別，以識別所述視覺內容中對應於所述特定物件的特定二維物件及對應於所述第一實體輸入裝置的第一二維物件； 反應於判定所述特定二維物件與所述第一二維物件之間的第三距離小於特定閾值，使用所述第二接近感測器來偵測所述第二接近感測器與接近物件之間的第四距離； 將所述第四距離定義為所述特定物件與所述第一實體輸入裝置之間的所述第一特定距離，並且判斷所述第四距離是否小於所述第一閾值。
  5. 如請求項4所述的方法，其中所述第二接近感測器穿戴在所述特定物件上。
  6. 如請求項1所述的方法，其中所述頭戴式顯示器配對於第二實體輸入裝置，所述第二實體輸入裝置在所述視覺內容中是可見的，並且所述方法還包括： 判斷所述特定物件與所述第二實體輸入裝置之間的第二特定距離是否小於第二閾值； 反應於判定所述第二特定距離小於所述第二閾值，啟用所述第二實體輸入裝置； 反應於判定所述第二特定距離不小於所述第二閾值，禁用所述第二實體輸入裝置。
  7. 如請求項1所述的方法，其中所述視覺內容是混合現實（MR）內容。
  8. 如請求項1所述的方法，其中所述特定物件是手，並且反應於禁用所述第一實體輸入裝置，所述方法還包括： 對所述特定物件實行手勢識別。
  9. 如請求項1所述的方法，其中在所述啟用所述第一實體輸入裝置的步驟之後，所述方法還包括： 禁用手勢識別。
  10. 一種電腦可讀儲存媒體，記錄將由頭戴式顯示器（HMD）載入的可執行電腦程式，以執行以下步驟： 提供視覺內容，其中第一實體輸入裝置在所述視覺內容中是可見的； 判斷特定物件與所述第一實體輸入裝置之間的第一特定距離是否小於第一閾值； 反應於判定所述第一特定距離小於所述第一閾值，啟用所述第一實體輸入裝置； 反應於判定所述第一特定距離不小於所述第一閾值，禁用所述第一實體輸入裝置。
  11. 一種頭戴式顯示器（HMD），包括： 顯示器； 儲存電路，儲存多個模組； 處理器，耦合到所述顯示器及所述儲存電路，存取所述模組以實行以下步驟： 控制所述顯示器提供視覺內容，其中第一實體輸入裝置在所述視覺內容中是可見的； 判斷特定物件與所述第一實體輸入裝置之間的第一特定距離是否小於第一閾值； 反應於判定所述第一特定距離小於所述第一閾值，啟用所述第一實體輸入裝置； 反應於判定所述第一特定距離不小於所述第一閾值，禁用所述第一實體輸入裝置。
  12. 如請求項11所述的頭戴式顯示器，其中所述第一實體輸入裝置配對於所述頭戴式顯示器，並且所述處理器經配置以： 通過由內向外追蹤機制獲得對應於所述特定物件的特定三維物件及對應於所述第一實體輸入裝置的第一三維物件； 將所述特定三維物件與所述第一三維物件之間的第一距離定義為所述第一特定距離，並且判斷所述第一距離是否小於所述第一閾值。
  13. 如請求項11所述的頭戴式顯示器，其中所述第一實體輸入裝置配對於所述頭戴式顯示器並且設置有第一接近感測器，所述頭戴式顯示器與所述第一接近感測器連接，並且所述處理經配置以： 使用所述第一接近感測器來偵測所述第一接近感測器與接近物件之間的第二距離； 將所述第二距離定義為所述特定物件與所述第一實體輸入裝置之間的所述第一特定距離，並判斷所述第二距離是否小於所述第一閾值。
  14. 如請求項11所述的頭戴式顯示器，其中所述頭戴式顯示器配對於所述第一實體輸入裝置並連接到第二接近感測器，並且所述處理器經配置以： 對所述視覺內容實行影像識別，以識別所述視覺內容中對應於所述特定物件的特定二維物件及對應於所述第一實體輸入裝置的第一二維物件； 反應於判定所述特定二維物件與所述第一二維物件之間的第三距離小於特定閾值，使用所述第二接近感測器來偵測所述第二接近感測器與接近物件之間的第四距離； 將所述第四距離定義為所述特定物件與所述第一實體輸入裝置之間的所述第一特定距離，並判斷所述第四距離是否小於所述第一閾值。
  15. 如請求項14所述的頭戴式顯示器，其中所述第二接近感測器穿戴在所述特定物件上。
  16. 如請求項11所述的頭戴式顯示器，其中所述頭戴式顯示器配對於第二實體輸入裝置，所述第二實體輸入裝置在所述視覺內容中是可見的，並且所述處理器還經配置以： 判斷所述特定物件與所述第二實體輸入裝置之間的第二特定距離是否小於第二閾值； 反應於判定所述第二特定距離小於所述第二閾值，啟用所述第二實體輸入裝置； 反應於判定所述第二特定距離不小於所述第二閾值，禁用所述第二實體輸入裝置。
  17. 如請求項11所述的頭戴式顯示器，其中所述視覺內容是混合現實（MR）內容。
  18. 如請求項11所述的頭戴式顯示器，其中所述特定物件是手，並且反應於禁用所述第一實體輸入裝置，所述處理器還經配置以： 對所述特定物件實行手勢識別。
  19. 如請求項11所述的頭戴式顯示器，其中在啟用所述第一實體輸入裝置後，所述處理器還經配置以禁用手勢識別。
  20. 如請求項11所述的頭戴式顯示器，其中所述特定物件是手。
TW109132512A 2020-08-04 2020-09-21 切換輸入裝置的方法、頭戴式顯示器及電腦可讀儲存媒體 TWI761960B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/984,164 2020-08-04
US16/984,164 US11249314B1 (en) 2020-08-04 2020-08-04 Method for switching input devices, head-mounted display and computer readable storage medium

Publications (2)

Publication Number Publication Date
TW202207009A TW202207009A (zh) 2022-02-16
TWI761960B true TWI761960B (zh) 2022-04-21

Family

ID=80113738

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109132512A TWI761960B (zh) 2020-08-04 2020-09-21 切換輸入裝置的方法、頭戴式顯示器及電腦可讀儲存媒體

Country Status (3)

Country Link
US (1) US11249314B1 (zh)
CN (1) CN114089827B (zh)
TW (1) TWI761960B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024090721A1 (ko) 2022-10-28 2024-05-02 삼성전자주식회사 외부 전자 장치 내 센서를 이용하여 시각적 객체를 표시하는 웨어러블 장치 및 그 방법
US20250306689A1 (en) * 2024-04-01 2025-10-02 Htc Corporation Head mounted display and tracking mode switching method

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104300950A (zh) * 2014-09-23 2015-01-21 青岛歌尔声学科技有限公司 一种集成复位功能的自动触发开机电路及hmd设备
US9195306B2 (en) * 2011-07-14 2015-11-24 Google Inc. Virtual window in head-mountable display
US20170060230A1 (en) * 2015-08-26 2017-03-02 Google Inc. Dynamic switching and merging of head, gesture and touch input in virtual reality
TW201819989A (zh) * 2016-08-22 2018-06-01 美商魔法飛躍股份有限公司 用於可穿戴顯示裝置的抖動方法及設備
TW201823966A (zh) * 2016-12-28 2018-07-01 英華達股份有限公司 電子設備的輸入方法及系統
TW201923630A (zh) * 2017-11-06 2019-06-16 香港商阿里巴巴集團服務有限公司 處理方法、裝置、設備和機器可讀媒體
TW201923528A (zh) * 2017-10-14 2019-06-16 美商高通公司 直接操縱多層使用者介面的方法
JP2019114049A (ja) * 2017-12-22 2019-07-11 セイコーエプソン株式会社 処理装置、表示システム、及びプログラム
TW202014885A (zh) * 2016-11-21 2020-04-16 大陸商北京嘀嘀無限科技發展有限公司 基於位置資訊執行動作的系統、方法和非暫時電腦可讀取媒體
TW202023272A (zh) * 2018-08-10 2020-06-16 英商複合光子有限公司 注視點顯示裝置、系統及方法
US20200225494A1 (en) * 2018-12-11 2020-07-16 Tobii Ab Method and device for switching input modalities of a displaying device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102377871B (zh) * 2010-08-24 2013-12-04 联想(北京)有限公司 一种信息处理设备及其控制方法
US9766806B2 (en) * 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
EP3332314B1 (en) * 2015-08-04 2024-04-10 Google LLC Input via context sensitive collisions of hands with objects in virtual reality
TWI695307B (zh) * 2016-04-29 2020-06-01 姚秉洋 螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體
US10488920B2 (en) * 2017-06-02 2019-11-26 Htc Corporation Immersive headset system and control method thereof
US10782793B2 (en) * 2017-08-10 2020-09-22 Google Llc Context-sensitive hand interaction
CN112424727A (zh) * 2018-05-22 2021-02-26 奇跃公司 用于可穿戴系统的跨模态输入融合
US10778953B2 (en) * 2018-12-10 2020-09-15 Universal City Studios Llc Dynamic convergence adjustment in augmented reality headsets
CN109756723B (zh) * 2018-12-14 2021-06-11 深圳前海达闼云端智能科技有限公司 获取影像的方法和装置，存储介质和电子设备
US10901495B2 (en) * 2019-01-10 2021-01-26 Microsofttechnology Licensing, Llc Techniques for multi-finger typing in mixed-reality

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9195306B2 (en) * 2011-07-14 2015-11-24 Google Inc. Virtual window in head-mountable display
CN104300950A (zh) * 2014-09-23 2015-01-21 青岛歌尔声学科技有限公司 一种集成复位功能的自动触发开机电路及hmd设备
US20170060230A1 (en) * 2015-08-26 2017-03-02 Google Inc. Dynamic switching and merging of head, gesture and touch input in virtual reality
US20190011979A1 (en) * 2015-08-26 2019-01-10 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
TW201819989A (zh) * 2016-08-22 2018-06-01 美商魔法飛躍股份有限公司 用於可穿戴顯示裝置的抖動方法及設備
TW202014885A (zh) * 2016-11-21 2020-04-16 大陸商北京嘀嘀無限科技發展有限公司 基於位置資訊執行動作的系統、方法和非暫時電腦可讀取媒體
TW201823966A (zh) * 2016-12-28 2018-07-01 英華達股份有限公司 電子設備的輸入方法及系統
TW201923528A (zh) * 2017-10-14 2019-06-16 美商高通公司 直接操縱多層使用者介面的方法
TW201923630A (zh) * 2017-11-06 2019-06-16 香港商阿里巴巴集團服務有限公司 處理方法、裝置、設備和機器可讀媒體
JP2019114049A (ja) * 2017-12-22 2019-07-11 セイコーエプソン株式会社 処理装置、表示システム、及びプログラム
TW202023272A (zh) * 2018-08-10 2020-06-16 英商複合光子有限公司 注視點顯示裝置、系統及方法
US20200225494A1 (en) * 2018-12-11 2020-07-16 Tobii Ab Method and device for switching input modalities of a displaying device

Also Published As

Publication number Publication date
TW202207009A (zh) 2022-02-16
CN114089827A (zh) 2022-02-25
CN114089827B (zh) 2023-08-25
US11249314B1 (en) 2022-02-15
US20220043264A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
JP7759157B2 (ja) 三次元環境内でオブジェクトを移動させるための方法
US12141414B2 (en) User interaction interpreter
AU2021349381B2 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
JP7674441B2 (ja) 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置
CN119065495A (zh) 模糊击中测试
US20200209978A1 (en) Displacement oriented interaction in computer-mediated reality
US20170329414A1 (en) Computing system utilizing coordinated two-hand command gestures
US11954245B2 (en) Displaying physical input devices as virtual objects
CN109891368A (zh) 活动对象在增强和/或虚拟现实环境中的切换
US20120192114A1 (en) Three-dimensional, multi-depth presentation of icons associated with a user interface
KR20140100547A (ko) 모바일 장치상의 풀 3d 상호작용
JP2023552659A (ja) インターフェース表示状態の調整方法及び装置、デバイス、記憶媒体
WO2014107182A1 (en) Multi-distance, multi-modal natural user interaction with computing devices
TWI761960B (zh) 切換輸入裝置的方法、頭戴式顯示器及電腦可讀儲存媒體
US20150081653A1 (en) Type free search assist
Zhu et al. Pinchlens: Applying spatial magnification and adaptive control-display gain for precise selection in virtual reality
CN112534390B (zh) 用于提供虚拟输入工具的电子装置及其方法
US20250390206A1 (en) Glasses, instruction obtaining method, and related device
US12468383B2 (en) Gaze and head pose interaction
JP6340420B2 (ja) テキスト選択箇所段落スナップ
TW202314449A (zh) 用於判定雙手手勢的方法、主機及電腦可讀儲存媒體
Yoshida et al. Repro3d: full-parallax 3d display using retro-reflective projection technology
CN118302737A (zh) 用于与电子设备交互的方法
JP2026016434A (ja) 三次元環境内でオブジェクトを移動させるための方法
US20210405852A1 (en) Visual interface for a computer system