[go: up one dir, main page]

TW201816554A - 基於虛擬實境的互動方法及裝置 - Google Patents

基於虛擬實境的互動方法及裝置 Download PDF

Info

Publication number
TW201816554A
TW201816554A TW106126427A TW106126427A TW201816554A TW 201816554 A TW201816554 A TW 201816554A TW 106126427 A TW106126427 A TW 106126427A TW 106126427 A TW106126427 A TW 106126427A TW 201816554 A TW201816554 A TW 201816554A
Authority
TW
Taiwan
Prior art keywords
virtual
area
displacement
target
virtual element
Prior art date
Application number
TW106126427A
Other languages
English (en)
Inventor
尹歡密
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201816554A publication Critical patent/TW201816554A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Developing Agents For Electrophotography (AREA)
  • Prostheses (AREA)

Abstract

本發明提供一種基於VR場景的互動方法，應用於虛擬實境客戶端，所述虛擬實境客戶端輸出的虛擬實境場景中包括預設的虛擬元件，所述方法包括：追蹤虛擬實境場景中的操作焦點的位移，並產生對應的位移軌跡；確定是否檢測到由所述位移軌跡經過所述虛擬元件所在位置區域所觸發的選中事件；如果檢測到所述選中事件，則選中所述虛擬元件，並觸發與所述虛擬元件對應的操作。本發明實現了使用者在佩戴虛擬實境終端進行沉浸體驗時，可以透過控制操作焦點的位移軌跡經過虛擬元件所在位置區域，來快捷的選中該虛擬元件。

Description

基於虛擬實境的互動方法及裝置
本發明涉及電腦應用領域，尤其涉及一種基於虛擬實境的互動方法及裝置。
VR(Virtual Reality，虛擬實境)技術，是一種綜合利用電腦圖形系統和各種控制介面，在電腦上產生可互動的三維互動環境，面向使用者提供沉浸感的技術。
為了提升使用者與虛擬實境場景之間的互動性，在虛擬實境場景中通常會面向使用者提供豐富的可操作的虛擬元件(比如虛擬按鍵)。使用者可以在虛擬場景中，透過選中場景中提供的這些可操作元素，來觸發相應的操作，與虛擬實境場景進行互動。
本發明提出一種基於虛擬實境的互動方法，應用於虛擬實境客戶端，所述虛擬實境客戶端輸出的虛擬實境場景中包括預設的虛擬元件，所述方法包括：追蹤虛擬實境場景中的操作焦點的位移，並產生對應的位移軌跡； 確定是否檢測到由所述位移軌跡經過所述虛擬元件所在位置區域所觸發的選中事件；如果檢測到所述選中事件，則選中所述虛擬元件，並觸發與所述虛擬元件對應的操作。
本發明還提出一種基於虛擬實境的互動裝置，應用於虛擬實境客戶端，所述虛擬實境客戶端輸出的虛擬實境場景中包括預設的虛擬元件，所述裝置包括：追蹤模組，追蹤虛擬實境場景中的操作焦點的位移，並產生對應的位移軌跡；確定模組，確定是否檢測到由所述位移軌跡經過所述虛擬元件所在位置區域所觸發的選中事件；選中模組，如果檢測到所述選中事件，則選中所述虛擬元件，並觸發與所述虛擬元件對應的操作。
本發明中，透過追蹤虛擬實境場景中的操作焦點的位移，產生對應的位移軌跡，並確定是否檢測到由所述位移軌跡經過所述虛擬元件所在位置區域所觸發的選中事件；如果檢測到所述選中事件，則選中所述虛擬元件，並觸發與所述虛擬元件對應的操作；實現了使用者在佩戴虛擬實境終端進行沉浸體驗時，可以透過控制操作焦點的位移軌跡經過虛擬元件所在位置區域，來觸發針對該虛擬元件的選中事件，從而可以在虛擬實境場景中更加快捷的選中虛擬元件，提升了在選中虛擬元件時的實時性，可以增強使用者在虛擬實境場景中的互動體驗。
101~103‧‧‧步驟
90‧‧‧基於VR場景的互動裝置
901‧‧‧追蹤模組
902‧‧‧確定模組
903‧‧‧選中模組
圖1是本發明一實施例示出的基於VR場景的互動方法的流程圖；圖2是本發明一實施例示出的一種在虛擬元件所在位置區域中劃分目標區域的示意圖；圖3是本發明一實施例示出的一種透過操作焦點的位移軌跡選中虛擬元件的示意圖；圖4是本發明一實施例示出的另一種透過操作焦點的位移軌跡選中虛擬元件的示意圖；圖5是本發明一實施例示出的另一種透過操作焦點的位移軌跡選中虛擬元件的示意圖；圖6是本發明一實施例示出的另一種透過操作焦點的位移軌跡選中虛擬元件的示意圖；圖7是本發明一實施例示出的一種透過頭部姿態控制操作焦點的位移軌跡選中虛擬互動按鈕的示意圖；圖8是本發明一實施例示出的另一種透過頭部姿態控制操作焦點的位移軌跡選中虛擬按鍵的示意圖；圖9是本發明一實施例提供的一種基於VR場景的互動裝置的邏輯方塊圖；圖10是本發明一實施例提供的承載所述一種基於VR場景的互動裝置的VR客戶端所涉及的硬體結構圖。
在相關技術中，使用者在佩戴VR終端進行沉浸體驗 時，如果需要選中VR場景中的虛擬元件(比如虛擬按鍵)，與VR場景執行互動，目前主要透過以下兩種方案來實現：在第一種方案中，使用者可以透過與VR終端搭配使用的外接設備，來選中VR場景中的虛擬元件。
其中，與VR終端搭配使用的外接設備，可以是手柄，操縱杆或者其它類似的手持控制設備。使用者在佩戴VR終端設備時，可以透過操縱外接設備，來控制虛擬實境場景畫面中的操作焦點(即畫面中的光標)的位置，將操作焦點移動到需要選中的元素上，然後透過click外接設備上提供的選中按鈕，在場景中選中該元素。
在第二種方案中，可以透過操作焦點在虛擬元件上“懸停超時”事件，來模擬click(點擊)事件，選中VR場景中的虛擬元件。
在這種方案中，VR終端設備可以不搭配外接設備。
在實現時，可以預先為VR場景中的虛擬元件設置一個超時時間長度(比如3秒)；當操作焦點懸停在某一個虛擬元件上的時間長度，達到該超時時間長度，則可以立即選中該目標元素。使用者可以透過手部或者頭部姿態控制視覺焦點的移動，將畫面中的操作焦點移動到需要選中的虛擬元件上，同時保持懸停。VR終端設備可以在後臺啟動定時器，開始計時，一旦懸停時間達到設定的超時時間長度，可以立即觸發選中該虛擬元件。
對於以上示出的第一種方案，使用者在需要選中VR 場景中的虛擬元件時，VR終端設備需要搭配外接設備，不僅操作上不便利，而且會增加硬體成本。
對於以上示出的第二種方案，雖然VR終端不需要搭配外接設備，但使用者在透過“懸停超時”選中VR場景中的虛擬元件時，需要等待懸停時間超時；對使用者而言需要等待一段時間後，才能選中這個元素，因而實時性較差，使用者體驗不好。
有鑑於此，本發明提出一種基於虛擬實境的互動方法，透過追蹤虛擬實境場景中的操作焦點的位移，產生對應的位移軌跡，並確定是否檢測到由所述位移軌跡經過所述虛擬元件所在位置區域所觸發的選中事件；如果檢測到所述選中事件，則選中所述虛擬元件，並觸發與所述虛擬元件對應的操作；實現了使用者在佩戴虛擬實境終端進行沉浸體驗時，可以透過控制操作焦點的位移軌跡經過虛擬元件所在位置區域，來觸發針對該虛擬元件的選中事件，從而可以在VR場景中更加快捷的選中虛擬元件，提升了在選中虛擬元件時的實時性，可以增強使用者在虛擬實境場景中的互動體驗。
下面透過具體實施例並結合具體的應用場景對本發明進行描述。
請參考圖1，圖1是本發明一實施例提供的一種基於虛擬實境的互動方法，應用於VR客戶端，所述VR客戶端輸出的VR場景中包括預設的虛擬元件，所述方法執行以下步驟： 步驟101，追蹤虛擬實境場景中的操作焦點的位移，並產生對應的位移軌跡；步驟102，確定是否檢測到由所述位移軌跡經過所述虛擬元件所在位置區域所觸發的選中事件；步驟103，如果檢測到所述選中事件，則選中所述虛擬元件，並觸發與所述虛擬元件對應的操作。
上述VR客戶端，是指基於VR技術開發的可以面向使用者提供三維沉浸體驗的客戶端軟體；比如，基於VR的APP；上述VR客戶端，可以將開發人員開發出的虛擬實境場景模型，透過與VR客戶端對接的VR終端，向使用者輸出，從而使得佩戴VR終端的使用者，能夠在虛擬實境場景中得到三維沉浸體驗。
上述虛擬元件，可以是指在VR場景中輸出的虛擬互動元件；比如，可以是用於在VR場景中執行資訊輸入的虛擬按鍵，也可以是用於在VR場景中觸發相應操作的虛擬互動按鈕；例如，在實際應用中，假設使用者需要在VR場景中完成快捷支付業務時，上述虛擬元件可以是VR場景中的一個預設的支付按鈕；使用者可以透過在VR場景中針對虛擬元件執行特定的互動操作，選中該支付按鈕，來觸發相應的快捷支付業務。
當使用者觸發了支付業務後，還可以在VR場景中輸出一個三維輸入介面，此時上述虛擬元件可以是該三維輸入介面中包含的虛擬按鍵，使用者可以透過在該三維輸入 介面中執行特定的互動操作，選中該三維輸入介面中的虛擬按鍵，來完成支付密碼的輸入完成支付。
上述虛擬元件所在位置區域，是指上述虛擬元件在VR場景中對應的有效互動區域；即使用者需要在該虛擬元件的有效互動區域中執行特定的互動操作，才能與該虛擬元件進行互動；在實際應用中，該有效互動區域通常與該虛擬元件實際的面積區域相對應；例如，假設上述虛擬元件為外形為長方形的一虛擬按鈕，此時該長方形在VR場景中對應的面積區域，即為該虛擬按鈕的有效互動區域，使用者可以在該長方體對應的面積區域中，執行特定的互動操作，來與該虛擬按鈕進行互動。
在本例中，為了使使用者在在佩戴VR終端進行沉浸體驗時，能夠在VR場景中快捷的選中VR場景中輸出的虛擬元件，使用者在VR終端進行沉浸體驗時，可以透過控制操作焦點的位移軌跡經過上述虛擬元件所在位置區域，來觸發針對該虛擬元件的選中事件，從而可以在VR場景中更加快捷的選中虛擬元件，提升在選中虛擬元件時的實時性。
以下透過VR場景模型創建，操作焦點的位移追蹤，虛擬元件的選中三個階段，對本發明的技術方案進行詳細描述。
1)VR場景模型創建
在本例中，開發人員可以透過特定的建模工具，完成VR場景模型的創建。上述建模工具，在本例中不進行特別的限定；例如，開發人員可以使用諸如Unity、3dsMax、Photoshop等較為成熟的建模工具完成VR場景模型的創建。
其中，開發人員在透過建模工具創建VR場景模型的過程中，該VR場景模型，以及該VR場景的紋理貼圖，都可來源於現實生活中的真實場景；例如，可以事先透過攝像，採集材質紋理貼圖，和真實場景的平面模型，然後透過Photoshop或3dmax等建模工具，來處理紋理和構建真實場景的三維模型，然後導入到unity3D平臺(簡稱U3D)，在U3D平臺中透過音效、圖形介面、外掛程式、燈光等多個維度進行畫面渲染，然後編寫互動代碼，最後完成VR場景模型的建模。
在本例中，開發人員除了需要創建VR場景模型以外，為了使使用者能夠在VR場景中更好的完成互動，還可以透過上述建模工具，在上述VR場景模型中，創建若干虛擬元件。
其中，在示出的一種實施方式中，創建的上述虛擬元件，可以包括用於在VR場景中執行資訊輸入的虛擬按鍵。
在這種情況下，上述虛擬元件可以是VR場景中輸出的三維輸入介面中的虛擬按鍵。此時，開發人員除了需要創建VR場景模型以外，還可以透過上述建模工具，在上 述VR場景模型中，創建一個用於在VR場景中進行資訊輸入的三維輸入介面，在該三維輸入介面中可以包括若干用於進行資訊輸入的虛擬按鍵。
例如，上述三維輸入介面，可以是一個三維虛擬鍵盤，上述虛擬元件則可以是該三維虛擬鍵盤中包含的若干虛擬按鍵，使用者在佩戴VR終端進行沉浸體驗時，可以透過這些三維虛擬鍵盤，在VR場景中快速的完成諸如密碼等資訊的輸入。
其中，上述三維輸入介面的具體形態，在本例中不進行特別限定；在實際應用中，可以基於使用者體驗進行個性化定制。
在示出的另一種實施方式中，創建的上述虛擬元件，也可以包括用於在VR場景中觸發相應操作的虛擬互動按鈕。
在這種情況下，開發人員除了需要創建VR場景模型以外，還可以透過上述建模工具，在上述VR場景模型中，創建若干虛擬互動按鈕。使用者在佩戴VR終端在VR場景中進行沉浸體驗時，可以透過特定的互動操作來選中該虛擬互動按鈕，來觸發相應的操作；例如，在基於VR場景的快捷支付場景中，上述虛擬互動按鈕可以是一個支付按鈕，使用者可以在VR場景中透過特定的互動操作，來選中該支付按鈕，進而觸發在VR場景中執行快捷支付的流程。
在本例中，當開發人員完成VR場景模型，以及上述 虛擬元件的建模後，上述VR客戶端可以將上述VR場景模型以及上述虛擬元件，透過與上述VR客戶端對接的VR終端(比如VR頭盔)，向使用者輸出。
2)操作焦點的位移追蹤
在本例中，在VR客戶端輸出的VR場景中，可以預設在使用者視野中顯示一個操作焦點(也稱之為視覺焦點)。使用者在佩戴VR終端在VR場景中進行沉浸體驗的過程中，可以透過頭部或者手部的姿態來控制VR場景中的操作焦點的位移，與VR場景進行互動。
VR客戶端可以透過VR終端搭載的感測硬體，來追蹤使用者的頭部或者手部的位移，由感測硬體來實時的採集使用者在佩戴VR終端時頭部或者手部的位移資料。
其中，上述感測硬體，在實際應用中可以包括角速度感測器，加速度感測器，重力感測器，等等。
上述感測硬體在採集到使用者的頭部或者手部的位移資料後，可以實時的將採集到的位移資料回傳給VR客戶端，VR客戶端在接收到感測硬體回傳的位移資料後，可以根據該位移資料，來控制VR場景中輸出的操作焦點同步的進行位移。
例如，在實現時，VR終端可以基於接收到的位移資料，計算使用者的頭部和手部相對於VR場景中的X軸和Y軸的偏移量，然後基於計算出的偏移量來實時的控制操作焦點的位移。
在本例中，除了可以透過VR終端搭載的感測硬體，追蹤使用者的頭部或者手部的位移，控制操作焦點同步的進行位移以外，VR客戶端還可以在控制操作焦點與使用者的頭部和手部同步的進行位移的過程中，實時的追蹤該操作焦點的位移，並實時的記錄操作焦點在VR場景中的座標位置，然後根據實時記錄的該操作焦點的座標位置，來產生操作焦點在VR場景中的位移軌跡。
3)虛擬元件的選中
在本例中，使用者可以透過控制該操作焦點的位移軌跡經過VR場景中任一虛擬元件所在位置區域，來觸發選中該虛擬元件。而VR客戶端在產生操作焦點在VR場景中的位移軌跡後，可以實時檢測該位移軌跡是否經過VR場景中輸出的虛擬元件所在的位置區域。當檢測到操作焦點的位移軌跡經過VR場景中輸出的任一虛擬元件所在的位置區域時，可以立即觸發針對該虛擬元件的選中事件，進而選中該虛擬元件。
其中，操作焦點的位移軌跡經過任一虛擬元件所在的位置區域，是指該操作焦點的位移軌跡，與該虛擬元件所在的位置區域，至少存在兩個交點；例如，在示出的一種實現方式中，當上述虛擬元件為VR場景中輸出的一形狀為長方形的虛擬互動按鈕時，此時使用者控制操作焦點的位移軌跡，在任意方向上穿過該虛擬互動按鈕所在的長方形區域，並形成兩個焦點，則可 以判定該操作焦點的位移軌跡經過該虛擬互動按鈕。
在本例中，使用者可以透過控制操作焦點的位移軌跡，經過VR場景中任一虛擬元件所在的位置區域，來觸發選中該虛擬元件。
其中，使用者在透過控制操作焦點的位移軌跡，經過VR場景中任一虛擬元件所在的位置區域，來觸發選中該虛擬元件的具體方式，可以包括如下示出的兩種實現方式：在示出的一種實施方式中，為了避免使用者在VR場景中進行互動時，由於操作焦點的位移軌跡經過虛擬元件所在的位置區域而造成的誤操作，確保操作焦點在VR場景中的停留精準度，VR場景輸出的各虛擬元件所在的位置區域中，可以預先劃分出一個目標區域。
其中，該目標區域可以是虛擬元件所在的位置區域的子集，用於判定使用者控制操作焦點的位移軌跡是否有效的經過該虛擬元件所在的位置區域。
在這種情況下，使用者在透過控制操作焦點的位移軌跡經過虛擬元件所在位置區域，來觸發選中該虛擬元件時，需要控制操作焦點的位移軌跡，經過該虛擬元件所在位置區域中劃分出的上述目標區域；即，使用者只有在控制操作焦點的位移軌跡經過上述目標區域時，本次透過操作焦點的位移軌跡經過上述虛擬元件所在的位置區域的操作，才會被判定為有效。
VR客戶端可以在系統中記錄VR場景上述目標區域的 位置，當VR客戶端產生上述操作焦點的位移軌跡後，如果該操作焦點的位移軌跡經過了VR場景中輸出的任一虛擬元件所在的位置區域中，預先劃分出的上述目標區域時，此時可以判定該位移軌跡經過該虛擬元件所在位置區域的操作有效，並立即觸發針對該虛擬元件的選中事件。 VR客戶端在確定檢測到針對該虛擬元件的選中事件後，可以響應於該選中事件，立即選中該虛擬元件，並觸發與該虛擬元件對應的操作。
其中，需要說明的是，上述目標區域的形狀、面積大小、在上述虛擬元件所在位置區域中的相對位置，在本例中不進行特別限定，在實際應用中，本領域技術人員可以基於實際的需求進行自主設備；例如，請參見圖2，假設上述虛擬元件為VR場景中輸出的一長方形的虛擬按鈕，可以將該虛擬按鈕所在的長方形的位置區域中，靠近中間的狹長區域(即圖2中示出的①②之間的狹長區域)，劃分為上述目標區域。只有操作焦點的位移軌跡完全經過該目標區域，本次透過操作焦點的位移軌跡經過上述虛擬按鈕所在的位置區域的操作，才會被判定為有效。
可見，透過在虛擬元件所在的位置區域中劃分目標區域，可以避免由於使用者誤操作，使得操作焦點的位移軌跡，僅部分經過該虛擬元件所在的位置區域，而錯誤的觸發了針對該虛擬元件的選中操作。
在本例中，為了進一步提升使用者透過控制操作焦點 的位移軌跡，來選中VR場景中輸出的虛擬元件的精準度，降低發生誤操作的機率，在實際應用中，除了以上示出的只有操作焦點的位移軌跡，經過上述虛擬元件所在位置區域中預先劃分出的目標區域時，才會觸發針對該虛擬元件的選中事件的基礎上，可以進一步引入操作焦點的位移軌跡需要多次經過上述目標區域，才會有效觸發針對該虛擬元件的機制。
在這種情況下，當VR客戶端產生上述操作焦點的位移軌跡後，如果該操作焦點的位移軌跡在第一方向上，經過了VR場景中輸出的任一虛擬元件所在的位置區域中，預先劃分出的上述目標區域時，此時可以不立即觸發針對該虛擬元件的選中事件；當該操作焦點的位移軌跡在第二方向上，再次經過了該虛擬元件所在的位置區域中，預先劃分出的上述目標區域時，再觸發針對該虛擬元件的選中事件。
其中，在示出的一種優選方式中，上述第一方向和第二方向可以是兩個完全相對的方向；例如，請參見圖3，假設上述虛擬元件為VR場景中輸出的虛擬鍵盤中的虛擬按鍵，圖3中示出的①②之間的狹長區域，為預先在各虛擬按鍵所在的位置區域中劃分出的目標區域。假設使用者在VR場景中進行互動的過程中，需要選中圖3中示出的虛擬按鍵A，那麼使用者可以透過控制操作焦點的位移軌跡，從垂直於上述目標區域的方向上，向下經過上述目標區域；當完全經過上述目標區域 後，再從垂直與上述目標區域的方向上，向上經過上述目標區域，來選中該虛擬按鍵A。透過這種方式，使用者可以透過頭部或者手部姿態，控制操作焦點在虛擬按鍵A上劃過一個‘√’來選中該虛擬按鍵A，在系統中輸入一個字元A。
當然，在實際應用中，上述第一方向和第二方向也可以是相同的方向。
例如，請參見圖4，假設上述虛擬元件為VR場景中輸出的虛擬鍵盤中的虛擬按鍵，圖4中示出的①②之間的狹長區域，為預先在各虛擬按鍵所在的位置區域中劃分出的目標區域。假設使用者在VR場景中進行互動的過程中，需要選中圖4中示出的虛擬按鍵A，那麼使用者可以透過控制操作焦點的位移軌跡，從垂直於上述目標區域的方向上，向下經過上述目標區域；當完全經過上述目標區域後，使用者可以將上述操作焦點，重新定位到上述目標區域的上方，然後再從垂直與上述目標區域的方向上，再次向下經過上述目標區域，來選中該虛擬按鍵A，在系統中輸入一個字元A。
其中，為了提升使用者與VR場景之間的互動效率，進一步降低誤操作的機率，在實際應用中，還可以在以上示出的操作焦點的位移軌跡需要多次經過上述目標區域，才會有效觸發針對該虛擬元件的機制的基礎上，進一步引入一個使用者在透過控制操作焦點的位移軌跡，多次經過上述目標區域的有效操作時間長度，只有使用者在有效操 作時間長度之內，完成了控制操作焦點的位移軌跡多次經過上述目標區域的操作，才能夠成功觸發針對該虛擬元件的選中事件。
在這種情況下，VR客戶端可以在後臺啟用一個計時器。當使用者透過控制操作焦點的位移軌跡，進入任一虛擬元件所在的位置區域時，可以立即開始計時，當VR客戶端檢測到該位移軌跡在第一方向上經過所述目標區域，並且在第二方向上再次經過所述目標區域時，可以停止計時，並讀取該計時器的計時時間長度，將該計時時間長度與預設的上述有效操作時間長度進行比較；如果該計時時間長度小於或者等於該預設的有效操作時間長度(比如2秒)，則可以立即觸發針對該虛擬元件的選中事件；反之，如果該計時時間長度大於該預設的有效操作時間長度，此時很可能是使用者的無意操作，在這種情況下，VR客戶端可以不做任何響應。
可見，透過這種方式，使得使用者只有在預設時間長度內，控制操作焦點的位移軌跡按照預設的軌跡經過虛擬元件所在的位置區域，才能夠成功的觸發針對該虛擬元件的選中事件，從而即可以提升使用者與VR場景之間的互動效率，更快捷的選中該虛擬元件，又可以降低使用者誤操作的機率。
在示出的另外一種實施方式中，除了以上示出的透過控制操作焦點的位移軌跡經過虛擬元件所在位置區域，來觸發選中該虛擬元件以外，在實際應用中，也可以基於操 作焦點的位移軌跡經過上述虛擬元件所在的位置區域時，所形成的子區域的面積是否達到預設占比，來觸發選中該虛擬元件。
在一種實現方式中，在虛擬元件所在位置區域中，仍然可以預先劃分上述目標區域。在這種情況下，使用者可以透過控制操作焦點的位移軌跡，在經過該虛擬元件所在位置區域中的該目標區域時，形成一個子區域；其中，該子區域的形狀不進行特別限定；當形成該子區域後，VR客戶端可以實時計算該子區域的面積，對應於該目標區域的面積的目標比例，然後判斷計算出的該目標比例是否達到預設閾值；如果該目標比例達到該預設閾值，此時可以立即觸發針對該虛擬元件的選中事件；當VR客戶端確定檢測到觸發的該選中事件後，可以立即選中該虛擬元件。當然，如果該目標比例未達到該預設閾值，此時VR客戶端可以不進行任何響應。
例如，請參見圖5，假設上述虛擬元件為VR場景中輸出的虛擬鍵盤中的虛擬按鍵，圖5中示出的圓形區域①為預先在上述虛擬按鍵A所在的位置區域中劃分出的目標區域。假設使用者在VR場景中進行互動的過程中，需要選中圖5中示出的虛擬按鍵A，那麼使用者可以透過控制操作焦點的位移軌跡，在經過上述虛擬按鍵A所在的位置區域時，在圖5示出的圓形區域①中，畫出一個圓形子區域②。此時VR客戶端可以在後臺計算該圓形區域①和圓形 子區域②的面積，並計算圓形子區域②的面積，對應於圓形區域①的面積的比例；如果VR客戶端計算出圓形子區域②的面積，對應於圓形區域①的面積的比例達到預設閾值，可以立即觸發針對該虛擬按鍵A的選中事件，選中該虛擬按鍵A，在系統中輸入一個字元A。
當然，在實際應用中，當使用者按照以上示出的透過操作焦點的位移軌跡在經過虛擬元件所在的位置區域時，所形成的子區域的面積占比，來觸發選中虛擬元件時，在虛擬元件所在位置區域中，也可以不劃分出上述目標區域。
在這種情況下，使用者可以透過控制操作焦點的位移軌跡，在經過該虛擬元件所在位置區域時形成一個子區域；當形成該子區域後，VR客戶端可以實時計算該子區域的面積，對應於該虛擬元件所在位置區域的總面積的目標比例，然後判斷計算出的該目標比例是否達到預設閾值；如果該目標比例達到該預設閾值，此時可以立即觸發針對該虛擬元件的選中事件。
例如，請參見圖6，假設上述虛擬元件為VR場景中輸出的虛擬鍵盤中的虛擬按鍵。假設使用者在VR場景中進行互動的過程中，需要選中圖5中示出的虛擬按鍵A，那麼使用者可以透過控制操作焦點的位移軌跡，在經過上述虛擬按鍵A所在的位置區域時，在圖5示出的虛擬按鍵A所在的位置區域①中，畫出一個圓形子區域②。此時VR客戶端可以在後臺計算該虛擬元件所在位置區域①的總面積和 該圓形子區域②的面積，並計算圓形子區域②的面積，對應於該虛擬元件所在位置區域①的總面積的比例；如果VR客戶端計算出圓形子區域①的面積，對應於該虛擬元件所在位置區域的總面積的比例達到預設閾值，可以立即觸發針對該虛擬按鍵A的選中事件，選中該虛擬按鍵A，在系統中輸入一個字元A。
以上分別詳細地描述了，使用者透過控制操作焦點的位移軌跡，經過VR場景中任一虛擬元件所在的位置區域，來觸發選中該虛擬元件；以及，使用者透過控制操作焦點的位移軌跡，經過VR場景中任一虛擬元件所在的位置區域時所形成的子區域的面積占比，來觸發選中該虛擬元件的具體實現過程。需要強調的是，以上示出的觸發選中虛擬元件的實施方式，在實際應用中可以進行相互結合，具體實現過程在本例中不再進行詳述。
另外，以上詳細描述了使用者透過控制操作焦點的位移軌跡經過虛擬元件所在位置區域，來觸發針對該虛擬元件的選中事件的詳細實現過程。在實際應用中，除了可以透過控制操作焦點的位移軌跡經過虛擬元件所在位置區域，來觸發針對該虛擬元件的選中操作以外，也可以支持透過控制操作焦點的位移軌跡經過虛擬元件所在位置區域，來觸發針對該虛擬元件的其它形式的操作；例如，針對該虛擬元件的取消操作、暫停操作、下一步操作、上一步操作，等等；在本例中不再進行一一列舉。
以下結合使用者在佩戴頭戴式VR終端進行VR購物體 驗時，在VR場景中輸入支付密碼完成商品支付的應用場景為例，對本發明的技術方案進行描述。
當然，需要說明的是，上述示出的應用場景僅為示例性的，並不用於限定；顯然，在實際應用中本發明的技術方案，也可以應用在其它類似的基於VR場景的應用場景。
在本例中，使用者在佩戴VR終端進行VR購物體驗時，在VR場景中可以向使用者呈現若干可供選擇的商品，使用者可以透過查看VR場景中提供的商品列表，來選擇自己喜歡的商品進行購買。
上述VR場景中除了可以向使用者提供商品列表外，在每一個商品對應的位置上還可以提供一個“購買/支付”的虛擬互動按鈕(即上述虛擬元件)。
請參見圖7，當使用者在上述商品列表中，選擇了一件滿意的商品後，使用者可以透過頭部姿態控制操作焦點的位移軌跡，在第一方向(圖7中示出的為向下)上經過該“購買/支付”按鈕所在的位置區域中預先劃分出的目標區域(圖7中示出的①②之間的狹長區域)，然後在與第一方向相對的第二方向(圖7中示出的為向上)，再次經過該目標區域，來選中並觸發該“購買/支付”按鈕。即，使用者可以透過頭部姿態控制操作焦點，在該“購買/支付”按鈕所在的位置區域上劃分出的上述目標區域上，劃出一個‘√’來選中並觸發該虛擬互動按鈕。
請參見圖8，當該“購買/支付”按鈕被觸發後，VR客 戶端可以在VR場景中輸出一個“三維虛擬鍵盤”。此時使用者可以採用相同的方式，透過頭部姿態控制操作焦點的位移軌跡，來選中該“三維虛擬鍵盤”中相應的虛擬按鍵。當該“虛擬鍵盤”中相應的虛擬按鍵被選中後，VR客戶端可以在後臺獲取該被選中的虛擬按鍵所指示的字元，完成字元的輸入。
以此類推，使用者可以透過重複以上操作，按順序選中上述“虛擬鍵盤”中的多個“虛擬按鍵”，來完成支付密碼的輸入。當支付密碼輸入完成，並且輸入的支付密碼由相應的支付伺服器驗證通過後，此時商品購買完成。
透過以上實施例可知，本發明透過追蹤虛擬實境場景中的操作焦點的位移，產生對應的位移軌跡，並確定是否檢測到由所述位移軌跡經過所述虛擬元件所在位置區域所觸發的選中事件；如果檢測到所述選中事件，則選中所述虛擬元件，並觸發與所述虛擬元件對應的操作；實現了使用者在佩戴虛擬實境終端進行沉浸體驗時，可以透過控制操作焦點的位移軌跡經過虛擬元件所在位置區域，來觸發針對該虛擬元件的選中事件，從而可以在虛擬實境場景中更加快捷的選中虛擬元件，提升了在選中虛擬元件時的實時性，可以增強使用者在虛擬實境場景中的互動體驗。
與上述方法實施例相對應，本發明還提供了裝置的實施例。
請參見圖9，本發明提出一種基於VR場景的互動裝置90，應用於虛擬實境客戶端，所述虛擬實境客戶端輸出的 虛擬實境場景中包括預設的虛擬元件。
請參見圖10，為承載所述基於VR場景的互動裝置90的虛擬實境客戶端所涉及的硬體架構中，通常包括CPU、記憶體、非易失性記憶體、網路介面以及內部匯流排等；以軟體實現為例，所述基於VR場景的互動裝置90通常可以理解為加載在記憶體中的電腦程式，透過CPU運行之後形成的軟硬體相結合的邏輯裝置，所述裝置90包括：追蹤模組901，追蹤虛擬實境場景中的操作焦點的位移，並產生對應的位移軌跡；確定模組902，確定是否檢測到由所述位移軌跡經過所述虛擬元件所在位置區域所觸發的選中事件；選中模組903，如果檢測到所述選中事件，則選中所述虛擬元件，並觸發與所述虛擬元件對應的操作。
在本例中，所述追蹤模組901：透過預設的感測硬體追蹤使用者的頭部或者手部位移；獲取所述感測硬體採集到的所述使用者的頭部或者手部的位移資料；基於所述頭部或者手部的位移資料控制所述操作焦點在所述虛擬實境場景中同步的進行位移。
在本例中，所述虛擬元件所在位置區域中包括預設的目標區域；所述確定模組902：判斷所述位移軌跡是否經過所述虛擬元件所在位置區 域中預設的所述目標區域；如果所述位移軌跡經過所述目標區域，則確定檢測到由所述位移軌跡經過所述虛擬元件所在位置區域所觸發的選中事件。
在本例中，所述確定模組902進一步：如果所述位移軌跡在第一方向上經過所述目標區域，並且在第二方向上再次經過所述目標區域時，則確定檢測到所述選中事件。
在本例中，所述確定模組進一步：如果所述位移軌跡在預設時間長度內，在第一方向上經過所述目標區域，並且在第二方向上再次經過所述目標區域時，則確定檢測到所述選中事件。
在本例中，所述確定模組902：計算所述位移軌跡經過所述虛擬元件所在位置區域所形成的子區域的面積，對應於所述虛擬元件所在位置區域的總面積的目標比例；或者，當所述虛擬元件所在位置區域中包括預設的目標區域時，計算所述位移軌跡經過所述目標區域所形成的子區域的面積，對應於所述目標區域的面積的目標比例；判斷所述目標比例是否達到預設閾值；如果所述目標比例達到所述預設閾值，則確定檢測到由所述位移軌跡經過所述虛擬元件所在位置區域所觸發的選中事件。
本領域技術人員在考慮說明書及實踐這裡公開的發明後，將容易想到本發明的其它實施方案。本發明旨在涵蓋本發明的任何變型、用途或者適應性變化，這些變型、用 途或者適應性變化遵循本發明的一般性原理並包括本發明未公開的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的，本發明的真正範圍和精神由下面的申請專利範圍指出。
應當理解的是，本發明並不局限於上面已經描述並在圖式中示出的精確結構，並且可以在不脫離其範圍進行各種修改和改變。本發明的範圍僅由所附的申請專利範圍來限制。
以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明保護的範圍之內。

Claims (13)

  1. 一種基於虛擬實境的互動方法，其特徵在於，應用於虛擬實境客戶端，該虛擬實境客戶端輸出的虛擬實境場景中包括預設的虛擬元件，該方法包括：追蹤虛擬實境場景中的操作焦點的位移，並產生對應的位移軌跡；確定是否檢測到由該位移軌跡經過該虛擬元件所在位置區域所觸發的選中事件；如果檢測到該選中事件，則選中該虛擬元件，並觸發與該虛擬元件對應的操作。
  2. 根據申請專利範圍第1項所述的方法，其中，還包括：透過預設的感測硬體追蹤使用者的頭部或者手部位移；獲取該感測硬體採集到的該使用者的頭部或者手部的位移資料；基於該頭部或者手部的位移資料控制該操作焦點在該虛擬實境場景中同步的進行位移。
  3. 根據申請專利範圍第1項所述的方法，其中，該虛擬元件所在位置區域中包括預設的目標區域；該確定是否檢測到由該位移軌跡經過該虛擬元件所在 位置區域所觸發的選中事件，包括：判斷該位移軌跡是否經過該虛擬元件所在位置區域中預設的該目標區域；如果該位移軌跡經過該目標區域，則確定檢測到由該位移軌跡經過該虛擬元件所在位置區域所觸發的選中事件。
  4. 根據申請專利範圍第3項所述的方法，其中，還包括：如果該位移軌跡在第一方向上經過該目標區域，並且在第二方向上再次經過該目標區域時，則確定檢測到該選中事件。
  5. 根據申請專利範圍第4項所述的方法，其中，還包括：如果該位移軌跡在預設時間長度內，在第一方向上經過該目標區域，並且在第二方向上再次經過該目標區域時，則確定檢測到該選中事件。
  6. 根據申請專利範圍第4或5項所述的方法，其中，該第一方向和該第二方向不同。
  7. 根據申請專利範圍第1項所述的方法，其中，該確定是否檢測到由該位移軌跡經過該虛擬元件所在位置區域所觸發的選中事件，包括： 計算該位移軌跡經過該虛擬元件所在位置區域所形成的子區域的面積，對應於該虛擬元件所在位置區域的總面積的目標比例；或者，當該虛擬元件所在位置區域中包括預設的目標區域時，計算該位移軌跡經過該目標區域所形成的子區域的面積，對應於該目標區域的面積的目標比例；判斷該目標比例是否達到預設閾值；如果該目標比例達到該預設閾值，則確定檢測到由該位移軌跡經過該虛擬元件所在位置區域所觸發的選中事件。
  8. 一種基於虛擬實境的互動裝置，其特徵在於，應用於虛擬實境客戶端，該虛擬實境客戶端輸出的虛擬實境場景中包括預設的虛擬元件，該裝置包括：追蹤模組，追蹤虛擬實境場景中的操作焦點的位移，並產生對應的位移軌跡；確定模組，確定是否檢測到由該位移軌跡經過該虛擬元件所在位置區域所觸發的選中事件；選中模組，如果檢測到該選中事件，則選中該虛擬元件，並觸發與該虛擬元件對應的操作。
  9. 根據申請專利範圍第8項所述的裝置，其中，該追蹤模組：透過預設的感測硬體追蹤使用者的頭部或者手部位 移；獲取該感測硬體採集到的該使用者的頭部或者手部的位移資料；基於該頭部或者手部的位移資料控制該操作焦點在該虛擬實境場景中同步的進行位移。
  10. 根據申請專利範圍第8項所述的裝置，其中，該虛擬元件所在位置區域中包括預設的目標區域；該確定模組：判斷該位移軌跡是否經過該虛擬元件所在位置區域中預設的該目標區域；如果該位移軌跡經過該目標區域，則確定檢測到由該位移軌跡經過該虛擬元件所在位置區域所觸發的選中事件。
  11. 根據申請專利範圍第10項所述的裝置，其中，該確定模組進一步：如果該位移軌跡在第一方向上經過該目標區域，並且在第二方向上再次經過該目標區域時，則確定檢測到該選中事件。
  12. 根據申請專利範圍第11項所述的方法，其中，該確定模組進一步：如果該位移軌跡在預設時間長度內，在第一方向上經過該目標區域，並且在第二方向上再次經過該目標區域 時，則確定檢測到該選中事件。
  13. 根據申請專利範圍第8項所述的裝置，其中，該確定模組：計算該位移軌跡經過該虛擬元件所在位置區域所形成的子區域的面積，對應於該虛擬元件所在位置區域的總面積的目標比例；或者，當該虛擬元件所在位置區域中包括預設的目標區域時，計算該位移軌跡經過該目標區域所形成的子區域的面積，對應於該目標區域的面積的目標比例；判斷該目標比例是否達到預設閾值；如果該目標比例達到該預設閾值，則確定檢測到由該位移軌跡經過該虛擬元件所在位置區域所觸發的選中事件。
TW106126427A 2016-10-26 2017-08-04 基於虛擬實境的互動方法及裝置 TW201816554A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201610951000.9 2016-10-26
CN201610951000.9A CN107024981B (zh) 2016-10-26 2016-10-26 基于虚拟现实的交互方法及装置

Publications (1)

Publication Number Publication Date
TW201816554A true TW201816554A (zh) 2018-05-01

Family

ID=59524133

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106126427A TW201816554A (zh) 2016-10-26 2017-08-04 基於虛擬實境的互動方法及裝置

Country Status (10)

Country Link
US (2) US10509535B2 (zh)
EP (1) EP3533046B1 (zh)
JP (1) JP6980012B2 (zh)
KR (1) KR102278822B1 (zh)
CN (2) CN107024981B (zh)
MY (1) MY195722A (zh)
PH (1) PH12019500945A1 (zh)
SG (1) SG11201903551RA (zh)
TW (1) TW201816554A (zh)
WO (1) WO2018081418A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI764303B (zh) * 2020-08-20 2022-05-11 宏達國際電子股份有限公司 操作方法及電子系統

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107024981B (zh) 2016-10-26 2020-03-20 阿里巴巴集团控股有限公司 基于虚拟现实的交互方法及装置
US11184574B2 (en) 2017-07-17 2021-11-23 Facebook, Inc. Representing real-world objects with a virtual reality environment
CN107977083B (zh) * 2017-12-20 2021-07-23 北京小米移动软件有限公司 基于vr系统的操作执行方法及装置
CN108304127A (zh) * 2017-12-22 2018-07-20 阿里巴巴集团控股有限公司 一种信息输入的方法及装置
CN110196629A (zh) * 2018-02-27 2019-09-03 优酷网络技术（北京）有限公司 虚拟现实界面展示控制方法及装置
US11169613B2 (en) * 2018-05-30 2021-11-09 Atheer, Inc. Augmented reality task flow optimization systems
CN109407935A (zh) * 2018-09-14 2019-03-01 歌尔科技有限公司 一种虚拟现实显示控制方法、装置和系统
CN109302602A (zh) * 2018-10-11 2019-02-01 广州土圭垚信息科技有限公司 一种基于视焦点预测的自适应vr无线传输方法
CN109613975A (zh) * 2018-11-13 2019-04-12 宁波视睿迪光电有限公司 虚拟现实的操作方法及装置
US11334212B2 (en) 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
US10890983B2 (en) 2019-06-07 2021-01-12 Facebook Technologies, Llc Artificial reality system having a sliding menu
US11307647B2 (en) 2019-09-11 2022-04-19 Facebook Technologies, Llc Artificial reality triggered by physical object
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US10802600B1 (en) * 2019-09-20 2020-10-13 Facebook Technologies, Llc Virtual interactions at a distance
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
CN111028633A (zh) * 2019-12-16 2020-04-17 深圳供电局有限公司 基于虚拟现实的电网系统培训方法、装置和计算机设备
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
CN111522930A (zh) * 2020-04-22 2020-08-11 深圳创维－Rgb电子有限公司 一种场景减压数据处理方法、显示设备及存储介质
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
CN112068757B (zh) * 2020-08-03 2022-04-08 北京理工大学 一种用于虚拟现实的目标选择方法及系统
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11119570B1 (en) 2020-10-29 2021-09-14 XRSpace CO., LTD. Method and system of modifying position of cursor
CN113763567B (zh) * 2020-11-17 2024-11-15 北京沃东天骏信息技术有限公司 一种基于虚拟现实技术的数据展示方法和装置
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US12223104B2 (en) 2020-12-22 2025-02-11 Meta Platforms Technologies, Llc Partial passthrough in virtual reality
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US12183035B1 (en) 2021-03-08 2024-12-31 Meta Platforms, Inc. System and method for positioning a 3D eyeglasses model
US11676348B2 (en) 2021-06-02 2023-06-13 Meta Platforms Technologies, Llc Dynamic mixed reality content in virtual reality
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11521361B1 (en) 2021-07-01 2022-12-06 Meta Platforms Technologies, Llc Environment model with surfaces and per-surface volumes
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US12056268B2 (en) 2021-08-17 2024-08-06 Meta Platforms Technologies, Llc Platformization of mixed reality objects in virtual reality environments
CN113490063B (zh) * 2021-08-26 2023-06-23 上海盛付通电子支付服务有限公司 一种用于直播互动的方法、设备、介质及程序产品
US12353647B2 (en) * 2021-09-28 2025-07-08 Hewlett-Packard Development Company, L.P. Key selection for an extended reality keyboard
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US12067159B2 (en) * 2021-11-04 2024-08-20 Microsoft Technology Licensing, Llc. Multi-factor intention determination for augmented reality (AR) environment control
TW202324172A (zh) 2021-11-10 2023-06-16 美商元平台技術有限公司 自動建立人工實境世界
CN114397961B (zh) * 2021-12-28 2024-10-22 杭州灵伴科技有限公司 头戴式显示设备控制方法、头戴式显示设备组件和介质
US12093447B2 (en) 2022-01-13 2024-09-17 Meta Platforms Technologies, Llc Ephemeral artificial reality experiences
US20230260239A1 (en) * 2022-02-14 2023-08-17 Meta Platforms, Inc. Turning a Two-Dimensional Image into a Skybox
US12067688B2 (en) 2022-02-14 2024-08-20 Meta Platforms Technologies, Llc Coordination of interactions of virtual objects
US12164741B2 (en) 2022-04-11 2024-12-10 Meta Platforms Technologies, Llc Activating a snap point in an artificial reality environment
US11836205B2 (en) 2022-04-20 2023-12-05 Meta Platforms Technologies, Llc Artificial reality browser configured to trigger an immersive experience
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
US20230419617A1 (en) 2022-06-22 2023-12-28 Meta Platforms Technologies, Llc Virtual Personal Interface for Control and Travel Between Virtual Worlds
CN115186310A (zh) * 2022-07-06 2022-10-14 中国工商银行股份有限公司 信息输入方法、装置、设备、存储介质和程序产品
CN115122328B (zh) * 2022-07-12 2024-12-27 上海交通大学 面向家用机器人任务和数据采集的仿真系统
US12277301B2 (en) 2022-08-18 2025-04-15 Meta Platforms Technologies, Llc URL access to assets within an artificial reality universe on both 2D and artificial reality interfaces
US12097427B1 (en) 2022-08-26 2024-09-24 Meta Platforms Technologies, Llc Alternate avatar controls
US12175603B2 (en) 2022-09-29 2024-12-24 Meta Platforms Technologies, Llc Doors for artificial reality universe traversal
US12218944B1 (en) 2022-10-10 2025-02-04 Meta Platform Technologies, LLC Group travel between artificial reality destinations
US12444152B1 (en) 2022-10-21 2025-10-14 Meta Platforms Technologies, Llc Application multitasking in a three-dimensional environment
CN115793848B (zh) * 2022-11-04 2023-11-24 浙江舜为科技有限公司 虚拟现实信息交互方法、虚拟现实设备和存储介质
CN115935150B (zh) * 2022-12-06 2025-08-05 中山大学 一种虚拟现实的去除信号噪音方法、系统、设备及介质
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US12400414B2 (en) 2023-02-08 2025-08-26 Meta Platforms Technologies, Llc Facilitating system user interface (UI) interactions in an artificial reality (XR) environment
US12387449B1 (en) 2023-02-08 2025-08-12 Meta Platforms Technologies, Llc Facilitating system user interface (UI) interactions in an artificial reality (XR) environment
CN116048281A (zh) * 2023-02-24 2023-05-02 北京字跳网络技术有限公司 一种虚拟现实场景中的交互方法、装置、设备及存储介质
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment
US20250306730A1 (en) * 2024-03-27 2025-10-02 The Toronto-Dominion Bank Context-aware management of timer function notifications

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612719A (en) * 1992-12-03 1997-03-18 Apple Computer, Inc. Gesture sensitive buttons for graphical user interfaces
US5737533A (en) * 1995-10-26 1998-04-07 Wegener Internet Projects Bv System for generating a virtual reality scene in response to a database search
US6154723A (en) 1996-12-06 2000-11-28 The Board Of Trustees Of The University Of Illinois Virtual reality 3D interface system for data creation, viewing and editing
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6842175B1 (en) * 1999-04-22 2005-01-11 Fraunhofer Usa, Inc. Tools for interacting with virtual environments
US6480207B1 (en) * 1999-08-30 2002-11-12 International Business Machines Corporation Method, apparatus and computer program product for implementing graphical user interface (GUI) window control
US6938222B2 (en) * 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
US7050078B2 (en) * 2002-12-19 2006-05-23 Accenture Global Services Gmbh Arbitrary object tracking augmented reality applications
JP4111897B2 (ja) * 2003-09-16 2008-07-02 日立ソフトウエアエンジニアリング株式会社 ウインドウの制御方法
DE10343968A1 (de) * 2003-09-19 2005-05-04 Icido Ges Fuer Innovative Info Verfahren und Vorrichtung zur Steuerung eines Graphiksystems der virtuellen Realität mittels Interaktionen
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US20110061078A1 (en) * 2005-05-10 2011-03-10 Reagan Inventions, Llc System and method for controlling a plurality of electronic devices
US8161415B2 (en) * 2005-06-20 2012-04-17 Hewlett-Packard Development Company, L.P. Method, article, apparatus and computer system for inputting a graphical object
CN101228570B (zh) * 2005-07-22 2010-05-19 马特·帕尔拉科夫 可用拇指操作的触摸屏用户界面的系统和方法
US7523418B2 (en) * 2006-03-15 2009-04-21 International Business Machines Corporation Techniques for choosing a position on a display having a cursor
WO2008010432A1 (en) * 2006-07-20 2008-01-24 Sharp Kabushiki Kaisha User interface device, computer program, and its recording medium
KR101058297B1 (ko) * 2006-09-28 2011-08-22 교세라 가부시키가이샤 휴대 단말 및 그 제어 방법
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
KR101436091B1 (ko) * 2007-08-28 2014-09-01 삼성전자 주식회사 포인터의 연속 궤적에 의한 버튼 선택 장치 및 방법
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
KR101569427B1 (ko) * 2008-10-02 2015-11-16 삼성전자주식회사 휴대 단말기의 터치 입력 장치 및 그의 운영 방법
US20100194694A1 (en) * 2009-01-30 2010-08-05 Nokia Corporation Method and Apparatus for Continuous Stroke Input
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US8423911B2 (en) * 2010-04-07 2013-04-16 Apple Inc. Device, method, and graphical user interface for managing folders
JP5581817B2 (ja) * 2010-06-03 2014-09-03 ソニー株式会社 制御システム、制御装置、ハンドヘルド装置、制御方法及びプログラム。
KR101701932B1 (ko) * 2010-07-22 2017-02-13 삼성전자 주식회사 입력 디바이스와 이의 제어 방법
JP2012103914A (ja) * 2010-11-10 2012-05-31 Sony Corp 表示装置、表示用プログラム、および表示方法
JP4908626B1 (ja) * 2010-12-28 2012-04-04 株式会社東芝 表示制御装置および表示制御方法
JP5697521B2 (ja) * 2011-04-07 2015-04-08 京セラ株式会社 文字入力装置、文字入力制御方法および文字入力プログラム
KR20130023954A (ko) * 2011-08-30 2013-03-08 삼성전자주식회사 휴대용 단말기에서 아이콘 편집 과정을 수행하기 위한 장치 및 방법
JP5527304B2 (ja) * 2011-10-17 2014-06-18 株式会社デンソー 入力装置
JP5418580B2 (ja) * 2011-12-07 2014-02-19 株式会社デンソー 入力装置
US10025381B2 (en) * 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
US9235324B2 (en) * 2012-05-04 2016-01-12 Google Inc. Touch interpretation for displayed elements
US20140002443A1 (en) 2012-06-29 2014-01-02 Blackboard Inc. Augmented reality interface
US20140059455A1 (en) * 2012-08-22 2014-02-27 Sap Ag System and method for efficiently selecting data entities represented in a graphical user interface
US8836768B1 (en) * 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
CN102855066B (zh) * 2012-09-26 2017-05-17 东莞宇龙通信科技有限公司 终端和终端操控方法
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
JP5900393B2 (ja) * 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
JP5898378B2 (ja) * 2013-05-09 2016-04-06 株式会社ソニー・コンピュータエンタテインメント 情報処理装置およびアプリケーション実行方法
KR20140138424A (ko) 2013-05-23 2014-12-04 삼성전자주식회사 제스쳐를 이용한 사용자 인터페이스 방법 및 장치
US9286763B2 (en) * 2013-06-17 2016-03-15 Bally Gaming, Inc. Methods of administering a wagering game based on comparison of straights
US10025378B2 (en) 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
WO2015030264A1 (ja) * 2013-08-30 2015-03-05 国立大学法人山梨大学 クリック動作検出装置，方法およびプログラム
CN103442244A (zh) * 2013-08-30 2013-12-11 北京京东方光电科技有限公司 3d眼镜、3d显示系统及3d显示方法
KR102173123B1 (ko) * 2013-11-22 2020-11-02 삼성전자주식회사 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
JP6255954B2 (ja) * 2013-12-03 2018-01-10 富士通株式会社 動作入力装置、動作入力プログラム及び動作入力方法
US9740296B2 (en) * 2013-12-16 2017-08-22 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras in the interaction space
US20150185825A1 (en) 2013-12-30 2015-07-02 Daqri, Llc Assigning a virtual user interface to a physical object
US9201578B2 (en) * 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
AU2015244158A1 (en) * 2014-04-08 2016-09-15 Eon Reality, Inc. Interactive virtual reality systems and methods
US9829979B2 (en) * 2014-04-28 2017-11-28 Ford Global Technologies, Llc Automotive touchscreen controls with simulated texture for haptic feedback
US9990774B2 (en) * 2014-08-08 2018-06-05 Sony Interactive Entertainment Inc. Sensory stimulus management in head mounted display
US10152227B2 (en) * 2014-08-26 2018-12-11 International Business Machines Corporation Free form user-designed single-handed touchscreen keyboard
JP2016081508A (ja) * 2014-10-14 2016-05-16 株式会社エヌ・ティ・ティ・データ 認証システム、及び入力装置
US9823764B2 (en) * 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
CN104360751B (zh) * 2014-12-05 2017-05-10 三星电子（中国）研发中心 一种实现智能控制的方法和设备
CN104506951B (zh) * 2014-12-08 2018-09-04 青岛海信电器股份有限公司 一种文字输入方法、装置及智能终端
CN107077197B (zh) * 2014-12-19 2020-09-01 惠普发展公司，有限责任合伙企业 3d可视化图
CN105094335B (zh) * 2015-08-04 2019-05-10 天津锋时互动科技有限公司 场景提取方法、物体定位方法及其系统
US20170068416A1 (en) * 2015-09-08 2017-03-09 Chian Chiu Li Systems And Methods for Gesture Input
CN105224084B (zh) 2015-09-30 2018-04-24 深圳多新哆技术有限责任公司 确定虚拟物件在虚拟空间中位置的方法及装置
CN105429860A (zh) * 2015-12-15 2016-03-23 浙江吉利控股集团有限公司 一种即时通讯的装置及方法
CN105955461A (zh) * 2016-04-25 2016-09-21 乐视控股（北京）有限公司 一种交互界面管理方法和系统
CN105955471A (zh) * 2016-04-26 2016-09-21 乐视控股（北京）有限公司 虚拟现实交互的方法及装置
CN107024981B (zh) 2016-10-26 2020-03-20 阿里巴巴集团控股有限公司 基于虚拟现实的交互方法及装置
JP2019083402A (ja) * 2017-10-30 2019-05-30 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI764303B (zh) * 2020-08-20 2022-05-11 宏達國際電子股份有限公司 操作方法及電子系統

Also Published As

Publication number Publication date
CN107024981A (zh) 2017-08-08
SG11201903551RA (en) 2019-05-30
US20200097156A1 (en) 2020-03-26
EP3533046A1 (en) 2019-09-04
MY195722A (en) 2023-02-07
JP6980012B2 (ja) 2021-12-15
JP2020515923A (ja) 2020-05-28
KR20190068617A (ko) 2019-06-18
KR102278822B1 (ko) 2021-07-20
US10509535B2 (en) 2019-12-17
US20180113599A1 (en) 2018-04-26
CN111610858A (zh) 2020-09-01
PH12019500945A1 (en) 2019-12-02
CN111610858B (zh) 2023-09-19
WO2018081418A1 (en) 2018-05-03
CN107024981B (zh) 2020-03-20
EP3533046A4 (en) 2019-10-16
US10908770B2 (en) 2021-02-02
EP3533046B1 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
TW201816554A (zh) 基於虛擬實境的互動方法及裝置
TW201814438A (zh) 基於虛擬實境場景的輸入方法及裝置
US20240427426A1 (en) User-defined virtual interaction space and manipulation of virtual cameras with vectors
US20240168602A1 (en) Throwable interface for augmented reality and virtual reality environments
US10564799B2 (en) Dynamic user interactions for display control and identifying dominant gestures
US11194400B2 (en) Gesture display method and apparatus for virtual reality scene
JP2023531728A (ja) 人工現実感対話モードの統合
US12148081B2 (en) Immersive analysis environment for human motion data
TWI705356B (zh) 虛擬實境場景下的輸入方法和裝置
CN107844195B (zh) 基于Intel RealSense的汽车虚拟驾驶应用的开发方法及系统
CN114327063A (zh) 目标虚拟对象的交互方法、装置、电子设备及存储介质
Sun et al. PhoneCursor: improving 3d selection performance with mobile device in AR
CN114637394A (zh) Vr环境中裸手与模拟触控屏界面的交互操作系统及方法
US11307762B2 (en) Operating user interfaces
CN120491860A (zh) 设备交互方法、可穿戴设备、存储介质和程序产品
TW201832049A (zh) 輸入方法、裝置、設備、系統和電腦儲存媒體
HK1241092A (zh) 基於虛擬現實的交互方法及裝置
HK1241092A1 (zh) 基於虚拟现实的交互方法及装置
Ramsbottom A virtual reality interface for previsualization
CN113467625B (zh) 虚拟现实的控制设备、头盔和交互方法
TWI637287B (zh) 在虛擬實境中快速移動的方法、虛擬實境裝置及記錄媒體
CN113467625A (zh) 虚拟现实的控制设备、头盔和交互方法
HK40001235B (zh) 基於虚拟现实场景的身份认证方法及装置
WO2025167815A1 (zh) 交互方法、装置、设备和介质
CN117742481A (zh) 人机交互方法、装置、设备和存储介质