[go: up one dir, main page]

JP2018526690A - 仮想現実通信における対象識別方法、装置及び仮想現実デバイス - Google Patents

仮想現実通信における対象識別方法、装置及び仮想現実デバイス Download PDF

Info

Publication number
JP2018526690A
JP2018526690A JP2017529399A JP2017529399A JP2018526690A JP 2018526690 A JP2018526690 A JP 2018526690A JP 2017529399 A JP2017529399 A JP 2017529399A JP 2017529399 A JP2017529399 A JP 2017529399A JP 2018526690 A JP2018526690 A JP 2018526690A
Authority
JP
Japan
Prior art keywords
user
scene
speech
virtual reality
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017529399A
Other languages
English (en)
Inventor
林形省
▲馮▼智勇
▲馬▼坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Publication of JP2018526690A publication Critical patent/JP2018526690A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Position Input By Displaying (AREA)

Abstract

本発明の実施例は、仮想現実通信における対象識別方法、装置及び仮想現実デバイスに関する。前記対象識別方法は、ユーザによって行われた、１つの指示方向を示すための動作の方向情報を取得することと、前記動作の方向情報とシーン位置情報に応じて、前記指示方向に対応するターゲットシーン対象を確定することと、前記ユーザーの発言を前記前記ターゲットシーン対象に対するユーザーの発言と識別することとを含み、前記シーン位置情報は、前記ユーザーが位置している仮想現実シーンにおいて各シーン対象に対応する位置を示すために用いられる。
【選択図】図２

Description

本願は、出願番号２０１６１０５９７７８１．６、出願日２０１６年７月２６日の中国特許出願に基づいて提出され、この中国特許出願の優先権を主張し、その全ての内容がここに参照として本明細書に組み込まれる。
本発明の実施例は仮想現実技術に関し、特に仮想現実通信における対象識別方法、装置及び仮想現実デバイスに関する。
ネットワークと科学技術の快速発展に伴い、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）は近年の人気な先端技術になり、ますます多くの人は、ＶＲ技術による新しい体験を感じることができる。ＶＲを体験するユーザー数の増加に伴い、ひとつの課題、すなわちＶＲソーシャルが生じる。同一の仮想現実シーンにおいて複数のユーザーの間の情報インタラクションを良く行うことは、解決すべき問題である。
以上の課題を解決するために、本発明の実施例は、仮想現実通信における対象識別方法、装置及び仮想現実デバイスを提供することで、ＶＲデバイスで通信対象を識別する。
本発明の実施例の第一の形態として、仮想現実通信における対象識別方法を提供する。前記対象識別方法は、
ユーザによって行われた、１つの指示方向を示すための動作の方向情報を取得することと、
前記動作の方向情報とシーン位置情報に応じて、前記指示方向に対応するターゲットシーン対象を確定することと、
前記ユーザーの発言を前記前記ターゲットシーン対象に対するユーザーの発言と識別することとを含み、前記シーン位置情報は、前記ユーザーが位置している仮想現実シーンにおいて各シーン対象に対応する位置を示すために用いられる。
１つの例において、前記ユーザによって行われた動作の方向情報を取得することは、前記ユーザーの発言時の眼球角度に応じて、前記ユーザーの発言指示方向を取得することを含む。
１つの例において、前記ユーザーの発言時の眼球角度に応じて、前記ユーザーの発言指示方向を取得することは、前記ユーザーの発言時の眼球角度の固定滞留時間が発言全体時間に占める割合が予め設定された割合閾値に達した場合、前記眼球角度に対応する視線方向を前記ユーザーの発言指示方向として確定することを含む。
１つの例において、前記ユーザによって行われた動作の方向情報を取得することは、前記ユーザーの発言時のジェスチャー運動に応じて、前記ユーザーの発言指示方向を取得することを含む。
１つの例において、前記ユーザーの発言時のジェスチャー運動に応じて、前記ユーザーの発言指示方向を取得することは、前記ユーザーの発言時のジェスチャー運動の運動距離が予め設定された距離閾値に達した場合、前記ジェスチャー運動の方向を前記ユーザーの発言指示方向として確定することを含む。
１つの例において、前記動作の方向情報とシーン位置情報に応じて、指示方向に対応するターゲットシーン対象を確定することは、前記発言指示方向が予め設定された方向範囲内にある場合、前記シーン位置情報に応じて、前記方向範囲内にあるシーン対象を前記ターゲットシーン対象と確定することを含む。
１つの例において、前記ターゲットシーン対象に対するユーザーの発言を識別した後、前記対象識別方法は、さらに、前記ユーザーの発言を前記ターゲットシーン対象に対応する仮想現実デバイスに送信することを含む。
１つの例において、前記対象識別方法は、さらに、発言内容及び前記発言内容に対応する発言者の対象識別子がふくまれているユーザー発言情報を受信することと、前記対象識別子に応じて、前記仮想現実シーンにおいて、前記発言者に対応するシーン対象が前記発言内容を再生することとを含む。
本発明の第２の形態として、仮想現実通信における対象識別装置を提供する。前記対象識別装置は、
ユーザによって行われた、１つの指示方向を示すための動作の方向情報を取得するように構成される方向識別モジュールと、
前記動作の方向情報とシーン位置情報に応じて、前記指示方向に対応するターゲットシーン対象を確定するように構成される対象確定モジュールと、
前記ユーザーの発言を前記前記ターゲットシーン対象に対するユーザーの発言と識別するように構成される発言識別モジュールとを含み、前記シーン位置情報は、前記ユーザーが位置している仮想現実シーンにおいて各シーン対象に対応する位置を示すために用いられるように構成される。
１つの例において、前記方向識別モジュールは、前記ユーザーの発言時の眼球角度に応じて、前記ユーザーの発言指示方向を取得するように構成される。
１つの例において、前記方向識別モジュールは、前記ユーザーの発言時の眼球角度に応じて前記ユーザーの発言指示方向を取得する時に、前記ユーザーの発言時の眼球角度の固定滞留時間が発言全体時間に占める割合が予め設定された割合閾値に達した場合、前記眼球角度に対応する視線方向を前記ユーザーの発言指示方向として確定するように構成される。
１つの例において、前記方向識別モジュールは、前記ユーザーの発言時のジェスチャー運動に応じて、前記ユーザーの発言指示方向を取得するように構成される。
１つの例において、前記方向識別モジュールは、前記ユーザーの発言時のジェスチャー運動に応じて前記ユーザーの発言指示方向を取得する時に、前記ユーザーの発言時のジェスチャー運動の運動距離が予め設定された距離閾値に達した場合、前記ジェスチャー運動の方向をユーザーの発言指示方向として確定するように構成される。
１つの例において、前記対象確定モジュールは、前記発言指示方向が予め設定された方向範囲内にある場合、前記シーン位置情報に応じて、前記方向範囲内にあるシーン対象を前記ターゲットシーン対象と確定するように構成される。
１つの例において、前記対象識別装置は、前記ユーザーの発言を前記ターゲットシーン対象に対応する仮想現実デバイスに送信するように構成される情報送信モジュールをさらに含む。
１つの例において、前記対象識別装置は、発言内容及び前記発言内容に対応する発言者の対象識別子が含まれているユーザー発言情報を受信するように構成される情報受信モジュールと、前記対象識別子に応じて、前記仮想現実シーンにおいて、前記発言者に対応するシーン対象が前記発言内容を再生するように構成される情報処理モジュールとさらに含む。
本発明の第３の形態として、仮想現実デバイスを提供する。前記仮想現実デバイスは、
プロセッサと、プロセッサで実行可能な命令を記憶するように構成されるメモリとを含み、
ここで、前記プロセッサは、ユーザによって行われた、１つの指示方向を示すための動作の方向情報を取得し、前記動作の方向情報とシーン位置情報に応じて、前記指示方向に対応するターゲットシーン対象を確定し、前記ユーザーの発言を前記前記ターゲットシーン対象に対するユーザーの発言と識別するように構成され、前記シーン位置情報は、前記ユーザーが位置している仮想現実シーンにおいて各シーン対象に対応する位置を示すために用いられる。
本発明の実施例により提供された技術案は、以下の有益効果を含む。ユーザーの発言時の動作の方向情報を取得し、当該動作の方向情報に対応するターゲットシーン対象を確定することで、通信対象への識別を実現する。また、当該技術案を採用することにより、ユーザーは、自身の眼球の回転又はジェスチャー運動などで、どのシーン対象に発言するかのを表現することができ、この方法が比較的簡単である。
以上の一般的な説明および以下の詳しい説明は、例示的や解釈的なものに過ぎず、本発明を限定するものではないと理解すべきである。
例示的な実施例に係る仮想現実通信の応用シーンの模式図である。 例示的な実施例に係る仮想現実通信における対象識別方法のフローチャートである。 例示的な実施例に係る動作の方向情報を検出する模式図である。 例示的な実施例に係る動作の方向情報を検出する他の模式図である。 例示的な実施例に係る仮想現実通信における対象識別装置の構成図である。 例示的な実施例に係る仮想現実通信における他の対象識別装置の構成図である。 例示的な実施例に係る仮想現実デバイスのブロック図である。
ここの図面が明細書に組み込まれて本明細書の一部を構成し、本開示に合致する実施形態を示し、明細書と共に本開示の原理を解釈するために用いられる。
ここで例示的実施例について詳細な説明を行い、その例示は図面に示す。以下の記述は図面に関したときに、別に示されないと、異なる図面中の同じ数字は同じ又は類似した要素を示す。以下の例示的実施例に記述された実施形態は本発明と一致する全ての実施形態を代表しない。逆に、それらは特許請求の範囲に詳細に記述され、本発明のある方面と一致する装置及び方法の例に過ぎない。
仮想現実通信シーンにおいて、通常は、複数のユーザーが同一の仮想現実シーンに参加して、ユーザー間で相互に交流する可能性がある。例えば、１つの例示的なシーンとして、複数のユーザーは、ＶＲ技術を利用して仮想現実シーンにおいて会議を開催し、仕事ディスカッションを行う。他の例示的なシーンとして、ユーザーは、仮想現実デバイスを利用してインスタントメッセージングを行い、インスタントメッセージングアプリケーション内の友達は、同一の仮想現実シーン内に存在することができ、友達の間の情報交流も当該仮想現実シーン内で実現してもよい。これらの例示的なシーンにおいて、いずれもあるユーザーが他の特定のユーザーに発言する可能性がある。
図１は例示的な実施例に係る仮想現実通信の応用シーンであり、図１のように、ユーザーＡ、ユーザーＢ及びユーザーＣは同一の仮想現実シーンに存在し、例えば、当該シーンが会議室であり、当該３つのユーザーは会議中である。そして、仮想現実シーンにおいて、各ユーザーは、シーンに設定された当該ユーザーに対応するキャラクターであってよく、シーンにおけるキャラクターをシーン対象と呼ぶ。例えば、シーン対象ａがユーザーＡに対応し、シーン対象ｂがユーザーＢに対応し、シーン対象ｃがユーザーＣに対応する。
各ユーザーは、仮想現実デバイス１１（例えば、仮想現実ヘルメット）を着用して、仮想現実デバイス１１を介して他のユーザーが位置している仮想現実シーンを見える。例えば、仮想現実サーバーによって当該仮想現実シーンを生成し、当該シーンのシーン情報を各ユーザーの仮想現実デバイス１１に送信することで、仮想現実デバイス１１は、シーン情報に基づいて、ユーザーに当該仮想現実シーンを表示する。
例えば、前記シーン情報には、各シーン対象の対象識別子および各シーン対象のシーン位置情報が含まれる。当該対象識別子は、ユーザーのアカウントＩＤであってもよく、当該アカウントＩＤがインスタントメッセージングのアカウントであっても良いし、今度の仮想現実通信においてサーバーにより各ユーザーに割り当てられたアカウントであっても良い。前記シーン位置情報は、シーンにおいてシーン対象が存在する位置を示し、例えば、図１の仮想現実シーンにおいて、シーン対象ａを会議テーブルの東南且つ窓に近接する位置に設置し、シーン対象ｂをシーン対象ａと対向する側且つ会議室の植木鉢に近接する位置に設置し、シーン対象ｃをシーン対象ａと近接し、シーン対象ａの左前方からの２メトルの位置に設置する。このように設置されたキャラクター位置は、シーン位置情報である。
なお、ユーザーＡ、ユーザーＢ及びユーザーＣは、同一の仮想現実シーンに存在するが、各ユーザーの自身視点からすると、見える仮想現実シーンが異なる。相違点として、各ユーザーが仮想現実デバイス１１で見える仮想現実シーンは、仮想現実シーンにおいて当該ユーザーに対応するシーン対象の視点から見える仮想現実シーンである。図１のように、ユーザーＣを例として、ユーザーＣが見た仮想現実シーンにおいて、シーン対象ａとシーン対象ｂのみが存在し、自身に対応するシーン対象ｃが存在しなく、シーン対象ａが自身の後方からの２メトルの位置に（ユーザーＡの視点からすると、シーン対象ｃが自身の左前方からの２メトルの位置に存在する）存在し、シーン対象ｂが自身の右前方且つ会議室の植木鉢に近接する位置に存在する。
また、各ユーザーが見た仮想現実シーンは、ユーザーが着用する仮想現実デバイス１１によって生成されたものであっても良いため、仮想現実デバイス１１は上記仮想現実シーンのシーン情報を記憶することができ、当該シーン情報は、シーンにおける各シーン対象の対象識別子、シーン対象のシーン位置情報を含む。本発明の実施例において、仮想現実デバイスは、これらのシーン情報に応じて、仮想現実通信において通信対象を識別することができ、以下、詳しく説明する。
図１に示すシーンを例として、図１におけるユーザーＡ、ユーザーＢ及びユーザーＣは、１つのグループチャットシーンに存在することができ、即ち、当該チャットグループにおけるすべてのユーザーは、各ユーザーの発言を聞こえる。この場合、ユーザーはチャットグループにおけるある特定のユーザーを選択して発言することができるが、他のユーザーも当該発言を聞こえる。シーンにおいて、当該発言が特定のユーザーへの発言であることをプロンプトすれば良い。または、図１における３つのユーザーは、プライベートチャットシーンに存在することができ、即ち、仮想現実シーンにおいて複数の通信友達が表示されて、ユーザーはある特定のユーザーを選択して発言することができ、グループチャットシーンとの相違点として、この時、当該特定のユーザーはこの発言を聞こえるが、他のユーザーはこの発言を聞こえない。
上記のグループチャットシーン又はプライベートチャットシーンにおいて、いずれも通信対象を識別する必要があり、即ち、ユーザー現在の発言がどのシーン対象への発言であるかのを識別する必要がある。図２は実施例に示す仮想現実通信の対象識別方法のフローチャートであり、当該方法は、ユーザーが着用する仮想現実デバイスによって実行されることができ、ユーザー発言のシーン対象を識別すること用いられ、当該方法は以下のステップを含む。
ステップ２０１において、ユーザによって行われた動作の方向情報を取得し、前記動作の方向情報は、１つの指示方向を示すために用いられる。
本ステップにおいて、ユーザーによる動作の方向情報は、ユーザーが自身の身体動作で１つの指示方向を示す。例えば、ユーザーは、眼球を回転することによって異なる視線方法を示し、又は１つのジェスチャー動作で１つの方向を示す。
１つの例において、例えば、仮想現実デバイスは、現在ユーザーの発言を検出する場合、ユーザーが発言時に行った動作の方向情報を取得する。もちろん、本実施例は、発言時に処理プロセスを実行することを限定しなく、ユーザーが発言する前に、当該処理プロセス、例えば方向識別と対象識別等を実行しても良い。以下の例において、発言時の処理を例として説明するが、他のシーンにも同様に適用される。例えば、ユーザーは、仮想現実デバイスのマイクを使用して発言する場合、仮想現実デバイスは、現在ユーザーが発言していることを検出することができる。本ステップにおいて、仮想現実デバイスは、ユーザーの発言過程において、当該ユーザーによる動作の方向情報を検出することができる。
図３は例示的な実施例に係る動作の方向情報を検出する模式図であり、図３のように、仮想現実デバイスは、眼球追跡技術を利用して、ユーザーの眼球角度に応じて、ユーザーの視線方向を取得することができる。例えば、眼球が第一の角度位置に位置する場合、ユーザーの視線方向が第一の方向であり、眼球が第二の角度位置に位置する場合、ユーザーの視線方向が第二の方向である。
例えば、誤り判定の発生を回避するために、ユーザーの眼球角度の固定滞留時間が発言全体時間に占める割合が予め設定された割合閾値に達した場合、例えば、ユーザーが発言する時に、発言時間全体内においてあるシーン対象をずっと見つめて、時間割合が１００％に達し、又は、発言時間全体の８０％時間においてあるシーン対象をずっと見つめている場合、当該ユーザーが当該シーン対象に発言するとみなされるように設定されて良い。そして、眼球角度によって確定された視線方向は、ユーザーの発言指示方向であり、ユーザーはこの方向即ち当該発言指示方向に発言する。
図４は例示的な実施例に係る動作の方向情報を検出する他の模式図であり、図４のように、仮想現実デバイスは、１つのジェスチャー運動検出器４１を含み、当該ジェスチャー運動検出器４１によってユーザーのジェスチャー運動を検出されることができる。例えば、図４におけるユーザーＡは、仮想現実シーンにおいて、シーン対象ｂがその右前方に位置し、シーン対象ｃがその左前方に位置することを見える。仮想現実シーンにおいて、各シーン対象の対象識別子を表示することで、現在ユーザーは、各シーン対象が誰かを識別することができる。例えば、ユーザーＡはシーン対象ｃ（即ちユーザーＣ）に発言したい場合、ユーザーＡは、発言時にジェスチャー運動して、図４のように、左前方に移動して、即ちシーンにおけるシーン対象ｃに向けて運動する。このように、ジェスチャー運動検出器４１は、ユーザーのジェスチャー運動の方向を検出することができる。
例えば、誤り判定の発生を回避するために、ユーザーのジェスチャー運動について、ある方向への運動距離が一定の距離閾値に達した場合、ジェスチャー運動の方向をユーザーの発言指示方向として確定する。例えば、ユーザーＡがユーザーＣに発言したい場合、ジェスチャー運動で左前方へ５ｃｍ以上を運動する。この場合、当該ジェスチャー運動の方向をユーザーの発言指示方向として確定し、ユーザーは、ジェスチャー運動が向いているシーン対象に発言する。
ステップ２０２において、動作の方向情報とシーン位置情報に応じて、前記指示方向に対応するターゲットシーン対象を確定する。ここで、前記シーン位置情報は、ユーザーが位置している仮想現実シーンにおいて各シーン対象の位置を示す。
本ステップにおいて、仮想現実デバイスは、各シーン対象のシーン位置情報に応じて、ステップ２０１で入手された動作の方向情報を参照して、指示方向に対応するシーン対象を確定することができる。
例えば、図３を例として、ユーザーＢの視点からすると、ユーザーＢが見た仮想現実シーンにおいて、シーン対象ａが左前方に位置し、シーン対象ｃが右前方に位置する。ユーザーＢが着用する仮想現実デバイスには、シーン情報が既知されるものであるため、仮想現実デバイスに対して、当該シーン内の各シーン対象の位置が既知されるものである。例えば、ユーザーＢがシーン対象ａに発言する場合、仮想現実デバイスは、ユーザーＢに対するシーン対象ａの角度や位置、例えば図３のような第二の方向即ちシーン対象ｂとシーン対象ａとの間の接続線を知っている。
仮想現実デバイスは、ステップ２０１で動作の方向情報を入手し、指示された方向が第二の方向である場合、シーン対象ａを発言のターゲットシーン対象と確定する。ユーザーの眼球角度で指示された方向は、第二の方向と完全的に合致しない可能性があるため、図３のように、ｆ１方向とｆ２方向の間の範囲という方向範囲を設定し、この方向範囲はシーン対象ａに対応し、前提として、１つのシーン対象即ちシーン対象ａのみがこの範囲内に存在する。
ステップ２０３において、ユーザーの発言をターゲットシーン対象に対するユーザーの発言と識別する。
ステップ２０２でターゲットシーン対象を確定した後、ユーザーの発言と当該ターゲットシーン対象とを関連付けることができ、ユーザーが当該ターゲットシーン対象に発言すると識別することで、識別仮想現実通信においてシーン対象を識別する目的を実現することができる。
本発明の実施例における対象識別方法は、ユーザー発言時の動作の方向情報を取得し、当該動作の方向情報に対応するターゲットシーン対象を確定することで、通信対象への識別を実現する。また、当該方法を使用することにより、ユーザーは、自身の眼球の回転又はジェスチャー運動することで、どのシーン対象に発言するかのを示すことができ、この方法が比較的簡単であり、ユーザーの体験が比較的良い。
なお、仮想現実デバイスは、通信におけるターゲットシーン対象識別した後、ユーザー発言情報を当該ターゲットシーン対象に送信することができ、当該発言情報には、例えば発言者の対象識別子、発言内容が含まれる。例えば、ユーザーＢがシーン対象ａに発言することを識別した場合、ユーザーＢの発言内容をシーン対象ａに対応するユーザーＡの仮想現実デバイスに送信することができ、ユーザーＡの仮想現実デバイスで発言内容を再生する。
ユーザーＢがプライベートチャットシーンに存在する場合、発言内容をシーン対象ａに対応するユーザーＡの仮想現実デバイスのみに送信することができる。ユーザーＢがグループチャットシーンに存在する場合、発言内容を当該チャットグループにおけるすべでのユーザーの仮想現実デバイスに送信することができ、すべてのユーザーは、ユーザーＢの発言を聞こえるが、当該シーンにおいて発言の対象をプロンプトしても良く、例えば、当該発言がシーン対象ａへの特定発言であるとプロンプトしても良い。ここで、どのようなシーンに関わらず、仮想現実デバイスで再生する場合、発言者の対象識別子に応じて、仮想現実シーンにおいて、当該発言者に対応するシーン対象によって当該発言を再生されることができる。
図５は例示的な実施例に係る仮想現実通信における対象識別装置の構成図であり、図５のように、当該装置は、方向識別モジュール５１、対象確定モジュール５２及び発言識別モジュール５３を含む。
方向識別モジュール５１は、ユーザによって行われた動作の方向情報を取得するように構成され、前記動作の方向情報は、１つの指示方向を示すために用いられる。
対象確定モジュール５２は、前記動作の方向情報とシーン位置情報に応じて、前記指示方向に対応するターゲットシーン対象を確定するように構成され、前記シーン位置情報は、前記ユーザーが位置している仮想現実シーンにおいて各シーン対象に対応する位置を示すために用いられる。
発言識別モジュール５３は、前記ユーザーの発言を前記前記ターゲットシーン対象に対するユーザーの発言と識別するように構成される。
１つの例において、方向識別モジュール５１は、前記ユーザーの発言時の眼球角度に応じて、前記ユーザーの発言指示方向を取得するように構成される。
１つの例において、方向識別モジュール５１は、前記ユーザーの発言時の眼球角度に応じて前記ユーザーの発言指示方向を取得する時に、前記ユーザーの発言時の眼球角度の固定滞留時間が発言全体時間に占める割合が予め設定された割合閾値に達した場合、前記眼球角度に対応する視線方向を前記ユーザーの発言指示方向として確定するように構成される。
１つの例において、方向識別モジュール５１は、前記ユーザーの発言時のジェスチャー運動に応じて、前記ユーザーの発言指示方向を取得するように構成される。
１つの例において、方向識別モジュール５１は、前記ユーザーの発言時のジェスチャー運動に応じて前記ユーザーの発言指示方向を取得する時に、前記ユーザーの発言時のジェスチャー運動の運動距離が予め設定された距離閾値に達した場合、前記ジェスチャー運動の方向をユーザーの発言指示方向として確定するように構成される。
１つの例において、対象確定モジュール５２は、前記発言指示方向が予め設定された方向範囲内にある場合、前記シーン位置情報に応じて、前記方向範囲内にあるシーン対象を前記ターゲットシーン対象と確定するように構成される。
図６は例示的な実施例に係る仮想現実通信における他の対象識別装置の構成図であり、図６のように、当該装置は、さらに、情報送信モジュール５４を含み、当該情報送信モジュール５４は、前記ユーザーの発言を前記ターゲットシーン対象に対応する仮想現実デバイスに送信するように構成される。
１つの例において、当該装置は、情報受信モジュール５５、情報処理モジュール５６を含む。
情報受信モジュール５５は、ユーザー発言情報を受信するように構成され、前記ユーザー発言情報は、発言内容及び前記発言内容に対応する発言者の対象識別子を含む。
情報処理モジュール５６は、前記対象識別子に応じて、前記仮想現実シーンにおいて前記発言者に対応するシーン対象が前記発言内容を再生するように構成される。
図７は例示的な実施例に係る仮想現実デバイス７００のブロック図である。例えば、図７を参照し、装置７００は、処理部材７２２を含み、それは、さらに１つ以上のプロセッサ、およびメモリ７３２によって代表される、処理部材７２２で実行可能な命令、例えばアプリケーションを記憶するように構成されるメモリリソースを含む。メモリ７３２に記憶されるアプリケーションプログラムは、１つ以上の、それぞれが１グループの命令に対応するモジュールを含むことができる。なお、処理部材７２２は命令を実行して上記方法を実行するように構成され、前記方法は、ユーザによって行われた、１つの指示方向を示すための動作の方向情報を取得することと、前記動作の方向情報とシーン位置情報に応じて、前記指示方向に対応するターゲットシーン対象を確定することと、前記ユーザーの発言を前記前記ターゲットシーン対象に対するユーザーの発言と識別することとを含み、前記シーン位置情報は、前記ユーザーが位置している仮想現実シーンにおいて各シーン対象に対応する位置を示すために用いられる。
装置７００は、装置７００の電源管理を実行するように構成される電源部材７２６、装置７００をネットワークに接続するように構成される有線または無線ネットワークインターフェイス７５０と入出力（Ｉ／Ｏ）インターフェイス７５８とをさらに含むことができる。
例示的な実施例において、命令を含む非一時的コンピュータ可読記憶媒体、例えば命令を含むメモリが提供され、前記命令が装置のプロセッサによって実行されて前記方法を完了することができる。例えば、当該方法は、ユーザによって行われた動作の方向情報を取得し、前記動作の方向情報が１つの指示方向を示すために用いられることと、前記動作の方向情報とシーン位置情報に応じて、前記指示方向に対応するターゲットシーン対象を確定し、前記シーン位置情報は、前記ユーザーが位置している仮想現実シーンにおいて各シーン対象に対応する位置を示すために用いられることと、前記ユーザーの発言を前記前記ターゲットシーン対象に対するユーザーの発言と識別することとを含む。例えば、前記非一時的コンピュータ可読記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスクと光データ記憶装置などであってよい。
当業者は、明細書を考慮してここに開示される発明を実践した後に、容易に本開示の他の実施例を考える。本発明は、本開示の実施例のいかなる変形、用途または適応性変化をカバーすることを意図し、これらの変形、用途または適応性変化が本開示の実施例の一般的な原理に従い且つ本開示の実施例に開示されない本技術分野における公知の常識または慣用技術手段を含む。明細書と実施例は、ただ例示的なものだけと見なされ、本開示の実施例の真の範囲および精神が以下の特許請求の範囲によって示される。
本開示の実施例は、以上に説明され且つ図面に示す正確な構造に限られなく、且つその範囲から逸脱しなくて各種類の変更と変化を行うことができると理解すべきである。本開示の実施例の範囲は、添付の特許請求の範囲のみによって限定される。
本発明の実施例によれば、ユーザー発言時の動作の方向情報を取得し、当該動作の方向情報に対応するターゲットシーン対象を確定することで、通信対象への識別を実現する。また、当該技術案を採用することにより、ユーザーは、自身の眼球の回転又はジェスチャー運動などで、どのシーン対象に発言するかのを示すことができ、この方法が比較的簡単である。

Claims (17)

  1. 仮想現実通信における対象識別方法であって、
    ユーザによって行われた、１つの指示方向を示すための動作の方向情報を取得することと、
    前記動作の方向情報とシーン位置情報に応じて、前記指示方向に対応するターゲットシーン対象を確定することと、
    前記ユーザーの発言を前記前記ターゲットシーン対象に対するユーザーの発言と識別することとを含み、
    前記シーン位置情報は、前記ユーザーが位置している仮想現実シーンにおいて各シーン対象に対応する位置を示すために用いられる、前記対象識別方法。
  2. 前記ユーザによって行われた動作の方向情報を取得することは、
    前記ユーザーの発言時の眼球角度に応じて、前記ユーザーの発言指示方向を取得することを含む
    請求項１に記載の対象識別方法。
  3. 前記ユーザーの発言時の眼球角度に応じて、前記ユーザーの発言指示方向を取得することは、
    前記ユーザーの発言時の眼球角度の固定滞留時間が発言全体時間に占める割合が予め設定された割合閾値に達した場合、前記眼球角度に対応する視線方向を前記ユーザーの発言指示方向として確定することを含む
    請求項２に記載の対象識別方法。
  4. 前記ユーザによって行われた動作の方向情報を取得することは、
    前記ユーザーの発言時のジェスチャー運動に応じて、前記ユーザーの発言指示方向を取得することを含む
    請求項１に記載の対象識別方法。
  5. 前記ユーザーの発言時のジェスチャー運動に応じて、前記ユーザーの発言指示方向を取得することは、
    前記ユーザーの発言時のジェスチャー運動の運動距離が予め設定された距離閾値に達した場合、前記ジェスチャー運動の方向を前記ユーザーの発言指示方向として確定することを含む
    請求項４項に記載の対象識別方法。
  6. 前記動作の方向情報とシーン位置情報に応じて、指示方向に対応するターゲットシーン対象を確定することは、
    前記発言指示方向が予め設定された方向範囲内にある場合、前記シーン位置情報に応じて、前記方向範囲内にあるシーン対象を前記ターゲットシーン対象と確定することを含む
    請求項２〜５のいずれか１項に記載の対象識別方法。
  7. 前記ターゲットシーン対象に対するユーザーの発言を識別した後、
    前記ユーザーの発言を前記ターゲットシーン対象に対応する仮想現実デバイスに送信することをさらに含む
    請求項１項に記載の対象識別方法。
  8. 発言内容及び前記発言内容に対応する発言者の対象識別子が含まれているユーザー発言情報を受信することと、
    前記対象識別子に応じて、前記仮想現実シーンにおいて前記発言者に対応するシーン対象が前記発言内容を再生することとをさらに含む
    請求項１項に記載の対象識別方法。
  9. 仮想現実通信における対象識別装置であって、
    ユーザによって行われた、１つの指示方向を示すための動作の方向情報を取得するように構成される方向識別モジュールと、
    前記動作の方向情報とシーン位置情報に応じて、前記指示方向に対応するターゲットシーン対象を確定するように構成される対象確定モジュールと、
    前記ユーザーの発言を前記前記ターゲットシーン対象に対するユーザーの発言と識別するように構成される発言識別モジュールとを含み、
    前記シーン位置情報は、前記ユーザーが位置している仮想現実シーンにおいて各シーン対象に対応する位置を示すために用いられる、前記対象識別装置。
  10. 前記方向識別モジュールは、前記ユーザーの発言時の眼球角度に応じて、前記ユーザーの発言指示方向を取得するように構成される
    請求項９に記載の対象識別装置。
  11. 前記方向識別モジュールは、前記ユーザーの発言時の眼球角度に応じて前記ユーザーの発言指示方向を取得する時に、前記ユーザーの発言時の眼球角度の固定滞留時間が発言全体時間に占める割合が予め設定された割合閾値に達した場合、前記眼球角度に対応する視線方向を前記ユーザーの発言指示方向として確定するように構成される
    請求項１０に記載の対象識別装置。
  12. 前記方向識別モジュールは、前記ユーザーの発言時のジェスチャー運動に応じて、前記ユーザーの発言指示方向を取得するように構成される
    請求項９に記載の対象識別装置。
  13. 前記方向識別モジュールは、前記ユーザーの発言時のジェスチャー運動に応じて前記ユーザーの発言指示方向を取得する時に、前記ユーザーの発言時のジェスチャー運動の運動距離が予め設定された距離閾値に達した場合、前記ジェスチャー運動の方向をユーザーの発言指示方向として確定するように構成される
    請求項１２に記載の対象識別装置。
  14. 前記対象確定モジュールは、前記発言指示方向が予め設定された方向範囲内にある場合、前記シーン位置情報に応じて、前記方向範囲内にあるシーン対象を前記ターゲットシーン対象と確定するように構成される
    請求項１０〜１３のいずれか１項に記載の対象識別装置。
  15. 前記ユーザーの発言を前記ターゲットシーン対象に対応する仮想現実デバイスに送信するように構成される情報送信モジュールをさらに含む
    請求項９に記載の対象識別装置。
  16. 発言内容及び前記発言内容に対応する発言者の対象識別子が含まれているユーザー発言情報を受信するように構成され情報受信モジュールと、
    前記対象識別子に応じて、前記仮想現実シーンにおいて前記発言者に対応するシーン対象が前記発言内容を再生するように構成される情報処理モジュールとをさらに含む
    請求項９に記載の対象識別装置。
  17. 仮想現実デバイスであって、
    プロセッサと、プロセッサで実行可能な命令を記憶するように構成されるメモリとを含み、
    前記プロセッサは、ユーザによって行われた、１つの指示方向を示すための動作の方向情報を取得し、前記動作の方向情報とシーン位置情報に応じて、前記指示方向に対応するターゲットシーン対象を確定し、前記ユーザーの発言を前記前記ターゲットシーン対象に対するユーザーの発言と識別するように構成され、前記シーン位置情報は、前記ユーザーが位置している仮想現実シーンにおいて各シーン対象に対応する位置を示すために用いられる、前記仮想現実デバイス。
JP2017529399A 2016-07-26 2016-11-28 仮想現実通信における対象識別方法、装置及び仮想現実デバイス Pending JP2018526690A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610597781.6 2016-07-26
CN201610597781.6A CN106155326A (zh) 2016-07-26 2016-07-26 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备
PCT/CN2016/107519 WO2018018810A1 (zh) 2016-07-26 2016-11-28 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备

Publications (1)

Publication Number Publication Date
JP2018526690A true JP2018526690A (ja) 2018-09-13

Family

ID=58060257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017529399A Pending JP2018526690A (ja) 2016-07-26 2016-11-28 仮想現実通信における対象識別方法、装置及び仮想現実デバイス

Country Status (7)

Country Link
US (1) US10642569B2 (ja)
EP (1) EP3276449B1 (ja)
JP (1) JP2018526690A (ja)
KR (1) KR102227171B1 (ja)
CN (1) CN106155326A (ja)
RU (1) RU2669510C1 (ja)
WO (1) WO2018018810A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023534901A (ja) * 2021-02-03 2023-08-15 グーグル エルエルシー ウェアラブルデバイスデータを使用するアシスタントデバイス調停
CN116719420A (zh) * 2023-08-09 2023-09-08 世优（北京）科技有限公司 一种基于虚拟现实的用户动作识别方法及系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106155326A (zh) * 2016-07-26 2016-11-23 北京小米移动软件有限公司 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备
CN106774852B (zh) * 2016-11-25 2020-01-10 宇龙计算机通信科技(深圳)有限公司 一种基于虚拟现实的消息处理方法及装置
CN106598247B (zh) * 2016-12-16 2020-09-18 阿里巴巴（中国）有限公司 基于虚拟现实的响应控制方法及装置
CN106873159A (zh) * 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10754515B2 (en) 2017-03-10 2020-08-25 Shapeways, Inc. Systems and methods for 3D scripting language for manipulation of existing 3D model data
CN108665755B (zh) * 2017-03-31 2021-01-05 深圳市掌网科技股份有限公司 互动式培训方法及互动式培训系统
JP6994292B2 (ja) * 2017-05-08 2022-01-14 達闥机器人有限公司 ロボットのウェイクアップ方法、装置及びロボット
CN107885334B (zh) * 2017-11-23 2021-10-22 联想(北京)有限公司 一种信息处理方法和虚拟设备
CN108076384B (zh) * 2018-01-02 2019-12-06 京东方科技集团股份有限公司 一种基于虚拟现实的图像处理方法、装置、设备和介质
WO2019135313A1 (ja) * 2018-01-04 2019-07-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN110111385B (zh) * 2019-04-18 2020-08-11 贝壳找房(北京)科技有限公司 一种在三维空间实现目标定位的方法、终端和服务器
CN112241199B (zh) 2019-07-19 2023-03-24 华为技术有限公司 虚拟现实场景中的交互方法及装置
CN111078006A (zh) * 2019-11-29 2020-04-28 杨昊鹏 基于虚拟现实眼神交流的测评方法、装置以及存储介质
US12423917B2 (en) 2022-06-10 2025-09-23 Apple Inc. Extended reality based digital assistant interactions
WO2024053893A1 (ko) 2022-09-08 2024-03-14 삼성전자주식회사 가상 공간 내의 사용자의 음성 데이터의 전달하기 위한 장치 및 방법

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0730877A (ja) * 1993-07-12 1995-01-31 Oki Electric Ind Co Ltd 多地点間マルチメディア通信会議システム
JP2003062327A (ja) * 2001-08-27 2003-03-04 Nintendo Co Ltd ゲーム装置およびプログラム
JP2003304350A (ja) * 2002-02-05 2003-10-24 Sega Corp 音声チャットシステム
JP2009514090A (ja) * 2005-10-28 2009-04-02 トビイ テクノロジー アーベー 視覚的フィードバックを有するアイトラッカー
JP2009122776A (ja) * 2007-11-12 2009-06-04 Internatl Business Mach Corp <Ibm> 仮想世界における情報制御方法および装置
JP2010191544A (ja) * 2009-02-16 2010-09-02 Nippon Telegr & Teleph Corp <Ntt> 映像音声処理装置、映像音声処理方法、映像音声処理プログラム
JP2011513847A (ja) * 2008-02-27 2011-04-28 ジェスチャー テック，インコーポレイテッド 認識されたジェスチャーを用いた高機能化入力
WO2012150657A1 (ja) * 2011-05-02 2012-11-08 パナソニック株式会社 集中有無推定装置及びコンテンツ評価装置
JP2013041553A (ja) * 2011-08-19 2013-02-28 Fujitsu Ltd 画像処理装置、画像処理方法及び画像処理プログラム
US20130076853A1 (en) * 2011-09-23 2013-03-28 Jie Diao Conveying gaze information in virtual conference
US20140237366A1 (en) * 2013-02-19 2014-08-21 Adam Poulos Context-aware augmented reality object commands
JP2014186361A (ja) * 2013-03-21 2014-10-02 Sony Corp 情報処理装置、操作制御方法及びプログラム
US20150220776A1 (en) * 2012-08-03 2015-08-06 Crunchfish Ab Identification of a gesture
JP2015179391A (ja) * 2014-03-19 2015-10-08 日本電気株式会社 販売促進装置、情報処理装置、情報処理システム、販売促進方法及びプログラム
WO2016002445A1 (ja) * 2014-07-03 2016-01-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016514298A (ja) * 2013-02-14 2016-05-19 クアルコム，インコーポレイテッド Ｈｍｄのための人体ジェスチャーベースの領域および体積の選択
US20160162020A1 (en) * 2014-12-03 2016-06-09 Taylor Lehman Gaze target application launcher

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08226348A (ja) 1995-02-20 1996-09-03 Ket & Ket:Kk シリンダライナとシリンダブロックの結合方法
RU2109336C1 (ru) * 1995-07-14 1998-04-20 Нурахмед Нурисламович Латыпов Способ погружения пользователя в виртуальную реальность и устройство для его реализации
US6396509B1 (en) * 1998-02-21 2002-05-28 Koninklijke Philips Electronics N.V. Attention-based interaction in a virtual environment
US20080263460A1 (en) * 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Connect People for Virtual Meeting in Virtual Reality
US8441356B1 (en) * 2009-02-16 2013-05-14 Handhold Adaptive, LLC Methods for remote assistance of disabled persons
US8416715B2 (en) * 2009-06-15 2013-04-09 Microsoft Corporation Interest determination for auditory enhancement
CN102263772A (zh) * 2010-05-28 2011-11-30 经典时空科技(北京)有限公司 基于三维技术的虚拟会议系统
EP2474950B1 (en) * 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
CN102170361A (zh) * 2011-03-16 2011-08-31 西安电子科技大学 基于虚拟现实的网络会议方法
EP3654146A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US9143880B2 (en) * 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
CN103617029A (zh) * 2013-11-20 2014-03-05 中网一号电子商务有限公司 一种3d即时通讯系统
US10613642B2 (en) * 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
US9804753B2 (en) * 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
US9645648B2 (en) * 2014-09-18 2017-05-09 Mary A. Spio Audio computer system for interacting within a virtual reality environment
US9791924B2 (en) 2014-12-23 2017-10-17 Mediatek Inc. Eye tracking with mobile device in a head-mounted display
CN104991650B (zh) * 2015-07-24 2018-08-03 广东虚拟现实科技有限公司 一种手势控制器及一种虚拟现实系统
CN105446481A (zh) * 2015-11-11 2016-03-30 周谆 基于手势的虚拟现实人机交互方法和系统
US9451210B1 (en) * 2015-12-10 2016-09-20 Google Inc. Directing communications using gaze interaction
CN106155326A (zh) * 2016-07-26 2016-11-23 北京小米移动软件有限公司 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0730877A (ja) * 1993-07-12 1995-01-31 Oki Electric Ind Co Ltd 多地点間マルチメディア通信会議システム
JP2003062327A (ja) * 2001-08-27 2003-03-04 Nintendo Co Ltd ゲーム装置およびプログラム
JP2003304350A (ja) * 2002-02-05 2003-10-24 Sega Corp 音声チャットシステム
JP2009514090A (ja) * 2005-10-28 2009-04-02 トビイ テクノロジー アーベー 視覚的フィードバックを有するアイトラッカー
JP2009122776A (ja) * 2007-11-12 2009-06-04 Internatl Business Mach Corp <Ibm> 仮想世界における情報制御方法および装置
JP2011513847A (ja) * 2008-02-27 2011-04-28 ジェスチャー テック，インコーポレイテッド 認識されたジェスチャーを用いた高機能化入力
JP2010191544A (ja) * 2009-02-16 2010-09-02 Nippon Telegr & Teleph Corp <Ntt> 映像音声処理装置、映像音声処理方法、映像音声処理プログラム
WO2012150657A1 (ja) * 2011-05-02 2012-11-08 パナソニック株式会社 集中有無推定装置及びコンテンツ評価装置
JP2013041553A (ja) * 2011-08-19 2013-02-28 Fujitsu Ltd 画像処理装置、画像処理方法及び画像処理プログラム
US20130076853A1 (en) * 2011-09-23 2013-03-28 Jie Diao Conveying gaze information in virtual conference
US20150220776A1 (en) * 2012-08-03 2015-08-06 Crunchfish Ab Identification of a gesture
JP2016514298A (ja) * 2013-02-14 2016-05-19 クアルコム，インコーポレイテッド Ｈｍｄのための人体ジェスチャーベースの領域および体積の選択
US20140237366A1 (en) * 2013-02-19 2014-08-21 Adam Poulos Context-aware augmented reality object commands
JP2014186361A (ja) * 2013-03-21 2014-10-02 Sony Corp 情報処理装置、操作制御方法及びプログラム
JP2015179391A (ja) * 2014-03-19 2015-10-08 日本電気株式会社 販売促進装置、情報処理装置、情報処理システム、販売促進方法及びプログラム
WO2016002445A1 (ja) * 2014-07-03 2016-01-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20160162020A1 (en) * 2014-12-03 2016-06-09 Taylor Lehman Gaze target application launcher

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023534901A (ja) * 2021-02-03 2023-08-15 グーグル エルエルシー ウェアラブルデバイスデータを使用するアシスタントデバイス調停
US11966518B2 (en) 2021-02-03 2024-04-23 Google Llc Assistant device arbitration using wearable device data
JP7523596B2 (ja) 2021-02-03 2024-07-26 グーグル エルエルシー ウェアラブルデバイスデータを使用するアシスタントデバイス調停
JP2024156688A (ja) * 2021-02-03 2024-11-06 グーグル エルエルシー ウェアラブルデバイスデータを使用するアシスタントデバイス調停
US12333084B2 (en) 2021-02-03 2025-06-17 Google Llc Assistant device arbitration using wearable device data
JP7791940B2 (ja) 2021-02-03 2025-12-24 グーグル エルエルシー ウェアラブルデバイスデータを使用するアシスタントデバイス調停
CN116719420A (zh) * 2023-08-09 2023-09-08 世优（北京）科技有限公司 一种基于虚拟现实的用户动作识别方法及系统
CN116719420B (zh) * 2023-08-09 2023-11-21 世优（北京）科技有限公司 一种基于虚拟现实的用户动作识别方法及系统

Also Published As

Publication number Publication date
WO2018018810A1 (zh) 2018-02-01
KR20190027884A (ko) 2019-03-15
EP3276449B1 (en) 2020-07-01
RU2669510C1 (ru) 2018-10-11
CN106155326A (zh) 2016-11-23
KR102227171B1 (ko) 2021-03-15
US10642569B2 (en) 2020-05-05
EP3276449A1 (en) 2018-01-31
US20180032304A1 (en) 2018-02-01

Similar Documents

Publication Publication Date Title
JP2018526690A (ja) 仮想現実通信における対象識別方法、装置及び仮想現実デバイス
US11178462B2 (en) Display control device and display control method
JP6700463B2 (ja) ヘッドマウントディスプレイ上の視覚的作用を制限するためのフィルタリング及びペアレンタルコントロール法
EP3491781B1 (en) Private communication by gazing at avatar
US9451210B1 (en) Directing communications using gaze interaction
CN107113354B (zh) 包括头戴式设备的通信系统
US10841534B2 (en) Real-world awareness for virtual reality
CN106774830B (zh) 虚拟现实系统、语音交互方法及装置
CN114502921A (zh) 混合现实中的空间指令和指南
JP2020503574A (ja) ヘッドマウントディスプレイによって提供される仮想現実環境への見物人フィードバックコンテンツの配信
US10877555B2 (en) Information processing device and information processing method for controlling user immersion degree in a virtual reality environment
US20220070066A1 (en) Information processing apparatus and non-transitory computer readable medium storing program
JP2014115897A (ja) 情報処理装置、管理装置、情報処理方法、管理方法、情報処理プログラム、管理プログラム及びコンテンツ提供システム
CN113260954B (zh) 基于人工现实的用户群组
US20240371106A1 (en) Techniques for using 3-d avatars in augmented reality messaging
US12361646B1 (en) Privately sharing user preferences
US20240288929A1 (en) Methods and systems for determining user interest relevant to co-located users
KR102809891B1 (ko) 가상 세계에서의 언어적 통신
US12470631B1 (en) Multi-user content sharing using anchors in 3D environments
CN115563068B (zh) 信息分享方法、装置、设备及存储介质
US12266069B1 (en) Environment adaptive content
US20250379917A1 (en) Asset orchestration for communication sessions
Fujita et al. Ambient party room: A room-shaped system enhancing communication for parties or gatherings

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190409