[go: up one dir, main page]

CN116348836A - 增强现实中用于交互式游戏控制的手势跟踪 - Google Patents

增强现实中用于交互式游戏控制的手势跟踪 Download PDF

Info

Publication number
CN116348836A
CN116348836A CN202180063710.7A CN202180063710A CN116348836A CN 116348836 A CN116348836 A CN 116348836A CN 202180063710 A CN202180063710 A CN 202180063710A CN 116348836 A CN116348836 A CN 116348836A
Authority
CN
China
Prior art keywords
final
game
hand
virtual
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180063710.7A
Other languages
English (en)
Inventor
伊尔泰里斯·康博克
德米特罗·库彻
德米特罗·霍沃罗夫
阿图尔·锡多兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snape Co
Original Assignee
Snape Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snape Co filed Critical Snape Co
Publication of CN116348836A publication Critical patent/CN116348836A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/46—Computing the game score
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本公开描述了用于在智能眼戴设备的显示器上以增强现实呈现交互式游戏的示例性系统、设备、介质和方法。手部跟踪实用程序基于高清视频数据实时检测和跟踪手势的位置。将该检测到的手势与手势库和特征点进行比较。示例包括同步的多人游戏，其中每个设备检测手势并与其他设备共享手势以用于评估和评分。单玩家示例包括呈现在虚拟滚轴上看起来朝向与对应关键图像的明显碰撞移动的手势形图标，如果玩家的手部位于该明显碰撞附近并且该检测到的手形与该移动的图标匹配则获得分数。

Description

增强现实中用于交互式游戏控制的手势跟踪
相关申请的交叉引用
本申请要求于2020年9月18日提交的美国申请号17/024,800的优先权，该申请的内容全文以引用方式并入本文。
技术领域
本公开中阐述的示例涉及增强现实(AR)和可穿戴电子设备诸如眼戴设备领域。更具体地，但不作为限制，本公开描述了增强现实中手势的实时跟踪和虚拟对象的显示。
背景技术
当今可用的许多类型的计算机和电子设备，诸如移动设备(例如，智能电话、平板电脑和笔记本电脑)、手持式设备和可穿戴设备(例如，智能眼镜、数字眼戴器、头饰、头戴器和头戴式显示器)，包括各种相机、传感器、无线收发器、输入系统(例如，触敏表面、指示器)、外围设备、显示器和图形用户界面(GUI)，用户可通过这些部件与显示内容交互。
增强现实(AR)将物理环境中的现实对象与虚拟对象组合，并将该组合显示给用户。组合显示给出了虚拟对象真实地存在于环境中的印象，尤其是当虚拟对象看起来并且表现得像真实对象一样时。
附图说明
从以下参考附图的具体实施方式中，将容易理解所描述的各种示例的特征。在说明书中和附图的几个视图中，每个元件使用了附图标记。当存在多个相似的元件时，可以给相似的元件指定单个附图标记，通过添加小写字母来指代特定的元件。
除非另外指出，否则附图中所示的各种元件并非按比例绘制的。为了清楚起见，可放大或缩小各个元件的尺寸。若干附图描绘了一个或多个实施例，并且仅作为示例呈现，而不应被解释为限制。附图中包括以下附图：
图1A是适用于游戏控制系统的眼戴设备的示例性硬件配置的侧视图(右)；
图1B是图1A的眼戴设备的右角部的局部横截面透视图，其描绘了右可见光相机和电路板；
图1C是图1A的眼戴设备的示例性硬件配置的侧视图(左)，其示出了左可见光相机；
图1D是图1C的眼戴设备的左角部的局部横截面透视图，其描绘了左可见光相机和电路板；
图2A和图2B是在游戏控制系统中利用的眼戴设备的示例性硬件配置的后视图；
图3是三维场景、由左可见光相机捕获的左原始图像和由右可见光相机捕获的右原始图像的图形描绘；
图4是包括经由各种网络连接的可穿戴设备(例如，眼戴设备)和服务器系统的示例性游戏控制系统的功能框图；
图5是用于图4的游戏控制系统的移动设备的示例性硬件配置的图形表示；
图6是列出以增强现实呈现交互式游戏的示例性方法中的步骤的流程图；
图7A是在预备时间呈现增强现实的显示器上的示例性交互式游戏的透视图；
图7B是在最终时间呈现增强现实的显示器上的图7A的示例性交互式游戏的透视图；
图8A和图8B是以增强现实在显示器上呈现的第二示例性交互式游戏的透视图；并且
图9是列出呈现图8A和图8B的第二示例性交互式游戏的示例性方法中的步骤的流程图。
具体实施方式
参考在电子眼戴设备的显示器上以增强现实呈现的示例性交互式游戏描述了各种实施例和细节。该眼戴设备包括相机、处理器、存储器、手部跟踪实用程序和显示器。该相机被配置为捕获视频数据帧，其中每个视频数据帧包括多个像素的深度信息。存储在该眼戴器上的存储器中的游戏应用，在一个示例中为交互式游戏，被配置为在所述显示器上建立游戏区域的位置处呈现游戏时钟。该游戏区域作为相对于周围物理环境的叠层是持续可见的，而与该眼戴器的移动无关。该游戏时钟被配置为从开始时间到最终时间的增量。通过使用手部跟踪实用程序，游戏应用在视频数据帧中检测与游戏时钟上的最终时间相关联的最终手形。游戏应用基于检测到的最终手形在显示器上呈现最终虚拟游戏卡片。该最终虚拟游戏卡片被无线广播到附近的设备，包括对手设备。游戏应用检测到对立的最终虚拟游戏卡片，该卡片可以显示或不显示在用户的显示器上。游戏应用在显示器上呈现基于最终虚拟游戏卡片相对于对立的最终虚拟游戏卡片的游戏得分。
在相关的示例性交互式游戏中，游戏应用在显示器上的评分位置处呈现关键图像。游戏应用呈现看起来从远侧位置朝向关键图像移动的图标。通过使用手部跟踪实用程序，游戏应用在视频数据帧中检测与游戏时钟上的最终时间相关联的最终手形和最终手位置。最终时间与移动的图标和关键图像之间的明显碰撞相关联。在发生明显碰撞的最终时间，游戏应用确定(a)检测到的最终手部位置是否为相对于明显碰撞匹配的位置，以及(b)检测到的最终手形是否为相对于关键图像匹配的形状。如果满足两个条件，则游戏应用递增地增加游戏得分。
尽管本文参考呈现交互式游戏描述了各种系统和方法，但是所述的技术可应用于引导其他种类的对象或器械的操纵，诸如手持式手术装置、手持工具、待组装的部件、键盘和小键盘之类的输入部件等。
以下具体实施方式包括说明本公开中阐述的示例的系统、方法、技术、指令序列和计算机器程序产品。出于提供对所公开的主题及其相关教导内容的透彻理解的目的而包括许多细节和示例。然而，相关领域的技术人员能够理解如何在没有此类细节的情况下应用相关教导内容。所公开的主题的各方面不限于所描述的特定设备、系统和方法，因为相关教导内容可以以各种方式来应用或实践。本文中所使用的术语和命名仅仅是为了描述特定方面并非旨在进行限制。通常，公知的指令实例、协议、结构和技术不一定被详细示出。
本文中所使用的术语“耦接”或“连接”指的是任何逻辑、光学、物理或电连接，包括链路等，由一个系统元件产生或提供的电或磁信号通过这些连接传递到另一耦接或连接的系统元件。除非另外描述，否则耦接或连接的元件或设备不一定直接彼此连接，并且可以由中间组件、元件或通信介质隔开，中间组件、元件或通信介质中的一者或多者可修改、操纵或承载电信号。术语“上”是指由元件直接支撑或通过另一元件由元件间接支撑，该另一元件集成到元件中或由元件支撑。
术语“近侧”用于描述位于对象或人附近、左近或旁边的物品或物品的一部分；或者相对于该物品的其他部分更近，其他部分可以被描述为“远侧”。例如，在最靠近对象的物品端部可以被称为近侧端部，而大致对立的端部可以被称为远侧端部。
出于说明和讨论的目的，仅以示例的方式给出了诸如附图中的任一附图所示的眼戴设备、其他移动设备、相关联部件和结合了相机、惯性测量单元或两者的任何其他设备的朝向。在操作中，眼戴设备可以朝向适合于眼戴设备的特定应用的任何其他方向，例如，向上、向下、侧向或任何其他方向。此外，就本文所用的范围而言，任何方向性术语，诸如前、后、内、外、向、左、右、侧向、纵向、上、下、高、低、顶部、底部、侧面、水平、垂直和对角线，仅以示例的方式使用，并且不限制如本文所构造或另外描述的任何相机或惯性测量单元的方向或朝向。
高级AR技术，诸如计算机视觉和对象追踪，可用于生成一种感知丰富和沉浸式的体验。计算机视觉算法从数字图像或视频中捕获的数据中提取关于物理世界的三维数据。对象识别和追踪算法用于检测数字图像或视频中的对象，估计其方向或姿态，并且追踪其随时间的移动。实时的手和手指识别与跟踪是计算机视觉领域中最具挑战性和处理密集型的任务之一。
术语“姿态”是指对象在某一时刻的静态位置和方向。术语“手势”是指对象诸如手通过一系列姿态的主动移动，有时是快速连续的(例如，挥动、捏)以传达信号或想法。术语“姿态”和“手势”有时在计算机视觉和增强现实的领域中可互换地使用。如本文所用，术语“姿态”或“手势”(或它们的变形)旨在包括姿态和手势两者；换句话说，使用一个术语并不排除另一个术语。
示例的其他目的、优点和新颖特征将部分地在以下具体实施方式中阐述，并且部分地在本领域技术人员检查以下内容和附图后将变得显而易见，或者可通过生产或操作示例来了解。本主题的目的和优点可借助于所附权利要求书中特别指出的方法、手段和组合来实现和达成。
现在详细参考附图所示和下文所讨论的示例。
图1A是包括触敏输入设备或触摸板181的眼戴设备100的示例性硬件配置的侧视图(右)。如图所示，触摸板181可具有细微且不易看到的边界；另选地，边界可清楚可见或包括向用户提供关于触摸板181的位置和边界的反馈的凸起或以其他方式可触知的边缘。在其他实施例中，眼戴设备100可包括在左侧的触摸板。
触摸板181的表面被配置为检测手指触摸、轻击和手势(例如，移动触摸)，以便与眼戴设备在图像显示器上显示的GUI一起使用，从而允许用户以直观的方式浏览并选择菜单选项，这改善并简化了用户体验。
对触摸板181上的手指输入的检测可实现若干功能。例如，触摸触摸板181上的任何地方都可使GUI在图像显示器上显示或突出显示项目，该项目可被投影到光学组件180A、180B中的至少一者上。在触摸板181上双击可选择项目或图标。在特定方向上(例如，从前到后、从后到前、从上到下或从下到上)滑动或轻扫手指可使项目或图标在特定方向上滑动或滚动；例如，以移动到下一项目、图标、视频、图像、页面或幻灯片。在另一方向上滑动手指可以在相反方向上滑动或滚动；例如，以移动到前一项目、图标、视频、图像、页面或幻灯片。触摸板181实际上可以在眼戴设备100上的任何地方。
在一个示例中，在触摸板181上单击的所识别的手指手势，发起对呈现在光学组件180A、180B的图像显示器上的图像中的图形用户界面元素的选择或按压。基于所识别的手指手势对呈现在光学组件180A、180B的图像显示器上的图像的调整可以是在光学组件180A、180B的图像显示器上选择或提交图形用户界面元素以用于进一步显示或执行的主要动作。
如图所示，眼戴设备100包括右可见光相机114B。如本文进一步描述，两个相机114A、114B从两个单独视点捕获场景的图像信息。两个所捕获的图像可用于将三维显示投影到图像显示器上以利用3D眼镜进行观看。
眼戴设备100包括右光学组件180B，其具有图像显示器以呈现图像，诸如深度图像。如图1A和图1B所示，眼戴设备100包括右可见光相机114B。眼戴设备100可包括多个可见光相机114A、114B，其形成被动式三维相机，诸如立体相机，其中右可见光相机114B位于右角部110B。如图1C-D所示，眼戴设备100还包括左可见光相机114A。
左和右可见光相机114A、114B对可见光范围波长敏感。可见光相机114A、114B中的每一者具有不同的前向视场，这些视场重叠以使得能够生成三维深度图像，例如，右可见光相机114B描绘右视场111B。通常，“视场”是通过相机在空间中的特定位置和方向上可见的场景的一部分。视场111A和111B具有重叠视场304(图3)。当可见光相机捕获图像时，视场111A、111B之外的对象或对象特征未被记录在原始图像(例如，照片或图片)中。视场描述了可见光相机114A、114B的图像传感器在给定场景的所捕获的图像中拾取给定场景的电磁辐射的角度范围或幅度。视场可以被表示为视锥的角度大小；即视角。视角可以水平、垂直或对角地测量。
在示例性配置中，可见光相机114A、114B中的一个或两个具有100°的视场和480×480像素的分辨率。“覆盖角度”描述了可有效成像的可见光相机114A、114B或红外相机410(见图2A)的镜头的角度范围。通常，相机镜头产生大到足以完全覆盖相机的胶片或传感器的成像圈，可能包括某种渐晕(例如，与中心相比，图像朝向边缘变暗)。如果相机镜头的覆盖角度未遍及传感器，则成像圈将是可见的，通常具有朝向边缘的强渐晕，并且有效视角将限于覆盖角度。
此类可见光相机114A、114B的示例包括高分辨率互补金属氧化物半导体(CMOS)图像传感器和能够具有640p(例如，640×480像素，总共0.3兆像素)、720p或1080p的分辨率的数字VGA相机(视频图形阵列)。可见光相机114A、114B的其他示例，其可捕获高清晰度(HD)静止图像且以1642×1642像素(或更大)的分辨率存储这些图像；或者以高帧率(例如，每秒三十至六十帧或更多)记录高清晰度视频且以1216×1216像素(或更大)的分辨率存储该记录。
眼戴设备100可捕获来自可见光相机114A、114B的图像传感器数据以及由图像处理器数字化的地理定位数据，以存储在存储器中。可见光相机114A、114B在二维空间域中捕获相应的左原始图像和右原始图像，这些原始图像包括二维坐标系上的像素矩阵，该二维坐标系包括用于水平定位的X轴和用于垂直定位的Y轴。每个像素包括颜色属性值(例如，红色像素光值、绿色像素光值或蓝色像素光值)；和定位属性(例如，X轴坐标和Y轴坐标)。
为了捕获立体图像以用于稍后显示为三维投影，图像处理器412(在图4中示出)可耦接到可见光相机114A、114B以接收并存储视觉图像信息。图像处理器412或另一处理器控制可见光相机114A、114B的操作以充当模拟人类双眼视觉的立体相机，并且可将时间戳添加到每个图像。每对图像上的时间戳允许将图像一起显示为三维投影的一部分。三维投影产生沉浸式逼真体验，这在各种情况下是期望的，包括虚拟现实(VR)和视频游戏的。
图1B是图1A的眼戴设备100的右角部110B的局部横截面透视系统图，其描绘了相机系统的右可见光相机114B和电路板。图1C是图1A的眼戴设备100的示例性硬件配置的侧视图(左)，其示出了相机系统的左可见光相机114A。图1D是图1C的眼戴设备的左角部110A的横截面透视图，其描绘了三维相机的左可见光相机114A和电路板。
除了连接和耦接位于左侧面170A上之外，左可见光相机114A的结构和布置基本上类似于右可见光相机114B。如图1B的示例所示，眼戴设备100包括右可见光相机114B和电路板140B，该电路板可以是柔性印刷电路板(PCB)。右铰链126B将右角部110B连接到眼戴设备100的右镜腿125B。在一些示例中，右可见光相机114B、柔性PCB 140B的部件或其他电连接器或触点可位于右镜腿125B或右铰链126B上。左铰链126A将左角部110A连接到眼戴设备100的左镜腿125A。在一些示例中，左可见光相机114A、柔性PCB 140A的部件或其他电连接器或触点可位于左镜腿125A或左铰链126A上。
右角部110B包括角部体190和角部盖，图1B的横截面中省略了角部盖。设置在右角部110B内部的是各种互连的电路板，诸如PCB或柔性PCB，其包括用于右可见光相机114B的控制器电路、麦克风、低功率无线电路(例如，用于经由BluetoothTM的无线短距离网络通信)、高速无线电路(例如，用于经由Wi-Fi的无线局域网通信)。
右可见光相机114B耦接到或设置在柔性PCB 140B上且由可见光相机覆盖镜头覆盖，该镜头通过形成在框架105中的开口瞄准。例如，框架105的右边缘107B，如图2A所示，连接到右角部110B并且包括用于可见光相机覆盖镜头的开口。框架105包括被配置为面向外且远离用户的眼睛的前侧。用于可见光相机覆盖镜头的开口形成在框架105的前向或外向侧面上并穿过该前向或外向侧面。在示例中，右可见光相机114B具有面向外的视场111B(图3所示)，其视线或视角与眼戴设备100的用户的右眼相关。可见光相机覆盖镜头也可粘附到右角部110B的前侧或面向外的表面，其中开口形成有面向外的覆盖角度，但在不同的向外方向上。耦接也可经由居间部件间接实现。
如图1B所示，柔性PCB 140B设置在右角部110B内，并且耦接到容纳在右角部110B中的一个或多个其他部件。尽管示出为形成在右角部110B的电路板上，但是右可见光相机114B可形成在左角部110A、镜腿125A、125B或框架105的电路板上。
图2A和图2B是包括两种不同类型的图像显示器的眼戴设备100的示例性硬件配置的后透视图。眼戴设备100的尺寸和形状被设计成被配置为供用户佩戴的形式；在该示例中为眼镜的形式。眼戴设备100可采取其他形式并且可结合其他类型的框架，例如，头戴器、头戴式耳机或头盔。
在眼镜的示例中，眼戴设备100包括框架105，其包括经由适于由用户的鼻部支撑的鼻梁架106连接到右边缘107B的左边缘107A。左和右边缘107A、107B包括相应的孔口175A、175B，这些孔口保持相应的光学元件180A、180B，诸如镜头和显示设备。如本文所用，术语“镜头”旨在包括透明或半透明玻璃或塑料片，其具有弯曲或平坦表面，使光会聚/发散或几乎或完全不引起会聚或发散。
虽然被示出为具有两个光学元件180A、180B，但是眼戴设备100可包括其他布置，诸如单个光学元件(或者其可不包括任何光学元件180A、180B)，这取决于眼戴设备100的应用或预期用户。如进一步所示，眼戴设备100包括与框架105的左侧面170A相邻的左角部110A以及与框架105的右侧面170B相邻的右角部110B。角部110A、110B可在相应的侧面170A、170B上集成到框架105中(如图所示)或实施为在相应的侧面170A、170B上附接到框架105的单独部件。另选地，角部110A、110B可集成到附接到框架105的镜腿(未示出)中。
在一个示例中，光学组件180A、180B的图像显示器包括集成的图像显示器。如图2A所示，每个光学组件180A、180B包括合适的显示矩阵177，诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器或任何其他此类显示器。每个光学组件180A、180B还包括一个或多个光学层176，其可以包括镜头、光学涂层、棱镜、反射镜、波导、光学条带和其他任何组合的光学部件。光学层176A、176B、…、176N(在图2A中示出为176A-N)可包括棱镜，该棱镜具有合适的尺寸和构造并包括用于接收来自显示矩阵的光的第一表面和用于向用户的眼睛发射光的第二表面。光学层176A-N的棱镜在形成在左和右边缘107A、107B中的相应的孔口175A、175B的全部或至少一部分上方延伸，以在用户的眼睛透过对应的左和右边缘107A、107B观看时允许用户看到棱镜的第二表面。光学层176A-N的棱镜的第一表面从框架105朝向向上，并且显示矩阵177覆盖在棱镜上，使得由显示矩阵177发射的光子和光照射在第一表面上。棱镜的尺寸和形状被设计成使得光在棱镜内被折射并且被光学层176A-N的棱镜的第二表面导向用户的眼睛。在这一点而言，光学层176A-N的棱镜的第二表面可以是凸形的以将光导向眼睛的中心。棱镜的尺寸和形状可任选地被设计成放大由显示矩阵177投影的图像，并且光行进穿过棱镜，使得从第二表面观察的图像在一个或多个维度上大于从显示矩阵177发射的图像。
在一个示例中，光学层176A-N可包括透明的LCD层(保持镜头打开)，除非且直到施加使该层不透明(关闭或遮挡镜头)的电压。眼戴设备100上的图像处理器412可执行程序以将电压施加到LCD层，以便产生主动式快门系统，从而使得眼戴设备100适于观看被显示为三维投影的视觉内容。除了LCD之外的技术可用于主动式快门模式，包括响应于电压或另一类型的输入的其他类型的反应层。
在另一示例中，光学组件180A、180B的图像显示设备包括如图2B所示的投影图像显示器。图2B的横截面中省略了电子外壳盖。每个光学组件180A、180B包括激光投影仪150，其是使用扫描镜或检流计的三色激光投影仪。在操作期间，光源诸如激光投影仪150设置在眼戴设备100的镜腿125A、125B中的一个镜腿之中或之上。在该示例中，光学组件180B包括一个或多个光学条带155A、155B、…155N(在图2B中示出为155A-N)，其在每个光学组件180A、180B的镜头的宽度上，或者在镜头的前表面和后表面之间的镜头的深度上间隔开。
当由激光投影仪150投影的光子行进穿过每个光学组件180A、180B的镜头时，光子遇到光学条带155A-N。当特定光子遇到特定光学条带时，光子要么朝向用户的眼睛重定向，要么传递到下一光学条带。激光投影仪150的调制和光学条带的调制的组合可控制特定的光子或光束。在示例中，处理器通过发出机械、声学或电磁信号来控制光学条带155A-N。虽然被示出为具有两个光学组件180A、180B，但是眼戴设备100可包括其他布置，诸如单个或三个光学组件，或者每个光学组件180A、180B可被布置有不同的布置，这取决于眼戴设备100的应用或预期用户。
如图2A和图2B进一步所示，眼戴设备100包括与框架105的左侧面170A相邻的左角部110A以及与框架105的右侧面170B相邻的右角部110B。角部110A、110B可在相应的侧面170A、170B上集成到框架105中(如图所示)或实施为在相应的侧面170A、170B上附接到框架105的单独部件。另选地，角部110A、110B可集成到附接到框架105的镜腿125A、125B中。
在另一示例中，图2B中示出的眼戴设备100可包括两个投影仪，左投影仪150A(未示出)和右投影仪150B(示出为投影仪150)。左光学组件180A可包括左显示矩阵177A(未示出)或左光学条带155'A、155'B、…、155'N(155撇，A至N，未示出)，其被配置为与来自左投影仪150A的光交互。类似地，右光学组件180B可包括右显示矩阵177B(未示出)或右光学条155”A、155”B、…、155”N(155双撇，A至N，未示出)，其被配置为与来自右投影仪150B的光交互。在该示例中，眼戴设备100包括左显示器和右显示器。
图3是三维场景306、由左可见光相机114A捕获的左原始图像302A和由右可见光相机114B捕获的右原始图像302B的图形描绘。如图所示，左视场111A可与右视场111B重叠。重叠视场304表示由图像中两个相机114A、114B捕获的部分。术语“重叠”在涉及视场时意味着所生成的原始图像中的像素矩阵重叠百分之三十(30％)或更多。“基本上重叠”意味着所生成的原始图像中的像素矩阵或场景的红外图像中的像素矩阵重叠百分之五十(50％)或更多。如本文所述，两个原始图像302A、302B可被处理为包括时间戳，该时间戳允许将图像一起显示为三维投影的一部分。
为了捕获立体图像，如图3所示，在给定时刻捕获真实场景306的一对原始红绿蓝(RGB)图像-由左相机114A捕获的左原始图像302A和由右相机114B捕获的右原始图像302B。当(例如，由图像处理器412)处理该对原始图像302A、302B时，生成深度图像。所生成的深度图像可在眼戴设备的光学组件180A、180B上、在另一显示器(例如，移动设备401上的图像显示器580)上、或在屏幕上查看。
所生成的深度图像在三维空间域中，并且可包括三维位置坐标系上的顶点矩阵，该三维位置坐标系包括用于水平定位(例如，长度)的X轴、用于垂直定位(例如，高度)的Y轴和用于深度(例如，距离)的Z轴。每个顶点可包括颜色属性(例如，红色像素光值、绿色像素光值或蓝色像素光值)；定位属性(例如，X位置坐标、Y位置坐标和Z位置坐标)；纹理属性；反射率属性；或它们的组合。纹理属性量化深度图像的感知纹理，诸如深度图像的顶点区域中的颜色或强度的空间布置。
在一个示例中，游戏控制系统400(图4)包括眼戴设备100，其包括框架105、从框架105的左侧面170A延伸的左镜腿125A、以及从框架105的右侧面170B延伸的右镜腿125B。眼戴设备100可进一步包括具有重叠的视场的至少两个可见光相机114A、114B。在一个示例中，眼戴设备100包括具有左视场111A的左可见光相机114A，如图3所示。左相机114A连接到框架105或左镜腿125A以从场景306的左侧捕获左原始图像302A。眼戴设备100进一步包括具有右视场111B的右可见光相机114B。右相机114B连接到框架105或右镜腿125B以从场景306的右侧捕获右原始图像302B。
图4是示例性游戏控制系统400的功能框图，该系统包括经由各种网络495诸如因特网连接的可穿戴设备(例如，眼戴设备100)、移动设备401和服务器系统498。游戏控制系统400包括眼戴设备100与移动设备401之间的低功率无线连接425和高速无线连接437。
如图4所示，如本文所述，眼戴设备100包括一个或多个可见光相机114A、114B，它们捕获静止图像、视频图像或静止图像和视频图像两者。相机114A、114B可具有对高速电路430的直接存储器访问(DMA)并且用作立体相机。相机114A、114B可用于捕获初始深度图像，这些初始深度图像可被渲染成三维(3D)模型，这些三维模型是红绿蓝(RGB)成像场景的纹理映射图像。设备100还可包括深度传感器213，其使用红外信号来估计对象相对于设备100的定位。在一些示例中，深度传感器213包括一个或多个红外发射器215和红外相机410。
眼戴设备100进一步包括每个光学组件180A、180B的两个图像显示器(一个与左侧面170A相关联，一个与右侧面170B相关联)。眼戴设备100还包括图像显示驱动器442、图像处理器412、低功率电路420和高速电路430。每个光学组件180A、180B的图像显示器用于呈现图像，包括静止图像、视频图像、或静止和视频图像。图像显示驱动器442耦接到每个光学组件180A、180B的图像显示器，以便控制图像的显示。
眼戴设备100还包括一个或多个扬声器440(例如，一个与眼戴设备的左侧相关联，另一个与眼戴设备的右侧相关联)。扬声器440可合并到眼戴设备100的框架105、镜腿125或角部110中。一个或多个扬声器440由音频处理器443在低功率电路420、高速电路430或两者的控制下驱动。扬声器440用于呈现音频信号，包括例如节拍音轨。音频处理器443耦接到扬声器440以便控制声音的呈现。
图4所示的用于眼戴设备100的部件位于一个或多个电路板上，例如，位于边缘或镜腿中的印刷电路板(PCB)或柔性印刷电路(FPC)。另选地或附加地，所描绘的部件可位于眼戴设备100的角部、框架、铰链或鼻梁架中。左和右可见光相机114A、114B可包括数字相机元件，诸如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件、镜头、或可用于捕获数据的任何其他相应的可见或光捕获元件，该数据包括具有未知对象的场景的静止图像或视频。
如图4所示，高速电路430包括高速处理器432、存储器434和高速无线电路436。在该示例中，图像显示驱动器442耦接到高速电路430并且由高速处理器432操作，以便驱动每个光学组件180A、180B的左和右图像显示器。高速处理器432可以是能够管理眼戴设备100所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器432包括使用高速无线电路436来管理到无线局域网(WLAN)的高速无线连接437上的高速数据传输所需的处理资源。
在一些示例中，高速处理器432执行操作系统，诸如LINUX操作系统或眼戴设备100的其他此类操作系统，并且操作系统被存储在存储器434中以供执行。除了任何其他职责之外，执行眼戴设备100的软件架构的高速处理器432还用于管理利用高速无线电路436的数据传输。在一些示例中，高速无线电路436被配置为实施电气和电子工程师协会(IEEE)802.11通信标准，本文中也称为Wi-Fi。在其他示例中，高速无线电路436可实施其他高速通信标准。
低功率电路420包括低功率处理器422和低功率无线电路424。眼戴设备100的低功率无线电路424和高速无线电路436可包括短距离收发器(BluetoothTM或蓝牙低功耗(BLE))和无线广域网、局域网或广域网收发器(例如，蜂窝或Wi-Fi)。移动设备401，包括经由低功率无线连接425和高速无线连接437通信的收发器，可像网络495的其他元件一样，使用眼戴设备100的架构的细节来实施。
存储器434包括能够存储各种数据和应用的任何存储设备，所述数据包括由左和右可见光相机114A、114B、红外相机410、图像处理器412生成的相机数据、以及由图像显示驱动器442生成以在每个光学组件180A、180B的图像显示器上显示的图像。虽然存储器434被示出为与高速电路430集成，但在其他示例中，存储器434可以是眼戴设备100的单独的独立元件。在某些此类示例中，电气布线线路可提供从图像处理器412或低功率处理器422通过包括高速处理器432的芯片到存储器434的连接。在其他示例中，高速处理器432可管理存储器434的寻址，使得低功率处理器422将在需要涉及存储器434的读或写操作的任何时间启动高速处理器432。
如图4所示，眼戴设备100的高速处理器432可耦接到相机系统(可见光相机114A、114B)、图像显示器驱动器442、用户输入设备491和存储器434。如图5所示，移动设备401的CPU 530可耦接到相机系统570、移动显示驱动器582、用户输入层591和存储器540A。
服务器系统498可以是作为服务或网络计算系统的一部分的一个或多个计算设备，例如包括处理器、存储器和网络通信接口以通过网络495与眼戴设备100和移动设备401通信。
眼戴设备100的输出部件包括视觉元件，诸如与每个镜头或光学组件180A、180B相关联的左和右图像显示器，如图2A和图2B所述(例如，显示器，诸如液晶显示器(LCD)、等离子体显示面板(PDP)、发光二极管(LED)显示器、投影仪或波导)。眼戴设备100可包括面向用户的指示器(例如，LED、扬声器或振动致动器)，或面向外的信号(例如，LED、扬声器)。每个光学组件180A、180B的图像显示器由图像显示驱动器442驱动。在一些示例性配置中，眼戴设备100的输出部件进一步包括附加指示器，诸如可听元件(例如，扬声器)、触觉部件(例如，致动器，诸如用于生成触觉反馈的振动马达)和其他信号生成器。例如，设备100可包括面向用户的一组指示器和面向外的一组信号。面向用户的一组指示器被配置为由设备100的用户看到或以其他方式感知到。例如，设备100可包括被定位成使得用户可以看见它的LED显示器、被定位成生成用户可以听到的声音的一个或多个扬声器、或者提供用户可以感觉到的触觉反馈的致动器。面向外的一组信号被配置为由设备100附近的观察者看到或以其他方式感知到。类似地，设备100可包括被配置和定位成由观察者感知到的LED、扬声器或致动器。
眼戴设备100的输入部件可包括字母数字输入部件(例如，被配置为接收字母数字输入的触摸屏或触摸板、摄影光学键盘或其他字母数字配置的元件)、基于点的输部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指点仪器)、触觉输入部件(例如，按钮开关、感测触摸或触摸手势的位置、力或位置和力的触摸屏或触摸板，或其他触觉配置的元件)和音频输入部件(例如，麦克风)等。移动设备401和服务器系统498可包括字母数字、基于点、触觉、音频和其他输入部件。
在一些示例中，眼戴设备100包括被称为惯性测量单元472的运动感测部件的集合。运动感测部件可以是具有微观移动部件的微机电系统(MEMS)，这些微观移动部件通常足够小以成为微芯片的一部分。在一些示例性配置中，惯性测量单元(IMU)472包括加速度计、陀螺仪和磁力计。加速度计可感测设备100相对于三个正交轴(x、y、z)的线性加速度(包括由于重力而引起的加速度)。陀螺仪可感测设备100绕三个旋转轴(俯仰、滚转、偏航)的角速度。加速度计和陀螺仪可一起提供关于设备相对于六个轴(x、y、z、俯仰、滚转、偏航)的定位、定向和运动数据。如果存在磁力计，则磁力计感测设备100相对于磁北极的方向。设备100的定位可以由位置传感器诸如GPS单元473、用于生成相对定位坐标的一个或多个收发器、高度传感器或气压计和其他定向传感器来确定。还可经由低功率无线电路424或高速无线电路436从移动设备401通过无线连接425和437接收此类定位系统坐标。
IMU 472可包括数字运动处理器或程序，或者与数字运动处理器或程序协作，该数字运动处理器或程序从部件采集原始数据，并且计算关于设备100的定位、定向和运动的多个有用值。例如，从加速度计采集的加速度数据可被积分以获得相对于每个轴(x、y、z)的速度；并再次被积分以获得设备100的定位(以线性坐标x、y和z表示)。来自陀螺仪的角速度数据可被积分以获得设备100的定位(以球面坐标表示)。用于计算这些有效值的程序可存储在存储器434中并且由眼戴设备100的高速处理器432执行。
眼戴设备100可以可选地包括附加的外围传感器，诸如与眼戴设备100集成的生物计量传感器、特性传感器或显示元件。例如，外围设备元件可包括任何I/O部件，包括输出部件、运动部件、定位部件或本文所述的任何其他此类元件。例如，生物计量传感器可包括检测表情(例如，手势、面部表情、声音表达、身体姿势或眼睛追踪)、测量生物信号(例如，血压、心率、体温、出汗或脑电波)或识别人(例如，基于语音、视网膜、面部特征、指纹或电生物信号诸如脑电图数据的识别)等的部件。
移动设备401可以是智能电话、平板电脑、笔记本电脑、接入点或能够使用低功率无线连接425和高速无线连接437两者与眼戴设备100连接的任何其他此类设备。移动设备401连接到服务器系统498和网络495。网络495可包括有线和无线连接的任何组合。
如图4所示，游戏控制系统400包括通过网络耦接到眼戴设备100的计算设备，诸如移动设备401。游戏控制系统400包括用于存储指令的存储器和用于执行指令的处理器。由处理器432执行游戏控制系统400的指令将眼戴设备100配置为与移动设备401协作。游戏控制系统400可利用眼戴设备100的存储器434或移动设备401的存储器元件540A、540B、540C(图5)。此外，游戏控制系统400可利用眼戴设备100的处理器元件432、422或移动设备401的中央处理器(CPU)530(图5)。另外，游戏控制系统400可进一步利用服务器系统498的存储器和处理器元件。在这个方面，游戏控制系统400的存储器和处理功能可以跨眼戴设备100、移动设备401和服务器系统498共享或分布。
在一些示例性实施例中，存储器434包括或耦接到游戏规则480、一组虚拟游戏卡片482、关键图像484、图标486和手势库488。游戏规则480包括用于进行游戏、呈现游戏卡片和对结果进行评分的一系列规则。虚拟游戏卡片482包括从虚拟对象库或数据库中选择的一个或多个虚拟对象。虚拟游戏卡片482被设计成当被再现和呈现在显示器上时表示三维游戏卡片。如本文所述，关键图像484可对应于虚拟游戏卡片482中的一者。图标486与关键图像484相关，并且如本文所述，尺寸和形状被设计成表现为沿着虚拟滚轴移动。
手势库488包括大量姿态和手势，其中手部处于各种位置和定向。所存储的姿态和手势适于与在图像中检测到的手形进行比较。库488包括从腕部到指尖的大量特征点的三维坐标。例如，存储在库488中的手势记录可包括手势标识符(例如，握紧的拳头、张开的手掌、放松的手、抓持对象、捏合、伸展)、视点或方向参考(例如，手掌侧可见、手背侧、外侧)以及关于定向的其他信息，连同手腕、十五个指节间关节、五个指尖以及其他骨骼或软组织标志的三维坐标。从库488中选择候选手势的过程涉及将检测到的手形与存储在库488中的每个手势进行比较，直到找到良好匹配。
存储器434另外包括供处理器432执行的游戏应用910、手部跟踪实用程序915和虚拟对象渲染实用程序920。如本文所述，游戏应用910包括用于进行游戏或任务、用于在显示器上呈现元素、用于与其他设备通信以及用于对游戏或任务进行评分的指令。手部跟踪实用程序915将处理器432配置为检测静止图像或视频片段帧中的手形，并跟踪后续帧中手形的运动。虚拟对象渲染实用程序920将处理器432配置为在图像显示器驱动器442和图像处理器412的控制下，渲染用于呈现在显示器诸如光学组件180A、180B中的一者或两者上的虚拟对象诸如虚拟游戏卡片482。
图5是示例性移动设备401的高级功能框图。移动设备401包括闪存存储器540A，其存储要由CPU 530执行以执行本文所述的所有功能或功能子集的程序。
移动设备401可包括相机570，其包括至少两个可见光相机(具有重叠的视场的第一和第二可见光相机)或具有基本上重叠的视场的至少一个可见光相机和深度传感器。闪存存储器540A可进一步包括经由相机570生成的多个图像或视频。
如图所示，移动设备401包括图像显示器580、控制图像显示器580的移动显示驱动器582和显示控制器584。在图5的示例中，图像显示器580包括用户输入层591(例如，触摸屏)，其层叠在由图像显示器580使用的屏幕的顶部上或以其他方式集成到该屏幕中。
可使用的触摸屏式的移动设备的示例包括(但不限于)智能电话、个人数字助理(PDA)、平板计算机、笔记本电脑或其他便携式设备。然而，触摸屏式的设备的结构和操作是以示例的方式提供的；如本文所述的主题技术并不旨在局限于此。为了便于讨论，图5因此提供了具有用户界面的示例性移动设备401的框图图示，该用户界面包括用于接收输入(通过手、触笔或其他工具的触摸、多点触摸或手势等)的触摸屏输入层891和用于显示内容的图像显示器580。
如图5所示，移动设备401包括用于经由广域无线移动通信网络进行数字无线通信的至少一个数字收发器(XCVR)510，示出为WWAN XCVR。移动设备401还包括附加的数字或模拟收发器，诸如用于诸如经由NFC、VLC、DECT、ZigBee、BluetoothTM或Wi-Fi进行短距离网络通信的短距离收发器(XCVR)520。例如，短距离XCVR 520可采取与在无线局域网中实施的一个或多个标准通信协议诸如符合IEEE 802.11的Wi-Fi标准中的一者兼容的类型的任何可用双向无线局域网(WLAN)收发器的形式。
为了生成用于定位移动设备401的位置坐标，移动设备401可包括全球定位系统(GPS)接收器。另选地或附加地，移动设备401可利用短距离XCVR 520和WWAN XCVR 510中的任一者或两者来生成用于定位的位置坐标。例如，基于蜂窝网络、Wi-Fi或BluetoothTM的定位系统可生成非常准确的位置坐标，尤其是当它们组合使用时。此类位置坐标可经由XCVR510、520通过一个或多个网络连接传输到眼戴设备。
收发器510、520(即，网络通信接口)符合现代移动网络所利用的各种数字无线通信标准中的一个或多个标准。WWAN收发器510的示例包括(但不限于)被配置为根据码分多址(CDMA)和第3代合作伙伴计划(3GPP)网络技术操作的收发器，所述技术包括例如但不限于3GPP类型2(或3GPP2)和LTE，有时被称为“4G”。例如，收发器510、520提供信息的双向无线通信，所述信息包括数字化音频信号、静止图像和视频信号、用于显示的网页信息以及web相关输入，以及去往/来自移动设备401的各种类型的移动消息通信。
移动设备401还包括用作中央处理单元(CPU)的微处理器；如图4中的CPU 530所示。处理器是具有被构造并布置成执行一个或多个处理功能通常是各种数据处理功能的元件的电路。尽管可使用分立的逻辑部件，但是这些示例利用形成可编程CPU的部件。微处理器例如包括一个或多个集成电路(IC)芯片，其结合了执行CPU的功能的电子元件。例如，CPU530可基于任何已知或可用的微处理器架构，诸如使用ARM架构的精简指令集计算(RISC)，正如现今在移动设备和其他便携式电子设备中通常使用的。当然，处理器电路的其他布置可用于形成智能电话、笔记本电脑和平板电脑中的CPU 530或处理器硬件。
通过将移动设备401配置为例如根据CPU 530可执行的指令或程序来执行各种操作，CPU 530用作移动设备401的可编程主机控制器。例如，此类操作可包括移动设备的各种一般操作，以及与用于移动设备上的应用的程序相关的操作。尽管处理器可使用硬连线逻辑来配置，但是移动设备中的典型处理器是通过执行程序来配置的通用处理电路。
移动设备401包括用于存储程序和数据的存储器或存储系统。在示例中，存储器系统可根据需要包括闪存存储器540A、随机存取存储器(RAM)540B和其他存储器部件540C。RAM 540B用作由CPU 530处理的指令和数据的短期存储装置，例如，用作工作数据处理存储器。闪存存储器540A通常提供长期存储。
因此，在移动设备401的示例中，闪存存储器540A用于存储由CPU 530执行的程序或指令。根据设备的类型，移动设备401存储并运行移动操作系统，特定应用通过该移动操作系统执行。移动操作系统的示例包括Google Android、Apple iOS(用于iPhone或iPad设备)、Windows Mobile、Amazon Fire OS、RIM BlackBerry OS等。
眼戴设备100内的处理器432可构建眼戴设备100周围的环境的地图，确定眼戴设备在映射的环境内的位置，并且确定眼戴设备相对于映射的环境中的一个或多个对象的相对定位。处理器432可构建地图，并且使用应用于从一个或多个传感器接收的数据的即时定位与地图构建(SLAM)算法来确定位置和定位信息。在增强现实的情况下，SLAM算法用于构建并更新环境的地图，同时追踪并更新设备(或用户)在映射的环境中的位置。数学解可使用各种统计方法来近似，诸如粒子滤波、卡尔曼滤波、扩展卡尔曼滤波和协方差交集。
传感器数据包括从相机114A、114B中的一者或两者接收的图像、从激光测距仪接收的距离、从GPS单元473接收的定位信息、或两个或更多个此类传感器数据的组合，或来自提供用于确定定位信息的数据的其他传感器的数据。
图6是列出以增强现实呈现交互式游戏的示例性方法中的步骤的流程图650。尽管如本文所述，参考眼戴设备100描述了这些步骤，但是本领域技术人员根据本文的描述将理解所描述的步骤针对其他类型的可穿戴移动设备的其他实施例。另外，可以设想，在附图中示出并且在本文中描述的一个或多个步骤可省略、同时或依序执行、以不同于所示和所述的次序执行、或结合附加步骤执行。
参考包括处理器432、存储器434、手部跟踪实用程序915和显示器180A、180B的眼戴设备100来描述这些步骤。与一些示例性实施例方式的方面一致，眼戴设备100启动并运行游戏应用910、手部跟踪实用程序915和虚拟对象渲染实用程序920。游戏应用910包括引导眼戴器处理器执行流程图650中描述的步骤、根据特定任务的需要访问手部跟踪实用程序915和虚拟对象渲染实用程序920的程序。
在框652处，处理器432利用耦接到眼戴设备100或作为其一部分的相机114A、114B来捕获视频数据帧。在一些实施例中，相机114A、114B包括一个或多个高分辨率数字相机，其配备有能够捕获高清晰度静止图像和高清晰度视频的CMOS图像传感器。每个数字视频帧包括图像中的多个像素的深度信息。在这个方面，相机114A、114B通过捕获环境的详细输入图像而用作高清晰度扫描仪。在一些实施例中，相机114A、114B包括一对高分辨率数字相机114A、114B，它们耦接到眼戴设备100并间隔开以获取左相机原始图像和右相机原始图像。当被组合时，原始图像形成包括三维像素位置矩阵的输入图像。在一些实施例方式中，在步骤802处，该方法包括将捕获到的一系列视频数据帧至少暂时地存储在眼戴设备100上的存储器434中，使得这些帧可用于分析；例如用于检测手形并跟踪它们的移动。
在框654处，处理器432在眼戴设备100的显示器上呈现游戏时钟702。在一些实施例中，游戏时钟702呈现在显示器上建立用于交互式游戏的游戏区域700的位置处。图像处理器412和图像显示驱动器442被用于在显示器上呈现游戏时钟702，在该示例中，该显示器为眼戴设备100的光学组件180A、180B中的一者或两者。在一个示例性实施例中，右镜头(右光学组件180B)包括右显示矩阵177B，其被配置为与来自右投影仪150B的光交互，该右投影仪被定位成将图像投影到镜头180B的内表面上。
如图7A所示，在显示器180A、180B的上部中央位置呈现了示出预备时间702a的游戏时钟。如本文所述的游戏时钟702、游戏得分704和虚拟游戏卡片710、720作为相对于物理环境600的叠层在显示器上保持持久可见。换句话说，无论眼戴器100或用户的手602如何移动，游戏区域700的那些元素都不会相对于显示器移动。游戏时钟702被配置为从游戏开始时的开始时间702a到当评估最终虚拟游戏卡片710b、720b以确定游戏得分704时的最终时间702b的增量。
在框656处，处理器432使用手部跟踪实用程序915分析视频帧，并检测与游戏时钟702上的最终时间702b相关联的最终手形602b。手部跟踪实用程序915可检测一个或多个预备手形，如本文所述；然而，在最终时间702b或其附近检测到的最终手形602b在确定游戏得分704中是最有用的。该检测不需要精确地在最终时间702b发生。如图7B所示，最终时间702b为零，并且最终手形602b为平坦或张开的手，如图所示，手指伸展。
在框656处，处理器432在显示器上呈现最终虚拟游戏卡片710b，其基于检测到的最终手形602b。在一些实施例中，呈现最终虚拟游戏卡片710b涉及本文所述的虚拟对象渲染实用程序920。如图7B所示，最终虚拟游戏卡片710b为张开的手的图像，其与检测到的最终手形602b(张开的手)相对应或匹配。如本文所述，在一些实施例中，选择与检测到的最终手形602b匹配的最终虚拟游戏卡片710b的过程包括在手形周围生成边界框730b、标识手部特征点、从手势库中选择候选手势，以及基于所选择的手势选择虚拟游戏卡片。
在框660处，处理器432检测对立的最终虚拟游戏卡片720b，在该示例性交互式游戏中，其被对手设备检测并呈现在对手显示器上(从对手的角度来看，其为她的最终虚拟游戏卡片710b)。在该方面，该方法考虑了用户眼戴设备100和在类似的眼戴设备上运行游戏应用910的对手。然而，出于评分的目的，游戏应用910仅需要检测对立的最终虚拟游戏卡片720b，其可呈现在显示器上位于游戏区域700中，如图7B所示。为了被检测到，对手设备可广播对立的最终虚拟游戏卡片720b。在该方面，处理器432可被配置为将最终虚拟游戏卡片730b、720b从它们各自的设备无线广播到附近的设备。
在框662处，处理器432在显示器上呈现基于最终虚拟游戏卡片710b相对于对立的最终虚拟游戏卡片720b的游戏得分704。计算得分包括比较与每个游戏卡片710、720b相关联的值。
本公开的示例性实施例涉及游戏应用910和用于呈现仿照称为“剪刀石头布”的游戏的交互式游戏的方法。在该示例中呈现游戏得分704包括应用与剪刀石头布相关联的游戏规则480；即石头打败剪刀，剪刀打败布，布打败石头，而投掷相同的元素(例如，石头对石头)的结果是平局。游戏规则480可包括与获胜得分相关联的值，诸如三。因为任何回合都可能导致平局或和局，所以在玩家获得获胜得分之前可能需要进行任意次数的回合。
图7A是在预备时间以增强现实呈现的“石头剪刀布”示例性交互式游戏的透视图。游戏区域700作为相对于物理环境600的叠层呈现在显示器180B上。游戏区域700包括预备游戏得分704a和示出预备时间702a的游戏时钟。预备时间702a表示在确定得分时的最终时间之前(或之后)的任何时间。
在游戏的该预备阶段，耦接到眼戴设备的相机捕获视频数据帧。如本文所述，手部跟踪实用程序915检测预备手形602a(即，在相机和眼戴器的视场内检测到的拳头形状的用户自己的手)。基于检测到的预备手形602a，游戏应用910检索对应的预备虚拟游戏卡片710a并将其呈现在显示器上，如图所示，在该示例中，该预备虚拟游戏卡片为拳头形状的图标。如本文所述，边界框730a在本文出于参考目的而被示出，并且可以或可以不在显示器上向用户呈现。
在该示例中，对手的手在相机和眼戴器的视场内是不可见的。在操作中，当对手设备运行游戏应用910时，对手设备将检测对手的预备手形，选择对应的预备虚拟游戏卡片，然后将该预备虚拟游戏卡片广播到附近的设备，诸如用户佩戴的眼戴器100。一旦接收到，用户的游戏应用910就在显示器上呈现对手的预备虚拟游戏卡片720a，如图所示，其在该示例中也为拳头形状的图标。如图所示，对手的预备虚拟游戏卡片720a被呈现在与用户自己的预备虚拟游戏卡片710a间隔开的位置。
因为相机连续地捕获视频数据帧，所以预备虚拟游戏卡片710a将响应于检测到的预备手形602a的任何变化而更新。类似地，对手的设备将响应于对手的预备手形的任何变化来更新对手的预备虚拟游戏卡片720a。在该方面，预备虚拟游戏卡片710a、720a可在任何时间更新。
游戏时钟可根据游戏规则480被配置为从开始时间到最终时间以秒或其他间隔并且以任一方向(增加或减少)递增时间。例如，图7B中所示的最终时间702b为零，在从开始时间诸如三开始的倒计时之后显示。在图7A中，预备时间702a为一。
在一些实施例中，游戏应用100被配置为将用户设备上的游戏时钟与对手设备上的游戏时钟同步，使得游戏时钟在两个设备上同时呈现并在显示器上递增。为了开始游戏并开始游戏中的下一回合，在一些实施例中，游戏应用100被配置为响应于检测到捕获到的视频数据帧中的开始信号，在两个显示器上的开始时间开启游戏时钟。在一个示例中，开始信号包括在两个显示器上检测和显示两个预备虚拟游戏卡片710a、720a，无论是否如图7A所示彼此匹配。在另一个示例中，开始信号包括检测和显示特定预备虚拟游戏卡片，诸如两指角状游戏卡片(例如，图8B中所示的第三图标843b和第三关键图像863b)。
图7B是以增强现实呈现的最终时间的图7A的示例性交互式游戏的透视图。如图所示，游戏区域700包括更新的游戏得分704b和示出最终时间702b的游戏时钟。最终时间702b表示确定游戏得分的时刻。然而，不需要在由最终时间702b表示的时刻精确地检测到最终手形；然而，根据游戏规则480的游戏应用910可禁止一个离散的时间窗口，在此期间检测到最终的手的形状。在该方面，在时间上最接近最终时间702b的手形将被认为是最终手形602b，并且将在检索和呈现对应的最终虚拟游戏卡片710b时使用。
在最终时间702b，如本文所述，手部跟踪实用程序915检测到最终手形602b(即，张开的手的形状的用户自己的手)。基于最终手形602b，游戏应用910检索对应的最终虚拟游戏卡片710b并将其呈现在显示器上，如图所示，在该示例中，该最终虚拟游戏卡片为张开的手的形状的图标。如本文所述，在最终手形602b周围的边界框730b在本文出于参考目的而被示出，并且可以或可以不在显示器上向用户呈现。
在操作中，对手设备将检测对手的预备手形，选择对应的预备虚拟游戏卡片，然后将该预备虚拟游戏卡片广播到附近的设备，诸如用户佩戴的眼戴器100。一旦接收到，用户的游戏应用910就在显示器上呈现对手的最终虚拟游戏卡片720b，如图所示，其在该示例中为两指V字形(也称为和平符号或胜利符号)的图标。如图所示，对手的最终虚拟游戏卡片720b被呈现在与用户自己的最终虚拟游戏卡片710b间隔开的位置。
在图7B所示的示例中，在最终时间702b，用户的最终游戏卡片710b为张开的手，如图所示，表示布，对手的最终虚拟游戏卡片720b为两指V形或和平符号，如图所示，表示剪刀。更新的游戏得分704b示出了对手在冒号的左侧递增一(指示获胜，因为剪刀打败布)，以及在一些示例中在预先确定的持续时间内出现在获胜得分附近的突出显示770。
游戏中的下一回合可在持续预先确定的持续时间的暂停之后开始，或者响应于开始信号而开始。根据游戏规则640，游戏应用910可包括可通过用户界面调整的暂停持续时间的设置。当然，在开始下一回合后，游戏时钟将在两个显示器上的新的或后续的开始时间启动。在一个玩家获得获胜得分诸如三之后，游戏应用910可被配置为响应于检测到开始信号或自动地(在暂停之后或立即)开始新游戏。
图8A和图8B是以增强现实呈现的第二示例性交互式游戏的透视图。
与图8A所示的示例一致，游戏区域800包括示出第一时间802a的游戏时钟、示出第一得分804a的游戏得分、一组三个关键图像861a、862a、863a和看起来从远侧位置848朝向关键图像延伸的一组三个通道831、832、833(在图8B中标记)。游戏区域800作为相对于物理环境600的叠层在显示器上是持久可见的。换句话说，无论眼戴器100或用户的手如何移动，呈现在游戏区域800上的元素都不会相对于显示器移动。
在该示例中，三个关键图像861a、862a、863a沿着评分平面815定位，并且呈现在三个立方体形状的元素851、852、853(在图8B中标记)的前表面上。
在游戏期间，一个或多个图标841a、842a、843a在显示器上呈现在对应于通道831、832、833中的一者的位置中并且处于可变尺寸和位置中，使得图标841a、842a、843a看起来处于从远侧位置848朝向三个关键图像861a、862a、863a中的一者的运动中。图标841a、842a、843a与关键图像861a、862a、863a相关或匹配。例如，第一通道831中的第一形状的第一图标841a与显示在第一立方体形状的元素851上的第一关键图像861a匹配。第二通道832中的两指V形第二图标842a与第二关键图像862a匹配。第三通道833中的张开的手的第三图标843a与第三关键图像863a匹配。在一些实施例中，移动的图标及其对应的关键图像可在移动的图标到达评分平面并且明显地与其对应的关键图像碰撞之前的任何时间改变。
第一关键图像861a指示待做出的手势，第一图标841a的运动指示用户必须做出正确手势的接近时间，第一通道831的位置指示用户的手在最终时间必须位于何处以便获得分数。最终时间发生在第一图标841a(沿着第一通道831移动)与第一关键图像861a(位于评分平面815)之间明显碰撞的瞬间。在该方面，如果满足三个条件：时间、位置和手形，则获得分数。在游戏期间，如果用户的最终手形616a是(相对于第一关键图像861a)匹配的位置和(相对于第一图标841a)匹配的形状，这两者都在明显碰撞发生时的最终时间评估，则用户获得分数。
例如，在图8A中，最终手形616a由于手部位于第一关键图像861a附近而为匹配的位置。最终手形616a由于手部正在握拳而为匹配的形状，其与拳头形状的第一图标841a匹配。满足时间条件是因为当在第一形状的第一图标841a与第一关键图像861a之间(在评分平面815处)发生明显的碰撞时，最终手形616a处于正确的位置和形状。因为所有三个条件都满足，所以在明显碰撞附近显示成功突出显示871(例如，光线)，并且游戏得分804a增加一分。
图8B示出了一个回合，其中第一形状的最终手形616b不是相对于两指角形的第三图标843b匹配的形状，因为它穿过了评分平面815。因为没有满足所有三个条件，所以在明显碰撞附近显示失败突出显示872(例如，字母X)，并且游戏得分804b没有增加。
如图8B所示，在第一通道831中没有呈现图标。在该方面，移动的图标可在移动的图标到达评分平面之前的任何时间出现或不出现，并且明显地与其对应的关键图像碰撞。第一关键图像861b为拳头形状；如果并且当第一图标出现在第一通道831中时，它将为拳头形状的。第二通道832中的指向手指第二图标842b与指向手指第二关键图像862b相匹配。第三通道833中的两指角状的第三图标843b与第三关键图像863b匹配。在明显碰撞时，如图所示，移动的第三图标843b几乎与第三关键图像863b重合。
图8A和图8B中所示的图标和关键图像，以及图7A和图7B中所示用于“石头剪刀布”的虚拟游戏卡片，示出了可适用于本文所述的交互式游戏的各种手势中的一些手势。
图9是列出呈现图8A和图8B中所示的第二示例性交互式游戏的示例性方法中的步骤的流程图950。
与本文描述的交互式游戏一致，移动的图标841a、842a、843a中的任一者在若干方面都与参考“剪刀石头布”游戏的对手设备描述的对立的最终虚拟游戏卡片720b相似。在该方面，在一些实施例中，移动的图标游戏包括如针对呈现“剪刀石头布”游戏的示例性方法650所述的一个或多个步骤，包括捕获视频数据帧和检测最终手形。
在框952处，在眼戴设备100上执行游戏应用910时，处理器432在显示器上在评分位置815处呈现第一关键图像861a。如图8A所示，第一关键图像861a可呈现在表面上，诸如第一立方体形元件851a的表面。
在框954处，处理器432在显示器上呈现虚拟滚轴的第一通道831中的第一图标841a，如图8A和图8B所示。第一图标841a看起来从远侧位置848朝向第一关键图像861a移动。第一图标841a与第一关键图像861a匹配。
在某些实施例中，该方法包括在最终时间之前使用手部跟踪实用程序915来分析视频帧，以检测相对于显示器的当前位置处的预备手形。反过来，该方法还包括基于检测到的预备手形在显示器上呈现预备虚拟游戏卡片。在该方面，在游戏期间，用户可在第一图标841a明显地与第一关键图像861a碰撞之前看到由游戏应用910选择并呈现的预备虚拟游戏卡片。如果预备虚拟游戏卡片看起来是正确的，则用户可保持她的预备手形(在适当的位置处)直到出现明显的碰撞。如果预备虚拟游戏卡片看起来不正确，则用户可在明显的碰撞发生之前改变她的预备手形。
在框956处，处理器432使用手部跟踪实用程序915分析视频帧，并且检测相对于第一通道831在最终时间的位置的最终手位置816a。如本文所述，最终时间与移动的第一图标841a与第一关键图像861a之间的明显碰撞相关联。如本文所述，手部跟踪实用程序915还检测最终手形。
在框958处，处理器432确定最终手位置816a相对于移动的第一图标841a与第一关键图像861a之间的明显碰撞的位置是否位置匹配。
在框960处，处理器432确定最终手形616a是否相对于第一关键图像861a为匹配的形状。
在框962处，处理器432确定是否满足位置匹配以及是否满足形状匹配；如果两个条件都满足，则游戏得分704增加一分。
尽管参考单个第一图标841a和单个第一关键图像861a描述了方法950，但是根据游戏规则480的游戏应用910可容纳任意数量的移动的图标、通道和关键图像。例如，若干关键图像可沿着至少部分地由这些关键图像中的任一者的评分位置定义的评分平面放置。图标可在任何时间在任何通道中出现或消失。图标可以沿着通道以任何表观速度，恒定或变化地，移动。
在图8A和图8B所示的移动的图标游戏和图7A和图7B所示的“石头剪刀布”游戏中，处理器432在眼戴设备100上执行游戏应用910时，执行检测捕获的视频数据帧中的最终手形的任务。在一些实施例中，手部跟踪实用程序915在检测到的最终手形附近生成边界框。图7A、图7B、图8A和图8B中示出了示例性边界框730a、730b、830a、830b；然而，边界框可以或可以不呈现在显示器上以供用户查看。在一些实施例中，边界框表示小于整个数字图像的用于分析的区域，从而节省了计算资源。在一些实施例中，生成边界框涉及检测在任何定向上的手掌，其中手掌的全部或部分是可见的(例如，手掌侧面、手背侧面、侧边缘或它们的组合)。在边界框内，在一些实施例中，手部跟踪实用程序915基于数字视频数据帧中包含的像素级深度信息来标识一组手部特征点。例如，该组手部特征点可包括多达所有十五个指节间关节、五个指尖和其关节点的手腕的三维坐标，以及其他骨骼和软组织特征点。在一些实施例中，手部跟踪实用程序915通过将所标识组手部特征点与存储在库488中的关于各种手势的数据进行比较来从手势库488中选择候选手势。基于所选择的候选手势，在一些实施例中，手部跟踪实用程序915从虚拟游戏卡片482的集合中选择虚拟游戏卡片。
如本文所述，眼戴设备100、移动设备401和服务器系统498的功能中的任何功能可以被体现在一个或多个计算机软件应用或编程指令集中。根据一些示例，“功能”、“应用”、“指令”或“程序”是执行在程序中定义的功能的程序。可采用各种程序设计语言来开发以各种方式结构化的应用中的一个或多个应用，诸如面向对象的程序设计语言(例如，Objective-C、Java或C++)或面向过程程序设计语言(例如，C语言或汇编语言)。在特定示例中，第三方应用(例如，由除特定平台的供应商之外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用)可包括在移动操作系统诸如IOSTM、ANDROIDTM、
Figure BDA0004129765910000241
电话或另一移动操作系统上运行的移动软件。在该示例中，第三方应用可调用由操作系统提供的API调用，以促进本文所述的功能。
因此，机器可读介质可采取许多形式的有形存储介质。非易失性存储介质包括例如光盘或磁盘，诸如任何计算机设备等中的任何存储设备，诸如可用于实施附图中所示的客户端设备、媒体网关、代码转换器等。易失性存储介质包括动态存储器，诸如此类计算机平台的主存储器。有形传输介质包括同轴电缆；铜线和光纤，包括构成计算机系统内的总线的导线。载波传输介质可采取电信号或电磁信号、或声波或光波的形式，诸如在射频(RF)和红外(IR)数据通信期间生成的那些。因此，计算机可读介质的常见形式包括例如：软盘、软磁盘、硬盘、磁带、任何其他磁介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔卡片纸带、任何其他具有孔图案的物理存储介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储器芯片或盒、传输数据或指令的载波、传输此类载波的电缆或链路、或计算机可以从其中读取程序代码或数据的任何其他介质。许多这些形式的计算机可读介质可参与将一个或多个指令的一个或多个序列承载到处理器以供执行。
除了上文刚刚陈述的，无论是否在权利要求书中陈述，已陈述或说明的内容都不旨在或不应解释为导致任何部件、步骤、特征、对象、益处、优点或等效物献给公众。
应当理解，除非本文另外阐述了特定的含义，否则本文所用的术语和表达具有与关于它们对应的相应调查和研究领域的此类术语和表达一致的通常含义。诸如“第一”和“第二”等的关系术语仅可用于将一个实体或动作与另一个实体或动作区分开，而不一定要求或暗示这些实体或动作之间的任何实际的此类关系或顺序。术语“包括”、“包含”、“含有”、“具有”或其任何其他变型形式旨在涵盖非排他性的包括，使得包括或包含一系列元素或步骤的过程、方法、制品或装置不仅包括那些元素或步骤，而是还可以包括未明确列出的或对于此类过程、方法、制品或装置固有的其他元素或步骤。在没有进一步限制的情况下，前缀为“一”或“一个”的元素并不排除在包括该元素的过程、方法、制品或装置中另外的相同元素的存在。
除非另有说明，否则本说明书中，包括所附权利要求书中阐述的任何和所有测量、值、额定值、定位、量值、尺寸和其他规格是近似的，而不是精确的。此类量旨在具有与它们涉及的功能和它们所属的领域中的惯例一致的合理范围。例如，除非另外明确说明，否则参数值等可以从所述量或范围变化多达正负百分之十。
此外，在前述具体实施方式中可看出，出于使本公开简化的目的，各种特征在各种示例中被组合在一起。公开的本方法不应被解释为反映所要求保护的示例需要比每个权利要求中明确记载的特征更多的特征的意图。相反，如以下权利要求所反映的，要求保护的本主题在于少于任何单个公开的示例的所有特征。因此，将以下权利要求据此并入到具体实施方式中，其中每个权利要求作为独立要求保护的主题而独立存在。
虽然前文已描述了被认为是最佳模式的示例和其他示例，但应当理解，可在其中作出各种修改且本文所公开的主题可以各种形式和示例来实施，并且其可应用于许多应用中，本文仅描述了其中的一些应用。所附权利要求书旨在要求保护落入本发明构思的真实范围内的任何和所有修改和变型。

Claims (20)

1.一种以增强现实呈现交互式游戏的方法，所述方法包括：
利用相机捕获视频数据帧，其中每个视频数据帧包括多个像素的深度信息，并且其中所述相机耦接到包括处理器、存储器、手部跟踪实用程序和显示器的眼戴设备；
在所述显示器上建立游戏区域的位置处呈现游戏时钟，其中所述游戏区域作为相对于物理环境的叠层是持久可见的，独立于所述眼戴设备的移动，并且其中所述游戏时钟被配置为从开始时间到最终时间的增量；
利用所述手部跟踪实用程序在所述视频数据帧中检测与所述最终时间相关联的最终手形；
基于所述检测到的最终手形在所述显示器上呈现最终虚拟游戏卡片；
无线广播所述最终虚拟游戏卡片；
检测对立的最终虚拟游戏卡片；以及
在所述显示器上呈现基于所述最终虚拟游戏卡片相对于所述对立的最终虚拟游戏卡片的游戏得分。
2.根据权利要求1所述的方法，还包括：
在所述捕获到的视频数据帧中，利用所述手部跟踪实用程序并且在所述游戏时钟上的所述最终时间之前，检测预备手形；以及
基于所述检测到的预备手形在所述显示器上呈现预备虚拟游戏卡片。
3.根据权利要求2所述的方法，其中所述呈现游戏时钟的步骤还包括：
将所述游戏时钟与包括对手显示器的对手设备同步，使得所述游戏时钟在所述显示器和所述对手显示器上同时呈现和递增；
响应于在所述捕获到的视频数据帧中检测到开始信号，在所述开始时间在两个所述显示器上启动所述游戏时钟；以及
在所述显示器上呈现在所述游戏区域内并且与所述最终虚拟游戏卡片间隔开的所述对立的最终虚拟游戏卡片，其中所述对立的最终虚拟游戏卡片从所述对手设备广播。
4.根据权利要求3所述的方法，其中所述游戏得分包括用户得分和对手得分，并且其中所述呈现游戏得分的步骤还包括：
确定与所述最终虚拟游戏卡片相关联的值是否大于与所述对立的最终虚拟游戏卡片相关联的对立值；
响应于确定所述值大于所述对立值，将所述用户得分递增一分；
响应于确定所述值小于所述对立值，将所述对手得分递增一分；
响应于确定所述值等于所述对立值，既不递增所述用户得分也不递增所述对手得分；
在所述显示器上在所述递增的得分附近呈现突出显示；
在暂停一段可调节的持续时间之后，在两个所述显示器上的后续的开始时间启动所述游戏时钟。
5.根据权利要求1所述的方法，其中所述检测最终手形的步骤还包括：
在所述捕获到的视频数据帧的第一帧中检测所述最终手形；
相对于所述第一帧在所述检测到的最终手形附近生成边界框，其中所述边界框包括第一多个像素的第一深度信息；
基于所述第一深度信息来标识一组手部特征点；
基于所述标识组手部特征点从手势库中选择候选手势；以及
基于所述选择的候选手势从一组虚拟游戏卡片中选择所述最终虚拟游戏卡片，其中所述手势库和所述虚拟游戏卡片组包括：
与虚拟拳头状游戏卡片相关联的拳头手势；
与虚拟张开的手游戏卡片相关联的张开的手手势；以及
与虚拟两指V形游戏卡片相关联的两指V形手势。
6.根据权利要求1所述的方法，其中所述对立的最终虚拟游戏卡片包括第一图标，所述方法还包括：
在所述显示器上在评分位置处呈现第一关键图像；
在所述显示器上在虚拟滚轴的第一通道上呈现所述第一图标，所述第一图标看起来从远侧位置朝向所述评分位置处的所述第一关键图像移动，其中所述第一图标持久地匹配所述第一关键图像；
在所述最终时间之前，在所述捕获到的视频数据帧中检测相对于所述显示器的当前位置处的预备手形；以及
基于所述检测到的预备手形，在所述显示器上在所述当前位置处作为相对于所述预备手形的叠层，呈现预备虚拟游戏卡片，
其中所述检测最终手形的步骤还包括：检测相对于所述第一通道的最终手位置，其中所述最终时间还与所述移动的第一图标和所述第一关键图像之间的明显碰撞相关联；
其中所述呈现游戏得分的步骤还包括：(a)确定所述检测到的最终手位置是否为相对于所述第一通道中的所述明显碰撞匹配的位置，(b)确定所述检测到的最终手形状是否为相对于所述第一关键图像匹配的形状，以及(c)响应于确定所述形状匹配和所述位置匹配两者，将所述游戏得分递增一分。
7.根据权利要求6所述的方法，还包括：
在沿着相对于所述评分位置定义的评分平面的后续位置处呈现后续关键图像；
在所述虚拟滚轴的次级通道上呈现后续图标，其中所述后续图标持久地匹配所述后续关键图像；
在后续最终时间检测相对于所述次级通道的后续最终手位置，其中所述最终时间还与所述移动的后续图标和所述后续关键图像之间的后续明显碰撞相关联；
确定所述检测到的后续最终手位置是否为相对于所述次级通道中的所述后续明显碰撞匹配的后续位置；
确定所述检测到的后续最终手形是否为相对于所述后续关键图像匹配的后续形状；以及
响应于确定所述后续形状匹配和所述后续位置匹配两者，将所述游戏得分递增一分。
8.根据权利要求6所述的方法，其中所述手势库和所述虚拟游戏卡片组包括：
与虚拟拳头状游戏卡片、拳头形关键图像和拳头形图标相关联的拳头手势；
与虚拟张开的手游戏卡片、手形关键图像和手形图标相关联的张开的手手势；
与虚拟两指V形游戏卡片、V形关键图像和V形图标相关联的两指V形手势；
与虚拟指向手指游戏卡片、指向关键图像和指向关键图标相关联的指向手势；以及
与虚拟两指角状游戏卡片、两指关键图像和两指关键图标相关联的两指角状手势。
9.一种交互式游戏呈现系统，包括：
眼戴设备，所述眼戴设备包括处理器、存储器、手部跟踪实用程序和显示器；
所述存储器中的程序，其中由所述处理器执行所述程序将所述眼戴设备配置为执行功能，包括用于以下的功能：
利用所述相机捕获视频数据帧，其中每个视频数据帧包括多个像素的深度信息；
在所述显示器上建立游戏区域的位置处呈现游戏时钟，其中所述游戏区域作为相对于物理环境的叠层是持久可见的，而与所述眼戴设备的移动无关，并且其中所述游戏时钟被配置为从开始时间到最终时间递增；
利用所述手部跟踪实用程序在所述视频数据帧中检测与所述最终时间相关联的最终手形；
基于所述检测到的最终手形在所述显示器上呈现最终虚拟游戏卡片；
无线广播所述最终虚拟游戏卡片；
检测对立的最终虚拟游戏卡片；以及
在所述显示器上呈现基于所述最终虚拟游戏卡片相对于所述对立的最终虚拟游戏卡片的游戏得分。
10.根据权利要求9所述的系统，其中所述程序的所述执行进一步将所述眼戴设备配置为：
在所述捕获到的视频数据帧中，利用所述手部跟踪实用程序并且在所述游戏时钟上的所述最终时间之前，检测预备手形；以及
基于所述检测到的预备手形在所述显示器上呈现预备虚拟游戏卡片。
11.根据权利要求10所述的系统，其中所述程序的所述执行进一步将所述眼戴设备配置为：
将所述游戏时钟与包括对手显示器的对手设备同步，使得所述游戏时钟在所述显示器和所述对手显示器上同时呈现和递增；
响应于在所述捕获到的视频数据帧中检测到开始信号，在所述开始时间在两个所述显示器上启动所述游戏时钟；以及
在所述显示器上呈现在所述游戏区域内并且与所述最终虚拟游戏卡片间隔开的所述对立的最终虚拟游戏卡片，其中所述对立的最终虚拟游戏卡片从所述对手设备广播。
12.根据权利要求11所述的系统，其中所述游戏得分包括用户得分和对手得分，并且其中所述程序的所述执行进一步将所述眼戴设备配置为：
确定与所述最终虚拟游戏卡片相关联的值是否大于与所述对立的最终虚拟游戏卡片相关联的对立值；
响应于确定所述值大于所述对立值，将所述用户得分递增一分；
响应于确定所述值小于所述对立值，将所述对手得分递增一分；
响应于确定所述值等于所述对立值，既不递增所述用户得分也不递增所述对手得分；
在所述显示器上在所述递增的得分附近呈现突出显示；
在暂停一段可调节的持续时间之后，在两个所述显示器上的后续开始时间启动所述游戏时钟。
13.根据权利要求9所述的系统，其中所述程序的所述执行进一步将所述眼戴设备配置为：
利用所述手部跟踪实用程序在所述捕获到的视频数据帧的第一帧中检测所述最终手形；
相对于所述第一帧在所述检测到的最终手形附近生成边界框，其中所述边界框包括第一多个像素的第一深度信息；
基于所述第一深度信息来标识一组手部特征点；
基于所述标识组手部特征点从手势库中选择候选手势；以及
基于所述选择的候选手势从一组虚拟游戏卡片中选择所述最终虚拟游戏卡片，其中所述手势库和所述组虚拟游戏卡片包括：
与虚拟拳头状游戏卡片相关联的拳头手势；
与虚拟张开的手游戏卡片相关联的张开的手手势；以及
与虚拟两指V形游戏卡片相关联的两指V形手势。
14.根据权利要求9所述的系统，其中所述对立的最终虚拟游戏卡片包括第一图标，并且其中所述程序的所述执行进一步将所述眼戴设备配置为：
在所述显示器上在评分位置处呈现第一关键图像；
在所述显示器上在虚拟滚轴的第一通道上呈现所述第一图标，所述第一图标看起来从远侧位置朝向所述评分位置处的所述第一关键图像移动，其中所述第一图标持久地匹配所述第一关键图像；
利用所述手部跟踪实用程序并且在所述最终时间之前，在所述捕获到的视频数据帧中检测相对于所述显示器的当前位置处的预备手形；以及
基于所述检测到的预备手形，在所述显示器上在所述当前位置处作为相对于所述预备手形的叠层，呈现预备虚拟游戏卡片，
检测与所述最终手形相关联并且相对于所述第一通道的最终手位置，其中所述最终时间还与所述移动的第一图标和所述第一关键图像之间的明显碰撞相关联；
确定所述检测到的最终手位置是否为相对于所述第一通道中的所述明显碰撞匹配的位置；
确定所述检测到的最终手形是否为相对于所述第一关键图像匹配的形状；以及
响应于确定所述形状匹配和所述位置匹配两者，将所述游戏得分递增一分。
15.根据权利要求14所述的系统，其中所述程序的所述执行进一步将所述眼戴设备配置为：
在沿着相对于所述评分位置定义的评分平面的后续位置处呈现后续关键图像；
在所述虚拟滚轴的次级通道上呈现后续图标，其中所述后续图标持久地匹配所述后续关键图像；
在后续最终时间检测相对于所述次级通道的后续最终手位置，其中所述最终时间还与所述移动的后续图标和所述后续关键图像之间的后续明显碰撞相关联；
确定所述检测到的后续最终手位置是否为相对于所述次级通道中的所述后续明显碰撞匹配的后续位置；
确定所述检测到的后续最终手形是否为相对于所述后续关键图像匹配的后续形状；以及
响应于确定所述后续形状匹配和所述后续位置匹配两者，将所述游戏得分递增一分。
16.根据权利要求15所述的系统，其中所述手势库和所述组虚拟游戏卡片包括：
与虚拟拳头状游戏卡片、拳头形关键图像和拳头形图标相关联的拳头手势；
与虚拟张开的手游戏卡片、手形关键图像和手形图标相关联的张开的手手势；
与虚拟两指V形游戏卡片、V形关键图像和V形图标相关联的两指V形手势；
与虚拟指向手指游戏卡片、指向关键图像和指向关键图标相关联的指向手势；以及
与虚拟两指角状游戏卡片、两指关键图像和两指关键图标相关联的两指角状手势。
17.一种存储程序代码的非暂态计算机可读介质，所述程序代码在被执行时运行以使电子处理器执行以下步骤：
利用相机捕获视频数据帧，其中每个视频数据帧包括多个像素的深度信息，并且其中所述相机耦接到包括处理器、存储器、手部跟踪实用程序和显示器的眼戴设备；
在所述显示器上建立游戏区域的位置处呈现游戏时钟，其中所述游戏区域作为相对于物理环境的叠层是持久可见的，而与所述眼戴设备的移动无关，并且其中所述游戏时钟被配置为从开始时间到最终时间递增；
利用所述手部跟踪实用程序在所述视频数据帧中检测与所述最终时间相关联的最终手形；
基于所述检测到的最终手形在所述显示器上呈现最终虚拟游戏卡片；
无线广播所述最终虚拟游戏卡片；
检测对立的最终虚拟游戏卡片；以及
在所述显示器上呈现基于所述最终虚拟游戏卡片相对于所述对立的最终虚拟游戏卡片的游戏得分。
18.根据权利要求17所述的存储程序代码的非暂态计算机可读介质，其中所述程序代码在被执行时运行以使电子处理器执行以下另外的步骤：
在所述捕获到的视频数据帧中，利用所述手部跟踪实用程序并且在所述游戏时钟上的所述最终时间之前，检测预备手形；以及
基于所述检测到的预备手形在所述显示器上呈现预备虚拟游戏卡片。
19.根据权利要求18所述的存储程序代码的非暂态计算机可读介质，其中所述程序代码在被执行时运行以使电子处理器执行以下另外的步骤：
将所述游戏时钟与包括对手显示器的对手设备同步，使得所述游戏时钟在所述显示器和所述对手显示器上同时呈现和递增；
响应于在所述捕获到的视频数据帧中检测到开始信号，在所述开始时间在两个所述显示器上启动所述游戏时钟；以及
在所述显示器上呈现在所述游戏区域内并且与所述最终虚拟游戏卡片间隔开的所述对立的最终虚拟游戏卡片，其中所述对立的最终虚拟游戏卡片从所述对手设备广播。
20.根据权利要求17所述的存储程序代码的非暂态计算机可读介质，其中所述对立的最终虚拟游戏卡片包括第一图标，并且其中所述程序代码在被执行时运行以使电子处理器执行以下另外的步骤：
在所述显示器上在评分位置处呈现第一关键图像；
在所述显示器上在虚拟滚轴的第一通道上呈现所述第一图标，所述第一图标看起来从远侧位置朝向所述评分位置处的所述第一关键图像移动，其中所述第一图标持久地匹配所述第一关键图像；
在所述最终时间之前，在所述捕获到的视频数据帧中检测相对于所述显示器的当前位置处的预备手形；以及
基于所述检测到的预备手形，在所述显示器上在所述当前位置处作为相对于所述预备手形的叠层，呈现预备虚拟游戏卡片，
其中所述检测最终手形的步骤还包括：检测相对于所述第一通道的最终手位置，其中所述最终时间还与所述移动的第一图标和所述第一关键图像之间的明显碰撞相关联；
其中所述呈现游戏得分的步骤还包括：(a)确定所述检测到的最终手位置是否为相对于所述第一通道中的所述明显碰撞匹配的位置，(b)确定所述检测到的最终手形状是否为相对于所述第一关键图像匹配的形状，以及(c)响应于确定所述形状匹配和所述位置匹配两者，将所述游戏得分递增一分。
CN202180063710.7A 2020-09-18 2021-08-26 增强现实中用于交互式游戏控制的手势跟踪 Pending CN116348836A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/024,800 2020-09-18
US17/024,800 US11925863B2 (en) 2020-09-18 2020-09-18 Tracking hand gestures for interactive game control in augmented reality
PCT/US2021/047637 WO2022060549A2 (en) 2020-09-18 2021-08-26 Tracking hand gestures for interactive game control in augmented reality

Publications (1)

Publication Number Publication Date
CN116348836A true CN116348836A (zh) 2023-06-27

Family

ID=77897731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180063710.7A Pending CN116348836A (zh) 2020-09-18 2021-08-26 增强现实中用于交互式游戏控制的手势跟踪

Country Status (5)

Country Link
US (3) US11925863B2 (zh)
EP (1) EP4213954A2 (zh)
KR (1) KR20230066626A (zh)
CN (1) CN116348836A (zh)
WO (1) WO2022060549A2 (zh)

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509466B1 (en) 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
US10439972B1 (en) 2013-05-30 2019-10-08 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9276886B1 (en) 2014-05-09 2016-03-01 Snapchat, Inc. Apparatus and method for dynamically configuring application component tiles
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US10775996B2 (en) 2014-11-26 2020-09-15 Snap Inc. Hybridization of voice notes and calling
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
EP4325806A3 (en) 2015-03-18 2024-05-22 Snap Inc. Geo-fence authorization provisioning
US9668217B1 (en) 2015-05-14 2017-05-30 Snap Inc. Systems and methods for wearable initiated handshaking
US10503264B1 (en) 2015-06-16 2019-12-10 Snap Inc. Radial gesture navigation
US10055895B2 (en) 2016-01-29 2018-08-21 Snap Inc. Local augmented reality persistent sticker objects
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US11404056B1 (en) 2016-06-30 2022-08-02 Snap Inc. Remoteless control of drone behavior
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
US20180210628A1 (en) 2017-01-23 2018-07-26 Snap Inc. Three-dimensional interaction system
US10579869B1 (en) 2017-07-18 2020-03-03 Snap Inc. Virtual object machine learning
US11204949B1 (en) 2017-07-31 2021-12-21 Snap Inc. Systems, devices, and methods for content selection
US11323398B1 (en) 2017-07-31 2022-05-03 Snap Inc. Systems, devices, and methods for progressive attachments
US10591730B2 (en) 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
WO2019094618A1 (en) 2017-11-08 2019-05-16 Signall Technologies Zrt Computer vision based sign language interpreter
US11227626B1 (en) 2018-05-21 2022-01-18 Snap Inc. Audio response messages
US11334815B1 (en) 2018-09-28 2022-05-17 Snap Inc. Cloud based machine learning
US10796482B2 (en) 2018-12-05 2020-10-06 Snap Inc. 3D hand shape and pose estimation
US11019011B1 (en) 2019-03-29 2021-05-25 Snap Inc. Messaging system with discard user interface
US11036368B1 (en) 2019-03-29 2021-06-15 Snap Inc. Messaging system with message transmission user interface
US11106342B1 (en) 2019-06-03 2021-08-31 Snap Inc. User interfaces to facilitate multiple modes of electronic communication
US11151794B1 (en) 2019-06-28 2021-10-19 Snap Inc. Messaging system with augmented reality messages
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
WO2021051131A1 (en) 2019-09-09 2021-03-18 Snap Inc. Hand pose estimation from stereo cameras
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
US11062498B1 (en) 2019-12-30 2021-07-13 Snap Inc. Animated pull-to-refresh
US11409368B2 (en) 2020-03-26 2022-08-09 Snap Inc. Navigating through augmented reality content
US11675494B2 (en) 2020-03-26 2023-06-13 Snap Inc. Combining first user interface content into second user interface
US11960651B2 (en) 2020-03-30 2024-04-16 Snap Inc. Gesture-based shared AR session creation
US11277597B1 (en) 2020-03-31 2022-03-15 Snap Inc. Marker-based guided AR experience
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
JP7057393B2 (ja) * 2020-06-24 2022-04-19 株式会社電通 プログラム、ヘッドマウントディスプレイ及び情報処理装置
EP4173257A1 (en) 2020-06-30 2023-05-03 Snap Inc. Skeletal tracking for real-time virtual effects
EP4197180A1 (en) 2020-08-13 2023-06-21 Snap Inc. User interface for pose driven virtual effects
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11671559B2 (en) 2020-09-30 2023-06-06 Snap Inc. Real time video editing
US12229342B2 (en) 2020-12-22 2025-02-18 Snap Inc. Gesture control on an eyewear device
US12105283B2 (en) 2020-12-22 2024-10-01 Snap Inc. Conversation interface on an eyewear device
KR20250142462A (ko) 2020-12-22 2025-09-30 스냅 인코포레이티드 안경류 디바이스 상의 미디어 콘텐츠 플레이어
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
KR20230124703A (ko) 2020-12-29 2023-08-25 스냅 인코포레이티드 증강 현실 컴포넌트들을 위한 신체 ui
US12086324B2 (en) 2020-12-29 2024-09-10 Snap Inc. Micro hand gestures for controlling virtual and graphical elements
EP4272051B1 (en) 2020-12-30 2026-01-28 Snap, Inc. Augmented reality precision tracking and display
CN116685941A (zh) 2020-12-31 2023-09-01 斯纳普公司 具有触觉反馈增强的媒体内容项
US12008152B1 (en) 2020-12-31 2024-06-11 Snap Inc. Distance determination for mixed reality interaction
US11531400B2 (en) 2020-12-31 2022-12-20 Snap Inc. Electronic communication interface with haptic feedback response
CN116670635B (zh) 2020-12-31 2026-01-16 斯纳普公司 具有触觉反馈的实时视频通信界面
EP4272062A1 (en) 2020-12-31 2023-11-08 Snap Inc. Communication interface with haptic feedback response
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
USD998637S1 (en) 2021-03-16 2023-09-12 Snap Inc. Display screen or portion thereof with a graphical user interface
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US12314472B2 (en) 2021-03-31 2025-05-27 Snap Inc. Real-time communication interface with haptic and audio feedback response
KR20250164860A (ko) 2021-03-31 2025-11-25 스냅 인코포레이티드 햅틱 피드백 응답을 갖는 가상 현실 인터페이스
US12164689B2 (en) 2021-03-31 2024-12-10 Snap Inc. Virtual reality communication interface with haptic feedback response
US12050729B2 (en) 2021-03-31 2024-07-30 Snap Inc. Real-time communication interface with haptic and audio feedback response
EP4320502A1 (en) 2021-04-08 2024-02-14 Snap, Inc. Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
CN117178247A (zh) 2021-04-19 2023-12-05 斯纳普公司 用于动画化及控制虚拟和图形元素的手势
US11928306B2 (en) 2021-05-19 2024-03-12 Snap Inc. Touchpad navigation for augmented reality display device
US11880542B2 (en) 2021-05-19 2024-01-23 Snap Inc. Touchpad input for augmented reality display device
KR102808996B1 (ko) 2021-05-19 2025-05-20 스냅 인코포레이티드 증강 현실 디스플레이 디바이스를 위한 터치패드 입력
US12141191B2 (en) 2021-08-16 2024-11-12 Snap Inc. Displaying a profile from a content feed within a messaging system
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US12159412B2 (en) 2022-02-14 2024-12-03 Snap Inc. Interactively defining an object segmentation
US11579747B1 (en) 2022-03-14 2023-02-14 Snap Inc. 3D user interface depth forgiveness
US12265663B2 (en) * 2022-04-04 2025-04-01 Snap Inc. Gesture-based application invocation
US12360663B2 (en) 2022-04-26 2025-07-15 Snap Inc. Gesture-based keyboard text entry
US12282607B2 (en) 2022-04-27 2025-04-22 Snap Inc. Fingerspelling text entry
US12517521B2 (en) 2022-04-27 2026-01-06 Snap Inc. Landing an autonomous drone with gestures
US11960653B2 (en) 2022-05-10 2024-04-16 Snap Inc. Controlling augmented reality effects through multi-modal human interaction
US12327302B2 (en) 2022-05-18 2025-06-10 Snap Inc. Hand-tracked text selection and modification
US12373096B2 (en) 2022-05-31 2025-07-29 Snap Inc. AR-based virtual keyboard
CN119301553A (zh) 2022-06-01 2025-01-10 斯纳普公司 包括多个交互区的用户界面
US12266057B2 (en) 2022-06-02 2025-04-01 Snap Inc. Input modalities for AR wearable devices
US12001878B2 (en) 2022-06-03 2024-06-04 Snap Inc. Auto-recovery for AR wearable devices
US12002168B2 (en) 2022-06-20 2024-06-04 Snap Inc. Low latency hand-tracking in augmented reality systems
US12288298B2 (en) 2022-06-21 2025-04-29 Snap Inc. Generating user interfaces displaying augmented reality graphics
US12382188B2 (en) 2022-06-22 2025-08-05 Snap Inc. Hand-tracking pipeline dimming
US12332438B2 (en) 2022-06-23 2025-06-17 Snap Inc. Color calibration tool for see-through augmented reality environment
US12204693B2 (en) 2022-06-28 2025-01-21 Snap Inc. Low-power hand-tracking system for wearable device
US12069399B2 (en) 2022-07-07 2024-08-20 Snap Inc. Dynamically switching between RGB and IR capture
US12236512B2 (en) 2022-08-23 2025-02-25 Snap Inc. Avatar call on an eyewear device
US12361648B2 (en) 2022-08-26 2025-07-15 Snap Inc. Hand-tracking stabilization
US12518490B2 (en) 2022-08-31 2026-01-06 Snap Inc. Wrist rotation manipulation of virtual objects
US12158982B2 (en) 2022-09-07 2024-12-03 Snap Inc. Selecting AR buttons on a hand
WO2024059182A1 (en) 2022-09-15 2024-03-21 Snap Inc. Finger gesture recognition via acoustic-optic sensor fusion
US11797099B1 (en) 2022-09-19 2023-10-24 Snap Inc. Visual and audio wake commands
US11747912B1 (en) 2022-09-22 2023-09-05 Snap Inc. Steerable camera for AR hand tracking
US12530086B2 (en) 2022-10-12 2026-01-20 Snap Inc. Tractable body-based AR system input
US12423910B2 (en) 2022-12-05 2025-09-23 Snap Inc. 3D wrist tracking
US12494078B2 (en) 2022-12-08 2025-12-09 Snap Inc. Hand-tracking with IR camera for XR systems
US12429953B2 (en) 2022-12-09 2025-09-30 Snap Inc. Multi-SoC hand-tracking platform
US12437491B2 (en) 2022-12-13 2025-10-07 Snap Inc. Scaling a 3D volume in extended reality
US12482171B2 (en) 2023-01-06 2025-11-25 Snap Inc. Natural hand rendering in XR systems
US12411555B2 (en) 2023-01-11 2025-09-09 Snap Inc. Mirroring and navigating content in augmented reality messaging systems
US12450851B2 (en) 2023-02-06 2025-10-21 Snap Inc. Fingernail segmentation and tracking
US12112025B2 (en) 2023-02-16 2024-10-08 Snap Inc. Gesture-driven message content resizing
US12333658B2 (en) 2023-02-21 2025-06-17 Snap Inc. Generating user interfaces displaying augmented reality graphics
US12265664B2 (en) 2023-02-28 2025-04-01 Snap Inc. Shared augmented reality eyewear device with hand tracking alignment
US12469219B2 (en) 2023-03-07 2025-11-11 Snap Inc. Hand surface normal estimation
CN116392806B (zh) * 2023-03-08 2025-10-10 网易（杭州）网络有限公司 游戏中的信息显示方法、装置和电子设备
US12314485B2 (en) 2023-04-11 2025-05-27 Snap Inc. Device-to-device collocated AR using hand tracking
US12361664B2 (en) 2023-04-19 2025-07-15 Snap Inc. 3D content display using head-wearable apparatuses
US12405672B2 (en) 2023-05-18 2025-09-02 Snap Inc. Rotating a 3D volume in extended reality
US12348855B2 (en) 2023-05-31 2025-07-01 Snap Inc. Providing draggable shutter button during video recording
US12169599B1 (en) 2023-05-31 2024-12-17 Snap Inc. Providing indications of video recording by modifying different interface elements
US12432441B2 (en) 2023-05-31 2025-09-30 Snap Inc. Customizing a capture button used during video recording
US12468396B2 (en) 2023-09-07 2025-11-11 Snap Inc. Virtual manipulation of augmented and virtual reality objects
US12271517B1 (en) 2023-09-29 2025-04-08 Snap Inc. Bending-assisted calibration for extended reality tracking
US12093443B1 (en) 2023-10-30 2024-09-17 Snap Inc. Grasping virtual objects with real hands for extended reality
US12498793B2 (en) 2024-01-02 2025-12-16 Snap Inc. Translating a 3D volume in extended reality
US12498783B1 (en) 2024-06-12 2025-12-16 Snap Inc. Hand chirality estimation for extended reality tracking
US12468439B1 (en) 2024-08-05 2025-11-11 Snap Inc. Hand scale factor estimation from mobile interactions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103941866A (zh) * 2014-04-08 2014-07-23 河海大学常州校区 一种基于Kinect深度图像的三维手势识别方法
US20170028299A1 (en) * 2014-05-23 2017-02-02 Google Inc. Interactive Social Games on Head-Mountable Devices
CN106693361A (zh) * 2016-12-23 2017-05-24 武汉市马里欧网络有限公司 一种基于超声波手势识别的ar换装游戏投影方法及系统
US20170220104A1 (en) * 2016-02-03 2017-08-03 Disney Enterprises, Inc. Combination gesture game mechanics using multiple devices
US20190102927A1 (en) * 2017-09-29 2019-04-04 Sony Interactive Entertainment Inc. Rendering of virtual hand pose based on detected hand input

Family Cites Families (167)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028271A (en) 1992-06-08 2000-02-22 Synaptics, Inc. Object position detector with edge motion feature and gesture recognition
KR100595924B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US6771294B1 (en) 1999-12-29 2004-08-03 Petri Pulli User interface
AU2003217587A1 (en) 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7254516B2 (en) 2004-12-17 2007-08-07 Nike, Inc. Multi-sensor monitoring of athletic performance
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US20070220108A1 (en) * 2006-03-15 2007-09-20 Whitaker Jerry M Mobile global virtual browser with heads-up display for browsing and interacting with the World Wide Web
KR100793834B1 (ko) 2006-12-06 2008-01-11 한국과학기술연구원 손 동작을 이용한 전자기기 제어 장치 및 방법
US9703369B1 (en) 2007-10-11 2017-07-11 Jeffrey David Mullen Augmented reality video game systems
JP4519898B2 (ja) 2007-11-06 2010-08-04 ザイオソフト株式会社 医療画像処理装置および医療画像処理プログラム
US10180714B1 (en) 2008-04-24 2019-01-15 Pixar Two-handed multi-stroke marking menus for multi-touch devices
US8836646B1 (en) 2008-04-24 2014-09-16 Pixar Methods and apparatus for simultaneous user inputs for three-dimensional animation
EP2175344B1 (en) 2008-10-06 2020-02-12 Samsung Electronics Co., Ltd. Method and apparatus for displaying graphical user interface depending on a user's contact pattern
GB2470072B (en) 2009-05-08 2014-01-01 Sony Comp Entertainment Europe Entertainment device,system and method
US20100309140A1 (en) 2009-06-05 2010-12-09 Microsoft Corporation Controlling touch input modes
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
WO2011111302A1 (ja) 2010-03-10 2011-09-15 パナソニック株式会社 押し込み位置制御装置、押し込み位置制御方法及びタッチセンサシステム
US8750573B2 (en) 2010-08-02 2014-06-10 Sony Corporation Hand gesture detection
US8792722B2 (en) * 2010-08-02 2014-07-29 Sony Corporation Hand gesture detection
US10963136B2 (en) 2010-08-16 2021-03-30 Koninklijke Philips N.V. Highlighting of objects on a display
US10456209B2 (en) * 2010-10-13 2019-10-29 Gholam A. Peyman Remote laser treatment system with dynamic imaging
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
GB2490199B (en) 2011-01-06 2013-08-21 Pointgrab Ltd Computer vision based two hand control of content
US8711206B2 (en) 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US10242456B2 (en) 2011-06-23 2019-03-26 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (AR)
US8558759B1 (en) 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
KR20220032059A (ko) 2011-09-19 2022-03-15 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US9454849B2 (en) 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
US10082950B2 (en) 2011-11-09 2018-09-25 Joseph T. LAPP Finger-mapped character entry systems
CN107320949B (zh) 2012-02-06 2021-02-02 索尼互动娱乐欧洲有限公司 用于增强现实的书对象
EP2734977B1 (en) 2012-02-22 2015-06-24 Aselsan Elektronik Sanayi ve Ticaret Anonim Sirketi System and method for optimizing tracker system
US9734393B2 (en) 2012-03-20 2017-08-15 Facebook, Inc. Gesture-based control system
US9383895B1 (en) 2012-05-05 2016-07-05 F. Vinayak Methods and systems for interactively producing shapes in three-dimensional space
US10290236B2 (en) * 2012-05-08 2019-05-14 Bioniko Consulting Llc Method for fabricating simulated tissue structures by means of multi material 3D printing
EP2849035A4 (en) 2012-05-09 2016-05-11 Sony Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9098739B2 (en) 2012-06-25 2015-08-04 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching
CN105378593B (zh) 2012-07-13 2019-03-01 索尼深度传感解决方案股份有限公司 利用手上的奇异兴趣点基于手势进行人机同步交互的方法和系统
JP2014035562A (ja) 2012-08-07 2014-02-24 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
KR101974652B1 (ko) 2012-08-09 2019-05-02 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 오디오 출력과 비디오 출력을 연계하여 조정하는 헤드 마운트 디스플레이 및 그 제어 방법
US8819812B1 (en) 2012-08-16 2014-08-26 Amazon Technologies, Inc. Gesture recognition for device input
US9552673B2 (en) 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US10057400B1 (en) 2012-11-02 2018-08-21 Majen Tech, LLC Lock screen interface for a mobile device apparatus
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
WO2014128749A1 (ja) 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
US10163049B2 (en) 2013-03-08 2018-12-25 Microsoft Technology Licensing, Llc Inconspicuous tag for generating augmented reality experiences
US10220303B1 (en) * 2013-03-15 2019-03-05 Harmonix Music Systems, Inc. Gesture-based music game
WO2014156033A1 (en) 2013-03-26 2014-10-02 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
US9245387B2 (en) 2013-04-12 2016-01-26 Microsoft Technology Licensing, Llc Holographic snap grid
KR102144763B1 (ko) 2013-05-22 2020-08-28 삼성전자주식회사 웨어러블 부가 장치를 통한 스케줄 표시 방법 및 장치
US9383819B2 (en) 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9235051B2 (en) 2013-06-18 2016-01-12 Microsoft Technology Licensing, Llc Multi-space connected virtual data objects
US9207771B2 (en) 2013-07-08 2015-12-08 Augmenta Oy Gesture based user interface
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
EP2849099B1 (en) 2013-09-11 2021-07-28 Dassault Systèmes A computer-implemented method for designing an industrial product modeled with a binary tree.
US20150097719A1 (en) 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
US9740296B2 (en) 2013-12-16 2017-08-22 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras in the interaction space
US20150199780A1 (en) 2014-01-16 2015-07-16 Alex Beyk Methods and systems for digital agreement establishment, signing, centralized management, and a storefront using head mounted displays and networks
US9541996B1 (en) 2014-02-28 2017-01-10 Google Inc. Image-recognition based game
US10254843B2 (en) 2014-02-28 2019-04-09 Vikas Gupta Gesture operated wrist mounted camera system
US9649558B2 (en) 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
EP2946266B1 (en) 2014-03-21 2023-06-21 Samsung Electronics Co., Ltd. Method and wearable device for providing a virtual input interface
CN204048340U (zh) 2014-04-28 2014-12-31 京东方科技集团股份有限公司 穿戴式投影设备
US9495801B2 (en) 2014-05-01 2016-11-15 Microsoft Technology Licensing, Llc Pose tracking an augmented reality device
US10579207B2 (en) 2014-05-14 2020-03-03 Purdue Research Foundation Manipulating virtual environment using non-instrumented physical object
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
EP3155560B1 (en) 2014-06-14 2020-05-20 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20170140552A1 (en) 2014-06-25 2017-05-18 Korea Advanced Institute Of Science And Technology Apparatus and method for estimating hand position utilizing head mounted color depth camera, and bare hand interaction system using same
US9548014B2 (en) 2014-08-04 2017-01-17 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US9734634B1 (en) 2014-09-26 2017-08-15 A9.Com, Inc. Augmented reality product preview
KR102337682B1 (ko) * 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
US9953216B2 (en) 2015-01-13 2018-04-24 Google Llc Systems and methods for performing actions in response to user gestures in captured images
US10429923B1 (en) * 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US10460195B2 (en) * 2015-03-27 2019-10-29 Mitsubishi Electric Corporation Imaging apparatus and method, operation apparatus and method, and program and recording medium
US10156908B2 (en) 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
AU2015396176B2 (en) 2015-05-28 2018-08-16 Motorola Solutions, Inc. Virtual push-to-talk button
US10146414B2 (en) 2015-06-09 2018-12-04 Pearson Education, Inc. Augmented physical and virtual manipulatives
US20170003746A1 (en) 2015-06-30 2017-01-05 International Business Machines Corporation Hand-gesture input
JP2017018519A (ja) * 2015-07-15 2017-01-26 セイコーエプソン株式会社 表示装置およびコンピュータープログラム
US20170053383A1 (en) 2015-08-17 2017-02-23 Dae Hoon Heo Apparatus and method for providing 3d content and recording medium
US10169917B2 (en) 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
EP3352051A4 (en) * 2015-09-18 2019-05-15 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10037085B2 (en) 2015-12-21 2018-07-31 Intel Corporation Techniques for real object and hand representation in virtual reality content
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社ｍｅｌｅａｐ 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
KR20170096420A (ko) 2016-02-16 2017-08-24 삼성전자주식회사 대화형 3차원 디스플레이 장치 및 방법
EP4394703A3 (en) 2016-03-14 2024-10-02 Mohamed R. Mahfouz Method of designing a dynamic patient-specific orthopedic implant
US9824500B2 (en) 2016-03-16 2017-11-21 Microsoft Technology Licensing, Llc Virtual object pathing
US10979843B2 (en) 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
WO2017215899A2 (en) 2016-05-27 2017-12-21 Holobuilder Inc, Augmented and virtual reality
US20170352184A1 (en) 2016-06-06 2017-12-07 Adam G. Poulos Optically augmenting electromagnetic tracking in mixed reality
US10146335B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
CN106199511B (zh) 2016-06-23 2019-07-12 郑州联睿电子科技有限公司 基于超宽带定位的vr定位追踪系统及其定位追踪方法
US10037626B2 (en) 2016-06-30 2018-07-31 Microsoft Technology Licensing, Llc Interaction with virtual objects based on determined restrictions
WO2018017399A1 (en) * 2016-07-20 2018-01-25 Usens, Inc. Method and system for 3d hand skeleton tracking
CN113467089A (zh) 2016-09-13 2021-10-01 奇跃公司 感测眼镜
US11625898B2 (en) * 2016-10-11 2023-04-11 Valve Corporation Holding and releasing virtual objects
US20180329209A1 (en) * 2016-11-24 2018-11-15 Rohildev Nattukallingal Methods and systems of smart eyeglasses
JP2018151851A (ja) * 2017-03-13 2018-09-27 セイコーエプソン株式会社 透過型表示装置、表示制御方法、およびコンピュータープログラム
JP2019008351A (ja) * 2017-06-20 2019-01-17 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
US10573089B2 (en) 2017-11-09 2020-02-25 The Boeing Company Systems, methods, and tools for spatially-registering virtual content with physical environment in augmented reality platforms
US10866652B2 (en) 2017-11-13 2020-12-15 Samsung Electronics Co., Ltd. System and method for distributed device tracking
US10964030B2 (en) 2018-02-12 2021-03-30 Samsung Electronics Co., Ltd. Device and method with pose estimator based on current predicted motion state array
JP2021081757A (ja) 2018-03-12 2021-05-27 ソニーグループ株式会社 情報処理装置、情報処理方法、および、プログラム
US11573641B2 (en) 2018-03-13 2023-02-07 Magic Leap, Inc. Gesture recognition system and method of using same
US10311833B1 (en) 2018-03-27 2019-06-04 Seiko Epson Corporation Head-mounted display device and method of operating a display apparatus tracking an object
US10957110B2 (en) 2018-04-17 2021-03-23 Edx Technologies, Inc. Systems, devices, and methods for tracing paths in augmented reality
US10782986B2 (en) 2018-04-20 2020-09-22 Facebook, Inc. Assisting users with personalized and contextual communication content
US11086126B1 (en) 2018-05-14 2021-08-10 Facebook Technologies, Llc Distributed artificial reality system with a removable display
US20190361521A1 (en) * 2018-05-22 2019-11-28 Microsoft Technology Licensing, Llc Accelerated gaze-supported manual cursor control
US11875012B2 (en) * 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US11353967B2 (en) * 2018-05-31 2022-06-07 Arkh Litho Holdings, LLC Interacting with a virtual environment using a pointing controller
US10948993B2 (en) 2018-06-07 2021-03-16 Facebook, Inc. Picture-taking within virtual reality
US10642369B2 (en) 2018-06-14 2020-05-05 Dell Products, L.P. Distinguishing between one-handed and two-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
US10748342B2 (en) 2018-06-19 2020-08-18 Google Llc Interaction system for augmented reality objects
US10635895B2 (en) 2018-06-27 2020-04-28 Facebook Technologies, Llc Gesture-based casting and manipulation of virtual content in artificial-reality environments
US10909762B2 (en) 2018-08-24 2021-02-02 Microsoft Technology Licensing, Llc Gestures for facilitating interaction with pages in a mixed reality environment
EP3855287A4 (en) * 2018-09-20 2022-04-20 Zhang, Hengzhong ADDING SYSTEM AND ADDING METHOD FOR ADDING SMELL INFORMATION TO DIGITAL PHOTOS
US10936051B2 (en) * 2018-09-20 2021-03-02 Dell Products, L.P. Power management for gesture recognition in virtual, augmented, and mixed reality (xR) applications
US10782779B1 (en) 2018-09-27 2020-09-22 Apple Inc. Feedback coordination for a virtual interaction
US11430192B2 (en) 2018-10-03 2022-08-30 Google Llc Placement and manipulation of objects in augmented reality environment
US11481025B2 (en) 2018-11-21 2022-10-25 Sony Group Corporation Display control apparatus, display apparatus, and display control method
US10902250B2 (en) 2018-12-21 2021-01-26 Microsoft Technology Licensing, Llc Mode-changeable augmented reality interface
US11294472B2 (en) 2019-01-11 2022-04-05 Microsoft Technology Licensing, Llc Augmented two-stage hand gesture input
US11320911B2 (en) 2019-01-11 2022-05-03 Microsoft Technology Licensing, Llc Hand motion and orientation-aware buttons and grabbable objects in mixed reality
US10788897B1 (en) 2019-01-15 2020-09-29 Facebook Technologies, Llc Systems and methods for sensing gestures via vibration-sensitive wearables donned by users of artificial reality systems
EP3693834A1 (en) 2019-02-11 2020-08-12 Siemens Aktiengesellschaft Method and system for viewing virtual elements
EP3928290A1 (en) * 2019-02-21 2021-12-29 Case Western Reserve University Processing three-dimensional (3d) ultrasound images
US20200311396A1 (en) * 2019-03-25 2020-10-01 Microsoft Technology Licensing, Llc Spatially consistent representation of hand motion
FR3095543B1 (fr) 2019-04-25 2022-02-25 Hap2U Dispositif de commande 3D à retour haptique
US10853991B1 (en) * 2019-05-20 2020-12-01 Facebook Technologies, Llc Multi-layered artificial reality controller pose tracking architecture having prioritized motion models
CN110170168B (zh) 2019-05-30 2022-05-27 腾讯科技（深圳）有限公司 虚拟对象射击控制方法、装置、电子设备及存储介质
US10890983B2 (en) * 2019-06-07 2021-01-12 Facebook Technologies, Llc Artificial reality system having a sliding menu
US11003307B1 (en) 2019-06-07 2021-05-11 Facebook Technologies, Llc Artificial reality systems with drawer simulation gesture for gating user interface elements
JP2021002288A (ja) 2019-06-24 2021-01-07 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、コンテンツ処理システム、および画像処理方法
US10928975B2 (en) 2019-07-17 2021-02-23 Microsoft Technology Licensing, Llc On-the-fly adjustment of orientation of virtual objects
US10991163B2 (en) * 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11340756B2 (en) * 2019-09-27 2022-05-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
US11182909B2 (en) 2019-12-10 2021-11-23 Google Llc Scalable real-time hand tracking
US11487423B2 (en) 2019-12-16 2022-11-01 Microsoft Technology Licensing, Llc Sub-display input areas and hidden inputs
US11983326B2 (en) 2020-02-26 2024-05-14 Magic Leap, Inc. Hand gesture input for wearable system
US12307066B2 (en) * 2020-03-16 2025-05-20 Apple Inc. Devices, methods, and graphical user interfaces for providing computer-generated experiences
KR20220156601A (ko) * 2020-03-23 2022-11-25 후아웨이 테크놀러지 컴퍼니 리미티드 디바이스의 손 제스처 기반 제어를 위한 방법 및 시스템
US11277597B1 (en) 2020-03-31 2022-03-15 Snap Inc. Marker-based guided AR experience
CN113536864B (zh) 2020-04-22 2023-12-01 深圳市优必选科技股份有限公司 手势识别方法、装置、计算机可读存储介质及终端设备
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
CN111665986B (zh) 2020-06-02 2022-07-01 武汉天马微电子有限公司 一种显示面板及显示装置
US11783615B2 (en) 2020-06-19 2023-10-10 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for language driven gesture understanding
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11546505B2 (en) 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
US11416079B2 (en) 2020-12-03 2022-08-16 Motorola Mobility Llc Snap motion gesture detection and response
US11631228B2 (en) 2020-12-04 2023-04-18 Vr-Edu, Inc Virtual information board for collaborative information sharing
US12086324B2 (en) 2020-12-29 2024-09-10 Snap Inc. Micro hand gestures for controlling virtual and graphical elements
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
EP4320502A1 (en) 2021-04-08 2024-02-14 Snap, Inc. Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
CN117178247A (zh) 2021-04-19 2023-12-05 斯纳普公司 用于动画化及控制虚拟和图形元素的手势

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103941866A (zh) * 2014-04-08 2014-07-23 河海大学常州校区 一种基于Kinect深度图像的三维手势识别方法
US20170028299A1 (en) * 2014-05-23 2017-02-02 Google Inc. Interactive Social Games on Head-Mountable Devices
US20170220104A1 (en) * 2016-02-03 2017-08-03 Disney Enterprises, Inc. Combination gesture game mechanics using multiple devices
CN106693361A (zh) * 2016-12-23 2017-05-24 武汉市马里欧网络有限公司 一种基于超声波手势识别的ar换装游戏投影方法及系统
US20190102927A1 (en) * 2017-09-29 2019-04-04 Sony Interactive Entertainment Inc. Rendering of virtual hand pose based on detected hand input

Also Published As

Publication number Publication date
US11925863B2 (en) 2024-03-12
US12357911B2 (en) 2025-07-15
KR20230066626A (ko) 2023-05-16
WO2022060549A2 (en) 2022-03-24
EP4213954A2 (en) 2023-07-26
US20250288905A1 (en) 2025-09-18
US20220088476A1 (en) 2022-03-24
US20240157235A1 (en) 2024-05-16
WO2022060549A3 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
US12357911B2 (en) Tracking hand gestures for interactive game control in augmented reality
EP4272064B1 (en) Micro hand gestures for controlling virtual and graphical elements
US12189861B2 (en) Augmented reality experiences with object manipulation
WO2022216784A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
EP4327185A1 (en) Hand gestures for animating and controlling virtual and graphical elements
CN116324677A (zh) 响应于检测到的手势的非接触式照片捕获
CN115917498A (zh) 使用语音和文字字幕的增强现实体验
CN115768537A (zh) 使用定位追踪的交互式增强现实体验
CN115735177A (zh) 包括共享对象操纵ar体验的眼戴器
US12196954B2 (en) Augmented reality gaming using virtual eyewear beams
CN115735174A (zh) 使用保持社交距离的增强现实体验
US20250224809A1 (en) Single-handed gestures for reviewing virtual content
WO2024049585A1 (en) Timelapse of generating a collaborative object
WO2024049578A1 (en) Scissor hand gesture for a collaborative object
CN116529652A (zh) 增强现实空间音频体验
WO2024049575A1 (en) Revealing collaborative object using countdown timer
EP4581586A1 (en) Selective collaborative object access based on timestamp

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination