[go: up one dir, main page]

CN106291930A - 头戴式显示器 - Google Patents

头戴式显示器 Download PDF

Info

Publication number
CN106291930A
CN106291930A CN201510961033.7A CN201510961033A CN106291930A CN 106291930 A CN106291930 A CN 106291930A CN 201510961033 A CN201510961033 A CN 201510961033A CN 106291930 A CN106291930 A CN 106291930A
Authority
CN
China
Prior art keywords
motion
mobile device
head
unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201510961033.7A
Other languages
English (en)
Inventor
许大山
张凯贸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN106291930A publication Critical patent/CN106291930A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/04—Reversed telephoto objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/04—Supports for telephone transmitters or receivers
    • H04M1/05—Supports for telephone transmitters or receivers specially adapted for use on head, throat or breast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Hardware Design (AREA)

Abstract

本发明提出一种头戴式显示器。所述头戴式显示器包括眼镜。眼镜包括：固持器和视野增强单元。其中，固持器，佩戴在用户的前额上，所述固持器用以将移动设备固持在所述用户的眼睛之前。视野增强单元，用以在所述移动设备被固持在所述固持器中时，增大或重新导向所述移动设备中的一个或多个传感单元的视野。本发明提出的头戴式显示器，配置更加的简单、成本更低，且兼容性更好。

Description

头戴式显示器
技术领域
本发明涉及头戴式显示器，更具体地，涉及一种利用基于移动设备的虚拟现实头戴式显示器来追踪手部和身体的技术。
背景技术
除非本文另有指出，否则本小节所描述的内容相对于本发明的权利要求而言不构成现有技术，且其也不会被承认为现有技术。
在基于智能手机的虚拟现实(Virtual Reality,VR)头戴式显示器(head-mounted display,HMD)的应用中，用户通常佩戴由智能手机所构成的头戴式显示器，而智能手机设置在某些手机固持器中。而智能手机提供显示功能，还可额外地提供头部位置追踪功能，甚至还可提供图形和多媒体渲染功能。
发明内容
有鉴于此，本发明提出一种头戴式显示器。
根据本发明的第一实施方式，提供一种头戴式显示器。所述头戴式显示器包括眼镜。眼镜包括：固持器和视野增强单元。其中，所述固持器，佩戴在用户的前额上，所述固持器用以将移动设备固持在所述用户的眼睛之前。所述视野增强单元，用以在所述移动设备被固持在所述固持器中时，增大或重新导向所述移动设备中的一个或多个传感单元的视野。
根据本发明的第二实施方式，提供一种头戴式显示器。所述头戴式显示器包括移动设备和眼镜。
所述移动设备，其具有第一主侧面和与所述第一主侧面相对的第二主侧面，所述移动设备包括显示单元、至少一个传感单元和处理单元。所述显示单元，位于所述第一主侧面。所述至少一个传感单元，位于所述第二主侧面，所述至少一个传感单元用以侦测物体的存在。所述至少一个传感单元包括一个或两个摄像头、深度摄像头、超声波传感器、或上述元件的组合。所述处理单元，用以控制所述显示单元和所述至少一个传感单元的操作，所述处理单元还用以接收来自所述至少一个传感单元的侦测所获取的相关的数据，所述处理单元进一步用以根据接收数据中的至少部分而判断所述物体的位置、方位和运动中的一个或多个。
所述眼镜包括固持器和视野增强单元。所述固持器，佩戴在用户的前额上，所述固持器用以将所述移动设备固持在所述用户的眼睛之前。所述视野增强单元，用以通过将所述至少一个传感单元的视野重新导向至所述用户的参与交互的身体部位，从而增大或重新导向所述至少一个传感单元的视野，所述视野增强单元包括反射镜、广角镜头或光学棱镜。
本发明提出的头戴式显示器，配置更加的简单、成本更低，且兼容性更好。
附图说明
本发明提供了附图以更好地理解本发明，附图并入本发明且构成本发明的一部分。附图揭露了本发明的实施方式，并同说明书一起共同解释本发明的原理。可以理解的是，附图并不一定是按照比例绘制的，因而，某些绘制的元件可能同其在实际的实施方式中的尺寸不成比例，这样做可更清晰地阐释本发明的构思。
图1为本发明一实施例所揭示的一种装置的示意图；
图2为本发明另一实施例所揭示的一种装置的示意图；
图3为本发明另一实施例所揭示的一种装置的示意图；
图4为本发明又一实施例所揭示的一种装置的示意图；
图5为本发明再一实施例所揭示的一种装置的示意图；
图6为本发明进一步的一实施例所揭示的一种装置的示意图；
图7为本发明一实施例所揭示的用户的手部位于摄像头的视野范围之外的场景示意图；
图8为本发明一实施例所揭示的用户的手部位于摄像头的视野范围之内的场景示意图；
图9为本发明另一实施例所揭示的用户的手部位于摄像头的视野范围之内的场景示意图；
图10为本发明又一实施例所揭示的用户的手部位于摄像头的视野范围之内的场景示意图；
图11为本发明一实施例所揭示的通过深度信息对手部进行预处理识别的示意图；
图12为本发明一实施例所揭示的由飞行时间摄像头(time-of-flightcamera,TOF camera)所提供的深度信息的示意图；
图13为本发明一实施例所揭示的使用双摄像头的具有立体视觉的移动设备的示意图；
图14为现有技术中通过视差测量确定立体深度的示意图。
具体实施方式
概述
本发明的实施方式可以应用到或者实施到任意合适的移动设备上。因此，虽然以下的描述中使用的词语是“智能手机”，但是，可以理解的是，本发明的实施方式也可应用至其他合适的移动设备(例如，平板电脑、平板手机和便携式计算设备等等)。
虚拟现实(virtual reality)是消费市场上所涌现的最新功能，主处理机和头戴式设备(head-mounted device)都是虚拟现实系统的关键部件。现今的高端智能手机/移动设备通常配备有品质惊人的显示器、处理能力强大的中央处理单元(central processing unit,CPU)和图像处理单元(graphics processing unit,GPU)，以及各种性能卓越的传感器。将这样一个智能手机/移动设备置于一个合适的固持器中，这样组合而成的头戴式显示器，便可以构成一个整体集成的虚拟现实系统，以提供各种显示、计算和头部追踪功能。
现今，流行的智能手机(或普遍而言，移动设备)配备有各种传感器以通过大量的智能手机应用程序(application)为智能手机和现实世界的模拟信号之间提供有趣的互动。以下对智能手机上配备的传感器或者能够添加到智能手机上的传感器作简要的描述。
当前市面上的大部分智能手机(如果不是全部的话)均配备有一个单独的主摄像头。而一些智能手机配备有双主摄像头，该双主摄像头具有对拍摄完的相片进行重新聚焦的功能。飞行时间摄像头(time-of-flightcamera,TOF camera)，也被称作深度摄像头(depth camera)，可与智能手机(或普遍而言，与便携式电子设备)协同使用以提供深度信息，例如，为三维环境模型的创建和三维物体的扫描提供深度信息。超声波传感器可用于非接触式或手势控制。近距离传感器可用于在智能手机处于通话位置时，打开或关闭面板。环境光传感器可用于动态地控制智能手机的面板背光从而提供较佳的阅读体验。运动传感器可用于检测智能手机的方位和运动。气压传感器可用于报告智能手机的海拔高度。
现有的在虚拟现实系统中对手部和身体进行追踪的方法通常需要用户穿着紧身衣，或者需要在手部或身体上佩戴特殊的标记或主动传感器。如后续将要描述的，本发明的实施方式不同于现有方法的是本发明可对智能手机中已经配备的传感器(如摄像头)进行再度利用，以实现手部和身体追踪。
在现有的各种追踪手部和身体的方法中，某些方法可以感知手部的自由活动，例如，Leap Motion和Nimble Sense两家公司的产品。而某些方法则要求用户配备可穿戴设备，如，肘带、手套、指环等等。跳跃运动和灵敏感知是利用一个或多个摄像头以及红外(infrared)光来捕捉和感知用户的手部运动。目前，这些均可以在售后配件市场中得到。当在基于智能手机/移动设备的虚拟现实系统中使用时，上述摄像头以及红外光机构可处于虚拟现实系统的外部。但是，除了机械连接结构的兼容性以外，用户还要担心软件驱动、应用程序、虚拟现实应用程序/游戏之间的整体性。因此，使用这类方法会产生额外的成本、重量和尺寸。
肘环利用导电式心电图(electrocardiogram)传感器和惯性传感器之间的协同工作来追踪用户的胳膊和手部的运动。肘环的主要缺点是心电图传感器以传导的方式测量电流的微小变化，因此，其需要传感器电极和用户的皮肤之间发生实际接触。相应地，如果用户希望穿着长袖衬衫的话，那么这种方法是不可行的。环型和手套型方法通常利用用户手指佩戴的惯性传感器来感知整个手部的运动。如果用户需要频繁地戴上和脱下手环或手套的话，则其可能引起用户的不满。手环和手套均为单独的小配件，其并不实际连接到头戴式设备上，因此，对于用户而言，携带和翻找这些小配件也是一种负担。
在虚拟现实应用中对用户手部的位置(x/y/z)和方位(摆动/俯仰/翻滚)进行追踪可以实现很多有趣的事情。举例来说，手部追踪能够以自然、直观的方式与虚拟物体和环境进行互动，例如，抓取或释放虚拟现实世界中的物体。手部追踪还可提供另外一种方式来在菜单项目和其他用户界面项目间进行选取，例如，触摸空中的虚拟底部。许多游戏已经证明，对用户手部和身体位置的连续追踪在健身类和运动类游戏中往往是非常有用和有趣的，例如，针对棒球而挥舞虚拟的棒球棍或者投掷虚拟的篮球。
传统的头戴式设备所面临的一个问题是头戴式设备总是阻挡用户的正常视线。由于头戴式设备阻挡用户的正常视线，则传统的控制机制，例如键盘、鼠标和游戏手柄，就可能就变得难以使用。在这类应用中，利用手部和身体追踪技术会比较有效。可采用各种方式来感知用户手部和身体的位置、方位和运动。其中一些方式的运行是基于视觉原理、惯性感知或超声波感知原理。常见的做法是在智能手机的固持器或在外部平台上安装额外的传感器以感知用户的手部和身体。然后，传感器通过多个单独连接途径而将观察结果传送至主机。
在一些系统中，需要用户佩戴或手持特定设备(例如，磁场辐射手腕带)以实现传感功能。另外，某些传感设备是售后的附加装置，其并不是特别为设定的头戴式显示器而设计的。例如，传感器中的红外传感器、惯性传感器、肌电图(electromyography)-惯性传感器、磁传感器和弯曲传感器(bending sensor)均可作为附加的配件而添加到设定的头戴式显示器上，用户可能会也可能不会购买/使用这类配件。同时，某些虚拟现实应用需要用户佩戴传感器或磁体以实现传感功能。也就是说，一方面，用户渴望同虚拟现实应用进行手部和身体互动；而另一方面，虚拟现实应用的开发者很难预测用户究竟拥有何种类型的头戴式装备以及配件。
为处理上述问题，本发明的实施方式采用一个或多个常见的传感器，来实现基于智能手机/移动设备的虚拟现实系统中的手部追踪和/或身体追踪。举例来说，本发明的实施方式可利用一个或多个下述的传感器：用于图像感知的智能手机的单独主摄像头，用于图像感知的智能手机的双背部摄像头，深度摄像头(其基于飞行时间原理而进行工作)和用于物体侦测的超声波传感器。
在本发明的一些实施方式中，图像传感器和/或深度传感器的视野(field of view,FOV)通常被重新导向至相关的身体部位，例如，用户身体前面的手部。且其可执行后续处理以导出有用信息，如，手部位置、手部方位和/或手部的运动方向，而这些信息均是虚拟现实应用所需要的。本发明的实施方式还可利用虚拟现实应用和传感器之间的紧密协作从而以实时方式(例如，限制的用于超声扫描的可能区域)对传感器进行最佳的控制。
对于虚拟现实中的手部和身体追踪，其也存在一些问题。首先，其通常需要使用外部传感器和/或外部处理器，而这是不利的因素。如果对是否有足够数量的用户拥有合适的手部/身体追踪配件存有疑问的话，那么开发者或供应商很难设计出需要对手部和/或身体进行追踪的虚拟现实应用，如游戏。其次，为了实现手部/身体追踪，其通常需要用户在手部和/或胳膊部位佩戴追踪设备，如，手环、手套、甚至智能指甲钉(smart nail)。而追踪设备会发射和/或接收电磁波(electromagnetic wave)，因此，电磁干扰也会是一个问题。而对于基于图像的手部/身体追踪方法，图像的背景通常需要具有某种特性，例如，具有同用户的皮肤颜色不同的颜色。
本发明的实施方式可在解决上述问题的同时提供许多有益效果。首先，使用本发明的实施方式可降低购置成本。例如，智能手机中现存的传感器，即原本就安装在智能手机上的传感器，可用来进一步地实现手部/身体追踪的目的。因此，其不会在心电图传感器、惯性传感器或其它附加的传感器上产生额外的必要成本。另外，相比于现有方法，本发明的实施方式会由于无需提供额外的配件，因此其能够提供更加简单的配置。举例来说，在一些实施方式中，手部和身体追踪可基于智能手机的摄像头所捕捉的图像而实现。由于用来追踪手部和/或身体的位置、方位和/或运动摄像头已经设置在智能手机上，因此，无需担心系统的兼容性和配件的电池寿命。此外，从用户的角度出发，本发明的实施方式对用户来说会更加的舒适。本发明的实施方式无需用户穿戴或持握某些额外的设备或配件。例如，在一些实施方式中，智能手机中的一个或多个摄像头可使用新颖的算法和先进的数字图像处理技术来追踪用户手部和/或身体的位置、方位和/或运动。用户无需按压任何按钮(通常应用在传统的游戏手柄上)来控制虚拟现实应用的操作。而且，本发明的实施方式可对整个平台的性能提供整体集成的优化。通过整体性设计，应用的开发者可在特定的应用和智能手机的传感器资源之间作出更多的实时整合。
值得注意的是，基于智能手机/移动设备的头戴式显示器所面临的挑战在于，当智能手机的传感器在观测手部和身体时，由于智能手机佩戴在玩家的头部，因此，智能手机本身相对于虚拟世界的位置通常也是移动的。所观测到的头部和/或身体相对于智能手机的位置不仅仅是由于手部和身体相对于虚拟世界的运动，而且还由于用户头部的运动而导致的。考虑到大多数类似的虚拟现实应用需要的是纯粹的手部和/或身体运动，因此，头部所导致的任何相对运动均需排除或者抵消。也就是说，消除不需要的不相关运动信息是在使用智能手机传感器对手部和身体进行追踪时的一个关键性步骤。头部运动的信息来源可能是基于智能手机的头戴式显示器中已经存在的一个或多个传感器。另外，头部运动的信息来源也可能是设置在头戴式显示器之外的一个或多个传感器。
相对于提供更加简单的配置，虚拟现实是一种高度互动形式的体验。如果虚拟内容只能通过某些售后的配件才可以体验到的话，那么从内容创作者的角度出发，总体的潜在市场规模将会缩减。这会降低对内容创建者的激励作用，甚至很有可能达到再也没有虚拟内容产生的程度。而利用智能手机的资源，其实际上几乎不产生额外成本，因此，本发明的实施方式保证了手部和身体追踪功能的可实施性。
因此，从本发明实施方式的角度出发，用于手部和身体追踪的传感器就嵌入在智能手机之中。举例来说，在本发明的一些实施方式中，智能手机中已经存在的一个或多个摄像头和/或超声波传感器可用于手部和身体追踪。这对于应用的开发者来说是巨大的激励，因为他们无需再担心用户可能拥有的是何种追踪设备和传感器。由于使用智能手机中现有的传感器来追踪手部和身体，应用的开发者可将追踪功能看作是始终存在的。因此，他们可以自由地创建更多需要进行手部和身体追踪的有趣的应用。而对于用户而言，实现手部和身体追踪功能将不会产生额外的成本或购买配件的需要，因此追踪功能将会变成一个“必定存在的”功能，其如同拍照功能一样常见。
实施例
本发明的实施方式可在一些虚拟现实装置中实现，这些装置包括但不限于图1至图6所示的装置。
图1为本发明一实施方式所揭示的装置100的示意图。如图1所示，装置100包括用户所佩戴的眼镜110和移动设备120(如，智能手机)。移动设备120具有第一主侧面和第二主侧面，其中，第一主侧面朝向用户，而第二主侧面与第一主侧面相对。移动设备120还具有显示单元(未示出)，其位于第一主侧面且面向用户的眼睛。移动设备120还具有至少一个传感单元(如，摄像头130)，传感单元位于第二主侧面。摄像头130具有视野140且用以侦测物体(如，用户的手部150)的存在。移动设备120还包括处理单元，其用以控制显示单元和摄像头130的操作。处理单元还可用以接收来自摄像头130侦测所获取的相关的数据。处理单元还可进一步根据接收数据中的至少部分而判断手部150的位置、方位和运动中的一个或多个。举例来说，移动设备120可包括运动传感器180，如陀螺仪或其它任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器180可感知移动设备120的运动，并输出代表所感知运动的运动感测信号。相应地，移动设备120的处理单元可接收来自运动传感器180的运动感测信号并在虚拟现实应用中对被感知到的运动进行补偿。眼镜110可包括固持器，其佩戴在用户的前额部，并用以将移动设备120固持在用户的眼睛之前。或者，眼镜110可包括运动传感器190，如陀螺仪或其它任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器190可感知眼镜110的运动，并输出代表所感知运动的运动感测信号。相应地，移动设备120的处理单元可通过例如以无线的方式来接收来自运动传感器190的运动感测信号并在虚拟现实应用中对被感知到的运动进行补偿。
图2为本发明另一实施方式所揭示的装置200的示意图。如图2所示，装置200包括用户佩戴的眼镜210和移动设备220(如，智能手机)。移动设备220具有第一主侧面和第二主侧面，其中，第一主侧面朝向用户，而第二主侧面与第一主侧面相对。移动设备220还具有显示单元(未示出)，其位于第一主侧面且面向用户的眼睛。移动设备220还具有位于第二主侧面的至少一个传感单元(如，第一摄像头230和第二摄像头235)。摄像头230具有视野240且用以侦测物体(如，用户的手部250)的存在。摄像头235具有视野245且用以侦测该物体(如，用户的手部250)的存在。移动设备220还包括处理单元，其用以控制显示单元、第一摄像头230和第二摄像头235的操作。处理单元还可用以接收来自第一摄像头230和第二摄像头235侦测所获得的相关的数据。处理单元还可进一步根据接收数据中的至少部分而判断手部250的位置、方位和运动中的一个或多个。举例来说，移动设备220可包括运动传感器280，如陀螺仪或其它任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器280可感知移动设备220的运动，并输出代表所感知到运动的运动感测信号。相应地，移动设备220的处理单元可接收来自运动传感器280的运动感测信号并在虚拟现实应用中对所感知到的运动进行补偿。眼镜210可包括固持器，其佩戴在用户的前额上，并用以将移动设备220固持在用户的眼睛之前。或者，眼镜210可包括运动传感器290，如陀螺仪或其它任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器290可感知眼镜210的运动，并输出代表所感知到运动的运动感测信号。相应地，移动设备220的处理单元可通过例如以无线的方式来接收来自运动传感器290的运动感测信号并在虚拟现实应用中对所感知到的运动进行补偿。
图3为本发明另一实施方式所揭示的装置300的示意图。如图3所示，装置300包括用户所佩戴的眼镜310和移动设备320(如，智能手机)。移动设备320具有第一主侧面和第二主侧面，其中，第一主侧面朝向用户，而第二主侧面与第一主侧面相对。移动设备320具有显示单元(未示出)，其位于第一主侧面且面向用户的眼睛。移动设备320还具有位于第二主侧面的至少一个传感单元(如，深度摄像头330)。深度摄像头330具有视野340且用以侦测某物体(如，用户的手部350)的存在。移动设备320还包括处理单元，用以控制显示单元和深度摄像头330的操作。处理单元还可用以接收来自深度摄像头330的侦测所获得的相关的数据。处理单元还可进一步根据接收数据中的至少部分而判断手部350的位置、方位和运动中的一个或多个。举例来说，移动设备320可包括运动传感器380，如陀螺仪或其他任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器380可感知移动设备320的运动，并输出代表所感知到运动的运动感测信号。相应地，移动设备320的处理单元可接收来自运动传感器380的运动感测信号并在虚拟现实应用中对所感知到的运动进行补偿。眼镜310可包括固持器，其佩戴在用户的前额上，并用以将移动设备320固持在用户的眼睛之前。或者，眼镜310可包括运动传感器390，如陀螺仪或其他任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器390可感知眼镜310的运动，并输出代表所感知到运动的运动感测信号。相应地，移动设备320的处理单元可通过例如以无线的方式接收来自运动传感器390的运动感测信号并在虚拟现实应用中对所感知到的运动进行补偿。
图4为本发明又一实施方式所揭示的装置400的示意图。如图4所示，装置400包括用户佩戴的眼镜410和移动设备420(如，智能手机)。移动设备420具有第一主侧面和第二主侧面，其中，第一主侧面朝向用户，而第二主侧面与第一主侧面相对。移动设备420具有显示单元(未示出)，其位于第一主侧面且面向用户的眼睛。移动设备420还具有位于第二主侧面的至少一个传感单元(如，超声波传感器430)。超声波传感器430用以发射超声波440以侦测某物体(如，用户的手部450)的存在。移动设备420还包括处理单元，用以控制显示单元和超声波传感器430的操作。处理单元还可用以接收来自超声波传感器430的侦测所获得的相关的数据。处理单元还可进一步根据接收数据中的至少部分确定手部450的位置、方位和运动中的一个或多个。举例来说，移动设备420可包括运动传感器480，如陀螺仪或其他任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器480可感知移动设备420的运动，并输出代表所感知到运动的运动感测信号。相应地，移动设备420的处理单元可接收来自运动传感器480的运动感测信号并在虚拟现实应用中对被感知到的运动进行补偿。眼镜410可包括固持器，固持器佩戴在用户的前额上，并用以将移动设备420固持在用户的眼睛之前。或者，眼镜410可包括运动传感器490，如陀螺仪或其他任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器490可感知眼镜410的运动，并输出代表所感知到运动的运动感测信号。相应地，移动设备420的处理单元可通过例如以无线的方式接收来自运动传感器490的运动感测信号并在虚拟现实应用中对被感知到的运动进行补偿。
图5为本发明再一实施方式所揭示的装置500的示意图。如图5所示，装置500包括用户所佩戴的眼镜510和移动设备520(如，智能手机)。移动设备520具有第一主侧面和第二主侧面，其中，第一主侧面朝向用户，而第二主侧面同第一主侧面相对。移动设备520具有显示单元(未示出)，其位于第一主侧面且面向用户的眼睛。移动设备520还具有位于第二主侧面的至少一个传感单元(如，摄像头530和超声波传感器535)。摄像头530具有视野540且用以侦测某物体(如，用户的手部550)的存在。超声波传感器535用以发射超声波545以侦测该物体(如，用户的手部550)的存在。移动设备520还包括处理单元，用以控制显示单元、摄像头530和超声波传感器535的操作。处理单元还可用以接收来自摄像头530和超声波传感器535的侦测所获得的相关的数据。处理单元还可进一步根据接收数据中的至少部分而判断手部550的位置、方位和运动中的一个或多个。举例来说，移动设备520可包括运动传感器580，如陀螺仪或任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器580可感知移动设备520的运动，并输出代表所感知到运动的运动感测信号。相应地，移动设备520的处理单元可接收来自运动传感器580的运动感测信号并在虚拟现实应用中对被感知到的运动进行补偿。眼镜510可包括固持器，固持器佩戴在用户的前额上，并用以将移动设备520固持在用户的眼睛之前。或者，眼镜510可包括运动传感器590，如陀螺仪或其他任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器590可感知眼镜510的运动，并输出代表所感知到运动的运动感测信号。相应地，移动设备520的处理单元可通过例如以无线的方式接收来自运动传感器590的运动感测信号并在虚拟现实应用中对所感知到的运动进行补偿。
图6为本发明进一步的一实施方式所揭示的装置600的示意图。如图6所示，装置600包括用户佩戴的眼镜610和移动设备620(如，智能手机)。移动设备620具有第一主侧面和第二主侧面，其中，第一主侧面朝向用户，而第二主侧面同第一主侧面相对。移动设备620具有显示单元(未示出)，显示单元位于第一主侧面且面向用户的眼睛。移动设备620还具有位于第二主侧面的至少一个传感单元(如，摄像头630)。摄像头630具有视野640且用以侦测某物体(如，用户的手部650)的存在。移动设备620还包括处理单元，用以控制显示单元和摄像头630的操作。处理单元还可用以接收来自摄像头630的侦测所获得的相关的数据。处理单元还可进一步根据接收数据中的至少部分而确定手部650的位置、方位和运动中的一个或多个。举例来说，移动设备620可包括运动传感器680，如陀螺仪或其他任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器680可感知移动设备620的运动，并输出代表所感知到运动的运动感测信号。相应地，移动设备620的处理单元可接收来自运动传感器680的运动感测信号并在虚拟现实应用中对被感知到的运动进行补偿。眼镜610可包括固持器，固持器佩戴在用户的前额上，并用以将移动设备620固持在用户的眼睛之前。或者，眼镜610可包括运动传感器690，如陀螺仪或其他任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器690可感知眼镜610的运动，并输出代表所感知到运动的运动感测信号。相应地，移动设备620的处理单元可通过例如以无线的方式接收来自运动传感器690的运动感测信号并在虚拟现实应用中对被感知到的运动进行补偿。
移动设备620可进一步包括无线通信单元，其用以至少以无线的方式来接收来自用户所佩戴的可穿戴计算设备660(如，智能手表)的信号670。处理单元还可根据接收数据和接收信号670从而确定手部650(或用户的腕部)的位置、方位和运动中的一个或多个。
本发明的实施方式可对智能手机(或普遍而言，移动设备)上已经配备的现有传感器进行再度利用，以实现对物体如用户手部和身体部位进行追踪的目的。然而，其所面临的挑战在于用户的手部可能位于智能手机摄像头的总体视野之外，而总体视野通常在60°～80°的范围内，具体可如图7所示。
图7为本发明一实施例所揭示的用户的手部位于摄像头的视野范围之外的场景700的示意图。在场景700中，用户佩戴头戴式设备，其包括眼镜710和移动设备720(如，智能手机)。移动设备720具有第一主侧面和第二主侧面，其中，第一主侧面朝向用户，第二主侧面与第一主侧面相对。移动设备720具有显示单元(未示出)，其位于第一主侧面且面向用户的眼睛。移动设备720还具有位于第二主侧面的至少一个传感单元(如，摄像头730)。摄像头730具有视野740且用以侦测物体(如，用户的手部750)的存在。如图7所示，有时，手部750可能位于摄像头730的视野范围740之外，例如，当用户倾斜或者转动其头部去观看远离其一只手或双手的方向时。
移动设备720可包括运动传感器780，如陀螺仪或其它任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器780可感知移动设备720的运动，并输出代表所感知到运动的运动感测信号。相应地，移动设备720的处理单元可接收来自运动传感器780的运动感测信号并在虚拟现实应用中对被感知到的运动进行补偿。或者，眼镜710可包括运动传感器790，如陀螺仪或其它任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器790可感知眼镜710的运动，并输出代表所感知到运动的运动感测信号。相应地，移动设备720的处理单元可通过例如以无线的方式来接收来自运动传感器790的运动感测信号并在虚拟现实应用中对被感知到的运动进行补偿。
为了解决上述问题，一种方案是使用反射元件，如反射镜，其以特定的角度安装在智能手机的摄像头之前，从而将摄像头的视野进行重新导向，如此，摄像头便可侦测或“看到”用户的双手及至少一部分的身体，具体可如图8所示。
图8为本发明一实施例所揭示的用户的手部位于摄像头范围之内的场景800的示意图。在场景800中，用户佩戴头戴式设备，其包括眼镜810和移动设备820(如，智能手机)，移动设备820具有第一主侧面和第二主侧面，其中，第一主侧面朝向用户，第二主侧面与第一主侧面相对。移动设备820具有一显示单元(未示出)，其位于第一主侧面且面向用户的眼睛。移动设备820还具有位于第二主侧面的至少一个传感单元(如，摄像头830)。摄像头830具有视野840且用以侦测物体(如，用户的手部850)的存在。在场景800中，眼镜810还包括视野增强单元860，用以将摄像头830的视野840进行重新导向。视野增强单元860可包括反射元件，例如，平面镜。
移动设备820可包括运动传感器880，如陀螺仪或其他任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器880可感知移动设备820的运动，并输出代表所感知到运动的运动感测信号。相应地，移动设备820的处理单元可接收来自运动传感器880的运动感测信号并在虚拟现实应用中对被感知到的运动进行补偿。或者，眼镜810可包括运动传感器890，如陀螺仪或任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器890可感知眼镜810的运动，并输出代表所感知到运动的运动感测信号。相应地，移动设备820的处理单元可通过例如以无线的方式接收来自运动传感器890的运动感测信号并在虚拟现实应用中对被感知到的运动进行补偿。
另一种方案是在摄像头之前安装广角镜头或鱼眼镜头以增大摄像头的视野，如此，摄像头便可侦测或“看到”用户的手部及至少一部分的身体，具体可如图9所示。
图9为本发明另一实施例所揭示的用户的手部位于摄像头的视野范围之内的场景900的示意图。在场景900中，用户佩戴头戴式设备，其包括眼镜910和移动设备920(如，智能手机)。移动设备920具有第一主侧面和第二主侧面，其中，第一主侧面朝向用户，第二主侧面同第一主侧面相对。移动设备920具有显示单元(未示出)，显示单元位于第一主侧面且面向用户的眼睛。移动设备920还具有位于第二主侧面的至少一个传感单元(如，摄像头930)。摄像头930具有视野940且用以侦测物体(如，用户的手部950)的存在。在场景900中，眼镜910还包括视野增强单元960，用以增大摄像头930的视野940。视野增强单元960可包括广角镜头或鱼眼镜头。
移动设备920可包括运动传感器980，如陀螺仪或其他任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器980可感知移动设备920的运动，并输出代表所感知到运动的运动感测信号。相应地，移动设备920的处理单元可接收来自运动传感器980的运动感测信号并在虚拟现实应用中对被感知到的运动进行补偿。或者，眼镜910可包括运动传感器990，如陀螺仪或其他任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器990可感知眼镜910的运动，并输出代表被感知运动的运动感测信号。相应地，移动设备920的处理单元可通过例如以无线的方式接收来自运动传感器990的运动感测信号并在虚拟现实应用中对被感知到的运动进行补偿。
另一不同的方案是在摄像头之前安装光学棱镜，以对摄像头的视野进行重新导向，如此，摄像头便可侦测到或“看到”用户的手部及至少一部分的身体，具体可如图10所示。
图10为本发明又一实施例所揭示的用户的手部位于摄像头的视野范围之内的场景1000的示意图。在场景1000中，用户佩戴头戴式设备，其包括一眼镜1010和移动设备1020(如，智能手机)。移动设备1020具有第一主侧面和第二主侧面，其中，第一主侧面朝向用户，第二主侧面同第一主侧面相对。移动设备1020具有显示单元(未示出)，显示单元位于第一主侧面且面向用户的眼睛。移动设备1020还具有位于第二主侧面的至少一个传感单元(如，摄像头1030)。摄像头1030具有视野1040且用以侦测物体(如，用户的手部1050)的存在。在场景1000中，眼镜1010还包括视野增强单元1060，用以将摄像头1030的视野1040进行重新导向。视野增强单元1060可包括光学棱镜。
移动设备1020可包括运动传感器1080，如陀螺仪或其他任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器1080可感知移动设备1020的运动，并输出代表所感知到运动的运动感测信号。相应地，移动设备1020的处理单元可接收来自运动传感器1080的运动感测信号并在虚拟现实应用中对被感知到的运动进行补偿。或者，眼镜1010可包括运动传感器1090，如陀螺仪或其他任意合适的能够判断运动、加速度和/或方位的电动-机械电路。运动传感器1090可感知眼镜1010的运动，并输出代表所感知到运动的运动感测信号。相应地，移动设备1020的处理单元可通过例如以无线的方式接收来自运动传感器1090的运动感测信号并在虚拟现实应用中对被感知到的运动进行补偿。
在本发明的一些实施方式中，手部追踪可涉及多个操作，其包括但不限于：对用户手部进行拍照、图像的预处理、创建手部模型和手部运动识别。
对于拍照而言，通常智能手机摄像头均是被设计用来产生静态图像和高清晰度和/或高分辨率的视频，而不是专门用来为例如是虚拟现实应用中的手部和身体追踪生成“足够好的”输入信息。换言之，传统的智能手机(或普遍而言，移动设备)上的摄像传感器在连续使用时可能会太快地消耗掉智能手机中的移动电池的电量。因此，本发明的实施方式可将智能手机中现有的摄像头的控制方式调整成“追踪摄像”，其需要更高的帧率以记录用户所作出的每一动作，从而在虚拟现实世界中快速地反映出涉及用户手部或身体的位置、方位和/或运动的信息。
在本发明的一些实施方式中，摄像头的帧率或者说每秒钟帧的数量(number of frames per second,FPS)可以进行调整或增加，以匹配面板的刷新频率(例如，60HZ)。此外，低分辨率图像(如，640x480)，对于对物体进行追踪和计算来说，其提供的性能也是可以接受的。另外，本发明的实施方式可采用2x2或4x4像素合并(pixel binning)(例如，将2x2像素合并为1x1像素)或子采样部分像素，从而有效地节省电力。除此之外，本发明的实施方式可根据所使用的追踪算法，关闭或者以其他方式停用掉摄像头的自动聚焦功能，从而进一步地节省能量。
对智能手机或移动设备的摄像头进行再度利用以额外地实现手部/身体追踪功能，其所面临的问题是引入了额外的电流消耗。但是，通过恰当地设置“追踪摄像”功能，智能手机或移动设备的电池不会快速地掉电。也就是说，可通过在“追踪摄像”功能中进行具体地限定，从而优化智能手机或移动设备的电能的使用效率。举例来说，智能手机或移动设备的图像信号处理器(image signal processor,ISP)可被设计成双模式，从而实现本发明的实施方式，进而满足不同的摄像需求。其中一种模式是对普通摄像进行优化，而另一种模式是以节能的方式对涉及手部/身体追踪的信息进行连续地追踪、分析和解码进行优化。
对于图像预处理而言，常见的做法是使用肤色过滤，亦即通过使用智能手机或移动设备的可见光摄像传感器来丢弃掉对应用而言无用的像素信息。提前丢弃掉无用的像素信息可大大地降低计算的复杂性。虽然这是一个简单直接的方法，然而，该方法对环境光很敏感，而环境光可能会导致用户的肤色发生变化。为了减轻环境光所引发的问题，本发明的实施方式可使用深度信息，或者深度地图，来对实时的三维运动识别进行预处理过滤。通过预处理的深度信息，则对位于空中的手部和身体的预处理识别变得更加简单，具体可如图11所示。
如图12所示，飞行时间摄像头为一个发光源与摄像头组成的模块，发光源会发射特定波长、带有相位信息的光。在碰触反射体反射后，特定波长、带有相位信息的光将被摄像头捕捉。通过光从发射到接收所需要的飞行时间与已知光速之间的关系，可以计算得到飞行距离。又由于飞行距离相等于两倍的绝对物距，可以由飞行距离计算得到空间中的绝对物距(即，深度信息)。因此，深度信息可通过飞行时间摄像头而生成。
根据本发明的另一实施方式，也可通过立体图像而生成深度信息。立体图像可通过双视觉摄像头来拍摄，具体可如图13所示，移动设备1300的双视觉摄像头彼此间隔开一定距离来模拟视差，因而在物理布局上其类似于人眼。对于空间中的点状物体，两个摄像头之间的间隔将会在两个摄像头所成的图像上产生物体位置的可测量视差。通过使用简单的针孔摄像模型，每个图像上物体的位置均可计算出来，其可通过角度α和β来表示。知道这些角度以后，深度Z便可计算出来。请参考图14中的通过视差测量确定立体深度的计算公式1400。其中A为一个观测点，B为另一个观测点，X为两个观测点之间的距离，角度α为观测点A与待观测物的距离和A、B两个观测点连线的平面的夹角，角度β为观测点B与待观测物的距离和A、B两个观测点连线的平面的夹角。通过计算公式1400，可以得到深度Z(即，空间中的物距)。
对于手部模型创建和手部运动识别而言，当前市面上的智能手机或移动设备上的处理器可在运行虚拟现实期间，同时进行复杂的图像处理操作。
在本发明的一些实施方式中，用户的头部可能会倾斜较大，从而导致用户的手部位于智能手机或移动设备的摄像头的视野之外，因此，摄像头可与其它用来进行手部追踪的结构配合在一起使用。举例来说，用户可在腕部佩戴智能手表(或普遍而言，可穿戴计算设备)以用于手部(腕部)追踪。智能手表或可穿戴计算设备可周期性或实时地向智能手机或移动设备发送位置信息。而当手部可以被看见时(即能够被智能手机或者移动设备的摄像头捕捉)，则可修正任何偏差。
重点特征
根据图1-14的相关描述，本发明实施方式的特征萃取如下。
在一个技术方案中，头戴式显示器包括眼镜。所述眼镜佩戴在或者环绕在用户的前额上，其可类似于护目镜的常见佩戴方式。所述眼镜可包括固持器和视野增强单元。其中，固持器可由用户佩戴在其前额上，且固持器用以将移动设备固持在用户的眼睛之前。视野增强单元可用以在移动设备被固定在固持器中时，增大或者重新导向移动设备中的一个或多个传感单元的视野。
在一些实施方式中，视野增强单元可包括反射元件。
在一些实施方式中，反射元件可包括反射镜或光学棱镜。
在一些实施方式中，视野增强单元可包括广角镜头。
在一些实施方式中，视野增强单元可将至少一个传感单元的视野重新导向至用户的参与交互的身体部位。而在一些实施方式中，参与交互的身体部位可至少包括用户的手部。
在一些实施方式中，固持器可包括护目镜，其用以在镜片和用户脸部之间密封一个空间，从而防止环境光进入该空间之内。
在一些实施方式中，眼镜可进一步包括运动传感器，其用以感知眼镜的运动，并输出代表所感知运动的运动感测信号。
在一些实施方式中，头戴式显示器可进一步包括移动设备，移动设备具有第一主侧面和与第一主侧面相对的第二主侧面。移动设备可包括显示单元、至少一个传感单元和处理单元。显示单元可位于移动设备的第一主侧面上。至少一个传感单元可位于移动设备的第二主侧面上。至少一个传感单元可用以侦测物体的存在。处理单元还可用以控制显示单元和至少一个传感单元的操作。处理单元还可用以接收来自至少一个传感单元的侦测所获取的相关数据，并用以根据所接收的数据中的至少部分而判断物体的位置、方位和运动中的一个或多个。
在一些实施方式中，移动设备可包括智能手机、平板电脑、平板手机或便携式计算设备。
在一些实施方式中，至少一个传感单元包括单摄像头、双摄像头或深度摄像头。
在一些实施方式中，至少一个传感单元可包括超声波传感器。
在一些实施方式中，至少一个传感单元可包括摄像头和超声波传感器。
在一些实施方式中，至少一个传感单元可包括摄像头。处理单元可用以执行增大摄像头的帧率、降低摄像头的分辨率、采用2x2或4x4像素装仓或者子采样部分像素、或停用摄像头的自动聚焦功能中的一个或者多个操作。
在一些实施方式中，移动设备可进一步包括无线通信单元，其用以至少以无线的方式来接收来自用户所穿戴的可穿戴计算设备的信号。在一些实施方式中，处理单元还可用以根据接收数据和接收信号而确定物体的位置、方位和运动中的一个或多个。
在一些实施方式中，移动设备还包括图像信号处理器(image signalprocessor,ISP)，其可提供第一模式和第二模式。其中，第一模式是对普通摄像进行优化，而第二模式是对与物体追踪相关信息进行连续的追踪、分析和解码进行优化。
在一些实施方式中，视野增强单元可包括广角镜头。至少一个传感器可包括摄像头。广角镜头可设置在摄像头之前，从而使得摄像头的视野角度透过广角镜头后至少足以覆盖参与交互的观察对象。
在一些实施方式中，处理单元还可用以在虚拟现实环境中渲染可显示于显示单元上的视觉图像。
在一些实施方式中，视觉图像可对应于被侦测的物体。
在另一技术方案中，头戴式显示器可包括移动设备和眼镜。移动设备可具有第一主侧面和与第一主侧面相对的第二主侧面。移动设备可包括位于第一主侧面的显示单元、位于第二主侧面的至少一个传感单元和处理单元。至少一个传感单元可用以侦测物体的存在。处理单元还可用以控制显示单元和至少一个传感单元的操作。处理单元还可用以接收来自至少一个传感单元的侦测所获取的相关的数据。处理单元还可进一步用以根据所接收的数据中的至少部分而判断物体的位置、方位和运动中的一个或多个。眼镜可佩戴在或环绕在用户的前额上，其类似于护目镜的常见佩戴方式。眼镜可包括固持器和视野增强单元。固持器可由用户佩戴在其前额上，并用以将移动设备固持在用户的眼睛之前。视野增强单元可用以增大或重新导向至少一个传感单元的视野。
在一些实施方式中，移动设备可包括智能手机、平板电脑、平板手机或便携式计算设备。
在一些实施方式中，至少一个传感单元可包括摄像头。
或者，至少一个传感单元可包括双摄像头。
或者，至少一个传感单元可包括深度摄像头。
或者，至少一个传感单元可包括超声波摄像头。
或者，至少一个传感单元可包括摄像头和超声波摄像头。
在一些实施方式中，至少一个传感单元可包括摄像头。此外，处理单元可用以执行增大摄像头的帧率、降低摄像头的分辨率、采用2x2或4x4像素合并或子采样部分像素、或停用摄像头的自动聚焦功能中的一个或者多个操作。
在一些实施方式中，至少一个传感单元可包括运动传感器，其用以感知移动设备的运动，并输出代表所感知运动的运动感测信号。处理单元可用以接收来自运动传感器的运动感测信号并在虚拟现实应用中对所感知的运动进行补偿。
在一些实施方式中，眼镜还可包括运动传感器，其用以感知眼镜的运动，并输出代表所感知运动的运动感测信号。处理单元可用以接收来自运动传感器的运动感测信号并在虚拟现实应用中对所感知到的运动进行补偿。
在一些实施方式中，移动设备可进一步包括无线通信单元，其用以至少以无线的方式接收来自用户所穿戴的可穿戴计算设备的信号。在一些实施方式中，处理单元还可用以根据接收数据和接收信号而判断物体的位置、方位和运动中的一个或多个。
在一些实施方式中，移动设备还包括图像信号处理器，其可提供第一模式和第二模式。其中，第一模式是对于普通摄像进行优化。第二模式是对与物体追踪相关的信息进行连续的追踪、分析和解码进行优化。
在一些实施方式中，视野增强单元可包括反射元件。在一些实施方式中，反射元件可包括反射镜。
在一些实施方式中，视野增强单元可包括广角镜头。在一些实施方式中，至少一个传感器可包括摄像头，且广角镜头可设置在摄像头之前，从而使得摄像头的视野角度透过广角镜头后至少足以覆盖参与交互的观察对象。
在一些实施方式中，视野增强单元可用以将至少一个传感单元的视野重新导向至用户的参与交互的身体部位。在一些实施方式中，参与交互的身体部位可至少包括用户的手部。
在一些实施方式中，处理单元还可用以在虚拟现实环境中渲染可显示于显示单元上的视觉图像。在一些实施方式中，视觉图像可对应于被侦测的物体。
在一些实施方式中，固持器可包括护目镜，其用以在镜片和用户脸部之间密封一个空间，从而防止环境光进入该空间之内。
在又一技术方案中，头戴式显示器包括移动设备和眼镜。移动设备可具有第一主侧面和与第一主侧面相对的第二主侧面。移动设备可包括位于第一主侧面的显示单元、位于第二主侧面的至少一个传感单元和处理单元。至少一个传感单元可用以侦测物体的存在。至少一个传感单元可包括一个或多个摄像头、深度摄像头、超声波传感器或上述元件的组合。处理单元还可用以控制显示单元和至少一个传感单元的操作。处理单元还可用以接收来自至少一个传感单元的侦测所获取的相关的数据。处理单元还可进一步用以根据接收数据中的至少部分而确定物体的位置、方位和运动中的一个或多个。眼镜可佩戴在或环绕在用户的前额上，类似于护目镜的常见佩戴方式。眼镜可包括固持器和视野增强单元。固持器可戴在用户的前额上，并用以将移动设备固持在用户的眼睛之前。视野增强单元可用以通过将至少一个传感单元的视野重新导向至用户参与交互的身体部位，从而增大或重导至少一个传感单元的视野。视野增强单元可包括反射镜、广角镜头或光学棱镜。
在一些实施方式中，移动设备可包括智能手机、平板电脑、平板手机或便携式计算设备。
在一些实施方式中，至少一个传感单元可包括运动传感器，其用以感知移动设备的运动，并输出代表所感知运动的运动感测信号。处理单元可用以从运动传感器处接收运动感测信号并在虚拟现实应用中对所感知的运动进行补偿。
在一些实施方式中，眼镜还可包括运动传感器，其用以感知眼镜的运动，并输出代表所感知运动的运动感测信号。处理单元可用以接收来自运动传感器的运动感测信号并在虚拟现实应用中对所感知到的运动进行补偿。
附注
本文中有时会描述不同的元件包含在其他不同的元件内，或同其他不同的元件相连接。应当理解的是，所描述的这种结构关系仅仅作为示例，事实上，也可以通过实施其他的结构以实现相同的功能。从概念上讲，任何可实现相同功能的元件的配置均是有效的“相关联的”，从而实现所需要的功能。因此，本文为实现某特定功能所组合的任意两个元件均可被看作是彼此“相关联的”，以此实现所需要的功能，而不管其架构或者中间元件如何。类似地，以这种方式相关联的任意两个元件也可被看作是彼此间“操作上相连接的”或“操作上相耦合的”，从而实现所需要的功能，并且，能够以这种方式相关联的任意两个元件还可被看作是彼此间“操作上可耦合的”，从而实现所需要的功能。操作上可耦合的具体实例包括但不限于物理上可配对的和/或物理上相互交互的元件、和/或无线地可交互的和/或无线地相互交互的元件、和/或逻辑上相互交互的和/或逻辑上可交互的元件。
此外，对于本文所使用的任何复数和/或单数形式的词语，本领域的熟练技术人员可根据其语境和/或应用场景是否合适而将复数转换至单数和/或将单数转换至复数。为清晰起见，此处即对单数/复数之间的各种置换作出明确规定。
并且，本领域的熟练技术人员可以理解的是，一般地，本文所使用的词语，特别是所附权利要求如权利要求主体中所使用的词语通常具有“开放性”意义，例如，词语“包括”应该理解为“包括但不限于”，词语|“具有”应该理解为“至少具有”等等。本领域的熟练技术人员可进一步理解的是，若某权利要求意图将其引入的权利要求列举中某一具体的数值包含进来，那么这种意图将会明确地列举于该权利要求中，而如果没有列举的话，这种意图即不存在。为帮助理解，可举例如，下面的权利要求可能包含引导性短语的使用如“至少一个”和“一个或多个”来引入权利要求列举。然而，类似这种短语不应将该权利要求列举解释为：对不定冠词“一个”的引入意味着把包含这种引入权利要求列举的任何特定权利要求限制为仅包含一个这种列举的实施方式，甚至当同一权利要求包含引导性短语“一个或多个”或“至少一个”和不定冠词例如“一个”时同样符合这种情况，例如，“一个”应该解释为“至少一个”或“一个或多个”；同样的，使用定冠词来引入权利要求列举也是这样。另外，即使某一引入的权利要求列举中明确列举了一具体数值，本领域的熟练技术人员会认识到，这种列举应该理解为至少包括所列举的数值，例如，仅“两个列举”而没有任何其他限定时，其意味着至少两个列举，或者说两个或多个列举。此外，在某些情况下，如使用了类似“A、B和C等中的至少一个”，通常，本领域的熟练技术人员可以理解的是，如“具有A、B和C中至少一个的系统”将包括但不限于：只具有A的系统、只具有B的系统、只具有C的系统、具有A和B的系统、具有A和C的系统、具有B和C的系统，和/或具有A、B和C的系统等等。另外一些情况下，若使用了类似“A、B或C等中至少一个”，通常，本领域的熟练技术人员可以理解的是，如“具有A、B或C中至少一个的系统”将包括但不限于：只具有A的系统、只具有B的系统、只具有C的系统、具有A和B的系统、具有A和C的系统、具有B和C的系统，和/或具有A、B和C的系统等等。本领域的技术人员可进一步理解的是，无论是说明书、权利要求书或附图中所出现的几乎所有连接两个或多个替代性词语的析取词语和/或短语，均应理解为其考虑到了所有的可能性，即包括所有词语中某一个、两个词语中任一个或包括两个词语。例如，短语“A或B”应该理解为包括可能性：“A”、“B”或“A和B”。
上述内容已经描述了本发明的各个实施方式以对本发明作出解释，并且，可在不背离本发明的范畴和精神的情况下对各个实施方式做出多种修改。相应地，本文所公开的各个实施方式不应理解为具有限制意义，真实的范畴和精神通过所附权利要求进行限定。

Claims (23)

1.一种头戴式显示器，其特征在于，包括：
眼镜，包括：
固持器，佩戴在用户的前额上，所述固持器用以将移动设备固持在所述用户的眼睛之前；和
视野增强单元，用以在所述移动设备被固持在所述固持器中时，增大或重新导向所述移动设备中的一个或多个传感单元的视野。
2.如权利要求1所述的头戴式显示器，其特征在于，所述视野增强单元包括反射元件、或广角镜头。
3.如权利要求2所述的头戴式显示器，其特征在于，所述反射元件包括反射镜或光学棱镜。
4.如权利要求1所述的头戴式显示器，其特征在于，所述视野增强单元用以将所述至少一个传感单元的所述视野重新导向至所述用户的参与交互的身体部位。
5.如权利要求4所述的头戴式显示器，其特征在于，所述参与交互的身体部位至少包括所述用户的手部。
6.如权利要求1所述的头戴式显示器，其特征在于，所述固持器包括护目镜，用以在所述镜片和所述用户的脸部之间密封一个空间，以防止环境光进入所述空间。
7.如权利要求1所述的头戴式显示器，其特征在于，所述眼镜进一步包括运动传感器，用以感知所述眼镜的运动并输出代表所述被感知运动的运动感测信号。
8.如权利要求1所述的头戴式显示器，其特征在于，进一步包括：
移动设备，其具有第一主侧面和与所述第一主侧面相对的第二主侧面，所述移动设备包括：
显示单元，位于所述第一主侧面；
至少一个传感单元，位于所述第二主侧面，所述至少一个传感单元用以侦测物体的存在；和
处理单元，用以控制所述显示单元和所述至少一个传感单元的操作，所述处理单元还用以接收来自所述至少一个传感单元的侦测所获取的相关的数据，所述处理单元进一步用以根据所述接收数据中的至少部分而判断所述物体的位置、方位和运动中的一个或多个。
9.如权利要求8所述的头戴式显示器，其特征在于，所述移动设备包括智能手机、平板电脑、平板手机或便携式计算设备。
10.如权利要求8所述的头戴式显示器，其特征在于，所述至少一个传感单元包括摄像头、及/或超声波传感器。
11.如权利要求10所述的头戴式显示器，其特征在于，所示摄像头包括单摄像头、双摄像头或深度摄像头。
12.如权利要求8所述的头戴式显示器，其特征在于，所述至少一个传感单元包括摄像头，且所述处理单元用以执行增大所述摄像头的帧率、降低所述摄像头的分辨率、采用2x2或4x4像素装仓或子采样部分像素、或停用所述摄像头的自动聚焦功能中的一个或多个操作。
13.如权利要求8所述的头戴式显示器，其特征在于，所述至少一个传感单元包括运动传感器，用以感知所述移动设备的运动并输出代表所述被感知运动的运动感测信号，其中，所述处理单元用以接收来自所述运动传感器的所述运动感测信号，并在虚拟现实应用中对所述被感知运动进行补偿。
14.如权利要求8所述的头戴式显示器，其特征在于，所述眼镜进一步包括运动传感器，用以感知所述眼镜的运动并输出代表所述被感知运动的运动感测信号，其中，所述处理单元用以接收来自所述运动传感器的所述运动感测信号，并在虚拟现实应用中对所述被感知运动进行补偿。
15.如权利要求8所述的头戴式显示器，其特征在于，所述移动设备进一步包括无线通信单元，用以至少以无线方式来接收来自所述用户所穿戴的可穿戴计算设备的信号。
16.如权利要求15所述的头戴式显示器，其特征在于，所述处理单元还用以根据所述接收数据和接收信号而判断所述物体的位置、方位和运动中的一个或多个。
17.如权利要求8所述的头戴式显示器，其特征在于，所述移动设备进一步包括图像信号处理器，用以提供第一模式和第二模式，其中，所述第一模式用于对普通摄像进行优化，所述第二模式用于对与物体追踪相关的信息进行连续的追踪、分析和解码进行优化。
18.如权利要求8所述的头戴式显示器，其特征在于，所述视野增强单元包括广角镜头，所述至少一个传感器包括摄像头，且所述广角镜头设置在所述摄像头之前，从而使得所述摄像头的视野角度透过所述广角镜头后至少足以覆盖参与交互的观察对象。
19.如权利要求8所述的头戴式显示器，其特征在于，所述处理单元还用以在虚拟现实环境中渲染可显示于所述显示单元上的视觉图像。
20.如权利要求19所述的头戴式显示器，其特征在于，所述视觉图像对应于所述被侦测到的物体。
21.一种头戴式显示器，其特征在于，包括：
移动设备，其具有第一主侧面和与所述第一主侧面相对的第二主侧面，所述移动设备包括：
显示单元，位于所述第一主侧面；
至少一个传感单元，位于所述第二主侧面，所述至少一个传感单元用以侦测物体的存在，所述至少一个传感单元包括一个或两个摄像头、深度摄像头、超声波传感器、或上述元件的组合；和
处理单元，用以控制所述显示单元和所述至少一个传感单元的操作，所述处理单元还用以接收来自所述至少一个传感单元的侦测所获取的相关的数据，所述处理单元进一步用以根据接收数据中的至少部分而判断所述物体的位置、方位和运动中的一个或多个；以及
眼镜，包括：
固持器，佩戴在用户的前额上，所述固持器用以将所述移动设备固持在所述用户的眼睛之前；和
视野增强单元，用以通过将所述至少一个传感单元的视野重新导向至所述用户的参与交互的身体部位，从而增大或重新导向所述至少一个传感单元的视野，所述视野增强单元包括反射镜、广角镜头或光学棱镜。
22.如权利要求21所述的头戴式显示器，其特征在于，所述至少一个传感单元包括运动传感器，用以感知所述移动设备的运动并输出代表所述被感知运动的运动感测信号，其中，所述处理单元用以接收来自所述运动传感器的所述运动感测信号，并在虚拟现实应用中对所述被感知运动进行补偿。
23.如权利要求21所述的头戴式显示器，其特征在于，所述眼镜进一步包括运动传感器，用以感知所述眼镜的运动并输出代表所述被感知运动的运动感测信号，其中，所述处理单元用以接收来自所述运动传感器的所述运动感测信号，并在虚拟现实应用中对所述被感知运动进行补偿。
CN201510961033.7A 2015-06-24 2015-12-18 头戴式显示器 Withdrawn CN106291930A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/748,231 US20160378176A1 (en) 2015-06-24 2015-06-24 Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display
US14/748,231 2015-06-24

Publications (1)

Publication Number Publication Date
CN106291930A true CN106291930A (zh) 2017-01-04

Family

ID=57602221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510961033.7A Withdrawn CN106291930A (zh) 2015-06-24 2015-12-18 头戴式显示器

Country Status (2)

Country Link
US (1) US20160378176A1 (zh)
CN (1) CN106291930A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107396111A (zh) * 2017-07-13 2017-11-24 河北中科恒运软件科技股份有限公司 介导现实中自动视频插帧补偿方法及系统
CN107908000A (zh) * 2017-11-27 2018-04-13 西安交通大学 一种带有超声虚拟触觉的混合现实系统
WO2018170678A1 (zh) * 2017-03-20 2018-09-27 廖建强 一种头戴式显示装置及其手势动作识别方法
TWI641870B (zh) * 2017-08-28 2018-11-21 逢達科技有限公司 頭戴式電子裝置
CN108985291A (zh) * 2018-08-07 2018-12-11 东北大学 一种基于单摄像头的双眼追踪系统
CN109613980A (zh) * 2018-12-04 2019-04-12 北京洛必达科技有限公司 一种vr游戏信息处理系统及处理方法
TWI664443B (zh) * 2017-02-27 2019-07-01 香港商阿里巴巴集團服務有限公司 Virtual reality headset
CN110402578A (zh) * 2017-03-22 2019-11-01 索尼公司 图像处理装置、方法和程序
CN110898423A (zh) * 2019-12-05 2020-03-24 武汉幻境视觉科技有限公司 一种基于多人互联的vr显示系统
CN110944222A (zh) * 2018-09-21 2020-03-31 上海交通大学 沉浸媒体内容随用户移动变化的方法及系统
CN111752386A (zh) * 2020-06-05 2020-10-09 深圳市欢创科技有限公司 一种空间定位方法、系统及头戴式设备
TWI748299B (zh) * 2019-12-05 2021-12-01 未來市股份有限公司 動作感測資料產生方法和動作感測資料產生系統
CN113891063A (zh) * 2021-10-09 2022-01-04 深圳市瑞立视多媒体科技有限公司 一种全息展示方法及装置
WO2024146491A1 (zh) * 2023-01-06 2024-07-11 维沃移动通信有限公司 手柄、图像处理系统、方法、装置和可读存储介质

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107667534B (zh) * 2015-09-10 2020-06-30 谷歌有限责任公司 在有限的带宽连接中播放球形视频
US10455214B2 (en) * 2016-03-03 2019-10-22 Disney Enterprises, Inc. Converting a monocular camera into a binocular stereo camera
TWI659393B (zh) * 2017-02-23 2019-05-11 National Central University 多鏡頭影像深度之3d空間繪製系統
CN106908951A (zh) 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
KR20190134639A (ko) * 2017-03-29 2019-12-04 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 가상현실 상호작용을 위한 개선된 방법 및 시스템
CN110476168B (zh) * 2017-04-04 2023-04-18 优森公司 用于手部跟踪的方法和系统
JP2018196019A (ja) * 2017-05-18 2018-12-06 株式会社シフト アタッチメント装置
WO2019006650A1 (zh) * 2017-07-04 2019-01-10 腾讯科技（深圳）有限公司 虚拟现实内容的显示方法和装置
CN107168540A (zh) * 2017-07-06 2017-09-15 苏州蜗牛数字科技股份有限公司 一种玩家与虚拟角色互动方法
EP3542252B1 (en) * 2017-08-10 2023-08-02 Google LLC Context-sensitive hand interaction
US10338766B2 (en) * 2017-09-06 2019-07-02 Realwear, Incorporated Audible and visual operational modes for a head-mounted display device
KR102374408B1 (ko) * 2017-09-08 2022-03-15 삼성전자주식회사 가상 현실에서의 포인터 제어 방법 및 전자 장치
EP3707584B1 (en) 2018-02-09 2024-06-05 Samsung Electronics Co., Ltd. Method for tracking hand pose and electronic device thereof
US11189379B2 (en) * 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
US10565678B2 (en) * 2018-03-23 2020-02-18 Microsoft Technology Licensing, Llc Asynchronous camera frame allocation
KR102551686B1 (ko) * 2018-05-29 2023-07-05 삼성전자주식회사 외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는 전자 장치 및 방법
US10782651B2 (en) * 2018-06-03 2020-09-22 Apple Inc. Image capture to provide advanced features for configuration of a wearable device
CN116224596A (zh) 2018-06-25 2023-06-06 麦克赛尔株式会社 头戴式显示器、头戴式显示器协作系统及其方法
US10902627B2 (en) 2018-11-30 2021-01-26 Hins Sas Head mounted device for virtual or augmented reality combining reliable gesture recognition with motion tracking algorithm
TWI715903B (zh) 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法
CN109613983A (zh) * 2018-12-26 2019-04-12 青岛小鸟看看科技有限公司 头戴显示系统中手柄的定位方法、装置和头戴显示系统
WO2020182309A1 (en) * 2019-03-14 2020-09-17 Huawei Technologies Co., Ltd. Ultrasonic hand tracking system
US10798292B1 (en) * 2019-05-31 2020-10-06 Microsoft Technology Licensing, Llc Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction
US11512956B2 (en) 2020-07-09 2022-11-29 Trimble Inc. Construction layout using augmented reality
US11360310B2 (en) * 2020-07-09 2022-06-14 Trimble Inc. Augmented reality technology as a controller for a total station
US20230206622A1 (en) * 2020-09-25 2023-06-29 Sony Group Corporation Information processing device, information processing method, and program
KR20230079618A (ko) 2021-11-29 2023-06-07 삼성전자주식회사 인체를 3차원 모델링하는 방법 및 장치
RU210426U1 (ru) * 2021-12-15 2022-04-15 Общество с ограниченной ответственностью "ДАР" Устройство для трансляции дополненной реальности
CN119895309A (zh) * 2022-09-29 2025-04-25 Lg电子株式会社 电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090189981A1 (en) * 2008-01-24 2009-07-30 Jon Siann Video Delivery Systems Using Wireless Cameras
US20130230837A1 (en) * 2012-03-01 2013-09-05 Simquest Llc Microsurgery simulator
CN104115118A (zh) * 2012-03-01 2014-10-22 高通股份有限公司 基于来自多个类型的传感器的信息的手势检测
WO2014199160A1 (en) * 2013-06-11 2014-12-18 Sony Computer Entertainment Europe Limited Head-mountable apparatus and systems
CN104238128A (zh) * 2014-09-15 2014-12-24 李阳 一种移动设备3d成像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140247368A1 (en) * 2013-03-04 2014-09-04 Colby Labs, Llc Ready click camera control
US9910504B2 (en) * 2014-08-21 2018-03-06 Samsung Electronics Co., Ltd. Sensor based UI in HMD incorporating light turning element

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090189981A1 (en) * 2008-01-24 2009-07-30 Jon Siann Video Delivery Systems Using Wireless Cameras
US20130230837A1 (en) * 2012-03-01 2013-09-05 Simquest Llc Microsurgery simulator
CN104115118A (zh) * 2012-03-01 2014-10-22 高通股份有限公司 基于来自多个类型的传感器的信息的手势检测
WO2014199160A1 (en) * 2013-06-11 2014-12-18 Sony Computer Entertainment Europe Limited Head-mountable apparatus and systems
CN104238128A (zh) * 2014-09-15 2014-12-24 李阳 一种移动设备3d成像装置

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10996477B2 (en) 2017-02-27 2021-05-04 Advanced New Technologies Co., Ltd. Virtual reality head-mounted apparatus
TWI664443B (zh) * 2017-02-27 2019-07-01 香港商阿里巴巴集團服務有限公司 Virtual reality headset
WO2018170678A1 (zh) * 2017-03-20 2018-09-27 廖建强 一种头戴式显示装置及其手势动作识别方法
CN110402578B (zh) * 2017-03-22 2022-05-03 索尼公司 图像处理装置、方法和记录介质
US11308670B2 (en) 2017-03-22 2022-04-19 Sony Corporation Image processing apparatus and method
CN110402578A (zh) * 2017-03-22 2019-11-01 索尼公司 图像处理装置、方法和程序
CN107396111B (zh) * 2017-07-13 2020-07-14 河北中科恒运软件科技股份有限公司 介导现实中自动视频插帧补偿方法及系统
CN107396111A (zh) * 2017-07-13 2017-11-24 河北中科恒运软件科技股份有限公司 介导现实中自动视频插帧补偿方法及系统
TWI641870B (zh) * 2017-08-28 2018-11-21 逢達科技有限公司 頭戴式電子裝置
CN107908000B (zh) * 2017-11-27 2019-05-21 西安交通大学 一种带有超声虚拟触觉的混合现实系统
CN107908000A (zh) * 2017-11-27 2018-04-13 西安交通大学 一种带有超声虚拟触觉的混合现实系统
CN108985291A (zh) * 2018-08-07 2018-12-11 东北大学 一种基于单摄像头的双眼追踪系统
WO2020029658A1 (zh) * 2018-08-07 2020-02-13 东北大学 一种基于单摄像头的双眼追踪系统
CN108985291B (zh) * 2018-08-07 2021-02-19 东北大学 一种基于单摄像头的双眼追踪系统
CN110944222A (zh) * 2018-09-21 2020-03-31 上海交通大学 沉浸媒体内容随用户移动变化的方法及系统
CN110944222B (zh) * 2018-09-21 2021-02-12 上海交通大学 沉浸媒体内容随用户移动变化的方法及系统
CN109613980B (zh) * 2018-12-04 2021-01-15 深圳市极点信息科技有限公司 一种vr游戏信息处理系统
CN109613980A (zh) * 2018-12-04 2019-04-12 北京洛必达科技有限公司 一种vr游戏信息处理系统及处理方法
CN110898423A (zh) * 2019-12-05 2020-03-24 武汉幻境视觉科技有限公司 一种基于多人互联的vr显示系统
TWI748299B (zh) * 2019-12-05 2021-12-01 未來市股份有限公司 動作感測資料產生方法和動作感測資料產生系統
CN111752386A (zh) * 2020-06-05 2020-10-09 深圳市欢创科技有限公司 一种空间定位方法、系统及头戴式设备
CN113891063A (zh) * 2021-10-09 2022-01-04 深圳市瑞立视多媒体科技有限公司 一种全息展示方法及装置
CN113891063B (zh) * 2021-10-09 2023-09-01 深圳市瑞立视多媒体科技有限公司 一种全息展示方法及装置
WO2024146491A1 (zh) * 2023-01-06 2024-07-11 维沃移动通信有限公司 手柄、图像处理系统、方法、装置和可读存储介质

Also Published As

Publication number Publication date
US20160378176A1 (en) 2016-12-29

Similar Documents

Publication Publication Date Title
CN106291930A (zh) 头戴式显示器
KR102458665B1 (ko) 디바이스를 이용한 화면 처리 방법 및 장치
CN110488977B (zh) 虚拟现实显示方法、装置、系统及存储介质
EP3574407B1 (en) No miss cache structure for real-time image transformations with data compression
CN109582141B (zh) 根据眼球焦点控制显示屏的方法和头戴电子设备
CN109814719B (zh) 一种基于穿戴眼镜的显示信息的方法与设备
CN111602082B (zh) 用于包括传感器集成电路的头戴式显示器的位置跟踪系统
CN110557626B (zh) 一种图像显示的方法及电子设备
CN111897429B (zh) 图像显示方法、装置、计算机设备及存储介质
CN110036647A (zh) 用于管理三维内容的缩略图的方法和设备
US20130265300A1 (en) Computer device in form of wearable glasses and user interface thereof
US20160132189A1 (en) Method of controlling the display of images and electronic device adapted to the same
CN118043762A (zh) 用于跟踪对象的电子设备
CN112655202B (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
CN113223129A (zh) 一种图像渲染方法、电子设备及系统
CN111385514A (zh) 人像处理方法和装置以及终端
CN114201030A (zh) 设备交互方法、电子设备及交互系统
WO2022199102A1 (zh) 图像处理方法及装置
US20250054252A1 (en) Wearable device for displaying multimedia content provided by external electronic device and method thereof
CN206906983U (zh) 增强现实设备
JP6999822B2 (ja) 端末装置および端末装置の制御方法
US20250046028A1 (en) Wearable device for identifying area for displaying image and method thereof
US20250232519A1 (en) Electronic device and method for providing third-person perspective content
KR20250110670A (ko) 3인칭 시점의 콘텐트를 제공하기 위한 전자 장치 및 방법
CN120283217A (zh) 用于显示视觉对象的可穿戴设备及其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20170104