[go: up one dir, main page]

CN105814626B - 用于提供增强信息的方法和设备 - Google Patents

用于提供增强信息的方法和设备 Download PDF

Info

Publication number
CN105814626B
CN105814626B CN201480064455.8A CN201480064455A CN105814626B CN 105814626 B CN105814626 B CN 105814626B CN 201480064455 A CN201480064455 A CN 201480064455A CN 105814626 B CN105814626 B CN 105814626B
Authority
CN
China
Prior art keywords
augmented reality
real
world
state
virtual objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480064455.8A
Other languages
English (en)
Other versions
CN105814626A (zh
Inventor
M·辛格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital Madison Patent Holdings SAS
Original Assignee
PCMS Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PCMS Holdings Inc filed Critical PCMS Holdings Inc
Publication of CN105814626A publication Critical patent/CN105814626A/zh
Application granted granted Critical
Publication of CN105814626B publication Critical patent/CN105814626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了用于提供增强现实显示和/或用户界面的方法、装置、系统、设备和计算机程序产品。这样的方法、装置、系统、设备和计算机程序产品可以提供增强现实显示和/或用户界面，其组合现实世界视频和虚拟对象用于给用户呈现与感兴趣现实世界视频区域(“感兴趣区域”)有关的增强信息。感兴趣区域可以基于显示的现实世界视频上的指定的位置与对应于该指定的位置的现实世界和/或局部地图位置之间的映射。增强现实显示和/或用户界面可以包括不与感兴趣区域相关联的其他增强信息，但是该其他增强信息可以被呈现在与感兴趣区域和伴随的增强信息相关联的增强现实显示和/或用户界面的区域之外。

Description

用于提供增强信息的方法和设备
相关申请的交叉引用
本申请要求2013年9月30日申请的美国临时申请No.61/884,273的权益，其通过引用的方式结合于此。
背景技术
增强现实(AR)可以关注于结合现实世界与计算机生成的数据，例如通过将增强信息和现实世界的连接镜头(footage)混合显示给终端用户，通常是实时或近实时。今天，AR的范围可以扩展到广泛的应用领域，如广告、导航和娱乐等。这样，可以越来越有兴趣提供增强信息到现实世界场景的无缝整合。
然而，AR可能带来挑战，如为终端用户体验的新挑战，且尤其是用于适当地显示增强信息，尤其是在其与可穿戴设备或计算机、导航设备、智能电话等的使用和/或与这些设备相关联的显示足迹限制的方面。此外不幸的是，用于在这些设备上显示数据的当前方法或技术可能不适合或不够深思熟虑。例如，用于在穿戴式计算机上显示增强信息的当前的方法或技术可以是任意的，可以显示或提供来自增强的过量信息，这可能给用户带来负担等。
发明内容
提供了用于提供增强现实显示和/或用户界面的方法、装置、系统、设备和计算机程序产品。这样的方法、装置、系统、设备和计算机程序产品可以提供增强现实显示和/或用户界面，其组合现实世界视频和虚拟对象用于给用户呈现与感兴趣现实世界视频区域(“感兴趣区域”)有关的增强信息。感兴趣区域可以基于显示的现实世界视频上的指定的位置和对应于该指定的位置的现实世界和/或局部地图位置之间的映射。增强现实显示和/或用户界面可包括不与感兴趣区域相关联的其他增强信息，但这样的其他增强信息可以被呈现在与感兴趣区域和伴随的(attendant)增强信息相关联的增强现实显示和/或用户界面的区域以外。
附图说明
可以从结合附图通过示例给出的以下描述中得到更详细的理解。附图中的图，像详细描述是示例。因此，图和详细描述不被认为是限制性的，并且其他同等有效的示例是可行并可能的。此外，在图中的相同的附图标记指示相同的元件，并且其中：
图1和图2示出了当前的AR用户界面的两个示例；
图3是示出增强现实系统的示例的框图；
图4示出了现实世界视频的示例；
图5示出了增强现实系统生成的增强现实显示的示例；
图6示出增强现实系统生成的增强现实显示的示例；
图7A-7B示出了增强现实系统生成的增强现实显示的示例；
图8A-8E示出了增强现实系统生成的显示的增强现实的示例；
图9是示出增强现实系统的示例的框图；
图10是示出根据实施方式的用于呈现增强信息的示例方法的流程图；
图11是示出根据实施方式的用于呈现增强信息的示例方法的流程图；
图12是示出根据实施方式的用于呈现增强信息的示例方法的流程图；
图13是示出根据一个实施方式的用于呈现增强信息的示例方法的流程图；
图14A是可以实施一个或多个公开的实施方式的示例通信系统的系统图；
图14B是可以在图14A中示出的通信系统中使用的示例无线发射/接收单元(WTRU)的系统图；以及
图14C、14D和14E是可以在图14A中所示的通信系统中使用的示例无线电接入网和示例核心网络的系统图。
具体实施方式
在以下的详细描述中，许多具体的细节被阐述以提供对这里公开的实施方式和/或示例的全面理解。然而，可以理解，可以没有这里提出的具体细节的一些或所有的情况下实施该实施方式和示例。在其它实例中，公知的方法、过程、组件和电路未被详细描述，以免模糊下面的描述。此外，文本没有具体描述的实施方式和示例可以被实施作为描述的、公开的或这里显式、隐式和/或内在提供(统称为“提供”)的实施方式和其他示例的替代或组合。
如本文中所描述的，增强现实(AR)可以关注结合现实世界与计算机生成的数据，例如通过将增强信息和现实世界连接镜头混合以显示给终端用户，通常是实时或近实时。目前，AR的范围可以被扩展到广泛的应用领域，例如广告、导航、和/或娱乐等。这样，可以越来越有兴趣提供增强信息到现实世界场景的无缝整合。
然而，AR可能带来挑战，例如针对终端用户体验的新挑战，且尤其是用于适当地显示所述增强信息，特别是在其与可穿戴设备或计算机、导航设备、和/或智能电话等的使用和/或与这些设备相关联的足迹限制的方面。此外不幸的是，用于在这样的设备上显示数据的当前方法或技术可能不合适或不深思熟虑。例如，用于在可穿戴计算机上显示增强信息的当前方法或技术可以是任意的，可以显示或提供来自增强的过量信息，这可能给用户带来负担等。
图1-2中可以示出可以在屏幕上提供太多增强信息的这样的AR系统的示例。如图所示，在图1-2中，当前用户界面5、9可以包括可以是过度的增强信息7、11，由此其可能给用户带来负担。这样，可以具有更少的信息的接口可能是对用户有益的和/或所期望。事实上，可用性研究人员已经证明，经常，较少的信息可以是比更多信息更好。因此，可以呈现用户更容易使用的增强信息的系统和/或方法(例如，如这里所述的)可以有利于以用户能够容易使用的方式呈现增强信息。
这里的示例提供和/或描述了与增强现实有关的方法、装置、系统、设备、和计算机程序产品。在示例中，这样的方法、装置、系统、设备、和计算机程序产品用于提供增强现实显示和/或用户界面，其结合现实世界场景的视图(“现实世界视图”)和虚拟对象用于给用户呈现与感兴趣的现实世界场景的区域(“感兴趣区域”)有关的增强信息。感兴趣区域可以基于(i)显示的现实世界视图上的指定的位置(“指定的roi基础位置(roi-basisposition)”) 和(ii)对应于该指定的位置的现实世界和/或局部地图位置(“对应的roi基础位置”)之间的映射。
简单说，感兴趣区域可以是对应roi基础位置，或者可替换地或另外地，可以由规则指定。感兴趣区域可以是例如与对应roi基础位置有关的现实世界的和/或局部地图位置的集合(“roi位置集合”)。roi位置集合可以定义感兴趣区域的边界和界限。roi位置集合可以有关联到或对应于在显示的现实世界视图中描绘的现实世界对象(例如，在指定的roi基础位置邻近和/或附近内)。可替换地，roi位置集合可以关联到或对应于在显示的现实世界视图中描绘的单个现实世界对象和一个或多个其他现实世界对象的位置。作为另一替换方案，roi位置集合可以关联到或对应于显示的现实世界视图中描绘的现实世界对象的一些，但不是全部。一般地，roi位置集合可以关联到或对应于整个显示的现实世界视图以外的显示的现实世界视图的任意部分。
增强现实显示可以包括用于在视觉上强调感兴趣区域的虚拟对象(“强调虚拟对象”)。该强调虚拟对象可以覆盖一些或整个感兴趣区域。该强调虚拟对象可以是例如感兴趣区域或其元素(例如在现实世界视图中描绘的现实世界对象)的轮廓、高亮等。
虚拟对象可以在任何数目的适当的位置与感兴趣区域的有关的增强现实显示上被显示。例如，虚拟对象可以被显示邻近于以下任意：(i)感兴趣区域；(ii)指定的roi基础位置；(iii)指定的roi基础位置并邻近于感兴趣区域；(iv)对应的roi基础位置。可替代地和/或附加地，可以显示虚拟对象，以便不阻挡(occlude)与感兴趣区域相关联的现实世界对象。虚拟对象可以被显示，以便不阻挡感兴趣区域相邻的另一个虚拟对象。虚拟对象可以被显示，以便不阻挡另一个虚拟对象。虚拟对象可以被显示以阻挡感兴趣区域外的一个或多个对象(现实世界或其他)。
增强现实显示和/或用户界面可以包括不与感兴趣区域相关联的其它增强信息(例如，一个或多个虚拟对象)，但这样的其它增强信息可被呈现在与感兴趣区域和伴随的增强信息相关联(例如为其预留的)的增强现实显示和/或用户界面的区域之外(例如，在周边)。
该虚拟对象可以具有用于呈现增强信息的各个呈现类型的多个状态。虚拟对象例如可以是在用于呈现增强信息的概要表述(“概要”)的第一(例如，紧凑(compact))状态中。可替代地和/或另外地，虚拟对象可以是在用于呈现增强信息更全面细节(“更全面增强细节”)的第二(例如，非紧凑、放大、延长、扩展等)状态中。
概要可以包括例如增强信息的图标、图像、文字、简洁表述等的任意。更全面增强细节可以除了概要还包括任意增强信息，和/或包括作为概要的补充的任意增强信息。
虚拟对象可以从一个状态转变到另一个状态，并再转变回来。例如，虚拟对象可以从第一状态转变为第二状态，然后从第二状态到第一状态。状态变化可以是连续的或不连续的。例如，虚拟对象可以通过从紧凑状态扩展(例如尺寸增加)从紧凑状态转变到非紧凑状态，和/或通过降低(例如尺寸收缩) 回紧凑状态从非紧凑状态转变到紧凑状态。可替代地和/或另外地，虚拟对象可以通过切换到部分或完全放大状态从紧凑状态转变到非紧凑状态，和/或可以通过切换回紧凑状态从非紧凑状态转变到紧凑状态。在一些实施方式中，虚拟对象可以通过附加或以其他方式添加补充虚拟对象从紧凑状态转变到非紧凑状态，和/或可以通过返回到紧凑状态(例如从中移除补充虚拟对象) 从非紧凑状态转变到紧凑状态。
从一个状态到另一个的转变可基于(例如，响应于而发生)在所述虚拟对象的兴趣(或感兴趣的用户表达)是否可被检测。作为一个示例，当没有检测到和/或不能够推断出对虚拟对象的兴趣指示时，虚拟对象可以是在和/ 或转变回到第一(例如，紧凑)状态。当可以检测到和/或能够推断出对虚拟对象的兴趣指示(“兴趣指示”)时，虚拟对象可以是在和/或转变到第二(例如，非紧凑)状态。兴趣指示可以具有与不同的兴趣程度相当的值(“兴趣指示值”)，例如“最小兴趣”，“有点兴趣”，“完全感兴趣”等。作为一个示例，兴趣指示值可以基于(例如，具有相应值的等级)滑动等级，其具有朝向一端的“最小兴趣”到朝向另一端的“完全感兴趣”，中间有各种中间兴趣等级。除了被用于转变到第二(例如，非紧凑)状态，兴趣指示值可以用于当在第二状态中时控制虚拟对象的扩展(伸长和/或收缩)。
增强信息可以以列表格式来组织。可替换地，增强信息可以以非线性模式来组织。增强信息可以以减弱格式被显示。增强信息可以响应于眼睛跟踪系统指示用户的注视可以正接近虚拟对象而以更突出格式被显示。增强信息可以以恒定突出被显示。
增强信息可以以给定颜色被显示。颜色可以响应于眼睛跟踪系统指示用户的注视可以正接近虚拟对象而变得更暗。可替代地和/或另外地，颜色可以响应于眼睛跟踪系统指示用户的指示可以正接近虚拟对象而变得更淡。
可以在给定尺寸来显示增强信息。尺寸可以响应于眼睛跟踪系统指示用户的视线可以正接近虚拟对象而变得更大，和/或尺寸可以与距离成比例得增长。可替代地和/或另外地，尺寸可以响应于眼睛跟踪系统指示用户的注视可以从虚拟对象撤离而变得更小，和/或尺寸可以与距离成比例地缩小。
方法、装置、系统、设备和计算机程序产品可以包括方法，在某些代表性的实施方式中，该方法可以包括在显示单元上显示现实世界场景的现实世界视图。在某些代表性的实施方式中，该方法可以包括基于在显示的现实世界视图上的指定的位置(指定的roi基础位置)与对应于该指定的位置的现实世界位置和/或局部地图位置(对应的roi基础位置)之间的映射确定现实世界场景上的感兴趣区域。在某些代表性的实施方式中，该方法可以包括获取用于呈现与感兴趣区域有关的增强信息的虚拟对象。在某些代表性的实施方式，虚拟对象可具有用于呈现增强信息的各自呈现类型的多个状态。在某些代表性的实施方式中，该方法可以包括通过结合现实世界视图和虚拟对象生成增强现实显示。在某些代表性的实施方式中，该方法可以包括在显示单元上显示具有在多个状态的第一状态中的虚拟对象的增强现实显示。在某些代表性的实施方式中，该方法可以包括获取对在增强现实显示上描绘的虚拟对象的兴趣的指示。在某些代表性的实施方式中，该方法可以包括响应于兴趣的指示显示在多个状态的第二状态中的虚拟对象。
方法、装置、系统、设备和计算机程序产品可以包括方法，在某些代表性的实施方式，该方法可以包括在显示单元上显示现实世界场景的现实世界视图。在某些代表性的实施方式中，该方法可以包括基于显示的现实世界视图上的指定的位置(指定的roi基础位置)与对应于指定的位置的现实世界位置(对应的roi基础位置)之间的映射确定现实世界场景上的感兴趣区域。在某些代表性的实施方式中，该方法可以包括获取所使用的与感兴趣区域有关的增强信息。在某些代表性的实施方式中，该方法可以包括生成用于呈现增强信息的虚拟对象。在某些代表性的实施方式中，该方法可以包括虚拟对象可以具有用于呈现增强信息的各自呈现类型的多个状态。在某些代表性的实施方式中，该方法可以包括生成增强现实显示，其整合正在进行的现实世界场景的现实世界视图和虚拟对象。在某些代表性的实施方式中，该方法可以包括在显示设备上显示具有在第一状态中显示的虚拟对象的增强现实显示。在某些代表性的实施方式中，该方法可以包括获取对安置在显示的增强现实显示中的虚拟对象的兴趣的指示。在某些代表性的实施方式中，该方法可以包括响应于兴趣的指示显示在第二状态中的虚拟对象。
在某些代表性的实施方式，确定感兴趣区域可包括获取指定的roi基础位置。在某些代表性的实施方式中，确定感兴趣区域可以包括检测对应的roi 基础位置的相邻和/或附近内所显示的现实世界视图的现实世界对象的描绘的至少一部分。在某些代表性的实施方式中，确定感兴趣区域可以包括确定用于所描绘的现实世界对象的至少一个部分的现实世界位置。在某些代表性的实施方式，确定感兴趣区域可包括基于用于所述描绘的现实世界对象的至少一个部分的现实世界位置确定对应的roi基础位置。在某些代表性的实施方式中，确定感兴趣区域可以包括将指定的roi基础位置映射到对应的roi 基础位置。
在某些代表性的实施方式，确定所描绘的现实世界对象的至少一个部分的现实世界位置可包括确定在显示的现实世界视图上的描绘的现实世界对象的至少一部分的位置。在某些代表性的实施方式中，确定用于所描绘的现实世界对象的至少一个部分的现实世界位置可以包括将所描绘的现实世界对象的至少一个部分的位置转换为描绘的现实世界对象的至少一个部分的现实世界位置。
在某些代表性的实施方式中，确定感兴趣区域可以包括确定与对应的roi 基础位置相关联的一个或多个现实世界位置(例如，现实世界坐标的一个或多个集合)。
在某些代表性的实施方式中，确定感兴趣区域可以包括确定与对应的roi 基础位置相关联的一个或多个现实世界位置(例如，现实世界坐标的一个或多个集合)。
在某些代表性的实施方式中，确定感兴趣区域可以包括基于规则(例如一个或多个坐标集、离指定的位置最近的现实世界对象等)确定与对应的roi 基础位置相关联的一个或多个现实世界位置(例如，现实世界坐标的一个或多个集合)。
方法、装置、系统、设备和计算机程序产品可以包括方法，在某些代表性的实施方式，该方法可以包括在显示单元上显示现实世界视图。在某些代表性的实施方式中，该方法可以包括标识与感兴趣区域相关联(例如有关) 的现实世界对象，该感兴趣区域与显示的现实世界视图相关联。在某些代表性的实施方式中，该方法可以包括获取用于呈现与标识的现实世界对象有关的增强信息的虚拟对象。在某些代表性的实施方式，虚拟对象可具有用于呈现增强信息的各自(例如，第一、第二、第三等)呈现类型的多个状态(例如，第一、第二、第三等)。在某些代表性的实施方式中，该方法可包括通过组合正在进行的现实世界视图和虚拟对象生成增强现实显示。在某些代表性的实施方式中，该方法可以包括在显示单元上显示增强现实显示。在某些代表性的实施方式，虚拟对象可被显示在所述多个状态的第一状态中(例如，初始，默认，当用户不感兴趣时，等等)。在某些代表性的实施方式中，该方法可以包括获取在显示的增强现实显示中描绘的虚拟对象的兴趣的指示。在某些代表性的实施方式中，该方法可以包括响应于兴趣的指示显示在多个状态中的第二状态中的虚拟对象。
方法、装置、系统、设备和计算机程序产品可以包括系统，在某些代表性的实施方式，该系统可包括图像捕获单元。在某些代表性实施方式中，图像捕获单元可以捕获现实世界视图(如其快照)。在某些代表性的实施方式，该系统可以包括显示单元。在某些代表性的实施方式中，显示单元可以显示所捕获的和/或正在进行的现实世界视图。在某些代表性的实施方式，该系统可以包括对象标识单元。在某些代表性的实施方式中，对象标识单元可以标识关联到与显示的现实世界视图相关联的感兴趣区域的现实世界对象。
在某些代表性的实施方式，该系统可以包括用户识别单元。在某些代表性的实施方式中，用户识别单元可以从用户获取输入，其指示与所显示的现实世界视图相关联的感兴趣区域。在某些代表性的实施方式中，用户识别单元可以向对象标识单元提供用户输入，用于标识与感兴趣区域相关联的现实世界对象。
在某些代表性的实施方式中，系统可包括增强现实引擎。在某些代表性的实施方式中，增强现实引擎可以获取用于呈现与标识的现实世界对象有关的增强信息的虚拟对象。虚拟对象可以具有用于呈现增强信息的各自(例如，第一、第二、第三等)呈现类型的多个状态(例如，第一、第二、第三等)。在某些代表性的实施方式中，该系统可以包括虚拟对象库(repository)，从中增强现实引擎可以获取(例如获得)虚拟对象。
在某些代表性的实施方式中，增强现实引擎可以通过组合正在进行的现实世界视图和虚拟对象生成增强现实显示。在某些代表性的实施方式中，显示单元可以显示增强现实显示。在某些代表性的实施方式，虚拟对象可被显示在所述多个状态的第一状态中(例如，最初，默认，当用户不感兴趣时，等等)。在某些代表性的实施方式中，用户识别单元可以从用户获取输入，其指示对在所显示的增强现实显示中描绘的虚拟对象的兴趣。在某些代表性的实施方式中，虚拟对象可以响应于指示对虚拟对象的兴趣的用户输入被显示在多个状态的第二状态中。
在方法、装置、系统、设备和计算机程序产品中，可以是在某些代表性实施方式中的方法，该方法可以包括在显示单元上显示现实世界视图。在某些代表性的实施方式中，该方法可以包括关联到与显示的现实世界视图相关联的感兴趣区域的现实世界对象。在某些代表性的实施方式中，该方法可以包括获取所使用的与所标识的现实世界对象有关的增强信息。在某些代表性的实施方式中，该方法可以包括生成用于呈现增强信息的虚拟对象。在某些代表性的实施方式，生成的虚拟对象可以具有用于呈现获取的增强信息的各自(例如，第一、第二、第三等)类型的多个状态(例如，第一、第二、第三等)。在某些代表性的实施方式中，该方法可以包括在显示单元上显示增强现实显示。在某些代表性的实施方式中，虚拟对象可被显示在多个状态的第一状态中(例如，最初，默认，当用户不感兴趣时，等等)。在某些代表性的实施方式中，该方法可以包括获取对在显示的增强现实显示中描绘的虚拟对象的兴趣的指示。在某些代表性的实施方式中，该方法可以包括响应于兴趣的指示显示在多个状态的第二状态中的虚拟对象。
方法、装置、系统、设备和计算机程序产品可以是系统，在某些代表性的实施方式中，该系统可包括图像捕获单元。在某些代表性实施方式中，图像捕获单元可以捕获现实世界视图(如其快照)。在某些代表性的实施方式，该系统可以包括显示单元。在某些代表性的实施方式中，显示单元可以显示所捕获的和/或正在进行的现实世界视图。在某些代表性的实施方式，该系统可以包括对象标识单元。在某些代表性的实施方式中，对象标识单元可以标识关联到与显示的现实世界视图相关联的感兴趣区域的现实世界对象。
在某些代表性的实施方式，该系统可以包括用户识别单元。在某些代表性的实施方式中，用户识别单元可以从用户获取输入，该输入指示与显示的现实世界视图相关联的感兴趣区域。在某些代表性的实施方式中，用户识别单元可以向对象标识单元提供用户输入，用于标识与感兴趣区域相关联的现实世界对象。
在某些代表性的实施方式中，系统可包括增强现实引擎。在某些代表性的实施方式中，增强现实引擎可以获取所使用的与所标识的现实世界对象有关的增强信息。在某些代表性的实施方式中，系统可包括增强信息库，从中增强现实引擎可以获取(例如获得)增强信息。在某些代表性的实施方式中，增强现实引擎可以生成用于呈现所述增强信息的虚拟对象。在某些代表性的实施方式，生成的虚拟对象可以具有用于显示获取的增强信息的各个呈现类型(例如，第一、第二、第三等)的多个状态(例如，第一，第二，第三等)。
在某些代表性的实施方式中，增强现实引擎可以通过组合正在进行的现实世界视图和虚拟对象生成增强现实显示。在某些代表性的实施方式中，显示单元可以显示增强现实显示。在某些代表性的实施方式中，虚拟对象可被显示在所述多个状态的第一状态中(例如，最初，默认，当用户不感兴趣时，等等)。在某些代表性的实施方式中，用户识别单元可以从用户获取输入，其输入指示在所显示的增强现实显示中描绘的虚拟对象的兴趣。在某些代表性的实施方式，虚拟对象可以响应于指示对虚拟对象的兴趣的用户输入被显示在多个状态的第二状态中。
上述概述可以是示例性的，并且可以不旨在以任何方式进行限制。除了上述的示例性方面、实施方式和特征，进一步的方面、实施方式和特征将参考附图和下面的描述中变得显而易见。
图3是示出根据本文描述的至少一些实施方式的增强现实系统10的示例的框图。增强现实系统10可以以计算设备被使用和/或实施。这里使用的术语“计算设备”指的是任何类型的设备，其能够接收、处理和显示信息。在某些代表性的实施方式中，计算设备可以是可穿戴计算机；智能手机；无线发射/接收单元(WTRU)，例如参照图14A-14E(下文)所述的；另一种类型的用户设备(UE)等。计算设备的其他示例包括移动设备、个人数字助理(PDA)、蜂窝电话、便携式多媒体播放器(PMP)、数字相机、笔记本电脑和平板计算机、车辆导航计算机(例如，具有抬头显示器)。一般地，该计算设备包括基于处理器的平台，其在合适的操作系统上操作并可以能够执行软件。
下面参考图4-8中示出的示意性示例图像描述增强现实系统10。参照图 3，增强现实系统10可包括图像捕获单元100、增强现实单元200和显示单元300。
图像捕获单元100可以捕获现实世界场景(例如，视频)的现实世界视图，并且提供现实世界视图给显示单元300和/或增强现实单元200。图像捕获单元100例如可以捕获现实世界场景的各种现实世界视图(统称为“现实世界视图”)410，如图4所示，并提供现实世界视图410给显示单元300和 /或增强现实单元200。图像捕获单元100可以是，或包括数字相机、嵌入在移动设备中的相机、头戴式显示器(HMD)、光学传感器、电子传感器等的任意。
显示单元300可以显示现实世界视图和/或增强现实显示和/或增强现实用户界面的显示部分(统称为“增强现实显示”)。显示单元300例如可以显示现实世界视图410和/或增强现实显示510，如图5-8所示。
所显示的现实世界视图410可以包括现实世界对象的多个描绘412、 414、416、418、420、422、424和426(为简单起见，“现实世界对象”)。现实世界视图410可以包括多于或少于示出的八个现实世界对象，和/或可以包括示出的这些另外的或不同的现实世界对象。增强现实显示510可以组合正在进行的现实世界视图410和虚拟对象512、514、和516(图6-7)。增强现实显示510可以包括多于或少于示出的八个现实世界和三个虚拟对象，和 /或可以包括示出的这些以外的或不同的现实世界和虚拟对象。
显示单元300可以包括计算设备的屏幕。如下面更详细描述的，一个或多个用户输入可以由、通过和/或与显示单元300交互的用户连接被接收。例如，用户可以通过触摸、点击、拖拽、注视、语音/说话识别和/或与在显示单元300上显示的现实世界视图(例如现实世界视图410)和/或增强现实显示有关的其他交互输入用户输入和选择。
增强现实单元200可以生成增强现实显示，并提供所生成的增强现实显示给显示单元300。增强现实单元200可以包括用户识别单元210、感兴趣区域确定单元220、虚拟对象库240和增强现实引擎250。
用户识别单元210可以识别与现实世界视图和/或增强现实显示有关的用户输入。用户识别单元210例如可以识别与以下中的任意有关的用户输入： (显示和/或捕获的)现实世界视图410；增强现实显示510；现实世界视图 410和/或增强现实显示510中描绘的现实世界对象，例如现实世界对象 412-426；以及在增强现实显示中描绘的虚拟对象，例如虚拟对象512、514、和516。用户输入可以被提供给增强现实单元200，包括例如感兴趣区域确定单元220和增强现实引擎250；以及显示单元300(如果合适)。
用户识别单元210可以识别的用户输入可以是可以指示在显示的现实世界视图410和/或增强现实显示510上的位置的用户指定或用户指定表达(“指定的位置”)428的用户输入。此外用户识别单元210可以识别的用户输入可以是可以指示在增强现实显示510中描绘的虚拟对象的一个或多个中的用户兴趣或用户兴趣表达(“兴趣指示”)的用户输入。
用户识别单元210可以识别由一个或多个输入设备技术提供的用户输入。用户识别单元210例如可以识别通过触摸或以其他方式操纵显示单元 300(例如，通过触摸屏或其它类似类型的设备的方式)作出的用户输入。可替换地，用户识别单元210可以通过使用用于识别相机捕获的用户指尖与显示单元300间交互的算法识别图像捕获单元100和/或另一图像捕获单元捕获的用户输入。这样的算法例如可以按照方便增强现实方法被做出。这里，本领域技术人员明白用户识别单元210可以使用方便增强现实方法以外的算法。
作为另一替代方案，用户识别单元210可以识别从眼睛跟踪单元260提供的用户输入。一般地，眼睛跟踪单元260使用眼跟踪技术来从一个或多个光学传感器收集有关眼睛运动的数据，并基于这样的数据，跟踪用户正注视哪里，和/或基于各种眼睛运动行为做出用户输入确定。眼睛跟踪单元260 可以使用任何各种已知的技术来监视和跟踪用户的眼睛运动。
眼睛跟踪单元260可以从面对用户的光学传感器(例如，图像捕获单元 100、能够在用户看着显示单元300时监视眼睛运动的相机(未示出)等等) 接收输入。眼睛跟踪单元260可以检测眼睛位置和用户的每只眼睛的虹膜的运动。基于虹膜的运动，眼睛跟踪单元260可作出关于用户的注视的各种观测。例如，眼睛跟踪单元260可以观察眼扫视运动(用户的眼睛快速运动) 和/或凝视(fixation)(眼睛运动停留在特定点或区域达某时间量)。
眼睛跟踪单元260可以通过使用一个推断，即在显示单元300的屏幕上的点或区域(统称“聚焦区域”)上的凝视可以指示对聚焦区域下的现实世界视图410或增强现实显示510的一部分的兴趣。眼睛跟踪单元260例如可检测在映射到指定的位置428的显示单元300的屏幕上的聚焦区域的凝视，并基于聚焦区域上的凝视可以是指定的位置428的指定的用户表达的推断来生成用户输入。
眼睛跟踪单元260还可以通过使用推断来生成用户输入的一个或多个，该推断是用户朝向在增强现实显示510中描绘的虚拟对象中的一个注视和/ 或在聚焦区域上的用户凝视对应于在增强现实显示510中描绘的虚拟对象中的一个可以指示对对应虚拟对象的用户兴趣(或用户兴趣表达)。眼睛跟踪单元260例如可以检测用户的注视朝向虚拟对象514，和/或在映射到虚拟对象514的显示单元300的屏幕上的聚焦区域的凝视，并基于该推断可以是虚拟对象514中的用户兴趣表达来生成所述用户输入。
用于指示在一个(或多个)现实世界对象412-426中的兴趣的用户输入的任意可以包括与显示的现实世界视图410相关联的位置(例如，一个或多个坐标集)。用于指示虚拟对象512-516的一个或多个中的兴趣的用户输入的任意可以包括与显示的增强现实显示510相关联的位置(例如，一个或多个坐标集)。
感兴趣区域确定单元220可以确定现实世界视图410上的感兴趣区域。确定的感兴趣区域可以基于指定的位置(“指定的roi基础位置”)428和对应于指定的roi基础位置428的现实世界位置和/或局部地图位置(“对应的 roi基础位置”)之间的映射。
感兴趣区域确定单元220可包括对象标识单元230。感兴趣区域确定单元220可以从用户识别单元210获取指定的roi基础位置428，并且可以将其提供给对象标识单元230。
对象标识单元230可标识与在显示的现实世界视图和/或增强现实显示上的指定的位置相关联的现实世界对象。对象标识单元230例如可以使用指定的roi基础位置428来检测指定的roi基础位置428的邻居和/或附近内的现实世界对象412-426的一个或多个的至少一部分。
该对象标识单元230可以包括对象识别单元270和深度识别单元280。对象识别单元270可以对现实世界视图执行对象检测。对象识别单元270例如可以使用指定的roi基础位置428对现实世界视图410执行对象检测，并获取现实世界对象418的代表(“代表现实世界对象”)。对象识别单元270 可以使用用于执行对象检测的各种已知的技术方法的任意，包括例如，边缘检测、原始草图(primal sketch)、观察方向变化、光度和颜色变化，等等。
深度识别单元280可以获取捕获的现实世界视频的空间属性。深度识别单元280例如可确定代表现实世界对象的现实世界和/或局部地图位置。深度识别单元280可确定代表现实世界对象的至少一个部分的位置(“代表现实世界对象位置”)，并基于该代表现实世界对象位置确定代表现实世界对象的该部分的现实世界和/或局部地图。在一些实施方式中，深度识别单元280 可以将该代表现实世界对象位置转换成代表现实世界对象的确定的部分的现实世界和/或局部地图位置。
在一些实施方式中，深度识别单元280可确定代表现实世界对象位置，和/或如下确定对应的现实世界和/或局部地图位置。深度识别单元280可以计算现实世界视频410的x，y和z轴，并获取代表现实世界对象的x，y和 z坐标集。为了获取x，y和z轴和x，y和z坐标集，深度识别单元280可以使用位置识别算法。使用的位置识别算法可以是本领域中公知的算法(例如，并行跟踪和映射(PTAM)方法和/或同时局部化和映射(SLAM)的方法)，并且可以被实施，这里不需进一步解释。虽然未示出，深度识别单元 280可以获取并使用定位信息(例如，纬度，经度，海拔等)用于将x，y 和z轴映射到现实世界坐标和/或用于将代表现实世界对象的x，y和z坐标集映射到现实世界坐标集。定位信息可从通信地耦合到增强现实单元200的全球定位系统(GPS)接收机(未示出)和/或经由网络帮助(例如，从网络的任何类型的网络节点(自组织或其他))被获取。
感兴趣区域确定单元220可以从对象识别单元230获取与代表现实世界对象相关联的x，y和z坐标集和/或现实世界坐标集。该感兴趣区域确定单元220可基于获取的与代表现实世界对象相关联的现实世界坐标集和/或x， y和z坐标集确定(例如，计算)对应于指定的roi基础位置428的现实世界和/或局部地图位置。感兴趣区域确定单元220可以将对应的roi基础位置映射、相关或其他方式关联到所确定的指定的roi基础位置428的现实世界和/或局部地图位置。
感兴趣区域可以由感兴趣区域确定单元220设定为对应的roi基础位置。可替代地和/或附加地，感兴趣区域可以由规则指定。感兴趣区域可以是例如与对应的roi基础位置有关的现实世界和/或局部地图位置的集合(“roi位置集合”)。roi位置集合可以定义感兴趣区域的边界和界限。
roi位置集合可以关联到或对应于代表现实世界对象或在所显示的现实世界视图410中描绘的另一现实世界对象(例如，指定的roi基础位置的邻近和/或附近内)。可替代地，roi位置集合可关联到或对应于代表现实世界对象(或其它单个现实世界对象)和一个或多个其他现实世界对象412-426的位置。作为另一替代方案，roi位置集合可与关联到或对应于现实世界对象 412-426的一些但不是全部。一般地，roi位置集合可关联到或对应于除了整个显示的现实世界视图410显示的现实世界视图410的任意部分。
该感兴趣区域确定单元220可以提供感兴趣区域给增强现实引擎250。增强现实引擎250可以生成增强现实显示，和/或提供增强现实显示给显示单元300。增强现实引擎250例如可以生成增强现实显示510。为了便于生成增强现实显示510，增强现实引擎250可以使用感兴趣区域来查询虚拟对象库240。
虚拟对象库240可以存储用于呈现与感兴趣区域有关的增强信息的虚拟对象。虚拟对象库240例如可以存储虚拟对象512，514，516，520a-e，522a-b 和/或520a1-a4。虚拟对象512，514，516，520a-e，522a-b和/或520al-a4以及与感兴趣现实世界对象418相关联的任意其他虚拟对象可以被存储与感兴趣区域相当的现实世界和/或局部地图位置相关联(例如被索引)。
该虚拟对象库240还可以存储与现实世界对象412，414，416，420，422， 424和/或426相关联的虚拟对象和/或与感兴趣区域相关联的其他虚拟对象 (例如，包括虚拟对象512，514，516，520a-e，522a-b和/或520al-a4)。与现实世界对象412，414，416，420，422，424和/或426相关联的虚拟对象的每一个可以被存储与现实世界对象412，414，416，420，422，424和/或 426中的一个或多个相当的现实世界和/或局部地图位置相关联(例如被索引)。
虚拟对象库240例如可使用在查询中传递给它的感兴趣区域获得虚拟对象512，514和516。虚拟对象储存库240可响应于该查询提供所获得的虚拟对象(例如，包括虚拟对象512，514，516，520a-e，522a-b和/或520al-a4) 给增强现实引擎250。
该增强现实引擎250可以通过组合正在进行的现实世界视图410和虚拟对象12，514，516，520a-e，522a-b和/或520al-a4生成增强现实显示510。虚拟对象512，514和516可在增强现实显示510内在任意数目的位置被设置。例如，虚拟对象12，514，516，520a-e，522a-b和/或520al-a4可以被设置在感兴趣区域附近的位置。虚拟对象512，514，516，520a-e，522a-b和/ 或520al-a4可以被设置在靠近感兴趣区域的位置。设置虚拟对象12，514，516，520a-e，522a-b和/或520al-a4在靠近感兴趣区域可以减少用户的眼睛移动以关注增强信息的距离。虚拟对象512，514，516，520a-e，522a-b和/ 或520al-a4可以被设置在靠近对应的roi基础位置的位置。
虚拟对象512，514，516，520a-e，522a-b和/或520al-a4可以被设置在靠近对应的roi基础位置和邻近现实世界对象(例如现实世界对象418和/或 420)的位置。虚拟对象512，514，516，520a-e，522a-b和/或520al-a4可以被设置在位置以不阻挡一个或多个现实世界对象412-426。虚拟对象512，514，516，520a-e，522a-b和/或520al-a4可以被设置在位置以便不阻挡彼此或其他虚拟对象。虚拟对象512，514，516，520a-e，522a-b和/或520al-a4可以被设置在位置以阻挡所述感兴趣区域之外的其它对象(现实世界或其他)。
虚拟对象512，514，516，520a-e，522a-b和/或520al-a4可以被设置在基于用户和所述虚拟对象512，514，516，520a-e，522a-b和/或520al-a4之间的距离的位置。例如，虚拟对象512，514，516，520a-e，522a-b和/或520a1-a4 的离用户的距离较小(较近)的一些虚拟对象可以被显示在增强现实图像510 上，其比在离用户距离较大(更远)的虚拟对象512，514，516，520a-e， 522a-b和/或520a1-a4中的其他虚拟对象大。
作为示例，例如虚拟对象514的虚拟对象可以具有用于呈现增强信息的各个呈现类型的多个状态。虚拟对象514例如可以是在用于呈现概要的紧凑状态中。另外和/或替代地，虚拟对象514可以是在用于呈现更全面增强细节的非紧凑(例如，放大，延长，扩展等)状态中。
该概要可以包括例如图标、图像、文字、增强信息的简要表述等的任意。更全面增强细节可以除了摘要还包括和/或作为摘要的补充的任意增强信息。
更全面增强细节可以包括与虚拟对象512，514，516，520a-e，522a-b 和/或520al-a4有关的的一个或多个消息。这样的消息可以包括实体，例如，文本数据、图形数据或数字数据。文本数据可以包括任何信息，例如，广告、交通报告、方向和新闻报道。图形数据可以包括符号或图标，例如警告图标。数字数据可以是虚拟对象512，514，516，520a-e，522a-b和/或520al-a4的位置(例如，各自的x，y和z坐标集)。
消息可以包括主动消息和被动消息。主动消息可以是可从增强现实显示的虚拟对象自动传递给用户的消息，而不考虑是否可以检测到对虚拟对象的兴趣或用户兴趣表达。被动消息可以是作为检测到对虚拟对象的兴趣或用户兴趣表达(例如通过用户输入选择)的响应可以从增强现实显示的虚拟对象传递给用户的消息。可以由用户选择虚拟对象来生成被动消息，以便通知该用户该增强现实系统可以识别用户选择。
主动消息可以从虚拟对象512，514，516，520a-e，522a-b和/或520a1-a4 提供并被传递给增强现实显示510上的用户。包括该主动消息的虚拟对象 512-514可以被存储在虚拟对象库230中。此外，可以基于用户输入生成被动消息并将其传递给增强现实显示510上的用户。通过举例的方式，被动消息可以是响应于与虚拟对象512，514，516，520a-e，522a-b和/或520a1-a4 有关的用户输入的来自虚拟对象512，514，516，520a-e，522a-b和/或520a1-a4 之一的响应。包括相关联的被动消息的虚拟对象512，514，516，520a-e， 522a-b和/或520a1-a4可以被存储在虚拟对象库230中。
虽然在一些实施方式中，主动和被动消息可以由虚拟对象512，514，516， 520a-e，522a-b和/或520a1-a4提供并与该虚拟对象被存储在虚拟对象库230 中，在一些实施方式中，主动和被动消息可以通过增强现实引擎250与虚拟对象512，514，516，520a-e，522a-b和/或520a1-a4相关联。例如，主动和被动消息可以被存储在与虚拟对象库230分开的库中。增强现实引擎250可以从该分开的库获得与虚拟对象512，514，516，520a-e，522a-b和/或520a1-a4 有关的主动和被动消息，并将其与虚拟对象512，514，516，520a-e，522a-b 和/或520a1-a4组合。
增强现实引擎250可以使得虚拟对象512，514，516，520a-e，522a-b 和/或520a1-a4的任意从一种状态转变到另一种状态，并再转变回来。例如，增强现实引擎250可以使得虚拟对象514从第一状态转变到第二状态，以及从第二状态转变到第一状态。状态变化可以是连续的或不连续的。从一个状态到另一个的转变可基于(例如，响应于而发生)是否可以检测到对虚拟对象512，514，516，520a-e，522a-b和/或520a1-a4的兴趣或用户兴趣表达。
增强现实引擎250可以从用户识别单元210获取虚拟对象(例如虚拟对象512-516)的任意中的兴趣指示，并相应地修正增强现实显示510。在一些实施方式中，增强现实引擎250可以使得虚拟对象514通过从紧凑状态扩大(例如，尺寸生长)从紧凑状态(如在图6中所示)转变到非紧凑状态(如图7A所示)。当虚拟对象514中的兴趣指示可以被检测和/或能够被推断出时，增强现实引擎250可以执行该转变。增强现实引擎250还可以使得虚拟对象的状态改变如这里所示的示例中的如图8B和图8E和/或图8C和图8D 所示的变化。
在一些实施方式中，增强现实引擎250可以使得虚拟对象514通过减少 (如在尺寸缩小)回紧凑状态从非紧凑状态(如在图7A中所示)转变到紧凑状态(如在图6中所示)。例如没有检测和/或不能推断出虚拟对象514中的兴趣的指示时，增强现实引擎250可以执行该转变。增强现实引擎250还可以使得虚拟对象的状态改变如本文所述的示例中如图8B和图8E和/或图 8C和图8D所示变化。
该兴趣指示可以具有与变化的兴趣程度(例如“最小感兴趣”、“有点兴趣”、“完全感兴趣”等)相当的值(“兴趣指示值”)。作为示例，兴趣指示值可以基于(例如，具有对应值的等级)滑动等级，其具有朝向一端的“最小感兴趣”到朝向另一端的“完全感兴趣”，中间具有各种中间兴趣程度。当在第二状态中时，增强现实引擎250可以使用兴趣指示值来控制虚拟对象 514或其它虚拟对象的扩展(生长和/或收缩)。
在一些实施方式中，增强现实引擎250可以使得虚拟对象514从紧凑状态切换到部分或完全放大状态，例如在图7A-7B中所示。例如，当可以检测和/或能够推断出虚拟对象514中的兴趣指示时，增强现实引擎250可以执行该转变。在一些实施方式中，例如，当没有检测到和/或不能够推断出对虚拟对象514的兴趣指示时，增强现实引擎250可以使得虚拟对象514从部分或完全放大状态切换到紧凑状态。增强现实引擎250还可以使得虚拟对象的状态改变按照如本文所述的示例中如图8B和图8E和/或图8C和图8D中所示变化。
在一些实施方式中，增强现实引擎250可以使得虚拟对象514通过附加或以其它方式添加补充虚拟对象514-1从紧凑状态(如图6中所示)转变到非紧凑状态(如图7B中所示)。当可以检测到和/或推断出对虚拟对象514 的兴趣指示时，增强现实引擎250可以执行该转变。在一些实施方式中，增强现实引擎250可以通过返回到(例如从非紧凑状态移除补充虚拟对象 514-1)非紧凑状态使得虚拟对象514从非紧凑的状态(例如如图7B所示) 转变到紧凑状态。例如，当不能检测和/或推断出虚拟对象514中的兴趣指示时，增强现实引擎250可以执行该转变。增强现实引擎250还可以使得虚拟对象的状态改变按照如本文所述的示例中如图8B和图8E和/或图8C和图 8D中所示变化和/或所发生的转变。
根据这里的示例，优先级可以用于确定在增强现实显示或接口上可以输出或提供什么样的信息。在一个实施方式中，可以基于如图8A-8E中所示的用户兴趣的等级来优先化可以在场景中被标识为用户感兴趣的一个或多个对象。例如，用户可以注视增强现实显示510中的现实世界对象418和/或 420。用户可以关注现实世界对象418(例如，可凝视(fixate)或注视)在指定短间隔比其他现实世界对象(例如现实世界对象420)更长。用户识别单元210可以检测这样的注视和/或ROI确定单元220可确定如这里所述用户凝视或注视哪个现实世界对象。可以基于用户比另一现实世界对象更集中在一个现实世界对象来指派优先级(例如，通过增强现实单元200)。例如，现实世界对象418可被给予或指派比另一个对象(例如现实世界对象420) 更高的优先级。增强现实引擎250可以基于对象的优先级来确定和/或提供或显示信息。例如，针对较高优先级现实世界对象(例如现实世界对象418) 可以显示例如虚拟对象520a-d的信息，但是不针对较低优先级对象(例如现实世界对象420)和/或可以针对较高优先级对象被给定不同的标识符、等级或突出程度或另一表述(其可以有兴趣将其标识为更相关等)的现实世界对象418、420的每一者显示虚拟对象520a-d。为了确定优先级，在一个实例中，增强现实单元210和/或其中的组件(例如用户识别单元210、ROI确定单元220和/或增强现实单元250)可确定或找到如这里所述的当用户在观看屏幕时可以凝视的对象。增强现实单元210和/或其中的组件可基于凝视的时间(例如用户看着屏幕中的对象多久)来排序这些对象。根据一个示例，增强现实单元210和/或其中的组件可以使用排序列表来显示的对象的一个或多个(例如，使用增强现实单元250)，例如具有最高优先级的对象，和/或显示每个具有不同的标识符、等级或突出程度或其他兴趣的表述的对象。在示例中，基于优先级选择现实世界对象的一部分以显示与其相关联的虚拟对象可增强用户体验。
在一个实施方式中，对象可以被给予基于自从用户上一次凝视对象起经过的时间的“淡出(fading out)”效果。例如，用户可以注视两个现实世界对象418，420以比较它们的特征(例如年龄、架构等)，注视两个电影明星以比较关于他们职业的信息，注视三个餐馆以比较它们的菜单、价格或等待时间等。较高优先级可以被指派给用户最近注视的对象。例如，如果用户最近的注视可以在现实世界对象418，则与现实世界对象420相比较高优先级可以被指派给现实世界对象418。这样，根据示例，一个以上的对象可以被突出是更突出的最近的一个。
在一个示例中，为了排序对象和/或确定对象的优先级，可以例如通过如这里所述的增强现实单元210捕获用户的扫视眼睛运动的持续时间和/或新近度(recency)。根据实施方式，所述持续时间和/或新近度可如下表1中所示被存储。(例如，在其前两列中)。
表1
注视凝视 凝视持续时间 选择的(突出的)对象
P5 10000ms P5高
P4 4000ms P5高；P4中
P5 3000ms P5高；P4中
P3 1000ms P4高；P5中；P3低
P1 1000ms P5高；P1中；P3低
P5 7000ms P5高；P1中；P3低
P4 2000ms P5高；P4中；P1低
P5 2000ms P5高；P4中；P1低
表1示出用户扫视眼睛运动的示例，其示出了用户注视停留在不同对象上的时间量(例如可以代表例如现实世界对象418、420的P4和P5)和如这里的示例显示的突出结果。在表1中所示的眼睛运动和突出结果可以与这里所述的优先级相关联。根据表1中示出的示例，增强现实单元210可确定使用不同的兴趣等级(例如优先级)(例如无、低、中、高)在特定现实世界对象上突出哪些对象。例如，用户可以注视与P1和P3-P5相关联的现实世界对象达记录的持续时间，可以基于与其他对象相比的相关联的凝视的持续时间指派兴趣的等级或优先级且其可以被存储在所示的表的选择的或突出部分中。
表1可以示出考虑在突出凝视窗中的凝视的持续时间和/或凝视的新近度的方式。如所示，在一个示例中，在最近过去的较小凝视可以比在遥远的过去的更大的凝视更为重要。在实施方式中，最多观看的对象(例如，可以被观看的前两名或三名现实世界对象)可具有虚拟对象，例如520a-e(例如，其中520e-f可以显示特征、信息等与现实世界对象(例如现实世界对象418、 420)之间的补充虚拟对象522a-b的比较)，其通过以下的一者或多者来显示：概述其轮廓，改变它们可能出现在屏幕上的区域的颜色，改变对象中的区域的颜色(例如，给予对象红色光)，相对于其他对象增加亮度和对比度，等等。
在一个示例中，使用优先级的上述知识，增强现实单元210例如使用增强现实引擎250可确定增强信息，例如虚拟对象520a-e(例如，和/或522a-b)，以通过交叉选定对象的可用增强信息项(近似等于优先级)做出突出。根据示例(例如，如图8B-8C所示)，如果用户在两个现实世界对象418，420(例如两个餐厅)之间来回注视，增强信息(诸如虚拟对象520a-d和/或可以提供现实世界对象418，420(诸如虚拟对象520e-f)的比较的增强信息可以被显示(例如因为其在它们之间进行比较中是有用的)。例如，它们的菜系、价格、等待时间、评论概要、儿童友好度等可以适合针对这两个对象被显示。可以不适用于可以基于这里所述的优先级选择的对象的至少两个的其他增强信息可以不进行突出。例如，如果特殊优惠针对一个是知道的但针对另一个是不知道的，则这种优惠可以是在比较中不太相关的且可以或可以不显示 (例如它们可以保留可见，因为用户可能关心这种信息项或它们可以不被显示)。如所示，在示例中，诸如虚拟物体520a-b的增强信息可以针对可以具有较高优先级的现实世界对象418和/或针对现实世界对象418，420的比较信息(例如虚拟对象520e-f)比针对现实世界对象420的增强信息(例如虚拟对象520c-d)更突出显示。
在一个实施方式中，使用优先级的上述知识，增强现实单元210和/或其中的增强现实引擎250可确定增强信息的放置(例如，虚拟对象520a， 520b，520c，520d，520e和/或520f)，由此该信息可以不阻挡其他对象(例如，在用户兴趣方面可以是较低评级的其他兴趣对象)。例如，如果用户可以一起查看两间餐厅或两个名人(例如布拉德·皮特和安吉丽娜·朱莉)，用户可能不想要关于一者的增强信息覆盖另一者的现实世界对象的部分(例如餐厅建筑或另一个人的脸)。
在本文的示例中，“比较姿态”可以由增强现实单元210和/或增强现实引擎250定义和/或使用。比较姿态可以被定义和/或可以包括用户凝视一些对象的姿态，由此用户可以快速且重复地看它们以指示它们之间的比较可以是突出的。例如，用户能够凝视于X(例如，一个现实世界对象(例如现实世界对象418)的位置)和Y(例如，另一个现实世界对象(例如现实世界对象420)的位置)，并可以例如按照X-Y-X快速看它们。从这样的姿态，增强现实单元210和/或增强现实引擎250可确定该交叉增强信息项为相关的和/或具有与其相关联的优先级。
根据本文的示例(例如，一旦增强现实单元210和/或其中的增强现实引擎250可以已经确定增强信息项为相关于比较和/或基于优先级)中，代表该增强信息项的虚拟对象(诸如虚拟对象520a，520b，520c，520d，520e 和/或520f(例如，如图8B-8E中示出))可以被显示在如本文所述的位置。在一个示例(例如，如图8D所示)中，增强信息可以被扩展以显示可以被选择的另外的信息和/或另外的对象或虚拟对象(例如，如522a-b和/或 520al-a4所示)。例如，当用户注视虚拟对象(例如虚拟对象520e)时，其中包括一个或多个组件(例如用户识别单元210、ROI确定单元220和/或增强现实单元250)的增强现实单元210可确定用户可以正注视的对象，可确定该对象可以相关联的或进行比较的现实世界对象和/或该对象的优先级。虚拟对象(例如虚拟对象520e(例如，如图8D所示))可以由增强现实单元 210和/或其组件扩展成方块或区域522a-b，例如两个或更多个平行的方块，其可以显示针对被比较的对象的每一个的对应增强信息。
例如，如果用户可以正比较两个餐厅和/或两个名人(例如布拉德·皮特和安吉丽娜·朱莉)，增强现实引擎250可以显示针对餐厅对应于如这里所述的其类型、菜系、普通菜单项、评论等和/或针对名人对应于他们的年龄、最好的电影、首部电影以及目前的项目的虚拟对象524，525。共同虚拟对象或比较虚拟对象(例如虚拟对象520e-f)可以以各种方式被显示，包括以下的一者或多者：在被比较的对象的中间或重叠该对象，通过组合颜色、双条、破折号、纹理，通过链接到被比较的对象的插图编号(callout)等等。用户可以查看或看虚拟对象之一(例如虚拟对象520e)以使得增强现实单元210 和/或其中的增强现实引擎250和/或其它组件可以在方块或区域522a-b中显示另外信息，例如如图8D中所示。
在一个实施方式中，标识或选择的虚拟对象(例如虚拟对象520a(例如，如图8E所示))可具有“几何结构”，具有多个“组件”，例如与其相关联的可以被显示的组件520a1-a4。例如，建筑物可能有不同的楼层，楼层组或窗户的组件。同样，桥可以具有不同悬跨或柱子。人脸可以有特征。在一个示例中，与虚拟对象520相关联的这样的现实世界对象(例如现实世界对象 418)的信息源可以包括特定于这些组件的信息，且用户识别单元210(例如使用如这里所述的视觉或眼睛模块260)可以识别这些部件由此增强现实单元210和/或其中的组件可以执行以下的一者或多者：初始选择关于所标识的对象的增强信息以覆盖其组件的每一个；当在可以详细描述对应的增强信息之前用户与所述的图标交互时，可以经由在对应组件附近的图标放置呈现增强信息(可以显示用于组件520a1-a4的附加信息)。
根据一个示例，用户能够扫描各种组件(例如组件520a1-a4)以选择感兴趣的一个，或如果用户选择相关的组件，用户可以在其附近注视或看。例如，如果用户可以对已经坍塌的建筑的部分感兴趣，比起使用这里的示例的其他(例如通过注视与其相关联的组件和/或虚拟对象)用户可以更容易找到该部分的信息。
如本文所述，在一些实施方式中，用户可以进行与在计算设备上显示的增强现实显示510上的(图4-8中的)虚拟对象514或其他虚拟对象512， 516，520a-e，522a-b和/或520a1-a4有关的用户输入。用户输入可以是由和/ 或通过与在显示单元300上显示的增强现实显示510的虚拟对象有关的触摸、点击、拖拽、注视、语音/说话识别和/或与显示单元300的其他交互的虚拟对象的用户选择。如果可以进行用户输入，具有数值数据(例如增强现实图像510的虚拟对象的x，y和z坐标)的被动消息可以基于虚拟对象514 和/或其他虚拟对象512，516，520a-e，522a-b和/或520al-a4的用户选择的位置(x,y,z)被生成。然后，增强现实引擎250可以接收从虚拟对象514 和/或其他虚拟对象512，516，520a-e，522a-b和/或520al-a4生成的被动消息。被动消息可以用于在用户和虚拟对象之间的通信的内部数据结构，且因此被动消息可以不在增强现实显示上被显示。
在某些代表性的实施方式中，感兴趣区域可以被突出。该突出可例如经由颜色，纹理，或亮度。在一些实施方式中，增强信息可以以列表格式来组织。在某些代表性实施方式中，增强信息可以以非线性模式来组织。在某些代表性实施方式中，增强信息可以以减弱格式被显示。在某些代表性实施方式中，增强信息可以响应于被检测到和/或推断出的对虚拟对象(例如图4-8 中的虚拟对象514和/或其他虚拟对象512、516、520a-e、522a-b和/或520a1-a4)(例如响应于眼睛跟踪系统260指示用户的注视可以正接近例如虚拟对象514、520a和/或520e的虚拟对象)的兴趣指示的以更突出格式被显示。
在某些代表性的实施方式中，可以用恒定突出显示增强信息。在某些代表性实施方式中，增强信息可以以给定颜色被显示。在某些代表性实施方式中，颜色可以响应于被检测到和/或推断出对诸如图4-8中的虚拟对象514和 /或其他虚拟对象512、516、520a-e、522a-b和/或520al-a4的虚拟对象的兴趣指示(例如，响应于眼睛跟踪系统260指示用户的注视可以正接近虚拟对象诸如虚拟对象514和/或512、516、520a-e、522a-b和/或520al-a4)变暗。在某些代表性的实施方式中，颜色可以响应于检测到的和/或推断出的对在诸如图4-8中的虚拟对象514和/或其他虚拟对象的虚拟对象的兴趣指示(例如，响应于眼睛跟踪系统260指示用户的注视可以正接近虚拟对象诸如虚拟对象 514和/或512、516、520a-e、522a-b和/或520al-a4)变淡。
在某些代表性的实施方式中，增强信息可以在给定尺寸被显示。在某些代表性实施方式中，尺寸可以响应于检测到和/或推断出的对在诸如图4-8中的虚拟对象514和/或其他虚拟对象512、516、520a-e、522a-b和/或520al-a4 的虚拟对象的兴趣指示(例如，响应于眼睛跟踪系统260指示用户的注视可以正接近虚拟对象，诸如虚拟对象514和/或512、516、520a-e、522a-b和/ 或520al-a4)变得更大。在某些代表性实施方式中，尺寸可以与距离成比例地增长。在某些代表性的实施方式中，尺寸可以响应于被检测和/或推断出的虚拟对象514和/或其他虚拟对象512、516、520a-e、522a-b和/或520al-a4 中的兴趣指示(例如，响应于眼睛跟踪系统260指示用户的注视可以正接近虚拟对象，诸如虚拟对象514和/或512、516、520a-e、522a-b和/或520al-a4) 变得更小。在某些代表性实施方式中，尺寸可以与距离成比例地缩小。
其它虚拟对象512、516、520a-e、522a-b和/或520al-a4的每个(例如虚拟对象514)可以具有用于呈现增强信息的各个呈现类型的多个状态。并且，虽然没有示出，但每个虚拟对象512、516、520a-e、522a-b和/或520al-a4 关于呈现增强信息的不同呈现类型的行为可以与虚拟对象514的方式相同。每个虚拟对象512、516、520a-e、522a-b和/或520al-a4的行为方式也可以不同。
在图5-8中，虽然虚拟对象512-516和520-525可被显示在增强现实显示510上，但是能够被显示在增强现实显示510上的虚拟对象的数目可以不限于此。此外，虽然x轴，y轴，和z轴在图5-8的增强现实显示510上示出，但它们可以不在显示单元300上显示。
该空间属性可以包括第一空间分量、第二空间分量和第三空间分量。例如，第一空间分量可以是虚拟对象的x坐标，第二空间分量可以是虚拟对象的y坐标，和第三空间分量可以是虚拟对象的z坐标。虽然第一、第二和第三空间分量分别被描述为x坐标，y坐标和z坐标，但它们只是示例且不限于此。
图9是示出根据本文所描述的至少一些实施方式的增强现实系统20的示例的框图。增强现实系统20可以在计算设备中被使用和/或实现。将在下面参照图4-8所示的说明性示例图像描述增强现实系统20。图9的增强现实系统20可以类似于图3的增强现实系统10，除了下面描述的。增强现实系统20可包括增强现实单元800与图像捕获单元100和显示单元300。
增强现实单元800可生成增强现实显示，并提供所生成的增强现实显示给显示单元300。增强现实单元800可以包括用户识别单元810、对象标识单元820、现实世界对象库830、虚拟对象库840和增强现实引擎850。
用户识别单元810可识别与现实世界视图和/或增强现实显示有关的用户输入。用户识别单元810例如可以识别与以下中的任意者有关的用户输入： (显示和/或捕获的)现实世界视图410；增强现实显示510；现实世界视图 410和增强现实显示510中描绘的现实世界对象(例如现实世界对象 412-426)；以及现实世界视图410和增强现实显示中描绘的虚拟对象，诸如虚拟对象512、514、516、520a-e、522a-b和/或520al-a4。用户输入可以合适地被提供给显示单元300和/或增强现实单元800，包括例如对象标识单元 820和增强现实引擎850。
用户识别单元210可以识别的用户输入可以是可以指示显示的现实世界视图410和/或增强现实显示510上的指定的位置428的用户指定或用户指定表达的用户输入。另外，用户识别单元210可以识别的用户输入可以是包括在增强现实显示510中描绘的虚拟对象的一个或多个中的兴趣指示的用户输入。
用户识别单元810可识别由一个或多个输入设备技术提供的用户输入。用户识别单元810例如可以识别由和/或通过触摸、点击、拖放、注视、语音 /说话识别和/或与在显示单元300上显示的现实世界视图410和/或增强现实显示510有关的其他交互做出的用户输入或选择。用户识别单元810可以从以下中的任意者识别用户输入：触摸屏或其它类似设备；识别由相机捕获的用户的指尖和显示单元300之间的交互的系统；眼睛跟踪单元260等等。用户识别单元(其可以是代表用户识别单元810)的细节结合在上文中的用户识别单元210被描述。
指示现实世界对象412-426的一个(或多个)中的兴趣的用户输入的任意可以包括与所显示的现实世界视图410相关联的位置(例如，一个或多个坐标集)。指示虚拟对象512、514、516、520a-e、522a-b或其组件(例如520al-a4 (例如，其可以是虚拟对象，诸如补充虚拟对象))的一个或多个中的兴趣的用户输入的任意可以包括一个与显示的增强现实图像510相关联的位置 (例如，一个或多个坐标集)。
对象标识单元820可以标识与所显示的现实世界视图和/或增强现实显示相关联的现实世界对象。对象标识单元820例如可以从用户识别单元210 获取所显示的现实世界视图410和/或增强现实显示510上的指定的位置428 (例如，焦点区域)，并使用该指定的位置428标识现实世界对象418。
对象标识单元820可以包括对象识别单元870和深度识别单元880。对象识别单元870可以对现实世界视图执行对象检测。对象识别单元870例如可以使用指定的位置428对现实世界视图410执行对象检测，并将获取现实世界对象418的代表现实世界对象。对象识别单元870可以使用各种已知技术方法的任意用于执行对象检测，包括例如，边缘检测，原始草图，观看方向变化，光度和颜色变化，等等。
深度识别单元880可以获取捕获现实世界视图(例如，的快照)的空间属性。深度识别单元880例如可确定用于代表现实世界对象的现实世界和/ 或局部地图位置。深度识别单元280可确定代表现实世界对象位置，并基于该代表现实世界对象位置确定针对代表现实世界对象的位置的现实世界和/ 或局部地图位置。在一些实施方式中，深度识别单元280可以将该代表现实世界对象位置转换成针对确定的代表现实世界对象的位置的现实世界和/或局部地图位置。
在一些实施方式中，深度识别单元280可确定代表现实世界对象位置，和/或如下确定相应的现实世界和/或局部地图位置。深度识别单元280可以计算现实世界视图410的x，y和z轴，并获取代表现实世界对象的x，y和 z坐标集。为了获取x，y和z轴以及x，y和z坐标集，深度识别单元880 可使用位置识别算法。所使用的位置的识别算法可以是本领域中是公知的算法，并且可以无需在本文中进一步解释来实现。虽然未示出，但是深度识别单元880可以获取并使用用于映射x，y和z轴到现实世界坐标和/或用于映射针对代表现实世界对象的x，y和z坐标集到现实世界坐标集的定位信息。该定位信息可从通信地耦合到增强现实单元800的全球定位系统(GPS)接收机(未示出)和/或经由网络协助来获取。
对象标识单元820可使用与代表现实世界对象相关联的x，y和z坐标集和/或现实世界坐标集来为了现实世界对象的标识查询现实世界对象库 830。
现实世界对象库830可以存储现实世界对象的标识。现实世界对象的标识可以与对应的x，y和z坐标集和/或现实世界坐标集相关联(例如，通过索引)地被存储。现实世界对象库830例如可以在查询中使用传递给它的该 x，y和z坐标集和/或该现实世界坐标集来获得现实世界对象的标识。现实世界对象库830可以响应于该查询提供所获得的标识给对象标识单元820。对象标识单元820可以提供所获得的标识给增强现实引擎850。
现实世界对象的标识可以包括(或是)标识符。标识符可以是现实世界对象的名字、与现实世界对象关联的坐标等的任意。
增强现实引擎850可以生成增强现实显示，和/或提供增强现实显示给显示单元300。增强现实引擎850例如可以生成增强现实显示510。为便于生成增强现实显示510，增强现实引擎850可以使用所获取的现实世界对象的标识来查询虚拟对象库840。
虚拟对象库840可存储用于呈现与标识的现实世界对象有关的增强信息的虚拟对象。虚拟对象库840例如可以存储虚拟对象512、514、516、520a-e、 522a-b或其组件(如520al-a4)(例如，其可以是虚拟对象，例如补充虚拟对象)。虚拟对象512、514、516、520a-e，522a-b或其组件(如520al-a4)(例如，其可以是虚拟对象，例如补充虚拟对象)和与现实世界对象相关联的任何其他虚拟对象可被存储与现实世界对象的标识相关联(例如，通过索引)。
例如，虚拟对象库840还可以存储与现实世界对象412、414、418、416、 420、422、424和426相关联的虚拟对象和/或与现实世界对象418相关联的其他虚拟对象。与现实世界对象412、414、416、418、420、422、424和426 相关联的虚拟对象的每一个可被存储与现实世界对象412、414、416、418、 420、422、424和426的一个或多个的标识相关联(例如，通过索引)。
虚拟对象库840例如可以在查询中使用传递给它的现实世界对象的标识获得虚拟对象512、514、516、520a-e、522a-b或其组件(如520al-a4)(例如，其可以是虚拟对象，如补充虚拟对象)。虚拟对象库840可以响应于该查询提供获得的虚拟对象512、514、516、520a-e，522a-b或其组件诸如 520al-a4(例如，其可以是虚拟对象，如补充虚拟对象)给增强现实引擎850。
增强现实引擎850可以通过组合正在进行的现实世界视图410和虚拟对象512、514、516、520a-e、522a-b或其组件诸如520al-a4(例如，其可以是虚拟对象，如补充虚拟对象)来生成增强现实显示510。虚拟对象512、514、 516、520a-e、522a-b或其组件诸如520a1-a4(例如，其可以是虚拟对象，如补充虚拟对象)可以被设置在增强现实显示510内任意数量的位置。例如，虚拟对象512、514、516、520a-e、522a-b或其组件诸如520a1-a4(例如，其可以是虚拟对象，如补充虚拟对象)可被设置在现实世界对象418的附近的位置。虚拟对象512、514、516、520a-e，522a-b或其组件诸如520al-a4 (例如，其可以是虚拟对象，如补充虚拟对象)可以被设置在接近现实世界对象418的位置。将虚拟对象512、514、516、520a-e、522a-b或其组件诸如520a1-a4(例如，其可以是虚拟对象，如补充虚拟对象)设置在靠近感兴趣区域可以降低用户的眼睛运动以关注增强信息的距离。虚拟对象512、514、 516、520a-e、522a-b或其组件诸如520al-a4可以被设置在靠近指定的位置 428且在现实世界对象418附近内的位置。
虚拟对象512、514、516、520a-e、522a-b或其组件(如520al-a4)可以被设置在分别靠近指定的位置和相邻于现实世界对象418的位置。虚拟对象 512、514、516、520a-e，522a-b或其组件诸如520al-a4可被设置在不阻挡现实世界对象412-426的一个或多个的位置。虚拟对象512、514、516、520a-e、 522a-b或其组件(如520al-a4)或其组件(如520a-d)可以被设置在不阻挡彼此或另一虚拟对象的位置。虚拟对象512、514、516、520a-e、522a-b或其组件(诸如520al-a4)可以被设置在阻挡感兴趣区域之外的其它对象(现实世界或其他方式)的位置。
虚拟对象512、514、516、520a-e、522a-b或其组件(如520al-a4)可以被设置在基于所述用户和所述虚拟对象512、514、516和/或520a-e之间的距离的位置。例如，虚拟对象512、514、516、520a-e、522a-b或其组件(诸如520a1-a4)中在离用户较小(较近)的距离的一些虚拟对象在增强现实图像510上被显示要比虚拟对象512、514、516、520a-e、522a-b或其组件(诸如520a1-a4)中离用户较大(较远)的距离的其他虚拟对象要大。
增强现实引擎850可能使得虚拟对象512、514、516、520a-e、522a-b 或其组件(诸如520al-a4)的任意从一个状态转变到另一状态，并再转变回来。例如，增强现实引擎850可以使得虚拟对象514从第一状态转变到第二状态，并从第二状态到第一状态。状态变化可以是连续的或不连续的。从一个状态到另一个的转变可基于(例如，响应于发生)虚拟对象512、514、516、 520a-e、522a-b或其组件(诸如520al-a4)的兴趣或兴趣的用户表达是否可以被检测到。
增强现实引擎850可以从用户识别单元210获取虚拟对象512、514、516、 520a-e、522a-b或其组件(诸如520al-a4)的任意中的兴趣指示，并相应地修改增强现实显示510。在一些实施方式中，增强现实引擎850可以通过从紧凑状态扩展(例如尺寸增长)使得虚拟对象514从紧凑状态(诸如在图6 中所示)转变到非紧凑状态(诸如在图7A中所示)。增强现实引擎850可以在可以检测和/或能够推断出虚拟对象514中的兴趣指示时执行该转变。增强现实引擎250还可以使得虚拟对象的状态改变按照这里所述的示例中如图 8B和图8E和/或图8C和图8D中所示改变。
在一些实施方式中，增强现实引擎850可以通过缩减(例如尺寸收缩) 回紧凑状态使得虚拟对象514(例如，作为一个示例)从非紧凑状态(如在图7A中所示)转变到紧凑状态(如图6中所示)。增强现实引擎850可以在没有检测到和/或不能够推断出对虚拟对象514的兴趣指示时执行例如这种转变。增强现实引擎850可以在第二状态中时使用兴趣指示值来控制所述虚拟对象514的扩展(变大和/或收缩)。增强现实引擎250还可以使得虚拟对象的状态改变按照这里所述的示例中如图8B和图8E和/或图8C和图8D中所示改变。
在一些实施方式中，增强现实引擎850可以使得虚拟对象514从紧凑状态切换到部分或完全放大状态，例如在图7A-7B和/或图8A-8E中所示。增强现实引擎850可以在例如可以检测到和/或能够推断出对虚拟对象514的兴趣指示时执行这样的转变。在一些实施方式中，增强现实引擎850可以在例如没有检测到和/或不能够推断出对虚拟对象514的兴趣指示时使得虚拟对象514从部分或完全放大状态切换到紧凑状态。增强现实引擎250还可以使得虚拟对象的状态改变按照这里所述的示例中如图8B和图8E和/或图8C和图8D中所示改变。
在一些实施方式中，增强现实引擎850可以通过附着或其他方式添加补充虚拟对象514-1使得虚拟对象514从紧凑状态(如图6中所示)转变到非紧凑状态(如在图7B中示出)。增强现实引擎850可以在可以检测到和/或能够推断出对虚拟对象514的兴趣指示时执行该转变。在一些实施方式中，增强现实引擎850可以通过返回到(例如从中移除补充虚拟对象514-1)非紧凑状态使得虚拟对象514从非紧凑状态(如在图7B中所示)转变到紧凑状态。增强现实引擎850可以在例如没有检测到和/或推断出对虚拟对象514 的兴趣指示时执行该转变。增强现实引擎250还可以使得虚拟对象的状态改变按照这里所述的示例中如图8B和图8E和/或图8C和图8D中所示改变。
增强现实单元810和/或其组件还可以使用优先级来显示虚拟对象，例如这里所述的虚拟对象512-516和/或520-525或其组件(诸如520a-d)。
在一些实施方式中，如本文中所描述的，用户可以进行与虚拟对象(例如在计算设备上显示的增强现实显示510上的图4-8中的虚拟对象514和/ 或其他虚拟对象(例如，诸如和/或包括虚拟对象512、516、520a-f、522a-b，和/或组件或补充虚拟对象520a1-a4))有关的用户输入。用户输入可以通过触摸、点击、拖放、注视和/或与虚拟对象(例如在显示单元300上显示的增强现实显示510的虚拟对象514)有关的与显示单元300的其他交互的虚拟对象(例如虚拟对象514)的用户选择。如果可以进行用户输入，可以基于诸如虚拟对象514的虚拟对象的用户选择的位置(x,y,z)生成被动消息，该被动消息具有数值数据，例如增强现实图像510的诸如虚拟对象514的虚拟对象的x，y，和z坐标。然后，增强现实引擎850可以接收从虚拟对象(例如虚拟对象514)生成的被动消息。该被动消息可以是用于用户和虚拟对象之间的通信的内部数据结构，且因此被动消息可以不被显示在增强现实显示上。
图10是示出根据实施方式的用于呈现增强信息的示例方法900的流程图。方法900可以参考图3的增强现实系统和图4-8中示出的示意性示例图像来描述。方法900也可以使用其它架构来执行。另外，本文描述的其他现实世界对象和/或虚拟对象(例如，现实世界对象412-426、虚拟对象512、 516、520a-f，522a-b，和/或组件或补充虚拟对象520al-a4可以使用方法900。
在框902，显示单元300可以显示现实世界视图410。在框904，增强现实单元200可确定现实世界视频410上的感兴趣区域。增强现实单元200可基于所显示的现实世界视图410上的指定的roi基础位置与对应的roi基础位置之间的映射确定该感兴趣区域。
在框906，增强现实单元200可以获取用于呈现与感兴趣区域有关的增强信息的虚拟对象514。增强现实单元200可以例如从虚拟对象库240获取虚拟对象514。虚拟对象514可以具有用于呈现增强信息的各自呈现类型的多个状态。呈现类型可以包括例如概要、更全面增强细节等。概要可以包括，例如，图标、图像、文字、增强信息的简明表述等的任意。更全面增强细节可以包括作为概要的附加和/或补充的任意增强信息。
在框908，增强现实单元200可以通过组合现实世界视图410和虚拟对象514来生成增强现实显示510。
在框910，显示单元300可显示具有在多个状态的第一状态中的虚拟对象514的增强现实显示510。虚拟对象514例如可以是在用于呈现概要的第一(例如，紧凑型)状态中。
虚拟对象514可以从一个状态转变到另一状态，并再转变回。例如，虚拟对象可以从第一状态转变到第二状态，并且从第二状态到第一状态。状态的变化可以是连续的或不连续的。虚拟对象514可以通过从紧凑状态扩展从紧凑状态转变到非紧凑状态，和/或可以通过减小回紧凑状态从非紧凑状态转变到紧凑状态。可替代地和/或另外，虚拟对象514可以通过切换到部分或完全放大状态从紧凑状态转变到非紧凑状态，和/或可以通过切换回紧凑状态从非紧凑状态转变到紧凑状态。在一些实施方式中，虚拟对象514可以通过附着或以其他方式添加补充虚拟对象514-1从紧凑状态转变到非紧凑状态，和 /或通过返回到紧凑状态可以从非紧凑状态转变到紧凑状态。
从一个状态到另一个状态的转变转换可基于(例如，响应于发生)是否可以检测到对虚拟对象514的兴趣(或用户兴趣表达)。当没有检测到和/或不能够推断出对虚拟对象514的兴趣的指示时，虚拟对象514可以是在和/ 或转变回第一(例如，紧凑型)状态。当可以检测到和/或能够推断出对虚拟对象的兴趣指示时，虚拟对象514可以在和/或转变到第二(例如，非紧凑型) 状态。兴趣指示可以具有与变化的兴趣程度(例如“最小兴趣”、“有点兴趣”、“完全感兴趣”等)相当的值(“兴趣指示值”)。作为示例，兴趣指示值可以基于滑动等级(例如，具有对应值的等级)，其具有朝向一端的“最小兴趣”到朝向另一端的“完全感兴趣”，中间有各种中间兴趣程度。除了被用于转变到所述第二(例如，非紧凑)状态，兴趣指示值可以用于在第二状态中时控制虚拟对象514的扩展(变大和/或收缩)。
在框912，增强现实单元200可以获取在增强现实显示510上描绘的虚拟对象514中的兴趣指示。
在框910，显示单元300可显示在多个状态的第二状态中的虚拟对象 514。显示单元300可以基于(例如响应于兴趣指示)这样做。虚拟对象514 可以是在用于呈现更全面增强细节的第二(例如，非紧凑、放大、延长、扩展等)状态。
尽管未示出，增强现实显示可以包括用于在视觉上强调感兴趣区域的强调虚拟对象。该强调虚拟对象可以覆盖一些或整个感兴趣区域。该强调虚拟对象可以是例如感兴趣区域或其元素(例如现实世界视图中描绘的现实世界对象)的轮廓、突出等。为了便于这一点，增强现实单元200可以生成强调虚拟对象和/或通过将强调虚拟对象应用到感兴趣区域来增强该增强现实显示。
图11是示出根据实施方式的呈现增强信息的示例方法1000的流程图。该方法1000可以参照图3的增强现实系统和图4-8所示的示意性示例图像来描述。该方法1000也可以使用其它架构来执行。例如除了这里描述的，图11的方法1000可以类似于图10的方法900。另外，本文描述的其他现实世界对象和/或虚拟对象(例如，现实世界对象412-426，虚拟对象512，516， 520a-f，522a-b，和/或其组件或补充虚拟对象520al-a4)可以使用方法1000。
在框1002，增强现实单元200可以获取所使用的与感兴趣区域有关的增强信息。增强现实单元200可以从增强信息库(图3中未显示)获取增强信息。
在框1004，增强现实单元200可以生成用于呈现增强信息的虚拟对象 514。增强现实单元200可以例如从虚拟对象库240获得虚拟对象514。虚拟对象514可以具有用于呈现增强信息的各自呈现类型的多个状态。呈现类型可以包括例如概要、更全面增强细节等。
在框1004之后，方法1000可根据图10的框908-914被执行。
尽管未示出，增强现实显示可以包括用于在视觉上强调感兴趣区域的强调虚拟对象。该强调虚拟对象可以覆盖一些或整个感兴趣区域。该强调虚拟对象可以是例如感兴趣区域或其元素(例如现实世界视图中描绘的现实世界对象)的轮廓、突出等。为了便于这一点，增强现实单元200可以生成强调虚拟对象，和/或通过应用强调虚拟对象到感兴趣区域来增强该增强现实显示。
图12是示出根据实施方式呈现增强信息的示例方法1100的流程图。该方法1100可以参照图9的增强现实系统和图4-8中所示的示意性示例图像来描述。该方法1100也可以使用其它架构来执行。
在框1102，显示单元300可以显示现实世界视图410。在框1104，增强现实单元200可确定在所显示的现实世界视图410上的指定的位置428。该指定的位置428可以对应于眼跟踪系统指示用户聚焦的地方。另外，本文描述的其他现实世界对象和/或虚拟对象(例如，现实世界对象412-426，虚拟对象512，516，520a-f，522a-b，和/或其组件或补充虚拟对象520al-a4)可以使用方法1100。
在框1106，增强现实单元200可以从现实世界视图410标识对应于指定的位置428的现实世界对象418。在框1104，增强现实单元200可以获取所使用的与标识的现实世界对象418有关的增强信息。
在框1108，增强现实单元200可以生成用于呈现与标识的现实世界对象 418有关的增强信息的虚拟对象514。增强现实单元200可以例如从虚拟对象库240获得虚拟对象514。虚拟对象514可以具有用于呈现增强信息的各自呈现类型的多个状态。呈现类型可以包括例如概要、更全面增强细节等。
在框1110，增强现实单元200可以增强具有虚拟对象514的现实世界图像410。虚拟对象514例如可以是用于呈现概要的第一(例如，紧凑)状态。
在框1112，增强现实单元200可以获取在增强现实显示510上描绘的虚拟对象514中的兴趣指示。
在框1114，显示单元300可以在第二状态显示虚拟对象514。第二状态可以用于呈现更全面增强细节。当眼睛跟踪系统指示用户已经注视和/或聚焦虚拟对象514时，显示单元300可以显示在第二状态中的虚拟对象514。
尽管未示出，增强现实显示可以包括用于在视觉强调标识的现实世界对象418的强调虚拟对象。强调虚拟对象可以覆盖部分或整个标识的现实世界对象418。强调虚拟对象可例如是所标识的现实世界对象418的轮廓、突出等。为了促进这个，增强现实单元200可以生成强调虚拟对象，和/或通过应用强调虚拟对象到标识的现实世界对象418来增强该增强现实显示。
图13是示出根据一个实施方式的呈现增强信息的示例方法1200的流程图。该方法1200可以参照图9的增强现实系统和图4-8所示的示意性示例图像来描述。该方法1200也可以使用其它架构来执行。例如除了下面描述的，图13的方法1200可以类似于图12的方法1100。此外，这里描述的其他现实世界对象和/或虚拟对象(例如，现实世界对象412-426，虚拟对象512， 516，520a-f，522a-b，和/或组件或补充虚拟对象520al-a4)可以使用方法1200。
在框1202，增强现实单元200可以获取所使用的与所标识的现实世界对象418有关的增强信息。增强现实单元200可以从增强信息库(未在图中示出)获取增强信息。
在框1204，增强现实单元200可以生成用于呈现增强信息的虚拟对象 514。增强现实单元200可以从虚拟对象库240获取虚拟对象514。虚拟对象 514可以具有用于呈现增强信息的各自呈现类型的多个状态。呈现类型可以包括例如概要、更全面增强细节等。
在框1104之后，方法1100可以根据图12的框1108至1114来执行。
尽管未示出，增强现实显示可以包括用于在视觉上强调标识的现实世界对象418的强调虚拟对象。强调虚拟对象可以覆盖部分或整个标识的现实世界对象418。强调虚拟对象可以是例如标识的现实世界对象418的轮廓、突出等。为了促进这个，增强现实单元200可以生成强调虚拟对象，和/或通过应用强调虚拟对象到标识的现实世界对象418来增强该增强现实显示。
在某些代表性的实施方式中，增强现实显示和/或用户界面和/或用于提供增强现实显示和/或用户界面的方法可以组合现实世界视图和相关增强信息。在某些代表性实施方式中，增强现实显示和/或用户界面和/或用于提供增强现实显示和/或用户界面的方法可确定用于显示不模糊焦点项的增强信息的区域。
在某些代表性的实施方式中，该方法可以包括确定在视觉域的焦点。在某些代表性的实施方式中，该方法可以包括标识焦点和其边界的现实世界对象。在某些代表性的实施方式中，该方法可以包括显示虚拟对象与针对标识的现实世界对象相关的任意增强信息的概要。在某些代表性的实施方式中，该方法可以包括基于虚拟对象上的眼睛聚焦将虚拟对象从概要扩展到更全面增强细节。
再参照图4-8，现实世界对象412-426可以用户可见的。当用户看显示单元300的屏幕时，没有标识现实世界对象。一旦用户的眼睛凝视现实世界对象418，现实世界对象418可以被标识。当用户的眼睛移动时，眼睛跟踪单元260可确定用户的眼睛是否已经凝视特定点。假设用户的眼睛凝视指定的位置428。对象标识单元220可确定指定的位置428对应于所标识的现实世界对象418。
一旦该指定的位置428和现实世界对象418已经被标识，标识的现实世界对象418可以被突出显示(例如使用粗体轮廓)，如图5中所示。该突出显示可以是将标识的现实世界对象418与视图中其他对象区别的任意格式。
一旦现实世界对象418可被标识，虚拟对象(例如虚拟对象512，514 516， 520a-d和/或组件或补充虚拟对象520al-a4)可以被显示具有各自的概要。所述概要信息可能是餐厅广告，附近的地标，拍摄的建筑物的图片，等等。虚拟对象(例如虚拟对象512，514，516，520a-d和/或组件或补充虚拟对象 520al-a4)可以以将其与标识的现实世界对象418区分的格式被呈现。虚拟对象(例如虚拟对象512，514，516，520a-d和/或组件或补充虚拟对象520al-a4)可以是图标、几何图形、插图编号，等等。视觉表现可以是细微的，由此关于、概要不会在视觉上使屏幕杂乱。
当用户的目光接近虚拟对象514和/或其他虚拟对象(例如虚拟对象512， 516，520a-d和/或组件或补充虚拟对象520al-a4)时，该对象可以被扩展以呈现更全面增强细节。如在图7B和图8D-8E中所示，扩展可以被显示为补充信息514-1和/或块或区域522a-b和/或组件520al-a4。在一个示例(例如，分别如图7A和图8D-8E中所示)中，扩展可以被示出为虚拟对象的放大，在虚拟对象周围的区域，邻近虚拟对象，等等。
在某些代表性的实施方式中，虚拟对象的AR影响可以基于(例如，响应于)用户上下文(包括例如，用户偏好，环境条件等)自动地和/或动态地生成。
在某些代表性的实施方式中，标识的现实世界对象418可被突出显示。该突出可经由颜色、纹理或亮度。
在某些代表性的实施方式，诸如虚拟对象512，514，516，520a-f，522a-b，和/或组件或补充虚拟对象520al-a4的虚拟对象可以被显示在靠近所标识的现实世界对象。将虚拟对象512-516和/或520-525或其组件(例如520a-d) 显示在靠近标识的或选择的现实世界对象可以降低用户的眼睛移动以关注辅助信息的距离。
在某些代表性的实施方式，例如虚拟对象512，514，516，520a-f，522a-b 和/或组件或补充虚拟对象520a1-a4的虚拟对象可以被显示接近聚焦的位置。在某些代表性的实施方式，诸如虚拟对象512，514，516，520a-f，522a-b 和/或组件或补充虚拟对象520a1-a4的虚拟对象可以被显示靠近聚焦位置和邻近标识的现实世界对象。在某些代表性的实施方式中，诸如虚拟对象512， 514，516，520a-f，522a-b和/或组件或补充虚拟对象520al-a4的虚拟对象可以被显示以不阻挡标识的现实世界对象相邻的另一个现实世界对象。在某些代表性的实施方式中，诸如虚拟对象512，514，516，520a-f，522a-b和/或组件或补充虚拟对象520al-a4的虚拟对象可以被显示以不阻挡另一个和/或标识的现实世界对象相邻的另一个虚拟对象。
在某些代表性的实施方式中，增强信息可以以列表格式组织。在某些代表性实施方式中，增强信息可以以非线性模式来组织。在某些代表性实施方式中，增强信息可以以减弱格式被显示。在某些代表性实施方式中，增强信息可以响应于眼睛跟踪系统指示用户的注视可以正接近对应虚拟对象而以更突出的格式被显示。
在某些代表性的实施方式中，可以用恒定突出显示增强信息。在某些代表性实施方式中，增强信息可以以给定颜色被显示。在某些代表性实施方式中，颜色可以响应于眼睛跟踪系统指示用户的注视可以正接近对应虚拟对象而变暗。在某些代表性实施方式中，颜色可以响应于眼睛跟踪系统指示用户的注视可以正接近对应虚拟对象而变淡。
在某些代表性的实施方式中，增强信息可以在给定尺寸被显示。在某些代表性实施方式中，尺寸可以响应于眼睛跟踪系统指示用户的注视可以正接近对应虚拟对象而变得更大。在某些代表性实施方式中，尺寸可以与距离成比例地增长。在某些代表性实施方式中，尺寸可以响应于眼睛跟踪系统指示用户的注视可以正从对应虚拟对象离开而变得更小。在某些代表性实施方式中，尺寸可以与距离成比例地缩小。
在以上描述中，方法900-1200的每一个包括一个或多个过程，用于基于显示的现实世界视图上的指定的roi基础位置与对应的roi基础位置之间的映射确定现实世界场景上的感兴趣区域、感兴趣对象等。但是，方法900-1200 的每一个可以被修改为包括(或替换相同类型的过程)一个或多个过程，用于基于增强现实显示上的指定的roi基础位置与对应的roi基础位置(即，对应于增强现实显示上的指定的roi基础位置的现实世界位置和/或局部地图位置)之间的映射确定现实世界场景上的感兴趣区域、感兴趣对象等。
在一些实施方式中，方法900-1200可被修改为包括一个或多个过程，用于首先从增强现实显示清除当前感兴趣区域、感兴趣对象、虚拟对象等。在一些实施方式中，方法900-1200可以被修改以包括一个或多个过程，用于识别用于从增强现实显示清除感兴趣区域、感兴趣对象、虚拟对象等的一个或多个用户输入。这些用户输入或选择可以由和/或通过触摸、点击、拖放、注视、语音/说话识别和/或与在显示单元30上显示的增强现实显示(例如增强现实显示510)有关的其他交互来做出。
本文提供的的方法、装置、系统、设备和计算机程序产品非常适合涉及有线和无线网络两者的通信。有线网络是公知的。各种类型的无线设备和基础设施的概况可以关于图14A-14E提供，其中网络的各种元件可以利用、执行、设置，根据、适用、和/或配置本文提供的方法、装置和系统。
图14A-14E(统称为“图14”)是在其中可以实施一个或更多个公开的实施方式的示例通信系统1300的框图。一般来说，通信系统1300定义支持多接入系统的架构，通过该架构多个无线用户可以接入和/或交换(例如发送和/或接收)内容，例如语音、数据、视频、消息发送、广播等。该架构还支持根据不同接入技术使用和/或配置两个或更多个多个接入系统。这样，通信系统1300可以服务能够使用单个接入技术的无线用户和能够使用多接入技术的无线用户两者。
多接入系统可以包括各自的接入；其每一个可以是例如接入网、接入点等。在各种实施方式中，多接入的所有可以被配置有和/或使用相同的无线电接入技术(“RAT”)。该接入的一些或所有(“单RAT接入”)可以被以下任一拥有、管理、控制、操作等：(i)单移动网络运营商和/或服务商(统称“MNO”)或(ii)多个MNO。在各种实施方式中，多接入的一些或所有可以被配置有和/或使用不同RAT。这些多接入(“多RAT接入”)可以被单 MNO或多MNO拥有、管理、控制、操作等。
通信系统1300可以使多个无线用户通过系统资源共享(包括无线带宽) 访问这些内容。例如，通信系统1300可以使用一种或多种信道接入方法，例如码分多址(CDMA)，时分多址(TDMA)，频分多址(FDMA)，正交 FDMA(OFDMA)，单载波FMDA(SC-FDMA)等。
如图13所示，通信系统1300可以包括无线发射/接收单元(WTRU) 1302a、1302b、1302c、和/或1302d，无线电接入网(RAN)1304，核心网络1306，公共交换电话网(PSTN)1308、因特网1310和其他网络1312，不过应该理解的是，公开的实施方式考虑到了任何数量的WTRU、基站、网络和/或网络元件。WTRU 1302a、1302b、1302c、1302d的每一个可以是配置为在无线环境中进行操作和/或通信的任何类型的设备。作为示例，可以将 WTRU 1302a、1302b、1302c、1302d配置为传送和/或接收无线信号，并可以包括用户设备(UE)、移动站、固定或者移动用户单元、寻呼器、蜂窝电话、个人数字助理(PDA)、智能电话、笔记本电脑、上网本、个人计算机、无线传感器、消费电子产品、终端或能够接收和处理压缩的视频通信的相似类型的设备等等。
通信系统1300还可以包括基站1314a和基站1314b。基站1314a、1314b 的每一个都可以是配置为与WTRU 1302a、1302b、1302c、1302d中的至少一个无线对接以便于接入一个或者更多个通信网络，例如核心网络1306、因特网1310、和/或网络1312的任何设备类型。作为示例，基站1314a、1314b 可以是基站收发信台(BTS)、节点B(NB)、演进的节点B(eNB)、家庭节点B(HNB)、家庭eNB(HeNB)、企业NB(“ENT-NB”)、企业eNB (“ENT-eNB”)、站点控制器、接入点(AP)、无线路由器、媒介知晓网络元件(MANE)等等。虽然基站1314a、1314b的每一个被描述为单独的元件，但是应该理解的是，基站1314a、1314b可以包括任何数量互连的基站和/或网络元件。
基站1314a可以是RAN 1304的一部分，RAN 1304还可以包括其他基站和/或网络元件(未显示)，例如基站控制器(BSC)、无线电网络控制器 (RNC)、中继节点等。可以将基站1314a和/或基站1314b配置为在特定地理区域之内传送和/或接收无线信号，该区域可以被称为小区(未显示)。小区还可以被划分为小区扇区。例如，与基站1314a关联的小区可以划分为三个扇区。因此，在一种实施方式中，基站1314a可以包括三个收发信机，即每一个用于小区的一个扇区。在另一种实施方式中，基站1314a可以使用多输入多输出(MIMO)技术，因此可以将多个收发信机用于小区的每一个扇区。
基站1314a、1314b可以通过空中接口1316与WTRU 1302a、1302b、 1302c、1302d中的一个或者更多个通信，该空中接口1316可以是任何合适的无线通信链路(例如，射频(RF)、微波、红外(IR)、紫外线(UV)、可见光等)。可以使用任何合适的无线电接入技术(RAT)来建立空中接口1316。
更具体地，如上所述，通信系统1300可以是多接入系统，并可以使用一种或者多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、 SC-FDMA等等。例如，RAN 1304中的基站1314a和WTRU 1302a、1302b、 1302c可以使用例如通用移动电信系统(UMTS)陆地无线电接入(UTRA) 的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口1316。 WCDMA可以包括例如高速分组接入(HSPA)和/或演进的HSPA(HSPA+) 的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。
在另一种实施方式中，基站1314a和WTRU 1302a、1302b、1302c可以使用例如演进的UMTS陆地无线电接入(E-UTRA)的无线电技术，其可以使用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口1316。
在其他实施方式中，基站1314a和WTRU 1302a、1302b、1302c可以使用例如IEEE802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、 CDMA2000 1X、CDMA2000EV-DO、暂行标准2000(IS-2000)、暂行标准 95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、GSM演进的增强型数据速率(EDGE)、GSM EDGE(GERAN)等等的无线电技术。
图13中的基站1314b可以是无线路由器、家庭节点B、家庭e节点B 或者接入点，例如，并且可以使用任何适当的RAT以方便局部区域中的无线连接，例如商业场所、住宅、车辆、校园等等。在一种实施方式中，基站 1314b和WTRU 1302c、1302d可以实施例如IEEE802.11的无线电技术来建立无线局域网(WLAN)。在另一种实施方式中，基站1314b和WTRU1302c、 1302d可以使用例如IEEE 802.15的无线电技术来建立无线个域网(WPAN)。在另一种实施方式中，基站1314b和WTRU 1302c、1302d可以使用基于蜂窝的RAT(例如，WCDMA，CDMA2000，GSM，LTE，LTE-A等)来建立微微小区或毫微微小区。如图13所示，基站1314b可以具有到因特网1310 的直接连接。因此，基站1314b可以不需要经由核心网络1306而接入到因特网1310。
RAN 1304可以与核心网络1306通信，所述核心网络1306可以是被配置为向WTRU1302a、1302b、1302c、1302d中的一个或更多个提供语音、数据、应用和/或基于网际协议的语音(VoIP)服务等的任何类型的网络。例如，核心网络1306可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分配等和/或执行高级安全功能，例如用户认证。虽然图13中未示出，应该理解的是，RAN 1304和/或核心网络1306 可以与使用和RAN 1304相同的RAT或不同RAT的其他RAN进行直接或间接的通信。例如，除了连接到正在使用E-UTRA无线电技术的RAN 1304之外，核心网络1306还可以与使用GSM无线电技术的另一个RAN(未示出) 通信。
核心网络1306还可以充当WTRU 1302a、1302b、1302c、1302d接入到 PSTN 1308、因特网1310、和/或其他网络1312的网关。PSTN 1308可以包括提供普通老式电话服务(POTS)的电路交换电话网络。因特网1310可以包括使用公共通信协议的互联计算机网络和设备的全球系统，所述协议例如有TCP/IP网际协议组中的传输控制协议(TCP)、用户数据报协议(UDP) 和网际协议(IP)。网络1312可以包括被其他服务提供商拥有和/或运营的有线或无线的通信网络。例如，网络1312可以包括连接到一个或更多个RAN 的另一个核心网络，该RAN可以使用和RAN 1304相同的RAT或不同的 RAT。
通信系统1300中的WTRU 1302a、1302b、1302c、1302d的某些或全部可以包括多模式能力，即WTRU 1302a、1302b、1302c、1302d可以包括用于在不同无线链路上与不同无线网络进行通信的多个收发信机。例如，图13中示出的WTRU 1302c可被配置为与基站1314a通信，所述基站1314a 可以使用基于蜂窝的无线电技术，以及WTRU 1302c可与基站1314b通信，所述基站1314b可以使用IEEE 802无线电技术。
图14B是WTRU 1302示例的系统图。如图14B所示，WTRU 1302可以包括处理器1318、收发信机1320、发射/接收元件1322、扬声器/麦克风 1324、键盘1326、显示器/触摸板1328、不可移除存储器1330、可移除存储器1332、电源1334、全球定位系统(GPS)芯片组1336和其他外围设备1338 (例如相机或其他光学捕获设备)。应该理解的是，WTRU 1302可以在保持与实施方式一致时，包括前述元件的任何子组合。
处理器1318可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、图形处理单元(GPU)、多个微处理器、与DSP核相关联的一个或更多个微处理器、控制器、微控制器、专用集成电路(ASIC)、场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等等。处理器1318可执行信号编码、数据处理、功率控制、输入/输出处理和/或使 WTRU 1302运行于无线环境中的任何其他功能。处理器1318可以耦合到收发信机1320，所述收发信机1320可耦合到发射/接收元件1322。虽然图14B 描述了处理器1318和收发信机1320是单独的部件，但是应该理解的是，处理器1318和收发信机1320可以一起集成在电子封装或芯片中。
发射/接收元件1322可以被配置为通过空中接口1316将信号发送到基站(例如，基站1314a)，或从基站(例如，基站1314a)接收信号。例如，在一种实施方式中，发射/接收元件1322可以是被配置为传送和/或接收RF 信号的天线。在另一种实施方式中，发射/接收元件1322可以是被配置为传送和/或接收例如IR、UV或可见光信号的发射器/检测器。在另一种实施方式中，发射/接收元件1322可以被配置为传送和接收RF和光信号两者。应当理解，发射/接收元件1322可以被配置为传送和/或接收无线信号的任何组合。
另外，虽然发射/接收元件1322在图14B中描述为单独的元件，但是 WTRU 1302可以包括任意数量的发射/接收元件1322。更具体的，WTRU 1302可以使用例如MIMO技术。因此，在一种实施方式中，WTRU 1302可以包括用于通过空中接口1316传送和接收无线信号的两个或更多个发射/接收元件1322(例如，多个天线)。
收发信机1320可以被配置为调制要由发射/接收元件1322发送的信号和/或解调由发射/接收元件1322接收的信号。如上面提到的，WTRU 1302 可以具有多模式能力。因此收发信机1320可以包括使WTRU 1302经由例如 UTRA和IEEE 802.11的多个RAT通信的多个收发信机。
WTRU 1302的处理器118可以耦合到下述设备，并且可以从下述设备中接收用户输入数据：扬声器/麦克风1324、键盘1326、和/或显示器/触摸板1328(例如，液晶显示器(LCD)显示单元或有机发光二极管(OLED) 显示单元)。处理器1318还可以输出用户数据到扬声器/麦克风1324、键盘 1326、和/或显示/触摸板1328。另外，处理器1318可以从任何类型的适当的存储器访问信息，并且可以存储数据到任何类型的适当的存储器中，例如不可移除存储器1330和/或可移除存储器1332。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器设备。可移除存储器1332可以包括用户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等等。在其他实施方式中，处理器1318可以从在物理位置上没有位于WTRU 1302上，例如位于服务器或家用计算机(未示出) 上的存储器访问信息，并且可以将数据存储在该存储器中。
处理器1318可以从电源1334接收电能，并且可以被配置为分配和/或控制到WTRU1302中的其他部件的电能。电源1334可以是给WTRU 1302 供电的任何适当的设备。例如，电源1334可以包括一个或更多个干电池(例如，镍镉(NiCd)、镍锌(NiZn)、镍氢(NiMH)、锂离子(Li-ion)等等)，太阳能电池，燃料电池等等。
处理器1318还可以耦合到GPS芯片组1336，所述GPS芯片组1336可以被配置为提供关于WTRU 1302当前位置的位置信息(例如，经度和纬度)。另外，除来自GPS芯片组1336的信息或作为其替代，WTRU 1302可以通过空中接口1316从基站(例如，基站1314a、1314b)接收位置信息和/或基于从两个或更多个邻近基站接收的信号的定时来确定其位置。应当理解，WTRU 1302在保持实施方式的一致性时，可以通过任何适当的位置确定方法获得位置信息。
处理器1318还可以耦合到其他外围设备1338，所述外围设备1338可以包括一个或更多个提供附加特性、功能和/或有线或无线连接的软件和/或硬件模块。例如，外围设备1338可以包括加速计、电子罗盘、卫星收发信机、数字相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、蓝牙模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。
图14C是根据实施方式的RAN 1304和核心网络1306的系统图。如上面提到的，RAN304可使用UTRA无线电技术通过空中接口1316与WTRU 1302a、1302b、1302c通信。RAN 1304还可以与核心网络1306通信。如图 14C所示，RAN 1304可以包括节点B 1340a、1340b、1340c，节点B 1340a、 1340b、1340c的每一个包括一个或更多个用于通过空中接口1316与WTRU 1302a、1302b、1302c通信的收发信机。节点B 1340a、1340b、1340c的每一个可以与RAN1304内的特定小区(未显示)关联。RAN 1304还可以包括RNC 1342a、1342b。应当理解的是，RAN 103在保持实施方式的一致性时，可以包括任意数量的节点B和RNC。
如图14C所示，节点B 1340a、1340b可以与RNC 1342a通信。此外，节点B 1340c可以与RNC 1342b通信。节点B 1340a、1340b、1340c可以通过Iub接口分别与RNC 1342a、1342b通信。RNC 1342a、1342b可以通过Iur 接口相互通信。RNC 1342a、1342b的每一个可以被配置以控制其连接的各个节点B 1340a、1340b、1340c。另外，RNC 1342a、1342b的每一个可以被配置以执行或支持其他功能，例如外环功率控制、负载控制、准入控制、分组调度、切换控制、宏分集、安全功能、数据加密等等。
图14C中所示的核心网络1306可以包括媒体网关(MGW)1344、移动交换中心(MSC)1346、服务GPRS支持节点(SGSN)1348、和/或网关 GPRS支持节点(GGSN)1350。尽管前述元件的每一个被描述为核心网络 1306的部分，应当理解的是，这些元件中的任何一个可以被不是核心网络运营商的实体拥有或运营。
RAN 1304中的RNC 1342a可以通过IuCS接口连接至核心网络1306中的MSC 1346。MSC 1346可以连接至MGW 1344。MSC 1346和MGW 1344 可以向WTRU 1302a、1302b、1302c提供到电路交换网络(例如PSTN 1308) 的接入，以便于WTRU 1302a、1302b、1302c和传统陆地线路通信设备之间的通信。
RAN 1304中RNC 1342a还可以通过IuPS接口连接至核心网络1306中的SGSN 1348。SGSN 1348可以连接至GGSN 1350。SGSN 1348和GGSN 1350可以向WTRU 1302a、1302b、1302c提供到分组交换网络(例如因特网1310)的接入，以便于WTRU 1302a、1302b、1302c和IP使能设备之间的通信。
如上所述，核心网络1306还可以连接至网络1312，网络1312可以包括由其他服务提供商拥有或运营的其他有线或无线网络。
图14D是根据实施方式的RAN 1304和核心网络1306的系统图。如上面提到的，RAN1304可使用E-UTRA无线电技术通过空中接口1316与 WTRU 1302a、1302b、1302c通信。RAN1304还可以与核心网络1306通信。
RAN 1304可包括e节点B 1360a、1360b、1360c，但可以理解的是， RAN 1304可以包括任意数量的e节点B而保持与各种实施方式的一致性。e 节点B 1360a、1360b、1360c的每一个可包括一个或更多个用于通过空中接口1316与WTRU 1302a、1302b、1302c通信的收发信机。在一种实施方式中，e节点B 1360a、1360b、1360c可以使用MIMO技术。因此，e节点B1360a 例如可以使用多个天线来向WTRU 1302a发送无线信号和/或从其接收无线信号。
e节点B 1360a、1360b、1360c的每一个可以与特定小区关联(未显示)，并可以被配置为处理无线资源管理决策、切换决策、在上行链路和/或下行链路中的用户调度等等。如图14D所示，e节点B 1360a、1360b、1360c可以通过X2接口相互通信。
图14D中所示的核心网络1306可以包括移动性管理实体(MME)1362、服务网关1364、和分组数据网络(PDN)网关1366。虽然前述元件的每一个被描述为核心网络1306的一部分，应当理解的是，这些元件中的任意一个可以由除了核心网络运营商之外的实体拥有和/或运营。
MME 1362可以经由S1接口连接到RAN 1304中的e节点B 1360a、 1360b、1360c的每一个，并可以作为控制节点。例如，MME 1362可以负责 WTRU 1302a、1302b、1302c的用户认证、承载激活/去激活、在WTRU 1302a、1302b、1302c的初始附着期间选择特定SGW等等。MME1362还可以提供控制平面功能，用于在RAN 1304和使用例如GSM或者WCDMA的其他无线电技术的其他RAN(未显示)之间切换。
SGW 1364可以经由S1接口连接到RAN 1304中的eNB 1360a、1360b、 1360c的每一个。SGW 1364通常可以向/从WTRU 1302a、1302b、1302c路由和转发用户数据分组。SGW 1364还可以执行其他功能，例如在eNB间切换期间锚定用户平面、当下行链路数据对于WTRU1302a、1302b、1302c可用时触发寻呼、管理和存储WTRU 1302a、1302b、1302c的上下文等等。
SGW 1364还可以连接到PGW 1366，PGW 1366可以向WTRU 1302a、 1302b、1302c提供到分组交换网络(例如因特网1310)的接入，以便于WTRU 1302a、1302b、1302c与IP使能设备之间的通信。
核心网络1306可以便于与其他网络的通信。例如，核心网络1306可以向WTRU1302a、1302b、1302c提供到电路交换网络(例如PSTN 1308)的接入，以便于WTRU 1302a、1302b、1302c与传统陆地线路通信设备之间的通信。例如，核心网络1306可以包括IP网关(例如IP多媒体子系统(IMS) 服务器)，或者与之通信，该IP网关作为核心网络1306与PSTN1308之间的接口。另外，核心网络1306可以向WTRU 1302a、1302b、1302c提供到网络1312的接入，该网络1312可以包括被其他服务提供商拥有和/或运营的其他有线或无线网络。
图14E是根据另一实施方式的RAN 1304和核心网络1306的系统图。 RAN 1304可以是使用IEEE 802.16无线电技术通过空中接口1316与WTRU 1302a、1302b、1302c进行通信的接入服务网络(ASN)。如下面进一步讨论的，WTRU 1302a、1302b、1302c，RAN 1304和核心网络1306的不同功能实体之间的链路可以被定义为参考点。
如图14E所示，RAN 1304可以包括基站1370a、1370b、1370c和ASN 网关1372，但应当理解的是，RAN 1304可以包括任意数量的基站和ASN 网关而与实施方式保持一致。基站1370a、1370b、1370c的每一个可以与 RAN 1304中特定小区(未示出)关联并可以包括一个或更多个通过空中接口1316与WTRU 1302a、1302b、1302c通信的收发信机。在一个实施方式中，基站1370a、1370b、1370c可以使用MIMO技术。因此，基站1370a 例如使用多个天线来向WTRU 1302a发送无线信号，或从其接收无线信号。基站1370a、1370b、1370c可以提供移动性管理功能，例如呼叫切换(handoff) 触发、隧道建立、无线电资源管理，业务分类、服务质量(QoS)策略执行等等。ASN网关1372可以充当业务聚集点，并且负责寻呼、缓存用户资料(profile)、路由到核心网络1306等等。
WTRU 1302a、1302b、1302c和RAN 1304之间的空中接口1316可以被定义为使用802.16规范的R1参考点。另外，WTRU 1302a、1302b、1302c 的每一个可以与核心网络1306建立逻辑接口(未显示)。WTRU 1302a、1302b、1302c和核心网络1306之间的逻辑接口可以定义为R2参考点，其可以用于认证、授权、IP主机(host)配置管理和/或移动性管理。
基站1370a、1370b、1370c的每一个之间的通信链路可以定义为包括便于WTRU切换和基站间转移数据的协议的R8参考点。基站1370a、1370b、 1370c和ASN网关1372之间的通信链路可以定义为R6参考点。R6参考点可以包括用于促进基于与WTRU 1302a、1302b、1302c的每一个关联的移动性事件的移动性管理的协议。
如图14E所示，RAN 1304可以连接至核心网络1306。RAN 1304和核心网络1306之间的通信链路可以定义为包括例如便于数据转移和移动性管理能力的协议的R3参考点。核心网络1306可以包括移动IP本地代理 (MIP-HA)1374，认证、授权、计费(AAA)服务器1376和网关1378。尽管前述的每个元件被描述为核心网络1306的部分，应当理解的是，这些元件中的任意一个可以由不是核心网络运营商的实体拥有或运营。
MIP-HA 1374可以负责IP地址管理，并可以使WTRU 1302a、1302b、 1302c在不同ASN和/或不同核心网络之间漫游。MIP-HA 1374可以向WTRU 1302a、1302b、1302c提供分组交换网络(例如因特网110)的接入，以促进WTRU 1302a、1302b、1302c和IP使能设备之间的通信。AAA服务器1376 可以负责用户认证和支持用户服务。网关1378可促进与其他网络互通。例如，网关1378可以向WTRU 1302a、1302b、1302c提供电路交换网络(例如PSTN 1308)的接入，以促进WTRU 1302a、1302b、1302c和传统陆地线路通信设备之间的通信。此外，网关1378可以向WTRU 1302a、1302b、1302c 提供网络1312，其可以包括由其他服务提供商拥有或运营的其他有线或无线网络。
尽管未在图14E中显示，应当理解的是，RAN 1304可以连接至其他 ASN，并且核心网络1306可以连接至其他核心网络。RAN 1304和其他ASN 之间的通信链路可以定义为R4参考点，其可以包括协调RAN 1304和其他 ASN之间的WTRU 1302a、1302b、1302c的移动性的协议。核心网络1306 和其他核心网络之间的通信链路可以定义为R5参考点，其可以包括促进本地核心网络和被访问核心网络之间的互通的协议。
虽然以上以特定的组合提供了特征和元素，但是本领域技术人员可以理解每一个特征或元素能够单独使用或与其他特征和元素任意组合使用。本申请不限于本申请中描述的特定实施方式，其旨在阐释各个方面。本领域技术人员可以理解在不偏离本申请的实质和范围的情况下可以进行许多修改和变化。在本申请的描述中使用的元件、动作或指令不应当理解为本发明关键或必要的，除非明确指明。除了这里举出的这些，本领域技术人员从上述描述能够明白本申请范围内的功能上等同的方法和装置。这些修改和变化应当落入所附权利要求书的范围。本申请仅限于所附权利要求书以及赋予的权利要求书等同的整个范围。应当理解本申请不限于特定方法或系统。

Claims (15)

1.一种用于提供增强信息的方法，该方法包括：
在设备上显示现实世界场景的现实世界视图，所述现实世界视图包括现实世界对象；
在所述设备处接收与所述现实世界视图有关的用户输入，所述用户输入包括对在所述现实世界视图中的至少一个现实世界对象的兴趣的指示或指定；
在所述设备处通过组合所述现实世界视图和与所述至少一个现实世界对象关联的虚拟对象来生成增强现实显示，所述虚拟对象具有用于呈现增强信息的各自呈现类型的多个状态；
在所述设备上显示具有在所述多个状态的第一状态中的所述虚拟对象的增强现实显示，其中所述第一状态呈现所述增强信息的呈现类型中的一者；
在所述设备处接收与在第一状态中显示的所述虚拟对象有关的附加用户输入，其中所述附加用户输入包括对在所显示的增强现实显示中安置的所述虚拟对象的兴趣的指示；以及
在所述设备处响应于包括对在所述第一状态中显示的所述虚拟对象的兴趣的指示的所述附加用户输入而显示具有在第二状态中的所述虚拟对象的所述增强现实显示，其中所述第二状态呈现所述增强信息的另一呈现类型。
2.根据权利要求1所述的方法，该方法还包括：
在所述设备处确定用于在所述增强现实显示上显示的所述虚拟对象的合适位置。
3.根据权利要求1所述的方法，其中与所述第一状态关联的所述增强信息的呈现类型包括：所述增强信息的概要表述。
4.根据权利要求3所述的方法，其中所述概要表述包括以下中的一者或多者：
所述增强信息的图标、图像、文本、以及简要表述。
5.根据权利要求4所述的方法，其中与所述第二状态关联的所述增强信息的另一呈现类型包括：更全面或更细节的信息。
6.根据权利要求5所述的方法，其中所述更全面或更细节的信息包括所述概要的细节补充。
7.根据权利要求1所述的方法，该方法还包括：
在所述设备处接收与在所述第二状态中的所述虚拟对象有关的进一步的用户输入，所述进一步的用户输入包括对在所显示的增强现实显示中安置的所述虚拟对象没有兴趣的指示。
8.根据权利要求7所述的方法，其中当所述进一步的用户输入指示没有检测到对所述虚拟对象的兴趣时，所述虚拟对象从所述第二状态转变回所述第一状态。
9.一种用于提供增强信息的设备，该设备至少一部分被配置成：
显示现实世界场景的现实世界视图，所述现实世界视图包括现实世界对象；
接收与所述现实世界视图有关的用户输入，所述用户输入包括对在所述现实世界视图中的至少一个现实世界对象的兴趣的指示或指定；
通过组合所述现实世界视图和与所述至少一个现实世界对象关联的虚拟对象来生成增强现实显示，所述虚拟对象具有用于呈现增强信息的各自呈现类型的多个状态；
显示具有在所述多个状态的第一状态中的所述虚拟对象的增强现实显示，其中所述第一状态呈现所述增强信息的呈现类型中的一者；
接收与在第一状态中显示的所述虚拟对象有关的附加用户输入，其中所述附加用户输入包括对在所显示的增强现实显示中安置的所述虚拟对象的兴趣的指示；以及
响应于包括对在所述第一状态中显示的所述虚拟对象的兴趣的指示的所述附加用户输入而显示具有在第二状态中的所述虚拟对象的所述增强现实显示，其中所述第二状态呈现所述增强信息的另一呈现类型。
10.根据权利要求9所述的设备，其中与所述第一状态关联的所述增强信息的呈现类型包括：所述增强信息的概要表述。
11.根据权利要求10所述的设备，其中所述概要表述包括以下中的一者或多者：
所述增强信息的图标、图像、文本、以及简要表述。
12.根据权利要求11所述的设备，其中与所述第二状态关联的所述增强信息的另一呈现类型包括：更全面或更细节的信息。
13.根据权利要求12所述的设备，其中所述更全面或更细节的信息包括所述概要的细节补充。
14.根据权利要求9所述的设备，其中所述设备还被配置成：
接收与在所述第二状态中的所述虚拟对象有关的进一步的用户输入，所述进一步的用户输入包括对在所显示的增强现实显示中安置的所述虚拟对象没有兴趣的指示。
15.根据权利要求14所述的设备，其中当所述进一步的用户输入指示没有检测到对所述虚拟对象的兴趣时，所述虚拟对象从所述第二状态转变回所述第一状态。
CN201480064455.8A 2013-09-30 2014-09-30 用于提供增强信息的方法和设备 Active CN105814626B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361884273P 2013-09-30 2013-09-30
US61/884,273 2013-09-30
PCT/US2014/058319 WO2015048749A1 (en) 2013-09-30 2014-09-30 Methods, apparatus, systems, devices, and computer program products for providing an augmented reality display and/or user interface

Publications (2)

Publication Number Publication Date
CN105814626A CN105814626A (zh) 2016-07-27
CN105814626B true CN105814626B (zh) 2018-03-13

Family

ID=51862528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480064455.8A Active CN105814626B (zh) 2013-09-30 2014-09-30 用于提供增强信息的方法和设备

Country Status (5)

Country Link
US (1) US20160217623A1 (zh)
EP (1) EP3053158B1 (zh)
KR (1) KR101873127B1 (zh)
CN (1) CN105814626B (zh)
WO (1) WO2015048749A1 (zh)

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879155B1 (en) * 2011-11-09 2014-11-04 Google Inc. Measurement method and system
US10354291B1 (en) 2011-11-09 2019-07-16 Google Llc Distributing media to displays
US10598929B2 (en) 2011-11-09 2020-03-24 Google Llc Measurement method and system
US10469916B1 (en) 2012-03-23 2019-11-05 Google Llc Providing media content to a wearable device
US10200353B2 (en) 2013-07-25 2019-02-05 Convida Wireless, Llc End-to-end M2M service layer sessions
EP3055754B1 (en) * 2013-10-11 2023-08-02 InterDigital Patent Holdings, Inc. Gaze-driven augmented reality
CN111985344B (zh) * 2013-12-17 2025-02-07 索尼公司 信息处理设备和方法以及非易失性计算机可读存储介质
US10286308B2 (en) * 2014-11-10 2019-05-14 Valve Corporation Controller visualization in virtual and augmented reality environments
US10055892B2 (en) 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
US9916002B2 (en) * 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
US10242413B2 (en) * 2015-12-28 2019-03-26 Facebook, Inc. Using three-dimensional virtual object models to guide users in virtual environments
US10524244B2 (en) 2016-05-11 2019-12-31 Convida Wireless, Llc Radio PDCCH to facilitate numerology operations
EP4492799A1 (en) 2016-05-13 2025-01-15 InterDigital Madison Patent Holdings, SAS Bit depth remapping based on viewing parameters
EP3482566B1 (en) 2016-07-08 2024-02-28 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
WO2018017936A1 (en) * 2016-07-22 2018-01-25 Vid Scale, Inc. Systems and methods for integrating and delivering objects of interest in video
CN117498909A (zh) 2016-08-11 2024-02-02 交互数字专利控股公司 针对新无线电在弹性帧结构中进行波束成形扫描和训练
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
WO2018035133A1 (en) 2016-08-17 2018-02-22 Vid Scale, Inc. Secondary content insertion in 360-degree video
US10297085B2 (en) * 2016-09-28 2019-05-21 Intel Corporation Augmented reality creations with interactive behavior and modality assignments
CN115632686A (zh) 2016-11-03 2023-01-20 康维达无线有限责任公司 Nr中的帧结构
US10212157B2 (en) 2016-11-16 2019-02-19 Bank Of America Corporation Facilitating digital data transfers using augmented reality display devices
US10158634B2 (en) 2016-11-16 2018-12-18 Bank Of America Corporation Remote document execution and network transfer using augmented reality display devices
US10943229B2 (en) 2016-11-29 2021-03-09 Bank Of America Corporation Augmented reality headset and digital wallet
US10339583B2 (en) 2016-11-30 2019-07-02 Bank Of America Corporation Object recognition and analysis using augmented reality user devices
US10685386B2 (en) 2016-11-30 2020-06-16 Bank Of America Corporation Virtual assessments using augmented reality user devices
US10600111B2 (en) 2016-11-30 2020-03-24 Bank Of America Corporation Geolocation notifications using augmented reality user devices
US10311223B2 (en) 2016-12-02 2019-06-04 Bank Of America Corporation Virtual reality dynamic authentication
US10586220B2 (en) 2016-12-02 2020-03-10 Bank Of America Corporation Augmented reality dynamic authentication
US10607230B2 (en) 2016-12-02 2020-03-31 Bank Of America Corporation Augmented reality dynamic authentication for electronic transactions
US10481862B2 (en) 2016-12-02 2019-11-19 Bank Of America Corporation Facilitating network security analysis using virtual reality display devices
US10109095B2 (en) 2016-12-08 2018-10-23 Bank Of America Corporation Facilitating dynamic across-network location determination using augmented reality display devices
US10109096B2 (en) 2016-12-08 2018-10-23 Bank Of America Corporation Facilitating dynamic across-network location determination using augmented reality display devices
US10217375B2 (en) 2016-12-13 2019-02-26 Bank Of America Corporation Virtual behavior training using augmented reality user devices
US10210767B2 (en) 2016-12-13 2019-02-19 Bank Of America Corporation Real world gamification using augmented reality user devices
US11210854B2 (en) * 2016-12-30 2021-12-28 Facebook, Inc. Systems and methods for providing augmented reality personalized content
US11132840B2 (en) 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
CN110199525B (zh) * 2017-01-18 2021-12-14 Pcms控股公司 用于在增强现实界面中浏览历史记录的系统和方法
US10812936B2 (en) * 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
JP7281401B2 (ja) * 2017-01-24 2023-05-25 ロンザ リミテッド 仮想又は拡張現実表示を使用して産業保守を遂行するための方法及びシステム
CN119806321A (zh) * 2017-02-01 2025-04-11 交互数字Vc控股公司 用于在预捕获环境中的增强现实内容递送的系统和方法
EP3583780B1 (en) 2017-02-17 2023-04-05 InterDigital Madison Patent Holdings, SAS Systems and methods for selective object-of-interest zooming in streaming video
CN110268448B (zh) * 2017-02-20 2023-11-24 交互数字Vc控股公司 动态呈现增强现实信息以减少峰值认知需求
EP3593536A1 (en) 2017-03-07 2020-01-15 PCMS Holdings, Inc. Tailored video streaming for multi-device presentations
CN107066094B (zh) * 2017-03-22 2020-07-14 深圳市魔眼科技有限公司 一种场景融合显示方法及显示装置
EP3616210A1 (en) * 2017-04-23 2020-03-04 Orcam Technologies Ltd. Wearable apparatus and methods for analyzing images
US11436811B2 (en) 2017-04-25 2022-09-06 Microsoft Technology Licensing, Llc Container-based virtual camera rotation
KR102752964B1 (ko) * 2017-08-23 2025-01-09 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 투사형 3d 라이트 필드 생성을 위한 라이트 필드 이미지 엔진 방법 및 장치
CN109427199B (zh) * 2017-08-24 2022-11-18 北京三星通信技术研究有限公司 用于辅助驾驶的增强现实的方法及装置
KR102431712B1 (ko) * 2017-09-04 2022-08-12 삼성전자 주식회사 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
US20190108578A1 (en) * 2017-09-13 2019-04-11 Magical Technologies, Llc Systems and methods of rewards object spawning and augmented reality commerce platform supporting multiple seller entities
US10482575B2 (en) * 2017-09-28 2019-11-19 Intel Corporation Super-resolution apparatus and method for virtual and mixed reality
JP6975011B2 (ja) * 2017-10-18 2021-12-01 株式会社メルカリ 商品情報生成システム、商品情報生成プログラム及び商品情報生成方法
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US10957103B2 (en) * 2017-11-03 2021-03-23 Adobe Inc. Dynamic mapping of virtual and physical interactions
CN107918955A (zh) * 2017-11-15 2018-04-17 百度在线网络技术（北京）有限公司 增强现实方法和装置
US11282133B2 (en) * 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
GB2569107B (en) * 2017-11-29 2022-04-06 Displaylink Uk Ltd Managing display data
US10565761B2 (en) 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
WO2019114955A1 (en) * 2017-12-13 2019-06-20 Telefonaktiebolaget Lm Ericsson (Publ) Detecting user attention in immersive video
US11398088B2 (en) 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
KR20190100714A (ko) * 2018-02-21 2019-08-29 삼성전자주식회사 정보 표시 방법 및 이를 위한 전자 장치
US11595637B2 (en) * 2018-05-14 2023-02-28 Dell Products, L.P. Systems and methods for using peripheral vision in virtual, augmented, and mixed reality (xR) applications
CN119922729A (zh) 2018-09-27 2025-05-02 交互数字专利控股公司 新无线电的未经许可的频谱中的子频带操作
CN111083463A (zh) * 2018-10-18 2020-04-28 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及显示系统
US11340709B2 (en) * 2018-10-18 2022-05-24 Hewlett-Packard Development Company, L.P. Relative gestures
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11467656B2 (en) 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
WO2020237194A1 (en) 2019-05-22 2020-11-26 Pcms Holdings, Inc. Method for rendering of augmented reality content in combination with external display
US10897564B1 (en) 2019-06-17 2021-01-19 Snap Inc. Shared control of camera device by multiple devices
US20210287443A1 (en) * 2019-06-27 2021-09-16 Tobii Ab Positioning of a virtual object in an extended reality view
CN110286768B (zh) * 2019-06-27 2022-05-17 Oppo广东移动通信有限公司 虚拟物体显示方法、终端设备及计算机可读存储介质
US11107291B2 (en) * 2019-07-11 2021-08-31 Google Llc Traversing photo-augmented information through depth using gesture and UI controlled occlusion planes
US11340857B1 (en) 2019-07-19 2022-05-24 Snap Inc. Shared control of a virtual object by multiple devices
US20220357591A1 (en) * 2019-08-30 2022-11-10 Pcms Holdings, Inc. Method for creating a 3d multiview display with elastic optical layer buckling
KR102829918B1 (ko) 2019-09-21 2025-07-04 삼성전자주식회사 전자 장치를 위한 동적 사용자 인터페이스 레이아웃 생성 방법 및 시스템
KR102768181B1 (ko) * 2019-10-07 2025-02-17 주식회사 플랫팜 확장현실에 적용가능한 의사표현 아이템 데이터베이스를 능동적으로 구축하는 메시지 서비스 제공 장치 및 그 방법
EP3836538B1 (en) 2019-12-09 2022-01-26 Axis AB Displaying a video stream
KR102655481B1 (ko) * 2019-12-24 2024-04-08 엘지전자 주식회사 Xr 컨텐트 제공 방법 및 디바이스
US12101360B2 (en) 2020-03-25 2024-09-24 Snap Inc. Virtual interaction session to facilitate augmented reality based communication between multiple users
US11985175B2 (en) 2020-03-25 2024-05-14 Snap Inc. Virtual interaction session to facilitate time limited augmented reality based communication between multiple users
US12182903B2 (en) 2020-03-25 2024-12-31 Snap Inc. Augmented reality based communication between multiple users
US11593997B2 (en) 2020-03-31 2023-02-28 Snap Inc. Context based augmented reality communication
KR102732520B1 (ko) * 2020-05-11 2024-11-20 삼성전자주식회사 증강현실 생성장치, 증강현실 표시장치 및 증강현실 시스템
CN111599222B (zh) * 2020-06-11 2022-07-22 浙江商汤科技开发有限公司 一种沙盘展示方法及装置
JP7387545B2 (ja) * 2020-07-01 2023-11-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報設定制御装置、方法およびプログラム
US11606697B2 (en) 2020-08-03 2023-03-14 Bank Of America Corporation Electronic system for construction and detection of spatial movements in a VR space for performance of electronic activities
US11341543B2 (en) 2020-08-31 2022-05-24 HYPE AR, Inc. System and method for generating visual content associated with tailored advertisements in a mixed reality environment
US11656681B2 (en) * 2020-08-31 2023-05-23 Hypear, Inc. System and method for determining user interactions with visual content presented in a mixed reality environment
KR102358950B1 (ko) * 2020-10-05 2022-02-07 홍준표 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법
EP4083930A4 (en) * 2021-01-12 2024-04-03 Lg Electronics Inc. DEVICE FOR PROVIDING A DIGITAL SIGNAGE PLATFORM, METHOD OF OPERATION THEREFOR, AND SYSTEM COMPRISING A DEVICE FOR PROVIDING A DIGITAL SIGNAGE PLATFORM
US20240242449A1 (en) * 2021-05-19 2024-07-18 Telefonaktiebolaget Lm Ericsson (Publ) Extended reality rendering device prioritizing which avatar and/or virtual object to render responsive to rendering priority preferences
WO2022242854A1 (en) 2021-05-19 2022-11-24 Telefonaktiebolaget Lm Ericsson (Publ) Prioritizing rendering by extended reality rendering device responsive to rendering prioritization rules
KR102862925B1 (ko) * 2022-02-21 2025-09-19 류종현 메타버스 광고의 효과 측정 시스템.
US11699256B1 (en) * 2022-07-25 2023-07-11 Gravystack, Inc. Apparatus for generating an augmented reality
US12449891B2 (en) 2022-08-31 2025-10-21 Snap Inc. Timelapse re-experiencing system
US12282604B2 (en) 2022-08-31 2025-04-22 Snap Inc. Touch-based augmented reality experience
US12322052B2 (en) 2022-08-31 2025-06-03 Snap Inc. Mixing and matching volumetric contents for new augmented reality experiences
US12417593B2 (en) * 2022-08-31 2025-09-16 Snap Inc. Generating immersive augmented reality experiences from existing images and videos
US12519924B2 (en) 2022-08-31 2026-01-06 Snap Inc. Multi-perspective augmented reality experience
KR20240041635A (ko) * 2022-09-23 2024-04-01 삼성전자주식회사 적응형 다중 카메라를 포함하는 증강 현실 환경을 제공하는 전자 장치 및 방법
EP4354262A1 (en) * 2022-10-11 2024-04-17 Meta Platforms Technologies, LLC Pre-scanning and indexing nearby objects during load
US12536222B2 (en) * 2022-10-31 2026-01-27 Adeia Guides Inc. Systems and methods for navigating an extended reality history
CN115423948B (zh) * 2022-11-04 2023-02-21 江西省映尚科技有限公司 Vr图像的处理方法、系统及可读存储介质
WO2024110791A1 (en) 2022-11-22 2024-05-30 Sangireddy Sisirnath A method for enabling quality of learning, communication, and a cognitive support system for user interaction using a mixed reality device
US12326972B2 (en) * 2023-03-09 2025-06-10 International Business Machines Corporation Saccade driven text comprehension artificial intelligence engine

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102037485A (zh) * 2008-03-20 2011-04-27 摩托罗拉移动公司 移动虚拟和增强现实系统
CN103069370A (zh) * 2010-06-30 2013-04-24 诺基亚公司 用于在增强现实中自动地生成建议的信息层的方法、装置和计算机程序产品
CN103079661A (zh) * 2010-03-30 2013-05-01 索尼电脑娱乐美国公司 用于增强现实角色维持并体现观察者的认知的方法
CN103218773A (zh) * 2011-11-09 2013-07-24 索尼公司 信息处理设备、显示控制方法和程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US20120194549A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses specific user interface based on a connected external device type
US20110279445A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for presenting location-based content
AU2011284789B9 (en) * 2010-07-29 2014-09-18 James Hardie Technology Limited Systems and methods for providing product information
US8698843B2 (en) * 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US20120306850A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
CN104011788B (zh) * 2011-10-28 2016-11-16 奇跃公司 用于增强和虚拟现实的系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102037485A (zh) * 2008-03-20 2011-04-27 摩托罗拉移动公司 移动虚拟和增强现实系统
CN103079661A (zh) * 2010-03-30 2013-05-01 索尼电脑娱乐美国公司 用于增强现实角色维持并体现观察者的认知的方法
CN103069370A (zh) * 2010-06-30 2013-04-24 诺基亚公司 用于在增强现实中自动地生成建议的信息层的方法、装置和计算机程序产品
CN103218773A (zh) * 2011-11-09 2013-07-24 索尼公司 信息处理设备、显示控制方法和程序

Also Published As

Publication number Publication date
CN105814626A (zh) 2016-07-27
KR101873127B1 (ko) 2018-06-29
EP3053158A1 (en) 2016-08-10
WO2015048749A1 (en) 2015-04-02
EP3053158B1 (en) 2020-07-15
KR20160068827A (ko) 2016-06-15
US20160217623A1 (en) 2016-07-28

Similar Documents

Publication Publication Date Title
CN105814626B (zh) 用于提供增强信息的方法和设备
CN105814516B (zh) 注视驱动的增强现实
CN106156730B (zh) 一种人脸图像的合成方法和装置
CN110998566B (zh) 基于眼睛跟踪和生理测量而生成和显示360度视频的方法和装置
US12315243B2 (en) Image detection method and apparatus, and electronic device
US10075653B2 (en) Method and electronic device for image processing
US11895567B2 (en) Lending of local processing capability between connected terminals
US20200302108A1 (en) Method and apparatus for content management
US20230259321A1 (en) Screen projection method and electronic device
CN109191410A (zh) 一种人脸图像融合方法、装置及存储介质
CN118509635A (zh) 跟踪式视频缩放
CN107256555A (zh) 一种图像处理方法、装置及存储介质
CN107135193A (zh) 无线装置
KR20150136440A (ko) 디스플레이 제어 방법 및 이를 제공하는 전자 장치
US20240161370A1 (en) Methods, apparatus, systems, devices, and computer program products for augmenting reality in connection with real world places
JP2020537441A (ja) 写真撮影方法および電子装置
CN108701365A (zh) 光点识别方法、装置以及系统
US20180239511A1 (en) Mobile terminal and control method therefor
CN106210510A (zh) 一种基于图像调整的拍照方法、装置及终端
KR20160033485A (ko) 전자 장치 및 전자 장치에서 썸네일 생성 방법
CN106851098A (zh) 一种图像处理方法及移动终端
CN113840062B (zh) 相机的控制方法、移动终端及可读存储介质
CN104954688A (zh) 图像处理方法以及图像处理装置
CN116450077A (zh) 显示方法、智能终端及存储介质
CN114972009A (zh) 一种图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201223

Address after: Fa Guobali

Patentee after: Interactive Digital Madison Patent Holdings

Address before: Delaware, USA

Patentee before: PCMS HOLDINGS, Inc.

TR01 Transfer of patent right