HK1174711B - 界面控件的按壓啟動 - Google Patents

Description

界面控件的按压启动

技术领域

本发明涉及界面控件的启动技术。

背景技术

计算机技术允许人类以各种方式与计算机进行交互。一种这样的交互可在人类使用诸如鼠标、跟踪垫和游戏控制器之类的各种输入设备来启动计算设备的用户界面上的按钮时发生。

发明内容

可以将用户的手在世界空间内的三维位置转换成用户界面的屏幕空间光标位置。当用户在世界空间中移动手时，光标在用户界面上到处移动。当手移动光标使得在该光标覆盖按钮时该光标的深度改变至少一阈值量时可以启动用户界面的按钮，而不管光标在用户界面上的初始深度。

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所请求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。

附图说明

图1根据本发明的一实施例示出查看所观察的场景的深度图像分析系统。

图2在某种程度上示意性地示出在所观察的场景中的用示例骨架数据来建模的人类目标。

图3示出在世界空间中的导致相应的屏幕空间光标移动的手移动的示例。

图4示出启动用户界面的按钮的示例光标移动。

图5示出示例光标移动的光标速度向量。

图6示出光标速度响应于光标移动的改变的示例序列。

图7示意性地示出根据本发明的一实施例的计算系统。

具体实施方式

诸如3D视觉计算系统等深度图像分析系统可包括能够观察一个或多个游戏玩家或其他计算机用户的深度相机。在深度相机捕捉所观察的场景内的游戏玩家或其他计算机用户的图像时，那些图像可被解释并用一个或多个虚拟骨架来建模。经建模的骨架的各个方面可用作到用户界面的输入命令。例如，计算系统可能能够基于玩家的经建模的手的移动来确定是否玩家正尝试按压用户界面的按钮。

图1示出了深度图像分析系统10的非限制性示例。具体而言，图1示出了游戏系统12，该游戏系统12可以用于玩各种不同的游戏、播放一个或多个不同的媒体类型、和/或控制或操纵非游戏应用和/或操作系统。图1还示出了诸如电视机或计算机监视器之类的可用于向游戏玩家呈现游戏视觉的显示设备14。作为一个示例，显示设备14可用于在视觉上呈现人类目标18用其移动来控制的虚拟化身16。深度图像分析系统10可包括捕捉设备，诸如在视觉上监视或跟踪所观察的场景24内的人类目标18的深度相机22。参考图7更详细地讨论深度相机22。

人类目标18在此被示为所观察的场景24内的游戏玩家。人类目标18由深度相机22来跟踪，使得人类目标18的移动可被游戏系统12解释成可用于影响游戏系统12正在执行的游戏的控制。换言之，人类目标18可使用他或她的移动来控制游戏。人类目标18的移动可以被解释成基本上任何类型的游戏控制。人类目标18的某些移动可被解释成用于除控制虚拟化身16以外目的的控制。作为非限制性示例，人类目标18的移动可被解释成用户界面控制，诸如用于按压显示设备14所显示的虚拟用户界面的虚拟按钮的控制。

深度相机22还可用于将目标移动解释成游戏领域之外的操作系统和/或应用控制。操作系统和/或应用的基本上任何可控方面都可以由人类目标18的移动来控制。图1中所示出的场景是作为示例来提供的，但并不意味着以任何方式进行限制。相反，所示出的场景旨在展示可以在不背离本公开的范围的情况下应用于各种各样不同的应用的一般概念。

此处描述的方法和过程可以结合到各种不同类型的计算系统。图1示出了游戏系统12、显示设备14和深度相机22形式的非限制性示例。一般而言，深度图像分析系统可包括图7中以简化形式示出的计算系统160，该计算系统160将在下文更详细地讨论。

图2示出了简化的处理流水线，其中所观察的场景24中的人类目标18被建模成虚拟骨架38，该虚拟骨架38可被用于在显示设备14上绘制虚拟化身16和/或用作控制游戏、应用、和/或操作系统的其他方面的控制输入。可以理解，与图2中所描绘的那些步骤相比，处理流水线可包括附加的步骤和/或替换步骤，而不背离本发明的范围。

如图2所示，人类目标18和所观察的场景24中的其余部分可通过诸如深度相机22之类的捕捉设备来成像。深度相机可为每一像素确定在所观察的场景中的表面相对于深度相机的深度。在不偏离本公开的范围的情况下，可以使用基本上任何深度寻找(depthfinding)技术。参考图7更详细地讨论了示例深度寻找技术。

为每个像素确定的深度信息可用于生成深度图36。这样的深度图可采用基本上任何合适的数据结构的形式，包括但不限于包括所观察场景的每个像素的深度值的矩阵。在图2中，深度图36被示意性地示为人类目标18的轮廓的像素化网格。这一例示是出于理解简明的目的、而不是出于技术准确性的目的。可以理解，深度图一般包括所有像素(不仅是对人类目标18进行成像的像素)的深度信息，并且深度相机22的视角不会得到图2中所描绘的轮廓。

虚拟骨架38可从深度图36导出，以提供人类目标18的机器可读表示。换言之，从深度图36导出虚拟骨架38以对人类目标18建模。虚拟骨架38可以按任何合适的方式从深度图中导出。在某些实施例中，可将一个或多个骨架拟合算法应用于深度图。本发明与基本上任何骨架建模技术兼容。

虚拟骨架38可包括多个关节，每一关节对应于人类目标的一部分。在图2中，虚拟骨架38被示为十五个关节的线条画。这一例示是出于理解简明的目的、而不是出于技术准确性的目的。根据本发明的虚拟骨架可包括基本上任何数量的关节，每个关节都可与基本上任何数量的参数(例如三维关节位置、关节旋转、对应身体部位的身体姿势(例如手张开、手合上等)等)相关联。应当理解，虚拟骨架可采取如下数据结构的形式：该数据结构包括多个骨架关节中的每个关节的一个或多个参数(例如包含每个关节的x位置、y位置、z位置和旋转的关节矩阵)。在一些实施例中，可使用其他类型的虚拟骨架(例如线框、一组形状图元等等)。

如图2所示，可将虚拟化身16作为虚拟骨架38的视觉表示呈现在显示设备14上。由于虚拟骨架38对人类目标18进行建模，并且对虚拟化身16的呈递基于虚拟骨架38，因此虚拟化身16用作人类目标18的可查看的数字表示。由此，虚拟化身16在显示设备14上的移动反映人类目标18的移动。

在一些实施例中，仅仅虚拟化身的部分将被呈现在显示设备14上。作为一个非限制性示例，显示设备14可呈现人类目标18的第一人称视角，并因此可呈现能通过虚拟化身的虚拟眼睛来查看的虚拟化身的各部分(例如握有方向盘的伸出的手、握有步枪的伸出的手臂、抓住三维虚拟世界中的虚拟物体的伸出的手等)。

尽管将虚拟化身16用作可经由深度图的骨架建模由人类目标的移动来控制的游戏的一示例方面，但这并不旨在为限制性的。人类目标可以用虚拟骨架来建模，而虚拟骨架可用于控制除虚拟化身以外的游戏或其他应用的各方面。例如，即使虚拟化身没有被呈递到显示设备，人类目标的移动也可控制游戏或其他应用。

代替显示人类目标的化身，可显示光标。图3示出其中手42在世界空间40中的位置被用于控制光标52在屏幕空间50中的位置的示例。可基于包括人类目标的世界空间场景的一个或多个深度图像来跟踪该人类目标的手的移动。

在因人类目标在世界空间40中到处移动而移动的交互区44中随时间跟踪手42在世界空间40中的移动。交互区44的位置和方向可基于人类目标的位置和方向。作为一非限制性示例，交互区44的位置和方向可基于人类目标的头的相对位置。例如，可在人类目标的头的位置改变时调整交互区44的位置和方向。然而，在替换实施例中，交互区44的位置和方向可随着人类目标的一个或多个可选身体部位(诸如，胸部或肩部)的相对位置而改变。因此，当人类目标在世界空间内到处移动(例如，向前迈步、向后迈步、左转、右转)时，交互区44被相应地相对于人类目标而重新对齐。

可将在交互区44中所跟踪的手42在世界空间40中的移动转换成光标52在屏幕空间50中的相应移动。即，可将手42的世界空间位置46转换成由计算系统所显示的用户界面60的屏幕空间光标位置56。在所描绘的示例中，手42从t₀处的初始手位置(以虚线描绘的手)到t₁处的最终手位置(以实线描绘的手)的移动导致光标52从初始光标位置(以虚线描绘的光标)到最终光标位置(以实线描绘的光标)的相应移动。

用户界面60可包括可通过预先定义的手移动来启动或选择的一个或多个控件特征。这些特征可包括：例如，旋钮、刻度盘、按钮、菜单等。在所描绘的示例中，用户界面60包括按钮62，该按钮62可由在光标52正覆盖屏幕空间50中的按钮62时发生的手移动来启动。

在70处描绘了光标移动的正视图。该视图示出在屏幕空间的x-y平面中的移动，而没有示出在屏幕空间的z平面中的移动。在所描绘的示例中，该手移动使光标移动至其中光标52覆盖按钮62的最终光标位置。

在任何给定时间，光标的位置可通过x-y-z坐标来定义，其中x坐标指示光标的水平位置，y坐标指示光标的垂直位置，而z坐标指示光标的深度。按钮62可具有在屏幕空间的x-y平面中的启动周界64。启动周界64可以或可以不对应于该按钮的显示周界。如果光标52的x-y坐标在按钮62的启动周界64之内，则可认为光标52正覆盖按钮62，而不管光标相对于该按钮的z轴坐标。

在一个示例中，其中光标52是由不规则形状来定义的，光标52的至少一个x-y坐标可能是覆盖按钮62的启动周界64所必需的。光标52可以在屏幕空间50中与按钮相比的不同深度处(例如，在按钮之前或在按钮的远处)，然而只要光标52的x-y坐标覆盖按钮62的启动周界64，光标52就可启动按钮62。

图4示出导致光标启动的示例光标移动。尤其地，描绘了这一光标移动的侧视图80。由此，该视图80示出在屏幕空间的y-z平面中的移动，而没有示出在屏幕空间的x平面中的移动。在t₁处，光标52在初始光标位置处(以虚线描绘的光标)，其中光标52覆盖按钮62。在t₂处，手在世界空间中的移动将光标52移动至随后的光标位置(以实线描绘的光标)。按钮62响应于手在世界空间中的、将光标位置沿着z轴改变至少一深度阈值(ΔZ)的移动而得到启动，而不管光标52的初始z轴位置。换言之，手在世界空间中的移动将光标“按压”了至少深度阈值(ΔZ)，由此启动了按钮62。

在一个示例中，在光标首次覆盖按钮时可对光标的深度(即，z坐标)进行采样。这个深度可用作用于确定按压运动是否已发生的参考(即，零按压值)。即，从这个参考值测量出光标52的z坐标的改变。深度改变可被计算成例如沿着z轴行进的距离。

按钮62可响应于光标52的z坐标的相对改变而得到启动，而不管光标52在初始位置和最终位置处的绝对z坐标。因此，即使光标52没有达到按钮62的深度也可以启动按钮62。换言之，按钮62被启动，而不管光标52是被从在按钮前面的初始位置移动或“按压”至在按钮前面的最终位置、被从在按钮远处的初始位置移动或“按压”至在按钮远处的最终位置、还是被从在按钮前面的初始位置移动或“按压”至在按钮远处的最终位置。

如图5所示，光标可具有能由沿着x-y-z轴的各经正规化的(normalized)向量分量(分别为V_x、V_y和V_z)表征的光标速度120。可基于绝对光标速度、沿着特定轴的绝对光标速度、和/或沿着特定轴的经正规化的光标速度(即，一个轴上相对于一个或多个其他轴的速度)设置用于按钮启动的深度阈值。换言之，按压移动的速度可确定为了使按钮启动不得不按压光标多远。作为一个示例，在光标速度的z轴分量增大时，深度阈值可被减小。同样地，在光标速度的z轴分量减小时，深度阈值可被增大。换言之，为了启动按钮，当手正快速移动时光标可被按压较小的距离，而当手正慢速移动时光标可被按压较大的距离。这既允许较短、较急的“轻拍”以及较长、较慢的按压来启动按钮。

作为另一个示例，在光标速度的经正规化的z轴分量增大时，深度阈值可被减小。同样地，在光标速度的经正规化的z轴分量减小时，深度阈值可被增大。换言之，与光标移动较不直接地在z方向上时相比，当光标移动较为直接地在z方向上时可需要更少的总推压来启动按钮。

在一些实施例中，当光标覆盖用户界面中的按钮时，按钮可响应于手在世界空间中的移动(该移动使光标位置以具有等于或大于z轴速度阈值的经正规化的z轴分量的速度移动)而得到启动。该启动可基于经正规化的z轴分量而非绝对z轴速度。这允许导致光标移入平面空间的故意移动的任何手移动被看作启动“按压”移动，而不管光标移入平面空间的速度。

可在光标的移动期间跟踪在任何给定时间处的光标速度。图6示出了随时间(t₀至t₂)跟踪的光标速度的示例。在此，在光标移动期间，光标速度的顺序改变由光标速度向量及其经正规化的x、y和z轴分量的改变来表示。在t₀处，光标具有光标速度130，该光标速度130具有较大的经正规化的x轴分量和经正规化的y轴分量但具有较小的经正规化的z轴分量。即，光标在屏幕空间的x-y平面中可能比在屏幕空间的z方向上移动地更快和/或以更显著的方式移动。换言之，光标在屏幕表面上移动得比移入(或移出)屏幕表面更快。

在t₀和t₁之间，光标在x-y平面上的移动减小，而沿着z轴却增加较小的量。即，光标在屏幕平面上的移动变慢了。这导致了t₁处的光标速度向量140，该向量具有更小的经正规化的x轴分量和经正规化的y轴分量以及相对更大的经正规化的z轴分量(与t₀处的经正规化的分量相比)。

在t₁和t₂之间，光标移动可经历突然的路径改变。在所描绘的示例中，光标在屏幕上的移动迅速变慢，而光标进入屏幕的移动迅速增加。这导致了t₂处的光标速度向量150，该向量具有甚至更小的经正规化的x轴分量和经正规化的y轴分量以及实际上更大的经正规化的z轴分量(与t₀和t₁处的经正规化的分量相比)。

这些光标速度可以与一个或多个其他参数一起考虑，以推断用户是否趋于按压按钮。例如，可分析光标覆盖按钮之前或之后的光标速度以推断用户是否趋于按压按钮。

在一些实施例中，按钮可具有启动锁，该启动锁被配置成减少在用户没有想要按压按钮时可发生的假肯定。由此，仅在光标路径(即，光标速度的序列)满足解锁准则的情况下可解锁启动锁。由此，可能不得不在按压动作可被识别并且按钮可被启动之前解锁按钮。

作为一个示例，解锁准则可包括光标的x-y速度在光标接近按钮时减少一减速阈值。换言之，按钮的启动锁可以响应于跨屏幕的光标速度的显著减小而得到解锁。光标速度在x-y平面上的减少可在光标在按钮的阈值距离之内时被读取。以这种方式，光标跨屏幕的移动的减速在光标处于按钮的邻近时被有效地读取为用户选择及可能按压按钮的意向。

在图6中在t₁处描绘了可解锁按钮的启动锁的光标移动的示例。光标在t₁处可比在t₀更接近于按钮。光标在它接近按钮时被移动得更慢。光标速度在t₁处的经正规化的x轴分量和经正规化的y轴分量的减小被读成用户选择按钮的意向，并且因此启动锁被解锁。当在t₁处解锁启动锁之后，可随后在时间t₂处启动按钮。

作为另一个示例，解锁准则可包括在光标处于按钮的阈值x-y距离之内时经正规化的z轴分量的减小。换言之，按钮的启动锁可以响应于进入屏幕的光标速度的显著增加而得到解锁。以这种方式，光标进入屏幕的移动的加速在光标处于按钮的邻近时被有效地读成用户按压按钮的意向。

如果启动锁被解锁，则按钮可响应于手在世界空间中的移动(该移动使光标位置以具有等于或大于z轴速度阈值的经正规化的z轴分量的速度移动)而得到启动。

在一些实施例中，可将以上所描述的方法和过程捆绑到包括一个或多个计算机的计算系统。具体而言，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库、和/或其他计算机程序产品。

图7示意性示出了可以执行上述方法和过程之中的一个或多个的非限制性计算系统160。以简化形式示出了计算系统160。应当理解，可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中，计算系统160可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。

计算系统160可包括逻辑子系统162、数据保持子系统164、显示子系统166和/或捕捉设备168。计算系统可任选地包括未示出在图7中的组件，并且/或者示出在图7中的某些组件可以是未被整合到计算系统中的周边组件。

逻辑子系统162可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造的部分。可实现此类指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所需结果。

逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。另外地或替换地，逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备的独立组件，所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。

数据保持子系统164可包括一个或多个物理的、非瞬时的设备，这些设备被配置成保持数据和/或可由该逻辑子系统执行的指令，以实现此处描述的方法和过程。在实现这样的方法和过程时，可以变换数据保持子系统164的状态(例如，以保持不同的数据)。

数据保持子系统164可包括可移动介质和/或内置设备。数据保持子系统164尤其可以包括光学存储器设备(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁存储器设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)。数据保持子系统164可包括具有以下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统162和数据保持子系统164集成到一个或更多个常见设备中，如专用集成电路或片上系统。

图7还示出以可移动计算机可读存储介质170形式的数据保持子系统的一方面，可移动计算机可读存储介质102可用于存储和/或传输可执行以实现本文描述的方法和过程的数据和/或指令。可移动计算机可读存储介质170尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘形式。

可以明白，数据保持子系统164包括一个或多个方面物理的、非瞬时的设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本发明有关的数据和/或其他形式的信息可以通过纯信号传播。

术语“模块”可用于描述被实现来执行一个或多个特定功能的计算系统160的一个方面。在某些情况下，可通过逻辑子系统162执行由数据保持子系统164所保持的指令来实例化这一模块。应该理解，可从相同的应用、代码块、对象、例程、和/或功能实例化不同模块和/或引擎。同样，在某些情况下，可通过不同的应用、代码块、对象、例程、和/或功能来实例化相同的模块和/或引擎。

如此处所述，计算系统160包括深度图像分析模块172，该深度图像分析模块172被配置成跟踪人类在固定的、世界空间坐标系中的世界空间姿态。术语“姿态”指人类的位置、方向、身体安排等。如此处所述，计算系统160包括交互模块174，该交互模块174被配置成用可移动的、界面空间坐标系来建立虚拟交互区，该可移动的、界面空间坐标系跟踪人类并相对于固定的、世界空间坐标系移动。如此处所述，计算系统160包括变换模块176，该变换模块176被配置成将在固定的、世界空间坐标系中定义的位置变换成在可移动的、界面空间坐标系中定义的位置。计算系统160还包括显示模块178，该显示模块178被配置成输出显示信号，该显示信号用于在与可移动的、界面空间坐标系中定义的位置相对应的桌面空间坐标处显示界面元素。

计算系统160包括用户界面模块177，该模块177被配置成将光标在用户界面中的移动转换成涉及界面元素的动作。作为非限制性示例，用户界面模块177可分析光标相对于用户界面的按钮的移动，以确定何时解锁和/或启动这些按钮。

显示子系统166可用于呈现由数据保持子系统164所保持的数据的可视表示。由于此处所描述的方法和过程改变由数据保持子系统保持的数据，并由此变换数据保持子系统的状态，因此同样可以变换显示子系统166的状态以在视觉上表示底层数据的改变。作为一个非限制性示例，可通过显示子系统166以响应于用户在物理空间中的移动而在虚拟桌面中改变位置的界面元素(例如，光标)的形式来反映这里所述的目标识别、跟踪和分析。显示子系统166可以包括使用实际上任何类型的技术的一个或多个显示设备。可将这些显示设备与逻辑子系统162和/或数据保持子系统164一起组合在共享封装中，或这些显示设备可以是外围显示设备，如图1所示。

计算系统160还包括被配置成获得一个或多个目标的深度图像的捕捉设备168。捕捉设备168可被配置成通过任何合适的技术(例如飞行时间、结构化光、立体图像等)捕捉具有深度信息的视频。这样，捕捉设备168可包括深度摄像机(诸如图1的深度相机22)、摄像机、立体摄像机、和/或其他合适的捕捉设备。

例如，在飞行时间分析中，捕捉设备168可以向目标发射红外光，然后使用传感器来检测从目标的表面反向散射的光。在一些情况下，可以使用脉冲式红外光，其中可以测量出射光脉冲和相应的入射光脉冲之间的时间并将该时间用于确定从该捕捉设备到目标上的特定位置的物理距离。在一些情况下，出射光波的相位可以与入射光波的相位相比较以确定相移，并且该相移可以用于确定从该捕捉设备到目标上的特定位置的物理距离。

在另一示例中，飞行时间分析可用于通过经由诸如快门式光脉冲成像之类的技术分析反射光束随时间的强度，来间接地确定从该捕捉设备到目标上的特定位置的物理距离。

在另一示例中，捕捉设备168可利用结构化光分析来捕捉深度信息。在这样的分析中，图案化光(即被显示为诸如网格图案或条纹图案之类的已知图案的光)可以被投影到目标上。在目标的表面上，该图案可能变成变形的，并且可以研究该图案的这种变形以确定从该捕捉设备到目标上的特定位置的物理距离。

在另一示例中，捕捉设备可以包括两个或更多个物理上分开的相机，这些相机从不同角度查看目标以获得视觉立体数据。在这些情形中，可分解可视立体数据以生成深度图像。

在其他实施例中，捕捉设备168可利用其他技术测量和/或计算深度值。此外，捕捉设备168可以将计算出的深度信息组织为“Z层”，即与从深度相机沿其视线延伸到观察者的Z轴垂直的层。

在某些实施例中，可将两个或更多个像机整合到一个集成捕捉设备中。例如，可将深度像机和摄像机(例如RGB摄像机)整合到共同的捕捉设备中。在某些实施例中，可协同使用两个或更多个分开的捕捉设备。例如，可使用深度像机和分开的摄像机。当使用摄像机时，该摄像机可用于提供：目标跟踪数据、对目标跟踪进行纠错的确认数据、图像捕捉、面部识别、对手指(或其他小特征)的高精度跟踪、光感测和/或其他功能。

要理解，至少一些目标分析和跟踪操作可以由一个或多个捕捉设备的逻辑机来执行。捕捉设备可以包括被配置成执行一个或多个目标分析和/或跟踪功能的一个或多个板载处理单元。捕捉设备可包括固件以帮助更新这样的板上处理逻辑。

计算系统160可任选地包括诸如控制器180和控制器182之类的一个或多个输入设备。输入设备可被用于控制计算系统的操作。在游戏的上下文中，诸如控制器180和/或控制器182之类的输入设备可被用于控制游戏的那些不是通过这里所述的目标识别、跟踪和分析方法和过程来控制的方面。在某些实施例中，诸如控制器180和/或控制器182之类的输入设备可包括可用于测量控制器在物理空间中的移动的加速计、陀螺仪、红外目标/传感器系统等中的一个或多个。在某些实施例中，计算系统可任选地包括和/或利用输入手套、键盘、鼠标、跟踪垫、轨迹球、触摸屏、按钮、开关、拨盘、和/或其他输入设备。如将理解的，目标识别、跟踪和分析可被用于控制或扩充游戏或其他应用的常规上由诸如游戏控制器之类的输入设备控制的方面。在某些实施例中，这里所述的目标跟踪可被用作对其他形式的用户输入的完全替代，而在其他实施例中，这种目标跟踪可被用于补充一个或多个其他形式的用户输入。

Claims (4)

1.一种计算系统(12，160)，包括：

外围输入，它被配置成接收来自深度相机(22)的深度图像；

显示输出，它被配置成向显示设备(14)输出用户界面(60)，所述用户界面(60)包括按钮(62)；

逻辑子系统(162)，它经由所述外围输入可操作性地连接至所述深度相机(22)并经由所述显示输出可操作性地连接至所述显示设备(14)；以及

保持指令的数据保持子系统(164)，所述指令可被所述逻辑子系统(162)执行以便：

从所述深度相机(22)接收包括人类目标(18)的世界空间场景(24)的一个或多个深度图像；

将所述人类目标(18)的手(42)的世界空间位置(46)转换成所述用户界面(60)的屏幕空间光标位置(56)，使得所述手(42)在世界空间(40)中的移动导致光标(52)在屏幕空间(50)中的相应移动；以及

当所述光标(52)覆盖所述用户界面(60)中的所述按钮(62)时，响应于所述手(42)在世界空间(40)中的、将所述光标位置(56)沿着z轴改变深度阈值的移动来启动所述按钮(62)，而不管所述光标(52)的初始z轴位置和最终z轴位置；

其中所述光标具有光标速度，并且其中所述数据保持子系统保持所述逻辑子系统可执行的指令，以基于所述光标速度来调整所述深度阈值，并且其中在所述光标速度的经正规化的z轴分量增大时，所述深度阈值被减小，而在所述光标速度的经正规化的z轴分量减小时，所述深度阈值被增大。

2.如权利要求1所述的计算系统，其特征在于，所述按钮具有在x-y平面中的启动周界，并且其中如果所述光标的x-y坐标处于所述按钮的所述启动周界之内，则所述光标覆盖所述按钮。

3.如权利要求1所述的计算系统，其特征在于，所述交互区的位置和方向基于所述人类目标的位置和方向。

4.如权利要求3所述的计算系统，其特征在于，所述交互区的位置和方向基于所述人类目标的头的相对位置。