CN104620203A - 交互式显示系统中的绝对与相对定位传感器融合 - Google Patents

Abstract

本发明涉及一种交互式显示系统，其包含无线指向装置及定位电路，所述定位电路能够确定所述指向装置所瞄准的显示器的绝对及相对位置。确定所述绝对位置与在所述绝对位置的时间点的所估计或实际相对位置之间的误差值，且根据此误差值来确定应用于后续相对定位结果的补偿因子。

Description

交互式显示系统中的绝对与相对定位传感器融合

背景技术

本发明为交互式显示系统的领域。更具体来说，本发明的实施例针对于对控制装置在计算机系统的交互式操作期间正指向的显示器处的位置的定位。

演讲者将消息传递到观众的能力通常通过使用视觉信息结合口头语言来增强。在现代，使用计算机及相关联显示系统来产生并向观众显示视觉信息已变得很普通，举例来说，借助于例如可从微软公司(Microsoft Corporation)购得的POWERPOINT呈现软件程序的应用程序。对于大的观众群(例如在礼堂环境中)，显示系统通常为投影系统(正面投影或背面投影)。对于较小的观众群(例如在会议室或教室环境中)，尤其是随着平板(例如，液晶)显示器的成本在近几年来已下降，这些显示器已变得普遍。不需要特殊屏幕且因此甚至更容易部署的新显示技术(例如小型投影仪(“微微型投影仪”))现在正在进入市场。对于向非常小的观众群(例如，一两个人)的呈现，膝上型计算机的图形显示器可足以呈现视觉信息。在任何情况下，增加的计算机能力与更好且更大的显示器(均具有较低成本)的组合已增加基于计算机的呈现系统在广泛的情景(例如，商业、教育、法律、娱乐)中的使用。

典型的基于计算机的呈现涉及演讲者站在远离显示系统处以便不阻挡观众对视觉信息的观看。由于视觉呈现是计算机产生且计算机控制的，因此呈现能够被交互地控制，以允许选择对于特定观众特别重要的视觉内容、由演讲者在呈现期间注释或图解视觉信息及调用例如缩放等效果、选择到呈现中别处的信息的链接(或在线)、将显示元素从一个显示位置移动到另一显示位置等等。此交互性大大地增强了呈现，从而使得对于观众来说其更有趣且更具吸引力。

因此，期望演讲者从远处与所显示视觉内容交互的能力。更具体来说，因此，期望远程定位的操作者可用来指向并与所显示视觉信息交互的手持式装置。

2012年7月10日颁布、标题为“交互式显示系统(Interactive Display System)”、与本案共同转让且以引用的方式并入本文中的第8,217,997号美国专利描述一种包含构造为包含摄像机或其它视频捕获系统的手持式指向装置的无线人类接口装置(“HID”)的交互式显示系统。所述指向装置捕获由计算机显示的图像，包含由计算机插入到所显示图像数据中的一或多个人类可感知定位目标。经恢复定位目标的位置、大小及定向识别远程指向装置相对于显示器的瞄准点。还描述对定位目标(人类可感知或人类不可感知)进行时间定序以定位指向装置。

以对应于显示系统的帧速率的速率来执行根据上文所参考的第8,217,997号美国专利中所描述的方法对指向装置的瞄准点的定位。更具体来说，随着显示每一新的数据帧，可通过组合新帧(及其定位目标)与紧接的先前帧(及其互补定位目标)来确定新位置。此方法在许多情形中相当有效，特别是在于计算机系统中导航及控制图形用户接口的情景中，例如指向并“点击”图标、涉及所显示窗口及帧的点击并拖动操作等等。第8,217,997号美国专利中所描述的此方法的特别益处是，在确定的结果是显示器上的特定位置(例如，像素坐标)的意义上，定位是“绝对的”。根据此方法执行的定位的准确度在显示器与手持式装置之间的宽广距离范围内(举例来说，介于从与显示屏幕物理接触之处到远离数十英尺处的范围内)是相当准确的。

但是由于定位速率对显示帧速率的相依性，此方法的能力具有若干限制。例如当在电子交互式“白板”应用中于显示屏幕上“书写”时手持式装置的快速移动可呈现可能不能通过以帧速率进行定位而完全捕获的运动。另外，在一些情形中，用户及观众可能会注意到手持式装置的移动与显示响应之间的时间滞后。

基于运动传感器的常规人类接口装置在此项技术中是已知的。运动传感器感测装置随时间(例如，在取样时间之间)的运动。运动传感器的实例包含例如加速度计、陀螺仪等惯性传感器、例如磁力计等磁场传感器及例如在光学鼠标中使用的视觉系统等视觉系统。在未直接确定显示器的绝对位置而是运动传感器确定在先前时间点相对于显示器的所指向位置的意义上，基于运动传感器的定位结果是相对的。然而，基于运动传感器的指向装置操作的取样速率不受显示器的帧速率限制，且可高得多(假设对相对定位的恰当对齐)。另外，与绝对定位所需的计算相比，导出相对定位结果需要较少的计算。然而，遗憾地，由于由这些装置提供的定位是相对的，因此漂移或其它误差可能随时间积累。对于那些依赖于加速度计运动感测的装置，误差会加剧，这是因为为了将所感测加速度转换成线性距离需要两次积分。如此，基于运动传感器的相对定位的准确度通常不如绝对定位方法的准确度。

总的来说，用于确定人类接口装置正指向的显示器的位置的绝对及相对系统两者在此项技术中是已知的。绝对定位提供良好准确度但是以相对缓慢的最大速率进行，而相对定位可以高速率操作，但易受误差影响。

发明内容

本发明的实施例提供一种用于快速且准确地定位手持式人类接口装置在交互式显示系统的操作期间正指向的显示器处的位置的系统及方法。

本发明的实施例提供其中可在介于从装置物理上触碰显示器之处到所述装置被跨越大的房间操作之处的距离范围内执行此定位的此种系统及方法。

本发明的实施例提供在其中可不存在可见内容的交互式白板应用中有用的此种系统及方法。

本发明的实施例提供可在针对相对运动取样时间产生的位置之间内插装置的位置且可预测即将来临的位置的此种系统及方法。

本发明的实施例提供可对先前所计算的位置进行反向校正(back-correct)以正确地显示由装置指示的路径的此种系统及方法。

参考以下说明书连同其图式的所属领域的技术人员将明了本发明的实施例的其它目标及优点。

本发明的实施例可实施到一种交互式显示系统及其操作方法中，其中远程人类接口装置包含可从其确定所述装置正指向的显示器处的绝对位置的图像捕获子系统以及可从其确定相对定位结果的一或多个运动传感器。绝对及相对定位电路可位于产生所显示信息的计算机系统处或内的定位系统中、交互式装置本身中或两者的组合中。所述定位系统确定在一时间点的绝对所指向位置并计算对应于所述同一时间点的相对位置。确定对应于所计算绝对位置与相对位置之间的差的误差值，并使用所述误差值来调整由所述定位系统基于运动传感器而产生的相对位置。

附图说明

图1a及1b是使用根据本发明的实施例的交互式显示系统执行演讲者呈现的示意性透视图。

图2a及2b是呈框形式的电路图，每一图说明根据本发明的实施例的交互式显示系统。

图3a及3b分别是相对于指向装置的实际移动路径说明如通过绝对及相对定位确定的所述装置的所估计路径的曲线图。

图3c是说明如通过本发明的实施例确定的指向装置的所估计路径的曲线图。

图4是呈框形式的功能图，其说明根据本发明的实施例的交互式显示系统中的定位子系统的功能架构。

图5是说明根据本发明的实施例的图4的架构的操作的流程图。

图6a及6b是说明确定在两个相对定位取样点之间的图像捕获时间的相对位置的曲线图。

图6c是根据图像帧内绝对位置的位置对补偿加权因子的相依性的图解说明。

图7是说明根据本发明的实施例的动态校准方法的操作的流程图。

图8是根据本发明的实施例如在绝对与相对定位之间的协作中使用的指向装置的定向轴的透视图。

图9a到9c是显示器的视图，其说明根据本发明的实施例的视觉相对定位方法的操作。

具体实施方式

将结合本发明的实施例中的一或多者来描述本发明，即，实施成包含观众可见的显示器的计算机化呈现系统，因为预期本发明在应用于此系统时将特别有益。然而，还预期，本发明结合其它应用(例如在游戏系统、用户到计算机系统中的一般输入中等)可为有用的。因此，应理解，以下描述仅通过实例提供且并不打算限制所主张的本发明的真实范围。

图1a说明其中本发明的实施例有用的环境的简化实例。如图1中所展示，演讲者SPKR正在使用视觉辅助物给出观众A现场呈现。在此情况下，视觉辅助物呈由计算机22产生并以观众A可见的方式在房间大小的图形显示器20上显示的计算机图形及文本的形式。如此项技术中已知，此类呈现在商业、教育、娱乐及其它情景中为常见的，其中特定观众群大小及系统元件广泛地变化。图1a的简化实例说明其中观众A包含观看呈现的数个或更多成员的商业环境；当然，环境的大小可从容纳数百个观众成员的礼堂到其中观众A由单个人组成的单个书桌或桌子而变化。

用于向观众A呈现视觉辅助物的显示器20的类型也可变化，此通常取决于呈现环境的大小。在介于从会议室到大型礼堂的范围内的房间中，显示器20可为投影显示器，包含安置于显示屏幕前方或后方的投影仪。在所述环境中，计算机22将产生视觉辅助图像数据并将其转发给投影仪。在较小环境中，显示器20可为由计算机22中的图形适配器直接驱动的例如等离子或液晶(LCD)类型的外部平板显示器。对于向一两个观众成员的呈现，呈膝上型或桌上型计算机的形式的计算机22可仅仅使用其自己的显示器20来呈现视觉信息。此外，对于较少观众A，手持式投影仪(例如，“口袋型投影器”或“微微型投影仪”)正在变得更普遍，在所述情况中，显示屏幕可为墙壁或白板。

使用计算机呈现软件来产生并在呈现的情景中呈现图形及文本现在为普遍的。此呈现软件的众所周知的实例为可从微软公司购得的POWERPOINT软件程序。在图1a的环境中，此呈现软件将由计算机22执行，其中在显示器20上显示呈现中的每一幻灯片，如此实例中所展示。当然，特定视觉信息无需为在计算机22处执行的先前所创建的呈现，而是可为：经由计算机22访问的网页；包含图标、程序窗口及致动按钮的桌面显示；来自正由计算机22读取的DVD或其它存储装置的视频或影片内容。参考本说明书的所属领域的技术人员将明了结合本发明的实施例有用的其它类型的视觉信息。

在图1a中，演讲者SPKR站在远离显示器20处以便不阻挡观众A的观看，且还更好地参与到观众A中。根据本发明的实施例，演讲者SPKR使用呈指向装置10形式的远程人类接口装置(HID)来远程地与由计算机22在显示器20处显示的视觉内容交互。对由显示器20显示的视觉信息的此交互式使用为演讲者SPKR提供即席创作呈现(被视为对特定观众A有用的)、与活动内容(例如，因特网链接、活动图标、虚拟按钮、流式视频等等)交互以及致动高级图形及对呈现的控制而不需要演讲者SPKR就坐于计算机22处或以其它方式“钉住”到计算机22的能力。

图1b说明对本发明的实施例的系统及方法的另一种使用，其中演讲者SPKR紧密地接近显示器20以与视觉内容交互。在此实例中，显示器20正作为“白板”而操作，演讲者SPKR可使用指向装置10在其上“绘制”或“书写”以活动地绘制内容来作为对所显示内容的注释或甚至在空白屏幕上“绘制”或“书写”，如图1b所暗示。通常，将在将指向装置10放置成与显示器20实际物理接触或至少紧密接近时执行此“绘制”及“书写”。图1b的应用中包含显示器20的硬件可等同于图1a的呈现实例中的硬件；实际上，本发明的实施例允许同一演讲者SPKR既可如图1a中所展示从一定距离处又可如图1b中所展示在显示器20处在相同观众前面与同一呈现交互。

在任一情况中，如在上文所并入的第8,217,997号美国专利中以及如下文在本描述中结合本发明的特定实施例所进一步详细地描述，演讲者SPKR借助于指向装置10执行此交互，指向装置10能够捕获显示器20处的图像的全部或部分且能够与所述图像处的所指向(或所瞄准)目标位置交互。图1a及1b的实例中的指向装置10将显示器20处的此所指向位置及来自演讲者SPKR的其它用户命令无线地传递到接收器24且因此传递到计算机22。以此方式，根据本发明的实施例，执行与计算机22的远程交互性。

参看图2a，现在将描述根据本发明的实施例在例如图1a及1b中所展示的环境等环境中有用的交互式显示系统的构造的一般化实例。如图2a中所展示，此交互式显示系统包含指向装置10、投影仪21及显示屏幕20。在本发明的此实施例中，计算机22包含用于产生待由投影仪21在显示屏幕20处显示的“有效负载”图像的适当功能性，此类有效负载图像既定供观众观看。根据本发明的实施例，这些有效负载图像的内容由人类用户经由指向装置10交互地控制。为了进行此操作，计算机22与定位电路25协作，定位电路25确定指向装置10正指向的显示屏幕20的位置。如根据以下描述将变得明了，此定位确定是基于指向装置10检测在显示屏幕20处显示的一或多个定位目标。

在其有效负载图像产生功能中，计算机22将产生或可以访问例如呈存储于存储器中的先前所产生呈现文件的形式或呈例如计算机22可经由网络或因特网检索的活动内容的形式的待显示视觉信息(既，视觉“有效负载”图像)；对于“白板”应用，有效负载图像将包含由用户经由指向装置10提供、通常在空白背景上显示的输入。来自计算机22的此用户可见有效负载图像帧数据将与由目标产生器功能23产生的定位目标图像内容组合，当在图形显示器20处显示时，所述定位目标图像内容可由指向装置10捕获并由定位电路25用来推断指向装置10所指向的位置。图形适配器27包含适合于向投影仪21呈现呈适合显示格式的图像数据帧序列(包含有效负载图像数据与定位目标图像内容的组合)的适当功能性。在此投影实例中，投影仪21继而在显示屏幕20处投影对应图像I。

计算机22、定位电路25、目标产生器电路23及图形适配器27的特定构造可广泛地变化。举例来说，预期包含适当处理电路(CPU或微处理器)及存储器的单个个人计算机或工作站(呈桌上型计算机、膝上型计算机或其它适合形式)可经构造及编程以执行以下功能：产生有效负载图像、产生定位目标、在图形适配器27之前或借助于图形适配器27组合此两者，以及接收并处理来自指向装置10的数据以确定所显示图像处的所指向位置。或者，预期在计算机22外部的单独功能系统可执行目标产生器23、接收器24及定位电路25的功能中的一或多者，使得可将计算机22实现为在不进行修改的情况下操作的常规计算机；在此情况下，图形适配器27本身可构成外部功能(或与在计算机22外部的目标产生器23、接收器24及定位电路25的其它功能中的一或多者组合)，或替代地可在将来自目标产生器23的输出呈现到的计算机22内实现。还预期这些功能的其它各种替代实施方案。在任何情况下，预期计算机22、定位电路25、目标产生器23及在产生在图形显示器20处显示的图像及定位目标时所涉及的其它功能将包含呈存储计算机程序指令的计算机可读媒体的形式的适当程序存储器，所述计算机程序指令在由其处理电路执行时将执行如本说明书中所描述的本发明实施例的各种功能及操作。预期参考本说明书的所属领域的技术人员将能够容易地在不过度实验的情况下布置用于实施本发明的这些实施例的适当计算机硬件及对应计算机程序。

此实例中的指向装置10包含由光学系统12及图像传感器14组成的摄像机功能。当指向装置10瞄准显示器20时，便将所捕获图像暴露给图像传感器14，所述所捕获图像取决于指向装置10与显示器20之间的距离、光学系统12内的透镜的焦距等等而对应于显示器20处的图像I的全部或部分。图像捕获子系统16包含此项技术中已知的用于在由用户选择的特定时间点或在取样时间序列中的每一者随着捕获而获取并存储所捕获图像的数字表示的适当电路。指向装置10还包含为常规按钮或指向装置10的用户可借以以鼠标按钮的性质提供用户输入的其它开关的致动器15，以致动图像捕获或用于如下文将描述且所属领域的技术人员明了的其它功能。在此实例中，指向装置10内还包含一或多个惯性传感器17以辅助或增强与所显示内容的用户交互；此类惯性传感器的实例包含加速度计、磁性传感器(即，用于感测相对于地球磁场的定向)、陀螺仪及其它惯性传感器。

在图2a的此实例中，指向装置10可操作以将对应于由图像捕获子系统16获取的所捕获图像的信号转发到定位电路25。此通信功能由指向装置10中的无线发射器18连同其内部天线A执行，借助于所述内部天线A来发射射频信号(例如，根据常规标准，例如蓝牙或适当IEEE 802.11标准)。预期发射器18具有用于编码、调制及经由适用无线协议发射所捕获图像数据连同其它用户输入及控制信号的常规构造及操作。在此实例中，接收器24能够经由其天线A从指向装置10接收所发射信号且能够将所接收信号解调、解码、滤波及以其它方式处理成适合于由定位电路25处理的基带形式。

预期本发明的实施例的交互式显示系统中的定位电路25的特定位置可在不同系统间变化。在一般意义上，哪一硬件子系统(即，驱动显示器的计算机、指向装置、视频数据路径中的单独子系统或其某一组合)执行显示器20处的所指向位置的确定并非特别重要。在图2a中所展示的实例中，如上文所描述，定位电路25结合计算机22及目标产生器功能23部署于一系统中，所述系统将产生所显示图像I与确定指向装置10所瞄准的所显示图像I处的位置(及解码与其相关联的命令)的功能组合到所述系统的同一元件中。

图2b说明根据本发明的实施例的交互式显示系统的替代一般化布置。此系统包含如图2b的实例中的投影仪21及显示器20，其中投影仪21投影有效负载图像内容及由计算机22产生的定位目标图像内容，如上文所描述。在此实例中，指向装置10’执行确定其当前正指向的显示器20处的位置时所涉及的计算中的一些或所有计算。如此，除摄像机(镜头12、图像传感器14及图像捕获器16)以外，定位装置10’还包含定位电路25’连同无线发射器18。相反地，如之前所述，计算机22耦合到接收器24。或者，发射器18及接收器24可各自实施为既能够从彼此接收无线通信又能够向彼此发射无线通信的收发器，在所述情况中，可将对应于在显示器20处显示的定位目标的大小、形状及位置的数据发射到指向装置10’以供比较。

在任一情况中，定位电路25、25’(下文中类属地称为定位电路25)确定指向装置10、10’(下文中类属地称为指向装置10)所瞄准的显示器20处的位置，如下文将详细地描述。

上文所并入的第8,217,997号美国专利中所描述的定位是“绝对”定位，因为显示器处的所指向位置是参考图像内的特定像素位置而确定的。换句话说，绝对定位是参考显示器本身的参考帧来确定特定位置。另外，如第8,217,997号美国专利中所描述来执行定位，此取决于在两个或两个以上帧中对定位目标的获取，可以对应于帧速率的最大速率来完成。可在理论上较快速地执行其它常规绝对定位技术(取决于指向装置处的图像捕获速率、显示器的帧速率或两者)，但所述技术涉及显著的计算复杂度。实际上，根据第8,217,997号美国专利中所描述的方法所描述的定位确定所需的计算时间可导致比帧速率慢的定位速率，此取决于定位电路的计算容量。而且，由于绝对定位可需要超出某一确定性程度的图像匹配，那么在一些情况下可能发生由于不完美匹配所致的否定结果，这也将延长两次连续成功位置确定之间的时间。在任一情况中，尽管对指向装置所瞄准的显示器处的位置的绝对定位可为相当准确的，但可执行绝对定位的速率可受限制。

可从常规绝对定位技术获得的此低的最大定位速率可导致在再现指向装置10的用户的移动时的不良分辨率。图3a说明此有限分辨率的实例，其中曲线30表示如由用户移动的指向装置的实际路径，举例来说，在160msec的跨度内。点32表示针对其中帧速率为60Hz的情况如根据第8,217,997号美国专利中所描述的方法执行的绝对定位的结果。在所述实例中，可以隔开16msec(最多)的取样点产生绝对定位结果。如此，针对路径30(包含端点处)在其160msec持续时间内产生11个绝对定位点32，可根据所述绝对定位点再现所估计路径30’。然而，如从图3a显而易见，路径30包含无法通过处于60Hz的绝对定位准确地再现的较高频率分量(在频域意义上)。绝对定位提供其点32相对于路径30的放置方面的极佳准确度。然而，所估计路径30’中并未如实地再现路径30中的较高频率偏移，如从图3a显而易见。对路径30’的滤波可将路径30’平滑成较合意的形式，但当然不能再现高频率偏移。特别是对于例如交互式“白板”等应用，路径30’相对于实际路径30的差异通常将为明显的，且在一些情况中可能为不可接受的。

根据本发明的实施例，指向装置10还包含执行其在显示器20处的所指向位置的“相对”定位的能力。相对定位是参考先前位置来确定特定位置。在图2a及2b的交互式系统的情景中，相对定位是基于例如在取样时间之间指向装置10从一个位置到另一位置的运动而执行的。如此项技术中已知且如上文所提及，可以相对高的速率来进行相对定位，因为其计算要求通常并不像绝对定位那么显著且不必受帧速率约束。

由于相对定位是基于运动感测，因此根据本发明的实施例，在指向装置10内以一或多种不同方式来实施运动感测能力。在此项技术中，一类运动传感器称为惯性感测，借助于所述惯性感测直接感测装置的物理移动；通常，针对三个移动轴中的每一者来部署惯性传感器。图2a及2b分别说明指向装置10中的惯性传感器17的任选实施方案。可根据本发明的实施例实施的惯性传感器17的实例包含加速度计、陀螺仪及例如磁力计等磁场传感器。替代地或除惯性传感器17以外，还可由指向装置10中的图像捕获子系统16来执行视觉运动感测。此项技术中已知用以视觉运动感测的各种方法，例如对象对齐及由常规光学轨迹球及鼠标使用的其它技术等等。

然而，由于相对定位的结果并不系连到显示器处的绝对位置，因此相对定位中的误差可随时间积累。对于测量运动加速度且因此需要两次积分以便将所测量的加速度转换为位移(及因此位置)的某些类型的惯性传感器(例如加速度计)，会加强此易受误差影响的弱点。图3b说明如应用于路径30(也在160msec内延伸)的相对定位的使用的实例。在此实例中，以比图3a中所展示的绝对定位速率高得多的速率(例如，约4x)产生相对定位点34。由于此较高定位速率，在对应于相对定位点34的所估计路径30”中良好地再现实际路径30的较高频率分量。然而，如从图3b显而易见，基于相对定位的所估计路径30”包含在路径30的160msec持续时间内的所积累误差的效应。到达到路径30的末端的时间，此所积累误差总计达显著偏差△p。预期，此所积累误差在许多情况中可变得明显，尤其是在用户正尝试在“白板”情景中的显示器上以草书体书写或绘制大图形的情况下。尽管图3b展示漂移及所得偏差仅在一个维度上发生，但当然相对定位结果的漂移及偏差可具有在x维度及y维度两者上的分量。

根据本发明的实施例，执行绝对及相对定位两者，且以改进例如图2a及2b中所展示的交互式显示系统中的定位的响应性及准确度的方式组合其结果。现在参看图4及5，现在将描述根据本发明的实施例的定位电路25的功能或逻辑架构及其在基于绝对与相对定位结果的组合而执行定位时的操作。如上文所提及，预期可以多种方式来实施定位电路25，包含借助于在计算机22处或连接到计算机22的可编程逻辑电路、在指向装置10内的可编程逻辑电路，或其组合。在其中可编程逻辑电路实现定位电路25的全部或部分的实施方案中，预期定位电路25将包含或访问用于存储程序指令的适当程序存储器，所述程序指令在由所述可编程逻辑电路执行时执行下文结合图5所描述的定位操作。在例如由计算机22以适合于显示系统的帧速率在显示器20处呈现图像序列的时间期间执行这些操作。

图4说明根据本发明的此实施例耦合到定位电路25内的绝对定位子系统37的视觉传感器35。在本发明的实施例中，视觉传感器35对应于图像传感器14及图像捕获子系统16(图2a及2b)，其可操作以在每一图像捕获时间(例如，根据显示器20的帧速率周期性地)捕获显示器20处的所捕获图像I内所含有的定位目标图像内容。在图5的过程42中，视觉传感器35在图像捕获取样时间感测并捕获显示器20的图像，那些图像数据包含定位目标信息(人类可见或人类不可见)，在过程44中由绝对定位系统37根据所述定位目标信息确定在图像捕获时间的绝对位置。根据本发明的实施例，定位目标图像内容可为人类可见内容，在一些情况中，包含在显示器20处显示的有效负载图像数据。或者，定位目标图像内容可为“机器可见”但人类不可见的内容，可借助于所述内容确定显示器20处的所指向位置，而不会破坏显示给观众的信息。将人类不可见内容用于定位在“白板”应用中是特别有用的，如下文将详细地描述。将每一图像捕获时间的这些图像数据传递到绝对定位子系统37，以用于在过程44中确定指向装置10在捕获图像的时间瞄准的显示器20处的绝对所指向位置。

根据本发明的其中定位目标将为人类不可见的那些实施例，绝对定位子系统37可如以引用方式并入本文中的第8,217,997号美国专利中所描述而构造及操作。一般来说，根据第8,217,997号美国专利中所描述的方法，将定位目标呈现为在视觉有效负载的一个显示帧中对强度的经图案化调制(例如，像素强度的变化)、后续接着在相继帧中是相同的图案但具有相反调制。由指向装置10的视觉传感器35捕获两个图像帧。在过程44中，根据此方法，绝对定位电路37使来自这两个帧的所捕获图像数据彼此相减。由于所述相减，所捕获图像中的人类可见元素将由于所述相减而彼此抵消，但互补定位目标图像将彼此加强且变为“可见”的，从而恢复定位目标。经恢复定位目标的位置、大小及定向识别指向装置10相对于显示器20的瞄准点。根据图4中所展示的定位电路25的功能架构，绝对定位子系统37经由信号ABS将指向装置10所指向的绝对位置连同优选地对应于图像捕获时间(即，视觉传感器捕获图像的时间且因此对应于指向装置10指向由绝对位置信号ABS指示的位置的时间)的时间戳一起输出到传感器融合子系统40。如上文所提及，绝对定位子系统37可替代地借助于其它常规定位技术及算法基于显示器20处的输出中所包含的可见定位目标而产生绝对位置ABS。在任一情况中，如上文所描述而重复过程42、44，举例来说，在下一图像数据帧的显示时间。

图4的架构中的运动传感器36对应于指向装置10内感测其运动并将所述所感测运动传递到相对定位子系统38以用于确定显示器20处的所指向位置的相对位置的那些传感器。参看图2a及2b，可以惯性传感器17的形式来实施运动传感器36。替代地或结合运动传感器36，视觉传感器35还可操作以根据从显示器20捕获的图像数据检测相对运动。在此情况下，相对运动的感测由以比帧速率高的速率捕获及处理图像数据(即，从显示器20处的同一帧捕获图像序列)的视觉传感器35执行。在图4中，由视觉传感器35到相对定位子系统38的任选连接指示对相对运动的此视觉感测。在任何情况下，参看图4，运动传感器36或视觉传感器35(或两者)操作以在过程48中在取样时间序列中的每一者获得其测量值，并将其所感测测量值以适当形式传递到相对定位子系统38，相对定位子系统38接着在过程50中确定在相对于先前取样时间的最近取样时间的位置改变。

可通过逻辑电路来实现相对定位子系统38，所述逻辑电路包含执行存储于定位电路25内的或可由定位电路25访问的程序存储器中的程序指令的可编程逻辑电路，所述程序指令例如根据用于相对运动定位的常规算法(其实例在此项技术中称为“对象对齐”)执行过程50的相对运动定位。预期，参考本说明书的所属领域的技术人员将能够容易地在不过度实验的情况下以最适于特定实施方案的方式来实施相对定位子系统38的程序指令或逻辑电路。在相对定位过程50的实例完成后，即经由信号REL将由相对定位子系统38产生的相对位置结果及指示所述相对位置结果的取样时间(即，计算其相对位置的取样时间)的对应时间戳传递到传感器融合子系统40。如上文所论述，预期，相对定位子系统38将以比绝对定位子系统37将传递绝对位置结果高的速率传递相对位置结果。

根据本发明的实施例，传感器融合子系统40确定对应于如由绝对定位系统37确定的指向装置10在特定时间点所瞄准的显示器20的位置与如由相对定位子系统38针对所述同一时间点确定的所述位置之间的差的误差值EV。根据本发明的实施例，预期可将传感器融合子系统40实施为逻辑电路，包含执行存储于定位电路25内的或可由定位电路25访问的程序存储器中的程序指令的可编程逻辑电路，所述程序指令执行用于以下文详细描述的方式基于信号ABS、REL而产生误差值EV的操作及功能。预期，参考本说明书的所属领域的技术人员将能够容易地在不过度实验的情况下以最适于特定实施方案的方式来实施传感器融合子系统40的程序指令或逻辑电路。

如上文所描述，预期绝对定位子系统37将比相对定位子系统38提供更准确的位置，使得误差值EV将为在给定时间的相对位置与在所述时间的绝对位置相差的距离。然而，在过程44中获得绝对位置的图像捕获时间在时间上可能与在过程50中获得相对位置的取样时间不对准，特别是在通常以比视觉传感器35高得多的速率进行取样的运动传感器36的情况中。绝对定位系统与相对定位系统之间的这种缺乏同步性将尤其存在于使用惯性传感器17作为运动传感器36的那些实施方案中。为了导出准确的误差值EV，因此有必要将相对定位结果与绝对定位结果对准到共同时间点。因此，根据本发明的此实施例，传感器融合子系统40在确定误差值EV时的操作以过程52开始，其中基于在接近图像捕获时间的两个取样时间(例如，在图像捕获时间之前的一个取样时间及在图像捕获时间之后的一个取样时间)的相对位置而计算在所述图像捕获时间的相对位置。在过程52中对在图像捕获时间的相对位置的此确定促进在过程54中对误差值EV的计算。

传感器融合子系统40将执行过程52的对准计算的方式取决于用以确定误差值EV的所要方法。根据本发明的实施例，过程52可基于相对位置的线性时间内插或替代地可基于相对运动的速度。

图6a说明如应用于过程52的线性时间内插的实例。在此实例中，相对定位系统38已识别在取样时间t₁的相对位置(x_r(t₁),y_r(t₁))及在取样时间t₂的相对位置(x_r(t₂),y_r(t₂))。在此实例中，过程52既定在介于取样时间t₁、t₂之间的图像捕获时间t_IC内插相对位置(x_r(t_IC),y_r(t_IC))。在此实例中，线性时间内插是根据图像捕获时间t_IC、取样时间t₁、t₂之间的时间差而在x及y方向(维度)中的每一者上确定的。在本发明的此实施例中，在过程52中由传感器融合子系统40按下式计算相对位置(x_r(t_IC),y_r(t_IC))：

$x_r\left(t_{\mathrm{IC}}\right)=\frac{x_r\left(t_1\right)\·(t_2-t_{\mathrm{IC}})+x_r\left(t_2\right)\·(t_{\mathrm{IC}}-t_1)}{t_2-t_1}$

$y_r\left(t_{\mathrm{IC}}\right)=\frac{y_r\left(t_1\right)\·(t_2-t_{\mathrm{IC}})+y_r\left(t_2\right)\·(t_{\mathrm{IC}}-t_1)}{t_2-t_1}$

总的来说，过程52的这些计算将在图像捕获时间t_IC的相对位置(x_r(t_IC),y_r(t_IC))确定为通过图像捕获时间与两个相对位置取样时间之间的时间差加权的两个相对位置的线性平均值。如果相对运动取样时间t₁、t₂之间的持续时间为短的(使得那两个取样时间之间的运动在短距离内)或如果在所述间隔内的运动为线性的且处于恒定速度，那么可将此方法视为最准确的。

然而，如果持续时间为相对长的，或如果运动既不为线性的也不处于恒定速度，那么过程52的计算可将额外误差插入到误差值EV的确定中。图6b针对其中取样时间t₁、t₂之间的运动并非线性的情况说明此误差，如实际路径53所展示。在此实例中，点51说明使用上文所描述的线性内插方法对在图像捕获时间t_IC的相对位置的估计，而点55说明在图像捕获时间t_IC的实际相对位置。如从图6b显而易见，由于非线性运动，存在显著误差(在y方向上)。

根据在过程52中有用的基于速度的方法，在较接近图像捕获时间t_IC的取样时间的速度向量用于基于所感测的运动速度而估计在图像捕获时间t_IC的相对位置(x_r(t_IC),y_r(t_IC))的确定。对于图6b的实例，相比取样时间t₂，图像捕获时间t_IC更接近取样时间t₁。如此，在过程52中确定速度向量57且其对应于在取样时间t₁的运动速度。根据本发明的此实施例，对于运动传感器36及相对定位子系统38来说，已计算或以其它方式确定在每一取样时间的运动速度是有用的。举例来说，如果由运动传感器36的加速度计测量加速度，那么对速度的此计算将总计为所测量加速度的单一积分，且将避免由在根据所测量加速度计算位移时所需的第二次积分导致的额外误差的可能性。在任何情况下，此处为重要的速度是显示器20处的所指向位置正在显示器20处移动的速度；如此，所关注速度未必是指向装置10本身正在空间中移动的速度。预期参考本说明书的所属领域的技术人员将能够容易地将此类计算实施到过程50中。

速度向量57包含分别在x及y方向上的两个速度分量v_x(t₁)、v_y(t₁)。基于那些速度分量，对于其中相比取样时间t₂图像捕获时间t_IC更接近取样时间t₁的情况，可容易地计算在图像捕获时间t_IC的相对位置(x_r(t_IC),y_r(t_IC))：

x_r(t_IC)＝x_r(t₁)+v_x(t₁)·(t_IC-t₁)

y_r(t_IC)＝y_r(t₁)+v_y(t₁)·(t_IC-t₁)

对于其中相比取样时间t₁图像捕获时间t_IC更接近取样时间t₂的情况，使用在取样时间t₂的具有分量v_x(t₂)、v_y(t₂)的速度向量57来根据下式执行对在图像捕获时间t_IC的相对位置(x_i(t_IC),y_i(t_IC))的内插：

x_r(t_IC)＝x_r(t₂)+v_x(t₂)·(t₂-t_IC)

y_r(t_IC)＝y_r(t₂)+v_y(t₂)·(t₂-t_IC)

此外，在替代方案中，可根据在取样时间t₁及t₂的速度向量的平均值确定速度向量57；如果需要，那么可基于图像捕获时间t_IC与那些取样时间t₁、t₂中的一者或另一者的接近度而对此平均速度进行加权。

返回参看图5，一旦在过程52中计算出在图像捕获时间t_IC的相对位置(x_r(t_IC),y_r(t_IC))，传感器融合子系统40便接着执行过程54以通过将此相对位置(x_r(t_IC),y_r(t_IC))与如在过程44中所确定的在所述同一时间的绝对位置(x_a(t_IC),y_a(t_IC))进行比较来确定误差值EV。预期将在x及y方向的两个维度上反映此误差值：

EV_x(t_IC)＝x_a(t_IC)-x_r(t_IC)

EV_y(t_IC)＝y_a(t_IC)-y_r(t_IC)

将误差值EV分量视为带正负号的值。参看图4的架构，将此误差值EV从传感器融合子系统40传递回到相对定位子系统38以用于基于运动传感器的测量值而补偿过去、当前及将来的相对位置。

根据本发明的实施例，通过对应于在过程54中确定的误差值EV的补偿因子来补偿相对定位过程50的结果。在图5的实例中，由相对定位子系统38(或替代地，由传感器融合子系统40)执行过程56以导出此补偿因子。用以过程56的简单方法是假设在过程44中产生的绝对位置是完全准确的且误差值EV对应于从先前误差值确定以来相对位置结果的所积累漂移。在此简单方法中，在过程56中将补偿因子平凡地确定为等同于误差值EV。在用于此简单实例的过程58中，相对定位子系统38在过程58将补偿因子加性地(误差值EV的分量为带正负号的值)应用于一或多个相对位置结果(x_i(t_k),y_i(t_k))：

x_r(t_k)←x_r(t_k)+EV_x(t_IC)

y_r(t_k)←y_r(t_k)+EV_y(t_IC)

其中←是置换运算符，且其中EV_x(t_lC)、EV_y(t_lC)是在最近图像捕获时间的误差值分量。

结合本发明已观察到，由绝对定位子系统37确定的绝对位置在每次计算出时可能并非完全准确的。在所述情况中，简单地应用误差值EV作为补偿因子可能会误补偿相对位置。另外，即使绝对位置结果为完全准确的，突然将大的补偿应用于相对位置结果也可能使用户及观众不安。因此，在一些情况中在过程56中使用加权因子w来计算补偿因子可为优选的：

x_r(t_k)←x_r(t_k)+EV_x(t_IC)·w

y_r(t_k)←y_r(t_k)+EV_y(t_IC)·w

其中w是从0到1的常数。在此方法中，低的加权因子w将仅应用小的补偿量，而较高的加权因子w将应用较强的补偿。

根据本发明的实施例，在对补偿因子的计算中的加权因子w可取决于特定条件或其它因素。举例来说，由绝对定位子系统37确定的绝对位置的准确度可根据所捕获图像内定位目标的位置而变化。在此情况下，加权因子w可为在补偿因子计算过程56的每一实例中评估的定位目标与图像区域的中心点的接近度的函数。另外或替代地，例如，在所捕获图像区域并非正方形的情况下，x及y方向可接收不同的加权因子w_x、w_y。图6c说明通过图像捕获区域内定位目标的位置而布置的加权因子w_x、w_y的实例。如上文所论述，所应用补偿量随着加权因子w的增加而增加，使得补偿对于其中定位目标的位置较接近图像捕获区域的边缘或拐角的实例较低且在定位目标的位置较接近图像捕获区域的中心时较高。

还可使用非线性加权因子来确定应用于相对定位结果的补偿因子。举例来说，可以取决于误差值EV的量值的方式来计算加权因子。用以此非线性加权的简单方法将为将加权因子w_x、w_y计算为分别与误差值分量EV_x、EV_y的量值成正比。

此外，在替代方案中，在过程56中对补偿因子的计算可不使用加权因子。补偿因子可简单地为固定步阶(例如，固定像素数目)、根据误差值EV的极性而递增或递减的步长(例如，对于沿特定方向的第一误差实例为两个像素，在沿所述方向的第二误差实例之后为四个像素等等)或阈值步长(即，在误差值EV低于某一阈值的情况下无补偿)等等。可替代地应用例如在ADPCM调制、卡曼(Kalman)滤波等等中使用的其它补偿方法。

返回参看图4，在于过程58中将所要补偿应用于相对位置确定后，即经由信号FPOS将经补偿定位结果传递到计算机22。根据本发明的实施例，信号FPOS以相对高的取样速率(例如可从常规相对定位系统获得)但以类似于可从常规绝对定位系统获得的准确度的准确度呈现指向装置10所指向的显示器20处的位置。所述过程随时间继续针对额外取样及定位测量而重复。

图3c说明根据本发明的实施例根据图4及5的架构及方法而导出的补偿的实例。在图3c中说明指向装置10的所指向位置的实际路径30，其中绝对位置点32由开圆指示。如从图3c显而易见，绝对位置点32相对于实际路径30为相当准确的。然而，相对位置点34涉及在x方向上积累漂移，使得由这些相对位置点34指示的路径30’开始从实际路径30显著偏离。然而，在点CV处，图4及5的架构及方法的操作应用足以将所述点处(在时间t_C)的相对位置点34放置到实际路径30上的补偿因子。通过所述同一补偿因子或经更新补偿因子来补偿在时间t_C之后的相对位置点34，使得所估计路径30’紧密地匹配实际路径30。在已于时间t_C应用根据本发明的实施例导出的补偿因子之后，以足够高的取样速率提供经补偿相对位置点34以准确地再现实际路径30的较高频率特征，如图3c中所展示。

根据当今技术，在绝对定位过程44中所涉及的计算可相对于显示器20的帧速率消耗显著时间。举例来说，根据上文所并入的第8,217,997号美国专利的人类不可见定位方法的绝对定位需要分析两个最近所捕获图像以便恢复定位目标。如此，在一些情形中，以下是可能的：所获得的误差值EV可为相当“陈旧”的，使得从确定绝对位置以来已发生的误差的最近增加(例如，积累漂移)使补偿因子不能完全补偿绝对定位与相对定位之间的差。

此问题可通过相对于图像捕获时间中的一者测试在过程44中对绝对定位的计算完成的时间来解决。举例来说，在根据第8,217,997号美国专利的方法中，可将过程44完成的时间与在所涉及的两个帧中的第二者的图像捕获时间之后的选定延迟时间进行比较。如果过程44在所述阈值时间之前完成，那么如此确定的绝对位置值为相对“新鲜”的且将所述绝对位置传递到传感器融合子系统40以用于过程52到58。另一方面，如果过程44直到所述阈值时间已过去之后才完成，那么将绝对位置值视为“陈旧”的且不将所述结果传递到传感器融合子系统40以用于过程52。在所述情况中，在下一图像捕获时间之后立即重复绝对定位过程44，且接着使用所述新结果经由过程52来确定误差值EV等等。

根据上文所描述的本发明实施例，可将对相对位置结果的补偿视为对相对定位的“静态”校准，因为补偿因子是在已发生误差之后(例如，如图3c中所展示在时间t_C之前)导出的。更具体来说，此校准的静态性质是由相对定位子系统38基于指向装置10在取样时间之间的所检测运动而确定相对位置引起。

常规运动传感器(特定来说，惯性传感器)及对应相对定位系统通常依据标准化距离测量值(例如，显示器20处的mm或cm)而非作为像素来计算位置。将这些距离变换成像素需要如下应用变换乘数T_x：

$x_r^p\left(t_k\right)-x_r^p\left(t_{k-1}\right)=T_x[x_r^d\left(t_k\right)-x_r^d\left(t_{k-1}\right)]$

$y_r^p\left(t_k\right)-y_r^p\left(t_{k-1}\right)=T_y[y_r^d\left(t_k\right)-y_r^d\left(t_{k-1}\right)]$

其中是以像素为单位表达的相对位置，是以距离为单位表达的相对位置，且T_x是变换乘数(即，像素间距)。在上文所描述的“静态”校准的情景中，变换乘数T_x、T_y是常数且视情况在于过程50中确定相对位置的改变时应用。

然而，已观察到，变换乘数T_x、T_y在一些情形中可能未必保持恒定。首先，由于指向装置10未必与显示器20物理接触，因此可将指向装置10的不同线性物理移动转换成不同基于像素的移动，具体来说结合指向装置10到距显示器20的不同距离或与显示器20的不同角度的移动，此类移动导致不同视角。其次，考虑到将加速度转换成位移所需的两次积分可能随时间改变，将惯性传感器结果转换成物理测量值的准确度可能并非充足的。因此，假设变换乘数T_x、T_y将保持恒定可能并非始终有效。根据本发明的另一实施例，通过随时间(举例来说，在每次于过程44中确定绝对位置时)修改变换乘数T_x、T_y来实施对所计算相对位置的“动态”校准。以此方式，如现在将结合图7描述，将在例如相对-绝对位置误差发生的时间之前而非在如在“静态”校准的情况中的事实之后(举例来说，在其中计算在当前图像捕获时间的相对位置的过程52内)确定用于校正相对位置结果的补偿因子。

根据本发明的此实施例的过程52是响应于通过过程44对新绝对位置的计算而执行的，且如此是在如图2a及2b的交互式显示系统的操作期间执行的随时间的反复过程。在图7的过程60中，使用例如在此过程的先前实例中确定的变换乘数T_x、T_y的值计算在当前图像捕获时间的相对位置(即，其对应于新的绝对位置)。在过程62中，确定(在x及y方向两者上)在过程60中针对当前图像捕获时间t_k及先前图像捕获时间t_k-1计算的相对位置之间的相对位置差异：

$x_r^p\left(t_{k+1}\right)-x_r^p\left(t_k\right)=T_x\left(t_{k-1}\right)[x_r^d\left(t_{k+1}\right)-x_r^d\left(t_k\right)]$

$y_r^p\left(t_{k+1}\right)-y_r^p\left(t_k\right)=T_y\left(t_{k-1}\right)[y_r^d\left(t_{k+1}\right)-y_r^d\left(t_k\right)]$

其中变换乘数T_x(t_k-1)、T_y(t_k-1)是如根据先前图像捕获时间t_k-1确定的变换乘数。在过程64中，计算(同样在x及y方向两者上)如在过程44中针对当前及先前图像捕获时间t_k、t_k-1确定的绝对位置改变。接着应用过程62、64的结果来导出当前图像捕获时间的新变换乘数T_x(t_k)、T_y(t_k)：

$T_x\left(t_k\right)=T_x\left(t_{k-1}\right)\×\frac{x_a\left(t_k\right)-x_a\left(t_{k-1}\right)}{x_r^p\left(t_k\right)-x_r^p\left(t_{k-1}\right)}$

$T_y\left(t_k\right)=T_y\left(t_{k-1}\right)\×\frac{y_a\left(t_k\right)-y_a\left(t_{k-1}\right)}{y_r^p\left(t_k\right)-y_r^p\left(t_{k-1}\right)}$

其中x_v(t_k)及y_v(t_k)分别是在当前图像时间t_k在x及y方向上的绝对位置。在图像捕获时间t_k-1的先前相对位置x_r(t_k-1)及y_r(t_k-1)可对应于经校正相对位置或可代替地为未经校正的相对位置。

根据此方法，如果根据惯性传感器36的测量值计算的运动距离大于由在相同时间点的绝对位置指示的运动距离，那么将在过程66中减小变换乘数T_x、T_y。相反地，如果由绝对位置指示的运动大于如所感测及计算的相对位置，那么将通过过程66增加变换乘数T_x、T_y。

在过程68中，变换乘数的此改变将应用于针对当前图像捕获时间计算的相对位置。如果变换乘数T_x、T_y在过程66的最近实例中改变，那么将在过程68中调整在过程60中计算的相对位置。接着将把此经校正相对位置结果转发到过程54(图5)以用于确定误差值EV，如上文所描述。

预期，如果作为步阶校正应用，那么变换乘数T_x、T_y的改变可为足够大的使得显示器20处的可见结果将为明显及令人不安的。根据此动态校准方法的替代实施方案，可将加权因子w_Tx、w_Ty包含在过程66中对变换乘数T_x、T_y的计算中：

$T_x\left(t_k\right)=T_x\left(t_{k-1}\right)\×[\frac{x_a\left(t_k\right)-x_a\left(t_{k-1}\right)}{x_r^p\left(t_k\right)-x_r^p\left(t_{k-1}\right)}\×w_{\mathrm{Tx}}+(1-w_{\mathrm{Tx}})]$

$T_y\left(t_k\right)=T_y\left(t_{k-1}\right)\×[\frac{y_a\left(t_k\right)-y_a\left(t_{k-1}\right)}{y_r^p\left(t_k\right)-y_r^p\left(t_{k-1}\right)}\×w_{\mathrm{Ty}}+(1-w_{\mathrm{Ty}})]$

加权因子w_Tx、w_Ty可从指示绝对定位的低置信度(对于此，将不做出变换乘数的改变)的低水平0到指示绝对定位的高置信度(且对于此，将应用变换乘数的最大改变)的高水平1而变化。如果需要，那么在两个维度上的加权因子w_Tx、w_Ty可彼此不同。

如上文所描述，接着将新的变换乘数T_x、T_y应用于在当前图像捕获时间t_k的相对位置及由相对定位子系统38产生的相对位置值直到对那些变换乘数的下一更新(举例来说，在(从过程44)接收到下一绝对位置值时)为止。

结合本发明，还预期对上文所描述过程的其它替代方案及变化形式。一个此种变化形式包含分析根据视觉传感器35确定的绝对位置。结合本发明，已观察到，绝对位置结果中的误差可由于若干个因素而出现。在绝对位置确定中存在显著误差的情况下，如果相对位置经“校正”以符合所述错误绝对位置结果，那么误差将为复合的。举例来说，如果绝对位置的改变指示指向装置10移动向上60个像素及向右20个像素的距离，而在所述时间间隔内相对位置的改变指示向上12个像素及向左3个像素的移动，那么从两个检测模式之间的此显著误差导出的补偿因子可导致所得的所显示结果的显著误差，尤其是在“白板”应用中。类似误差可由于在过程66中对变换乘数的产生中且应用于计算新位置的错误校正而发生。

根据对上文所描述的过程的变化形式，通过将误差值EV与阈值进行比较来检测在过程44中产生的绝对位置值中的显著误差。所述阈值可为静态值，举例来说，与先前误差值EV的改变不大于±30％。或者，可在操作期间例如基于在若干个最近样本内的误差值EV的统计量而动态地调整阈值。在误差值EV超过阈值的情况下，可丢弃引起误差值EV的所述显著改变的绝对位置，且不使用所述误差值来在过程56中设定或更新补偿因子或在过程66中计算新的变换乘数。对此阈值设定过程的变化形式将为在假设错误绝对位置引起出乎意料地大的误差值EV之前分析相对位置值的行为以确定最近相对位置是否显现为与先前位置不一致。参考本说明书的所属领域的技术人员将明了对此阈值设定方法的其它变化形式。

如上文所论述且如在图3c的实例中所展示，本发明的实施例提供在以相对高的取样速率产生相对位置值时实时地补偿所述相对位置值因此追踪交互式显示系统中的远程指向装置所指向的位置的移动的能力。然而，本发明的实施例可用于在此交互式系统中的定位中做出其它类型的校正。

在这一方面的一种变化形式提供沿着显示器处的所指向位置所沿循的所估计路径插入“虚拟”相对位置点的能力。尽管相对定位取样速率显著高于绝对定位速率(其可被约束于取样速率)，但在一些情形中甚至进一步改进视在定位速率(“平滑”)可为有用的。这些情形的实例可在运动速度(例如，用户使用指向装置10“手写”的速度)较高使得相对位置之间的时间及距离较长从而导致路径的波状逐段线性表示时出现。根据本发明的实施例，可以与在过程52(图5)中计算相对位置几乎相同的方式在实际相对位置值之间内插“虚拟”相对位置。如上文所描述，可借助于线性时间内插或替代地基于在相对运动取样时间中的任一者的所感测速度向量(或两者的平均值)而导出实际相对位置之间的在这些“虚拟”取样时间中的一或多者的相对位置。

类似地，根据本发明的另一实施例，针对在当前所指向位置前面(即，在最近相对位置前面)的点而预测预测性“虚拟”相对位置。在本发明的此实施例中，在例如运动传感器36及相对定位子系统38操作以产生虚拟相对位置的时间之前，可使用在最近相对位置取样点处的速度向量或速度向量的量值或方向的最近改变来外推所述相对位置值。可在于所述时间或后来确定真实经校正相对位置后即替换或调整虚拟相对位置。然而，预测性相对定位可具有改进在“白板”情景中用指向装置10“书写”的自然感觉的效应，因为所预测位置可消除指向装置10的移动与所绘制线的再现之间的所感知时间滞后。

根据本发明的另一实施例，预期根据本发明的实施例导出的补偿因子还可用于对指向装置10的先前相对位置进行反向校正。可通过以下操作来并入此反向校正：将给定数目个相对位置(举例来说，在从最后绝对位置图像捕获时间以来的所有取样时间的位置)存储于存储器中，并接着基于在过程56的最近实例中确定的新补偿因子校正那些所存储的相对位置。如果基于那些相对位置而在显示器20上绘制线或路径，那么对先前相对位置的校正还可用于重新绘制所述路径(如果需要)。同样，细微地而非以急剧或突然的方式(其可引起对校正的关注)进行所述校正为有用的。可“全部地”(即，相同补偿因子用于校正所有先前位置)或以渐变方式来应用补偿因子，借助于所述渐变方式，所应用的补偿因子随着远离参考位置(在其处，位置被视为准确的)的距离(或时间间隔)而从零增加。

如上文相对于图4所提及，可在绝对定位系统37与相对定位子系统38之间交换信号，借助于所述信号，来自那些系统中的每一者的信息可辅助由另一者执行的定位任务。根据本发明的一些实施例，绝对定位系统37通过分析来自显示器20的部分或全部的所捕获图像以识别位于其中的定位目标图案而操作；还可从这些所捕获图像数据识别可见元素。如上文所提及，这些图像捕获时间在整个操作中周期性地继续，举例来说，以大约显示器20的帧速率的速率。在本发明的此实施例中，绝对定位系统37能够辨识所捕获图像数据内的元素且能够将来自一个图像捕获时间的那些元素与来自下一图像捕获时间的元素进行比较。对应于这些元素的数据可用于辅助相对定位过程。

参看图8，指向装置10正观看显示器20，显示器20正显示人类可见或人类不可见的元素70。如果指向装置10在图像捕获时间之间的时间期间朝向或远离显示器20(即，沿着垂直于显示器20的平面的z轴)移动，那么所捕获图像数据中的元素70将展示大小的改变，这可由绝对定位子系统37检测到。根据本发明的实施例，绝对定位子系统37将信号SIZE、SHAPE直接传递到相对定位子系统38。信号SIZE及SHAPE分别指示定位目标或另一所显示元素在相对时间间隔内的大小及形状改变。大小及形状改变的这些指示可分别辅助确定指向装置10在由子系统38执行的相对运动定位中的距离及角度。此辅助可呈对所感测相对运动的确认的性质或替代地用以通过使将由相对定位子系统38执行的必要分析变窄而加速相对定位计算。

相反地，由相对定位子系统38感测及分析的运动对于由绝对定位子系统37执行的计算可为有用的。如图4中所展示，相对定位子系统38将信号R_P_Y及X_Y_Z传递到绝对定位子系统37。信号R_P_Y指示指向装置10的横滚、俯仰及偏转移动，所述移动可由惯性传感器36在相对定位子系统38进行分析时直接检测。在图8的情景中，横滚是指指向装置10围绕z轴(即，垂直于显示器20的轴)的旋转。z轴是指向装置10在其以图8中所展示的方式直接指向显示器20时的纵向轴。俯仰是指指向装置10围绕x轴的旋转，在此实例中，x轴是平行于显示器20的平面的水平轴。类似地，偏转是指指向装置10围绕y轴的旋转，在此实例中，y轴是平行于显示器20的平面的垂直轴。一般来说，指向装置10将处于其中横滚、俯仰及偏转中的每一者均为非零的姿势。另一方面，信号X_Y_Z指示分别沿着x、y及z轴的线性运动。横滚、俯仰及偏转以及沿着三个轴中的每一者的线性运动的改变可有助于绝对定位计算，因为指向装置10的姿势指示其正指向的显示器20处的位置。根据本发明的此实施例，将信号R_P_Y及X_Y_Z从相对定位子系统38直接传递到绝对定位子系统37以辅助其计算。

对横滚角、俯仰角及偏转角的知晓允许绝对定位子系统37校正所捕获图像直到其显现为犹如指向装置10中的摄像机正以零偏转、俯仰及横滚看向图像一般。此校正将简化目标检测过程，因为所捕获图像中的定位目标将更紧密地彼此匹配。举例来说，如果横滚角是顺时针30度，那么第二所捕获图像将相对于第一所捕获图像以逆时针30度角显现于图像传感器14上。为了在此情况下简化目标检测，绝对定位子系统37将首先使第二帧的所捕获图像顺时针旋转30度，从而致使图像内的元素相对于第一所捕获图像处于零相对横滚且将接着仅查找不处于相对横滚的匹配图像。由惯性传感器17检测的线性运动还可通过提供绝对定位子系统37可在第二所捕获图像中查找从先前帧识别的对象的方向来帮助绝对定位过程。

如上文所提及，可通过使用视觉相对运动感测来检测指向装置10的相对运动。在此方法中，分析所捕获图像数据以确定所显示图像中的元素的移动，相对定位子系统38可从所述移动推断出所指向位置相对于先前位置的新位置。举例来说，如果图8中的指向装置10使其所指向位置朝向显示器20的左上角移动，那么元素70将显现为在所捕获图像数据中相对于先前所捕获的图像向下及向右移动。可根据此所检测相对运动来确定新的所指向位置，举例来说，借助于例如对象对齐等已知算法。

此视觉相对运动感测需要在显示器20处所显示的图像中的“纹理”，其可用于推断此相对运动。此可见纹理当然可由人类可见内容(例如文本、图形、显示器20的物理属性、显示器20外侧的对象等等)构成。然而，如上文所提及，根据本发明的实施例的交互式显示系统还既定供在其中用户可在以其它方式空白的显示器20上书写或绘制的“白板”应用中使用。无可见“情景”可存在于空白显示屏幕上，但仍需要对指向装置10所瞄准的显示器20处的位置的准确定位。

上文所并入的第8,217,997号美国专利中所描述的定位方法使得能够通过其对呈在连续显示帧中对目标图案的互补调制的形式的人类不可见定位目标的使用而在“白板”应用中准确地定位所指向位置。图9a及9b说明根据此定位方法的所显示数据的连续帧。举例来说，图9a中所展示的目标图案75a呈在第一帧中对显示器20处的给定位置中的背景图案的较暗调制的形式。图9b中所展示的目标图案75b说明在下一相继帧中的同一定位目标，其呈对背景图案的较亮调制的形式。根据上文所并入的第8,217,997号美国专利的绝对定位方法，使来自这两个帧的图像帧数据相减将抵消背景图像数据，但加强差分调制，从而突出显示显示器20的处于目标图案75a、75b两者中的那些像素。

然而，如从对图9a、9b的比较显而易见，目标图案75b处于与目标图案75a相比不同的位置中(较低且向右)，这是因为指向装置10在两个图像捕获时间之间的时间间隔期间的移动(在此实例中，朝向左上角)。对目标图案75b相对于目标图案75a的相对运动的准确检测将提供指向装置10在稍后时间的相对位置。常规视觉相对运动算法能够快速地执行对可见图像数据特征中的移动的此种分析，通常通过查找所显示元素的拐角及其它特征。然而，在图9a及9b的情景中，然而，对定位目标75a、75b的互补调制将不被常规视觉相对定位算法辨识为同一元素。因而，相对定位子系统38将不从图9a及9b的所捕获图像检测相对运动。

根据本发明的此实施例，通过跳过所捕获图像数据帧来执行视觉相对定位。图9c针对为在图9b的帧之后的下一相继帧的第三帧来说明显示器20。根据上文所并入的第8,217,997号美国专利的方法，目标图案75c将再次为对显示器20的背景图案的较暗调制，如从图9c显而易见。将常规视觉相对定位算法应用于图9a及9c的交替(第一及第三)帧将由于同一特征(目标图案75a、75c)显现于两个所捕获图像中而导致检测到相对运动。执行此算法的相对定位子系统38将容易地检测到指向装置10在那些交替帧之间的向左上方移动。

然而，由于根据本发明的此实施例的相对定位算法，相对运动计算的频率将减小一半(达到帧速率的一半的速率)。为了改进所述相对定位速率，相对定位子系统38可将视觉相对定位算法应用于第二帧(即，图9b的帧)且接着应用于紧接在图9c的第三帧之后的第四帧。这两个帧将均包含对定位目标的位置处的背景的较亮调制且将由相对运动算法辨识为同一图案。因此，可在紧接在图9c的第三帧之后的下一帧(即，第四帧)中确定相对运动的另一估计。所述相对定位可因此以显示器20的帧速率操作。

另外，根据本发明的此实施例，可针对在视觉相对定位中使用的两个帧(例如，图9a及9c的帧)之间的所跳过帧估计相对运动。此估计可基于以下假设：运动速度及方向在两个所分析帧之间是一致的。举例来说，如果假设指向装置10在第一帧与第三帧之间的移动速度及方向为恒定的，那么可将第二帧与第三帧之间的相对移动△x_2-3、△y_2-3估计为第一帧与第三帧之间的移动△x_1-3、△y_1-3的一半。

${\mathrm{\Δx}}_{2-3}=\frac{{\mathrm{\Δx}}_{1-3}}{2}$

${\mathrm{\Δy}}_{2-3}=\frac{{\mathrm{\Δy}}_{1-3}}{2}$

类似地，如果假设第二帧与第四帧之间的移动速度及方向为恒定的，那么可将第三帧与第四帧之间的相对移动估计为第二帧与第四帧之间的相对移动的一半。

还预期用以基于在交替帧中对定位目标的视觉检测而计算相对运动的其它方法。举例来说，如果计算在第二帧的时间的速度向量，那么可通过在第二帧期间的图像捕获时间与第三帧期间的图像捕获时间之间的时间间隔内应用所述速度向量来估计在第三中间帧的时间的相对运动。相反地，可通过应用针对第四帧期间的图像捕获时间计算的速度向量并在时间上内插回到第三帧期间的图像捕获时间来估计在第三帧的时间的相对运动。此外，在替代方案中，可使用第二帧及第四帧的两个速度向量的平均值来内插在第三中间帧的时间的相对位置。还预期用于估计这些相对位置的其它变化形式。在任何情况下，这些估计都允许视觉相对运动子系统每一帧提供定位信息，即使那些估计是基于两个交替帧之间的运动。

因此，根据本发明的实施例，实现了对远程指向装置所瞄准的图形显示器处的位置的既准确又快速的定位。可在指向装置与显示器之间的一距离范围内且以适合供在广泛的应用(包含电子“白板”的“低纹理”应用)中使用的方式来执行此极佳的定位。本发明的实施例还实现对定位结果的预测性以及反向校正性校正，这在这些“白板”应用中为特别有用的。

尽管已根据本发明的实施例描述了本发明，但当然预期参考本说明书及其图式的所属领域的技术人员将明了这些实施例的修改形式及替代方案，此类修改形式及替代方案获得本发明的优点及益处。预期此类修改形式及替代方案在如本文中随后所主张的本发明的范围内。

Claims (54)

1.一种操作包含手持式人类接口装置的计算机系统的方法，其包括：

在显示器上显示图像帧数据；

在手持式人类接口装置处捕获表示所述显示器的至少一部分的图像数据；

确定所述装置在图像捕获时间正指向的所述显示器处的绝对位置；

基于从所述手持式装置中的一或多个运动传感器获取的测量值而评估所述装置的运动；

对于多个取样时间中的每一者，相对于先前取样时间基于所述装置的所述所评估运动而确定所述装置正指向的所述显示器处的相对位置；

确定在所述图像捕获时间的所述绝对位置与在所述图像捕获时间的所计算相对位置之间的误差值，所述所计算相对位置是根据在第一及第二取样时间的所述相对位置计算的；以及

接着通过对应于所述误差值的补偿值来调整一或多个相对位置。

2.根据权利要求1所述的方法，其中所述图像捕获时间在所述第一与第二取样时间之间发生；

其中所述误差值包括在第一及第二正交方向中的每一者上的误差值分量；

且其中所述确定所述误差值的步骤包括：

将在所述图像捕获时间在所述第一方向上的所述相对位置计算为在所述第一取样时间在所述第一方向上的所述相对位置乘以所述第二取样时间与所述图像捕获时间之间的差加上在所述第二取样时间在所述第一方向上的所述相对位置乘以所述图像捕获时间与所述第一取样时间之间的差对所述第一与第二取样时间之间的差的比率；

将在所述图像捕获时间在所述第二方向上的所述相对位置计算为在所述第一取样时间在所述第二方向上的所述相对位置乘以所述第二取样时间与所述图像捕获时间之间的所述差加上在所述第二取样时间在所述第二方向上的所述相对位置乘以所述图像捕获时间与所述第一取样时间之间的所述差对所述第一与第二取样时间之间的所述差的比率；

将在所述第一方向上的所述误差值确定为在所述图像捕获时间在所述第一方向上的所述所计算相对位置与在所述第一方向上的所述绝对位置之间的差；以及

将在所述第二方向上的所述误差值确定为在所述图像捕获时间在所述第二方向上的所述所计算相对位置与在所述第二方向上的所述绝对位置之间的差。

3.根据权利要求1所述的方法，其中所述图像捕获时间在所述第一取样时间之后且在所述第二取样时间之前发生；

其中所述误差值包括在第一及第二正交方向中的每一者上的误差值分量；

且其中所述确定所述误差值的步骤包括：

基于从所述装置中的所述相对运动传感器获取的所述测量值而计算在所述第一取样时间在所述第一及第二方向上的速度；

将在所述图像捕获时间在所述第一方向上的所述相对位置计算为在所述第一取样时间在所述第一方向上的所述相对位置加上在所述第一取样时间在所述第一方向上的所述速度乘以所述图像捕获时间与所述第一取样时间之间的所述差的乘积；

将在所述图像捕获时间在所述第二方向上的所述相对位置计算为在所述第一取样时间在所述第二方向上的所述相对位置加上在所述第一取样时间在所述第二方向上的所述速度乘以所述图像捕获时间与所述第一取样时间之间的所述差的乘积；

将在所述第一方向上的所述误差值确定为在所述图像捕获时间在所述第一方向上的所述所计算相对位置与在所述第一方向上的所述绝对位置之间的所述差；以及

将在所述第二方向上的所述误差值确定为在所述图像捕获时间在所述第二方向上的所述所计算相对位置与在所述第二方向上的所述绝对位置之间的所述差。

4.根据权利要求1所述的方法，其中所述图像捕获时间在所述第一取样时间之后且在所述第二取样时间之前发生；

其中所述误差值包括在第一及第二正交方向中的每一者上的误差值分量；

且其中所述确定所述误差值的步骤包括：

基于从所述装置中的所述相对运动传感器获取的所述测量值而计算在所述第二取样时间在所述第一及第二方向上的速度；

将在所述图像捕获时间在所述第一方向上的所述相对位置计算为在所述第二取样时间在所述第一方向上的所述相对位置减去在所述第二取样时间在所述第一方向上的所述速度乘以所述第二取样时间与所述图像捕获时间之间的所述差；

将在所述图像捕获时间在所述第二方向上的所述相对位置计算为在所述第二取样时间在所述第二方向上的所述相对位置减去在所述第二取样时间在所述第二方向上的所述速度乘以所述第二取样时间与所述图像捕获时间之间的所述差；

将在所述第一方向上的所述误差值确定为在所述图像捕获时间在所述第一方向上的所述所计算相对位置与在所述第一方向上的所述绝对位置之间的所述差；以及

将在所述第二方向上的所述误差值确定为在所述图像捕获时间在所述第二方向上的所述所计算相对位置与在所述第二方向上的所述绝对位置之间的所述差。

5.根据权利要求1所述的方法，其中所述调整所述一或多个相对位置的步骤包括：根据加权因子与所述误差值的乘积确定所述补偿值；

将所述补偿值加到所述一或多个相对位置中的每一者。

6.根据权利要求5所述的方法，其中所述确定所述补偿值的步骤包括：

通过将第一方向的第一加权因子与所述误差值在所述第一方向上的分量相乘产生所述第一方向的第一补偿值；

通过将第二方向的第二加权因子与所述误差值在所述第二方向上的分量相乘产生所述第二方向的第二补偿值，所述第二加权因子不同于所述第一加权因子；

且其中所述相加步骤包括：

将所述第一补偿值加到在选定时间点的所述相对位置在所述第一方向上的分量；以及

将所述第二补偿值加到在所述选定时间点的所述相对位置在所述第二方向上的分量。

7.根据权利要求5所述的方法，其中所述确定所述补偿值的步骤包括：

通过恢复在所述捕获步骤中捕获的所述显示器的所述部分内的定位目标图案来确定所述绝对位置；

且其进一步包括：

响应于所述显示器的所述所捕获部分内所述定位目标图案的位置而产生所述加权因子。

8.根据权利要求1所述的方法，其中所述捕获步骤包括：

在帧序列上捕获表示所述显示器的包含所述定位目标的至少一部分的图像数据，所述定位目标图案对应于所述序列中的连续帧的一或多个选定像素位置处的互补强度方差；

其中所述确定所述显示器处的所述绝对位置的步骤包括：

处理图像数据以将所述所捕获图像数据的第一及第二相继帧彼此相减以在远离所述显示器观看时恢复所述定位目标图案；

响应于所述经恢复定位目标图案而确定所述显示器处的第一所指向位置；

响应于所述确定所述第一所指向位置的步骤在从所述第二帧捕获图像数据之后的选定延迟时间内完成，选择所述第一所指向位置作为所述绝对位置并选择从所述第二帧捕获图像数据的时间作为所述第一取样时间；以及

响应于所述确定所述第一所指向位置的步骤在所述从所述第二帧捕获图像数据之后的所述选定延迟时间后完成：

接着处理图像数据以将所述所捕获图像数据的所述第二帧及第三相继帧彼此相减以在远离所述显示器观看时恢复所述定位目标图案；

响应于所述经恢复定位目标图案而确定所述显示器处的第二所指向位置；以及

选择所述第二所指向位置作为所述绝对位置并选择从所述第三帧捕获图像数据的时间作为所述第一取样时间。

9.根据权利要求1所述的方法，其中针对多个相对位置重复所述调整步骤以导出多个经校正位置；

且其进一步包括：

在所述经校正位置中的相继者之间内插在一时间点的至少一个虚拟经校正位置。

10.根据权利要求1所述的方法，其中针对多个相对位置重复所述调整步骤以导出多个经校正位置；

且其进一步包括：

预测在比所述经校正位置中的最近一者晚的时间点的至少一个虚拟经校正位置。

11.根据权利要求1所述的方法，其进一步包括：

确定所述装置在所述第一取样时间之前的时间正指向的所述显示器的多个相对位置；以及

在所述确定所述误差值的步骤之后，通过对应于所述误差值的补偿值来调整在所述第一取样时间之前的所述多个相对位置中的每一者。

12.根据权利要求1所述的方法，其中所述确定相对位置的步骤包括：

相对于确定了其相对位置的先前取样时间检测所述装置在一取样时间的移动距离；

通过将所述所检测距离乘以变换乘数而将所述距离变换成所述显示器的像素数目；以及

将所述像素数目加到在所述先前取样时间的所述相对位置。

13.根据权利要求12所述的方法，其进一步包括：

通过以下操作来产生第一方向的第一变换乘数：将在所述第一方向上的像素密度乘以在两个取样时间之间在所述第一方向上的绝对位置改变对在所述两个取样时间之间在所述第一方向上的相对位置改变的第一比率；以及

通过以下操作来产生正交于所述第一方向的第二方向的第二变换乘数：将在所述第二方向上的像素密度乘以在两个取样时间之间在所述第二方向上的绝对位置改变对在所述两个取样时间之间在所述第二方向上的相对位置改变的第二比率；其中所述检测步骤检测在所述第一及第二方向中的每一者上的所述移动距离；

且其中所述变换步骤包括：

将在所述第一方向上的所述距离乘以所述第一变换乘数；以及

将在所述第二方向上的所述距离乘以所述第二变换乘数。

14.根据权利要求13所述的方法，其中所述产生所述第一变换乘数的步骤进一步包括：

将在所述第一方向上的所述像素密度与所述第一比率的乘积乘以第一加权因子；

且其中所述产生所述第二变换乘数的步骤进一步包括：

将在所述第二方向上的所述像素密度与所述第二比率的乘积乘以第二加权因子。

15.根据权利要求1所述的方法，其进一步包括：

响应于所述误差值超过容差极限，丢弃所述绝对位置而不在所述确定所述误差值的步骤中使用。

16.根据权利要求1所述的方法，其进一步包括：

针对后来的取样时间重复所述确定所述误差值的步骤，所述第一及第二取样时间与所述后来的取样时间之间的持续时间对应于所述误差值的量值。

17.根据权利要求1所述的方法，其中所述捕获步骤包括：

在包含第一及第二帧的帧序列内捕获表示所述显示器的包含定位目标的至少一部分的图像数据；

其中所述确定所述显示器处的所述绝对位置的步骤包括：

基于来自所述运动传感器的测量值而确定所述装置的横滚、俯仰、偏转及线性运动中的一或多者；以及

响应于所述装置的横滚、俯仰、偏转及线性运动中的所述一或多者，根据所述帧中的一者相对于先前帧的关系校正所述所捕获图像数据中的所述定位目标图案；以及

处理来自所述所捕获图像数据的所述第一及第二相继帧的所捕获图像数据以在远离所述显示器观看时恢复所述定位目标图案；以及

响应于所述经恢复定位目标图案而确定所述显示器处的所述绝对位置。

18.根据权利要求1所述的方法，其中所述一或多个运动传感器包括：

多个惯性传感器，其用于感测在三个正交方向上的相对运动，所述惯性传感器选自由加速度计、陀螺仪、磁场传感器及其组合组成的群组。

19.根据权利要求18所述的方法，其中所述一或多个运动传感器进一步包括：

图像捕获子系统。

20.根据权利要求1所述的方法，其中所述一或多个运动传感器包括：

图像捕获子系统。

21.根据权利要求1所述的方法，其中所述捕获步骤包括：

在帧序列上捕获表示所述显示器的包含定位目标的至少一部分的图像数据；

且其中所述确定所述装置在图像捕获时间正指向的所述显示器处的绝对位置的步骤包括：

识别来自所述序列中的一个帧的所述所捕获图像数据中的元素；以及

分析来自所述序列中的另一后来的帧的所述所捕获图像数据的一部分以识别所述选定部分中的所述元素，所述部分是响应于所述评估步骤的结果而选择的；以及

根据来自那些帧的所述所捕获图像数据中的匹配元素来确定所述显示器处的所述绝对位置。

22.根据权利要求1所述的方法，其中所述捕获步骤包括：

在帧序列上捕获表示所述显示器的包含定位目标图案的至少一部分的图像数据，所述定位目标图案对应于所述序列中的连续帧的一或多个选定像素位置处的互补强度方差；

且其中所述确定所述显示器处的所述相对位置的步骤包括：

在所述序列中的第一帧及第三帧的显示期间的取样时间捕获包含所述定位目标图案的图像数据，其中在所述序列中，所述第一帧、第二帧及所述第三帧在时间上是连续的；以及

通过将来自所述第一及第三帧的所述所捕获图像数据中的所述定位目标图案的位置进行比较来检测所述定位目标图案中的位置改变。

23.根据权利要求22所述的方法，其进一步包括：

确定所述装置在对应于所述第一及第三帧中的每一者的时间正指向的所述显示器的相对位置；以及

通过在对应于所述第一及第三帧的所述时间的所述相对位置之间进行线性内插来估计所述装置在对应于所述第二帧的时间正指向的所述显示器处的所述位置。

24.根据权利要求22所述的方法，其进一步包括：

确定所述装置在应于所述第一及第三帧中的每一者的时间正指向的所述显示器的位置；

基于来自所述运动传感器的所述测量值而确定所述装置在所述第一帧的所述时间的运动速度；以及

基于所述所确定速度以及对应于所述第一及第二帧的所述时间之间的时间差而估计所述装置在对应于所述第二帧的时间正指向的所述显示器处的所述位置。

25.根据权利要求22所述的方法，其进一步包括：

确定所述装置在对应于所述第一及第三帧中的每一者的时间正指向的所述显示器的位置；

基于来自所述相对运动传感器的所述测量值而确定所述装置在所述第三帧的所述时间的运动速度；以及

基于所述所确定速度以及对应于所述第二及第三帧的所述时间之间的时间差而估计所述装置在对应于所述第二帧的时间正指向的所述显示器处的所述位置。

26.根据权利要求22所述的方法，其进一步包括：

确定所述装置在对应于所述第一及第三帧中的每一者的时间正指向的所述显示器的位置；

基于来自所述相对运动传感器的所述测量值而确定在所述第一及第三帧中的每一者的所述时间的运动速度；

基于在所述第一帧的所述时间的所述所确定速度以及对应于所述第一及第二帧的所述时间之间的时间差而估计所述装置在对应于所述第二帧的时间正指向的所述显示器处的第一位置；

基于在所述第三帧的所述时间的所述所确定速度以及对应于所述第二及第三帧的所述时间之间的时间差而估计所述装置在对应于所述第二帧的时间正指向的所述显示器处的第二位置；以及

基于所述第一与第二位置的平均值而确定所述装置在对应于所述第二帧的时间正指向的所述显示器处的所述位置。

27.根据权利要求22所述的方法，其进一步包括：

在所述序列中的所述第二帧及第四帧的显示期间的取样时间捕获包含所述定位目标图案的图像数据，在所述序列中，所述第四帧与所述第三帧在时间上是连续的；

基于从所述运动传感器获取的测量值而检测所述装置在对应于所述序列中的所述第二及第四帧的时间之间的运动；

根据所述装置在对应于所述第二及第四帧的所述时间之间的所述所检测运动确定在对应于所述第三帧的所述时间的运动角度；

根据在对应于所述第三帧的所述时间的所述所确定运动角度估计在对应于所述第二帧的所述时间的运动角度；以及

基于所述所估计运动角度而确定所述装置在对应于所述第二帧的所述时间正指向的所述显示器处的位置。

28.一种交互式显示系统，其包括：

计算机，其用于产生将在显示器上显示的显示图像数据；

图形输出电路，其用于以适合于显示的格式产生对应于所述显示图像数据的图形输出信号；

指向装置，其包括：

手持式外壳；

图像传感器，其安置于所述外壳中；

一或多个运动传感器；以及

图像捕获电路，其用于捕获由所述图像传感器获得的图像数据；以及

定位电路，其用于通过执行多个操作来确定所述指向装置瞄准的所述显示器处的位置，所述多个操作包括：

确定所述装置在图像捕获时间正指向的所述显示器处的绝对位置；

基于从所述运动传感器获取的测量值而评估所述手持式装置的运动；

对于多个取样时间中的每一者，相对于先前取样时间基于所述装置的所述所评估运动而确定所述装置正指向的所述显示器处的相对位置；

确定在所述图像捕获时间的所述绝对位置与在所述图像捕获时间的所计算相对位置之间的误差值，所述所计算相对位置是根据在第一及第二取样时间的所述相对位置计算的；以及

接着通过对应于所述误差值的补偿值来调整一或多个相对位置。

29.根据权利要求28所述的系统，其中所述一或多个运动传感器包括：

多个惯性传感器，其用于感测在三个正交方向上的相对运动，所述惯性传感器选自由加速度计、陀螺仪、磁场传感器及其组合组成的群组。

30.根据权利要求29所述的系统，其中所述一或多个运动传感器进一步包括：

所述图像传感器；以及

图像捕获子系统。

31.根据权利要求28所述的系统，其中所述一或多个运动传感器包括：

所述图像传感器；以及

所述图像捕获子系统。

32.根据权利要求28所述的系统，其中所述图像捕获时间在所述第一与第二取样时间之间发生；

其中所述误差值包括在第一及第二正交方向中的每一者上的误差值分量；

且其中所述确定所述误差值的操作包括：

将在所述图像捕获时间在所述第一方向上的所述相对位置计算为在所述第一取样时间在所述第一方向上的所述相对位置乘以所述第二取样时间与所述图像捕获时间之间的差加上在所述第二取样时间在所述第一方向上的所述相对位置乘以所述图像捕获时间与所述第一取样时间之间的差对所述第一与第二取样时间之间的差的比率；

将在所述图像捕获时间在所述第二方向上的所述相对位置计算为在所述第一取样时间在所述第二方向上的所述相对位置乘以所述第二取样时间与所述图像捕获时间之间的所述差加上在所述第二取样时间在所述第二方向上的所述相对位置乘以所述图像捕获时间与所述第一取样时间之间的所述差对所述第一与第二取样时间之间的所述差的比率；

将在所述第一方向上的所述误差值确定为在所述图像捕获时间在所述第一方向上的所述所计算相对位置与在所述第一方向上的所述绝对位置之间的差；以及

将在所述第二方向上的所述误差值确定为在所述图像捕获时间在所述第二方向上的所述所计算相对位置与在所述第二方向上的所述绝对位置之间的差。

33.根据权利要求28所述的系统，其中所述图像捕获时间在所述第一取样时间之后且在所述第二取样时间之前发生；

其中所述误差值包括在第一及第二正交方向中的每一者上的误差值分量；

且其中所述确定所述误差值的操作包括：

基于从所述装置中的所述相对运动传感器获取的所述测量值而计算在所述第一取样时间在所述第一及第二方向上的速度；

将在所述图像捕获时间在所述第一方向上的所述相对位置计算为在所述第一取样时间在所述第一方向上的所述相对位置加上在所述第一取样时间在所述第一方向上的所述速度乘以所述图像捕获时间与所述第一取样时间之间的所述差的乘积；

将在所述图像捕获时间在所述第二方向上的所述相对位置计算为在所述第一取样时间在所述第二方向上的所述相对位置加上在所述第一取样时间在所述第二方向上的所述速度乘以所述图像捕获时间与所述第一取样时间之间的所述差的乘积；

将在所述第一方向上的所述误差值确定为在所述图像捕获时间在所述第一方向上的所述所计算相对位置与在所述第一方向上的所述绝对位置之间的所述差；以及

将在所述第二方向上的所述误差值确定为在所述图像捕获时间在所述第二方向上的所述所计算相对位置与在所述第二方向上的所述绝对位置之间的所述差。

34.根据权利要求28所述的系统，其中所述图像捕获时间在所述第一取样时间之后且在所述第二取样时间之前发生；

其中所述误差值包括在第一及第二正交方向中的每一者上的误差值分量；

且其中所述确定所述误差值的操作包括：

基于从所述装置中的所述相对运动传感器获取的所述测量值而计算在所述第二取样时间在所述第一及第二方向上的速度；

将在所述图像捕获时间在所述第一方向上的所述相对位置计算为在所述第二取样时间在所述第一方向上的所述相对位置减去在所述第二取样时间在所述第一方向上的所述速度乘以所述第二取样时间与所述图像捕获时间之间的所述差；

将在所述图像捕获时间在所述第二方向上的所述相对位置计算为在所述第二取样时间在所述第二方向上的所述相对位置减去在所述第二取样时间在所述第二方向上的所述速度乘以所述第二取样时间与所述图像捕获时间之间的所述差；

将在所述第一方向上的所述误差值确定为在所述图像捕获时间在所述第一方向上的所述所计算相对位置与在所述第一方向上的所述绝对位置之间的所述差；以及

将在所述第二方向上的所述误差值确定为在所述图像捕获时间在所述第二方向上的所述所计算相对位置与在所述第二方向上的所述绝对位置之间的所述差。

35.根据权利要求28所述的系统，其中所述调整所述一或多个相对位置的操作包括：

根据加权因子与所述误差值的乘积确定所述补偿值；

将所述补偿值加到所述一或多个相对位置中的每一者。

36.根据权利要求35所述的系统，其中所述确定所述补偿值的操作包括：

通过将第一方向的第一加权因子与所述误差值在所述第一方向上的分量相乘产生所述第一方向的第一补偿值；

通过将第二方向的第二加权因子与所述误差值在所述第二方向上的分量相乘产生所述第二方向的第二补偿值，所述第二加权因子不同于所述第一加权因子；且其中所述相加操作包括：

将所述第一补偿值加到在选定时间点的所述相对位置在所述第一方向上的分量；以及

将所述第二补偿值加到在所述选定时间点的所述相对位置在所述第二方向上的分量。

37.根据权利要求35所述的系统，其中所述确定所述补偿值的操作包括：

通过恢复在所述捕获步骤中捕获的所述显示器的所述部分内的定位目标图案来确定所述绝对位置；

且其中所述多个操作进一步包括：

响应于所述显示器的所述所捕获部分内所述定位目标图案的位置而产生所述加权因子。

38.根据权利要求28所述的系统，其中所述捕获操作包括：

在帧序列上捕获表示所述显示器的包含所述定位目标的至少一部分的图像数据，所述定位目标图案对应于所述序列中的连续帧的一或多个选定像素位置处的互补强度方差；

其中所述确定所述显示器处的所述绝对位置的操作包括：

处理图像数据以将所述所捕获图像数据的第一及第二相继帧彼此相减以在远离所述显示器观看时恢复所述定位目标图案；

响应于所述经恢复定位目标图案而确定所述显示器处的第一所指向位置；

响应于所述确定所述第一所指向位置的步骤在从所述第二帧捕获图像数据之后的选定延迟时间内完成，选择所述第一所指向位置作为所述绝对位置并选择从所述第二帧捕获图像数据的时间作为所述第一取样时间；以及

响应于所述确定所述第一所指向位置的步骤在所述从所述第二帧捕获图像数据之后的所述选定延迟时间后完成：

接着处理图像数据以将所述所捕获图像数据的所述第二帧及第三相继帧彼此相减以在远离所述显示器观看时恢复所述定位目标图案；

响应于所述经恢复定位目标图案而确定所述显示器处的第二所指向位置；以及

选择所述第二所指向位置作为所述绝对位置并选择从所述第三帧捕获图像数据的时间作为所述第一取样时间。

39.根据权利要求28所述的系统，其中针对多个相对位置重复所述调整操作以导出多个经校正位置；

且其进一步包括：

在所述经校正位置中的相继者之间内插在一时间点的至少一个虚拟经校正位置。

40.根据权利要求28所述的系统，其中针对多个相对位置重复所述调整操作以导出多个经校正位置；

且其进一步包括：

预测在比所述经校正位置中的最近一者晚的时间点的至少一个虚拟经校正位置。

41.根据权利要求28所述的系统，其中所述多个操作进一步包括：

确定所述装置在所述第一取样时间之前的时间正指向的所述显示器的多个相对位置；以及

在所述确定所述误差值的操作之后，通过对应于所述误差值的补偿值来调整在所述第一取样时间之前的所述多个相对位置中的每一者。

42.根据权利要求28所述的系统，其中所述确定相对位置的操作包括：

相对于确定了其相对位置的先前取样时间检测所述装置在一取样时间的移动距离；

通过将所述所检测距离乘以变换乘数而将所述距离变换成所述显示器的像素数目；以及

将所述像素数目加到在所述先前取样时间的所述相对位置。

43.根据权利要求42所述的系统，其中所述多个操作进一步包括：

通过以下操作来产生第一方向的第一变换乘数：将在所述第一方向上的像素密度乘以在两个取样时间之间在所述第一方向上的绝对位置改变对在所述两个取样时间之间在所述第一方向上的相对位置改变的第一比率；以及

通过以下操作来产生正交于所述第一方向的第二方向的第二变换乘数：将在所述第二方向上的像素密度乘以在两个取样时间之间在所述第二方向上的绝对位置改变对在所述两个取样时间之间在所述第二方向上的相对位置改变的第二比率；其中所述检测操作检测在所述第一及第二方向中的每一者上的所述移动距离；且其中所述变换操作包括：

将在所述第一方向上的所述距离乘以所述第一变换乘数；以及

将在所述第二方向上的所述距离乘以所述第二变换乘数。

44.根据权利要求43所述的系统，其中所述产生所述第一变换乘数的操作进一步包括：

将在所述第一方向上的所述像素密度与所述第一比率的乘积乘以第一加权因子；

且其中所述产生所述第二变换乘数的操作进一步包括：

将在所述第二方向上的所述像素密度与所述第二比率的乘积乘以第二加权因子。

45.根据权利要求28所述的系统，其进一步包括：

响应于所述误差值超过容差极限，丢弃所述绝对位置而不在所述确定所述误差值的操作中使用。

46.根据权利要求28所述的系统，其进一步包括：

针对后来的取样时间重复所述确定所述误差值的操作，所述第一及第二取样时间与所述后来的取样时间之间的持续时间对应于所述误差值的量值。

47.根据权利要求28所述的系统，其中所述捕获操作包括：

在包含第一及第二帧的帧序列内捕获表示所述显示器的包含定位目标的至少一部分的图像数据；

其中所述确定所述显示器处的所述绝对位置的操作包括：

基于来自所述运动传感器的测量值而确定所述装置的横滚、俯仰、偏转及线性运动中的一或多者；以及

响应于所述装置的横滚、俯仰、偏转及线性运动中的所述一或多者，根据所述帧中的一者相对于先前帧的关系校正所述所捕获图像数据中的所述定位目标图案；以及

处理来自所述所捕获图像数据的所述第一及第二相继帧的所捕获图像数据以在远离所述显示器观看时恢复所述定位目标图案；以及

响应于所述经恢复定位目标图案而确定所述显示器处的所述绝对位置。

48.根据权利要求28所述的系统，其中所述捕获操作包括：

在帧序列上捕获表示所述显示器的包含定位目标的至少一部分的图像数据；且其中所述确定所述装置在图像捕获时间正指向的所述显示器处的绝对位置的操作包括：

识别来自所述序列中的一个帧的所述所捕获图像数据中的元素；以及

分析来自所述序列中的另一后来的帧的所述所捕获图像数据的一部分以识别所述选定部分中的所述元素，所述部分是响应于所述评估操作的结果而选择的；以及

根据来自那些帧的所述所捕获图像数据中的匹配元素来确定所述显示器处的所述绝对位置。

49.根据权利要求28所述的系统，其中所述捕获操作包括：

在帧序列上捕获表示所述显示器的包含定位目标图案的至少一部分的图像数据，所述定位目标图案对应于所述序列中的连续帧的一或多个选定像素位置处的互补强度方差；

且其中所述确定所述显示器处的所述相对位置的操作包括：

在所述序列中的第一帧及第三帧的显示期间的取样时间捕获包含所述定位目标图案的图像数据，其中在所述序列中，所述第一帧、第二帧及所述第三帧在时间上是连续的；

通过将来自所述第一及第三帧的所述所捕获图像数据中的所述定位目标图案的位置进行比较来检测所述定位目标图案中的位置改变。

50.根据权利要求49所述的系统，其中所述多个操作进一步包括：

确定所述装置在对应于所述第一及第三帧中的每一者的时间正指向的所述显示器的相对位置；以及

通过在对应于所述第一及第三帧的所述时间的所述相对位置之间进行线性内插来估计所述装置在对应于所述第二帧的时间正指向的所述显示器处的位置。

51.根据权利要求49所述的系统，其中所述多个操作进一步包括：

确定所述装置在应于所述第一及第三帧中的每一者的时间正指向的所述显示器的位置；

基于来自所述运动传感器的所述测量值而确定所述装置在所述第一帧的所述时间的运动速度；以及

基于所述所确定速度以及对应于所述第一及第二帧的所述时间之间的时间差而估计所述装置在对应于所述第二帧的时间正指向的所述显示器处的所述位置。

52.根据权利要求49所述的方法，其中所述多个操作进一步包括：

确定所述装置在对应于所述第一及第三帧中的每一者的时间正指向的所述显示器的位置；

基于来自所述相对运动传感器的所述测量值而确定所述装置在所述第三帧的所述时间的运动速度；以及

基于所述所确定速度以及对应于所述第二及第三帧的所述时间之间的时间差而估计所述装置在对应于所述第二帧的时间正指向的所述显示器处的所述位置。

53.根据权利要求49所述的方法，其中所述多个操作进一步包括：

确定所述装置在对应于所述第一及第三帧中的每一者的时间正指向的所述显示器的位置；

基于来自所述相对运动传感器的所述测量值而确定在所述第一及第三帧中的每一者的所述时间的运动速度；

基于在所述第一帧的所述时间的所述所确定速度以及对应于所述第一及第二帧的所述时间之间的时间差而估计所述装置在对应于所述第二帧的时间正指向的所述显示器处的第一位置；

基于在所述第三帧的所述时间的所述所确定速度以及对应于所述第二及第三帧的所述时间之间的时间差而估计所述装置在对应于所述第二帧的时间正指向的所述显示器处的第二位置；以及

基于所述第一与第二位置的平均值而确定所述装置在对应于所述第二帧的时间正指向的所述显示器处的所述位置。

54.根据权利要求49所述的方法，其中所述多个操作进一步包括：

在所述序列中的所述第二帧及第四帧的显示期间的取样时间捕获包含所述定位目标图案的图像数据，在所述序列中，所述第四帧与所述第三帧在时间上是连续的；

基于从所述运动传感器获取的测量值而检测所述装置在对应于所述序列中的所述第二及第四帧的时间之间的运动；

根据所述装置在对应于所述第二及第四帧的所述时间之间的所述所检测运动确定在对应于所述第三帧的所述时间的运动角度；

根据在对应于所述第三帧的所述时间的所述所确定运动角度估计在对应于所述第二帧的所述时间的运动角度；以及

基于所述所估计运动角度而确定所述装置在对应于所述第二帧的所述时间正指向的所述显示器处的位置。