CN111226187A - 通过镜子与用户交互的系统和方法 - Google Patents

Abstract

本发明提供了一种与双向反射镜交互的方法。当用户远离所述镜子站立时，第一对象显示为呈现在所述镜子的前面。当所述用户靠近所述镜子站立时，第二对象显示为呈现在所述镜子的后面。

Description

通过镜子与用户交互的系统和方法

技术领域

本发明各实施例涉及一种交互式系统。更具体地，本发明各实施例涉及一种用于通过镜子与用户交互的方法和系统。

背景技术

交互式数字消费产品的最新发展趋势是使日常物品更具交互性。用户越来越多地使用设备来查看他们的邮件、天气信息、交通路线等。例如，用户现在可以在他们的设备上查看与天气、几天(几周、几个月)的日程安排有关的个性化信息。此外，这些设备上的一些应用可使用户能够在他们的设备上阅读新闻、交通信息和一天的日程表，以及其它信息。

但是，用户在白天可能使用一些非活动设备。这些非活动设备的范围从用户早晨用来看自己的镜子到饭店、办公室和家中的玻璃桌。考虑到重点在于增加非活动设备的交互特性，需要这些(或类似的)非活动设备变为活动的并实时为用户提供更多信息。

专利申请US20160093081 A1公开了一种设备，包括：显示器，用于在所述显示器上的对象显示位置处显示对象，所述对象与要提供给用户的信息有关，以及在所述显示器上的反射用户影像位置处提供反射用户影像；以及处理器，用于检测所述反射用户影像位置，以及基于所述反射用户影像位置来确定所述对象的所述显示位置。

发明内容

本发明的目的是提供一种用于通过镜子与用户交互的方法和系统。

上述和其它目的通过独立权利要求的主题来实现。其它实施形式在从属权利要求、具体说明和附图中显而易见。

根据第一方面，一种与双向反射镜交互的方法包括：

检测用户在离所述镜子第一距离处站立，所述第一距离大于预设阈值；

根据所检测到的第一距离在显示器上显示第一对象，所述第一对象在所述用户看来如同呈现在所述镜子的前面，所述显示器放置在所述镜子的后面；

检测所述用户在离所述镜子第二距离处站立，所述第二距离小于所述预设阈值；以及

根据所检测到的第二距离在所述显示器上显示第二对象，所述第二对象在所述用户看来如同呈现在所述镜子的后面。

所述镜子用于向所述用户反射真实场景，并用于向所述用户传递所述显示器显示的信息。表述“对象在所述用户看来如同呈现在所述镜子的前面/后面”可解释如下：所述对象被聚焦在所述镜子前面/后面的焦平面上。

根据所述第一方面的所述方法中的另一实施方式，所述第二对象不同于所述第一对象。

根据所述第一方面的所述方法中的又一实施方式，所述第二对象与所述第一对象相同。

根据所述第一方面的所述方法中的又一实施方式，所述第二对象呈现为与所述镜子中的用户自身映像交互。

根据又一实施方式，所述第二对象呈现为在所述用户的可及范围内可得。

根据又一实施方式，所述方法还包括：调整自由立体排列，以根据所述第一距离和/或所述第二距离呈现所述第一对象和/或所述第二对象。

根据又一实施方式，在考虑以下任一项或以下项的任意组合的情况下显示所述第一对象和/或所述第二对象：所述用户到所述镜子的距离、所述用户的眼睛到所述镜子的距离，以及所述用户的头部到所述镜子的距离。

根据又一实施方式，所述方法还包括以下任一项或以下项的任意组合：

所述用户的眼距估计；

所述用户的人脸检测；

所述用户的存在检测；

所述用户的视线跟踪；以及

所述用户的运动检测。

根据又一实施方式，所述方法还包括：

根据以下任一项或以下项的任意组合，调整所述第一对象和/或所述第二对象的呈现：

所述用户的眼距估计；

所述用户的人脸检测；

所述用户的存在检测；

所述用户的视线跟踪；以及

所述用户的运动检测。

根据第二方面，提供了一种系统，包括：

显示器，用于显示信息并且放置于半透明表面的后面；

相机装置；以及

处理子系统，用于：

接收所述相机装置提供的第一输入数据，其中所述第一输入数据与第一距离相关，所述第一距离是用户与所述半透明表面之间的距离，所述第一距离大于预设阈值；

控制所述显示器显示第一对象，所述第一对象在所述用户看来如同呈现在所述半透明表面的前面；

接收所述相机装置提供的第二输入数据，所述第二输入数据与第二距离相关，所述第二距离是所述用户与镜子之间的距离，所述第二距离小于预设阈值；以及

控制所述显示器显示第二对象，所述第二对象在所述用户看来如同呈现在所述半透明表面的后面。

根据所述第二方面的另一实施方式中，所述第二对象呈现为与所述镜子中的用户自身映像交互。

根据所述第二方面的又一实施方式，所述第二对象呈现为在所述用户的可及范围内可得。

根据所述第二方面的又一实施方式，所述处理子系统用于调整自由立体排列，以根据所述第一距离和/或所述第二距离呈现所述第一对象和/或所述第二对象。

根据所述第二方面的又一实施方式，所述处理子系统还用于执行以下任一项或以下项的任意组合：

所述用户的眼距估计、所述用户的人脸检测、所述用户的存在检测、所述用户的视线跟踪以及所述用户的运动检测。

根据又一方面，提供了一种系统。所述系统包括：显示器，用于显示信息并且放置于半透明表面的后面；相机装置；以及处理子系统，用于：接收所述相机装置提供的输入数据，其中所述输入数据包括第一距离，所述第一距离是用户与所述半透明表面的平面之间的距离；以及控制所述显示器执行以下操作：如果所述第一距离大于预设阈值，则将对象聚焦到所述半透明表面前面的焦平面上；和/或如果所述第一距离小于所述预设阈值，则将所述对象聚焦到所述半透明表面后面的焦平面上。

当所述用户远离所述镜子/显示器时，相比于查看出现在所述镜子/显示平面后面的内容，查看出现在所述镜子/显示器前面的立体内容是一种更舒适的体验。相反，当所述用户靠近所述镜子/显示器时，观看所述镜子/显示平面后面的立体内容更舒适。由于所述处理子系统，改进了用户与所述系统交互时的增强现实效果。

根据本发明的又一实施方式，提供了一种方法。所述方法包括：接收相机装置提供的输入数据，其中所述输入数据包括第一距离，所述第一距离是用户与半透明表面的平面之间的距离；以及控制显示器执行以下操作：如果所述第一距离大于预设阈值，则将对象聚焦到所述半透明表面前面的焦平面上；和/或如果所述第一距离小于所述预设阈值，则将所述对象聚焦到所述半透明表面后面的焦平面上。所述显示器放置于所述半透明表面的后面。

根据本发明的第三方面，提供了一种电子设备，以包括用于执行上述方法的相应构件。

根据本发明的第四方面，提供了一种计算机程序产品。所述计算机程序产品用于执行上述方法。

根据本发明的第五方面，提供了一种包括软件代码的计算机程序。所述计算机程序用于执行上述方法。

根据本发明的第六方面，提供了一种包括上述计算机程序的计算机可读存储介质。

根据本发明的第七方面，提供了一种计算机可读存储介质，其包括使得上述电子设备执行上述方法的指令。

附图说明

本发明的其它实施例将结合以下附图进行描述，其中：

图1示出了根据一实施例的智能镜的示例示意图；

图2示出了一种示例智能镜方案；

图3示出了另一种示例智能镜方案；

图4示出了根据一实施例的智能镜系统的示意图；

图5a示出了根据一实施例的动态视差屏障生成机制的示意图；

图5b示出了根据一实施例的动态视差屏障生成机制的示意图；

图5c示出了根据一实施例的动态视差屏障生成机制的示意图；

图6a至图6g示出了根据各种实施例的智能镜系统的示意图；

图7示出了根据实施例的智能镜系统的示意图；

图8示出了根据一实施例的智能镜系统的示意图；

图9示出了根据一实施例的智能镜系统的示意图；

图10示出了根据一实施例的通过智能镜系统创建用户化身的示意图；

图11a至图11c示出了根据各种实施例的由智能镜系统提供的内容分层机制；

图12a至图12b示出了根据各种实施例的手势识别算法的示意图；

图13示出了根据一实施例的智能镜系统的示意图；

图14示出了根据一实施例的智能镜系统算法的示意图；

图15示出了根据一实施例的智能镜系统的用例；

图16示出了根据一实施例的智能镜系统的示意图；

图17a至图17b示出了根据一实施例的智能镜系统的用例；

图18示出了根据一实施例的智能镜系统的用例；

图19示出了根据一实施例的智能镜系统的用例；

图20示出了根据一实施例的智能镜系统的用例；

图21示出了根据一实施例的智能镜系统的用例；

图22a至图22c示出了根据一实施例的智能镜系统的用例；

图23a至图23c示出了根据一实施例的智能镜系统的用例；

图24a至图24c示出了根据一实施例的智能镜系统的用例；

图25示出了根据一实施例的具有弯曲显示面的智能镜系统的示意图；

图26示出了用于各种显示构件的智能镜系统；

图27示出了可以用于实施上述附图所示特征的任意方面的说明性计算功能。

在附图中，相同的附图标记用于相同或至少功能等同的特征。

具体实施方式

增强现实(augmented reality，AR)通过将虚拟对象叠加到用户视景上来增强用户体验。AR是物理、现实环境的现场直接或间接视图，该环境中的元素通过声音、视频、图形或GPS数据等计算机生成的感官输入进行增强(或补充)。

大多数现有AR方案需要外部设备，例如透视眼镜或智能手机/平板电脑。这些设备存在局限性。例如，眼镜由于很重，戴起来不舒服。由于生理原因，3D渲染也是一项艰难的任务。电池仍然是使这些外部设备能持续运作的一个挑战。受较小屏幕(智能手机或平板电脑屏幕)限制的裁剪视图无法提供沉浸式体验。

镜子是日常生活中经常使用的常见物品。可以通过有用的信息丰富所反射的场景。主要功能保持不变，而且可以根据用户的意愿打开/关闭增强现实。该方法一般不被视为侵入式的，并且能很自然地被用户接受，因为其无缝且实用。

双向镜是一种部分反射部分透明的镜子。在明亮的房间中，双向镜通常用作的一面明显正常的镜子，另一边有一个暗得多的房间。明亮房间中的人们看到他们自己的映像，如同他们在普通镜子前面一样。较暗房间中的人们透过镜子看东西就如同透过透明的窗户看。

虚拟镜或智能镜是这样一种设备：该设备在屏幕上显示用户自身影像，好像该屏幕是一面镜子。

图1示出了智能镜的原理。该智能镜由显示层12、双向镜11和图形计算设备(未示出)组成。计算设备用图形的方式将虚拟对象渲染到放置在双向镜11后面的显示层12中。双向镜11使来自显示器12的图形信息穿过其自身到达用户10，并且还将实景反射给用户10。由于实现，显示层12与双向镜12之间的间距13按惯例固定。该间距13对用户10体验到的增强现实沉浸感有直接影响。

智能镜的第一类别可以归类为“面向小工具的”智能镜。叠加对象提供了镜子中的一些有用信息。然而，反射影像中的叠加对象仅仅是提供信息的(例如小工具或影像)且是扁平的。这些信息性字段(例如股票、流量)的组成主要是静态的，例如不考虑用户的映像。

智能镜的第二类别专注于增强现实体验。这种镜子通过在用户面部叠加组成模拟来增强现实。但是合成影像(例如用户面部+组成)并非使用镜子上的实时反射面部来创造交互体验，而是从智能镜系统中的相机所捕获的用户面部建立。

图2示出了一种智能镜实施方式，其可能使得很难同时关注数字图形和自然映像。

增强现实在智能镜中很难实现。这主要通过用户映像与靠近镜子的显示层之间的距离来解释。如果用户将焦点集中于虚拟对象，则后面的场景对于用户来说很模糊。这在图2的底部示出，左侧场景：用户10看着显示屏焦点(即，帽状图形的焦点)，帽状图形聚焦于该焦点并在该焦点处被清晰感知。但是，人的映像很模糊。另一方面，如果用户的兴趣点是反射场景，则显示层中的虚拟对象对于用户来说很模糊。这在图2的底部示出，右侧场景：用户10看着人自身的映像焦点，人的映像在该反射焦点处聚焦并被清晰感知。但是帽状图形对用户来说很模糊。在这两种情况下，增强现实可能都未实现。

图3示出了一种固定距离方案。在一种情况下，第一距离D1将用户10与半透明镜子11分隔开，第二距离D2将半透明镜子11与显示设备12分隔开。用户10将感知他的反射虚拟影像10'如同在2×D1的深度出现。可安排系统的设置，以使用户在使用镜子时与镜子相隔距离D1，其中距离D1近似等于第二距离D2。通过使D1近似等于D2，这种固定距离方案允许改进增强现实体验。在示例性实施方式中没有限制，例如，D1和D2都可近似等于3英尺。但是，在这种情况下，用户位置受系统硬件设置的限制。例如，如果距离D1随着用户10进一步远离镜子11站立而变化，则D1变得基本上不等于D2，D2通过设计固定。然后，如图2所示的用户眼睛调节问题可能会再次出现。在这种情况下，增强现实可能未实现。

可以设想，如本发明所述，可以采用一种将用户从位置约束中释放出来的设计来丰富用户的增强现实体验。

以下结合附图进行详细描述，所述附图是描述的一部分，并通过图解说明的方式示出可以实施本发明的具体方面。可以理解的是，在不脱离本发明范围的情况下，可以利用其他方面，并可以做出结构上或逻辑上的改变。因此，以下详细的描述并不当作限定，本发明的范围由所附权利要求书界定。

可以理解的是，与所描述的方法有关的内容对于与用于执行方法对应的设备或系统也同样适用，反之亦然。例如，如果描述了具体方法步骤，则相应设备可包括执行所描述的方法步骤或相应功能的单元/模块，即使该单元/模块没有在图中详细描述或图示，反之亦然。此外，本领域技术人员将会理解，本文中所描述的各种示例性方面的特征可相互组合，除非另有特殊说明。本发明提及的所有参考，例如专利申请、维基百科条目和论文，均以引入的方式并入本文本中。

本发明提出的智能镜系统提供了各种实施例。在一些实施例中，通过合并计算机视觉、自由立体、3D渲染和现实世界反射，可改进全息增强现实的感知。自由立体是任何就观看者而言不使用特殊头盔或眼镜即可显示立体影像的方法。由于不需要头盔，所以也被称为“免眼镜3D(glasses-free 3D)”或“无眼镜3D(glassesless 3D)”。这种机制可以应用于各种环境下，例如家中、车辆中。在一些实施例中，为一个或多个用户提供了机制以通过为每个用户自动适应最佳全息效果来避免看到立体伪影。在一些实施例中，智能镜系统允许多个用户同时交互。在一些实施例中，使用可调视差过滤和/或显示器分辨率来补偿显示器与镜子之间的距离的限制。在一些实施例中，系统可根据眼距自动校准3D虚拟机制中的透视相机，不同用户的眼距可能有所不同。这种机制允许每个用户有一个专用最佳校准集，无需手动配置。在一些实施例中，通过检测感兴趣视图(例如使用视线跟踪)，系统可以优化渲染过程，例如，将计算资源用于空间中的特定区域或体积，而不是为整个场景渲染图形。这样，提高了资源利用效率。在一些实施例中，通过仅在感兴趣区域内创造增强效果，可以减少计算工作量。在一些实施例中，利用一个常见用例，例如照镜子，用户实际上看到的是他/她自身的映像在操纵虚拟对象。因此，系统可在物理世界与虚拟世界之间创建直观连接。这可与其它增强现实方案形成对比，后者要求用户在操纵空气中的虚拟对象的同时转过头去看屏幕。这些其它方案通常需要用户进行一些调整。

图4示出了根据一实施例的智能镜系统400的示意图。系统400依赖于处理子系统409(例如处理器)，处理子系统409可包含图形引擎/智能镜引擎410，并连接到放置在双向镜或半透明表面405后面的显示器401。镜子是半透明的，特别是对显示器发出的光是透明的。除此之外，影像捕获装置407(例如，具有一个/两个/更多相机的相机系统)以及可选地自由立体装置402(例如，动态视差屏障或柱状透镜)耦合到处理器409。视差屏障是一种放置在液晶显示器等影像源前面以允许其显示立体或多视觉影像而无需观看者佩戴3D眼镜的设备。视差屏障放置在正常的LCD前面，包含具有一系列精准分隔的狭缝的不透明层，从而允许每只眼睛看到一组不同的像素，以通过视差创造一种深度感，其效果类似于透镜印刷为印刷产品和柱状透镜为其它显示器所产生的效果。柱状透镜是一组放大镜，被设计成当从略微不同的角度观看时，不同的影像被放大。最常见的示例是在透镜印刷中使用的透镜，其中透镜印刷技术用来给人一种深度的错觉，或者用来使影像在从不同角度观看时看起来发生了变化或移动。

在一个实施例中，双向镜405通过反射真实场景并穿过显示层401中的虚拟对象来构成增强现实场景。屏幕401显示增强现实场景中的虚拟对象。中央处理器409管理相机输入、显示器和视差屏障输出。计算机视觉处理使用一个或多个相机(407-1、407-2)进行。相机系统407执行面部、眼睛、视线、手势、手控跟踪、面部和对象识别等任务。深度帧采集可以使用一个或多个相机407进行，用于估计用户面对镜子的距离/位置，或一般用于估计用户相对于可放置双向镜的平面的距离/位置。使用动态视差屏障405渲染自由立体。动态视差屏障可以是放置在彩色LCD 401前面的透明LCD设备。处理器409控制动态视差屏障显示以渲染彼此相隔一定距离的垂直狭缝以及来自彩色LCD的彩色像素。视差屏障中的裂缝允许观看者从他们的左眼位置只能看到左边的影像像素，从右眼只能看到右边的影像像素。处理器可以根据观看者的位置即时生成最佳视差模式。

“智能镜引擎(Smart Mirror Engine)”SME 410集图形和计算机视觉于一体，发挥重要的作用，可以处理相机输入(例如用户位置/距离、眼睛距离、视线、手势跟踪、兴趣点、面部和对象识别)。其是一个图形引擎，可以优化反射场景中的叠加层并通过以下方式增强用户体验：2D图形、2.5D图形(透视、视差效果)、3D/全息图(自由立体技术)。

SME 410的目标之一是提供良好的图形渲染选择，该选择根据从输入中收集的信息来增强图形用户界面。SME 410的描述和操作在下文中进一步详述。

估计用户与镜子之间的距离是SME 410的一个重要部分。这可以通过多种方法实现，例如3D相机(例如双相机)、基于光的深度估计(例如模式投影、飞行时间)或任何其它方法。

系统400可包括其它功能(未示出)，例如扬声器、麦克风、人工智能助手。预计本领域技术人员已知的许多其它消费电子产品功能也可并入系统400中。

系统400可支持各种通信协议，包括但不限于超文本传输协议(Hyper TextTransfer Protocol，HTTP)、邮局协议(Post Office Protocol，POP)、时分多址(TimeDivision Multiple Access，TDMA)、码分多址(Code Division Multiple Access，CDMA)、无线应用协议(Wireless Application Protocol，WAP)、3GPP通信技术(例如GSM、WCDMA、LTE、LTE-A、5G)、Wi-Fi(使用无线电波来提供无线高速因特网和网络连接的流行无线网络技术的名称；Wi-Fi^TM是一种商标用语，表示IEEE 802.11x)和蓝牙(用于进行短距离数据交换的无线技术标准，由蓝牙技术联盟(Bluetooth Special Interest Group)管理)。BLUETOOTH^TM是爱立信(Telefonaktiebolaget LM Ericsson)拥有的注册商标。应注意，上面列出的协议仅作为示例提供；预计系统400可支持本领域技术人员已知的诸多其它协议。在一个实施例中，系统400作为Wi-Fi AP进行工作。

动态视差屏障是渲染自由立体3D对象的重要元素。可以使用Alioscopy透镜阵列或3D眼镜等其它技术来渲染3D对象。但是引入第一个提到的技术的原因是：其是无缝的或无玻璃；比透镜法便宜；最后但同样重要的是，其带来了一种可能的动态用法，稍后将在本发明中详细描述。

在一个实施例中，通过使用透明的单色屏幕(例如LCD屏幕)，系统400合并了动态自由立体效果生成和计算机视觉采集技术，从而即时创建专门针对用户位置的视差屏障。视觉采集技术包括但不限于：人脸检测，用于估计人到镜子的距离和人的位置；视线跟踪，用于估计用户对场景中感兴趣的视图；深度扫描，用于将真实环境解译为3D场景；以及身体骨架和/或手势识别，用于实现现实与虚拟世界的交互。

图5a示出了根据一实施例的动态视差屏障生成机制。为了获得良好的立体体验，我们可以将视差屏障508(包括不透明块506)放置在与显示器分辨率对应的显示器511(例如LCD屏幕、OLED屏幕、AMOLED屏幕)相距精确距离的位置，从而使像素干扰减到最少。在图中，Deye 505表示用户的左眼503与右眼504之间的距离，Duser 510表示用户与视差屏障508之间的距离，Dpixel表示可通过显示器调节的左像素501与右像素502之间的距离，Dparallax 509表示显示器与视差屏障508之间的距离。这四个参数满足以下等式，以帮助用户获得良好的立体体验：

与图5a类似，图5b示出了根据一实施例的动态视差屏障生成机制的示意图。由于视差使用了一个透明的单色屏幕，所以通过这个屏幕有可能动态创建任何视差模式。这种机制允许用户自由地左右移动。例如，系统跟踪用户的眼睛位置，并在掩模屏幕(例如透明单色屏幕)上生成适当的视差屏障图案以过滤右眼504或左眼503的像素。注意视差屏障如何让像素光在2个图之间的不同位置通过。

与图5a类似，图5c示出了根据一实施例的动态视差屏障生成机制的示意图。为了动态适应用户距离Duser，提出了按比例调整图形的显示分辨率Dpixel。这四个参数保持满足以下等式，以帮助用户获得良好的立体体验：

这种机制允许用户自由地远近移动。例如，系统跟踪用户的位置并在掩模屏幕上生成适当的视差屏障图案，以便为用户过滤像素。

图6a至图6d示出了根据本发明实施例的智能镜系统600。计算设备410(例如SME)使用计算机视觉(例如相机系统407)在空间中跟踪用户的头部位置。然后获知脸部与双向镜405之间的距离(即Duser)。SME 410还控制视差屏障402(例如可以显示任何视差屏障图案的透明LCD)将显示器401(例如RGB显示器)发出的像素光过滤至特定角度。当系统600检测到用户站在镜子405前面时，其根据上述图5a至图5c中的机制生成视差屏障图案。同时，计算设备410可以生成3D帧，在显示器401上显示。

当用户移动时(参见如图6b)，系统根据用户位置自动调整视差屏障402上的视差图案和显示器401上的图形分辨率。可选地，视差屏障功能402可以(自动或手动地)打开/关闭，以适应用户的需求。

该系统可以用于识别感兴趣区域(参见图6c)。该系统可使用视线跟踪功能(例如通过相机功能407)来评估空间中的视线方向，还可根据视线向量在3D地图中评估感兴趣视图。例如，计算设备410使用计算机视觉技术(例如相机系统407)跟踪用户的视线方向。其可以表示为3D空间中的两个向量，每只眼睛一个向量；或者使用头部方向。可选地，通过利用上述过程的输出、深度映射和在空间中检测到的脸部位置，系统可以为用户评估主观视场，从而估计用户具体在看向哪里(即，感兴趣的视图)。在图6c中，用户602正对着右手手掌601看。例如，相机系统407识别这一感兴趣的区域(即，右手手掌601)，并将这一信息提供给计算设备410。计算设备410可以据此行动，例如，向显示器401和/或屏障402提供指令以使它们据此行动。

在另一个实施例中，参见图6d，可以使用人脸检测和视线跟踪以及系统的已知结构参数(例如相机和/或镜子规格)为多个用户评估主观视场。

用例

在单用户场景中，系统获取用户身体的实时深度成像。帧通常是深度帧。可使用RGB-D格式的帧。系统收集与用户身体相关的点云，并计算与用户身体的以下相关部分有关的点云：头部、前臂和手。跟踪头部是一项较简单的任务，因为用户在镜子前面应该以最小的高度保持相对静止，而手的检测具有更大的动态性。但是，考虑到人体形态学，头部检测有助于手臂和手的检测。这种方法允许区分点云与智能镜前面的可移动对象或动物。通过跟踪手，系统允许用户通过用户自身映像与虚拟对象交互。

图6e示出了根据本发明实施例的创建增强现实内容的智能镜系统600。如上所述，用户602可以根据感兴趣的人物视图(例如手掌601)和手在空间中的位置来感知到全息对象606被放置在空间中。例如，在现实世界中，用户602举起他的右手601。用户602从镜子中看到自己的映像(602'、601')。系统如上文所述进行运作以在显示器401上生成图形并相应地控制屏障402的运作。从用户的眼睛可以看到全息对象放在手掌601'上。请注意，在用户602靠近镜子405站立的情况下，虚拟对象606在用户602看来如同呈现在镜平面与用户自身映像602'之间。

在多用户同步场景中，系统针对每个用户并行执行与单用户场景类似的操作，只是全息效果将会应用于智能镜上的单用户区域。系统可以通过分配每个用户前面的邻近区域来划定区域，也可以跟踪视线向量并使全息效果应用于智能镜的任何地方。系统为每个用户创建一个特定的视差屏障图案，还创建交织的RGB帧，分别在每个单用户区域内显示。

图6f至图6g示出了根据本发明实施例的在多用户情况下创建增强现实内容的智能镜系统600。例如，如果检测到多个用户，则系统将与为每个用户生成的屏障图案和图形(即，内容和分辨率)同时操作。由于视差屏障屏幕可由计算系统控制，所以可以创建多个视差图案(402-1、402-2)，每个图案针对感兴趣的非重叠区域内的每个用户。用户与镜子之间的距离可能不同，参见图6g。请注意，在用户靠近镜子站立的情况下，虚拟对象在用户看来如同呈现在镜平面与用户自身映像之间。

在下文中，引入各种功能/模块/用例(及其任意组合)来描述本发明提出的智能镜系统的变体/详情。

全图(2D/2.5D/3D)引擎

提出了一种创建增强现实内容的系统，可以通过自然反射舒服地观看该增强现实内容。系统根据用户上下文动态参数(例如距离、视线方向、自定义校准)自动调整数字内容的显示。内容可以通过自由立体装置在全息渲染中显示，也可以通过伪深度透视来显示，伪深度透视也称为2.5D。系统在观看立体内容时可能会考虑视觉不适的副作用。这种不适是由调节差异和眼球会聚引起的。为了解决这个问题，系统默认可以显示保留在差异调节相对于聚散的容许范围内的全息内容，以便使视觉不适减到最低。

系统还用于执行一种实现与虚拟对象交互的方法。这通过利用用户的自然反射与虚拟对象交互来实现，而非通过渲染3D指针来实现。用户可以通过其手的映像操纵虚拟对象，并能得到即时的视觉反馈。这个设计界面直观且易于理解，因为用户能在增强现实中看到自己的行为。

系统根据用户距离自动调整立体内容：当用户与屏幕相距较远距离(参数化)时，全息内容显示在镜子前面，离镜子距离较近。当用户站在智能镜附近时，系统进入交互模式，数字图形出现在镜平面的后面，但更接近用户自身映像。

图21示出了根据一实施例的智能镜系统的用例。在本用例中，对象呈现为在镜子前面而用户远离镜子站立(例如，对象被聚焦在镜子前面的焦平面上)，以及对象呈现为在镜子后面而用户靠近镜子站立(例如，对象被聚焦在镜子后面的焦平面上)。例如，识别到用户2101远离镜子2104站立(例如，距离大于预设阈值，系统进入非交互模式2110)。对象2105呈现为放置在镜子前面的3D对象，如同用户看到的那样。如果识别到用户2101靠近镜子2104站立(例如，距离小于预设阈值，系统进入交互模式2111)，则系统可展示更丰富的UI来显示更多元素(例如2106)，并允许进行交互(例如，2107呈现为放置在用户自身映像2101'的手上，如同用户2101看到的那样)。注意，虚拟体积的深度可以是用户与镜子之间的距离的一部分。

在交互模式场景中，焦点(LCD平面)和聚散点(全息图)总是很靠近，因此尝试限制由于调节和聚散差异而导致的视觉不适的风险。

图21所示的系统包括三个主要任务：输入采集、交互和渲染。输入采集可能涉及的技术模块包括实时深度成像采集、人脸识别和视线跟踪。交互可能涉及的技术模块包括用户的手和手指识别，以及用户的身体跟踪。渲染任务可能涉及的技术模块包括：用于对场景建模的3D引擎，其最后可以模拟用户的主观视图；通过为用户创建或加载的虚拟内容进行丰富；将显示在显示器(例如LCD)上的立体交织帧生成；以及与交织帧和用户头部位置同步的视差屏障生成。该3D引擎创建可以用3D、2D或2.5D渲染的图形。

图7示出了根据本发明实施例的用于实现智能镜系统中的上述SME引擎的功能/模块/算法。

存在检测701

当在智能镜附近范围内未检测到用户时，系统可能不会显示任何内容，但会持续监控是否有用户存在。存在检测可以使用深度成像设备进行，其中的处理阶段用来实时分析深度帧，从而识别人的存在。人体检测可以通过运动检测特征触发。

用户识别702

当检测到用户时，系统可选择性地识别用户，以便加载个性化内容、校准和首选项设置。否则，系统会为任意用户使用默认预设值。用户识别优选地依赖于人脸识别，但是不限制使用替代性方法来识别人，例如使用以近距感测为特征的其它个人设备。人脸识别过程受益于以下事实：用户头部相对静止地置于智能镜前面，并且人脸识别会受到最小高度和最大高度的限制。人脸识别的高度范围可以通过软件配置进行参数化。深度数据有助于从智能镜的图片，例如家里的相框，中识别出真实的面孔。RGB-D帧在识别人时可利用更多的面部特征来提高准确性。如果识别到用户，则用户的配置文件可以用于定义手势控制校准。

用户视点模拟703

本阶段包括在3D世界中调换用户在镜子上看到的内容(包括用户自己的映像)。

虚拟相机放置

系统可跟踪用户的头部位置、眼睛和视线方向。还有一点要注意，如果系统已经识别到用户，那么其可以加载校准设置以更准确地跟踪用户头部位置的视线。校准设置可包含眼距等信息，以便优化眼睛跟踪过程。

通过确定头部和眼睛的位置，系统将这些位置从现实世界坐标系转换为3D世界坐标系。每只眼睛都有一个虚拟相机，相机位置与现实世界中用户的眼睛位置紧密联系。系统可以估计真实空间中的眼睛位置并将虚拟相机投影到虚拟位置中，代替用户的眼睛模拟主观视角。虚拟相机位置计算依赖于用户头部距离值，在前一阶段，已经通过嵌入在智能镜系统中的深度传感器监测到用户头部距离值。因此，使用三角法计算头部到镜平面的距离，这是因为传感器相对于镜平面的位置和方向是固定的，可在工厂进行校准。结合人脸检测结果和深度数据，还可以获知眼睛高度。从人脸检测提取出的可以基于2D RGB帧处理的眼睛特征与深度点云相关。可以立即找到对应的眼睛点云并且可以估计眼睛高度。

为了重建3D世界中的主观场景(即，对用户实际通过镜子看到的场景进行3D重建)，系统可对来自镜平面的点云采用对称投影。替代性地，虚拟相机可放置在与来自镜平面的眼睛点云对称的位置处。点云可能不是对称投影的。

系统不限于一个深度传感器，可以使用多个深度传感器以多个角度最佳地覆盖用户身体。

图8示出了根据一实施例的智能镜系统的示意图。用户801与镜子802之间存在距离807。他/她可以在距离805处从镜子中看到真实场景801'，距离805是距离807的两倍。系统800可以通过相机系统803(例如深度传感相机系统)估计距离807和眼睛高度809。然后，系统800可以在3D世界中创建用户化身点云801-1。虚拟相机803'在距离805'处看到用户化身，距离805'是从807转化过来的(例如，805'是距离807的两倍)。

视线跟踪

在获得眼睛位置后进行视线跟踪。可通过从RGB-D帧中分析用户的头部位置和眼睛来计算视线估计。由此产生的视线向量用于确定与用户当前注视的位置对应的感兴趣的锥形体积。锥形体积用于计算镜平面上的交叉区域。这个交叉区域的一个用途是增强智能镜区域中较小但相关的部分的渲染，而不是在较大且超出范围的区域中使用密集的渲染过程。增强的渲染过程可包括使用全息效果或增强分辨率，或使用一些视觉提示，用于向用户表明系统确定了感兴趣的体积。视觉提示可以通过对感兴趣的体积内的对象增强对比度来实现，从而增强颜色效果。例如，如果用户正看着特定内容的方向，那么聚焦的内容可以启动发光的动画效果，或者可以向用户的化身映像稍微滑动。视线跟踪数据的另一个用途是界定主观的单用户全息渲染。锥形大小可通过以角度表示的可配置的水平和垂直视场确定。在自然双目视觉中，人眼水平覆盖约114度(双眼)，垂直覆盖约135度。因此，系统不得超过这些值。系统可根据用户与镜子之间的距离来动态调整视场参数。因此，随着用户距离智能镜越近，使用的视场可能增加。可以利用视场与用户距离之间的这种相关性来调整沉浸效果，方法是在镜子的较大或较小区域上使用视觉增强，取决于用户是靠近镜子还是远离镜子。外部区域可以同时供其他用户使用，只要这些主观区域不重叠。跟踪多个用户的视线向量有助于通过检测区域重叠来检测是否发生了这种冲突。

图9示出了根据一实施例的智能镜系统的示意图。系统900使用视线跟踪技术来估计用户801感兴趣的区域。可选地，系统可以从分辨率、动画效果、颜色、对比度等各种方面在估计区域901中使用增强图形效果。

3D引擎中的用户化身

系统不断获取深度成像帧以跟踪用户身体，用户身体所产生的点云被插入到3D世界中。因此，用户在3D世界中有一个化身表示，但是这个化身可能不被渲染。其目的是实现与渲染的虚拟对象交互。

图10示出了根据一实施例的通过智能镜系统创建用户化身的示意图。用户身体1003被建模(例如，通过上述SME引擎)到3D世界中，但是没有渲染到输出显示器上。创建这一化身是为了与虚拟对象1004交互。

生成图形内容704

(a)保持舒适观看

观看自由立体内容时的视觉不适被称为调节与聚散冲突。这种冲突对人类视觉系统有影响。根据一项研究，自然视觉引发了调节动力学和聚散动力学之间的相关性。回忆一下，调节是眼睛对近处或远处的对象聚焦的动作；聚散是两眼向近处或远处的对象收敛的运动。对于计算机生成的立体图形，数字图形显示在屏幕(例如LCD屏幕)上的一个固定焦点处，但渲染的3D对象可能实际上被放置在用户视点的可变距离处，导致眼睛的聚散运动。根据一项研究，调节和聚散差异有一个容许范围，在该范围内可以观看立体影像而不会有视觉不适。根据一项研究，当用户远离屏幕时，观看出现在屏幕前面的立体内容比观看出现在屏幕平面后面的内容的体验更舒适。相反，当用户靠近屏幕时，观看屏幕平面后面的立体内容更舒适。

(b)内容分层

系统运行显示一组交互式虚拟对象的应用。这些交互式对象可以用全息效果渲染，也可以用伪透视效果渲染。使用全息效果渲染的对象实际上优选放置在用户的映像与镜平面之间。将全息效果限制为将虚拟对象放置在用户的映像与镜平面之间是软件可配置的，这个参数可以替换为每个用户的设置。最佳地，为方便用户，将全息对象放置在智能镜的下方，使得用户的手或手指能够抓取或触摸到对象。

系统可动态地将下方区域(显示全息对象的区域)调整为从用户的视点来看低于用户头部映像，而上方区域则占据显示器的其余部分。系统可根据用户高度或者手和前臂的检测来估计用户手的最大可及距离。这种估计可根据基于人体形态学的一般考虑来计算，也可通过检测前臂和手等特征来更具体地针对用户。最大可及距离用于确定3D世界中放置交互式对象的三维空间范围。因此，这些交互式对象始终出现在用户的可及范围内，取决于用户在空间中的位置和形态属性。

图11a至图11c示出了根据本发明实施例的由智能镜系统提供的内容分层机制。

在图11a中，用户1102看到智能镜UI分成2个部分。上部用于显示出现在用户后面的没有自由立体效果的信息(例如文本1104-1、文本和图形1104-2)。下部用于显示全息对象1103，用户1102可通过触摸镜子1101(例如触摸敏感镜)或即时抓取(在未示出的手势/骨架/运动检测机构的帮助下)来与全息对象1103交互。

在图11b中，当用户1102向左或向右倾斜/移动时，智能镜系统可通过同步多层内容(例如文本1104-1、文本和图形1104-2)的2D位置来模拟伪透视效果，从而给用户景深印象。

在图11c中，在视线向量与视差平面1105相交时产生视差图案。平面2D内容1104沿着Z轴放置。平面内容1104可根据用户的头部位置在X轴和Y轴上略微移动，从而给用户2.5D印象。显示器1106与镜子和视差屏障一起工作以便给用户这样的印象：体积1108的存在实现了2D或2.5D内容1104，体积1107实现了全息内容1103。请注意，在用户1102靠近镜子站立的情况下，虚拟对象1103在用户看来如同呈现在镜平面与用户自身映像1102'之间。

用伪透视效果渲染的对象可位于智能镜显示器的上部，这样内容会出现在用户头部后面。由于跟踪了用户的头部位置，所以通过对内容进行响应性的多层渲染来实现伪透视。组合层的位置随着用户头部的移动同步更新，与Z轴顺序成比例，所以最远的层看起来比最近的层更静态。为了实现令人信服的内容出现在用户后面的效果，内容看起来可能依据用户映像进行了裁剪。这通过用户在3D世界中的化身来实现，该化身遮挡了不被渲染的内容的像素。

交互707

由于全息渲染在智能镜的近距离范围内实现，所以用户在智能镜平面附近可感知到清晰的虚拟对象和物理映像(例如用户的手)。这允许用户通过用户自身映像来操纵虚拟对象，在这里作为对象操纵者的视觉参考。通过利用用户的自然映像，可能无需渲染视觉指针。这种交互性模式也考虑到限制视觉不适(由调节和聚散差异引起)。由于焦点(例如LCD的位置)和聚散点(例如全息图看起来出现的位置)在靠近的平面中，所以处于调节相对于聚散差异的人类视觉容许范围内。

系统不断获取深度帧，这产生点云插入到3D世界中，该点云可以直接与3D世界中的任何对象交互。最好在3D引擎(例如SME 410)中并入物理引擎以增强对象碰撞、摩擦和速度等真实效果。无需检测特定的人类特征，系统就可以检测任意形状的虚拟接触，从而与增强现实对象交互。例如，用户可以使用笔或其它指向设备来触摸虚拟对象。例如，通过立方体的不同表面上的至少两个接触区域，可以检测到抓取或两指捏住。以下是可能的交互示例：抓取或捏住、挤压或压缩、拉伸、触摸、击打和投掷。

但是系统可支持更复杂的交互，这意味着识别手势。在这种情况下，有必要检测手和手指并进行处理以对手势分类。由于系统已经检测到用户的头部或脸部，所以系统与人体形态学知识相关联以将手臂、手、手指的检测限定在深度帧的某些部分。系统可搜索位于用户头部与智能镜表面之间的手，并搜索相对于头部大小缩放的手部大小。检测到手和手指后，系统可以对手势进行分类，无论手势是静态的还是涉及运动。下面是系统可以识别的手势的示例：剪刀剪切、拇指向上/朝下、显示数字，以及OK/停止/暂停手势。

结合视线跟踪

为了提高交互准确性，系统可以利用视线跟踪来限定感兴趣的体积。感兴趣的体积为锥形，其顶峰面向用户的头部。该感兴趣的体积有助于识别用户打算与哪些对象交互。体积中包含的虚拟对象可以用图形或动画效果进行高亮显示，也可以用更高的分辨率进行渲染。

图12a至图12b示出了根据本发明实施例的手势识别算法的示意图。

图12a示出了系统如何对一只手进行静态和动态手势识别。图12b示出了系统如何对双手分别进行手势识别。双手手势识别通常是与最终分类阶段并行处理上述手势识别。可能不会对RGB-D输入帧的不同区域都执行手的检测，因为一些动态手势可能涉及一只手暂时遮挡另一只手，对于这种情况，通过将手的深度位置与先前的检测相关联，有可能区分遮挡的手与被遮挡的手。

渲染705

渲染优选地为出现在镜平面与用户自身映像之间的对象创建全息效果。这种偏好是为了减少由调节与聚散冲突引起的可能的视觉不适。全息效果可用于智能镜下部，在用户手的映像的接触范围内。智能镜的上部可用于显示出现在用户自身映像后面的内容。用户自身映像可能会遮挡智能镜上部的内容。这些内容可使用2D伪透视或全息效果渲染，但不能同时使用这两者。这种变化的原因是存在可能的视觉不适，全息对象看起来越远，调节-聚散差异越大，可能的视觉不适也就越大，而用户的眼睛可适应智能镜表面后面的固定RGB显示器。用户可以对如何渲染上部内容进行参数化。为了产生内容出现在用户自身映像后面的效果，内容可能会被用户的点云所遮挡。系统可将属于用户身体的点云与属于家具等用户环境的点云进行分割。这个分割过程是在已知头部位置的情况下进行的。系统可丢弃比头部全局位置更远的所有点。在3D世界中，系统可以确定如何部分遮挡深度值大于化身头部的虚拟内容。用户的点云可能不被渲染。

在3D世界中，系统先前已计算两个虚拟相机的位置和方向，每个相机代表一只眼睛的视角。系统从每个视角的两个同步帧中生成一个交织的RGB帧，该RGB帧直接显示在LCD上。同时，在同步中，系统生成一个相对于用户头部位置计算的视差屏障图案。图13为全息内容的渲染过程。对于非3D伪透视效果，只可利用一台透视相机，并可直接在LCD上显示对应的帧。

图13示出了根据一实施例的智能镜系统的示意图。该系统提供3D采集和渲染。系统可使用深度扫描(例如，相机系统支持的深度扫描，未示出)，以使计算设备(例如上述SME)能以3D方式表示环境。然后，系统可以显示包含了真实场景中的参数的3D场景。通过获取用户的面部距离和用户眼睛之间的感知距离，可以调整(3D世界中的)2台相机1304、1305之间的距离1307。相机的3D位置1309通过人脸跟踪过程确定。相机与3D对象1306之间的距离“d”1308可以通过获取用户的脸部距离进行调整。例如，d＝(2×D)×缩放因子+偏移。显示器1310在显示器上显示对象。借助镜子1302和自由立体构件1311，全息对象1306在与人的映像1301'相同的焦距处对用户显示。

光检测

系统可包括光源检测，以便在渲染对象时通过使用模拟真实环境光照条件的虚拟光源来提高真实感。目的是模拟与用户的视点和光照条件相关的虚拟对象的阴影效果。还可以根据检测到的光照条件来增强对象表面的渲染。光源需要定位，可以在虚拟世界中模拟这些光源。

图14示出了根据一实施例的具有光源检测功能的智能镜系统的示意图。图14基于图7构建。已经结合图7描述的步骤(用相同的参考编号表示)将不再描述。

图15示出了根据一实施例的智能镜系统的用例。该系统可以检测真实光源并模拟虚拟对象1505的阴影1506。用户1501在看镜子1502时可体验改进的增强现实。请注意，在用户1501靠近镜子1502站立的情况下，虚拟对象1505在用户1501看来如同呈现在镜平面与用户自身映像1504'之间。

图16示出了根据一实施例的描述智能镜系统的功能的示意图。请注意，本图示出了各种功能/构件/模块/算法，它们的任何组合都在本发明的范围内，只要任何特定组合都不偏离所提议的本发明的原则。虚线框表示可选特性，这些特性在特定的特性组合中可能被选择性地忽略，如本领域技术人员所知。各项功能的描述如下：

方框1601：可选地，生成RGB-D捕获帧；

方框1602：是否检测到人；

方框1603：可选地，识别人；

方框1604：可选地，加载用户配置文件；

方框1605：可选地，跟踪眼睛和/或头部位置；

方框1606：可选地，生成视线向量；

方框1607：进行深度帧处理；

方框1608：估计人的距离；

方框1609：可选地，更新3D相机的位置和方向以模拟用户的视点；

方框1610：可选地，设置3D世界的边界；

方框1611：可选地，将虚拟对象生成到3D世界中；

方框1612：从左右相机生成交织帧；

方框1613：渲染到显示器；

方框1614：在显示器的特定区域内生成视差图案；

方框1615：运动/手势检测；

方框1616：交互。

令人信服的增强现实可以是3D的，这意味着叠加的虚拟对象可使用3D渲染。但是，在某些情况下，这种3D渲染并非总是可行。但是2D和2.5D图形可以带来有趣的技术效果，增强用户体验。这些技术将在3D渲染不合适或无法进行的情况下使用。

√2D图形也可以是一种对简单的选择(目的不是真实感而是实用性)。

√2.5D图形可以很好地替代3D实现。

2D图形引擎(可并入SME中)

第一组图形专注于2D渲染。重要的是不损害镜子的主要功能，尤其是不会在虚拟与反射的用户脸部之间造成干扰。通过计算机视觉处理，可以对头部进行跟踪并定义禁止显示区域，在该区域中，虚拟对象被排除在外。虚拟对象可以根据用户的位置，特别是其头部，动态地重新排列。另一个有趣的效果是根据用户位置动态设置所显示的2D虚拟对象的细节级别。例如，靠近镜子的用户将设置天气小工具的高细节级别(额外信息，例如温度、天气预报)。这根据用户距离和头部位置优来化虚拟对象的位置、大小和细节。根据用户偏好加载一组对象也很有趣。这允许在人脸识别处理后显示用户虚拟对象。

图17a至图17b示出了根据一实施例的智能镜系统的用例。在本用例中，显示的内容会根据用户到镜子的距离重新排列，例如，用户越近，显示的细节就越多。当用户1701站在镜子/显示器1702的前面时(参见图17a)，不使用区域1703显示信息，以免遮挡用户自身映像。使用区域1704向用户显示信息(例如几套小工具1705)。当用户1701接近镜子/显示器1702时(参见图17b)，可动态排列区域1704中显示的内容，例如显示更多细节1705'，或显示更多小工具1707。区域1703也可根据用户头部位置动态排列。

在其它实施例中，为了增强用户与虚拟对象之间的主动交互的感觉，对象可以根据视线跟踪或手的指向来获得或失去焦点。

图18示出了根据一实施例的智能镜系统的用例。在本用例中，在识别到用户的兴趣点时，可以聚焦于这个兴趣点。其它点可能会因为失去焦点而变得模糊。例如，识别到区域/小工具/对象1802是用户的兴趣点，则可聚焦于(例如更清晰地渲染)1802。其它点/区域/小工具/对象1805可能变得模糊/看不见。可选地，不使用区域1804来显示信息，以免遮挡用户自身映像。

在其它实施例中，根据手势识别(例如，指向&推)，聚焦对象可以被放大/缩小并获得全尺寸视图/最小化。手势识别是计算机科学中的一个课题，目的是通过数学算法来解译人类的手势。手势识别使人类能够在没有任何机械设备的情况下与机器(HMI)交流和自然交互。通过使用手势识别的概念，有可能将手指指向计算机屏幕，这样光标会相应地移动。可使用各种相机机制来支持手势识别，例如深度感知相机、立体相机。通过使用专业相机，例如结构化光相机或飞行时间相机(又称深度感知相机)，可以生成在短距离内通过相机看到的内容的深度图，并使用该数据来近似所看到的内容的3D表示。这些可以有效地检测手势，因为它们具有短距离能力。通过使用两个彼此关系已知的相机(又称立体相机)，可以使用相机输出来近似3D表示。要获得相机之间的关系，可以使用定位基准，例如lexian条纹或红外发射器。结合直接运动测量(6D视觉)可以直接检测手势。

图19示出了根据一实施例的智能镜系统的用例。在本用例中，当识别到用户手势时，可以放大兴趣点以显示更多细节，也可以关闭。例如，识别到区域/小工具/对象1802是用户的兴趣点，则可放大1802。其它点/区域/小工具/对象1805可能变得模糊/看不见。可选地，不使用区域1804来显示信息，以免遮挡用户自身映像。

2.5D图形引擎(可并入SME中)

第二组图形可以利用2.5D渲染。其基于以用户位置为基础构建的透视图中的对象位置。然后，可以将对象放置于一个不同的平面中，然后提供伪3D视图。聚焦技术也可以使用视线或手部跟踪。

两个半维度(简称2.5D，俗称四分之三透视和伪3D)是用来描述以下情况的术语：使用2D图形投影和类似的技术使影像或场景模拟三维(three-dimensional，3D)外观，而事实上他们不是三维的，或者被限制于二维平面或具有角度固定的虚拟相机的三维视频游戏中的游戏设置。相比之下，使用3D计算机图形而没有这些限制的游戏被称为使用真3D。

图20示出了根据一实施例的智能镜系统的用例。在本用例中，对象可以放置在不同的平面中以提供伪3D视图。例如，识别到关注对象是2002，则将看到2002如同放置在前平面上(可选地，更清晰或成为焦点)。可看到其它对象2003如同放置在后平面上(可选地，模糊或以用户的视角排列)。

通过基于用户运动的视差渲染，可以增强伪3D。这给人一种漂浮和3D对象的感觉。视差是指一组2D子图形或各层子图形相互独立移动和/或背景创建一种深度增加的感觉。

图22a至图22c示出了根据一实施例的智能镜系统的用例。在本用例中，全息对象可以呈现为位于静态表面映射上。例如，用户2201可感知静态表面上的全息对象2203，静态表面是例如镜子2202前面的搁板2204(例如，参见图22a)。将虚拟对象的透视渲染调整到用户的高度视线，以使虚拟对象看起来像是放置在(反射的)搁板2204'的表面。搁板原本可能是系统结构的一部分，因此其结构参数可以通过系统中的计算设备获知。该信息用于将计算出的全息图渲染到“物理”对象映像上。用户可以准确地与虚拟对象交互，同时保持对用户映像的视觉参考。人脸坐标和视线向量可能与计算出的3D世界中透视相机2207的位置和方向相关。相机2207可模拟用户的主观视点(例如，参见图22b)。搁板平面2204'在3D计算机世界中进行了表示，但是没有渲染到输出显示器2205上(例如，参见图22c)。可使用物理引擎来模拟虚拟对象2203的物理属性(立方体在表面落下/滚动)。

图23a至图23c示出了根据一实施例的智能镜系统的用例。在本用例中，用户感知到全息对象在与非静态物理物体(例如，用户移动的手)交互。例如，用户2301站在镜子2302前面举手。他/她感知到对象2303在与手交互，与他/她自身的映像2301'很协调(参见图23a)。人脸坐标和视线向量与计算出的3D世界中透视相机2307的位置和方向相关。相机2307可以模拟用户的主观视点(参见图23b)。用户身体2301'可以在3D世界中建模，但是不会渲染到输出显示器2305上。其目的是与虚拟对象2303交互(参见图23c)。

图24a至图24c示出了根据一实施例的智能镜系统的用例。在本用例中，显示器2405上的虚拟对象2403自动放置为不遮挡用户自身映像2401'。例如，如果系统检测到用户2401移动且显示器2405上的虚拟对象2403可能遮挡用户自身映像2401'，则显示器2405上的虚拟对象2403可自动放置为不遮挡用户自身映像2401'(参见图24a)。人脸坐标和视线向量与计算出的3D世界中透视相机2307的位置和方向相关。相机2307可以模拟用户的主观视点(参见图24b)。用户身体2301'可以在3D世界中建模，但是不会渲染到输出显示器2305上。其目的是与虚拟对象2303交互(参见图24c)。

图25示出了根据一实施例的具有弯曲显示面的智能镜系统的示意图。在其它实施例中，智能镜系统可使用平坦的显示面。在本实施例中，使用了弯曲显示面2502。例如，显示面2502可具有半圆形表面、抛物面等。虚拟对象2503可呈现为围绕用户2501排列。此外，用户2501可转动其头部(或其整个身体)，以便与不同的虚拟对象2503交互。系统可检测用户的关注方向并根据关注方向来自动重排/渲染虚拟对象2503。

图26示出了上述在各种实施例中提及的用于各种显示构件的智能镜系统。例如，在车辆2601中，可以将上述智能镜系统用于挡风玻璃2604、后视镜2602或便携式显示设备2603。实际上，用户在白天可能使用的任何玻璃构件均可使用本发明提出的智能镜机制，例如餐厅、办公室、学校和家中的玻璃桌/窗户/玻璃白板。

代表性计算功能

图27阐述了可以用于实施上述任意智能镜系统的说明性计算功能2700。在一种情况下，计算功能2700可对应于任何类型的包括一个或多个处理设备的计算设备。在所有情况下，计算功能2700均表示一种或多种物理和有形的处理机制。

计算功能2700可以包括易失性和非易失性存储器，例如RAM 2702和ROM 2704，以及一个或多个处理设备2706(例如，一个或多个CPU和/或一个或多个GPU，等等)。计算功能2700还可选地包括各种介质设备2708，例如硬盘模块、光盘模块等。当处理设备2706执行存储器(例如RAM 2702、ROM 2704或其它地方)保存的指令时，计算功能2700可以执行上文所标识的各种操作。

更一般地说，指令和其它信息可以存储在任何计算机可读介质2710上，包括但不限于静态内存存储设备、磁存储设备、光存储设备等。术语计算机可读介质还包括多个存储设备。在许多情况下，计算机可读介质2710表示某种形式的物理和有形实体。术语计算机可读介质还包括传播信号，例如，通过物理管道和/或空气或其它无线介质等传输或接收的信号。但是，特定术语“计算机可读存储介质”和“计算机可读介质设备”明确排除了传播信号本身，同时包括所有其它形式的计算机可读介质。

计算功能2700还包括输入/输出模块2712，用于接收各种输入(通过输入设备2714)以及提供各种输出(通过输出设备)。说明性输入设备包括键盘设备、鼠标输入设备、触摸屏输入设备、手势输入设备、语音识别机制、影像捕获机制、跟踪机制等。一种特殊的输出机制可包括呈现设备2716；反过来，该设备可对应上述镜子功能的一个组件。计算功能2700还可以包括一个或多个网络接口2720，用于通过一个或多个通信管道(未示出)与其它设备(例如，在其它装置中提供)交换数据。一个或多个通信总线可通信地将上述组件耦合在一起。

通信管道可以通过任何方式实施，例如，通过局域网、广域网(例如互联网)等，或其任意组合。通信管道可以包括由任何协议或协议组合管理的硬连接、无线连接、路由器、网关功能、名称服务器等的任意组合。

替代性地，或另外，前面的部分中描述的任何功能都可以由一个或多个硬件逻辑组件执行，至少部分执行。例如但非限制，可以使用以下一项或多项来实施计算功能：现场可编程门阵列(Field-programmable Gate Array，FPGA)、专用集成电路(Application-specific Integrated Circuit，ASIC)、专用标准产品(Application-specific StandardProduct，ASSP)、片上系统(System-on-a-chip，SOC)系统、复杂可编程逻辑设备(ComplexProgrammable Logic Device，CPLD)等。

尽管以上权利要求书中的元件是利用对应的标签按照特定顺序列举的，除非对权利要求的阐述另有暗示用于实施部分或所有这些元件的特定顺序，否则这些元件不必限于以所述特定顺序来实施。

其它实施例

实施例1，一种系统，包括：

显示器，用于显示信息；

自由立体功能；

镜子，用于向站立在镜子前面的用户反射真实场景，并用于向所述用户传递所述显示器通过所述自由立体功能显示的信息；

影像捕获功能，用于捕获与所述用户有关的影像信息；以及

处理子系统，用于基于所述影像信息来控制所述自由立体功能。

实施例2，根据实施例1所述的系统，其中根据所述显示器所显示的信息来控制所述自由立体功能。

实施例3，根据任一前述实施例所述的系统，其中所述处理子系统还用于基于所述影像信息来生成将由所述显示器显示的信息。

实施例4，根据任一前述实施例所述的系统，其中所述影像信息涉及以下任一项或以下项的任意组合：所述用户到所述镜子的距离、所述用户的眼睛到所述镜子的距离，以及所述用户的头部到所述镜子的距离。

实施例5，根据任一前述实施例所述的系统，其中所述影像信息用于以下任一项或以下项的任意组合：所述用户的眼距估计、所述用户的人脸检测、所述用户的存在检测、所述用户的视线跟踪以及所述用户的运动检测。

实施例6，根据任一前述实施例所述的系统，其中所述镜子是双向反射镜。

实施例7，根据任一前述实施例所述的系统，其中所述显示器是触敏的。

实施例8，根据任一前述实施例所述的系统，其中所述显示器用于以图形的形式显示视听内容和/或信息。

实施例9，根据任一前述实施例所述的系统，其中所述自由立体功能包括以下任一项：视差屏障、透明单色屏、屏幕和/或动态视差屏障。

实施例10，一种在权利要求1至9中任一项所述的系统中实施的、促进与用户交互的方法，所述方法包括：

在显示器上显示信息；

将真实场景反射给站在镜子前面的用户；

向所述用户传递所述显示器通过自由立体功能显示的信息；

捕获与所述用户有关的相机信息；以及

基于所述相机信息来调整所述自由立体功能。

实施例11，一种在权利要求1至9中任一项所述的系统中实施的、促进与用户交互的方法，所述方法包括：

在显示器上显示信息；

将真实场景反射给站在镜子前面的用户；

向所述用户传递所述显示器通过自由立体功能显示的信息；

捕获与所述用户有关的相机信息；以及

基于所述相机信息，根据所述自由立体功能来调整所述显示器所显示的信息。

实施例12，提供了一种电子设备以包括用于执行上述方法的相应构件。

实施例13，提供了一种计算机程序产品。所述计算机程序产品用于执行上述方法。

实施例14，提供了一种包括软件代码的计算机程序。所述计算机程序用于执行上述方法。

实施例15，提供了一种包括上述计算机程序的计算机可读存储介质。

实施例16，提供了一种计算机可读存储介质，其包括使得上述电子设备执行上述方法的指令。

Claims (12)

1.一种与双向反射镜(2104)交互的方法，其特征在于，包括：

检测用户(2101)在离所述镜子第一距离处站立，所述第一距离大于预设阈值；

根据所检测到的第一距离在显示器上显示第一对象(2105)，所述第一对象在所述用户看来如同呈现在所述镜子的前面，所述显示器放置在所述镜子的后面；

检测所述用户在离所述镜子第二距离处站立，所述第二距离小于所述预设阈值；以及

根据所检测到的第二距离在所述显示器上显示第二对象(2106、2107)，所述第二对象在所述用户看来如同呈现在所述镜子的后面。

2.根据权利要求1所述的方法，其特征在于，所述第二对象不同于所述第一对象。

3.根据权利要求1所述的方法，其特征在于，所述第二对象与所述第一对象相同。

4.根据任一前述权利要求所述的方法，其特征在于，所述第二对象呈现为与所述镜子中的用户自身映像交互。

5.根据任一前述权利要求所述的方法，其特征在于，所述第二对象呈现为在所述用户的可及范围内可得。

6.根据任一前述权利要求所述的方法，其特征在于，还包括：

调整自由立体排列，以根据所述第一距离和/或所述第二距离呈现所述第一对象和/或所述第二对象。

7.根据任一前述权利要求所述的方法，其特征在于，在考虑以下任一项或以下项的任意组合的情况下显示所述第一对象和/或所述第二对象：所述用户到所述镜子的距离、所述用户的眼睛到所述镜子的距离，以及所述用户的头部到所述镜子的距离。

8.根据任一前述权利要求所述的方法，其特征在于，还包括以下任一项或以下项的任意组合：

所述用户的眼距估计；

所述用户的人脸检测；

所述用户的存在检测；

所述用户的视线跟踪；以及

所述用户的运动检测。

9.根据权利要求8所述的方法，其特征在于，还包括：

根据以下任一项或以下项的任意组合，调整所述第一对象和/或所述第二对象的呈现：

所述用户的眼距估计；

所述用户的人脸检测；

所述用户的存在检测；

所述用户的视线跟踪；以及

所述用户的运动检测。

10.一种系统(400)，其特征在于，包括：

显示器(401)，用于显示信息并且放置于半透明表面(405)的后面；

相机装置(407)；以及

处理子系统(409)，用于：

接收所述相机装置提供的第一输入数据，其中所述第一输入数据与第一距离相关，所述第一距离是用户与所述半透明表面之间的距离，所述第一距离大于预设阈值；

控制所述显示器显示第一对象，所述第一对象在所述用户看来如同呈现在所述半透明表面的前面；

接收所述相机装置提供的第二输入数据，所述第二输入数据与第二距离相关，所述第二距离是所述用户与镜子之间的距离，所述第二距离小于所述预设阈值；以及

控制所述显示器显示第二对象，所述第二对象在所述用户看来如同呈现在所述半透明表面的后面。

11.根据任一前述系统权利要求所述的系统，其特征在于，所述处理子系统用于调整自由立体排列，以根据所述第一距离和/或所述第二距离呈现所述第一对象和/或所述第二对象。

12.根据任一前述系统权利要求所述的系统，其特征在于，所述处理子系统还用于执行以下任一项或以下项的任意组合：

所述用户的眼距估计、所述用户的人脸检测、所述用户的存在检测、所述用户的视线跟踪以及所述用户的运动检测。

Images