CN116027957A - 交互控制方法、装置、可穿戴设备及存储介质 - Google Patents

Abstract

本申请公开了一种交互控制方法、装置、可穿戴设备及存储介质，涉及人工智能技术领域。该方法包括：响应于第一预设手势，检测与目标虚拟对象的相对位置；若检测到与目标虚拟对象存在重叠区域，于重叠区域显示第一预设光晕；若检测到第一预设光晕处于目标控制区域，于目标虚拟对象上叠加显示控制组件；若检测到输入的目标手势为目标光标关联的预设控制方式下的预设手势，控制目标虚拟对象执行与目标手势操作对应的预设操作。如此，用户通过手势和显示于虚拟对象上的光晕的配合，并设置不同的预设控制区域中执行对应的控制操作，使得手势操作能够实现的控制功能更丰富，提升了用户使用体验，并提高了交互控制的精度。

Description

交互控制方法、装置、可穿戴设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种交互控制方法、装置、可穿戴设备及存储介质。

背景技术

随着智能科技的进步，智能可穿戴设备逐渐走进了我们的生活，并随着拓展现实(Extended Range，XR)技术的发展，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路。当用户佩戴头戴式显示器时，用户可使用他的/她的手做出手势且进一步触发特定功能，功能可与硬件或软件控制相关，用户使用他的/她的手来控制头戴式显示器系统是容易的。

现有技术中用户通过手势操作与虚拟场景进行交互时，手势设置较为复杂，不利于装置对其进行识别，且装置设置的手势可实现的操作功能单一，使用不便，与虚拟场景下的控制对象无法实现准确的交互配合，用户体验较差。

发明内容

本申请提出了一种交互控制方法、装置、可穿戴设备及存储介质。

第一方面，本申请实施例提供了一种交互控制方法，应用于可穿戴设备，所述方法包括：响应于第一预设手势，检测所述第一预设手势与目标虚拟对象的相对位置；若检测到所述第一预设手势与所述目标虚拟对象存在重叠区域，于所述重叠区域显示第一预设光晕；若检测到所述第一预设光晕处于多个预设控制区域中的目标控制区域，于所述目标虚拟对象上叠加显示控制组件，所述控制组件包括每个所述预设控制区域对应的预设光标和预设边界框，每个所述预设控制区域对应的预设光标与一种预设控制方式相关联；若检测到输入的目标手势为目标光标关联的预设控制方式下的预设手势，控制所述目标虚拟对象执行与所述目标手势操作对应的预设操作，所述目标光标为所述多个预设控制区域中的任一预设控制区域对应的所述预设光标。

第二方面，本申请实施例提供了一种交互控制装置，应用于可穿戴设备，所述装置包括：位置检测模块，用于响应于第一预设手势，检测所述第一预设手势与目标虚拟对象的相对位置；光晕显示模块，用于若检测到所述第一预设手势与所述目标虚拟对象存在重叠区域，于所述重叠区域显示第一预设光晕；控制组件显示模块，用于若检测到所述第一预设光晕处于多个预设控制区域中的目标控制区域，于所述目标虚拟对象上叠加显示控制组件，所述控制组件包括每个所述预设控制区域对应的预设光标和预设边界框，每个所述预设控制区域对应的预设光标与一种预设控制方式相关联；控制模块，用于若检测到输入的目标手势为目标光标关联的预设控制方式下的预设手势，控制所述目标虚拟对象执行与所述目标手势操作对应的预设操作，所述目标光标为所述多个预设控制区域中的任一预设控制区域对应的所述预设光标。

第三方面，本申请实施例提供了一种可穿戴设备，包括：一个或多个处理器；存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述的方法。

本申请提供的方案中，响应于第一预设手势，检测第一预设手势与目标虚拟对象的相对位置；若检测到第一预设手势与目标虚拟对象存在重叠区域，于重叠区域显示第一预设光晕；若检测到第一预设光晕处于多个预设控制区域中的目标控制区域，于目标虚拟对象上叠加显示控制组件，控制组件包括每个预设控制区域对应的预设光标和预设边界框，每个预设控制区域对应的预设光标与一种预设控制方式相关联；若检测到输入的目标手势为目标光标关联的预设控制方式下的预设手势，控制目标虚拟对象执行与目标手势操作对应的预设操作，目标光标为多个预设控制区域中的任一预设控制区域对应的预设光标。如此，用户通过手势操作在虚拟场景中选中虚拟对象，通过用户手势和叠加显示于虚拟对象上的光晕之间的配合，限定不同的预设控制区域中执行不同的控制操作，用户根据虚拟对象上叠加显示的控制组件的提示，在手部配合做出预设手势时才能够执行对应的预设操作，使得用户通过手势操作能够实现的控制功能更丰富，提升了用户使用体验，同时，预设控制区域的限定提高了交互控制的精度与准确性，减少误控制等问题的发生。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一实施例提供的交互控制方法的流程示意图。

图2示出了本申请实施例提供的预设手势的示意图。

图3示出了本申请实施例提供的预设光晕的示意图。

图4示出了本申请实施例提供的预设控制区域的示意图。

图5示出了本申请实施例提供的预设光标的示意图。

图6示出了本实施例一种虚拟场景的场景示意图。

图7示出了本实施例另一种虚拟场景的场景示意图。

图8示出了本实施例再一种虚拟场景的场景示意图。

图9示出了本实施例又一种虚拟场景的场景示意图。

图10示出了本实施例又再一种虚拟场景的场景示意图。

图11示出了本申请另一实施例提供的交互控制方法的流程示意图。

图12示出了本申请实施例提供的交互控制方法的流程示意图。

图13示出了本申请一实施例提供的交互控制装置的结构框图。

图14示出了本申请实施例提供的一种可穿戴设备的结构框图。

图15示出了本申请实施例提供的一种计算机可读存储介质的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如S110、S120等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。以及，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或子模块的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或子模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或子模块。

在相关技术中，用户通过手势操作与虚拟场景进行交互时，传统的手势操作复杂，存在大幅度的动作幅度，交互过程复杂，且难以进行高精度的交互控制，且装置设置的手势可实现的操作功能单一，使用不便，与虚拟场景下的控制对象无法实现准确的交互配合，用户体验较差。

针对上述问题，发明人提出一种交互控制方法、装置、可穿戴设备及存储介质，通过在预设区域选中虚拟对象时配合做出预设手势，简化了手势交互难度，使得交互操作功能多样化，并提高了交互控制精度。下面对本申请实施例提供的交互控制方法进行详细描述。

请参照图1，图1示出了本申请一实施例提供的交互控制方法的流程示意图，应用于可穿戴设备。下面将结合图1对本申请实施例提供的交互控制方法进行详细阐述。该交互控制方法可以包括以下步骤：

步骤S110：响应于第一预设手势，检测所述第一预设手势与目标虚拟对象的相对位置。

在本实施例中，交互控制装置在确认用户做出的手势为第一预设手势时，对用户做出的第一预设手势与虚拟场景下目标虚拟对象的相对位置进行检测，以检测用户进行手势操作时是否能够对目标虚拟对象进行控制。

在一些实施方式中，当用户启动交互控制装置，并通过头戴式设备进入虚拟场景中时，虚拟场景中显示多个预设虚拟对象，多个预设虚拟对象中的任一预设虚拟对象可被用户选择以作为可用于交互的目标虚拟对象。

可穿戴设备包括但不限于混合现实(Mixed Reality，MR)头戴设备，可穿戴设备还可以为虚拟现实(Virtual reality，VR)头戴设备、增强现实(Augmented Reality，AR)头戴设备等。而显示的虚拟场景可包括3DOF(Degree Of Freedom)场景和6DOF场景，DOF为自由度。其中显示的虚拟场景为3DOF场景时，虚拟场景中的虚拟对象具有3个转动角度的自由度，而显示的可交互的虚拟场景为6DOF场景时，虚拟场景中的虚拟对象除了3个转动角度的自由度外，还具有上下、前后、左右等3个位置相关的自由度。即用户通过交互控制装置对虚拟场景中的目标虚拟对象执行预设操作时，虚拟场景为3DOF场景时可对目标虚拟对象执行二维的旋转操作、移动操作、缩小操作、放大操作，不涉及上下、前后、左右的空间变化。

基于此，在检测第一预设手势与目标虚拟对象的相对位置之前，可穿戴设备需要采集用户做出的手势，并将采集到的手势图像输入到交互控制装置中，交互控制装置将用户当前做出的手势作为目标手势，并将目标手势与存储的多个预设手势进行比对。

可选地，多种预设手势至少包括张开手势、握拳手势以及捏合手势。请参照图2，图2示出了本申请实施例提供的预设手势的示意图。

在本实施例中，可穿戴设备可以预先存储有多种预设手势，交互控制装置能够通过自身配置的图像采集模块或者与自身存在通信连接的外部图像采集模块采集用户做出的手势。其中，张开手势即五指展开，出现手背的手势，上述第一预设手势可以为张开手势，即当用户做出的当前手势为张开手势时，可穿戴设备对用户做出的手势进行采集，并将其输入到交互控制装置中，当成功匹配到存储的第一预设手势时，确定用户的当前手势为第一预设手势相符。其中，握拳手势即合手背，五指弯曲的手势；捏合手势为捏合食指和拇指的手势。

步骤S120：若检测到所述第一预设手势与所述目标虚拟对象存在重叠区域，于所述重叠区域显示第一预设光晕。

在本实施例中，交互控制装置若检测到用户当前做出的第一预设手势进入目标虚拟对象的可交互区域范围内，此时则判定用户做出的第一预设手势与目标虚拟对象存在重叠区域，交互控制装置此时在用户做出的第一预设手势与目标虚拟对象的重叠区域显示第一预设光晕。

可选地，目标虚拟对象边界范围内的区域作为用户与目标虚拟对象之间的可交互区域，交互控制装置检测第一预设手势与目标虚拟对象的相对位置即检测用户做出的手势是否进入目标虚拟对象的可交互区域范围内，在用户做出的第一预设手势进入目标虚拟对象的可交互区域范围，则用户能够通过手势操作对目标虚拟对象进行控制。

在一些实施方式中，交互控制装置可以预先存储有多种预设光晕。请参照图3，图3示出了本申请实施例提供的预设光晕的示意图。如图3所示，交互控制装置预先存储的预设光晕至少包括第一预设光晕和第二预设光晕。

预设光晕的显示效果通过粒子系统(Particle System)来控制实现，粒子系统表示三维计算机图形学中模拟一些特定的模糊现象的技术，而这些现象用其它传统的渲染技术难以实现真实感的物理运动规律，以使得光晕的显示效果具有动态性。在本实施例中，预设光晕被设置为球体的光晕样式，光晕从球心到球表面之间的亮度由亮变暗，同时设置了光晕的最大半径和最小半径，光晕显示于虚拟场景中时由小变大，再由大变小循环，且每次完成循环的时间被设定为预设时间，进而能够实现光晕的呼吸效果。

在一些实施方式中，第一预设光晕的球体半径可被设置为大于第二预设光晕的球体半径，即第一预设光晕的最大半径与最小半径的比值和第二预设光晕的最大半径与最小半径的比值相同，第一预设光晕的最大半径大于第二预设光晕的最大半径，第一预设光晕的最小半径亦大于第二预设光晕的最小半径。进一步地，设置第一预设光晕和第二预设光晕的颜色不同，以进一步对其加以区分。

步骤S130：若检测到所述第一预设光晕处于多个预设控制区域中的目标控制区域，于所述目标虚拟对象上叠加显示控制组件，所述控制组件包括每个所述预设控制区域对应的预设光标和预设边界框，每个所述预设控制区域对应的预设光标与一种预设控制方式相关联。

本实施例中，目标虚拟对象的可交互区域内被划分为多个预设控制区域，在检测到第一预设光晕处于多个预设控制区域中不同的控制区域时，在目标虚拟对象上叠加显示与控制区域对应的控制组件，该控制组件为与每个预设控制区域对应的预设光标和预设边界框，且该预设光标与一种预设控制方式相关联。通过在目标虚拟对象上叠加显示上述预设边界框和预设光标，能够提示用户在该控制区域做出与预设光标对应的手势，从而实现与其相关的预设操作。

在本实施例中，目标虚拟对象的形状可以为规则形状或非规则形状，用户通过手势对目标虚拟对象进行相关控制操作时，叠加于目标虚拟对象上的预设边界框始终为规则的矩形或立方体，且当目标虚拟对象为非规则形状时，采用最小能包裹住该目标虚拟对象的矩形或立方体作为预设边界框。

可选地，请参照图4，图4示出了本申请实施例提供的预设控制区域的示意图，多个所述预设控制区域至少包括移动控制区域、缩放控制区域以及旋转控制区域。如图4所示，图4示出了当目标虚拟对象为规则形状时，预设边界框为立方体，本实施例中的预设控制区域可包括位于预设边界框下方区域的预设控制区域201，预设控制区域201为移动控制区域；预设控制区域还可包括位于预设边界框每个顶点的预设控制区域202，预设控制区域202为缩放控制区域；预设控制区域还可包括位于预设边界框平行于Y轴区域的边界上的预设控制区域203，预设控制区域203为旋转控制区域。在其他实施方式中，预设控制区域的设置还可以有不同的形式，如预设控制区域还可以被设置在预设边界框平行于Y轴区域的边界上。

可选地，请参照图5，图5示出了本申请实施例提供的预设光标的示意图。如图5所示，移动控制光标与握拳手势有关，移动控制光标由握拳手势图案与其上方的十字箭头构成；缩放控制光标与捏合手势有关，缩放控制光标由捏合食指和拇指手势与其右上方和做下方的两个箭头构成；旋转控制光标同样与捏合手势有关，旋转控制光标由捏合食指和拇指手势与其上方的旋转箭头构成。

在本实施例中，用户通过第一预设手势控制第一预设光晕处于多个预设控制区域中的不同的预设控制区域时，将在目标虚拟对象上的第一预设光晕处叠加显示对应的预设光标，显示的预设光标中所包含的手势图像用于提示用户进行有关操作时需要将第一预设手势，即张开手势变化为对应的预设手势，以控制目标虚拟对象实现对应的目标控制操作。

在一些实施方式中，在检测到第一预设光晕处于多个预设控制区域中的目标控制区域之后，本申请的交互控制方法还包括将目标虚拟对象的当前显示状态由第一显示状态切换为第二显示状态，第二显示状态下的目标虚拟对象的外观属性与第一显示状态下的目标虚拟对象的外观属性不同。

可选地，在检测到第一预设光晕与目标虚拟对象存在重叠区域，并处于多个预设控制区域中目标控制区域时，则表示用户对虚拟场景中多个预设虚拟对象目标中的其中一个预设虚拟对象作为目标虚拟对象。被选择的目标虚拟对象从第一显示状态切换为第二显示状态，即表示用户完成了对目标虚拟对象的选中，目标虚拟对象通过状态切换提示用户可对其进行控制操作。上述外观属性至少包括尺寸信息、颜色信息、描边信息、透明度信息中的一种信息，其中尺寸信息为虚拟对象不同显示状态下大小不同；颜色信息为虚拟对象不同显示状态下颜色不同；描边信息为虚拟对象不同显示状态下边界的虚实不同；透明度信息为虚拟对象不同显示状态下光线的亮暗程度以及渲染效果不同。

在一些实施方式中，目标虚拟对象从第一显示状态切换为第二显示状态可以为目标虚拟对象变大，此时目标虚拟对象的可交互区域对应变大，更便于用户通过手势对目标虚拟对象进行控制操作。可选地，目标虚拟对象的显示状态切换还可以为颜色改变，或在目标虚拟对象变大的同时发生颜色变化。目标虚拟对象的显示状态切换皆可用于提示用户已实现对目标虚拟对象的选中。同时在第二显示状态下目标虚拟对象固定于虚拟场景中的当前位置，不再发生移动，以便于用户通过手势对其进行控制操作。

步骤S140：若检测到输入的目标手势为目标光标关联的预设控制方式下的预设手势，控制所述目标虚拟对象执行与所述目标手势操作对应的预设操作，所述目标光标为所述多个预设控制区域中的任一预设控制区域对应的所述预设光标。

在本实施例中，用户根据目标虚拟对象上叠加显示的控制组件中目标光标所显示的手势图像的提示，做出对应的目标手势，可穿戴设备采集用户做出的手势，并将采集到的手势图像输入到交互控制装置中，以将用户当前做出的手势作为目标手势，并与存储的目标光标关联的预设控制方式下的预设手势进行比对，用户通过手势操作控制目标虚拟对象执行与目标手势操作对应的预设操作。

例如，若目标光标为移动控制光标，检测到用户在目标虚拟对象的可交互区域内做出与移动操作相关联的手势，用户在维持该手势时能够控制叠加显示至目标虚拟对象上的移动控制光标，以控制目标虚拟对象进行对应的移动。

在一些实施方式中，在检测到输入的目标手势为目标光标关联的预设控制方式下的预设手势之后，本申请的交互控制方法还可以包括将第一预设光晕的当前显示状态由第三显示状态切换为第四显示状态，第四显示状态下的第一预设光晕的外观属性与第三显示状态下的第一预设光晕的外观属性不同。

可选地，第一预设光晕从第三显示状态切换为第四显示状态，表示交互控制装置所检测到的输入的目标手势与目标光标关联的预设控制方式下的预设手势相匹配，进而通过光晕的显示状态切换提示用户做出的当前手势为预设控制方式下正确的预设手势，用户可通过当前做出的手势控制目标虚拟对象执行有关控制操作。上述外观属性至少包括尺寸信息、颜色信息、描边信息、透明度信息中的一种信息，其中尺寸信息为光晕不同显示状态下大小不同；颜色信息为光晕不同显示状态下颜色不同；描边信息为光晕不同显示状态下边界的虚实不同；透明度信息为光晕不同显示状态下光线的亮暗程度以及渲染效果不同。

在本实施例中，第一预设光晕从第三显示状态切换为第四显示状态的显示状态切换效果可包括第一预设光晕发生颜色改变和大小改变。需要说明的是，第一预设光晕的第四显示状态与第二预设光晕的默认显示状态不同，例如，当第一预设光晕从第三显示状态切换为第四显示状态时同时发生了颜色变化和光晕缩小的变化，第四显示状态下第一预设光晕的最大半径大于第二预设光晕默认显示状态下的最大半径，其最小半径亦大于第二预设光晕默认显示状态下的最小半径，且第四显示状态下第一预设光晕的颜色与第四显示状态下第二预设光晕的颜色不同，进而对其加以区别。

在本实施例中，预设操作至少包括移动操作、缩放操作和旋转操作，用户可在移动控制区域控制目标虚拟对象实现移动操作；在缩放控制区域控制目标虚拟对象实现缩小操作和放大操作；在旋转控制区域控制目标虚拟对象实现旋转操作。

可选地，将边界框内面向用户的一面的下侧区域设置为移动控制区域。第一预设光晕叠加显示于边界框内面向用户的一面的下侧区域时，叠加显示于目标虚拟对象上的边界框切换为移动控制边界框，即边界框面向用户的一面的下边界出现控制条，并将移动控制光标叠加显示于第一预设光晕上，以提示用户在该范围内可通过移动操作手势控制目标虚拟对象进行移动。

可选地，请参照图6，图6示出了本实施例一种虚拟场景的场景示意图。如图6所示，在虚拟场景为3DOF场景下时，叠加显示于目标虚拟对象上的边界框为矩形，目标虚拟对象上显示有“舵角：指定舵角；舵行模式：顶点驻航；航速模式：定速；2022-02-01；16：40”。

预设控制区域301可以为边界框的下侧区域，在本实施例中，预设控制区域301可以为边界框的移动控制区域，此时当第一预设光晕叠加显示于边界框的下侧区域，目标虚拟对象的当前显示状态由第一显示状态切换为第二显示状态，于目标虚拟对象上叠加显示控制组件包括将边界框切换为图示的移动控制边界框，边界框的下边界出现控制条，并于第一预设光晕上叠加显示移动控制光标。

移动控制光标中包含的手势图案用于提示用户进行移动操作时的目标手势为握拳手势。在检测到用户做出与移动操作相关联的握拳手势时，移动控制光标跟随用户手势的移动而在可交互区域内移动。交互控制装置提取用户做出的握拳手势在X-Y轴方向上的位移值，映射到虚拟场景上以控制目标虚拟对象实现对应移动。若检测到用户做出的握拳手势所对应的移动控制光标离开可交互区域内，亦或是检测到用户做出其他预设手势，交互控制装置将目标虚拟对象移动到在可交互区域内最后检测到握拳手势的位置，完成移动操作。

请参照图7，图7示出了本实施例另一种虚拟场景的场景示意图。如图7所示，在虚拟场景为6DOF场景下时，叠加显示于目标虚拟对象上的边界框为立方体。预设控制区域302可以为边界框面向用户的一面的下侧区域，在本实施例中，预设控制区域302可以为边界框的移动控制区域，此时当第一预设光晕叠加显示于边界框面向用户的一面的下侧区域，目标虚拟对象的当前显示状态由第一显示状态切换为第二显示状态，于目标虚拟对象上叠加显示控制组件包括将边界框切换为图示的移动控制边界框，边界框的下边界出现控制条，并于第一预设光晕上叠加显示移动控制光标。

在检测到用户做出与移动操作相关联的握拳手势时，移动控制光标跟随用户手势的移动而在可交互区域内移动。交互控制装置提取用户做出的握拳手势在X-Y-Z轴方向上的位移值，映射到虚拟场景上以控制目标虚拟对象实现对应移动，进而实现目标虚拟对象的移动操作，再此不再赘述。

可选地，将边界框的每个顶点区域设置为缩放控制区域，且边界框上仅有面向用户的缩放控制区域可用于交互。当第一预设光晕叠加显示于边界框内面向用户的缩放控制区域，叠加显示于目标虚拟对象上的边界框切换为缩放控制边界框，即边界框面向用户的一面的下边界出现缩放样式，且于第一预设光晕上叠加显示缩放控制光标。

请参照图8，图8示出了本实施例再一种虚拟场景的场景示意图。如图8所示，在虚拟场景为3DOF场景下时，叠加显示于目标虚拟对象上的边界框为矩形，第一预设光晕叠加显示于预设控制区域303，在本实施例中，预设控制区域303可以为边界框的缩放控制区域，当第一预设光晕叠加显示于边界框的缩放控制区域时，边界框切换为图示的缩放控制边界框，并出现缩放样式，且于第一预设光晕上叠加显示缩放控制光标。

缩放控制光标中包含的手势图案用于提示用户进行缩放操作时的目标手势为捏合手势。在检测到用户做出与缩放操作相关联的捏合手势时，缩放控制光标跟随用户手势的移动而在可交互区域内移动。交互控制装置提取用户做出的捏合手势在X-Y轴方向上的位移值，映射到虚拟场景上以控制目标虚拟对象实现对应缩小或放大。需要说明的是，在上述操作中，选择为矩形的边界框上，与触发缩放操作的顶点为对角点的顶点作为原点，对目标虚拟对象进行等轴缩放。

若检测到用户做出的捏合手势所对应的缩放控制光标离开可交互区域内，亦或是检测到用户做出其他预设手势，交互控制装置将目标虚拟对象等轴缩放到在可交互区域内最后检测到捏合手势的位置，完成缩放操作。

请参照图9，图9示出了本实施例又一种虚拟场景的场景示意图。如图9所示，在虚拟场景为6DOF场景下时，叠加显示于目标虚拟对象上的边界框为立方体，第一预设光晕叠加显示于预设控制区域304，在本实施例中，预设控制区域304可以为边界框面向用户的缩放控制区域，当第一预设光晕叠加显示于边界框面向用户的缩放控制区域时，边界框切换为图示的缩放控制边界框，并出现缩放样式，且于第一预设光晕上叠加显示缩放控制光标。

在检测到用户做出与缩放操作相关联的捏合手势时，缩放控制光标跟随用户手势的移动而在可交互区域内移动。交互控制装置提取用户做出的捏合手势在X-Y-Z轴方向上的位移值，映射到虚拟场景上以控制目标虚拟对象实现对应缩小或放大，进而实现目标虚拟对象的缩放操作，再此不再赘述。需要说明的是，在上述操作中，若触发缩放操作的顶点处于为立方体的边界框上面向用户的一面时，选择该顶点在面向用户的一面上的对角点作为原点；若触发缩放操作的顶点处于为立方体的边界框上非直接面向用户的一面时，选择该顶点在立方体上的对角点作为原点，对目标虚拟对象进行等轴缩放。

可选地，将边界框上平行于Y轴方向的区域设置为旋转控制区域，且边界框上仅有面向用户的旋转控制区域可用于交互。第一预设光晕叠加显示于边界框上面向用户的旋转控制区域时，叠加显示于目标虚拟对象上的边界框切换为旋转控制边界框，即边界框面向用户的一面的下边界出现控制条，且于第一预设光晕上叠加显示旋转控制光标。

请参照图10，图10示出了本实施例又再一种虚拟场景的场景示意图。如图10所示，虚拟场景为6DOF场景下时可实现旋转操作，叠加显示于目标虚拟对象上的边界框为立方体，第一预设光晕叠加显示于预设控制区域305，在本实施例中，预设控制区域305可以为边界框面向用户的平行于Y轴方向的边界线，为边界框的旋转控制区域，当第一预设光晕叠加显示于边界框面向用户的旋转控制区域时，边界框切换为图示的旋转控制边界框，面向用户的旋转控制区域上出现旋转样式，且于第一预设光晕上叠加显示旋转控制光标。

在检测到用户做出与旋转操作相关联的捏合手势时，旋转控制光标跟随用户手势的移动而在可交互区域内移动。交互控制装置提取用户做出的捏合手势在X-Y-Z轴方向上的位移值，映射到虚拟场景上以控制目标虚拟对象实现对应旋转角度。需要说明的是，在上述操作中，选择为立方体的边界框的垂直中心Y轴作为旋转中心，对目标虚拟对象进行旋转。

若检测到用户做出的捏合手势所对应的旋转控制光标离开可交互区域内，亦或是检测到用户做出其他预设手势，交互控制装置将目标虚拟对象等轴旋转到在可交互区域内最后检测到捏合手势的位置，完成旋转操作。

可选地，若第一预设光晕叠加显示于目标虚拟对象的可交互区域内除上述移动控制区域、缩放控制区域和旋转控制区域外的其他区域时，目标虚拟对象上不叠加显示对应的控制组件。用户通过手势控制叠加显示于目标虚拟对象上的第一预设光晕，以实现默认控制操作，上述默认控制操作至少包括点击操作、选中操作、激活操作以及确认操作。

在检测到用户做出与默认控制操作有关的捏合手势时，第一预设光晕跟随用户手势的移动而在可交互区域内移动。例如，在默认控制操作为拖拉控制操作时，如音量大小控制，交互控制装置提取用户做出的捏合手势在X轴方向上的位移值，映射到虚拟场景上以控制目标虚拟对象中的拖拽按钮，并基于目标虚拟对象的可交互区域内最后检测到捏合手势的位置，完成拖拉操作，进而实现对应的音量调节。

在本实施例中，本申请的方法通过响应于第一预设手势，检测第一预设手势与目标虚拟对象的相对位置；若检测到第一预设手势与目标虚拟对象存在重叠区域，于重叠区域显示第一预设光晕；若检测到第一预设光晕处于多个预设控制区域中的目标控制区域，于目标虚拟对象上叠加显示控制组件，控制组件包括每个预设控制区域对应的预设光标和预设边界框，每个预设控制区域对应的预设光标与一种预设控制方式相关联；若检测到输入的目标手势为目标光标关联的预设控制方式下的预设手势，控制目标虚拟对象执行与目标手势操作对应的预设操作，目标光标为多个预设控制区域中的任一预设控制区域对应的预设光标。如此，通过用户手势和叠加显示于虚拟对象上的光晕之间的配合，限定不同的预设控制区域中用户通过对应的手势执行不同的控制操作。进而用户根据虚拟对象上叠加显示的控制组件的提示，在手部配合做出预设手势时才能够执行对应的预设操作，使得用户通过手势操作能够实现的控制功能更丰富，提升了用户使用体验，同时，预设控制区域的限定提高了交互控制的精度与准确性，减少误控制等问题的发生。且用户手势通过控制光晕和虚拟对象进行交互的过程中，光晕和虚拟对象通过在交互确认时切换为不同的显示状态，对用户做出反馈提示，进一步提高交互过程中的控制准确性。

请参照图11，图11示出了本申请另一实施例提供的交互控制方法的流程示意图，应用于可穿戴设备。下面将结合图11对本申请实施例提供的交互控制方法进行详细阐述。该交互控制方法可以包括以下步骤：

步骤S410：响应于第一预设手势，检测所述第一预设手势与目标虚拟对象的相对位置。

步骤S420：若检测到所述第一预设手势与所述目标虚拟对象不存在重叠区域，于所述第一预设手势对应的手部中的目标手部位置叠加显示第二预设光晕，所述第二预设光晕与所述第一预设光晕的外观属性不同。

在本实施例中，交互控制装置若检测到用户当前做出的第一预设手势未进入目标虚拟对象的可交互区域范围内，此时则判定用户做出的第一预设手势与目标虚拟对象不存在重叠区域，交互控制装置此时在用户做出的第一预设手势与虚拟场景的重叠区域作为对应手部的目标手部位置，于目标手部位置叠加显示第二预设光晕。

可选地，第二预设光晕与第一预设光晕的外观属性不同，上述外观属性至少包括尺寸信息、颜色信息、描边信息、透明度信息中的一种信息，其中尺寸信息为不同预设光晕的大小不同；颜色信息为不同预设光晕的颜色不同；描边信息为不同预设光晕边界的虚实不同；透明度信息为为不同预设光晕的亮暗程度以及渲染效果不同。其中，如上述图3所示，第二预设光晕在呼吸效果下的最大半径和最小半径和第一预设光晕不同，且第二预设光晕和第一预设光晕的颜色不同，以对其进行区分。

在一些实施方式中，若检测到用户当前做出的第一预设手势并在虚拟场景中对应手部的目标手部位置叠加显示第二预设光晕时，表示用户未选中虚拟场景中多个预设虚拟对象中的任一预设虚拟对象作为目标虚拟对象。此时第二预设光晕受控于用户的手势，当用户通过手势操作控制第二预设光晕进入虚拟场景中多个预设虚拟对象中的任一预设虚拟对象的可交互区域中时，用户选中该预设虚拟对象作为目标虚拟对象，第二预设光晕切换显示为第一预设光晕。

在一些实施方式中，在交互控制装置启动，但用户未使用可穿戴设备进入虚拟场景时，第二预设光晕可被设置显示于虚拟场景的中间位置，直到交互控制装置检测到用户使用可穿戴设备进入虚拟场景，第二预设光晕与可穿戴设备相关联，使得第二预设光晕在虚拟场景中的位置移动受控于可穿戴设备检测到的用户做出的手势，且受控于可穿戴设备的第二预设光晕位于距离可穿戴设备3米处进行位置显示。可选地，第二预设光晕的初始显示位置也可被设置于虚拟场景中的下边缘、上边缘、左边缘、或者右边缘，本申请实施例对上述第二预设光晕在虚拟场景中的初始显示位置不加以限制，且其相对于可穿戴设备的固定显示距离用户可根据使用习惯进行调节。

步骤S430：若检测到所述第一预设手势与所述目标虚拟对象存在重叠区域，于所述重叠区域显示第一预设光晕。

步骤S440：若检测到所述第一预设光晕处于多个预设控制区域中的目标控制区域，于所述目标虚拟对象上叠加显示控制组件，所述控制组件包括每个所述预设控制区域对应的预设光标和预设边界框，每个所述预设控制区域对应的预设光标与一种预设控制方式相关联。

步骤S450：若检测到输入的目标手势为目标光标关联的预设控制方式下的预设手势，控制所述目标虚拟对象执行与所述目标手势操作对应的预设操作，所述目标光标为所述多个预设控制区域中的任一预设控制区域对应的所述预设光标。

在本实施例中，步骤S410以及步骤S430至步骤S450的具体实施方式可以参阅前述实施例中的内容，在此不再赘述。

在本实施例中，本申请的方法基于检测到第一预设手势与目标虚拟对象不存在重叠区域，即用户做出第一预设手势但未选择目标虚拟对象时，使得于目标手部位置叠加显示的光晕为第二预设光晕，能够提示用户无法对目标虚拟对象进行控制。如此，在用户做出的手势与目标虚拟对象的相对位置不同时，虚拟场景中叠加显示的第二预设光晕与第一预设光晕具有不同的外观属性，能够对用户做出不同的反馈提示，且在第二预设光晕切换为第一预设光晕时用户才能通过手势操作对目标虚拟对象进行控制，减少控制过程中的误控制，提高了交互过程中的控制准确性。

请参照图12，图12示出了本申请实施例提供的交互控制方法的流程示意图，应用于可穿戴设备。下面将结合图12对本申请实施例提供的交互控制方法进行详细阐述。该交互控制方法可以包括以下内容：

在本实施例中，用户启动交互控制装置，并通过头戴式设备进入虚拟场景中时，交互控制装置检测用户做出的张开手势是否与虚拟场景中的任一个虚拟对象相叠合。

若是，交互控制装置控制用户做出的手势与虚拟对象的叠合位置出现第一光晕。该第一光晕为上述的第一预设光晕，且第一光晕在虚拟场景中的位置跟随用户手的位置，用户通过手势控制第一光晕的移动。若否，交互控制装置控制虚拟场景中显示第二光晕，该第二光晕为上述的第二预设光晕，第二光晕的在虚拟场景中的位置相对于可穿戴设备的距离固定，且第二光晕在虚拟场景中的位置同样跟随用户手的位置，返回虚拟场景中。

交互控制装置检测用户做出的张开手势是否与虚拟对象的可交互范围相叠合。若是，即手势与虚拟对象的可交互范围叠合时交互物体，即上述虚拟物体切换为悬停状态，即物体发生大小变化、颜色变化等，以提示用户对该虚拟对象完成了选定。

进一步地，交互控制装置判断交互物体上是否出现其他控制光标，若是，则可执行与其他控制光标对应的控制操作。可以理解地，手势与虚拟对象的交互区域为上述移动控制区域、缩放控制区域以及旋转控制区域中的任一区域，则虚拟对象上叠加显示其他控制光标，提示用户做出与光标相关联的定义手势，该定义手势包括与移动操作相关联的握拳手势以及和旋转操作、缩放操作相关联的捏合手势。对用户做出的手势进行判断，若检测到对应的定义手势，将其作为确认手势，第一光晕显示状态变化，用户通过手势操作控制虚拟对象时，该虚拟对象呈现除相应的反馈和变化，直到检测出确认手势以外的其他手势，流程结束。

若检测到交互物体上未出现其他控制光标，即手势与虚拟对象的交互区域非上述移动控制区域、缩放控制区域以及旋转控制区域中的任一区域，第一光晕不变，对用户做出的手势进行判断，若检测到捏合手势，将其作为确认手势，第一光晕显示状态变化，用户通过手势操作控制虚拟对象时，该虚拟对象呈现除相应的反馈和变化，直到检测出确认手势以外的其他手势，流程结束。

请参照图13，图13示出了本申请一实施例提供的交互控制装置500的结构框图，应用于可穿戴设备。该交互控制装置500可以包括：位置检测模块510、光晕显示模块520、控制组件显示模块530和控制模块540。

位置检测模块510用于响应于第一预设手势，检测所述第一预设手势与目标虚拟对象的相对位置。

光晕显示模块520用于若检测到所述第一预设手势与所述目标虚拟对象存在重叠区域，于所述重叠区域显示第一预设光晕。

控制组件显示模块530用于若检测到所述第一预设光晕处于多个预设控制区域中的目标控制区域，于所述目标虚拟对象上叠加显示控制组件，所述控制组件包括每个所述预设控制区域对应的预设光标和预设边界框，每个所述预设控制区域对应的预设光标与一种预设控制方式相关联。

控制模块540用于若检测到输入的目标手势为目标光标关联的预设控制方式下的预设手势，控制所述目标虚拟对象执行与所述目标手势操作对应的预设操作，所述目标光标为所述多个预设控制区域中的任一预设控制区域对应的所述预设光标。

在另一些实施方式中，光晕显示模块520还用于若检测到所述第一预设手势与所述目标虚拟对象不存在重叠区域，于所述第一预设手势对应的手部中的目标手部位置叠加显示第二预设光晕，所述第二预设光晕与所述第一预设光晕的外观属性不同。

在另一些实施方式中，交互控制装置500还包括状态切换模块，用于将所述目标虚拟对象的当前显示状态由第一显示状态切换为第二显示状态，所述第二显示状态下的目标虚拟对象的外观属性与所述第一显示状态下的目标虚拟对象的外观属性不同。

在另一些实施方式中，状态切换模块还用于将所述第一预设光晕的当前显示状态由第三显示状态切换为第四显示状态，所述第四显示状态下的所述第一预设光晕的外观属性与所述第三显示状态下的所述第一预设光晕的外观属性不同。

在另一些实施方式中，状态切换模块还用于将所述第一预设光晕的当前显示状态由第三显示状态切换为第四显示状态，所述第四显示状态下的所述第一预设光晕的外观属性与所述第三显示状态下的所述第一预设光晕的外观属性不同。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

综上所述，交互控制装置包括位置检测模块，用于响应于第一预设手势，检测第一预设手势与目标虚拟对象的相对位置；光晕显示模块，用于若检测到第一预设手势与目标虚拟对象存在重叠区域，于重叠区域显示第一预设光晕；控制组件显示模块，用于若检测到第一预设光晕处于多个预设控制区域中的目标控制区域，于目标虚拟对象上叠加显示控制组件，控制组件包括每个预设控制区域对应的预设光标和预设边界框，每个预设控制区域对应的预设光标与一种预设控制方式相关联；控制模块，用于若检测到输入的目标手势为目标光标关联的预设控制方式下的预设手势，控制目标虚拟对象执行与目标手势操作对应的预设操作，目标光标为多个预设控制区域中的任一预设控制区域对应的预设光标。如此，用户通过手势操作在虚拟场景中选中虚拟对象，通过用户手势和叠加显示于虚拟对象上的光晕之间的配合，限定不同的预设控制区域中执行不同的控制操作，用户根据虚拟对象上叠加显示的控制组件的提示，在手部配合做出预设手势时才能够执行对应的预设操作，使得用户通过手势操作能够实现的控制功能更丰富，提升了用户使用体验，同时，预设控制区域的限定提高了交互控制的精度与准确性，减少误控制等问题的发生。

下面将结合图14对本申请提供的一种可穿戴设备600进行说明。

参照图14，图14示出了本申请实施例提供的一种可穿戴设备600的结构框图，本申请实施例提供的上述方法可以由该可穿戴设备600执行。

本申请实施例中的可穿戴设备600可以包括一个或多个如下部件：处理器601、存储器602、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器602中并被配置为由一个或多个处理器601执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器601可以包括一个或者多个处理核。处理器601利用各种接口和线路连接整个可穿戴设备600内的各个部分，通过运行或执行存储在存储器602内的指令、程序、代码集或指令集，以及调用存储在存储器602内的数据，执行可穿戴设备600的各种功能和处理数据。可选地，处理器601可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器601可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以集成到处理器601中，单独通过一块通信芯片进行实现。

存储器602可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器602可用于存储指令、程序、代码、代码集或指令集。存储器602可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储可穿戴设备600在使用中所创建的数据(比如上述的各种对应关系)等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图15，图15示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质700中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质700包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。

在一些实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述各方法实施例中的步骤。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种交互控制方法，其特征在于，应用于可穿戴设备，所述方法包括：

响应于第一预设手势，检测所述第一预设手势与目标虚拟对象的相对位置；

若检测到所述第一预设手势与所述目标虚拟对象存在重叠区域，于所述重叠区域显示第一预设光晕；

若检测到所述第一预设光晕处于多个预设控制区域中的目标控制区域，于所述目标虚拟对象上叠加显示控制组件，所述控制组件包括每个所述预设控制区域对应的预设光标和预设边界框，每个所述预设控制区域对应的预设光标与一种预设控制方式相关联；

若检测到输入的目标手势为目标光标关联的预设控制方式下的预设手势，控制所述目标虚拟对象执行与所述目标手势操作对应的预设操作，所述目标光标为所述多个预设控制区域中的任一预设控制区域对应的所述预设光标。

2.根据权利要求1所述的方法，其特征在于，在所述响应于第一预设手势，检测所述第一预设手势与目标虚拟对象的相对位置之后，所述方法还包括：

若检测到所述第一预设手势与所述目标虚拟对象不存在重叠区域，于所述第一预设手势对应的手部中的目标手部位置叠加显示第二预设光晕，所述第二预设光晕与所述第一预设光晕的外观属性不同。

3.根据权利要求1所述的方法，其特征在于，在所述检测到所述第一预设光晕处于多个预设控制区域中的目标控制区域之后，所述方法还包括：

将所述目标虚拟对象的当前显示状态由第一显示状态切换为第二显示状态，所述第二显示状态下的目标虚拟对象的外观属性与所述第一显示状态下的目标虚拟对象的外观属性不同。

4.根据权利要求1所述的方法，其特征在于，在所述检测到输入的目标手势为目标光标关联的预设控制方式下的预设手势之后，所述方法还包括：

将所述第一预设光晕的当前显示状态由第三显示状态切换为第四显示状态，所述第四显示状态下的所述第一预设光晕的外观属性与所述第三显示状态下的所述第一预设光晕的外观属性不同。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述外观属性至少包括尺寸信息、颜色信息、描边信息、透明度信息中的一种信息。

6.根据权利要求1-4任一项所述的方法，其特征在于，多个所述预设控制区域与多种所述预设控制方式一一对应，多种所述预设控制方式与多种预设手势一一对应，所述多种预设手势至少包括张开手势、握拳手势以及捏合手势。

7.根据权利要求1-4任一项所述的方法，其特征在于，多个所述预设控制区域至少包括移动控制区域、缩放控制区域以及旋转控制区域。

8.一种交互控制装置，其特征在于，应用于可穿戴设备，所述装置包括：

位置检测模块，用于响应于第一预设手势，检测所述第一预设手势与目标虚拟对象的相对位置；

光晕显示模块，用于若检测到所述第一预设手势与所述目标虚拟对象存在重叠区域，于所述重叠区域显示第一预设光晕；

控制组件显示模块，用于若检测到所述第一预设光晕处于多个预设控制区域中的目标控制区域，于所述目标虚拟对象上叠加显示控制组件，所述控制组件包括每个所述预设控制区域对应的预设光标和预设边界框，每个所述预设控制区域对应的预设光标与一种预设控制方式相关联；

控制模块，用于若检测到输入的目标手势为目标光标关联的预设控制方式下的预设手势，控制所述目标虚拟对象执行与所述目标手势操作对应的预设操作，所述目标光标为所述多个预设控制区域中的任一预设控制区域对应的所述预设光标。

9.一种可穿戴设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器；

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至7任一项所述的方法。

Images