CN116166161A - 基于多层级菜单的交互方法及相关设备 - Google Patents

Abstract

本申请提供一种基于多层级菜单的交互方法及相关设备，通过识别针对多层级菜单的多个操作对象的第一操作对象的第一手势，来确定第一操作对象的类型，当第一操作对象为第一子菜单的标识时，显示该第一子菜单，当第一操作对象为第一操作的标识时，执行该第一操作。本申请通过手势识别来完成交互的方式可以在一定程度上降低现有交互方式的误触率。

Description

基于多层级菜单的交互方法及相关设备

技术领域

本申请涉及人机交互技术领域，尤其涉及一种基于多层级菜单的交互方法及相关设备。

背景技术

随着智能软、硬件技术的发展，出现了通过计算机技术和可穿戴设备实现的扩展现实(Extented Reality，XR)技术。XR技术可以进一步包括虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)和混合现实(Mixed Reality，MR)。VR是利用计算机模拟产生虚拟环境的技术。AR是将虚拟信息与真实世界融合的技术。MR是AR和VR两者的混合。

在实际使用过程中，用户可以与呈现在VR/AR/MR场景中的虚拟对象交互。例如，当场景中呈现多层级菜单时，用户通过点击多层级菜单中的可触发对象进行选择。但这种与多层级菜单的交互方式存在较高的误触率。

发明内容

有鉴于此，本申请的目的在于提出一种基于多层级菜单的交互方法及相关设备，以解决或部分解决前述的问题。

本申请第一方面，提供了一种基于多层级菜单的交互方法，所述多层级菜单包括多个操作对象，所述方法包括：

响应于识别到针对所述多个操作对象的第一操作对象的第一手势，确定所述第一操作对象的类型；

响应于确定所述第一操作对象为第一子菜单的标识，显示所述第一子菜单；或者

响应于确定所述第一操作对象为第一操作的标识，执行所述第一操作。

本申请第二方面，提供了一种基于多层级菜单的交互装置，包括：

识别模块，被配置为响应于识别到针对所述多个操作对象的第一操作对象的第一手势，确定所述第一操作对象的类型；

执行模块，被配置为响应于确定所述第一操作对象为第一子菜单，显示所述第一子菜单；或者

响应于确定所述第一操作对象为第一操作的标识，执行所述第一操作。

本申请第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的方法。

本申请第四方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如第一方面所述的方法。

本申请第五方面，提供了一种计算机程序产品，所述计算机程序被处理器执行时，实现如第一方面所述的方法。

从上面所述可以看出，本申请提供的一种基于多层级菜单的交互方法及相关设备，通过识别针对多层级菜单的多个操作对象的第一操作对象的第一手势，来确定第一操作对象的类型，当第一操作对象为第一子菜单的标识时，显示该第一子菜单，当第一操作对象为第一操作的标识时，执行该第一操作。本申请通过手势识别来完成交互的方式可以在一定程度上降低现有交互方式的误触率。

附图说明

为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本申请实施例的示例性扩展现实系统100的示意图。

图2示出了一种示例性基于多层级菜单的交互画面200的示意图。

图3A示出了根据本申请实施例的示例性画面300的示意图。

图3B示出了根据本申请实施例的又一示例性画面300的示意图。

图3C示出了根据本申请实施例的一个示例性手势的示意图。

图3D示出了根据本申请实施例的再一示例性画面300的示意图。

图3E示出了根据本申请实施例的另一示例性画面300的示意图。

图3F示出了根据本申请实施例的另一个示例性手势的示意图。

图3G示出了根据本申请实施例的再一示例性画面300的示意图。

图3H示出了根据本申请实施例的再一示例性画面300的示意图。

图3I示出了根据本申请实施例的又一示例性画面300的示意图。

图4A示出了一种示例性基于多层级菜单的交互画面400的示意图。

图4B示出了另一种示例性基于多层级菜单的交互画面400的示意图。

图5A示出了根据本申请实施例的示例性画面500的示意图。

图5B示出了根据本申请实施例的另一示例性画面500的示意图。

图5C示出了根据本申请实施例的示例性画面510的示意图。

图5D示出了根据本申请实施例的另一示例性画面510的示意图。

图5E示出了根据本申请实施例的示例性画面的示意图。

图6A示出了根据本申请实施例的示例性画面600的示意图。

图6B示出了根据本申请实施例的另一示例性画面600的示意图。

图6C示出了根据本申请实施例的再一示例性画面600的示意图。

图6D示出了根据本申请实施例的又一示例性画面600的示意图。

图7示出了根据本申请实施例的示例性基于多层级菜单的交互方法700的流程图。

图8示出了根据本申请实施例的示例性基于多层级菜单的交互装置的示意图。

图9示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。

需要说明的是，除非另外定义，本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其它元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

如上所述，用户可以与呈现在VR/AR/MR场景中的虚拟对象交互。例如，当场景中呈现多层级菜单时，用户通过点击多层级菜单中的可触发对象进行选择。然而，多层级菜单中存在多个操作对象，且多个操作对象以并排，和/或并列的方式显示于多层级菜单，在这种情况下通过点击的交互方式选择可触发对象，易点击到与目标可触发对象相邻的其它可触发对象，因此这种与多层级菜单的交互方式会产生误触率。

图1示出了本申请实施例的示例性扩展现实系统100的示意图。

如图1所示，该系统100可以包括头戴式可穿戴设备(例如，VR眼镜)104、穿戴手套106、操作手柄108。在一些场景中，还可以设置有用于拍摄操作者(用户)102的照片的相机/摄像头110。在一些实施例中，当前述的设备不具有处理功能时，系统100还可以包括外接的控制设备112，用于提供处理功能。该控制设备112，例如，可以是手机、电脑等计算机设备。在一些实施例中，前述的各设备中的任一设备作为控制设备或主控制设备时，可以与系统100中的其它设备通过有线或无线的通信方式来实现信息交互。

在一些实施例中，如图1所示，系统100还可以与服务器114进行通信，并可以从服务器114中获取数据，例如，图片、音频、视频等。在一些实施例中，如图1所示，服务器114可以从用于存储数据的数据库服务器116中调取所需的数据，例如，图片、音频、视频等。

在系统100中，操作者102可以利用头戴式可穿戴设备(例如，VR眼镜)104、穿戴手套106、操作手柄108来实现与扩展现实系统100的交互。在一些实施例中，头戴式可穿戴设备104、穿戴手套106和操作手柄108上均可以设置用于采集信息的采集单元，系统100利用采集单元所采集的信息来识别操作者102的姿态、手势等，进而基于识别出的姿态、手势实现操作者102与扩展现实系统100的交互。采集单元的类型可以有多个。例如，头戴式可穿戴设备104可以设置用于采集人眼画面的摄像头或电荷耦合器件(CCD)图像传感器、用于采集头戴式可穿戴设备104的速度信息或加速度信息的速度传感器、加速度传感器、角速度传感器(例如，陀螺仪)、用于采集脑电波信息的电极、用于采集神经肌肉反应信息的神经肌肉传感器(neuromuscular sensors)、用于采集体表温度的温度传感器，等等。又例如，穿戴手套106也可以设置用于采集穿戴手套106的速度信息或加速度信息的速度传感器、加速度传感器、角速度传感器(例如，陀螺仪)、用于采集神经肌肉反应信息的神经肌肉传感器(neuromuscular sensors)、用于采集体表温度的温度传感器，等等。需要说明的是，前述的采集单元除了可以设置在头戴式可穿戴设备104和穿戴手套106上之外，还可以设置在图1的操作手柄108，或者，不依托硬件设备而是直接通过贴附的方式设置在交互操作者102的身体部位上，从而采集该身体部位的相关信息，例如，速度或加速度或角速度信息，或者其它传感器或采集单元所采集的生物信息(例如，人眼图像(包含瞳孔图像)、神经肌肉反应信息、脑电波信息、体表温度，等等)。在一些实施例中，系统100还可以利用相机/摄像头110所采集的画面来识别操作者102裸手的手势，进而基于识别出的手势来完成与操作者102的交互。

系统100基于采集单元或者相机/摄像头110所采集的画面，识别出操作者102裸手的手势。在一些实施例中，系统100首先对采集单元或者相机/摄像头110所采集的画面中的手形图像进行肤色检测，基于肤色检测的结果，对手形图像进行分割，以将手形图像中操作者102的目标手势与图像背景分离开来，然后提取目标手势的特征(例如，手指的指尖数量、手指关节点、手势的特征向量等)，并基于提取的目标手势的特征进行手势识别。例如，可以利用手势模板，将待识别手势的特征参数和手势模板的特征参数进行匹配来识别手势。又例如，可以基于统计分析技术，将提取的特征向量进行分类来识别手势。又例如，可以利用神经网络学习模型，基于提取的大量手势特征来识别手势。

扩展现实(XR)系统100可以允许操作者102与模拟场景中的数字世界进行交互。该模拟场景可以是虚拟场景或者虚实结合的场景。在一些情况下，可能需要操作者102在模拟场景中与一些虚拟对象进行交互。该虚拟对象可以是多层级菜单。

图2示出了一种示例性基于多层级菜单的交互画面200的示意图。

画面200可以是操作者102通过头戴式可穿戴设备104观看到的画面，如图2所示，在画面200中展示了一个模拟场景下的数字世界，其中，当接收到输入请求时，可以在画面200中显示一个多层级菜单202。

在一些实施例中，在多层级菜单202中可以显示多个可触发对象，例如，如图2所示，多层级菜单202中的多个操作对象2022，这些操作对象2022被触发后可以生成相应的子菜单，或者执行相应的操作(例如，更换不同的模拟场景)，因此，这些操作对象2022可以被认为是所述可触发对象。

在接收到输入请求之后，在相关技术中，操作者102一般是通过点击操作与多层级菜单202进行交互。

如图2所示，在一些实施例中，多层级菜单202可以形成在距离操作者102较近的位置(可称为近场)，也可以形成在距离操作者102较远的位置(可称为远场)。远场从视觉效果上，多层级菜单202相对于画面200会比较小。在相关技术中，可以根据多层级菜单202处于较远位置(远场)或者处于较近位置(近场)，以及操作者102所使用的不同的输入媒介(例如，操作手柄或者手)，来实现与多层级菜单202的交互，从而在模拟场景中生成相应的子菜单或者执行相应的操作。

如图2所示，在相关技术中，当多层级菜单202处于较近位置(近场)时，在操作者102所使用的不同的输入媒介在模拟场景中形成的图像(例如，手形图像204)前端形成指向点206。手形图像204用于反映操作者102的手在模拟场景中所处的位置，以使操作者102能够基于手形图像204进行操作。手形图像204前端形成的指向点206作为手形图像204与多层级菜单202中的特定对象进行接触的点，以使操作者102根据指向点206的位置来确定触发多层级菜单202中的某个可触发对象，进而通过点击操作触发某个可触发对象。

此外，在一些相关技术中，若操作者使用操作手柄作为输入媒介，则会在操作手柄在模拟场景中形成的图像的前端形成指向点。与上述相关技术类似，操作者可以根据指向点的位置确定触发多层级菜单中的某个可触发对象，然后通过点击操作触发某个可触发对象。在其他一些相关技术中，若多层级菜单处于较远位置(远场)时，则会在操作者所使用的不同的输入媒介在模拟场景中形成的图像的前端形成指向多层级菜单的射线。操作者通过射线确定可触发对象的位置，并通过点击操作触发可触发对象。

可以看出，在相关技术中，不论是通过在手形图像或操作手柄图像前端形成指向点的方式，还是通过形成手形图像或操作手柄图像的前端形成指向多层级菜单的射线的方式，都存在不稳定性，这种不稳定性容易在操作者使用点击操作选择可触发对象时误触到多层级菜单中的其它可触发对象。当操作者通过指向点与可触发对象进行交互时，产生误触的不稳定性可以是由于指向点的面积导致的，如图2所示，操作对象2024为操作者102的目标可触发对象，然而，由于指向点206存在一定的面积，且多层级菜单202中，各个操作对象之间排布紧密，当指向点206接近操作对象2024时，指向点206的部分面积会落入与操作对象2024挨着的操作对象2026的范围。此时，操作者102使用点击操作时，就会误触到操作对象2026。当操作者通过射线与可触发对象进行交互时，产生误触的不稳定性可以是由于远场交互中，手形图像或操作手柄图像与多层级菜单之间的距离太远，操作者在操控射线时操作者的手部易产生晃动，导致射线的前端不易准确地确定到目标可触发对象的位置。

有鉴于此，本申请实施例提供了一种基于多层级菜单的交互方法及相关设备，通过识别针对多层级菜单的多个操作对象的第一操作对象的第一手势，来确定第一操作对象的类型，当第一操作对象为第一子菜单的标识时，显示该第一子菜单，当第一操作对象为第一操作的标识时，执行该第一操作。本申请通过手势识别来完成交互的方式可以在一定程度上降低现有交互方式的误触率。

图3A示出了根据本申请实施例的示例性画面300的示意图。

画面300可以是操作者102通过头戴式可穿戴设备104观看到的画面，如图3A所示，在画面300中展示了一个模拟场景下的数字世界，其中，当接收到输入请求时，可以在画面300中显示一个多层级菜单304。

在一些实施例中，在多层级菜单304中可以显示多个可触发对象，例如，如图3A所示，多层级菜单304中的多个操作对象(例如，第一操作对象3042)，这些操作对象被触发后可以生成相应的子菜单，或者执行相应的操作(例如，更换不同的模拟场景)，因此，这些操作对象可以被认为是所述可触发对象。

在一些实施例中，操作者102可以通过裸手实现手势输入，系统100通过采集的手形图像识别输入的手势，进而基于识别的手势与多层级菜单304进行交互。

系统100在识别到操作者102做出的针对多层级菜单304中的某一可触发对象的第一手势后，首先确定该可触发对象的类型，以执行不同可触发对象相应的功能。如图3A所示，在一些实施例中，第一手势可以包括捏合手势302，操作者102基于捏合手势302与多层级菜单304进行交互。采用捏合手势确定选取的目标操作对象的类型，符合操作者的使用习惯和操作习惯。在一些实施例中，系统100基于采集的手形图像，识别到手形图像中手势的第一手指3022和第二手指3024相接触，那么可以确定该手形图像中的手势为捏合手势302。捏合手势302的第一手指3022和第二手指3024的指尖可以用于使操作者102根据该指尖所在的位置确定是否触发多层级菜单304中的某个可触发对象。

如图3A所示，在一些实施例中，系统100识别到操作者102做出的捏合手势302与第一操作对象3042之间的距离小于或等于第三距离(例如，1-2cm)，可以判定第一操作对象3042为操作者102要触发的可触发对象。此时，系统100开始确定第一操作对象3042的类型。可以理解，第三距离的设置是由于如果捏合手势302与第一操作对象3042之间的距离太远，一方面，系统100无法响应捏合手势302与第一操作对象3042之间的交互。另一方面，系统100会识别出捏合手势302与第一操作对象3042相邻的其它可触发对象的交互。因此，需要设置捏合手势302与第一操作对象3042之间的距离小于或等于第三距离，以准确响应捏合手势302与第一操作对象3042之间的交互，同时降低误触率。此外，在确定捏合手势302与第一操作对象3042之间的距离时，捏合手势302的基准点的设置可以根据需要进行调整。在一些实施例中，捏合手势302与第一操作对象3042之间的距离可以是以捏合手势302的中心为基点，确定该基点与第一操作对象3042之间的距离。在又一些实施例中，还可以是以捏合手势302的第一手指3022和第二手指3024的指尖为基点，确定该基点与与第一操作对象3042之间的距离。

图3B示出了根据本申请实施例的示例性画面300的示意图。

捏合手势302是基于操作者102在真实物理世界中做出的相应的手势在画面300中生成的手形图像。在一些实施例中，操作者102可以在真实物理世界中先做出第三手势，如图3B所示，第三手势包括张开手势312。操作者102基于该张开手势312在画面300中生成的手形图像，接近多层级菜单中的某个可触发对象。张开手势312中的手指3122和手指3124的指尖可以用于使操作者102根据该指尖所在的位置确定多层级菜单304中的某个可触发对象是否为目标可触发对象(例如，第一操作对象3042)。

如图3C所示，在一些实施例中，系统100基于采集的手形图像，识别到手形图像中手势的手指3122和手指3124的开合角度3126位于预设的角度范围内(例如，开合角度3126可以设为0至30度)，确定该手形图像中的手势为张开手势312，也就是做出捏合手势的起始手势。该预设角度范围基于操作者的操作习惯可以适应的调整，以提升操作者的操作体验。需要说明的是，作为一种可选实施方式，开合角度3126可以是以张开手势312的虎口为圆心，虎口分别到两个手指的指尖的连线形成的锐角。操作者102保持第三手势接近多层级菜单304中的第一操作对象3042，直至系统100识别到第三手势与第一操作对象3042之间的距离小于或等于第三距离，操作者102在张开手势312的基础上，针对第一操作对象3042做出捏合手势302，如图3C所示。

基于上述捏合手势的实现方式，可以将张开手势312设置为与捏合手势302相衔接的用于呼出(唤醒)多层级菜单的手势。这样，多层级菜单被呼出后，操作者102可以在张开手势312的基础上继续做出捏合手势302，节省了需要另外做出其它呼出菜单的手势而带来的能耗。在一些实施例中，系统100识别到操作者102在模拟场景中做出的张开手势312，且识别到该张开手势312在任一位置保持停留的时间大于或等于第一时间(例如，保持停留2s)，如图3B所示，在张开手势312的手指3122和手指3124的指尖所在的位置1显示多层级菜单304。可以理解，如果仅设置用于判定是否呼出多层级菜单304的张开手势312的保持停留时间等于该第一时间，那么多层级菜单304被呼出后，系统100识别到张开手势312依然在同一位置保持停留的时间超过该第一时间，判定不满足显示多层级菜单304的条件，多层级菜单304则会被关闭。由此，需要设置张开手势312的保持停留时间大于或等于该第一时间，以避免由于手势停留时间过长而导致的多层级菜单304被关闭的问题。

在又一些实施例中，操作者102还可以通过触摸头戴式可穿戴设备104来呼出多层级菜单。如上所述，头戴式可穿戴设备104上可以设置用于采集信息的采集单元，该采集单元可以是用于采集操作者102体表温度(例如，操作者102手指的温度)的温度传感器。系统100通过温度传感器采集到的操作者102手指的温度，判断操作者102的手指是否位于设置在头戴式可穿戴设备104上用于呼出多层级菜单的触摸点范围内。若系统100识别到操作者102的手指在触摸点范围内停留的时间大于或等于一定时间，则在模拟场景中的任一位置显示多层级菜单。

图3D示出了根据本申请实施例的示例性画面300的示意图。

可触发对象的类型可以包括子菜单或者可触发对象的对应的操作。在一些实施例中，若操作者102选择触发的可触发对象为多层级菜单的子菜单，操作者102在真实的物理世界中保持捏合手势移动，以控制模拟场景中的可触发对象移动。如图3D所示，系统100确定第一操作对象3042的类型为第一子菜单的标识3044后，若识别到操作者102保持捏合手势302在模拟场景中向方向1移动，系统100则控制第一子菜单的标识3044跟随捏合手势302在模拟场景中移动。在一些实施例中，第一子菜单的标识3044在模拟场景中的图像可以与第一子菜单的图像透明度不同，还可以与第一子菜单的大小不同，还可以是以单一颜色的模块图像呈现在模拟场景中，等等。

在一些实施例中，在第一子菜单的标识3044跟随捏合手势302移动的过程中，操作者102可以基于模拟场景中的手形图像确定捏合手势302所处的位置，再根据捏合手势302的第一手指3022和第二手指3024的指尖所在的位置，或者根据第一子菜单的标识3044所在的位置确定显示第一子菜单的位置。如图3E所示，若操作者102确定在位置2显示第一子菜单306，操作者102根据模拟场景中的图像确定第一子菜单的标识3044位于位置2后，在真实物理世界中基于捏合手势302做出第二手势，如图3F所示。第二手势包括松开手势322，基于捏合手势302，设置松开手势322作为显示第一子菜单的判定条件，符合操作者的使用习惯以及操作习惯，提升了操作者的操作体验。系统100识别到操作者102做出的松开手势322后，在位置2显示第一子菜单306的图像。如图3F所示，在一些实施例中，系统100基于采集的手形图像，识别到手形图像中手势的第一手指3222和第二手指3224的开合角度3226位于预设的角度范围内(例如，可以将开合角度3226的角度范围设置为与开合角度3126的角度范围相同)，确定该手形图像中的手势为松开手势322。

为了避免由于第一子菜单的标识3044与多层级菜单304之间的距离太近而导致的无法成功显示第一子菜单306的问题，如图3G所述，在一些实施例中，需要设置第一子菜单的标识3044跟随捏合手势302移动的距离31，或者第一子菜单的标识3044与多层级菜单304之间的距离超过第一距离(例如，1-2cm)后，系统100可以在识别松开手势322后显示第一子菜单306。在操作者102利用在模拟场景中生成的手形图像控制第一子菜单的标识3044移动的过程中，为使操作者102可以根据模拟场景中的图像确定第一子菜单的标识3044和多层级菜单304之间的距离已超过第一距离，在一些实施例中，可以在第一子菜单的标识3044和多层级菜单304之间的距离还位于第一距离内时，设置第一子菜单的标识3044和多层级菜单304在模拟场景中的图像呈同一颜色显示，或者呈同一灰度显示；当第一子菜单的标识3044和多层级菜单304之间的距离超过第一距离，设置第一子菜单的标识3044和多层级菜单304在模拟场景中的图像恢复原本的颜色。这样通过颜色的变化可以使操作者102可以根据模拟场景中的图像清楚地确定可以做出松开手势322显示第一子菜单的位置，不会导致由于第一子菜单的标识3044与多层级菜单304之间的距离太近而无法成功显示第一子菜单306。

在一些实施例中，在操作者102基于在模拟场景中生成的捏合手势302的图像选取并移动第一子菜单的标识3044的过程中，可以通过保持捏合手势302的状态下对第一子菜单的标识3044进行翻转、拖动等操作。如图3H所示，系统100可以控制第一子菜单的标识3044跟随捏合手势302从位置3翻转移动至位置4，然后操作者102可以根据面对画面300的视角在位置4基于在模拟场景中生成的捏合手势302的图像继续将第一子菜单的标识3044在方向2上旋转，进而，如图3I所示，以使第一子菜单306的显示面朝向操作者102进行显示，方便操作者102查看目标操作对象的内容。

图4A示出了一种示例性基于多层级菜单的交互画面400的示意图。

在相关技术中，使用点击的方式选取并显示子菜单后，多层级菜单就不再显示。如图4A所示，操作者102基于在模拟场景中的手形图像404前端的指向点406点击选取多层级菜单402中的子菜单4026后，如图4B所示，子菜单4026则会展开覆盖多层级菜单402中的其它可触发对象。这样，如果操作者102在该子菜单4026中没有找到想要选择的功能或者其它可触发对象，就需要点击返回上一级菜单，在模拟场景中多层级菜单402恢复如图4A所示的图像。这样不利于操作者102查找到目标可触发对象，会浪费操作者102找到目标可触发对象的时间，同时多层级菜单402与不同操作对象之间不停地切换会增加计算机运行的能耗。

图5A示出了根据本申请实施例的示例性画面500的示意图。

为解决上述问题，在一些实施例中，可以设置在显示多层级菜单的基础上，显示第一子菜单。如此一来，当操作者102继续对多层级菜单的其它操作对象执行手势交互时，由于多层级菜单依然显示于模拟场景中，操作者102可以直接对多层级菜单的其它操作对象做出交互手势。如图5A所示，以多层级菜单502为例，在画面500中，多层级菜单502的第一操作对象5022对应的第一子菜单504已显示在模拟场景中。在显示第一子菜单504以及其它多个子菜单的基础上，操作者102基于在模拟场景中生成的手形图像继续对多层级菜单502的第二操作对象5024做出捏合手势508。系统100识别到操作者102针对多层级菜单502的第二操作对象5024的捏合手势508，判定第二操作对象5024为操作者102要选取的目标操作对象。接着，系统100确定第二操作对象5024的类型。若系统100判定第二操作对象5024为第二子菜单的标识，则在显示多层级菜单502和第一子菜单504的基础上，如图5B所示，显示第二子菜单506。

图5C示出了根据本申请实施例的示例性画面510的示意图。

如图5C所示，在一些实施例中，以多层级菜单512为例，在画面510中，多层级菜单512的第一操作对象5122对应的第一子菜单514已显示在模拟场景中。在显示第一子菜单514以及其它多个子菜单的基础上，操作者102基于在模拟场景中生成的手形图像继续对第一子菜单514中多个操作对象的第一子操作对象5142做出捏合手势518。系统100识别到操作者102针对第一子菜单514的第一子操作对象5142的捏合手势518，判定第一子操作对象5142为操作者102要选取的目标操作对象。接着，系统100确定第一子操作对象5142的类型。若系统100判定第一子操作对象5142为第三子菜单的标识，则在显示多层级菜单512和第一子菜单514的基础上，如图5D所示，显示第三子菜单516。

如此重复多次操作后，就形成了如图5E所示的呈树状结构显示的多个子菜单。多个子菜单在场景中呈如图5E所示的结构显示时，操作者102就可以很清楚直观地看到每个子菜单所包含的功能或者下一级子菜单。当操作者102发现想要选取的目标操作对象后，可以直接通过在模拟场景中生成的手形图像与目标操作对象交互，避免了相关技术中需要在不同子菜单之间进入、返回的切换而带来的耗费时间以及能耗高的问题。此外，通过这样的呈现子菜单的方式，多个子菜单之间不会重叠，有利于降低终端设备对子菜单进行图像识别的难度。需要说明的是，本申请实施例的使多个菜单呈树状结构显示仅为示例性的，其它可使多个菜单之间不出现重叠、遮挡的显示结构，或者具有类似效果的显示结构都应落入本申请实施例的保护范围。

在一些实施例中，若操作者102选择触发的可触发对象为多层级菜单中的某一可触发对象的对应的第一操作，操作者102在真实的物理世界中保持捏合手势移动，以控制模拟场景中的第一操作的标识移动。与控制第一子菜单的标识3044移动的方式类似，如图3D所示，系统100确定第一操作对象3042的类型为第一操作的标识后，若识别到操作者102保持捏合手势302在模拟场景中向方向1移动，系统100则控制第一操作的标识跟随捏合手势302在模拟场景中移动。同样地，在一些实施例中，第一操作的标识在模拟场景中的图像可以与多层级菜单304的图像透明度不同，还可以与多层级菜单304的大小不同，还可以是以单一颜色的模块图像呈现在模拟场景中，等等。

在一些实施例中，在第一操作的标识跟随捏合手势302移动的过程中，若第一操作为需要确定特定位置执行的操作，则操作者102可以基于模拟场景中的手形图像确定捏合手势302所处的位置，再根据捏合手势302的第一手指3022和第二手指3024的指尖所在的位置，或者根据第一操作的标识所在的位置确定执行第一操作的位置。若第一操作为可以在模拟场景中任一位置执行的操作，则操作者102可以基于模拟场景中的捏合手势302在任一位置做出第二手势，以使系统100执行第一操作。与显示第一子菜单306的方式类似，在一些实施例中，第二手势包括松开手势322。系统100识别到操作者102做出的松开手势322后，执行第一操作。

同样地，为了避免由于第一操作的标识与多层级菜单304之间的距离太近而导致的系统100无法成功执行第一操作的问题，在一些实施例中，需要设置第一操作的标识跟随捏合手势302移动的距离相对于多层级菜单304的距离超过第二距离(例如，1-2cm)后，系统100可以在识别松开手势322后执行第一操作。在操作者102利用在模拟场景中生成的手形图像控制第一操作的标识移动的过程中，为使操作者102可以根据模拟场景中的图像确定第一操作的标识和多层级菜单304之间的距离已超过第二距离，在一些实施例中，可以在第一操作的标识和多层级菜单304之间的距离还位于第二距离内时，设置第一操作的标识和多层级菜单304在模拟场景中的图像呈同一颜色显示，或者呈同一灰度显示；当第一操作的标识和多层级菜单304之间的距离超过第二距离，设置第一操作的标识和多层级菜单304在模拟场景中的图像恢复原本的颜色。这样通过颜色的变化可以使操作者102可以根据模拟场景中的图像清楚地确定什么时候可以做出松开手势322使系统100执行第一操作，不会导致由于第一操作的标识与多层级菜单304之间的距离太近，从而系统100无法成功执行第一操作。

在一些实施例中，系统100执行第一操作后，图5E所示的模拟场景中的其它子菜单或多层级菜单则会被关闭。根据操作者的操作习惯，在执行第一操作后，则认为该第一操作为操作者的目标操作对象，此时自动关闭多层级菜单，避免需要操作者再去手动关闭多层级菜单，方便操作者的操作。此外，通过这种手势识别以及判定条件来选取可触发对象的方式，可以识别出手势是否准确选取到了可触发对象，降低了相关技术中没有判定条件进行点击选取的方式产生的误触率。

图6A示出了根据本申请实施例的示例性画面600的示意图。

当模拟场景中显示了多个子菜单，操作者102想要关闭其中的某个菜单，或者关闭所有子菜单以及多层级菜单时，在一些实施例中，操作者102可以在真实的物理世界中做出第四手势。如图6A所示，第四手势包括手掌拍击手势602，手掌拍击手势602符合操作者的操作习惯，方便操作者的操作。系统100识别到操作者102针对想要关闭的子菜单或者多层级菜单做出手掌拍击手势602后，关闭相应的子菜单或者多层级菜单。操作者可选择地关闭单个或者多个菜单，增加操作的灵活性，提升操作者的使用体验。

手掌拍击手势602不限于如图6A所示的平行于画面600，也不限于手掌拍击手势602与多层级菜单垂直或平行，如图6B所示，在一些实施例中，当系统100识别到针对多层级菜单604的手掌拍击手势602呈一定角度倾斜时，也可以关闭该多层级菜单604。此外，系统100在识别到模拟场景中的手形图像从第一位置612移动到第二位置614，且第二位置614与多层级菜单604的距离616小于第三距离(例如，1-2cm)时，系统100可以判定该手形图像中的手势为手掌拍击手势602。可以理解，用于判定手掌拍击手势602从第一位置612移动到第二位置614的基准点不限于如图6B所示的手掌掌根部位，作为一种可选实施方式，可以将手掌手势的中心作为基准点，或者将手掌手势的某一指尖作为基准点，本申请实施例对此不作限制。同样地，用于判定距离616的手势基准点也可以为前述将手掌手势的其他位置作为判定距离616的基准点，本申请实施例对此不作限制。此外，系统100用于识别手掌拍击手势602的判定条件也不限于上述实施例所述的移动距离，作为一种可选实施方式，判定条件还可以设为手掌拍击手势602从第一位置612移动至第二位置614的移动速度等条件。同时，也可以将某个判定条件或者多个判定条件组合设为手掌拍击手势602的识别条件，以提高手势识别的准确度，本申请实施例对此不作限制。

如上所述，操作者102可以基于在模拟场景中做出手掌拍击手势602，关闭模拟场景中的某个菜单，或者关闭所有子菜单以及多层级菜单。如图6C所示，在一些实施例中，若操作者102想要关闭模拟场景中的某个菜单(例如，子菜单608)，操作者102可以在模拟场景中基于手形图像只针对该子菜单608做出手掌拍击手势602。系统100识别到针对子菜单608的手掌拍击手势602，关闭该子菜单608。在一些实施例中，若操作者102想要关闭模拟场景中的所有菜单，如图6A所示，操作者102可以基于手形图像，针对模拟场景中生成的多个菜单构成的整体图像做出手掌拍击手势602。系统100识别到针对该整体图像的手掌拍击手势602，关闭模拟场景中的所有的菜单。在又一些实施例中，如图6D所示，操作者102可以在模拟场景中基于手形图像只针对树形结构最底层的多层级菜单606做出手掌拍击手势602。由于模拟场景中所有的菜单是基于该多层级菜单606生成的，因系统100在识别到针对该多层级菜单606的手掌拍击手势602后，可以关闭所有的菜单。

图7示出了根据本申请实施例的示例性基于多层级菜单的交互方法700的流程图。方法700可以由系统100实现，例如，由系统100生成包括多层级菜单(例如，图3A的多层级菜单304)以及手形图像的画面(例如，图3A的画面300)，操作者102基于在模拟场景中生成的手形图像做出不同的手势与多层级菜单交互。在一些实施例中，操作者102可以通过裸手来实现手势输入，系统100可以通过设置在头戴式可穿戴设备104的前方的摄像头或相机等实时采集前方图像，并通过对该图像进行识别来对操作者102的手势进行识别。

以模拟场景中任一多层级菜单为例，多层级菜单(例如，图3A的多层级菜单304)可以包括多个操作对象，方法700可以包括如下步骤。

在步骤S702，响应于识别到针对所述多个操作对象的第一操作对象(例如，图3A的第一操作对象3042)的第一手势，确定所述第一操作对象的类型。所述第一操作对象的类型可以包括子菜单或者第一操作对象对应的操作，不同类型的操作对象对应不同的显示效果。

在一些实施例中，响应于识别到对所述第一操作对象的捏合手势(例如，图3A的捏合手势302)，确定所述第一操作对象的类型。在一些实施例中，响应于识别到所述第一手势的第一手指(例如，图3A的第一手指3022)和第二手指(例如，图3A的第二手指3024)相接触，确定所述第一手势为所述捏合手势。采用捏合手势确定选取的目标操作对象的类型，符合操作者的使用习惯和操作习惯。

在一些实施例中，响应于所述第一手势与所述第一操作对象之间的距离小于或等于第三距离，确定所述第一操作对象的类型。设置捏合手势302与第一操作对象3042之间的距离小于或等于第三距离，以准确响应捏合手势302与第一操作对象3042之间的交互，同时降低误触率。

在一些实施例中，确定所述第一操作对象的类型之前，响应于识别到第三手势(例如，图3B的张开手势312)，显示所述多层级菜单(例如，图3B的多层级菜单304)。基于操作者做出捏合手势的起始手势(张开手势312)，设置张开手势312用于呼出多层级菜单304，节省了需要另外做出其它呼出菜单的手势而带来的能耗。

在一些实施例中，确定所述第一操作对象的类型之前，响应于所述第三手势保持停留的时间大于或等于第一时间，在所述第三手势对应的位置显示所述多层级菜单。如果仅设置用于判定是否呼出多层级菜单304的张开手势312的保持停留时间等于该第一时间，那么多层级菜单304被呼出后，系统100识别到张开手势312依然在同一位置保持停留的时间超过该第一时间，判定不满足显示多层级菜单304的条件，多层级菜单304则会被关闭。由此，需要设置张开手势312的保持停留时间大于或等于该第一时间，以避免由于手势停留时间过长而导致的多层级菜单304被关闭的问题。

在步骤S704，响应于确定所述第一操作对象为第一子菜单的标识(例如，图3D的第一子菜单的标识3044)，显示所述第一子菜单(例如，图3E的第一子菜单306)。

在一些实施例中，在显示所述多层级菜单(例如，图3E的多层级菜单304)的基础上，显示所述第一子菜单(例如，图3E的第一子菜单306)。在多层级菜单304与第一子菜单306同时显示的基础上，当操作者在第一子菜单306中没有找到目标操作对象的情况下，可以直接针对多层级菜单304继续查找其它目标操作对象，这样就避免了相关技术中需要在不同层级的菜单之间来回切换查找目标操作对象带来的计算机能耗大的问题。

在一些实施例中，响应于确定所述第一操作对象(例如，图3G的第一操作对象3042)为第一子菜单的标识(例如，图3G的第一子菜单的标识3044)，控制所述第一子菜单的标识跟随所述第一手势(例如，图3G的捏合手势302)移动；

响应于所述第一子菜单的标识跟随所述第一手势移动的距离(例如，图3G的距离31)大于第一距离，显示所述第一子菜单。设置第一子菜单的标识跟随所述第一手势移动的距离大于第一距离再显示第一子菜单，是为了避免由于第一子菜单的标识3044与多层级菜单304之间的距离太近而导致的无法成功显示第一子菜单306的问题。

在一些实施例中，响应于识别到针对所述第一子菜单的标识的第二手势，在所述第二手势对应的位置显示所述第一子菜单。在一些实施例中，响应于识别到针对所述第一子菜单的标识的松开手势(例如，图3F的松开手势322)，在所述松开手势对应的位置显示所述第一子菜单。基于捏合手势302，设置松开手势322作为显示第一子菜单的判定条件，符合操作者的使用习惯以及操作习惯，提升了操作者的操作体验。

在一些实施例中，响应于识别到所述第二手势的第一手指(例如，图3F的第一手指3222)和第二手指(例如，图3F的第二手指3224)的开合角度(例如，图3F的开合角度3226)处于预设角度范围，确定所述第二手势为所述松开手势。该预设角度范围基于操作者的操作习惯可以适应的调整，以提升操作者的操作体验。

在一些实施例中，显示所述第一子菜单(例如，图5A的第一子菜单504)之后，响应于识别到针对所述多个操作对象的第二操作对象(例如，图5A的第二操作对象5024)的第一手势(例如，图5A的捏合手势512)，确定所述第二操作对象的类型；

响应于确定所述第二操作对象为第二子菜单的标识，在显示所述多层级菜单(例如，图5B的多层级菜单502)和所述第一子菜单(例如，图5B的第一子菜单504)的基础上，显示所述第二子菜单(例如，图5B的第二子菜单506)。显示的多个菜单可以呈树状结构显示于模拟场景中，以使操作者可以清楚直观地查看到目标操作对象。同时，树状结构显示的多个菜单之间不会互相遮挡，这样有利于降低终端设备对子菜单进行图像识别的难度。需要说明的是，本申请实施例的使多个菜单呈树状结构显示仅为示例性的，其它可使多个菜单之间不出现重叠、遮挡的显示结构都应落入本申请实施例的保护范围。

在一些实施例中，显示所述第一子菜单(例如，图5C的第一子菜单514)之后，响应于识别到针对所述多个子操作对象的第一子操作对象(例如，图5C的第一子操作对象5142)的第一手势(例如，图5C的捏合手势518)，确定所述第一子操作对象的类型；

响应于确定所述第一子操作对象为第三子菜单的标识，在显示所述多层级菜单(例如，图5D的多层级菜单512)和所述第一子菜单(例如，图5D的第一子菜单514)的基础上，显示所述第三子菜单(例如，图5C的第三子菜单516)。显示的多个菜单可以呈树状结构显示于模拟场景中，以使操作者可以清楚直观地查看到目标操作对象。同时，树状结构显示的多个菜单之间不会互相遮挡，这样有利于降低终端设备对子菜单进行图像识别的难度。需要说明的是，本申请实施例的使多个菜单呈树状结构显示仅为示例性的，其它可使多个菜单之间不出现重叠、遮挡的显示结构，或者具有类似效果的显示结构都应落入本申请实施例的保护范围。

在一些实施例中，显示所述第一子菜单之后，响应于识别到针对所述第一子菜单(例如，图6C的第一子菜单608)或所述多层级菜单(例如，图6D的第一子菜单606)的第四手势(例如，图6A的手掌拍击手势602)，关闭所述第一子菜单或所述多层级菜单。根据操作者的操作习惯，可设置关闭单个菜单或者通过关闭初始的多层级菜单来一次关闭所有菜单，增加操作的灵活性，提升操作者的使用体验。

在一些实施例中，显示所述第一子菜单之后，响应于识别到针对所述第一子菜单或所述多层级菜单的手掌拍击手势(例如，图6A的手掌拍击手势602)，关闭所述第一子菜单或所述多层级菜单。手掌拍击手势602符合操作者的操作习惯，方便操作者的操作。

在一些实施例中，显示所述第一子菜单之后，响应于识别到手掌沿靠近所述第一子菜单或所述多层级菜单(例如，图6B的多层级菜单604)的方向从第一位置(例如，图6B的第一位置612)移动到第二位置(例如，图6B的第二位置614)，且所述第二位置与所述第一子菜单或所述多层级菜单的距离(例如，图6B的距离616)小于第三距离，确定所述第四手势为所述手掌拍击手势。手掌拍击手势602的判定条件不限于手掌的移动距离，还可以是手掌的移动速度或者其它符合操作者操作习惯的判定条件，本申请实施例对此不作限定。

在步骤S706，响应于确定所述第一操作对象为第一操作的标识，执行所述第一操作。

在一些实施例中，响应于确定所述第一操作对象为第一操作的标识，控制所述第一操作的标识跟随所述第一手势移动；

响应于所述第一操作的标识跟随所述第一手势移动的距离大于第二距离，执行所述第一操作。设置第一操作的标识跟随所述第一手势移动的距离大于第二距离再执行第一操作，是为了避免由于第一操作的标识与多层级菜单之间的距离太近而导致的无法成功执行第一操作的问题。

在一些实施例中，响应于识别到针对所述第一操作的标识的第二手势，执行所述第一操作。在一些实施例中，响应于识别到针对所述第一操作的标识的松开手势，执行所述第一操作。基于第一手势，设置第二手势作为执行第一操作的判定条件，符合操作者的使用习惯以及操作习惯，提升了操作者的操作体验。

在一些实施例中，响应于识别到所述第二手势的第一手指和第二手指的开合角度处于预设角度范围，确定所述第二手势为所述松开手势。该预设角度范围基于操作者的操作习惯可以适应的调整，以提升操作者的操作体验。

在一些实施例中，执行所述第一操作之后，关闭所述多层级菜单。根据操作者的操作习惯，在执行第一操作后，则认为该第一操作为操作者的目标操作对象，此时自动关闭多层级菜单，避免需要操作者再去手动关闭多层级菜单，方便操作者的操作。

需要说明的是，本申请实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一技术构思，与上述任意实施例方法相对应的，本申请还提供了一种基于多层级菜单的交互装置。

参考图8，所述基于多层级菜单的交互装置，包括：

识别模块801，被配置为响应于识别到针对所述多个操作对象的第一操作对象的第一手势，确定所述第一操作对象的类型。

在一些实施例中，识别模块801，还被配置为响应于识别到对所述第一操作对象的捏合手势，确定所述第一操作对象的类型。

在一些实施例中，识别模块801，还被配置为响应于识别到所述第一手势的第一手指和第二手指相接触，确定所述第一手势为所述捏合手势。

在一些实施例中，识别模块801，还被配置为响应于所述第一手势与所述第一操作对象之间的距离小于或等于第三距离，确定所述第一操作对象的类型。

在一些实施例中，识别模块801，还被配置为响应于识别到第三手势，显示所述多层级菜单。

执行模块802，被配置为响应于确定所述第一操作对象为第一子菜单，显示所述第一子菜单；或者

响应于确定所述第一操作对象为第一操作的标识，执行所述第一操作。

在一些实施例中，执行模块802，还被配置为在显示所述多层级菜单的基础上，显示所述第一子菜单。

在一些实施例中，执行模块802，还被配置为响应于确定所述第一操作对象为第一子菜单的标识，控制所述第一子菜单的标识跟随所述第一手势移动；

响应于所述第一子菜单的标识跟随所述第一手势移动的距离大于第一距离，显示所述第一子菜单。

在一些实施例中，执行模块802，还被配置为响应于识别到针对所述第一子菜单的标识的第二手势，在所述第二手势对应的位置显示所述第一子菜单。

在一些实施例中，执行模块802，还被配置为响应于识别到针对所述第一子菜单的标识的松开手势，在所述松开手势对应的位置显示所述第一子菜单。

在一些实施例中，执行模块802，还被配置为响应于确定所述第一操作对象为第一操作的标识，控制所述第一操作的标识跟随所述第一手势移动；

响应于所述第一操作的标识跟随所述第一手势移动的距离大于第二距离，执行所述第一操作。

在一些实施例中，执行模块802，还被配置为响应于识别到针对所述第一操作的标识的第二手势，执行所述第一操作。

在一些实施例中，执行模块802，还被配置为响应于识别到针对所述第一操作的标识的松开手势，执行所述第一操作。

在一些实施例中，执行模块802，还被配置为响应于识别到所述第二手势的第一手指和第二手指的开合角度处于预设角度范围，确定所述第二手势为所述松开手势。

在一些实施例中，执行模块802，还被配置为关闭所述多层级菜单。

在一些实施例中，执行模块802，还被配置为响应于识别到针对所述多个操作对象的第二操作对象的第一手势，确定所述第二操作对象的类型；

响应于确定所述第二操作对象为第二子菜单的标识，在显示所述多层级菜单和所述第一子菜单的基础上，显示所述第二子菜单。

在一些实施例中，执行模块802，还被配置为响应于识别到针对所述多个子操作对象的第一子操作对象的第一手势，确定所述第一子操作对象的类型；

响应于确定所述第一子操作对象为第三子菜单的标识，在显示所述多层级菜单和所述第一子菜单的基础上，显示所述第三子菜单。

在一些实施例中，执行模块802，还被配置为响应于所述第三手势保持停留的时间大于或等于第一时间，在所述第三手势对应的位置显示所述多层级菜单。

在一些实施例中，执行模块802，还被配置为响应于识别到针对所述第一子菜单或所述多层级菜单的第四手势，关闭所述第一子菜单或所述多层级菜单。

在一些实施例中，执行模块802，还被配置为响应于识别到针对所述第一子菜单或所述多层级菜单的手掌拍击手势，关闭所述第一子菜单或所述多层级菜单。

在一些实施例中，执行模块802，还被配置为响应于识别到手掌沿靠近所述第一子菜单或所述多层级菜单的方向从第一位置移动到第二位置，且所述第二位置与所述第一子菜单或所述多层级菜单的距离小于第三距离，确定所述第四手势为所述手掌拍击手势。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述任一实施例中相应的基于多层级菜单的交互方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一技术构思，与上述任意实施例方法相对应的，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一实施例所述的基于多层级菜单的交互方法。

图9示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备、动态存储设备等形式实现。存储器1020可以存储操作系统和其它应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其它设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其它组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述任一实施例中相应的基于多层级菜单的交互方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一技术构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的基于多层级菜单的交互方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其它数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其它类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其它内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其它光学存储、磁盒式磁带，磁带磁盘存储或其它磁性存储设备或任何其它非传输介质，可用于存储可以被计算设备访问的信息。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的基于多层级菜单的交互方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例所述的基于多层级菜单的交互方法相对应的，本申请还提供了一种计算机程序产品，其包括计算机程序指令。在一些实施例中，所述计算机程序指令可以由计算机的一个或多个处理器执行以使得所述计算机和/或所述处理器执行所述的基于多层级菜单的交互方法。对应于所述的基于多层级菜单的交互方法各实施例中各步骤对应的执行主体，执行相应步骤的处理器可以是属于相应执行主体的。

上述实施例的计算机程序产品用于使所述计算机和/或所述处理器执行如上任一实施例所述的基于多层级菜单的交互方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本申请实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (24)

1.一种基于多层级菜单的交互方法，其特征在于，所述多层级菜单包括多个操作对象，所述方法包括：

响应于识别到针对所述多个操作对象的第一操作对象的第一手势，确定所述第一操作对象的类型；

响应于确定所述第一操作对象为第一子菜单的标识，显示所述第一子菜单；或者

响应于确定所述第一操作对象为第一操作的标识，执行所述第一操作。

2.根据权利要求1所述的方法，其特征在于，所述第一手势包括捏合手势，所述响应于识别到针对所述多个操作对象的第一操作对象的第一手势，确定所述第一操作对象的类型，包括：

响应于识别到对所述第一操作对象的捏合手势，确定所述第一操作对象的类型。

3.根据权利要求2所述的方法，其特征在于，所述响应于识别到对所述第一操作对象的捏合手势，具体包括：

响应于识别到所述第一手势的第一手指和第二手指相接触，确定所述第一手势为所述捏合手势。

4.根据权利要求1所述的方法，其特征在于，所述响应于确定所述第一操作对象为第一子菜单的标识，显示所述第一子菜单，包括：

在显示所述多层级菜单的基础上，显示所述第一子菜单。

5.根据权利要求1所述的方法，其特征在于，所述响应于确定所述第一操作对象为第一子菜单的标识，显示所述第一子菜单，包括：

响应于确定所述第一操作对象为第一子菜单的标识，控制所述第一子菜单的标识跟随所述第一手势移动；

响应于所述第一子菜单的标识跟随所述第一手势移动的距离大于第一距离，显示所述第一子菜单。

6.根据权利要求5所述的方法，其特征在于，所述显示所述第一子菜单，包括：

响应于识别到针对所述第一子菜单的标识的第二手势，在所述第二手势对应的位置显示所述第一子菜单。

7.根据权利要求6所述的方法，其特征在于，所述第二手势包括松开手势，所述响应于识别到针对所述第一子菜单的标识的第二手势，在所述第二手势对应的位置显示所述第一子菜单，包括：

响应于识别到针对所述第一子菜单的标识的松开手势，在所述松开手势对应的位置显示所述第一子菜单。

8.根据权利要求1所述的方法，其特征在于，所述响应于确定所述第一操作对象为第一操作的标识，执行所述第一操作，包括：

响应于确定所述第一操作对象为第一操作的标识，控制所述第一操作的标识跟随所述第一手势移动；

响应于所述第一操作的标识跟随所述第一手势移动的距离大于第二距离，执行所述第一操作。

9.根据权利要求8所述的方法，其特征在于，所述执行所述第一操作，包括：

响应于识别到针对所述第一操作的标识的第二手势，执行所述第一操作。

10.根据权利要求9所述的方法，其特征在于，所述第二手势包括松开手势，所述响应于识别到针对所述第一操作的标识的第二手势，执行所述第一操作，包括：

响应于识别到针对所述第一操作的标识的松开手势，执行所述第一操作。

11.根据权利要求7或10所述的方法，其特征在于，所述方法还包括：

响应于识别到所述第二手势的第一手指和第二手指的开合角度处于预设角度范围，确定所述第二手势为所述松开手势。

12.根据权利要求1所述的方法，其特征在于，所述响应于确定所述第一操作对象为第一操作的标识，执行所述第一操作之后，包括：

关闭所述多层级菜单。

13.根据权利要求1所述的方法，其特征在于，所述响应于识别到针对所述多个操作对象的第一操作对象的第一手势，确定所述第一操作对象的类型，包括：

响应于所述第一手势与所述第一操作对象之间的距离小于或等于第三距离，确定所述第一操作对象的类型。

14.根据权利要求4所述的方法，其特征在于，所述在显示所述多层级菜单的基础上，显示所述第一子菜单之后，所述方法还包括：

响应于识别到针对所述多个操作对象的第二操作对象的第一手势，确定所述第二操作对象的类型；

响应于确定所述第二操作对象为第二子菜单的标识，在显示所述多层级菜单和所述第一子菜单的基础上，显示所述第二子菜单。

15.根据权利要求4所述的方法，其特征在于，所述第一子菜单包括多个子操作对象，所述在显示所述多层级菜单的基础上，显示所述第一子菜单之后，所述方法还包括：

响应于识别到针对所述多个子操作对象的第一子操作对象的第一手势，确定所述第一子操作对象的类型；

响应于确定所述第一子操作对象为第三子菜单的标识，在显示所述多层级菜单和所述第一子菜单的基础上，显示所述第三子菜单。

16.根据权利要求1所述的方法，其特征在于，所述响应于识别到针对所述多个操作对象的第一操作对象的第一手势，确定所述第一操作对象的类型之前，所述方法还包括：

响应于识别到第三手势，显示所述多层级菜单。

17.根据权利要求16所述的方法，其特征在于，所述响应于识别到第三手势，显示所述多层级菜单，包括：

响应于所述第三手势保持停留的时间大于或等于第一时间，在所述第三手势对应的位置显示所述多层级菜单。

18.根据权利要求1所述的方法，其特征在于，所述响应于确定所述第一操作对象为第一子菜单的标识，显示所述第一子菜单之后，所述方法还包括：

响应于识别到针对所述第一子菜单或所述多层级菜单的第四手势，关闭所述第一子菜单或所述多层级菜单。

19.根据权利要求18所述的方法，其特征在于，所述第四手势包括手掌拍击手势，响应于识别到针对所述第一子菜单或所述多层级菜单的第四手势，关闭所述第一子菜单或所述多层级菜单，还包括：

响应于识别到针对所述第一子菜单或所述多层级菜单的手掌拍击手势，关闭所述第一子菜单或所述多层级菜单。

20.根据权利要求19所述的方法，其特征在于，响应于识别到针对所述第一子菜单或所述多层级菜单的手掌拍击手势，具体包括：

响应于识别到手掌沿靠近所述第一子菜单或所述多层级菜单的方向从第一位置移动到第二位置，且所述第二位置与所述第一子菜单或所述多层级菜单的距离小于第三距离，确定所述第四手势为所述手掌拍击手势。

21.一种基于多层级菜单的交互装置，其特征在于，包括：

识别模块，被配置为响应于识别到针对所述多个操作对象的第一操作对象的第一手势，确定所述第一操作对象的类型；

执行模块，被配置为响应于确定所述第一操作对象为第一子菜单的标识，显示所述第一子菜单；或者

响应于确定所述第一操作对象为第一操作的标识，执行所述第一操作。

22.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至20任意一项所述的方法。

23.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，其特征在于，所述计算机指令用于使计算机执行如权利要求1至20任意一项所述的方法。

24.一种计算机程序产品，其特征在于，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行如权利要求1至20中任意一项所述的方法。

Images