CN106909256A - 屏幕控制方法及装置 - Google Patents

Abstract

本公开实施例是关于一种屏幕控制方法及装置，属于声波成像领域。所述方法包括：通过声波发射组件向屏幕的上方发射探测声波信号；根据声波接收组件接收到的回波信号生成操作物影像，回波信号是探测声波信号到达操作物后返回的声波信号；根据操作物影像识别操作物的操作物动作；控制屏幕中显示的预设操作控件响应操作物动作，预设操作控件用于选取屏幕中的指定显示内容。本公开实施例实现了利用虚拟操作控件替代手指在屏幕上执行各种操作，使得用户在无法双手操控移动设备的情况下，也能够通过单手手指动作对整个屏幕进行控制，提高了用户对屏幕的控制效率；同时，控制过程中屏幕显示内容不会受到影响，保证了屏幕显示效果。

Description

屏幕控制方法及装置

技术领域

本公开涉及声波成像领域，特别涉及一种屏幕控制方法及装置。

背景技术

随着屏幕显示技术的不断发展，为了达到更好的显示效果，越来越多的移动设备开始配置大尺寸的触控屏幕。

然而，由于单手触控范围有限，用户对大屏移动设备进行触控操作时，往往需要通过双手才能对位于触控屏幕边缘的控件进行触控操作，在用户无法双手操控移动设备的场景下，比如在拥挤的公交或地铁中，给用户操作带来不便。

发明内容

本公开实施例提供了一种屏幕控制方法及装置，技术方案如下：

根据本公开实施例的第一方面，提供了一种屏幕控制方法，用于屏幕下方设置有声波发射组件和声波接收组件的移动设备，该方法包括：

通过声波发射组件向屏幕的上方发射探测声波信号；

根据声波接收组件接收到的回波信号生成操作物影像，回波信号是探测声波信号到达操作物后返回的声波信号；

根据操作物影像识别操作物的操作物动作；

控制屏幕中显示的预设操作控件响应操作物动作，预设操作控件为选取屏幕中的指定显示内容。

可选的，根据操作物影像识别操作物的操作物动作，包括：

识别操作物影像中包含的操作物尖端区域；

计算操作物尖端区域在第一方向上的第一距离变化量以及在第二方向上的第二距离变化量，第一方向为平行于屏幕的方向，第二方向为垂直于屏幕的方向；

当第一距离变化量大于第一阈值，且第二距离变化量小于第二阈值时，确定操作物动作为划动；

当第一距离变化量小于第一阈值，且第二距离变化量大于第二阈值时，确定操作物动作为点击。

可选的，控制屏幕中显示的预设操作控件响应操作物动作，包括：

当识别出操作物动作为划动时，获取划动方向和划动距离；根据划动方向和划动距离控制预设操作控件在屏幕上进行划动操作；

当识别出操作物动作为点击时，获取预设操作控件在屏幕上的显示区域；对显示区域内的显示内容进行点击操作。

可选的，根据划动方向和划动距离控制预设操作控件在屏幕上进行划动操作，包括：

根据划动距离和预定放大系数计算控件划动距离，预定放大系数＞1；

根据控件划动距离控制预设操作控件在划动方向上划动。

可选的，该方法，还包括：

当识别出操作物动作为划动时，检测当前划动是否为惯性划动，惯性划动为操作物划动后的反向收回动作；

当检测到当前划动为惯性划动时，停止响应该操作物动作。

可选的，检测当前划动是否为惯性划动，包括：

获取当前划动的第一划动方向以及前向相邻划动的第二划动方向；当第一划动方向与第二划动方向相反，且当前划动与前向相邻划动之间的时间间隔小于预设阈值时，确定当前划动为惯性划动；

或，

获取当前划动的第一划动方向以及前向相邻划动的第二划动方向；获取当前划动的第一划动加速度以及前向相邻划动的第二划动加速度；当第一划动方向与第二划动方向相反，且当前划动与前向相邻划动之间的时间间隔小于预设阈值，且第一划动加速度大于第二划动加速度时，确定当前划动为惯性划动。

可选的，根据声波接收组件接收到的回波信号生成操作物影像，包括：

根据回波信号生成回波影像；

将回波影像中由屏幕边缘延伸至屏幕中央的影像确定为操作物影像。

根据本公开实施例的第二方面，提供了一种屏幕控制装置，用于屏幕下方设置有声波发射组件和声波接收组件的移动设备，该装置包括：

发射模块，被配置为通过声波发射组件向屏幕的上方发射探测声波信号；

生成模块，被配置为根据声波接收组件接收到的回波信号生成操作物影像，回波信号是探测声波信号到达操作物后返回的声波信号；

识别模块，被配置为根据操作物影像识别操作物的操作物动作；

控制模块，被配置为控制屏幕中显示的预设操作控件响应操作物动作，预设操作控件用于选取所述屏幕中的指定显示内容。

可选的，识别模块，包括：

识别子模块，被配置为识别操作物影像中包含的操作物尖端区域；

计算子模块，被配置为计算操作物尖端区域在第一方向上的第一距离变化量以及在第二方向上的第二距离变化量，第一方向为平行于屏幕的方向，第二方向为垂直于屏幕的方向；

第一确定子模块，被配置为当第一距离变化量大于第一阈值，且第二距离变化量小于第二阈值时，确定操作物动作为划动；

第二确定子模块，被配置为当第一距离变化量小于第一阈值，且第二距离变化量大于第二阈值时，确定操作物动作为点击。

可选的，控制模块，包括：

第一控制子模块，被配置为当识别出操作物动作为划动时，获取划动方向和划动距离；根据划动方向和划动距离控制预设操作控件在屏幕上进行划动操作；

第二控制子模块，被配置为当识别出操作物动作为点击时，获取预设操作控件在屏幕上的显示区域；对显示区域内的显示内容进行点击操作。

可选的，第一控制子模块，还被配置为：

根据划动距离和预定放大系数计算控件划动距离，预定放大系数＞1；

根据控件划动距离控制预设操作控件在划动方向上划动。

可选的，该装置，还包括：

检测模块，被配置为当识别出操作物动作为划动时，检测当前划动是否为惯性划动，惯性划动为操作物划动后的反向收回动作；

停止响应模块，被配置为当检测到当前划动为惯性划动时，停止响应操作物动作。

可选的，检测模块，包括：

第一检测子模块，被配置为获取当前划动的第一划动方向以及前向相邻划动的第二划动方向；当第一划动方向与第二划动方向相反，且当前划动与前向相邻划动之间的时间间隔小于预设阈值时，确定当前划动为惯性划动；

或，

第二检测子模块，被配置为获取当前划动的第一划动方向以及前向相邻划动的第二划动方向；获取当前划动的第一划动加速度以及前向相邻划动的第二划动加速度；当第一划动方向与第二划动方向相反，且当前划动与前向相邻划动之间的时间间隔小于预设阈值，且第一划动加速度大于第二划动加速度时，确定当前划动为惯性划动。

可选的，生成模块，包括：

生成子模块，被配置为根据回波信号生成回波影像；

影像确定子模块，被配置为将回波影像中由屏幕边缘延伸至屏幕中央的影像确定为操作物影像。

根据本公开实施例的第三方面，提供了一种屏幕控制装置，该装置包括：

处理器、设置在屏幕下方的声波发射组件和声波接收组件；

用于存储处理器可执行指令的存储器；

其中，处理器被配置为：

通过声波发射组件向屏幕的上方发射探测声波信号；

根据声波接收组件接收到的回波信号生成操作物影像，回波信号是探测声波信号到达操作物后返回的声波信号；

根据操作物影像识别操作物的操作物动作；

控制屏幕中显示的预设操作控件响应操作物动作，预设操作控件用于选取屏幕中的指定显示内容。

本公开实施例提供的技术方案可以包括以下有益效果：

移动设备利用设置在屏幕下方的声波发射组件发射探测声波信号，并根据返回的回波信号生成用户手指的手指影像，进而控制屏幕中的预设操作控件对手指影像所指示的手指动作进行响应，实现了利用虚拟操作控件替代手指在屏幕上执行各种操作，使得用户在无法双手操控移动设备的情况下，也能够通过单手手指动作对整个屏幕进行控制，提高了用户对屏幕的控制效率；同时，控制过程中屏幕显示内容不会受到影响，保证了屏幕显示效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据本公开一示例性实施例示出的屏幕控制方法的方法流程图；

图2A是根据本公开另一示例性实施例示出的屏幕控制方法的方法流程图；

图2B是手指影像中指尖区域的示意图；

图2C是图2A所示屏幕控制方法中根据手指划动控制预设操作控件的实施示意图；

图2D是图2A所示屏幕控制方法中根据手指点击控制预设操作控件的实施示意图；

图2E是根据本公开另一示例性实施例示出的屏幕控制方法的方法流程图；

图3是根据本公开一示例性实施例示出的屏幕控制装置的框图；

图4是根据本公开另一示例性实施例示出的屏幕控制装置的框图；

图5是根据一示例性实施例示出的一种屏幕控制装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本文提及的“模块”是指存储在存储器中的能够实现某些功能的程序或指令；在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本公开各个实施例提供的屏幕控制方法用于内置有声波成像系统的移动设备，该移动设备为智能手机、平板电脑、电子书阅读器等等。其中，声波成像系统中包括设置在屏幕下方的声波发射组件和声波接收组件，声波发射组件用于向屏幕上方发射探测声波信号，声波接收组件则用于接收探测声波信号达到操作物后返回的回波信号。可选的，该声波成像系统为超声波成像系统或微波成像系统，且该声波成像系统用于对移动设备屏幕上方空间中的物体进行成像。为了方便描述，本公开各个实施例以屏幕控制方法用于移动设备为例进行示意性说明。

图1是根据本公开一示例性实施例示出的屏幕控制方法的方法流程图。本实施例以该屏幕控制方法用于移动设备为例进行说明。该方法可以包括如下步骤。

在步骤101中，通过声波发射组件向屏幕的上方发射探测声波信号。

其中，该声波发射组件设置在移动设备的屏幕下方，用于通过探测声波信号探测位于屏幕上方的物体。

可选的，当移动设备中设置有超声波成像系统时，该探测声波信号即为超声波信号；当移动设备中设置有微波成像系统时，该探测声波信号即为微波信号。本公开实施例并不对声波成像系统的类型进行限定。

在步骤102中，根据声波接收组件接收到的回波信号生成操作物影像，回波信号是探测声波信号到达操作物后返回的声波信号。

探测声波信号在传播过程中遇到物体时，会在物体的表面发生反射，从而返回相应的回波信号，移动设备即通过内置的声波接收组件接收该回波信号，并利用声波成像算法绘制出物体的影像。

可选的，单手操作模式下，当用户使用手指在屏幕上方划动时，移动设备根据回波信号生成的操作物影像中即为手指影像。其中，该手指影像为二维或三维影像。

在其他可能的实施方式中，当用户手持触控笔进行操作时，该操作物影像即为触控笔影像。

在步骤103中，根据操作物影像识别操作物的操作物动作。

生成操作物影像后，移动设备进一步根据操作物影像的变化情况识别操作物做出的划动、点击等动作，并进一步确定操作物的划动方向、划动距离、点击次数等信息。

在步骤104中，控制屏幕中显示的预设操作控件响应操作物动作，预设操作控件用于选取屏幕中的指定显示内容。

可选的，当启用声波成像系统时，移动设备屏幕中显示用于响应操作物动作的预设操作控件，从而利用该预设操作控件替代操作物在屏幕显示界面中执行划动点击等操作，以选取屏幕中的指定显示内容。

其中，该预设操作控件为光标、光圈或虚拟手指等具有指示性的控件。

在一种可能的实施方式中，当移动设备识别出操作物的划动方向及划动距离时，即根据该划动距离，控制预设操作控件在当前页面中按照该的划动方向进行移动；当移动设备识别出操作物的操作物动作为点击时，即控制预设操作控件对当前所在显示区域内的显示内容进行相应次数的点击操作。

通过上述步骤，当用户需要在单手握持移动设备的情况下点击位于屏幕上边缘的桌面图标时，只需在屏幕上方的上划手指，控制预设操作控件向上移动至桌面图标处，并通过手指点击动作，即可控制预设操作控件点击该桌面图标。

需要说明的是，通过上述步骤进行屏幕控制过程中，当通过触摸屏幕接收到触摸信号时，移动设备暂停根据手指动作进行屏幕控制，并根据触摸信号进行屏幕控制；当根据触摸信号完成屏幕控制时，移动设备重新根据手指动作进行屏幕控制，避免手势操作对触摸操作产生影响。

综上所述，本实施例中，移动设备利用设置在屏幕下方的声波发射组件发射探测声波信号，并根据返回的回波信号生成用户手指的手指影像，进而控制屏幕中的预设操作控件对手指影像所指示的手指动作进行响应，实现了利用虚拟操作控件替代手指在屏幕上执行各种操作，使得用户在无法双手操控移动设备的情况下，也能够通过单手手指动作对整个屏幕进行控制，提高了用户对屏幕的控制效率；同时，控制过程中屏幕显示内容不会受到影响，保证了屏幕显示效果。

图2A是根据本公开另一示例性实施例示出的屏幕控制方法的方法流程图。为了方面描述，本实施例中，以单手操作模式下移动设备根据用户手指动作控制预设操作控件为例进行说明(即操作物为手指，操作物影像为手指影像)，该方法可以包括如下步骤。

在步骤201中，通过声波发射组件向屏幕的上方发射探测声波信号。

可选的，当用户需要在单手操作模式下实现对全屏幕的控制时，即通过预定触发动作指示移动设备启用内置的声波成像系统。其中，该预定触发动作为预定手势动作(比如双击屏幕)、预定语音指令触发动作或手动开启动作(比如在任务栏中手动选择启用该功能)等等，本公开实施例并不对用户启用声波成像系统的方式进行限定。

声波成像系统在启用状态下，即通过声波发射组件向预定方向发射探测声波信号，可选的，该预定方向为移动设备屏幕上方。

在步骤202中，根据声波接收组件接收到的回波信号生成操作物影像，回波信号是探测声波信号到达操作物后返回的声波信号。

探测声波信号遇到屏幕上方的物体时，会在物体表面发生反射，并返回回波信号；声波成像系统在启用状态下，即通过声波接收组件接收该回波信号，并结合声波成像算法生成相应的回波影像。

由于声波接收组件接收到的回波信号可能是探测声波信号到达非手指物体后返回，导致生成的回波图像中不仅包含用户手指的手指影像，还可能包含其他非手指物体的干扰物体影像，为了避免干扰物体影像对后续手指动作识别造成影响，在一种可能的实施方式中，本步骤包括如下步骤。

一、根据回波信号生成回波影像。

声波成像系统根据接收到的回波信号绘制生成回波影像，该回波影像中既包含手指影像，还包含干扰物体影像。

其中，该回波影像为二维或三维影像。当回波影像为二维影像时，回波影像中包含的手指影像和干扰物体影像即为手指和干扰物体在屏幕上的投影影像；当回波影像为三维影像时，回波影像中包含的手指影像和干扰物体影像即为手指和干扰物体在屏幕上方三维空间中的立体影像。

二、将回波影像中由屏幕边缘延伸至屏幕中央的影像确定为操作物影像。

用户单手握持移动设备时，用户手指通常位于屏幕的边缘区域，且由屏幕边缘区域延伸至屏幕中央区域，因此，在一种可能的实施方式中，声波成像系统识别回波影像中包含的各个影像，并将由屏幕边缘延伸至屏幕中央的影像确定为手指影像。

可选的，声波成像系统通过影像识别技术对回波图像中的各个图像进行轮廓识别，从而确定回波图像中包含的手指影像。其中，轮廓识别的方式包括但不限于进行手指轮廓模型(比如左右拇指轮廓模型)比对、识别影像中的手指关节等等。

通过上述步骤201和202，声波成像系统在启用状态下，根据实时接收到的回波信号生成实时手指影像。

在步骤203中，识别操作物影像中包含的操作物尖端区域。

用户进行屏幕控制时，通常使用手指或触控笔的尖端区域触摸屏幕，相应的，移动设备根据尖端区域在屏幕上的划动方向、点击位置进行相应的屏幕控制。因此，在识别出手指影像后，移动设备进一步对操作物影像中包含的操作物尖端区域进行识别，从而根据操作物尖端区域的动作确定手指动作。

可选的，当操作物为手指时，移动设备即对手指影像中的指尖区域进行识别。

可选的，移动设备将手指影像中与屏幕边缘之间距离最大的手指区域确定为指尖区域。

比如，如图2B所示，移动设备将手指影像21中与屏幕边缘之间距离最大的手指区域确定为指尖区域211。

在步骤204中，计算操作物尖端区域在第一方向上的第一距离变化量以及在第二方向上的第二距离变化量，第一方向为平行于屏幕的方向，第二方向为垂直于屏幕的方向。

当操作物影像为手指影像时，移动设备根据实时生成的手指影像的变化情况，识别用户手指的手指动作。通过对用户手指进行手指动作分析发现，用户手指在上下或左右划动过程中，指尖区域在平行于屏幕方向上的距离变化量较大，而在垂直于屏幕方向上的距离变化量较小；而用户手指在进行点击过程中，指尖区域在平行于屏幕方向上的距离变化量较小，在垂直于屏幕方向上的距离变化量较大。因此，移动设备根据生成的手指影像，分别计算手指影像中指尖区域在第一方向上的第一距离变化量以及在第二方向上的第二距离变化量，从而根据不同方向上的距离变化量识别手指动作。其中，第一方向为屏幕所在平面的上、下、左、右方向，第二方向为屏幕所在平面的垂直方向。

在一种可能的实施方式中，当生成的手指影像为三维影像时，移动设备根据实时三维影像，计算指尖区域在X-Y轴平面(平行于屏幕)内的第一距离变化量，计算指尖区域在X-Z轴平面(垂直于屏幕)内的第二距离变化量。

进一步的，移动设备对计算得到的第一距离变化量和第二距离变化量进行检测，当检测到第一距离变化量大于第一阈值，且第二距离变化量小于第二阈值时，移动设备通过下述步骤205至207控制预设操作控件响应识别出的手指动作(操作物动作)；当检测到第一距离变化量小于第一阈值，且第二距离变化量大于第二阈值时，移动设备通过下述步骤208至210控制预设操作控件响应识别出的手指动作(操作物动作)。其中，该第一阈值和第二阈值通过对大量手指动作进行数据采集后分析得到。

在步骤205中，当第一距离变化量大于第一阈值，且第二距离变化量小于第二阈值时，确定操作物动作为划动。

可选的，当检测到指尖区域在屏幕所在平面上的距离变化量较大，而在垂直于屏幕所在平面上的距离变化量较小时，移动设备确定用户手指在屏幕上方进行了划动，即识别出手指动作为划动。

在步骤206中，当识别出操作物动作为划动时，获取划动方向和划动距离。

进一步的，在识别出手指动作为划动时，移动设备进一步获取手指影像中指尖区域的划动方向和划动距离。

在一种可能的实施方式中，移动设备获取手指影像中手指的起始划动位置的起始位置坐标以及终止划动位置的终止位置坐标(均为屏幕所在平面内的坐标)，从而根据终止位置坐标与起始位置坐标的相对位置关系确定出划动方向，并将终止位置坐标与起始位置坐标之间的距离确定为划动距离。

比如，如图2C所示，移动设备识别出指尖区域211的划动方向为正上方，且划动距离为4厘米。

在步骤207中，根据划动方向和划动距离控制预设操作控件在屏幕上进行划动操作。

当启用声波成像系统时，移动设备即在屏幕中显示用于响应用户手指动作的预设操作控件，并在检测到用户手指划动时，根据手指划动动作控制该预设操作控件进行移动。

在一种可能的实施方式中，移动设备控制预设操作控件在获取到的(手指)划动方向上移动，并在预设操作控件的移动距离达到(手指)划动距离时，控制预设操作控件停止移动。

比如，如图2C所示，移动设备根据识别出的用户手指划动动作，控制光标22由位置A移动至位置B处。

移动设备根据实时识别出的用户手指划动动作，控制预设操作控件进行响应，从而实现利用预设操作控件替代用户手指移动到指定屏幕区域。

当移动设备的屏幕尺寸较大时，由于用户每次划动手指的距离有限，导致用户需要多次划动手指才能将预设操作控件移动至指定屏幕区域，操作效率较低。为了减少手指划动次数，提高操作效率，在一种可能的实施方式中，本步骤包括如下步骤。

一、根据划动距离和预定放大系数计算控件划动距离，预定放大系数＞1。

通过上述步骤206获取到手指的划动方向和划动距离后，移动设备进一步通过预定放大系数对该划动距离进行放大，其中，该预定放大系数为默认值或用户自定义。

比如，当获取到手指的划动距离为4cm，且预定放大系数为1.5时，移动设备计算得到控件划动距离为4cm×1.5＝6cm。

二、根据控件划动距离控制预设操作控件在划动方向上划动。

计算得到的控件划动距离后，移动设备控制预设操作控件在获取到得划动方向上移动，并在预设操作控件的移动距离达到控件划动距离时，控制预设操作控件停止移动。

比如，当识别出用户手指向上划动4cm时，移动设备能够控制预设操作控件向上移动6cm，从而增加了单次移动距离，在需要对预设操作控件进行长距离移动时，能够显著减少手指划动次数，提高操作效率。

在步骤208中，当第一距离变化量小于第一阈值，且第二距离变化量大于第二阈值时，确定操作物动作为点击。

当检测到指尖区域在屏幕所在平面上的距离变化量较小，而在垂直于屏幕所在平面上的距离变化量较大时，移动设备确定用户手指在屏幕上方进行了点击，即识别出手指动作为点击。

可选的，在确定出手指动作为点击时，移动设备进一步根据指尖区域在第二方向上的距离变化情况确定手指点击次数。

可选的，当确定出手指动作为点击，且点击时长达到预设时长时(点击后手指与屏幕之间的距离保持不变)，移动设备确定该手指动作为长按。

在步骤209中，当识别出操作物动作为点击时，获取预设操作控件在屏幕上的显示区域。

当识别出手指动作为点击时，移动设备即知悉用户需要对预设操作控件当前所在显示区域内的显示内容进行点击操作，从而获取预设操作控件当前在屏幕中的显示区域。

比如，如图2D所示，移动设备获取到光标22当前所在的显示区域23。

在步骤210中，对显示区域内的显示内容进行点击操作。

确定预设操作控件当前所在的显示区域后，移动设备即对显示区域内的显示内容进行点击操作。可选的，当该显示内容为应用程序图标时，移动设备开启对应的应用程序；当该显示内容为按钮时，移动设备即向该按钮发送点击触发指令。

比如，如图2D所示，移动设备根据用户手指的点击动作，对显示区域23内的应用程序图标24进行点击操作，从而打开相应的应用程序。

可选的，当识别出用户手指多次点击时，移动设备根据点击次数，对显示内容进行相应次数的点击操作。

可选的，当检测到点击时长达到预设时长时，移动设备即对显示内容进行选中，比如，移动设备选中显示区域内的文本内容。

综上所述，本实施例中，移动设备利用设置在屏幕下方的声波发射组件发射探测声波信号，并根据返回的回波信号生成用户手指的手指影像，进而控制屏幕中的预设操作控件对手指影像所指示的手指动作进行响应，实现了利用虚拟操作控件替代手指在屏幕上执行各种操作，使得用户在无法双手操控移动设备的情况下，也能够通过单手手指动作对整个屏幕进行控制，提高了用户对屏幕的控制效率；同时，控制过程中屏幕显示内容不会受到影响，保证了屏幕显示效果。

本公开实施例中，用户通过手势进行屏幕控制时，手指无需接触触摸屏，避免了手指潮湿情况下屏幕控制不准确的问题，提高了屏幕操作的准确性。

本实施例中，移动设备中的声波成像系统根据接收到的回波信号生成回波影像后，进一步对回波影像中的手指影像进行识别，并对回波影像中的干扰物体影像进行过滤，从而避免干扰物体影像对后续手指动作识别造成干扰，提高了手指动作识别的准确性。

本实施例中，移动设备通过对获取到的手指划动距离进行放大，并根据放大后得到的控件划动距离对预设操作组件进行控制，使得预设操作组件单次移动距离得以增加，从而减少了用户手指划动次数，提高了操作效率。

单手操作模式下，用户通过手指划动控制预设操作控件进行移动时，每次划动后都会附带一个反向收回动作，以便进行下一次手指划动。为了避免移动设备根据该反向收回动作控制预设操作控件反向移动，在一种可能的实施方式中，如图2E所示，上述步骤205之后，还包括如下步骤：

在步骤211中，当识别出操作物动作为划动时，检测当前划动是否为惯性划动，惯性划动为操作物划动后的反向收回动作。

可选的，当识别出手指动作为划动时，移动设备检测当前划动是否为惯性划动，即检测当前划动是否为手指划动后的反向收回动作。当检测到当前划动为惯性划动时，移动设备确定当前划动为无效划动，并通过下述步骤212停止响应该手指动作；当检测到当前划动不是惯性划动时，移动设备确定当前划动为有效划动，并执行步骤206。

可选的，由于惯性划动与前一次有效划动的方向相反，且紧随着前一次有效划动后进行，因此在一种可能的实施方式中，移动设备获取当前划动的第一划动方向以及前向相邻划动的第二划动方向，当检测到第一划动方向与第二划动方向相反，且当前划动与前向相邻划动之间的时间间隔小于预设阈值时，确定当前划动为惯性划动，其中，该预设阈值根据大量用户操作数据分析得到。

比如，移动设备获取到当前划动的第一划动方向为向下，前向相邻划动(有效划动)的第二划动方向为向上，且当前划动与前向相邻划动之间的时间间隔为0.1s，由于该时间间隔小于预设阈值0.3s，因此移动设备将当前划动为上一次向上划动手指后的反向收回动作。

可选的，由于惯性划动紧随着前一次有效划动后进行，且划动加速度大于有效划动的划动加速度，因此，在另一种可能的实施方式中，移动设备获取当前划动的第一划动方向以及前向相邻划动的第二划动方向，获取当前划动的第一划动加速度以及前向相邻划动的第二划动加速度；当检测到第一划动方向与第二划动方向相反，且当前划动与前向相邻划动之间的时间间隔小于预设阈值，且第一划动加速度大于第二划动加速度时，移动设备确定当前划动为惯性划动。

比如，移动设备获取到当前划动的第一划动方向为向下，前向相邻划动(有效划动)的第二划动方向为向上，当前划动与前向相邻划动之间的时间间隔为0.1s，且第一划动加速度为5m/s²，第二划动加速度为3m/s²。由于该时间间隔小于预设阈值0.3s，且第一划动加速度大于第二划动加速度，因此移动设备将当前划动为上一次向上划动手指后的反向收回动作。

需要说明的是，在其他可能的实施方式中，移动设备也可以根据前后两次手指划动的速度和/或高度变化情况进行惯性划动校验，本实施例并不对此进行限定。

在步骤212中，当检测到当前划动为惯性划动时，停止响应操作物动作。

当检测到当前划动为惯性划动时，移动设备停止对惯性划动进行响应，从而避免对惯性划动响应造成的误操作。

本实施例中，在识别出手指动作为划动时，移动设备进一步对当前划动进行惯性划动检验，从而避免因对惯性划动进行响应所造成的误操作，进一步提高了操作的准确性。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图3是根据本公开一示例性实施例示出的屏幕控制装置的框图。该屏幕控制装置可以通过硬件或软硬件结合，实现成为内置有声波成像系统的移动终端的全部或一部分。该屏幕控制装置包括：

发射模块310，被配置为通过声波发射组件向屏幕的上方发射探测声波信号；

生成模块320，被配置为根据声波接收组件接收到的回波信号生成操作物影像，回波信号是探测声波信号到达操作物后返回的声波信号；

识别模块330，被配置为根据操作物影像识别操作物的操作物动作；

控制模块340，被配置为控制屏幕中显示的预设操作控件响应操作物动作，预设操作控件用于选取所述屏幕中的指定显示内容。

综上所述，本实施例中，移动设备利用设置在屏幕下方的声波发射组件发射探测声波信号，并根据返回的回波信号生成用户手指的手指影像，进而控制屏幕中的预设操作控件对手指影像所指示的手指动作进行响应，实现了利用虚拟操作控件替代手指在屏幕上执行各种操作，使得用户在无法双手操控移动设备的情况下，也能够通过单手手指动作对整个屏幕进行控制，提高了用户对屏幕的控制效率；同时，控制过程中屏幕显示内容不会受到影响，保证了屏幕显示效果。

图4是根据本公开另一示例性实施例示出的屏幕控制装置的框图。该屏幕控制装置可以通过硬件或软硬件结合，实现成为内置有声波成像系统的移动终端的全部或一部分。该屏幕控制装置包括：

发射模块410，被配置为通过声波发射组件向屏幕的上方发射探测声波信号；

生成模块420，被配置为根据声波接收组件接收到的回波信号生成操作物影像，回波信号是探测声波信号到达操作物后返回的声波信号；

识别模块430，被配置为根据操作物影像识别操作物的操作物动作；

控制模块440，被配置为控制屏幕中显示的预设操作控件响应操作物动作，预设操作控件用于选取所述屏幕中的指定显示内容。

可选的，识别模块430，包括：

识别子模块431，被配置为识别操作物影像中包含的操作物尖端区域；

计算子模块432，被配置为计算操作物尖端区域在第一方向上的第一距离变化量以及在第二方向上的第二距离变化量，第一方向为平行于屏幕的方向，第二方向为垂直于屏幕的方向；

第一确定子模块433，被配置为当第一距离变化量大于第一阈值，且第二距离变化量小于第二阈值时，确定操作物动作为划动；

第二确定子模块434，被配置为当第一距离变化量小于第一阈值，且第二距离变化量大于第二阈值时，确定操作物动作为点击。

可选的，控制模块440，包括：

第一控制子模块441，被配置为当识别出操作物动作为划动时，获取划动方向和划动距离；根据划动方向和划动距离控制预设操作控件在屏幕上进行划动操作；

第二控制子模块442，被配置为当识别出操作物动作为点击时，获取预设操作控件在屏幕上的显示区域；对显示区域内的显示内容进行点击操作。

可选的，第一控制子模块441，还被配置为：

根据划动距离和预定放大系数计算控件划动距离，预定放大系数＞1；

根据控件划动距离控制预设操作控件在划动方向上划动。

可选的，该装置，还包括：

检测模块450，被配置为当识别出操作物动作为划动时，检测当前划动是否为惯性划动，惯性划动为操作物划动后的反向收回动作；

停止响应模块460，被配置为当检测到当前划动为惯性划动时，停止响应操作物动作。

可选的，检测模块450，包括：

第一检测子模块451，被配置为获取当前划动的第一划动方向以及前向相邻划动的第二划动方向；当第一划动方向与第二划动方向相反，且当前划动与前向相邻划动之间的时间间隔小于预设阈值时，确定当前划动为惯性划动；

或，

第二检测子模块452，被配置为获取当前划动的第一划动方向以及前向相邻划动的第二划动方向；获取当前划动的第一划动加速度以及前向相邻划动的第二划动加速度；当第一划动方向与第二划动方向相反，且当前划动与前向相邻划动之间的时间间隔小于预设阈值，且第一划动加速度大于第二划动加速度时，确定当前划动为惯性划动。

可选的，生成模块420，包括：

生成子模块421，被配置为根据回波信号生成回波影像；

影像确定子模块422，被配置为将回波影像中由屏幕边缘延伸至屏幕中央的影像确定为操作物影像。

综上所述，本实施例中，移动设备利用设置在屏幕下方的声波发射组件发射探测声波信号，并根据返回的回波信号生成用户手指的手指影像，进而控制屏幕中的预设操作控件对手指影像所指示的手指动作进行响应，实现了利用虚拟操作控件替代手指在屏幕上执行各种操作，使得用户在无法双手操控移动设备的情况下，也能够通过单手手指动作对整个屏幕进行控制，提高了用户对屏幕的控制效率；同时，控制过程中屏幕显示内容不会受到影响，保证了屏幕显示效果。

本公开实施例中，用户通过手势进行屏幕控制时，手指无需接触触摸屏，避免了手指潮湿情况下屏幕控制不准确的问题，提高了屏幕操作的准确性。

本实施例中，移动设备中的声波成像系统根据接收到的回波信号生成回波影像后，进一步对回波影像中的手指影像进行识别，并对回波影像中的干扰物体影像进行过滤，从而避免干扰物体影像对后续手指动作识别造成干扰，提高了手指动作识别的准确性。

本实施例中，移动设备通过对获取到的手指的划动距离进行放大，并根据放大后得到的控件划动距离对预设操作组件进行控制，使得预设操作组件单次移动距离得以增加，从而减少了用户手指划动次数，提高了操作效率。

本实施例中，在识别出手指动作为划动时，移动设备进一步对当前划动进行惯性划动检验，从而避免因对惯性划动进行响应所造成的误操作，进一步提高了操作的准确性。

图5是根据一示例性实施例示出的一种屏幕控制装置500的框图。该装置500可以是内置有声波成像系统的移动设备，比如，智能手机或平板电脑等等。

参照图5，装置500可以包括以下一个或多个组件：处理组件502，存储器504，电源组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。

处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。

存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。

多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当装置500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。

I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。本实施例中，该I/O接口512可以为设置在终端正面或周侧的物理按键，该物理按键中设置有指纹识别模组，用于采集用户的指纹；该I/O接口512还可以为设置在终端背面的指纹识别区，该指纹识别区中包含指纹识别模组。

传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到装置500的打开/关闭状态，组件的相对定位，例如所述组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。本实施例中，该传感器组件514包括声波传感器，比如。超声波传感器或微波传感器等等，具体的，该声波传感器包括发射探测声波信号的声波发射组件以及接收回波信号的声波接收组件。

通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述屏幕控制方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执行以完成上述视频播放方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置500的处理器执行时，使得装置500能够执行上述屏幕控制方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种屏幕控制方法，其特征在于，用于屏幕下方设置有声波发射组件和声波接收组件的移动设备，所述方法包括：

通过所述声波发射组件向所述屏幕的上方发射探测声波信号；

根据所述声波接收组件接收到的回波信号生成操作物影像，所述回波信号是所述探测声波信号到达操作物后返回的声波信号；

根据所述操作物影像识别所述操作物的操作物动作；

控制所述屏幕中显示的预设操作控件响应所述操作物动作，所述预设操作控件用于选取所述屏幕中的指定显示内容。

2.根据权利要求1所述的方法，其特征在于，所述根据所述操作物影像识别所述操作物的操作物动作，包括：

识别所述操作物影像中包含的操作物尖端区域；

计算所述操作物尖端区域在第一方向上的第一距离变化量以及在第二方向上的第二距离变化量，所述第一方向为平行于所述屏幕的方向，所述第二方向为垂直于所述屏幕的方向；

当所述第一距离变化量大于第一阈值，且所述第二距离变化量小于第二阈值时，确定所述操作物动作为划动；

当所述第一距离变化量小于所述第一阈值，且所述第二距离变化量大于所述第二阈值时，确定所述操作物动作为点击。

3.根据权利要求1或2所述的方法，其特征在于，所述控制所述屏幕中显示的预设操作控件响应所述操作物动作，包括：

当识别出所述操作物动作为划动时，获取划动方向和划动距离；根据所述划动方向和所述划动距离控制所述预设操作控件在所述屏幕上进行划动操作；

当识别出所述操作物动作为点击时，获取所述预设操作控件在所述屏幕上的显示区域；对所述显示区域内的显示内容进行点击操作。

4.根据权利要求3所述的方法，其特征在于，所述根据所述划动方向和所述划动距离控制所述预设操作控件在所述屏幕上进行划动操作，包括：

根据所述划动距离和预定放大系数计算控件划动距离，所述预定放大系数＞1；

根据所述控件划动距离控制所述预设操作控件在所述划动方向上划动。

5.根据权利要求1或2所述的方法，其特征在于，所述方法，还包括：

当识别出所述操作物动作为划动时，检测当前划动是否为惯性划动，所述惯性划动为所述操作物划动后的反向收回动作；

当检测到所述当前划动为所述惯性划动时，停止响应所述操作物动作。

6.根据权利要求5所述的方法，其特征在于，所述检测当前划动是否为惯性划动，包括：

获取所述当前划动的第一划动方向以及前向相邻划动的第二划动方向；当所述第一划动方向与所述第二划动方向相反，且所述当前划动与所述前向相邻划动之间的时间间隔小于预设阈值时，确定所述当前划动为所述惯性划动；

或，

获取所述当前划动的所述第一划动方向以及所述前向相邻划动的所述第二划动方向；获取所述当前划动的第一划动加速度以及所述前向相邻划动的第二划动加速度；当所述第一划动方向与所述第二划动方向相反，且所述当前划动与所述前向相邻划动之间的时间间隔小于所述预设阈值，且所述第一划动加速度大于所述第二划动加速度时，确定所述当前划动为所述惯性划动。

7.根据权利要求1或2所述的方法，其特征在于，所述根据所述声波接收组件接收到的回波信号生成操作物影像，包括：

根据所述回波信号生成回波影像；

将所述回波影像中由屏幕边缘延伸至屏幕中央的影像确定为所述操作物影像。

8.一种屏幕控制装置，其特征在于，用于屏幕下方设置有声波发射组件和声波接收组件的移动设备，所述装置包括：

发射模块，被配置为通过所述声波发射组件向所述屏幕的上方发射探测声波信号；

生成模块，被配置为根据所述声波接收组件接收到的回波信号生成操作物影像，所述回波信号是所述探测声波信号到达操作物后返回的声波信号；

识别模块，被配置为根据所述操作物影像识别所述操作物的操作物动作；

控制模块，被配置为控制所述屏幕中显示的预设操作控件响应所述操作物动作，所述预设操作控件用于选取所述屏幕中的指定显示内容。

9.根据权利要求8所述的装置，其特征在于，所述识别模块，包括：

识别子模块，被配置为识别所述操作物影像中包含的操作物尖端区域；

计算子模块，被配置为计算所述操作物尖端区域在第一方向上的第一距离变化量以及在第二方向上的第二距离变化量，所述第一方向为平行于所述屏幕的方向，所述第二方向为垂直于所述屏幕的方向；

第一确定子模块，被配置为当所述第一距离变化量大于第一阈值，且所述第二距离变化量小于第二阈值时，确定所述操作物动作为划动；

第二确定子模块，被配置为当所述第一距离变化量小于所述第一阈值，且所述第二距离变化量大于所述第二阈值时，确定所述操作物动作为点击。

10.根据权利要求8或9所述的装置，其特征在于，所述控制模块，包括：

第一控制子模块，被配置为当识别出所述手操作物作为划动时，获取划动方向和划动距离；根据所述划动方向和所述划动距离控制所述预设操作控件在所述屏幕上进行划动操作；

第二控制子模块，被配置为当识别出所述操作物动作为点击时，获取所述预设操作控件在所述屏幕上的显示区域；对所述显示区域内的显示内容进行点击操作。

11.根据权利要求10所述的装置，其特征在于，所述第一控制子模块，还被配置为：

根据所述划动距离和预定放大系数计算控件划动距离，所述预定放大系数＞1；

根据所述控件划动距离控制所述预设操作控件在所述划动方向上划动。

12.根据权利要求8或9所述的装置，其特征在于，所述装置，还包括：

检测模块，被配置为当识别出所述操作物动作为划动时，检测当前划动是否为惯性划动，所述惯性划动为所述操作物划动后的反向收回动作；

停止响应模块，被配置为当检测到所述当前划动为所述惯性划动时，停止响应所述操作物动作。

13.根据权利要求12所述的装置，其特征在于，所述检测模块，包括：

第一检测子模块，被配置为获取所述当前划动的第一划动方向以及前向相邻划动的第二划动方向；当所述第一划动方向与所述第二划动方向相反，且所述当前划动与所述前向相邻划动之间的时间间隔小于预设阈值时，确定所述当前划动为所述惯性划动；

或，

第二检测子模块，被配置为获取所述当前划动的所述第一划动方向以及所述前向相邻划动的所述第二划动方向；获取所述当前划动的第一划动加速度以及所述前向相邻划动的第二划动加速度；当所述第一划动方向与所述第二划动方向相反，且所述当前划动与所述前向相邻划动之间的时间间隔小于所述预设阈值，且所述第一划动加速度大于所述第二划动加速度时，确定所述当前划动为所述惯性划动。

14.根据权利要求8或9所述的装置，其特征在于，所述生成模块，包括：

生成子模块，被配置为根据所述回波信号生成回波影像；

影像确定子模块，被配置为将所述回波影像中由屏幕边缘延伸至屏幕中央的影像确定为所述操作物影像。

15.一种屏幕控制装置，其特征在于，所述装置包括：

处理器、设置在屏幕下方的声波发射组件和声波接收组件；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

通过所述声波发射组件向所述屏幕的上方发射探测声波信号；

根据所述声波接收组件接收到的回波信号生成操作物影像，所述回波信号是所述探测声波信号到达操作物后返回的声波信号；

根据所述操作物影像识别所述操作物的操作物动作；

控制所述屏幕中显示的预设操作控件响应所述操作物动作，所述预设操作控件用于选取所述屏幕中的指定显示内容。