CN106055446B

CN106055446B - 一种移动终端的测试方法及装置

Info

Publication number: CN106055446B
Application number: CN201610474156.2A
Authority: CN
Inventors: 陈钊洪; 杨松超; 周敬高
Original assignee: JRD Communication Shenzhen Ltd
Current assignee: JRD Communication Shenzhen Ltd
Priority date: 2016-06-24
Filing date: 2016-06-24
Publication date: 2019-09-20
Anticipated expiration: 2036-06-24
Also published as: CN106055446A

Abstract

本发明公开了一种移动终端的测试方法和装置，所述方法包括通过摄像获取用户对移动终端进行测试的输入事件以及所述移动终端响应所述输入事件产生的参考屏幕图像；利用所述输入事件及对应的参考屏幕图像生成对应所述输入事件的测试脚本程序；利用所述测试脚本程序自动对待测的移动终端进行测试，获取所述待测的移动终端响应所述测试产生的测试屏幕图像；匹配所述测试屏幕图像与所述参考屏幕图像，得到测试结果。通过上述方式，本发明能够根据人工操作学习并重构测试程序，提升移动终端的检测效率。

Description

一种移动终端的测试方法及装置

技术领域

本发明涉及移动终端测试技术领域，特别是涉及一种移动终端的测试方法及装置。

背景技术

目前移动终端更新换代速度迅速，为保障软件的稳定性，在移动终端出货前，需对终端做大量的重复性测试。但是每一代的产品，由于软件UI或者测试方法的变化、测试用例的增加等原因，测试软件工具需要随之作频繁的更新，甚至是重写，非常繁琐。

发明内容

本发明主要解决的技术问题是提供一种移动终端的测试方法及装置，能够根据人工操作学习并重构测试程序，提升移动终端的检测效率。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种移动终端的测试方法，包括：

通过摄像获取用户对移动终端进行测试的输入事件以及所述移动终端响应所述输入事件产生的参考屏幕图像；

利用所述输入事件及对应的参考屏幕图像生成对应所述输入事件的测试脚本程序；

利用所述测试脚本程序自动对待测的移动终端进行测试，获取所述待测的移动终端响应所述测试产生的测试屏幕图像；

匹配所述测试屏幕图像与所述参考屏幕图像，得到测试结果。

其中，所述通过摄像获取用户对移动终端进行测试的输入事件以及所述移动终端响应所述输入事件产生的参考屏幕图像的步骤，包括：

获取所述移动终端的屏幕坐标集；

获取用户对所述移动终端的触摸动作，判断所述触摸动作对应的坐标是否落于所述屏幕坐标集内；

若是，则获取所述触摸动作对应的触摸坐标以及所述移动终端响应所述触摸动作产生的参考屏幕图像。所述通过摄像获取用户对移动终端进行测试的输入事件以及所述移动终端响应所述输入事件产生的参考屏幕图像的步骤，包括：

获取所述移动终端的屏幕坐标集；

若是，则获取所述触摸动作对应的触摸坐标以及所述移动终端响应所述触摸动作产生的参考屏幕图像。

其中，所述获取所述移动终端的屏幕坐标集的步骤，包括：

获取包含移动终端屏幕的初始图像，其中，在所述初始图像中，所述移动终端屏幕显示的图片的对比度与所述移动终端屏幕边沿的对比度之间的差值大于预定值；

对所述初始图像进行预处理，以得到所述移动终端屏幕的轮廓形状；

获取所述轮廓形状以内的坐标集，作为所述移动终端的屏幕坐标集。

其中，利用预定公式将所述触摸动作对应的坐标转换成所述测试脚本程序中对应的坐标。

其中，所述获取所述待测的移动终端响应所述测试产生的测试屏幕图像的步骤，包括：

连续获取所述待测的移动终端响应所述测试产生的多帧测试屏幕图像；

所述匹配所述测试屏幕图像与所述参考屏幕图像，得到测试结果的步骤，包括：

利用surf算法匹配所述多帧测试屏幕图像与所述参考屏幕图像，判断在下一次输入事件到达之前，是否有一帧测试屏幕图像与所述参考屏幕图像的匹配结果大于设定的阈值；

若是，则匹配成功，进行下一次输入事件的测试；若否，则匹配失败，存储预定时间范围内的多帧所述测试屏幕图像。

其中，所述利用所述测试脚本程序自动对待测的移动终端进行测试的步骤包括：

利用所述测试脚本程序控制机械臂触摸屏幕以对待测的移动终端进行测试。

利用所述测试脚本程序对移动终端进行模拟触摸动作以对待测的移动终端进行测试。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种移动终端的测试装置，包括：

获取模块，用于通过摄像获取用户对移动终端进行测试的输入事件以及所述移动终端响应所述输入事件产生的参考屏幕图像；

生成模块，用于利用所述输入事件及对应的参考屏幕图像生成对应所述输入事件的测试脚本程序；

测试模块，用于利用所述测试脚本程序自动对待测的移动终端进行测试；其中，所述获取模块还用于获取所述待测的移动终端响应所述测试产生的测试屏幕图像；

匹配模块，用于匹配所述测试屏幕图像与所述参考屏幕图像，得到测试结果。

其中，所述获取模块包括设置于所述移动终端下方的压力传感器以及设置于所述移动终端上方的高速摄像机；

所述生成模块和匹配模块均为计算机，所述计算机分别与所述压力传感器和所述高速摄像机连接。

其中，所述测试模块为机械臂，所述机械臂设置于所述移动终端上方并与所述计算机连接。

本发明的有益效果是：区别于现有技术的情况，本发明通过摄像获取用户对移动终端进行测试的输入事件以及所述移动终端响应所述输入事件产生的参考屏幕图像，并生成对应所述输入事件的测试脚本程序，利用该程序对其它待测试的移动终端进行自动测试，通过匹配测试屏幕图像和参考屏幕图像得到测试结果。本发明利用摄像提取人工对终端屏幕的操作，并转换为操作逻辑，将该逻辑应用在其它的终端设备中，完成自动化测试，提升移动终端测试的效率。

附图说明

图1是本发明一种移动终端的测试方法一实施方式的示意图；

图2是本发明一种移动终端的测试方法另一实施方式的示意图；

图3是本发明一种移动终端的测试方法又一实施方式的示意图；

图4是本发明一种移动终端的测试装置一实施方式的示意图；

图5是本发明一种移动终端的测试装置另一实施方式的示意图。

具体实施方式

下面结合附图和实施方式对本发明进行详细说明。

参阅图1，本发明一种移动终端的测试方法一实施方式，包括：

步骤S101：通过摄像获取用户对移动终端进行测试的输入事件以及移动终端响应输入事件产生的参考屏幕图像；

移动终端的测试，是由系列的输入事件以及移动终端对输入事件的响应所构成。用户对移动终端进行测试的输入事件包括对触摸屏的触摸操作和对移动终端物理按键的操作。一般地，移动终端对输入事件的响应表现为屏幕显示图像变化。

本发明实施方式可通过高速摄像机拍摄获取用户对移动终端进行测试的输入事件以及移动终端响应输入事件产生的参考屏幕图像。摄像机设置在移动终端屏幕上方，并能摄取到移动终端的整个轮廓，可使移动终端轮廓的面积不小于摄像面积的2/3。在获取输入事件时，应当通过高速摄像机获取在屏幕上进行触摸的位置、触摸动作以及触摸持续时间等，触摸动作是在一次持续触摸过程中从触摸起始点到触摸结束点之间的线路；还可获取从输入事件起始点到输入事件结束点的输入事件持续时间，输入事件起始是用户对移动终端进行触摸的起始时间，输入事件结束点是移动终端响应用户对屏幕的触摸操作或对物理按键的操作产生屏幕图像变化后得到稳定的屏幕图像的时间。该稳定的屏幕图像即为本发明实施方式需要获取的参考屏幕图像；参考屏幕图像反映了移终端响应用户的输入事件所产生的变化。

当用户在一次测试中进行了多次的输入事件，本发明实施方式还可获取相邻两个输入事件之间的间隔时间。

步骤S102：利用输入事件及对应的参考屏幕图像生成对应输入事件的测试脚本程序；

本发明实施方式将获取到的用户在屏幕上进行触摸的位置、触摸动作、触摸持续时间、输入事件的持续事件、参考屏幕图像以及相邻两个输入事件之间的间隔时间等数据进行整合，自动生成测试脚本程序，通过测试脚本程序可模拟用户对移动终端进行的测试。

步骤S103：利用测试脚本程序自动对待测的移动终端进行测试，获取待测的移动终端响应测试产生的测试屏幕图像；

利用测试脚本程序在待测的移动终端上重现用户对移动终端进行测试时对移动终端进行的操作，以对待测的移动终端进行测试，同时通过高速摄像机获取待测的移动终端响应测试产生的测试屏幕图像。

本发明实施方式可在移动终端以及待测的移动终端下方设置与其连接的压力传感器，当移动终端或待测的移动终端被触摸或被进行其它操作时，压力传感器感应到信号；当压力传感器感应到信号时，再启动高速摄像机获取输入事件、参考屏幕图像和测试屏幕图像等。

本发明其它实施方式中，步骤S101中还可通过压力传感器获取用户触摸屏幕时对应的触摸压力，并在步骤S102中将触摸压力整合到生成的测试脚本程序中。

步骤S104：匹配测试屏幕图像与参考屏幕图像，得到测试结果。

将测试屏幕图像与对应的参考屏幕图像进行匹配，如果匹配成功，则表示测试按预想进行，测试通过，如果匹配失败，则测试不通过。

本发明实施方式通过摄像获取用户对移动终端进行测试的输入事件以及移动终端响应输入事件产生的参考屏幕图像，并生成对应输入事件的测试脚本程序，利用该程序对其它待测试的移动终端进行自动测试，通过匹配测试屏幕图像和参考屏幕图像得到测试结果。本发明实施方式利用摄像提取人工对终端屏幕的操作，并转换为操作逻辑，将该逻辑应用在其它的终端设备中，完成自动化测试，提升移动终端测试的效率。

其中，如图2，步骤S101通过摄像获取用户对移动终端进行测试的输入事件以及移动终端响应输入事件产生的参考屏幕图像的步骤，包括：

步骤S201：获取移动终端的屏幕坐标集；

移动终端的屏幕坐标集是移动终端屏幕范围内所有点的坐标的集合，可以代表移动终端屏幕的位置范围，通过摄像获取移动终端的屏幕图像可得到移动终端的屏幕坐标集。

由于在测试过程中，移动终端是通过屏幕显示图像的变化来响应测试命令的，为了提高测试效率，本发明实施方式中，在获取到移动终端的屏幕坐标集后，只对摄像获取到的图像处理屏幕坐标集范围内的图像部分，提高图像处理效率。

步骤S202：获取用户对移动终端的触摸动作，判断触摸动作对应的坐标是否落于屏幕坐标集内；

通过压力传感器检测用户手指与移动终端的上表面或侧面是否发生真实接触，当检测到手指与移动终端的上表面或侧面发生真实接触后，高速摄像机对进行触摸的手指头进行识别，获取手指头与移动终端接触位置的坐标。具体地，本发明实施方式可取手指头的竖中轴靠外边沿2/3位置为手指头与移动终端接触位置的坐标。判断手指头与移动终端接触位置的坐标是否落在屏幕坐标集内，若是，则表明用户手指触摸了移动终端屏幕，执行步骤S203。如果手指头与移动终端接触位置的坐标落在屏幕坐标集外一定范围内，则表明某个物理按键被按下，通过摄像记录该物理按键。

步骤S203：若是，则获取触摸动作对应的触摸坐标以及移动终端响应触摸动作产生的参考屏幕图像。

当手指头与移动终端接触位置的坐标落在屏幕坐标集内，将该坐标作为此次触摸动作对应的触摸坐标，同时将移动终端响应该次触摸操作得到的稳定屏幕图像作为参考屏幕图像。

其中，参阅图3，步骤S201获取移动终端的屏幕坐标集，包括：

步骤S301：获取包含移动终端屏幕的初始图像，其中，在初始图像中，移动终端屏幕显示的图片的对比度与移动终端屏幕边沿的对比度之间的差值大于预定值；

让移动终端屏幕显示一张与屏幕边沿对比度相差较大的图片，通过摄像机抓取此时的移动终端的图像，作为初始图像；通过使移动终端屏幕显示的图片对比度与屏幕边沿的移动终端颜色对比度相差较大，利于后续准确提取出屏幕范围内的图像，以确定屏幕的范围，进而确定屏幕坐标集。在本发明一实施方式中，屏幕显示的与屏幕边沿对比度较大的图片为一张只有一种颜色的纯色图片，其颜色根据屏幕边沿的颜色而定，例如，如果屏幕边沿为黑色，则该图片可为白色；如果屏幕边沿为白色，则该图片可以为黑色。可以理解的，当移动终端屏幕边沿具有多种颜色，则屏幕显示的图片的样式和颜色也可根据屏幕边沿的颜色而具体调整。

步骤S302：对初始图像进行预处理，以得到移动终端屏幕的轮廓形状；

通过对初始图像进行预处理，利用屏幕显示的与屏幕边沿对比度相差较大的图片，提取出初始图像中屏幕区域，从而确定屏幕坐标集。

本发明实施方式可通过以下方法对初始图像进行预处理：

图像降噪处理，用中值滤波、平均值滤波等方法去除椒盐噪声等种类的图像噪声污染；

图像直方图均衡，使原图像直方图变换为具有均匀密度分布的直方图，以增加所获图像的全局对比度；

图像锐化，用模板卷积和频域滤波的方法，增强图像的边缘及灰度跳变的部分，使图像变得清晰。

由于屏幕显示的图片与屏幕边缘部分的对比度相差较大，在预处理后的图像分布采用X、Y方向的拉布拉斯变换，获取X、Y方向的边缘信息，然后将X方向的拉普拉斯图像与Y方向的拉普拉斯图像进行或操作，经过或操作的图像中含有一个白色几何图形区域，一般地，移动终端的屏幕为矩形，所以这个白色几何图形区域一般为白色的矩形，这个白色的矩形就是移动终端屏幕的区域，但是图像还含有一些干扰的白色区域，使用合适大小模版图像进行腐蚀操作消除干扰的白色区域，然后提取白色矩形区域的轮廓信息，最后获得轮廓的外接矩形，这个外接矩形即为移动终端屏幕的轮廓形状，该外接矩形内的区域即为移动终端的屏幕区域。

步骤S303：获取轮廓形状以内的坐标集，作为移动终端的屏幕坐标集。

其中，由于摄像头的取景坐标和利用测试脚本程序对待测的移动终端进行测试时对待测的移动终端进行操作时的坐标一般不在同一坐标系，本发明实施方式利用预定公式将用户对移动终端进行测试时的触摸动作对应的坐标转换成测试脚本程序中对应的坐标。

本发明实施方式利用测试脚本程序自动对待测的移动终端进行测试具体可以是：利用测试脚本程序控制机械臂触摸屏幕以对待测的移动终端进行测试。

当利用测试脚本程序控制机械臂触摸屏幕以对待测的移动终端进行测试时，可通过下述方法将用户对移动终端进行测试时的触摸动作对应的坐标转换成机械臂的移动坐标。

假设待测移动终端所在平面的左上角参考点取景坐标为(x_a，y_a)、机器臂移动坐标为(M_a，N_a)，待测移动终端所在平面的右下角参考点取景坐标为(x_b，y_b)、机器臂移动坐标为(M_b，N_b)，触摸点取景坐标为(x_t，y_t)、机器臂移动坐标为(M_t，N_t)，那么触摸点的机器臂移动坐标可表述为：

如果是移动终端侧面的物理按键被按下，需要在机器臂下落的基础上增加向手机屏幕方向平移的操作。

本发明实施方式利用测试脚本程序自动对待测的移动终端进行测试还可以是：利用测试脚本程序对移动终端进行模拟触摸动作以对待测的移动终端进行测试。

当利用测试脚本程序对移动终端进行模拟触摸动作以对待测的移动终端进行测试时，可通过下述方法将用户对移动终端进行测试时的触摸动作转换对待测的移动终端的模拟触摸。

本发明实施方式以运行安卓系统的移动终端为例，假设屏幕分辨率为L×H，屏幕左上角与右下角的取景坐标分别为(x_c，y_c)、(x_d，y_d)，触摸动作的触摸点取景坐标及对应的模拟坐标为(x_k，y_k)、(L_k，H_k)，那么模拟屏幕接触的模拟坐标可表述为：

可利用以下命令模拟安卓系统终端触摸屏被单次接触：

adb shell input tap L_k H_k

可利用以下命令模拟安卓系统终端触摸屏被划屏(持续接触)：

adb shell input touchscreen swipe x₀y₀x₁y₁t

其中(x₀,y₀)为触摸起始位置，(x₁,y₁)为触摸结束位置，t为划屏持续时间；

可利用以下命令模拟安卓系统终端实体键被按下的情况：

adb shell input keyevent KEYCODE

其中KEYCODE为对应的物理按键事件，常用的KEYCODE如表1所示。

表1

其中，步骤S103中述获取待测的移动终端响应测试产生的测试屏幕图像的步骤，包括：

a.连续获取待测的移动终端响应测试产生的多帧测试屏幕图像；

步骤S104匹配测试屏幕图像与参考屏幕图像，得到测试结果的步骤，包括：

b.利用surf算法匹配多帧测试屏幕图像与参考屏幕图像，判断在下一次输入事件到达之前，是否有一帧测试屏幕图像与参考屏幕图像的匹配结果大于设定的阈值；

若是，则匹配成功，代表移动终端对当前的输入事件的反馈是正确的，进行下一次输入事件的测试；若否，则匹配失败，代表移动终端对当前的输入事件的反馈出现异常，存储预定时间范围内的多帧测试屏幕图像，以方便测试人员直观的定位定位问题的原因。

其中，在获取屏幕图像时，在内存中申请一片缓存区，用于缓存一定时间范围摄像机采集到的图像，通过此缓存区回溯寻找触摸坐标周围有明显轮廓特征、且不包含指头的最小图像块，作为图像匹配的模板图像。

本发明实施方式通过采用多尺度及旋转不变的surf算法进行图像匹配，使得本发明实施方式的方法可以应用在不同尺寸的移动终端的测试中，即使待测的移动终端的屏幕尺寸与生成测试脚本程序所使用的移动终端的屏幕尺寸不相同，也能正常通过本发明实施方式的方法进行测试。

如图4，在另一实施方式中，本发明的一种移动终端的测试装置，包括获取模块100、生成模块200、测试模块300以及匹配模块400，其中，

获取模块100，用于通过摄像获取用户对移动终端进行测试的输入事件以及移动终端响应输入事件产生的参考屏幕图像；

生成模块200，用于利用输入事件及对应的参考屏幕图像生成对应输入事件的测试脚本程序；

测试模块300，用于利用测试脚本程序自动对待测的移动终端进行测试；其中，获取模块还用于获取待测的移动终端响应测试产生的测试屏幕图像；

匹配模块400，用于匹配测试屏幕图像与参考屏幕图像，得到测试结果。

本实施方式的一种移动终端测试装置可实现上述实施方式的移动终端测试方法，详细请参见上述实施方式的方法的内容。

本发明实施方式的获取模块100通过摄像获取用户对移动终端进行测试的输入事件以及移动终端响应输入事件产生的参考屏幕图像，并利用生成模块200生成对应输入事件的测试脚本程序，测试模块300利用该程序对其它待测试的移动终端进行自动测试，通过匹配模块400匹配测试屏幕图像和参考屏幕图像得到测试结果。本发明实施方式利用摄像提取人工对终端屏幕的操作，并转换为操作逻辑，将该逻辑应用在其它的终端设备中，完成自动化测试，提升移动终端测试的效率。

其中，如图5，获取模块100包括置于移动终端10下方的压力传感器17以及设置于移动终端10上方的高速摄像机15；生成模块200和匹配模块400均为计算机11，计算机11分别与压力传感器17和高速摄像机15连接。

本发明实施方式的装置在浮动台12上设置用于固定移动终端10的固定夹14，固定夹14可为相互平行的两个固定臂，两个固定臂通过分别夹持移动终端10的两侧面而将移动终端10水平固定，移动终端10屏幕朝上。浮动台一端固定在固定支架13上，当浮动台上的移动终端受到向下压力时，浮动台12可随移动终端10向下移动，压力传感器17设置于浮动台12下方，当移动终端10受到压力时，压力可通过浮动台12传到压力传感器17，被压力传感器17检测到。

高速摄像机15固定在固定支架13上，使摄像头水平朝下，通过调整高度以确保高速摄像机15的摄像头能摄取到移动终端10的整个轮廓，且轮廓面积应不少于摄像面积的2/3。

计算机11分别与压力传感器17和高速摄像机15连接，计算机11包括接收器、存储器和处理器，接收压力传感器17和高速摄像机15传回的数据，并进行存储和处理。本发明实施方式还可包括与计算机11连接的显示器18，可通过显示器18显示高速摄像机15传回的图像，便于检测人员观察和操作。处理器根据接收到的数据生成测试脚本程序。

其中，测试模块为机械臂16，机械臂16设置于移动终端10上方并与计算机11连接。计算机11根据测试脚本程序控制机械臂16模拟人手对待测移动终端10进行测试，并利用计算机11将测试屏幕图像与参考屏幕图像进行匹配，得到测试结果。

在本发明其它实施方式中，计算机可与移动终端连接，计算机根据测试脚本程序对移动终端进行模拟触摸动作以对待测的移动终端进行测试。

以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种移动终端的测试方法，其特征在于，包括：

匹配所述测试屏幕图像与所述参考屏幕图像，得到测试结果；

所述通过摄像获取用户对移动终端进行测试的输入事件以及所述移动终端响应所述输入事件产生的参考屏幕图像的步骤，包括：

获取所述移动终端的屏幕坐标集；

若是，则获取所述触摸动作对应的触摸坐标以及所述移动终端响应所述触摸动作产生的参考屏幕图像；

所述获取所述移动终端的屏幕坐标集的步骤，包括：

获取所述轮廓形状以内的坐标集，作为所述移动终端的屏幕坐标集；

所述获取所述待测的移动终端响应所述测试产生的测试屏幕图像的步骤，包括：

2.根据权利要求1所述的方法，其特征在于，利用预定公式将所述触摸动作对应的坐标转换成所述测试脚本程序中对应的坐标。

3.根据权利要求1所述的方法，其特征在于，所述利用所述测试脚本程序自动对待测的移动终端进行测试的步骤包括：

4.根据权利要求1所述的方法，其特征在于，所述利用所述测试脚本程序自动对待测的移动终端进行测试的步骤包括：

5.一种移动终端的测试装置，其特征在于，包括：

匹配模块，用于匹配所述测试屏幕图像与所述参考屏幕图像，得到测试结果；

所述获取模块具体用于获取所述移动终端的屏幕坐标集；

所述获取模块还用于获取包含所述移动终端屏幕的初始图像，其中，在所述初始图像中，所述移动终端屏幕显示的图片的对比度与所述移动终端屏幕边沿的对比度之间的差值大于预定值；

所述获取模块还用于连续获取所述待测的移动终端响应所述测试产生的多帧测试屏幕图像；

所述匹配模块还包括：利用surf算法匹配所述多帧测试屏幕图像与所述参考屏幕图像，判断在下一次输入事件到达之前，是否有一帧测试屏幕图像与所述参考屏幕图像的匹配结果大于设定的阈值；

6.根据权利要求5所述的装置，其特征在于，所述获取模块包括设置于所述移动终端下方的压力传感器以及设置于所述移动终端上方的高速摄像机；

7.根据权利要求6所述的装置，其特征在于，所述测试模块为机械臂，所述机械臂设置于所述移动终端上方并与所述计算机连接。