CN102073405B - 一种图像缩放与旋转判别方法 - Google Patents

Abstract

本发明公开一种图像缩放与旋转判别方法，包括以下步骤：初始化图像采集装置，获取初始帧及当前帧中，确定各个相对应触摸点的位置；设起始帧中两触摸点为A_i与B_i，当前帧中相应于A_i的触摸点为A_c，相应于B_i的触摸点为B_c，A_i与A_c的连线记为l_a，B_i与B_c的连线记为l_b；以A_i与B_i的连线为直径形成一圆形区域S_i，并记S_i的中心为C_i，半径为R，判断A_c、B_c与S_i的位置关系；若A_c、B_c中有任一触摸点处于S_i中，则认为是旋转操作；若A_c、B_c中无任一触摸点处于S_i中，则通过圆心C_i分别作直线l_a与l_b的垂线，分别得到位于S_i内的交点P_a和P_b；以A_i与A_c为对角线，作矩形R_a；以B_i与B_c为对角线，作矩形R_b；判断P_a与P_b是否处于R_a和R_b中，若有任意一点处于相对应的矩形中，则判定为旋转操作，否则为缩放操作。本发明操作简便，具有高实时性和强鲁棒性。

Description

一种图像缩放与旋转判别方法

技术领域

本发明涉及图像分析、机器视觉与模式识别领域，特别是多点触摸图像缩放与旋转判别方法。

背景技术

随着机器智能化的发展，人们要求与机器交互更加自然，要求能够更加直接建立起现实模拟世界与虚拟数字世界之间的桥梁。基于机器视觉的多点触摸技术，由于其表达的自然性和实时性等优点，在学术研究和工业实践中得到大力发展。基于单触摸点的产品已实现产品化，而基于多点触摸技术的产品由于存在种种困难，一直难于产品化。其困难主要基于两方面：一是技术困难；虽然模式识别与机器视觉在这些年的到长足发展，但对一些现实问题，哪怕是人类能够非常简单解决的问题，机器仍无法做出正确的判断；另一方面是人自身表达方式的不确定性；机器由于其智能化程度低，不能正确理解同一问题的多种表达方式，也不能容忍某种具体操作的多变性。

正是基于以上原因，多点触摸技术在实际中都要求专业人员进行操作，或者对初学者进行一段时间的培训，待其熟悉和规范操作流程之后才能正式交付使用，然而这样却阻碍了产品市场推广。在一种文化中，某一描述的表达方式实质上都能达成共识，如图片放大操作，当两手指定位在图片上，并且两手指的距离越来越远时，人都能理解其意是将图片放大；再如图片旋转，当两触摸点相向而行并表现出一定弧度时，人都能理解其意是将图片旋转。然而机器却不能实时地做出正确的分析判断，因为机器是基于精确计算的程序处理过程。当操作者放大或缩小与旋转动作较为接近时，机器则不能正确理解操作者意图，进而执行错误的操作。采用高深的图像处理与模式识别技术当然能很好地解决这个问题，但是实时性往往无法得到保证，然而这类产品的一个主要特点就是实时性，所以开发一种简便、实时性强、鲁棒性强的新技术将具有广泛的应用市场。

针对图像放大缩小与旋转，目前采用的方法主要是通过计算当前帧中两触摸点与起始帧中两触摸点连线的夹角来判定，如起始帧中两触摸点A₀和B₀，两触摸点的连线用l_ab表示，当前帧中相应于A₀与B₀的两触摸点为A₁和B₁，A₀与A₁之间的连线用l_a表示，B₀与B₁之间的连线用l_b表示，则若直线l_a与l_ab所形成的夹角(∠1)与直线l_b与l_ab所形成的夹角(∠2)在给定范围之内，则判别为缩放操作，若不在给定范围内则认定为旋转操作，如图1所示。但是这种设定具有不稳定性，由于人操作的随意性，角1与角2可能会出现一个处于设定阈值之内，另一个处于设定阈值之外，则机器该如何执行操作？此外，如若角1与角2都与设定阈值相等，假设都为45度，那此时到底是旋转还是缩放，机器也无法给出正确的操作。所以，完全基于角度判别的方法具有不稳定性。

发明内容

本发明的目的是解决人机交互中基于机器视觉技术的图像误操作问题，通过图像分析技术对当前帧与起始帧中触摸点进行分析，公开一种简便、实时性强、鲁棒性极强的图像缩放与旋转判别方法，从而让机器理解操作者想要执行的真实操作，进而执行相应的动作。

为实现上述目的，本发明提出的技术方案提供一种图像缩放与旋转判别方法，其包括以下步骤：

A1、初始化图像采集装置，获取图像；

A2、处理图像，获取并确定初始帧中，一个或多个触摸点的初始位置；

A3、连续获取图像，采用跟踪与图像分析技术获取当前帧中各个触摸点的位置，所述当前帧中各个触摸点相应于初始帧中各个触摸点；

A4、通过判别当前帧中各个触摸点的位置与初始帧中各个触摸点位置，判别对图像实现的操作；

其中，步骤A4中的判别方法如下：

1)设起始帧中两触摸点为A_i与B_i，当前帧中相应于A_i的触摸点为A_c，相应于B_i的触摸点为B_c，A_i与A_c的连线记为l_a，B_i与B_c的连线记为l_b；

2)以A_i与B_i的连线为直径形成一圆形区域S_i，并记S_i的中心为C_i，半径为R，判断A_c、B_c与S_i的位置关系；

3)若A_c、B_c中有任一触摸点处于S_i中，即下式成立：

$d_{A_c{C}_i}<R$ 或 $d_{B_c{C}_i}<R$

式中d_ij表示两点i与j之间的距离，R为S_i的半径；则认为是旋转操作；

4)若A_c、B_c中无任一触摸点处于S_i中，则通过圆心C_i分别作直线l_a与l_b的垂线，分别得到位于S_i内的交点P_a和P_b；

5)以A_i与A_c为对角线，作矩形R_a；以B_i与B_c为对角线，作矩形R_b；

6)判断P_a与P_b是否处于R_a和R_b中，若有任意一点处于相对应的矩形中，则判定为旋转操作，否则为缩放操作。

进一步地，对获取的图像进行去噪、二值化、增强后，对触摸点区域进行重心归一化处理，以重心坐标表示触摸点。

步骤6)中的判定方法为：记，

$X_{\mathrm{Ra}\_\min }=\min \{X_{A_c},X_{A_i}\},$ $X_{\mathrm{Ra}\_\max }=\max \{X_{A_c},X_{A_i}\},$

$Y_{\mathrm{Ra}\_\min }=\min \{Y_{A_c},Y_{A_i}\},$ $Y_{\mathrm{Ra}\_\max }=\max \{Y_{A_c},Y_{A_i}\},$

$X_{\mathrm{Rb}\_\min }=\min \{X_{B_c},X_{B_i}\},$ $X_{\mathrm{Rb}\_\max }=\max \{X_{B_c},X_{B_i}\},$

$Y_{\mathrm{Rb}\_\min }=\min \{Y_{B_c},Y_{B_i}\},$ $Y_{\mathrm{Rb}\_\max }=\max \{Y_{B_c},Y_{B_i}\}.$

其中min{A，B}表示取A，B中最小值，max{A，B}表示取A，B中最大值。

① $X_{\mathrm{Ra}\_\min }<X_{P_a}<X_{\mathrm{Ra}\_\max }$ 且 $Y_{\mathrm{Ra}\_\min }<Y_{P_a}<Y_{\mathrm{Ra}\_\max }$

②X_{Rb_min}＜X_b＜X_{Rb_max}且 $Y_{\mathrm{Rb}\_\min }<Y_{P_b}<Y_{\mathrm{Rb}\_\max }$

若以上两条件有任一成立，则判为旋转操作；若二者均不成立，则判为缩放操作。

与现有技术相比，本发明有益效果在于：

本发明主要解决人机交互中基于视觉技术的多点触摸图像操作问题，该系统中通过两手指接触触摸屏对图像进行旋转和缩放操作。传统解决方案主要采用角度来判定该执行何种操作，但由于两方面的原因致使机器不能正确理解：一是技术本身限制，因为机器是通过精确计算来处理问题的，对于模糊性的操作，机器无能为力；二是操作者操作不规范，致使机器不能正确理解。鉴于以上原因，本发明创造性地通过引入一圆形区域，进而计算当前帧中触摸点与圆形区域的关系来确定用户实际执行的操作，该方法只需简单的数学计算便能得到正确的结果，具有高实时性、强鲁棒性、易操作等优势。本发明能广泛应用于接触式与非接触式人机交互设备中，特别是实时性要求极高的场合。

附图说明

图1：现有技术图片放大缩小与旋转操作判定示意图；

图2：图像旋转操作示意图(有一触摸点位于圆形区域中)；

图3：图像旋转操作示意图(两触摸点都处于圆形区域中)；

图4：图像缩放操作(两触摸点均位于圆形区域外)；

图5：图像旋转操作(两触摸点交叉处于圆形区域外)；

图6：图像缩放操作(无任一垂足位于各自矩形区域中)；

图7：图像旋转操作(两垂足都位于各自矩形中)。

具体实施方式

下面对本发明加以详细说明，应指出的是，所描述的实施例旨在便于对本发明的理解，而对其不起任何限定作用。

本发明实现方法需要的硬件为图像采集设备、计算机、红外光源及一块触摸屏。

本发明中的红外光源用于产生红外光场，红外光场均匀覆盖在触摸屏上方，图像采集器为红外摄像头，置于触摸屏后方，以64帧/每秒获取灰度图像。当有手指接触到触摸屏时，触摸点处光线被反射，致使获取的红外图像中，在触摸点处生成具有较高灰度值的亮点，所获取的图像送入计算机进行去噪、二值化、增强后，对触摸点区域进行重心归一化处理，以重心坐标表示触摸点。

其包括以下步骤：

A1、初始化图像采集装置，获取图像；

A2、处理图像，获取并确定初始帧中，一个或多个触摸点的初始位置；

A3、连续获取图像，采用跟踪与图像分析技术获取当前帧中各个触摸点的位置，所述当前帧中各个触摸点相应于初始帧中各个触摸点；

A4、通过判别当前帧中各个触摸点的位置与初始帧中各个触摸点位置，判别对图像实现的操作；

其中，步骤A4中的判别方法如下：

1)设起始帧中两触摸点为A_i与B_i，当前帧中相应于A_i的触摸点为A_c，相应于B_i的触摸点为B_c，A_i与A_c的连线记为l_a，B_i与B_c的连线记为l_b；

2)以A_i与B_i的连线为直径形成一圆形区域S_i，并记S_i的中心为C_i，半径为R，判断A_c、B_c与S_i的位置关系；

3)若A_c、B_c中有任一触摸点处于S_i中，即下式成立：

$d_{A_c{C}_i}<R$ 或 $d_{B_c{C}_i}<R$

式中d_ij表示两点i与j之间的距离，R为S_j的半径；则认为是旋转操作；

4)若A_c、B_c中无任一触摸点处于S_i中，则通过圆心C_i分别作直线l_a与l_b的垂线，分别得到位于S_i内的交点P_a和P_b；

5)以A_i与A_c为对角线，作矩形R_a；以B_i与B_c为对角线，作矩形R_b；

6)判断P_a与P_b是否处于R_a和R_b中，若有任意一点处于相对应的矩形中，则判定为旋转操作，否则为缩放操作。

进一步地，对获取的图像进行去噪、二值化、增强后，对触摸点区域进行重心归一化处理，以重心坐标表示触摸点。

步骤6)中的判定方法为：记，

$X_{\mathrm{Ra}\_\min }=\min \{X_{A_c},X_{A_i}\},$ $X_{\mathrm{Ra}\_\max }=\max \{X_{A_c},X_{A_i}\},$

$Y_{\mathrm{Ra}\_\min }=\min \{Y_{A_c},Y_{A_i}\},$ $Y_{\mathrm{Ra}\_\max }=\max \{Y_{A_c},Y_{A_i}\},$

$X_{\mathrm{Rb}\_\min }=\min \{X_{B_c},X_{B_i}\},$ $X_{\mathrm{Rb}\_\max }=\max \{X_{B_c},X_{B_i}\},$

$Y_{\mathrm{Rb}\_\min }=\min \{Y_{B_c},Y_{B_i}\},$ $Y_{\mathrm{Rb}\_\max }=\max \{Y_{B_c},Y_{B_i}\}.$

其中min{A，B}表示取A，B中最小值，max{A，B}表示取A，B中最大值。

① $X_{\mathrm{Ra}\_\min }<X_{P_a}<X_{\mathrm{Ra}\_\max }$ 且 $Y_{\mathrm{Ra}\_\min }<Y_{P_a}<Y_{\mathrm{Ra}\_\max }$

②X_{Rb_min}＜X_b＜X_{Rb_max}且 $Y_{\mathrm{Rb}\_\min }<Y_{P_b}<Y_{\mathrm{Rb}\_\max }$

若以上两条件有任一成立，则判为旋转操作；若二者均不成立，则判为缩放操作。

实施例1

如图2至图7所示，当检测到触摸屏上有两触摸点时，便生成一圆形区域，记起始帧中两触摸点为A₀(400，300)与B₀(600，300)，其所形成的圆形区域记S为，圆心记为C，半径记为R，假设在第K帧中相对于A₀与B₀的两触摸点分别为A₁(300，150)与B₁(800，400)。

步骤1：判断A₁、B₁是否有任一点处于S中，判断方法是分别求圆心C与A₁、B₁之间的欧式距离

经判断可知

执行步骤2；

步骤2：记连接A₀、A₁的直线为l_a，记连接B₀、B₁的直线为l_b，过C分别作直线l_a与l_b的垂线，分别交于l_a的延长线点P_a(430，346)和l_b的延长线点P_b(520，260)，执行步骤3；

步骤3：根据A₀、A₁作矩形R_A，根据B₀、B₁作矩形R_B，通过下式判断P_a、P_b是否处于矩形R_A与R_B中；

若P_a处于R_A中，则 $\left\{\begin{array}{c}{X}_{A_1}{<X}_{P_a}{<X}_{A_0}\\ Y_{A_1}{<Y}_{P_a}{<Y}_{A_0}\end{array}\right.$

若P_b处于R_B中，则 $\left\{\begin{array}{c}{X}_{B_0}{<X}_{P_b}{<X}_{B_1}\\ Y_{B_0}{<Y}_{P_b}{<Y}_{B_1}\end{array}\right.$

式中，X_k、Y_k分别表示点K的横坐标和纵坐标值。经计算，P_a、P_b均不处于矩形R_A与R_B中，所以可以确定该操作为缩放操作。

实施例2

当检测到触摸屏上有两触摸点时，便生成一圆形区域，记起始帧中两触摸点为A₀(400，300)与B₀(600，300)，其所形成的圆形区域记S为，圆心记为C，半径记为R，假设在第K帧中相对于A₀与B₀的两触摸点分别为A₁(600，150)与B₁(450，500)。

步骤1：判断A₁、B₁是否有任一点处于S中，判断方法是分别求圆心C与A₁、B₁之间的欧式距离

经判断可知

执行步骤2；

步骤2：记连接A₀、A₁的直线为l_a，记连接B₀、B₁的直线为l_b，过C分别作直线l_a与l_b的垂线，分别交l_a于点P_a(564，348)、交l_b于点P_b(464，252)，执行步骤3；

步骤3：根据A₀、A₁作矩形R_A，根据B₀、B₁作矩形R_B，通过下式判断P_a、P_b是否处于矩形R_A与R_B中；

若P_a处于R_A中，则 $\left\{\begin{array}{c}{X}_{A_0}{<X}_{P_a}{<X}_{A_1}\\ Y_{A_1}{<Y}_{P_a}{<Y}_{A_0}\end{array}\right.$

若P_b处于R_B中，则 $\left\{\begin{array}{c}{X}_{B_1}{<X}_{P_b}{<X}_{B_0}\\ Y_{B_0}{<Y}_{P_b}{<Y}_{B_1}\end{array}\right.$

式中，X_k、Y_k分别表示点K的横坐标和纵坐标值。经计算，P_a、P_b均处于矩形R_A与R_B中，所以可以确定该操作为旋转操作。

Claims (3)

1.一种图像缩放与旋转判别方法，包括以下步骤：

A1、初始化图像采集装置，获取图像；

A2、处理图像，获取并确定初始帧中一个或多个触摸点的初始位置；

A3、连续获取图像，采用跟踪与图像分析技术获取当前帧中各个触摸点的位置，所述当前帧中各个触摸点相应于初始帧中各个触摸点；

A4、通过判别当前帧中各个触摸点的位置与初始帧中各个触摸点位置，判别对图像实现的操作；

其特征在于，步骤A4中的判别方法如下：

1)设初始帧中两触摸点为A_i与B_i，当前帧中相应于A_i的触摸点为A_c，相应于B_i的触摸点为B_c，A_i与A_c的连线记为l_a，B_i与B_c的连线记为l_b；

2)以A_i与B_i的连线为直径形成一圆形区域S_i，并记S_i的中心为C_i，半径为R，判断A_c、B_c与S_i的位置关系；

3)若A_c、B_c中有任一触摸点处于S_i中，即下式成立：

或

式中d_ij表示两点i与j之间的距离，R为S_i的半径，则认为是旋转操作；

4)若A_c、B_c中无任一触摸点处于S_i中，则通过圆心C_i分别作直线l_a与l_b的垂线，分别得到位于S_i内的交点P_a和P_b；

5)以A_i与A_c为对角线，作矩形R_a；以B_i与B_c为对角线，作矩形R_b；

6)判断P_a与P_b是否处于R_a和R_b中，若有任意一点处于相对应的矩形中，则判定为旋转操作，否则为缩放操作。

2.根据权利要求1所述的图像缩放与旋转判别方法，其特征在于，步骤A2中，对获取的图像进行去噪、二值化、增强后，对触摸点区域进行重心归一化处理，以重心坐标表示触摸点。

3.根据权利要求1所述的图像缩放与旋转判别方法，其特征在于，步骤6)中的判定方法为： 

记：

其中min{A，B}表示取A，B中最小值，max{A，B}表示取A，B中最大值；①

且

②X_{Rb_min}＜X_b＜X_{Rb_max且}

若以上两条件有任一成立，则判为旋转操作；若二者均不成立，则判为缩放操作。 

Images