CN104166509B - 一种非接触式屏幕交互方法及系统 - Google Patents

Abstract

本发明实施例涉及计算机应用技术领域，公开了一种非接触式屏幕交互方法及系统。其中，该系统包括计算机、投影仪、用于捕获投影在屏幕上的图像信息的摄像机和用于产生激光束投射在所述屏幕上的两个激光指示器，该系统还包括：激光点定位模块，用于将两个激光指示器投射在所述屏幕上的两个激光点的摄像机图像坐标映射到计算机屏幕坐标；操控对象识别模块，用于识别两个激光指示器所指向的操控对象；操控动作识别模块，用于识别两个激光指示器的操控动作；交互驱动模块，用于将所述操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机，由计算机执行所述操控指令。通过本发明实施例，可使得使非接触式屏幕交互操作更自然和更人性化。

Description

一种非接触式屏幕交互方法及系统

技术领域

本发明涉及计算机应用技术领域，具体涉及一种非接触式屏幕交互方法及系统。

背景技术

交互式大屏幕是近年来比较流行的演示交互系统，用户可通过一定的手段对到大屏幕显示的内容进行操控，例如，翻页浏览、移动、缩放等。准确的捕捉、理解用户操控动作的意图是实现交互的关键，同时，操控动作自然和人性化，符合用户习惯，满足用户交互体验需求，也是目前大屏幕交互研究中的一个热点。

现有技术方案之一是，用户手持单支激光笔在大屏幕上画出一定的图案，摄像机实时捕捉、识别激光笔的轨迹，并与预定的图案进行匹配，匹配成功后，将其映射到计算机识别的指令、如鼠标、键盘动作等，从而实现与计算机的交互。但是，使用单个激光笔进行交互时，用户需要记住一些特别的图案，容易误动作，而且交互动作不够自然和人性化，交互能力不足。

发明内容

本发明实施例公开了一种非接触式屏幕交互方法及系统，能够更加自然和人性化地实现非接触式屏幕交互。

本发明实施例的第一方面提供一种非接触式屏幕交互系统，所述系统包括用于将图像信息送至投影仪的计算机、用于将所述图像信息显示在屏幕上的投影仪、用于捕获投影在屏幕上的图像信息的摄像机和用于产生激光束投射在所述屏幕上的激光发射装置，所述激光发射装置包括两个激光指示器，所述系统还包括执行器，所述执行器包括：

激光点定位模块，用于从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标；

操控对象识别模块，用于根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象；

操控动作识别模块，用于根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作；

交互驱动模块，用于将所述操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机，由计算机执行所述操控指令。

在本发明实施例第一方面的第一种可能的实现方式中，所述激光点定位模块包括：

标定单元，用于确定摄像机图像坐标系和计算机屏幕坐标系的映射关系；

定位单元，用于从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并根据所述映射关系，将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标。

在本发明实施例第一方面的第二种可能的实现方式中，所述操控对象识别模块具体用于：

当所述两个激光点中的至少一个的计算机屏幕坐标在预设时间内保持不变时，则确定发生选择对象事件；

当所述两个激光点中的一个发生选择对象事件时，若该激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象；

当所述两个激光点均发生选择对象事件时，若两个事件出现的时间差小于阈值，则确定发生两个选择对象事件，若所述两个激光点的计算机屏幕坐标落在同一个对象的显示区域内，则确定该对象为操控对象，如果所述两个激光点的计算机屏幕坐标落在两个不同对象的显示区域内，则确定所述两个不同对象为两个操控对象；

当所述两个激光点均发生选择对象事件时，如果两个事件出现的时间差大于阈值，则确定后发生的选择对象事件无效，若先发生选择对象事件的激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象。

结合本发明实施例第一方面或本发明实施例第一方面的第一至第二种中的任一种可能的实现方式，在本发明实施例第一方面的第三种可能的实现方式中，所述操控动作识别模块具体用于：

将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，根据所述向量的模及方向角的变化趋势，以识别所述两个激光指示器的操控动作；或者，

分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。

结合本发明实施例第一方面或本发明实施例第一方面的第一至第二种中的任一种可能的实现方式，在本发明实施例第一方面的第四种可能的实现方式中，所述操控动作识别模块具体用于：

将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，当所述向量的模不断变小时，则所述两个激光指示器的操控动作的语义为图片缩小，当所述向量的模不断变大时，则所述两个激光指示器的操控动作的语义为图片放大，当所述向量的方向角发生变化时，则所述两个激光指示器的操控动作的语义为图片进行相应的旋转；或者，

分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。

本发明实施例第二方面提供一种非接触式屏幕交互方法，所述方法包括：计算机将图像信息送至投影仪、投影仪将所述图像信息显示在屏幕上、摄像机捕获投影在屏幕上的图像信息和激光发射装置产生激光束投射在所述屏幕上，所述激光发射装置包括两个激光指示器，所述方法还包括：

执行器的激光点定位模块从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标；

执行器的操控对象识别模块根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象；

执行器的操控动作识别模块根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作；

执行器的交互驱动模块将所述操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机，由计算机执行所述操控指令。

在本发明实施例第二方面的第一种可能的实现方式中，所述执行器的激光点定位模块从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标包括：

执行器的激光点定位模块确定摄像机图像坐标系和计算机屏幕坐标系的映射关系；

从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并根据所述映射关系，将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标。

在本发明实施例第二方面的第二种可能的实现方式中，所述执行器的操控对象识别模块根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象包括：

执行器的操控对象识别模块在所述两个激光点中的至少一个的计算机屏幕坐标在预设时间内保持不变时，则确定发生选择对象事件；

在所述两个激光点中的一个发生选择对象事件时，若该激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象；

在所述两个激光点均发生选择对象事件时，若两个事件出现的时间差小于阈值，则确定发生两个选择对象事件，若所述两个激光点的计算机屏幕坐标落在同一个对象的显示区域内，则确定该对象为操控对象，若所述两个激光点的计算机屏幕坐标落在两个不同对象的显示区域内，则确定所述两个不同对象为两个操控对象；

在所述两个激光点均发生选择对象事件时，若两个事件出现的时间差大于阈值，则确定后发生的选择对象事件无效，若先发生选择对象事件的激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象。

结合本发明实施例第二方面或本发明实施例第二方面的第一至第二种中的任一种可能的实现方式，在本发明实施例第二方面的第三种可能的实现方式中，所述执行器的操控动作识别模块根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作包括：

执行器的操控动作识别模块将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，根据所述向量的模及方向角的变化趋势，以识别所述两个激光指示器的操控动作；或者，

分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。

结合本发明实施例第二方面或本发明实施例第二方面的第一至第二种中的任一种可能的实现方式，在本发明实施例第二方面的第四种可能的实现方式中，所述执行器的操控动作识别模块根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作包括：

执行器的操控动作识别模块将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，当所述向量的模不断变小时，则所述两个激光指示器的操控动作的语义为图片缩小，当所述向量的模不断变大时，则所述两个激光指示器的操控动作的语义为图片放大，当所述向量的方向角发生变化时，则所述两个激光指示器的操控动作的语义为图片进行相应的旋转；或者，

分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。

本发明实施例中，在计算机将图像信息送至投影仪、投影仪将所述图像信息显示在屏幕上、摄像机捕获投影在屏幕上的图像信息和两个激光指示器产生激光束投射在所述屏幕上后，可通过激光点定位模块从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标，然后通过操控对象识别模块根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象，并通过操控动作识别模块根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作，最后可由交互驱动模块基于所述操控对象，将所述操控动作的语义转换为计算机可识别并执行的操控指令。通过本发明实施例，用户可利用两个激光指示器通过自然的手势在投影屏幕上进行交互操作，从而可解决了单激光指示器交互能力不足的问题，符合用户操作习惯，使交互操作更自然和更人性化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种非接触式屏幕交互系统的结构示意图；

图2是本发明实施例提供的另一种非接触式屏幕交互系统的结构示意图；

图3是本发明实施例提供的另一种非接触式屏幕交互系统的结构示意图；

图4是本发明实施例提供的一种非接触式屏幕交互方法的流程图；

图5是本发明实施例提供的另一种非接触式屏幕交互方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种非接触式屏幕交互方法及系统，能够更加自然和人性化地实现非接触式屏幕交互。以下分别进行详细说明。

请参阅图1，图1示出了本发明实施例提供的一种非接触式屏幕交互系统的结构示意图。如图1所示，该非接触式屏幕交互系统可以包括用于将图像信息送至投影仪的计算机10、用于将所述图像信息显示在屏幕20上的投影仪30、用于捕获投影在屏幕20上的图像信息的摄像机40和用于产生激光束投射在屏幕20上的激光发射装置50。其中，激光发射装置50可以包括两个激光指示器，具体地，激光指示器可以为激光笔或可穿戴在手指上的穿戴式激光指示器，本发明实施例不作限定；激光发射装置50所发射的激光波长可以为650nm，而摄像机40的镜头上可增加一片截止波长为650nm的高通滤光片，以有效降低环境光的影响。如图1所示，该非接触式屏幕交互系统还可以进一步包括执行器60，该执行器60可以包括激光点定位模块601、操控对象识别模块602、操控动作识别模块603和交互驱动模块604，其中：

激光点定位模块601，用于从摄像机40捕获到的图像信息中实时检测两个激光指示器投射在屏幕20上的两个激光点的位置信息和时间信息，并将两个激光点在图像信息中的摄像机图像坐标映射到计算机屏幕坐标。

操控对象识别模块602，用于根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象。

具体地，识别操控对象的具体方法如下：

当两个激光指示器投射在屏幕20上的两个激光点中的至少一个的计算机屏幕坐标在预设时间内（例如，2秒）保持不变时，则确定发生选择对象事件；

当两个激光点中的一个发生选择对象事件时，若该激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象；

当两个激光点均发生选择对象事件时，若两个事件出现的时间差小于阈值，则确定发生两个选择对象事件，若两个激光点的计算机屏幕坐标落在同一个对象的显示区域内，则确定该对象为操控对象，如果两个激光点的计算机屏幕坐标落在两个不同对象的显示区域内，则确定两个不同对象为两个操控对象；

当两个激光点均发生选择对象事件时，如果两个事件出现的时间差大于阈值，则确定后发生的选择对象事件无效，若先发生选择对象事件的激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象。

操控动作识别模块603，用于根据两个激光指示器投射在屏幕20上的两个激光点的相对运动趋势或分别根据两个激光点的绝对运动趋势识别两个激光指示器的操控动作。

具体的识别操控动作的方法如下：

在已确定操控对象的基础上，将两个激光指示器中的一个投射在屏幕20上的激光点作为向量的起点，将两个激光指示器中的另一个投射在屏幕20上的激光点作为该向量的终点，根据该向量的模及方向角的变化趋势，以识别两个激光指示器的操控动作。例如，当所确定的向量的模不断变小时，则两个激光指示器的操控动作的语义为图像缩小，当所确定的向量的模不断变大时，则两个激光指示器的操控动作的语义为图像放大，当所确定的向量的方向角发生变化时，则两个激光指示器的操控动作的语义为图像进行相应的旋转，即所确定的向量逆时钟旋转时，所操控的图片跟着逆时钟旋转，所述确定的向量顺时钟旋转时，所操控的图片也跟着进行顺时钟旋转。当然，还可分别根据两个激光指示器投射在屏幕20上的激光点的运动轨迹，以识别两个激光指示器的操控动作，例如，移动图片位置，翻页等操作。

交互驱动模块604，用于将操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机10，由计算机10执行操控指令。

需要说明的是，本实施方式中的执行器60中激光点定位模块601、操控对象识别模块602、操控动作识别模块603和交互驱动模块604可以位于计算机10当中，当然在其它实施方式中，这些模块还可位于与计算机10和摄像机40通信连接的上位机中，例如嵌入式设备中。此外，还可以通过多个激光指示器，例如多个可穿戴于手指上的穿戴式激光指示器来实现非接触式屏幕交互，具体的实施方式可以为，通过多个激光指示器投射在屏幕20上的多个激光点的位置信息和停留时间信息来确定操控对象，然后通过这多个激光点的相对运动趋势或分别通过这多个激光点的绝对运动趋势来识别多个激光指示器的操控动作。这样的多个激光指示器实现的非接触式屏幕交互系可广泛应用到，例如，游戏领域。此外，屏幕20除了可以为投影式大屏幕外，还可以是液晶大屏幕或者其他形式的屏幕，当屏幕20为大的液晶显示器时，可省去投影仪30，即计算机10直接将图像信息输出到屏幕20，而图1当中的其它装置的设置不变。

其中，图1提供的非接触式屏幕交互系统可以利用两个激光指示器通过自然的手势在屏幕上进行交互操作，从而可解决了单激光指示器交互能力不足的问题，符合用户操作习惯，使交互操作更自然和更人性化。

请参阅图2，图2示出了本发明实施例提供的另一种非接触式屏幕交互系统的结构示意图。其中，图2所示的非接触式屏幕交互系统是由图1所示的非接触式屏幕交互系统进行优化得到的。在图2所示的非接触式屏幕交互系统中，激光点定位模块601进一步包括标定单元6011和定位单元6012，其中：

标定单元6011，用于确定摄像机图像坐标系和计算机屏幕坐标系的映射关系。其中，确定摄像机图像坐标系和计算机屏幕坐标系的映射关系的方法已为本领域普通技术人员所熟知，故在此只做简单地介绍，方法如下：

摄像机40从多个方位拍摄标定棋盘格，采用经典的张正友标定法获得摄像机的内参数，其中包括畸变参数；计算机10全屏投影棋盘格图像到屏幕20上，截取全屏获得图像，采用经典harris角点检测算法获得计算机屏幕的棋盘角点坐标（X’，Y’）；摄像机40捕捉投影大屏幕，获取图像，根据摄像机40的畸变参数对图像进行畸变矫正，并采用经典harris角点检测算法获取摄像机图像的棋盘角点坐标（x’，y’）；利用获取的计算机屏幕的棋盘角点坐标（X’，Y’）和摄像机图像的棋盘角点坐标（x’，y’），以计算单应性矩阵H，即：

在计算出单应性矩阵H之后，可通过单应性矩阵H以确定摄像机图像坐标系和计算机屏幕坐标系的映射关系，即：

其中，式（2）中的（X，Y）为计算机屏幕坐标系中的坐标，（x，y）为摄像机图像坐标系中的坐标。

定位单元6012，用于从摄像机40捕获到的图像信息中实时检测两个激光指示器投射在屏幕20上的两个激光点的位置信息和时间信息，并根据标定单元6011所确定的映射关系，将两个激光点在图像信息中的摄像机图像坐标映射到计算机屏幕坐标。其中，将激光点在图像信息中的摄像机图像坐标映射到计算机屏幕坐标的具体方法如下：

根据标定单元6011得出的畸变参数对摄像机实时捕捉到的图像进行畸变矫正；

对摄像机捕捉到的经过畸变矫正后的图像进行阈值分割，并进行膨胀运算以及区域标记；需要指出的是，这里的阈值分割、膨胀运算和区域标记同现有技术，故在此不再赘述；

计算不同区域的质心坐标，即为激光点的摄像机图像坐标，如下：

（3）

其中，式（3）中的x_i、y_i为属于激光点所在区域的所有点的坐标，N表示属于激光点所在区域的所有点的数量。

根据公示（3）及标定单元1011得出的中的映射公式（2），将两个激光指示器投射在屏幕20上的两个激光点的摄像机图像坐标映射到计算机屏幕坐标系下。

其中，图2提供的非接触式屏幕交互系统可以利用两个激光指示器通过自然的手势在屏幕上进行交互操作，从而可解决了单激光指示器交互能力不足的问题，符合用户操作习惯，使交互操作更自然和更人性化。

请参阅图3，图3是本发明实施例公开的另一种非接触式屏幕交互系统的结构图，用于执行本发明实施例公开的非接触式屏幕交互方法。如图3所示，该系统可以包括：用于将图像信息送至投影仪的计算机301、用于将所述图像信息显示在屏幕302上的投影仪303、用于捕获投影在屏幕302上的图像信息的摄像机304和用于产生激光束投射在屏幕302上的激光发射装置305；其中，激光发射装置305包括两个激光指示器，具体地，激光指示器可以为激光笔或可穿戴在手指上的穿戴式激光指示器。如图3所示，该非接触式屏幕交互系统还包括执行器306，如图3所示，执行器306包括：至少一个处理器3061，例如CPU，至少一个网络接口3064或者其他用户接口3063，存储器3065，至少一个通信总线3062。通信总线3062用于实现这些组件之间的连接通信。其中，用户接口3063可选的可以包括USB接口以及其他标准接口、有线接口。网络接口3064可选的可以包括Wi-Fi接口以及其他无线接口。存储器3065可能包含高速RAM存储器，也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。存储器3065可选的可以包含至少一个位于远离前述处理器3061的存储装置。

在一些实施方式中，存储器3065存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:

操作系统30651，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务；

应用模块30652，包含设备控制服务程序、设备识别服务程序等各种应用程序，用于实现各种应用业务。

具体地，处理器3061用于调用存储器3065中存储的程序，执行以下操作：

从摄像机304捕获到的图像信息中实时检测两个激光指示器投射在屏幕302上的两个激光点的位置信息和时间信息，并将两个激光点在图像信息中的摄像机图像坐标映射到计算机屏幕坐标；

根据两个激光点的计算机屏幕坐标及停留时间信息，识别两个激光指示器所指向的操控对象；

根据两个激光点的相对运动趋势或分别根据两个激光点的绝对运动趋势识别两个激光指示器的操控动作；

将所述操控动作转换为计算机可识别的针对操控对象的操控指令并传输给计算机，由计算机301执行操控指令。。

一个实施例中，处理器3061将两个激光点在图像信息中的摄像机图像坐标映射到计算机屏幕坐标的具体方式为：

确定摄像机图像坐标系和计算机屏幕坐标系的映射关系；

从摄像机304捕获到的图像信息中实时检测两个激光指示器投射在屏幕302上的两个激光点的位置信息和时间信息，并根据所确定的映射关系，将两个激光点在图像信息中的摄像机图像坐标映射到计算机屏幕坐标。

一个实施例中，处理器3061识别两个激光指示器所指向的操控对象的具体方式为：

当两个激光指示器投射在屏幕302上的两个激光点中的至少一个的计算机屏幕坐标在预设时间内保持不变时，则确定发生选择对象事件；

当两个激光点中的一个发生选择对象事件时，若该激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象；

当两个激光点均发生选择对象事件时，若两个事件出现的时间差小于阈值，则确定发生两个选择对象事件，若两个激光点的计算机屏幕坐标落在同一个对象的显示区域内，则确定该对象为操控对象，如果两个激光点的计算机屏幕坐标落在两个不同对象的显示区域内，则确定两个不同对象为两个操控对象；

当两个激光点均发生选择对象事件时，如果两个事件出现的时间差大于阈值，则确定后发生的选择对象事件无效，若先发生选择对象事件的激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象。

一个实施例中，处理器3061识别操控动作的具体方式为：

将两个激光指示器中的一个投射在屏幕302上的激光点作为向量的起点，将两个激光指示器中的另一个投射在屏幕302上的激光点作为该向量的终点，根据该向量的模及方向角的变化趋势，以识别两个激光指示器的操控动作；或者，分别根据两个激光指示器投射在屏幕302上的激光点的运动轨迹，以识别两个激光指示器的操控动作。

另一个实施例中，处理器3061识别操控动作的具体方式为：

将两个激光指示器中的一个投射在屏幕302上的激光点作为向量的起点，将两个激光指示器中的另一个投射在屏幕302上的激光点作为该向量的终点，当该向量的模不断变小时，则两个激光指示器的操控动作的语义为图片缩小，当该向量的模不断变大时，则两个激光指示器的操控动作的语义为图片放大，当该向量的方向角发生变化时，则两个激光指示器的操控动作的语义为图片进行相应的旋转；或者，分别根据两个激光指示器投射在屏幕上的激光点的运动轨迹，以识别两个激光指示器的操控动作。

其中，图3提供的非接触式屏幕交互系统可以利用两个激光指示器通过自然的手势在屏幕上进行交互操作，从而可解决了单激光指示器交互能力不足的问题，符合用户操作习惯，使交互操作更自然和更人性化。

参见图4，图4示出了本发明实施例提供的一种非接触式屏幕交互方法的流程图。如图4所示，该非接触式屏幕交互方法可以包括以下步骤。

S401：计算机将图像信息送至投影仪，投影仪将图像信息显示在屏幕上，摄像机捕获投影在屏幕上的图像信息，激光发射装置产生激光束投射在屏幕上。

具体地，激光发射装置包括两个激光指示器，例如，两个激光笔或可穿戴于手指上的穿戴式激光指示器。

S402：执行器中的激光点定位模块从摄像机捕获到的图像信息中实时检测两个激光指示器投射在屏幕上的两个激光点的位置信息和时间信息，并将两个激光点在图像信息中的摄像机图像坐标映射到计算机屏幕坐标。

具体地，可先建立摄像机图像坐标系和计算机屏幕坐标系的映射关系，然后将将两个激光点在图像信息中的摄像机图像坐标映射到计算机屏幕坐标。

S403：执行器中的操控对象识别模块根据两个激光点的计算机屏幕坐标及停留时间信息，识别两个激光指示器所指向的操控对象。

具体地，识别操控对象的具体方法如下：

当两个激光指示器投射在屏幕上的两个激光点中的至少一个的计算机屏幕坐标在预设时间内（例如，2秒）保持不变时，则确定发生选择对象事件；当两个激光点中的一个发生选择对象事件时，若该激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象；

当两个激光点均发生选择对象事件时，若两个事件出现的时间差小于阈值，则确定发生两个选择对象事件，若两个激光点的计算机屏幕坐标落在同一个对象的显示区域内，则确定该对象为操控对象，如果两个激光点的计算机屏幕坐标落在两个不同对象的显示区域内，则确定两个不同对象为两个操控对象；

当两个激光点均发生选择对象事件时，如果两个事件出现的时间差大于阈值，则确定后发生的选择对象事件无效，若先发生选择对象事件的激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象。

S404：执行器中的操控动作识别模块根据两个激光点的相对运动趋势或分别根据两个激光点的绝对运动趋势识别两个激光指示器的操控动作。

具体地，识别操控动作的方法如下：

在已确定操控对象的基础上，将两个激光指示器中的一个投射在屏幕上的激光点作为向量的起点，将两个激光指示器中的另一个投射在屏幕上的激光点作为该向量的终点，根据该向量的模及方向角的变化趋势，以识别两个激光指示器的操控动作。例如，当所确定的向量的模不断变小时，则两个激光指示器的操控动作的语义为图像缩小，当所确定的向量的模不断变大时，则两个激光指示器的操控动作的语义为图像放大，当所确定的向量的方向角发生变化时，则两个激光指示器的操控动作的语义为图像进行相应的旋转，即所确定的向量逆时钟旋转时，所操控的图片跟着逆时钟旋转，所述确定的向量顺时钟旋转时，所操控的图片也跟着进行顺时钟旋转。当然，还可分别根据两个激光指示器投射在屏幕上的激光点的运动轨迹，以识别两个激光指示器的操控动作，例如，移动图片位置，翻页等操作。

S405：执行器中的交互驱动模块将操控动作转换为计算机可识别的针对操控对象的操控指令并传输给计算机，由计算机执行操控指令。

具体地，在交互驱动模块基于操控对象，将操控动作的语义转换为计算机可识别并执行的操控指令后，可传输给计算机，由计算机执行操控指令以驱动交互操作的进行。

在图4提供的非接触式屏幕交互方法中，可利用两个激光指示器通过自然的手势在屏幕上进行交互操作，从而可解决了单激光指示器交互能力不足的问题，符合用户操作习惯，使交互操作更自然和更人性化。

参见图5，图5示出了本发明实施例提供的另一种非接触式屏幕交互方法的流程图。如图5所示，该非接触式屏幕交互方法可以包括以下步骤。

S501：计算机将图像信息送至投影仪，投影仪将图像信息显示在屏幕上，摄像机捕获投影在屏幕上的图像信息，激光发射装置产生激光束投射在屏幕上；

具体地，激光发射装置包括两个激光指示器，例如，两个激光笔或可穿戴于手指上的穿戴式激光指示器。

S502：确定摄像机图像坐标系和计算机屏幕坐标系的映射关系；

具体地，可通过执行器中的激光点定位模块中的标定单元来执行步骤S503；确定摄像机图像坐标系和计算机屏幕坐标系的映射关系的方法已为本领域普通技术人员所熟知，故在此只做简单地介绍，方法如下：

摄像机从多个方位拍摄标定棋盘格，采用经典的张正友标定法获得摄像机的内参数，其中包括畸变参数；计算机全屏投影棋盘格图像到屏幕20上，截取全屏获得图像，采用经典harris角点检测算法获得计算机屏幕的棋盘角点坐标（X’，Y’）；摄像机40捕捉投影大屏幕，获取图像，根据摄像机40的畸变参数对图像进行畸变矫正，并采用经典harris角点检测算法获取摄像机图像的棋盘角点坐标（x’，y’）；利用获取的计算机屏幕的棋盘角点坐标（X’，Y’）和摄像机图像的棋盘角点坐标（x’，y’），以计算单应性矩阵H，即：

在计算出单应性矩阵H之后，可通过单应性矩阵H以确定摄像机图像坐标系和计算机屏幕坐标系的映射关系，即：

其中，式（2）中的（X，Y）为计算机屏幕坐标系中的坐标，（x，y）为摄像机图像坐标系中的坐标。

S503：从摄像机捕获到的图像信息中实时检测两个激光指示器投射在屏幕上的两个激光点的位置信息和时间信息，并根据上一步骤中所确定的映射关系，将两个激光点在图像信息中的摄像机图像坐标映射到计算机屏幕坐标；

具体地，可通过执行器中的激光点定位模块中的定位单元来执行步骤S503；将两个激光指示器投射在屏幕上的两个激光点在图像信息中的摄像机图像坐标映射到计算机屏幕坐标的具体方法如下：

根据在步骤S502中得出的畸变参数对摄像机实时捕捉到的图像进行畸变矫正；

对摄像机捕捉到的经过畸变矫正后的图像进行阈值分割，并进行膨胀运算以及区域标记；需要指出的是，这里的阈值分割、膨胀运算和区域标记同现有技术，故在此不再赘述；

计算不同区域的质心坐标，即为激光点图像坐标，如下：

（3）

其中，式（3）中的x_i、y_i为属于激光点所在区域的所有点的坐标，N表示属于激光点所在区域的所有点的数量。

然后根据标定单元得出的中的映射公式（2），将两个激光指示器投射在屏幕上的连个激光点的摄像机图像坐标映射到计算机屏幕坐标系下。

S504：执行器中的操控对象识别模块根据两个激光点的计算机屏幕坐标及停留时间信息，识别两个激光指示器所指向的操控对象；

具体地，识别操控对象的具体方法如下：

当两个激光指示器投射在屏幕上的两个激光点中的至少一个的计算机屏幕坐标在预设时间内（例如，2秒）保持不变时，则确定发生选择对象事件；当两个激光点中的一个发生选择对象事件时，若该激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象；

当两个激光点均发生选择对象事件时，若两个事件出现的时间差小于阈值，则确定发生两个选择对象事件，若两个激光点的计算机屏幕坐标落在同一个对象的显示区域内，则确定该对象为操控对象，如果两个激光点的计算机屏幕坐标落在两个不同对象的显示区域内，则确定两个不同对象为两个操控对象；

当两个激光点均发生选择对象事件时，如果两个事件出现的时间差大于阈值，则确定后发生的选择对象事件无效，若先发生选择对象事件的激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象。

S505：执行器中的操控动作识别模块根据两个激光点的相对运动趋势或分别根据两个激光点的绝对运动趋势识别两个激光指示器的操控动作；

具体地，识别操控动作的方法如下：

在已确定操控对象的基础上，将两个激光指示器中的一个投射在屏幕上的激光点作为向量的起点，将两个激光指示器中的另一个投射在屏幕上的激光点作为该向量的终点，根据该向量的模及方向角的变化趋势，以识别两个激光指示器的操控动作。例如，当所确定的向量的模不断变小时，则两个激光指示器的操控动作的语义为图像缩小，当所确定的向量的模不断变大时，则两个激光指示器的操控动作的语义为图像放大，当所确定的向量的方向角发生变化时，则两个激光指示器的操控动作的语义为图像进行相应的旋转，即所确定的向量逆时钟旋转时，所操控的图片跟着逆时钟旋转，所述确定的向量顺时钟旋转时，所操控的图片也跟着进行顺时钟旋转。当然，还可分别根据两个激光指示器投射在屏幕上的激光点的运动轨迹，以识别两个激光指示器的操控动作，例如，移动图片位置，翻页等操作。

S506：执行器中的交互驱动模块将操控动作转换为计算机可识别的针对操控对象的操控指令并传输给计算机，由计算机执行操控指令；

具体地，在交互驱动模块基于操控对象，将操控动作的语义转换为计算机可识别并执行的操控指令后，可传输给计算机，由计算机执行操控指令以驱动交互操作的进行。

在图5提供的非接触式屏幕交互方法中，可利用两个激光指示器通过自然的手势在屏幕上进行交互操作，从而可解决了单激光指示器交互能力不足的问题，符合用户操作习惯，使交互操作更自然和更人性化。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random AccessMemory，RAM）、磁盘或光盘等。

以上对本发明实施例所提供的非接触式屏幕交互方法、系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种非接触式屏幕交互系统，其特征在于，包括用于将图像信息送至投影仪的计算机、用于将所述图像信息显示在屏幕上的投影仪、用于捕获投影在所述屏幕上的图像信息的摄像机和用于产生激光束投射在所述屏幕上的激光发射装置，所述激光发射装置包括两个激光指示器，所述系统还包括执行器，所述执行器包括：

激光点定位模块，用于从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标；

操控对象识别模块，用于根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象；

操控动作识别模块，用于根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作；

交互驱动模块，用于将所述操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机，由计算机执行所述操控指令；

其中，所述操控对象识别模块具体用于：

当所述两个激光点均发生选择对象事件时，若两个事件出现的时间差小于阈值，则确定发生两个选择对象事件，若所述两个激光点的计算机屏幕坐标落在同一个对象的显示区域内，则确定该对象为操控对象，如果所述两个激光点的计算机屏幕坐标落在两个不同对象的显示区域内，则确定所述两个不同对象为两个操控对象。

2.根据权利要求1所述的非接触式屏幕交互系统，其特征在于，所述激光点定位模块包括：

标定单元，用于确定摄像机图像坐标系和计算机屏幕坐标系的映射关系；

定位单元，用于从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并根据所述映射关系，将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标。

3.根据权利要求1所述的非接触式屏幕交互系统，其特征在于，所述操控对象识别模块具体用于：

当所述两个激光点中的至少一个的计算机屏幕坐标在预设时间内保持不变时，则确定发生选择对象事件；

当所述两个激光点中的一个发生选择对象事件时，若该激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象；

当所述两个激光点均发生选择对象事件时，如果两个事件出现的时间差大于阈值，则确定后发生的选择对象事件无效，若先发生选择对象事件的激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象。

4.根据权利要求1～3任一项所述的非接触式屏幕交互系统，其特征在于，所述操控动作识别模块具体用于：

将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，根据所述向量的模及方向角的变化趋势，以识别所述两个激光指示器的操控动作；或者，

分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。

5.根据权利要求1～3任一项所述的非接触式屏幕交互系统，其特征在于，所述操控动作识别模块具体用于：

将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，当所述向量的模不断变小时，则所述两个激光指示器的操控动作的语义为图片缩小，当所述向量的模不断变大时，则所述两个激光指示器的操控动作的语义为图片放大，当所述向量的方向角发生变化时，则所述两个激光指示器的操控动作的语义为图片进行相应的旋转；或者，

分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。

6.一种非接触式屏幕交互方法，其特征在于，所述方法包括：计算机将图像信息送至投影仪、投影仪将所述图像信息显示在屏幕上、摄像机捕获投影在所述屏幕上的图像信息和激光发射装置产生激光束投射在所述屏幕上，所述激光发射装置包括两个激光指示器，所述方法还包括：

执行器的激光点定位模块从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标；

执行器的操控对象识别模块根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象；

执行器的操控动作识别模块根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作；

执行器的交互驱动模块将所述操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机，由计算机执行所述操控指令；

其中，所述执行器的操控对象识别模块根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象包括：

在所述两个激光点均发生选择对象事件时，若两个事件出现的时间差小于阈值，则确定发生两个选择对象事件，若所述两个激光点的计算机屏幕坐标落在同一个对象的显示区域内，则确定该对象为操控对象，若所述两个激光点的计算机屏幕坐标落在两个不同对象的显示区域内，则确定所述两个不同对象为两个操控对象。

7.根据权利要求6所述的非接触式屏幕交互方法，其特征在于，所述执行器的激光点定位模块从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标包括：

执行器的激光点定位模块确定摄像机图像坐标系和计算机屏幕坐标系的映射关系；

从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并根据所述映射关系，将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标。

8.根据权利要求6所述的非接触式屏幕交互方法，所述执行器的操控对象识别模块根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象包括：

执行器的操控对象识别模块在所述两个激光点中的至少一个的计算机屏幕坐标在预设时间内保持不变时，则确定发生选择对象事件；

在所述两个激光点中的一个发生选择对象事件时，若该激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象；

在所述两个激光点均发生选择对象事件时，若两个事件出现的时间差大于阈值，则确定后发生的选择对象事件无效，若先发生选择对象事件的激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象。

9.根据权利要求6～8任一项所述的非接触式屏幕交互方法，所述执行器的操控动作识别模块根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作包括：

执行器的操控动作识别模块将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，根据所述向量的模及方向角的变化趋势，以识别所述两个激光指示器的操控动作；或者，

分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。

10.根据权利要求6～8任一项所述的非接触式屏幕交互方法，所述执行器的操控动作识别模块根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作包括：

执行器的操控动作识别模块将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，当所述向量的模不断变小时，则所述两个激光指示器的操控动作的语义为图片缩小，当所述向量的模不断变大时，则所述两个激光指示器的操控动作的语义为图片放大，当所述向量的方向角发生变化时，则所述两个激光指示器的操控动作的语义为图片进行相应的旋转；或者，

分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。