CN104407746A - 一种基于红外光电技术的多点触摸系统 - Google Patents

Abstract

一种基于红外光电技术的多点触摸系统，包括红外多点触摸技术平台、触点跟踪模块和手势识别模块；红外光线置于触摸平面，手指接触到触摸屏表面后，在用户触摸位置会有红外光线发射出来，平台安装的摄像头会采集到这些穿过透明的触摸介质的红外光线，采集信号输送到计算机后，由计算机进行相关的图像滤波等处理，去除包括非触摸红外背景等在内的其他无效信息，输出用户业务操作对应的触摸信息，最后通过手势识别后由手势驱动完成对应的业务操作。本发明具有大尺寸、高分辨率、无触摸点数限制、耐用、接口开发简便、成本低廉、移植性好、高扩展性等特性。红外线触摸屏快速、精确、灵敏的反应，能够防水、防爆、防尘、防静电、防磁场和防眩光。

Description

一种基于红外光电技术的多点触摸系统

技术领域

本发明涉及红外触摸屏触摸识别技术领域，尤其涉及一种基于红外光电技术的多点触摸系统。 

背景技术

随着人们生活水平的提高，计算机技术已经完全融入了我们的生活，计算机的小型化与智能化，已经成为不可逆转的趋势，作为计算机的输入方式，无论从打纸带输入到键盘输入，再到鼠标输入，最后到近几年新发展出的触摸输入，发展趋势是朝着方便，快捷的趋势不断的发展和普及推广的过程。近些年，不断推广的触摸屏技术，是最近计算机发展的一个热点。触摸屏是一种实时交互的输入设备，用户只需要手指在触摸屏的某个位置即可控制计算机的运行状态。因此触摸屏技术具有操作性简单，交互性强，使用灵活等特点。利用这种技术，旅客可以在自助终端中完成车票的购买，在餐饮服务业中，可方便客户自助服务。这种技术还被应用于机器人的控制，嵌入式电子测量，并且在旅游、教育、医疗中有广泛的应用前景。 

从红外触摸屏的发展来看，早期的红外触摸屏存在分辨率低、触摸方式受限制和易受环境干扰而误动作等技术上的局限，因而一度淡出过市场。此后第二代红外屏部分解决了 

抗光干扰的问题，第三代和第四代在提升分辨率和稳定性能上亦有所改进。红外触摸屏与电容电阻屏的明显优势是不受电流、电压和静电干扰，适宜恶劣的环境条件。红外线技术是目前触摸屏产品主流的发展趋势，而采用声学和其它材料学技术的触屏都有其难以逾越的屏障，如单一传感器的受损、老化，触摸界面怕受污染、破坏性使用，维护繁杂等问题。目前红外线触摸屏技术突破高稳定性能和高分辨率等关键技术后，慢慢开始替代其它技术产品而成为触摸屏市场主流。

随着科技的不断发展，多点触摸技术已经取得了巨大的发展，人们对于触摸的要求越来越高，传统的红外触摸已经无法满足市场的需要，多点触摸技术已经从传统的两点触摸时代进入了真正的多点触摸触控时代。然而目前市场上已有的多点红外触摸技术的产品，还没有一种成本低廉、移植性好、高扩展性的多点红外精准多点触摸系统出现。 

发明内容

本发明的目的在于提供一种基于红外光电技术的多点触摸系统，从而解决背景技术中存在的问题。 

本发明所解决的技术问题采用以下技术方案来实现： 

一种基于红外光电技术的多点触摸系统，包括红外多点触摸技术平台、触点跟踪模块和手势识别模块，所述红外多点触摸技术平台包括红外发光管驱动模块、红外接收管驱动模块、触摸屏、摄像头、计算机和投影仪，所述红外发光管驱动模块由一块FPGA、MOSFET开关矩阵、红外发光管电流驱动电路和红外发光管组成，所述红外接收管驱动模块由一块FPGA、高速运算放大器、多路模拟选择器、P沟道三极管和红外接收管组成。

所述红外多点触平台是基于光学和计算机视觉的多点触摸平台，其中红外发光管驱动模块和红外接收管驱动模块负责提供红外光源，触摸屏用于接收用户交互输入信息，计算机用于处理分析数据，投影仪将处理结果投影到触摸屏上，并通过摄像头捕捉触点反射的阴影。 

所述触摸屏为树脂玻璃触摸屏。 

所述触点跟踪模块负责通过摄像头获得触点影像，然后进行背景去除操作，动态调整图像的灰度值后，完成触点轮廓提取、变化计算、图像平衡一系列操作，经过触点轮廓处理，计算轮廓中心，标识触点ID，从而区分新出现的触点和已经存在的触点对象，完成追踪触摸屏幕上手指的移动轨迹，并最后通过归一化处理将相关的状态信息变成数据包后，通过网络通信的方式传说给手势识别模块。 

所述触点跟踪模块采用基于Mean Shift算法的对象追踪技术，使用OpenCV库函数最终实现了基于红外多点触摸技术平台上的触点跟踪功能，经过触点轮廓处理，计算轮廓中心，标识触点ID，从而区分新出现的触点和已经存在的触点对象，完成追踪触摸屏幕上手指的移动轨迹。 

所述手势识别模块在收到来自触点跟踪模块发送的数据包，并根据标准协议包的格式对分析收到的数据包的字节信息，结合触点的坐标等状态信息，分析触点移动轨迹，获得具体的手势，然后进行手势匹配后，通过手势驱动并借助于投影仪完成对应业务操作的展示。 

所述手势识别模块是在结合业务类型定义多点操作手势的基础上，依据自定义的手势触点个数和运动状态实现一种基于触点运行轨迹的手势识别方法，该方法适用于系统业务操作并能保证较高的识别率和识别速度。 

本发明具有以下有益效果： 

本发明提供的一种基于红外光电技术的多点触摸系统，具有大尺寸、高分辨率、无触摸点数限制、耐用、接口开发简便等特性。与现有的各种触摸系统相比，本系统具有成本低廉、移植性好、高扩展性等特性。采用最新材料科技、新颖电路设计技术、智能判定技术和红外抗干扰等先进技术，彻底解决前几代红线外触摸屏高功耗、低性能的技术缺陷，赋予红外线触摸屏快速、精确、灵敏的反应，能够做到了防水、防爆、防尘、防静电、防磁场和防眩光设计，使触摸屏系统能够适应更恶劣环境应用，因此具有更广泛的推广价值。

附图说明

图1为本发明系统架构图； 

图2为本发明触点跟踪算法处理流程；

图3为本发明手势识别处理流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。 

如图1所示，一种基于红外光电技术的多点触摸系统，包括红外多点触摸技术平台、触点跟踪模块和手势识别模块。 

红外多点触摸技术平台是本系统的硬件设备平台，投影仪设备将业务信息图像投影到触摸屏幕上，下方通过红外光源从触摸屏照亮触摸平面，用户进行业务操作时，手指接触业务信息图像，由于在接触点部分发射的光线会多于背景发射的光线，因此会存在阴影部分，平台安装的摄像头将及时捕获到这块形成的阴影部分，并作为输入送到触点跟踪模块进行触点跟踪识别。系统的触摸表明使用1.3cm的透光亚克力板，用于显示层与漫反射层显示的全息背投膜贴于亚克力板后面，亚克力板后面连接电脑和投影仪以及摄像头，这样可以从上下等几个方向对电脑屏幕内容进行投影；同样四个红外光源也置于亚克力板后方，为使投影效果更好，需尽可能的让红外光线均匀分布在背投膜上。 

触点跟踪模块首先读取摄像头捕获的手势操作视频流，将所有帧和第一帧图像做背景相减算法，只保留突起的触点对象，然后对前景图像使用图像处理算法进行处理，提取前景触点对象轮廓，计算轮廓中心坐标，记录每个触点 ID，实现识别触点阴影并追踪触点。最后触点跟踪模块把追踪到的触点数据进行归一化处理转换成触点的坐标信息。触点坐标信息以可触摸的用户界面协议格式封装成TUIO 协议 UDP 包，通过 Socket 通信方式发送给手势识别模块。 

触点轨迹手势识别模块的主要功能是根据具体手势参数，进行具体用户交互手势的识别，模块以标准格式对数据包进行分析，获得包括横坐标、纵坐标、横轴方向上的速度、纵轴方向上的速度以及加速度等相关数据，并根据触点的加速度，获得触点的包括出现、停止、加速、减速以及消失等状态信息。手势识别模块依据收集的触点数据，根据手势识别算法，分辨不同的手势后，经过和业务操作匹配后，通知手势驱动去完成具体的业务操作，并最后借助投影仪展示出用户的手势操作。 

硬件设备主要包括红外发光管驱动模块、红外接收管驱动模块、触摸屏、摄像头、计算机和投影仪。红外发光管驱动模块由一块FPGA、MOSFET开关矩阵、红外发光管电流驱动电路和红外发光管组成。FPGA作为逻辑控制器，控制开关矩阵，逐个点亮红外发光管，红外发光管的驱动电流由专用的电流芯片提供，控制器根据不同的环境光照调节驱动电流，改变光信号强度，提高抗干扰能力。红外接收管驱动模块由一块FPGA、高速运算放大器、P沟道三极管、多路模拟选择器和红外接收管组成。红外接收管的电流信号经P沟道三极管转变为电压号FPGA作为逻辑控制器，选择多路模拟信号中的一路连接到运算放大器的输入端，运算放大器对微弱的光电信号进行放大之后送至模拟数字转换器的输入端。触摸屏为树脂玻璃触摸屏。摄像头选用接口为USB接口，型号为Microsoft VX1000红外摄像头，并对其进行改装，使得摄像头只捕获红外光，具体实现上用可以过滤可见光只接收红外光的镜片替代原先的镜片。计算机为内存4G，CPU2.5GHZ，安装win8系统的计算机。投影仪采用型号为索尼VPL-CX120。 

如图2所示触点跟踪算法处理流程图，基于Mean Shift算法的对象追踪技术是触点跟踪模块的核心，在实现上使用OpenCV库函数完成多点红外触摸屏触摸识别系统的追踪触点的任务，首先开始读取帧，然后进行相应的图像处理后，进入触点轮廓处理环节，获得触点中心，如果与上一帧所有的中心差值较大，则认为是新触点，否则为就触点，保存相关触点信息后，判断是否读完触点轮廓，如果没有读完则继续提取触点轮廓，如果读完则封装触点数据后，进一步需要判断是否读完视频，如果没有则继续读取帧，否则发送数据。 

所述触点追踪模块包括图像处理子模块、触点轮廓提取子模块和触点追踪子模块。 

图像处理子模块负责进行图像预处理操作，包括视频流捕获，图像色彩空间转换和图像去除背景处理，然后对包含触点对象的前景图像进行处理，包括图像平滑、边缘检测，以及形态学等操作，在此过程中依据设置的轮廓阈值大小，排除无效触点。 

在图像平滑处理中，实现上我们使用高斯滤波的平滑滤波方法，高斯滤波不仅对高斯噪声能够起到不错的滤波效果，同时对其他噪声也有滤波效果。由于用户交互的触点都是有一定面积的，因此经过高斯滤波图像模糊化处理后损失的图像信息不会对触点信息检测造成影响，而同时它可以在进行图像模糊的同时完成噪声的去除。滤波后图像被平滑的程度主要由高斯函数的标准差。图像像素值经过高斯滤波输出后是像素的加权平均值，这样的图像像素值的权重是越离中心点越近权重越大。因此，相对于均值滤波， 高斯滤波具有平滑效果柔和，边缘保留好的优点。 

边缘检测主要负责处理触点边缘范围检测，对触点图像的灰度变化的度量、检测和定位。图像的边缘是指图像局部区域亮度变化显著的部分，该区域的灰度剖面一般可以看作是一个阶跃，既从一个灰度值在很小的缓冲区域内急剧变化到另一个灰度相差较大的灰度值。图像的边缘部分集中了图像的大部分信息，图像边缘的确定与提取对于整个触点场景的识别与理解是非常重要的。由于坎尼检测具有检测性能好、定位性能好、单一边缘响应等优点，在具体实现上使用坎尼检测做边缘检测的主要手段。 

在对触点图像的边缘检测中，抑制噪声与边缘精确定位是有冲突的，平滑滤波在去除图像噪声的同时，也会造成边缘定位的性能下降，而提高边缘检测算子对边缘的敏感性的同时，也提高了对噪声的敏感性，为此在具体实现中，使用了高斯函数的一阶导数作为平滑定位精确度和噪声干扰的平衡手段。 

触点边缘检测还需要处理的一个重要性能问题是假边缘，通常的方法是是对非极大值抑制后的幅值图阵列进行阈值化，即给定一个阈值，将梯度幅值与阈值进行比较，将低于阈值的所有值赋零。但是由于使用一个固定的阈值，阈值太低以及阴影的存在，会使边缘对比度降低，或阈值太高，会导致部分边缘丢失，很难选择合适的阈值。在系统实现中，为优化上述处理方式，我们使用大小值处理的方式。设这两个值为Valuebig和Valuesmall，Valuebig称为大值，Valuesmall为小值，Valuebig是由求幅值图像的累计直方图得到的高阈值，且Valuesmall=0.3*Valuebig。 

具体操作流程是首先对候选边缘图像中的任一象素点进行检测，如果该点梯度幅值大于Valuebig，则认为该点一定为边缘点，如果该点的梯度幅值小于Valuesmall，则认为该点一定不是边缘点，而对于梯度幅值处于大下值之间的象素点，则将其看作是疑似边缘点。用大值和小值分别作用于非极大值抑制后的图像G(i,j)，得到两个边缘图像石G1(i,j)和G2(i,j)。由于G1(i,j)是用大值得到的边缘阵列，因此含有很少的假边缘，同时也丢失了一些有用的边缘信息，在图像的轮廓上可能会出现误差；G2(i,j)是用小值得到的边缘阵列，保留了较多的信息，同时也会产生一些假边缘。因此可以依据边缘的连通性，以边缘图像阵列G1(i,j)为基础，在边缘图像阵列G2(i,j)中搜索可能的边缘点进行连接，得到最终的边缘图像。具体实现上，首先扫描边缘图像阵列G1(i,j)，当扫描到一个非零的象素点S时，跟踪以S点为出发点的轮廓线，直到到达该轮廓线的终点E；接着在边缘阵列G2(i,j)中找到与G1(i,j)中的E点位置相对应的E’点，E’点的8个邻域点内搜索非零的象素点R'；然后将R'在G1(i,j)中的对应点R包含到边缘阵列G1(i,j)中。同样，在边缘阵列G1(i,j)中继续搜索跟踪以R点为始点的轮廓线，重复上述过程，循环进行，直到在G1(i,j)和G2(i,j)中找不到可以连接到此轮廓的边缘点。这样，包含点P的轮廓线连接就完成。然后跟踪G1(i,j)中的每一条轮廓线，直到在G1(i,j)中找不到新的轮廓线为止。 

形态学处理主要处理膨胀腐蚀，膨胀就是将图像向外扩大了一圈，使提取前景时被断开的区域重新连接在一起，边缘凹凸不齐的地方更加平滑。腐蚀则是将图像收缩了一圈，使连接在一起的两个区域重新分开。由于膨胀和腐蚀并不是互为逆运算，所以可以将他们结合使用。开启就是先对图像进行腐蚀，然后对腐蚀的图像做膨胀运算；闭合时先对图像做膨胀运算，然后对膨胀运算的结果做腐蚀运算。为了排除噪声点的影响，可采用的方式是先腐蚀后膨胀，即采用开启运算。但是通过改进的背景建模方式提取的前景，噪声影响并不大，通过高斯滤波后，可消除一部分较小的噪声点，为提高计算速度，减少计算时间，在具体实现中本系统不采用开闭运算等形态学方式对图片进行处理，而是使用开闭运算加高斯滤波相结合的方式。具体实现上为了提高前景触点目标同背景的对比度，这对于触点同手心对比度较低的情况有较好的效果。 

触点轮廓提取子模块负责获得用户交互后的触点轮廓图像的外部特征，系统所采用的摄像头是红外摄像头，并且经过灰度变换后，没有颜色信息等，因此需要利用触点目标的轮廓形状信息，这个工作由触点轮廓模块负责完成。在本发明中使用标记和界限跟踪的技术实现触点轮廓的提取。 

具体实现上，首先利用光栅扫描，逐行的从左到右，从上到下依次扫描整个图像，对每个像素进行8-邻域扫描，进行标记，当将标记完整幅图像时，再对整幅图像进行第二次扫描，清除异常点，确定每个连通区域内标记的唯一性。在第二次扫描完成之后，提取出每个不同的Blob，在提取每个Blob的同时，计算Blob的面积，x，y轴的长度，以及Blob的几何中心的位置。然后边界跟踪，同样采用光栅扫描法，扫描整个图像，即从左到右，从上到下，依次扫描整个图像。当遇到第一个边缘点时，将此点设为此条边缘的起始点N0，在后续追踪用Freeman链码记录下一个点Ni的方向位置。对于每一个边界点Ni，按逆时针方向，从边界点Ni的左邻域方向0开始依次扫描直到遇到下一个边界点Ni+1，记录下边界点Ni+1的方向，然后将Ni+1作为当前的边界点，重复上述步骤，直到回到起始点N0为止。如果某个边界起始点N0的8-邻域方向均不为边界点，这此点可以视作孤立点，可直接忽略不计。利用边界追踪的算法提取Blob的轮廓，由于每个触点经过图像与处理后，都是一个个独立的连通域，因此可以保证每个连通域的相连的边界轮廓均被检测到。 

追踪触点模块主要依据连续两帧图像内触点中心坐标移动距离的长短，区分出新旧触点，然后对触点进行标识，实现追踪手指触点移动轨迹，并将触点数据按照TUIO协议封装起来发送给基于触点轨迹手势识别模块。在实现上使用图论中的二分图的理论进行触点模块的触摸点匹配模型。将第一帧图像中的触点坐标记作X，第二帧图像中的触点坐标记作Y，E为图的边集，那么二分图G=(X,Y,E)，记M为该为该二分图的一个匹配。 

对于多个触点匹配的判断标准，匹配点对数|M|越大越好,在匹配点对数|M|相等的情况下，不同匹配的Error越小越好。通过二分图模型，可以将寻求最优触点匹配的问题转化为求解二分图最优匹配的问题。根据匹配判断标准，求触点最优匹配也就是求在匹配边数最大的情况下，求最小权值和的最优匹配问题。在计算二分图最优匹配时，将Distance(e)取负，从而就将求最小权值和的最优匹配转换为求取最大权值和的匹配问题。 

对于一个二分图G=(X,Y,E)，如果能够找到一个匹配M，使得|M|=|X|=|Y|,同时满足M中所有匹配的边数的权值和最大，则称为的M为二分图G一个最优匹配，考虑到只有完备匹配才有可能存在最优匹配，而完备匹配要求两个集合X,Y中的点数相等,但在实际用户交互中触点则会经常出现增加和减少的情况而引起两个集合中点数不相等情况，为了解决这种情况，我们采用增加转接点的方式。具体做法是若两个集合点数不相等，则在点数较少的集合中增加n个转接点，这些增加的转接点不需要给出确定的坐标，但是需要在权值矩阵中增加值为的n行或n列，以使权值矩阵成为一个方阵，满足完备匹配的条件。可以通过计算二分图最优匹配，获得触点最优匹配，然后将与转接点的匹配结果进行修改，若第二帧点数较大，则与转接点匹配的点视为增加的触点；若第一帧点数较大，则与转接点匹配的点视为减少的触点。这样利用增加转接点的方法不会影响计算最优匹配结果的正确性。但是对于连续两帧中出现增加和减少的点数相等的情况，无法直接计算最优匹配需要通过设定特定阀值 ，将像素距离改为一个较小的值。 

使用KM算法求解二分图最优匹配解，通过对二分图的每个顶点都做唯一的一个标记，称为标号，从而把最大权匹配的求解问题转化为完备匹配的求解问题。令顶点Xi的标号为A[i]，顶点Yi的标号为B[i]，Q[i,j]为顶点Xi与Yi构成的边的权值。由于在等价子图的完备匹配的求解过程中，始终要保证L(x)+L(y)>= Q[i,j],。因此，让L(x)为与顶点x相关联的所有的边的最大权值,L(y)=0。如果获得的相等子图不存在完备匹配，则可以利用修改标号的方法，扩大相等子图，循环进行，直到获得具有完备匹配的相等子图为止。设等价子图中节点m是需要修改的顶标，令m = L(x)+L(y)-Q(x,y),，当m=0时，表示已经在等价子图中。求完备匹配，要求Q(x,y)尽可能大，也就是要满足m尽可能小。 

手势识别模块主要负责接收到触点跟踪模块发送的数据包后，按照TUIO协议格式分析数据包相应的字节信息，根据触点的状态信息和坐标集合分析触点运行轨迹的形状，识别出触摸手势，然后匹配手势完成对应的操作。在根据触摸手势的触点个数，运动状态进行分类的基础上，在实现上设计了一种基于触点运行轨迹的手势识别方法。该方法用 C#库函数实现，可以实时地采集触点位置坐标，然后在手势操作完成后（所有触点均离开触摸屏）处理并输出触摸手势结果，响应时间比较短，无论是静态手势还是动态手势，都能保证较高的正确识别率。 

如图3所示手势识别处理流程图，首先处理触点位置坐标，获得触点对象的坐标数据，根据触点接触屏幕的有效接触时间判断触点是否有效，本系统设置该有效接触时间为850-1150毫秒，排除接触时间不在有效接触时间的触点，保留有效触点。然后根据有效触点的是否在设定移动范围内，如果是在移动范围内则为静态手势，否则为动态手势。如果是静态手势，则判断是否对于一个触点，如果触点多于一个，则识别该手势为两指触摸。如果只有一个触点，则识别该手势为单指触摸。如果是动态手势，则首先进行模糊化处理后，根据触点之间的移动距离来进一步判断是否触点有相对运动没有，如果触点之间的移动距离大于设定的触点间的移动范围，则认为存在相对运动，否则判定不存在相对运动。对于有相对运动的情况，根据相对距离是否大于预定值来做具体手势判定，如果相对距离超过预定值则识别手势为两指分离。如果相对距离没有超过预定值则识别手势为两指靠拢。对于没有相对运动的情况，判断触点运动轨迹是否为直线运动，对于直线运动的轨迹的手势识别为单指平移动。对于非直线运动的轨迹的手势识别为单指折线移动手势。 

具体实现中，为计算机多点间距离提供数据，需要对触点坐标进行分别记录，这主要通过两个一维数组来实现，对于单指手势，只需要记录用户交互的第一个触点相关坐标，对于两指手势，需要记录用户交互的两个触点相关坐标。而对于单指折线移动手势，需要记录触点运动过程中的坐标。当用户将触点全部离开屏幕时，手势识别模块根据识别结果通过手势驱动实现完成相应的业务操作，最后通过投影仪在触摸屏幕上显示手势对业务对象的最终操作结果。 

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。 

Claims (7)

1.一种基于红外光电技术的多点触摸系统，其特征是：包括红外多点触摸技术平台、触点跟踪模块和手势识别模块，所述红外多点触摸技术平台包括红外发光管驱动模块、红外接收管驱动模块、触摸屏、摄像头、计算机和投影仪，所述红外发光管驱动模块由一块FPGA、MOSFET开关矩阵、红外发光管电流驱动电路和红外发光管组成，所述红外接收管驱动模块由一块FPGA、高速运算放大器、多路模拟选择器、P沟道三极管和红外接收管组成。

2.根据权利要求1所述的一种基于红外光电技术的多点触摸系统，其特征是：所述红外多点触平台是基于光学和计算机视觉的多点触摸平台，其中红外发光管驱动模块和红外接收管驱动模块负责提供红外光源，触摸屏用于接收用户交互输入信息，计算机用于处理分析数据，投影仪将处理结果投影到触摸屏上，并通过摄像头捕捉触点反射的阴影。

3.根据权利要求1所述的一种基于红外光电技术的多点触摸系统，其特征是：所述触摸屏为树脂玻璃触摸屏。

4.根据权利要求1所述的一种基于红外光电技术的多点触摸系统，其特征是：所述触点跟踪模块负责通过摄像头获得触点影像，然后进行背景去除操作，动态调整图像的灰度值后，完成触点轮廓提取、变化计算、图像平衡一系列操作，经过触点轮廓处理，计算轮廓中心，标识触点ID，从而区分新出现的触点和已经存在的触点对象，完成追踪触摸屏幕上手指的移动轨迹，并最后通过归一化处理将相关的状态信息变成数据包后，通过网络通信的方式传说给手势识别模块。

5.根据权利要求1所述的一种基于红外光电技术的多点触摸系统，其特征是：所述触点跟踪模块采用基于Mean Shift算法的对象追踪技术，使用OpenCV库函数最终实现了基于红外多点触摸技术平台上的触点跟踪功能，经过触点轮廓处理，计算轮廓中心，标识触点ID，从而区分新出现的触点和已经存在的触点对象，完成追踪触摸屏幕上手指的移动轨迹。

6.根据权利要求1所述的一种基于红外光电技术的多点触摸系统，其特征是：所述手势识别模块在收到来自触点跟踪模块发送的数据包，并根据标准协议包的格式对分析收到的数据包的字节信息，结合触点的坐标等状态信息，分析触点移动轨迹，获得具体的手势，然后进行手势匹配后，通过手势驱动并借助于投影仪完成对应业务操作的展示。

7.根据权利要求1所述的一种基于红外光电技术的多点触摸系统，其特征是：所述手势识别模块是在结合业务类型定义多点操作手势的基础上，依据自定义的手势触点个数和运动状态实现一种基于触点运行轨迹的手势识别方法。