CN104978018A - 触控系统及触控方法 - Google Patents

Abstract

本发明提供一种触控系统，包括：至少二个影像撷取单元，用以持续撷取一使用者的多张手部影像；以及一电子装置，耦接至该等影像撷取单元，用以由该等手部影像识别出一目标对象，并检测该目标对象在一操作空间中的移动动作，其中该电子装置包括一显示单元，且该操作空间包括一虚拟触控平面，其中，当该目标对象于一虚拟触控点接触该虚拟触控平面时，该电子装置产生一触控信号，并在该显示单元中相应于该虚拟触控点的位置进行相应的一触控操作。

Description

触控系统及触控方法

技术领域

本发明是有关于影像处理，特别是有关于利用影像识别手势动作以进行触控操作的触控系统及其触控方法。

背景技术

随着科技进步，使用配备有照相机的电子装置以识别手势动作已愈来愈普遍。除此之外，若电子装置的屏幕具备有触控功能，则其成本往往会大幅提高。因此，需要一种可利用照相机以识别手势动作的触控系统，可在屏幕不具有触控功能时，仍能进行触控操作，藉以提升使用的便利性及降低成本。

发明内容

本发明提供一种触控系统，包括：至少二个影像撷取单元，用以持续撷取一使用者的多张手部影像；以及一电子装置，耦接至该等影像撷取单元，用以由该等手部影像识别出一目标对象，并检测该目标对象在一操作空间中的移动动作，其中该电子装置包括一显示单元，且该操作空间包括一虚拟触控平面，其中，当该目标对象于一虚拟触控点接触该虚拟触控平面时，该电子装置产生一触控信号，并在该显示单元中相应于该虚拟触控点的位置进行相应的一触控操作。

本发明还提供一种触控方法，用于一触控系统，其中该触控系统包括至少二个影像撷取单元及一电子装置。该触控方法包括：利用该等影像撷取单元持续撷取一使用者的多张手部影像；由该等手部影像识别出一目标对象，并检测该目标对象在一操作空间中的移动动作，其中该电子装置包括一显示单元，且该操作空间包括一虚拟触控平面；以及当该目标对象于一虚拟触控点接触该虚拟触控平面时，利用该电子装置产生一触控信号，并在该显示单元中相应于该虚拟触控点的位置进行相应的一触控操作。

附图说明

图1是本发明的一实施例中的触控系统100的功能方块图。

图2是显示依据本发明一实施例中使用手势动作进行操作的三维空间的示意图。

图3A－3H是显示依据本发明不同实施例中的电子装置120及影像撷取单元110的位置的示意图。

图4A及4B是显示依据本发明一实施例中使用影像撷取单元进行位置校正的示意图。

图5是显示依据本发明一实施例中的空间定位方法的流程图。

图6是显示依据本发明一实施例中的计算指尖的空间坐标的示意图。

图7是显示依据本发明一实施例中计算两直线的公垂线中点的示意图。

图8A及8B是显示依据本发明不同实施例中设定虚拟触控平面的示意图。

[标号说明]

100～触控系统；                        110～影像撷取单元；

111～接收器；                          112～发射器；

120～电子装置；                        121～显示单元；

122～键盘；                            200～操作空间；

210～触控区域；                        220～手势区域；

230～虚拟触控平面；                    250、260～射线；

400～操作空间；                        410、420、430～平面；

L1、L2～空间直线；                     A1、A1’、A2、A2’、B1、B2～点。

具体实施方式

为使本发明的上述目的、特征和优点能更明显易懂，下文特举一较佳实施例，并配合所附图式，作详细说明如下。

图1是本发明的一实施例中的触控系统100的功能方块图。如图1所示，触控系统100包括至少2个影像撷取单元110、一电子装置120。影像撷取单元110用以撷取在电子装置120前的使用者的影像。举例来说，影像撷取单元110可为红外线镜头、但本发明并不限于此。每个影像撷取单元110亦包括一接收器111及一发射器112，其中接收器111例如是CMOS传感器，发射器112例如是红外线发射器(Infrared emitter)。举例来说，接收器111可检测由发射器112所发射而遇到物体折射或反射的红外线，藉以产生一检测信号。

电子装置120耦接至影像撷取单元110，用以分析来自影像撷取单元110的检测信号以取得使用者的手势动作。在一实施例中，电子装置120例如可为一个人计算机(例如：桌上型计算机、一笔记本型计算机、一体成型(All-in-one)计算机等等)、电视、游戏主机、或显示器等等，且本发明中的影像撷取单元110所安装的位置可视电子装置120的类型及结构而变化(其细节将详述于后)。在一些实施例中，电子装置还包括一显示单元121，其中显示单元121可为不具有触控模块的屏幕或显示器。在一些实施例中，影像撷取单元110所安装的位置可不在电子装置120或其外围装置上，例如影像撷取单元110可安装于桌面或是任何可拍摄使用者手部的位置。

图2是显示依据本发明一实施例中使用手势动作进行操作的三维空间的示意图。如图2所示，电子装置120例如是一笔记本型计算机，电子装置120将显示单元121前的操作空间200分为一触控区域210及一手势区域220，其中触控区域210及手势区域220之间是由一虚拟触控平面(virtual touchplane)230所分隔。除此之外，影像撷取单元110所检测的区域范围及视角(fieldof view)可事先调整，意即由影像撷取单元110往外延展的射线250及260之间的区域，其中该区域包括虚拟触控平面230，且射线260的位置最远可涵盖显示单元121的表面，意即操作空间200可包含显示单元121的表面。例如使用者的手掌在电子装置120的键盘122上进行操作时，此时可事先设定影像撷取单元110所检测的区域以避免检测到使用者的手部而造成误判。

更进一步而言，电子装置120分析来自影像撷取单元的检测信号，藉以取得使用者的手部位置。在一实施例中，处理单元120手势动作可再分为手掌动作及手指动作。当手部位置位于手势区域220时，电子装置120即会将使用者的手部动作均视为手掌的手势动作，且使用者可通过手势来操控电子装置100。举例来说，利用手势挥动进行换页、浏览、旋转等动作。若电子装置120为电视时，使用者可利用手势挥动操控屏幕的切换频道/切换功能首页/音量调整等功能。若使用者的手部由手势区域220进入触控区域210时，即表示使用者的手部已超过该虚拟触控平面230，电子装置120则进一步检测使用者的手指部位的移动。举例来说，电子装置120预先将虚拟触控平面中的一特定区域映射至其显示单元121的整个显示区域，意即在该特定区域中的不同位置在显示单元121中均有一相应的位置。当使用者的手指由手势区域220穿过该虚拟触控平面230而进入触控区域210时，电子装置120则判断使用者欲进行触控操作，意即使用者可通过手指点击虚拟触控平面(例如在位置A)，电子装置120则会在显示单元121中的位置B产生相应于该位置A的触控信号。接着，电子装置120还依据该触控信号进行相应的操作。

图3A－3H是显示依据本发明不同实施例中的电子装置120及影像撷取单元110的位置的示意图。本发明可视电子装置120的类型及结构的不同而安装影像撷取单元110于不同的位置以检测使用者的手部，在图3A－3E中，影像撷取单元110可通过一数据总线(例如USB接口)而连接至电子装置120。举例来说，如图3A所示，当电子装置120为一笔记本型计算机，影像撷取单元110可安装于笔记本型计算机底座上与显示单元121的连接处的两侧。如图3B所示，当电子装置120为一桌上型计算机或游戏主机，其显示单元121往往可置于较远的位置，此时，影像撷取单元110可安装于电子装置120的键盘122(或是游戏主机)的两侧，其中键盘122亦通过通用序列总线(Universal serial bus,USB)接口而耦接至电子装置120。

在一实施例中，如图3C所示，当电子装置为一电视或显示器时，影像撷取单元110可安装于电视屏幕的角落，例如是左下角及右下角。如图3D、图3E及图3F所示，影像撷取单元亦可安装于左上角及右上角、左上角及左下角、右上角及右下角，使用者可视实际需求调整影像撷取单元的安装置位。除此之外，在一些实施例中，本发明的影像撷取单元110的数量可不限于两个，可使用两个或以上的影像撷取单元110以检测使用者的手势。例如图3G所示，影像撷取单元110可安装于电子装置120的显示单元121的左下角、右下角及下方。例如图3H所示，影像撷取单元110可同时安装于电子装置120的显示单元的右上角、右下角、左上角及左下角。

图4A及4B是显示依据本发明一实施例中使用影像撷取单元进行位置校正的示意图。图5是显示依据本发明一实施例中的空间校正方法的流程图。请同时参考图4A、4B及图5。在步骤S510，电子装置120预先在使用者的操作空间400中设定数个三维空间坐标点，例如将在操作空间400中的不同平面的NxN个矩阵点设定为校正点。举例来说，对于在右侧的影像撷取单元110而言，其校正点是设定在操作空间的左侧的平面410及420上。对于在左侧的影像撷取单元110而言，其校正点是设定在操作空间的右侧的平面430及420上。在步骤S520，电子装置120记录上述的校正点在影像撷取单元110的影像中所对应的像素。在步骤S530，计算上述校正点在该操作空间400中所对应的空间向量，例如可使用内插或外插的方式计算空间向量。

在步骤S540，当使用者使用一目标对象(例如可使用手掌、手指或其它对象)在操作空间400中进行移动，电子装置120利用来自不同影像撷取单元110所撷取的影像检测该目标对象，并判断该目标对象在操作空间400中与各影像撷取单元110之间的空间向量是否相交。若是，则判断两个空间向量的交点坐标(x,y,z)为操作点(步骤S550)；若否，则表示该两个空间向量为三维空间中的歪斜线，此时电子装置120计算此两个空间向量之间的最短距离的线段，并以此线段的中点作为操作点(步骤S560)。

请同时参考图2及图5，在步骤S570，电子装置120判断操作点的坐标位于触控区域210或手势区域220，藉以进行相应的触控操作或手势操作。举例来说，当操作点的坐标位于手势区域220，电子装置120将操作点的移动判断为手势动作。当操作点的坐标位于触控区域210，电子装置120将操作点的移动判断为触控动作。除此之外，当操作点的坐标由手势区域220移动跨过虚拟触控平面230时，则电子装置120会将该动作视为触控动作(例如点击动作)。

图6是显示依据本发明一实施例中的计算指尖的空间坐标的示意图。请参考图6，在一实施例中，给定左边的影像撷取单元110的空间坐标为(x1,y1,z1)，右边的影像撷取单元110的空间坐标为(x2,y2,z2)，目标对象分别相对于左边的影像撷取单元110的校正点坐标为(x3,y3,z3)及(x4,y4,z4)。若通过左边及右边的影像撷取单元110的空间直线L1及L2，且其直线向量分别为(a,b,c)及(d,e,f)，则L1空间直线的表示式为：x＝x1+at；y＝y1+bt；z＝z1+ct。L2空间直线的表示式为：x＝x2+ds；y＝y2+es；z＝z2+fs。

再将空间直线L1的关系式代入空间直线L2，则可得到x1+at＝x2+ds；y1+bt＝y2+es。利用联立方程式求解，若可可得到t及s，则能计算出两空间直线的交点(x,y,z)，即校正点的坐标。若无法得到t及s，即表示空间直线L1及L2是歪斜线，需利用另一种方式计算校正点的坐标。

图7是显示依据本发明一实施例中计算两直线的公垂线中点的示意图。请参考图7，若空间直线L1及L2分别通过点A1及A2，且其方向向量分别为及则四边形A₁A'₁B₂B₁为矩形，且∠A₂A'₂B₂＝90°，公垂线线段垂直于L1及L2，则公垂线线段的长度及点B1及B2的坐标是可由下列方式进行计算：

(1)因为四边形A₁A'₁B₂B₁为矩形，利用正射影及外积可得到：

可推得：

(2)因为故 $\stackrel{\→}{A_2{A}_2^{\′}}\·\stackrel{\→}{B_2{A}_1}=0,$

又且

表示

可解得

因此，

当B1及B2点的坐标已求得，假设已求得的B1坐标为(x3,y3,z3)，B2坐标为(x4,y4,z4)，则线段的中点坐标为((x3+x4)/2,(y3+y4)/2,(z3+z4)/2)。

图8A及8B是显示依据本发明不同实施例中设定虚拟触控平面的示意图。本发明的电子装置120利用影像特征定义出使用者的指尖及其坐标，并分析指尖在操作空间中的坐标变化，藉以判断使用者的手势是往左挥动、往右挥动、或是朝前移动、朝后移动。本发明中由影像中判断手掌或指尖是可使用已知的对象检测算法，故其细节于此不再赘述。在一实施例中，如图8A所示，电子装置120是以笔记本型计算机为例，假定笔记本型计算机的底座往使用者方向为Z轴，往上为Y轴，虚拟触控平面230的位置是垂直于Z轴且平行于Y轴。当使用者的指尖由后向前接触虚拟触控点A1而穿过虚拟触控平面230时，电子装置120会判断该手势动作是一触控动作，且在虚拟触控平面230会有一虚拟触控点，且电子装置120会产生相应于该虚拟触控点的触控信号，并进行在其显示单元121上的相应位置进行对应的触控操作。需注意的是，在此实施例中，虚拟触控平面230的位置可以在Z轴方向任意调整，无论虚拟触控平面230在Z轴的位置为何，当使用者的指尖由后向前而穿过虚拟触控平面230时，电子装置120仍会判断该手势动作是一触控动作。

在另一实施例中，如图8B所示，电子装置120仍然以笔记本型计算机为例，假定笔记本型计算机的底座往使用者的方向为Z轴，往上为Y轴，虚拟触控平面230的位置是与于Y轴平面具有一夹角，其中该夹角的角度是可依据使用者的需求而自行调整。除此之外，虚拟触控平面230的位置可以在Z轴方向任意调整，无论虚拟触控平面230在Z轴的位置为何，当使用者的指尖在Z轴由后向前(图8B中为右往左)往显示单元210接触虚拟触控点B1而穿过虚拟触控平面230时，电子装置120仍会判断该手势动作是一触控动作。需注意的是，在此实施例中，显示单元210并不具有触控功能，虚拟触控平面230最近可与显示单元210贴齐，意即电子装置120可判断直接于显示单元210进行操作的触控动作，并进行相应的操作。

本发明的方法，或特定型态或其部分，可以以程序码的型态包含于实体媒体，如软盘、光盘片、硬盘、或是任何其它机器可读取(如计算机可读取)储存媒体，其中，当程序码被机器，如计算机加载且执行时，此机器变成用以参与本发明的装置或系统。本发明的方法、系统与装置也可以以程序码型态通过一些传送媒体，如电线或电缆、光纤、或是任何传输型态进行传送，其中，当程序码被机器，如计算机接收、加载且执行时，此机器变成用以参与本发明的装置或系统。当在一般用途处理器实作时，程序码结合处理器提供一操作类似于专用逻辑电路的独特装置。

本发明虽以较佳实施例揭露如上，然其并非用以限定本发明的范围，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视所附的权利要求范围所界定者为准。

Claims (10)

1.一种触控系统，包括：

至少二个影像撷取单元，用以持续撷取一使用者的多张手部影像；以及

一电子装置，耦接至该至少二个影像撷取单元，用以由该多张手部影像识别出一目标对象，并检测该目标对象在一操作空间中的移动动作，其中该电子装置包括一显示单元，且该操作空间包括一虚拟触控平面，

其中，当该目标对象于一虚拟触控点接触该虚拟触控平面时，该电子装置产生一触控信号，并在该显示单元中相应于该虚拟触控点的位置进行相应的一触控操作。

2.根据权利要求1所述的触控系统，其中该操作空间包括一手势区域及一触控区域，且该手势区域及该触控区域是由该虚拟触控平面所分隔。

3.根据权利要求2所述的触控系统，其中当该目标对象位于该手势区域，该电子装置判断该目标对象的移动动作为一手势动作。

4.根据权利要求2所述的触控系统，其中当该目标对象由该手势区域接触该虚拟触控点而穿过该虚拟触控平面至该触控区域时，该电子装置判断该目标对象的移动动作为一触控动作。

5.根据权利要求1所述的触控系统，其中该电子装置为一个人计算机或一电视，且该至少二个影像撷取单元是安置在该电子装置的一显示单元的同一侧的两端。

6.根据权利要求1所述的触控系统，其中该电子装置为一个人计算机，且该至少二个影像撷取单元是安置在该电子装置的一键盘的同一侧的两端。

7.根据权利要求1所述的触控系统，其中该电子装置为一游戏机，且该至少二个影像撷取单元是安置在该游戏机的同一侧的两端。

8.根据权利要求1所述的触控系统，其中该至少二个影像撷取单元包括一第一影像撷取单元及一第二影像撷取单元，且该电子装置还估计该目标对象在该操作空间中分别相对于该第一影像撷取单元及该第二影像撷取单元的一第一直线向量及一第二直线向量，并判断该第一直线向量及该第二直线向量是否相交。

9.根据权利要求8所述的触控系统，其中当该第一直线向量及该第二直线向量相交，该电子装置计算该第一直线向量及该第二直线向量于该操作空间中的一交点以作为该目标对象的一校正点。

10.根据权利要求8所述的触控系统，其中当该第一直线向量及该第二直线向量不相交，该电子装置计算该第一直线向量及该第二直线向量于该操作空间中的一中垂线的一中点以作为该目标对象的一操作点。