CN103902035A - 三维互动装置及其操控方法 - Google Patents

Abstract

一种三维互动装置及其操控方法。三维互动装置包括投影单元、取像单元以及图像处理单元。投影单元用以投射互动图案至主体的表面，藉以让使用者对互动图案以手势进行互动触发操作。取像单元用以提取在取像范围内的深度图像。图像处理单元接收深度图像并且判断深度图像中是否含有使用者的手部图像。如果是，图像处理单元对手部图像进行手部几何辨识，以获得手势互动语意。图像处理单元并依据手势互动语意来控制投影单元及取像单元。据此，本公开提供便携式、非接触式的三维互动装置。

Description

三维互动装置及其操控方法

技术领域

本公开涉及一种三维互动装置及其操控方法。

背景技术

近年来非接触式人机互动界面研究成长十分快速，弗雷斯特研究（Forrester Research）公司的分析师研究指出：若能让体感与互动完全融入日常活动，成为生活的一部分，未来将是互动应用的绝佳机会。目前已有多家公司开发各种生活应用产品，例如微软所发表的新世代体感游戏装置Kinect，采用人体动作操控作为游戏的互动媒介；在波音客机的销售大厅，架设能为客人提供一趟虚拟航程的三维（three-dimensional，3D）互动装置等等。

由于深度图像提供更完整的空间图像信息，因此发展虚拟互动输入技术的重点在于如何有效、即时且稳定的取得第三维（即深度）的信息。然而在现有技术中，大部分的重点着重于建立深度图（depth map），以达到“空间三维互动”（spatial 3D interaction）的目的，但目前深度图的估测因距离远近与解析度等因素，较难测量到手部甚至手指位置细微变化的绝对坐标，较难对应譬如小范围非接触式的人机界面需求。

现有的互动输入方式多属于大范围互动应用，例如大型沉浸式虚拟互动装置、互动式数字黑板与体感互动游戏等，对于范围较小的目标物尚较难于三维空间中进行精确定位，例如对于手部范围大小的精细操作与范围较小互动效果并不理想。举例来说，虽有部分互动装置通过让使用者手持红外线投影器或配带标记（Marker）等方式，虽容易进行追踪辨识，但仅适合于较大面积互动范围。并且因为投影成像范围固定与标记尺寸精度不足，与实现便携式、较小范围与非接触式的三维人机界面互动尚有一段距离。

发明内容

有鉴于此，本公开提供一种三维互动装置及其操控方法，可具有非接触式、较小的设定范围坐标定位的三维空间互动能力，达到便携式随处投影的三维互动效果。

本公开提出一种三维互动装置，其包括投影单元、取像单元以及图像处理单元。其中，投影单元用以投射互动图案至主体的表面，藉以让使用者对互动图案以手势进行互动触发操作，其中互动图案被投射在投影范围内。取像单元用以提取在取像范围内的深度图像，其中取像范围涵盖投影范围。图像处理单元连接至投影单元与取像单元，用以接收深度图像并且判断深度图像中是否含有使用者的手部图像。如果是，图像处理单元对手部图像进行手部几何辨识，以获得手势互动语意。图像处理单元并依据手势互动语意来控制投影单元及取像单元。

本公开另提出一种三维互动装置的操控方法，其中三维互动装置包括投影单元以及取像单元。操控方法包括下列步骤。对投影单元的投影坐标与取像单元的取像坐标执行坐标校正程序。通过投影单元投射互动图案至主体的表面，藉以让使用者对互动图案以手势进行互动触发操作。其中，互动图案被投射在投影范围内。并且通过取像单元提取在取像范围内的深度图像，其中，取像范围涵盖投影范围。判断深度图像中是否含有使用者的手部图像。如果是，对手部图像进行手部几何辨识，以获得手势互动语意。再依据手势互动语意控制投影单元及取像单元。

为让本公开的上述特征和优点能更明显易懂，下文特举实施范例，并配合附图作详细说明如下。

附图说明

图1绘示为一种三维互动装置的应用情境的一实施范例示意图。

图2是根据本公开一范例实施例所绘示的三维互动装置的方块图。

图3A是根据本公开一范例实施例所绘示的三维互动装置的操控方法的流程图。

图3B是根据本公开一范例实施例所绘示的坐标校正程序的流程图。

图4是根据本公开一范例实施例所绘示的坐标校正程序的简单示意图。

图5是根据本公开另一范例实施例所绘示的手势辨识单元获得手势互动语意的方法流程图。

图6A绘示为一种分析深度图像中的凸包处与凹陷处的结果示意图。

图6B绘示为一种投影单元所投射的互动图案的一实施范例示意图。

图6C绘示为一种投影单元投射互动图案至使用者的手部的应用情境的一实施范例示意图。

图7是根据本公开另一范例实施例所绘示的手势互动语意数据库的样本范例。

【主要元件符号说明】

10、200：三维互动装置

20：手术灯

210：投影单元

220：取像单元

230：图像处理单元

232：手势辨识单元

240：坐标校正单元

410、420、430：画面

710、720、730、740：样本

D1：投影范围

E、F、G、H、e、f、g、h：坐标

P1、P2、P3、P4：圆点图案

P5：手部形状图案

R1：取像范围的区块

R2：投影范围的区块

U：使用者

S310～S360：三维互动装置的操控方法的各步骤

S312、S314、S316：坐标校正程序的各步骤

S501～S521：获得手势互动语意的方法的各步骤

具体实施方式

本公开的三维互动装置系结合取像单元/装置与投影单元/装置的设计，采用投影坐标与取像坐标的校正技术，使本公开的三维互动装置达到便携式与非接触式的互动输入操作。由于利用深度图像从事目标物的辨识与追踪，使得三维互动装置在环境与光线背景变异下，皆较具有抗光强与避免环境光线干扰的功能。除此之外，使用本公开的三维互动装置的使用者不须通过佩戴标记（Marker），三维互动装置即具有手势辨识功能及三维空间手指定位能力，可建立譬如说类似手部（hand portion）大小等较小的设定范围的非接触式三维空间互动。

为了使本公开的内容更易明了，以下列举若干实施例作为本公开确实能够据以实施的范例。所提出的实施例仅作为解说之用，并非用来限定本公开的权利范围。

本公开的三维互动装置例如可与手术医疗装置相结合，使得医疗装置在一般接触式的实体按键输入功能外，还提供三维空间手指定位功能，而能让医护人员以非接触形式对医疗装置进行操控，降低接触造成的细菌感染。图1绘示为一种三维互动装置的应用情境的一实施范例示意图。请参照图1实施例，三维互动装置10例如装设固定于手术灯20的位置A处，三维互动装置10也可装设于B处或C处等，但并不限于此，装设位置可依实际应用需求来设定。此外，三维互动装置10也可装设于其他医疗器材，并不以手术灯为限。

在此实施例中，三维互动装置10至少包括投影单元以及取像单元（未绘示于图1）。投影单元可用以投射互动图案（例如按键图案等任意图案界面）至使用者U的手部位置，譬如手掌或手臂，取像单元则用以提取使用者U进行互动操作的手部深度图像。随着手术灯20的角度变化或位置移动，投影单元的投射位置与取像单元所提取的取像位置也会跟着改变。如图1所示，点p与点s之间的距离代表取像单元所能提取的最大横轴取像范围。点q与点r之间的距离代表投影单元所能投射的最大横轴投影范围。

虽然手术灯20的角度或位置变化会影响三维互动装置10的取像或投影的位置。然而，一范例实施例的三维互动装置10可通过取像单元来持续提取涵盖使用者U的手部的深度图像，进而判别手部坐标，而可让投影单元将互动图案投射在使用者U的手部（例如约10×10公分的小面积范围内）。除此之外，三维互动装置10还可准确分析使用者U的手势动作变化，进而解读手势动作的手势互动语意来呈现互动结果。

以下则举一范例实施例来说明图1的三维互动装置10的详细实施方式。图2是根据本公开一范例实施例所绘示的三维互动装置的方块图。

请参照图2，三维互动装置200至少包括投影单元210、取像单元220、图像处理单元230、手势辨识单元232以及坐标校正单元240。其范例功能分述如下：

投影单元210用以投射互动图案至一主体的表面。所述主体例如可以是投影屏幕、人体部位、使用者的手部、手术台、病床、工作台、桌面、墙壁、笔记本、纸张、木板、等等任意可载图像的物件（object），皆可作为主体，但不限于上述。在一范例实施例中，投影单元210例如可采用一种微型投影机（pico projector，或称mini projector）。一般来说，微型投影机的光源可采用发光二极管（Light Emitting Diode，LED）或其他固态光源，以提高微型投影机所需的流明（Lumen），进而增加微型投影机投射出来的图像的亮度。微型投影机的尺寸大约与一般市面上的移动电话相近。因此，微型投影机具有便携式且无使用场地的限制，适合用于本公开的三维互动装置200。

举例来说，投影单元210可选择采用下列不同规格型式的微投影器，以及其他类似规格：具备44英寸短距投影功能、亮度为200流明的“BENQ JobeeGP2（商品名）”；或40英寸短焦设计、亮度为250流明且具LED灯泡的“ViewSonic高画质掌上型投影机PLED-W200（商品名）”；或激光微型投影的“i-connect ViewX（商品名）”。上述仅为投影单元210可以采用的范例，本公开并不限定使用上述列举的商品来做为必要的实施元件。

在一实施例中，取像单元220可采用“深度摄影机”进行拍摄，除了二维画面之外，深度摄影机会发出红外线光源，通过红外线光源碰到拍摄物件反射的时间，判断物件与摄影机之间的距离，而得出画面中物件远近的“深度图像/深度图”（depth image/depth map）。在一范例实施例中，取像单元220可采用非接触主动式扫描规格的深度摄影机。

举例来说，取像单元220可选择采用下列深度摄影机，以及其他类似规格：飞行时间（Time-of-flight）摄影机、立体视觉（Stereo vision）深度摄影机、激光散斑（Laser speckle）摄影机或激光追踪（Laser tracking）摄影机等等。

图像处理单元230可由软件、硬件或其组合实作而得，在此不加以限制。软件例如是应用软件或驱动程序等。硬件例如是中央处理单元（CentralProcessing Unit，CPU），或是其他可编程的一般用途或特殊用途的微处理器（Microprocessor）、数字信号处理器（Digital Signal Processor，DSP）等装置。

图像处理单元还包括手势辨识单元232，手势辨识单元232除了可辨识取像单元220所提取的深度图像中的手部图像之外，更可判断手部图像的几何形状，通过比对手势互动语意数据库（未绘示于图2）中的样本来判断手势互动语意。其中手势互动为本发明的示范实施例之一，也可利用物件进行互动，举凡笔、棒、标点等等的物件均可进行互动。相对地，可建立物件互动数据库提供比对。

坐标校正单元240耦接投影单元210与取像单元220，用以校正投影单元210的投影坐标与取像单元220的取像坐标。其校正方法容后详述。

图3A是根据本公开一范例实施例所绘示的三维互动装置的操控方法的流程图。本范例实施例的方法适用于图2的三维互动装置200，以下即搭配三维互动装置200中的各构件说明本范例实施例的步骤：

如步骤S310所述，坐标校正单元240对三维互动装置200的投影单元210的投影坐标与取像单元220的取像坐标执行坐标校正程序。取得投影坐标与取像坐标之间的坐标转换关系之后便可接续步骤S320，投影单元210投射第一互动图案至一主体的表面，藉以让使用者对第一互动图案以手势进行互动触发操作，其中第一互动图案被投射在所设定的一投影范围内。本范例实施例所述的主体可以是使用者的手、人体部位或其他物件、平台的表面、投影屏幕、手术台、病床、工作台、桌面、墙壁、笔记本、纸张、木板、等等任意可载图像的物件（object）等等，在此不限制。

在步骤S330，取像单元220提取在取像范围内的深度图像，其中取像范围涵盖所设定的投影范围。在取得深度图像之后接续步骤S340，图像处理单元230可通过手势辨识单元232判断深度图像中是否含有使用者的手部图像。如果是，进一步对手部图像进行手部几何辨识，以获得手势互动语意（步骤S350）。在步骤S360，图像处理单元230可再依据手势互动语意控制投影单元210及取像单元220。在一实施例中，图像处理单元230可依据手势互动语意来控制投影单元210投射第二互动图案（即，互动结果图案）至所述主体的表面，以进行接续互动；并且，图像处理单元230可控制取像单元220持续提取含有使用者手势的深度图像。

以下先详细说明在上述步骤S310中的坐标校正单元240执行坐标校正程序的各步骤。请参照图3B，图3B是根据本公开一范例实施例所绘示的坐标校正程序的流程图。图4是根据本公开一范例实施例所绘示的坐标校正程序的简单示意图。以下请配合参照图3B与图4实施例。

在一范例实施例中，坐标校正程序的步骤更可分为多个子步骤S312～S316。先由投影单元210在投影范围的一或多个边界点与中心处分别投射边界标记符号与中心标记符号，以形成被设定的一校正图案（步骤S312）。在本范例实施例中，边界标记符号例如为圆点图案；中心标记符号例如为手部形状图案；但并不以此为限，边界标记符号以及中心标记符号都可为任意图形。请参照图4实施例，画面410显示投影单元210所投射的校正图案，其包括4个圆点图案P1、P2、P3及P4，以及在中心区块处投影了手部形状图案P5。其中，圆点图案P1、P2、P3及P4用以标示投影单元210所能投影的最大边界范围。手部形状图案P5例如是用来提示使用者接下来将以手势进行互动触发操作。

接着，由取像单元220提取涵盖校正图案的三原色图像（步骤S314）。在此说明的是，取像单元220在进行坐标校正程序时是用以提取三原色图像（亦即RGB图像），而非深度图像。因为深度图像具有单一深度信息功能，而要进一步得到校正图案的图形。请参照图4实施例，画面420显示一种取像单元220将所提取的三原色图像再经过二值化（Binary）处理与边界处理后的结果。取像单元220除了会拍摄到校正图案之外，同时也将背景例如是工作平台等其他背景物件一并拍摄下来。

坐标校正单元240便可利用图像比对方法分析三原色图像中的边界标记符号与中心标记符号的坐标位置，以获得投影坐标与取像坐标的坐标转换关系（步骤S316）。其中，图像比对例如是采用一种斜面距离（Chamfer distance）的图像比对方法，但不限于此。凡是可以分析比对出边界标记符号与中心标记符号的图像比对方法皆可适用于此步骤。

请参照图4实施例，画面430显示坐标E、F、G及H所形成的区块R1为取像单元220的取像范围。其中，坐标E(0，0)为取像单元220的原点，坐标H(640，480)可用以得知取像单元220所提取图像的尺寸为640×480（像素）。另外，坐标e、f、g及h所形成的区块R2则为投影单元210的投影范围。其中，坐标e(230，100)为投影单元210的原点；另外，利用坐标h(460，500)与坐标e(230，100)相减可得知投影单元210所能投影的最大尺寸为230×400（像素）。如此一来，坐标校正单元240便可得知投影坐标与取像坐标之间的坐标转换关系。

为了详细说明图3A的手势辨识单元232执行步骤S340、S350的详细步骤流程。以下另举一范例实施例作为详细说明。图5是根据本公开另一范例实施例所绘示的手势辨识单元获得手势互动语意的方法流程图。

请参照图5实施例，手势辨识单元232接收深度图像之后先利用直方图（histogram）统计方法分析深度图像（步骤S501）。在深度图像中，每一像素或区块皆具有相对应的深度值。例如，使用者的手愈靠近取像单元220，深度值愈小；反之，使用者的手愈远离取像单元220，深度值愈大。因此，此步骤所产生的深度直方图的横轴代表深度值层级；纵轴代表相应的像素数目。

判断深度图像的深度值是否具有大于深度临界值的对应图像区块，以判别深度图像中是否含有使用者的手部图像（步骤S503）。其中，深度临界值例如设定为200。

如果深度图像中含有使用者的手部图像，则依据手部轮廓（contour）分析深度图像中的凸包（Convex hull）处与凹陷（Convex deficiency）处（步骤S505）。举例来说，图6A绘示为一种分析深度图像中的凸包处与凹陷处的结果示意图。

得到深度图像中的凸包处与凹陷处的信息后，便可用来判别手部几何形状（步骤S507）。接着判断此手部图像为使用者的左手图像或右手图像（步骤S509）。如果为左手图像，则投影单元210可以将互动图案投射至使用者的左手掌上，因此接续步骤S511，分析与判断手部图像（左手）的质心点位置。并且在步骤S513，经由坐标校正单元240将质心点位置输出至投影单元210。如此一来，投影单元210就可以依据此质心点坐标对应调整互动图案的投射位置或调整互动图案的尺寸。也就是说，在一实施例中，投影单元210可以准确地将互动图案投射至使用者的左手部位，而使用者便可利用右手的手势变化来对投射在左手部位上的互动图案进行互动触发操作。

举例来说，图6B绘示为一种投影单元所投射的互动图案的一实施范例示意图。其中，虚线D1代表投影单元所能投射的投影范围。图6C绘示为一种投影单元投射互动图案至使用者的左手部位的应用情境的一实施范例示意图。由于投影单元210取得手部图像的质心点坐标，因此将图6B所示的互动图案投影至使用者的手部区域。除此之外，当使用者的手部移动时，投影单元210的投射位置也可随之改变。

回到步骤S509，如果为右手图像，代表使用者以右手手势进行互动触发操作，因此接续步骤S515，手势辨识单元232分析手部（右手）图像中的一或多个指尖的深度位置并追踪这些指尖的运动轨迹。

更进一步，手势辨识单元232分析手部（右手）图像中的食指与拇指的运动轨迹（步骤S517）。手势辨识单元232通过比对手势互动语意数据库中的样本以及深度位置来判断运动轨迹所代表的手势互动语意（步骤S519）。

在一实施范例中，手势互动语意数据库的建立是以几组基本手势外型当作学习与比对的样本，其中包括手部的手指全开、闭合、拿取、放、点选、推、放大、缩小等等各种基本手势外型及其对应的运动轨迹。图7是根据本公开另一范例实施例所绘示的手势互动语意数据库的样本范例。举例来说，样本710是以手指按住物件作选择的操作，其所代表的手势互动语意为“点选（tap to select）”；样本720是在手指对物件点选后，作同一方向的拖曳，其所代表的手势互动语意为“单向拖曳（slide to scroll）”；样本730是在手指对物件点选后，作旋转方向的拖曳，其所代表的手势互动语意为“旋转拖曳（spinto scroll）”；样本740是以手指在物件表面点选的同时，往某一方向轻轻推动后，手指随即离开屏幕，其所代表的手势互动语意为“轻推（flick to nudge）”。

另外可选择，在步骤S521，图像处理单元230将手势辨识单元232分析所得的手势互动语意输出至投影单元210，以使投影单元210对应手势互动语意投射第二互动图案（譬如互动结果图案）。举例来说，如图6C所示的应用情境范例示意图，如果手势互动语意为“点选”，则使用者点选“1”、“2”或“3”分别可以产生不同的互动结果图案，其可由使用者依据实际应用的需求来做设定。举例来说，三维互动装置200若装设应用于手术灯的医疗环境，医护人员以手势点选“1”例如可使投影单元投射标示图案（譬如箭头图案）至患者欲进行手术的部位，更进一步，医护人员还可以用手势与标示图案进行持续互动，譬如拖曳标示图案至其他位置、放大或缩小标示图案等等；以手势点选“2”例如可使投影单元投射一患者数据；以手势点选“3”例如可使投影单元投射一手术流程图。

除此之外，对应不同的手势互动语意还可以有一或多个三维互动参数。举例来说，如果手势互动语意为“单向拖曳”，代表投影单元所投射的互动图案或物件会随手势移动到手势停止。然而，其移动的速度与方向则必须通过三维互动参数来决定。手势辨识单元232在分析与追踪深度图像中的手部运动轨迹时，可一并将手部图像的深度坐标、深度值变化、加速度、力量等等作为三维互动参数，图像处理单元230更可将三维互动参数传送至投影单元210。如此一来，投影单元210就可依据三维互动参数来得知所投射的互动图案或物件要往哪一方向移动，移动的速度快慢等等，藉此提升本公开的三维互动效果。

综上所述，本公开系结合取像单元/装置与投影单元/装置，利用投影坐标与取像坐标的校正技术，也可使得本公开的三维互动装置具有三维空间手部定位能力，并且能让使用者以非接触方式与投影内容进行三维空间互动。此外，由于利用深度图像进行手部辨识与追踪，使得本公开的三维互动装置在环境与光线背景变异下，皆较具有抗光强与避免环境光线干扰的功效。再者，本公开的三维互动装置与医疗器材的结合，提供医疗人员能在譬如类似手部大小等的较小设定范围的三维空间内以非接触形式准确地进行输入操作，降低因接触造成的细菌感染。

虽然本公开已以实施范例公开如上，然其并非用以限定本公开，本领域技术人员，在不脱离本公开的精神和范围内，当可作些许的更动与润饰，故本公开的保护范围当视所附权利要求书界定范围为准。

Claims (21)

1.一种三维互动装置，包括：

投影单元，投射第一互动图案至主体的表面，藉以让使用者对该第一互动图案以手势进行互动触发操作，其中该第一互动图案被投射在投影范围内；

取像单元，提取在取像范围内的深度图像，其中该取像范围涵盖该投影范围；以及

图像处理单元，该图像处理单元连接该投影单元与该取像单元，接收该深度图像并判断该深度图像中是否含有该使用者的手部图像，如果是，该图像处理单元对该手部图像进行手部几何辨识，以获得手势互动语意，该图像处理单元依据该手势互动语意控制该投影单元及该取像单元。

2.如权利要求1所述的三维互动装置，其中：

该投影单元在该投影范围的至少一边界点与中心处分别投射边界标记符号与中心标记符号，以形成用以校正的校正图案。

3.如权利要求2所述的三维互动装置，还包括：

坐标校正单元，耦接该投影单元与该取像单元，接收该取像单元所提取的三原色图像，其中该三原色图像涵盖该校正图案，该坐标校正单元采用图像比对方法分析该三原色图像中的该边界标记符号与该中心标记符号的坐标位置，以获得该投影单元的投影坐标与该取像单元的取像坐标的坐标转换关系。

4.如权利要求2所述的三维互动装置，其中：

该投影单元所投射的该边界标记符号为圆点图案。

5.如权利要求2所述的三维互动装置，其中：

该投影单元所投射的该中心标记符号为手部形状图案。

6.如权利要求1所述的三维互动装置，其中该图像处理单元还包括：

手势辨识单元，利用直方图统计方法对该深度图像进行分析，并通过该深度图像的凸包处与凹陷处来判断该手部图像。

7.如权利要求6所述的三维互动装置，其中：

该手势辨识单元更判断该手部图像的质心点位置，并且将对应该质心点位置的质心点坐标输出至该投影单元。

8.如权利要求7所述的三维互动装置，其中：

该投影单元依据该质心点坐标对应调整第二互动图案的投射位置及该第二互动图案的尺寸。

9.如权利要求6所述的三维互动装置，其中：

该手势辨识单元更判断该手部图像中的至少一指尖的深度位置并追踪该至少一指尖的运动轨迹，该手势辨识单元通过比对手势互动语意数据库中的样本及该手部图像的该深度位置来判断该运动轨迹所代表的该手势互动语意。

10.如权利要求9所述的三维互动装置，其中：

该手势辨识单元将该手势互动语意及分析该深度位置及该运动轨迹所得的至少一三维互动参数传送至该投影单元与该取像单元，用以控制该投影单元投射对应该手势互动语意的第二互动图案，并控制该取像单元持续提取含有该手势的该深度图像。

11.如权利要求1所述的三维互动装置，其中该手势互动语意至少包括点选操作、单向拖曳操作、旋转拖曳操作、轻推操作、放大操作以及缩小操作。

12.如权利要求1所述的三维互动装置，其中该投影单元采用微型投影机。

13.如权利要求1所述的三维互动装置，其中该取像单元为飞行时间摄影机、立体视觉深度摄影机、激光散斑摄影机或激光追迹摄影机的其中之一。

14.一种三维互动装置的操控方法，其中该三维互动装置包括投影单元以及取像单元，该操控方法包括：

对该投影单元的投影坐标与该取像单元的取像坐标执行坐标校正程序；

通过该投影单元投射第一互动图案至主体的表面，藉以让使用者对该第一互动图案以手势进行互动触发操作，其中该第一互动图案被投射在投影范围内；

通过该取像单元提取在取像范围内的深度图像，其中该取像范围涵盖该投影范围；

判断该深度图像中是否含有该使用者的手部图像，如果是，对该手部图像进行手部几何辨识，以获得手势互动语意；以及

依据该手势互动语意控制该投影单元及该取像单元。

15.如权利要求14所述的三维互动装置的操控方法，其中该坐标校正程序包括：

由该投影单元在该投影范围的至少一边界点与中心处分别投射边界标记符号与中心标记符号，以形成校正图案；

由该取像单元提取涵盖该校正图案的三原色图像；以及

以图像比对方法分析该三原色图像中的该边界标记符号与该中心标记符号的坐标位置，以获得该投影坐标与该取像坐标的坐标转换关系。

16.如权利要求14所述的三维互动装置的操控方法，其中该边界标记符号为圆点图案。

17.如权利要求14所述的三维互动装置的操控方法，其中该中心标记符号为手部形状图案。

18.如权利要求14所述的三维互动装置的操控方法，其中判断该深度图像以获得该手势互动语意的步骤包括：

利用直方图统计方法分析该深度图像；

通过该深度图像的深度值以及该深度图像的凸包处与凹陷处来判断该手部图像；以及

判断该手部图像中的至少一指尖的深度位置并追踪该至少一指尖的运动轨迹，通过比对手势互动语意数据库中的样本以及该手部图像的该深度位置来判断该运动轨迹所代表的该手势互动语意。

19.如权利要求18所述的三维互动装置的操控方法，其中在获得该手势互动语意之后，还包括：

将分析该深度位置及该运动轨迹所得的至少一三维互动参数传送至该投影单元与该取像单元，用以控制该投影单元投射对应该手势互动语意的第二互动图案，并控制该取像单元持续提取含有该手势的该深度图像。

20.如权利要求19所述的三维互动装置的操控方法，还包括：

判断该手部图像的质心点位置，将对应该质心点位置的质心点坐标输出至该投影单元；以及

由该投影单元依据该质心点坐标对应调整该第二互动图案的投射位置与该第二互动图案的尺寸。

21.如权利要求14所述的三维互动装置的操控方法，其中该手势互动语意至少包括点选操作、单向拖曳操作、旋转拖曳操作、轻推操作、放大操作以及缩小操作。

Images