CN104050859A - 可交互数字化立体沙盘系统 - Google Patents

Abstract

一种可交互数字化立体沙盘系统，由立体图像生成系统和人机交互系统两大部分构成；立体图像生成系统采用Opengl等3D引擎绘制三维地形，应用人眼跟踪和指向光技术，实现无辅助立体显示，并且采用一系列图像的加速技术加快图像的渲染过程；使三维建筑模型置于三维地形目标区域中，具有精确的空间分布和良好的视觉效果；立体图像生成系统构成裸眼立体显示器；人机交互系统，指通过手势控制立体图像生成系统中三维地形场景或三维模型数据的系统，通过预置手势识别的接口实现；相对应的手势控制立体图像生成系统中三维地形场景或三维模型数据的放大、缩小、平移、旋转或进入等并且根据需要配置对应的可以区别不同控制意义的手势。

Description

可交互数字化立体沙盘系统

技术领域

本发明涉及裸眼方式生成自由立体场景与人机交互的技术，属于信息显示技术与人机交互领域。 

背景技术

沙盘是一种表达地表三维立体分布、地物目标状态等各种地理环境信息的工具，主要表现的是地形数据，使人们能从微观的角度来了解宏观的事物。沙盘的制作通常是根据地形图、航空像片或实地地形，按一定的比例关系形成的模型，具有形象直观、制作简便、经济实用等特点。 

传统的沙盘用泥沙、兵棋和其它材料堆制，购置速度慢，运输不便，已难以适应当代和未来信息化战场的需要，尤其是现代战争已经发展成为大区域、立体化、多兵种，战争过程瞬息万变、作战时机转瞬即逝，如何发展一种适应现代战争需要的战场态势表达技术，是现代战争的迫切需求。 

随着数字化、信息化技术的不断发展，可交互式的数字化沙盘运用而生。近年来越来越多的应用到规划楼盘、教育尤其是军事领域上，其人与作战环境的虚拟并自然的交互技术集成系统，很大程度上解决了真实作战和训练中的问题，如费用过高、环境限制等。越来越多的受到了各国军方的重视。但是，现在的数字化沙盘全部都是平面的，不能够准确表达三维场景的态势。 

以下是通过南大查新站对国内相似专利的对比分析 

专利[1](CN200920301807。3[P]。2010-7-28)提出了一种“基于实时交互式影像技术”，包括成像模块，交互模块，基础模块。成像模块为投影机组，交互模块分为非接触式交互与接触式交互现，非接触为利用红外摄像头/摄像机设备采集影像，接触式则为采用触摸屏作为输入设备，再将影像输出模块传送到成像模块。基础模块则为适合成像模块成像的材料制成。 

专利[2](CN201110233828。8[P]。2013-2-20)提出了“一种交互式电子沙盘手势识别方法”，使用手势的方式与电子沙盘进行交互，通过不同的手势运动，在沙盘上画出光电运动轨迹，进而通过对光电运动轨迹采用模式识别技术，实现手势识别，最终实现手势对电子沙盘的控制，其中，光电运动轨迹的跟踪采用最小距离算法，对光点运动轨迹采用的模式识别技术为决策树算法。 

专利[3](CN201110233542。X[P]。2012-9-5)提出了一种“基于手势识别的互动沙盘系统”，其特征在于沙盘和和环幕显示控制端发送的内容，沙盘摄像头获取用户手势信息，并发送给控制端，控制端通过判断收到指令的时间，将接收到的手势信息解析为相应的控制指令，并将控制命令发送到相关被控终端。沙盘和环幕接收到控制命令，并执行该命令。互动大型投影屏幕采用大型环幕设计，采用多台投影机，结合同步投影控制技术，曲面矫正技术和边缘融合技术，实现超大环幕投影的无缝拼接和同步投影。 

专利[1]无手势识别内容，且交互实现以触摸屏为介质，3D实现为投影仪组投影实现；专利[2]中主要为手势识别技术，采用的算法与本发明有很大不同且并不涉及3D图像的显示；专利[3]中采取环幕设计和投影技术实现同步投影，用摄像头远距离获取手势信息等关键技术都与本发明所采用技术有何大差别，显示的图像不是立体的。 

综上所述，本发明有如下特点: 

系统实时生成立体影像，以裸眼立体的方式显示立体场景，并可以在用户的手势操作下，不仅可以实现放大、缩小、旋转等基本操作，还可以实现各类标示、标定、量测等功能。 

本发明包括三个方面的技术：1、人机交互，2、裸眼立体显示，3、立体图像实时生成 

在人机交互方面：作为一个独立的重要的研究领域受到了世界上极为广泛地关注。国际上现在已经研究出许多方式来实现人机交互。人们可以利用键盘鼠标、操作杆、位置追踪器、数据手套等设备控制有关设备的运行和理解并执行通过人机交互设备传来的有关的各种命令和要求。20世纪90年代后期以来随着高速处理芯片，多媒体技术和Internet Web技术的迅速发展和普及，人机交互的研究重点放在了智能化互补，多模态(多通道)多媒体交互，虚拟交互以及人机协同交互等方面，也就是放在以人为在中心的人机交互技术方面。可以说世界上在人机交互方面的技术发展才刚刚起步并且正迅速的发展。可以说世界上在人机交互已经开始逐渐被应用起来(电影、娱乐方面)。然而目前我国在人机交互方面的设计与研究与国际同类研究相比还存在较大差距，缺少新的人机技术。而利用指向光技术和人眼检测技术实现的无辅助式裸眼立体显示技术的应用尚未成熟。 

在裸眼3D显示方面：可以说目前的3D技术已经发展的较成熟。市面上也越来越多的能见到3D产品。应用最广泛的就是影视方面。然而虽然立体图像对技术能够提供立体感，但它本质上只是空间中两张或多张平面图像，通过视差而立体成像。但这类技术不仅需借助偏振光片等辅助工具降低了人们体验3D的舒适度，而且使用操作具有极大的局限性，此外这类技术也会使人眼产生矛盾的晶状体焦距调节和实现汇聚调节，长时间观看会产生视觉疲劳。 

发明内容

本发明目的是，提出一种可交互数字化立体沙盘系统，利用裸眼3D技术和触摸技术实现高仿真立体画面和高精度人机互动，大屏(如55寸)的水平显示台产生3D效果，人眼看到的沙盘模型悬浮在屏幕上方。显示台的边框内置手势识别器，通过对手势的识别，使用户可直接触摸自己看到的3D图像实现互动，如旋转，平移，缩放，场景漫游等，并且通过放大楼盘可直接观察到房屋内部细节，让操控者仿佛置身于现实场景。 

本发明的技术方案是，一种可交互数字化立体沙盘系统，主要由立体图像生成系统和人机交互系统两大部分构成； 

1)、立体图像生成系统 

立体图像生成系统采用Opengl，Opencv，Directx或3D引擎绘制三维地形，应用人眼跟踪和指向光技术，实现无辅助立体显示，并且采用一系列图像的加速技术加快图像的渲染过程；使三维建筑模型置于三维地形目标区域中，具有精确的空间分布和良好的视觉效果；立体图像生成系统构成裸眼立体显示器； 

立体图像生成系统采用独自编程，沙盘模型细节众多。不仅可以显示整个地形地貌，并且可以显示战争中用到的军事模型包括坦克、飞机等，并且有绚丽的战争光影效果，预置手势识别的接口通过 手势控制立体图像生成系统中三维地形场景或三维模型数据，因为地形和军事模型非常的复杂，所以程序的数据量非常大。对于这样的数据量，系统采用创新的数据管理方式：即统一的三维地形场景，分块的三维军事模型数据，实现三维军事模型分层调入，使系统既是一个有机的整体，又能快速运行，解决海量数据和运行效率的问题。 

立体图像生成系统中立体图像的获得是利用左右眼看到的图像有细微的差别，从而在大脑中合成一幅具有深度的立体图。用虚拟摄像机拍摄模拟场景，通过坐标变换获得左右图像，对获得的左右图像进行视差控制，基于视差机制，利用Opengl，Opencv，Directx或3D引擎绘制三维地形(进行渲染加速)。因为在视差间距过大的情况下无法在大脑中形成3D图像，所以对获得的左右图像进行视差控制(控制左右图像同名点的间距)；当由于人眼的移动会造成图像汇聚点的移动使立体图像产生畸变，这样就需要采用视觉跟踪的方法使左右图像的汇聚点保持不变，从而实现交互立体图像的生成。 

2)、人机交互系统 

指通过手势控制立体图像生成系统中三维地形场景或三维模型数据的系统，通过预置手势识别的接口实现；可交互数字化立体沙盘系统操作灵活，互操作能力很强。相对应的手势控制立体图像生成系统中三维地形场景或三维模型数据的放大、缩小、平移、旋转或进入等并且根据需要配置对应的可以区别不同控制意义的手势；由立体相机拍摄并取得手势三维信息，利用中点补偿算法对原始采样点进行处理，建立隐性马尔科夫模型，将手势空间分布特征，与样本库进行相似度对比，识别手势具体含义。 

还包括通过自然的手势控制，可以在三维场景中前进、后退，升高、降低视点、进入三维地形场景或三维模型数据观察内部细节(如楼盘内部观察房间内部的细节，并可以在房间中看到周围的建筑和风景，给人一种极致的人机交互体验)。图11显示了可以实现的手势操作。无侵扰手势识别装置、且实时立体内容生成构成实时的人机立体图像(影像)的生成交互； 

裸眼立体显示器放置无侵扰手势识别装置，通过对手势的识别，实现3D图像多人实时互动。利用裸眼3D技术和无侵扰手势识别技术实现高仿真立体画面和高精度人机互动，人眼看到的沙盘模型悬浮在裸眼立体显示器上方。 

所述的人机交互,根据实时记录大视角、大动态范围的用户活动区域，利用帧间差分的识别方法，达到手势对三维场景的实时控制。 

采用人眼跟踪和指向光技术，人眼位置的探测为非接触式，用户无需佩戴任何辅助装置。 

拥有手势探测的基本摄像模块，基于视觉感知的手势运动轨迹的描述，拥有手势的 理解与识别算法，实现规定手势的自动识别。近场手势交互，多个手势识别的摄像头进行手势的捕捉，可实现无侵扰手势识别，手势定位的精度达到厘米级别。 

本系统采用的是近场手势交互技术，结合计算机视觉检测技术检测手指的位置，引导立体图像生成模块生成对应的立体像对，以实现可操控，可交互的技术要求。拥有手势探测的基本摄像模块，实时记录大视角、大动态范围的用户活动区域；拥有基于视觉感知的手势运动轨迹的描述，从而形成关于手势基本点云描述；拥有手势的理解与识别算法，实现规定手势的自动识别。 

根据用户的实时动态，手势的变换控制，裸眼立体显示器实时更新场景的显示。 

本发明的有益效果是：由于是近场手势识别，所以手势识别的精度很高，对于手指和手握物体能够进行区分，并分别进行处理。手势定位的精度达到厘米级别，另外由于单个手势识别器的识别范围有限，所以需要多个手势识别的摄像头进行手势的捕捉，并对不同区域的手势进行不同的分割处理，并采用帧间差分的方法提取出手势的运动矢量，采用隐马尔科夫模型进行处理。并且通过实时算法，使得图像根据手势进行实时变化。 

附图说明

图1世界坐标系到相机坐标系、相机坐标系到图像坐标系、图像坐标系到显示坐标系的变换的具体流程图。 

图2Opengl根据高度信息生成的3D高度图。 

图3本发明立体显示器人机交互的相互关系。 

图4汇聚式相机模型示意图。 

图5平行式相机模型示意图。 

图6观看模型示意图。 

图7图像畸变示意图。 

图8中A-D四种立体图像畸变示意图。 

图9中A、B分别是图像畸变模型与畸变校正处理。 

图10中A-D四种手势检测举例。 

图11手势动作说明。 

图中，PC终端1、视频接口2、视差照明3、3D裸眼显示屏4、虚拟物体5、人眼跟踪器6、手势探测器7。 

具体实施方式

1)、手势定位与理解 

利用基于肤色检测的方法提取用户的手所在的大致区域，采用帧间差分的方法提取手势的运动矢量；通过连续视频帧的相邻两帧图像的灰度值的差分信息得到手的运动区域，利用立体相机的图像匹配分析手指所处的三维坐标参数。通过上述几项手段，最终确定手势的三维点云数据。 

对于手势的理解主要包括对于重采样的手势进行特征提取，以及建立隐性马尔可夫模型(Hidden Markov Model，HMM)一种统计分析模型)采样点进行分析。手势识别模块的总体目标是构建一个健壮的分类器，以对手绘手势进行分类和识别在对手势的重采样，利用中点补偿算法对原始采用点进行处理。采样点能较好反应曲率特征的变化又能够有效控制点集的规模，再建立一个高效的HMM隐马尔可夫模型，保证观测序列具有一定的规律性，基于方向编码来较好地满足HMM建模的需求。 

2)、手势交互技术的实现 

手势交互的实现分为手势跟踪与手势识别两大主体部分： 

手势的跟踪由静态手势识别部分，手势图像与模型的匹配部分及跟踪部分组成。静态手势识别部分实现了对当前帧中手势姿态的理解；手势图像与模型的匹配利用第一部分即上述1)的识别结果，包含手势的图像需要与2D模型进行匹配得到跟踪所需要的特征矢量和初始参量；跟踪部分则先进行手区域的粗定位，再确定手指指尖位置的变化，以及利用手的结构特征定位手掌位置。 

无侵扰手势识别技术是基于手势空间分布特征的手势识别算法，手势空间分布特征(HDF)是对人手空间特征的抽象描述。其中最重要的就是提取肤色和手势空间的特征向量，并将提取的手势空间分布特征与样本库进行相似度比较，识别手势的具体含义。提取空间分布特征一般从整体姿态和局部姿态2个方面进行。将手势的整体表现特征与手势的关节变化特性结合起来提取手势的空间分布特征，不仅能够识别区分度较小的手势，还能区分一定弯曲变形的手势。图11为建立隐马尔科夫模型后的手势动作识别库举例，是对不同手势动作的识别，也包括手中刚体的识别。通过手势探测器提取手势的特征给出手势的命令的意思并通过PC接口，由PC对相应的3D图案：放大、缩小、平移、旋转或进入。 

3)、立体图像生成 

立体图像生成基于双视点立体图像的基本原理，实时、快速地生成可交互的立体像对，并按照立体显示终端的要求输出制定的立体图像格式。在OpenGL应用程序接口中，专门提供了渲染多视角的函数，来正确获取左右视差图像。即通过PC终端1、视频接 口2、视差照明3器件在3D裸眼显示屏4上显示，虚拟物体5在屏上，人眼跟踪器6用于对人眼跟踪。 

首先构建虚拟场景，设置左右虚拟相机模拟观看者的双眼捕获左右图像，通过视频接口2和视差照明3提供给显示终端。通过两架虚拟相机模拟双眼获取立体图像对，有两种立体相机模型，汇聚式立体相机模型(图4)和平行式立体相机模型(图5)。汇聚式立体相机模型两架相机的光轴相交于一点，适用于近景的拍摄；平行式立体相机模型光轴互相平行，相当于光轴相交于无穷远处，该模型适用于远景的拍摄。建立数学模型，以两架相机连线中点为原点建立世界坐标系，以两架相机为原点建立相机坐标系，以相机CCD投影面中心为原点建立图像坐标系，以显示器中心为原点建立显示坐标系，立体相机拍摄的过程可以提炼为数学模型上的世界坐标系到相机坐标系、相机坐标系到图像坐标系、图像坐标系到显示坐标系的变换，具体流程图1所示。 

通常为解决立体图像的重影和视觉疲劳问题，经常用一个比实际瞳孔距离小的间距作为立体图像生成的参数来解决这个问题。然而这种做法会引入立体图像畸变的问题，减小感知到的立体图像的深度，尤其是在人眼跟踪的立体交互图像生成过程中这种畸变效果更加明显。如图7所示，黑色的水平线代表零视差面，底下的黑点代表实际的物体所在位置，红色的点代表用户感知的物体位置，零视差面上方深蓝色的点代表实际人眼的间距，而浅蓝色的点代表设定的人眼间距，设定的人眼间距比实际值要小，当用户由左边位置移动到右边时可以看到用户感知的事物位置和实际位置发生了偏移，而且前后感知到的位置也不在同一点。这种畸变在用户观察立体图像时产生的效果如图8所示，图8中黑色的网格代表实际的物体，红色的网格代表用户感知的立体图像。图中展示了四种不同情况下的畸变情况。而且这种畸变在设定瞳孔间距与实际人眼间距差异愈大畸变愈严重。 

为消除畸变，可以建立一个畸变模型(如图9左)，以零视差平面中心为原点，垂直于该面为Z轴，水平方向为X轴。在该图中实际人眼连线的向量为2D，计算机设定的人眼连线向量为rD，双眼中心坐标为I，实际物体位置为E点，用户感知的物体位置为F点。可以定义一个转换矩阵，通过该转换矩阵可以在世界坐标系中将E点转换到F点，即F＝Δ(E)。通过在坐标系中的转换可以有效地减小畸变问题，如(图9右)所示，红色的网格为畸变图像，蓝色的网格为进行逆畸变Δ^-1处理后的图像。可以看出进 行逆畸变处理可以有效的还原真实的场景。 

4)、基于视差机制的图像加速方法 

在虚拟场景中，根据一系列点的三维信息，利用现有程序OPENGL绘制三角形渲染出整个场景，再加以纹理贴图就可以完成地图渲染，我们可以在初始化过程中将所有点的信息存入GPU中这样在渲染的过程中就无需频繁的读取内存中的数据，加以渲染过程。在渲染之前对地形各个快进行裁剪测试，这样我们在绘制地图中较远的场景时就可以使用较少的三角形进行渲染，对于不在视野范围内的场景不进行渲染，这样就可以加快图像的渲染过程。 

实施例1： 

实际装置中，我们采用的手势识别装置是Leap motion。Leap motion传感器根据内置的两个摄像头从不同的角度捕捉的画面，重建出手掌在真是世界三维空间的联动信息。检测的范围大体在传感器上方25毫米到600毫米之间，检测的空间大体是一个到四棱锥体。 

首先，Leap Motion传感器会建立一个直角坐标系，坐标的原点式传感器的中心，坐标的X轴平行于传感器，指向屏幕右方。Y轴指向上方。Z轴之相背离屏幕的方向。单位为真实世界的毫米。在使用过程中，Leap Motion传感器会定期的发送关于手的联动信息，每份这样的信息称为「帧」。每一个这样的帧包含检测到的： 

·所有手掌的列表及信息； 

·所有手指的列表及信息； 

·手持工具(细的，笔直的，比手指长的东西，例如一枝笔)的列表及信息； 

·所有可指向对象(Pointable Object)，即所有手指和工具的列表及信息； 

Leap传感器会给所有这些分配一个唯一标识(ID)，在手掌、手指、工具保持在视野范围内时，是不会改变的。根据这些ID，可以通过Frame::hand()，Frame::finger()等函数来查询每个连动对象的信息。 

然后根据每帧和前帧检测到的数据，生成运动信息。例如，若检测到两只手，并且两只手都超一个方向移动，就认为是平移；若是像握着球一样转动，则记为旋转。若两只手靠近或分开，则记为缩放。所生成的数据包含： 

·旋转的轴向向量； 

·旋转的角度(顺时针为正)； 

·描述旋转的矩阵； 

·缩放因子； 

·平移向量； 

实施例2： 

实际成品如图3所示。该产品由55寸3D液晶显示屏，三维手势精确定位元件，手势协处理器，电子计算机集成而成，可配置底座，采用集成化无缝设计。只有显示屏暴露在外，三维手势精确定位元件和手势协处理器元件(手势探测器)暗藏在显示屏的周边。 

如图3所示，用户在显示器前方左右前后移动时，人眼跟踪装置将用户位置实时监测到；与此同时，收拾探测其探测用户双手的操作姿态。用户的眼睛位置，手势动作信息被实时传输给PC机，PC机根据用户观看点、手部动作而实时生成相对应的一对立体图像并显示在显示屏上。由于对人眼位置、手势动作的探测是接触式的，用头部、手部无需佩戴任何辅助装置，从而实现无侵扰人机交互。 

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。 

Claims (9)

1.一种可交互数字化立体沙盘系统，其特征是由立体图像生成系统和人机交互系统两大部分构成；

1)、立体图像生成系统

立体图像生成系统采用Opengl，Opencv，Directx或3D引擎绘制三维地形，应用人眼跟踪和指向光技术，实现无辅助立体显示，并且采用一系列图像的加速技术加快图像的渲染过程；使三维建筑模型置于三维地形目标区域中，具有精确的空间分布和良好的视觉效果；立体图像生成系统构成裸眼立体显示器；

立体图像生成系统采用独自编程，沙盘模型细节众多。不仅可以显示整个地形地貌，并且可以显示战争中用到的军事模型包括坦克、飞机等，并且有绚丽的战争光影效果，预置手势识别的接口通过手势控制立体图像生成系统中三维地形场景或三维模型数据，因为地形和军事模型非常的复杂，所以程序的数据量非常大。对于这样的数据量，系统采用创新的数据管理方式：即统一的三维地形场景，分块的三维军事模型数据，实现三维军事模型分层调入，使系统既是一个有机的整体，又能快速运行，解决海量数据和运行效率的问题。

立体图像生成系统中立体图像的获得是利用左右眼看到的图像有细微的差别，从而在大脑中合成一幅具有深度的立体图。用虚拟摄像机拍摄模拟场景，通过坐标变换获得左右图像，对获得的左右图像进行视差控制，基于视差机制，利用Opengl，Opencv，Directx或3D引擎绘制三维地形(进行渲染加速)。因为在视差间距过大的情况下无法在大脑中形成3D图像，所以对获得的左右图像进行视差控制(控制左右图像同名点的间距)；当由于人眼的移动会造成图像汇聚点的移动使立体图像产生畸变，这样就需要采用视觉跟踪的方法使左右图像的汇聚点保持不变，从而实现交互立体图像的生成。

2)、人机交互系统

指通过手势控制立体图像生成系统中三维地形场景或三维模型数据的系统，通过预置手势识别的接口实现；相对应的手势控制立体图像生成系统中三维地形场景或三维模型数据的放大、缩小、平移、旋转或进入等并且根据需要配置对应的能区别不同控制意义的手势；由立体相机拍摄并取得手势三维信息，利用中点补偿算法对原始采样点进行处理，建立隐性马尔科夫模型，将手势空间分布特征，与样本库进行相似度对比，识别手势具体含义；

还包括通过自然的手势控制，在三维场景中前进、后退，升高、降低视点、进入三维地形场景或三维模型数据观察内部细节；

手势识别的接口连接无侵扰手势识别或监测装置、通过对手势的识别，且实时立体内容生成构成实时的人机立体图像(影像)的生成实时交互。

2.根据权利要求1所述的可交互数字化立体沙盘系统，其特征是裸眼立体显示器放置无侵扰手势识别装置，利用裸眼3D技术和无侵扰手势识别技术实现高仿真立体画面和高精度人机互动，人眼看到的沙盘模型悬浮在裸眼立体显示器上方。

3.根据权利要求1所述的可交互数字化立体沙盘系统，其特征是所述的人机交互,拥有手势探测的基本摄像模块，通过多个摄像头或者手势识别元件，同时提取多个手势，范围覆盖整个屏幕，利用帧间差分的识别方法，将不同用户的手势分别提取出来，并将手势识别的反馈实时显示在图像上，达到手势对三维场景的实时控制。

4.根据权利要求1所述的可交互数字化立体沙盘系统，其特征是采用人眼跟踪和指向光技术，人眼位置的探测为非接触式。

5.根据权利要求1所述的可交互数字化立体沙盘系统，其特征是拥有手势探测的基本摄像模块，基于视觉感知的手势运动轨迹的描述，拥有手势的理解与识别算法，即基于手势空间分布特征的手势识别算法，手势空间分布特征(HDF)是对人手空间特征的抽象描述；其中最重要的就是提取肤色和手势空间的特征向量，并将提取的手势空间分布特征与样本库进行相似度比较，识别手势的具体含义；提取空间分布特征一般从整体姿态和局部姿态2个方面进行。然后将手势的整体表现特征与手势的关节变化特性结合起来提取手势的空间分布特征，从而实现规定手势的自动识别。

6.根据权利要求1所述的可交互数字化立体沙盘系统，其特征是系统采用的是近场手势交互技术，多个手势识别的摄像头进行手势的捕捉，结合计算机视觉检测技术检测手指的位置，采用肤色识别等技术将手势动作提取出来，根据隐马尔科夫模型引导立体图像生成模块生成对应的立体图像对，通过手势动作和预置的模型进行比较，从而反馈出相应的图像变化信号，以实现可操控，可交互。

7.根据权利要求1所述的可交互数字化立体沙盘系统，其特征是设有基于视觉感知的手势运动轨迹的描述，从而形成关于手势基本点云描述；拥有手势的理解与识别算法，实现规定手势的自动识别；根据用户的实时动态，手势的变换控制，裸眼立体显示器实时更新场景的显示。

8.根据权利要求1所述的可交互数字化立体沙盘系统，其特征是为消除畸变，建立一个畸变模型，以零视差平面中心为原点，垂直于该面为Z轴，水平方向为X轴。在该图中实际人眼连线的向量为2D，计算机设定的人眼连线向量为rD，双眼中心坐标为I，实际物体位置为E点，用户感知的物体位置为F点；通过定义一个转换矩阵，通过该转换矩阵可以在世界坐标系中将E点转换到F点，即F＝Δ(E)。

9.根据权利要求1所述的可交互数字化立体沙盘系统，其特征是通过在坐标系中的转换有效地减小畸变问题。