CN104834917A - 一种混合运动捕捉系统及方法 - Google Patents

Abstract

本发明提供一种混合运动捕捉系统及方法，该混合运动捕捉系统包括：至少一惯性传感器模块，至少一光学标识，至少两个光学摄像头及接收处理器，惯性传感器模块与接收处理器连接，光学摄像头与接收处理器连接，惯性传感器模块及光学标识安装在待测量对象上；惯性传感器模块测量惯性信息及空间姿态信息；光学摄像头获取光学标识的图像信息；接收处理器根据惯性信息及空间姿态信息生成基于惯性的位置信息；根据图像信息生成基于光学标识点的位置信息，将基于惯性的位置信息及基于光学标识点的位置信息进行整合，生成待测对象的位置信息。本发明可以将基于光学运动捕捉和基于惯性的运动捕捉的优点结合，同时能够避开两种运动捕捉方式各自的缺点。

Description

一种混合运动捕捉系统及方法

技术领域

本发明是关于运动捕捉技术，特别是关于一种混合运动捕捉系统及方法。

背景技术

近年来，运动捕捉技术开始广泛应用于体育运动的动作捕捉与分析。运动捕捉技术可以以数字的方式记录对象的动作，当前常用的运动捕捉技术主要包括光学式运动捕捉和基于惯性传感器的运动捕捉。

光学式运动捕捉系统包含多个相机，环绕待测物体排列，待测物体的运动范围处于相机的重叠区域。待测物体的关键部位贴上一些特质的反光点或者发光点作为视觉识别和处理的标识。系统标定后，相机连续拍摄物体的运动并把图像序列保存下来进行分析和处理，计算每一个标识点在某一瞬间的空间位置，并从而得到其准确的运动轨迹。光学式运动捕捉的优点是没有机械装置、有线电缆等的限制，允许物体的运动范围较大，并且采样频率较高。但是这种系统只能捕捉相机重叠区域的物体运动，而且当运动比较复杂时，标识容易混淆和遮挡，从而产生错误的结果。

传统的机械式惯性传感器长期应用于飞机、船舶的导航，随着微机电系统(MEMS)技术的高速发展，微型惯性传感器的技术成熟，近年来，人们开始尝试基于微型惯性传感器的运动捕捉。基本方法是把惯性测量单元(IMU)连接到待测物体上并跟随待测物体一起运动。惯性测量单元通常包括微加速度计(测量加速度信号)以及微陀螺仪(测量角速度信号)，通过对加速度信号的二次积分以及陀螺仪信号的积分，可以得到待测物体的位置信息以及方位信息。由于MEMS技术的应用，IMU的尺寸和重量可以做的很小，从而对待测物体的运动影响很小，并且对于场地的要求低，不受光线以及遮挡的影响,允许的运动范围大。但是基于惯性的运动捕捉存在积分漂移导致运动捕捉的精度降低。

美国专利US8203487揭示了一种结合超宽带(UWB)测量和MEMS惯性测量的运动捕捉系统与方法。该系统包括：1)传感器单元，包含一个或者多个UWB脉冲发射器以及一系列的惯性传感器；2)一系列UWB接收器单元，远程接收UWB发射器发送来的脉冲信号，以获得每个传感器的到达时间(TOA)，其中UWB发射器与惯性传感器在硬件上进行了同步；3)接收处理器，接收到达时间信息以及惯性信息，并对这些信息进行整合处理以获取对象的位置和姿态。

上述系统采用UWB来跟惯性传感器结合使用进行定位，由于UWB的定位精度较差，虽然通过惯性传感器的结合以及一定的算法处理使得捕捉的运动轨迹比较平滑，但是对于提升定位精度帮助有限。同时，UWB定位只能进行水平面内的定位，对于竖直方向不能进行定位，上述技术方案采用压力计来克服这个问题，但是压力计本身的定位精度也比较差。此外，该方案需要架设多个接收器，对于需要变换场景的运动捕捉，设备的重新架设和调试耗时较长。

美国专利US20130028469(公开号)将光学标识点与惯性传感器结合进行对象位置和姿态的捕捉，通过一个标识确定单元确定光学标识点在2D图像里面的位置，通过一个深度确定单元确定光学标识点在深度图像中的深度，然后由基于光学标识的估算器将光学标识点在2D图像中的位置和深度图中的深度结合起来获得标识点的3D位置。同时通过一个惯性传感器单元获得基于惯性的姿态和位置。最后整合估算器根据对象的速度、位置以及标识点信号情况给与基于标识点的位置和基于惯性的位置不同的权重来获取最后的整合位置和姿态。

由于上述方案采用单节点的运动捕捉方式，不能对多关节对象的复杂运动进行捕捉。

发明内容

本发明提供一种混合运动捕捉系统及方法，以将基于光学运动捕捉和基于惯性的运动捕捉的优点结合，同时能够避开两种运动捕捉方式各自的缺点。

为了实现上述目的，本发明实施例提供一种混合运动捕捉系统，所述的混合运动捕捉系统包括：至少一惯性传感器模块，至少一光学标识，至少两个光学摄像头及一接收处理器，所述的惯性传感器模块与所述的接收处理器无线连接，所述的光学摄像头与所述的接收处理器有线或无线连接，所述惯性传感器模块及光学标识安装在待测量对象上；其中，

所述的惯性传感器模块，用于测量自身的惯性信息及空间姿态信息；

所述的光学摄像头，用于获取所述光学标识的图像信息；

所述的接收处理器，接收所述的惯性信息、空间姿态信息及图像信息，根据所述的惯性信息及空间姿态信息生成基于惯性的位置信息；根据所述的图像信息生成基于光学标识点的位置信息，并将所述基于惯性的位置信息及基于光学标识点的位置信息进行整合，生成所述待测对象的位置信息。

在一实施例中，所述的惯性传感器模块包括：

三轴MEMS加速度计，用于测量所述惯性传感器模块自身的加速度信息；

三轴MEMS陀螺仪，用于测量所述惯性传感器模块自身的角速度信息；

三轴MEMS磁力计，用于测量所述惯性传感器模块自身的地磁向量；

CPU，连接所述的三轴MEMS加速度计、三轴MEMS陀螺仪及三轴MEMS磁力计，用于对所述的角速度信息进行积分，生成动态空间方位，根据所述的加速度信息及地磁向量生成静态绝对空间方位，并利用所述静态绝对空间方位对所述动态空间方位进行修正，生成所述的空间姿态信息；

RF收发器，连接所述的CPU，用于将所述的空间姿态信息及惯性信息发送给所述的接收处理器，所述惯性信息包括所述的加速度信息及角速度信息。

在一实施例中，部分所述惯性传感器模块与所述部分光学标识两两集成在一起，形成至少一惯性标识点。

在一实施例中，所述的接收处理器具体用于：对所述的加速度进行二次积分生成所述基于惯性的位置信息，然后基于生物力学约束以及外界约束对所述基于惯性的位置信息进行修正，生成修正后的基于惯性的位置信息。

在一实施例中，所述的接收处理器将所述基于惯性的位置信息及基于光学标识点的位置信息进行整合时，具体用于：当光学标识发生遮挡或者重叠时，以所述修正后的基于惯性的位置信息生成所述待测对象的位置信息；当重新获得所述基于光学标识的位置时，计算基于光学标识的测量误差a及基于惯性的测量误差b，根据测量误差a及测量误差b分别赋予所述基于光学标识的位置信息及修正后的基于惯性的位置信息权重A及权重B，生成所述待测对象的位置信息。

在一实施例中，所述的权重A及权重B的计算公式如下：

$A=\frac{\left|b\right|}{\left|a\right|+\left|b\right|};$

$B=\frac{\left|a\right|}{\left|a\right|+\left|b\right|}.$

在一实施例中，所述的光学标识为反射性的被动光学标识。

在一实施例中，所述的光学标识为发光性的主动光学标识。

在一实施例中，所述的光学摄像头为多个分立的单目摄像头，通过固定安装或者三脚架安装的方式安装到一定的区域。

在一实施例中，所述的光学摄像头为至少一组双目摄像头或者多目摄像头，通过三脚架安装或者固定安装的方式安装到一定的区域。

为了实现上述目的，本发明实施例还提供了一种混合运动捕捉方法，应用于上述的混合运动捕捉系统，所述的混合运动捕捉方法包括：

接收所述惯性传感器模块测量的自身的惯性信息及空间姿态信息，并根据所述的惯性信息及空间姿态信息生成基于惯性的位置信息；

接收所述摄像头拍摄的所述光学标识的图像信息，并根据所述的图像信息生成基于光学标识点的位置信息；

将所述基于惯性的位置信息及基于光学标识点的位置信息进行整合，生成所述待测对象的位置信息。

在一实施例中，所述根据所述的惯性信息及空间姿态信息生成基于惯性的位置信息，包括：对所述的加速度进行二次积分生成所述基于惯性的位置信息，然后基于生物力学约束以及外界约束对所述基于惯性的位置信息进行修正，生成修正后的基于惯性的位置信息。

在一实施例中，所述将所述基于惯性的位置信息及基于光学标识点的位置信息进行整合，生成所述待测对象的位置信息，包括：当光学标识发生遮挡或者重叠时，以所述修正后的基于惯性的位置信息生成所述待测对象的位置信息；当重新获得所述基于光学标识的位置时，计算基于光学标识的测量误差a及基于惯性的测量误差b，根据测量误差a及测量误差b分别赋予所述基于光学标识的位置信息及修正后的基于惯性的位置信息权重A及权重B，生成所述待测对象的位置信息。

在一实施例中，所述的权重A及权重B的计算公式如下：

$A=\frac{\left|b\right|}{\left|a\right|+\left|b\right|};$

$B=\frac{\left|a\right|}{\left|a\right|+\left|b\right|}.$

通过本发明，可以将基于光学运动捕捉和基于惯性的运动捕捉的优点结合，同时能够避开两种运动捕捉方式各自的缺点，从而实现对人体精细动作的精准捕捉。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的混合运动捕捉系统的结构示意图一；

图2为本发明实施例的惯性传感器模块101的结构示意图；

图3为本发明实施例的接收处理器104的结构框图；

图4为本发明实施例的惯性标识点的结构示意图；

图5为本发明实施例的混合运动捕捉系统的结构示意图二；

图6为本发明实施例的混合运动捕捉方法流程图；

图7为本发明实施例的混合运动捕捉系统的结构示意图三；

图8为本发明实施例的混合运动捕捉系统对人体的运动进行捕捉及数据处理过程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供一种混合运动捕捉系统，该混合运动捕捉系统包括：至少一惯性传感器模块101，至少一光学标识102，至少两个光学摄像头103及接收处理器104。

惯性传感器模块101与接收处理器无线连接，例如可以通过射频(RF)收发器连接。光学摄像头103与接收处理器103以有线或无线方式连接。惯性传感器模块101及光学标识102分别安装在待测量对象上。

惯性传感器模块101可以有多个，分别安装在待测对象的不同位置，惯性传感器模块101可以测量其自身的惯性信息及空间姿态信息，并将惯性信息及空间姿态信息传送给接收处理器104。

光学标识102可以有多个，分别安装在待测对象的不同位置，光学摄像头103至少有两个，固定在待测对象附近的区域。光学摄像头103可以拍摄安装在待测对象不同位置的光学标识102的图像信息，并将图像信息传送给接收处理器104。

接收处理器104接收上述的惯性信息、空间姿态信息及图像信息，可以根据惯性信息及空间姿态信息生成基于惯性的位置信息，还可以根据图像信息生成基于光学标识点的位置信息，并将基于惯性的位置信息及基于光学标识点的位置信息进行整合，生成待测对象的位置信息。

本发明可以通过惯性传感器模块101获取惯性信息及空间姿态信息，同时可以通过光学摄像头103获取安装在待测对象不同位置的光学标识102的图像信息，然后通过接收处理器104根据惯性信息及空间姿态信息生成待测对象的基于惯性的位置信息，根据图像信息生成基于光学标识点的位置信息，最后接收处理器104将基于惯性的位置信息及基于光学标识点的位置信息进行整合，生成待测对象的位置信息。通过该混合运动捕捉系统，可以将基于光学运动捕捉和基于惯性的运动捕捉的优点结合，同时能够避开两种运动捕捉方式各自的缺点。

在一实施例中，如图2所示，惯性传感器模块101包括：三轴MEMS加速度计201，三轴MEMS陀螺仪202，三轴MEMS磁力计203，CPU204，RF收发器205。

三轴MEMS加速度计201可以测量惯性传感器模块101自身的加速度信息，三轴MEMS陀螺仪202可以测量所述惯性传感器模块自身的角速度信息，三轴MEMS磁力计203可以测量所述惯性传感器模块自身的地磁向量。

CPU204连接所述的三轴MEMS加速度计201、三轴MEMS陀螺仪202及三轴MEMS磁力计203，可以对三轴MEMS陀螺仪202测量的角速度信息进行积分，生成动态空间方位，积分公式为：其中，θ_T及θ₀为空间方位，ω_t为角速度，根据上述积分公式，就可以得到动态空间方位信息。

CPU204还可以根据三轴MEMS加速度计201测量的加速度信息及地磁向量生成静态绝对空间方位，然后利用静态绝对空间方位对动态空间方位进行修正，生成惯性传感器模块101的空间姿态信息，亦即待测对象的惯性传感器安装部位的空间姿态信息。

RF收发器205连接CPU204，通过RF收发器205，可以将待测对象的空间姿态信息及惯性传感器模块101惯性信息发送给接收处理器104，在一实施例中，惯性信息包括加速度信息及角速度信息。

惯性传感器模块101还可以包括电池206及直流转换器207。

如图3所示，接收处理器104包括处理器301及RF收发器302，处理器301与RF收发器302有线连接，RF收发器302可以无线连接RF收发器205，从RF收发器205接收惯性信息、空间姿态信息及图像信息，并发送给处理器301。

处理器301接收到惯性信息及空间姿态信息后，首先需要惯性信息中的加速度进行二次积分生成基于惯性的位置信息。

上述的二次积分公式为：其中，P表示位移，v为速度，a为加速度，T为终止时刻，0为初始时刻，t为中间时刻。

具体实施时，为了使上述得到的基于惯性的位置信息更准确，需要并根据生物力学约束(比如关节相连的约束等)及与外界约束(如与地面接触的约束等)，对基于惯性的位置信息进行修正，生成修正后的基于惯性的位置信息。

生物力学约束修正公式为：P＝P_a+K(P_θ-P_a)，其中，P_a为根据加速度二次积分计算的某骨骼的位移，P_θ为根据骨骼相连的关系、各骨骼的空间方位以及基点的空间位置计算的同一骨骼的位移，K为采用卡曼滤波或者其他方法计算的比例因子，其大小取决于P_a与P_θ的误差的相对大小，此处仅列举了骨骼相连的生物力学约束位移修正，其他的生物力学约束如各个关节的允许自由度、允许的骨骼之间相对运动范围等不再赘述。通过上述生物力学约束修正可知，该修正需要利用空间姿态信息，空间姿态信息包括各骨骼的空间方位及基点的空间位置等。

与外界约束的修正公式为：P′＝P+(P_o-P_c)，其中，P′为修正后的身体某部位的位移，P为计算的修正前身体某部位的位移，P_c为计算的修正前人体104处于接触点的身体部位的位移，P_o为接触点外界的位移。例如当判定人体单脚站立触地时，则拿触地处地面的位移减去触地的脚底的计算的位移，把这个位移差叠加到身体所有部位的计算的位移上去，就得到修正后的全身的位移。这个修正位移的方法同样适用于全身速度的修正以及其他类型的接触修正。

处理器301接收到光学标识的图像信息后，可以根据该图像信息生成基于光学标识点的位置信息，通过多个光学摄像头从不同角度拍摄每一个光学标识的图像信息，可以得到光学标识每一时刻的空间坐标，进而得到光学标识点的位置信息。

处理器301还需要将基于惯性的位置信息及基于光学标识点的位置信息进行整合，生成待测对象的位置信息，在一实施例中，将基于惯性的位置信息及基于光学标识点的位置信息进行整合的方法是，当光学标识发生遮挡或者重叠时，以上述修正后的基于惯性的位置信息生成待测对象的位置信息。

当重新获得基于光学标识的位置时，将同时以基于光学标识的位置信息和基于惯性的位置信息对待测对象的运动进行估算。估算方法为：根据基于光学标识的测量误差a赋予基于光学标识的位置信息以权重A，根据基于惯性的测量误差b赋予基于惯性的位置信息以权重B。其中，测量误差小的位置信息被赋予的权重大，而测量误差大的位置信息被赋予的权重小。

在一实施例中，可以事先评估基于光学标识和基于惯性的相对误差的大小a和b，而赋予基于光学标识的位置信息以固定的权重A和基于惯性的位置信息以固定的权重B，权重A及权重B可以通过如下公式计算：

$A=\frac{\left|b\right|}{\left|a\right|+\left|b\right|}---\left(1\right)$

$B=\frac{\left|a\right|}{\left|a\right|+\left|b\right|}---\left(2\right)$

其中，a为上述基于光学标识的测量误差，b为上述基于惯性的测量误差。

权重A及权重B的计算方法不以此为限，本领域技术人员的其它权重计算方法也可适用本发明，不再赘述。

在另一实施例中，通过采用一定的滤波算法(如卡尔曼滤波算法等)，在线对上述两种测量误差进行评估，并实时的赋予基于光学标识的位置信息和基于惯性的位置信息以相应的权重，权重的计算方法也可以利用公式(1)及公式(2)进行。

需要说明的是，通常光学测量的误差比较小，因而基于光学的位置信息的权重会比较大，当光学标识可见时，对象的位移会逐渐逼近基于光学标识的位置信息。当因遮挡或者重叠等情况而不能获得基于光学标识的位置信息时，基于光学标识的位置信息的权重才被赋予0，待测对象的运动将以基于惯性的位置信息为准。

光学标识的特定的位置可能被遮挡，或者出现位置重叠情况，如果仅采用基于光学标识点的位置信息进行待测对象的位置定位，将无法准确获得待测对象的位置信息。通过获得基于惯性的位置信息作为基于光学标识点的位置信息的补充，可以弥补仅采用基于光学标识点的位置信息对待测对象的位置定位的不足。

图1中的混合运动捕捉系统可以包括多个惯性传感器模块101及多个光学标识102，一个惯性传感器模块101与一个光学标识102可以集成在一起，形成惯性标识点，惯性标识点可以有多个，如图4及图5所示。

具体实施时，混合运动捕捉系统中可以包括至少一个惯性标识点、多个惯性传感器模块101及多个光学标识102，可以包括至少一个惯性标识点及多个惯性传感器模块101，可以包括至少一个惯性标识点及多个光学标识102，可以包括多个惯性标识点，还可以包括多个惯性传感器模块101及至少一个光学标识102。

光学标识可以为反射性的被动光学标识，如能够反光的标识，也可以为发光性的主动光学标识，如红外发光器等。

光学摄像头103设置于远离待测对象的某一区域，在一实施例中，光学摄像头103为多个分立的单目摄像头，通过固定安装或者三脚架安装的方式安装到一定的区域。在另一实施例中，光学摄像头103也可以为至少一组双目摄像头或者多目摄像头，通过三脚架安装或者固定安装的方式安装到一定的区域。

如图6所示，本发明实施例提供一种混合运动捕捉方法，该方法可以应用于上述的混合运动捕捉系统，该混合运动捕捉方法包括：

步骤601：接收所述惯性传感器模块测量的自身的惯性信息及空间姿态信息，并根据所述的惯性信息及空间姿态信息生成基于惯性的位置信息；

步骤602：接收所述摄像头拍摄的所述光学标识的图像信息，并根据所述的图像信息生成基于光学标识点的位置信息；

步骤603：将所述基于惯性的位置信息和基于光学标识的位置信息进行整合，得到待测对象最终的位置信息。

上述混合运动捕捉方法的执行主体可以是混合运动捕捉系统的接收处理器101，本发明不以此为限。

本发明可以根据惯性信息及空间姿态信息生成待测对象的基于惯性的位置信息，根据图像信息生成基于光学标识点的位置信息，最后将基于惯性的位置信息及基于光学标识点的位置信息进行整合，生成待测对象的位置信息。通过该混合运动捕捉方法，可以将基于光学运动捕捉和基于惯性的运动捕捉的优点结合，同时能够避开两种运动捕捉方式各自的缺点。

上述步骤601具体实施时，接收到惯性信息及空间姿态信息后，首先需要惯性信息中的加速度进行二次积分生成基于惯性的位置信息。

上述的二次积分公式为：其中，P表示位移，v为速度，a为加速度，T为终止时刻，0为初始时刻，t为中间时刻。

具体实施时，为了使上述得到的基于惯性的位置信息更准确，需要根据生物力学约束(比如关节相连的约束等)及与外界约束(如与地面接触的约束等)，对基于惯性的位置信息进行修正，生成修正后的基于惯性的位置信息。

生物力学约束修正公式为：P＝P_a+K(P_θ-P_a)，其中，P_a为根据加速度二次积分计算的某骨骼的位移，P_θ为根据骨骼相连的关系、各骨骼的空间方位以及基点的空间位置计算的同一骨骼的位移，K为采用卡曼滤波或者其他方法计算的比例因子，其大小取决于P_a与P_θ的误差的相对大小，此处仅列举了骨骼相连的生物力学约束位移修正，其他的生物力学约束如各个关节的允许自由度、允许的骨骼之间相对运动范围等不再赘述。通过上述生物力学约束修正可知，该修正需要利用空间姿态信息。

与外界约束的修正公式为：P′＝P+(P_o-P_c)，其中，P′为修正后的身体某部位的位移，P为计算的修正前身体某部位的位移，P_c为计算的修正前人体104处于接触点的身体部位的位移，P_o为接触点外界的位移。例如当判定人体单脚站立触地时，则拿触地处地面的位移减去触地的脚底的计算的位移，把这个位移差叠加到身体所有部位的计算的位移上去，就得到修正后的全身的位移。这个修正位移的方法同样适用于全身速度的修正以及其他类型的接触修正。

在一实施例中，上述步骤602具体实施时，接收到光学标识的图像信息后，可以根据该图像信息生成基于光学标识点的位置信息，通过多个光学摄像头从不同角度拍摄每一个光学标识的图像信息，可以得到光学标识每一时刻的空间坐标，进而得到待测对象的位置信息。

在一实施例中，在步骤603中将所述基于惯性的位置信息及基于光学标识点的位置信息进行整合，生成待测对象的位置信息，在一实施例中，将基于惯性的位置信息及基于光学标识点的位置信息进行整合的方法是，当光学标识发生遮挡或者重叠时，以上述修正后的基于惯性的位置信息作为待测对象的位置信息。

当重新获得基于光学标识的位置时，将同时以基于光学标识的位置信息和基于惯性的位置信息对待测对象的运动进行估算。估算方法为：根据基于光学标识的测量误差a赋予基于光学标识的位置信息以权重A，根据基于惯性的测量误差b赋予基于惯性的位置信息以权重B。其中，测量误差小的位置信息被赋予的权重大，而测量误差大的位置信息被赋予的权重小。

在一实施例中，可以事先评估基于光学标识和基于惯性的相对误差的大小a和b，而赋予基于光学标识的位置信息以固定的权重A和基于惯性的位置信息以固定的权重B，权重A及权重B可以通过上述公式(1)及公式(2)计算：

权重A及权重B的计算方法不以此为限，本领域技术人员的其它权重计算方法也可适用本发明，不再赘述。

在另一实施例中，通过采用一定的滤波算法(如卡尔曼滤波算法等)，在线对上述两种测量误差进行评估，并实时的赋予基于光学标识的位置信息和基于惯性的位置信息以相应的权重，权重的计算方法也可以利用上述公式(1)及公式(2)进行。

需要说明的是，通常光学测量的误差比较小，因而基于光学的位置信息的权重会比较大，当光学标识可见时，对象的位移会逐渐逼近基于光学标识的位置信息。当因遮挡或者重叠等情况而不能获得基于光学标识的位置信息时，基于光学标识的位置信息的权重才被赋予0，待测对象的运动将以基于惯性的位置信息为准。

光学标识的特定的位置可能被遮挡，或者出现位置重叠情况，如果仅采用基于光学标识点的位置信息进行待测对象的位置定位，将无法准确获得待测对象的位置信息。通过获得基于惯性的位置信息作为基于光学标识点的位置信息的补充，可以弥补仅采用基于光学标识点的位置信息对待测对象的位置定位的不足。

为了更好的理解本发明实施例，下面以两个具体的例子进行说明。本发明的待测对象可以是人体，也可以是其他的运动物体，本发明仅以人体为例进行说明。

一实施例中，如图7所示，混合运动捕捉系统为以基于惯性的位置信息为主，基于光学标识点的位置信息为辅，该混合运动捕捉系统包括：绑定到人体的16个惯性传感器模块701，1个惯性标识点702，一组双目摄像头703及一个接收处理器。惯性标识点为一个惯性传感器模块与一个主动式光学标识集成在一起。惯性传感器模块以及惯性标识点通过传感器服以及绑带的方式安装到人体。

惯性传感器模块包括：三轴MEMS加速度计、三轴MEMS陀螺仪、三轴MEMS磁力计、CPU、RF收发模块、电池及直流转换器，可以参照图2所示。CPU对惯性传感器的加速度信息、角速度信息及地磁向量进行处理计算，得到惯性传感器模块701的空间姿态信息，然后将惯性信息及空间姿态信息RF收发模块发送给接收处理器。接收处理器包括一个RF收发器704以及与之相连的PC，接收处理器接收到传感器模块的姿态和惯性信息后，通过对加速度信号的二次积分，可以得到模块安装身体部位的空间位置信息，通过人体生物力学约束以及人与外界环境的接触约束，可以对积分误差进行修正，从而得到最终的基于惯性的人体的位置信息(包括空间位置和方位信息)。

1个惯性标识点702中的主动式光学标识为一红外发光二极管，通过电池及直流转换电路供电并在惯性传感器模块开机后发射红外光。双目摄像头703通过三脚架固定在人活动场地边，把拍摄的影像通过USB发送给接收处理器。接收处理器在收到影像后根据双目定位原理确定光学标识的空间位置。接收处理器对基于惯性的位置和基于光学标识的位置进行整合，得到人体最终的空间位置。下面为具体的实施过程。

在使用图7的上述混合运动捕捉系统时，首先把双目摄像头703通过三脚架固定安装到活动场地一边，摄像头的摆放位置以摄像头的有效图像采集区域最大限度覆盖人体的活动场地为原则，摄像头的摆放高度和角度以最大限度减少遮挡为原则，对于惯性标识点702安装在人体头部的情况，摄像头可以摆放在比人体头部高的位置并向下倾斜一定的角度。把16个惯性传感器模块701以及1个惯性标识点702通过传感器服以及绑带安装到人体上，其中惯性标识点702通过绑带绑定到头部，16个惯性传感器模块701通过传感器服以及绑带绑定到躯干和四肢，惯性标识点安装在头部并且在摄像头比头部位置要高的情况下，头部的标识点发生遮挡的几率相对要小。完成安装后，开启系统，并建立各个部分之间的连接。然后穿戴者按照指示做几个校准动作，如T-姿态、自然站立姿态等，对传感器模块的安装误差进行修正，该校准动作为本领域技术人员熟知的技术，在此不再赘述。

接下来，穿戴者可以进行自由运动，上述混合运动捕捉系统会对人体的运动进行捕捉。具体捕捉及数据处理过程如图8所示：惯性传感器(包括惯性标识点中的惯性传感器)对人体安装部位的惯性信息(加速度信息和角速度信息)以及地磁信息进行测量，惯性传感器模块的CPU对传感器测得的信息进行处理，得到惯性传感器模块的空间姿态信息，然后把惯性信息以及计算得到的空间姿态信息通过RF接收模块发送给场地旁边的接收处理器。接收处理器接收到各个惯性传感器的方位以及惯性信息后，通过对加速度信息的二次积分，可以得到模块安装身体部位的基于惯性的位置信息，通过生物力学约束(比如关节相连的约束等)和外界约束(如与地面接触的约束等)，对基于惯性的位置信息进行修正。由于摄像头视角的问题，摄像头只能在场地一定区域内对标识点的位置进行拍摄跟踪，如图7所示。双目摄像头703把拍摄到的图像通过USB发送给PC，PC若检测到双目摄像头703的两个摄像头都包含标识点信息，则根据双目定位原理确定标识点的空间位置。PC把标识点的空间位置作为一个观测值，通过一定的滤波算法(如卡尔曼滤波等)，将基于标识的空间位置与基于惯性的位置进行整合，使得穿戴者的模型能够平滑的靠近基于标识的位置。若由于穿戴者走出摄像头定位区域或者发生了遮挡，导致PC得不到基于标识的空间位置，则上述混合运动捕捉系统采用基于惯性的位置信息作为穿戴者的位置信息。

本实施例的优点是：设备架设与安装方便，可以方便的变换场地，不受遮挡的影响，同时能够比较准确的对实现对人体的空间位置定位，避免了惯性运动捕捉系统的积分漂移。

另一实施例中，混合运动捕捉系统为以基于惯性的位置信息为辅，基于光学标识点的位置信息为主。

混合运动捕捉系统包括绑定到人体的多个光学标识、多个惯性传感器模块以及两个惯性标识点，固定在活动场地周边的多个摄像头，以及场地边的接收处理器。其中，多个光学标识固定在人体的头部、躯干以及四肢等不易遮挡、不随肌肉伸缩而滑动的部位。多个惯性传感器模块为高度小型化的传感器模块，固定在双手的手指的各个关节以及手背上。两个惯性标识点分别固定在双手手腕处。惯性标识点包括三轴MEMS加速度计、三轴MEMS陀螺仪、三轴MEMS磁力计、串行通讯模块、RF收发模块、CPU模块、电池、直流转换模块及光学标识。惯性传感器模块包括三轴MEMS加速度计、三轴MEMS陀螺仪、三轴MEMS磁力计、CPU模块、串行通讯模块。双手上的惯性传感器模块通过串行通讯的方式把采集到的惯性信息以及CPU计算的模块的空间姿态信息发送给惯性标识点。惯性标识点通过RF收发器把整个手部各个模块的空间姿态信息(方位信息)以及惯性信息发送给接收处理器。接收处理器根据接收到的各个惯性传感器发送的惯性信息以及惯性传感器模块的方位信息，可以计算手部(包括手指)的位置和方位。场地周边的多个摄像头对人体各部位多个光学标识进行拍摄，根据接收到的各个摄像头的对于光学标识的图像信息，接收处理器可以得到人体整体的运动信息。接收处理器把通过光学标识获得的人的整体运动信息以及通过惯性传感器获得的手部运动信息进行整合，可以得到人体的包含手部运动的全身运动信息。下面为具体的实施过程。

首先，在指定的场地周边架设安装多个光学摄像头，完成安装后，对光学摄像头进行校准。然后在人体身上的指定部位安装光学标识、惯性传感器模块以及惯性标识点。完成安装后，开启系统，对惯性传感器进行校准，校准的办法是把穿戴了惯性传感器的手放入按照指定位置摆放的特制的模具中，然后按接收处理器的操作界面上的校准按钮，处理器根据已知的手部各个骨骼的位置以及惯性传感器模块测得的方位，对惯性传感器模块的安装方位误差进行校准，该校准动作为本领域技术人员熟知的技术，在此不再赘述。

接下来用户可以在场地中进行各种运动，如表演、模拟训练场景中的模拟操控训练等。光学摄像头对身体各个部位的光学标识进行拍摄，并把图像实时传送给接收处理器，接收处理器对接收到的各个摄像头的图像进行处理，得到基于光学标识的人体的运动信息。惯性传感器模块把测得的惯性信息以及计算的方位信息实时发送给接收处理器，接收处理器根据手部的生物力学约束(如关节相连约束等)可以计算获得手部的姿态和位置信息。惯性标识点为惯性传感器和光学标识的重合点，根据这个已知条件，可以对惯性传感器的积分误差进行修正，从而得到手部的准确的运动信息。结合之前获得的基于光学标识的运动信息，可以得到人体全身(包括双手)精准的运动信息。

本实施例中，通过在容易产生遮挡的手部采用惯性传感器进行运动捕捉，而其他部位采用比较精准的光学的方式进行运动捕捉，在二者的结合处采用惯性标识点辅助进行数据整合，使得光学运动捕捉和惯性运动捕捉的优点完美的结合起来，从而实现对人体精细动作的精准捕捉。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种混合运动捕捉系统，其特征在于，所述的混合运动捕捉系统包括：至少一惯性传感器模块，至少一光学标识，至少两个光学摄像头及一接收处理器，所述的惯性传感器模块与所述的接收处理器无线连接，所述的光学摄像头与所述的接收处理器有线或无线连接，所述惯性传感器模块及光学标识安装在待测量对象上；其中，

所述的惯性传感器模块，用于测量自身的惯性信息及空间姿态信息；

所述的光学摄像头，用于获取所述光学标识的图像信息；

所述的接收处理器，接收所述的惯性信息、空间姿态信息及图像信息，根据所述的惯性信息及空间姿态信息生成基于惯性的位置信息；根据所述的图像信息生成基于光学标识点的位置信息，并将所述基于惯性的位置信息及基于光学标识点的位置信息进行整合，生成所述待测对象的位置信息。

2.根据权利要求1所述的混合运动捕捉系统，其特征在于，所述的惯性传感器模块包括：

三轴MEMS加速度计，用于测量所述惯性传感器模块自身的加速度信息；

三轴MEMS陀螺仪，用于测量所述惯性传感器模块自身的角速度信息；

三轴MEMS磁力计，用于测量所述惯性传感器模块自身的地磁向量；

CPU，连接所述的三轴MEMS加速度计、三轴MEMS陀螺仪及三轴MEMS磁力计，用于对所述的角速度信息进行积分，生成动态空间方位，根据所述的加速度信息及地磁向量生成静态绝对空间方位，并利用所述静态绝对空间方位对所述动态空间方位进行修正，生成所述的空间姿态信息；

RF收发器，连接所述的CPU，用于将所述的空间姿态信息及惯性信息发送给所述的接收处理器，所述惯性信息包括所述的加速度信息及角速度信息。

3.根据权利要求2所述的混合运动捕捉系统，其特征在于，部分所述惯性传感器模块与所述部分光学标识两两集成在一起，形成至少一惯性标识点。

4.根据权利要求3所述的混合运动捕捉系统，其特征在于，所述的接收处理器具体用于：对所述的加速度进行二次积分生成所述基于惯性的位置信息，然后基于生物力学约束以及外界约束对所述基于惯性的位置信息进行修正，生成修正后的基于惯性的位置信息。

5.根据权利要求4所述的混合运动捕捉系统，其特征在于，所述的接收处理器将所述基于惯性的位置信息及基于光学标识点的位置信息进行整合时，具体用于：当光学标识发生遮挡或者重叠时，以所述修正后的基于惯性的位置信息生成所述待测对象的位置信息；当重新获得所述基于光学标识的位置时，计算基于光学标识的测量误差a及基于惯性的测量误差b，根据测量误差a及测量误差b分别赋予所述基于光学标识的位置信息及修正后的基于惯性的位置信息权重A及权重B，生成所述待测对象的位置信息。

6.根据权利要求5所述的混合运动捕捉系统，其特征在于，所述的权重A及权重B的计算公式如下：

$A=\frac{\left|b\right|}{\left|a\right|+\left|b\right|};$

$B=\frac{\left|a\right|}{\left|a\right|+\left|b\right|}.$

7.根据权利要求1-5中任一项所述的混合运动捕捉系统，其特征在于，所述的光学标识为反射性的被动光学标识。

8.根据权利要求1-5中任一项所述的混合运动捕捉系统，其特征在于，所述的光学标识为发光性的主动光学标识。

9.根据权利要求1-5中任一项所述的混合运动捕捉系统，其特征在于，所述的光学摄像头为多个分立的单目摄像头，通过固定安装或者三脚架安装的方式安装到一定的区域。

10.根据权利要求1-5中任一项所述的混合运动捕捉系统，其特征在于，所述的光学摄像头为至少一组双目摄像头或者多目摄像头，通过三脚架安装或者固定安装的方式安装到一定的区域。

11.一种混合运动捕捉方法，应用于权利要求1-3中任一项所述的混合运动捕捉系统，其特征在于，所述的混合运动捕捉方法包括：

接收所述惯性传感器模块测量的自身的惯性信息及空间姿态信息，并根据所述的惯性信息及空间姿态信息生成基于惯性的位置信息；

接收所述摄像头拍摄的所述光学标识的图像信息，并根据所述的图像信息生成基于光学标识点的位置信息；

将所述基于惯性的位置信息及基于光学标识点的位置信息进行整合，生成所述待测对象的位置信息。

12.根据权利要求11所述的混合运动捕捉方法，其特征在于，所述根据所述的惯性信息及空间姿态信息生成基于惯性的位置信息，包括：对所述的加速度进行二次积分生成所述基于惯性的位置信息，然后基于生物力学约束以及外界约束对所述基于惯性的位置信息进行修正，生成修正后的基于惯性的位置信息。

13.根据权利要求12所述的混合运动捕捉方法，其特征在于，所述将所述基于惯性的位置信息及基于光学标识点的位置信息进行整合，生成所述待测对象的位置信息，包括：当光学标识发生遮挡或者重叠时，以所述修正后的基于惯性的位置信息生成所述待测对象的位置信息；当重新获得所述基于光学标识的位置时，计算基于光学标识的测量误差a及基于惯性的测量误差b，根据测量误差a及测量误差b分别赋予所述基于光学标识的位置信息及修正后的基于惯性的位置信息权重A及权重B，生成所述待测对象的位置信息。

14.根据权利要求13所述的混合运动捕捉方法，其特征在于，所述的权重A及权重B的计算公式如下：

$A=\frac{\left|b\right|}{\left|a\right|+\left|b\right|};$

$B=\frac{\left|a\right|}{\left|a\right|+\left|b\right|}.$