CN106256394A - 混合动作捕捉的训练装置及系统 - Google Patents

Abstract

本发明公开了一种混合动作捕捉的训练装置及系统，所述的训练装置包括光学动作捕捉装置，惯性动作捕捉装置以及上位计算机。本发明采用光学动作捕捉和惯性动作捕捉两种方式，构建出用户动作的三维模型，使得教练可以准确的观察到用户肢体动作的变化情况，从而采取针对性的训练手段。该发明充分利用了光学动作捕捉的准确性以及惯性动作捕捉不受遮挡的特点，实现了全方位无死角的用户动作捕捉。

Description

混合动作捕捉的训练装置及系统

技术领域

本发明涉及动作捕捉训练装置，具体涉及基于虚拟现实技术的动作捕捉训练装置。

背景技术

随着人们生活水平的提高，人们不再满足基本的物质需求，更多的人有了身心和精神方面的需求。体育活动不但可以锻炼身体，激发拼搏精神，而且还能促进沟通交流，深受广大人们的喜爱。然而传统的体育训练方式通常是一对一或者一对多的人工经验训练模式，不但受到了时间地点的局限，且需要运动员进行大量反复练习以保证动作准确性，培训费用高、训练强度大。

为了解决上述问题，越来越多的职业体育训练队或者国家训练队开始将运动捕捉应用于体育训练中。这种动作捕捉系统一方面可以对运动员训练的工作进行具体分析，找到动作中存在瑕疵的连接点，然后通过后期实际训练来不断改善、提升。另一方面可以有效地减少训练者的训练强度，提高训练效率。

目前国内主要的动作捕捉技术可分为惯性式，电磁式，超声波式，光学式共四种运动捕捉方式。惯性式采用惯性传感器采集各个关节运动信息，捕捉精度不高，实时性好，可采集遮挡的运动；电磁式使用传感器切割磁感线完成模拟信号到电信号的转换，从而推算其空间方位，然而该方法只能捕捉低频动作，且要求周围不能存在磁场干扰；超声波式使用超声波到达接收器的时间差计算关节的空间位置以及运动方向，具有不受遮挡的优点，然而捕捉存在滞后，精度不高；光学式采用两个或多个摄像头拍摄同一个接收点产生的视差计算其空间位置和旋转信息，易受动作遮挡影响，捕捉精度高。

本发明提供的技术方案同时使用惯性动作与光学动作之差作为输入，保留了惯性动作的高频信息和光学动作的低频信息，利用了惯性传感器不受遮挡的特点，获取到全方位的用户动作方位和位置，同时利用了光学捕捉准确的特点，利用低频信号修正惯性捕捉不准确的缺陷，保证了最终姿态数据的长期精确。

通过相关专利查询，发现有以下的公开文献：

发明“一种基于单目视频人体动作感知的上肢训练系统，公开号CN105536205A”，使用视频摄像头用于捕捉人体的运动，通过USB传输视频数据，并对所述视频数据进行分析，完成手部运动轨迹跟踪，通过跟踪的结果识别手势动作。该训练系统不仅能够具有定量评价体系，而且能够激发使用者的训练主动性，使其能够应用于社区和家庭。

专利“一种基于虚拟现实的铁路工务训练系统，公开号CN104537911A”使用虚拟现实手段进行铁路工务训练，系统包括基础层、数据层、技术支持层、功能层以及应用层，基础用于提供基于虚拟现实的网络环境和硬件设备，数据层用于提供铁路工务训练系统运行所需的数据，技术支撑层用于向功能层提供基础技术支撑，功能层用于构建铁路工务训练系统的多个功能模块，应用层用于基于虚拟现实技术和所述各功能模块进行虚拟训练。

专利“一种基于Kinect传感器的上肢运动康复训练系统及其训练方法，公开号CN103230664A”，系统包括一台Kinect传感器，一台搭载上肢运动康复训练模块的计算机，Kinect传感器与计算机通过数据线相连，并安装在计算机显示屏的上方；上肢运动康复训练模块包括单关节康复训练模块、综合康复训练模块、评分模块和纠正模块，可以进行上肢的单关节训练和肩、肘、腕关节的综合训练。

发明内容

本发明目的在于克服现有技术的不足，尤其解决现有的基于光学动作捕捉的训练装置不能捕捉被遮挡的动作、基于惯性动作捕捉的训练装置精确度不高的缺陷。提供一种混合两种捕捉方法的训练装置和系统，该训练装置通过使用卡尔曼滤波，使用惯性动作与光学动作之差作为输入，保留了惯性动作的高频信息和光学动作的低频信息，利用了惯性传感器不受遮挡的特点，获取到全方位的用户动作方位和位置，同时利用了光学捕捉准确的特点，利用低频信号修正惯性捕捉不准确的缺陷，保证了最终姿态数据的长期精确。

为解决上述技术问题，本发明采用如下的技术方案：

一种混合动作捕捉的训练装置及系统，其特征在于，其中：

所述的混合动作捕捉训练装置包括光学动作捕捉装置，惯性动作捕捉装置以及上位计算机；所述光学动作捕捉装置和惯性动作捕捉装置均连接于上位计算机；所述的训练系统位于上位计算机。

所述光学动作捕捉装置包括反光mark标记以及光学摄像头，所述反光mark标记贴在用户关节处；所述光学摄像头用于追踪反光mark标记的运动来捕捉用户动作；所述光学摄像头通过USB连接于上位计算机。

所述惯性动作捕捉装置包括微型惯性传感器以及信号捕捉设备，所述微型惯性传感器穿戴在用户身上，并连接于信号捕捉设备；所述信号捕捉设备用于获取惯性传感器的信号，并用无线蓝牙传输到上位计算机。

所述混合动作捕捉训练系统，其特征在于，所述训练系统包括光学动作捕捉模块，惯性动作捕捉模块，动作融合模块以及动作显示模块，其中，所述光学动作捕捉模块通过光学摄像头获取用户运动过程，并采用分析合成法得到用户的位置和姿态的估计，作为动作融合模块的输入；所述惯性动作捕捉模块通过传感器获取用户动作的加速度和角速度，用于估计用户动作的姿态并作为动作融合模块的输入；所述动作融合模块使用卡尔曼滤波对两个动作捕捉模块的信息进行融合，得到精确的用户动作姿态并作为动作显示模块的输入；所述动作显示模块用于将用户动作姿态使用3D动画的形式进行展示。

所述混合动作捕捉训练系统的一种光学动作捕捉方法，其特征在于，具体有以下步骤：

(1)坐标标定：将现实世界中的用户坐标与图像成像的坐标进行标定；

(2)轮廓提取：查找用户的动作外轮廓；

(3)动作跟踪：获取图像标记的位置，根据坐标变换得到标记的空间坐标，然后用Camshift跟踪算法实现用户动作的跟踪；

所述混合动作捕捉训练系统的一种惯性动作捕捉方法，其特征在于，具体有以下步骤：

(1)惯性传感器校准：使得系统所描述的坐标系与惯性传感器坐标系相重合，系统获得正确的初始值；

(2)姿态更新：根据上一次采样的姿态结合本次采样获得的三角速度数据计算本次采样的用户姿态；

(3)动作追踪：计算当前的用户位置和加速度；

附图说明

图1是本发明的混合动作捕捉的训练装置的一个具体实施例的结构示意图。

图2为本发明的一个具体实施方式中训练系统的模块结构框图。

图3为本发明的一个具体实施例中四连通区域和八连通区域图。

图4为本发明的一个具体实施例中跟踪区域选择示意图。

图5为本发明的第一个具体实施方式中动作数据融合的示意图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。

参见图1，本发明的混合动作捕捉的训练装置包括光学动作捕捉装置，惯性动作捕捉装置以及上位计算机1；所述光学动作捕捉装置和惯性动作捕捉装置均连接于上位计算机1；所述的训练系统位于上位计算机。

所述光学动作捕捉装置包括反光mark标记2以及光学摄像头3，所述反光mark标记贴在用户4关节处；所述光学摄像头用于追踪反光mark标记的运动来捕捉用户4动作；所述光学摄像头通过USB连接于上位计算机1。

所述惯性动作捕捉装置包括微型惯性传感器5以及信号捕捉设备6，所述微型惯性传感器5穿戴在用户4身上，并连接于信号捕捉设备6；所述信号捕捉设备6用于获取惯性传感器5的信号，并用无线蓝牙传输到上位计算机1。

参见图2，所述混合动作捕捉训练系统包括光学动作捕捉模块，惯性动作捕捉模块，动作融合模块以及动作显示模块，其中，所述光学动作捕捉模块通过光学摄像头获取用户运动过程，并采用分析合成法得到用户的位置和姿态的估计，作为动作融合模块的输入；所述惯性动作捕捉模块通过传感器获取用户动作的加速度和角速度，用于估计用户动作的姿态并作为动作融合模块的输入；所述动作融合模块使用卡尔曼滤波对两个动作捕捉模块的信息进行融合，得到精确的用户动作姿态并作为动作显示模块的输入；所述动作显示模块用于将用户动作姿态使用3D动画的形式进行展示。

参加图3-5，本发明的混合动作捕捉的训练系统，包括以下步骤：

(1)光学动作捕捉：根据摄像头捕获的光学图像，辨识用户动作姿态以及位置，具体有以下过程：

(1.1)坐标标定：

首先将现实世界中的用户坐标与图像成像的坐标进行标定，图像中的二维像素点p的坐标p＝(u，v)^T对应的空间点P的空间坐标表示为P＝(x_w，y_w，z_w)^T，像素点p和空间点P的齐次坐标分别表示为和则图像坐标与空间坐标存在下面的变换关系：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\[\begin{array}{cc}R& T\end{array}\]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_u& \mathrm{\γ}& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right]\[\begin{array}{cc}R& T\end{array}\]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(1\right)$

K是内参数矩阵，R，T是外参数矩阵，f_u和f_v是尺度因子，[u₀，v₀]是主点坐标，γ是畸变因子，s是尺度因子。因此，一旦计算出内参数矩阵和外参数矩阵的值，即可从图像坐标反推得到空间坐标。

本实施例中，采用多副标定有固定长度的参照物体的图像对参数矩阵进行求解。

(1.2)轮廓查找：

一个轮廓一般对应一系列的点，也就是图像中的一条曲线，是通过顺序找出边缘点来跟踪边界的。由于每个区域内的像素值相同，可通过四连通或八连通区域进行轮廓查找。四连通和八连通可标注二进制图像中已连接的部分，语法实现为L＝(BW，n)[L，num]。其中BW为输入图像；n可取值为4或8表示连接四连通或八连通区域；num为找到的连通区域数目；L为输出图像矩阵，其元素值为整数，背景被标记为0，第一个连通区域被标记为1，第二个连通区域被标记为2，依此类推。

参见图3，四连通和八连通的原理对照图，图中的0是中心像素点所在的位置就是四连通或八连通区域，即四连通区域指0的上下左右四个点，八连通还包含左上角、右上角、左下角和右下角四个位置，故八连通区域包含了四连通区域。

轮廓查找结束后，会得到多个轮廓，通过最大轮廓定义筛选获取唯一的轮廓作为用户轮廓，并用于后续的动作跟踪。

(1.3)动作跟踪：

根据用户身上贴的反光mark标记，摄像头获得的图像可以得到标记的位置，再根据坐标变换得到标记的空间坐标，然后用Camshift跟踪算法实现用户动作的跟踪。传统的Camshift跟踪算法中，都需要事先选定感兴趣区域，一般来说，触发一条鼠标事件来选取动作的跟踪范围，但这属于有监督性的，并不符合本项目的期望。

本发明通过反光mark标记获取该区域，以手掌跟踪为例，分别选取指尖坐标x、y值的组成一个坐标作为左上角点，宽度和高度取水平垂直最长距离的最小值。参见图4，A点与B点则分别为指尖的左上角点与右下角点，(A_x，A_y)和(B_x，B_y)分别为A点与B点的坐标值，再对两点进行差值运算，通过最小化公式MIN(|A_x-B_x|，|A_y-B_y|)计算得出跟踪范围。

(2)惯性动作捕捉：根据用户身上穿戴的惯性传感器传输的数据，获取身体对应各个关节的运动姿态，具体有以下过程：

(2.1)惯性传感器对准：

使得系统所描述的坐标系与惯性传感器坐标系相重合，使得系统正式开始工作时有正确的初始条件，即得到正确的初始速度、初始位置等。采用光学自动对直技术，其方法是在系统平台上附加光学多面体，使得光学反射面与被调整的轴线垂直，这样通过观测自动对直光管，得到偏转角；人为地给对应轴陀螺加矩，使平台转到给定方位，实现惯性传感器对准。

(2.2)姿态更新：

根据上一次采样的姿态结合本次采样获得的三角速度数据，即可得到本次采样的用户姿态：

$\left\{\begin{array}{c}{q}_0=-0.5(q_1{w}_x+q_2{w}_y+q_3{w}_z)\\ q_1=0.5(q_0{w}_x-q_3{w}_y+q_2{w}_z)\\ q_2=0.5(q_3{w}_x+q_0{w}_y-q_1{w}_z)\\ q_3=-0.5(q_2{w}_x-q_1{w}_y-q_0{w}_z)\end{array}\right.---\left(2\right)$

[q₀，q₁，q₂，q₃]为用四元数表示传感器节点的姿态，[w_x，w_y，w_z]表示传感器节点上陀螺仪三个轴向的角速度，通过陀螺仪的角速度计算，可以不断得到用户姿态的更新。

(2.3)动作追踪：

计算本次采样k的用户位置ΔP(k)和加速度a(k)，其中，用户的位置计算模型用以下公式表示为：

$P(k+1)=P\left(k\right)+v\left(k\right)\mathrm{\Δ}t+\frac{1}{2}a\left(k\right){\mathrm{\Δt}}^2---\left(3\right)$

其中，v(k+1)＝v(k)+a(k)Δt表示用户动作的速度，Δt表示采样周期，a(k)表示动作的加速度，加速度的计算公式如下所示：

a(k+1)＝q(k)·a(k)·q(k)′-g (3)

其中，.表示4元乘法，g表示重力加速度，q(k)表示用户动作的方向矢量，是一个四元向量，q(k)′表示向量的转置。

(3)动作融合：利用了光学捕捉和惯性捕捉技术的互补优势，可以有效地弥补应用单一系统进行动作捕捉时所具有的缺点，使其具有遮挡影响小、采集数据自由度高、数据记录种类更全且计算量低等优势。如图5所示，以光学捕捉数据为参考，惯性捕捉数据与光学捕捉数据之差表示惯性捕捉的位姿数据的误差，该误差作为测量信号传入卡尔曼滤波器。卡尔曼滤波器可以用来持续测量惯性捕捉造成的误差，从而进一步使用该误差来纠正惯性捕捉造成的位姿估计误差。这样使用的优势，是惯性捕捉模块捕捉到的高频数据可以被保留，低频数据中出现的错误可以被纠正。

上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种混合动作捕捉的训练装置及系统，其特征在于，其中：

所述的训练装置包括光学动作捕捉装置，惯性动作捕捉装置以及上位计算机；所述光学动作捕捉装置和惯性动作捕捉装置均连接于上位计算机；所述的训练系统位于上位计算机。

所述光学动作捕捉装置包括反光mark标记以及光学摄像头，所述反光mark标记贴在用户关节处；所述光学摄像头用于追踪反光mark标记的运动来捕捉用户动作；所述光学摄像头通过USB连接于上位计算机。

所述惯性动作捕捉装置包括微型惯性传感器以及信号捕捉设备，所述微型惯性传感器穿戴在用户身上，并连接于信号捕捉设备；所述信号捕捉设备用于获取惯性传感器的信号，并用无线蓝牙传输到上位计算机。

2.根据权利要求1所述的混合动作捕捉训练系统，其特征在于，所述训练系统包括光学动作捕捉模块，惯性动作捕捉模块，动作融合模块以及动作显示模块，其中，所述光学动作捕捉模块通过光学摄像头获取用户运动过程，并采用分析合成法得到用户的位置和姿态的估计，作为动作融合模块的输入；所述惯性动作捕捉模块通过传感器获取用户动作的加速度和角速度，用于估计用户动作的姿态并作为动作融合模块的输入；所述动作融合模块使用卡尔曼滤波对两个动作捕捉模块的信息进行融合，得到精确的用户动作姿态并作为动作显示模块的输入；所述动作显示模块用于将用户动作姿态使用3D动画的形式进行展示。

3.根据权利要求2所述的混合动作捕捉训练系统，其特征在于，所述动作融合模块使用卡尔曼滤波，使用惯性动作与光学动作之差作为输入，保留了惯性动作的高频信息和光学动作的低频信息，利用了惯性传感器不受遮挡的特点，获取到全方位的用户动作方位和位置，同时利用了光学捕捉准确的特点，利用低频信号修正惯性捕捉不准确的缺陷，保证了最终姿态数据的长期精确。