CN109284006A - 一种人体运动捕获装置和方法 - Google Patents
一种人体运动捕获装置和方法 Download PDFInfo
- Publication number
- CN109284006A CN109284006A CN201811334444.3A CN201811334444A CN109284006A CN 109284006 A CN109284006 A CN 109284006A CN 201811334444 A CN201811334444 A CN 201811334444A CN 109284006 A CN109284006 A CN 109284006A
- Authority
- CN
- China
- Prior art keywords
- human body
- unit
- data
- limbs
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种人体运动捕获装置及相应的方法,所述装置包括运动测量单元、运动参数估计单元、初始化单元、步态检测单元、位移融合单元,运动测量单元测量人体肢体运动数据和环境数据;运动参数估计单元对人体肢体运动数据和环境数据进行融合,推导出肢体的运动参数和环境参数;初始化单元将人体肢体之间的相互限制条件和运动边界条件融合进来,推导出人体运动捕获装置的初始运行参数;步态检测单元检测当前时刻人体下肢的触地状态,得到步态检测信息;位移融合单元推导出并输出人体相对于大地的整体运动的姿态和位置信息。本发明具有便携性和实用性的特点,非常适合做成穿戴式的运动捕获和分析装置,在诸多领域具有广泛应用。
Description
技术领域
本申请涉及人体运动感知技术领域,具体涉及一种基于传感器的人体运动捕获装置及相关的人体运动捕获方法。
背景技术
现在,通过感知和获取准确的人体姿态和位置运动信息,能够根据运动员各肢体的运动轨迹分析存在的问题并改进训练,能够根据人体步态的变化推断可能存在的疾 病,能够根据人体运动信息的跟踪建立高水平的3D游戏,能够根据人体运动姿态的 跟踪为数字电影、虚拟世界构建栩栩如生的角色。但是,人体运动的随意性和复杂性, 人体周围所在环境的多样性,都给实时准确的人体运动感知和获取带来了巨大的挑战。 因此,目前急需一种不受时空限制并能克服外界环境干扰的人体运动感知和获取技术, 实现人体姿态和位置运动信息的获取和重现,为健康监测、康复训练、舞蹈训练、体 育运动分析、电影数字特技、虚拟现实、游戏和人机交互等领域的应用提供关键技术。
目前,常用的运动捕获技术大致可以分为两类。
一类主要使用高精度摄像机阵列。这类系统利用多个高精度高采样率的摄像头捕捉运动者关节上的反射标志,如市场上的产品Vicon。这方面的专利技术有:申请号为20080192116的美国专利Real-time objects tracking and motion capture in sportsevent是 一个实时运动目标跟踪系统,它使用多个摄像机来检测和跟踪运动目标,但不涉及目 标本身的运动细节;专利号为7457439的美国专利System and method for motioncapture 使用摄像机所获得的运动者身上标志的位置信息以及运动者三维运动模型,恢复出身 体的三维运动信息,并利用三维运动模型,比对运动状态;中国专利“基于运动获取的彩色紧身衣”,申请号00264404,设计了一种用色块来编码人体部位的运动获取衣; 中国专利“处理被动光学运动获取数据的方法”,申请号03120688,是一种处理被动 光学运动获取数据的方法,包括:获取带有被动光学标记的被摄体的同步多摄像机图 像,从获取的数据获得标记的一组三维坐标,确定连续获取中各标记之间在时间上的 对应,从而确定附有标记的被摄体的身体部分的位置,以一组所作的标记为基础,确 定被摄体运动投影到的运动模型的每个连接的角度,并且计算被摄体的姿势;中国专 利“一种对多相机系统的标定方法及装置”,申请号200710062825,是一种多摄像机 基于标志点的三维运动信息重建的新方法。这类系统的缺陷是,它们需要有固定的实 验室,存在光线和遮挡问题,使用时受到场地和应用场景的限制;这类系统使用多个 高精度高采样率的摄像头,不仅造价极其昂贵,而且结构非常复杂,使用起来不方便; 并且,这类系统处理的数据量巨大,不能实时地捕获人体运动信息。
另一类使用微型传感器,附着在人体肢体上,测量和估计各肢体的三维方位角等运动信息。这类微型传感器体积小、能耗低、测量直接、穿戴方便,同时不受时空限 制,非常适合做成穿戴的运动分析装置。这方面的专利技术有:美国专利System and Method forMotion Capture in Natural Environments,IPC8类:AGO1C2300FI,使用放 在身体各部位的超声发射源和接收器,测出相应部位的位置,再用惯性传感器测量出 的转角来校准位置测量,从而得出身体的运动参数。但是,由于使用了超声传感器和 惯性传感器(加速度传感器和陀螺仪),使整个运动获取系统变得复杂。中国专利 200920108961.9人体运动捕获三维再现系统提出一种仅用或主要使用微型传感器的运 动获取系统,整个系统以人体运动模型为基础,包括了传感器的放置穿戴、运动参数 的估计、运动参数之间的约束、人体三维形象的运动再现。这类系统目前存在的技术 挑战包括,微型传感器有其固有问题,如测量噪声大,存在系统偏置;惯性传感器只 能测量变化率,如加速度计测量的是加速度,陀螺仪测量的是角速度,直接对之进行 积分估计位置和角度运动信息,会产生运动量估值的偏移;微型传感器进行人体运动 估计是分布式测量,即把传感器单元分别附着在人体的各个肢体上,无法直接得到人 体的整体姿态和位置。中国专利201110060074.0人体运动捕获装置提供一种便携式人 体运动捕获装置,利用自适应传感器数据融合技术估计人体运动参数,利用人体运动 捕获装置的初始化技术以及位移估计技术进行融合和估计出人体整体运动的姿态和位 置信息,这类系统目前存在的技术挑战包括,微型传感器有其固有问题,如测量噪声 大,存在系统偏置;采用互补卡尔曼滤波方法对各肢体运动数据和环境数据进行融合, 对于较大干扰或长时间的干扰仍存在很大误差,四种测量模型随时间动态选择,增大 计算量,降低迭代速率;该算法基于分线性滤波模型,提高整个系统的复杂度;噪声与漂移随时间快速累计,短时间内累计误差显著;位移算法只针对单一且相对简单的 运动步态。
发明内容
为了解决已有基于摄像机阵列的运动捕获技术需要专用的实验室、应用受到场地限制,存在光线和遮挡问题,造价极其昂贵,数据量巨大、难于实时处理;及已有基 于微型传感器的运动捕获技术测量噪声大,存在系统偏置,互补卡尔曼滤波算法无法 消除长时间和较大干扰对人体的姿态估计的误差,位置估计较为单一和简单,因此应 用有限的技术问题和技术挑战,本发明的目的是利用传感器数据融合技术估计人体运 动参数,利用人体运动捕获装置的初始化技术以及位移估计技术进行融合和估计出人 体整体运动的姿态和位置信息,为此而提供一种便携式运动捕获设备。
为了实现本发明的目的,本发明一方面提出一种人体运动捕获装置,包括运动测量单元、运动参数估计单元、初始化单元、步态检测单元、位移融合单元,其中,运 动测量单元用于测量人体肢体运动数据和环境数据;运动参数估计单元,用于对所述 人体肢体运动数据和环境数据进行融合,推导出肢体的运动参数和环境参数;初始化 单元,用于将人体肢体之间的相互限制条件和运动边界条件融合进来,推导出人体运 动捕获装置的初始运行参数;步态检测单元,用于检测当前时刻人体下肢的触地状态, 得到步态检测信息;位移融合单元,用于接收并对人体各肢体的运动参数、人体运动 捕获装置的初始运行参数、各肢体的长度、各肢体之间的相互限制条件和步态检测信 息进行融合,推导出并输出人体相对于大地的整体运动的姿态和位置信息。
根据本发明的优选实施方式,所述运动测量单元包括多个微型传感器节点和至少一个控制单元,其中,所述微型传感器节点用于采样及测量各肢体运动数据和环境数 据;所述控制单元获取每个微型传感器节点的数据,并发送给所述运动参数估计单元。
根据本发明的优选实施方式,所述运动参数估计单元采用互补卡尔曼滤波系统对各肢体运动数据和环境数据进行融合,推导出各肢体运动参数中的三维角度估值。
根据本发明的优选实施方式,述步态检测单元还用于更新互补卡尔曼滤波系统状态以消除人体离地后产生的累计误差。
根据本发明的优选实施方式,所述步态检测单元包含支撑相检测模块,该模块基于原始IMU传感数据及当前预测的传感器坐标系相对于全局坐标系的方位角,并基 于传感器信号特征判断脚部节点处于哪个步态相。
根据本发明的优选实施方式,步态检测单元执行基于信号特征的步态检测算法,该算法基于各下肢节点的原始传感器数据、下肢各传感器坐标系相对全局坐标系的姿 态及互补卡尔曼滤波系统输出的状态补偿误差。
根据本发明的优选实施方式,步态检测单元在步态相检测算法的基础上,将支撑相期间固定窗口内的速度积分均值作为窗口等价时间内积分所产生的漂移,在摆动相 积分估计速度位移时移除。
根据本发明的优选实施方式,所述位移融合单元利用人体运动捕获装置的初始运行参数将人体各肢体的运动参数从传感器坐标系转换到身体坐标系下,得到身体坐标 系下的各肢体运动参数,并与人体相对于大地的位移一起生成并输出人体的整体运动 的姿态和位置信息。
本发明另一方面提出一种人体运动捕获方法,包括:测量人体肢体运动数据和环境数据;对所述人体肢体运动数据和环境数据进行融合,推导出肢体的运动参数和环 境参数;将人体肢体之间的相互限制条件和运动边界条件融合进来,推导出人体运动 捕获装置的初始运行参数;检测当前时刻人体下肢的触地状态,得到步态检测信息; 接收并对人体各肢体的运动参数、人体运动捕获装置的初始运行参数、各肢体的长度、 各肢体之间的相互限制条件和步态检测信息进行融合,推导出并输出人体相对于大地 的整体运动的姿态和位置信息。
本发明的有益效果:本发明采用附着在人体各肢体上的多个微型传感器节点,分别测量各肢体的运动数据和环境数据。这种微型传感器,体积小、能耗低,测量直接, 造价经济;使用方便,不受时空控制;数据量小,能够进行数据实时处理和分析;并 且不存在光线和遮挡问题,具有便携性和实用性的特点,非常适合做成穿戴式的运动 捕获和分析装置,在诸多领域具有广泛应用,具有较强的实用价值和应用前景。
附图说明
图1是本发明一个实施例的人体运动捕获装置的整体逻辑结构方框图;
图2是本发明一个实施例的运动测量单元的结构框图;
图3是本发明一个实施例的人体各重要肢体多个微型传感器节点分布图;
图4是本发明一个实施例的运动参数估计单元对运动参数估计的结构框图;
图5是本发明一个实施例的人体运动捕获装置中的三个坐标系及它们之间的关系;
图6是本发明一个实施例的位移融合单元的流程图;
图7是本发明的步态检测单元所用的下肢结构图。
具体实施方式
下面将详细描述本发明的具体实施例,应当注意,这里描述的实施例只用于举例说明,并不用于限制本发明。在以下描述中,为了提供对本发明的透彻理解,阐述了 大量特定细节。然而,对于本领域普通技术人员显而易见的是:不必采用这些特定细 节来实行本发明。在其他实例中,为了避免混淆本发明,未具体描述公知的结构、材 料或方法。在整个说明书中,对“一个实施例”、“实施例”、“一个示例”或“示例” 的提及意味着:结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至 少一个实施例中。因此,在整个说明书的各个地方出现的短语“在一个实施例中”、“在 实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外,可以以任 何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例 中。此外,本领域普通技术人员应当理解,这里使用的术语“和/或”包括一个或多个 相关列出的项目的任何和所有组合。
图1是本发明运动捕获装置的整体逻辑结构方框图,如图1中所示,本发明由运 动测量单元100、运动参数估计单元200、初始化单元300、步态检测单元400和位移 融合单元500组成,其中:
运动测量单元100中的多个微型传感器节点附着在人体各肢体上,用于测量并得到各肢体运动数据和环境数据;
运动测量单元100的结构包括:多个微型传感器节点,以及一个或几个控制单元,每一个微型传感器节点具有一唯一地址,由数据总线将所有微型传感器节点和控制单 元连接到一起,控制单元通过地址总线选择不同的微型传感器节点,向各微型传感器 节点发布控制命令,获取每个微型传感器节点的各路测量数据,此后控制单元通过无 线或有线方式与运动参数估计单元200连接,将所获取数据统一发往运动参数估计单 元200。
微型传感器节点包括微型传感器和微控制器,其中:微型传感器是微型三维加速度计、微型三维陀螺仪、微型三维磁力计、微型超声测距仪或微型超宽带测距仪一种 或多种组合,用于采样及测量各肢体运动数据和环境数据;运动数据包括三维加速度 测量数据和三维角速度测量数据,环境数据是三维磁场强度测量数据;微控制器,控 制微型传感器采样及测量各肢体运动数据和环境数据,并将测量的运动数据和环境数 据打包通过无线连接的方式送往控制单元。
运动参数估计单元200,是对运动测量单元100的运动数据和环境数据进行融合,推导出各肢体的运动参数和环境参数,推导中还采用互补卡尔曼滤波方法对各肢体运 动数据和环境数据进行融合,推导出各肢体运动参数中的三维角度估值;各肢体的运 动参数包括三维加速度估值、三维速度估值、三维位移估值、三维角速度估值和三维 角度估值,环境参数包括三维磁场强度估值。
互补卡尔曼滤波算法建立误差模型,以姿态误差、位移误差、速度误差、陀螺仪 偏置和磁干扰的误差为状态变量,在惯性导航系统中采用反馈机制,利用加速度计观 测变量补偿陀螺仪积分中倾角误差,利用磁力计观测值补偿和陀螺仪积分磁场分量误 差,结合人体正向运动学理论,融合步态检测信息,当检测到支撑相后,可执行ZUPT(零 速度更新)和ZARU(零角速度更新),修改算法的协方差矩阵,从而对系统估计状态进 行修正。在整个过程中,两个偏置项(加速度偏置和陀螺仪偏置)在滤波算法中时刻 保持更新,姿态、速度和位置估计误差状态量每次迭代更新后会置零,从而抑制了积 分所产生的状态估计漂移误差。算法充分利用加速度计和磁力计的输出数据,补偿陀 螺仪积分引起的漂移和干扰带来的角度估计误差,对人体姿态的实时跟踪有显著的修 正作用。
初始化单元300,用于接收各肢体的运动参数和环境参数,并将各肢体的长度、 各肢体之间的相互限制条件和运动边界条件融合进来,推导出人体运动捕获装置的初 始运行参数。
初始化单元300推导人体运动捕获装置初始运行参数的步骤是:人体根据运动边界条件做出初始化姿态,同时初始化单元300接收运动参数估计单元100实时发送的 初始化姿态条件下各肢体的运动参数和环境参数;根据各肢体之间的相互限制条件, 建立附着在人体各肢体上的多个微型传感器节点之间的拓扑关系映射,再将运动边界 条件、初始化姿态条件下人体各肢体的运动参数和环境参数融合进来,并再采用贝叶 斯网络动态系统进行滤波,推导出人体运动捕获装置的初始运行参数。
所述初始运行参数包括:运动测量单元100的每个微型传感器节点的传感器坐标系210相对于各肢体的身体坐标系220的三维角度偏差和三维位置偏差;身体坐标系220相对于全局坐标系230的初始三维角度和初始三维位置;其中:所述传感器坐标 系210是运动测量单元100中的每一个微型传感器节点自身的坐标系;所述身体坐标 系220是人体各肢体的坐标系;所述全局坐标系230是大地坐标系。
所述运动边界条件包括:人体在水平地面上运动时,肢体着地部分的位置的竖直分量是零;人体在水平地面上做走路、侧步、滑步、踏步、跑步和跳跃运动时,肢体 着地部分的三维速度及三维角速度是零;人体在水平地面上自然站立,两眼目视前方, 则人体后背所在平面与水平地面近似垂直并与人体视线方向近似垂直;人体双手合十 后,若运动时两手掌心始终相对,十根手指始终相对,则两手位置近似相等。
步态检测单元400,用于检测当前时刻下肢的触地状态,同时更新互补卡尔曼滤波系统状态以消除人体离地后产生的累计误差,其中包含支撑相检测模块,该模块是 基于原始IMU传感数据及当前预测的传感器坐标系相对于全局坐标系的方位角,并 基于传感器信号特征判断脚部节点处于哪个步态相。为克服运动复杂性及信号噪声对 运动步态异常情况的误判,步态检测单元400同时实现了一种步态相检测误判消除的 机制,两者结合后针对绝大部分的步态运动可精确检测运动步态的状态。
基于信号特征的步态检测算法基于各下肢节点的原始传感器数据(主要是加速度和角速度数据)、下肢各传感器坐标系相对全局坐标系的姿态(四元数)及互补滤波算 法输出的状态补偿误差,支撑相检测模块对运动状态和步态相实时检测。具体是将传 感器坐标系下的原始数据转换到全局坐标系,同时分离出运动加速度。在此基础之上, 提取有用的传感器信号(加速度和陀螺仪,或两者中的一种)采用阈值检测的方法对步 态相进行粗略检测,阈值的选取大部分采用离线选择,也可采用自适应阈值选取方式 (需离线完成)。
误判消除的基本思想为:在短时间(如短暂几个运动步态周期内)的步态运动中,相邻采样时刻的步态相检测结果不可能产生突变,而IMU传感单元的数据因受环境 中的多种干扰可能产生误差,进而导致基于信号特征的检测结果存在误判。
为降低因积分累计漂移而产生的速度估计误差,在步态相检测算法的基础上,将支撑相期间固定窗口内的速度积分均值作为窗口等价时间内积分所产生的漂移,在摆 动相积分估计速度位移时移除(即速度位移校准),大致思路如下:在一个步态周期 内,支撑相期间,每个固定时间窗口更新积分速度均值,以此均值作为漂移误差。摆 动相期间,积分速度减去最后更新的漂移误差。
位移融合单元500,用于接收并对各肢体的运动参数、人体运动捕获装置的初始运行参数及人体相对于大地的位移进行融合,推导出并输出人体的整体运动的姿态和 位置信息。步骤是:利用人体运动捕获装置的初始运行参数将人体各肢体的运动参数 从传感器坐标系210转换到身体坐标系220下,得到身体坐标系220下的各肢体运动 参数,并与人体相对于大地的位移一起生成并输出人体的整体运动的姿态和位置信息。
这里,我们以三维微型加速度计、三维微型陀螺仪和三维微型磁力计组成的微型传感器节点作为例子,介绍本发明运动捕获装置的工作流程及系统结构。
图2是人体运动捕获装置运动测量单元100的详细构成图,它同时给出了信号采集、处理流程。运动测量单元100由多个微型传感器节点和一个或数个控制单元组成。 微型传感器节点可以数据总线的有线方式与控制单元相连,控制单元进而以无线或有 线的方式与主计算机相连,主计算机为台式或便携式。运动参数估计单元200以软件 形式在主计算机上实现。一个完整的数据测量s流程是:假设采样率为fs赫兹,在每 一个1/fs秒的时隙内,运动测量单元100会完成如下动作,首先由控制单元发送一个 数据采集指令,微型传感器节点上的微控制器收到指令之后开始采集数据;采集完成 后,控制单元通过数据接口依次接收各个微型传感器节点的数据;收集完所有微型传 感器节点的数据后,控制单元将这些数据压缩打包,发送给通信接口。
在上述方法中,三维微型磁力计、三维加速度传感器和三维陀螺仪都是可选的。根据应用的不同,可以选择其中的一种或两种,甚至不选择其中的任何一种,删减相 应的硬件,构成新的实现方法。
本发明人体运动捕获装置,如图3示出人体各重要肢体多个微型传感器节点分布图,肢体包括:头、上腰、中腰、下腰、左上臂、左前臂、左手、右上臂、右前臂、 右手、左大腿、左小腿、左脚、右大腿和右脚,需要16-20个微型传感器节点。微型 传感器节点的个数,可以根据应用需要进行增加或者删减;每个微型传感器节点的放 置位置和方向也不是固定不变的,可以根据应用需要进行调整。在本实例中,每个微 型传感器节点都包括微控制器、三维加速度计、三维陀螺仪和三维磁力计。
如果人体各肢体均佩戴上运动测量单元100,那么,人体各肢体运动参数都可以测量和估计到。如果我们已经建立了人体的骨骼模型,则人体运动的实时捕获和重现 就是可能的。然而,将运动测量单元100佩戴到各肢体上,如果不做人体运动捕获装 置的初始化,那么,每一次穿戴部位的不同都会影响测量和估计结果,同时,分布式 测量也无法直接得到人体的整体姿态和位置。
对于使用高精度摄像机的人体运动捕获装置来说,一切均在大地坐标系下进行。如图5示出人体运动捕获装置中的三个坐标系及它们之间的关系,包括:传感器坐标 系210、身体坐标系220和全局坐标系230。传感器坐标系210是运动测量单元100中 的每一个微型传感器节点自身的坐标系,运动测量单元100中的每一个微型传感器节 点,都有一个与其他节点相独立的坐标系,每个节点的测量数据都是在其自身的传感 器坐标系下获得的,运动参数估计单元200估计出的各肢体的运动参数也是相对于各 肢体上所附着微型传感器节点的坐标系的;身体坐标系220是人体每个肢体的坐标系; 全局坐标系230是大地坐标系。为了将分布式测量的、在各自传感器坐标系下的、运 动测量单元100中的每一个微型传感器节点所测量的运动数据和环境数据统一起来, 将所有肢体的运动参数统一到一个坐标系框架下,以获得人体的整体运动,并去除运 动测量单元100穿戴位置不同对运动捕获和估值的影响,本发明的初始化单元300依 据人体各肢体的相互限制条件和运动边界条件,设定人体运动捕获装置的初始值和初 始参数。人体各肢体之间的相互限制条件,是各肢体之间的相互连接和联动关系,如 左大腿连接着左小腿,左小腿连接着左脚,左大腿运动能够带动左小腿和左脚的运动, 但是左大腿和左脚并不直接连接在一起,左大腿的运动只能通过左小腿而带动脚一起 运动。另外,人的运动存在于大地坐标系中,人体运动包括两部分,一是在身体坐标 系220中各肢体的运动,二是人体在全局坐标系230中的三维位移,也就是身体坐标 系220相对于全局坐标系230的运动。本发明以步态为线索,推导人体相对于大地坐 标系的三维位移。
下面详细介绍运动参数估计单元200、初始化单元300、步态检测单元400和位移融合单元500;在介绍运动参数估计单元200时,本发明仅以互补卡尔曼滤波的三维 角度估计方法为例进行阐述:
如上,每个微型传感器节点都包括微控制器和三维加速度计、三维陀螺仪及三维磁力计这三种微型传感器。利用本发明提供的互补卡尔曼滤波的三维角度估计方法, 可以估计出各微型传感器节点所测肢体在传感器坐标系210下的精确三维角度。
三维微型加速计测量的是三维加速度测量数据,在静止情况下测量得到的是重力加速度测量数据,能够提供微型传感器节点相对于水平面的旋转角度为倾斜角(Pitch) 和滚动角(Roll);
三维磁力计测量的是三维磁场强度测量数据,能够提供微型传感器节点绕竖直方向旋转的角度为偏航角(Yaw),原理类似罗盘;
三维陀螺仪测量的是三维角速度测量数据,对三维角速度测量数据积分能够得到三维的旋转角度。
微型传感器节点测量得到的三种微型传感器数据的精确度受到多个方面的影响,首先是三种微型传感器的测量精度和误差,微型传感器在将物理信息转换为数字信号 的过程中不可避免的会有误差。其次,由于微型传感器测量的数据会受到干扰,例如 三维微型加速计测量得到的是三维加速度测量数据,在静态或者准静态的情况下测得 的是重力加速度测量数据,但是在人体快速运动时会引入较大的人体运动加速度;三 维微型磁力计测量的是三维地球磁场强度测量数据,但是实际测量得到的数据会受到 周围铁磁性物质的磁场干扰。另外,在对三维角速度测量数据进行积分求角度的时候, 数字信号误差的累积会产生一个随着时间逐渐累积的漂移误差。所以,在对这三种数 据进行信息融合得到角度信息的过程中,首先需要对这些微型传感器数据做去噪、校 准和温度补偿预处理,然后需要考虑各种可能的干扰情况,尽量提取其中的可用信息。 另一方面,系统的实时性要求我们的融合方法,在保证估计的准确性的情况下,尽量 能有低的计算复杂度。
基于以上的分析,本发明运动参数估计单元200提供的互补卡尔曼滤波的角度估计方法,其流程图如图4所示,
首先对运动测量单元100测量得到的原始观测数据进行预处理操作,预处理包括去噪、校准和温度补偿。经过预处理之后,运动参数估计单元200估计其他运动参数 的方法与此同理,此处不再赘述。记运动参数估计单元200估计的运动参数为它代表 微型传感器节点所测肢体在时刻t在传感器坐标系210下的运动参数和环境参数,它 可以包括三维角度,即由上述互补卡尔曼滤波的三维角度估计方法估计出的精确三维 角度,还可以包括三维位置估值、三维速度估值、三维加速度估值、三维角度估值和 三维磁场强度估值。如果人体各肢体均佩戴上运动测量单元100中的n个微型传感器 节点,那么,各肢体的三维方位角度都可以采用互补卡尔曼滤波的三维角度估计方法 得出。然而,运动参数估计单元200估计出的各肢体的三维方位角度是相对于各肢体 上所附着微型传感器节点的传感器坐标系下的,必须将所有肢体的方位角度统一到一 个坐标系框架下,才能获得人体的整体运动姿态和位置信息。另外,将运动测量110 佩戴到各肢体上,每一次穿戴部位的不同都会影响测量和估计结果,
由此初始化单元估计除了人体运动捕获装置的初始运行参数。为了获得人体相对于大地的运动,需要估计人体在大地坐标系下的三维位移。位移可以通过对人体各肢 体三维运动加速度的双重积分来得到。但是,由于运动参数估计单元估计出的三维加 速度测量数据是在传感器坐标系210下重力加速度与人体运动加速度的矢量和,因而 需要先剥离出人体运动加速度分量,并利用运动参数估计单元200得到的三维角度将 其从传感器坐标系210下转换到全局坐标系230下,然后对之二次积分才能得到人体 各肢体在运动过程中的位移。但是,由于积分常量的未知、运动参数估计单元200估 计得到的三维角度信息误差的存在和三维微型加速度计本身漂移的存在,积分得到位 置的误差会随着时间的增长成平方系数的积累,几秒钟过后得到的位置已经相当不可 靠。
为了约束积分过程中漂移无限制地增长,需要引入运动边界条件,如零速度更新的算法。本发明提供一种基于信号特征的步态检测算法,即步态检测单元400来检测 运动状态。零速度更新算法的基本方法是,利用人体在水平地面上做走路、侧步、滑 步、踏步、跑步和跳跃运动时,着地脚的三维速度及三维角速度是零这一运动边界条 件,脚着地的这段时间称之为支撑相;在估值过程中,处于支撑相的脚处于静止状态, 设置这段时间内的脚速度为零,从而将误差的积累限制在走路的每一个跨步之中,减 小了误差的积累。该单元对运动状态和步态相实时检测,具体是将传感器坐标系下的 原始数据转换到全局坐标系,同时分离出运动加速度。在此基础之上,提取有用的传 感器信号(加速度和陀螺仪,或两者中的一种)采用阈值检测的方法对步态相进行粗略 检测,阈值的选取大部分采用离线选择,也可采用自适应阈值选取方式(需离线完成)。
本发明位移融合单元方法流程图如图6所示,步态检测单元400检测人体着地的肢体,确定人体的着地脚;根据运动边界条件,检测步态时间参数;并对运动参数估 计单元200所捕获和推导出的人体各肢体运动参数和环境参数,初始化单元300初始 运行参数所推导出的人体运动捕获装置的初始运行参数,各肢体的长度、各肢体之间 的相互限制条件,进行进一步融合,通过以上参数,利用人体运动学将运动边界条件 的数据传导到人体各个肢体,从而求得人体相对于大地的位移。本实例记骨盆为根节 点,以根节点为例阐述人体运动学传递的基本方法,与之相关的是人体下肢各肢体。 人体下肢各肢体主要由七块骨骼组成,如图7示出的位移估计单元所用的下肢结构图 包括骨盆,左、右股骨,左、右胫骨和左、右脚,本发明利用人体运动学在下肢各肢 体之间传递位移信息,从而获取根节点的位移。
应当理解,为了精简本发明并帮助本领域的技术人员理解本发明的各个方面,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时在单个实施例中进行 描述,或者参照单个图进行描述。但是,不应将本发明解释成示例性实施例中包括的 特征均为本专利权利要求的必要技术特征。
应当理解,可以对本发明的一个实施例的设备中包括的模块、单元、组件等进行自适应性地改变以把它们设置在与该实施例不同的设备中。可以把实施例的设备包括 的不同模块、单元或组件组合成一个模块、单元或组件,也可以把它们分成多个子模 块、子单元或子组件。
本发明的实施例中的模块、单元或组件可以以硬件方式实现,也可以以一个或者多个处理器上运行的软件方式实现,或者以它们的组合实现。本领域的技术人员应当 理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实 施例。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的计算机程 序产品或计算机可读介质上。
Claims (10)
1.一种人体运动捕获装置,包括运动测量单元、运动参数估计单元、初始化单元、步态检测单元、位移融合单元,其中,
运动测量单元用于测量人体肢体运动数据和环境数据;
运动参数估计单元,用于对所述人体肢体运动数据和环境数据进行融合,推导出肢体的运动参数和环境参数;
初始化单元,用于将人体肢体之间的相互限制条件和运动边界条件融合进来,推导出人体运动捕获装置的初始运行参数;
步态检测单元,用于检测当前时刻人体下肢的触地状态,得到步态检测信息;
位移融合单元,用于接收并对人体各肢体的运动参数、人体运动捕获装置的初始运行参数、各肢体的长度、各肢体之间的相互限制条件和步态检测信息进行融合,推导出并输出人体相对于大地的整体运动的姿态和位置信息。
2.如权利要求1所述的人体运动捕获装置,其特征在于,所述运动测量单元包括多个微型传感器节点和至少一个控制单元,其中,
所述微型传感器节点用于采样及测量各肢体运动数据和环境数据;
所述控制单元获取每个微型传感器节点的数据,并发送给所述运动参数估计单元。
3.如权利要求1所述的人体运动捕获装置,其特征在于,所述运动参数估计单元采用互补卡尔曼滤波系统对各肢体运动数据和环境数据进行融合,推导出各肢体运动参数中的三维角度估值。
4.如权利要求3所述的人体运动捕获装置,其特征在于,所述步态检测单元还用于更新互补卡尔曼滤波系统状态以消除人体离地后产生的累计误差。
5.如权利要求3所述的人体运动捕获装置,其特征在于,所述步态检测单元包含支撑相检测模块,该模块基于原始IMU传感数据及当前预测的传感器坐标系相对于全局坐标系的方位角,并基于传感器信号特征判断脚部节点处于哪个步态相。
6.如权利要求5所述的人体运动捕获装置,其特征在于,步态检测单元执行基于信号特征的步态检测算法,该算法基于各下肢节点的原始传感器数据、下肢各传感器坐标系相对全局坐标系的姿态及互补卡尔曼滤波系统输出的状态补偿误差。
7.如权利要求6所述的人体运动捕获装置,其特征在于,步态检测单元在步态相检测算法的基础上,将支撑相期间固定窗口内的速度积分均值作为窗口等价时间内积分所产生的漂移,在摆动相积分估计速度位移时移除。
8.如权利要求6所述的人体运动捕获装置,其特征在于,所述位移融合单元利用人体运动捕获装置的初始运行参数将人体各肢体的运动参数从传感器坐标系(210)转换到身体坐标系(220)下,得到身体坐标系(220)下的各肢体运动参数,并与人体相对于大地的位移一起生成并输出人体的整体运动的姿态和位置信息。
9.一种人体运动捕获方法,包括:
测量人体肢体运动数据和环境数据;
对所述人体肢体运动数据和环境数据进行融合,推导出肢体的运动参数和环境参数;
将人体肢体之间的相互限制条件和运动边界条件融合进来,推导出人体运动捕获装置的初始运行参数;
检测当前时刻人体下肢的触地状态,得到步态检测信息;
接收并对人体各肢体的运动参数、人体运动捕获装置的初始运行参数、各肢体的长度、各肢体之间的相互限制条件和步态检测信息进行融合,推导出并输出人体相对于大地的整体运动的姿态和位置信息。
10.如权利要求9所述的人体运动捕获方法,其特征在于,所述运动参数估计单元采用互补卡尔曼滤波系统对各肢体运动数据和环境数据进行融合,推导出各肢体运动参数中的三维角度估值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811334444.3A CN109284006B (zh) | 2018-11-09 | 2018-11-09 | 一种人体运动捕获装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811334444.3A CN109284006B (zh) | 2018-11-09 | 2018-11-09 | 一种人体运动捕获装置和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109284006A true CN109284006A (zh) | 2019-01-29 |
| CN109284006B CN109284006B (zh) | 2024-01-16 |
Family
ID=65175274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811334444.3A Active CN109284006B (zh) | 2018-11-09 | 2018-11-09 | 一种人体运动捕获装置和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109284006B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109781104A (zh) * | 2019-01-31 | 2019-05-21 | 深圳创维数字技术有限公司 | 运动姿态确定及定位方法、装置、计算机设备及介质 |
| CN111298289A (zh) * | 2020-03-05 | 2020-06-19 | 中国科学院苏州生物医学工程技术研究所 | 沉浸式多人多感知监护虚拟现实装置 |
| CN111353543A (zh) * | 2020-03-04 | 2020-06-30 | 镇江傲游网络科技有限公司 | 运动捕捉数据相似度度量方法、装置及系统 |
| CN112562068A (zh) * | 2020-12-24 | 2021-03-26 | 北京百度网讯科技有限公司 | 人体姿态生成方法、装置、电子设备及存储介质 |
| CN116019442A (zh) * | 2022-12-12 | 2023-04-28 | 天津大学 | 基于uwb/imu融合的运动姿势评估系统 |
| CN116585675A (zh) * | 2023-05-11 | 2023-08-15 | 安徽诚朗信息科技有限公司 | 一种交互式在线舞蹈教学方法及设备 |
| CN116934804A (zh) * | 2023-06-29 | 2023-10-24 | 赢富仪器科技(上海)有限公司 | 一种基于视频监控的无标记点运动捕捉系统 |
| WO2023221524A1 (zh) * | 2022-05-20 | 2023-11-23 | 北京航天时代光电科技有限公司 | 一种人体运动智能测量与数字训练系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101579238A (zh) * | 2009-06-15 | 2009-11-18 | 吴健康 | 人体运动捕获三维再现系统及其方法 |
| CN102323854A (zh) * | 2011-03-11 | 2012-01-18 | 中国科学院研究生院 | 人体运动捕获装置 |
| CN104613964A (zh) * | 2015-01-30 | 2015-05-13 | 中国科学院上海高等研究院 | 一种跟踪脚部运动特征的步行者定位方法及系统 |
| CN105043385A (zh) * | 2015-06-05 | 2015-11-11 | 北京信息科技大学 | 一种行人自主导航定位的自适应卡尔曼滤波方法 |
-
2018
- 2018-11-09 CN CN201811334444.3A patent/CN109284006B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101579238A (zh) * | 2009-06-15 | 2009-11-18 | 吴健康 | 人体运动捕获三维再现系统及其方法 |
| CN102323854A (zh) * | 2011-03-11 | 2012-01-18 | 中国科学院研究生院 | 人体运动捕获装置 |
| CN104613964A (zh) * | 2015-01-30 | 2015-05-13 | 中国科学院上海高等研究院 | 一种跟踪脚部运动特征的步行者定位方法及系统 |
| CN105043385A (zh) * | 2015-06-05 | 2015-11-11 | 北京信息科技大学 | 一种行人自主导航定位的自适应卡尔曼滤波方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109781104A (zh) * | 2019-01-31 | 2019-05-21 | 深圳创维数字技术有限公司 | 运动姿态确定及定位方法、装置、计算机设备及介质 |
| CN111353543A (zh) * | 2020-03-04 | 2020-06-30 | 镇江傲游网络科技有限公司 | 运动捕捉数据相似度度量方法、装置及系统 |
| CN111298289A (zh) * | 2020-03-05 | 2020-06-19 | 中国科学院苏州生物医学工程技术研究所 | 沉浸式多人多感知监护虚拟现实装置 |
| CN112562068A (zh) * | 2020-12-24 | 2021-03-26 | 北京百度网讯科技有限公司 | 人体姿态生成方法、装置、电子设备及存储介质 |
| CN112562068B (zh) * | 2020-12-24 | 2023-07-14 | 北京百度网讯科技有限公司 | 人体姿态生成方法、装置、电子设备及存储介质 |
| WO2023221524A1 (zh) * | 2022-05-20 | 2023-11-23 | 北京航天时代光电科技有限公司 | 一种人体运动智能测量与数字训练系统 |
| CN116019442A (zh) * | 2022-12-12 | 2023-04-28 | 天津大学 | 基于uwb/imu融合的运动姿势评估系统 |
| CN116019442B (zh) * | 2022-12-12 | 2024-05-14 | 天津大学 | 基于uwb/imu融合的运动姿势评估系统 |
| CN116585675A (zh) * | 2023-05-11 | 2023-08-15 | 安徽诚朗信息科技有限公司 | 一种交互式在线舞蹈教学方法及设备 |
| CN116934804A (zh) * | 2023-06-29 | 2023-10-24 | 赢富仪器科技(上海)有限公司 | 一种基于视频监控的无标记点运动捕捉系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109284006B (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102323854B (zh) | 人体运动捕获装置 | |
| CN109284006A (zh) | 一种人体运动捕获装置和方法 | |
| AU2009251176B2 (en) | Visual and physical motion sensing for three-dimensional motion capture | |
| CN101579238B (zh) | 人体运动捕获三维再现系统及其方法 | |
| KR101751760B1 (ko) | 하지 관절 각도를 이용한 보행 인자 추정 방법 | |
| US20100194879A1 (en) | Object motion capturing system and method | |
| CN108939512B (zh) | 一种基于穿戴式传感器的游泳姿态测量方法 | |
| Destelle et al. | Low-cost accurate skeleton tracking based on fusion of kinect and wearable inertial sensors | |
| CN106153077B (zh) | 一种用于m-imu人体运动捕获系统的初始化校准方法 | |
| Peppoloni et al. | A novel 7 degrees of freedom model for upper limb kinematic reconstruction based on wearable sensors | |
| CN201431466Y (zh) | 人体运动捕获三维再现系统 | |
| KR101214227B1 (ko) | 동작 추적 방법. | |
| Li et al. | Visual–inertial fusion-based human pose estimation: A review | |
| CN109242887A (zh) | 一种基于多摄像机和imu的实时人体上肢动作捕捉方法 | |
| CN112256125A (zh) | 一种基于激光大空间定位与光惯互补动作捕捉系统及方法 | |
| CN110609621B (zh) | 姿态标定方法及基于微传感器的人体运动捕获系统 | |
| CN106256394A (zh) | 混合动作捕捉的训练装置及系统 | |
| Salehi et al. | Body-IMU autocalibration for inertial hip and knee joint tracking. | |
| GB2466714A (en) | Hybrid visual and physical object tracking for virtual (VR) system | |
| JP2016006415A (ja) | 光学式モーションキャプチャにおける光学式マーカーの位置の推定方法及び装置 | |
| US20180216959A1 (en) | A Combined Motion Capture System | |
| Ahmadi et al. | Human gait monitoring using body-worn inertial sensors and kinematic modelling | |
| CN109453505A (zh) | 一种基于可穿戴设备的多关节追踪方法 | |
| Lin et al. | Using hybrid sensoring method for motion capture in volleyball techniques training | |
| Joukov et al. | Closed-chain pose estimation from wearable sensors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |