CN111242079A

CN111242079A - 步态检测融合方法、装置、设备及可读存储介质

Info

Publication number: CN111242079A
Application number: CN202010068271.6A
Authority: CN
Inventors: 谭高辉; 吴坤坤; 蔡雪风; 谭人嘉; 冷正飞
Original assignee: Shenzhen Chwishay Smart Technology Co Ltd
Current assignee: Shenzhen Chwishay Smart Technology Co Ltd
Priority date: 2020-01-20
Filing date: 2020-01-20
Publication date: 2020-06-05
Anticipated expiration: 2040-01-20
Also published as: CN111242079B

Abstract

本申请公开了一种步态检测融合方法、装置、设备和可读存储介质，该方法包括确定步态检测对象当前的目标侧和对侧；根据所述目标侧和对侧的运动数据，获取所述目标侧的第一步态和所述对侧的第二步态；根据所述运动数据，确定所述第一步态和所述第二步态的融合关系；根据第一步态、第二步态和所述融合关系，输出目标侧的最终步态。根据目标侧和对侧的运动数据获取第一步态和第二步态，同时确定第一步态和第二步态的融合关系，其中融合关系根据实际的运动数据确定，所以输出的最终步态的识别结果更加准确。

Description

步态检测融合方法、装置、设备及可读存储介质

技术领域

本发明涉及步态识别技术领域，尤其涉及一种步态检测融合方法、装置、设备及可读存储介质。

背景技术

为了帮助无法正常行走的患者重新恢复行走能力，需要相应的康复设备辅助行走。设备辅助患者的关键点之一就是识别患者的运动意图。识别患者的运动意图的方式之一就是识别患者的步态。但是受限于设备的形态以及便携性，可能需要多个传感器同时进行步态检测，需要将多个传感器的步态信息进行融合得到最终的步态。因为现在的多侧步态检测融合的结果不准确，所以大多数康复设备都使用单侧的多个传感器进行步态检测。

发明内容

本申请的主要目的在于提供一种步态检测融合方法、装置、设备及可读存储介质，旨在解决步态检测融合时识别结果不准确的问题。

为实现上述目的，本申请提供的一种步态检测融合方法，所述步态检测融合方法包括以下步骤：

确定步态检测对象当前的目标侧和对侧；

根据所述目标侧和对侧的运动数据，获取所述目标侧的第一步态和所述对侧的第二步态；

根据所述运动数据，确定所述第一步态和所述第二步态的融合关系；

根据所述第一步态、第二步态和所述融合关系，输出目标侧的最终步态。

可选地，所述根据所述运动数据，确定所述第一步态和所述第二步态的融合关系的步骤包括：

将所述运动数据与预设的行走数据进行比较，获取所述运动数据和所述行走数据的误差；

若所述误差不大于预设值，则所述融合关系中以第一步态为主；

若所述误差大于预设值，则所述融合关系中以第二步态为主。

可选地，所述融合关系中以第一步态为主，所述根据第一步态、第二步态和所述融合关系，输出目标侧的最终步态的步骤包括：

当所述第一步态为摆动状态时，获取当前时刻前第一预设时长时的第一目标侧步态和第一对侧步态；

若所述第一目标侧步态为支撑状态且所述第一对侧步态为摆动状态，则输出最终状态为摆动状态。

可选地，所述根据第一步态、第二步态和所述融合关系，输出目标侧的最终步态的步骤包括：

当所述第一步态为支撑状态，获取当前时刻前第一预设时长时的第二目标侧步态和第二对侧步态；

若所述第二目标侧步态为摆动状态且所述第二对侧步态为支撑状态，则输出最终的步态为支撑状态。

可选地，所述融合关系中以第二步态为主，所述根据第一步态、第二步态和所述融合关系，输出目标侧的最终步态的步骤包括：

若第二步态为摆动状态，则输出最终步态为支撑状态；

若第二步态为支撑状态，延迟第二预设时长后，输出最终步态为摆动状态；

若当前时刻前第二预设时长时最终步态为摆动状态，当前时刻时第一步态为支撑状态，则输出当前时刻时的最终步态为支撑状态。

可选地，所述步态检测融合方法包括：

若只获取到所述目标侧的第一步态，则输出所述第一步态作为最终步态。

可选地，所述步态检测融合方法包括：

若只获取到所述对侧的第二步态，则根据所述第二步态输出目标侧的最终步态；

若所述第二步态为摆动状态，则输出最终步态为支撑状态；

若所述第二步态为支撑状态，延迟第三预设时长后，输出最终步态为摆动状态。

本申请还提供一种步态检测融合装置，所述步态检测融合装置包括：

第一确定模块，用于确定步态检测对象当前的目标侧和对侧；

获取模块，用于根据所述目标侧和对侧的运动数据，获取所述目标侧的第一步态和所述对侧的第二步态；

第二确定模块，用于根据所述运动数据，确定所述第一步态和所述第二步态的融合关系；

输出模块，用于根据第一步态、第二步态和融合关系，输出目标侧的最终步态。

本申请还提供一种步态检测融合设备，所述步态检测融合设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的步态检测融合程序，所述步态检测融合程序被所述处理器执行时实现如上述的步态检测融合方法的步骤。

本申请还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的步态检测融合方法的步骤。

本申请通过确定步态检测对象当前的目标侧和对侧；根据所述目标侧和对侧的运动数据，获取所述目标侧的第一步态和/或所述对侧的第二步态；根据所述运动数据，确定所述第一步态和所述第二步态的融合关系；根据第一步态、第二步态和所述融合关系，输出目标侧的最终步态。根据目标侧和对侧的运动数据获取第一步态和第二步态，同时确定第一步态和第二步态的融合关系，其中融合关系根据实际的运动数据确定，所以输出的最终步态的识别结果更加准确。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例方案涉及的硬件运行环境的装置结构示意图；

图2为本申请步态检测融合方法第一实施例的流程示意图；

图3为本申请步态检测融合方法第二实施例中对于图2步骤S30的细化流程图；

图4为本申请步态检测融合方法第三实施例中对于图2步骤S40的细化流程图；

图5为本申请步态检测融合方法第三实施例中行走过程中的状态转换的示意图；

图6为本申请步态检测融合方法第四实施例中对于图2步骤S40的细化流程图；

图7为本申请步态检测融合方法第六实施例中步态检测融合方法其余步骤的流程示意图；

图8为本申请步态检测融合设备一实施例的系统结构示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

如图1所示，图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图。

本申请实施例终端为步态检测融合设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在终端设备移动到耳边时，关闭显示屏和/或背光。当然，终端设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及步态检测融合程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的步态检测融合程序，并执行以下操作：

确定步态检测对象当前的目标侧和对侧；

根据第一步态、第二步态和所述融合关系，输出目标侧的最终步态。

基于上述终端硬件结构，提出本申请各个实施例。

本申请提供一种步态检测融合方法。

参照图2，在步态检测融合方法第一实施例中，该方法包括：

步骤S10，确定步态检测对象当前的目标侧和对侧；

通常进行康复训练的患者的两条大腿，其中一条为健康的大腿，而另一条为无法正常行走的大腿，无法正常行走的大腿需要在康复设备的辅助下进行行走训练，在行走的过程中给予相应的辅助，如在行走时需要辅助帮助摆动大腿并确保大腿的摆动过程中的姿势正确。目标侧就是指无法正常进行行走的大腿这一侧，对侧则是除目标侧外的身体另一侧，即健康的大腿这一侧。

步骤S20，根据所述目标侧和对侧的运动数据，获取所述目标侧的第一步态和所述对侧的第二步态；

一般地，在康复训练设备中会在不同部位设置传感器获取不同部位的运动数据，当然，也可以通过其他可以获取运动信息的装置来获取目标侧和/或对侧的运动数据。这里的传感器可以为IMU(Inertial Measurement Unit,惯性测量单元)模块，下面以IMU模块进行举例说明。IMU模块包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度。具体地，IMU模块可以设置在腰部、大腿、小腿和足部等部位，从而获取相应部位的运动数据。在摆动状态或者支撑状态时，身体下半部分的各部位的运动状态不同，在摆动状态时，大腿和/或小腿绕着髋关节往前摆，同时向对于上半身往前摆，足部绕着腿部转动，足部相对于地面往前摆，足部相对于身体往前摆；而在支撑状态时，大腿和/或小腿大腿绕着足部转动，大腿相对于地面往后摆，大腿相对于身体往后摆，足部绕着前脚掌转动，足部相对于地面往后摆，足部相对于身体往后摆。所以在不同步态时，各部位的角速度、角度等移动数据不同，所以可以依据IMU模块获取的运动数据识别出相应的步态。可选地，IMU模块可以替换为其他可以检测到这些数据的传感器或其它装置，如单独的角速度计、陀螺仪或者他们的组合

步骤S30，根据所述运动数据，确定所述第一步态和所述第二步态的融合关系；

根据获取的运动数据与标准的行走过程中的运动数据进行对比，以此判断用户当前的无法正常行走的大腿的恢复情况，相对来说，以目标侧大腿的第一步态为主进行判断最为准确，但是如果行走训练恢复效果不好，则需要以第二步态为主，所以可以根据运动数据确定最终的融合关系。

步骤S40，根据第一步态、第二步态和所述融合关系，输出目标侧的最终步态；

第一步态和第二步态分别为目标侧和对侧对应的步态，融合关系为将两侧的步态融合成最终步态时的依据。根据已经获取的第一步态和第二步态以及融合关系输出目标侧的最终步态。最终步态也分为摆动状态和支撑状态。识别出相应的步态是为了患者在康复训练行走过程中根据识别出的步态对于患者的大腿(尤其是无法正常行走的大腿)进行相应的辅助，如帮助摆动或者帮助支撑。

在本实施例中，确定步态检测对象当前的目标侧和对侧；根据所述目标侧和对侧的运动数据，获取所述目标侧的第一步态和所述对侧的第二步态；根据所述运动数据，确定所述第一步态和所述第二步态的融合关系；根据第一步态、第二步态和所述融合关系，输出目标侧的最终步态。根据目标侧和对侧的运动数据获取第一步态和第二步态，同时确定第一步态和第二步态的融合关系，其中融合关系根据实际的运动数据确定，所以输出的最终步态的识别结果更加准确。

进一步地，参照图2和图3，在本申请步态检测融合方法第一实施例的基础上，提供步态检测融合方法第二实施例，在第二实施例中，

步骤S30包括：

步骤S31，将所述运动数据与预设的行走数据进行比较，获取所述运动数据和所述行走数据的误差；

获取的运动数据包括角度、角速度等数据，如人在行走过程中大腿与地面的角度、大腿横轴与地面的角速度等。患者因为无法像正常人一样行走，所以在实际的行走过程中的运动数据与预设的行走数据存在误差，通过误差可以判断患者当前的恢复情况，继而确定然后关系。

步骤S32，若所述误差不大于预设值，则所述融合关系中以第一步态为主；

步骤S33，若所述误差大于预设值，则所述融合关系中以第二步态为主；

当误差不大于预设值时，说明患者大腿的恢复情况较为良好，此时以第一步态为主确定最终步态的偏差不会太大，同时识别的结果也会更加准确。而当误差较大时，说明患者的恢复情况不是太好，目标侧无法满足正常的行走要求，因此此时第一步态的结果准确性差，所以确定然后关系中以第二步态为主以提高识别结果的准确性。

在本实施例中，通过获取的运动数据与标准的行走数据对比，确定进行步态检测融合时的融合关系以提高融合结果的准确性。

进一步地，参照图2、图4和图5，在本申请步态检测融合方法第二实施例的基础上，提供步态检测融合方法第三实施例，在第三实施例中，融合关系中以第一步态为主，

步骤S40包括：

步骤S41，当所述第一步态为摆动状态时，获取当前时刻前第一预设时长时的所述第一目标侧步态和所述第一对侧步态；

步骤S42，若所述第一目标侧步态为支撑状态且所述第一对侧步态为摆动状态，则输出最终状态为摆动状态；

步骤S43，当所述第一步态为支撑状态，获取当前时刻前第一预设时长时的所述第二目标侧步态和所述第二对侧步态；

步骤S44，若所述第二目标侧步态为摆动状态且所述第二对侧步态为支撑状态，则输出最终的步态为支撑状态；

当患者经过一段时间的康复训练后，目标侧大腿已恢复一定的行走能力，此时运动数据与标准的行走数据误差较小，此时融合关系中以第一步态为主，可以更加准确的判断用户当前处于行走过程中的对应状态。

人完整的行走过程包括双腿同时支撑在地面上，一侧的腿部开始摆动，摆动到最大幅度时开始回落到地面，恢复到双腿同时支撑在地面的状态，之后，另一侧的腿部开始摆动，摆动到最大幅度时开始回落到地面，然后恢复到双腿支撑在地面的状态，完成一个完整的行走动作的循环，如此循环往复进行正常的行走。参照图5，将完整的行走过程分为4个不同的状态，其中状态1为由对侧的摆动状态变为双腿支撑状态，状态2为目标侧进入摆动状态，状态3为由目标侧的摆动状态变为双腿支撑状态，状态4为对侧进入摆动状态。同时在状态2和状态3时分别输出最终步态为摆动状态和支撑状态。当第一步态为支撑状态，获取当前时刻前第一预设时长时的第一目标侧步态和第一对侧步态，第一预设时长根据正常人行走时的步频设置，且应该为一个较小的值。用于判断此时目标侧此时是刚进入支撑状态还是早已处于支撑状态，因此当第一目标侧步态为支撑状态且第一对侧步态为摆动状态，说明目标侧刚由摆动状态变为支撑状态，处于状态2，则输出最终状态为摆动状态；当第一步态为支撑状态，获取当前时刻前第一预设时长时的第二目标侧步态和第二对侧步态，当第二目标侧步态为摆动状态且第二对侧步态为支撑状态，说明目标侧刚由摆动状态变为支撑状态，处于状态3，则输出最终的步态为支撑状态。

在本实施例中，通过目标侧的第一步态和对侧的第二步态，以第一步态为主，可以更加准确的判断用户在行走周期中所处的状态，从而输出的最终步态结果更加准确。

进一步地，参照图2和图6，在本申请步态检测融合方法第二实施例的基础上，提供步态检测融合方法第四实施例，在第四实施例中，融合关系中以第二步态为主，

步骤S40包括：

步骤S45，若第二步态为摆动状态，则输出最终步态为支撑状态；

步骤S46，若第二步态为支撑状态，延迟第二预设时长后，输出最终步态为摆动状态；

步骤S47，若当前时刻前第二预设时长时最终步态为摆动状态，当前时刻时第一步态为支撑状态，则输出当前时刻时的最终步态为支撑状态；

在患者刚开始进行行走康复训练时，目标侧在行走时的运动数据与正常人正常行走时的行走数据差距较大，不能直接用于识别目标侧的最终步态，所以融合关系中以第二步态为主，同时通过目标侧获取的第一步态作为辅助参考。当第二步态为摆动状态时，目标侧肯定处于支撑状态，即输出目标侧的最终步态为支撑状态，当第二步态为支撑状态时，因为身体两侧的摆动状态存在一定的延迟，所以延迟第二时长后，输出目标侧的最终步态为摆动状态，可以借助获取的第一步态，判断延迟第二时长后目标侧是否的确处于摆动状态。同时，若第一步态的识别结果为支撑状态，则输出最终步态为支撑状态，此时暂时以第一步态为主而不用判断第二步态。第二预设时长也是根据正常人行走时的步频确定。

在本实施例中，融合关系中以第二步态为主，通过第一步态辅助获取目标侧的最终步态。

进一步地，在本申请步态检测融合方法第二实施例的基础上，提供步态识别方法第五实施例，在第五实施例中，

步态检测融合方法包括：

步骤A，若只获取到所述目标侧的第一步态，则输出所述第一步态作为最终步态；

如当设备只在目标侧设置有传感器的情况下，或者对侧的传感器损坏无法获得相应的第二步态而只能获取到目标侧的第一步态，由于没有更多的参考依据，所以直接将目标侧的第一步态输出为最终步态。

在本实施例中，只存在目标侧的第一步态时，将第一步态输出为目标侧的最终步态。

进一步地，参照图2和图7，在本申请步态检测融合方法第二实施例的基础上，提供步态检测融合方法第六实施例，在第六实施例中，

步态检测融合方法包括：

步骤S50，若只获取到所述对侧的第二步态，则根据所述第二步态输出目标侧的最终步态；

如果无法直接获取到目标侧的第一步态，如目标侧的传感器故障等情况，此时只能获取对侧的运动数据，并利用对侧的运动数据获取对侧的第二步态，然后根据对侧的第二步态相应的推测目标侧的最终步态。

步骤S60，若所述第二步态为摆动状态，则输出最终步态为支撑状态；

在正常的行走过程中，人体的目标侧和对侧不可能同时处于摆动状态，即至少有一侧处于支撑状态，因此当对侧的第二步态为摆动状态时，可以直接输出目标侧的最终步态为支撑状态。

步骤S70，若所述第二步态为支撑状态，延迟第三预设时长后，输出最终步态为摆动状态；

在行走过程中，人的两条腿会交替处于摆动状态，即当身体的一侧从摆动状态回复到支撑状态后，另一侧会从支撑状态变为摆动状态，但是这个过程存在一定的延迟性，所以当对侧处于支撑状态时，延迟第三预设时长后，输出目标侧的最终步态为摆动状态。第三预设时长的设置可以根据正常人正常行走时的步频进行设置。其中各种预设时长还可以根据之后的实际使用情况进行调整。

在本实施例中，只能获取对侧的单侧步态信息，则当对侧处于摆动状态时，可以获取目标侧的步态。

此外，参照图8，本申请实施例还提出一种步态检测融合装置，所述步态检测融合装置包括：

可选地，第二确定模块还用于：

将所述运动数据与标准的行走数据进行比较，获取所述运动数据和所述行走数据的误差；

可选地，所述输出模块还用于：

可选地，输出模块还用于：

若第二步态为摆动状态，则输出最终步态为支撑状态；

可选地，输出模块还用于：

若所述第二步态为摆动状态，则输出最终步态为支撑状态；

本申请设备和可读存储介质(即计算机可读存储介质)的具体实施方式的拓展内容与上述步态检测融合方法各实施例基本相同，在此不做赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种步态检测融合方法，其特征在于，所述步态检测融合方法包括以下步骤：

确定步态检测对象当前的目标侧和对侧；

2.如权利要求1所述的步态检测融合方法，其特征在于，所述根据所述运动数据，确定所述第一步态和所述第二步态的融合关系的步骤包括：

3.如权利要求2所述的步态检测融合方法，其特征在于，所述融合关系中以第一步态为主，所述根据第一步态、第二步态和所述融合关系，输出目标侧的最终步态的步骤包括：

4.如权利要求3所述的步态检测融合方法，其特征在于，所述根据第一步态、第二步态和所述融合关系，输出目标侧的最终步态的步骤包括：

5.如权利要求2所述的步态检测融合方法，其特征在于，所述融合关系中以第二步态为主，所述根据第一步态、第二步态和所述融合关系，输出目标侧的最终步态的步骤包括：

若第二步态为摆动状态，则输出最终步态为支撑状态；

6.如权利要求2所述的步态检测融合方法，其特征在于，所述步态检测融合方法包括：

7.如权利要求2所述的步态检测融合方法，其特征在于，所述步态检测融合方法包括：

若所述第二步态为摆动状态，则输出最终步态为支撑状态；

8.一种步态检测融合装置，其特征在于，所述步态检测融合装置包括：

9.一种步态检测融合设备，其特征在于，所述步态检测融合设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的步态检测融合程序，所述步态检测融合程序被所述处理器执行时实现如权利要求1至7中任一项所述的步态检测融合方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的步态检测融合方法的步骤。