CN114648810A - 一种交互式步态识别方法、装置及电子设备 - Google Patents

Abstract

本发明公开了一种交互式步态识别方法、装置及电子设备，包括：获取通过深度传感器采集得到的步态数据；将所述步态数据通过初始步态识别模型进行处理，得到步态动作标记数据；将所述步态数据对应的步态图像与所述步态动作标记数据进行匹配，生成可视化步态图像；基于所述可视化步态图像对所述步态动作标记数据进行校正，得到目标步态动作数据。在本发明中可以将步态动作以交互式的形式展现，便于对步态动作标记数据进行校正，无需纯手工标注，也避免了初始步态识别模型受环境等干扰因素识别不准确的问题，提升了步态动作识别的准确性。

Description

一种交互式步态识别方法、装置及电子设备

技术领域

本发明涉及信息处理技术领域，特别是涉及一种交互式步态识别方法、装置及电子设备。

背景技术

脑血管疾病、帕金森病和阿尔兹海默症等神经系统疾病是一种退行性疾病，无法痊愈。只能靠前期预防，早治疗早干预，延缓病情恶化，所以对于此类疾病的前期临床诊断尤为重要，通常可以通过步态分析的方法作为临床指导信息。

目前，通常是通过机器学习的方式来对步态进行识别。在进行人体步态动作捕捉的过程中，会存在一些场景，影响到人体步态数据采集的准确性，造成机器学习参数计算不准确的问题，从而使得最终得到的步态识别结果不准确。

发明内容

针对于上述问题，本发明提供一种交互式步态识别方法、装置及电子设备，提升了步态识别的准确性。

为了实现上述目的，本发明提供了如下技术方案：

一种交互式步态识别方法，所述方法包括：

获取通过深度传感器采集得到的步态数据；

将所述步态数据通过初始步态识别模型进行处理，得到步态动作标记数据；

将所述步态数据对应的步态图像与所述步态动作标记数据进行匹配，生成可视化步态图像；

基于所述可视化步态图像对所述步态动作标记数据进行校正，得到目标步态动作数据。

可选地，所述方法还包括：

对通过深度传感器采集得到的步态数据进行处理，得到步态图像和骨骼数据；

分别将所述步态图像和骨骼数据进行存储。

可选地，所述方法还包括：

获取标注有步态动作标签的骨骼数据训练样本；

对所述训练样本进行神经网络模型训练，得到初始步态识别模型。

可选地，所述方法还包括：

基于目标步态动作数据对所述初始步态识别模型进行调整，得到目标步态识别模型，所述目标步态识别模型用于识别步态数据中的步态动作。

可选地，所述将所述步态数据对应的步态图像与所述步态动作标记数据进行匹配，生成可视化步态图像，包括：

将所述步态动作标记数据进行图形可视化处理，并将图形可视化处理后的数据按照事件顺序进行排列，显示在交互界面的时间轴上；

在所述交互界面的时间轴的每个时间帧的位置上添加与所述步态数据对应的步态图像中的当前动作的图像信息，得到可视化步态图像。

可选地，所述基于所述可视化步态图像对所述步态动作标记数据进行校正，得到目标步态动作数据，包括：

响应于目标对象对所述可视化步态图像中步态动作标记数据的操作，记录与所述操作对应的操作内容；

基于所述操作内容对所述步态动作标记数据进行修正，得到目标步态动作数据。

可选地，所述操作内容包括对步态标记数据的修改、删除或者添加中的一种或多种。

一种交互式步态识别装置，所述装置包括：

获取单元，用于获取通过深度传感器采集得到的步态数据；

处理单元，用于将所述步态数据通过初始步态识别模型进行处理，得到步态动作标记数据；

生成单元，用于将所述步态数据对应的步态图像与所述步态动作标记数据进行匹配，生成可视化步态图像；

校正单元，用于基于所述可视化步态图像对所述步态动作标记数据进行校正，得到目标步态动作数据。

可选地，所述装置还包括：

数据处理单元，用于对通过深度传感器采集得到的步态数据进行处理，得到步态图像和骨骼数据；

数据存储单元，用于分别将所述步态图像和骨骼数据进行存储。

可选地，所述装置还包括：

样本获取单元，用于获取标注有步态动作标签的骨骼数据训练样本；

训练单元，用于对所述训练样本进行神经网络模型训练，得到初始步态识别模型。

可选地，所述装置还包括：

模型调整单元，用于基于目标步态动作数据对所述初始步态识别模型进行调整，得到目标步态识别模型，所述目标步态识别模型用于识别步态数据中的步态动作。

可选地，所述生成单元包括：

处理子单元，用于将所述步态动作标记数据进行图形可视化处理，并将图形可视化处理后的数据按照事件顺序进行排列，显示在交互界面的时间轴上；

信息添加子单元，用于在所述交互界面的时间轴的每个时间帧的位置上添加与所述步态数据对应的步态图像中的当前动作的图像信息，得到可视化步态图像。

可选地，所述校正单元包括：

操作记录子单元，用于响应于目标对象对所述可视化步态图像中步态动作标记数据的操作，记录与所述操作对应的操作内容；

修正子单元，用于基于所述操作内容对所述步态动作标记数据进行修正，得到目标步态动作数据。

可选地，所述操作内容包括对步态标记数据的修改、删除或者添加中的一种或多种。

一种存储介质，所述存储介质存储有可执行指令，所述指令被处理器执行时实现如上述中任一项所述的交互式步态识别方法。

一种电子设备，包括：

存储器，用于存储程序；

处理器，用于执行所述程序，所述程序具体用于实现如上述中任意一项所述的交互式步态识别方法。

相较于现有技术，本发明提供了一种交互式步态识别方法、装置及电子设备，包括：获取通过深度传感器采集得到的步态数据；将所述步态数据通过初始步态识别模型进行处理，得到步态动作标记数据；将所述步态数据对应的步态图像与所述步态动作标记数据进行匹配，生成可视化步态图像；基于所述可视化步态图像对所述步态动作标记数据进行校正，得到目标步态动作数据。在本发明中可以将步态动作以交互式的形式展现，便于对步态动作标记数据进行校正，无需纯手工标注，也避免了初始步态识别模型受环境等干扰因素识别不准确的问题，提升了步态动作识别的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种交互式步态识别方法的流程示意图；

图2为本发明实施例提供的一种标注步态动作的时间轴的示意图；

图3为本发明实施例提供的一种可视化步态图像进行交互式操作的操作选项的示意图；

图4为本发明实施例提供的一种交互式步态识别装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

参见图1，其示出了本发明实施例提供的一种交互式步态识别方法的流程示意图，该方法可以包括以下步骤：

S101、获取通过深度传感器采集得到的步态数据。

深度传感器可以用来测量环境中待测量的对象与传感器之间的距离，它的输出主要可以表示为深度图和点云数据这两种形式。对应与本发明实施例中对目标对象的步态动作进行识别的应用场景中，通过深度传感器器采集得到的步态数据包括对应深度图的步态图像，对应于点云数据的目标对象的骨骼数据，为了便于后续的分析和利用，以及对数据的查询，可以将得到的步态图像和骨骼数据进行存储。为了能够获得步态数据，可以将深度传感器佩戴在待测量的目标对象的骨骼关节处，如腰部关节点、左右大腿关节点、左右膝盖关节点、左右脚尖关节点、左右脚踝关节点。具体关节点的选取与实际的应用场景匹配，本发明对此不进行限定。

S102、将所述步态数据通过初始步态识别模型进行处理，得到步态动作标记数据。

初始步态识别模型是基于比较有步态动作的训练样本通过神经网络训练得到的模型。即获取标注有步态动作标签的骨骼数据训练样本，对所述训练样本进行神经网络模型训练，得到初始步态识别模型。

但是，该初始步态识别模型中的训练样本基于正常的步态动作进行标注得到的，并未考虑环境因素的影响，使得最终的识别结果可能会出现偏差。其中，环境因素包括但不局限于目标对象所在场地、照明、目标对象的着装等。

S103、将所述步态数据对应的步态图像与所述步态动作标记数据进行匹配，生成可视化步态图像。

S104、基于所述可视化步态图像对所述步态动作标记数据进行校正，得到目标步态动作数据。

该可视化步态图像是指能够与步态动作标记数据相匹配的步态图像，并且该可视化步态图像是可进行步态动作标记数据修改的图像，以使得能够基于该可视化步态图像对步态动作标记数据进行对应的操作，实现对其的校正，得到目标步态动作数据。

例如，卒中患者打圈的方式抬起左脚，传感器会识别成人体转身；将视频数据与骨骼点数据可视化后，通过骨骼点数据计算出的各个动作节点的标记(抬脚，落脚，转身等)会对应到视频中的某一时间帧，使用者可以通过拖动，增加删除标记等动作，修正出现错误的地方。比如在抬起左脚的时间帧处添加“左脚抬”的标记，把错误的标记删除掉等。通过这种方式，实现骨骼点数据与步态动作的完全匹配。

在本发明中能够将步态动作以交互式的形式展示，并可以便于修改，解决传统纯手工标注方法的不足，也弥补了环境对动作捕捉传感器采集设备的干扰，造成的机器学习参数计算不准确的问题。

在通过交互的可视化图像对步态动作标记数据进行校正得到目标步态动作数据之后，可以基于目标步态动作数据对所述初始步态识别模型进行调整，得到目标步态识别模型，所述目标步态识别模型用于识别步态数据中的步态动作。从而可以避免环境因素的影响，提升模型处理的准确性。

在本发明实施例的一种实现方式中，所述将所述步态数据对应的步态图像与所述步态动作标记数据进行匹配，生成可视化步态图像，包括：

将所述步态动作标记数据进行图形可视化处理，并将图形可视化处理后的数据按照事件顺序进行排列，显示在交互界面的时间轴上；

在所述交互界面的时间轴的每个时间帧的位置上添加与所述步态数据对应的步态图像中的当前动作的图像信息，得到可视化步态图像。

进一步地，所述基于所述可视化步态图像对所述步态动作标记数据进行校正，得到目标步态动作数据，包括：

响应于目标对象对所述可视化步态图像中步态动作标记数据的操作，记录与所述操作对应的操作内容；

基于所述操作内容对所述步态动作标记数据进行修正，得到目标步态动作数据。

其中，所述操作内容包括对步态标记数据的修改、删除或者添加中的一种或多种。

具体的，通过将深度传感器采集的不同动作视频(例如每秒30帧)，以及每帧对应的骨骼点信息存储下来，使用机器学习预训练模型，进行步态周期的划分，能得到(转身开始，左脚抬，左脚落，右脚抬，右脚落，转身结束)步态动作标记。将得到的步态动作标记进行图像可视化，按照时间序列排列起来，显示在交互界面时间轴上，每个时间帧的位置上都可以看到当前动作的图像信息，使用者可通过交互方式对步态动作标记数据进行修改、删除、添加操作，达到实际测试者步态动作匹配的关键帧位置上。

其中，标记是指步态周期内动作标记(包括步态周期内的关键动作：转身开始，左脚抬，左脚落，右脚抬，右脚落，转身结束)。每一帧是对应视频中的每一帧，可以理解为1分钟的录像60秒，每秒钟30帧，每帧对应一张图片(图像信息，就是1800帧，1800张图片)，将算法生成的步态标记调整到具体的位置上，帧为最小单位。通过该方式直观的将步态周期内关键动作图形化到界面上，大部分步态动作标记为正确步态动作，部分受环境影响的步态动作标记直观的在界面上显示，用户很直观的看到错误步态动作标记，只做少部分修改标注就可以了，不需要从头到尾全部校准标记，节省了时间。

本发明可以直观的将运动捕捉传感器采集的步态数据提前图形化显示出来，可以进行人为修复，修复后的数据再通过步态算法计算，得到正确的步态分析结果，与纯手工标注方法比较提升了效率，与机器学习比较可解释性更强，比原始采集数据准确度更高，人工校准后计算的参数更准确。人工校准后的数据还可以作为步态算法的训练模型，不断提高步态算法的准确度。

举例说明，在深度传感器识别目标对象的步态数据过程中，将步态数据每一帧的图像保存下来(例如，每秒钟30帧，30张图片数据)。同时记录每一帧采集的骨骼数据，这里的每一帧图片和每一帧的骨骼数据是一一对应的。

使用机器学习初始识别模型，对整个步态过程进行自动化的步态周期识别，可以得到6个关键点(转身开始、左脚抬脚、左脚落脚、右脚抬脚、右脚落脚、转身结束)。每一个关键点对应之间记录的每一帧的图像，在标注界面上可以有一个时间轴，参见图2，最小单位为帧(30帧/秒)。以做1分钟测试为例，每秒钟30张图像帧，一共1800张帧图像，将1800张图片(帧)换算成时间单位，时间轴上每一帧，既代表时间，同时也能找到相应的帧的图像。

将得到的6个关键点，以左脚抬为例，将左脚抬的图标标注在具体的帧的位置上，如图2中显示的情况。当选中关键点，界面会同时显示当前帧的图像，检查者检查是否与实际采集中的图像的左脚抬状态是否一致，如果一致则不需要调整，如果与实际不一致，可以选中当前标注，进行删除操作。如果发现关键点的位置与预先的位置接近，但仍然有误差可以调整标注的位置，或在正确的图像帧的位置上，创建新的关键点标注，保存后的标注文件可以用来训练步态分析模型，提高步态分析算法的准确程度。

其中，基于可视化步态图像进行交互式操作的操作选项可以参见图3，其中，清除所有的操作是指点击清除所有后，清除界面上的所有步态标注信息，使用者可以从新手动添加标注。AI标注的操作是指点击AI标注从新调用预训练模型，从新生成标注信息。撤销的操作是指如果误删除某一个标注，可以撤销上一步操作。恢复的操作是指恢复撤销的上一步操作。删除的操作是指选中某一个标注后，如需要删除可以点击删除标注。

本发明实施例，与无手工标注功能的步态采集对比，能够将受环境影响造成的步态数据采集不准确的问题，通过可视化提前反馈在图形化界面上，可以人工校准修复步态动作标注，达到数据的准确性。并且不需要从步态采集的一开始，用肉眼的方式检查步态动数据是否正常。该方法会将所有步态动作标记显示在界面上，少部分受环境影响的标记可通过图形化交互方式，拖拽、移动、删除等操作进行修改，大大的节省了时间，提高了标注的效率。

参见图4，在本发明实施例中还提供了一种交互式步态识别装置，所述装置包括：

获取单元401，用于获取通过深度传感器采集得到的步态数据；

处理单元402，用于将所述步态数据通过初始步态识别模型进行处理，得到步态动作标记数据；

生成单元403，用于将所述步态数据对应的步态图像与所述步态动作标记数据进行匹配，生成可视化步态图像；

校正单元404，用于基于所述可视化步态图像对所述步态动作标记数据进行校正，得到目标步态动作数据。

可选地，所述装置还包括：

数据处理单元，用于对通过深度传感器采集得到的步态数据进行处理，得到步态图像和骨骼数据；

数据存储单元，用于分别将所述步态图像和骨骼数据进行存储。

可选地，所述装置还包括：

样本获取单元，用于获取标注有步态动作标签的骨骼数据训练样本；

训练单元，用于对所述训练样本进行神经网络模型训练，得到初始步态识别模型。

可选地，所述装置还包括：

模型调整单元，用于基于目标步态动作数据对所述初始步态识别模型进行调整，得到目标步态识别模型，所述目标步态识别模型用于识别步态数据中的步态动作。

可选地，所述生成单元包括：

处理子单元，用于将所述步态动作标记数据进行图形可视化处理，并将图形可视化处理后的数据按照事件顺序进行排列，显示在交互界面的时间轴上；

信息添加子单元，用于在所述交互界面的时间轴的每个时间帧的位置上添加与所述步态数据对应的步态图像中的当前动作的图像信息，得到可视化步态图像。

可选地，所述校正单元包括：

操作记录子单元，用于响应于目标对象对所述可视化步态图像中步态动作标记数据的操作，记录与所述操作对应的操作内容；

修正子单元，用于基于所述操作内容对所述步态动作标记数据进行修正，得到目标步态动作数据。

可选地，所述操作内容包括对步态标记数据的修改、删除或者添加中的一种或多种。

本发明提供了一种交互式步态识别装置，包括：获取单元获取通过深度传感器采集得到的步态数据；处理单元将所述步态数据通过初始步态识别模型进行处理，得到步态动作标记数据；生成单元将所述步态数据对应的步态图像与所述步态动作标记数据进行匹配，生成可视化步态图像；校正单元基于所述可视化步态图像对所述步态动作标记数据进行校正，得到目标步态动作数据。在本发明中可以将步态动作以交互式的形式展现，便于对步态动作标记数据进行校正，无需纯手工标注，也避免了初始步态识别模型受环境等干扰因素识别不准确的问题，提升了步态动作识别的准确性。

基于前述实施例，本发明的另一实施例中还提供了一种存储介质，所述存储介质存储有可执行指令，所述指令被处理器执行时实现如上述中任一项所述的交互式步态识别方法。

对应的，在本发明的另一实施例中还提供了一种电子设备，该电子设备包括：

存储器，用于存储程序；

处理器，用于执行所述程序，所述程序具体用于实现：

获取通过深度传感器采集得到的步态数据；

将所述步态数据通过初始步态识别模型进行处理，得到步态动作标记数据；

将所述步态数据对应的步态图像与所述步态动作标记数据进行匹配，生成可视化步态图像；

基于所述可视化步态图像对所述步态动作标记数据进行校正，得到目标步态动作数据。

可选地，所述方法还包括：

对通过深度传感器采集得到的步态数据进行处理，得到步态图像和骨骼数据；

分别将所述步态图像和骨骼数据进行存储。

可选地，所述方法还包括：

获取标注有步态动作标签的骨骼数据训练样本；

对所述训练样本进行神经网络模型训练，得到初始步态识别模型。

可选地，所述方法还包括：

基于目标步态动作数据对所述初始步态识别模型进行调整，得到目标步态识别模型，所述目标步态识别模型用于识别步态数据中的步态动作。

可选地，所述将所述步态数据对应的步态图像与所述步态动作标记数据进行匹配，生成可视化步态图像，包括：

将所述步态动作标记数据进行图形可视化处理，并将图形可视化处理后的数据按照事件顺序进行排列，显示在交互界面的时间轴上；

在所述交互界面的时间轴的每个时间帧的位置上添加与所述步态数据对应的步态图像中的当前动作的图像信息，得到可视化步态图像。

可选地，所述基于所述可视化步态图像对所述步态动作标记数据进行校正，得到目标步态动作数据，包括：

响应于目标对象对所述可视化步态图像中步态动作标记数据的操作，记录与所述操作对应的操作内容；

基于所述操作内容对所述步态动作标记数据进行修正，得到目标步态动作数据。

可选地，所述操作内容包括对步态标记数据的修改、删除或者添加中的一种或多种。

需要说明的是，本实施例中处理器的具体实现可以参考前文中的相应内容，此处不再详述。

本说明书中每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种交互式步态识别方法，其特征在于，所述方法包括：

获取通过深度传感器采集得到的步态数据；

将所述步态数据通过初始步态识别模型进行处理，得到步态动作标记数据；

将所述步态数据对应的步态图像与所述步态动作标记数据进行匹配，生成可视化步态图像；

基于所述可视化步态图像对所述步态动作标记数据进行校正，得到目标步态动作数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对通过深度传感器采集得到的步态数据进行处理，得到步态图像和骨骼数据；

分别将所述步态图像和骨骼数据进行存储。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取标注有步态动作标签的骨骼数据训练样本；

对所述训练样本进行神经网络模型训练，得到初始步态识别模型。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

基于目标步态动作数据对所述初始步态识别模型进行调整，得到目标步态识别模型，所述目标步态识别模型用于识别步态数据中的步态动作。

5.根据权利要求1所述的方法，其特征在于，所述将所述步态数据对应的步态图像与所述步态动作标记数据进行匹配，生成可视化步态图像，包括：

将所述步态动作标记数据进行图形可视化处理，并将图形可视化处理后的数据按照事件顺序进行排列，显示在交互界面的时间轴上；

在所述交互界面的时间轴的每个时间帧的位置上添加与所述步态数据对应的步态图像中的当前动作的图像信息，得到可视化步态图像。

6.根据权利要求1所述的方法，其特征在于，所述基于所述可视化步态图像对所述步态动作标记数据进行校正，得到目标步态动作数据，包括：

响应于目标对象对所述可视化步态图像中步态动作标记数据的操作，记录与所述操作对应的操作内容；

基于所述操作内容对所述步态动作标记数据进行修正，得到目标步态动作数据。

7.根据权利要求6所述的方法，其特征在于，所述操作内容包括对步态标记数据的修改、删除或者添加中的一种或多种。

8.一种交互式步态识别装置，其特征在于，所述装置包括：

获取单元，用于获取通过深度传感器采集得到的步态数据；

处理单元，用于将所述步态数据通过初始步态识别模型进行处理，得到步态动作标记数据；

生成单元，用于将所述步态数据对应的步态图像与所述步态动作标记数据进行匹配，生成可视化步态图像；

校正单元，用于基于所述可视化步态图像对所述步态动作标记数据进行校正，得到目标步态动作数据。

9.一种存储介质，其特征在于，所述存储介质存储有可执行指令，所述指令被处理器执行时实现如权利要求1-7中任一项所述的交互式步态识别方法。

10.一种电子设备，其特征在于，包括：

存储器，用于存储程序；

处理器，用于执行所述程序，所述程序具体用于实现如权利要求1-7中任意一项所述的交互式步态识别方法。

Images