CN116831565A - 一种人体步态监测及评估方法 - Google Patents

Abstract

本发明公开了一种人体步态监测及评估方法，拍摄受试者带有深度信息的视频图像帧，输入至经过训练的关节点检测模型，得到受试者的骨骼关节点坐标；构造人体关节空间向量并计算膝关节角度和髋关节角度，膝关节角度和髋关节角度以屈伸角度数值的方式记录，进而得到基于时间序列的膝关节角度和髋关节角度步态数据；根据当前受试者画面帧的采集时间与步态周期计算步频，根据人体几何中心在不同帧间的相对位移计算其步速；然后对当前受试者的步频、步速、髋关节角度和膝关节角度等步态参数进行综合分数计算的评估，并识别当前受试者的身份，将受试者的综合分数与其历史分值进行差异比较。

Description

一种人体步态监测及评估方法

技术领域

本发明属于机器视觉和智能监测及评估技术领域，具体涉及一种人体步态监测及评估方法。

背景技术

人体步态是指人体在行走或跑步时所呈现出来的特征性动作，它反映了人体的运动能力和健康状况。步态特征会因年龄增长和慢性病等因素发生不易察觉的变化，一些步态功能失调会导致跌倒情况的发生甚至威胁自身生命安全。因此，步态的长期监测及评估对于人体运动的研究和康复医学具有重要意义。

随着计算机科学、传感器技术和人工智能的发展，人体步态特征的检测和评估也得到了改进。经典的步态异常评估方式大多是医生通过观察病人行走进行主观评定，外加医学影像技术等医学检查予以辅助判断，但这些方法的诊断结果依赖于医生的职业经验，并且拍摄处理医学影像成本高、操作复杂，针对大多数老年受试者会导致不同程度的心理负担。此外，一些便携式、低成本的传感器如加速度计、陀螺仪等设备，可以通过对人体运动时的生物力学参数进行测量和分析，来实现对人体步态特征的监测和评估。但是这些手持物、标记物或穿戴设备会影响受试者的行动和步态，另外存在受试者遗忘携带或携带附加物不适等情况，以上所列举外界因素均会导致步态长期监测和评估的功能无法实现。

目前，通过无标记物动作捕捉算法对人体步态特征进行评估的工作逐渐成为主流方法，但大多需要受试者进行主动配合，单独占用受试者时间进行步态检测和评估分析，无法达到步态长期监测和评估的效果。

发明内容

本发明的目的在于针对现有技术的不足，提供一种人体步态监测及评估方法。

本发明是通过以下技术方案实现的：

一种人体步态监测及评估方法，包括以下步骤：

S1：布置深度视觉传感器，拍摄受试者带有深度信息的视频图像帧；

S2：对带有灰度信息的深度图像进行处理，分割出作为前景的人体轮廓，获得带有深度信息的受试者剪影，过滤非有效步态信息；

S3：将经过上述处理后的深度图像信息输入至经过训练的关节点检测模型，得到受试者的骨骼关节点坐标；

使用皮尔逊相关系数来判断两步态参数之间的相关性，选取两个受测特征间相关系数在(-0.5,0.5)范围内作为待监测步态参数；通过输出相关性系数热力图选取步频、步速、髋关节角度和膝关节角度作为待监测的步态参数；

构造人体关节空间向量并计算膝关节角度和髋关节角度，膝关节角度和髋关节角度以屈伸角度数值的方式记录，进而得到基于时间序列的膝关节角度和髋关节角度步态特征数据；根据当前受试者画面帧的采集时间与步态周期计算步频，根据人体几何中心在不同帧间的相对位移计算其步速；

S4：对当前受试者的步频、步速、髋关节角度和膝关节角度等步态参数进行综合分数计算的评估；

将各步态参数的对综合分数的占比转化为比较每个参数基尼指数的平均值，假设参数m是第k类的概率为p_k，则基尼指数表示为：

分别取所述各步态参数的基尼指数为ε_i，并进行归一化处理，则当前受试者综合分数的计算方式为：p＝ε₁θ₁+ε₂θ₂+ε₃H+ε₄V，

其中，θ₁表示膝关节角度，θ₂表示髋关节角度，H代表步频数值，V代表步速数值；

S5：根据步骤S1采集的视频图像识别当前受试者的身份；

S6：将步骤S4得到的受试者的综合分数结果作为评估指标存入该受试者身份所对应的个人加密数据库中，并与该受试者身份所对应的个人加密数据库中的历史分值进行差异比较，若差值超过设定阈值，则记录予以生成警示信息。

在上述技术方案中，采用的深度视觉传感器为微软Azure Kinect DK，并以本设备固定位置为中心。

在上述技术方案中，步骤2包括以下步骤：

S2.1：首先对深度视觉传感器采集的图像像素进行全局标准化，该步骤公式表示如下：

其中I_w×h为图像像素数，P_i为图像像素点，g_min为所采集深度图中最小灰度表示值，g_max为所采集深度图中最大灰度表示值；

S2.2：对捕获的当前受试者画面帧进行灰阶梯度的初步划分，设置大于深度门限值的前景阶梯有大数值参数α，设置小于深度门限值的后景阶梯有小数值参数β；

S2.3：对画面帧之间的像素点进行差值计算，对当前帧的像素点灰度值与该像素点的下一帧像素灰度值相减，若该像素点处于前景阶梯则乘以大数值参数α，若该像素点处于后景阶梯则乘以小数值参数β，将此计算结果与分离极限值ε相比来界定当前像素点是否为人体轮廓及以内，计算公式表示如下：

式中为第j帧的第i个像素点；P_human表示判定当前像素点为人体轮廓及以内像素；P_background表示判定当前像素点为背景像素；T_video表示捕获当前受试者步态画面的视频时长。

S2.4：对于判定非零的人体P_human像素点，需要进行下一步的条件判定，若以该像素点为中心的半径内所有其他像素点P_(x,y)均低于分离极限值ε，则认定为误判点并归为P_background。

在上述技术方案中，步骤S3，关节点检测模型采用深度学习训练模型V2V-Posenet，该模型的损失函数是计算所有预测点的体素坐标与真实点体素坐标之间欧式距离的加权和，通过反向传播算法更新模型权重。

在上述技术方案中，步骤S3，记录受试者在有效场地被捕获的画面帧的采集时间，选取人体下肢骨骼关节点中的：左髋关节、左膝关节、左踝关节、右髋关节、右膝关节和右踝关节，生成受试者下肢关节点在世界坐标系下三维坐标的运动曲线。

在上述技术方案中，步骤S5中，采用训练好的深度学习模型来识别室内流通环境中的受试人员的身份，构建该深度学习模型的具体步骤方法如下：

S5.1:通过Kinect相机的RGB图像采集模块获取输入数据，以Resnet-50作为骨干网络提取有效工作范围内受试者身体特征；

S5.2:训练一个服装分类器，用于同一身份下不同着装的类别的分类，其交叉熵损失函数表示为：

其中M表示训练样本批次的大小；N表示训练集中所有服装的类别总和；f_i ^θ为分类器在参数θ下所预测的归一化结果；δ_j为各服装类别的归一化权重参数；y_i是为各服装标注的真值标签；τ为温度参数；

S5.3：将同一身份的不同着装同归为正类且赋予同样的权重参数，使得特征提取网络专注于学习服装之外的人体特征，设计多正类分类器损失函数表示为：

其中，w(j)表示第j个着装类的交叉熵损失权重参数，具体地：

其中，S_i是与所提取样本特征具有相同身份的服装类型集合；D_i是与所提取样本特征具有不同身份的服装类型集合；δ_k是集合D_i中对应到第k个服装类别的权重参数；K是集合S_i中服装类别总数量；ε∈(0,1]是一个超参数，用于避免相同身份且相同服装情况下的低准确率情况；

S5.4：加入该领域常用的人员身份分类器的损失函数进行联合优化，在训练阶段的每次迭代都包括上述S5.2与S5.3中的两步优化，最终表示如下所示。

其中为人员身份分类器所预测的结果，表示所标注的身份真值标签。

本发明采用无标记物动作捕捉算法，不需要在受试者身上特定位置精确地佩戴传感器，也不必主动要求受试者在固定区域做出特定动作，受试者仅仅在日常生活区域完成自然走动便可以采集并实时评估其步态数据。通过监测和评估受试者不同时间段的步态数据变化，有助于发现有助于发现慢性病、老年性疾病等导致的微弱步态变化，从而实现早期预警和健康管理，帮助医生或健康专业人士进行更早的诊断和治疗。

附图说明

图1为本发明人体步态监测及评估方法的步骤流程图。

图2为本发明中下肢关节骨骼点及关节角度的组成示意图。

对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据以上附图获得其他的相关附图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合具体实施例进一步说明本发明的技术方案。

参见附图1，本发明提供了一种人体步态监测方法，包括以下步骤：

S1：布置深度视觉传感器，拍摄受试者带有深度信息的视频图像帧，并将采集到的图像信息传入计算机中心处理器。

具体的讲，本实施例中采用的深度视觉传感器为微软Azure Kinect DK，并以本设备固定位置为中心，本方法有效场地设定为该设备视场前1.2米至3.5米，水平视场角度范围为±57.5°。

S2：采用一种帧间灰阶差值算法，对带有灰度信息的深度图像进行处理，分割出作为前景的人体轮廓，获得带有深度信息的受试者剪影，过滤非有效步态信息。

具体的讲，通过预设深度参数与帧间像素计算初步获取受试者步态轮廓剪影，步骤为：

S2.1：首先对深度视觉传感器采集的图像像素进行全局标准化，该步骤公式表示如下。

其中I_w×h为图像像素数，P_i为图像像素点，g_min为所采集深度图中最小灰度表示值，g_max为所采集深度图中最大灰度表示值。

S2.2：对捕获的当前受试者画面帧进行灰阶梯度的初步划分，具体门限值的数值根据所布置深度视觉传感器的焦距和场景位置适应设定，设置大于深度门限值的前景阶梯有大数值参数α，设置小于深度门限值的后景阶梯有小数值参数β。

S2.3：对画面帧之间的像素点进行差值计算，对当前帧的像素点灰度值与该像素点的下一帧像素灰度值相减，若该像素点处于前景阶梯则乘以大数值参数α，若该像素点处于后景阶梯则乘以小数值参数β，将此计算结果与分离极限值ε相比来界定当前像素点是否为人体轮廓及以内。计算公式表示如下。

式中为第j帧的第i个像素点；P_human表示判定当前像素点为人体轮廓及以内像素；P_background表示判定当前像素点为背景像素；T_video表示捕获当前受试者步态画面的视频时长。

S2.4：特别地，对于判定非零的人体P_human像素点，需要进行下一步的条件判定。若以该像素点为中心的半径内所有其他像素点P_(x,y)均低于分离极限值ε，则认定为误判点并归为P_background。

具体地，由于超出本系统预期工作范围的图像数据带有一定的干扰和噪声，在本实施例中通过设定所述帧间灰阶差值算法阈值来滤除这类信息段，取消记录本次捕获的步态数据。对于记录于本方法有效场地前的受试者步态动作，作为有效信息存取并进行后续处理。为获取清晰且完整的步态特征数据，对所计算的人体区域内像素点深度距离进行有效数据判断：以距传感器1.2m±0.2m的深度值为上距离阈值，以距传感器3.5m±0.2m的深度值为下距离阈值。

S3：将经过上述处理后的深度图像信息输入至经过训练的关节点检测模型，得到受试者的骨骼关节点坐标，然后计算基于时间序列的关节角度步态曲线及步频、步速等参数。具体地，步骤为：

S3.1：在本实施例中采用的深度学习训练模型为V2V-Posenet，该模型可以从单个深度图像中估计人体姿态。该模型的损失函数是计算所有预测点的体素坐标与真实点体素坐标之间欧式距离的加权和，通过反向传播算法更新模型权重，本实施例中使用该模型从深度图像中精准预测人体三维关节点坐标。

S3.2：在本实施例中，对于步态特征的定量分析，记录受试者在有效场地被捕获的画面帧的采集时间，选取人体下肢骨骼关节点中的：左髋关节、左膝关节、左踝关节、右髋关节、右膝关节和右踝关节，参考图2。生成受试者下肢关节点在世界坐标系下三维坐标的运动曲线。

S3.3：由于本领域内常用于步态分析的各参数之间存在特征重叠与冗余，为保证本系统运行的实时性与高效性，分析各步态参数之间的相关性并综合考虑筛选出关键特征。使用皮尔逊相关系数来判断两步态参数之间的相关性。设两个关键特征为u、v，则皮尔逊相关系数表示为如下公式。

式中ρ_uv是u特征与v特征之间的皮尔逊相关系数，n是特征样本个数。相关系数的值域为(-1,1)，越接近于值域边界，步态参数间的相关性越强，其反应的步态信息重叠越多。选取两个受测特征间相关系数在(-0.5,0.5)范围内作为待监测步态参数。通过输出相关性系数热力图选取步频、步速、髋关节角度和膝关节角度作为步态监测特征。

S3.4：构造人体关节空间向量并计算膝关节角度和髋关节角度，本发明中两空间向量间的关节角度(即膝关节角度和髋关节角度)以屈伸角度数值的方式记录，对于该画面帧下的第i个三维关节点x_i，其与相邻两三维关节点x_i+1、x_i-1所构成的关节屈伸角度数值计算方式如下所示，进而得到基于时间序列的关节角度步态特征曲线数据。

根据当前受试者画面帧的采集时间与步态周期计算步频，同时根据人体几何中心在不同帧间的相对位移计算其步速。

S4：对当前受试者的步态参数(步频、步速、髋关节角度和膝关节角度)进行综合分数计算的评估。

采用随机森林算法中基尼指数的算法思路对所述受监测的步态参数进行重要性评估，将各步态参数的对综合分数的占比转化为比较每个参数基尼指数的平均值，假设参数m是第k类的概率为p_k，则基尼指数表示为：

分别取所述各步态参数的基尼指数为ε_i，并进行归一化处理，则当前受试者综合分数的计算方式为：p＝ε₁θ₁+ε₂θ₂+ε₃H+ε₄V，

其中，θ₁表示膝关节角度，θ₂表示髋关节角度，H代表步频数值，V代表步速数值。

S5：根据步骤S1采集的视频图像识别当前受试者的身份。

本发明方法立足于针对室内流通环境中人员长期步态监测的功能下，对于受试人员身份识别所需的特征提取充分考虑相同人员身份不同着装的前提。本实施例采用训练好的深度学习模型来识别室内流通环境中的受试人员的身份，构建该深度学习模型的具体步骤方法如下：

S5.1:通过Kinect相机的RGB图像采集模块获取输入数据，以Resnet-50作为骨干网络提取有效工作范围内受试者身体特征。

S5.2:训练一个服装分类器，用于同一身份下不同着装的类别的分类，其交叉熵损失函数表示为：

其中M表示训练样本批次的大小；N表示训练集中所有服装的类别总和；f_i ^θ为分类器在参数θ下所预测的归一化结果；δ_j为各服装类别的归一化权重参数；y_i是为各服装标注的真值标签；τ为温度参数。

S5.3：将同一身份的不同着装同归为正类且赋予同样的权重参数，使得特征提取网络专注于学习服装之外的人体特征如面部、体型和发型等等。设计多正类分类器损失函数表示为：

其中，w(j)表示第j个着装类的交叉熵损失权重参数，具体地：

其中，S_i是与所提取样本特征具有相同身份的服装类型集合；D_i是与所提取样本特征具有不同身份的服装类型集合；δ_k是集合D_i中对应到第k个服装类别的权重参数；K是集合S_i中服装类别总数量；ε∈(0,1]是一个超参数，用于避免相同身份且相同服装情况下的低准确率情况。

S5.4：在上述的基础上加入该领域常用的人员身份分类器的损失函数进行联合优化，在训练阶段的每次迭代都包括上述S5.2与S5.3中的两步优化，最终表示如下所示。

其中为人员身份分类器所预测的结果，表示所标注的身份真值标签。

S6：将步骤S4得到的受试者的综合分数结果作为评估指标存入该受试者身份所对应的个人加密数据库中，并与该受试者身份所对应的个人加密数据库中的历史分值进行差异比较，若差值超过历史分值的20％，则记录予以生成警示信息。

进一步的，本发明专利涉及一种对个人生物信息等隐私数据进行长期存储与管理更新的软件模块。具体地，使用关系型数据库SQL Server实现上述模块，包括一种自建加密用户数据库，用于存储受试者的两类生物特征信息，第一生物特征信息是人员身份特征信息，第二生物特征信息是人体步态特征信息。

其中设计数据库考虑的第一生物特征信息包括：存储每个受试者的身份特征信息，如面部、体型和发型，存储每个受试者的身份标识符，如姓名、性别和身份编号。

设计数据库考虑的第二生物特征信息包括：存储该受试者当前步态信息中下肢关节的三维空间变化曲线与髋、膝关节屈伸角度变化曲线，存储当前受试者的步速信息与步频信息。

所述加密数据库更新模块具体包括，针对自建加密数据库中所存储的每位受试者步态信息，保留近30次的有效步态信息录入。一方面，每次的新增当前步态特征应分别与加密数据库中最早的数据曲线和最近的数据曲线作差异性分析，以防一些慢性病、老年性疾病导致的微弱步态变化在多次差异值计算中连续低于阈值；另一方面，通过限定每位受试者步态信息存储条数以保证计算机存储单元的内存余量和系统的长期运行。

对于受试者数据处理，为提高人员身份匹配的准确度与步态捕获效率并设置步态特征初始值，在搭建系统时预先对本场所内的常驻人员进行信息录入，内容包括第一生物特征信息中的受试者身份标识符，如姓名、性别、身份编号、面部照片等等。

以上对本发明做了示例性的描述，应该说明的是，在不脱离本发明的核心的情况下，任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。

Claims (6)

1.一种人体步态监测及评估方法，其特征在于，包括以下步骤：

S1：布置深度视觉传感器，拍摄受试者带有深度信息的视频图像帧；

S2：对带有灰度信息的深度图像进行处理，分割出作为前景的人体轮廓，获得带有深度信息的受试者剪影，过滤非有效步态信息；

S3：将经过上述处理后的深度图像信息输入至经过训练的关节点检测模型，得到受试者的骨骼关节点坐标；

使用皮尔逊相关系数来判断两步态参数之间的相关性，选取两个受测特征间相关系数在(-0.5,0.5)范围内作为待监测步态参数；通过输出相关性系数热力图选取步频、步速、髋关节角度和膝关节角度作为待监测的步态参数；

构造人体关节空间向量并计算膝关节角度和髋关节角度，膝关节角度和髋关节角度以屈伸角度数值的方式记录，进而得到基于时间序列的膝关节角度和髋关节角度步态特征数据；根据当前受试者画面帧的采集时间与步态周期计算步频，根据人体几何中心在不同帧间的相对位移计算其步速；

S4：对当前受试者的步频、步速、髋关节角度和膝关节角度等步态参数进行综合分数计算的评估；

将各步态参数的对综合分数的占比转化为比较每个参数基尼指数的平均值，假设参数m是第k类的概率为p_k，则基尼指数表示为：

分别取所述各步态参数的基尼指数为ε_i，并进行归一化处理，则当前受试者综合分数的计算方式为：p＝ε₁θ₁+ε₂θ₂+ε₃H+ε₄V，

其中，θ₁表示膝关节角度，θ₂表示髋关节角度，H代表步频数值，V代表步速数值；

S5：根据步骤S1采集的视频图像识别当前受试者的身份；

S6：将步骤S4得到的受试者的综合分数结果作为评估指标存入该受试者身份所对应的个人加密数据库中，并与该受试者身份所对应的个人加密数据库中的历史分值进行差异比较，若差值超过设定阈值，则记录予以生成警示信息。

2.根据权利要求1所述的人体步态监测及评估方法，其特征在于：采用的深度视觉传感器为微软Azure Kinect DK，并以本设备固定位置为中心。

3.根据权利要求1所述的人体步态监测及评估方法，其特征在于：步骤2包括以下步骤：

S2.1：首先对深度视觉传感器采集的图像像素进行全局标准化，该步骤公式表示如下：

其中I_w×h为图像像素数，P_i为图像像素点，g_min为所采集深度图中最小灰度表示值，g_max为所采集深度图中最大灰度表示值；

S2.2：对捕获的当前受试者画面帧进行灰阶梯度的初步划分，设置大于深度门限值的前景阶梯有大数值参数α，设置小于深度门限值的后景阶梯有小数值参数β；

S2.3：对画面帧之间的像素点进行差值计算，对当前帧的像素点灰度值与该像素点的下一帧像素灰度值相减，若该像素点处于前景阶梯则乘以大数值参数α，若该像素点处于后景阶梯则乘以小数值参数β，将此计算结果与分离极限值ε相比来界定当前像素点是否为人体轮廓及以内，计算公式表示如下：

式中为第j帧的第i个像素点；P_human表示判定当前像素点为人体轮廓及以内像素；P_background表示判定当前像素点为背景像素；T_video表示捕获当前受试者步态画面的视频时长。

S2.4：对于判定非零的人体P_human像素点，需要进行下一步的条件判定，若以该像素点为中心的半径内所有其他像素点P_(x,y)均低于分离极限值ε，则认定为误判点并归为P_background。

4.根据权利要求1所述的人体步态监测及评估方法，其特征在于：步骤S3，关节点检测模型采用深度学习训练模型V2V-Posenet，该模型的损失函数是计算所有预测点的体素坐标与真实点体素坐标之间欧式距离的加权和，通过反向传播算法更新模型权重。

5.根据权利要求1所述的人体步态监测及评估方法，其特征在于：步骤S3，记录受试者在有效场地被捕获的画面帧的采集时间，选取人体下肢骨骼关节点中的：左髋关节、左膝关节、左踝关节、右髋关节、右膝关节和右踝关节，生成受试者下肢关节点在世界坐标系下三维坐标的运动曲线。

6.根据权利要求1所述的人体步态监测及评估方法，其特征在于：步骤S5中，采用训练好的深度学习模型来识别室内流通环境中的受试人员的身份，构建该深度学习模型的具体步骤方法如下：

S5.1:通过Kinect相机的RGB图像采集模块获取输入数据，以Resnet-50作为骨干网络提取有效工作范围内受试者身体特征；

S5.2:训练一个服装分类器，用于同一身份下不同着装的类别的分类，其交叉熵损失函数表示为：

其中M表示训练样本批次的大小；N表示训练集中所有服装的类别总和；f_i ^θ为分类器在参数θ下所预测的归一化结果；δ_j为各服装类别的归一化权重参数；y_i是为各服装标注的真值标签；τ为温度参数；

S5.3：将同一身份的不同着装同归为正类且赋予同样的权重参数，使得特征提取网络专注于学习服装之外的人体特征，设计多正类分类器损失函数表示为：

其中，w(j)表示第j个着装类的交叉熵损失权重参数，具体地：

其中，S_i是与所提取样本特征具有相同身份的服装类型集合；D_i是与所提取样本特征具有不同身份的服装类型集合；δ_k是集合D_i中对应到第k个服装类别的权重参数；K是集合S_i中服装类别总数量；ε∈(0,1]是一个超参数，用于避免相同身份且相同服装情况下的低准确率情况；

S5.4：加入该领域常用的人员身份分类器的损失函数进行联合优化，在训练阶段的每次迭代都包括上述S5.2与S5.3中的两步优化，最终表示如下所示。

其中为人员身份分类器所预测的结果，表示所标注的身份真值标签。