CN111967406A - 人体关键点检测模型生成方法、系统、设备和存储介质 - Google Patents
人体关键点检测模型生成方法、系统、设备和存储介质 Download PDFInfo
- Publication number
- CN111967406A CN111967406A CN202010842551.8A CN202010842551A CN111967406A CN 111967406 A CN111967406 A CN 111967406A CN 202010842551 A CN202010842551 A CN 202010842551A CN 111967406 A CN111967406 A CN 111967406A
- Authority
- CN
- China
- Prior art keywords
- detection model
- human body
- key point
- point detection
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人体关键点检测模型生成方法，包括：获取人体姿态图像；将预先标记好关键点的人体姿态图像分为训练集和测试集；其中，所述关键点为人体的身体部位；将训练集输入到预先构建的人体关键点检测模型中，以对人体关键点检测模型进行训练；其中，人体关键点检测模型为基于嵌入seNet的RestNet的深度卷积神经网络，人体关键点检测模型对输入的训练集进行高斯分布处理，以输出人体关键点检测模型的损失函数的损失值；当损失值达到预设收敛范围时，输出人体关键点检测模型。本发明公开了一种人体关键点检测模型生成系统、设备和计算机可读存储介质。采用本发明实施例生成的人体关键点检测模型能够提高人体关键点检测的效率和准确性。
Description
技术领域
本发明涉及人体检测技术领域，尤其涉及一种人体关键点检测模型生成方法、系统、设备和存储介质。
背景技术
公安机关在执法过程中或者执法结束后，需要在不同的场景(如信息采集室、讯问室、侯审室、看守所等)中对嫌疑人进行远程视频监控，以保证嫌疑人能够在案管场景中遵守相关规定，对嫌疑人的异常行为(比如打架、倒地等)能够做到实时监控并告警。现有技术中通过人体关键点检测算法来实现对人体姿态的监控，目前人体关键点算法主要有两类：第一类是自顶向下(top-down)的方法，此类方法在人体检测的基础上逐个人体进行关键点检测；第二类是自底向上(bottom-up)的方法，此类方法先在整张图片中检测出所有人体关键点，再利用图的最大匹配原则将属于同一个人体的关键点聚类在一起。在相同的条件下，第一类方法的检测效果要明显优于第二类方法，但是现有的此类算法一般模型比较复杂、显存占用大、检测速度受场景中人体数目的影响较大。
发明内容
本发明实施例的目的是提供一种人体关键点检测模型生成方法、系统、设备和存储介质，生成的人体关键点检测模型能够提高人体关键点检测的效率和准确性。
为实现上述目的，本发明实施例提供了一种人体关键点检测模型生成方法，包括：
获取人体姿态图像；
将预先标记好关键点的人体姿态图像分为训练集和测试集；其中，所述关键点为人体的身体部位；
将所述训练集输入到预先构建的人体关键点检测模型中，以对所述人体关键点检测模型进行训练；其中，所述人体关键点检测模型为基于嵌入seNet的RestNet的深度卷积神经网络，所述人体关键点检测模型对输入的所述训练集进行高斯分布处理，以输出所述人体关键点检测模型的损失函数的损失值；
当所述损失值达到预设收敛范围时，输出所述人体关键点检测模型。
与现有技术相比，本发明实施例公开的人体关键点检测模型生成方法，首先，获取人体姿态图像，并将预先标记好关键点的人体姿态图像分为训练集和测试集；然后，将所述训练集输入到预先构建的人体关键点检测模型中，以对所述人体关键点检测模型进行训练，seNet一方面能够让网络在训练过程中更有目的性，有效的避免冗余信息特征的干扰，另一方面也减少计算量和资源消耗；最后，当所述损失值达到预设收敛范围时，输出所述人体关键点检测模型。本发明实施例公开的人体关键点检测模型生成方法生成的人体关键点检测模型能够提高人体关键点检测的效率和准确性。
作为上述方案的改进，所述人体关键点检测模型对输入的所述训练集进行高斯分布处理，以输出所述人体关键点检测模型的损失函数的损失值，包括：
所述人体关键点检测模型以所述训练集中人体姿态图像的人体关节点坐标为中心，根据预设均值和预设方差的高斯分布将所述人体姿态图像生成灰度高斯热力图；其中，所述灰度高斯热力图中最大像素值处为所述关键点的位置；
所述人体关键点检测模型生成所述灰度高斯热力图后，计算所述灰度高斯热力图中每个像素的欧式距离作为损失值。
作为上述方案的改进，所述输出所述人体关键点检测模型，还包括：
将所述测试集输入到所述人体关键点检测模型中，以对所述人体关键点检测模型进行测试；
测试完成后，输出所述人体关键点检测模型的测试结果；
对所述测试结果进行分析。
作为上述方案的改进，所述方法还包括：
采用RMSProp优化器对所述人体关键点检测模型进行优化。
本发明实施例还提供了一种人体关键点检测模型生成系统，包括：
图像获取单元，用于获取人体姿态图像；
图像划分单元，用于将预先标记好关键点的人体姿态图像分为训练集和测试集；其中，所述关键点为人体的身体部位；
训练单元，用于将所述训练集输入到预先构建的人体关键点检测模型中，以对所述人体关键点检测模型进行训练；其中，所述人体关键点检测模型为基于嵌入seNet的RestNet的深度卷积神经网络，所述人体关键点检测模型对输入的所述训练集进行高斯分布处理，以输出所述人体关键点检测模型的损失函数的损失值；
模型输出单元，用于当所述损失值达到预设收敛范围时，输出所述人体关键点检测模型。
与现有技术相比，本发明实施例公开的人体关键点检测模型生成系统，首先，图像获取单元获取人体姿态图像，图像划分单元将预先标记好关键点的人体姿态图像分为训练集和测试集；然后，训练单元将所述训练集输入到预先构建的人体关键点检测模型中，以对所述人体关键点检测模型进行训练，seNet一方面能够让网络在训练过程中更有目的性，有效的避免冗余信息特征的干扰，另一方面也减少计算量和资源消耗；最后，当所述损失值达到预设收敛范围时，模型输出单元输出所述人体关键点检测模型。本发明实施例公开的人体关键点检测模型生成方法生成的人体关键点检测模型能够提高人体关键点检测的效率和准确性。
作为上述方案的改进，所述人体关键点检测模型对输入的所述训练集进行高斯分布处理，以输出所述人体关键点检测模型的损失函数的损失值，包括：
所述人体关键点检测模型以所述训练集中人体姿态图像的人体关节点坐标为中心，根据预设均值和预设方差的高斯分布将所述人体姿态图像生成灰度高斯热力图；其中，所述灰度高斯热力图中最大像素值处为所述关键点的位置；
所述人体关键点检测模型生成所述灰度高斯热力图后，计算所述灰度高斯热力图中每个像素的欧式距离作为损失值。
作为上述方案的改进，所述系统还包括：
模型测试单元，用于将所述测试集输入到所述人体关键点检测模型中，以对所述人体关键点检测模型进行测试；
测试结果分析单元，用于测试完成后，输出所述人体关键点检测模型的测试结果，并对所述测试结果进行分析。
作为上述方案的改进，所述训练单元还用于：
采用RMSProp优化器对所述人体关键点检测模型进行优化。
为实现上述目的，本发明实施例还提供一种人体关键点检测模型生成设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的人体关键点检测模型生成方法。
为实现上述目的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一实施例所述的人体关键点检测模型生成方法。
附图说明
图1是本发明实施例提供的一种人体关键点检测模型生成方法的流程图；
图2是本发明实施例提供的深度卷积神经网络的结构示意图；
图3是本发明实施例提供的另一种人体关键点检测模型生成方法的流程图；
图4是本发明实施例提供的一种人体关键点检测模型生成系统的结构框图；
图5是本发明实施例提供的一种人体关键点检测模型生成设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明实施例提供的一种人体关键点检测模型生成方法的流程图；所述人体关键点检测模型生成方法包括：
S1、获取人体姿态图像；
S2、将预先标记好关键点的人体姿态图像分为训练集和测试集；其中，所述关键点为人体的身体部位；
S3、将所述训练集输入到预先构建的人体关键点检测模型中，以对所述人体关键点检测模型进行训练；其中，所述人体关键点检测模型为基于嵌入seNet的RestNet的深度卷积神经网络，所述人体关键点检测模型对输入的所述训练集进行高斯分布处理，以输出所述人体关键点检测模型的损失函数的损失值；
S4、当所述损失值达到预设收敛范围时，输出所述人体关键点检测模型。
具体地，在步骤S1中，根据公安案管场景中的真实视频数据和办案区民警的咨询，对公安案管场景中的人体姿态进行人为统计，把人体姿态分为正面站立、侧面站立、坐着、躺着、弯腰等几类，获取这几类人体姿态的图像作为人体姿态图像。
值得说明的是，在正式使用所述人体关键点检测模型进行关键点检测时，可将办案场景(如信息采集室、讯问室、侯审室、看守所等)中的监控视频转换成一帧帧的图像之后输入到所述人体关键点检测模型进行关键点检测。无需使用过高的图像采集设备，只需使用普通的监控摄像头，且模型的算法速度快，占用显存低，可大规模地应用到实际场景中。
具体地，在步骤S2中，将所述人体姿态图像划分为训练集和测试集，用于训练人体关键点检测模型。所述人体姿态图像被预先人为标注有至少一个关键点，比如一共标注有15个关键点，分别为：鼻子、颈部、头顶、左右肩、左右手肘、左右手腕、左右臀部、左右膝盖、左右脚踝。
具体地，在步骤S3中，所述人体关键点检测模型对输入的所述训练集进行高斯分布处理，以输出所述人体关键点检测模型的损失函数的损失值，包括：
S31、所述人体关键点检测模型以所述训练集中人体姿态图像的人体关节点坐标为中心，根据预设均值和预设方差的高斯分布将所述人体姿态图像生成灰度高斯热力图；其中，所述灰度高斯热力图中最大像素值处为所述关键点的位置；
S32、所述人体关键点检测模型生成所述灰度高斯热力图后，计算所述灰度高斯热力图中每个像素的欧式距离作为损失值。
示例性的，所述人体关键点检测模型以所述训练集中人体姿态图像的人体关节点坐标为中心，根据均值为0，方差为0.1的高斯分布都会生成一张大小为64*64的灰度高斯热力图做为该中心点的参考标准热力图ground Truth。灰度高斯热力图中像素值最大(最亮的位置)就是关键点的位置。所述人体关键点检测模型完成一次前向运算后会输出预测高斯热力图，然后计算其对应的标签高斯热力图中每个像素的欧式距离作为损失值。
使用RGB图像作为输入采用顺序化的多阶段的全卷积神经网络进行端到端的学习。具体在于设计了联合学习、中继监督与分支的方式一起学习人体关键点检测响应图与人体关键点亲和矢量场响应图，在此基础上，最后可以使用匈牙利算法与改进后的二分图算法得到了一张图片中所有人体的正确的关键点连接。
具体地，设计基于特征图像素点的均方差损失函数(MSE)，满足以下公式：
其中，j表示人体的第j个关键点；N表示人体关键点的数目，比如N＝17；h和w分别是预测高斯热力图的高和宽，比如h＝64、w＝64；d(x,y)是预测高斯热力图中(x,y)位置处的灰度像素值；g(x,y)是标签高斯热力图中(x,y)位置处的灰度像素值。
值得说明的是，在测试阶段，直接获取所述人体关键点检测模型最后输出层输出的每个所述灰度高斯热力图的最大值的坐标作为关键点的(x,y)坐标。
可选地，所述深度卷积神经网络的结构可参考图2。seNet可以通过学习的方式来自动获取到每个特征通道的重要程度，然后根据这个重要程度有选择性的加强对当前任务作用大的信息特征，弱化作用小的信息特征。seNet一方面能够让网络在训练过程中更有目的性，有效的避免冗余信息特征的干扰；另一方面也减少计算量和资源消耗。
进一步的，在对所述人体关键点检测模型进行训练的过程中，采用RMSProp优化器对所述人体关键点检测模型进行优化。RMSProp算法对梯度计算了微分平方加权平均数，一方面可以缓解损失函数在更新中存在摆动幅度过大而导致的模型难以训练的问题；另一方面能够模型训练的收敛速度。
具体地，在步骤S4中，当所述损失值达到预设收敛范围时，输出所述人体关键点检测模型。基于不同的数据集，最终的所述损失值可能存在一定的差异，比如在案管数据集上当所述损失值降到1.3～1.7(即预设收敛范围)时，表明所述人体关键点检测模型基本训练完成。
进一步的，在输出所述人体关键点检测模型后，还包括对所述人体关键点检测模型进行测试的阶段，此时还包括步骤：
S5、将所述测试集输入到所述人体关键点检测模型中，以对所述人体关键点检测模型进行测试；
S6、测试完成后，输出所述人体关键点检测模型的测试结果；
S7、对所述测试结果进行分析。
示例性的，建立标准测试库，所述标准测试库中的测试集包含12000张大小为1920*1080的案管场景下的人体图片，整个测试集中包含多个真实案管场景以及多种人体姿态(比如正面站立、侧面站立、坐着、躺着、弯腰)进行测试。测试环境包括：CPU：i7-6700，3.40GHz；内存：16G；GPU：GTX 1080，显存8G；测试代码采用的深度学习框架：caffe。
进一步的，上述步骤S1～S7的过程可参考图3。
与现有技术相比，本发明实施例公开的人体关键点检测模型生成方法，首先，获取人体姿态图像，并将预先标记好关键点的人体姿态图像分为训练集和测试集；然后，将所述训练集输入到预先构建的人体关键点检测模型中，以对所述人体关键点检测模型进行训练，seNet一方面能够让网络在训练过程中更有目的性，有效的避免冗余信息特征的干扰，另一方面也减少计算量和资源消耗；最后，当所述损失值达到预设收敛范围时，输出所述人体关键点检测模型。本发明实施例公开的人体关键点检测模型生成方法生成的人体关键点检测模型能够提高人体关键点检测的效率和准确性。
参见图4，图4是本发明实施例提供的一种人体关键点检测模型生成系统10的结构框图；所述人体关键点检测模型生成系统10包括：
图像获取单元11，用于获取人体姿态图像；
图像划分单元12，用于将预先标记好关键点的人体姿态图像分为训练集和测试集；其中，所述关键点为人体的身体部位；
训练单元13，用于将所述训练集输入到预先构建的人体关键点检测模型中，以对所述人体关键点检测模型进行训练；其中，所述人体关键点检测模型为基于嵌入seNet的RestNet的深度卷积神经网络，所述人体关键点检测模型对输入的所述训练集进行高斯分布处理，以输出所述人体关键点检测模型的损失函数的损失值；
模型输出单元14，用于当所述损失值达到预设收敛范围时，输出所述人体关键点检测模型；
模型测试单元15，用于将所述测试集输入到所述人体关键点检测模型中，以对所述人体关键点检测模型进行测试；
测试结果分析单元16，用于测试完成后，输出所述人体关键点检测模型的测试结果，并对所述测试结果进行分析。
具体地，根据公安案管场景中的真实视频数据和办案区民警的咨询，对公安案管场景中的人体姿态进行人为统计，把人体姿态分为正面站立、侧面站立、坐着、躺着、弯腰等几类，所述图像获取单元11获取这几类人体姿态的图像作为人体姿态图像。
值得说明的是，在正式使用所述人体关键点检测模型进行关键点检测时，可将办案场景(如信息采集室、讯问室、侯审室、看守所等)中的监控视频转换成一帧帧的图像之后输入到所述人体关键点检测模型进行关键点检测。
具体地，所述图像划分单元12将所述人体姿态图像划分为训练集和测试集，用于训练人体关键点检测模型。所述人体姿态图像被预先人为标注有至少一个关键点，比如一共标注有15个关键点，分别为：鼻子、颈部、头顶、左右肩、左右手肘、左右手腕、左右臀部、左右膝盖、左右脚踝。
具体地，所述人体关键点检测模型对输入的所述训练集进行高斯分布处理，以输出所述人体关键点检测模型的损失函数的损失值，包括：
所述人体关键点检测模型以所述训练集中人体姿态图像的人体关节点坐标为中心，根据预设均值和预设方差的高斯分布将所述人体姿态图像生成灰度高斯热力图；其中，所述灰度高斯热力图中最大像素值处为所述关键点的位置；所述人体关键点检测模型生成所述灰度高斯热力图后，计算所述灰度高斯热力图中每个像素的欧式距离作为损失值。
示例性的，所述人体关键点检测模型以所述训练集中人体姿态图像的人体关节点坐标为中心，根据均值为0，方差为0.1的高斯分布都会生成一张大小为64*64的灰度高斯热力图做为该中心点的参考标准热力图ground Truth。灰度高斯热力图中像素值最大(最亮的位置)就是关键点的位置。所述人体关键点检测模型完成一次前向运算后会输出预测高斯热力图，然后计算其对应的标签高斯热力图中每个像素的欧式距离作为损失值。
使用RGB图像作为输入采用顺序化的多阶段的全卷积神经网络进行端到端的学习。具体在于设计了联合学习、中继监督与分支的方式一起学习人体关键点检测响应图与人体关键点亲和矢量场响应图，在此基础上，最后可以使用匈牙利算法与改进后的二分图算法得到了一张图片中所有人体的正确的关键点连接。
具体地，设计基于特征图像素点的均方差损失函数(MSE)，满足以下公式：
其中，j表示人体的第j个关键点；N表示人体关键点的数目，比如N＝17；h和w分别是预测高斯热力图的高和宽，比如h＝64、w＝64；d(x,y)是预测高斯热力图中(x,y)位置处的灰度像素值；g(x,y)是标签高斯热力图中(x,y)位置处的灰度像素值。
值得说明的是，在测试阶段，直接获取所述人体关键点检测模型最后输出层输出的每个所述灰度高斯热力图的最大值的坐标作为关键点的(x,y)坐标。
可选地，所述深度卷积神经网络为基于嵌入seNet的RestNet的深度卷积神经网络。所述深度卷积神经网络的结构可参考图2。seNet可以通过学习的方式来自动获取到每个特征通道的重要程度，然后根据这个重要程度有选择性的加强对当前任务作用大的信息特征，弱化作用小的信息特征。seNet一方面能够让网络在训练过程中更有目的性，有效的避免冗余信息特征的干扰；另一方面也减少计算量和资源消耗。
进一步的，在对所述人体关键点检测模型进行训练的过程中，所述训练单元13采用RMSProp优化器对所述人体关键点检测模型进行优化。RMSProp算法对梯度计算了微分平方加权平均数，一方面可以缓解损失函数在更新中存在摆动幅度过大而导致的模型难以训练的问题；另一方面能够模型训练的收敛速度。
具体地，当所述损失值达到预设收敛范围时，所述模型输出单元14输出所述人体关键点检测模型。基于不同的数据集，最终的所述损失值可能存在一定的差异，比如在案管数据集上当所述损失值降到1.3～1.7(即预设收敛范围)时，表明所述人体关键点检测模型基本训练完成。
示例性的，建立标准测试库，所述标准测试库中的测试集包含12000张大小为1920*1080的案管场景下的人体图片，整个测试集中包含多个真实案管场景以及多种人体姿态(比如正面站立、侧面站立、坐着、躺着、弯腰)进行测试。测试环境包括：CPU：i7-6700，3.40GHz；内存：16G；GPU：GTX 1080，显存8G；测试代码采用的深度学习框架：caffe。
与现有技术相比，本发明实施例公开的人体关键点检测模型生成系统10，首先，图像获取单元11获取人体姿态图像，图像划分单元12将预先标记好关键点的人体姿态图像分为训练集和测试集；然后，训练单元14将所述训练集输入到预先构建的人体关键点检测模型中，以对所述人体关键点检测模型进行训练，seNet一方面能够让网络在训练过程中更有目的性，有效的避免冗余信息特征的干扰，另一方面也减少计算量和资源消耗；最后，当所述损失值达到预设收敛范围时，模型输出单元14输出所述人体关键点检测模型。本发明实施例公开的人体关键点检测模型生成方法生成的人体关键点检测模型能够提高人体关键点检测的效率和准确性。
参见图5，图5是本发明实施例提供的一种人体关键点检测模型生成设备20的结构框图。
该实施例的人体关键点检测模型生成设备20包括：处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述人体关键点检测模型生成方法实施例中的步骤，例如图1所示的步骤S1～S4。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如图像获取单元11。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述人体关键点检测模型生成设备20中的执行过程。例如，所述计算机程序可以被分割成图像获取单元11、图像划分单元12、训练单元13、模型输出单元14、模型测试单元15和测试结果分析单元16，各模块具体功能请参考上述实施例所述的人体关键点检测模型生成系统10的具体工作过程，在此不再赘述。
所述人体关键点检测模型生成设备20可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述人体关键点检测模型生成设备20可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是人体关键点检测模型生成设备20的示例，并不构成对人体关键点检测模型生成设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述人体关键点检测模型生成设备20还可以包括输入输出设备、网络接入设备、总线等。
所述处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器21也可以是任何常规的处理器等，所述处理器21是所述人体关键点检测模型生成设备20的控制中心，利用各种接口和线路连接整个人体关键点检测模型生成设备20的各个部分。
所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述人体关键点检测模型生成设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述人体关键点检测模型生成设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种人体关键点检测模型生成方法，其特征在于，包括：
获取人体姿态图像；
将预先标记好关键点的人体姿态图像分为训练集和测试集；其中，所述关键点为人体的身体部位；
将所述训练集输入到预先构建的人体关键点检测模型中，以对所述人体关键点检测模型进行训练；其中，所述人体关键点检测模型为基于嵌入seNet的RestNet的深度卷积神经网络，所述人体关键点检测模型对输入的所述训练集进行高斯分布处理，以输出所述人体关键点检测模型的损失函数的损失值；
当所述损失值达到预设收敛范围时，输出所述人体关键点检测模型。
2.如权利要求1所述的人体关键点检测模型生成方法，其特征在于，所述人体关键点检测模型对输入的所述训练集进行高斯分布处理，以输出所述人体关键点检测模型的损失函数的损失值，包括：
所述人体关键点检测模型以所述训练集中人体姿态图像的人体关节点坐标为中心，根据预设均值和预设方差的高斯分布将所述人体姿态图像生成灰度高斯热力图；其中，所述灰度高斯热力图中最大像素值处为所述关键点的位置；
所述人体关键点检测模型生成所述灰度高斯热力图后，计算所述灰度高斯热力图中每个像素的欧式距离作为损失值。
3.如权利要求1所述的人体关键点检测模型生成方法，其特征在于，所述输出所述人体关键点检测模型，还包括：
将所述测试集输入到所述人体关键点检测模型中，以对所述人体关键点检测模型进行测试；
测试完成后，输出所述人体关键点检测模型的测试结果；
对所述测试结果进行分析。
4.如权利要求1所述的人体关键点检测模型生成方法，其特征在于，所述方法还包括：
采用RMSProp优化器对所述人体关键点检测模型进行优化。
5.一种人体关键点检测模型生成系统，其特征在于，包括：
图像获取单元，用于获取人体姿态图像；
图像划分单元，用于将预先标记好关键点的人体姿态图像分为训练集和测试集；其中，所述关键点为人体的身体部位；
训练单元，用于将所述训练集输入到预先构建的人体关键点检测模型中，以对所述人体关键点检测模型进行训练；其中，所述人体关键点检测模型为基于嵌入seNet的RestNet的深度卷积神经网络，所述人体关键点检测模型对输入的所述训练集进行高斯分布处理，以输出所述人体关键点检测模型的损失函数的损失值；
模型输出单元，用于当所述损失值达到预设收敛范围时，输出所述人体关键点检测模型。
6.如权利要求5所述的人体关键点检测模型生成系统，其特征在于，所述人体关键点检测模型对输入的所述训练集进行高斯分布处理，以输出所述人体关键点检测模型的损失函数的损失值，包括：
所述人体关键点检测模型以所述训练集中人体姿态图像的人体关节点坐标为中心，根据预设均值和预设方差的高斯分布将所述人体姿态图像生成灰度高斯热力图；其中，所述灰度高斯热力图中最大像素值处为所述关键点的位置；
所述人体关键点检测模型生成所述灰度高斯热力图后，计算所述灰度高斯热力图中每个像素的欧式距离作为损失值。
7.如权利要求5所述的人体关键点检测模型生成系统，其特征在于，所述系统还包括：
模型测试单元，用于将所述测试集输入到所述人体关键点检测模型中，以对所述人体关键点检测模型进行测试；
测试结果分析单元，用于测试完成后，输出所述人体关键点检测模型的测试结果，并对所述测试结果进行分析。
8.如权利要求5所述的人体关键点检测模型生成系统，其特征在于，所述训练单元还用于：
采用RMSProp优化器对所述人体关键点检测模型进行优化。
9.一种人体关键点检测模型生成设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的人体关键点检测模型生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至4中任意一项所述的人体关键点检测模型生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010842551.8A CN111967406A (zh) | 2020-08-20 | 2020-08-20 | 人体关键点检测模型生成方法、系统、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010842551.8A CN111967406A (zh) | 2020-08-20 | 2020-08-20 | 人体关键点检测模型生成方法、系统、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111967406A true CN111967406A (zh) | 2020-11-20 |
Family
ID=73388626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010842551.8A Pending CN111967406A (zh) | 2020-08-20 | 2020-08-20 | 人体关键点检测模型生成方法、系统、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111967406A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112733767A (zh) * | 2021-01-15 | 2021-04-30 | 西安电子科技大学 | 一种人体关键点检测方法、装置、存储介质及终端设备 |
| CN113158921A (zh) * | 2021-04-26 | 2021-07-23 | 北京华捷艾米科技有限公司 | 一种人体骨架定位方法和装置 |
| CN113298860A (zh) * | 2020-12-14 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备和存储介质 |
| CN113706463A (zh) * | 2021-07-22 | 2021-11-26 | 杭州键嘉机器人有限公司 | 基于深度学习的关节影像关键点自动检测方法、装置、设备及存储介质 |
| CN113762168A (zh) * | 2021-09-09 | 2021-12-07 | 南京领行科技股份有限公司 | 一种安全告警方法、装置、电子设备及存储介质 |
| CN114882305A (zh) * | 2022-03-24 | 2022-08-09 | 上海任意门科技有限公司 | 图像关键点检测方法、计算设备和计算机可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647639A (zh) * | 2018-05-10 | 2018-10-12 | 电子科技大学 | 实时人体骨骼关节点检测方法 |
| CN108985259A (zh) * | 2018-08-03 | 2018-12-11 | 百度在线网络技术（北京）有限公司 | 人体动作识别方法和装置 |
| CN110020633A (zh) * | 2019-04-12 | 2019-07-16 | 腾讯科技（深圳）有限公司 | 姿态识别模型的训练方法、图像识别方法及装置 |
| CN110443144A (zh) * | 2019-07-09 | 2019-11-12 | 天津中科智能识别产业技术研究院有限公司 | 一种人体图像关键点姿态估计方法 |
| CN111027504A (zh) * | 2019-12-18 | 2020-04-17 | 上海眼控科技股份有限公司 | 人脸关键点检测方法、装置、设备及存储介质 |
| CN111160085A (zh) * | 2019-11-19 | 2020-05-15 | 天津中科智能识别产业技术研究院有限公司 | 一种人体图像关键点姿态估计方法 |
| CN111160269A (zh) * | 2019-12-30 | 2020-05-15 | 广东工业大学 | 一种人脸关键点检测方法及装置 |
| CN111191622A (zh) * | 2020-01-03 | 2020-05-22 | 华南师范大学 | 基于热力图和偏移向量的姿态识别方法、系统及存储介质 |
| CN111523422A (zh) * | 2020-04-15 | 2020-08-11 | 北京华捷艾米科技有限公司 | 一种关键点检测模型训练方法、关键点检测方法和装置 |
-
2020
- 2020-08-20 CN CN202010842551.8A patent/CN111967406A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647639A (zh) * | 2018-05-10 | 2018-10-12 | 电子科技大学 | 实时人体骨骼关节点检测方法 |
| CN108985259A (zh) * | 2018-08-03 | 2018-12-11 | 百度在线网络技术（北京）有限公司 | 人体动作识别方法和装置 |
| CN110020633A (zh) * | 2019-04-12 | 2019-07-16 | 腾讯科技（深圳）有限公司 | 姿态识别模型的训练方法、图像识别方法及装置 |
| CN110443144A (zh) * | 2019-07-09 | 2019-11-12 | 天津中科智能识别产业技术研究院有限公司 | 一种人体图像关键点姿态估计方法 |
| CN111160085A (zh) * | 2019-11-19 | 2020-05-15 | 天津中科智能识别产业技术研究院有限公司 | 一种人体图像关键点姿态估计方法 |
| CN111027504A (zh) * | 2019-12-18 | 2020-04-17 | 上海眼控科技股份有限公司 | 人脸关键点检测方法、装置、设备及存储介质 |
| CN111160269A (zh) * | 2019-12-30 | 2020-05-15 | 广东工业大学 | 一种人脸关键点检测方法及装置 |
| CN111191622A (zh) * | 2020-01-03 | 2020-05-22 | 华南师范大学 | 基于热力图和偏移向量的姿态识别方法、系统及存储介质 |
| CN111523422A (zh) * | 2020-04-15 | 2020-08-11 | 北京华捷艾米科技有限公司 | 一种关键点检测模型训练方法、关键点检测方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| **猿来是你**: "深度学习-损失函数", 《HTTPS://BLOG.CSDN.NET/QQ_36349372/ARTICLE/DETAILS/106384367》, 27 May 2020 (2020-05-27), pages 1 - 2 * |
| JIE HU 等: "Squeeze-and-Excitation Networks", 《ARXIV》, pages 1 - 5 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298860A (zh) * | 2020-12-14 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备和存储介质 |
| CN112733767A (zh) * | 2021-01-15 | 2021-04-30 | 西安电子科技大学 | 一种人体关键点检测方法、装置、存储介质及终端设备 |
| CN113158921A (zh) * | 2021-04-26 | 2021-07-23 | 北京华捷艾米科技有限公司 | 一种人体骨架定位方法和装置 |
| CN113706463A (zh) * | 2021-07-22 | 2021-11-26 | 杭州键嘉机器人有限公司 | 基于深度学习的关节影像关键点自动检测方法、装置、设备及存储介质 |
| CN113706463B (zh) * | 2021-07-22 | 2024-04-26 | 杭州键嘉医疗科技股份有限公司 | 基于深度学习的关节影像关键点自动检测方法、装置 |
| CN113762168A (zh) * | 2021-09-09 | 2021-12-07 | 南京领行科技股份有限公司 | 一种安全告警方法、装置、电子设备及存储介质 |
| CN114882305A (zh) * | 2022-03-24 | 2022-08-09 | 上海任意门科技有限公司 | 图像关键点检测方法、计算设备和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12099577B2 (en) | Object recognition method and apparatus, electronic device, and readable storage medium | |
| CN111967406A (zh) | 人体关键点检测模型生成方法、系统、设备和存储介质 | |
| US11487995B2 (en) | Method and apparatus for determining image quality | |
| US8792722B2 (en) | Hand gesture detection | |
| US8750573B2 (en) | Hand gesture detection | |
| CN109934065B (zh) | 一种用于手势识别的方法和装置 | |
| CN108154105B (zh) | 水下生物检测与识别方法、装置、服务器及终端设备 | |
| CN111667001B (zh) | 目标重识别方法、装置、计算机设备和存储介质 | |
| CN108734673B (zh) | 去网纹系统训练方法、去网纹方法、装置、设备及介质 | |
| CN109214337B (zh) | 一种人群统计方法、装置、设备及计算机可读存储介质 | |
| WO2021151336A1 (zh) | 基于注意力机制的道路图像目标检测方法及相关设备 | |
| CN110020592A (zh) | 物体检测模型训练方法、装置、计算机设备及存储介质 | |
| CN107958230B (zh) | 人脸表情识别方法及装置 | |
| CN107944020A (zh) | 人脸图像查找方法及装置、计算机装置和存储介质 | |
| CN107944381B (zh) | 人脸跟踪方法、装置、终端及存储介质 | |
| WO2021218671A1 (zh) | 目标跟踪方法及装置、存储介质及计算机程序 | |
| JPWO2020105146A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
| CN107590460A (zh) | 人脸分类方法、装置及智能终端 | |
| CN108875506A (zh) | 人脸形状点跟踪方法、装置和系统及存储介质 | |
| CN114492664A (zh) | 一种猪只盘点方法、装置、设备及存储介质 | |
| CN109934129A (zh) | 一种人脸特征点定位方法、装置、计算机设备及存储介质 | |
| CN116546304A (zh) | 一种参数配置方法、装置、设备、存储介质及产品 | |
| CN110633630A (zh) | 一种行为识别方法、装置及终端设备 | |
| JP7239002B2 (ja) | 物体数推定装置、制御方法、及びプログラム | |
| CN111104965A (zh) | 车辆目标识别的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201120 |