[go: up one dir, main page]

CN114926401B - 一种骨骼点遮挡检测方法、装置、设备及存储介质 - Google Patents

一种骨骼点遮挡检测方法、装置、设备及存储介质

Info

Publication number
CN114926401B
CN114926401B CN202210420920.3A CN202210420920A CN114926401B CN 114926401 B CN114926401 B CN 114926401B CN 202210420920 A CN202210420920 A CN 202210420920A CN 114926401 B CN114926401 B CN 114926401B
Authority
CN
China
Prior art keywords
bone
detected
points
point
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210420920.3A
Other languages
English (en)
Other versions
CN114926401A (zh
Inventor
张敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN202210420920.3A priority Critical patent/CN114926401B/zh
Publication of CN114926401A publication Critical patent/CN114926401A/zh
Application granted granted Critical
Publication of CN114926401B publication Critical patent/CN114926401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种骨骼点遮挡检测方法、装置、设备及存储介质。先通过获取彩色图像获取人体骨架中各骨骼点的位置信息并利用各骨骼点的位置信息获取具有连接关系的骨骼点集;再依据各骨骼点间的连接关系对人体骨架进行区域构建得到目标区域;最后判断骨骼点与目标区域之间的位置关系得到遮挡检测结果;即本发明只需要根据有连接关系的骨骼点标定出目标区域,再根据骨骼点与目标区域的位置关系便可直接判断出待检测骨骼点是否被遮挡。因此,与现有技术相比,本发明的计算量较小,通过简单的逻辑便能快速且有效判断出骨骼点的遮挡情况。

Description

一种骨骼点遮挡检测方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域,具体是涉及一种骨骼点遮挡检测方法、装置、设备及存储介质。
背景技术
在视频监控与搜索、人机交互、家庭健身、智慧养老、虚拟现实等领域中,均需进行人体姿势估计以理解和分析人体行为。一般地,人体姿势是基于未被遮挡骨骼点的位置关系估计得到的,但如果利用被遮挡的骨骼点进行估计便会导致得到的人体姿势偏离实际情况,使得人体姿势估计结果不够精确。
而现有技术中,骨骼点遮挡判断常采用基于深度学习的人体分割方法,即将人体图像进行像素级的细粒度分割得到多个部位并基于各部位的分割情况来判断各骨骼点是否被遮挡;但该方法不仅依赖大量的训练数据,还需要结构复杂的网络模型进行精细化分割,以致其计算量大且计算时间长,骨骼点遮挡的检测效率低。
发明内容
有鉴于此,本发明提供了一种骨骼点遮挡检测方法、装置、设备及存储介质,解决现有技术中骨骼点遮挡检测效率低的问题。
根据本发明的实施例,提供一种骨骼点遮挡检测方法,包括:获取包括目标用户人体骨架且对齐的彩色图像和深度图像;利用彩色图像获取人体骨架中各待检测骨骼点的位置信息,根据位置信息获取若干具有连接关系的待检测骨骼点集;其中,连接关系为待检测骨骼点集中各待检测骨骼点的连接可构成人体躯干的任意部位;基于彩色图像与深度图像的对齐关系,利用待检测骨骼点集中各待检测骨骼点间的位置信息及其对应的深度信息进行区域构建,得到若干目标区域;判断待检测骨骼点与目标区域之间的位置关系,得到待检测骨骼点的遮挡检测结果。
根据本发明的实施例,还提供一种骨骼点遮挡检测装置,包括:图像获取模块,用于获取包括目标用户人体骨架且对齐的彩色图像和深度图像;骨骼点集计算模块,用于利用彩色图像获取人体骨架中各待检测骨骼点的位置信息,根据位置信息获取若干具有连接关系的待检测骨骼点集;其中,连接关系为待检测骨骼点集中各待检测骨骼点的连接可构成人体躯干的任意部位;目标区域生成模块,用于基于彩色图像与深度图像的对齐关系,利用待检测骨骼点集中各待检测骨骼点间的位置信息及其对应的深度信息进行区域构建,得到若干目标区域;遮挡检测模块,用于判断待检测骨骼点与目标区域之间的位置关系,得到待检测骨骼点的遮挡检测结果。
根据本发明的实施例,还提供一种终端设备,其中,终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的骨骼点遮挡检测程序,处理器执行骨骼点遮挡检测程序时,实现上述的骨骼点遮挡检测方法的步骤。
根据本发明的实施例,还提供一种计算机可读存储介质,计算机可读存储介质上存储有骨骼点遮挡检测程序,骨骼点遮挡检测程序被处理器执行时,实现上述的骨骼点遮挡检测方法的步骤。
本发明的有益效果为:本申请先通过获取彩色图像获取人体骨架中各骨骼点的位置信息并利用各骨骼点的位置信息获取具有连接关系的骨骼点集;再依据各骨骼点间的连接关系对人体骨架进行区域构建得到目标区域;最后判断骨骼点与目标区域之间的位置关系得到遮挡检测结果;即本发明只需要根据有连接关系的骨骼点标定出目标区域,再根据骨骼点与目标区域的位置关系便可直接判断出待检测骨骼点是否被遮挡。因此,与现有技术相比,本发明的计算量较小,通过简单的逻辑便能快速且有效判断出骨骼点的遮挡情况。
附图说明
图1为本发明提供的一种骨骼点遮挡检测方法的流程示意图;
图2为本发明实施例提供的一种人体骨骼点模型的结构示意图;
图3为本发明实施例提供的一种非手腕骨骼点遮挡判断模型;
图4为本发明实施例提供的一种手腕骨骼点的遮挡判断模型;
图5为本发明实施例提供的左臀被左肘-左腕遮挡示意图;
图6为本发明实施例提供的左臀被左膝-左踝所在的小腿遮挡示意图;
图7为本发明实施例提供的左肩被左肘骨骼点-左腕骨骼点所在的左小臂遮挡示意图;
图8为本发明实施例提供的终端设备的内部结构原理框图。
具体实施方式
以下结合实施例和说明书附图,对本发明中的技术方案进行清楚、完整地描述。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供了一种骨骼点遮挡检测方法、装置、设备及存储介质,其只需要根据有连接关系的骨骼点标定出目标区域,再根据待检测骨骼点与目标区域的位置关系便可判断出待检测骨骼点是否被遮挡。本发明所使用的方法计算量较小,且能快速判断出待检测骨骼点是否被遮挡,解决了现有技术中骨骼点遮挡检测效率低的问题。
举例说明,采集左右手臂对应的骨骼点图像,图像中包括左肘骨骼点、左腕骨骼点、右肘骨骼点、右腕骨骼点,因为骨骼点图像为2D图像,而该2D图像上只有各个骨骼点(一个圆点)以及各个骨骼点之间的连接关系,所以从2D图像上无法判断出在拍摄人体照片时右腕是否被左肘和左腕所在的左胳膊遮挡。有鉴于此,本实施例为判断右腕是否被左肘和左腕所在的左胳膊遮挡,通过将左肘骨骼点、左腕骨骼点所构成的区域标定为目标区域,然后判断右腕骨骼点是否在该目标区域内以得到右腕的遮挡情况。
示例性方法
图1为本发明提供的一种骨骼点遮挡检测方法的流程示意图,该方法可应用于终端设备中,所述终端设备可为具有图像采集功能的终端产品,比如手机、电脑等。如图1中所示,所述骨骼点遮挡检测方法具体包括如下步骤:
S100,获取包括目标用户人体骨架且对齐的彩色图像和深度图像。
在一个实施例中,可利用采集设备采集包括目标用户人体骨架的彩色图像。优选地,彩色图像可为RGB格式、YUV格式或HSV格式的图像,此处不作限制。
在另一个实施例中,采集设备还可同步或按时序采集与彩色图像相同场景的深度图像。进一步地,获取深度图像后,需将深度图像的各像素点和彩色图像对应的各像素点进行一一对齐,得到具备对齐关系的深度图像和彩色图像,即深度图像和彩色图像通过该对齐关系可转换至同一坐标系下。
S200,利用彩色图像获取人体骨架中各待检测骨骼点的位置信息,并根据各待检测骨骼点的位置信息获取若干具有连接关系的待检测骨骼点集。
图2为根据本实施例提供的一种人体骨架中骨骼点的位置关系结构示意图,图中L、R分别表示左、右,索引号从0至14分别表示人体的骨骼点位置,依次为头、脖子、中臀、右肩、左肩、右肘、左肘、右腕、左腕、右臀、左臀、右膝、左膝、右踝、左踝。当采集到人体不同姿势下的图像时,可利用预设骨骼点检测算法对彩色图像进行骨骼点检测得到各待检测骨骼点的位置信息,并根据各待检测骨骼点的位置信息获取具有连接关系的骨骼点集,以便于后续人体姿势估计。需要说明的是,预设骨骼点检测算法可为AlphaPose、openpose等现有算法,此处不作限制。
在一个实施例中,根据各待检测骨骼点的位置信息获取具有连接关系的骨骼点集更具体包括:根据各待检测骨骼点之间的位置信息判断各待检测骨骼点是否存在连接关系,若待检测骨骼点间的连线可构成人体躯干的任意部位,则判断上述待检测骨骼点存在连接关系,进而按可构成人体躯干的任意部位的连线顺序集合存在连接关系的待检测骨骼点形成待检测骨骼点集。进一步地结合图2所示,索引号1和索引号4所对应的待检测骨骼点连线可构成人体躯干中的左上肢,即为存在连接关系的待检测骨骼点集;索引号9、11、13所对应的四个待检测骨骼点依次连线可构成人体躯干中的右腿,所以其亦为有连接关系的待检测骨骼点集;而索引号5和索引号6所对应的待检测骨骼点依次连线并不能构成人体躯干的任意部位,因此索引号5和索引号6所对应的待检测骨骼点不能构成有连接关系的待检测骨骼点集,其他依次类推,此处不再赘述。
S300,基于彩色图像与深度图像的对齐关系,利用待检测骨骼点集中各待检测骨骼点间的位置信息及其对应的深度信息进行区域构建,得到若干目标区域。
更具体地,目标区域为基于待检测骨骼点集构建的区域,其对应各个待检测骨骼点所在的肢体。在一个实施例中,以一个待检测骨骼点集为例说明,步骤S300还包括步骤S301、S302:
S301,根据彩色图像与深度图像的对齐关系,分别获取待检测骨骼点集中首尾骨骼点的位置信息及其对应深度信息,并利用位置信息及其对应深度信息分别构建球体模型,得到第一区域和第二区域。
在一些实施例中,获取待检测骨骼点集中首尾待检测骨骼点的位置信息后,分别以首尾待检测骨骼点的各自位置为球心,以设定半径R构建球体模型,得到第一区域和第二区域。需要说明的是,本实施例可以是球体模型亦可为椭圆体模型,此处不作限制。
在一个实施例中,设定半径R=2*X/hipDepth,其中X参数为常数值,hipDepth为首尾待检测骨骼点的深度信息。从上述公式可以看出,半径R是随着目标用户距离相机的远近而变化的,即当目标用户距离相机较近时,半径R增大,目标区域所占像素面积随之变大;当目标区域远离相机时,半径R变小,目标区域所占像素面积随之变小;即本申请所构建的目标区域会随着目标用户距离相机的远近进行实时改变,使得在后续步骤可更精确判断骨骼点的遮挡情况。
S302,构建柱体模型对第一区域和第二区域进行围合,得到目标区域。
更具体地,以第一区域或第二区域为底面,连线各区域之间的各待检测骨骼点并以此为轴线构建柱体模型,该柱体模型可围合第一区域和第二区域,从而形成目标区域。应当理解的是,本申请仅以一个待检测骨骼点集进行说明,当待检测骨骼点集为多个时,重复上述步骤即可,此处不再赘述。
举例说明,如图3所示,本实施例中待检测骨骼点集中首尾待检测骨骼点为左肩骨骼点(joint1)和左肘骨骼点(joint2),分别以joint1、joint2为球心、以半径R构建球体模型,得到第一区域和第二区域;然后再以第一区域或第二区域为底面建立柱体模型将第一区域和第二区域进行围合,从而形成目标区域;其中,柱体模型的高为第一区域与第二区域之间的距离。需要说明的是,本实施例的目标区域可为立体的,亦可将立体的目标区域投影到平面上并以投影在平面上的区域作为最终的目标区域。
需要说明的是,上述得到的目标区域针对的是常规肢体区域。当目标区域中的肢体区域需连接手掌或脚时,则需要对基于连接点(如手腕点、脚腕点)得到的目标区域进行自适应处理。具体地,当需处理的目标区域存在手腕骨骼点时,因手腕骨骼点为手臂与手掌的连接点且一般情况下手掌的直径大于手臂的直径,因此需以首尾的骨骼点为球心并以不同的半径建立球体模型得到不同尺寸的第一区域和第二区域;其中,第一区域尺寸大于第二区域。进一步地,以第二区域为底,向第一区域的方向延伸构建柱体模型得到目标区域,其中延伸长度大于各第一区域之间的长度,如图4所示。从图4可见,不同尺寸的第一区域由两个不同半径(即R和R1)的球体组成,第二区域的长度比两个不同半径的球体的球心距离长出R2。
S400,判断待检测骨骼点与目标区域之间的位置关系,得到待检测骨骼点的遮挡检测结果。
本实施例中的待检测骨骼点与目标区域之间的位置关系包括待检测骨骼点位于目标区域的外部和待检测骨骼点位于目标区域的内部这两种情况,当待检测骨骼点位于目标区域的外部,则说明待检测骨骼点没有被遮挡,不需进一步判断;当待检测骨骼点位于目标区域的内部,则说明待检测骨骼点可能存在被遮挡的情况,还需进一步判断。
在一个实施例中,当待检测骨骼点位于目标区域的内部时,步骤S400包括如下的步骤S401、S402:
S401,根据彩色图像与深度图像的对齐关系,获取目标区域的深度值及待检测骨骼点的深度值。
S402,比较目标区域的深度值与待检测骨骼点的深度值,若待检测骨骼点所对应的深度值均小于目标区域各像素的深度值,则待检测骨骼点未被遮挡;若目标区域中任一像素所对应的深度值小于待检测骨骼点所对应的深度值,则待检测骨骼点被遮挡。
具体地,如图3所示,joint3为当前待检测骨骼点,joint1和joint2为组成目标区域的首尾待检测骨骼点,将基于joint1和joint2构建的第一区域及第二区域合并作为目标区域,当joint3在目标区域内,则认为该骨骼点可能存在被遮挡的情况,需要进一步确认。若joint3在目标区域内,则需结合待检测骨骼点与目标区域的深度值,判断出待检测骨骼点与目标区域前后关系,并根据该前后关系即可判断出该骨骼点实际是否被遮挡。例如,当joint1,joint2,joint3分别为左肩-左肘-右腕时,若通过上述方法得到joint3在基于joint1及joint2构建的目标区域内,则可初步认为右腕存在被左肩-左肘遮挡的情况;再者,获取左肩、左肘、右腕处的深度值,若右腕深度均小于左肩、左肘的深度值,则认为右腕没有被遮挡;反之,则认为该右腕被遮挡。
需要说明的是,S401和S402是根据目标区域内各个像素点的深度判断待检测骨骼点是否被遮挡。在另一个实施例中,也可以根据目标区域中首尾的待检测骨骼点构成的轴线所对应的深度值判断待检测骨骼点是否被遮挡,更具体地,包括以下步骤:
S403,根据深度图像与彩色图像的对齐关系,获取目标区域中两端的待检测骨骼点构成的轴线所对应的深度值。
在一个实施例中,本实施例中的轴线对应人体的肢体躯干,比如目标区域的首尾待检测骨骼点为左腕骨骼点和左肘骨骼点,则该轴线为左腕骨骼点和左肘骨骼点的连线(即左手臂)。
S404,比较轴线所对应的深度值及待检测骨骼点所对应的深度值,得到待检测骨骼点的遮挡检测结果。
更具体地,当待检测骨骼点所对应的深度值小于轴线所对应的深度值,则待检测骨骼点未被遮挡;反之则待检测骨骼点被遮挡。
在另一个实施例中,得到待检测骨骼点的遮挡检测结果后,可利用待检测骨骼点的遮挡检测结果进行人体姿势估计,更具体地,在步骤S400后还包括:
S501,获取遮挡检测结果中被遮挡的待检测骨骼点的坐标信息;
S502,根据被遮挡的待检测骨骼点的坐标信息,剔除彩色图像中被遮挡的待检测骨骼点以得到未被遮挡的待检测骨骼点;
S503,基于深度图像与彩色图像的对齐关系,获取未被遮挡的待检测骨骼点的深度信息;
S504,利用未被遮挡的待检测骨架点的深度信息进行人体姿势估计,得到三维人体姿势模型。
具体可见图5、图6及图7,其依次为利用本申请提供的实施例得到的三维人体姿势模型结果示意图;其中,图5为左臀被左肘-左腕遮挡的人体姿势模型示意图;图6为左臀被小腿遮挡的人体姿势模型示意图;图7为左肩被左小臂遮挡的人体姿势模型示意图。
综上,本发明只需通过利用有连接关系的骨骼点标定出目标区域,再根据待检测骨骼点与目标区域的位置关系便可判断出待检测骨骼点是否被遮挡。与现有技术相比,本发明提供的方法计算量较小,通过简单的逻辑便能快速且有效地判断出待检测骨骼点是否被遮挡。
示例性装置
本实施例还提供一种骨骼点遮挡检测装置,所述装置包括如下组成部分:
图像获取模块,用于获取包括目标用户人体骨架且对齐的彩色图像和深度图像;
骨骼点集计算模块,用于利用彩色图像获取人体骨架中各待检测骨骼点的位置信息,并根据各待检测骨骼点的位置信息获取若干具有连接关系的待检测骨骼点集;其中,连接关系为待检测骨骼点集中各待检测骨骼点的连接可构成人体躯干的任意部位;
目标区域生成模块,用于基于彩色图像与深度图像的对齐关系,利用待检测骨骼点集中各待检测骨骼点间的连接关系及其对应的深度信息进行目标区域构建,得到若干目标区域;
遮挡检测模块,用于判断待检测骨骼点与目标区域之间的位置关系,得到待检测骨骼点的遮挡检测结果。
需要说明的是,各模块具体作用参考前述的骨骼点检测方法,此处不再赘述。
基于上述实施例,本发明还提供了一种终端设备,其原理框图可以如图8所示。终端设备可以包括一个或多个处理器800(图8中仅示出一个),存储器801以及存储在存储器801中并可在一个或多个处理器800上运行的计算机程序802,例如,骨骼点遮挡检测程序。一个或多个处理器800执行计算机程序802时可以实现骨骼点遮挡检测的方法实施例中的各个步骤。或者,一个或多个处理器800执行计算机程序802时可以实现骨骼点遮挡检测装置实施例中各模块/单元的功能,此处不作限制。
在一个实施例中,终端设备还包括采集装置,采集装置可包括深度相机和二维相机,其中,深度相机可为结构光相机、TOF相机、双目相机等中的任意一种,二维相机可为红外相机、彩色相机等中的任意一种,用于分别采集深度图像和二维图像,处理器利用采集的深度图像和二维图像实现获取上述骨骼点遮挡检测方法实施例中的各个步骤。需要说明的是,深度相机及二维相机可一体化设置亦可独立设置,采集装置可设置在终端设备中,亦可通过无线通信或有线通信与所述终端设备进行数据传输,此处不作限制。
本领域技术人员可以理解,图8中示出的原理框图,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的终端设备的限定,具体的终端设备以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种终端设备,终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的骨骼点遮挡检测程序,处理器执行骨骼点遮挡检测程序时,实现如下操作指令:
获取包括目标用户人体骨架且对齐的彩色图像和深度图像;
利用彩色图像获取人体骨架中各待检测骨骼点的位置信息,根据位置信息获取若干具有连接关系的待检测骨骼点集;其中,连接关系为待检测骨骼点集中的待检测骨骼点连接可构成人体躯干的任意部位;
基于彩色图像与深度图像的对齐关系,利用待检测骨骼点集中各待检测骨骼点间的位置信息及其对应的深度信息进行区域构建,得到若干目标区域;
判断待检测骨骼点与目标区域之间的位置关系,得到待检测骨骼点的遮挡检测结果。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/电子设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/电子设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于上述理解,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种骨骼点遮挡检测方法,其特征在于,包括:
获取包括目标用户人体骨架且对齐的彩色图像和深度图像;
利用所述彩色图像获取所述人体骨架中各待检测骨骼点的位置信息,根据所述位置信息获取若干具有连接关系的待检测骨骼点集;其中,所述连接关系为所述待检测骨骼点集中各待检测骨骼点的连接可构成人体躯干的任意部位;
基于所述彩色图像与所述深度图像的对齐关系,利用所述待检测骨骼点集中各待检测骨骼点间的位置信息及其对应的深度信息进行区域构建,得到若干目标区域;
判断所述待检测骨骼点与所述目标区域之间的位置关系,得到所述待检测骨骼点的遮挡检测结果;
基于所述彩色图像与所述深度图像的对齐关系,利用所述待检测骨骼点集中所述各待检测骨骼点间的位置信息及其对应的深度信息进行区域构建,得到若干目标区域,包括:
根据所述彩色图像与所述深度图像的对齐关系,分别获取所述待检测骨骼点集中首尾骨骼点的位置信息及其对应深度信息,并利用所述位置信息及其对应深度信息分别构建球体模型,得到各第一区域及对应的第二区域,所述球体模型的球心为首尾待检测骨骼点的位置,所述球体模型的半径R:,X为常数值,hipDepth为深度信息,目标区域会随着目标用户距离相机的远近进行实时改变;
构建柱体模型对所述各第一区域及对应的第二区域进行围合,得到所述若干目标区域。
2.如权利要求1所述的骨骼点遮挡检测方法,其特征在于,所述判断所述待检测骨骼点与所述目标区域之间的位置关系,得到所述待检测骨骼点的遮挡检测结果,包括:
当所述待检测骨骼点位于所述目标区域的外部,得到所述遮挡检测结果中的所述待检测骨骼点未被遮挡。
3.如权利要求1所述的骨骼点遮挡检测方法,其特征在于,所述判断所述待检测骨骼点与所述目标区域之间的位置关系,得到所述待检测骨骼点的遮挡检测结果,包括:
当所述待检测骨骼点位于所述目标区域的内部时,根据所述彩色图像与所述深度图像的对齐关系,获取所述目标区域的深度值及所述待检测骨骼点的深度值;
比较所述目标区域的深度值与所述待检测骨骼点的深度值,得到所述待检测骨骼点的遮挡检测结果。
4.如权利要求3所述的骨骼点遮挡检测方法,其特征在于,所述比较所述目标区域的深度值与所述待检测骨骼点的深度值,得到所述待检测骨骼点的遮挡检测结果,包括:
若所述待检测骨骼点的深度值均小于所述目标区域各像素的深度值,则所述待检测骨骼点未被遮挡;
若所述目标区域中任一像素的深度值小于所述待检测骨骼点的深度值,则所述待检测骨骼点被遮挡。
5.如权利要求1所述的骨骼点遮挡检测方法,其特征在于,所述判断所述待检测骨骼点与所述目标区域之间的位置关系,得到所述待检测骨骼点的遮挡检测结果,包括:
当所述待检测骨骼点位于所述目标区域的内部时,根据所述深度图像和所述彩色图像的对齐关系,获取所述目标区域中首尾待检测骨骼点构成的轴线所对应的深度值;
比较所述轴线所对应的深度值及所述待检测骨骼点所对应的深度值,得到所述待检测骨骼点的遮挡检测结果。
6.如权利要求5所述的骨骼点遮挡检测方法,其特征在于,所述比较所述轴线所对应的深度值及所述待检测骨骼点所对应的深度值,得到所述待检测骨骼点的遮挡检测结果,包括:
若所述待检测骨骼点所对应的深度值小于所述轴线所对应的深度值,则所述待检测骨骼点未被遮挡;
若所述待检测骨骼点所对应的深度值大于所述轴线所对应的深度值,则待检测骨骼点被遮挡。
7.如权利要求1所述的骨骼点遮挡检测方法,其特征在于,所述判断所述待检测骨骼点与所述目标区域之间的位置关系,得到所述待检测骨骼点的遮挡检测结果之后,还包括:
获取遮挡检测结果中被遮挡的所述待检测骨骼点的坐标信息;
根据被遮挡的所述待检测骨骼点的坐标信息,剔除所述彩色图像中被遮挡的所述待检测骨骼点以得到未被遮挡的所述待检测骨骼点;
基于深度图像与彩色图像的对齐关系,获取未被遮挡的所述待检测骨骼点的深度值;
利用未被遮挡的所述待检测骨骼点的深度值进行人体姿势估计,得到三维人体姿势模型。
8.一种骨骼点遮挡检测装置,其特征在于,所述装置包括如下组成部分:
图像获取模块,用于获取包括目标用户人体骨架且对齐的彩色图像和深度图像;
骨骼点集计算模块,用于利用所述彩色图像获取所述人体骨架中各待检测骨骼点的位置信息,根据所述位置信息获取若干具有连接关系的待检测骨骼点集;其中,所述连接关系为所述待检测骨骼点集中所述各待检测骨骼点的连接可构成人体躯干的任意部位;
目标区域生成模块,用于基于所述彩色图像与所述深度图像的对齐关系,利用所述待检测骨骼点集中各待检测骨骼点间的位置信息及其对应的深度信息进行区域构建,得到若干目标区域;
遮挡检测模块,用于判断所述待检测骨骼点与所述目标区域之间的位置关系,得到所述待检测骨骼点的遮挡检测结果;
所述彩色图像与所述深度图像的对齐关系,利用所述待检测骨骼点集中所述各待检测骨骼点间的位置信息及其对应的深度信息进行区域构建,得到若干目标区域,包括:
根据所述彩色图像与所述深度图像的对齐关系,分别获取所述待检测骨骼点集中首尾骨骼点的位置信息及其对应深度信息,并利用所述位置信息及其对应深度信息分别构建球体模型,得到各第一区域及对应的第二区域,所述球体模型的球心为首尾待检测骨骼点的位置,所述球体模型的半径R:,X为常数值,hipDepth为深度信息,目标区域会随着目标用户距离相机的远近进行实时改变;
构建柱体模型对所述各第一区域及对应的第二区域进行围合,得到所述若干目标区域。
9.一种终端设备,其特征在于,所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的骨骼点遮挡检测程序,所述处理器执行所述骨骼点遮挡检测程序时,实现如权利要求1-7任一项所述的骨骼点遮挡检测方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有骨骼点遮挡检测程序,所述骨骼点遮挡检测程序被处理器执行时,实现如权利要求1-7任一项所述的骨骼点遮挡检测方法的步骤。
CN202210420920.3A 2022-04-21 2022-04-21 一种骨骼点遮挡检测方法、装置、设备及存储介质 Active CN114926401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210420920.3A CN114926401B (zh) 2022-04-21 2022-04-21 一种骨骼点遮挡检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210420920.3A CN114926401B (zh) 2022-04-21 2022-04-21 一种骨骼点遮挡检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114926401A CN114926401A (zh) 2022-08-19
CN114926401B true CN114926401B (zh) 2025-12-16

Family

ID=82807383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210420920.3A Active CN114926401B (zh) 2022-04-21 2022-04-21 一种骨骼点遮挡检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114926401B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800126A (zh) * 2012-07-04 2012-11-28 浙江大学 基于多模态融合的实时人体三维姿态恢复的方法
CN111612713A (zh) * 2020-05-19 2020-09-01 深圳度影医疗科技有限公司 一种三维超声图像的去遮挡方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909581B (zh) * 2018-09-18 2023-04-14 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
EP3866110A1 (en) * 2019-05-31 2021-08-18 SZ DJI Technology Co., Ltd. Target detection method, target detection apparatus and unmanned aerial vehicle
CN111028330B (zh) * 2019-11-15 2023-04-07 腾讯科技(深圳)有限公司 三维表情基的生成方法、装置、设备及存储介质
CN113378720A (zh) * 2021-06-11 2021-09-10 沈阳工业大学 三维肢体动作捕捉方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800126A (zh) * 2012-07-04 2012-11-28 浙江大学 基于多模态融合的实时人体三维姿态恢复的方法
CN111612713A (zh) * 2020-05-19 2020-09-01 深圳度影医疗科技有限公司 一种三维超声图像的去遮挡方法

Also Published As

Publication number Publication date
CN114926401A (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
JP7581753B2 (ja) 動作認識方法、動作認識装置及び電子機器
CN111968235A (zh) 一种物体姿态估计方法、装置、系统和计算机设备
CN111862299B (zh) 人体三维模型构建方法、装置、机器人和存储介质
CN109176512A (zh) 一种体感控制机器人的方法、机器人及控制装置
CN107886069A (zh) 一种多目标人体2d姿态实时检测系统及检测方法
KR20120048370A (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
CN105818167A (zh) 采用远距数字摄像头校准铰接的末端执行器的方法
JP2019125057A (ja) 画像処理装置及びその方法、プログラム
CN111208783A (zh) 一种动作模仿方法、装置、终端及计算机存储介质
CN109740659B (zh) 一种图像匹配方法及装置、电子设备、存储介质
JP2021086322A5 (zh)
WO2013145615A1 (ja) 部位推定装置、部位推定方法、および部位推定プログラム
CN113077519A (zh) 一种基于人体骨架提取的多相机外参自动标定方法
JP7420146B2 (ja) カメラ校正装置、カメラ校正方法及びカメラ校正プログラム
CN111582204A (zh) 姿态检测方法、装置、计算机设备及存储介质
CN111275703A (zh) 图像检测方法、装置、计算机设备和存储介质
CN113971835A (zh) 一种家电设备的控制方法、装置、存储介质及终端设备
CN116385663B (zh) 动作数据生成方法、装置、电子设备及存储介质
KR20230009676A (ko) 3차원 인체 자세 추정 장치 및 그 방법
CN112699706B (zh) 跌倒检测方法、系统和存储介质
CN117275038A (zh) 身体姿态的智能检测方法及装置
CN114926401B (zh) 一种骨骼点遮挡检测方法、装置、设备及存储介质
JP2010238134A (ja) 画像処理装置及びプログラム
CN112560735B (zh) 一种激光与视觉图像融合的门检测方法以及储存介质
WO2020261403A1 (ja) 身長推定装置、身長推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant