CN111539992A - 图像处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开实施例公开了一种图像处理方法、装置、电子设备和存储介质。所述方法包括：获得多帧图像；对所述多帧图像中的第一图像中的目标对象进行肢体关键点检测处理，获得所述目标对象的部分肢体对应的第一关键点信息；基于所述第一关键点信息确定第二图像中的所述目标对象的所述部分肢体对应的第二关键点信息；其中，所述第一图像为所述多帧图像中的任意一帧图像；所述第二图像为所述第一图像后的一帧图像。

Description

图像处理方法、装置、电子设备和存储介质

技术领域

本公开涉及计算机视觉技术领域，具体涉及一种图像处理方法、装置、电子设备和存储介质。

背景技术

目标跟踪技术通常基于肢体检测算法和肢体关键点检测算法，利用肢体检测算法检测出的人体，以及肢体关键点检测算法检测出的人体关键点，实现目标跟踪。但是目前的肢体检测算法和肢体关键点检测算法无法适应只有上半身肢体的场景，从而导致只有上半身肢体的目标无法进行跟踪。

发明内容

本公开实施例提供一种图像处理方法、装置、电子设备和存储介质。

本公开实施例提供了一种图像处理方法，所述方法包括：获得多帧图像；对所述多帧图像中的第一图像中的目标对象进行肢体关键点检测处理，获得所述目标对象的部分肢体对应的第一关键点信息；基于所述第一关键点信息确定第二图像中的所述目标对象的所述部分肢体对应的第二关键点信息；其中，所述第一图像为所述多帧图像中的任意一帧图像；所述第二图像为所述第一图像后的一帧图像。

上述方案中，所述对第一图像中的目标对象进行肢体关键点检测处理，获得所述目标对象的部分肢体对应的第一关键点信息，包括：对所述第一图像中的所述目标对象进行肢体检测处理，确定所述目标对象的第一区域；所述第一区域包括所述目标对象的部分肢体所在区域；对所述第一区域对应的像素点进行肢体关键点检测处理，获得所述目标对象的所述部分肢体对应的第一关键点信息。

上述方案中，所述基于所述第一关键点信息确定第二图像中的所述目标对象的所述部分肢体对应的第二关键点信息，包括：基于所述第一关键点信息在所述第一图像中确定第二区域；所述第二区域大于所述目标对象的第一区域；所述第一区域包括所述目标对象的部分肢体所在区域；根据所述第二区域或所述第一关键点信息，确定所述第二图像中与所述第二区域的位置范围对应的第三区域；对所述第二图像中的所述第三区域内的像素点进行肢体关键点检测处理，获得所述部分肢体对应的第二关键点信息。

上述方案中，所述对所述第一图像中的所述目标对象进行肢体检测处理，包括：利用肢体检测网络对所述第一图像中的所述目标对象进行肢体检测处理；其中，所述肢体检测网络采用第一类样本图像训练得到；所述第一类样本图像中标注有目标对象的检测框；所述检测框的标注范围包括所述目标对象的部分肢体所在区域。

上述方案中，所述对所述第一区域对应的像素点进行肢体关键点检测处理，包括：利用肢体关键点检测网络对所述第一区域对应的像素点进行肢体关键点检测处理；其中，所述肢体关键点检测网络采用第二类样本图像训练得到；所述第二类样本图像中标注有包括所述目标对象的部分肢体的关键点。

上述方案中，所述目标对象的部分肢体包括以下至少之一：头部、颈部、肩部、胸部、腰部、髋部、手臂、手部；所述第一关键点信息和所述第二关键点信息包括头部、颈部、肩部、胸部、腰部、髋部、手臂和手部中的至少一个肢体的轮廓关键点信息和/骨骼关键点信息。

上述方案中，所述方法还包括：响应于获得所述目标对象的部分肢体对应的第一关键点信息的情况，为所述目标对象分配跟踪标识；基于对所述多帧图像的处理过程中分配的所述跟踪标识的数量，确定所述多帧图像中的目标对象的数量。

上述方案中，所述方法还包括：基于所述第二关键点信息确定所述目标对象的姿态；基于所述目标对象的姿态确定对应于所述目标对象的交互指令。

本公开实施例还提供了一种图像处理装置，所述装置包括：获取单元、检测单元和跟踪确定单元；其中，所述获取单元，用于获得多帧图像；所述检测单元，用于对所述多帧图像中的第一图像中的目标对象进行肢体关键点检测处理，获得所述目标对象的部分肢体对应的第一关键点信息；所述跟踪确定单元，用于基于所述第一关键点信息确定第二图像中的所述目标对象的所述部分肢体对应的第二关键点信息；其中，所述第一图像为所述多帧图像中的任意一帧图像；所述第二图像为所述第一图像后的一帧图像。

上述方案中，所述检测单元包括：肢体检测模块和肢体关键点检测模块；其中，所述肢体检测模块，用于对所述第一图像中的所述目标对象进行肢体检测处理，确定所述目标对象的第一区域；所述第一区域包括所述目标对象的部分肢体所在区域；所述肢体关键点检测模块，用于对所述第一区域对应的像素点进行肢体关键点检测处理，获得所述目标对象的所述部分肢体对应的第一关键点信息。

上述方案中，所述跟踪确定单元，用于基于所述第一关键点信息在所述第一图像中确定第二区域；所述第二区域大于所述目标对象的第一区域；所述第一区域包括所述目标对象的部分肢体所在区域；根据所述第二区域或所述第一关键点信息，确定所述第二图像中与所述第二区域的位置范围对应的第三区域；对所述第二图像中的所述第三区域内的像素点进行肢体关键点检测处理，获得所述部分肢体对应的第二关键点信息。

上述方案中，所述肢体检测模块，用于利用肢体检测网络对所述第一图像中的所述目标对象进行肢体检测处理；其中，所述肢体检测网络采用第一类样本图像训练得到；所述第一类样本图像中标注有目标对象的检测框；所述检测框的标注范围包括所述目标对象的部分肢体所在区域。

上述方案中，所述肢体关键点检测模块，用于利用肢体关键点检测网络对所述第一区域对应的像素点进行肢体关键点检测处理；其中，所述肢体关键点检测网络采用第二类样本图像训练得到；所述第二类样本图像中标注有包括所述目标对象的部分肢体的关键点。

上述方案中，所述目标对象的部分肢体包括以下至少之一：头部、颈部、肩部、胸部、腰部、髋部、手臂、手部；所述第一关键点信息和所述第二关键点信息包括头部、颈部、肩部、胸部、腰部、髋部、手臂和手部中的至少一个肢体的轮廓关键点信息和/骨骼关键点信息。

上述方案中，所述装置还包括分配单元和统计单元；其中，所述分配单元，用于响应于所述检测单元获得所述目标对象的部分肢体对应的第一关键点信息的情况，为所述目标对象分配跟踪标识；所述统计单元，用于基于对所述多帧图像的处理过程中分配的所述跟踪标识的数量，确定所述多帧图像中的目标对象的数量。

上述方案中，所述装置还包括确定单元，用于基于所述第二关键点信息确定所述目标对象的姿态；基于所述目标对象的姿态确定对应于所述目标对象的交互指令。

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开实施例所述的图像处理方法的步骤。

本公开实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本公开实施例所述的图像处理方法的步骤。

本公开实施例提供的图像处理方法、装置、电子设备和存储介质，通过对待处理的多帧图像中的第一图像中的目标对象的部分肢体的关键点进行识别，并基于识别出的部分肢体的关键点确定在后的第二图像中的目标对象的部分肢体的关键点，从而实现了在图像中具有目标对象的部分肢体(例如上半身)的场景下的目标跟踪。

附图说明

图1为本公开实施例的图像处理方法的流程示意图一；

图2为本公开实施例的图像处理方法中的肢体关键点检测处理方法的流程示意图；

图3为本公开实施例的图像处理方法中的肢体关键点跟踪方法的一种流程示意图；

图4为本公开实施例的图像处理方法的流程示意图二；

图5为本公开实施例的图像处理装置的组成结构示意图一；

图6为本公开实施例的图像处理装置的组成结构示意图二；

图7为本公开实施例的图像处理装置的组成结构示意图三；

图8为本公开实施例的图像处理装置的组成结构示意图四；

图9为本公开实施例的电子设备的硬件组成结构示意图。

具体实施方式

下面结合附图及具体实施例对本公开作进一步详细的说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

本公开实施例提供了一种图像处理方法。图1为本公开实施例的图像处理方法的流程示意图一；如图1所示，所述方法包括：

步骤101：获得多帧图像；

步骤102：对多帧图像中的第一图像中的目标对象进行肢体关键点检测处理，获得目标对象的部分肢体对应的第一关键点信息；

步骤103：基于第一关键点信息确定第二图像中的目标对象的部分肢体对应的第二关键点信息；其中，第一图像为多帧图像中的任意一帧图像；第二图像为第一图像后的一帧图像。

本实施例的图像处理方法可应用于图像处理装置中，图像处理装置可设置于个人计算机、服务器等具有处理功能的电子设备内，或者由处理器执行计算机程序实现。

本实施例中，上述多帧图像可以为由电子设备内置或外接的摄像设备采集的连续的视频，或者也可以是接收的由其它电子设备传输的视频等。在一些应用场景中，上述多帧图像可以为监控摄像头采集的监控视频，以对监控视频中的各个目标对象进行跟踪。在另一些应用场景中，上述多帧图像也可以是本地或其他视频库中存储的视频，以对视频中的各个目标对象进行跟踪。在又一些应用场景中，本实施例的图像处理方法可应用于虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)或者体感游戏等应用场景中；则上述多帧图像还可以为虚拟现实或增强现实场景中采集到的操作者的图像，可通过对图像中的操作者的姿态的识别，控制虚拟现实场景或增强现实场景中的虚拟对象的动作；或者还可以为体感游戏中采集到的参与游戏的目标对象(如多个用户)的图像等。

在一些应用场景中，图像处理装置可与一个或多个监控摄像头建立通信连接，将实时获得监控摄像头采集的监控视频作为待处理的多帧图像。在另一些应用场景中，图像处理装置也可从自身存储的视频中获取视频作为待处理的多帧图像，或者，也可从其他电子设备存储的视频中获取视频作为待处理的多帧图像等等。在又一些应用场景中，图像处理装置也可置于游戏设备中，在游戏设备的处理器执行计算机程序从而实现游戏操作者操作过程中，将输出显示的图像作为待处理的多帧图像，对图像中的目标对象(目标对象对应于游戏操作者)进行跟踪。

本实施例中，待处理的多帧图像中可包括目标对象，目标对象可以为一个或多个；在一些应用场景中，目标对象可以是真实人物；在另一些应用场景中，目标对象也可以是根据实际追踪需要而确定的其他对象，例如虚拟人物或其他虚拟对象等。

本实施例中，多帧图像中的每一帧图像可称为帧图像，是组成视频(即待处理图像)的最小单位，可以理解，多帧图像为一组时间连续的帧图像，按照各个帧图像的采集时间形成上述多帧图像，各个帧图像对应的时间参数是连续的。

示例性的，以目标对象为真实人物为例，在多帧图像中包括目标对象的情况下，上述多帧图像对应的时间范围内可包括一个或多个目标对象，也可以是上述多帧图像的时间范围内的部分时间范围内包括一个或多个目标对象，本实施例中对此不作限定。

本实施例中，上述第一图像为多帧图像中的任意一帧图像，第二图像为第一图像后的一帧图像。其中，在一些可选的实施例中，第二图像可以是与第一图像时间连续的、在后的一帧图像。例如，多帧图像包括10帧图像，上述第一图像为10帧图像中的第2帧图像，则上述第二图像为第3帧图像。在另一些可选实施例中，第二图像也可以是第一图像后的、与第一图像相距预设数量帧图像的一帧图像。例如，多帧图像包括20帧图像，上述第一图像为20帧图像中的第2帧图像，假设预设数量帧图像为3帧图像，则上述第二图像可以为20帧图像中的第6帧图像。其中，上述预设数量可依据实际情况预先设定，例如预设数量可依据目标对象的移动速度预先设定。这种实施方式能够有效的减小数据处理量，从而减轻图像处理装置的消耗。

本实施例中，图像处理装置可通过肢体关键点检测网络对第一图像中的目标对象进行肢体关键点检测处理，获得目标对象的部分肢体对应的第一关键点信息。本实施例中，上述目标对象的部分肢体包括以下至少之一：头部、颈部、肩部、胸部、腰部、髋部、手臂、手部。相应的，目标对象的部分肢体对应的第一关键点信息和第二关键点信息包括目标对象的头部、颈部、肩部、胸部、腰部、髋部、手臂、手部中的至少一个肢体的轮廓关键点信息和/骨骼关键点信息。

示例性的，本实施例中目标对象的部分肢体为目标对象的上半身肢体，以便于能够识别出多帧图像中具有上半身的目标对象，从而实现仅具有上半身或具有全身的目标对象的追踪。

示例性的，上述第一关键点信息和第二关键点信息对应的关键点可以包括：头部的至少一个关键点、肩部的至少一个关键点、手臂的至少一个关键点、胸部的至少一个关键点、髋部的至少一个关键点和腰部的至少一个关键点；可选的，上述第一关键点信息和第二关键点信息对应的关键点还可以包括手部的至少一个关键点。图像处理装置是否能够获得手部的关键点，取决于用于训练肢体关键点检测网络的样本图像中是否标注了手部的关键点；在样本图像中标注了手部的关键点的情况下，则可通过肢体关键点检测网络检测到手部的关键点。

在一些可选实施例中，在上述目标对象的部分肢体包括头部的情况下，第一关键点信息和第二关键点信息中可包括至少一个器官的关键点信息，至少一个器官的关键点信息可包括以下至少之一：鼻子关键点信息、眉心关键点信息、嘴部关键点信息。

在一些可选实施例中，在上述目标对象的部分肢体包括手臂的情况下，第一关键点信息和第二关键点信息中可包括手肘部关键点信息。

在一些可选实施例中，在上述目标对象的部分肢体包括手部的情况下，第一关键点信息和第二关键点信息中可包括手腕关键点信息。可选地，第一关键点信息和第二关键点信息中还可包括手部的轮廓关键点信息。

在一些可选实施例中，在上述目标对象的部分肢体包括髋部的情况下，第一关键点信息和第二关键点信息中可包括左髋关键点信息和右髋关键点信息。可选地，第一关键点信息和第二关键点信息中还可包括脊柱根部关键点信息。

其中，上述第一关键点信息具体可以包括关键点的坐标。上述第一关键点信息可以包括轮廓关键点的坐标和/或骨骼关键点的坐标。可以理解，通过轮廓关键点的坐标能够形成对应的部分肢体的轮廓边缘；通过骨骼关键点的坐标能够形成对应的部分肢体的骨骼。

图2为本公开实施例的图像处理方法中的肢体关键点检测处理方法的流程示意图；在一些可选的实施例中，步骤102可参照图2所示，包括：

步骤1021：对第一图像中的目标对象进行肢体检测处理，确定目标对象的第一区域；第一区域包括上述目标对象的部分肢体所在区域；

步骤1022：对第一区域对应的像素点进行肢体关键点检测处理，获得目标对象的部分肢体对应的第一关键点信息。

本实施例中，首先对第一图像中的各个目标对象进行肢体检测，确定各个目标对象的第一区域，例如可确定各个目标对象的上半身对应的第一区域或者各个目标对象的全身对应的第一区域。实际应用中，可通过标识目标对象的检测框(例如矩形框)表示部分肢体对应的第一区域，例如，通过各个矩形框标识出第一图像中的各个人物的上半身。

在一些可选的实施例中，上述对第一图像中的目标对象进行肢体检测处理，包括：利用肢体检测网络对第一图像中的目标对象进行肢体检测处理；其中，上述肢体检测网络采用第一类样本图像训练得到；第一类样本图像中标注有目标对象的检测框；检测框的标注范围包括目标对象的部分肢体所在区域；目标对象的部分肢体可以是目标对象的上半身肢体。

本实施例中，可通过预先训练好的肢体检测网络对第一图像进行肢体检测，确定目标对象的第一区域，也即获得第一图像中各个目标对象的检测框。上述检测框可标识目标对象的部分肢体或全部肢体，也即通过肢体检测网络可检测获得目标对象的全部肢体或者上半身肢体。其中，上述肢体检测网络可采用任意一种能够检测目标对象肢体的网络结构，本实施例中对此不做限定。

示例性的，以通过肢体检测网络检测得到目标对象的部分肢体的检测框为例，可通过肢体检测网络对第一图像进行特征提取，基于提取到的特征确定第一图像中的各个目标对象的部分肢体的中心点以及对应于各个目标对象的部分肢体的检测框的高度和宽度，基于各个目标对象的部分肢体的中心点以及对应的高度和宽度，可确定各个目标对象的部分肢体的检测框。

本实施例中，肢体检测网络可采用标注有目标对象的检测框的第一类样本图像训练获得；其中，检测框的标注范围包括目标对象的部分肢体，可以理解，第一类样本图像中可仅标注有目标对象的部分肢体(例如目标对象的上半身肢体)的检测框，也可以标注有目标对象完整肢体的检测框。示例性的，以检测框的标注范围为目标对象的部分肢体为例，可利用肢体检测网络提取第一类样本图像的特征数据，基于特征数据确定第一类样本图像中各个目标对象的部分肢体的预测中心点以及对应部分肢体的预测检测框的高度和宽度，基于上述部分肢体的预测中心点以及对应的高度和宽度确定各个部分肢体对应的预测检测框；根据预测检测框以及标注的部分肢体的检测框确定损失，基于损失调整肢体检测网络的网络参数。

在一些可选的实施例中，上述对第一区域对应的像素点进行肢体关键点检测处理，包括：利用肢体关键点检测网络对第一区域对应的像素点进行肢体关键点检测处理；其中，上述肢体关键点检测网络采用第二类样本图像训练得到；第二类样本图像中标注有目标对象的关键点；上述关键点的标注范围包括目标对象的部分肢体。

本实施例中，可通过预先训练好的肢体关键点检测网络对第一区域对应的像素点进行肢体关键点检测，确定各个目标对象的部分肢体的第一关键点信息。示例性的，上述第一区域可包括目标对象的部分肢体，可将各个目标对象的检测框对应的像素点输入至肢体关键点检测网络，得到各个目标对象的部分肢体对应的第一关键点信息。其中，上述肢体关键点检测网络可采用任意一种能够检测肢体关键点的网络结构，本实施例中对此不做限定。

本实施例中，肢体关键点检测网络可采用标注有目标对象的关键点的第二类样本图像训练获得，其中，关键点的标注范围包括目标对象的部分肢体，可以理解，第二类样本图像中可仅标注有目标对象的部分肢体(例如目标对象的上半身肢体)的关键点，也可以标注有目标对象的完整肢体的关键点。示例性的，以第二类样本图像中标注有目标对象的部分肢体的关键点为例，可利用肢体关键点检测网络提取第二类样本图像的特征数据，基于特征数据确定第二类样本图像中各个目标对象的部分肢体的预测关键点；基于上述预测关键点和标注的关键点确定损失，基于损失调整肢体关键点检测网络的网络参数。

图3为本公开实施例的图像处理方法中的肢体关键点跟踪方法的一种流程示意图；在一些可选的实施例中，步骤103可参照图3所示，方法包括：

步骤1031：基于第一关键点信息在第一图像中确定第二区域；第二区域大于目标对象的第一区域；第一区域包括上述目标对象的部分肢体所在区域；

步骤1032：根据第二区域或第一关键点信息，确定第二图像中与第二区域的位置范围对应的第三区域；

步骤1033：对第二图像中的第三区域内的像素点进行肢体关键点检测处理，获得部分肢体对应的第二关键点信息。

本实施例中，针对第一图像中的一个目标对象，基于该目标对象的部分肢体的第一关键点信息确定一个区域，该区域可以为包含该目标对象的部分肢体的所有关键点的最小区域。示例性的，若该区域为矩形区域，则该矩形区域为包含该目标对象的部分肢体的所有关键点的最小区域。则上述第二区域为在第一图像中、对第一区域进行放大处理得到的区域。

示例性的，若第一区域为矩形为例，假设上述第一区域的高度为H，宽度为W，则可以该区域的中心点为中心、以该区域的四边朝向远离中心点的方向延伸，例如在高度方向上，分别向远离中心点的方向延伸H/4，在宽度方向上，分别向远离中心点的方向延伸W/4，则上述第二区域可通过第一图像中、以上述中心点为中心，高度为3H/2、宽度为3W/2的矩形区域表示。

则本实施例中，可依据第二区域在第一图像中的位置范围，或者第一关键点信息在第一图像中的位置范围，确定第二图像中、与上述位置范围对应的第三区域。

在一些可选实施例中，根据第二区域，确定第二图像中与第二区域的位置范围对应的第三区域，还可以包括：对第二区域对应的像素点进行肢体关键点检测处理，获得第三关键点信息；确定第三关键点信息在第一图像中的位置范围，基于上述位置范围确定第二图像中、与上述位置范围对应的第三区域。

示例性的，本实施例中，依旧采用肢体关键点检测网络对第二区域对应的像素点进行肢体关键点检测处理，可以将第一图像中、扩大后的上述第二区域对应的像素点作为肢体关键点检测网络的输入数据，输出第三关键点信息，上述第三关键点信息作为第二图像中的目标对象的预测关键点信息，也即本申请实施例通过对前一帧图像中的目标对象的所在区域进行扩大处理(例如对前一帧图像中的目标对象的部分肢体所在区域进行扩大处理)，通过对扩大后的区域进行肢体关键点检测，将获得的关键点作为当前帧图像(即第一图像)之后的一帧图像(即第二图像)中、对应于目标对象(例如目标对象的部分肢体)的预测关键点。进一步基于预测出的位置范围，对第二图像中的第三区域对应的像素点进行肢体关键点检测处理，检测到的关键点信息即为上述目标对象的部分肢体对应的第二关键点信息。

在另一些可选实施例中，步骤103还可包括：基于第一图像、目标对象的第一区域和目标追踪网络，确定第二图像中的目标对象的预测区域，基于第二图像中的上述预测区域的像素点进行肢体关键点检测处理，得到目标对象的部分肢体对应的第二关键点信息；其中，目标追踪网络采用多帧样本图像训练得到；多帧样本图像中至少包括第一样本图像和第二样本图像，第二样本图像为第一样本图像后的一帧图像；第一样本图像中标注有目标对象的位置，第二样本图像中标注有目标对象的位置。示例性的，多帧样本图像中均标注有目标对象的检测框，通过检测框表示目标对象在样本图像中的位置；检测框的标注范围包括目标对象的部分肢体所在区域；目标对象的部分肢体可以是目标对象的上半身肢体。

本实施例中，可利用上一帧图像(即第一图像)以及图像中的目标对象的位置、通过预先训练好的目标追踪网络确定下一帧图像(即第二图像)中该目标对象的预测位置。示例性的，可将包含有目标对象的检测框的第一图像输入至目标追踪网络，得到第二图像中的目标对象的预测位置；再对第二图像中的预测位置处的像素点进行肢体关键点检测处理，得到目标对象的部分肢体在第二图像中的第二关键点信息。其中，上述目标跟踪网络可采用任意一种能够实现目标跟踪的网络结构，本实施例中对此不做限定。

本实施例中，目标追踪网络可采用标注有目标对象的位置(例如包含目标对象的检测框，或者包含目标对象的部分肢体的检测框)的多帧样本图像训练获得。示例性的，以多帧样本图像中至少包括第一图像和第二图像为例，可利用目标追踪网络对第一样本图像进行处理，第一样本图像中标注有目标对象的位置，处理结果为该目标对象在第二样本图像中的预测位置；则可根据上述预测位置和第二图像中目标对象的标注位置确定损失，基于损失调整目标追踪网络的网络参数。

需要说明的是，在基于第一关键点信息确定第二图像中的目标对象的部分肢体对应的第二关键点信息后，可基于第二图像中的目标对象的部分肢体对应的第二关键点信息进一步确定在后图像中的目标对象的部分肢体对应的关键点信息，以此类推，直至无法在后一帧图像中检测出目标对象的部分肢体对应的关键点信息，此时，可表明待处理的多帧图像中已不包括上述目标对象，即目标对象已移出待处理的多帧图像的视野范围内。

在一些可选实施例中，图像处理装置也可针对每一帧图像中的目标对象进行肢体检测，得到每一帧图像中的目标对象所在的区域。将检测到的目标对象作为追踪对象，从而可确定当前帧图像中是否出现新的目标对象；在当前帧图像中出现新的目标对象的情况下，将新的目标对象作为追踪对象，将新的目标对象对应的第一区域内的像素点进行肢体关键点检测处理，即针对新的目标对象执行本公开实施例中步骤103的处理。示例性的，图像处理装置可每隔预设时间或者每隔预设数量的图像帧执行图像中的目标对象的肢体检测处理，从而实现每隔一段时间检测图像中是否有新的目标对象出现，对新的目标对象进行跟踪。

在本公开的一些可选实施例中，上述方法还包括：响应于获得目标对象的部分肢体对应的第一关键点信息的情况，为目标对象分配跟踪标识；基于对多帧图像的处理过程中分配的跟踪标识的数量，确定多帧图像中的目标对象的数量。

本实施例中，图像处理装置在待处理的多帧图像中的首帧图像中检测到目标对象，即获得目标对象的部分肢体对应的第一关键点信息时，为目标对象分配一个跟踪标识，该跟踪标识与该目标对象建立关联，直至在对该目标对象进行跟踪的过程中，无法跟踪到该目标对象。

在一些可选实施例中，图像处理装置也可针对每一帧图像中的目标对象进行肢体检测，得到每一帧图像中的目标对象的部分肢体对应的区域，将检测到的目标对象作为追踪对象。基于此，图像处理装置对待处理图像中的首帧图像进行检测，为检测到的目标对象分配跟踪标识。之后，该跟踪标识一直跟随该目标对象，直至无法跟踪到该目标对象。若在某一帧图像中检测到新的目标对象，则为该新的目标对象分配跟踪标识，重复执行上述方案。可以理解，在同一时刻检测到的各个目标对象对应于不同的跟踪标识；在连续的时间范围内跟踪到的目标对象对应于相同的跟踪标识；在非连续的时间范围内分别检测到的目标对象对应于不同的跟踪标识。

例如，若某一帧图像，分别检测到三个目标对象，则针对三个目标对象分别分配一个跟踪标识，每个目标对象分别对应一个跟踪标识。

又例如，针对5分钟的多帧图像，在第一个1分钟内检测到三个目标对象，分别为三个目标对象分配一个跟踪标识，例如可记为标识1、标识2和标识3；在第二个1分钟内，上述三个目标对象中的第一个目标对象消失，则在当前1分钟内，只有两个目标对象，分别对应的跟踪标识为标识2和标识3；在第三个1分钟内，上述第一个目标对象又出现在图像中，即相比于在先图像中、检测到新的目标对象，尽管该目标对象是第一个1分钟内出现过的目标对象(即第一个目标对象)，依旧为该目标对象分配标识4作为跟踪标识，以此类推。

基于此，本实施例的技术方案可基于多帧图像处理过程中对应的跟踪标识的数量，确定多帧图像中出现过的目标对象的数量。示例性的，多帧图像中出现过的目标对象的数量指的是多帧图像对应的时间范围内出现过的目标对象的次数。

采用本公开实施例的技术方案，通过对待处理的多帧图像中的第一图像中的目标对象的部分肢体的关键点进行识别，并基于识别出的部分肢体的关键点确定在后的第二图像中的目标对象的部分肢体的关键点，从而实现了在图像中仅具有目标对象的部分肢体(例如上半身)的场景下的目标跟踪，也即本公开实施例的技术方案能够同时适应完整肢体场景和部分肢体(例如上半身)场景，实现了图像中的目标跟踪。

本公开实施例还提供了一种图像处理方法。图4为本公开实施例的图像处理方法的流程示意图二；如图4所示，所述方法包括：

步骤201：获得多帧图像；

步骤202：对多帧图像中的第一图像中的目标对象进行肢体关键点检测处理，获得目标对象的部分肢体对应的第一关键点信息；

步骤203：基于第一关键点信息确定第二图像中的目标对象的部分肢体对应的第二关键点信息；其中，第一图像为多帧图像中的任意一帧图像；第二图像为第一图像后的一帧图像；

步骤204：基于第二关键点信息确定目标对象的姿态；基于目标对象的姿态确定对应于目标对象的交互指令。

本实施例步骤201至步骤203的具体阐述可参照步骤101至步骤103的描述，这里不再赘述。

本实施例可通过追踪到的目标对象、进而基于该目标对象的第二关键点信息确定目标对象的姿态，并基于目标对象的姿态确定各姿态对应的交互指令。之后，对各个姿态对应的交互指令进行响应。

本实施例适用于动作交互场景，图像处理装置可基于各姿态确定对应的交互指令，响应上述交互指令；响应上述交互指令，例如可以为开启或关闭图像处理装置自身或者图像处理装置所在的电子设备自身的某些功能等；或者，响应上述交互指令还可以是将上述交互指令发送给其他电子设备，其他电子设备接收到上述交互指令，基于交互指令开启或关闭某些功能，换句话说，上述交互指令也可以用于开启或关闭其他电子设备的对应功能。

本实施例还适用于虚拟现实、增强现实或者体感游戏等各种应用场景。图像处理装置可基于各种交互指令执行相应的处理，处理包括但不限于控制虚拟现实或增强现实场景中、针对虚拟对象执行相应动作；控制体感游戏场景中、针对目标对象对应的虚拟角色执行相应的动作。一些示例中，若方法应用于增强现实或虚拟现实等场景，则图像处理装置基于交互指令执行的相应处理可以包括控制虚拟目标对象在真实场景或虚拟场景中执行与交互指令相应的动作。

采用本公开实施例的技术方案，一方面实现了在图像中仅具有目标对象的部分肢体(例如上半身)的场景下的目标跟踪，也即本公开实施例的技术方案能够同时适应完整肢体场景和部分肢体(例如上半身)场景，实现了图像中的目标跟踪；另一方面，在目标跟踪过程中检测跟踪到的目标对象的关键点信息，并基于目标对象的关键点信息确定跟踪到的目标对象的姿态，基于目标对象的姿态确定对应的交互指令，实现了在特定应用场景(例如虚拟现实场景、增强现实场景、体感游戏场景等交互场景)中的人机交互，提升用户的交互体验。

本公开实施例还提供了一种图像处理装置。图5为本公开实施例的图像处理装置的组成结构示意图一；如图5所示，所述装置包括：获取单元31、检测单元32和跟踪确定单元33；其中，

上述获取单元31，用于获得多帧图像；

上述检测单元32，用于对多帧图像中的第一图像中的目标对象进行肢体关键点检测处理，获得上述目标对象的部分肢体对应的第一关键点信息；

上述跟踪确定单元33，用于基于上述第一关键点信息确定第二图像中的上述目标对象的上述部分肢体对应的第二关键点信息；其中，上述第一图像为上述多帧图像中的任意一帧图像；上述第二图像为上述第一图像后的一帧图像。

在本公开的一些可选实施例中，如图6所示，上述检测单元32包括：肢体检测模块321和肢体关键点检测模块322；其中，

上述肢体检测模块321，用于对上述第一图像中的目标对象进行肢体检测处理，确定目标对象的第一区域；第一区域包括目标对象的部分肢体所在区域；

上述肢体关键点检测模块322，用于对上述第一区域对应的像素点进行肢体关键点检测处理，获得上述目标对象的上述部分肢体对应的第一关键点信息。

在本公开的一些可选实施例中，上述跟踪确定单元33，用于基于上述第一关键点信息在第一图像中确定第二区域；上述第二区域大于上述目标对象的第一区域；第一区域包括目标对象的部分肢体所在区域；根据第二区域或第一关键点信息，确定第二图像中与第二区域的位置范围对应的第三区域；对第二图像中的第三区域内的像素点进行肢体关键点检测处理，获得上述部分肢体对应的第二关键点信息。

在本公开的一些可选实施例中，上述肢体检测模块321，用于利用肢体检测网络对上述第一图像中的上述目标对象进行肢体检测处理；其中，上述肢体检测网络采用第一类样本图像训练得到；上述第一类样本图像中标注有目标对象的检测框；检测框的标注范围包括目标对象的部分肢体所在区域。

在本公开的一些可选实施例中，上述肢体关键点检测模块322，用于利用肢体关键点检测网络对上述第一区域对应的像素点进行肢体关键点检测处理；其中，上述肢体关键点检测网络采用第二类样本图像训练得到；上述第二类样本图像中标注有包括所述目标对象的部分肢体的关键点。

在本公开的一些可选实施例中，上述目标对象的部分肢体包括以下至少之一：头部、颈部、肩部、胸部、腰部、髋部、手臂、手部；上述第一关键点信息和上述第二关键点信息包括头部、颈部、肩部、胸部、腰部、髋部、手臂和手部中的至少一个肢体的轮廓关键点信息和/骨骼关键点信息。

在本公开的一些可选实施例中，如图7所示，上述装置还包括：分配单元34和统计单元35；其中，

上述分配单元34，用于响应于上述检测单元32获得目标对象的部分肢体对应的第一关键点信息的情况，为目标对象分配跟踪标识；

上述统计单元35，用于基于对多帧图像的处理过程中分配的跟踪标识的数量，确定多帧图像中的目标对象的数量。

在本公开的一些可选实施例中，如图8所示，上述装置还包括确定单元36，用于基于第二关键点信息确定目标对象的姿态；基于目标对象的姿态确定对应于目标对象的交互指令。

本公开实施例中，上述图像处理装置中的获取单元31、检测单元32(包括肢体检测模块321和肢体关键点检测模块322)、跟踪确定单元33、分配单元34、统计单元35和确定单元36，在实际应用中均可由中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－Programmable Gate Array)实现。

需要说明的是：上述实施例提供的图像处理装置在进行图像处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本公开实施例还提供了一种电子设备。图9为本公开实施例的电子设备的硬件组成结构示意图；如图9所示，电子设备40可包括存储器42、处理器41及存储在存储器42上并可在处理器41上运行的计算机程序，上述处理器41执行上述程序时实现本公开实施例上述图像处理方法的步骤。

可以理解，电子设备40中的各个组件可通过总线系统43耦合在一起。可理解，总线系统43用于实现这些组件之间的连接通信。总线系统43除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9中将各种总线都标为总线系统43。

可以理解，存储器42可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本公开实施例描述的存储器42旨在包括但不限于这些和任意其它适合类型的存储器。

上述本公开实施例揭示的方法可以应用于处理器41中，或者由处理器41实现。处理器41可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器41中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器41可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器41可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本公开实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器42，处理器41读取存储器42中的信息，结合其硬件完成前述方法的步骤。

在示例性实施例中，电子设备40可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。

在示例性实施例中，本公开实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器42，上述计算机程序可由电子设备40的处理器41执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开实施例所述图像处理方法的步骤。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本公开各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种图像处理方法，其特征在于，所述方法包括：

获得多帧图像；

对所述多帧图像中的第一图像中的目标对象进行肢体关键点检测处理，获得所述目标对象的部分肢体对应的第一关键点信息；

基于所述第一关键点信息确定第二图像中的所述目标对象的所述部分肢体对应的第二关键点信息；其中，所述第一图像为所述多帧图像中的任意一帧图像；所述第二图像为所述第一图像后的一帧图像。

2.根据权利要求1所述的方法，其特征在于，所述对第一图像中的目标对象进行肢体关键点检测处理，获得所述目标对象的部分肢体对应的第一关键点信息，包括：

对所述第一图像中的所述目标对象进行肢体检测处理，确定所述目标对象的第一区域；所述第一区域包括所述目标对象的部分肢体所在区域；

对所述第一区域对应的像素点进行肢体关键点检测处理，获得所述目标对象的所述部分肢体对应的第一关键点信息。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一关键点信息确定第二图像中的所述目标对象的所述部分肢体对应的第二关键点信息，包括：

基于所述第一关键点信息在所述第一图像中确定第二区域；所述第二区域大于所述目标对象的第一区域；所述第一区域包括所述目标对象的部分肢体所在区域；

根据所述第二区域或所述第一关键点信息，确定所述第二图像中与所述第二区域的位置范围对应的第三区域；

对所述第二图像中的所述第三区域内的像素点进行肢体关键点检测处理，获得所述部分肢体对应的第二关键点信息。

4.根据权利要求2或3所述的方法，其特征在于，所述对所述第一图像中的所述目标对象进行肢体检测处理，包括：

利用肢体检测网络对所述第一图像中的所述目标对象进行肢体检测处理；

其中，所述肢体检测网络采用第一类样本图像训练得到；所述第一类样本图像中标注有目标对象的检测框；所述检测框的标注范围包括所述目标对象的部分肢体所在区域。

5.根据权利要求2或3所述的方法，其特征在于，所述对所述第一区域对应的像素点进行肢体关键点检测处理，包括：

利用肢体关键点检测网络对所述第一区域对应的像素点进行肢体关键点检测处理；

其中，所述肢体关键点检测网络采用第二类样本图像训练得到；所述第二类样本图像中标注有包括所述目标对象的部分肢体的关键点。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述目标对象的部分肢体包括以下至少之一：头部、颈部、肩部、胸部、腰部、髋部、手臂、手部；

所述第一关键点信息和所述第二关键点信息包括头部、颈部、肩部、胸部、腰部、髋部、手臂和手部中的至少一个肢体的轮廓关键点信息和/骨骼关键点信息。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：

响应于获得所述目标对象的部分肢体对应的第一关键点信息的情况，为所述目标对象分配跟踪标识；

基于对所述多帧图像的处理过程中分配的所述跟踪标识的数量，确定所述多帧图像中的目标对象的数量。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：

基于所述第二关键点信息确定所述目标对象的姿态；

基于所述目标对象的姿态确定对应于所述目标对象的交互指令。

9.一种图像处理装置，其特征在于，所述装置包括：获取单元、检测单元和跟踪确定单元；其中，

所述获取单元，用于获得多帧图像；

所述检测单元，用于对所述多帧图像中的第一图像中的目标对象进行肢体关键点检测处理，获得所述目标对象的部分肢体对应的第一关键点信息；

所述跟踪确定单元，用于基于所述第一关键点信息确定第二图像中的所述目标对象的所述部分肢体对应的第二关键点信息；其中，所述第一图像为所述多帧图像中的任意一帧图像；所述第二图像为所述第一图像后的一帧图像。

10.根据权利要求9所述的装置，其特征在于，所述检测单元包括：肢体检测模块和肢体关键点检测模块；其中，

所述肢体检测模块，用于对所述第一图像中的所述目标对象进行肢体检测处理，确定所述目标对象的第一区域；所述第一区域包括所述目标对象的部分肢体所在区域；

所述肢体关键点检测模块，用于对所述第一区域对应的像素点进行肢体关键点检测处理，获得所述目标对象的所述部分肢体对应的第一关键点信息。

11.根据权利要求9所述的装置，其特征在于，所述跟踪确定单元，用于基于所述第一关键点信息在所述第一图像中确定第二区域；所述第二区域大于所述目标对象的第一区域；所述第一区域包括所述目标对象的部分肢体所在区域；根据所述第二区域或所述第一关键点信息，确定所述第二图像中与所述第二区域的位置范围对应的第三区域；对所述第二图像中的所述第三区域内的像素点进行肢体关键点检测处理，获得所述部分肢体对应的第二关键点信息。

12.根据权利要求10或11所述的装置，其特征在于，所述肢体检测模块，用于利用肢体检测网络对所述第一图像中的所述目标对象进行肢体检测处理；

其中，所述肢体检测网络采用第一类样本图像训练得到；所述第一类样本图像中标注有目标对象的检测框；所述检测框的标注范围包括所述目标对象的部分肢体所在区域。

13.根据权利要求10或11所述的装置，其特征在于，所述肢体关键点检测模块，用于利用肢体关键点检测网络对所述第一区域对应的像素点进行肢体关键点检测处理；

其中，所述肢体关键点检测网络采用第二类样本图像训练得到；所述第二类样本图像中标注有包括所述目标对象的部分肢体的关键点。

14.根据权利要求9至13任一项所述的装置，其特征在于，所述目标对象的部分肢体包括以下至少之一：头部、颈部、肩部、胸部、腰部、髋部、手臂、手部；

所述第一关键点信息和所述第二关键点信息包括头部、颈部、肩部、胸部、腰部、髋部、手臂和手部中的至少一个肢体的轮廓关键点信息和/骨骼关键点信息。

15.根据权利要求9至14任一项所述的装置，其特征在于，所述装置还包括分配单元和统计单元；其中，

所述分配单元，用于响应于所述检测单元获得所述目标对象的部分肢体对应的第一关键点信息的情况，为所述目标对象分配跟踪标识；

所述统计单元，用于基于对所述多帧图像的处理过程中分配的所述跟踪标识的数量，确定所述多帧图像中的目标对象的数量。

16.根据权利要求9至15任一项所述的装置，其特征在于，所述装置还包括确定单元，用于基于所述第二关键点信息确定所述目标对象的姿态；基于所述目标对象的姿态确定对应于所述目标对象的交互指令。

17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。

18.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8任一项所述方法的步骤。

Images