CN110070005A - 图像目标识别方法、装置、存储介质及电子设备 - Google Patents

Abstract

本发明提供一种图像目标识别方法，其包括：获取具有关联性的多个识别图像，并检测每个识别图像中的人脸检测框和人体检测框；将每个识别图像中的人脸检测框和人体检测框进行匹配操作，以得到每个识别图像中的识别目标；对每个识别图像中的识别目标进行特征提取，以得到识别图像中的识别目标的目标特征；按时间顺序，对多个识别图像中对应的识别目标的目标特征进行融合，以得到多个识别图像中对应的识别目标的运动轨迹特征。本发明还提供一种图像目标识别装置，本发明基于识别目标的多个目标特征，生成识别目标在多个识别图像中的运动轨迹特征；提高了识别图像中识别目标的识别准确性，降低了对识别目标的监控操作成本。

Description

图像目标识别方法、装置、存储介质及电子设备

技术领域

本发明涉及图像数据处理领域，特别是涉及一种图像目标识别方法、装置、存储介质及电子设备。

背景技术

随着科技的发展，社会公共区域的图像监控设备越来越多，使得整个公共区域的安全指数逐步提高。但是现有的监控图像中的监控目标一般由人工进行设定，导致整个监控操作的人工成本较高。

随后监控设备开发商使用人体检测方法检测每一帧图形中的人体位置框，然后采用全局目标关联对每一帧的人体位置框进行关联，通过线性整数规划求解关联矩阵。但是当两人衣服颜色相近时，对应的人体位置框容易出现误跟踪。

因此现有的监控图像目标识别方法的错误率较高或监控操作成本较高。

发明内容

本发明实施例提供一种目标识别准确性较高且对应监控操作成本较低的图像目标识别方法及图像目标识别装置；以解决现有的图像目标识别方法及图像目标识别装置的错误率较高或监控操作成本较高的技术问题。

本发明实施例提供一种图像目标识别方法，其包括：

获取具有关联性的多个识别图像，并检测每个所述识别图像中的人脸检测框和人体检测框；

将每个所述识别图像中的人脸检测框和人体检测框进行匹配操作，以得到每个所述识别图像中的识别目标；

对每个所述识别图像中的识别目标进行特征提取，以得到所述识别图像中的识别目标的至少一类目标特征；以及

按时间顺序，对多个所述识别图像中对应的识别目标的目标特征进行融合，以得到多个所述识别图像中对应的识别目标的运动轨迹特征。

本发明实施例还提供一种图像目标识别装置，其包括：

识别目标检测模块，用于获取具有关联性的多个识别图像，并检测每个所述识别图像中的人脸检测框和人体检测框；

识别目标匹配模块，用于将每个所述识别图像中的人脸检测框和人体检测框进行匹配操作，以得到每个所述识别图像中的识别目标；

目标特征提取模块，用于对每个所述识别图像中的识别目标进行特征提取，以得到所述识别图像中的识别目标的至少一类目标特征；以及

特征融合模块，用于按时间顺序，对多个所述识别图像中对应的识别目标的目标特征进行融合，以得到多个所述识别图像中对应的识别目标的运动轨迹特征。

在本发明实施例所述的图像目标识别装置中，所述识别目标检测模块用于获取同一视频文件的多个视频帧，作为所述具有关联性的多个识别图像。

本发明实施例还提供一种存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述图像目标识别方法。

本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过调用所述计算机程序，用于执行上述图像目标识别方法。

相较于现有技术，本发明的图像目标识别方法、装置、存储介质及电子设备基于识别目标的多个目标特征，生成识别目标在多个识别图像中的运动轨迹特征；提高了识别图像中识别目标的识别准确性，降低了对识别目标的监控操作成本；有效的解决了现有的图像目标识别方法及图像目标识别装置的错误率较高或监控操作成本较高的技术问题。

附图说明

图1为本发明的图像目标识别方法的第一实施例的流程图；

图2为本发明的图像目标识别方法的第一实施例的步骤S102的流程图；

图3为本发明的图像目标识别方法的第二实施例的流程图；

图4为本发明的图像目标识别方法的第二实施例的步骤S304的流程图；

图5为本发明的图像目标识别方法的第二实施例的步骤S402的流程图；

图6为本发明的图像目标识别装置的第一实施例的结构示意图；

图7为本发明的图像目标识别装置的第一实施例的识别目标匹配模块的结构示意图；

图8为本发明的图像目标识别装置的第二实施例的结构示意图；

图9为本发明的图像目标识别装置的第二实施例的特征融合模块的结构示意图；

图10为本发明的图像目标识别装置的第二实施例的特征融合模块的特征融合子模块的结构示意图；

图11a至图11c为本发明的图像目标识别方法及图像目标识别装置获取的三张识别图像的示意图；

图12为本发明的图像目标识别方法及图像目标识别装置的图像目标识别流程图；

图13为本发明的图像目标识别装置所在的电子设备的工作环境结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。

在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本发明的图像目标识别方法及图像目标识别装置可设置在任何的电子设备中，用于对视频文件的视频帧中识别目标进行识别操作，进而获取识别目标在多个视频帧中的运动轨迹。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。该图像目标识别装置优选为监控图像识别服务器，用于对监控视频中的人物等识别目标进行目标识别操作或识别目标运动轨迹识别操作。本发明的图像目标识别方法和图像目标识别装置可有效的提高目标识别的准确性，降低识别目标的监控操作的难度以及成本。

请参照图1，图1为本发明的图像目标识别方法的第一实施例的流程图，本实施例的图像目标识别方法可使用上述的电子设备进行实施，本实施例的图像目标识别方法包括：

步骤S101，获取具有关联性的多个识别图像，并检测每个识别图像中的人脸检测框和人体检测框；

步骤S102，将每个识别图像中的人脸检测框和人体检测框进行匹配操作，以得到每个识别图像中的识别目标；

步骤S103，对每个识别图像中的识别目标进行特征提取，以得到识别图像中的识别目标的至少一类目标特征；

步骤S104，按时间顺序，对多个识别图像中对应的识别目标的至少一类目标特征进行融合，以得到多个识别图像中对应的识别目标的运动轨迹特征。

下面详细说明本实施例的图像目标识别方法的图像目标识别过程。

在步骤S101中，图像目标识别装置(即监控图像识别服务器)获取具有关联性的多个识别图像。这里的识别图像是指具有至少一个识别目标的图像，识别目标可为识别图像中的人物目标、动物目标或物体目标(如汽车目标)等。具有关联性的多个识别图像是指多个识别图像中具有同一识别目标，且多个识别图像之间具有一定的时间连续性以及地理位置连续性。

如获取同一监控视频文件的多个连续视频帧，可作为具有关联性的多个识别图像。该监控视频文件一般长时间监控同一地理位置或相邻的多个地理位置的视频画面(视频帧)，因此该视频画面具有地理位置连续性；且监控视频文件的多个连续视频帧一般是具有时间连续性的。

随后图像目标识别装置检测每个识别图像中的人脸检测框和人体检测框。如识别目标为人物目标，则可通过多类别检测算法等检测算法，检测每个识别图像中的人脸检测框和人体检测框。这里的人脸检测框是以人脸特征点的参数(如人脸特征点的位置或人脸特征点的大小等)为主要识别对象的坐标框，人体检测框是以人体特征点的参数(如人体特征点的位置或人体特征点的大小等)为主要识别对象的坐标框。

在步骤S102中，图像目标识别装置以人物目标作为识别目标，每个识别目标均对应一个人脸检测框和一个人体检测框，因此在本步骤中需要对每个识别图像中的人脸检测框和人体检测框进行匹配操作，以得到每个识别图像中的识别目标。

具体可参照图2，图2为本发明的图像目标识别方法的第一实施例的步骤S102的流程图。该步骤S102包括：

步骤S201，图像目标识别装置获取识别图像中人脸检测框中的人脸中心点坐标以及人体检测框中的人头中心点坐标。

步骤S202，由于每个识别目标的人脸检测框中的人脸中心点坐标和人体检测框中的人头中心点坐标应该是一致的，因此图像目标识别装置可使用二分图匹配算法，根据人脸中心点坐标与人头中心点坐标的距离关系，获取人脸检测框中的人脸中心点坐标与人体检测框中的人头中心点坐标的匹配关系。

具体可获取多个人脸检测框中的人脸中心点坐标Ci以及多个人体检测框中的人头中心点坐标Hj，其中i为人脸检测框的标号，j为人体检测框的标号。随后计算每个人脸检测框和每个人体检测框为同一识别目标的概率Wij(人脸检测框的人脸中心点坐标Ci与对应人体检测框的人头中心点坐标Hj的距离越近，该概率Wij越大)。具体可采用KM算法(Kuhn-Munkers)，获取匹配后人脸检测框与对应的人体检测框为同一识别目标的概率和W的最大值，即：

其中λ为预设常数；

这样即可获取人脸检测框中的人脸中心点坐标Ci与人体检测框中的人头中心点坐标Hj的匹配关系，即人脸检测框与对应的人体检测框的匹配关系。

这里的KM算法为一种二分图最佳匹配算法，其中二分图为“一组点集可分为两部分，且每部分内个点互不相连，两部分的点之间可以有边”。二分图最佳匹配算法即对于二分图的所有边，寻找一个子集，该子集满足以下两个条件：

1、任意两条边都不依赖于同一个点；

2、让这个子集里的满足条件1的情况下尽量多。

步骤S203，图像目标识别装置将步骤S202获取的具有匹配关系的人脸检测框和人体检测框合成为识别图像中的识别目标，以便后续步骤进行识别目标的特征分析。

在步骤S103中，图像目标识别装置对步骤S102获取每个识别图像的识别目标进行特征提取，以得到识别图像中的识别目标的至少一类目标特征；具体的获取识别图像中的所有识别目标对应的人脸特征类目标特征、人体特征类目标特征以及位置类目标特征所组成群组中选择的至少一类目标特征。

由于识别目标之间可能会存在识别目标重叠，因此这里为了将识别目标进行准确的区分，这里图像目标识别装置可获取识别目标的多种不同类别的目标特征。

具体的，图像目标识别装置可获取每个识别图像中的所有识别目标对应的人脸质量分、衣服属性值、人脸特征点、人体特征点以及识别目标位置信息。其中人脸质量分以及人脸特征点为人脸特征类目标特征，衣服属性值以及人体特征点为人体特征类目标特征，识别目标位置信息为位置类目标特征。这样图像目标识别装置可选择使用人脸特征点、人体特征点或识别目标位置信息进行特征融合。

在步骤S104中，图像目标识别装置按时间顺序，对步骤S103提取的多个识别图像中对应的识别目标的目标特征进行融合。

具体的，图像目标识别装置首先对多个识别图像中对应的识别目标的运动轨迹特征进行初始化操作。

随后图像目标识别装置获取时间顺序为1的识别图像，并将时间顺序为1的识别图像对应的识别目标的目标特征，直接作为1个识别图像中对应的识别目标的运动轨迹特征。随后获取时间顺序为1的识别图像对应的识别目标的目标特征，融合至1个识别图像中对应的识别目标的运动轨迹特征中，以得到2个识别图像中对应的识别目标的运动轨迹特征。……最后获取时间顺序为m的识别图像对应的识别目标的目标特征，融合至m-1个识别图像中对应的识别目标的运动轨迹特征中，以得到m个识别图像中对应的识别目标的运动轨迹特征，其中m为识别图像的数量。

这样即完成了本实施例的图像目标识别方法的图像目标识别过程以及目标运动轨迹获取过程。

本实施例的图像目标识别方法基于识别目标的多个目标特征，生成识别目标在多个识别图像中的运动轨迹特征；提高了识别图像中识别目标的识别准确性，降低了对识别目标的监控操作成本。

请参照图3，图3为本发明的图像目标识别方法的第二实施例的流程图，本实施例的图像目标识别方法可使用上述的电子设备进行实施，本实施例的图像目标识别方法包括：

步骤S301，获取具有关联性的多个识别图像，并检测每个识别图像中的人脸检测框和人体检测框；

步骤S302，将每个识别图像中的人脸检测框和人体检测框进行匹配操作，以得到每个识别图像中的识别目标；

步骤S303，对每个识别图像中的识别目标进行特征提取，以得到识别图像中的识别目标的至少一类目标特征；

步骤S304，按时间顺序，对多个识别图像中对应的识别目标的目标特征进行融合，以得到多个识别图像中对应的识别目标的运动轨迹特征。

其中步骤S301、步骤302的具体实施方式与上述的图像目标识别方法的第一实施例中的步骤S101和步骤S12的具体实施方式相同或相似，具体请参见上述的图像目标识别方法的第一实施例中的相关描述。

在步骤S303中，图像目标识别装置对步骤S302获取每个识别图像的识别目标进行特征提取，以得到识别图像中的识别目标的至少一类目标特征。

由于识别目标之间可能会存在识别目标重叠，因此这里为了将识别目标进行准确的区分，这里图像目标识别装置可获取识别目标的多种不同类别的目标特征。

具体的，图像目标识别装置可获取每个识别图像中的所有识别目标对应的人脸质量分、衣服属性值、人脸特征点、人体特征点以及识别目标位置信息。其中人脸质量分以及人脸特征点为人脸特征类目标特征，衣服属性值以及人体特征点为人体特征类目标特征，识别目标位置信息为位置类目标特征。这样图像目标识别装置可选择使用人脸特征点、人体特征点或识别目标位置信息进行特征融合。

其中人脸特征点为识别目标对应的人脸检测框中的特征点，人脸特征点的特征区分度可通过人脸质量分来判断。其中人脸质量分为人脸特征点的特征精细程度，人脸质量分越高，人脸特征点的精细程度越高，越容易通过人脸特征点对识别目标进行区分。

人体特征点为识别目标对应的人体检测框中的特征点，人体特征点的特征区分度可通过衣服属性值来判断。衣服属性值可为人体特征点的主要颜色差异值等。如不同识别图像上衣服属性值不同的识别目标必然不同。不同识别图像上衣服属性值相同的识别目标，需要通过人体特征点进行区分。

识别目标位置信息为识别目标在识别图像中的位置信息，一般而言，时间上相邻的识别图像中同一识别目标的位置信息应大致相同或相似。

在步骤S304中，图像目标识别装置按时间顺序，对步骤S303提取的多个识别图像中对应的识别目标的目标特征进行融合操作。

具体请参照图4，图4为本发明的图像目标识别方法的第二实施例的步骤S304的流程图。该步骤S304包括：

步骤S401，对多个识别图像中对应的识别目标的运动轨迹特征进行初始化操作，并设置n＝1，其中n用于特征融合的计数操作。

这里图像目标识别装置可直接获取时间顺序为1的识别图像中对应的识别目标的数量q，这样可设置q个识别目标的初始化运动轨迹特征，每个运动轨迹特征对应1个识别目标。

步骤S402，将时间顺序为n的识别图像中对应的识别目标的目标特征，融合至运动轨迹特征中，以得到n个识别图像中对应的识别目标的运动轨迹特征。

当n＝1时，图像目标识别装置直接将时间顺序为1的识别图像对应的识别目标的目标特征，作为1个识别图像中对应的识别目标的运动轨迹特征。该运动轨迹特征包括但不限于识别目标的人脸特征点、人体特征点以及识别目标位置信息。

当n大于1时，图像目标识别装置将时间顺序为n的识别图像对应的识别目标的目标特征，融合至n-1个识别图像中对应的识别目标的运动轨迹特征中，以得到n个识别图像中对应的识别目标的运动轨迹特征。

步骤S403，对n进行计数操作，即n＝n+1，并返回步骤S402进行运动轨迹特征融合操作，直至得到m个识别图像中对应的识别目标的运动轨迹特征，其中m为识别图像的数量。

具体请参照图5，图5为本发明的图像目标识别方法的第二实施例的步骤S402的流程图。该步骤S402包括：

步骤S501，图像目标识别装置判断是否满足第一条件，该第一条件为时间顺序为n的识别图像对应的识别目标的目标特征中的人脸质量分大于第一设定值，且n-1个识别图像中对应的识别目标的运动轨迹特征中的人脸质量分大于第一设定值。如不满足第一条件，转到步骤S502，如满足第一条件，转到步骤S503。

步骤S502，图像目标识别装置判断是否满足第二条件，该第二条件为时间顺序为n的识别图像对应的识别目标的目标特征中的衣服属性值，与n-1个识别图像中对应的识别目标的运动轨迹特征中的衣服属性值大于第二设定值。如满足第二条件，转到步骤S504；如不满足第二条件，转到步骤S505。

步骤S503，如时间顺序为n的识别图像对应的识别目标的目标特征中的人脸质量分大于第一设定值，且n-1个识别图像中对应的识别目标的运动轨迹特征中的人脸质量分大于第一设定值。则说明可通过识别目标中人脸特征点计算不同识别图像中识别目标的相似度。

具体的，图像目标识别装置根据时间顺序为n的识别图像对应的识别目标的目标特征中的人脸特征点以及n-1个识别图像中对应的识别目标的运动轨迹特征中的人脸特征点，确定时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度。

如时间顺序为n的识别图像对应的识别目标的目标特征中的人脸特征点为Fa，n-1个识别图像中对应的识别目标的运动轨迹特征中的人脸特征点为Fb，其中a为时间顺序为n的识别图像中识别目标的标号，b为n-1个识别图像中识别目标的标号，则时间顺序为n的识别图像中的识别目标与n-1个识别图像中的识别目标的相似度S1为：S1＝(Fa*Fb)/(|Fa|*|Fb|)；随后转到步骤S506。

步骤S504，如不满足第一条件，满足第二条件，即时间顺序为n的识别图像对应的识别目标的目标特征中的衣服属性值，与n-1个识别图像中对应的识别目标的运动轨迹特征中的衣服属性值大于第二设定值。则说明可通过识别目标中人体特征点计算不同识别图像中识别目标的相似度。

具体的，图像目标识别装置根据时间顺序为n的识别图像对应的识别目标的目标特征中的人体特征点以及n-1个识别图像中对应的识别目标的运动轨迹特征中的人体特征点，确定时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度。

如时间顺序为n的识别图像对应的识别目标的目标特征中的人体特征点为Ga，n-1个识别图像中对应的识别目标的运动轨迹特征中的人体特征点为Gb，其中a为时间顺序为n的识别图像中识别目标的标号，b为n-1个识别图像中识别目标的标号，则时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度S2为：S2＝(Ga*Gb)/(|Ga|*|Gb|)；随后转到步骤S506。

步骤S505，如同时不满足第一条件和第二条件，则说明识别目标的人脸质量分较差，不适合通过识别目标中的人脸特征点计算不同识别图像中识别目标的相似度；同时识别目标的人体特征点的差异较小，也不适合通过识别目标中的人体特征点计算不同识别图像中识别目标的相似度。这时只能通过识别目标中的识别目标位置信息计算不同识别图像中识别目标的相似度。

具体的，图像目标识别装置根据时间顺序为n的识别图像对应的识别目标的目标特征中的人体特征点以及n-1个识别图像中对应的识别目标的运动轨迹特征中的人体特征点，确定时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度。

如时间顺序为n的识别图像对应的识别目标的目标特征中的识别目标位置信息为Ha，n-1个识别图像中对应的识别目标的运动轨迹特征中的识别目标位置信息为Hb，其中a为时间顺序为n的识别图像中识别目标的标号，b为n-1个识别图像中识别目标的标号，则时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度S3为：S3＝iou(Ha，Hb)；其中iou函数为交并比函数(Intersection-over-Union)，用于计算Ha对应的识别目标位置信息对应的特征框(这里可为对应的人体检测框)与Hb对应的识别目标位置信息对应的特征框的重叠度。随后转到步骤S506。

步骤S506，从步骤S503至步骤S505获取时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度后，图像目标识别装置使用二分图匹配算法，根据时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度，获取时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的匹配关系。

具体可获取时间顺序为n的识别图像对应的多个识别目标以及n-1个识别图像中对应的多个识别目标，并通过步骤S503至步骤S505获取上述时间顺序为n的识别图像对应的任一识别目标与n-1个识别图像中对应的任一识别目标之间的相似度；随后可采用二分图匹配算法，计算匹配后的时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标为同一识别目标的相似度和的最大值。这样即可获取时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的匹配关系。

步骤S507，图像目标识别装置将时间顺序为n的识别图像对应的识别目标的目标特征，融合至n-1个识别图像中具有匹配关系的识别目标的运动轨迹特征中，以得到n个识别图像中对饮的识别目标的运动轨迹特征。

这样即完成了本实施例的图像目标识别方法的图像目标识别过程以及目标运动轨迹获取过程。

在第一实施例的基础上，本实施例的图像目标识别方法根据不同目标特征属性的识别目标，采用不同的方式生成不同识别图像中识别目标的相似度，提高了获取不同识别图像中对应识别目标的准确性，从而提高了特征融合操作的准确性，进而进一步提高了识别图像中识别目标的识别准确性。

本发明还提供一种图像目标识别装置，请参照图6，图6为本发明的图像目标识别装置的第一实施例的结构示意图。本实施例的图像目标识别装置可使用上述的图像目标识别方法的第一实施例进行实施。该图像目标识别装置60包括识别目标检测模块61、识别目标匹配模块62、目标特征提取模块63以及特征融合模块64。

识别目标检测模块61用于获取具有关联性的多个识别图像，并检测每个识别图像中的人脸检测框和人体检测框；识别目标匹配模块62用于将每个识别图像中的人脸检测框和人体检测框进行匹配操作，以得到每个识别图像中的识别目标；目标特征提取模块63用于对每个识别图像中的识别目标进行特征提取，以得到识别图像中的识别目标的至少一类目标特征；特征融合模块64用于按时间顺序，对多个识别图像中对应的识别目标的至少一类目标特征进行融合，以得到多个识别图像中对应的识别目标的运动轨迹特征。

请参照图7，图7为本发明的图像目标识别装置的第一实施例的识别目标匹配模块的结构示意图。该识别目标匹配模块62包括坐标获取子模块71、坐标匹配子模块72以及合成子模块73。

坐标获取子模块71用于获取识别图像中的人脸检测框中的人脸中心点坐标以及人体检测框中的人头中心点坐标；坐标匹配子模块72用于使用二分图匹配算法，根据人脸中心点坐标与人头中心点坐标的距离关系，获取人脸检测框中的人脸中心点坐标与人体检测框中的人头中心点坐标的匹配关系；合成子模块73用于将具有匹配关系的人脸检测框和人体检测框合成为识别图像中的识别目标。

本实施例的图像目标识别装置60使用时，首先识别目标检测模块61获取具有关联性的多个识别图像。这里的识别图像是指具有至少一个识别目标的图像。具有关联性的多个识别图像是指多个识别图像中具有同一识别目标，且多个识别图像之间具有一定的时间连续性以及地理位置连续性。

如获取同一监控视频文件的多个连续视频帧，可作为具有关联性的多个识别图像。该监控视频文件一般长时间监控同一地理位置或相邻的多个地理位置的视频画面(视频帧)，因此该视频画面具有地理位置连续性；且监控视频文件的多个连续视频帧一般是具有时间连续性的。

随后识别目标检测模块61检测每个识别图像中的人脸检测框和人体检测框。如识别目标为人物目标，则可通过多类别检测算法等检测算法，检测每个识别图像中的人脸检测框和人体检测框。

然后识别目标匹配模块62以人物目标作为识别目标，每个识别目标均对应一个人脸检测框和一个人体检测框，因此识别目标匹配模块需要对每个识别图像中的人脸检测框和人体检测框进行匹配操作，以得到每个识别图像中的识别目标。

具体可包括：

识别目标匹配模块62的坐标获取子模块71获取识别图像中人脸检测框中的人脸中心点坐标以及人体检测框中的人头中心点坐标。

识别目标匹配模块62的坐标匹配子模块72使用二分图匹配算法，根据人脸中心点坐标与人头中心点坐标的距离关系，获取人脸检测框中的人脸中心点坐标与人体检测框中的人头中心点坐标的匹配关系。

识别目标匹配模块62的合成子模块73将获取的具有匹配关系的人脸检测框和人体检测框合成为识别图像中的识别目标，以便后续进行识别目标的特征分析。

随后目标特征提取模块63对获取每个识别图像的识别目标进行特征提取，以得到识别图像中的识别目标的至少一类目标特征。；具体的获取识别图像中的所有识别目标对应的人脸特征类目标特征、人体特征类目标特征以及位置类目标特征所组成群组中选择的至少一类目标特征。

由于识别目标之间可能会存在识别目标重叠，因此这里为了将识别目标进行准确的区分，这里图像目标识别装置可获取识别目标的多种不同类别的目标特征。

具体的，目标特征提取模块63可获取每个识别图像中的所有识别目标对应的人脸质量分、衣服属性值、人脸特征点、人体特征点以及识别目标位置信息。其中人脸质量分以及人脸特征点为人脸特征类目标特征，衣服属性值以及人体特征点为人体特征类目标特征，识别目标位置信息为位置类目标特征。这样图像目标识别装置可选择使用人脸特征点、人体特征点或识别目标位置信息进行特征融合。

最后特征融合模块64按时间顺序，对提取的多个识别图像中对应的识别目标的目标特征进行融合。

具体的，特征融合模块64首先对多个识别图像中对应的识别目标的运动轨迹特征进行初始化操作。

随后特征融合模块64获取时间顺序为1的识别图像，并将时间顺序为1的识别图像对应的识别目标的目标特征，直接作为1个识别图像中对应的识别目标的运动轨迹特征。随后获取时间顺序为1的识别图像对应的识别目标的目标特征，融合至1个识别图像中对应的识别目标的运动轨迹特征中，以得到2个识别图像中对应的识别目标的运动轨迹特征。……最后获取时间顺序为m的识别图像对应的识别目标的目标特征，融合至m-1个识别图像中对应的识别目标的运动轨迹特征中，以得到m个识别图像中对应的识别目标的运动轨迹特征，其中m为识别图像的数量。

这样即完成了本实施例的图像目标识别装置60的图像目标识别过程以及目标运动轨迹获取过程。

本实施例的图像目标识别装置基于识别目标的多个目标特征，生成识别目标在多个识别图像中的运动轨迹特征；提高了识别图像中识别目标的识别准确性，降低了对识别目标的监控操作成本。

请参照图8，图8为本发明的图像目标识别装置的第二实施例的结构示意图。本实施例的图像目标识别装置可使用上述的图像目标识别方法的第二实施例进行实施。该图像目标识别装置80包括识别目标检测模块81、识别目标匹配模块82、目标特征提取模块83以及特征融合模块84。

识别目标检测模块81用于获取具有关联性的多个识别图像，并检测每个识别图像中的人脸检测框和人体检测框；识别目标匹配模块82用于将每个识别图像中的人脸检测框和人体检测框进行匹配操作，以得到每个识别图像中的识别目标；目标特征提取模块83用于对每个识别图像中的识别目标进行特征提取，以得到识别图像中的识别目标的至少一类目标特征；特征融合模块84用于按时间顺序，对多个识别图像中对应的识别目标的目标特征进行融合，以得到多个识别图像中对应的识别目标的运动轨迹特征。

请参照图9，图9为本发明的图像目标识别装置的第二实施例的特征融合模块的结构示意图。该特征融合模块84包括初始化子模块91、特征融合子模块92以及计数子模块93。

初始化子模块91用于对多个识别图像中对应的识别目标的运动轨迹特征进行初始化操作，并设置n＝1；特征融合子模块92用于将时间顺序为n的识别图像中对应的识别目标的目标特征，融合至运动轨迹特征中，以得到n个识别图像中对应的识别目标的运动轨迹特征；计数子模块93用于对n进行计数操作，直至得到m个识别图像中对应的识别目标的运动轨迹特征，其中m为识别图像的数量。

请参照图10，图10为本发明的图像目标识别装置的第二实施例的特征融合模块的特征融合子模块的结构示意图。该特征融合子模块92包括第一特征融合单元101以及第二特征融合单元102。

第一特征融合单元101用于当n＝1时，将时间顺序为1的识别图像对应的识别目标的目标特征，作为1个所述识别图像中对应的识别目标的运动轨迹特征；第二特征融合单元用于当n大于1时，将时间顺序为n的识别图像对应的识别目标的目标特征，融合至n-1个识别图像中对应的识别目标的运动轨迹特征中，以得到n个识别图像中对应的识别目标的运动轨迹特征。

其中第二特征融合单元102包括第一判断子单元1021、第二判断子单元1022、第一相似度获取子单元1023、第二相似度获取子单元1024、第三相似度获取子单元1025、匹配子单元1026以及融合子单元1027。

第一判断子单元1021用于判断是否满足第一条件，第一条件为时间顺序为n的识别图像对应的识别目标的目标特征中的人脸质量分大于第一设定值，且n-1个所述识别图像中对应的识别目标的运动轨迹特征中的人脸质量分大于第一设定值。

第二判断子单元1022用于如不满足第一条件，则判断是否满足第二条件，第二条件为时间顺序为n的识别图像对应的识别目标的目标特征中的衣服属性值，与n-1个识别图像中对应的识别目标的运动轨迹特征中的衣服属性值大于第二设定值。

第一相似度获取子单元1023用于如满足第一条件，则根据时间顺序为n的识别图像对应的识别目标的目标特征中的人脸特征点以及n-1个识别图像中对应的识别目标的运动轨迹特征中的人脸特征点，确定时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度。

第二相似度获取子单元1024用于如满足第二条件，则根据时间顺序为n的识别图像对应的识别目标的目标特征中的人体特征点以及n-1个识别图像中对应的识别目标的运动轨迹特征中的人体特征点，确定时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度。

第三相似度获取子单元1025用于如不满足第二条件，则根据时间顺序为n的识别图像对应的识别目标的目标特征中的识别目标位置信息以及n-1个识别图像中对应的识别目标的运动轨迹特征中的识别目标位置信息，确定时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度。

匹配子单元1026用于使用二分图匹配算法，根据时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度，获取时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的匹配关系。

融合子单元1027用于将时间顺序为n的识别图像对应的识别目标的目标特征，融合至n-1个识别图像中具有匹配关系的识别目标的运动轨迹特征中，以得到n个识别图像中对应的识别目标的运动轨迹特征。

本实施例的图像目标识别装置80使用时，首先识别目标检测模块81获取具有关联性的多个识别图像，并检测每个识别图像中的人脸检测框和人体检测框。

随后识别目标匹配模块82将每个识别图像中的人脸检测框和人体检测框进行匹配操作，以得到每个识别图像中的识别目标。

然后目标特征提取模块83对获取每个识别图像的识别目标进行特征提取，以得到识别图像中的识别目标的至少一类目标特征。

由于识别目标之间可能会存在识别目标重叠，因此这里为了将识别目标进行准确的区分，这里图像目标识别装置可获取识别目标的多种不同类别的目标特征。

具体的，目标特征提取模块83可获取每个识别图像中的所有识别目标对应的人脸质量分、衣服属性值、人脸特征点、人体特征点以及识别目标位置信息。其中人脸质量分以及人脸特征点为人脸特征类目标特征，衣服属性值以及人体特征点为人体特征类目标特征，识别目标位置信息为位置类目标特征。这样图像目标识别装置可选择使用人脸特征点、人体特征点或识别目标位置信息进行特征融合。

其中人脸特征点为识别目标对应的人脸检测框中的特征点，人脸特征点的特征区分度可通过人脸质量分来判断。其中人脸质量分为人脸特征点的特征精细程度，人脸质量分越高，人脸特征点的精细程度越高，越容易通过人脸特征点对识别目标进行区分。

人体特征点为识别目标对应的人体检测框中的特征点，人体特征点的特征区分度可通过衣服属性值来判断。衣服属性值可为人体特征点的主要颜色差异值等。如不同识别图像上衣服属性值不同的识别目标必然不同。不同识别图像上衣服属性值相同的识别目标，需要通过人体特征点进行区分。

识别目标位置信息为识别目标在识别图像中的位置信息，一般而言，时间上相邻的识别图像中同一识别目标的位置信息应大致相同或相似。

最后特征融合模块84按时间顺序，对提取的多个识别图像中对应的识别目标的目标特征进行融合操作。

具体包括：

特征融合模块84的初始化子模块91对多个识别图像中对应的识别目标的运动轨迹特征进行初始化操作，并设置n＝1，其中n用于特征融合的计数操作。

这里图像目标识别装置可直接获取时间顺序为1的识别图像中对应的识别目标的数量q，这样可设置q个识别目标的初始化运动轨迹特征，每个运动轨迹特征对应1个识别目标。

特征融合模块84的特征融合子模块92将时间顺序为n的识别图像中对应的识别目标的目标特征，融合至运动轨迹特征中，以得到n个识别图像中对应的识别目标的运动轨迹特征。

当n＝1时，特征融合子模块92的第一特征融合单元101直接将时间顺序为1的识别图像对应的识别目标的目标特征，作为1个识别图像中对应的识别目标的运动轨迹特征。该运动轨迹特征包括但不限于识别目标的人脸特征点、人体特征点以及识别目标位置信息。

当n大于1时，特征融合子模块92的第二特征融合单元102将时间顺序为n的识别图像对应的识别目标的目标特征，融合至n-1个识别图像中对应的识别目标的运动轨迹特征中，以得到n个识别图像中对应的识别目标的运动轨迹特征。

特征融合模块84的计数子模块93对n进行计数操作，即n＝n+1，并返回特征融合子模块进行运动轨迹特征融合操作，直至得到m个识别图像中对应的识别目标的运动轨迹特征，其中m为识别图像的数量。

其中第二特征融合单元102进行运动轨迹特征融合操作的过程包括：

第二特征融合单元102的第一判断子单元1021判断是否满足第一条件，该第一条件为时间顺序为n的识别图像对应的识别目标的目标特征中的人脸质量分大于第一设定值，且n-1个识别图像中对应的识别目标的运动轨迹特征中的人脸质量分大于第一设定值。

如不满足第一条件，则第二特征融合单元102的第二判断子单元1022判断是否满足第二条件，该第二条件为时间顺序为n的识别图像对应的识别目标的目标特征中的衣服属性值，与n-1个识别图像中对应的识别目标的运动轨迹特征中的衣服属性值大于第二设定值。

如满足第一条件，即时间顺序为n的识别图像对应的识别目标的目标特征中的人脸质量分大于第一设定值，且n-1个识别图像中对应的识别目标的运动轨迹特征中的人脸质量分大于第一设定值。则说明可通过识别目标中人脸特征点计算不同识别图像中识别目标的相似度。

具体的，第二特征融合单元102的第一相似度获取子单元1023根据时间顺序为n的识别图像对应的识别目标的目标特征中的人脸特征点以及n-1个识别图像中对应的识别目标的运动轨迹特征中的人脸特征点，确定时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度。

如时间顺序为n的识别图像对应的识别目标的目标特征中的人脸特征点为Fa，n-1个识别图像中对应的识别目标的运动轨迹特征中的人脸特征点为Fb，其中a为时间顺序为n的识别图像中识别目标的标号，b为n-1个识别图像中识别目标的标号，则时间顺序为n的识别图像中的识别目标与n-1个识别图像中的识别目标的相似度S1为：S1＝(Fa*Fb)/(|Fa|*|Fb|)。

如不满足第一条件，满足第二条件，即时间顺序为n的识别图像对应的识别目标的目标特征中的衣服属性值，与n-1个识别图像中对应的识别目标的运动轨迹特征中的衣服属性值大于第二设定值。则说明可通过识别目标中人体特征点计算不同识别图像中识别目标的相似度。

具体的，第二特征融合单元102的第二相似度获取子单元1024根据时间顺序为n的识别图像对应的识别目标的目标特征中的人体特征点以及n-1个识别图像中对应的识别目标的运动轨迹特征中的人体特征点，确定时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度。

如时间顺序为n的识别图像对应的识别目标的目标特征中的人体特征点为Ga，n-1个识别图像中对应的识别目标的运动轨迹特征中的人体特征点为Gb，其中a为时间顺序为n的识别图像中识别目标的标号，b为n-1个识别图像中识别目标的标号，则时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度S2为：S2＝(Ga*Gb)/(|Ga|*|Gb|)。

如同时不满足第一条件和第二条件，则说明识别目标的人脸质量分较差，不适合通过识别目标中的人脸特征点计算不同识别图像中识别目标的相似度；同时识别目标的人体特征点的差异较小，也不适合通过识别目标中的人体特征点计算不同识别图像中识别目标的相似度。这时只能通过识别目标中的识别目标位置信息计算不同识别图像中识别目标的相似度。

具体的，第二特征融合单元102的第三相似度获取子单元1025根据时间顺序为n的识别图像对应的识别目标的目标特征中的人体特征点以及n-1个识别图像中对应的识别目标的运动轨迹特征中的人体特征点，确定时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度。

如时间顺序为n的识别图像对应的识别目标的目标特征中的识别目标位置信息为Ha，n-1个识别图像中对应的识别目标的运动轨迹特征中的识别目标位置信息为Hb，其中a为时间顺序为n的识别图像中识别目标的标号，b为n-1个识别图像中识别目标的标号，则时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度S3为：S3＝iou(Ha，Hb)；其中iou函数为交并比函数(Intersection-over-Union)，用于计算Ha对应的识别目标位置信息对应的特征框(这里可为对应的人体检测框)与Hb对应的识别目标位置信息对应的特征框的重叠度。

获取时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度后，第二特征融合单元102的匹配子单元1026使用二分图匹配算法，根据时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的相似度，获取时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的匹配关系。

具体可获取时间顺序为n的识别图像对应的多个识别目标以及n-1个识别图像中对应的多个识别目标，并获取上述时间顺序为n的识别图像对应的任一识别目标与n-1个识别图像中对应的任一识别目标之间的相似度；随后可采用二分图匹配算法，计算匹配后的时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标为同一识别目标的相似度和的最大值。这样即可获取时间顺序为n的识别图像对应的识别目标与n-1个识别图像中对应的识别目标的匹配关系。

第二特征融合单元102的融合子单元1027将时间顺序为n的识别图像对应的识别目标的目标特征，融合至n-1个识别图像中具有匹配关系的识别目标的运动轨迹特征中，以得到n个识别图像中对饮的识别目标的运动轨迹特征。

这样即完成了本实施例的图像目标识别装置80的图像目标识别过程以及目标运动轨迹获取过程。

在第一实施例的基础上，本实施例的图像目标识别装置根据不同目标特征属性的识别目标，采用不同的方式生成不同识别图像中识别目标的相似度，提高了获取不同识别图像中对应识别目标的准确性，从而提高了特征融合操作的准确性，进而进一步提高了识别图像中识别目标的识别准确性。

下面通过一具体实施例说明本发明的图像目标识别方法及图像目标识别装置的工作原理。请参照图11a至图11c以及图12，图11a至图11c为本发明的图像目标识别方法及图像目标识别装置获取的三张识别图像的示意图。图12为本发明的图像目标识别方法及图像目标识别装置的图像目标识别流程图。

本发明的监控图像识别服务器自动对上述识别图像进行目标识别操作以及识别目标运动轨迹识别操作。该目标识别流程包括：

步骤S1201，监控图像识别服务器获取识别图像中人脸检测框以及人体检测框，分别为获取图11a中的人脸检测框11a1、人脸检测框11a2、人脸检测框11a3、人体检测框11a4、人体检测框11a5、人体检测框11a6；获取图11b中的人脸检测框11b1、人脸检测框11b2、人脸检测框11b3、人体检测框11b4、人体检测框11b5、人体检测框11b6；获取图11c中的人脸检测框11c1、人脸检测框11c2、人脸检测框11c3、人体检测框11c4、人体检测框11c5、人体检测框11c6。

步骤S1202，监控图像识别服务器采用二分图匹配算法对识别图像中的人脸检测框和人体检测框进行匹配操作，最终图11a中的人脸检测框11a1和人体检测框11a4合成为识别图像11a中的识别目标111，人脸检测框11a2和人体检测框11a5合成为识别图像11a中的识别目标112，人脸检测框11a3和人体检测框11a4合成为识别图像11a中的识别目标113；同理合成识别图像11b中的识别目标121、识别目标122以及识别目标123；识别图像11c中的识别目标131、识别目标132以及识别目标133。

步骤S1203，监控图像识别服务器对识别图像11a、11b以及11c中的识别目标进行特征提取，分别获取所有识别目标的人脸质量分、衣服属性值、人脸特征点、人体特征点以及识别目标位置信息等目标特征。

步骤S1204，由于识别图像11a为第一帧画面，监控图像识别服务器针对识别图像11a中的识别目标进行运动轨迹特征初始化操作，即初始化了3条轨迹，每条轨迹包含一个识别目标。

随后将识别图像11a对应的识别目标的目标特征作为识别图像11a中对应的识别目标的运动轨迹特征。即将识别目标111的特征作为识别图像的识别目标111对应的运动轨迹特征，将识别目标112上的特征作为识别图像的识别目标112对应的运动轨迹特征，将识别目标113上的特征作为识别图像的识别目标113对应的运动轨迹特征。

步骤S1205，监控图像识别服务器将识别图像11b中的识别目标的目标特征融合到识别图像11a中的识别目标的运动轨迹特征中。

监控图像识别服务器提取识别图像11b中识别目标的目标特征，随后通过以下公式计算识别图像11b中识别目标与识别图像11a中对应的识别目标的相似度：

其中F1为识别图像11a中识别目标的人脸特征点，F2为识别图像11b中的识别目标的人脸特征点，P1为识别图像11a中的识别目标的人脸质量分，P2为识别图像11b中的识别目标的人脸质量分，Pmin为第一设定值；G1为识别图像11a中的识别目标的人体特征点，G2为识别图像11b中的识别目标的人体特征点，r1为识别图像11a中的识别目标的衣服属性值，r2为识别图像11b中的识别目标的衣服属性值，rset为第二设定值，H1为识别图像11a中的识别目标的识别目标位置信息，H2为识别图像11b中的识别目标的识别目标位置信息。

上述公式的含义为第一列相似度计算公式的优先权大于第二列相似度计算公式的优先权，同时第二列相似度计算公式的优先权大于第三列相似度计算公式的优先权。

这样即可获取识别图像11b对应的识别目标与识别图像11a对应的识别目标的相似度，随后监控图像识别服务器使用二分图匹配算法，获取识别图像11b对应的识别目标与识别图像11a对应的识别目标的匹配关系。即识别图像11a中的识别目标111与识别图像11b中的识别目标121匹配，识别图像11a中的识别目标112与识别图像11b中的识别目标122匹配，识别图像11a中的识别目标113与识别图像11b中的识别目标123匹配。

随后将识别图像11b中的识别目标的目标特征，融合至识别图像11a中具有匹配关系的识别目标的运动轨迹特征中，即将识别图像11b中的识别目标121中的人脸质量分融合到识别图像11a中的识别目标111的人脸质量分中，从而得到识别目标111在识别图像11a和识别图像11b中的运动轨迹特征的人脸质量分，这里具体的融合方式可为取识别目标121中的人脸质量分和识别目标111的人脸质量分中的最大值或取识别目标121中的人脸质量分和识别目标111的人脸质量分的平均值。这样可依次获取识别目标111在识别图像11a和识别图像11b的运动轨迹特征的衣服属性值、人脸特征点以及人体特征点。

融合后的识别目标111的运动轨迹特征的识别目标位置信息改为识别目标111的识别目标位置信息与识别目标121的识别目标位置信息的集合，以便后续生成识别目标111的运动轨迹。

这样生成了识别图像11a和识别图像11b的识别目标的运动轨迹特征。

步骤S1206，监控图像识别服务器将识别图像11c中的识别目标的目标特征融合到识别图像11a和识别图像11b的识别目标的运动轨迹特征中。

监控图像识别服务器提取识别图像11c中识别目标的目标特征，随后通过以下公式计算识别图像11c中识别目标与识别图像11a、11b中对应的识别目标的相似度：

其中F3为识别图像11c中识别目标的人脸特征点，F12为识别图像11a、11b中的识别目标的人脸特征点，P3为识别图像11c中的识别目标的人脸质量分，P12为识别图像11a、11b中的识别目标的人脸质量分，Pmin为第一设定值；G3为识别图像11c中的识别目标的人体特征点，G12为识别图像11a、11b中的识别目标的人体特征点，r3为识别图像11c中的识别目标的衣服属性值，r12为识别图像11a、11b中的识别目标的衣服属性值，rset为第二设定值，H3为识别图像11c中的识别目标的识别目标位置信息，H2为识别图像11b中的识别目标的识别目标位置信息。

上述公式的含义为第一列相似度计算公式的优先权大于第二列相似度计算公式的优先权，同时第二列相似度计算公式的优先权大于第三列相似度计算公式的优先权。

这样即可获取识别图像11c对应的识别目标与识别图像11a、11b对应的识别目标的相似度，随后监控图像识别服务器使用二分图匹配算法，获取识别图像11c对应的识别目标与识别图像11a、11b对应的识别目标的匹配关系。即识别图像11c中的识别目标131与识别图像11a中的识别目标111匹配，识别图像11c中的识别目标132与识别图像11a中的识别目标112匹配，识别图像11c中的识别目标133与识别图像11a中的识别目标113匹配。

随后将识别图像11c中的识别目标的目标特征，融合至识别图像11a、11b中具有匹配关系的识别目标的运动轨迹特征中，即将识别图像11c中的识别目标131中的人脸质量分融合到识别图像11a、11b中的识别目标111以及识别目标121的人脸质量分中，从而得到识别目标111在识别图像11a、识别图像11b以及识别图像11c中的运动轨迹特征的人脸质量分，这里具体的融合方式可为取识别目标131中的人脸质量分、识别目标111的人脸质量分、识别目标121的人脸质量分中的最大值或取识别目标131中的人脸质量分、识别目标111的人脸质量分、识别目标121的人脸质量分的平均值。这样可依次获取识别目标111在识别图像11a、识别图像11b以及识别图像11c的运动轨迹特征的衣服属性值、人脸特征点以及人体特征点。

融合后的识别目标111的运动轨迹特征的识别目标位置信息改为识别目标111的识别目标位置信息、识别目标121的识别目标位置信息与识别目标131的识别目标位置信息的集合，以便后续生成识别目标111的运动轨迹。如图11a中识别目标112的运动轨迹为A，图11a中识别目标113的运动轨迹为B等。

这样即完成了本具体实施例的像目标识别方法及图像目标识别装置的目标识别操作以及识别目标运动轨迹识别操作。

本发明的图像目标识别方法、装置及存储介质基于识别目标的多个目标特征，生成识别目标在多个识别图像中的运动轨迹特征；提高了识别图像中识别目标的识别准确性，降低了对识别目标的监控操作成本；有效的解决了现有的图像目标识别方法及图像目标识别装置的错误率较高或监控操作成本较高的技术问题。

如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。

图13和随后的讨论提供了对实现本发明所述的图像目标识别装置所在的电子设备的工作环境的简短、概括的描述。图13的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备1312包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。

尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。

图13图示了包括本发明的图像目标识别装置中的一个或多个实施例的电子设备1312的实例。在一种配置中，电子设备1312包括至少一个处理单元1316和存储器1318。根据电子设备的确切配置和类型，存储器1318可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图13中由虚线1314图示。

在其他实施例中，电子设备1312可以包括附加特征和/或功能。例如，设备1312还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图13中由存储装置1320图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置1320中。存储装置1320还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器1318中由例如处理单元1316执行。

本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器1318和存储装置1320是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备1312访问的任何其他介质。任意这样的计算机存储介质可以是电子设备1312的一部分。

电子设备1312还可以包括允许电子设备1312与其他设备通信的通信连接1326。通信连接1326可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备1312连接到其他电子设备的其他接口。通信连接1326可以包括有线连接或无线连接。通信连接1326可以发射和/或接收通信媒体。

术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。

电子设备1312可以包括输入设备1324，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备1312中也可以包括输出设备1322，比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备1324和输出设备1322可以经由有线连接、无线连接或其任意组合连接到电子设备1312。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备1312的输入设备1324或输出设备1322。

电子设备1312的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE 1394)、光学总线结构等等。在另一个实施例中，电子设备1312的组件可以通过网络互连。例如，存储器1318可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。

本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络1328访问的电子设备1330可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备1312可以访问电子设备1330并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备1312可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备1312处执行并且一些指令可以在电子设备1330处执行。

本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。

而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。

综上所述，虽然本发明已以实施例揭露如上，实施例前的序号仅为描述方便而使用，对本发明各实施例的顺序不造成限制。并且，上述实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (15)

1.一种图像目标识别方法，其特征在于，包括：

获取具有关联性的多个识别图像，并检测每个所述识别图像中的人脸检测框和人体检测框；

将每个所述识别图像中的人脸检测框和人体检测框进行匹配，以得到每个所述识别图像中的识别目标；

对每个所述识别图像中的识别目标进行特征提取，以得到所述识别图像中的识别目标的至少一类目标特征；以及

按时间顺序，对多个所述识别图像中对应的识别目标的至少一类目标特征进行融合，以得到多个所述识别图像中对应的识别目标的运动轨迹特征。

2.根据权利要求1所述的图像目标识别方法，其特征在于，所述获取具有关联性的多个识别图像的步骤为：

获取同一视频文件的多个视频帧，作为所述具有关联性的多个识别图像。

3.根据权利要求1所述的图像目标识别方法，其特征在于，所述将每个所述识别图像中的人脸检测框和人体检测框进行匹配操作，以得到每个所述识别图像中的识别目标的步骤包括：

获取识别图像中的人脸检测框中的人脸中心点坐标以及所述人体检测框中的人头中心点坐标；

使用二分图匹配算法，根据所述人脸中心点坐标与所述人头中心点坐标的距离关系，获取所述人脸检测框中的人脸中心点坐标与所述人体检测框中的人头中心点坐标的匹配关系；

将具有匹配关系的人脸检测框和人体检测框合成为所述识别图像中的识别目标。

4.根据权利要求1所述的图像目标识别方法，其特征在于，所述对每个所述识别图像中的识别目标进行特征提取，以得到所述识别图像中的识别目标的至少一类目标特征的步骤包括：

获取每个所述识别图像中的所有识别目标对应的人脸特征类目标特征、人体特征类目标特征以及位置类目标特征所组成群组中选择的至少一类目标特征；其中人脸特征类目标特征包括人脸质量分以及人脸特征点，人体特征类目标特征包括衣服属性值以及人体特征点，位置类目标特征包括识别目标位置信息；

所述按时间顺序，对多个所述识别图像中对应的识别目标的目标特征进行融合，以得到多个所述识别图像中对应的识别目标的运动轨迹特征的步骤包括：

对多个所述识别图像中对应的识别目标的运动轨迹特征进行初始化操作，并设置n＝1；

将时间顺序为n的识别图像中对应的识别目标的目标特征，融合至所述运动轨迹特征中，以得到n个所述识别图像中对应的识别目标的运动轨迹特征；

n＝n+1，返回运动轨迹特征融合步骤，直至得到m个识别图像中对应的识别目标的运动轨迹特征，其中m为识别图像的数量。

5.根据权利要求4所述的图像目标识别方法，其特征在于，所述将时间顺序为n的识别图像中对应的识别目标的目标特征，融合至所述运动轨迹特征中，以得到n个所述识别图像中对应的识别目标的运动轨迹特征的步骤包括：

当n＝1时，将时间顺序为1的识别图像对应的识别目标的目标特征，作为1个所述识别图像中对应的识别目标的运动轨迹特征；

当n大于1时，将时间顺序为n的识别图像对应的识别目标的目标特征，融合至n-1个所述识别图像中对应的识别目标的运动轨迹特征中，以得到n个所述识别图像中对应的识别目标的运动轨迹特征。

6.根据权利要求5所述的图像目标识别方法，其特征在于，所述将时间顺序为n的识别图像对应的识别目标的目标特征，融合至n-1个所述识别图像中对应的识别目标的运动轨迹特征中，以得到n个所述识别图像中对应的识别目标的运动轨迹特征的步骤包括：

判断是否满足第一条件，所述第一条件为所述时间顺序为n的识别图像对应的识别目标的目标特征中的人脸质量分大于第一设定值，且所述n-1个识别图像中对应的识别目标的运动轨迹特征中的人脸质量分大于第一设定值；

如满足所述第一条件，则根据所述时间顺序为n的识别图像对应的识别目标的目标特征中的人脸特征点以及所述n-1个识别图像中对应的识别目标的运动轨迹特征中的人脸特征点，确定所述时间顺序为n的识别图像对应的识别目标与所述n-1个识别图像中对应的识别目标的相似度；

使用二分图匹配算法，根据所述时间顺序为n的识别图像对应的识别目标与所述n-1个识别图像中对应的识别目标的相似度，获取所述时间顺序为n的识别图像对应的识别目标与所述n-1个识别图像中对应的识别目标的匹配关系；

将时间顺序为n的识别图像对应的识别目标的目标特征，融合至n-1个所述识别图像中具有匹配关系的识别目标的运动轨迹特征中，以得到n个所述识别图像中对应的识别目标的运动轨迹特征。

7.根据权利要求6所述的图像目标识别方法，其特征在于，所述将时间顺序为n的识别图像对应的识别目标的目标特征，融合至n-1个所述识别图像中对应的识别目标的运动轨迹特征中，以得到n个所述识别图像中对应的识别目标的运动轨迹特征的步骤还包括：

如不满足所述第一条件，则判断是否满足第二条件，所述第二条件为所述时间顺序为n的识别图像对应的识别目标的目标特征中的衣服属性值，与所述n-1个识别图像中对应的识别目标的运动轨迹特征中的衣服属性值大于第二设定值；

如满足所述第二条件，则根据所述时间顺序为n的识别图像对应的识别目标的目标特征中的人体特征点以及所述n-1个识别图像中对应的识别目标的运动轨迹特征中的人体特征点，确定所述时间顺序为n的识别图像对应的识别目标与所述n-1个识别图像中对应的识别目标的相似度；

使用二分图匹配算法，根据所述时间顺序为n的识别图像对应的识别目标与所述n-1个识别图像中对应的识别目标的相似度，获取所述时间顺序为n的识别图像对应的识别目标与所述n-1个识别图像中对应的识别目标的匹配关系；

将时间顺序为n的识别图像对应的识别目标的目标特征，融合至n-1个所述识别图像中具有匹配关系的识别目标的运动轨迹特征中，以得到n个所述识别图像中对应的识别目标的运动轨迹特征。

8.根据权利要求7所述的图像目标识别方法，其特征在于，所述将时间顺序为n的识别图像对应的识别目标的目标特征，融合至n-1个所述识别图像中对应的识别目标的运动轨迹特征中，以得到n个所述识别图像中对应的识别目标的运动轨迹特征的步骤还包括：

如不满足所述第二条件，则根据所述时间顺序为n的识别图像对应的识别目标的目标特征中的识别目标位置信息以及所述n-1个识别图像中对应的识别目标的运动轨迹特征中的识别目标位置信息，确定所述时间顺序为n的识别图像对应的识别目标与所述n-1个识别图像中对应的识别目标的相似度；

使用二分图匹配算法，根据所述时间顺序为n的识别图像对应的识别目标与所述n-1个识别图像中对应的识别目标的相似度，获取所述时间顺序为n的识别图像对应的识别目标与所述n-1个识别图像中对应的识别目标的匹配关系；

将时间顺序为n的识别图像对应的识别目标的目标特征，融合至n-1个所述识别图像中具有匹配关系的识别目标的运动轨迹特征中，以得到n个所述识别图像中对应的识别目标的运动轨迹特征。

9.一种图像目标识别装置，其特征在于，包括：

识别目标检测模块，用于获取具有关联性的多个识别图像，并检测每个所述识别图像中的人脸检测框和人体检测框；

识别目标匹配模块，用于将每个所述识别图像中的人脸检测框和人体检测框进行匹配操作，以得到每个所述识别图像中的识别目标；

目标特征提取模块，用于对每个所述识别图像中的识别目标进行特征提取，以得到所述识别图像中的识别目标的至少一类目标特征；以及

特征融合模块，用于按时间顺序，对多个所述识别图像中对应的识别目标的至少一类目标特征进行融合，以得到多个所述识别图像中对应的识别目标的运动轨迹特征。

10.根据权利要求9所述的图像目标识别装置，其特征在于，所述识别目标匹配模块包括：

坐标获取子模块，用于获取识别图像中的人脸检测框中的人脸中心点坐标以及所述人体检测框中的人头中心点坐标；

坐标匹配子模块，用于使用二分图匹配算法，根据所述人脸中心点坐标与所述人头中心点坐标的距离关系，获取所述人脸检测框中的人脸中心点坐标与所述人体检测框中的人头中心点坐标的匹配关系；以及

合成子模块，用于将具有匹配关系的人脸检测框和人体检测框合成为所述识别图像中的识别目标。

11.根据权利要求9所述的图像目标识别装置，其特征在于，

所述目标特征提取模块，用于获取每个所述识别图像中的所有识别目标对应的人脸特征类目标特征、人体特征类目标特征以及位置类目标特征所组成群组中选择的至少一类目标特征；其中人脸特征类目标特征包括人脸质量分以及人脸特征点，人体特征类目标特征包括衣服属性值以及人体特征点，位置类目标特征包括识别目标位置信息；

所述特征融合模块，包括：

初始化子模块，用于对多个所述识别图像中对应的识别目标的运动轨迹特征进行初始化操作，并设置n＝1；

特征融合子模块，用于将时间顺序为n的识别图像中对应的识别目标的目标特征，融合至所述运动轨迹特征中，以得到n个所述识别图像中对应的识别目标的运动轨迹特征；以及

计数子模块，用于对n进行计数操作，直至得到m个识别图像中对应的识别目标的运动轨迹特征，其中m为识别图像的数量。

12.根据权利要求11所述的图像目标识别装置，其特征在于，

所述特征融合子模块包括：

第一特征融合单元，用于当n＝1时，将时间顺序为1的识别图像对应的识别目标的目标特征，作为1个所述识别图像中对应的识别目标的运动轨迹特征；

第二特征融合单元，用于当n大于1时，将时间顺序为n的识别图像对应的识别目标的目标特征，融合至n-1个所述识别图像中对应的识别目标的运动轨迹特征中，以得到n个所述识别图像中对应的识别目标的运动轨迹特征。

13.根据权利要求12所述的图像目标识别装置，其特征在于，所述第二特征融合单元包括：

第一判断子单元，用于判断是否满足第一条件，所述第一条件为所述时间顺序为n的识别图像对应的识别目标的目标特征中的人脸质量分大于第一设定值，且所述n-1个识别图像中对应的识别目标的运动轨迹特征中的人脸质量分大于第一设定值；

第二判断子单元，用于如不满足所述第一条件，则判断是否满足第二条件，所述第二条件为所述时间顺序为n的识别图像对应的识别目标的目标特征中的衣服属性值，与所述n-1个识别图像中对应的识别目标的运动轨迹特征中的衣服属性值大于第二设定值；

第一相似度获取子单元，用于如满足所述第一条件，则根据所述时间顺序为n的识别图像对应的识别目标的目标特征中的人脸特征点以及所述n-1个识别图像中对应的识别目标的运动轨迹特征中的人脸特征点，确定所述时间顺序为n的识别图像对应的识别目标与所述n-1个识别图像中对应的识别目标的相似度；

第二相似度获取子单元，用于如满足所述第二条件，则根据所述时间顺序为n的识别图像对应的识别目标的目标特征中的人体特征点以及所述n-1个识别图像中对应的识别目标的运动轨迹特征中的人体特征点，确定所述时间顺序为n的识别图像对应的识别目标与所述n-1个识别图像中对应的识别目标的相似度；

第三相似度获取子单元，用于如不满足所述第二条件，则根据所述时间顺序为n的识别图像对应的识别目标的目标特征中的识别目标位置信息以及所述n-1个识别图像中对应的识别目标的运动轨迹特征中的识别目标位置信息，确定所述时间顺序为n的识别图像对应的识别目标与所述n-1个识别图像中对应的识别目标的相似度；

匹配子单元，用于使用二分图匹配算法，根据所述时间顺序为n的识别图像对应的识别目标与所述n-1个识别图像中对应的识别目标的相似度，获取所述时间顺序为n的识别图像对应的识别目标与所述n-1个识别图像中对应的识别目标的匹配关系；

融合子单元，用于将时间顺序为n的识别图像对应的识别目标的目标特征，融合至n-1个所述识别图像中具有匹配关系的识别目标的运动轨迹特征中，以得到n个所述识别图像中对应的识别目标的运动轨迹特征。

14.一种存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行如权利要求1至8中任一的图像目标识别方法。

15.一种电子设备，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过调用所述计算机程序，用于执行如权利要求1至8中任一的图像目标识别方法。