CN109117803A - 人脸图像的聚类方法、装置、服务器及存储介质 - Google Patents

Abstract

本发明公开了一种人脸图像的聚类方法、装置、服务器及存储介质，属于图像处理技术领域。所述方法包括：确定每张人脸图像的人脸区域和人体区域；根据从每张人脸图像的人脸区域中提取的人脸特征，对多张人脸图像进行聚类，得到多个人脸图像集合；将每张人脸图像上的人脸区域与人体区域进行关联；根据与两个人脸图像集合中每张人脸图像的人脸区域相关联的人体区域，确定两个人脸图像集合之间的集合相似度；如果集合相似度满足第一阈值条件，则将两个人脸图像集合进行合并。本发明通过将人脸区域和人体区域进行关联，并基于相关联的人体区域，对人脸图像的聚类结果进行优化，将属于同一用户的人脸图像集合进行合并，提高了人脸图像聚类的准确性。

Description

人脸图像的聚类方法、装置、服务器及存储介质

技术领域

本发明涉及图像处理技术领域，特别涉及一种人脸图像的聚类方法、装置、服务器及存储介质。

背景技术

随着图像处理技术的发展，人脸图像的数量呈爆炸式增长，通过对这些人脸图像进行聚类，可实现人脸图像的自动分类，从而基于分类后的人脸图像建立社交关系链、查找失踪人口、对犯罪分子进行追踪等。

目前，在对人脸图像进行聚类时，主要方法为：获取多张人脸图像；提取每张人脸图像的人脸特征；根据每张人脸图像的人脸特征，采用K-means聚类方法对多张人脸图像进行聚类。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

由于仅依赖于人脸特征进行聚类，而当人脸图像出现模糊、遮挡、大角度等问题时，提取的人脸特征并不准确，在基于人脸特征进行聚类时，可能将同一人的人脸图像聚为不同类，因此，现有的聚类方法准确性较低。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种人脸图像的聚类方法、装置、服务器及存储介质。所述技术方案如下：

一方面，提供了一种人脸图像的聚类方法，所述方法包括：

对于多张人脸图像，确定每张人脸图像的人脸区域和人体区域；

根据从每张人脸图像的人脸区域中提取的人脸特征，对所述多张人脸图像进行聚类，得到多个人脸图像集合；

根据每张人脸图像的人脸区域和人体区域包括的关键点，对每张人脸图像的人脸区域和人体区域进行关联，其中，人脸区域与人体区域之间一一关联；

对于任意两个人脸图像集合，根据与所述两个人脸图像集合中每张人脸图像的人脸区域相关联的人体区域，确定所述两个人脸图像集合之间的集合相似度；

如果所述集合相似度满足第一阈值条件，则将所述两个人脸图像集合进行合并。

另一方面，提供了一种人脸图像的聚类装置，所述装置包括：

确定模块，用于对于多张人脸图像，确定每张人脸图像的人脸区域和人体区域；

聚类模块，用于根据从每张人脸图像的人脸区域中提取的人脸特征，对所述多张人脸图像进行聚类，得到多个人脸图像集合；

关联模块，用于根据每张人脸图像的人脸区域和人体区域包括的关键点，对每张人脸图像的人脸区域和人体区域进行关联，其中，人脸区域与人体区域之间一一关联；

所述确定模块，用于对于任意两个人脸图像集合，根据与所述两个人脸图像集合中每张人脸图像的人脸区域相关联的人体区域，确定所述两个人脸图像集合之间的集合相似度；

合并模块，用于如果所述集合相似度满足第一阈值条件，则将所述两个人脸图像集合进行合并。

另一方面，提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现人脸图像的聚类方法。

另一方面，提供了一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由处理器加载并执行以实现人脸图像的聚类方法。

本发明实施例提供的技术方案带来的有益效果是：

在对人脸图像进行聚类时，通过将人脸区域和人体区域进行关联，并基于相关联的人体区域，对人脸图像的聚类结果进行优化，将属于同一用户的人脸图像集合进行合并，提高了人脸图像聚类的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的人脸图像的聚类方法所涉及的实施环境；

图2是本发明实施例提供的一种人脸图像的聚类方法的流程图；

图3是本发明实施例提供的一种人脸人体关联的流程图；

图4是本发明实施例提供的一种人脸图像的聚类过程的示意图；

图5是本发明实施例提供的一种人脸图像的聚类装置结构示意图；

图6是根据一示例性实施例示出的一种用于人脸图像聚类的服务器。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

首先介绍本发明实施例所涉及的实施环境

参见图1，本发明实施例提供的人脸图像的聚类方法所涉及的实施环境包括：终端101和服务器102。

其中，终端101安装有图像采集应用，可以为智能手机、平板电脑、笔记本电脑等。当通过所安装的图像采集应用采集到人脸图像后，终端101可通过网络将采集到的人脸图像发送至服务器102。

服务器102具有计算功能，可对终端101发送的人脸图像执行识别、聚类等操作。

接着对本发明实施例提供的人脸图像的聚类方法进行详述

以服务器执行本发明实施例为例，参见图2，本发明实施例提供的一种人脸图像的聚类方法流程如下：

201、对于多张人脸图像，服务器确定每张人脸图像的人脸区域和人体区域。

其中，服务器获取多张人脸图像的方式，包括但不限于如下两种：

第一种方式、终端通过图像采集应用拍摄人脸图像，并将采集到的人脸图像通过网络上报至服务器，服务器接收终端发送的人脸图像，并将接收到的多张人脸图像作为获取到的多张人脸图像。

第二种方式、服务器从互联网上获取多个用户的多张人脸图像。

当然，除了采用上述两种方式获取多张人脸图像外，还可以采用其他方式，本发明实施例不再一一说明。

其中，人脸区域是指人脸所在的区域。由于本发明实施例提供的人脸图像的聚类方法在对人脸图像进行聚类时，主要是根据从人脸区域中提取的人脸特征实现的，因此，为了实现对人脸图像的聚类，本发明实施例提供的方法需要确定每张人脸图像的人脸区域。

具体地，服务器确定每张人脸图像的人脸区域的方式，包括但不限于如下步骤：

第一步，服务器提取每张人脸图像的哈尔特征。

其中，哈尔特征为一种图像特征。由于同种物体具有相同的哈尔特征，不同种物体具有不同的哈尔特征，例如，人脸图像具有相同的哈尔特征，人脸图像和非人脸图像具有不同的哈尔特征，因此，可利用哈尔特征进行人脸图像识别。关于提取每张人脸图像的哈尔特征的方式，包括但不限于将每张人脸图像沿水平或竖直方向划分为不同大小的矩形小块，然后计算每个矩形小块的像素值的和，并确定组成每张人脸图像的矩形特征，进而将相邻的两个或者三个矩形小块的像素值的和相减作为该矩形特征的特征值，该矩形特征的特征值即为每张人脸图像的哈尔特征。

进一步地，为了提高从每张人脸图像中确定的人脸区域的准确性，本发明实施例提供的方法在提取每张人脸图像的哈尔特征时，可采用不同大小、不同位置的窗口为搜索窗口对每张人脸图像进行搜索，并提取每个搜索窗口内的哈尔特征。

第二步，服务器根据预先建立的人脸特征模型，判断提取的每张人脸图像的哈尔特征是否为人脸对应的哈尔特征，若提取的每张人脸图像的哈尔特征为人脸对应的哈尔特征，则将每张人脸图像的哈尔特征所在位置区域确定为人脸区域。

由于不同的物体具有不同的哈尔特征，当服务器根据预先建立的人脸特征模型，判断得出每张人脸图像的哈尔特征为人脸对应的哈尔特征，说明该位置区域为人脸图像的人脸区域，此时可将人脸对应的哈尔特征所在位置区域确定为人脸区域。

需要说明的是，由于在采用不同大小、不同位置的搜索窗口对每张人脸图像进行搜索时，对于人脸图像中的同一位置区域可能被不同的搜索窗口搜索到，且每个搜索窗口内都会提取到一个哈尔特征，因此，对于人脸图像中的同一位置区域可以提取到多个哈尔特征。为了提高所确定的人脸区域的准确性，在根据预先建立的人脸特征模型，判断提取的哈尔特征是否为人脸对应的哈尔特征时，需要根据每个搜索窗口内的搜索结果进行判断。例如，对于人脸图像中的位置A，搜索到A的搜索窗口有10个，若A在10个窗口内的哈尔特征都为人脸对应的哈尔特征，则判断人脸图像中的位置A对应的哈尔特征为人脸对应的哈尔特征。

进一步地，由于预先建立的人脸特征模型是判断提取的每张人脸图像的哈尔特征是否为人脸对应的哈尔特征的关键，因此，本发明实施例提供的方法在根据预先建立的人脸特征模型，判断提取的每张人脸图像的哈尔特征是否为人脸对应的哈尔特征之前，需要建立人脸特征模型。

关于建立人脸特征模型的方法，包括但不限于如下过程：

首先，服务器获取第一预设数量的人脸图像，并提取第一预设数量的人脸图像的哈尔特征。

其中，第一预设数量可以是100个、200个、1000个等，本发明实施例不对第一预设数量作具体的限定。关于获取第一预设数量的人脸图像的方式，包括但不限于通过网络收集第一预设数量的人脸图像，进而将获取到的第一预设数量的人脸图像作为获取到的第一预设数量的人脸图像。关于提取第一预设数量的人脸图像的哈尔特征的方式，可参见上述提取每张人脸图像的哈尔特征的方式，此处不再赘述。

其次，服务器根据提取的人脸图像的哈尔特征建立人脸特征模型。

其中，人体区域包括人脸区域和四肢及躯干部分所在的身体区域。服务器确定每张人脸图像的人体区域时，可采用人体检测算法进行确定，还可建立人体检测模型，进而基于人体检测模型进行检测，当然，还可以采用其他方法，本发明实施例对此不作具体的限定。

202、服务器从每张人脸图像的人脸区域中提取人脸特征。

具体实施时，服务器从每张人脸图像的人脸区域中提取人脸特征，可采用如下步骤：

2021、服务器从每张人脸图像的人脸区域中，确定每张人脸图像的五官关键点。

服务器可将每张人脸图像及对应的人脸区域输入到人脸主动形状模型中，输出每张人脸图像的五官关键点。其中，人脸主动形状模型用于确定人脸的五官关键点。具体地，可采用如下步骤：

第一步，服务器根据预先建立的主动形状模型确定人脸区域的初始形状。

服务器将预先建立的主动形状模型中的人脸平均形状进行调整，如缩放、旋转、平移等，使得调整后的人脸平均形状中的五官与人脸区域中五官的匹配程度最高，该调整后的人脸平均形状即为人脸区域的初始形状。其中，人脸平均形状中标注着人脸五官的关键点。

第二步，服务器对人脸区域的初始形状进行迭代优化，得到优化的人脸关键点位置。

第三步，服务器根据优化的人脸关键点位置及预先聚类得到的人脸五官关键点位置确定人脸的五官特征。

服务器根据优化的人脸关键点位置及预先聚类得到的人脸五官关键点位置确定人脸的五官特征，包括但不限于采用如下方式：

首先，服务器计算优化后的人脸中任一五官的关键点位置与预先聚类得到的对应的人脸五官关键点位置之间的距离。

服务器根据优化后的人脸关键点位置提取五官对应的关键点，并计算任一五官对应的关键点与预先聚类得到对应的关键点之间的欧氏距离，进而将得到的欧氏距离与关键点的点数作比，得到优化后的人脸中任一五官的关键点位置与预先聚类得到的对应的人脸五官关键点位置之间的距离，该距离即为优化后的人脸中任一五官的关键点位置与预先聚类得到的对应的关键点之间误差。若优化后的人脸中任一五官的关键点位置与预先聚类得到的对应的关键点之间的误差越大，则说明该五官相对于人脸越突出。

其次，服务器将优化后的人脸中任一五官的关键点位置与预先聚类得到的对应的人脸五官关键点位置之间的距离最大的五官作为人脸的五官特征。

对人脸图像中五官均按上述过程进行计算，得到优化后的人脸中的五官的关键点位置与预先聚类得到的对应的人脸五官关键点位置之间的距离，进而将优化后的人脸中的任一五官的关键点位置与预先聚类得到的对应的人脸关键点位置之间的最大的五官的作为人脸的五官特征。

2022、服务器根据每张人脸图像的五官关键点，对每张人脸图像进行归一化。

基于标注着五官关键点的人脸图像，服务器从五官关键点中选择第二预设数量个五官关键点，并根据第二预设数量的五官关键点，对人脸图像进行归一化。其中，第二预设数量可以为2个、3个、5个等，本发明实施例不对第二预设数量作具体的限定。

以选取两眼的关键点为例，服务器根据左眼的关键点坐标，获取左眼中心点坐标，并根据右眼的关键点坐标，获取右眼中心点坐标，然后连接左右眼中心点，并计算左右眼中心点的连线与水平方向之间的夹角，进而根据左右眼中心点的连线与水平方向之间的夹角，旋转人脸图像，使得人脸图像上左右眼中心点的连线与水平方向重合。接着，服务器获取旋转后的左右眼中心点之间的距离，并获取该距离与预设距离之间的比例，进而根据所得到的比例，对人脸图像进行缩放，得到归一化的图像。其中，预设距离可以为2厘米、3厘米等。

通过对每张人脸图像进行归一化处理，使得不同拍摄角度、不同大小的人脸图像具有相同的拍摄角度及尺寸，减小了后续对每张人脸图像进行聚类时的计算量，提高了聚类结果的准确性。

2023、服务器从每张归一化的人脸图像中，提取每张人脸图像的人脸特征。

服务器将每张归一化的人脸图像输入到人脸特征提取模型中，输出每张人脸图像的人脸特征。其中，人脸特征提取模型用于提取人脸图像的人脸特征。人脸特征具有确定的维度，可以用长度为N的浮点数向量表示，其中，N为自然数。

203、服务器根据从每张人脸图像的人脸区域中提取的人脸特征，对多张人脸图像进行聚类，得到多个人脸图像集合。

基于从每张人脸图像中提取的人脸特征，服务器采用聚类算法，对多张人脸图像进行聚类，得到多个人脸图像集合，每个人脸图像集合中包括属于同一用户的多张人脸图像。

其中，聚类算法包括K-means聚类算法、KNN(k-NearestNeighbor，K最近邻)聚类算法等。K-means算法是很典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成的，因此，把得到紧凑且独立的簇作为最终目标。KNN算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，也即是每个样本具有k个最近的邻居，且每个样本都可以用最接近的k个邻居来代表。KNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。

当采用K-means聚类算法进行聚类时，聚类过程为：

1、服务器预先设定第三预设数量个人脸图像的人脸特征作为初始聚类中心，进而计算每张人脸图像的人脸特征与每个聚类中心之间的距离。其中，第三预设数量根据多张人脸图像所包括的用户数量确定，可以为5个、6个等。

2、服务器根据与每个聚类中心的距离，将多张人脸图像分为第三预设数量个人脸图像集合。

3、服务器获取每个人脸图像集合中所包括的各个人脸图像的平均人脸特征，并将平均人脸特征作为新的聚类中心，进而计算每张人脸图像的人脸特征与每个聚类中心之间的距离。

4、重复执行上述过程，直至每个人脸图像集合中的聚类中心不再变化。

204、服务器根据每张人脸图像的人脸区域和人体区域包括的关键点，对每张人脸图像的人脸区域和人体区域进行关联。

其中，每个人脸区域最多与一个人体区域相关联，而每个人体区域最多与一个人脸区域相关联，也即是，人脸区域和人体区域之间一一关联。

以任一张人脸图像为例，本步骤在执行时，具体步骤如下：

2041、服务器获取人脸图像的每个人脸区域包括的关键点数量，并获取人脸图像的每个人体区域包括的关键点数量。

服务器对人脸图像的每个人脸区域中的五官进行检测，可以检测出人脸区域包括的关键点，通过对检测出的关键点进行统计，可以获取每个人脸区域包括的关键点数量。例如，服务器检测每个人脸区域是否包括用户的左右耳、左右眉毛、鼻子、嘴巴，如果所检测的人脸区域包括用户的左右耳、左右眉毛、鼻子、嘴巴，则确定人脸区域包括左耳关键点、右耳关键点、眉毛中心关键点、鼻子关键点及嘴巴关键点；如果因为拍摄的人脸图像存在遮挡、模糊等问题，导致所检测的人脸区域并未全部包括用户的左右耳、左右眉毛、鼻子、嘴巴，则根据未遮挡区域包括的上述五官中的数量，确定人脸区域包括的关键点。

对于人体区域包括的关键点数量，服务器可对人脸图像的每个人体区域的重要关节点及五官进行检测，检测出人体区域包括的关键点，通过对检测出的关键点进行统计，可以获取每个人体区域包括的关键点数量。出于准确率及计算速度的考量，本发明实施例中人体区域最多包括的关键点数量为18个，人脸区域最多包括的关键点数量为5个。

2042、对于任一人体区域，服务器获取人脸图像的每个人脸区域与人体区域包括的相同关键点数量。

服务器检测人体区域包括的关键点类型，并检测每个人脸区域包括的关键点类型，进而将类型相同的关键点作为人体区域与人脸区域包括的相同关键点。考虑到人体区域包括身体部分和人脸部分，而人脸区域中包括的关键点类型与身体部分提取的关键点类型不会相同，因此，为了减少计算量，服务器可获取人体区域的人脸部分包括的关键点类型，并获取人脸区域包括的关键点类型，将类型相同的关键点作为相同关键点。例如，人体区域的人脸部分包括的关键点为左耳关键点、右耳关键点、眉毛中心关键点、鼻子关键点及嘴巴关键点，人脸区域包括的关键点为左耳关键点、右耳关键点、眉毛中心关键点、鼻子关键点，则确定人体区域和该人脸区域包括的相同关键点为左耳关键点、右耳关键点、眉毛中心关键点、鼻子关键点，相同关键点数量为4个。

2043、服务器获取与人体区域包括的相同关键点数量最多的人脸区域。

服务器按照数量由大到小的顺序，对与人体区域包括相同关键点的人脸区域进行排序，并根据排序结果，获取与人体区域包括的相同关键点数量最多的人脸区域。

进一步地，如果与人体区域包括的相同关键点数量最多的人脸区域为至少两个，则服务器可获取每个包括相同关键点数量最多的人脸区域与人体区域之间的重合度，并获取与人体区域之间重合度最大的人脸区域，进而将人体区域与人脸区域进行关联。其中，重合度用于表征人脸区域和人体区域之间的重合程度。服务器获取每个包括相同关键点数量最多的人脸区域与人体区域之间的重合度时，可在人脸图像上建立直角坐标系，基于所建立的坐标系，确定人体区域的面积，并确定每个包括相同关键点数量最多的人脸区域的面积，进而获取每个包括相同关键点数量最多的人脸区域与人体区域的重合面积，通过获取重合面积与人体区域的面积之间的比值，得到每个包括相同关键点数量最多的人脸区域与人体区域之间的重合度。

2044、服务器将人体区域与人脸区域进行关联。

服务器将人体区域与所选出的人脸区域进行关联。

在本发明实施例中，由于人脸区域与人体区域之间一一关联，且为了减少后续对该人脸图像进行关联计算的计算量，服务器将人体区域与人脸区域进行关联之后，还将所关联的人体区域和人脸区域剔除，并继续执行将人脸图像的人体区域与人脸区域进行关联的操作，直至人脸图像的每个人体区域均与人脸区域进行关联。

当然，除了采用人脸区域和人体区域包括的关键点，对每张人脸图像的人脸区域和人体区域进行关联外，服务器还可基于人脸区域和人体区域之间的粘合度进行关联。具体步骤如下：

第一步，对于任一人脸区域和任一人体区域，服务器获取人脸区域和人体区域之间的粘合度。

其中，粘合度用于表征人脸区域和人体区域来自同一用户的概率。服务器获取人脸区域和人体区域之间的粘合度时，包括但不限于如下方式：

1、服务器获取人脸区域上指定位置的第一坐标，并获取人脸区域的第一宽度和第一高度。

由于本发明实施例中人脸区域是通过矩形框进行搜索得到的，因此，每张图像上的人脸区域实际上是矩形区域。其中，指定位置可以为人脸区域的左上顶点、人脸区域的右上顶点等，本发明实施例以指定位置为人脸区域的左上顶点为例。基于人脸坐标系及人脸区域，服务器获取人脸区域上指定位置的第一坐标，该第一坐标包括指定位置的横坐标和指定位置的纵坐标。接着，服务器根据人脸区域中各个顶点在人脸坐标系中的坐标，获取人脸区域的第一宽度和第一高度。

2、服务器获取人体区域上指定位置的第二坐标，并获取人体区域的第二宽度和第二高度。

由于本发明实施例中人体区域也是通过矩形框进行搜索得到的，因此，每张图像上的人体区域实际上也是矩形区域。其中，指定位置可以为人体区域的左上顶点、人脸区域的右上顶点等，本发明实施例以指定位置为人体区域的左上顶点为例。基于人脸坐标系及人体区域，服务器获取人体区域上指定位置的第二坐标，该第二坐标包括指定位置的横坐标和指定位置的纵坐标。接着，服务器根据人体区域中各个顶点在人脸坐标系中的坐标，获取人体区域的第二宽度和第二高度。

3、服务器获取人脸区域和人体区域的重合面积。

服务器通过将人脸区域和人体区域在人脸坐标系中标注出来，可获取人脸区域和人体区域的重合面积。

4、服务器根据第一坐标、第一宽度、第一高度、第二坐标、第二宽度、第二高度及重合面积，获取人脸区域和人体区域之间的粘合度。

服务器第一坐标、第一宽度、第一高度、第二坐标、第二宽度、第二高度及重合面积，应用以下公式，获取人脸区域和人体区域之间的粘合度：

其中，E_ij为人脸区域i和人体区域j之间的粘合度；s_ij为人脸区域i和人体区域j之间的重合面积；x_i为人脸区域i的指定位置的横坐标；y_i为人脸区域i的指定位置的纵坐标；w_i为人脸区域i的第一宽度；h_i为人脸区域i的第一高度；X_j为人体区域j的指定位置的横坐标；Y_j为人体区域j的指定位置的纵坐标；W_j为人体区域j的第二宽度；H_j为人体区域j的第二高度。

第二步，服务器获取人脸区域和各个人体区域的最大粘合度。

服务器按照上述第一步中的方法获取每个人脸区域和人体区域的粘合度，并从得到的各个粘合度中，获取最大粘合度。为了能够快速获取到与人脸区域和人体区域的最大粘合度，服务器可将人脸区域和各个人体区域的粘合度存储在关联矩阵中，进而从关联矩阵中获取最大粘合度。

第三步、如果最大粘合度大于第一预设阈值，则服务器将人脸区域与最大粘合中对应的人体区域进行关联。

其中，第一预设阈值由服务器的处理能力确定，可以为0.3、0.4等。如果最大粘合度大于第一预设阈值，则服务器可以确认该人脸区域和粘合度最大的人体区域最大可能来自同一用户，因此，将人脸区域和粘合度最大的人体区域进行关联。

考虑到人脸图像中存在遮挡、模糊等问题，从多张人脸图像中获取的人脸区域和人体区域不会全部关联上。对于从多张人脸图像中获取到的m个人脸区域，以及从多张人脸图像中获取到的n个人体区域，最终可关联成功的人脸人体对为K对，其中，K＝min{m，n}

基于粘合度对人脸区域和人体区域的关联过程，下面以图3所示的流程图为进行说明。

(1)、对于获取到的人脸区域和人体区域，服务器计算每个人脸区域和人脸区域的粘合度。

(2)、对于任一张人脸区域，服务器获取从该人脸区域与各个人体区域的粘合度中，获取最大粘合度。

(3)、服务器将最大粘合度与预设阈值进行比较，如果该最大粘合度大于第一预设阈值，则将该人脸区域与最大粘合度对应的人体区域进行关联。

需要说明的是，上述以服务器从根据从每张人脸图像的人脸区域中提取的人脸特征，对多张人脸图像进行聚类，得到多个人脸图像集合作为步骤203，以服务器将人体区域与人脸区域进行关联作为步骤204进行说明，实际上，服务器可以先将人体区域与人脸区域进行关联，再根据从每张人脸图像的人脸区域中提取的人脸特征，对多张人脸图像进行聚类，本发明实施例不对上述两个步骤的具体执行顺序进行限定。

205、对于任意两个人脸图像集合，服务器根据与两个人脸图像集合中每张人脸图像的人脸区域相关联的人体区域，确定两个人脸图像集合之间的集合相似度。

设定第一人脸图像集合和第二人脸图像集合为任意两个人脸图像集合，服务其确定第一人脸图像集合与第二人脸图像集合之间的集合相似度时，步骤如下：

2051、服务器从与第一人脸图像集合中每张人脸图像的人脸区域相关联的人体区域中，提取第一人体特征。

服务器可将与第一人脸图像集合中每张人脸图像的人脸区域相关联的人体区域输入到人体特征提取模型中，进而采用人体特征提取模型提取出第一人体特征。其中，人体特征提取模型用于提取人体特征。

2052、服务器从与第二人脸图像集合中每张人脸图像的人脸区域相关联的人体区域中，提取第二人体特征。

服务器可将与第二人脸图像集合中每张人脸图像的人脸区域相关联的人体区域输入到人体特征提取模型中，进而采用人体特征提取模型提取出第二人体特征。

2053、服务器获取第一人脸图像集合的每个第一人体特征与第二人脸图像集合的每个第二人体特征之间的相似度。

其中，每个第一人体特征与每个第二人体特征之间的相似度可采用余弦相似度算法进行计算。

2054、服务器根据相似度计算结果，确定两个人脸图像集合之间的集合相似度。

服务器从每个第一人体特征与每个第二人体特征之间的相似度计算结果中，获取相似度的总计算数量，并获取相似度大于第二预设阈值的数量，进而将相似度大于第二预设阈值的数量与总计算数量的比值，作为两个人脸图像集合之间的集合相似度。其中，第二预设阈值可根据聚类精度确定。

206、如果集合相似度满足第一阈值条件，则服务器将两个人脸图像集合进行合并。

其中，第一阈值条件可以为集合相似度大于0.6、0.7等。当两个人脸图像集合的集合相似度满足第一阈值条件，可确定这两个人脸图像集合中的人脸图像来自同一用户，因而可将这两个人脸图像集合进行合并，从而在类间提高了聚类结果的准确性。

在本发明的另一个实施例中，服务器还可基于人脸区域与人体区域之间的关联关系，对每个人脸图像集合中的人脸图像进行筛选，将不属于同一用户的人脸图像从人脸图像集合中删除，从而在类内提高了聚类结果的准确性。对于任一人脸图像集合，服务器根据与该人脸图像集合中每张人脸图像的人脸区域相关联的人体区域，对该人脸图像集合进行筛选时，步骤如下：

第一步、服务器从与该人脸图像集合中每张人脸图像的人脸区域相关联的人体区域中，提取第三人体特征。

第二步、对于任一张人脸图像，服务器获取该人脸图像的第三人体特征与人脸图像集合中其他每张人脸图像的第三人体特征之间的相似度。

第三步、如果满足第二阈值条件的相似度数量小于预设数量，则服务器将该人脸图像从人脸图像集合中删除。

其中，第二阈值条件可以为相似度大于0.5、0.6等，预设数量可根据人脸图像集合中包括的人脸图像数量确定。当人脸图像集合中的每张人脸图像均经过上述筛选后，服务器将人脸图像集合中剩余的人脸图像作为筛选后的人脸图像集合。当所有人脸图像集合均进行了类间合并与类内筛选后，服务器将所有剩余的人脸图像集合作为对多张人脸图像的最终聚类结果。

对于本发明实施提供的人脸图像的聚类过程，下面将以图4为例进行说明。

1、对于获取到的多张人脸图像，服务器确定每张人脸图像的人脸区域，并从每张人脸图像的人脸区域中，提取人脸特征。

2、服务器从每张人脸图像的人脸区域中，确定出人脸五官关键点，并基于每张人脸图像的五官关键点，对每张人脸图像进行归一化，得到归一化的人脸图像。

3、服务器将每张归一化的人脸图像输入到人脸特征提取模型中，输出每张人脸图像对应的人脸特征。

4、服务器根据每张人脸图像的人脸特征，对多张人脸图像进行聚类，得到多个人脸图像集合。

5、服务器确定每张人脸图像的人体区域。

6、服务器将每张人脸图像的人脸区域与人体区域进行关联，得到人脸人体对。

7、服务器从与每张人脸图像的人脸区域相关联的人体区域中，提取人体特征。

8、基于所提取的人体特征，服务器对上述步骤4中得到的多个人脸图像集合进行合并及筛选，得到对多张人脸图像的最终聚类结果。

本发明实施例提供的方法，在对人脸图像进行聚类时，通过将人脸区域和人体区域进行关联，并基于相关联的人体区域，对人脸图像的聚类结果进行优化，将属于同一用户的人脸图像集合进行合并，提高了人脸图像聚类的准确性。

接下来对本发明实施例提供的人脸图像的聚类装置进行详述

参见图5，本发明实施例提供了一种人脸图像的聚类装置，该装置包括：

确定模块501，用于对于多张人脸图像，确定每张人脸图像的人脸区域和人体区域；

聚类模块502，用于根据从每张人脸图像的人脸区域中提取的人脸特征，对多张人脸图像进行聚类，得到多个人脸图像集合；

关联模块503，用于根据每张人脸图像的人脸区域和人体区域包括的关键点，对每张人脸图像的人脸区域和人体区域进行关联，其中，人脸区域与人体区域之间一一关联；

确定模块501，用于对于任意两个人脸图像集合，根据与两个人脸图像集合中每张人脸图像的人脸区域相关联的人体区域，确定两个人脸图像集合之间的集合相似度；

合并模块504，用于如果集合相似度满足第一阈值条件，则将两个人脸图像集合进行合并。

在本发明的另一个实施例中，该装置还包括：

确定模块501，用于从每张人脸图像的人脸区域中，确定每张人脸图像的五官关键点；

归一化模块，用于根据每张人脸图像的五官关键点，对每张人脸图像进行归一化；

特征提取模块，用于从每张归一化的人脸图像中，提取每张人脸图像的人脸特征。

在本发明的另一个实施例中，关联模块503，用于对于任一张人脸图像，获取人脸图像的每个人脸区域包括的关键点数量，并获取人脸图像的每个人体区域包括的关键点数量；对于任一人体区域，获取人脸图像的每个人脸区域与人体区域包括的相同关键点数量；获取与人体区域包括的相同关键点数量最多的人脸区域；将人体区域与人脸区域进行关联。

在本发明的另一个实施例中，该装置还包括：

获取模块，用于如果与人体区域包括的相同关键点数量最多的人脸区域为至少两个，则获取每个包括相同关键点数量最多的人脸区域与人体区域之间的重合度，重合度用于表征人脸区域和人体区域之间的重合程度；

获取模块，用于获取与人体区域之间重合度最大的人脸区域；

关联模块503，用于将人体区域与人脸区域进行关联。

在本发明的另一个实施例中，该装置还包括：

处理模块，用于剔除人体区域和人脸区域，并继续执行将人脸图像的人体区域与人脸区域进行关联的操作，直至人脸图像的每个人体区域均与人脸区域进行关联。

在本发明的另一个实施例中，确定模块501，用于从与第一人脸图像集合中每张人脸图像的人脸区域相关联的人体区域中，提取第一人体特征；从与第二人脸图像集合中每张人脸图像的人脸区域相关联的人体区域中，提取第二人体特征，第一人脸图像集合和第二人脸图像集合为任意两个人脸图像集合；获取第一人脸图像集合的每个第一人体特征与第二人脸图像集合的每个第二人体特征之间的相似度；根据相似度计算结果，确定两个人脸图像集合之间的集合相似度。

在本发明的另一个实施例中，该装置还包括：

筛选模块，用于对于任一人脸图像集合，根据与人脸图像集合中每张人脸图像的人脸区域相关联的人体区域，对人脸图像集合进行筛选。

在本发明的另一个实施例中，筛选模块，用于从与人脸图像集合中每张人脸图像的人脸区域相关联的人体区域中，提取第三人体特征；对于任一张人脸图像，获取人脸图像的第三人体特征与人脸图像集合中其他每张人脸图像的第三人体特征之间的相似度；如果满足第二阈值条件的相似度数量小于预设数量，则将人脸图像从人脸图像集合中删除。

综上，本发明实施例提供的装置，在对人脸图像进行聚类时，通过将人脸区域和人体区域进行关联，并基于相关联的人体区域，对人脸图像的聚类结果进行优化，将属于同一用户的人脸图像集合进行合并，提高了人脸图像聚类的准确性。

接着对本发明实施例所涉及的用于人脸图像聚类的服务器进行详述

图6是根据一示例性实施例示出的一种用于人脸图像聚类的服务器。参照图6，服务器600包括处理组件622，其进一步包括一个或多个处理器，以及由存储器632所代表的存储器资源，用于存储可由处理组件622的执行的指令，例如应用程序。存储器632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件622被配置为执行指令，以执行上述人脸图像的聚类方法中服务器所执行的功能。

服务器600还可以包括一个电源组件626被配置为执行服务器600的电源管理，一个有线或无线网络接口650被配置为将服务器600连接到网络，和一个输入输出(I/O)接口658。服务器600可以操作基于存储在存储器632的操作系统，例如Windows Server^TM，Mac OSX^TM，Unix^TM,Linux^TM，FreeBSD^TM或类似。

本发明实施例提供的服务器，在对人脸图像进行聚类时，通过将人脸区域和人体区域进行关联，并基于相关联的人体区域，对人脸图像的聚类结果进行优化，将属于同一用户的人脸图像集合进行合并，提高了人脸图像聚类的准确性。

最后对本发明实施例涉及的计算机可读存储介质进行详述

本发明实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由处理器加载并执行以实现图2所述的人脸图像的聚类方法。

本发明实施例提供的计算机可读存储介质，在对人脸图像进行聚类时，通过将人脸区域和人体区域进行关联，并基于相关联的人体区域，对人脸图像的聚类结果进行优化，将属于同一用户的人脸图像集合进行合并，提高了人脸图像聚类的准确性。

需要说明的是：上述实施例提供的人脸图像的聚类装置在进行人脸图像聚类时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将人脸图像的聚类装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的人脸图像的聚类装置与人脸图像的聚类方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种人脸图像的聚类方法，其特征在于，所述方法包括：

对于多张人脸图像，确定每张人脸图像的人脸区域和人体区域；

根据从每张人脸图像的人脸区域中提取的人脸特征，对所述多张人脸图像进行聚类，得到多个人脸图像集合；

根据每张人脸图像的人脸区域和人体区域包括的关键点，对每张人脸图像的人脸区域和人体区域进行关联，其中，人脸区域与人体区域之间一一关联；

对于任意两个人脸图像集合，根据与所述两个人脸图像集合中每张人脸图像的人脸区域相关联的人体区域，确定所述两个人脸图像集合之间的集合相似度；

如果所述集合相似度满足第一阈值条件，则将所述两个人脸图像集合进行合并。

2.根据权利要求1所述的方法，其特征在于，所述根据从每张人脸图像的人脸区域中提取的人脸特征，对所述多张人脸图像进行聚类之前，还包括：

从每张人脸图像的人脸区域中，确定每张人脸图像的五官关键点；

根据每张人脸图像的五官关键点，对每张人脸图像进行归一化；

从每张归一化的人脸图像中，提取每张人脸图像的人脸特征。

3.根据权利要求1所述的方法，其特征在于，所述根据每张人脸图像的人脸区域和人体区域包括的关键点，对每张人脸图像的人脸区域和人体区域进行关联，包括：

对于任一张人脸图像，获取所述人脸图像的每个人脸区域包括的关键点数量，并获取所述人脸图像的每个人体区域包括的关键点数量；

对于任一人体区域，获取所述人脸图像的每个人脸区域与所述人体区域包括的相同关键点数量；

获取与所述人体区域包括的相同关键点数量最多的人脸区域；

将所述人体区域与所述人脸区域进行关联。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

如果与所述人体区域包括的相同关键点数量最多的人脸区域为至少两个，则获取每个包括相同关键点数量最多的人脸区域与所述人体区域之间的重合度，所述重合度用于表征人脸区域和人体区域之间的重合程度；

获取与所述人体区域之间重合度最大的人脸区域；

将所述人体区域与所述人脸区域进行关联。

5.根据权利要求3所述的方法，其特征在于，所述将所述人体区域与所述人脸区域进行关联之后，还包括：

剔除所述人体区域和所述人脸区域，并继续执行将所述人脸图像的人体区域与人脸区域进行关联的操作，直至所述人脸图像的每个人体区域均与人脸区域进行关联。

6.根据权利要求1所述的方法，其特征在于，所述根据与所述两个人脸图像集合中每张人脸图像的人脸区域相关联的人体区域，确定所述两个人脸图像集合之间的集合相似度，包括：

从与第一人脸图像集合中每张人脸图像的人脸区域相关联的人体区域中，提取第一人体特征；

从与第二人脸图像集合中每张人脸图像的人脸区域相关联的人体区域中，提取第二人体特征，所述第一人脸图像集合和所述第二人脸图像集合为任意两个人脸图像集合；

获取所述第一人脸图像集合的每个第一人体特征与所述第二人脸图像集合的每个第二人体特征之间的相似度；

根据相似度计算结果，确定所述两个人脸图像集合之间的集合相似度。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：

对于任一人脸图像集合，根据与所述人脸图像集合中每张人脸图像的人脸区域相关联的人体区域，对所述人脸图像集合进行筛选。

8.根据权利要求7所述的方法，其特征在于，所述根据与所述人脸图像集合中每张人脸图像的人脸区域相关联的人体区域，对所述人脸图像集合进行筛选，包括：

从与所述人脸图像集合中每张人脸图像的人脸区域相关联的人体区域中，提取第三人体特征；

对于任一张人脸图像，获取所述人脸图像的第三人体特征与所述人脸图像集合中其他每张人脸图像的第三人体特征之间的相似度；

如果满足第二阈值条件的相似度数量小于预设数量，则将所述人脸图像从所述人脸图像集合中删除。

9.一种人脸图像的聚类装置，其特征在于，所述装置包括：

确定模块，用于对于多张人脸图像，确定每张人脸图像的人脸区域和人体区域；

聚类模块，用于根据从每张人脸图像的人脸区域中提取的人脸特征，对所述多张人脸图像进行聚类，得到多个人脸图像集合；

关联模块，用于根据每张人脸图像的人脸区域和人体区域包括的关键点，对每张人脸图像的人脸区域和人体区域进行关联，其中，人脸区域与人体区域之间一一关联；

所述确定模块，用于对于任意两个人脸图像集合，根据与所述两个人脸图像集合中每张人脸图像的人脸区域相关联的人体区域，确定所述两个人脸图像集合之间的集合相似度；

合并模块，用于如果所述集合相似度满足第一阈值条件，则将所述两个人脸图像集合进行合并。

10.根据权利要求9所述的装置，其特征在于，所述关联模块，用于对于任一张人脸图像，获取所述人脸图像的每个人脸区域包括的关键点数量，并获取所述人脸图像的每个人体区域包括的关键点数量；对于任一人体区域，获取所述人脸图像的每个人脸区域与所述人体区域包括的相同关键点数量；获取与所述人体区域包括的相同关键点数量最多的人脸区域；将所述人体区域与所述人脸区域进行关联。

11.根据权利要求10所述的装置，其特征在于，所述装置还包括：

获取模块，用于如果与所述人体区域包括的相同关键点数量最多的人脸区域为至少两个，则获取每个包括相同关键点数量最多的人脸区域与所述人体区域之间的重合度，所述重合度用于表征人脸区域和人体区域之间的重合程度；

所述获取模块，用于获取与所述人体区域之间重合度最大的人脸区域；

所述关联模块，用于将所述人体区域与所述人脸区域进行关联。

12.根据权利要求9所述的装置，其特征在于，所述确定模块，用于从与第一人脸图像集合中每张人脸图像的人脸区域相关联的人体区域中，提取第一人体特征；从与第二人脸图像集合中每张人脸图像的人脸区域相关联的人体区域中，提取第二人体特征，所述第一人脸图像集合和所述第二人脸图像集合为任意两个人脸图像集合；获取所述第一人脸图像集合的每个第一人体特征与所述第二人脸图像集合的每个第二人体特征之间的相似度；根据相似度计算结果，确定所述两个人脸图像集合之间的集合相似度。

13.根据权利要求9至12中任一项所述的装置，其特征在于，所述装置还包括：

筛选模块，用于对于任一人脸图像集合，根据与所述人脸图像集合中每张人脸图像的人脸区域相关联的人体区域，对所述人脸图像集合进行筛选。

14.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至8中任一项所述的人脸图像的聚类方法。

15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由处理器加载并执行以实现如权利要求1至8中任一项所述的人脸图像的聚类方法。