CN111160169A - 人脸检测方法、装置、设备及计算机可读存储介质 - Google Patents
人脸检测方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111160169A CN111160169A CN201911313661.9A CN201911313661A CN111160169A CN 111160169 A CN111160169 A CN 111160169A CN 201911313661 A CN201911313661 A CN 201911313661A CN 111160169 A CN111160169 A CN 111160169A
- Authority
- CN
- China
- Prior art keywords
- human head
- human
- face detection
- face
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种人脸检测方法、装置、设备及计算机可读存储介质,该人脸检测方法包括步骤:实时采集获得样本图像;基于目标物体检测算法对样本图像进行训练以获得人头检测网络模型;将待检测的目标图像输入人头检测网络模型,得到人头边界框信息,并按照人头边界框信息在目标图像上截取包含人头的子图像;对子图像进行肤色聚类,计算子图像的皮肤占比实现人头检测。本发明提出的人脸检测方法基于目标物体检测算法用于实时人头检测,将检测的人头图片再基于肤色聚类模型得出皮肤占比面积,来判断是人脸还是非人脸,既可以用于人头计数场景又可用于人脸识别场景,并能够提高检测速度及精度。
Description
技术领域
本发明涉及人脸识别技术领域,尤其涉及一种人脸检测方法、装置、设备及计算机可读存储介质。
背景技术
人类活动的检测已经在视频自动监控、人机交互等多方面应用中起到了关键作用。在利用计算机实现的自动识别系统中,对人的头部进行检测被认为是检测人活动最有效的手段之一。如今,头部检测已经应用在了许多领域,例如针对行人的检测和针对乘客流量的检测。对乘客流量的检测,摄像头通常安装在人头上方,从上而下进行拍摄。人头检测的主要任务是确定人头部分的大小及位置。通过摄像头采集的实时图像被作为输入,自动识别系统对其进行处理,输出关于图像中是否存在头部或者头部的个数、位置等数学描述信息。
摄像头从上而下拍摄,获得的人头图像就是一个类圆形目标。基于这种环境的人头检测方法已经发展出很多,它们各自有其局限性。譬如,采用随机抽取四个边缘点,通过计算它们的距离来判断是否存在一个可能的圆形目标,该方法在噪声干扰比较大的环境下,命中率很低,从而影响其检测速度。模糊C均值聚类方法由于首先要确定聚类数目而很难在这种聚类数目随机变化的情况下使用。检测类圆形目标的最常用的方法就是Hough变换(HT)。HT由于对噪声不敏感以及对不连续边缘具有很强的鲁棒性,而得到广泛应用。但是Hough变换不但占用大量的内存,而且对具有三维参数空间圆形目标的检测,HT的实时性问题显得很突出。后来发展了很多提高HT速度和降低内存需求量的算法,如随机Hough变换(RHT)、基于梯度信息的Hough变换(GHT)等。这些改进的Hough变换在噪声干扰比较大的时候都难以解决实时性问题。
基于上述现有方法中存在的缺陷,实有必要提供一种新的人脸检测方法、装置、设备及计算机可读存储介质以满足高效、精确的检测和识别人脸的需求。
发明内容
本发明提供一种人脸检测方法、装置、设备及计算机可读存储介质,其主要目的在于提供一种简单且精确度高的人脸检测方法以取代现有的人脸检测方法。
为实现上述目的,本发明还提供一种人脸检测方法,所述方法包括如下步骤:
实时采集获得样本图像;
基于目标物体检测算法对所述样本图像进行训练以获得人头检测网络模型,所述人头检测网络模型用于检测待检测的目标图像中的人头;
将待检测的目标图像输入所述人头检测网络模型,得到人头边界框信息,并按照所述人头边界框信息在所述目标图像上截取包含人头的子图像;
对所述子图像进行肤色聚类,并将包含肤色的部分连接成连通区域;
计算所述子图像的皮肤占比,若所述皮肤占比大于第一预设阈值,则检测所述连通区域;
判断所述连通区域在所述子图像中的分布是否满足预置规则,若是,则判定所述目标图像为人头,否则判定所述目标图像为非人头。
优选的,所述基于目标物体检测算法对所述样本图像进行训练以获得人头检测网络模型的方法为:
对实时采集获得的所述样本图像依次进行预处理,得到多个处理后的样本图像以形成行人样本集;
将所述行人样本集按一定比例随机分为训练集和验证集;
获取针对所述验证集中预标注的人头标注信息,采用标注工具对人头进行人工标注,生成相应的标签文件;
通过训练集进行目标预测;
将所述训练集目标预测的结果与验证集的标签文件进行比较,实现所述训练集参数验证和模型校准。
优选的,通过训练集进行目标预测的方法为:
将样本图像划分为多个网格,用于预测概率值和回归值并确定边界框;
利用置信度和非极大值抑制筛选边界框;每个边界框对应一个置信度,通过设置置信度阈值,执行非极大值抑制,去除置信度低于阈值的边界框,并取置信度高于阈值的边界框的并集作为预测结果。
优选的,通过验证集进行参数验证和模型校准的方法为:
将通过人头检测网络模型检测人头,得到的预测用的人头边界框信息与参照用的人头边界框信息做比对,得到两者的均方值和误差值;
以均方值和误差值作为损失函数优化人头检测网络模型的参数。
优选的,将优化完成的人头检测网络模型的参数与验证集中标注的参数进行比较,观察是否正确检测出人头;
如果人头检测网络模型的精确率和查全率达到预先设定的指标,则进行将待检测的目标图像输入所述人头检测网络模型进行人头检测的步骤;
如果人头检测网络模型的精确率和查全率未达到所述预先设定的指标,则添加新的训练集对人头检测网络模型进行训练,直至人头检测网络模型的精确率和查全率达到所述预先设定的指标。
优选的,将所述子图像进行肤色聚类的方法为:
将所述子图像转换成HSV色彩空间;
分别计算颜色样本中H、S、V三通道的直方图H1、H2、H3,并将直方图H1、H2、H3进行归一化处理;
将子图像分割成小区域,对每个小区域分别计算H、S、V三通道的直方图h1、h2、h3,并将h1、h2、h3归一化处理;
采用欧氏距离的标准,将归一化处理后的所述子图像的直方图H1、H2、H3与跟所述小区域内对应的直方图逐一进行相似度比较;
获取预设的相似度的阈值,将相似度高于阈值的区域内的像素点置为255,将相似度低于阈值的区域内的像素点置为0。
优选的,该方法还包括:根据连通区域中皮肤占比判定人头的朝向,识别是人脸区域还是后脑勺区域。
为实现上述目的,本发明还提供一种人脸检测装置,所述装置包括存储器和处理器,所述存储器存储有可在所述处理器上运行的人脸检测程序,所述人脸检测程序被所述处理器执行时实现如上所述人脸检测方法的步骤。
为实现上述目的,本发明还提供一种人脸检测设备,所述包括如上所述的人脸检测装置。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有人脸检测程序,所述人脸检测程序可被一个或者多个处理器执行,以实现如上所述人脸检测方法的步骤。
本发明提出的人脸检测方法采用基于目标物体检测算法yolov3用于实时人头检测,将检测的人头图片再基于肤色聚类模型得出皮肤占比面积判断是人脸还是非人脸,既可以用于人头计数场景又可用于人脸识别场景,大大提高检测速度及精度。
技术效果说明:
一、基于目标物体检测算法YOLOv3的深度学习网络,并将YOLOv3模型的网络权重用于标注大量非人工标注的图像数据,通过数次的图像数据标注和训练过程,完成图像识别项目数据集的智能标注,同时得到与此图像识别项目对应的强化模型。
二、通过肤色聚类,计算肤色占比判断人脸还是非人脸,避开复杂的数学公式和Hough变换中抽象的空间转换概念,提高了准确率,具有内存占用小、高实时性的特点。
三、通过肤色聚类和构建人脸朝向的滤波,实现人脸朝向的精确检测。
附图说明
图1为本发明一实施例提供的人脸检测方法的流程示意图。
图2为本发明一实施例提供的人脸检测装置的内部结构示意图;
图3为本发明一实施例提供的人脸检测装置中人脸检测程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种人脸检测方法,采用基于目标物体检测算法yolov3用于实时人头检测,将检测的人头图片再基于肤色聚类模型得出皮肤占比面积判断是人脸还是非人脸。下面结合具体实施例进行说明:
实施例一:
参照图1所示,为本发明一实施例提供的人脸检测方法的流程示意图。该方法可以由一个装置执行,该装置可以由软件和/或硬件实现。
在本实施例中,人脸检测方法包括:
步骤S1:实时采集获得人头图片的样本图像,基于目标物体检测算法yolov3对样本图像进行训练获得训练好的人头检测网络模型;
具体包括如下步骤:
1)创建样本集和标签文件
1.1)样本采集:对采集的样本图像进行预处理,并制作行人样本集;
1.2)将采集的样本图像的大小转换为2048×2048,将样本图像构成的样本集按一定比例随机分为训练集和验证集;
1.3)获取针对所述验证集中预标注的人头标注信息,生成相应的标签文件;其中人头标注信息为预先由专家进行标注,目的在于生成人头检测网络模型,其中,为边界框的中心坐标,分别为边界框的宽和高,class表示目标物体的种类,class=0代表背景,class=1代表人头识别;
2)基于目标物体检测算法YOLOv3创建和训练人头检测网络模型,具体步骤如下:
2.1)分别创建YOLOv3网络模型的5个层级:卷积层、跳过连接层、上采样层、路由层、YOLOv3检测层,并设置网络参数;
2.2)输入所述训练集进行目标预测;具体过程包括:
al)输入训练集,将样本图像分为16×16个网格,每个网格预测一个概率值和3个边界框,每个边界框预测五个回归值,包括边界框的中心点坐标、边界框的宽度和高度、边界框包含人头的概率和边界框位置的准确度;
a2)利用置信度和非极大值抑制筛选边界框:置信度Pr(Object)∈(0,
1),为边界框包含人头的概率;al是预测的边界框与人工标注的边界框之间重叠部分的面积,a2是预测的边界框与人工标注的边界框两者并集的面积;步骤al)预测得到多个边界框,每个边界框对应一个置信度,通过设置置信度阈值,执行非极大值抑制,去除置信度低于阈值的边界框,并取置信度高于阈值的边界框的并集作为预测结果;
2.3)更新YOLOv3网络模型参数:通过人工标注得到参照用的人头边界框信息;
将通过YOLOv3网络模型检测人头,得到的预测用的人头边界框信息与参照用的人头边界框信息做比对,得到两者的均方值和误差值;
以均方值和误差值作为损失函数优化YOLOv3网络模型参数;
所述损失函数如下定义:
其中,(xi,yi),wi,hi,Ci,pi(C)分别代表经过YOLOv3网络预测得到的边界框的中心坐标、宽度、高度、IoU值、边界框中目标物体为人头的概率,分别对应人工标注的值。具体的,默认人工标注的人头值为1,背景值为0;λcoord为坐标误差权重,λnoobj为IoU误差权重;判断网格i的第j个边界框是否负责预测目标物体,并判断目标物体的中心是否在网格i中,具体定义如下:将上述损失函数计算得到的误差进行反向传播,完成一次训练;调整网络参数,重复步骤2.3),直至网络收敛;
2.4)将验证集输入训练完成的YOLOv3网络模型,将输出的参数与验证集中标签文件标注的参数进行比较,以判断是否正确检测出人头;所得YOLOv3网络模型的精确率和查全率定义如下:如果YOLOv3网络模型的精确率和查全率达到指标,则进行步骤S2等检测人头、提取特征的后续步骤;如果YOLOv3网络模型的精确率和查全率不达到预先设定的指标,则添加新的训练集对YOLOv3网络模型进行训练,直至YOLOv3网络模型的精确率和查全率达到预先设定的指标。
步骤S2:提取输入待检测的目标图像,利用训练好的YOLOv3网络模型检测人头,得到人头边界框信息,并通过上述得到的人头边界框信息从目标图像中截取出人头所在的边界框,得到子图像。
步骤S3:将子图像进行肤色聚类,提取人头特征,具体的,在本实施方式中,肤色聚类包括如下步骤:
3.1)将所述子图像转换成HSV色彩空间(Hue,Saturation,Value),其中H代表色调,S代表饱和度,V代表明度明度;
3.2)采用颜色直方图比较的方法对子图像进行阈值分割处理,具体步骤如下:b1)分别计算颜色样本中H、S、V三通道的直方图H1、H2、H3,并将H1、H2、H3归一化,以便与子图像对应的直方图进行对比;b2)将子图像分割成小区域I,对每个小区域I分别计算H、S、V三通道的直方图h1、h2、h3,并将h1、h2、h3归一化处理;b3)采用欧氏距离的标准,将归一化处理后的所述子图像的直方图H1、H2、H3与跟所述小区域内对应的直方图逐一进行相似度A的比较,即,将H1与h1比较,H2与h2比较,H3与h3比较,相似度A的数值越大表示相似度越大;b4)设置相似度的阈值,将相似度高于阈值的区域内的像素点置为255,将相似度低于阈值的区域内的像素点置为0;
3.3)对图像进行膨胀操作,将包含肤色的部分连接成连通区域。
步骤S4:根据人头边界框信息和人头特征模拟计算得出子图像的皮肤占比,并根据计算得出的皮肤占比判断是人脸还是非人脸,进行实施检测的反馈得到人脸检测结果,具体包括:
4.1)根据人头边界框信息检测目标图像中的皮肤区域;若所述皮肤区域在目标图像整体区域中的占比大于第一预设阈值,则检测所述目标图像中的连通域;
4.2)根据人头特征判断所述连通域在子图像中的分布是否满足预置规则,若是,则判定所述目标图像为人头,否则判断为非人头。在本实施例中,所述预置规则是指连通区域中皮肤位置和皮肤占比符合人脸在人头上的分布规律。
4.3)根据连通区域中皮肤的占比判定人头的朝向,若连通区域内的皮肤占比大于预设值,则判断为人脸区域,否则判定为后脑勺。同时实现人头和人脸的检测,并进一步进行实施检测的反馈以验证人脸检测结果。
步骤S5:根据人脸检测结果进一步判定人头朝向,具体包括如下步骤:
5.1)为了反映行人与摄像机的相对运动造成的人头与摄像机之间的朝向偏移,采用运动模糊构建滤波器f,滤波器f构建过程如下所述:
构造一个二维矩阵f,f的大小应满足能够恰好容纳一条长度为len,斜率为tanθ的线段l,假设矩阵的大小为axb,则a=len*cosθ+1,b=len*sinθ;模糊角度为θ的运动模糊即表示在与水平方向夹角为θ的方向上运动len个像素
对矩阵f中的位置(i,j),计算该位置与线段l的最小距离N_D:
N_D=jcosθ-isinθ
根据最小距离N_D计算(i,j)处的系数值:
f(I,j)=max(1-N_D,0);
5.3)对图像进行滤波处理:
以多个像素大小为模糊长度,以多个角度分别构建不同的滤波器对图像进行滤波处理,将所获得的多尺度采样图像添加至数据集中,所有标签与原图像相同。
5.4)重复前述YOLOV3模型的训练过程,可以实现人脸朝向的精确识别。
实施例二
本实施例与第一实施例基本相同,一种人脸检测方法,其特征在于,所述方法包括如下步骤:
步骤S1:基于目标物体检测算法YOLOv3实时进行人头检测得到人头图片;
步骤S2:利用训练好的YOLOv3网络模型检测人头,得到人头边界框信息,并通过人头边界框信息截取人头图片上人头所在的边界框,得到子图像;
步骤S3:将子图像进行肤色聚类,提取人头特征;
步骤S4:根据人头边界框信息和人头特征模拟计算得出皮肤占比面积;并根据计算得到的皮肤占比面积得到的判断是人脸还是非人脸,进行实施检测的反馈得到人脸检测结果。
区别仅在于,在本实施方式中,步骤S3的人头特征提取为选取人头的颜色样本的RBG值,跟进RBG值肤色聚类模型得出皮肤占比面积可以判断是否为人脸。
本发明提出的人脸检测方法采用基于目标物体检测算法yolov3,能够实时人头检测,将检测的人头图片再基于肤色聚类模型得出皮肤占比面积判断是人脸还是非人脸,既可以用于人头计数场景又可用于人脸识别场景,并能够提高检测速度及精度。
本发明还提供一种人脸检测装置。参照图2所示,为本发明一实施例为提供的人脸检测装置的内部结构示意图。
在本实施例中,所述人脸检测装置可以是PC(Personal Computer,个人电脑),也可以是智能手机、平板电脑、便携计算机等终端设备。该人脸检测装置至少包括存储器11、处理器12、网络接口13以及通信总线14。
其中,所述存储器11至少包括一种类型的计算机可读存储介质,所述计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是人脸检测装置的内部存储单元,例如该人脸检测装置的硬盘。所述存储器11在另一些实施例中也可以是人脸检测装置的外部存储设备,例如人脸检测装置上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括人脸检测装置的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于人脸检测装置的应用软件及各类数据,例如人脸检测程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行所述存储器11中存储的程序代码或处理数据,例如执行人脸检测程序等。
所述网络接口13可选的可以包括标准的有线接口、无线接口(如WI-FI接口),通常用于在该人脸检测装置与其他电子设备之间建立通信连接。
所述通信总线14用于实现这些组件之间的连接通信。
图2仅示出了具有组件11至14以及人脸检测程序的人脸检测装置,本领域技术人员可以理解的是,图2示出的结构并不构成对人脸检测装置的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
在图2所示的人脸检测装置实施例中,所述存储器11中存储有人脸检测程序;所述处理器12执行所述存储器11中存储的人脸检测程序时实现如下步骤:
基于目标物体检测算法YOLOv3实时进行人头检测得到人头图片;
利用训练好的YOLOv3网络模型检测人头,得到人头边界框信息,并通过人头边界框信息截取人头图片上人头所在的边界框,得到子图像;
将子图像进行肤色聚类来提取人头特征;
根据人头边界框信息和人头特征模拟计算得出皮肤占比面积;
根据皮肤占比面积判断是人脸还是非人脸,得到人脸检测结果。
在本实施例中,所述人脸检测程序包括一系列可被计算机处理器执行的计算机程序指令构成的功能模块,能够完成本发明所述人脸检测方法,所述人脸检测程序存储在如图2所示的存储器11中。例如,参照图3所示,为本发明人脸检测装置一实施例中的人脸检测程序的程序模块示意图。在该实施例中,所述人脸检测程序可以被分割为人头检测模块10、人头特征提取模块20以及人脸检测模块30,示例性地:
所述人头检测模块10用于基于目标物体检测算法YOLOv3实时进行人头检测得到人头图片;
所述人头检测模块10还用于利用训练好的YOLOv3网络模型检测人头,得到人头边界框信息;
所述人头特征提取模块20用于将子图像进行肤色聚类来提取人头特征;
所述人脸检测模块30用于模拟计算得出皮肤占比面积,以及根据皮肤占比面积判断是人脸还是非人脸,得到人脸检测结果。
上述人头检测模块10、人头特征提取模块20以及人脸检测模块30等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同,在此不再赘述。
本发明提供的人脸检测装置所实现的人脸检测操作步骤方法具体实施方式与上述人脸检测装置和方法各实施例基本相同,在此不作累述。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有人脸检测程序,所述人脸检测程序可被一个或多个处理器执行,以实现如下操作:
基于目标物体检测算法YOLOv3实时进行人头检测得到人头图片;
利用训练好的YOLOv3网络模型检测人头,得到人头边界框信息,并通过人头边界框信息截取人头图片上人头所在的边界框,得到子图像;
将子图像进行肤色聚类来提取人头特征;
模拟计算得出皮肤占比面积;
根据皮肤占比面积判断是人脸还是非人脸,得到人脸检测结果。
本发明提供的计算机可读存储介质存储的人脸检测程序所实现的人脸检测操作步骤方法具体实施方式与上述人脸检测装置和方法各实施例基本相同,在此不作累述。
本发明提供的人脸检测方法、装置及存储有人脸检测程序的计算机可读介质,能够取得的技术效果说明:
一、基于YOLOv3的深度学习网络,并将YOLOv3模型的网络权重用于标注大量非人工标注的图像数据,通过数次的图像数据标注和训练过程,完成图像识别项目数据集的智能标注,同时得到与此图像识别项目对应的强化模型。
二、通过肤色聚类,计算肤色占比判断人脸还是非人脸,避开复杂的数学公式和Hough变换中抽象的空间转换概念,提高了准确率,具有内存占用小、高实时性的特点。
三、通过肤色聚类和构建人脸朝向的滤波,实现人脸朝向的精确检测。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种人脸检测方法,其特征在于,所述方法包括如下步骤:
实时采集获得样本图像,基于目标物体检测算法对所述样本图像进行训练以获得人头检测网络模型,所述人头检测网络模型用于检测目标图像中的人头;
将待检测的目标图像输入所述人头检测网络模型,得到人头边界框信息,并按照所述人头边界框信息在所述目标图像上截取包含人头的子图像;
对所述子图像进行肤色聚类,并将包含肤色的部分连接成连通区域;
计算所述子图像的皮肤占比,若所述皮肤占比大于第一预设阈值,则检测所述连通区域;
判断所述连通区域在所述子图像中的分布是否满足预置规则,若是,则判定所述目标图像为人头,否则判定所述目标图像为非人头。
2.如权利要求1所述的人脸检测方法,其特征在于,所述基于目标物体检测算法对所述样本图像进行训练以获得人头检测网络模型的方法为:
对实时采集获得的所述样本图像依次进行预处理,得到多个处理后的样本图像以形成行人样本集;
将所述行人样本集按一定比例随机分为训练集和验证集;
获取针对所述验证集中预标注的人头标注信息,生成相应的标签文件;
通过所述训练集进行目标预测;
将所述训练集目标预测的结果与验证集的标签文件进行比较,实现所述训练集参数验证和模型校准。
3.如权利要求2所述的人脸检测方法,其特征在于,所述通过训练集进行目标预测的方法为:
将样本图像划分为多个网格,用于预测概率值和回归值并确定边界框;
利用置信度和非极大值抑制筛选所述边界框;
并取置信度高于阈值的边界框的并集作为预测结果。
4.如权利要求3所述的人脸检测方法,其特征在于,所述通过验证集进行参数验证和模型校准的方法为:
将通过人头检测网络模型检测人头,得到的预测用的人头边界框信息与参照用的人头边界框信息做比对,得到两者的均方值和误差值;
以均方值和误差值作为损失函数优化人头检测网络模型的参数。
5.如权利要求4所述的人脸检测方法,其特征在于,所述通过验证集进行参数验证和模型校准的方法还包括:
将优化完成的人头检测网络模型的参数与验证集中标注的参数进行比较,观察是否正确检测出人头;
如果人头检测网络模型的精确率和查全率达到预先设定的指标,则进行将待检测的目标图像输入所述人头检测网络模型进行人头检测的步骤;
如果人头检测网络模型的精确率和查全率未达到所述预先设定的指标,则添加新的训练集对人头检测网络模型进行训练,直至人头检测网络模型的精确率和查全率达到所述预先设定的指标。
6.如权利要求1所述的人脸检测方法,其特征在于,所述将所述子图像进行肤色聚类的方法为:
将所述子图像转换成HSV色彩空间;
分别计算色彩空间中H、S、V三通道的直方图H1、H2、H3,并将直方图H1、H2、H3进行归一化处理;
将所述子图像分割成小区域,对每个小区域分别计算H、S、V三通道的直方图h1、h2、h3,并将h1、h2、h3归一化处理;
采用欧氏距离的标准,将归一化处理后的所述子图像的直方图H1、H2、H3与跟所述小区域内对应的直方图逐一进行相似度比较;
获取预设的相似度的阈值,将相似度高于阈值的区域内的像素点置为255,将相似度低于阈值的区域内的像素点置为0。
7.如权利要求1所述的人脸检测方法,其特征在于,该方法还包括:根据连通区域中皮肤占比判定人头的朝向,识别是人脸区域还是后脑勺区域。
8.一种人脸检测装置,其特征在于,该装置包括存储器和处理器,所述存储器存储有可在所述处理器上运行的人脸检测程序,所述人脸检测程序被所述处理器执行时实现如权利要求1至7任一项所述人脸检测方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有人脸检测程序,所述人脸检测程序可被一个或者多个处理器执行,以实现如权利要求1至7任一项所述人脸检测方法的步骤。
10.一种人脸检测设备,其特征在于,包括如权利要求8所述的人脸检测装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911313661.9A CN111160169B (zh) | 2019-12-18 | 2019-12-18 | 人脸检测方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911313661.9A CN111160169B (zh) | 2019-12-18 | 2019-12-18 | 人脸检测方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111160169A true CN111160169A (zh) | 2020-05-15 |
| CN111160169B CN111160169B (zh) | 2024-03-15 |
Family
ID=70557274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911313661.9A Active CN111160169B (zh) | 2019-12-18 | 2019-12-18 | 人脸检测方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160169B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111209845A (zh) * | 2020-01-03 | 2020-05-29 | 平安科技(深圳)有限公司 | 人脸识别方法、装置、计算机设备及存储介质 |
| CN111708907A (zh) * | 2020-06-11 | 2020-09-25 | 中国建设银行股份有限公司 | 一种目标人员的查询方法、装置、设备及存储介质 |
| CN111931670A (zh) * | 2020-08-14 | 2020-11-13 | 成都数城科技有限公司 | 基于卷积神经网的深度图像头部检测与定位方法及系统 |
| CN112036345A (zh) * | 2020-09-04 | 2020-12-04 | 京东方科技集团股份有限公司 | 目标场所人数的检测方法、推荐方法、检测系统及介质 |
| CN112347843A (zh) * | 2020-09-18 | 2021-02-09 | 深圳数联天下智能科技有限公司 | 一种训练皱纹检测模型的方法及相关装置 |
| CN112364685A (zh) * | 2020-09-22 | 2021-02-12 | 深圳数联天下智能科技有限公司 | 痤疮检测方法、痤疮检测模型训练方法及相关装置 |
| CN112528265A (zh) * | 2020-12-18 | 2021-03-19 | 平安银行股份有限公司 | 基于在线会议的身份识别方法、装置、设备及介质 |
| CN113436273A (zh) * | 2021-06-28 | 2021-09-24 | 南京冲浪智行科技有限公司 | 一种3d场景定标方法、定标装置及其定标应用 |
| CN114972808A (zh) * | 2022-05-19 | 2022-08-30 | 深圳大学 | 一种图关系网络人数统计方法及相关设备 |
| CN116152877A (zh) * | 2022-08-12 | 2023-05-23 | 北京罗克维尔斯科技有限公司 | 人头人脸检测方法、装置、电子设备和存储介质 |
| CN118644618A (zh) * | 2024-06-06 | 2024-09-13 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050141762A1 (en) * | 2003-12-29 | 2005-06-30 | Industrial Technology Research Institute | Method for adjusting image acquisition parameters to optimize object extraction |
| CN105469356A (zh) * | 2015-11-23 | 2016-04-06 | 小米科技有限责任公司 | 人脸图像处理方法及装置 |
| CN106446958A (zh) * | 2016-10-09 | 2017-02-22 | 湖南穗富眼电子科技有限公司 | 一种人体离开可靠检测方法 |
| CN106909883A (zh) * | 2017-01-17 | 2017-06-30 | 北京航空航天大学 | 一种基于ros的模块化手部区域检测方法和装置 |
| CN109033935A (zh) * | 2018-05-31 | 2018-12-18 | 深圳和而泰数据资源与云技术有限公司 | 抬头纹检测方法及装置 |
| CN109165592A (zh) * | 2018-08-16 | 2019-01-08 | 新智数字科技有限公司 | 一种基于pico算法的实时可旋转的人脸检测方法 |
| CN109446977A (zh) * | 2018-10-25 | 2019-03-08 | 平安科技(深圳)有限公司 | 基于人脸识别的图像处理方法、装置、存储介质及终端 |
| CN110084173A (zh) * | 2019-04-23 | 2019-08-02 | 精伦电子股份有限公司 | 人头检测方法及装置 |
| WO2019232862A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技(深圳)有限公司 | 嘴巴模型训练方法、嘴巴识别方法、装置、设备及介质 |
-
2019
- 2019-12-18 CN CN201911313661.9A patent/CN111160169B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050141762A1 (en) * | 2003-12-29 | 2005-06-30 | Industrial Technology Research Institute | Method for adjusting image acquisition parameters to optimize object extraction |
| CN105469356A (zh) * | 2015-11-23 | 2016-04-06 | 小米科技有限责任公司 | 人脸图像处理方法及装置 |
| CN106446958A (zh) * | 2016-10-09 | 2017-02-22 | 湖南穗富眼电子科技有限公司 | 一种人体离开可靠检测方法 |
| CN106909883A (zh) * | 2017-01-17 | 2017-06-30 | 北京航空航天大学 | 一种基于ros的模块化手部区域检测方法和装置 |
| CN109033935A (zh) * | 2018-05-31 | 2018-12-18 | 深圳和而泰数据资源与云技术有限公司 | 抬头纹检测方法及装置 |
| WO2019232862A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技(深圳)有限公司 | 嘴巴模型训练方法、嘴巴识别方法、装置、设备及介质 |
| CN109165592A (zh) * | 2018-08-16 | 2019-01-08 | 新智数字科技有限公司 | 一种基于pico算法的实时可旋转的人脸检测方法 |
| CN109446977A (zh) * | 2018-10-25 | 2019-03-08 | 平安科技(深圳)有限公司 | 基于人脸识别的图像处理方法、装置、存储介质及终端 |
| CN110084173A (zh) * | 2019-04-23 | 2019-08-02 | 精伦电子股份有限公司 | 人头检测方法及装置 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111209845A (zh) * | 2020-01-03 | 2020-05-29 | 平安科技(深圳)有限公司 | 人脸识别方法、装置、计算机设备及存储介质 |
| CN111708907B (zh) * | 2020-06-11 | 2023-07-18 | 中国建设银行股份有限公司 | 一种目标人员的查询方法、装置、设备及存储介质 |
| CN111708907A (zh) * | 2020-06-11 | 2020-09-25 | 中国建设银行股份有限公司 | 一种目标人员的查询方法、装置、设备及存储介质 |
| CN111931670A (zh) * | 2020-08-14 | 2020-11-13 | 成都数城科技有限公司 | 基于卷积神经网的深度图像头部检测与定位方法及系统 |
| CN111931670B (zh) * | 2020-08-14 | 2024-05-31 | 成都数城科技有限公司 | 基于卷积神经网的深度图像头部检测与定位方法及系统 |
| CN112036345A (zh) * | 2020-09-04 | 2020-12-04 | 京东方科技集团股份有限公司 | 目标场所人数的检测方法、推荐方法、检测系统及介质 |
| CN112036345B (zh) * | 2020-09-04 | 2025-02-25 | 京东方科技集团股份有限公司 | 目标场所人数的检测方法、推荐方法、检测系统及介质 |
| CN112347843A (zh) * | 2020-09-18 | 2021-02-09 | 深圳数联天下智能科技有限公司 | 一种训练皱纹检测模型的方法及相关装置 |
| CN112364685A (zh) * | 2020-09-22 | 2021-02-12 | 深圳数联天下智能科技有限公司 | 痤疮检测方法、痤疮检测模型训练方法及相关装置 |
| CN112528265A (zh) * | 2020-12-18 | 2021-03-19 | 平安银行股份有限公司 | 基于在线会议的身份识别方法、装置、设备及介质 |
| CN113436273A (zh) * | 2021-06-28 | 2021-09-24 | 南京冲浪智行科技有限公司 | 一种3d场景定标方法、定标装置及其定标应用 |
| CN114972808A (zh) * | 2022-05-19 | 2022-08-30 | 深圳大学 | 一种图关系网络人数统计方法及相关设备 |
| CN116152877A (zh) * | 2022-08-12 | 2023-05-23 | 北京罗克维尔斯科技有限公司 | 人头人脸检测方法、装置、电子设备和存储介质 |
| CN118644618A (zh) * | 2024-06-06 | 2024-09-13 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN118644618B (zh) * | 2024-06-06 | 2025-07-15 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111160169B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111160169B (zh) | 人脸检测方法、装置、设备及计算机可读存储介质 | |
| US10534957B2 (en) | Eyeball movement analysis method and device, and storage medium | |
| Xie et al. | Multilevel cloud detection in remote sensing images based on deep learning | |
| US10489636B2 (en) | Lip movement capturing method and device, and storage medium | |
| US8792722B2 (en) | Hand gesture detection | |
| JP6351240B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| EP3101594A1 (en) | Saliency information acquisition device and saliency information acquisition method | |
| CN110909618B (zh) | 一种宠物身份的识别方法及装置 | |
| CN113361495A (zh) | 人脸图像相似度的计算方法、装置、设备及存储介质 | |
| EP2879080B1 (en) | Image processing device and method, and computer readable medium | |
| WO2015161776A1 (en) | Hand motion identification method and apparatus | |
| EP2584529A2 (en) | Method of image processing and device therefore | |
| US10650234B2 (en) | Eyeball movement capturing method and device, and storage medium | |
| WO2016150240A1 (zh) | 身份认证方法和装置 | |
| CN114399729B (zh) | 监控对象移动识别方法、系统、终端及存储介质 | |
| CN107464245B (zh) | 一种图像结构边缘的定位方法及装置 | |
| US8094971B2 (en) | Method and system for automatically determining the orientation of a digital image | |
| JP2013206458A (ja) | 画像における外観及びコンテキストに基づく物体分類 | |
| JP5755516B2 (ja) | 物体形状推定装置 | |
| Ghandour et al. | Building shadow detection based on multi-thresholding segmentation | |
| CN114783042A (zh) | 基于多移动目标的人脸识别方法、装置、设备及存储介质 | |
| US20160292529A1 (en) | Image collation system, image collation method, and program | |
| JP2020008916A (ja) | 物体検出装置、物体検出プログラム、物体検出方法、及び学習装置 | |
| CN116363583B (zh) | 一种用于顶视角的人体识别方法、装置、设备及介质 | |
| CN119206530A (zh) | 一种遥感图像的动态目标识别方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |