CN113139426A - 一种佩戴安全帽的检测方法、装置、存储介质及终端 - Google Patents
一种佩戴安全帽的检测方法、装置、存储介质及终端 Download PDFInfo
- Publication number
- CN113139426A CN113139426A CN202110267693.0A CN202110267693A CN113139426A CN 113139426 A CN113139426 A CN 113139426A CN 202110267693 A CN202110267693 A CN 202110267693A CN 113139426 A CN113139426 A CN 113139426A
- Authority
- CN
- China
- Prior art keywords
- helmet
- safety helmet
- head
- wearing
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Helmets And Other Head Coverings (AREA)
Abstract
本发明公开了一种佩戴安全帽的检测方法、装置、存储介质及终端,该方法包括:接收来自图像采集设备实时发送的目标图像;将目标图像输入运行在当前芯片的程序中,所述程序中包含了基于预先训练的安全帽检测模型生成的wk文件;其中,安全帽检测模型基于训练数据集训练生成,训练数数据集包含三类检测目标;所述三类检测目标分别为戴安全帽的人头、未戴安全帽的人头和行人;安全帽检测模型为YOLOv4模型,YOLOv4模型是经过修改激活函数并经过通道裁剪后生成的;输出目标图像中所检测到的各对象的类型、各对象的位置和大小;基于各对象的类型、各对象的位置和大小判定行人是否佩戴安全帽。因此,采用本申请实施例,可以提高识别工人是否佩戴安全帽的准确度。
Description
技术领域
本发明涉及人工智能技术领域,特别涉及一种佩戴安全帽的检测方法、装置、存储介质及终端。
背景技术
在工地和工厂作业中,工人佩戴安全帽是十分重要的一件事。如果工人未佩戴安全帽在作业中受到打击,会对头部造成强大的冲击力,从而造成严重的事故。当前众多工厂和车间的工作员工佩戴安全帽的意识淡薄,因此在实际作业中经常发现工人脱安全帽或者不佩戴安全帽的情况,针对该情况,企业需要委派监管人员进行监察,依靠人力进行监察效率低下。随着人工智能的快速发展,越来越多的深度学习算法应用在了智慧安监,智慧安防等领域,从而利用深度学习技术进行安全帽检测可以保障安全生产。
现有的安全帽检测算法可以大致分为单阶段和双阶段的算法。单阶段算法直接检测出画面中佩戴了安全帽的人头和未佩戴安全帽的人头。由于现有的安全帽的数据较少,且人头占画面的比例一般比较小,加上人头的纹理和结构信息不够独特,很容易导致误检:即算法容易将不包含人的背景区域检测成目标。采用双阶段的算法可以缓解误检问题,双阶段的算法首先检测出图片中的人,然后再在检测出的人的范围内检测出其是否佩戴安全帽。由于双阶段算法需要分别加载行人检测模型和安全帽检测模型,占用较多的存储空间,而且图像需要经过两个算法进行判断,影响算法的时效性。
发明内容
本申请实施例提供了一种佩戴安全帽的检测方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
第一方面,本申请实施例提供了一种佩戴安全帽的检测方法,该方法包括:
接收来自图像采集设备实时发送的目标图像;
将目标图像输入运行在当前芯片的程序中,所述程序中包含了基于预先训练的安全帽检测模型生成的wk文件;
其中,安全帽检测模型基于训练数据集训练生成,训练数数据集包含三类检测目标;所述三类检测目标分别为戴安全帽的人头、未戴安全帽的人头和行人;安全帽检测模型为YOLOv4模型,YOLOv4模型是经过修改激活函数并经过通道裁剪后生成的;
输出目标图像中所检测到的各对象的类型、各对象的位置和大小;其中,各对象包括佩戴安全帽的人头、未佩戴安全帽的人头及行人;
基于各对象的类型、各对象的位置和大小判定行人是否佩戴安全帽。
可选的,基于各对象的类型、各对象的位置和大小判定行人是否佩戴安全帽,包括:
判断佩戴安全帽的人头或未佩戴安全帽的人头是否处于行人区域内,生成判断结果;
当判断结果的标识为true时,确定出行人佩戴安全帽;
或者
当判断结果的标识为false时,确定出行人没有佩戴安全帽。
可选的,判断佩戴安全帽的人头或未佩戴安全帽的人头是否处于行人区域内,生成判断结果,包括:
基于所述大小计算所述佩戴安全帽人头或未佩戴安全帽人头区域的面积;
计算佩戴安全帽人头或未佩戴安全帽人头区域的面积与行人区域的交集面积;
将所述交集面积和所述佩戴安全帽人头区域的面积的比值确定为第一计算结果;
当所述第一计算结果大于预设阈值时,生成标识为true的判断结果,否则不做判断;
或者,
将所述交集面积和所述未佩戴安全帽人头区域的面积的比值确定为第二计算结果;
当所述第二判断结果大于预设阈值时,生成标识为false的判断结果,否则不做判断。
可选的,按照下述步骤生成预先训练的安全帽检测模型,包括:
采集训练数据集;其中,训练数数据集包含三类检测目标;所述三类检测目标分别为戴安全帽的人头、未戴安全帽的人头和行人;
采用YOLOv4模型创建安全帽检测模型;
查找预先训练的安全帽检测模型中的Mish激活函数;
将Mish激活函数替换为Leaky Relu激活函数,生成替换函数后的安全帽检测模型;
将训练数据集输入替换函数后的安全帽检测模型中进行训练,并统计迭代次数;
当迭代次数达到预设迭代次数时,生成训练后的安全帽检测模型;
将训练后的安全帽检测模型确定为预先训练的安全帽检测模型。
可选的,方法还包括:
采用压缩算法针对预先训练的安全帽检测模型进行通道裁剪,生成压缩后的安全帽检测模型;
基于压缩后的安全帽检测模型生成wk文件;
将包含所述wk文件的程序部署至芯片中;其中,芯片为海思芯片。
可选的,基于压缩后的安全帽检测模型生成wk文件,包括:
将预先训练的安全帽检测模型转换为caffemodel格式的文件;
将caffemodel格式的文件转换为wk文件;
将wk文件进行量化处理,生成wk文件。
可选的,当迭代次数达到预设迭代次数时,生成训练后的安全帽检测模型,包括:
当迭代次数未达到预设迭代次数时,继续执行所述将所述训练数据集输入所述替换函数后的安全帽检测模型中进行训练的步骤,直到迭代次数达到预设迭代次数时生成训练后的安全帽检测模型。
第二方面,本申请实施例提供了一种佩戴安全帽的检测装置,该装置包括:
图像接收模块,用于接收来自图像采集设备实时发送的目标图像;
图像输入模块,用于将目标图像输入运行在当前芯片的程序中,所述程序中包含了基于预先训练的安全帽检测模型生成的wk文件;
其中,安全帽检测模型基于训练数据集训练生成,训练数数据集包含三类检测目标;所述三类检测目标分别为戴安全帽的人头、未戴安全帽的人头和行人;安全帽检测模型为YOLOv4模型,YOLOv4模型是经过修改激活函数并经过通道裁剪后生成的;
参数输出模块,用于输出目标图像中所检测到的各对象的类型、各对象的位置和大小;其中,各对象包括佩戴安全帽的人头、未佩戴安全帽的人头及行人;
判定模块,用于基于各对象的类型、各对象的位置和大小判定行人是否佩戴安全帽。
第三方面,本申请实施例提供一种计算机存储介质,计算机存储介质存储有多条指令,指令适于由处理器加载并执行上述的方法步骤。
第四方面,本申请实施例提供一种终端,可包括:处理器和存储器;其中,存储器存储有计算机程序,计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果:
在本申请实施例中,佩戴安全帽的检测装置首先接收来自图像采集设备实时发送的目标图像,然后将目标图像输入运行在当前芯片的程序中,所述程序中包含了基于预先训练的安全帽检测模型生成的wk文件,其中安全帽检测模型基于训练数据集训练生成,训练数数据集包含三类检测目标;所述三类检测目标分别为戴安全帽的人头、未戴安全帽的人头和行人;安全帽检测模型为YOLOv4模型,YOLOv4模型是经过修改激活函数并经过通道裁剪后生成的。其次输出目标图像中所检测到的各对象的类型、各对象的位置和大小,其中各对象包括佩戴安全帽的人头、未佩戴安全帽的人头及行人,最后基于各对象的类型、各对象的位置和大小判定行人是否佩戴安全帽。由于训练的数据集中加入了行人类别的数据集,从而解决了非活体安全帽误检测,以及本申请中的模型通过修改激活函数和经过通道裁剪,从而在保障高精度识别的同时可以实时检测工人是否佩戴安全帽。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种佩戴安全帽的检测方法的流程示意图;
图2是本申请实施例提供的一种佩戴安全帽的检测后终端展示的标记图;
图3是本申请实施例提供的一种佩戴安全帽的检测方法中安全帽检测模型训练的流程示意图;
图4是本申请实施例提供的一种佩戴安全帽的检测装置的装置示意图;
图5是本申请实施例提供的一种终端的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案,以使本领域的技术人员能够实践它们。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。此外,在本发明的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供的技术方案中,由于训练的数据集中加入了行人类别的数据集,从而解决了非活体安全帽误检测,以及本申请中的模型通过修改激活函数和经过通道裁剪,从而在保障高精度识别的同时可以实时检测工人是否佩戴安全帽,下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图3,对本申请实施例提供的佩戴安全帽的检测方法进行详细介绍。该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的佩戴安全帽的检测装置上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。其中,本申请实施例中的佩戴安全帽的检测装置可以为用户终端,包括但不限于:个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称,例如:用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant,PDA)、5G网络或未来演进网络中的终端设备等。
请参见图1,为本申请实施例提供了一种佩戴安全帽的检测方法的流程示意图。如图1所示,本申请实施例的方法可以包括以下步骤:
S101,接收来自图像采集设备实时发送的目标图像;
其中,图像采集设备为部署在工厂或者生产车间内的采集图像的设备,例如摄像头、有监控功能的电子设备等。目标图像为图像采集设备实时获取的当前时刻的图像帧。
通常,目前的安全帽检测算法检测画面中佩戴安全帽的人头和未佩戴安全帽的人头。然而,这种方法在复杂场景下存在较多的误检。来通过统计发现,误检的图片中存在大量与人体区域无交集的“戴安全帽人头”和“未佩戴安全帽人头”。
针对这一问题,本申请提出在模型训练的数据集中增加行人的类别,即“佩戴安全帽的人头”、“未佩戴安全帽的人头”和行人三个类别。通过判断人头是否在行人检测区域中,就可以显著解决非活体“佩戴”安全帽和“未佩戴”安全帽,同时占用的计算资源很少,也能够达到实时监测的效果,利于在实际场景下的安全帽检测算法落地。
在一种可能的实现方式中,首先进入工地或车间的门口安装了图像采集的摄像头,其中图像采集的摄像头与后台的用户终端进行通信连接,在佩戴安全帽的检测装置启动后,摄像头实时采集图像帧,生成图像序列,摄像头将图像序列不断的传输到用户终端,用户终端实时接收来自摄像头发送的图像序列,用户终端内安装有处理芯片,芯片中部署有训练后的模型对应的文件。
S102,将目标图像输入运行在当前芯片的程序中,所述程序中包含了基于预先训练的安全帽检测模型生成的wk文件;
其中,安全帽检测模型基于训练数据集训练生成,训练数数据集包含三类检测目标;所述三类检测目标分别为戴安全帽的人头、未戴安全帽的人头和行人;安全帽检测模型为YOLOv4模型,YOLOv4模型是经过修改激活函数并经过通道裁剪后生成的;
通常,在进行模型训练时,首先采集训练数据集;其中,训练数数据集包含三类检测目标;所述三类检测目标分别为戴安全帽的人头、未戴安全帽的人头和行人,再采用YOLOv4模型创建安全帽检测模型,查找所述预先训练的安全帽检测模型中的Mish激活函数,再将所述Mish激活函数替换为所述Leaky Relu激活函数,生成替换函数后的安全帽检测模型,然后将训练数据集输入替换函数后的安全帽检测模型中进行训练,并统计迭代次数,再当迭代次数达到预设迭代次数时,生成训练后的安全帽检测模型,最后将训练后的安全帽检测模型确定为预先训练的安全帽检测模型。
进一步地,还包括针对预先训练的安全帽检测模型的进一步处理,进行处理时,首先采用压缩算法针对所述预先训练的安全帽检测模型进行通道裁剪,生成压缩后的安全帽检测模型,然后基于压缩后的安全帽检测模型生成wk文件,并将wk文件和相关程序关联,最后将包含wk文件的程序部署至芯片中;其中,芯片为海思芯片。
需要说明的是,将安全帽检测模型进行裁剪后可以对整个模型进行优化,将不必要的卷积层或者通道删除,从而使得整个网络模型能够更快的推理,满足整个算法的实时性要求。将最终的安全帽算法转换到海思芯片上运行,具体需要将裁剪后的网络模型转换成caffemodel文件,然后将安全帽的caffemodel文件转换成海思芯片上可以运行的量化后的wk文件。
进一步地,当迭代次数未达到预设迭代次数时,继续执行所述将所述训练数据集输入所述替换函数后的安全帽检测模型中进行训练的步骤,直到迭代次数达到预设迭代次数时生成训练后的安全帽检测模型。
具体的,在针对安全帽检测模型中的YOLOv4模型进行修改时,yolov4压缩算法具体使用的是通道剪枝,通道裁剪(channel pruning)会直接删除特征图feature map的一些通道。剪掉一些冗余的channel,相当于给网络结构瘦身,不会影响网络结构的整体性,即保留了算法的性能。通道的选择是通过LASSO regression来做的,也就是在损失函数中添加L1范数对权重进行约束,以目标函数优化的角度考虑,L1范数可以使得权重中大部分值为0,使得通道内权重具有稀疏性,从而可以将系数的channel剪掉。通过实验,如果没有进行剪枝,YOLOv4模型推理时间在海思芯片是95ms,剪枝过后是32ms,整推理时间整缩短了三倍,满足了实时性的要求。
S103,输出目标图像中所检测到的各对象的类型、各对象的位置和大小;
其中,各对象包括佩戴安全帽的人头、未佩戴安全帽的人头及行人。各对象位置是各对象中心点的坐标位置,大小是各对象的宽和高。
通常,本申请使用的是YOLOv4模型进行安全帽检测。YOLOv4目标检测算法,在满足实时性检测的基础上,可以以较高精度进行安全帽检测,满足落地的需要。针对安全帽检测算法存在误检测的情况,尤其是没有人的情况下,检测出“戴了安全帽”和“未戴安全帽”。
在一种可能的实现方式中,在进行模型处理后,输出模型检测到的图像中包含的多个行人、多个安全帽、多个人头,其中,每个行人、每个安全帽、每个人头都携带了中心位置的坐标参数以及宽高的大小参数。
S104,基于各对象的类型、各对象的位置和大小判定行人是否佩戴安全帽。
在一种可能的实现方式中,首先判断佩戴安全帽的人头或未佩戴安全帽的人头是否处于行人区域内,生成判断结果,当判断结果的标识为true时,然后确定出行人佩戴安全帽;或者当判断结果的标识为false时,确定出行人没有佩戴安全帽。
进一步地,当判断佩戴安全帽与人头是否同时处于行人区域内时,首先基于大小计算佩戴安全帽人头或未佩戴安全帽人头区域的面积,然后计算佩戴安全帽人头或未佩戴安全帽人头区域的面积与行人区域的交集面积,再将交集面积和佩戴安全帽人头区域的面积的比值确定为第一计算结果,其次当第一计算结果大于预设阈值时,生成标识为true的判断结果,否则不做判断;将交集面积和未佩戴安全帽人头区域的面积的比值确定为第二计算结果,当第二判断结果大于预设阈值时,生成标识为false的判断结果,否则不做判断。
例如图2所示,图2是本申请提供的一种检测后终端展示的标记图,安全帽检测结果包括helmet_on与helmet_off(helmet_on表示佩戴了安全帽;helmet_off表示没有佩戴安全帽)。
在本申请实施例中,佩戴安全帽的检测装置首先接收来自图像采集设备实时发送的目标图像,然后将目标图像输入运行在当前芯片的程序中,所述程序中包含了基于预先训练的安全帽检测模型生成的wk文件,其中安全帽检测模型基于训练数据集训练生成,训练数数据集包含三类检测目标;所述三类检测目标分别为戴安全帽的人头、未戴安全帽的人头和行人;安全帽检测模型为YOLOv4模型,YOLOv4模型是经过修改激活函数并经过通道裁剪后生成的。其次输出目标图像中所检测到的各对象的类型、各对象的位置和大小,其中各对象包括佩戴安全帽的人头、未佩戴安全帽的人头及行人,最后基于各对象的类型、各对象的位置和大小判定行人是否佩戴安全帽。由于训练的数据集中加入了行人类别的数据集,从而解决了非活体安全帽误检测,以及本申请中的模型通过修改激活函数和经过通道裁剪,从而在保障高精度识别的同时可以实时检测工人是否佩戴安全帽。
请参见图3,为本申请实施例提供了一种预先训练的安全帽检测模型训练方法的流程示意图。如图3所示,本申请实施例的方法可以包括以下步骤:
S201,采集训练数据集;其中,训练数数据集包含三类检测目标;所述三类检测目标分别为戴安全帽的人头、未戴安全帽的人头和行人;
S202,采用YOLOv4模型创建安全帽检测模型;
S203,查找预先训练的安全帽检测模型中的Mish激活函数;
S204,将Mish激活函数替换为Leaky Relu激活函数,生成替换函数后的安全帽检测模型;
S205,将训练数据集输入替换函数后的安全帽检测模型中进行训练,并统计迭代次数;
S206,当迭代次数达到预设迭代次数时,生成训练后的安全帽检测模型;
S207,将训练后的安全帽检测模型确定为预先训练的安全帽检测模型;
S208,采用压缩算法针对预先训练的安全帽检测模型进行通道裁剪,生成压缩后的安全帽检测模型;
S209,基于压缩后的安全帽检测模型生成wk文件;
S210,将包含所述wk文件的程序部署至芯片中;其中,芯片为海思芯片。
在本申请实施例中,佩戴安全帽的检测装置首先接收来自图像采集设备实时发送的目标图像,然后将目标图像输入运行在当前芯片的程序中,所述程序中包含了基于预先训练的安全帽检测模型生成的wk文件,其中安全帽检测模型基于训练数据集训练生成,训练数数据集包含三类检测目标;所述三类检测目标分别为戴安全帽的人头、未戴安全帽的人头和行人;安全帽检测模型为YOLOv4模型,YOLOv4模型是经过修改激活函数并经过通道裁剪后生成的。其次输出目标图像中所检测到的各对象的类型、各对象的位置和大小,其中各对象包括佩戴安全帽的人头、未佩戴安全帽的人头及行人,最后基于各对象的类型、各对象的位置和大小判定行人是否佩戴安全帽。由于训练的数据集中加入了行人类别的数据集,从而解决了非活体安全帽误检测,以及本申请中的模型通过修改激活函数和经过通道裁剪,从而在保障高精度识别的同时可以实时检测工人是否佩戴安全帽。
下述为本发明装置实施例,可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明方法实施例。
请参见图4,其示出了本发明一个示例性实施例提供的佩戴安全帽的检测装置的结构示意图。该佩戴安全帽的检测装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括图像接收模块10、图像输入模块20、参数输出模块30、判定模块40。
图像接收模块10,用于接收来自图像采集设备实时发送的目标图像;
图像输入模块20,用于将目标图像输入运行在当前芯片的程序中,所述程序中包含了基于预先训练的安全帽检测模型生成的wk文件;
其中,安全帽检测模型基于训练数据集训练生成,训练数数据集包含三类检测目标;所述三类检测目标分别为戴安全帽的人头、未戴安全帽的人头和行人;安全帽检测模型为YOLOv4模型,YOLOv4模型是经过修改激活函数并经过通道裁剪后生成的;
参数输出模块30,用于输出目标图像中所检测到的各对象的类型、各对象的位置和大小;其中,各对象包括佩戴安全帽的人头、未佩戴安全帽的人头及行人;
判定模块40,用于基于各对象的类型、各对象的位置和大小判定行人是否佩戴安全帽。
需要说明的是,上述实施例提供的佩戴安全帽的检测装置在执行佩戴安全帽的检测方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的佩戴安全帽的检测装置与佩戴安全帽的检测方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请实施例中,佩戴安全帽的检测装置首先接收来自图像采集设备实时发送的目标图像,然后将目标图像输入运行在当前芯片的程序中,所述程序中包含了基于预先训练的安全帽检测模型生成的wk文件,其中安全帽检测模型基于训练数据集训练生成,训练数数据集包含三类检测目标;所述三类检测目标分别为戴安全帽的人头、未戴安全帽的人头和行人;安全帽检测模型为YOLOv4模型,YOLOv4模型是经过修改激活函数并经过通道裁剪后生成的。其次输出目标图像中所检测到的各对象的类型、各对象的位置和大小,其中各对象包括佩戴安全帽的人头、未佩戴安全帽的人头及行人,最后基于各对象的类型、各对象的位置和大小判定行人是否佩戴安全帽。由于训练的数据集中加入了行人类别的数据集,从而解决了非活体安全帽误检测,以及本申请中的模型通过修改激活函数和经过通道裁剪,从而在保障高精度识别的同时可以实时检测工人是否佩戴安全帽。
本发明还提供一种计算机可读介质,其上存储有程序指令,该程序指令被处理器执行时实现上述各个方法实施例提供的佩戴安全帽的检测方法。
本发明还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各个方法实施例的佩戴安全帽的检测方法。
请参见图5,为本申请实施例提供了一种终端的结构示意图。如图5所示,终端1000可以包括:至少一个处理器1001,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。
其中,通信总线1002用于实现这些组件之间的连接通信。
其中,用户接口1003可以包括显示屏(Display)、摄像头(Camera),可选用户接口1003还可以包括标准的有线接口、无线接口。
其中,网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分,通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集,以及调用存储在存储器1005内的数据,执行电子设备1000的各种功能和处理数据。可选的,处理器1001可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1001中,单独通过一块芯片进行实现。
其中,存储器1005可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图5所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及佩戴安全帽的检测应用程序。
在图5所示的终端1000中,用户接口1003主要用于为用户提供输入的接口,获取用户输入的数据;而处理器1001可以用于调用存储器1005中存储的佩戴安全帽的检测应用程序,并具体执行以下操作:
接收来自图像采集设备实时发送的目标图像;
将目标图像输入运行在当前芯片的程序中,所述程序中包含了基于预先训练的安全帽检测模型生成的wk文件;
其中,安全帽检测模型基于训练数据集训练生成,训练数数据集包含三类检测目标;所述三类检测目标分别为戴安全帽的人头、未戴安全帽的人头和行人;安全帽检测模型为YOLOv4模型,YOLOv4模型是经过修改激活函数并经过通道裁剪后生成的;
输出目标图像中所检测到的各对象的类型、各对象的位置和大小;其中,各对象包括佩戴安全帽的人头、未佩戴安全帽的人头及行人;
基于各对象的类型、各对象的位置和大小判定行人是否佩戴安全帽。
在一个实施例中,处理器1001在执行基于各对象的类型、各对象的位置和大小判定行人是否佩戴安全帽时,具体执行以下操作:
判断佩戴安全帽的人头或未佩戴安全帽的人头是否处于行人区域内,生成判断结果;
当判断结果的标识为true时,确定出行人佩戴安全帽;
或者
当判断结果的标识为false时,确定出行人没有佩戴安全帽。
在一个实施例中,处理器1001在执行判断佩戴安全帽的人头或未佩戴安全帽的人头是否处于行人区域内,生成判断结果时,具体执行以下操作:
基于所述大小计算所述佩戴安全帽人头或未佩戴安全帽人头区域的面积;
计算所述佩戴安全帽人头或未佩戴安全帽人头区域的面积与所述行人区域的交集面积;
将所述交集面积和所述佩戴安全帽人头区域的面积的比值确定为第一计算结果;
当所述第一计算结果大于预设阈值时,生成标识为true的判断结果,否则不做判断;
或者,
将所述交集面积和所述未佩戴安全帽人头区域的面积的比值确定为第二计算结果;当所述第二判断结果大于预设阈值时,生成标识为false的判断结果,否则不做判断。
在本申请实施例中,佩戴安全帽的检测装置首先接收来自图像采集设备实时发送的目标图像,然后将目标图像输入运行在当前芯片的程序中,所述程序中包含了基于预先训练的安全帽检测模型生成的wk文件,其中安全帽检测模型基于训练数据集训练生成,训练数数据集包含三类检测目标;所述三类检测目标分别为戴安全帽的人头、未戴安全帽的人头和行人;安全帽检测模型为YOLOv4模型,YOLOv4模型是经过修改激活函数并经过通道裁剪后生成的。其次输出目标图像中所检测到的各对象的类型、各对象的位置和大小,其中各对象包括佩戴安全帽的人头、未佩戴安全帽的人头及行人,最后基于各对象的类型、各对象的位置和大小判定行人是否佩戴安全帽。由于训练的数据集中加入了行人类别的数据集,从而解决了非活体安全帽误检测,以及本申请中的模型通过修改激活函数和经过通道裁剪,从而在保障高精度识别的同时可以实时检测工人是否佩戴安全帽。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,佩戴安全帽的检测的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (10)
1.一种佩戴安全帽的检测方法,其特征在于,所述方法包括:
接收来自图像采集设备实时发送的目标图像;
将所述目标图像输入运行在当前芯片的程序中,所述程序中包含了基于预先训练的安全帽检测模型生成的wk文件;
其中,所述安全帽检测模型基于训练数据集训练生成,训练数数据集包含三类检测目标;所述三类检测目标分别为戴安全帽的人头、未戴安全帽的人头和行人;所述安全帽检测模型为YOLOv4模型,所述YOLOv4模型是经过修改激活函数并经过通道裁剪后生成的;
输出所述目标图像中所检测到的各对象的类型、所述各对象的位置和大小;其中,所述各对象包括佩戴安全帽的人头、未佩戴安全帽的人头及行人;
基于所述各对象的类型、所述各对象的位置和大小判定所述行人是否佩戴安全帽。
2.根据权利要求1所述的方法,其特征在于,所述基于所述各对象的类型、所述各对象的位置和大小判定所述行人是否佩戴安全帽,包括:
判断所述佩戴安全帽的人头或所述未佩戴安全帽的人头是否处于所述行人区域内,生成判断结果;
当所述判断结果的标识为true时,确定出所述行人佩戴安全帽;
或者
当所述判断结果的标识为false时,确定出所述行人没有佩戴安全帽。
3.根据权利要求2所述的方法,其特征在于,所述判断所述佩戴安全帽的人头或所述未佩戴安全帽的人头是否处于所述行人区域内,生成判断结果,包括:
基于所述大小计算所述佩戴安全帽人头或未佩戴安全帽人头区域的面积;
计算所述佩戴安全帽人头或未佩戴安全帽人头区域的面积与所述行人区域的交集面积;
将所述交集面积和所述佩戴安全帽人头区域的面积的比值确定为第一计算结果;
当所述第一计算结果大于预设阈值时,生成标识为true的判断结果,否则不做判断;
或者,
将所述交集面积和所述未佩戴安全帽人头区域的面积的比值确定为第二计算结果;
当所述第二判断结果大于预设阈值时,生成标识为false的判断结果,否则不做判断。
4.根据权利要求1所述的方法,其特征在于,按照下述步骤生成预先训练的安全帽检测模型,包括:
采集训练数据集;其中,训练数数据集包含三类检测目标;所述三类检测目标分别为戴安全帽的人头、未戴安全帽的人头和行人;
采用YOLOv4模型创建安全帽检测模型;
查找所述预先训练的安全帽检测模型中的Mish激活函数;
将所述Mish激活函数替换为Leaky Relu激活函数,生成替换函数后的安全帽检测模型;
将所述训练数据集输入所述替换函数后的安全帽检测模型中进行训练,并统计迭代次数;
当所述迭代次数达到预设迭代次数时,生成训练后的安全帽检测模型;
将所述训练后的安全帽检测模型确定为预先训练的安全帽检测模型。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
采用压缩算法针对所述预先训练的安全帽检测模型进行通道裁剪,生成压缩后的安全帽检测模型;
基于所述压缩后的安全帽检测模型生成wk文件;
将包含所述wk文件的程序部署至芯片中;其中,所述芯片为海思芯片。
6.根据权利要求5所述的方法,其特征在于,所述基于所述压缩后的安全帽检测模型生成wk文件,包括:
将所述预先训练的安全帽检测模型转换为caffemodel格式的文件;
将所述caffemodel格式的文件转换为wk文件;
将所述wk文件进行量化处理,生成wk文件。
7.根据权利要求4所述的方法,其特征在于,所述当所述迭代次数达到预设迭代次数时,生成训练后的安全帽检测模型,包括:
当所述迭代次数未达到预设迭代次数时,继续执行所述将所述训练数据集输入所述替换函数后的安全帽检测模型中进行训练的步骤,直到所述迭代次数达到预设迭代次数时生成训练后的安全帽检测模型。
8.一种佩戴安全帽的检测装置,其特征在于,所述装置包括:
图像接收模块,用于接收来自图像采集设备实时发送的目标图像;
图像输入模块,用于将所述目标图像输入运行在当前芯片的程序中,所述程序中包含了基于预先训练的安全帽检测模型生成的wk文件;
其中,所述安全帽检测模型基于训练数据集训练生成,训练数数据集包含三类检测目标;所述三类检测目标分别为戴安全帽的人头、未戴安全帽的人头和行人;所述安全帽检测模型为YOLOv4模型,所述YOLOv4模型是经过修改激活函数并经过通道裁剪后生成的;
参数输出模块,用于输出所述目标图像中所检测到的各对象的类型、所述各对象的位置和大小;其中,所述各对象包括佩戴安全帽的人头、未佩戴安全帽的人头及行人;
判定模块,用于基于所述各对象的类型、所述各对象的位置和大小判定所述行人是否佩戴安全帽。
9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1-7任意一项的方法步骤。
10.一种终端,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110267693.0A CN113139426A (zh) | 2021-03-12 | 2021-03-12 | 一种佩戴安全帽的检测方法、装置、存储介质及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110267693.0A CN113139426A (zh) | 2021-03-12 | 2021-03-12 | 一种佩戴安全帽的检测方法、装置、存储介质及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113139426A true CN113139426A (zh) | 2021-07-20 |
Family
ID=76811049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110267693.0A Pending CN113139426A (zh) | 2021-03-12 | 2021-03-12 | 一种佩戴安全帽的检测方法、装置、存储介质及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113139426A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114155252A (zh) * | 2021-12-08 | 2022-03-08 | 群周科技(上海)有限公司 | 面向移动端应用的人体目标分割方法及系统 |
| CN114663907A (zh) * | 2021-11-26 | 2022-06-24 | 国网上海市电力公司 | 一种适用于电缆工井作业边缘终端的安全帽检测方法 |
| CN115601699A (zh) * | 2022-10-17 | 2023-01-13 | 通号通信信息集团有限公司(Cn) | 一种安全帽佩戴检测方法、电子设备以及计算机可读介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106372662A (zh) * | 2016-08-30 | 2017-02-01 | 腾讯科技(深圳)有限公司 | 安全帽佩戴的检测方法和装置、摄像头、服务器 |
| CN108875481A (zh) * | 2017-08-31 | 2018-11-23 | 北京旷视科技有限公司 | 用于行人检测的方法、装置、系统及存储介质 |
| CN110070033A (zh) * | 2019-04-19 | 2019-07-30 | 山东大学 | 一种电力领域危险工作区域内安全帽佩戴状态检测方法 |
| CN110119686A (zh) * | 2019-04-17 | 2019-08-13 | 电子科技大学 | 一种基于卷积神经网络的安全帽实时检测方法 |
| CN110263686A (zh) * | 2019-06-06 | 2019-09-20 | 温州大学 | 一种基于深度学习的施工工地图像安全帽检测方法 |
| CN110889376A (zh) * | 2019-11-28 | 2020-03-17 | 创新奇智(南京)科技有限公司 | 一种基于深度学习的安全帽佩戴检测系统及方法 |
| AU2020100711A4 (en) * | 2020-05-05 | 2020-06-11 | Chang, Cheng Mr | The retrieval system of wearing safety helmet based on deep learning |
| AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
| CN111401278A (zh) * | 2020-03-20 | 2020-07-10 | 重庆紫光华山智安科技有限公司 | 安全帽识别方法、装置、电子设备及存储介质 |
| CN111709489A (zh) * | 2020-06-24 | 2020-09-25 | 广西师范大学 | 一种基于改进YOLOv4的柑橘识别方法 |
| CN111815577A (zh) * | 2020-06-23 | 2020-10-23 | 深圳供电局有限公司 | 安全帽佩戴检测模型处理方法、装置、设备和存储介质 |
-
2021
- 2021-03-12 CN CN202110267693.0A patent/CN113139426A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106372662A (zh) * | 2016-08-30 | 2017-02-01 | 腾讯科技(深圳)有限公司 | 安全帽佩戴的检测方法和装置、摄像头、服务器 |
| CN108875481A (zh) * | 2017-08-31 | 2018-11-23 | 北京旷视科技有限公司 | 用于行人检测的方法、装置、系统及存储介质 |
| CN110119686A (zh) * | 2019-04-17 | 2019-08-13 | 电子科技大学 | 一种基于卷积神经网络的安全帽实时检测方法 |
| CN110070033A (zh) * | 2019-04-19 | 2019-07-30 | 山东大学 | 一种电力领域危险工作区域内安全帽佩戴状态检测方法 |
| CN110263686A (zh) * | 2019-06-06 | 2019-09-20 | 温州大学 | 一种基于深度学习的施工工地图像安全帽检测方法 |
| CN110889376A (zh) * | 2019-11-28 | 2020-03-17 | 创新奇智(南京)科技有限公司 | 一种基于深度学习的安全帽佩戴检测系统及方法 |
| CN111401278A (zh) * | 2020-03-20 | 2020-07-10 | 重庆紫光华山智安科技有限公司 | 安全帽识别方法、装置、电子设备及存储介质 |
| AU2020100711A4 (en) * | 2020-05-05 | 2020-06-11 | Chang, Cheng Mr | The retrieval system of wearing safety helmet based on deep learning |
| AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
| CN111815577A (zh) * | 2020-06-23 | 2020-10-23 | 深圳供电局有限公司 | 安全帽佩戴检测模型处理方法、装置、设备和存储介质 |
| CN111709489A (zh) * | 2020-06-24 | 2020-09-25 | 广西师范大学 | 一种基于改进YOLOv4的柑橘识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王衍: "基于yolov3的安全帽佩戴检测方法研究", 《自动化仪表》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663907A (zh) * | 2021-11-26 | 2022-06-24 | 国网上海市电力公司 | 一种适用于电缆工井作业边缘终端的安全帽检测方法 |
| CN114155252A (zh) * | 2021-12-08 | 2022-03-08 | 群周科技(上海)有限公司 | 面向移动端应用的人体目标分割方法及系统 |
| CN115601699A (zh) * | 2022-10-17 | 2023-01-13 | 通号通信信息集团有限公司(Cn) | 一种安全帽佩戴检测方法、电子设备以及计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111914819B (zh) | 一种多摄像头融合的人群密度预测方法、装置、存储介质及终端 | |
| CN113255606A (zh) | 行为识别方法、装置、计算机设备及存储介质 | |
| CN113139426A (zh) | 一种佩戴安全帽的检测方法、装置、存储介质及终端 | |
| CN107341443B (zh) | 视频处理方法、装置及存储介质 | |
| CN113408571B (zh) | 一种基于模型蒸馏的图像分类方法、装置、存储介质及终端 | |
| EP4287068A1 (en) | Model training method, scene recognition method, and related device | |
| CN111062429A (zh) | 基于深度学习的厨师帽和口罩佩戴的检测方法 | |
| CN109409238B (zh) | 一种障碍物检测方法、装置及终端设备 | |
| EP3716212A1 (en) | Image coding method, action recognition method, and computer device | |
| CN113963162A (zh) | 安全帽佩戴识别方法、装置、计算机设备和存储介质 | |
| CN106295567A (zh) | 一种关键点的定位方法及终端 | |
| CN114937232B (zh) | 医废处理人员防护用具穿戴检测方法、系统和设备 | |
| CN114241012B (zh) | 一种高空抛物的判定方法及装置 | |
| CN116152863B (zh) | 一种人员信息识别方法、装置、电子设备及存储介质 | |
| CN115171007A (zh) | 基于边缘计算的场景监控方法、装置、设备及存储介质 | |
| CN114821486B (zh) | 一种电力作业场景下人员识别方法 | |
| CN116703157A (zh) | 施工现场远程可视化显示方法、装置、电子设备和介质 | |
| CN112215567A (zh) | 生产流程合规检查方法及系统、存储介质及终端 | |
| CN116798074A (zh) | 一种陌生人识别方法、装置及电子设备 | |
| CN113837066A (zh) | 行为识别方法、装置、电子设备及计算机存储介质 | |
| CN117830939A (zh) | 一种电力作业人员监控识别方法、装置及电子设备 | |
| CN113780322A (zh) | 一种安全检测的方法和装置 | |
| CN113469150B (zh) | 一种用于对风险行为进行识别的方法及系统 | |
| CN114827553B (zh) | 视频巡控方法、装置、设备及存储介质 | |
| CN115641607A (zh) | 电力施工现场作业人员穿戴行为检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210720 |