CN111178424A - 一种石油化工生产现场安全合规性实时检测系统及方法 - Google Patents

Abstract

本发明涉及一种石油化工生产现场安全合规性实时检测系统及方法，其步骤：初始化预先建立的深度学习模型的网络参数；判断读入文件格式并读取；文件读取成功后上传到深度学习模型中，处于待检测状态；将采集的石油化工生产现场图像信息传输至深度学习模型，加载深度学习模型以及各个目标已有的对应权重文件；针对摄像头采集的图像信息，利用深度学习模型进行计算并提取目标的位置和轮廓，若出现需要检测的事件和目标则将其框出并保存计算结果；判断检测过程是否结束，若结束则输出图像检测得到的所有结果。本发明能够高效准确地检测到现场不合规操作及危险物并报警，降低安全事故的发生率，节省人力成本。

Description

一种石油化工生产现场安全合规性实时检测系统及方法

技术领域

本发明涉及一种石油化工领域，特别是关于一种石油化工生产现场安全合规性实时检测系统及方法。

背景技术

近年来，石油化工生产现场安全事故多发，管理者难以及时、高效、准确地做出预警，大部分事故原因为作业人员违规操作、安全意识淡薄，增加作业人员的安全意识和加强自律是减少事故发生率的有效途径，目前监控系统等监督措施已经无法满足石油化工生产场地的安全检查需求。

传统站点安装的视频监控系统仅具有简单的功能，如实时显示和历史视频数据回放，出现异常情况时无法自主判断和及时报警，依赖人工进行监督。在此条件下，为确保生产作业场地的长期可靠运行，巡检人员通常需要定期维护和检查，一旦发现潜在威胁，就会采取适当的措施。

在实际生产作业场地，现场工作人员对安全不够重视，石油化工生产现场环境复杂，不戴安全帽、消防器材缺失、携带打火机等危险品进站等行为是导致安全事故发生的重要原因。传统的视频监控系统难以及时发现安全生产的潜在威胁，需要大量的人力物力进行监督，并且效率低下，漏检率高。

发明内容

针对上述问题，本发明的目的是提供一种石油化工生产现场安全合规性实时检测系统及方法，其能够高效准确地检测到石油化工生产现场不合规操作及危险物并及时报警，降低安全事故的发生率，节省人力成本。

为实现上述目的，本发明采取以下技术方案：一种石油化工生产现场安全合规性实时检测方法，其包括以下步骤：1)初始化预先建立的深度学习模型的网络参数；2)判断读入文件是否是tif格式，若为tif格式则采用tifffile读取该文件；否则采用OpenCV读取该文件；3)文件读取成功后上传到深度学习模型中，处于待检测状态；4)将采集的石油化工生产现场图像信息传输至深度学习模型，加载深度学习模型以及各个目标已有的对应权重文件；5)针对摄像头采集的图像信息，利用深度学习模型进行计算并提取目标的位置和轮廓，若出现需要检测的事件和目标则将其框出并保存计算结果；6)判断步骤5)的检测过程是否结束，若结束则执行步骤7)，否则回到步骤5)继续进行检测，直到全部检测过程结束；7)输出图像检测得到的所有结果。

进一步，所述步骤1)中，深度学习模型的建立方法包括以下步骤：1.1)基于resnet101建立用于提取图像的特征主干网络；resnet101有101层，分为5个stage，C1-C5分别为每个Stage的输出；1.2)C1-C5的输出进入特征金字塔中完成特征融合，输出特征图；1.3)经过主干网络提取的特征图进入区域建议网络，帮助网络推荐候选区域；1.4)特征图和候选区域输入像素对齐层，输出处理后的特征图；1.5)像素对齐层输出的特征向量输入全连接层，得到目标的掩模、类别和边框。

进一步，所述步骤1.2)中，特征金字塔分为6层，第一层舍弃，其他每一层由resnet对应输出层和上一层最近邻上采样叠加得到。

进一步，所述步骤1.3)中，特征金字塔第2-6层的输出结果进入区域建议网络的卷积层中，输出候选区域；区域建议网络中的锚窗有三种不同尺度和三种不同形状，锚窗在特征图上平移，得到能将目标物体包含在内的候选区域。

进一步，所述步骤1.4)中，像素对齐层通过双线性插值得到固定点的坐标值，将特征图和原图像素对齐。

进一步，所述网络参数包括深度学习模型的主干网络、GPU数量、模式和损失权重。

进一步，所述步骤5)中，深度学习模型的检测步骤：5.1)输入图像信息；5.2)利用深度网络中的卷积层对图像信息进行特征提取，得到图片的特征图；5.3)在特征图基础上，通过区域建议网络得到图像的兴趣区域；5.4)将得到的兴趣区域输入像素对齐层，在特征图的不同点采样，利用双线性插值，把其特征图的像素和原图中的像素对应起来，得到对齐后的兴趣区域特征图；5.5)将步骤5.4)得到的兴趣区域的特征向量与全连接层相连，并定义多任务损失函数，分别与分类器和边框回归器相连，分别得到当前感兴趣区域的类别及坐标包围框；同时输入掩模分支的全连接层，得到掩模回归；5.6)对所有得到的包围框进行非极大值抑制，得到最终的检测结果，在结果图像中标出目标的位置和轮廓。

进一步，所述步骤6)中，结束的判定条件为：当图像中目标全部框出，没有发现新的目标时即结束。

一种实现上述方法的石油化工生产现场安全合规性实时检测系统，其包括文件操作模块、图像检测模块和结果处理模块；所述文件操作模块内设置有摄像头，所述文件操作模块用于采集摄像头捕捉到的图像信息，并控制文件打开操作和图像显示操作，将摄像头采集的实时图像信息传输至所述图像检测模块，同时显示待测图像；所述图像检测模块用于加载深度学习模型，所述图像检测模块调用深度学习模型进行计算，提取目标对象，并将计算结果传输至所述结果处理模块；根据提取目标结果针对危险物进行识别；保存图像检测结果并释放缓存；所述结果处理模块用于进行结果的接收与处理，将框出全部目标的图像显示出来。

进一步，所述深度学习模型中训练好的权重文件存储在所述图像检测模块中，需要调用时由所述图像检测模块进行加载。

本发明由于采取以上技术方案，其具有以下优点：本发明通过视觉摄像头实时检测石油化工生产现场情况，能够高效智能地识别安全帽、灭火器、打火机、烟盒和火柴盒等现场安全相关因素。适应未来智能油田的发展需求，实现生产现场的无人值守化，降低安全事故的发生率，节省人力成本。

附图说明

图1是本发明检测系统的组成示意图；

图2是本发明检测方法的流程示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明提供一种石油化工生产现场安全合规性实时检测系统，其包括文件操作模块15、图像检测模块16和结果处理模块17。其中：

文件操作模块15内设置有摄像头，文件操作模块15用于采集摄像头捕捉到的图像信息18，并控制文件打开操作19和图像显示操作20，将摄像头采集的实时图像信息传输至图像检测模块16，同时可以显示待测图像，图像格式支持jpg、png、jpeg、tif等；

图像检测模块16用于加载深度学习模型21，深度学习模型21中训练好的权重文件存储在图像检测模块16中，需要调用时由图像检测模块16进行加载；且图像检测模块16调用深度学习模型进行计算，提取目标对象22，并将计算结果传输至结果处理模块17；石油化工生产现场待测目标包括安全帽、灭火器、打火机、火柴盒以及烟卷等，根据提取目标结果针对危险物等进行识别23；保存图像检测结果并释放缓存。

结果处理模块17用于进行结果的接收与处理24，将神经网络的计算结果(即框出全部目标的图像)显示出来，并将信息发送给后台工作人员，最终的检测结果显示在界面25上。

如图2所示，基于上述监测系统，本发明还提供一种石油化工生产现场安全合规性实时检测方法，其包括以下步骤：

1)初始化预先建立的深度学习模型的网络参数：

网络参数包括深度学习模型的主干网络、GPU数量、模式和损失权重等。

2)判断读入文件是否是tif格式，若为tif格式则采用tifffile读取该文件；否则采用OpenCV读取该文件，支持jpg、png、jpeg等多种图像格式。

3)文件读取成功后上传到深度学习模型中，处于待检测状态，并进行显示。

4)将摄像头采集的石油化工生产现场图像信息传输至深度学习模型，加载深度学习模型以及各个目标已有的对应权重文件；

石油化工生产现场需要检测的事件和目标包括工人是否佩戴安全帽、灭火器是否摆放到位、打火机、火柴盒、烟盒以及烟卷等。

5)针对摄像头采集的图像信息，利用深度学习模型进行检测并提取目标的位置和轮廓，若出现需要检测的事件和目标则将其框出并保存计算结果；

深度学习模型的检测步骤：

5.1)输入图像信息；

5.2)利用深度网络中的卷积层对图像信息进行特征提取，得到图片的特征图；

5.3)在特征图基础上，通过区域建议网络得到图像的兴趣区域(通常取2000个)；

5.4)将得到的兴趣区域输入像素对齐层，在特征图的不同点采样，利用双线性插值，把其特征图的像素和原图中的像素对应起来，得到对齐后的兴趣区域特征图；

5.5)将步骤5.4)得到的兴趣区域的特征向量与全连接层相连，并定义多任务损失函数，分别与分类器和边框回归器相连，分别得到当前感兴趣区域的类别及坐标包围框；同时输入掩模分支的全连接层，得到掩模回归。

5.6)对所有得到的包围框进行非极大值抑制(NMS)，得到最终的检测结果，在结果图像中标出目标的位置和轮廓。

6)判断步骤5)的检测过程是否结束，若结束则执行步骤7)，否则回到步骤5)继续进行检测，直到全部检测过程结束；

结束的判定条件为：当图像中目标全部框出，没有发现新的目标时即结束。

7)输出图像检测得到的所有结果，并释放深度网络计算过程中占用的缓存。

上述各步骤中，还包括报警的步骤：将处理得到的图像信息进行显示，根据合规性检测结果，执行不同的报警操作。

上述各步骤中，还包括将处理后生成的图像文件显示出来，便于安全检查工作人员比对调试，框出步骤7)中的待测目标的步骤。

上述步骤1)中，深度学习模型的建立方法包括以下步骤：

1.1)基于resnet101建立用于提取图像的特征主干网络；

在resnet中一直是identity block和conv block两种block在交替或者循环的使用，resnet101有101层，分为5个stage，C1-C5分别为每个Stage的输出，这些输出在后面的特征金字塔中会使用到。

CNN计算的时候本身就存在多级特征图，且不同层的特征图尺度就不同，形似金字塔结构，称为特征金字塔。Resnet101网络自底向上的卷积结果C2，C3，C4，C5一一对应特征金字塔的特征图P2，P3，P4，P5。

1.2)图像输入主干网络Resnet101，得到不同级别的特征图C1-C5，C1-C5的输出进入特征金字塔中完成特征融合，输出特征图；特征金字塔输出融合后的特征图，能够充分表征低层和高层的特征。

特征金字塔分为6层，第一层舍弃，其他每一层由resnet对应输出层和上一层最近邻上采样叠加得到。

1.3)特征金字塔输出的特征图进入区域建议网络，帮助网络推荐候选区域；

特征金字塔第2-6层的输出结果进入区域建议网络的卷积层中，输出候选区域。区域建议网络中的锚窗有三种不同尺度和三种不同形状，锚窗在特征图上平移，得到能将目标物体包含在内的候选区域。

1.4)特征图和候选区域输入像素对齐层(非resnet101中的层)，输出处理后的特征图。

像素对齐层通过双线性插值得到固定点的坐标值，将特征图和原图像素对齐，减小检测目标时可能出现的偏差；

其中，固定点是指在候选区域的每一个矩形单元中按照固定规则确定的位置。比如，如果采样点数是1，那么就是这个单元的中心点。如果采样点数是4，那么就是把这个单元平均分割成四个小方块以后它们分别的中心点。这些采样点的坐标通常是浮点数，所以需要使用插值的方法得到它的像素值。

1.5)像素对齐层输出的特征向量输入全连接层，得到目标的掩模、类别和边框。

全连接网络是一个端到端的网络，主要的模块包括卷积和去卷积，即先对图像进行卷积和池化，使其feature map的大小不断减小；然后进行反卷积操作，即进行插值操作，不断的增大其feature map，最后对每一个像素值进行分类。从而实现对输入图像的准确分割。

上述各实施例仅用于说明本发明，各个步骤及部件都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别部件及步骤进行的改进和等同变换，均不应排除在本发明的保护范围之外。

Claims (10)

1.一种石油化工生产现场安全合规性实时检测方法，其特征在于包括以下步骤：

1)初始化预先建立的深度学习模型的网络参数；

2)判断读入文件是否是tif格式，若为tif格式则采用tifffile读取该文件；否则采用OpenCV读取该文件；

3)文件读取成功后上传到深度学习模型中，处于待检测状态；

4)将采集的石油化工生产现场图像信息传输至深度学习模型，加载深度学习模型以及各个目标已有的对应权重文件；

5)针对摄像头采集的图像信息，利用深度学习模型进行计算并提取目标的位置和轮廓，若出现需要检测的事件和目标则将其框出并保存计算结果；

6)判断步骤5)的检测过程是否结束，若结束则执行步骤7)，否则回到步骤5)继续进行检测，直到全部检测过程结束；

7)输出图像检测得到的所有结果。

2.如权利要求1所述合规性实时检测方法，其特征在于：所述步骤1)中，深度学习模型的建立方法包括以下步骤：

1.1)基于resnet101建立用于提取图像的特征主干网络；

resnet101有101层，分为5个stage，C1-C5分别为每个Stage的输出；

1.2)C1-C5的输出进入特征金字塔中完成特征融合，输出特征图；

1.3)经过主干网络提取的特征图进入区域建议网络，帮助网络推荐候选区域；

1.4)特征图和候选区域输入像素对齐层，输出处理后的特征图；

1.5)像素对齐层输出的特征向量输入全连接层，得到目标的掩模、类别和边框。

3.如权利要求2所述合规性实时检测方法，其特征在于：所述步骤1.2)中，特征金字塔分为6层，第一层舍弃，其他每一层由resnet对应输出层和上一层最近邻上采样叠加得到。

4.如权利要求2所述合规性实时检测方法，其特征在于：所述步骤1.3)中，特征金字塔第2-6层的输出结果进入区域建议网络的卷积层中，输出候选区域；区域建议网络中的锚窗有三种不同尺度和三种不同形状，锚窗在特征图上平移，得到能将目标物体包含在内的候选区域。

5.如权利要求2所述合规性实时检测方法，其特征在于：所述步骤1.4)中，像素对齐层通过双线性插值得到固定点的坐标值，将特征图和原图像素对齐。

6.如权利要求1所述合规性实时检测方法，其特征在于：所述网络参数包括深度学习模型的主干网络、GPU数量、模式和损失权重。

7.如权利要求1所述合规性实时检测方法，其特征在于：所述步骤5)中，深度学习模型的检测步骤：

5.1)输入图像信息；

5.2)利用深度网络中的卷积层对图像信息进行特征提取，得到图片的特征图；

5.3)在特征图基础上，通过区域建议网络得到图像的兴趣区域；

5.4)将得到的兴趣区域输入像素对齐层，在特征图的不同点采样，利用双线性插值，把其特征图的像素和原图中的像素对应起来，得到对齐后的兴趣区域特征图；

5.5)将步骤5.4)得到的兴趣区域的特征向量与全连接层相连，并定义多任务损失函数，分别与分类器和边框回归器相连，分别得到当前感兴趣区域的类别及坐标包围框；同时输入掩模分支的全连接层，得到掩模回归；

5.6)对所有得到的包围框进行非极大值抑制，得到最终的检测结果，在结果图像中标出目标的位置和轮廓。

8.如权利要求1所述合规性实时检测方法，其特征在于：所述步骤6)中，结束的判定条件为：当图像中目标全部框出，没有发现新的目标时即结束。

9.一种实现如权利要求1至8任一项所述方法的石油化工生产现场安全合规性实时检测系统，其特征在于：包括文件操作模块、图像检测模块和结果处理模块；

所述文件操作模块内设置有摄像头，所述文件操作模块用于采集摄像头捕捉到的图像信息，并控制文件打开操作和图像显示操作，将摄像头采集的实时图像信息传输至所述图像检测模块，同时显示待测图像；

所述图像检测模块用于加载深度学习模型，所述图像检测模块调用深度学习模型进行计算，提取目标对象，并将计算结果传输至所述结果处理模块；根据提取目标结果针对危险物进行识别；保存图像检测结果并释放缓存；

所述结果处理模块用于进行结果的接收与处理，将框出全部目标的图像显示出来。

10.如权利要求9所述系统，其特征在于：所述深度学习模型中训练好的权重文件存储在所述图像检测模块中，需要调用时由所述图像检测模块进行加载。

Images