CN106846375A - 一种应用于自主灭火机器人的火焰检测方法 - Google Patents

Abstract

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于机器人自主灭火的火焰视频检测算法。该算法首先结合多种传感器来进行实现初步判断，然后综合火焰的动态特征等，使用混合高斯模型分割出运动目标区域，结合火焰的静态特征提取运动区域的候选火焰目标，并进行分割。最后结合双目摄像头来实现跟踪摄像机火焰运动在三维空间的位置和方向，提取其深度信息，提供机器人自主灭火的路径等信息，实现对火焰比较精准的检测。

Description

一种应用于自主灭火机器人的火焰检测方法

技术领域

本发明涉及计算机视觉的图像处理，特别是图像识别检测这一部分。

背景技术

目前主要通过两方面来实现对火焰的检测，包括火焰传感器检测和计算机视觉检测。人们已经利用多种传感器开发出非常多的烟火监测系统。常规的监测器主要针对烟雾、热和辐射3类对象，多数采用的都是针对颗粒、温度、空气湿度、透明度、烟雾等物理采样的点式传感器，也有传统的紫外或红外光谱测量仪。但这些近距传感器和光电设备在操作难度、可靠性、检测效率、场地适用性、成本和通用性等方面都存在局限性。而通过计算机视觉来检测火焰，通常通过火焰的静态特征研究，即指对含有火焰的图像进行色彩、轮廓、能量、纹理等角度的特征提取。以上静态特征的检测算法均存在一定的缺陷：①如基于颜色的检测特征，模型简单但虚警率很高，且容易受成像设备的局限而产生漏检及误检；②火焰的非刚性特征极大制约其轮廓提取，无法做到通用环境下的高检测率；③光学设备的精度和火源距离的限制使得火焰本身的精细纹理提取困难，且纹理特征计算量大，应用性受到局限。

杨骏等人针对视频火焰技术提出了视频火焰检测的几个主要方面，包括其相对传统检测器的优势、火焰特性的分类与描述、代表性的检测方法、典型的系统方案及其发展趋势等；探讨了其中涉及的系统通用性、实时性、智能性、评测标准和多传感器融合等关键问题；还介绍了一种新的基于层次注意的视频火焰检测模型及多源感知信息的显著性融合框架，尝试借助显著性特征描述和低冗余计算来提升烟火监测系统的效率和主动性。

现有技术文献

杨俊,王润生.基于计算机视觉的视频火焰检测技术[J].中国图象图形学报.2008,13(7):1222-1234.

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于机器人自主灭火的火焰视频检测算法。该算法首先结合多种传感器来进行实现初步判断，然后综合火焰的动态特征等，使用混合高斯模型分割出运动目标区域，结合火焰的静态特征提取运动区域的候选火焰目标，并进行分割。最后结合双目摄像头来实现跟踪摄像机火焰运动在三维空间的位置和方向，提取其深度信息，提供机器人自主灭火的路径等信息，实现对火焰比较精准的检测。

附图说明

图1为火焰检测方法流程框图；

图2为RGB颜色空间；

图3为火焰尖角结构元素；

图4为零散非火焰像素点示例图(a)-(c)均为火焰像素点,(d)-(f)均不是火焰像素点；

图5为火焰检测效果图；

图6为混合高斯模型提取火焰运动区域图；

图7为立体视觉图；

图8为打火机例子1；

图9为打火机例子2。

具体实施方式

以下参考附图来说明本发明的具体实施方式。

A.首先说明本发明的第1实施方式。

图1示出了自主灭火机器人火焰检测方法流程框图。主要包括传感器检测、动态、静态等特征的视觉检测、提取深度信息、提供路径等六个方面。自主灭火机器人在灭火过程中用到的硬件设备，主要是一些传感器和双目摄像头的结合实现对火焰的检测。传感器包括DS18B20TO-92温度传感器、烟雾传感器MQ-2、滨松火焰传感器R2868，双目摄像头采用ZED相机。

B.接下来说明本发明的第2实施方式。

图2示出了RGB颜色空间，颜色空间作为特定事物的色彩在特定空间内的表达形式。火焰可视化表现的众多特征中，颜色特征最直接、最明显，因此火焰也有其视觉上的颜色具体化描述。检测视频场景中出现的火焰区域，必须将其颜色在特定空间内具体参数化。通过对大量火焰像素和火焰块区域进行采样分析，可以建立通用性非可控火焰模型。同时利用这些火焰颜色检测模型，可以检测出满足疑似火焰颜色区域，为后续检测提供精确定位的疑似火焰区域，提高检测效率。

RGB颜色空间利用了物理学中的三原色叠加从而组成产生各种不同颜色的原理。在RGB颜色空间中，3个轴分别是为R、G、B三个分量。则任意色光F都可以用R、G、B三色不同分量的相加混合而成：

F＝r[R]+g[G]+b[B]

任一色彩F是这个立方体坐标中的一点，调整三色系数r、g、b中的任一系数都会改变F的坐标值，也即改变了F的色值。也即是说，任何一种颜色都可以用三种基本颜色按照不同的比例混合得到。其中，各个分量的数值越小，亮度越低。数值越大，亮度越高；如：原点对应为黑色(0，0，0)，离原点最远的定点为白色(255，255，255)。且由黑到白的灰度分布在原点到最远点间的连线上，每一种颜色独有其唯一的RGB指与它对应。RGB色彩空间采用物理三基色表示，是根据人眼识别的颜色定义出的空间。在分析大量的火焰像素区域后，可以得到了红绿蓝三通道间的规律，即红色通道值不仅比绿色通道值高，而且远比蓝色通道值高，具体条件表示如下：

条件1：R＞R_T

条件2：R≥G＞B

条件3：S≥(255-R)*S_T/R_T

其中R_T是红色通道的值，S是饱和度值，且当R取得R_T时，S_T即是该像素的饱和度值。当满足上述条件时，认为该像素点是火焰像素。

图3示出了火焰尖角结构元素。火焰是非刚性物体，其形态持续变化取决于燃料或空气流动等周围因素，故常规的形状分析方法很难有效描述火焰的形状及其演化。观察发现，火焰轮廓的时变特性主要集中于外焰形态变化，而外焰中最为显著的特征就是火焰尖角，寻找外焰轮廓中含有尖角结构形态元素的数量(见图5)是一种很实用的方法，在检测到火焰的时候，同时对火焰特有的尖角特征进行检测，针对火焰的尖角具有一定的角度，这样可以检测出是否有尖角，从而判断一些区域是否是火焰区域。

图4为零散非火焰像素点示例图，其中(a)-(c)均为火焰像素点,(d)-(f)均不是火焰像素点。摄像头检测到的火焰像素点均以不定形状块的形式存在，所以一些受光照或噪声点等影响的零散像素点不能当成火焰点，必须将其滤除。此时，可以将图像分成3*3的小块，在每一块中，中间的像素点必须检测为火焰点，同时其周边的8个相邻域像素点也必须超过一定的数量才能算是火焰像素点。

对于这样一个3*3块，分别编号为1-4、X(中心点)、5-8。当检测到X位置时，必须同时满足两个条件：当X为火焰像素点；且当标记了1-8中8个邻域中必须有至少两个是火焰像素点，这时才能确定X是火焰像素点。

火焰在燃烧过程中会逐渐变大，而不仅仅是一个零散点。只有类似于LED指示灯等在图像很远时拍摄的视频图像才会是一个小小的点。如图中火焰点存在均是连通成块的，因此通过对前面检测到的疑似火焰部分检测后，再对每个像素点进行筛选即可滤除那些零散非火焰像素点，这样就保留了不定形状和面积的成块的火焰部分。

在检测火焰轮廓的同时，可以检测火焰在视频窗口中的面积百分比，对于大小的火焰大小的面积，在检测火焰大小的时候，设置检测到火焰的面积的值，如果在视频窗口中只是一小部分的话，就忽略不计。为了更方便的分别对火焰候选区域进行特征判别，首先我们得对处理后的结果中的各个分离部分进行标记。这里采用了8连通邻域(像素的邻域即像素周围的八个点)来确定某一像素所属的标签。假设图像的总面积为area，其各个候选区域的面积area(i)，(其中i＝1,2,…N)时，当其面积比例N小于(在这里设置为0.005)时，我们便可以认为此块区域并非是火焰位置，很有可能是一些较小的图像噪声等等，这样就可以根据面积比例来删除一些虚假区域，可以实现较好的图像效果处理。

经过上述的原理检测后，使用小型的火焰进行了测试，火焰静态特征检测效果如图5所示。

C.接下来说明本发明的第3实施方式。

混合高斯模型算法的基本思想是：对图像中每一个像素点的颜色值建立混合高斯模型，通过一段时间的采样观测，根据各个高斯分布的持续性和变动性的差异，判断哪一个分布更加接近于真实背景，该高斯分布就作为背景模型。如果图像中像素点的颜色值不符合该高斯分布，则被认为是目标点。即利用当前帧和视频序列中的当前背景帧进行加权平均来更新背景，混合高斯模型使用K(基本为3到5个)个高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果成功则判定该点为背景点，否则为前景点。通观整个高斯模型，主要是有方差和均值两个参数决定，对均值和方差的学习，采取不同的学习机制，将直接影响到模型的稳定性、精确性和收敛性。由于我们是对运动目标的背景提取建模，因此需要对高斯模型中方差和均值两个参数实时更新。具体计算方法如下。

设图像中位置为(x₀,y₀)的像素点在一段时间内的观测值为：

{X₁,…,X_t}＝{I(x₀,y₀,i):1≤i≤t}

利用多个高斯分布对上式中的观测值进行建模，可以得到当前像素点的颜色值概率为：

其中，K为高斯分布的个数(通常取3-5)；ω_i,t为权重的估计值，即t时刻该像素点属于第i个高斯分布的可能性的大小；μ_i,t为t时刻第i个高斯分布的均值；Σ_i,t为第i个高斯分布的协方差矩阵；η为高斯分布概率密度函数：

为了计算简便，假定像素点颜色值的三个分量(R,G,B)相互独立，并且具有相同的方差，则式中的协方差矩阵可以写为：

这样，就建立起了被观察像素点(x₀,y₀)颜色值的高斯混合模型。对于输入图像中的像素点(x0,y0,t)，将它的颜色值与已存在的K个高斯分布相比较，判断其是否和已经存在的高斯分布相匹配，如果匹配，则该像素点为背景点。如果没有找到匹配的高斯分布，则将输入像素的颜色值作为均值，建立一个新的高斯分布，代替之前K个高斯分布中概率最小、权重最低的分布，该分布具有较大的方差和较低的权重，从而重新建立背景模型。

如果存在匹配的高斯分布，则背景模型中各个参数进行如下更新：

ω_k,t＝(1-α)ω_k,t-1+α(M_k,t)

μ_t＝(1-ρ)μ_t-1+ρX_t

其中，α是模型学习速率，1/α表征了模型参数变化的速率；对于匹配的高斯分布M_k,t为1，其余不匹配的高斯分布，M_k,t为0，ρ为参数学习速率，定义为：

ρ＝αη(X_t|μ_k.σ_k)

这样，就实现了高斯混合模型的更新。高斯混合模型的方法，能够充分表征场景的多模态特性；可以很快适应背景的变化，即使是当场景中有光照变化、小幅度重复运动(如户外场景中树枝的轻微扰动)时，也能检测出运动目标；如果场景中有目标进入，长时间停留而成为背景，高斯混合模型方法同样可以及时地更新背景模型。下面针对一个拍摄的火焰视频进行试验，取其中的25-32帧，高斯混合模型的实验结果如图6所示。

D.接下来说明本发明的第4实施方式。

双目成像原理，提取深度信息：

双目立体视觉三维测量是基于视差原理，图7所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图7所示。事实上摄像机的成像平面在镜头的光心后，图7中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O₁uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1＝v2。由三角几何关系得到:

上式中(x^c,y^c,z^c)为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，(u₁,v₁)和(u₂,v₂)分别为点P在左图像和右图像中的坐标。视差定义为某一点在两幅图像中相应点的位置差:

由此可计算出空间中某点P在左摄像机坐标系中的坐标为:

因此，只要能够找到空间中某点在左右两个摄像机像面上的相应点，并且通过摄像机标定获得摄像机的内外参数，就可以确定这个点的三维坐标。

E.接下来说明本发明的第5实施方式。

结合传感器的特性和双目摄像头，下面通过使用打火机来进行实验。通过双目摄像头，我们可以分别对左目的摄像头和右目地摄像头进行检测，检测结果用框标记。另外我们通过左目的摄像头和右目地摄像头得到一个深度图，获取场景中火焰相对于摄像头的距离，为下一步自主机器人灭火路径做好准备，情况如图8和图9所示。

本发明相对于现有技术具有如下的优点及效果：应用到自主灭火机器人视频火焰检测中，对于最好的技术来说，很难保证对火焰的准确度达到非常精确或者很难通过单目摄像头来精确实现对视频流火焰的跟踪，而本发明在原有的技术基础上，首先在机器人预装双目摄像头ZED相机、日本滨松火焰传感器R9533、烟雾传感器和温度传感器等设备，传感器结合双目摄像头来实现对火焰在视频流的实时运动跟踪，基于人体立体视觉，利用双目视觉和高分辨率的传感器来实现对火焰检测，提取其深度信息，为下一步机器人自主灭火做好准备。

在不脱离本发明精神或必要特性的情况下，可以其它特定形式来体现本发明。应将所述具体实施例各方面仅视为解说性而非限制性。因此，本发明的范畴如随附申请专利范围所示而非如前述说明所示。所有落在申请专利范围的等效意义及范围内的变更应视为落在申请专利范围的范畴内。

Claims (4)

1.一种应用于自主灭火机器人的火焰检测方法，其特征在于，包括如下步骤：

第一步、结合多种传感器进行初步检测；

第二步、进行视觉检测，并发出警报；

第三步、混合高斯模型提取火焰运动区域；

第四步、结合火焰静态特征进行筛选；

第五步、结合双目摄像头，提取深度信息；

第六步、提取火焰区域，并提供灭火路径。

2.根据权利要求1所述的应用于自主灭火机器人的火焰检测方法，其特征在于，针对火焰本身特有的发射的紫外线和温度等特性，结合火焰、温度、烟雾等传感器来实现对火焰检测的初步检测。

3.根据权利要求1所述的应用于自主灭火机器人的火焰检测方法，其特征在于，针对火焰的动态特征和静态特征，采用多特征融合的检测算法来实现对火焰的检测。

4.根据权利要求1所述的应用于自主灭火机器人的火焰检测方法，其特征在于，针对火焰场景的不确定性，通过传感器结合双目摄像头，跟踪摄像机火焰运动在三维空间的位置和方向，提取其深度信息。