CN108229458A - 一种基于运动检测和多特征提取的火焰智能识别方法 - Google Patents
一种基于运动检测和多特征提取的火焰智能识别方法 Download PDFInfo
- Publication number
- CN108229458A CN108229458A CN201711400973.4A CN201711400973A CN108229458A CN 108229458 A CN108229458 A CN 108229458A CN 201711400973 A CN201711400973 A CN 201711400973A CN 108229458 A CN108229458 A CN 108229458A
- Authority
- CN
- China
- Prior art keywords
- flame
- pixel block
- gaussian
- background
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于运动检测和多特征提取的火焰智能识别方法,其涉及计算机视觉领域。该方法首先利用改进的混合高斯模型进行运动区域提取,再结合基于OHTA颜色分割进行颜色分割获得疑似火焰区域;再提取火焰静态特征和动态特征;最后采用基于支持向量机算法进行火焰识别。该方法提取了准确度高的疑似火焰区域,很大程度上排除了类似火焰物体的干扰,并且融合了多种火焰显著性特征。算法具有鲁棒性、抗干扰性和适应性,同时对火焰的识别率高。
Description
技术领域
本发明涉及计算机视觉领域,特指一种基于运动检测和多特征提取的火焰智能识别方法。
背景技术
随着国家经济和社会的快速发展,各种大型空间建筑火灾事故日益增多。传统火灾检测器可分为感烟式检测器、感温式检测器和感光式检测器。然而,传统的烟火检测器自身存在阈值设置过高的缺陷,使得火灾达到一定规模时才能做出响应发出警报。因而,在空间较大的场景,如空旷的体育场、森林、大型工厂仓库等复杂环境下,限制了常规的感烟、感温检测器的应用。随着科学不断进步,防范火灾变得尤为重要,人们开始着眼于智能视频分析的研究。计算机能全天候实时的运行,不仅节省了人力财力而且可靠性更高。因此基于图像视频分析的火焰检测得到了很快的推广。
基于图像视频分析的火焰检测包括了火焰目标提取和火焰识别。但是,利用传统的混合高斯模型在火焰目标检测过程中,实时性较差,并且火焰中心会出现“空洞”现象,会导致一些火灾区域的漏检。基于视频图像的火焰识别方法检测运动火焰的运动、颜色、时频等特征实现火焰识别。其中,仅利用颜色等静态特征的火焰识别方法,容易受到类似与火焰颜色景物的干扰,从而影响系统的鲁棒性。Paulo等先根据RGB颜色高斯模型提取火焰颜色区域,在提取火焰颜色区域的面积变化率、表面和边界粗糙度、倾斜度等特征,用贝叶斯分类器训练,但该算法对候选区域的选取不够准确。
发明内容
本发明的目的在于克服上述现有技术的不足,提出一种基于运动检测和多特征提取的火焰智能识别方法,该火焰智能识别方法能够具有抗干扰性强、鲁棒性强、识别率高和适应性强等优点。
为实现上述目的,本发明技术方案具体如下:
一种基于运动检测和多特征提取的火焰智能识别方法,该方法具体包括以下步骤:
S1输入视频图像,利用改进的混合高斯模型的背景差法和基于OHTA的颜色分割提取疑似火焰区域;
S1.1利用改进的混合高斯模型背景差法进行运动前景区域提取;
S1.2采用OHTA颜色空间进行颜色分割;
S1.3将步骤S1.1的运动前景区域和S1.2的颜色分割结果进行取交集操作,得到疑似火焰区域;
S2提取特征向量,该特征向量包括疑似火焰区域静态特征、动态特征;
S2.1静态特征提取;
S2.2提取高频能量的动态特征;
S3输入所述特征向量,进行基于SVM的火焰智能识别。
作为本发明的优选技术方案,所述S1.1包括:
S1.1.1建立混合高斯模型;
S1.1.2背景参数更新;
S1.1.3利用背景训练变量来改进混合高斯模型的背景更新方式,并且提取运动前景区域。
作为本发明的优选技术方案,所述S1.1.1包括:
图像的每个像素块服从高斯概率分布,并用K维高斯分量的线性加权组合,假设第i个像素块的均值为标准差为σi,t,该像素块在第t时刻属于背景的数学模型为:
其中,j表示某个混合高斯模型,j=1,2,...K,K表示混合高斯模型的个数,表示t时刻第i个像素块的第j个高斯模型的权值,其中满足表示t时刻第j个高斯分布,其定义为:
其中,∑i,t为协方差矩阵表示像素点在t时刻第i个像素块的第j个高斯模型的标准差,n为的维数。
作为本发明的优选技术方案,所述S1.1.2包括:
当采集到新的图像的像素块的均值时,通过下面公式(3)的模型匹配的判决条件来判断新的图像的像素块是否与K个高斯分布匹配;
其中,为t时刻采集到的新的图像的第i个像素块的均值,为t-1时刻第i个像素块的第j个高斯分布的均值,为t-1时刻第i个像素块的第j个高斯分布的标准差;
若是满足公式(3),则可认为当前t时刻第i个像素块的均值与第j个高斯分布匹配,并按照下面公式(4)~(7)进行相应背景参数更新;
其中,为在t时刻第i个像素块的第j高斯分布的权值,为为t时刻第i个像素块的第j高斯分布的均值,为t时刻第i个像素块的第j高斯分布的标准差,∑i,t为协方差矩阵,为学习效率,ρ为第二背景更新率;
对于其他与像素块均值不匹配的高斯分布模型,通过衰减处理减少其权值,衰减处理如下面公式(8)所示:
若当前像素块均值如不存在可以匹配的高斯模型,则建立一个新的高斯模型来代替最小的高斯模型,其中,为在t时刻第i个像素块的某个高斯模型的权值,为在t时刻第i个像素块的该高斯分布的标准差,该新的高斯模型以当前像素点Xt的像素值为均值,并初始化一个大的方差;背景更新完毕后,对权值进行归一化处理。
作为本发明的优选技术方案,所述S1.1.3中,背景训练变量如公式(9)所示:
其中,
其中,ExBi,t表示第i个像素块在第t帧时刻背景学习率,ExBi,t-1表示第i个像素块在第t-1帧时刻背景学习率,α为学习效率α,T1为帧差阈值;
根据下面公式(11)来确定像素块是否为背景像素块:
其中,T2为背景更新阈值,取值25。
如果mth=1,则表示当前像素块与背景像素块匹配,该当前像素块为背景像素块,然后利用混合高斯模型进行运动前景区域检测;
所述运动前景检测具体为:将K个高斯分布按照从大到小进行排列,取前B个高斯分布描述背景像素,利用公式(12)将像素点与B个高斯模型进行匹配,如果能与任意一个高斯分布匹配成功,则判断该像素点为背景点,否则该像素点为运动前景区域。
其中,为高斯分布的权值,b表示为第几个高斯分布能够满足公式(12)中的函数argmin(),T3为阈值;
如果mth=0,则可认为该当前像素块为运动的目标前景像素块,并且在后续视频序列中继续保留。
作为本发明的优选技术方案,所述步骤S1.2中,所述OHTA空间可用公式(13)表示:
其中,I1、I2和I3分别是OHTA颜色空间的正交特征;
I1、I2和I3模型的一种变型是I1'、I'2和I3'模型,其中:
采用OHTA空间的阈值法进行颜色分割的步骤包括:
S1.2.1通过公式(13)把RGB图像转换成OHTA色彩空间内各个颜色特征的灰度图像,即得到分量图像I1、分量图像I2和分量图像I3;
S1.2.2分别对I2和I'2采用Ostu算法进行二值化处理;
S1.2.3对I2和I'2的二值图像取交集,再进行高斯滤波处理得到最终颜色分割结果。
作为本发明的优选技术方案,所述S2.1具体包括:
S2.1.1提取颜色特征;
采用一阶颜色矩、二阶颜色矩和三阶颜色矩描述火焰的颜色分布特性,在HIS颜色空间中,Hue(色调)分量的一阶中心矩、二阶中心矩和三阶中心矩分别表示火焰的颜色特征的平均值、标准方差和二次根非对称性,Hue分量的前三阶中心矩分别用公式(15)、(16)和(17)表示:
其中,N为步骤S1获得疑似火焰区域中的p区域的像素数目;H(pi)表示p区域的第i个像素在HIS色彩空间中的Hue分量值;
S2.1.2提取纹理特征;
采用LBP的旋转不变统一模式来描述火焰的纹理特征,LBP的旋转不变统一模式记为LBPriu:
其中,
其中,
式中,gc为中心像素点的灰度值,gk为以gc为中心半径为R的邻域像素,k为邻域像素点的索引,P为以gc为中心半径为R的邻域内的像素个数,x为函数s(x)的自变量,U表示P为二进制编码序列首尾相连后01的跳变次数;
将步骤S1获得的疑似火焰区域的二值图像的LBP直方图分布作为特征向量作为智能识别时的特征,该特征向量记为[H1,H2,...,H10];
S2.1.3提取形状特征;
采用圆形度Cm用来描述对象形状接近圆形的程度,其计算公式为:
其中,Asm表示步骤S1疑似火焰区域的二值图像中第m个连通对象区域S的面积,Lsm为第m个连通对象边界周长,采用连通区域外部边界上像素个数来表示边界周长。
作为本发明的优选技术方案,所述S2.2具体包括:采用Harr小波变换对疑似火焰区域进行一阶小波变换,获得水平高频分量、垂直高频分量和对角线高频分量,则火焰的小波高频能量可以用公式(22)来表示:
G(x,y)=|LH(x,y)|2+|HL(x,y)|2+|HH(x,y)|2 (22)
其中,LH(x,y)、HL(x,y)、HH(x,y)分别是水平、垂直和对角线高频子图像的高频信息,G(x,y)为像素点(x,y)的小波高频能量;
具体利用小波高频能量的均值μ和方差σ来表示火焰高频分量的平均水平和波动情况。
作为本发明的优选技术方案,通过从不同视频中捕获和人工提取的方法正反样本,正样本包括含有不同颜色、形状和强度的火焰,负样本包括类似火焰颜色的运动物体、具有与火焰类似的纹理和颜色的静止物体;并基于所述正反样本训练支持向量机;
支持向量机非线性变换的核函数采用径向基核函数(RBF),其表达式如公式(23)所示:
其中,xi,xj是输入的特征向量,δ为径向基核函数的宽度,特征向量由步骤S2中提取的静态特征和动态特征组成16维向量,即为:[M1,M2,M3,Cm,μ,σ,H1,H2,...H10]。
与现有技术相比,本发明具有以下有益效果:
1)本发明方法利用背景训练变量改良了高斯混合模型的背景更新方式,提取更加精确的运动区域,并结合基于OHTA颜色空间进行颜色分割提取了准确度高的疑似火焰区域,很大程度上排除了类似火焰的物体,有利于提高后续的火焰识别率。
2)本发明方法提取了表征火焰显著特性的静态特征和动态特征,避免了单一特征进行火焰识别的适应性差的缺点,并基于SVM进行多特征的火焰智能识别,算法具有鲁棒性和高识别率。
附图说明
图1是本发明的基于运动检测和多特征提取的火焰智能识别方法操作流程图。
具体实施方式
本发明为一种基于运动检测和多特征提取的智能识别方法,该火焰智能识别方法抗干扰性强、鲁棒性强、识别率高和适应性强,能够有效克服现有技术中火焰识别方法的不足,其实际上可嵌入FPGA实现,运用于具有火焰检测的摄像机中。下面将结合本申请说明书附图,对本发明的一种基于运动检测和多特征提取的智能识别方法的具体实施例做进一步详细说明,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图1所示,本发明的基于运动检测和多特征提取的智能识别方法具体包括以下步骤:
S1输入视频图像,利用改进的混合高斯模型的背景差法和颜色分割提取疑似火焰区域;
S1.1利用改进的混合高斯模型背景差法进行运动前景区域提取;
火焰在燃烧过程中,由于气流、气压以及温度等影响,火焰会呈现出运动特性。混合高斯模型能够对火灾动态区域进行较为精确地检测,从而排除大量的背景干扰区域。为了降低传统混合高斯模型计算复杂度,加强算法实时性。本发明对传统混合高斯模型做了改进,具体将图像转换成灰度图像,并将图像划分成若干个3×3的像素块,并求得像素块的均值和方差,并利用每个像素块的灰度均值和方差代替区域内的像素点来建立混合高斯模型,从而有效地减少运动区域检测时的计算量。
S1.1.1建立混合高斯模型
图像的每个像素块服从高斯概率分布,并用K维高斯分量的线性加权组合,K取3~5。假设第i个像素块的均值为标准差为σi,t,该像素块在第t时刻属于背景的数学模型为:
(1)式中,j表示某个混合高斯模型,j=1,2,...K;K表示混合高斯模型的个数;表示t时刻第i个像素块的第j个高斯模型的权值,其中满足表示t时刻第j个高斯分布,其定义为:
(2)式中,∑i,t为协方差矩阵表示像素点在t时刻第i个像素块的第j个高斯模型的标准差,n为的维数。
S1.1.2背景参数更新;
当采集到新的图像的像素块的均值时,通过下面公式(3)的模型匹配的判决条件来判断新的图像的像素块是否与K个高斯分布匹配。
(3)式中,为t时刻采集到的新的图像的第i个像素块的均值,为t-1时刻第i个像素块的第j个高斯分布的均值,为t-1时刻第i个像素块的第j个高斯分布的标准差。
若是满足公式(3),则可认为当前t时刻第i个像素块的均值与第j个高斯分布匹配,并按照下面公式(4)~(7)进行相应背景参数更新。
其中,为在t时刻第i个像素块的第j高斯分布的权值,为为t时刻第i个像素块的第j高斯分布的均值,为t时刻第i个像素块的第j高斯分布的标准差,∑i,t为协方差矩阵,为学习效率,本具体实施例中取值0.05,ρ为第二背景更新率。
同时,对于其他与像素块均值不匹配的高斯分布模型,需要通过衰减处理来减少这些不匹配的高斯分布的权值,所述衰减处理如下面公式(8)所示:
若当前像素块均值如不存在可以匹配的高斯模型,则建立一个新的高斯模型来代替最小的高斯模型,其中,为在t时刻第i个像素块的某个高斯模型的权值,为在t时刻第i个像素块的该高斯分布的标准差,该新的高斯模型以当前像素点Xt的像素值为均值,并初始化一个大的方差,本具体实施例中初始化方差为80。背景更新完毕后,对权值进行归一化处理。
S1.1.3利用背景训练变量来改进混合高斯模型的背景更新方式,并且提取运动前景区域,运动前景区域的提取可以去除具有类似火焰颜色的静止的物体。
火焰的燃烧时外焰变化较为频繁,频率到达10Hz以上,而内焰和焰心的变化频率要远远低于外焰变化的频率。传统混合高斯模型的背景更新采用的是固定频率,采用固定频率更新背景对于变化速率较慢的目标检测效果较差。在火焰燃烧过程中,火焰内焰和焰心灰度值的变化逐渐稳定,以致于混合高斯模型会将其作为新的模型参数,从而导致提取的火焰目标具有不规则的火焰轮廓,并且目标中心会出现“空洞”的现象,从而导致一些火灾区域的漏检。基于传统混合高斯模型背景更新方式存在的问题,本发明通过建立背景训练变量来改进混合高斯模型的背景更新方式,以更加精确地提取运动目标。
本发明建立的背景训练变量如公式(9)所示:
其中,
其中,ExBi,t表示第i个像素块在第t帧时刻背景学习率,ExBi,t-1表示第i个像素块在第t-1帧时刻背景学习率,在本具体实施例中,学习效率α选为0.015,帧差阈值T1选为15。
根据下面公式(11)来确定像素块是否为背景像素块:
其中,T2为背景更新阈值,取值25。
如果mth=1,则表示当前像素块与背景像素块匹配,该当前像素块为背景像素块,然后利用混合高斯模型进行运动前景区域检测。
所述运动前景检测具体为:将K个高斯分布按照从大到小进行排列,取前B个高斯分布描述背景像素,利用公式(12)将像素点与B个高斯模型进行匹配,如果能与任意一个高斯分布匹配成功,则判断该像素点为背景点,否则该像素点为运动前景区域。
(12)式中,为高斯分布的权值,b表示为第几个高斯分布能够满足公式(12)中的函数argmin(),本具体实施例中阈值T3的取值范围选为0.5~0.7。
如果mth=0,则可认为该当前像素块为运动的目标前景像素块,并且在后续视频序列中继续保留。
S1.2采用OHTA颜色空间进行颜色分割。
为了去除不具有火焰颜色的运动物体,还需进行颜色分割。由于火焰的颜色整体是偏向红色,因此红色分量所占比重最大。但是,一些与火焰颜色比较相近的区域的红色分量也具有较高亮度值,因此在RGB空间进行阈值分割的方法不适用于火焰区域的分割。基于上述内容,本发明采用OHTA空间的阈值法进行颜色分割,所述OHTA空间可用公式(13)表示:
其中,I1、I2和I3分别是OHTA颜色空间的正交特征。当I1、I2和I3特征用于颜色分割时,通常只通过I1和I2就可以很好地分割色彩特征。
I1、I2和I3模型的一种变型是I1'、I'2和I3'模型,其中:
采用OHTA空间的阈值法进行颜色分割的步骤为:
S1.2.1通过式(13)把RGB图像转换成OHTA色彩空间内各个颜色特征的灰度图像,即得到分量图像I1、分量图像I2和分量图像I3;
S1.2.2分别对I2和I'2采用Ostu算法进行二值化处理;
S1.2.3对I2和I'2的二值图像取交集,再进行高斯滤波处理得到最终颜色分割结果。
S1.3将步骤S1.1的运动前景区域和S1.2的颜色分割结果进行取交集操作,得到疑似火焰区域。
这样排除了不具有火焰颜色的运动物体和具有火焰颜色的静止物体,获得了更加接近火焰的疑似火焰区域的二值图像,为进一步的火焰识别做好准备。
S2提取特征向量,该特征向量包括疑似火焰区域静态特征、动态特征。
通过步骤S1获得疑似火焰区域包括了具有运动特性的真实火焰区域和与火焰颜色非常接近的运动物体,为了进一步准确地识别出真实火焰区域,及时地进行火灾报警。本发明在获得疑似火焰区域的基础上进一步提取火焰的静态特征和动态特征,为智能识别提供特征参数。
S2.1静态特征提取;
本发明提取的静态特征包括颜色特征、纹理特征和形状特征。
2.1.1提取颜色特征;
颜色特征是一种描述图像或图像区域所对应的物体与场景表面性质的全局特征。颜色矩可对火焰的颜色分布特性进行定量描述。由于图像或图像区域的颜色分布信息主要集中在低阶矩中,采用一阶颜色矩、二阶颜色矩和三阶颜色矩描述火焰的颜色分布特性。在HIS颜色空间中,Hue(色调)分量的一阶中心矩、二阶中心矩和三阶中心矩分别表示火焰的颜色特征的平均值、标准方差和二次根非对称性。Hue分量的前三阶中心矩分别用公式(15)、(16)和(17)表示:
其中,N为步骤S1获得疑似火焰区域中的p区域的像素数目;H(pi)表示p区域的第i个像素在HIS色彩空间中的Hue分量值。
S2.1.2提取纹理特征;
火焰具有独特的纹理特征,因而纹理是火焰识别中的一个重要特征。Ojala等人剔除的局部二值模式(LBP)通过描述图像灰度变化反映图像纹理,其不受旋转、光照影响,是一种较好的纹理分析方法。基于LBP的优越性,本发明采用计算简便的LBP的旋转不变统一模式来描述火焰的纹理特征。LBP的旋转不变统一模式记为LBPriu:
其中,
其中,
式中,gc为中心像素点的灰度值,gk为以gc为中心半径为R的邻域像素,k为邻域像素点的索引,P为以gc为中心半径为R的邻域内的像素个数,x为函数s(x)的自变量,U表示P为二进制编码序列首尾相连后01的跳变次数。
本具体实施例中,选取P=8,R=1。中心点可以用8位二进制序列表示,U>2统一编码为9,U≤2则按照s(x)函数得到二级制中1的个数进行编码为0-8,因此编码种类共有10种。利用P=8,R=1的获得的LBP直方图可分为10组高度,其中,LBP直方图的第i组高度代表编码为i-1的像素点个数,i=1,2,...,10。因此可将步骤S1获得的疑似火焰区域的二值图像的LBP直方图分布作为特征向量作为智能识别时的特征,特征向量记为[H1,H2,...,H10]。
S2.1.3提取形状特征。
火焰区域的形状特征是火焰影像视觉特性的另一个重要组成部分,圆形度Cm用来描述对象形状接近圆形的程度,其计算公式为:
其中,Asm表示步骤S1疑似火焰区域的二值图像中第m个连通对象区域S的面积,Lsm为第m个连通对象边界周长,采用连通区域外部边界上像素个数来表示边界周长,Cm值的范围是0<Cm≤1,Cm的值越大,则区域形状越接近于圆形。
S2.2提取高频能量的动态特征;
火焰在燃烧过程中,火焰存在闪烁现象,火焰高度会随着火焰的闪烁而发生变化,其变化规律与火焰闪烁频率间存在着直接联系,且与干扰源间存在着较大差别。火焰的持续无规律闪烁跳动可以用高频分量来刻画,而且高频信息不受光照等环境影响,是一个可以显著区分火焰与普通非火焰运动物体的特征。因此,本发明采用Harr小波变换对疑似火焰区域进行一阶小波变换,获得水平高频分量、垂直高频分量和对角线高频分量,则火焰的小波高频能量可以用公式(22)来表示:
G(x,y)=|LH(x,y)|2+|HL(x,y)|2+|HH(x,y)|2 (22)
其中,LH(x,y)、HL(x,y)、HH(x,y)分别是水平、垂直和对角线高频子图像的高频信息,G(x,y)为像素点(x,y)的小波高频能量。
具体利用小波高频能量的均值μ和方差σ来表示火焰高频分量的平均水平和波动情况。
至此,特征向量可以表示为:[M1,M2,M3,Cm,μ,σ,H1,H2,...H10]。
S3输入特征向量,进行基于支持向量机(SVM)的火焰智能识别。
通过从不同视频中捕获和人工提取的方法,得到火焰和非火焰的训练样本。正样本(火焰训练样本)包括含有不同颜色、形状和强度的火焰,负样本(非火焰训练样本)包括类似火焰颜色的运动物体、具有与火焰类似的纹理和颜色的静止物体。
其中,支持向量机(SVM)的核心思想是将输入样本经过非线性变换映射到高维核空间,在高维核空间中寻找最优分类超平面,将样本集分为两类,并使两类间的间隔最大。其中非线性变换是通过核函数实现的,核函数的选择非常关键。本发明中核函数具体采用径向基核函数(RBF),其表达式如公式(23)所示:
其中,xi,xj是输入的特征向量,δ为径向基核函数的宽度,特征向量由步骤S2中提取的静态特征和动态特征组成16维向量,即为:[M1,M2,M3,Cm,μ,σ,H1,H2,...H10]。
当δ的值选取过小时,分类器几乎可以将每个训练数据的类别“记忆”下来,虽然δ的值选取过小可以使得可以获得较高的训练精度,但是不具有良好的推广能力。当δ的值很大时,分类器的分类能力很差,错误率很高。因此δ取值在4~9之间时分类效果最好,在本具体实施例中δ的值取为6。
本发明方法提取了准确度高的疑似火焰区域,很大程度上排除了类似火焰物体的干扰,并且融合了多种火焰显著性特征。算法的抗干扰性强、鲁棒性强、适应性好,同时对火焰的识别率高。
本领域技术人员将清楚本发明的范围不限制于以上讨论的示例,有可能对其进行若干改变和修改,而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明,但这样的说明和描述仅是说明或示意性的,而非限制性的。本发明并不限于所公开的实施例。
Claims (9)
1.一种基于运动检测和多特征提取的火焰智能识别方法,其特征在于,该方法具体包括以下步骤:
S1输入视频图像,利用改进的混合高斯模型的背景差法和基于OHTA的颜色分割提取疑似火焰区域;
S1.1利用改进的混合高斯模型背景差法进行运动前景区域提取;
S1.2采用OHTA颜色空间进行颜色分割;
S1.3将步骤S1.1的运动前景区域和S1.2的颜色分割结果进行取交集操作,得到疑似火焰区域;
S2提取特征向量,该特征向量包括疑似火焰区域静态特征、动态特征;
S2.1静态特征提取;
S2.2提取高频能量的动态特征;
S3输入特征向量,进行基于SVM的火焰智能识别。
2.根据权利要求1所述的一种基于运动检测和多特征提取的火焰智能识别方法,其特征在于,所述S1.1包括:
S1.1.1建立混合高斯模型;
S1.1.2背景参数更新;
S1.1.3利用背景训练变量来改进混合高斯模型的背景更新方式,并且提取运动前景区域。
3.根据权利要求2所述的一种基于运动检测和多特征提取的火焰智能识别方法,其特征在于,所述S1.1.1包括:
图像的每个像素块服从高斯概率分布,并用K维高斯分量的线性加权组合,假设第i个像素块的均值为标准差为σi,t,该像素块在第t时刻属于背景的数学模型为:
其中,j表示某个混合高斯模型,j=1,2,...K,K表示混合高斯模型的个数,表示t时刻第i个像素块的第j个高斯模型的权值,其中满足表示t时刻第j个高斯分布,其定义为:
其中,∑i,t为协方差矩阵 表示像素点在t时刻第i个像素块的第j个高斯模型的标准差,n为的维数。
4.根据权利要求2所述的一种基于运动检测和多特征提取的火焰智能识别方法,其特征在于,所述S1.1.2包括:
当采集到新的图像的像素块的均值时,通过下面公式(3)的模型匹配的判决条件来判断新的图像的像素块是否与K个高斯分布匹配;
其中,为t时刻采集到的新的图像的第i个像素块的均值,为t-1时刻第i个像素块的第j个高斯分布的均值,为t-1时刻第i个像素块的第j个高斯分布的标准差;
若是满足公式(3),则可认为当前t时刻第i个像素块的均值与第j个高斯分布匹配,并按照下面公式(4)~(7)进行相应背景参数更新;
其中,为在t时刻第i个像素块的第j高斯分布的权值,为为t时刻第i个像素块的第j高斯分布的均值,为t时刻第i个像素块的第j高斯分布的标准差,∑i,t为协方差矩阵,为学习效率,ρ为第二背景更新率;
对于其他与像素块均值不匹配的高斯分布模型,通过衰减处理减少其权值,衰减处理如下面公式(8)所示:
若当前像素块均值如不存在可以匹配的高斯模型,则建立一个新的高斯模型来代替最小的高斯模型,其中,为在t时刻第i个像素块的某个高斯模型的权值,为在t时刻第i个像素块的该高斯分布的标准差,该新的高斯模型以当前像素点Xt的像素值为均值,并初始化一个大的方差;背景更新完毕后,对权值进行归一化处理。
5.根据权利要求2所述的一种基于运动检测和多特征提取的火焰智能识别方法,其特征在于,所述S1.1.3中,背景训练变量如公式(9)所示:
其中,
其中,ExBi,t表示第i个像素块在第t帧时刻背景学习率,ExBi,t-1表示第i个像素块在第t-1帧时刻背景学习率,α为学习效率α,T1为帧差阈值;
根据下面公式(11)来确定像素块是否为背景像素块:
其中,T2为背景更新阈值。
如果mth=1,则表示当前像素块与背景像素块匹配,该当前像素块为背景像素块,然后利用混合高斯模型进行运动前景区域检测;
所述运动前景检测具体为:将K个高斯分布按照从大到小进行排列,取前B个高斯分布描述背景像素,利用公式(12)将像素点与B个高斯模型进行匹配,如果能与任意一个高斯分布匹配成功,则判断该像素点为背景点,否则该像素点为运动前景区域。
其中,为高斯分布的权值,b表示为第几个高斯分布能够满足公式(12)中的函数argmin(),T3为阈值;
如果mth=0,则可认为该当前像素块为运动的目标前景像素块,并且在后续视频序列中继续保留。
6.根据权利要求1所述的种基于运动检测和多特征提取的火焰智能识别方法,其特征在于,所述步骤S1.2中,所述OHTA空间可用公式(13)表示:
其中,I1、I2和I3分别是OHTA颜色空间的正交特征;
I1、I2和I3模型的一种变型是I′1、I′2和I′3模型,其中:
采用OHTA空间的阈值法进行颜色分割的步骤包括:
S1.2.1通过公式(13)把RGB图像转换成OHTA色彩空间内各个颜色特征的灰度图像,即得到分量图像I1、分量图像I2和分量图像I3;
S1.2.2分别对I2和I′2采用Ostu算法进行二值化处理;
S1.2.3对I2和I′2的二值图像取交集,再进行高斯滤波处理得到最终颜色分割结果。
7.根据权利要求1所述的一种基于运动检测和多特征提取的火焰智能识别方法,其特征在于,所述S2.1具体包括:
S2.1.1提取颜色特征;
采用一阶颜色矩、二阶颜色矩和三阶颜色矩描述火焰的颜色分布特性,在HIS颜色空间中,Hue(色调)分量的一阶中心矩、二阶中心矩和三阶中心矩分别表示火焰的颜色特征的平均值、标准方差和二次根非对称性,Hue分量的前三阶中心矩分别用公式(15)、(16)和(17)表示:
其中,N为步骤S1获得疑似火焰区域中的p区域的像素数目;H(pi)表示p区域的第i个像素在HIS色彩空间中的Hue分量值;
S2.1.2提取纹理特征;
采用LBP的旋转不变统一模式来描述火焰的纹理特征,LBP的旋转不变统一模式记为LBPriu:
其中,
其中,
式中,gc为中心像素点的灰度值,gk为以gc为中心半径为R的邻域像素,k为邻域像素点的索引,P为以gc为中心半径为R的邻域内的像素个数,x为函数s(x)的自变量,U表示P为二进制编码序列首尾相连后01的跳变次数;
将步骤S1获得的疑似火焰区域的二值图像的LBP直方图分布作为特征向量作为智能识别时的特征,该特征向量记为[H1,H2,...,H10];
S2.1.3提取形状特征;
采用圆形度Cm用来描述对象形状接近圆形的程度,其计算公式为:
其中,Asm表示步骤S1疑似火焰区域的二值图像中第m个连通对象区域S的面积,Lsm为第m个连通对象边界周长,采用连通区域外部边界上像素个数来表示边界周长。
8.根据权利要求1所述的一种基于运动检测和多特征提取的火焰智能识别方法,其特征在于,所述S2.2具体包括:
采用Harr小波变换对疑似火焰区域进行一阶小波变换,获得水平高频分量、垂直高频分量和对角线高频分量,则火焰的小波高频能量可以用公式(22)来表示:
G(x,y)=|LH(x,y)|2+|HL(x,y)|2+|HH(x,y)|2 (22)
其中,LH(x,y)、HL(x,y)、HH(x,y)分别是水平、垂直和对角线高频子图像的高频信息,G(x,y)为像素点(x,y)的小波高频能量;
具体利用小波高频能量的均值μ和方差σ来表示火焰高频分量的平均水平和波动情况。
9.根据权利要求1所述的一种基于运动检测和多特征提取的火焰智能识别方法,其特征在于,通过从不同视频中捕获和人工提取的方法正反样本,正样本包括含有不同颜色、形状和强度的火焰,负样本包括类似火焰颜色的运动物体、具有与火焰类似的纹理和颜色的静止物体;并基于所述正反样本训练支持向量机;
支持向量机非线性变换的核函数采用径向基核函数(RBF),其表达式如公式(23)所示:
其中,xi,xj是输入的特征向量,δ为径向基核函数的宽度,特征向量由步骤S2中提取的静态特征和动态特征组成16维向量,即为:[M1,M2,M3,Cm,μ,σ,H1,H2,...H10]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711400973.4A CN108229458A (zh) | 2017-12-22 | 2017-12-22 | 一种基于运动检测和多特征提取的火焰智能识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711400973.4A CN108229458A (zh) | 2017-12-22 | 2017-12-22 | 一种基于运动检测和多特征提取的火焰智能识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108229458A true CN108229458A (zh) | 2018-06-29 |
Family
ID=62648426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711400973.4A Pending CN108229458A (zh) | 2017-12-22 | 2017-12-22 | 一种基于运动检测和多特征提取的火焰智能识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108229458A (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280409A (zh) * | 2018-01-09 | 2018-07-13 | 浙江工业大学 | 一种基于多特征融合的大空间视频烟雾检测方法 |
| CN109360370A (zh) * | 2018-11-30 | 2019-02-19 | 广州高新兴机器人有限公司 | 一种基于机器人烟火检测的方法 |
| CN109472192A (zh) * | 2018-09-20 | 2019-03-15 | 国网江苏省电力有限公司检修分公司 | 一种变电站室外具备抗干扰能力的火焰图像识别方法 |
| CN109598891A (zh) * | 2018-12-24 | 2019-04-09 | 中南民族大学 | 一种利用深度学习分类模型实现烟雾检测的方法和系统 |
| CN109711345A (zh) * | 2018-12-27 | 2019-05-03 | 南京林业大学 | 一种火焰图像识别方法、装置及其存储介质 |
| CN109766763A (zh) * | 2018-12-15 | 2019-05-17 | 中国科学院长春光学精密机械与物理研究所 | 一种森林火灾检测方法及系统 |
| CN110021133A (zh) * | 2019-05-17 | 2019-07-16 | 重庆消防安全技术研究服务有限责任公司 | 全天候消防火灾巡逻预警监控系统及火灾图像检测方法 |
| CN110084160A (zh) * | 2019-04-16 | 2019-08-02 | 东南大学 | 一种基于运动和亮度显著性特征的视频森林烟火检测方法 |
| CN110232717A (zh) * | 2019-06-10 | 2019-09-13 | 北京壹氢科技有限公司 | 一种适用于多对多目标识别的目标同一性识别方法 |
| CN110298362A (zh) * | 2019-06-11 | 2019-10-01 | 浙江工业大学 | 一种牡丹花特征提取方法 |
| CN110738218A (zh) * | 2019-10-14 | 2020-01-31 | 国网山东省电力公司电力科学研究院 | 一种输电线路通道烟火隐患识别方法及装置 |
| CN110751014A (zh) * | 2019-08-29 | 2020-02-04 | 桂林电子科技大学 | 一种火焰检测系统及方法 |
| CN111353334A (zh) * | 2018-12-21 | 2020-06-30 | 富士通株式会社 | 烟雾检测方法和装置 |
| CN111476816A (zh) * | 2019-09-29 | 2020-07-31 | 深圳市捷高电子科技有限公司 | 一种智能多种物体高效同时识别方法 |
| CN111896541A (zh) * | 2020-07-16 | 2020-11-06 | 江苏云聚汇科技有限公司 | 一种基于区块链的烟气在线监测系统 |
| CN112052912A (zh) * | 2020-09-23 | 2020-12-08 | 同济大学 | 一种消防机器人智能火焰燃烧状态识别方法 |
| CN112133052A (zh) * | 2020-09-22 | 2020-12-25 | 岭澳核电有限公司 | 核电厂图像火灾探测方法 |
| CN112907584A (zh) * | 2021-01-08 | 2021-06-04 | 昆明理工大学 | 改进mtbcd火焰图像特征提取的转炉炼钢终点碳含量预测方法 |
| CN115880490A (zh) * | 2022-11-21 | 2023-03-31 | 广东石油化工学院 | 一种基于孤立森林的火焰分割方法 |
| CN116958880A (zh) * | 2023-08-01 | 2023-10-27 | 上海网达软件股份有限公司 | 视频火焰前景分割预处理方法、装置、设备及存储介质 |
| CN117095331A (zh) * | 2023-08-07 | 2023-11-21 | 淮阴工学院 | 一种基于bes-bp分类器与时空视觉特征的火灾探测方法 |
| CN118982687A (zh) * | 2024-08-19 | 2024-11-19 | 常州市新创智能科技有限公司 | 预氧化炉内火焰检测红色干扰筛选方法及系统 |
| CN121010830A (zh) * | 2025-10-27 | 2025-11-25 | 江苏金恒信息科技股份有限公司 | 基于视觉技术的转炉氧枪点火识别方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101394479A (zh) * | 2008-09-25 | 2009-03-25 | 上海交通大学 | 基于运动检测结合多通道融合的教师运动跟踪方法 |
| CN106096603A (zh) * | 2016-06-01 | 2016-11-09 | 中国科学院自动化研究所 | 一种融合多特征的动态火焰检测方法及装置 |
-
2017
- 2017-12-22 CN CN201711400973.4A patent/CN108229458A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101394479A (zh) * | 2008-09-25 | 2009-03-25 | 上海交通大学 | 基于运动检测结合多通道融合的教师运动跟踪方法 |
| CN106096603A (zh) * | 2016-06-01 | 2016-11-09 | 中国科学院自动化研究所 | 一种融合多特征的动态火焰检测方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| 吴建胜 等: "一种基于视频的火焰检测方法", 《计算机应用与软件》 * |
| 张霞,黄继风: "结合LBP直方图和 SVM的视频火焰检测", 《计算机应用与软件》 * |
| 杨亚洁 等: "基于多特征匹配的视频图像火灾火焰检测方法研究", 《电子设计工程》 * |
| 江熹: "基于数字图像处理的大空间早期火灾自动检测与识别技术研究", 《中国优秀硕士学位论文全文数据库(电子期刊) 信息科技辑》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280409A (zh) * | 2018-01-09 | 2018-07-13 | 浙江工业大学 | 一种基于多特征融合的大空间视频烟雾检测方法 |
| CN109472192A (zh) * | 2018-09-20 | 2019-03-15 | 国网江苏省电力有限公司检修分公司 | 一种变电站室外具备抗干扰能力的火焰图像识别方法 |
| CN109360370A (zh) * | 2018-11-30 | 2019-02-19 | 广州高新兴机器人有限公司 | 一种基于机器人烟火检测的方法 |
| CN109766763A (zh) * | 2018-12-15 | 2019-05-17 | 中国科学院长春光学精密机械与物理研究所 | 一种森林火灾检测方法及系统 |
| CN111353334A (zh) * | 2018-12-21 | 2020-06-30 | 富士通株式会社 | 烟雾检测方法和装置 |
| CN109598891A (zh) * | 2018-12-24 | 2019-04-09 | 中南民族大学 | 一种利用深度学习分类模型实现烟雾检测的方法和系统 |
| CN109711345A (zh) * | 2018-12-27 | 2019-05-03 | 南京林业大学 | 一种火焰图像识别方法、装置及其存储介质 |
| CN109711345B (zh) * | 2018-12-27 | 2023-06-13 | 南京林业大学 | 一种火焰图像识别方法、装置及其存储介质 |
| CN110084160A (zh) * | 2019-04-16 | 2019-08-02 | 东南大学 | 一种基于运动和亮度显著性特征的视频森林烟火检测方法 |
| CN110021133A (zh) * | 2019-05-17 | 2019-07-16 | 重庆消防安全技术研究服务有限责任公司 | 全天候消防火灾巡逻预警监控系统及火灾图像检测方法 |
| CN110021133B (zh) * | 2019-05-17 | 2020-11-20 | 重庆消防安全技术研究服务有限责任公司 | 全天候消防火灾巡逻预警监控系统及火灾图像检测方法 |
| CN110232717A (zh) * | 2019-06-10 | 2019-09-13 | 北京壹氢科技有限公司 | 一种适用于多对多目标识别的目标同一性识别方法 |
| CN110298362A (zh) * | 2019-06-11 | 2019-10-01 | 浙江工业大学 | 一种牡丹花特征提取方法 |
| CN110751014A (zh) * | 2019-08-29 | 2020-02-04 | 桂林电子科技大学 | 一种火焰检测系统及方法 |
| CN111476816A (zh) * | 2019-09-29 | 2020-07-31 | 深圳市捷高电子科技有限公司 | 一种智能多种物体高效同时识别方法 |
| CN110738218A (zh) * | 2019-10-14 | 2020-01-31 | 国网山东省电力公司电力科学研究院 | 一种输电线路通道烟火隐患识别方法及装置 |
| CN111896541A (zh) * | 2020-07-16 | 2020-11-06 | 江苏云聚汇科技有限公司 | 一种基于区块链的烟气在线监测系统 |
| CN112133052A (zh) * | 2020-09-22 | 2020-12-25 | 岭澳核电有限公司 | 核电厂图像火灾探测方法 |
| CN112052912A (zh) * | 2020-09-23 | 2020-12-08 | 同济大学 | 一种消防机器人智能火焰燃烧状态识别方法 |
| CN112907584A (zh) * | 2021-01-08 | 2021-06-04 | 昆明理工大学 | 改进mtbcd火焰图像特征提取的转炉炼钢终点碳含量预测方法 |
| CN112907584B (zh) * | 2021-01-08 | 2022-07-19 | 昆明理工大学 | 改进mtbcd火焰图像特征提取的转炉炼钢终点碳含量预测方法 |
| CN115880490A (zh) * | 2022-11-21 | 2023-03-31 | 广东石油化工学院 | 一种基于孤立森林的火焰分割方法 |
| CN115880490B (zh) * | 2022-11-21 | 2023-10-27 | 广东石油化工学院 | 一种基于孤立森林的火焰分割方法 |
| CN116958880A (zh) * | 2023-08-01 | 2023-10-27 | 上海网达软件股份有限公司 | 视频火焰前景分割预处理方法、装置、设备及存储介质 |
| CN117095331A (zh) * | 2023-08-07 | 2023-11-21 | 淮阴工学院 | 一种基于bes-bp分类器与时空视觉特征的火灾探测方法 |
| CN118982687A (zh) * | 2024-08-19 | 2024-11-19 | 常州市新创智能科技有限公司 | 预氧化炉内火焰检测红色干扰筛选方法及系统 |
| CN121010830A (zh) * | 2025-10-27 | 2025-11-25 | 江苏金恒信息科技股份有限公司 | 基于视觉技术的转炉氧枪点火识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229458A (zh) | 一种基于运动检测和多特征提取的火焰智能识别方法 | |
| CN103886344B (zh) | 一种图像型火灾火焰识别方法 | |
| US20230289979A1 (en) | A method for video moving object detection based on relative statistical characteristics of image pixels | |
| Alamgir et al. | Combining multi-channel color space with local binary co-occurrence feature descriptors for accurate smoke detection from surveillance videos | |
| CN111666834A (zh) | 一种基于图像识别技术的森林火灾自动监测识别系统及方法 | |
| CN103871029B (zh) | 一种图像增强及分割方法 | |
| Zhao et al. | SVM based forest fire detection using static and dynamic features | |
| CN103971386B (zh) | 一种动态背景场景下的前景检测方法 | |
| CN105528794B (zh) | 基于混合高斯模型与超像素分割的运动目标检测方法 | |
| CN111696123A (zh) | 超像素分类识别的遥感图像水域分割提取方法 | |
| CN107230188B (zh) | 一种视频运动阴影消除的方法 | |
| CN108921215A (zh) | 一种基于局部极值共生模式和能量分析的烟雾检测 | |
| CN109255326B (zh) | 一种基于多维信息特征融合的交通场景烟雾智能检测方法 | |
| CN116524410B (zh) | 基于混合高斯模型的深度学习融合场面目标检测方法 | |
| CN108074234A (zh) | 一种基于目标跟踪和多特征融合的大空间火焰检测方法 | |
| CN113221881B (zh) | 一种多层级的智能手机屏幕缺陷检测方法 | |
| CN106557740B (zh) | 一种遥感图像中油库目标的识别方法 | |
| CN111898627B (zh) | 一种基于pca的svm云微粒子优化分类识别方法 | |
| CN108154087A (zh) | 一种基于特征匹配的红外人体目标检测跟踪方法 | |
| Wang et al. | An maize leaf segmentation algorithm based on image repairing technology | |
| CN120431047B (zh) | 一种基于机器视觉的混凝土缺陷检测方法 | |
| CN109801305B (zh) | 基于深度胶囊网络的sar图像变化检测方法 | |
| CN115439405A (zh) | 一种钢板表面缺陷的分类方法 | |
| CN118230319A (zh) | 一种干细胞自动识别与分类的图像处理方法 | |
| CN115690692A (zh) | 一种基于主动学习和神经网络的高空抛物检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180629 |
|
| RJ01 | Rejection of invention patent application after publication |