CN111611907B - 一种图像增强的红外目标检测方法 - Google Patents

Abstract

本发明公开了一种图像增强的红外目标检测方法，属于红外目标属性识别技术领域，该方法建立清晰的红外图像数据集，设定目标检测网络的相关参数，如学习率、动量等；训练目标检测算法网络；对红外图像进行自适应的伽马变换，增加红外图像的对比度；利用Sobel算子边缘增强方法，对图像进行细节的增强；将经过图像增强算法后的红外图像输入到目标检测算法中提取特征并进行检测分类。本发明通过引入图像增强算法，有效的避免了卷积神经网络目标检测算法对红外图像提取特征不明显的问题，弥补了红外图像目标与环境热辐射强度差小或远小目标进行检测产生误识别与漏识别的问题。

Description

一种图像增强的红外目标检测方法

技术领域

本发明涉及红外目标属性识别技术领域，尤其涉及一种图像增强的红外目标检测方法。

背景技术

红外目标检测的主要功能是根据输入的红外图像信息，定位人们感兴趣的目标，并对定位的目标进行具体的分类，最后给出置信度分数；目前红外目标检测技术已广泛应用于智能交通管理领域，其可以显著提高智能交通管理系统中的交通监管以及车辆管控的性能；近年来，国内外学者对目标检测进行了大量的研究，包括基于像素点特征的目标检测、基于特征描述子的目标检测、基于灰度奇异值法的目标检测、基于磁阻传感器的目标检测及基于BP神经网络的目标检测方法等方法，还有学者使用基于卷积神经网络的目标检测方法，对人们感兴趣的红外目标进行检测，在某些情况下能够达到非常卓越的效果；但在输入的红外图像不够清晰，待识别目标的特征不够明显的情况下，卷积神经网络的目标检测算法容易产生误识别与漏识别的问题；同时，有很多学者对基于卷积神经网络的目标检测算法进行了大量的改进，如：加深卷积神经网络层数、改变卷积神经网络激活函数、结合多层特征图等方法，这些方法增加了提取特征的多元性，但是在待识别红外图像目标的特征不明显的情况下，仍然出现提取到的特征不能很好的区分目标属性以及重复提取无关特征的现象。

对于拍摄的红外图像，由于拍摄设备的限制，红外图像的质量参差不齐，拍摄的红外图像对比度低，且远距离目标成像不清晰。对于灰度的红外图像，对比度对视觉效果的影响非常关键，一般来说对比度越大，图像就越清晰。而自适应伽马变换能够根据拍摄的红外图像明暗情况自动选择合适的伽马值，对输入的红外图像进行伽马变换，对图像暗区域或亮区域进行不同程度的拉伸，从而使图像的对比度得到增强，即能够使图像达到更清晰的目的。同时在拍摄的目标距离较远或目标较小的情形下，所拍摄的目标热辐射强度较低，成像不清晰，而基于Sobel算子的边缘检测方法，通过提取输入的红外图像边缘并进行增强，增加了目标的清晰程度，并且削弱了由于伽马变换造成的灰度等级压缩而造成的目标特征模糊的问题，从而使图像更清晰。

目前，有学者已经提出使用伽马变换或Sobel算子边缘检测在图像处理的领域。同时有学者使用图像增强算法对红外图像进行增强，结合传统的目标属性算法进行目标检测，能够解决由红外图像不清晰造成的提取特征不明显的缺点，从而提高目标检测的准确率。

由于基于卷积神经网络的目标检测算法发展时间不长，理论基础和应用推广还需进一步深入研究，国内外将根据图像情况自适应选择伽马值进行伽马变换和使用Sobel算子进行边缘增强的研究，有关文献还很少。同时将上述方法与基于卷积神经网络的目标检测算法相结合应用到红外目标检测，相关研究还很少。

因此希望设计一种图像增强的红外目标检测方法，可以克服或至少减轻现有技术的上述缺陷。

发明内容

针对上述现有技术的不足，本发明提供一种图像增强的红外目标检测方法，在卷积神经网络红外目标检测算法中引入图像增强算法，使用自适应伽马变换，增强图像对比度；同时使用基于Sobel算子的边缘增强方法，对图像进行相关细节的增强，弥补了卷积神经网络红外目标检测算法对目标与环境热辐射强度差小或远小目标进行检测产生误识别与漏识别的问题，提高了卷积神经网络红外目标检测的置信度和准确性。

为解决上述技术问题，本发明所采取的技术方案是：一种图像增强的红外目标检测方法，其流程如图1所示，包括如下步骤：

步骤1：获取目标检测图像并按灰度级i进行灰度变换；

步骤2：基于自适应伽马变换方法对目标检测的灰度图像进行伽玛变换，得到变换后的图像s；

步骤2.1：根据各灰度等级的像素点个数，确定自适应伽马变换的γ值；

步骤2.1.1：统计灰度变换后目标检测图像的各灰度等级对应的像素点个数num_i；

步骤2.1.2：基于自适应伽马变换方法，获取目标检测图像中相邻15个灰度级的累积像素点个数的最大值时对应的灰度级gray，计算公式如下：

步骤2.1.3：确定自适应伽马变换的γ值，计算公式如下：

步骤2.2：对目标检测图像进行伽马变换，过程如下：

s＝cr^γ,(c,γ＞0)(s,r∈[0,1])

其中，r为输入图像的像素点灰度值归一化后的值，s为输出图像的像素点灰度值归一化后的值，c和γ为常数。

步骤3：基于Sobel算子对自适应伽马变换后的图像s进行边缘增强，得到增强后的图像G*；

步骤3.1：基于Sobel算子，对自适应伽马变换后图像s求取X方向边缘图像，计算公式如下：

其中，G_x是s图像的X方向边缘图像；

步骤3.2：对自适应伽马变换后图像s求取Y方向边缘图像，计算公式如下：

其中，G_y是s图像的Y方向边缘图像；

步骤3.3：计算s图像边缘增强后的图像G*，计算公式如下：

G^*＝a×G+b×s，(a+b＝1)

其中，a、b为权重值。

步骤4：将边缘增强后的图像G*输入基于卷积神经网络的目标检测算法中进行目标检测。

采用上述技术方案所产生的有益效果在于：

(1)在伽马变换的基础上设计了一种根据图片明暗情况自动选择合适伽马取值的自适应伽马变换，提高了伽马变换红外增强的效率，有效的避免由于图像明暗情况不同，需要手动调整合适伽马值的问题；

(2)在Sobel算子边缘检测的基础上设计了一种能够增加图像细节的基于Sobel算子的边缘增强方法，提高了红外图像的目标的细节，并有效的避免了由于伽马变换造成的灰度消失的问题；

(3)设计一种图像增强的红外目标检测方法，在卷积神经网络目标检测算法中引入自适应伽马变换和基于Sobel算子的边缘增强方法，提高了图像的清晰程度和目标特征的突出性，有效的避免卷积神经网络提取的特征不明显的问题，提高了卷积神经网络红外目标检测的置信度和准确性。

附图说明

图1为本发明一种图像增强的红外目标检测方法的流程图；

图2为本发明实施例中引入本发明方法前后红外目标检测情况对比图；

图3为本发明实施例中引入本发明方法前后红外目标检测置信度情况对比图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本实施例的方法如下所述。

步骤1：获取目标检测图像并按灰度级i进行灰度变换；

步骤2：基于自适应伽马变换方法对目标检测的灰度图像进行伽玛变换，得到变换后的图像s；

步骤2.1：根据各灰度等级的像素点个数，确定自适应伽马变换的γ值；

步骤2.1.1：统计灰度变换后目标检测图像的各灰度等级对应的像素点个数num_i；

步骤2.1.2：基于自适应伽马变换方法，获取目标检测图像中相邻15个灰度级的累积像素点个数的最大值时对应的灰度级gray，计算公式如下：

步骤2.1.3：确定自适应伽马变换的γ值，计算公式如下：

步骤2.2：对目标检测图像进行伽马变换，过程如下：

s＝cr^γ,(c,γ＞0)(s,r∈[0,1])

其中，r为输入图像的像素点灰度值归一化后的值，s为输出图像的像素点灰度值归一化后的值，c和γ为常数，本实施例中c＝1。

步骤3：基于Sobel算子对自适应伽马变换后的图像s进行边缘增强，得到增强后的图像G*；

步骤3.1：基于Sobel算子，对自适应伽马变换后图像s求取X方向边缘图像，计算公式如下：

其中，G_x是s图像的X方向边缘图像；

步骤3.2：对自适应伽马变换后图像s求取Y方向边缘图像，计算公式如下：

其中，G_y是s图像的Y方向边缘图像；

步骤3.3：计算s图像边缘增强后的图像G*，计算公式如下：

G^*＝a×G+b×s，(a+b＝1)

其中，a、b为权重值，本实施例中a＝0.3，b＝0.7。

步骤4：将边缘增强后的图像G*输入基于卷积神经网络的目标检测算法中进行目标检测。

为验证本发明的自适应伽马变换(即AGT-Enhance算法)和图像增强的红外目标检测方法(即AE-Enhance算法)的有效性和可行性，利用Tensorflow-Linux，分别设计对比试验。对于AGT-Enhance算法，设计采用单一伽马值对红外图像进行增强，分别采用γ＝1、0.5、2、3.5(即GT-Enhance-a、b、c、d)，并对增强后的红外图像选用Mask R-CNN目标检测算法进行检测，并与自适应选择伽马值的本算法增强后的检测结果进行比较；对于AE-Enhance算法，与未采用增强(即No-Enhance算法)的红外图像检测结果与选用常见的图像处理方法对红外图像进行增强或去噪，如全局直方图均衡化(即GHE-Enhance算法)、局部直方图均衡化(即LHE-Enhance算法)、限制对比度自适应直方图均衡化(即CLAHE-Enhance算法)、多尺度Retinex增强(即MSR-Enhance算法)、双边滤波(即BF-Enhance算法)以及中值滤波(即MF-Enhance算法)、改进的自适应伽马变换(即AGT-Enhance算法)和基于Sobel算子改进的边缘增强方法(即EEBS-Enhance算法)，将上述图像处理方法放入对红外图像进行增强，并用Mask R-CNN目标检测方法进行检测，与本发明的AE-Enhance算法进行比较，实验结果见表1和表2：

表1自适应伽马变换实验

由表1的统计数据可知，当γ＝0.5或2时，即GT-Enhance-b和GT-Enhance-c，其伽马变换后红外图像的检测结果均比不进行伽马变换GT-Enhance-a的红外图像检测结果高，在AP值上，分别高出1.52％和2.01％。而当γ＝3.5时，即GT-Enhance-d，其伽马变换后红外图像的检测结果要低于GT-Enhance-a的检测结果1.65％。当采用自适应伽马变换时，即AGT-Enhance，要比均采用固定值的伽马变换检测效果高，在AP值中分别比GT-Enhance-a、GT-Enhance-b、GT-Enhance-c、GT-Enhance-d高2.87％、1.35％、0.86％、4.52％。

表2不同增强算法后红外图像的检测结果

由表2的统计数据可知，在选用的其他图像处理方法中，仅CLAHE-Enhance与MF-Enhance对红外图像目标检测有积极效果。分别比未采用任何增强方法No-Enhance的检测结果在AP值上高出0.39％和1.19％，提升效果不明显。仅采用自适应伽马变换的图像增强方法AGT-Enhance，其红外图像的检测效果高出未采用任何图像增强方法No-Enhance的检测效果2.87％。同样地，仅采用基于Sobel算子的边缘增强方法EEBS-Enhance的检测效果高出No-Enhance的检测效果2.36％。单独采用单一图像增强方法中，自适应伽马变换的图像增强方法AGT-Enhance其效果最好。AE-Enhance为本发明图像增强的红外目标检测方法，其检测效果最好，AP值为54.10％，分别比No-Enhance和AGT-Enhance的检测效果高出4.48％和1.61％。

其中，AP值为目标检测算法的评价指标，本实施例沿用COCO挑战赛中的评价体系：AP、AP@50、AP@75。AP值的计算公式如下：

其中，Precision为精确率，Recall为召回率，m为该次检测结果中检测到的图像数，i为第i个检测到的图像；TP为将前景目标正确检测为前景目标的检测结果，FP为将背景错误检测为前景目标的检测结果，TN为将背景正确检测为背景的检测结果，FN为将前景目标错误检测为背景的检测结果。

目标检测算法中，IoU(Intersection-over-Union)是评价检测算法是否识别出前景目标的阈值，即当前景目标的检测置信度高于IoU阈值时才判定为Positive。因此设置不同的IoU，其计算的Positive样本数量以及AP值会不同，IoU的计算公式如下：

其中其中，

其中，S_A为标注框(Ground Truth)的面积，S_B为预测定位框的面积。

(1)AP：本实施例主要评价指标，当IoU为0.5到0.95范围内，每0.05计算一次AP值，

并对所有的AP值取平均值；

(2)AP@50：当IoU取0.5时的AP值；

(3)AP@75：当IoU取0.75时的AP值；

(4)AP@S：对于像素点数量小于32²的目标计算(1)中的AP值；

(5)AP@M：对于像素点数量大于32²且小于96²的目标计算(1)中的AP值；

(6)AP@L：对于像素点数量大于96²的目标计算(1)中的AP值。

通过图2和图3可以看出，AE-Enhance算法的漏识别现象相对比No-Enhance算法有明显的减少，并且检测的置信度明显的提高。AE-Enhance算法红外目标检测的漏识别现象，有效的提高了检测的置信度和识别准确率，为基于卷积神经网络的红外目标检测问题提供了一种新的方法和途径。

Claims (1)

1.一种图像增强的红外目标检测方法，其特征在于包括如下步骤：

步骤1：获取目标检测图像并按灰度级i进行灰度变换；

步骤2：基于自适应伽马变换方法对目标检测的灰度图像进行伽玛变换，得到变换后的图像s；

步骤2.1：根据各灰度等级的像素点个数，确定自适应伽马变换的γ值；

步骤2.1.1：统计灰度变换后目标检测图像的各灰度等级对应的像素点个数num_i；

步骤2.1.2：基于自适应伽马变换方法，获取目标检测图像中相邻15个灰度级的累积像素点个数的最大值时对应的灰度级gray，计算公式如下：

步骤2.1.3：确定自适应伽马变换的γ值，计算公式如下：

步骤2.2：对目标检测图像进行伽马变换；

对目标检测图像进行伽马变换的过程如下：

s＝cr^γ,(c,γ>0)(s,r∈[0,1])

其中，r为输入图像的像素点灰度值归一化后的值，s为输出图像的像素点灰度值归一化后的值，c和γ为常数；

步骤3：基于Sobel算子对自适应伽马变换后的图像s进行边缘增强，得到增强后的图像G*；

步骤3.1：基于Sobel算子，对自适应伽马变换后图像s求取X方向边缘图像，计算公式如下：

其中，G_x是s图像的X方向边缘图像；

步骤3.2：对自适应伽马变换后图像s求取Y方向边缘图像，计算公式如下：

其中，G_y是s图像的Y方向边缘图像；

步骤3.3：计算s图像边缘增强后的图像G*，计算公式如下：

G^*＝a×G+b×s，(a+b＝1)

其中，a、b为权重值；

步骤4：将边缘增强后的图像G*输入基于卷积神经网络的目标检测算法中进行目标检测。