CN108416287A - 一种基于遗漏负样本挖掘的行人检测方法 - Google Patents

Abstract

本发明公开了一种基于遗漏负样本挖掘的行人检测方法。方法为：首先将训练样本输入到基础网络，生成用于RPN网络训练的前景样本和背景样本；然后单独训练RPN网络，使用RPN网络提取训练集上的候选区域作为Fast R‑CNN的训练样本；使用阈值T进行遗漏负样本挖掘，将得到的负样本与训练样本合并，训练Fast R‑CNN网络；采用交替训练的方式训练RPN网络和Fast R‑CNN网络，共享卷积层特征，得到Faster R‑CNN目标检测器；最后将待检测图片输入到Faster R‑CNN目标检测器，得到行人检测结果。本发明方法计算量小、易于实现，并且提高了行人检测的召回率、精度率和F1测度三个联合测量指标。

Description

一种基于遗漏负样本挖掘的行人检测方法

技术领域

本发明涉及计算机视觉和模式识别技术领域，特别是一种基于遗漏负样本挖掘的行人检测方法。

背景技术

计算机视觉近几年来一直是研究的热点和难点，而行人检测作为高层视觉任务的基础，已成为计算机视觉领域中至关重要的研究问题。计算机视觉即通过机器视觉来模仿人眼的视觉系统，认知心理学和神经生物学的研究发现，人类在识别一个具体的物体是什么之前具有一种很强的感知物体的能力。对一幅复杂的图像来说，人类的视觉系统在一开始的反应时间内只会关注其中的某些部分，并忽略图像中其余不显著的部分。这进一步说明在识别一个具体事物之前，在人类的视觉系统中存在一个简单的视觉注意机制，该机制用来筛选出最有可能含有物体的区域。

近年来，卷积神经网络(CNN)在计算机视觉和模式识别方面表现出了强大的能力。许多基于CNN的物体检测方法已经被提出，这促进了行人检测的学术研究和应用进展。目前最先进的行人检测方法为Faster RCNN，Faster R-CNN框架主要由两个模块组成：RPN和Fast R-CNN。其中，RPN是用于提取候选框的模块，它改善了过去提取候选框的方法，大幅度减少候选框的数量、提高了整体物体检测的准确性。Fast R-CNN检测并识别RPN提出的候选框。同时，该框架依靠4步交替训练算法，将独立存在的RPN网络和Fast R-CNN网络通过共享卷积层实现了端到端。端到端可训练的Faster R-CNN网络更快更强大。但由于Faster RCNN使用端到端的训练策略而没有使用挖掘难负示例的方法，生成样本时只考虑了真值候选框周围的样本，所以存在一定的局限性。

发明内容

本发明目的在于提供一种基于遗漏负样本挖掘的行人检测方法，以提高FasterRCNN行人检测方法的性能。

实现本发明目的的技术解决方案为：一种基于遗漏负样本挖掘的行人检测方法，包括以下步骤：

步骤1、将训练样本输入到基础网络，生成用于RPN网络训练的前景样本和背景样本；

步骤2、单独训练RPN网络，使用RPN网络提取训练集上的候选区域作为Fast R-CNN的训练样本；

步骤3、使用阈值T进行遗漏负样本挖掘，将得到的负样本与步骤2的得到的样本合并，训练Fast R-CNN网络；

步骤4、采用交替训练的方式训练RPN网络和Fast R-CNN网络，共享卷积层特征，得到Faster R-CNN目标检测器；

步骤5、将待检测图片输入到Faster R-CNN目标检测器，得到行人检测结果。

进一步地，步骤1所述的将训练样本输入到基础网络，生成用于RPN网络训练的前景样本和背景样本，具体如下：

1.1)将训练集中的每张图像，归一化为224*224的分辨率，使用ZF网络作为基础网络对图像进行特征提取，得到51*39*256的特征图；

1.2)对于特征图的每一个位置，输出这个位置上3种尺度和3种长宽比的9个候选窗口，候选窗口称为anchors；

1.3)考察训练集中的每张图像，通过计算真值区域和anchors的重叠比例，得到前景样本和背景样本。

进一步地，步骤1.3)所述的考察训练集中的每张图像，通过计算真值区域和anchors的重叠比例，得到前景样本和背景样本，具体如下：

1.3.1)对每个标定的真值候选区域，与其重叠比例最大的anchor记为前景样本；

1.3.2)对步骤1.3.1)剩余的anchors，如果其与某个标定重叠比例大于0.7，记为前景样本；如果其与任意一个标定的重叠比例都小于0.3，记为背景样本；

1.3.3)对步骤1.3.1)和步骤1.3.2)剩余的anchors，弃去不用；跨越图像边界的anchors也弃去不用。

进一步地，步骤2所述的单独训练RPN网络，使用RPN网络提取训练集上的候选区域作为Fast R-CNN的训练样本，具体如下：

2.1)将分类误差和前景样本的窗口位置偏差作为训练RPN网络的代价函数；

2.2)将ImageNet预训练的模型初始化，并载入网络参数；

2.3)进行卷积神经网络训练，前60000次迭代学习率设置为0.001，后面的迭代学习率设置为0.0001；训练时每个mini-batch包含从一张图像中提取的256个anchor，前景背景样本比例为1:1；

2.4)利用训练好的RPN网络生成候选区域，并将候选区域分为正样本和负样本。

进一步地，步骤3所述的使用阈值T进行遗漏负样本挖掘，将得到的负样本与步骤2的得到的样本合并，训练Fast R-CNN网络，具体如下：

3.1)将RPN网络的输出用于预分类器，生成分类得分，根据分类得分为Faster R-CNN选择遗漏的负样本；

3.2)定义b_i为Faster R-CNN丢弃的第i个候选框，Score(·)为候选框的分类得分，T为阈值，则有：

3.3)阈值T选用0.7，阈值T通过实验获得；

3.4)使用预训练模型来判断弃去不用的候选框，找到可能被分类器误判为目标的候选框，作为遗漏的负样本加入训练样本中；

3.5)利用步骤2.4)和步骤3.4)生成的样本，用ImageNet预训练的模型初始化Fast-RCNN网络，然后单独训练Fast-RCNN网络。

进一步地，步骤4所述的采用交替训练的方式训练RPN网络和Fast R-CNN网络，共享卷积层特征，得到Faster R-CNN目标检测器，具体如下：

4.1)再次训练RPN，用检测网络初始化RPN训练，固定共享的卷积层，调整RPN独有的层，使得RPN和Fast R-CNN两个网络共享卷积层；

4.2)使用训练好的RPN网络进行样本生成，并且进行遗漏负样本挖掘；

4.3)保持共享的卷积层固定，调整Fast R-CNN的全连接层，使两个网络共享相同的卷积层，构成一个统一的网络，即得到Faster R-CNN目标检测器。

进一步地，步骤5所述的将待检测图片输入到Faster R-CNN检测器，得到行人检测结果，具体如下：

5.1)输入待检测图像；

5.2)检测器使用已经训练好的网络，自动进行候选区域生成、特征提取、候选区域分类以及位置精修；

5.3)输出行人检测结果。

本发明与现有技术相比，其显著优点为：(1)当生成分类器的负样本时，综合利用候选框的置信度以产生更具代表性的负样本，来挖掘被遗漏的负样本，计算量小、易于实现；(2)只需要改进样本生成算法，不需要任何额外的超参数，因此它使得整个行人检测流程在不增加Faster R-CNN计算量且并且易于实现的情况下提高行人检测性能；(3)提高了行人检测的召回率、精度率和F1测度三个联合测量指标。

附图说明

图1是本发明基于遗漏负样本挖掘的行人检测方法的流程示意图。

图2是本发明中样本生成算法的体系结构示意图。

图3是本发明中遗漏负样本挖掘中不同参数T的性能比较示意图。

具体实施方式

本发明所提出的一种基于遗漏负样本挖掘的行人检测方法，包括遗漏负样本挖掘规则的建立和阈值T的选取、将遗漏负样本挖掘嵌入训练网络中提供负样本、使用FasterR-CNN网络器完成行人检测三个部分。

下面结合附图对本发明做进一步详细说明。

结合图1，本发明基于遗漏负样本挖掘的行人检测方法，包括以下5个步骤：

步骤1、将训练样本输入到基础网络，生成用于RPN网络训练的前景样本和背景样本；

步骤2、单独训练RPN网络，使用RPN网络提取训练集上的候选区域作为Fast R-CNN的训练样本；

步骤3、使用通过实验获得的阈值T进行遗漏负样本挖掘，将得到的负样本与步骤2的得到的样本合并，训练Fast R-CNN网络；

步骤4、采用交替训练的方式训练RPN网络和Fast R-CNN网络，共享卷积层特征，得到Faster R-CNN目标检测器；

步骤5、将待检测图片输入到Faster R-CNN目标检测器，得到行人检测结果。

进一步地，步骤1所述的将训练样本输入到基础网络，生成用于RPN网络训练的前景样本和背景样本，具体如下：

1.1)将训练集中的每张图像，归一化为224*224的分辨率，使用ZF网络作为基础网络对图像进行特征提取，得到51*39*256的特征图；

1.2)对于特征图的每一个位置，输出这个位置上3种尺度和3种长宽比的9个候选窗口，候选窗口称为anchors；

1.3)考察训练集中的每张图像，通过计算真值区域和anchors的重叠比例，得到前景样本和背景样本。

进一步地，步骤1.3)所述的考察训练集中的每张图像，通过计算真值区域和anchors的重叠比例，得到前景样本和背景样本，具体如下：

1.3.1)对每个标定的真值候选区域，与其重叠比例最大的anchor记为前景样本；

1.3.2)对步骤1.3.1)剩余的anchors，如果其与某个标定重叠比例大于0.7，记为前景样本；如果其与任意一个标定的重叠比例都小于0.3，记为背景样本；

1.3.3)对步骤1.3.1)和步骤1.3.2)剩余的anchors，弃去不用；跨越图像边界的anchors也弃去不用。

进一步地，步骤2所述的单独训练RPN网络，使用RPN网络提取训练集上的候选区域作为Fast R-CNN的训练样本，具体如下：

2.1)将分类误差和前景样本的窗口位置偏差作为训练RPN网络的代价函数；

2.2)将ImageNet预训练的模型初始化，并载入网络参数；

2.3)进行卷积神经网络训练，前60000次迭代学习率设置为0.001，后面的迭代学习率设置为0.0001；训练时每个mini-batch包含从一张图像中提取的256个anchor，前景背景样本比例为1:1；

2.4)利用训练好的RPN网络生成候选区域，并将候选区域分为正样本和负样本。

结合图2的样本生成算法的体系结构图，步骤3所述的使用通过实验获得的阈值T进行遗漏负样本挖掘，将得到的负样本与步骤2的得到的样本合并，训练Fast R-CNN网络，具体如下：

3.1)将RPN网络的输出的用于预分类器生成分类得分，根据分类得分为Faster R-CNN选择遗漏的负样本；

3.2)定义b_i为Faster R-CNN丢弃的第i个候选框，Score(·)为候选框的分类得分，T为阈值，则有b_iiScore(·)：

33)如图3的阈值T性能图所示，阈值T的选定：选用0.7。

阈值T的选择决定了分类效果，阈值T太小，将增加无用的候选框并增加计算成本；阈值T太大，无法挖掘出足够有代表性的负样本。在0.4到0.8的范围内改变阈值T，检测分类器的性能。

如图3，当阈值T增大时，精确率升高(忽略第一个精确率的值)，到达0.7时达到一个较高的范围，然后降低。随着阈值T增加时，召回率几乎是恒定的。综合考虑到召回率和精确率，我们发现随着T的增加，F1测量值增加然后减小。当T＝0.7时，F1测量最大，同时精度也在较高的范围内。因此，将T设置为0.7来为Faster R-CNN选择难分负样本。

3.4)使用预训练模型来判断弃去不用的候选框，找到可能被分类器误判为目标的候选框，作为遗漏的负样本加入训练样本中；

3.5)利用步骤2.4)和步骤3.4)生成的样本，用ImageNet预训练的模型初始化Fast-RCNN网络，然后单独训练Fast-RCNN网络。

进一步地，步骤4所述的采用交替训练的方式训练RPN网络和Fast R-CNN网络，共享卷积层特征，得到Faster R-CNN目标检测器，具体如下：

4.1)再次训练RPN，用检测网络初始化RPN训练，固定共享的卷积层，微调RPN独有的层，使得RPN和Fast R-CNN两个网络共享卷积层；

4.2)使用训练好的RPN网络进行样本生成，并且进行遗漏负样本挖掘；

4.3)保持共享的卷积层固定，微调Fast R-CNN的全连接层，使两个网络共享相同的卷积层，构成一个统一的网络，即得到Faster R-CNN目标检测器。

进一步地，步骤5所述的将待检测图片输入到Faster R-CNN检测器，得到行人检测结果，具体如下：

5.1)输入待检测图像；

5.2)检测器使用已经训练好的网络自动进行候选区域生成、特征提取、候选区域分类以及位置精修；

5.3)输出行人检测结果。

综上所述，本发明基于遗漏负样本挖掘的行人检测方法，在Faster R-CNN网络的基础上引入了一种新颖的算法来挖掘被遗漏的负样本，当生成分类器的负样本时，综合利用候选框的置信度以产生更具代表性的负样本，然后投入训练，从而得到更加精确的行人检测器。利用本发明提出的方法，可以对行人检测的召回率，精度率以及F1测度三个联合测量指标进行一致的提高。

Claims (7)

1.一种基于遗漏负样本挖掘的行人检测方法，其特征在于，包括以下步骤：

步骤1、将训练样本输入到基础网络，生成用于RPN网络训练的前景样本和背景样本；

步骤2、单独训练RPN网络，使用RPN网络提取训练集上的候选区域作为Fast R-CNN的训练样本；

步骤3、使用阈值T进行遗漏负样本挖掘，将得到的负样本与步骤2的得到的样本合并，训练Fast R-CNN网络；

步骤4、采用交替训练的方式训练RPN网络和Fast R-CNN网络，共享卷积层特征，得到Faster R-CNN目标检测器；

步骤5、将待检测图片输入到Faster R-CNN目标检测器，得到行人检测结果。

2.根据权利要求1所述的基于遗漏负样本挖掘的行人检测方法，其特征在于，步骤1所述的将训练样本输入到基础网络，生成用于RPN网络训练的前景样本和背景样本，具体如下：

1.1)将训练集中的每张图像，归一化为224*224的分辨率，使用ZF网络作为基础网络对图像进行特征提取，得到51*39*256的特征图；

1.2)对于特征图的每一个位置，输出这个位置上3种尺度和3种长宽比的9个候选窗口，候选窗口称为anchors；

1.3)考察训练集中的每张图像，通过计算真值区域和anchors的重叠比例，得到前景样本和背景样本。

3.根据权利要求2所述的基于遗漏负样本挖掘的行人检测方法，其特征在于，步骤1.3)所述的考察训练集中的每张图像，通过计算真值区域和anchors的重叠比例，得到前景样本和背景样本，具体如下：

1.3.1)对每个标定的真值候选区域，与其重叠比例最大的anchor记为前景样本；

1.3.2)对步骤1.3.1)剩余的anchors，如果其与某个标定重叠比例大于0.7，记为前景样本；如果其与任意一个标定的重叠比例都小于0.3，记为背景样本；

1.3.3)对步骤1.3.1)和步骤1.3.2)剩余的anchors，弃去不用；跨越图像边界的anchors也弃去不用。

4.根据权利要求1所述的基于遗漏负样本挖掘的行人检测方法，其特征在于，步骤2所述的单独训练RPN网络，使用RPN网络提取训练集上的候选区域作为Fast R-CNN的训练样本，具体如下：

2.1)将分类误差和前景样本的窗口位置偏差作为训练RPN网络的代价函数；

2.2)将ImageNet预训练的模型初始化，并载入网络参数；

2.3)进行卷积神经网络训练，前60000次迭代学习率设置为0.001，后面的迭代学习率设置为0.0001；训练时每个mini-batch包含从一张图像中提取的256个anchor，前景背景样本比例为1:1；

2.4)利用训练好的RPN网络生成候选区域，并将候选区域分为正样本和负样本。

5.根据权利要求1所述的基于遗漏负样本挖掘的行人检测方法，其特征在于，步骤3所述的使用阈值T进行遗漏负样本挖掘，将得到的负样本与步骤2的得到的样本合并，训练Fast R-CNN网络，具体如下：

3.1)将RPN网络的输出用于预分类器，生成分类得分，根据分类得分为Faster R-CNN选择遗漏的负样本；

3.2)定义b_i为Faster R-CNN丢弃的第i个候选框，Score(·)为候选框的分类得分，T为阈值，则有：

3.3)阈值T选用0.7，阈值T通过实验获得；

3.4)使用预训练模型来判断弃去不用的候选框，找到可能被分类器误判为目标的候选框，作为遗漏的负样本加入训练样本中；

3.5)利用步骤2.4)和步骤3.4)生成的样本，用ImageNet预训练的模型初始化Fast-RCNN网络，然后单独训练Fast-RCNN网络。

6.根据权利要求1所述的基于遗漏负样本挖掘的行人检测方法，其特征在于，步骤4所述的采用交替训练的方式训练RPN网络和Fast R-CNN网络，共享卷积层特征，得到FasterR-CNN目标检测器，具体如下：

4.1)再次训练RPN，用检测网络初始化RPN训练，固定共享的卷积层，调整RPN独有的层，使得RPN和Fast R-CNN两个网络共享卷积层；

4.2)使用训练好的RPN网络进行样本生成，并且进行遗漏负样本挖掘；

4.3)保持共享的卷积层固定，调整Fast R-CNN的全连接层，使两个网络共享相同的卷积层，构成一个统一的网络，即得到Faster R-CNN目标检测器。

7.根据权利要求1所述的基于遗漏负样本挖掘的行人检测方法，其特征在于，步骤5所述的将待检测图片输入到Faster R-CNN检测器，得到行人检测结果，具体如下：

5.1)输入待检测图像；

5.2)检测器使用已经训练好的网络，自动进行候选区域生成、特征提取、候选区域分类以及位置精修；

5.3)输出行人检测结果。