CN111882055B - 一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法 - Google Patents

Abstract

本发明公开了一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法，包括：S1，源域数据集和目标域数据集预处理；S2，使用CycleGAN网络将源域数据集转换为接近目标域数据集的中间域数据集，并将中间域数据集输入Faster R‑CNN网络进行训练，得到初步域自适应模型Q；将目标域数据集重新输入到模型Q中，获得带伪标签的目标域数据集；S3，将中间域数据集与带伪标签的目标域数据集轮流输入模型Q进行迭代式地更新与优化，最终得到基于CycleGAN与伪标签的目标检测域自适应模型。本发明通过利用置信度改进Faster R‑CNN网络的目标检测总损失函数来训练得到的目标检测域自适应模型，能够解决两个域之间由于存在分布差异而导致目标检测出现域漂移的问题。

Description

一种基于CycleGAN与伪标签的目标检测自适应模型的构建 方法

技术领域

本发明涉及深度学习技术领域，尤其是一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法。

背景技术

现有的基于深度神经网络(如AlexNet、VGGNet、GoogleNet和ResNet等)的目标检测方法，在训练集和测试集数据分布严格一致的情况下，可使学习得到的模型应用于测试集，也可获得较高的检测精度。然而，将通过训练集训练好的模型部署在实际自然场景中，由于实际自然场景环境往往不可控，例如对象外观、背景、光照、气候、图像质量等方面的巨大差异，使得两者之间的数据分布存在差异，导致通过训练集训练得到的模型应用于现实世界中检测精度会出现大幅度下降，出现域漂移问题。此时想要解决模型域漂移问题，最直接的方法是重新收集真实场景数据集，加以重新标注并训练。但是基于深度神经网络的目标检测方法对于样本数据往往依赖于大量的边框标注信息，收集并标注这些样本费时费力，导致训练成本增加。此外，针对测试集进行了目标检测任务的边框标注工作，花费了大量的时间与人力，然而当转换到对另一自然场景下完成检测任务时，当前的标注会因为测试集的更换变得不可用，造成了极大的浪费。考虑到工作在相同场景下的目标检测任务之间的数据分布虽有差异，但是两个域之间的特征又具有一定的相似性，因此可以利用这个相似性实现知识迁移。

发明内容

本发明所要解决的技术问题是：针对两个域之间由于存在分布差异而导致目标检测出现域漂移的问题，提供一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法，该方法通过改进Faster R-CNN网络的目标检测总损失函数来训练得到基于CycleGAN与伪标签的目标检测域自适应模型。

本发明采用的技术方案如下：

一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法，包括如下步骤：

S1，源域数据集和目标域数据集预处理，将预处理后的源域数据集和目标域数据集用于执行S2-S3；

S2，使用CycleGAN网络将源域数据集转换为接近目标域数据集的中间域数据集，并将所述中间域数据集输入到Faster R-CNN网络中进行训练，得到初步域自适应模型Q；然后将目标域数据集重新输入到所述初步域自适应模型Q中，获得带伪标签的目标域数据集；

S3，将中间域数据集与带伪标签的目标域数据集轮流输入到初步域自适应模型Q中进行迭代式地更新与优化，最终得到基于CycleGAN与伪标签的目标检测域自适应模型；训练所述初步域自适应模型Q的损失函数为利用置信度改进Faster R-CNN网络的目标检测总损失函数。

进一步地，步骤S1包括：

S11，源域数据集预处理：

将含有标签数据的源域数据集X_S＝{(s₁，q₁，a₁)，(s₂，q₂，a₂)，…，(s_n，q_n，a_n)}进行尺寸归一化操作，得到预处理后的源域数据集

其中，n为X_S中图像样本的个数，s_j代表X_S中第j个图像样本，q_j代表X_S中第j个图像样本中含有的标签数据，q_j代表X_S中第j个图像样本中含有的位置数据；

代表

中第j个图像样本，

代表

中第j个图像样本中含有的标签数据，

代表

中第j个图像样本中含有的位置数据；

S12，目标域数据集预处理：

将目标域数据集X_T＝{u₁，u₂，…，u_w}进行尺寸归一化操作，得到预处理后的目标域数据集X_H＝{h₁，h₂，…，h_w}；其中，w为X_T中图像样本的个数，u_j代表X_T中第j个图像样本，h_j代表X_H中第j个图像样本。

进一步地，步骤S2中，所述使用CycleGAN网络将源域数据集转换为接近目标域数据集的中间域数据集的方法为：

S211，将源域数据集

中的图像样本与目标域数据集X_H中的图像样本联合输入到CycleGAN网络中进行训练，得到转换模型D；

S212，将源域数据集

中的图像样本重新输入到转换模型D中，得到中间域数据集

其中，n代表X_M中图像样本的个数，m_j代表X_M中第j个图像样本。

进一步地，步骤S2中，将所述中间域数据集输入到Faster R-CNN网络中进行训练，得到初步域自适应模型Q的方法为：

S221，设置模型训练迭代次数episode；

S222，将中间域数据集X_M输入到FasterR-CNN网络中进行训练，通过目标检测总损失函数对FasterR-CNN网络中的参数进行更新与优化，当训练迭代次数达到episode时，训练结束，得到初步域自适应模型Q。

进一步地，所述目标检测总损失函数为：

L_{Faster R-CNN}＝L_{RPN_cls}+L_{RPN_reg}+L_{RoIHead_cls}+L_{RoIHead_reg}

其中：

表示anchor的编号；p_i表示第i个anchor为目标物体的概率；t_i表示目标物体预测边框，

是目标物体预测边框相对于目标物体真实边框的修正参数，M表示目标物体的类别数量，p_is表示第i个anchor作为目标物体s的概率；N_cls与N_reg分别表示mini-batch中使用的数据集样本数量与anchor数量；λ为调整因子。

进一步地，当第i个anchor为目标物体时，

当第i个anchor不是目标物体时，

当第i个anchor为目标物体s时，

当第i个anchor不是目标物体s时，

进一步地，所述带伪标签的目标域数据集表示为：

其中，w代表

中图像样本的个数，h_j代表

中第j个图像样本，c_j、v_j与d_j则分别代表通过初步域自适应模型Q获取得到的

中第j个图像样本中包含的伪标签数据、位置数据与置信度数据。

进一步地，步骤S3包括：

S31，设置初步域自适应模型Q进行优化的总迭代轮数β；

S32，设置筛选阈值ε，用于与

中的置信度数据进行比较，将置信度小于ε的带伪标签的图像样本从

中剔除，得到筛选后的带伪标签的目标域数据集X′_T：

X′_T＝{(h₁，c₁，v₁，d₁)，(h₂，c₂，v₂，d₂)，…，(h_f，c_f，v_f，d_f)}

其中，f代表X′_T中图像样本的个数，

f≤w；

S33，设置初步域自适应模型Q优化迭代一次需要的次数σ；

S34，将X_M与X′_T轮流输入到初步域自适应模型Q中进行再次训练：通过利用置信度改进的目标检测总损失函数对初步域自适应模型Q中的参数进行再一次更新与优化，当训练迭代次数达到σ时，此次训练过程结束，初步域自适应模型Q得以优化；

S35，将X_H重新输入到最新一次优化的初步域自适应模型Q中，用以更新伪标签数据、位置数据与置信度数据，再一次得到带伪标签数据的目标域数据集，即

S36，重复步骤S32～S35，直到训练迭代总轮数达到β数值时，训练结束，最后获取得到基于CycleGAN与伪标签的目标检测域自适应模型。

进一步地，步骤S34中，在对初步域自适应模型Q的训练过程中，对于中间域数据集X_M的图像样本，都将其相应的置信度值设置为1进行处理。

进一步地，所述改进的目标检测总损失函数为：

其中：

d_i表示第i个目标物体的置信度，λ₁与λ₂用于调整置信度对位置回归损失函数

与

影响的调整因子。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明通过利用置信度改进Faster R-CNN网络的目标检测总损失函数来训练得到基于CycleGAN与伪标签的目标检测域自适应模型，实现对带伪标签的目标域样本数据的权重约束，进而减轻错误或不准确带伪标签的目标域样本数据对域自适应模型的影响，最终利用设计的损失函数训练目标检测模型，用以解决两个域之间由于存在分布差异而导致目标检测模型出现域漂移问题，最终利用设计的损失函数训练目标检测模型，进而解决两个域之间由于存在分布差异而导致目标检测模型出现域漂移问题。

2、本发明在训练得到基于CycleGAN与伪标签的目标检测域自适应模型前，通过设置阈值筛选带伪标签的目标域数据集，可以提高带伪标签的目标域数据集对模型的影响。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的基于CycleGAN与伪标签的目标检测自适应模型的构建方法的流程图。

具体实施方式

以下结合实施例对本发明的特征和性能作进一步的详细描述。

如图1所示，本实施例的一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法，包括：

S1，源域数据集和目标域数据集预处理，将预处理后的源域数据集和目标域数据集用于执行S2-S3；

S11，源域数据集预处理：

将含有标签数据的源域数据集X_S＝{(s₁，q₁，a₁)，(s₂，q₂，a₂)，…，(s_n，q_n，a_n)}进行尺寸归一化操作，得到预处理后的源域数据集

其中，n为X_S中图像样本的个数，s_j代表X_S中第j个图像样本，q_j代表X_S中第j个图像样本中含有的标签数据，a_j代表X_S中第j个图像样本中含有的位置数据；

代表

中第j个图像样本，

代表

中第j个图像样本中含有的标签数据，

代表

中第j个图像样本中含有的位置数据；

S12，目标域数据集预处理：

将目标域数据集X_T＝{u₁，u₂，…，u_w}进行尺寸归一化操作，得到预处理后的目标域数据集X_H＝{h₁，h₂，…，h_w}；其中，w为X_T中图像样本的个数，u_j代表X_T中第j个图像样本，h_j代表X_H中第j个图像样本。

S2，使用CycleGAN网络将源域数据集转换为接近目标域数据集的中间域数据集，并将所述中间域数据集输入到Faster R-CNN网络中进行训练，得到初步域自适应模型Q；然后将目标域数据集重新输入到所述初步域自适应模型Q中，获得带伪标签的目标域数据集：

S21，使用CycleGAN网络将源域数据集转换为接近目标域数据集的中间域数据集：

S211，将源域数据集

中的图像样本与目标域数据集

中的图像样本联合输入到CycleGAN网络中进行训练，得到转换模型D；

S212，将源域数据集

中的图像样本重新输入到转换模型D中，得到中间域数据集

其中，n代表X_M中图像样本的个数，m_j代表X_M中第j个图像样本。

S22，将所述中间域数据集输入到Faster R-CNN网络中进行训练，得到初步域自适应模型Q：

S221，设置模型训练迭代次数episode；

S222，将中间域数据集X_M输入到FasterR-CNN网络中进行训练，通过目标检测总损失函数对FasterR-CNN网络中的参数进行更新与优化，当训练迭代次数达到episode时，训练结束，得到初步域自适应模型Q；

FasterR-CNN网络的目标检测总损失函数由以下四个部分损失组成：

(1)PRN网络的分类损失：判断anchor是前景还是背景；

(2)PRN网络的位置回归损失：对anchor位置微调；

(3)RoIHead网络的分类损失：对目标物体进一步细分，判断物体所属类别；

(4)RoIHead网络的位置回归损失：对获取得到的位置进一步微调。

基于上述四个部分损失，所述目标检测总损失函数为：

L_{Faster R-CNN}＝L_{RPN_cls}+L_{RPN_reg}+L_{RoIHead_cls}+L_{RoIHead_reg}

其中：

i表示anchor(应当理解，anchor表示输入的图片经过卷积操作得到的特征图feature map使用滑动窗口通过滑动操作得到的矩形框)的编号；p_i表示第i个anchor为目标物体的概率(当第i个anchor为目标物体时，

当第i个anchor不是目标物体时，

)；t_i表示目标物体预测边框，

是目标物体预测边框相对于目标物体真实边框的修正参数，p_is表示第i个anchor作为目标物体的概率(当第i个anchor为目标物体s时，

当第i个anchor不是目标物体s时，

)；N_cls与N_reg分别表示mini-batch中使用的数据集样本数量与anchor数量；λ为调整因子，用于控制相应式子，避免模型训练过程中过于偏爱某个损失函数，从而导致检测性能下降。

S23，将目标域数据集重新输入到所述初步域自适应模型Q中，获得带伪标签的目标域数据集：

所述带伪标签的目标域数据集表示为：

其中，w代表

中图像样本的个数，h_j代表

中第j个图像样本，c_j、υ_j与d_j则分别代表通过初步域自适应模型Q获取得到的

中第j个图像样本中包含的伪标签数据、位置数据与置信度数据。置信度数据为初步域自适应模型Q认为

中的图像检测得到的边框(即位置数据)确实存在一个目标的可能性评估，因此当置信度越大时，表明预测得到的伪标签数据越准确可靠。

S3，将中间域数据集与带伪标签的目标域数据集轮流输入到初步域自适应模型Q中进行迭代式地更新与优化，最终得到基于CycleGAN与伪标签的目标检测域自适应模型；训练所述初步域自适应模型Q的损失函数为利用置信度改进Faster R-CNN网络的目标检测总损失函数：

S31，设置初步域自适应模型Q进行优化的总迭代轮数β；

S32，设置筛选阈值ε，一般取ε＝0.6，用于与

中的置信度数据进行比较，将置信度小于ε的带伪标签的图像样本从

中剔除，得到筛选后的带伪标签的目标域数据集X′_T：

X′_T＝{(h₁，c₁，v₁，d₁)，(h₂，c₂，v₂，d₂)，…，(h_f，c_f，v_f，d_f)}

其中，f代表X′_T中图像样本的个数，

f≤w；通过该步骤，可以提高带伪标签的目标域数据集对模型的影响；

S33，设置初步域自适应模型Q优化迭代一次需要的次数σ；

S34，将X_M与X′_T轮流输入到初步域自适应模型Q中进行再次训练：通过利用置信度改进的目标检测总损失函数对初步域自适应模型Q中的参数进行再一次更新与优化，当训练迭代次数达到σ时，此次训练过程结束，初步域自适应模型Q得以优化；由于中间域数据集X_M中只包含有标签数据与位置数据，不包含有置信度数据，因此在对初步域自适应模型Q的训练过程中，对于中间域数据集X_M的图像样本，都将其相应的置信度值设置为1进行处理，以避免对模型的影响。

该步骤中，利用带伪标签的目标域数据集中的置信度数据改进FasterR-CNN网络的目标检测总损失函数，具体是在RPN网络与RoIHead网络上添加对位置回归损失函数的权重约束，实现对带伪标签的目标域样本数据的权重约束，进而减轻错误或不准确带伪标签的目标域样本数据对域自适应模型的影响，以此训练得到的域自适应模型，可以实现对域间共性特征的强对齐效果。所述改进的目标检测总损失函数为：

其中：

d_i表示第i个目标物体的置信度，λ₁与λ₂用于调整置信度对位置回归损失函数

与

影响的调整因子。

S35，将X_H重新输入到最新一次优化的初步域自适应模型Q中，用以更新伪标签数据、位置数据与置信度数据，再一次得到带伪标签数据的目标域数据集，即

，通过该步骤可以提高伪标签数据的准确性，进而减轻不准确伪标签对模型的负面影响。

S36，重复步骤S32～S35，直到训练迭代总轮数达到β数值时，训练结束，最后获取得到基于CycleGAN与伪标签的目标检测域自适应模型。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法，其特征在于，包括如下步骤：

S1，源域数据集和目标域数据集预处理，将预处理后的源域数据集和目标域数据集用于执行S2-S3；

S2，使用CycleGAN网络将源域数据集转换为接近目标域数据集的中间域数据集，并将所述中间域数据集输入到Faster R-CNN网络中进行训练，得到初步域自适应模型Q；然后将目标域数据集重新输入到所述初步域自适应模型Q中，获得带伪标签的目标域数据集；

S3，将中间域数据集与带伪标签的目标域数据集轮流输入到初步域自适应模型Q中进行迭代式地更新与优化，最终得到基于CycleGAN与伪标签的目标检测域自适应模型；训练所述初步域自适应模型Q的损失函数为利用置信度改进Faster R-CNN网络的目标检测总损失函数；

所述目标检测总损失函数为：

L_{Faster R-CNN}＝L_{RPN_cls}+L_{RPN_reg}+L_{RoIHead_cls}+L_{RoIHead_reg}

其中：

i表示anchor的编号；p_i表示第i个anchor为目标物体的概率；t_i表示目标物体预测边框，

是目标物体预测边框相对于目标物体真实边框的修正参数，M表示目标物体的类别数量，p_is表示第i个anchor作为目标物体s的概率；N_cls与N_reg分别表示mini-batch中使用的数据集样本数量与anchor数量；λ为调整因子；

所述改进的目标检测总损失函数为：

其中：

d_i表示第i个目标物体的置信度，λ₁与λ₂用于调整置信度对位置回归损失函数

与

影响的调整因子。

2.根据权利要求1所述的基于CycleGAN与伪标签的目标检测自适应模型的构建方法，其特征在于，步骤S1包括：

S11，源域数据集预处理：

将含有标签数据的源域数据集X_s＝{(s₁，q₁，a₁)，(s₂，q₂，a₂)，…，(s_n，q_n，a_n)}进行尺寸归一化操作，得到预处理后的源域数据集

其中，n为X_s中图像样本的个数，s_j代表X_s中第j个图像样本，q_j代表X_s中第j个图像样本中含有的标签数据，a_j代表X_s中第j个图像样本中含有的位置数据；

代表

中第j个图像样本，

代表

中第j个图像样本中含有的标签数据，

代表

中第j个图像样本中含有的位置数据；

S12，目标域数据集预处理：

将目标域数据集X_T＝{u₁，u₂，…，u_w}进行尺寸归一化操作，得到预处理后的目标域数据集X_H＝{h₁，h₂，…，h_w}；其中，w为X_T中图像样本的个数，u_j代表X_T中第j个图像样本，h_j代表X_H中第j个图像样本。

3.根据权利要求2所述的基于CycleGAN与伪标签的目标检测自适应模型的构建方法，其特征在于，步骤S2中，所述使用CycleGAN网络将源域数据集转换为接近目标域数据集的中间域数据集的方法为：

S211，将源域数据集

中的图像样本与目标域数据集X_H中的图像样本联合输入到CycleGAN网络中进行训练，得到转换模型D；

S212，将源域数据集

中的图像样本重新输入到转换模型D中，得到中间域数据集

其中，n代表X_M中图像样本的个数，m_j代表X_M中第j个图像样本。

4.根据权利要求3所述的基于CycleGAN与伪标签的目标检测自适应模型的构建方法，其特征在于，步骤S2中，将所述中间域数据集输入到Faster R-CNN网络中进行训练，得到初步域自适应模型Q的方法为：

S221，设置模型训练迭代次数episode；

S222，将中间域数据集X_M输入到FasterR-CNN网络中进行训练，通过目标检测总损失函数对FasterR-CNN网络中的参数进行更新与优化，当训练迭代次数达到episode时，训练结束，得到初步域自适应模型Q。

5.根据权利要求4所述的基于CycleGAN与伪标签的目标检测自适应模型的构建方法，其特征在于，当第i个anchor为目标物体时，

当第i个anchor不是目标物体时，

当第i个anchor为目标物体s时，

当第i个anchor不是目标物体s时，

6.根据权利要求5所述的基于CycleGAN与伪标签的目标检测自适应模型的构建方法，其特征在于，所述带伪标签的目标域数据集表示为：

其中，w代表

中图像样本的个数，h_j代表

中第j个图像样本，c_j、v_j与d_j则分别代表通过初步域自适应模型Q获取得到的

中第j个图像样本中包含的伪标签数据、位置数据与置信度数据。

7.根据权利要求6所述的基于CycleGAN与伪标签的目标检测自适应模型的构建方法，其特征在于，步骤S3包括：

S31，设置初步域自适应模型Q进行优化的总迭代轮数β；

S32，设置筛选阈值ε，用于与

中的置信度数据进行比较，将置信度小于ε的带伪标签的图像样本从

中剔除，得到筛选后的带伪标签的目标域数据集X′_T：

X′_T＝{(h₁，c₁，v₁，d₁)，(h₂，c₂，v₂，d₂)，…，(h_f，c_f，v_f，d_f)}

其中，f代表X′_T中图像样本的个数，

S33，设置初步域自适应模型Q优化迭代一次需要的次数σ；

S34，将X_M与X′_T轮流输入到初步域自适应模型Q中进行再次训练：通过利用置信度改进的目标检测总损失函数对初步域自适应模型Q中的参数进行再一次更新与优化，当训练迭代次数达到σ时，此次训练过程结束，初步域自适应模型Q得以优化；

S35，将X_H重新输入到最新一次优化的初步域自适应模型Q中，用以更新伪标签数据、位置数据与置信度数据，再一次得到带伪标签数据的目标域数据集，即

S36，重复步骤S32～S35，直到训练迭代总轮数达到β数值时，训练结束，最后获取得到基于CycleGAN与伪标签的目标检测域自适应模型。

8.根据权利要求7所述的基于CycleGAN与伪标签的目标检测自适应模型的构建方法，其特征在于，步骤S34中，在对初步域自适应模型Q的训练过程中，对于中间域数据集X_M的图像样本，都将其相应的置信度值设置为1进行处理。

Images