CN111489373A - 一种基于深度学习的遮挡物体分割方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的遮挡物体分割方法，属于人工智能领域。包括：构建自定义的遮挡推理层，对存在遮挡的物体进行深度次序排序；利用自定义的遮挡推理层，对现有的分割网络mask rcnn中的FCN分支网络进行改进，搭建了一种遮挡物体分割网络；预训练网络得到网络的初始化参数；利用预训练好的权值，初始化遮挡物体网络，利用反向传播算法不断更新网络的参数。利用训练完成的模型即可得到遮挡物体之间的最优深度次序排序和所有物体的几何形状模板。本发明提出的遮挡物体分割网络显式地考虑了反馈及推理过程，从而无须提供各个角度遮挡的样本，与现有的深度学习分割方法相比，所需要的样本更少。

Description

一种基于深度学习的遮挡物体分割方法

技术领域

本发明属于人工智能领域，尤其涉及一种遮挡物体分割方法。

背景技术

给定一幅场景，人类可以很好地进行场景理解，比如人类不仅可以很好地识别出场景中的各个物体，还可以感知各个物体之间的关系，包括遮挡关系。遮挡在二维场景中经常发生，遮挡关系反映的是物体之间的深度次序关系，即近处的物体会遮挡远处的物体。人类可以很容易地对遮挡物体之间的关系进行判断，同时可以识别出被遮挡物体，其原因在于人眼随着对周围图像长期观察的经验积累，获得了大量的先验知识。

场景理解作为计算机视觉领域中一项极其重要的基础性任务，其目的是使计算机像人类一样理解场景。目前学者们对于场景理解的研究，主要分为两种：一种是基于神经网络模型，一种是基于概率图模型。近些年随着深度学习的广泛应用，特别是卷积神经网络(CNN)应用在图像领域取得巨大成功后，场景理解的各个子任务如场景识别、目标检测、场景分割等都取得了突破性进展。然而，基于神经网络模型的场景理解对于遮挡物体的研究较少，关注的只是对象本身(比如识别只是针对图片中的对象进行分类，分割只是针对像素点进行分类)，没有考虑对象之间的关系，因而无法对遮挡关系作出判断。其次，CNN网络一般需要大量的数据监督信息支持，要想识别出被遮挡物体，需要见过各个角度被遮挡的样本；此外，神经网络的认知过程纯粹就是一个基于卷积神经网络(CNN)前传和反传的过程，没有类似于人类大脑的反馈机制，这两者的本质区别是：前馈网络是一个自下而上的过程，而根据知识经验进行推理和反馈是一个自上而下的过程。概率图模型在逻辑推理和上下文信息关系方面有一定的优势，目前有一些研究可以利用贝叶斯推理、马尔可夫等一些概率图模型进行深度次序的推理，但由于概率图模型本身只是一种数学模型，相较于神经网络模型的准确率较低，而且针对不同的场景需要建立不同的模型，通用性差，对于一些比较复杂的场景，也无法利用概率图建模。

发明内容

为了解决上面存在的问题，本发明提出了一种遮挡推理算法，并将这种遮挡推理算法和现有的深度学习分割网络相结合，提出了一种基于深度学习的遮挡物体分割方法。遮挡推理算法可以根据各个物体的Mask，推理得到遮挡物体之间的深度次序排序。遮挡物体分割方法是将这种推理算法融合到现有的深度学习分割网络中，提出的一种改进的分割方法。该方法由于显式地考虑了反馈及遮挡推理，从而无须为各种可能的遮挡情况提供训练样本，与现有的深度学习分割方法相比，所需要的样本更少。

本发明使用的遮挡推理方法流程图如图1所示，具体步骤如下：

步骤1:构建自定义的遮挡推理层，对存在遮挡的物体进行深度次序排序，深度更大的物体会被遮挡。该层算法处理的具体步骤如下：

步骤1.1：通过树形结构定义问题的解空间。有N个物体存在遮挡，那么所有可能的深度次序排序共有N！种，我们可以将其表示成一棵树形结构，树的每条路径对应一种排序情况，如图1所示，3个遮挡物体的深度次序排序情况。树中每个节点的所有父节点表示遮挡它的物体，每个节点分值的定义为当前物体可见区域像素点的响应值，如果物体没有被遮挡，计算该物体所有覆盖区域的像素点响应值；如果被遮挡，则需要把被父节点中的物体遮挡的区域去掉，只计算当前物体可见区域部分的像素点响应值。每个节点分值的计算实际上就是一个标准的卷积操作，公式如式(1)所示：

s＝∑_i∈visiblew_i·θ_i (1)

其中，θ_i表示输入特征图上第i个物体的像素点，w_i表示其对应的卷积核，∑_i∈visiblew_i·θ_i表示只对特征图上的可见区域像素点进行求和。

步骤1.2：求解问题的最优解。步骤1.1)中所有的排序情况构成问题的解空间，我们利用分支定界法求解该问题空间的最优解。求解方法是将树中每条路径上的节点分值之和作为该条路径排序情况的得分值，比较树中哪种排序情况下的得分值最高，得分值最高的排序即为所求的最优深度次序排序。如图2所示，路径1->2->3表示深度次序排序为1、2、3，即物体1挡住了物体2，物体2挡住的物体3，此时该路径中节点1的分值s可表示成s(P₁)，节点2的值s可表示成s(M_P1P₂)，节点3的值s可表示成s(M_p1∪M_p2(p₃))，此时路径1->2->3的得分值如式(2)所示：

Score(p₁p₂p₃)＝s(p₁)+s(M_p1p₂)+s(M_p1∪M_p2(p₃)) (2)

同理，其他路径的得分值也可计算得出，最终输出得分值最大的路径作为最优的深度次序排序。

步骤2:利用步骤1中自定义的遮挡推理层，对现有的分割网络mask rcnn中的FCN分支网络进行改进，搭建了一种遮挡物体分割网络。如图2所示，具体改进如下：

2.1)原始的FCN分支网络包含一系列卷积层和一个反卷积层，本发明在一系列卷积层和一个反卷积层之间添加了一个自定义的层—遮挡推理层(Occlusion Reasoning)，即步骤1中构建的遮挡推理层。此时该层输入为FCN最后一层卷积提取到的特征图，我们对每个特征图定义一个二值形状模板M，用来表示该特征图所表示物体的几何外形mask，具体公式如式(3)所示。对mask存在交集的各个物体进行深度次序排序，并将该次序和最后一层卷积得到的特征图共同输出到后面的反卷积层，进行反卷积重构；

2.2)修改FCN的反卷积层。由前面的遮挡推理层推理得到的遮挡物体之间的深度次序，对最后一层卷积得到的特征图，按照深度从大到小的次序依次进行反卷积重构。反卷积的公式如式(4)所示,

其中，p_i为最后一层卷积层提取到的特征图上的点，

表示反卷积的模板，

为原本的FCN分支网络中的反卷积操作，修改后的FCN分支网络反卷积加了一个混合因子factor_i,特征图上的不同物体对应着不同的factor_i。

factor_i和反卷积d的值依赖于遮挡推理层推理得到的深度次序排序。假设有P₁P₂...P_N这N个物体存在遮挡，深度次序排序从小到大依次为P₁、P₂、...、P_N，此时的factor_i如公式(5)所示:

其中，M_Pi表示公式(3)中定义的第i个物体的二值形状模板M。第i个物体的factor_i需要考虑遮挡它的所有物体。因此factor_i可以看做是按照深度次序赋予遮挡物体的相应权重，被遮挡物赋予较小的权重，遮挡物赋予相对大一点的权重。

在反卷积时，我们按照深度从大到小的次序依次对最后一层卷积提取得到的特征图进行反卷积，以使深度最小的物体拥有最终的类别标签，反卷积的具体过程如下：

由遮挡推理层进行深度次序排序以后，首先对一系列卷积提取到的特征图，进行和原始FCN分支网络同样的反卷积操作，然后按照公式(2)，求出各个物体所在的特征图对应的factor_i，最后将反卷积结果Deconv与factor_i做点积，得到最终的反卷积结果。

步骤3:预训练网络得到网络的初始化参数。

由公式(3)可以看出，网络训练过程中每个物体的几何形状Mask是通过网络学习出来的，会随着网络参数的更新不断地修正。由于我们自定义层的遮挡推理层需要根据输入的物体的mask进行计算，初始的mask不能与真实的mask有明显的偏离，不然会导致推理的结果很不准确，因此需要对网络进行一定的初始化。

我们使用公开的COCO trainval35数据集对模型进行预训练。从中筛选出无遮挡区域对网络进行预训练，此时物体的mask均无交集，网络的遮挡推理层无须进行遮挡推理层的深度次序排序，直接进入反卷积层，此时反卷积层的混合因子factor_i简化为每个物体的mask。

步骤4:利用步骤3训练好的权值，初始化步骤2中搭建的遮挡物体网络，利用反向传播算法不断更新网络的参数，得到网络最终的卷积和反卷积权值以及所有物体的几何形状模板。具体步骤如下：

训练时，利用步骤3中无遮挡数据预训练得到的参数对网络进行初始化，使用有遮挡的mask数据对网络再次进行训练。训练过程中不断更新网络的参数和推理的过程，当损失函数达到最小时结束训练，得到最优深度次序排序和各个物体的最终分割结果。

附图说明

图1本发明所述的遮挡推理方法的流程图

图2 3个遮挡物体的深度次序排序情况

图3mask rcnn掩码预测

图4评价结果图

有益效果

本发明得到的分割网络模型显式地考虑了高层反馈及推理过程，从而无须提供各个角度遮挡的训练样本，与现有的深度学习分割方法相比，所需的样本更少。

具体实施方式

以下将结合附图和实施例对本发明作进一步详细说明。本发明以英伟达GPU作为计算平台，使用Keras深度学习框架。具体实施步骤如下：

步骤1:定义遮挡推理层的mask。具体如下：

Mask RCNN是由Faster RCNN和FCN组成，Faster RCNN用于得到class类别和box边框，FCN用于分割，最终输出一个K层的mask，每一层为一类。Mask RCNN将分类和分割任务解耦合，首先根据Faster RCNN预测class类别，然后在对应类别上进行sigmoid操作，产生背景和前景的分割。

本发明在FCN的卷积层与反卷积层之间添加了遮挡推理的处理，此时遮挡推理方法的输入为已经检测到的各个物体的feature map。此时，遮挡推理需要知道由高层反馈来的各个物体的掩码mask信息，如图3所示，对于Mask RCNN网络，每个物体的ROI都会在对应类别的特征图上生成一个二值的掩码mask，我们需要将其反馈到前面的遮挡推理层进行深度次序推理。

步骤2：对步骤1中输入的Mask进行深度次序排序。具体步骤如下：

本发明通过调用分支定界法对遮挡对物体进行深度次序排序。如图2所示，3个物体存在遮挡时的6种排序情况可表示成一棵树形结构。通过公式(1)计算每个节点的分支值，将树中每条路径上的节点分值之和作为该条路径排序情况的得分值，输出路径最大的排序作为最优的深度次序排序。

步骤3:构建遮挡物体分割网络。

本发明选择现有的深度学习分割网络Mask RCNN作为基本网络，将遮挡推理算法和融合遮挡关系的反卷积操作运用到原网络的分割分支(FCN)中，FCN分支网络包括五个卷积层和一个反卷积层，其连接顺序为：卷积层1、卷积层2、卷积层3、卷积层4、反卷积层、卷积层5。本发明的遮挡物体分割网络卷积层1、卷积层2、卷积层3和原网络一样，卷积核大小为3x3、个数为256，并在每个卷积层之后都进行经过BN归一化层和ReLU非线性激活层的处理，卷积层4使用大小为1x1的卷积核代替原本3x3的卷积核，个数保持不变为256，卷积层4之后嵌入自定义的遮挡推理层，该层输出大小1x1xN，N为物体个数，表示推理得到的深度次序结果，随后将卷积层4和深度次序结果送入反卷积层，反卷积层卷积核大小为2x2、步幅为2，最后通过深度次序结果得到每个特征图上factor_i的权值，并将其通过点积操作加权融合到卷积层5，作为网络最终的输出。

步骤3:神经网络的训练和网络参数的设置。

本发明从COCO trainval35k中筛选掉图片中存在遮挡的物体(即只保留拥有完整mask的物体)作为本网络的训练集，对网络进行预训练。预训练得到的权重对网络进行初始化，利用有遮挡的COCO数据集对网络再次训练。训练过程中，由于图片尺寸为800px，我们每次读入2张图片作为一个批次，即批(mini-batch)的大小设置为2。优化算法采用带动量momentum的随机梯度下降法，优化过程中，动量的值设置为0.9，权值值衰减系数设置为1e-4。初始的学习率设置为0.01，并在120k次迭代后减小10倍。具体参数设置如下表所示：

步骤4:结果预测和评价。

mAP是目标检测和图像分割领域常见的评价标准。本文实验评价标准是AP₅₀和AP₇₅，这里说的AP₅₀和AP₇₅即mAP₅₀和mAP₇₅。实际以IoU判别，mAP₅₀和mAP₇₅分别代表以0.5和0.75为IoU阈值估计平均准确率。为了评估本发明提出的分割方法在MS_COCO数据集上的性能表现，设置了与原分割网络mask rcnn的对比实验。本发明实验对比设置了两组，一组是针对无遮挡的数据，另一组是针对有遮挡的数据，这里的有无遮挡的依据是对象的真实框有无重叠。

对于无遮挡的数据，同模型初始化方法一样，我们用去掉遮挡的数据对改进的分割网络和原始分割网络分别进行训练，比较mask AP₅₀和mask AP₇₅等性能(主干网络都采用resnet-101-FPN)，具体对比如下表所示。

针对无遮挡的数据集，原始的分割网络在AP^mask、AP^mask ₅₀、AP^mask ₇₅上分别取得了36.4、58.1、32.0，由于数据量减少，相对于在完整的COCO训练集上的37.2、59.7、39.7略低，但也能取得很好的分割效果，本方法在同样的数据量进行训练，可以达到原始网络几乎相近的性能。

对于有遮挡的数据，我们用对存在遮挡的数据对改进的分割网络进行训练，该数据集相对于完整的COCO训练集较少，以无遮挡数据训练好的权重作为此时网络的初始化权重进行训练，改进后的网络在COCO minival验证集上的mask AP性能曲线如图4所示。

图中的精度曲线分叉表示使用/不使用学习率衰减。从图3中可以看出，对于有遮挡的数据，本方法的mask mAP在使用学习率衰减的情况下平均精度大概在36.1～36.5左右，在更少的COCO样本数据集上可以达到与原分割网络预训练模型差不多的性能。这可以说明本发明提出的遮挡分割方法是可行的，在一定程度上克服了深度学习大量样本训练的缺点。

Claims (7)

1.一种基于深度学习的遮挡物体分割方法，其特征在于，包括以下步骤：

步骤1:构建自定义的遮挡推理层，该层用于对存在遮挡的物体进行深度次序排序；

步骤2:利用步骤1中自定义的遮挡推理层，对现有的分割网络mask rcnn中的FCN分支网络进行改进，搭建了一种遮挡物体分割网络；

步骤3:预训练网络得到网络的初始化参数；

步骤4：利用步骤3训练好的权值，初始化步骤2中搭建的遮挡物体网络，利用反向传播不断更新网络的参数，得到网络最终的卷积和反卷积权值以及所有物体的几何形状模板；

步骤5：利用训练完成的网络对图像进行分割。

2.根据权利要求1所述的一种基于深度学习的遮挡物体分割方法，其特征在于：步骤1所述的构建自定义的遮挡推理层，对遮挡的物体进行深度次序排序。具体步骤如下：

1.1)通过树形结构定义问题的解空间，有N个物体存在遮挡，那么所有可能的深度次序排序共有N！种，将其表示成一棵树形结构，树的每条路径对应一种排序情况，树中每个节点的所有父节点表示遮挡它的物体，每个节点分值的定义为当前物体可见区域像素点的响应值，如果物体没有被遮挡，计算该物体所有覆盖区域的像素点响应值；如果被遮挡，则需要把被父节点中的物体遮挡的区域去掉，只计算当前物体可见区域部分的像素点响应值；

1.2)求解问题的最优解。步骤1.1)中所有的排序情况构成问题的解空间，利用分支定界法求解该问题空间的最优解，求解方法是将树中每条路径上的节点分值之和作为该条路径排序情况的得分值，比较树中哪种排序情况下的得分值最高，得分值最高的排序即为所求的最优深度次序排序。

3.根据权利要求1所述的一种基于深度学习的遮挡物体分割方法，其特征在于，步骤2所述的对现有的分割网络mask rcnn中的FCN分支网络进行改进，具体改进如下：

2.1)原始的FCN分支网络包含一系列卷积层和一个反卷积层，在一系列卷积层和一个反卷积层之间添加自定义的一层—Occlusion Reasoning，即步骤1中构建的遮挡推理层，此时该层输入为FCN最后一层卷积提取到的特征图，对每个特征图定义一个二值形状模板，用来表示该特征图所表示物体的几何外形，即mask，对mask存在交集的各个物体进行如权利要求2中的深度次序排序；

2.2)修改FCN的反卷积层：由前面的遮挡推理层推理得到的遮挡物体之间的深度次序，对最后一层卷积得到的特征图，按照深度从大到小的次序依次进行反卷积重构，反卷积的具体公式如下：

其中，p_i为最后一层卷积层提取到的特征图上的点，

表示反卷积的模板，

为原本的FCN分支网络中的反卷积操作，修改后的FCN分支网络反卷积加了一个混合因子factor_i,特征图上的不同物体对应着不同的factor_i。

4.根据权利要求3所述的一种基于深度学习的遮挡物体分割方法，其特征在于：公式(1)中的混合因子factor_i,该混合因子依赖于遮挡推理得到的深度次序排序；N个物体存在遮挡，深度次序排序从小到大依次为P₁、P₂、...、P_N，此时第i个物体的factor_i公式如下所示：

其中，M_Pi表示第i个物体的mask。

5.根据权利要求3所述的一种基于深度学习的遮挡物体分割方法，其特征在于：步骤2.2)所述的对最后一层卷积提取得到的特征图，按照深度从大到小的次序依次进行反卷积重构，具体步骤如下：

由遮挡推理层进行深度次序排序以后，首先对一系列卷积提取到的特征图，进行和原始FCN分支网络同样的反卷积操作，然后按照公式(2)，求出各个物体所在的特征图对应的factor_i，最后将反卷积结果Deconv与factor_i做点积，得到最终的反卷积结果。

6.根据权利要求1所述的一种基于深度学习的遮挡物体分割方法，其特征在于：步骤3所述的预训练网络得到网络的初始化参数，具体如下：

选取每幅图片中出无遮挡的mask对网络进行预训练，此时的物体之间均无交集，FCN分支网络无须进行遮挡推理层的深度次序排序，直接进入反卷积层，公式(2)中反卷积层的混合因子factor_i简化为每个物体的mask。

7.根据权利要求1所述的一种基于深度学习的遮挡物体分割方法，其特征在于：步骤4所述的利用步骤3训练好的权值，初始化步骤2中搭建的遮挡物体网络，利用反向传播算法不断更新网络的参数，得到网络最终的卷积和反卷积权值以及所有物体的几何形状模板。具体如下：

训练时，利用步骤3中无遮挡数据预训练得到的参数对网络进行初始化，使用有遮挡的mask对网络再次进行训练；训练过程中不断更新网络的参数和推理的过程，当损失函数达到最小时结束训练，得到最优深度次序排序和各个物体的最终分割结果。

Images