CN111860161B - 一种目标遮挡检测方法 - Google Patents

Abstract

本发明公开了一种目标遮挡检测方法，将模板和目标所在区域划分为上、下、左、右四个方向，根据各个方向相关系数的变化对目标进行遮挡检测，可以检测出部分遮挡和完全遮挡，本发明能够快速有效的检测出遮挡，并且有效的抑制虚警。

Description

一种目标遮挡检测方法

技术领域

本发明属于计算机视觉目标跟踪技术领域，具体涉及一种目标遮挡检测方法。

背景技术

在计算机视觉目标跟踪领域，被跟踪的目标在运动过程中可能会被其他物体遮挡，遮挡可能造成跟踪模板的错误更新，从而导致跟踪丢失，且当目标脱离遮挡之后也无法重新捕获到原来的目标，如何解决遮挡对跟踪的影响，一直是视频跟踪领域研究的热点之一。

现有遮挡检测方法，计算过程大都复杂，计算耗时长，不能满足实时性要求，且存在较严重的虚警情况。

发明内容

本发明的目的在于提供一种目标遮挡检测方法，以解决上述背景技术中提出的问题。

本发明的基本构思是目标发生遮挡时，目标被遮挡的区域和目标跟踪模板相比会发生大幅度的变化，因此在跟踪过程中利用模板和目标实时区域的相关性可以检测出遮挡。而且通常的遮挡是一个从局部到全局的过程，将模板和实时区域分成上下左右四个部分，分别比较对应部分的相关性，可以检测出局部遮挡。为了抑制由于目标自身发生变化(如形变、光照变化)而引起的与模板相关性减小所造成的遮挡虚警，利用类似的方式比较比模板尺寸稍大一点的区域的各部分相关性。所述方法具体通过下列步骤实现:

S1，截取各个待比对区域的图像：

(1)以当前帧图像的跟踪坐标(x,y)为中心从当前帧图像中截取与模板同等大小(template_width,template_height)的区域RTRegion；

(2)以当前帧图像的跟踪坐标(x,y)为中心从当前帧图像中截取比模板尺寸稍大一点(template_width+Δw,template_height+Δh)的区域BRTRegion，Δw和Δh的选取准则如下：

(3)从可以保存FrameNum帧图像目标区域的RTRegionNFrame中距离当前帧最久的图像区域RTRegionNFrame[0]的中心截取与模板同等大小(template_width,template_height)的区域SRTRegion；

(4)从初始化保存的目标区域ProcessRegion的中心截取比模板尺寸稍大一点(template_width+Δw,template_height+Δh)的区域BTptRegion，Δw和Δh的选取准则与(2)相同；

S2,计算对应区域在对应方向区域的相关系数：

采用相关系数来衡量两个大小相同的区域的相关性，计算公式如下：

其中A，B分别代表两个图像区域，N代表区域内的像素个数，μ表示均值，σ表示标准差；

通过经过图像区域中心点的水平直线和垂直直线把图像区域分成上、下、左、右四个方向区域，然后再分别计算两个图像区域各个方向区域对应的相关系数：

(1)计算模板区域TemplateRegion和当前帧区域RTRegion各个方向上的相关系数RTOrientCof；

(2)计算模板区域TemplateRegion和FrameNum帧之前区域SRTRegion各个方向上的相关系数SRTOrientCof；

(3)计算当前帧区域BRTRegion和动态模板区域BTptRegion各个方向上的相关系数BOrientCof；

S3，进行稍大区域的遮挡检测：

(1)求取BOrientCof中四个方向相关系数的最大值OrientMaxCof；

(2)统计四个方向系数BOrientCof中大于阈值Thetal的个数Num；

(3)分别计算BOrientCof的上下两个方向和左右两个方向的相关系数的差的绝对值，公式如下：

BUDCof＝abs(BOrientCof[0]-BOrientCof[1])

BLRCof＝abs(BOrientCof[2]-BOrientCof[3])

其中BOrientCof[0]，BOrientCof[1]，BOrientCof[2]，BOrientCof[3]分别代表上、下、左、右四个方向的相关系数；

(4)当OrientMaxCof＞Theta2，如果Num＜2，且BUDCof＞Theta3或者BLRCof＞Theta3，则为部分遮挡，置遮挡标志BOccludeFlag为1；否则为无遮挡，置遮挡标志BOccludeFlag为0；

当OrientMaxCof≤Theta2，如果当前的遮挡标志BOccludeFlag不为0，则为全局遮挡，置遮挡标志BOccludeFlag为2；否则为无遮挡，置遮挡标志BOccludeFlag为0；

S4，进行目标区域遮挡检测：

(1)计算区域RTRegion和模板TemplateRegion的整体相关系数Cof，计算区域BRTRegion和BTptRegion的整体相关系数BCof；

(2)从S2计算结果RTOrientCof和SRTOrientCof中分别选出四个方向的最大相关系数orientcoef；

(3)从选出的四个相关系数orientcoef中选出最大值orientMaxcoef和最小值orientMincoef；

(4)统计四个方向系数orientcoef中值大于Theta的个数Num2；其中，Theta为5帧图像整体相关系数均值MeanCof减去阈值Theta4的结果；

(5)分别计算orientcoef的上下两个方向和左右两个方向的相关系数的差的绝对值，公式如下：

UDCof＝abs(orientcoef[0]-orientcoef[1])

LRCof＝abs(orientcoef[2]-orientcoef[3])

其中orientcoef[0]，orientcoef[1]，orientcoef[2]，orientcoef[3]分别代表上、下、左、右四个方向的相关系数；

(6)当UDCof＞Theta5或者LRCof＞Theta5，且orientMaxcoef＞Theta6和Cof＜Theta7，则为部分遮挡，置部分遮挡标志PartOccludeFlag为1和遮挡标志OccludeFlag为1，部分遮挡计数器PartOccludeNum加1；

否则，当部分遮挡计数器PartOccludeNum的值大于等于3时，如果相关系数Cof＞Theta8，且orientMaxcoef＞Theta9或者Num2≥3，则为无遮挡，置部分遮挡标志PartOccludeFlag和遮挡标志OccludeFlag为0，将部分遮挡计数器PartOccludeNum清零；否则为完全遮挡，置遮挡标志OccludeFlag为1；当部分遮挡计数器PartOccludeNum的值小于3时，则为无遮挡，置部分遮挡标志PartOccludeFlag和遮挡标志OccludeFlag为0，将部分遮挡计数器PartOccludeNum清零；

(7)当BOccludeFlag为0或BCof＞Theta7，且OccludeFlag和PartOccludeFlag不为0，此时遮挡检测为虚警，置部分遮挡标志PartOccludeFlag和遮挡标志OccludeFlag为0，将部分遮挡计数器PartOccludeNum清零；

否则，不是虚警；

S5，保存当前帧目标所在区域：

在检测为无遮挡时，从当前帧图像目标所在位置，将比最大模板尺寸更大一点的区域保存下来，在后续遮挡检测中使用,并在模板初始化的时候从目标位置保存比模板尺寸稍大一点的区域；(1)遮挡检测结束后，在无遮挡的情况下从当前帧图像中目标所在位置处截取比最大模板尺寸更大一点的区域，保存到RTRegionNFrame中，最多可以保存FrameNum帧的图像数据；

图像存放的关系为RTRegionNFrame[0]中存放的是前面帧的图像数据，RTRegionNFrame[FrameNum-1]中存放的是后面帧的图像数据；

(3)在初始化模板的时候，从目标区域截取比模板尺寸稍大一点的图像区域存放在ProcessRegion中，并在无遮挡的情况下，使用截取当前帧图像目标所在区域的图像PresentRegion对ProcessRegion图像进行比例更新，更新公式如下：

ProcessRegion[i]＝0.88*ProcessRegion[i]+0.12*PresentRegion[i]

其中i表示图像区域的像素索引，ProcessRegion和PresentRegion图像尺寸相同。

本发明的技术效果和优点：该目标遮挡检测方法，通过对目标区域和模板区域进行划分，利用各个部分的相关系数变化情况，能够快速有效的检测出部分遮挡和完全遮挡，并且可以有效的抑制虚警。

附图说明

图1为区域分块方式示意图；

图2为比模板稍大些区域遮挡检测流程图；

图3为模板区域遮挡检测流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了如图1-3所示的一种目标遮挡检测方法，所述方法通过下列步骤进行：

S1，截取各个待比对区域的图像：

(1)以当前帧图像的跟踪坐标(x,y)为中心从当前帧图像中截取与模板同等大小(template_width,template_height)的区域RTRegion；

(2)以当前帧图像的跟踪坐标(x,y)为中心从当前帧图像中截取比模板尺寸稍大一点(template_width+Δw,template_height+Δh)的区域BRTRegion，Δw和Δh的选取准则如下：

(3)从可以保存FrameNum帧图像目标区域的RTRegionNFrame中距离当前帧最久的图像区域RTRegionNFrame[0]的中心截取与模板同等大小(template_width,template_height)的区域SRTRegion；

(4)从初始化保存的目标区域ProcessRegion的中心截取比模板尺寸稍大一点(template_width+Δw,template_height+Δh)的区域BTptRegion，Δw和Δh的选取准则与(2)相同；

S2,计算对应区域在对应方向区域的相关系数：

采用相关系数来衡量两个大小相同的区域的相关性，计算公式如下：

其中A，B分别代表两个图像区域，N代表区域内的像素个数，μ表示均值，σ表示标准差；

通过经过图像区域中心点的水平直线和垂直直线把图像区域分成上、下、左、右四个方向区域，然后再分别计算两个图像区域各个方向区域对应的相关系数：

(1)计算模板区域TemplateRegion和当前帧区域RTRegion各个方向上的相关系数RTOrientCof；

(2)计算模板区域TemplateRegion和FrameNum帧之前区域SRTRegion各个方向上的相关系数SRTOrientCof；

(3)计算当前帧区域BRTRegion和动态模板区域BTptRegion各个方向上的相关系数BOrientCof；

S3，进行稍大区域的遮挡检测：

(1)求取BOrientCof中四个方向相关系数的最大值OrientMaxCof；

(2)统计四个方向系数BOrientCof中大于阈值Thetal的个数Num；

(3)分别计算BOrientCof的上下两个方向和左右两个方向的相关系数的差的绝对值，公式如下：

BUDCof＝abs(BOrientCof[0]-BOrientCof[1])

BLRCof＝abs(BOrientCof[2]-BOrientCof[3])

其中BOrientCof[0]，BOrientCof[1]，BOrientCof[2]，BOrientCof[3]分别代表上、下、左、右四个方向的相关系数；

(4)当OrientMaxCof＞Theta2，如果Num＜2，且BUDCof＞Theta3或者BLRCof＞Theta3，则为部分遮挡，置遮挡标志BOccludeFlag为1；否则为无遮挡，置遮挡标志BOccludeFlag为0；

当OrientMaxCof≤Theta2，如果当前的遮挡标志BOccludeFlag不为0，则为全局遮挡，置遮挡标志BOccludeFlag为2；否则为无遮挡，置遮挡标志BOccludeFlag为0；

S4，进行目标区域遮挡检测：

(1)计算区域RTRegion和模板TemplateRegion的整体相关系数Cof，计算区域BRTRegion和BTptRegion的整体相关系数BCof；

(2)从S2计算结果RTOrientCof和SRTOrientCof中分别选出四个方向的最大相关系数orientcoef；

(3)从选出的四个相关系数orientcoef中选出最大值orientMaxcoef和最小值orientMincoef；

(4)统计四个方向系数orientcoef中值大于Theta的个数Num2；其中，Theta为5帧图像整体相关系数均值MeanCof减去阈值Theta4的结果；

(5)分别计算orientcoef的上下两个方向和左右两个方向的相关系数的差的绝对值，公式如下：

UDCof＝abs(orientcoef[0]-orientcoef[1])

LRCof＝abs(orientcoef[2]-orientcoef[3])

其中orientcoef[0]，orientcoef[1]，orientcoef[2]，orientcoef[3]分别代表上、下、左、右四个方向的相关系数；

(6)当UDCof＞Theta5或者LRCof＞Theta5，且orientMaxcoef＞Theta6和Cof＜Theta7，则为部分遮挡，置部分遮挡标志PartOccludeFlag为1和遮挡标志OccludeFlag为1，部分遮挡计数器PartOccludeNum加1；

否则，当部分遮挡计数器PartOccludeNum的值大于等于3时，如果相关系数Cof＞Theta8，且orientMaxcoef＞Theta9或者Num2≥3，则为无遮挡，置部分遮挡标志PartOccludeFlag和遮挡标志OccludeFlag为0，将部分遮挡计数器PartOccludeNum清零；否则为完全遮挡，置遮挡标志OccludeFlag为1；当部分遮挡计数器PartOccludeNum的值小于3时，则为无遮挡，置部分遮挡标志PartOccludeFlag和遮挡标志OccludeFlag为0，将部分遮挡计数器PartOccludeNum清零；

(7)当BOccludeFlag为0或BCof＞Theta7，且OccludeFlag和PartOccludeFlag不为0，此时遮挡检测为虚警，置部分遮挡标志PartOccludeFlag和遮挡标志OccludeFlag为0，将部分遮挡计数器PartOccludeNum清零；

否则，不是虚警；

S5，保存当前帧目标所在区域：

在检测为无遮挡时，从当前帧图像目标所在位置，将比最大模板尺寸更大一点的区域保存下来，在后续遮挡检测中使用,并在模板初始化的时候从目标位置保存比模板尺寸稍大一点的区域；(1)遮挡检测结束后，在无遮挡的情况下从当前帧图像中目标所在位置处截取比最大模板尺寸更大一点的区域，保存到RTRegionNFrame中，最多可以保存FrameNum帧的图像数据；

图像存放的关系为RTRegionNFrame[0]中存放的是前面帧的图像数据，RTRegionNFrame[FrameNum-1]中存放的是后面帧的图像数据；

(4)在初始化模板的时候，从目标区域截取比模板尺寸稍大一点的图像区域存放在ProcessRegion中，并在无遮挡的情况下，使用截取当前帧图像目标所在区域的图像PresentRegion对ProcessRegion图像进行比例更新，更新公式如下：

ProcessRegion[i]＝0.88*ProcessRegion[i]+0.12*PresentRegion[i]

其中i表示图像区域的像素索引，ProcessRegion和PresentRegion图像尺寸相同。

本实例中各阈值如下：

FrameNum＝12，Theta1＝0.9，Theta2＝0.85，Theta3＝0.16，Theta4＝0.08，Theta5＝0.15，Theta6＝0.85,Theta7＝0.95,Theta8＝0.82,Theta9＝0.78。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种目标遮挡检测方法，其特征在于，所述方法通过下列步骤进行：

S1，截取各个待比对区域的图像：

(1)以当前帧图像的跟踪坐标(x,y)为中心从当前帧图像中截取与模板同等大小(template_width,template_height)的区域RTRegion；

(2)以当前帧图像的跟踪坐标(x,y)为中心从当前帧图像中截取比模板尺寸稍大一点(template_width+Δw,template_height+Δh)的区域BRTRegion，Δw和Δh的选取准则如下：

(3)从可以保存FrameNum帧图像目标区域的RTRegionNFrame中距离当前帧最久的图像区域RTRegionNFrame[0]的中心截取与模板同等大小(template_width,template_height)的区域SRTRegion；

(4)从初始化保存的目标区域ProcessRegion的中心截取比模板尺寸稍大一点(template_width+Δw,template_height+Δh)的区域BTptRegion，Δw和Δh的选取准则与(2)相同；

S2,计算对应区域在对应方向区域的相关系数：

采用相关系数来衡量两个大小相同的区域的相关性，计算公式如下：

其中A，B分别代表两个图像区域，N代表区域内的像素个数，μ表示均值，σ表示标准差；

通过经过图像区域中心点的水平直线和垂直直线把图像区域分成上、下、左、右四个方向区域，然后再分别计算两个图像区域各个方向区域对应的相关系数：

(1)计算模板区域TemplateRegion和当前帧区域RTRegion各个方向上的相关系数RTOrientCof；

(2)计算模板区域TemplateRegion和FrameNum帧之前区域SRTRegion各个方向上的相关系数SRTOrientCof；

(3)计算当前帧区域BRTRegion和动态模板区域BTptRegion各个方向上的相关系数BOrientCof；

S3，进行稍大区域的遮挡检测：

(1)求取BOrientCof中四个方向相关系数的最大值OrientMaxCof；

(2)统计四个方向系数BOrientCof中大于阈值Thetal的个数Num；

(3)分别计算BOrientCof的上下两个方向和左右两个方向的相关系数的差的绝对值，公式如下：

BUDCof＝abs(BOrientCof[0]-BOrientCof[1])

BLRCof＝abs(BOrientCof[2]-BOrientCof[3])

其中BOrientCof[0]，BOrientCof[1]，BOrientCof[2]，BOrientCof[3]分别代表上、下、左、右四个方向的相关系数；

(4)当OrientMaxCof＞Theta2，如果Num＜2，且BUDCof＞Theta3或者BLRCof＞Theta3，则为部分遮挡，置遮挡标志BOccludeFlag为1；否则为无遮挡，置遮挡标志BOccludeFlag为0；

当OrientMaxCof≤Theta2，如果当前的遮挡标志BOccludeFlag不为0，则为全局遮挡，置遮挡标志BOccludeFlag为2；否则为无遮挡，置遮挡标志BOccludeFlag为0；

S4，进行目标区域遮挡检测：

(1)计算区域RTRegion和模板TemplateRegion的整体相关系数Cof，计算区域BRTRegion和BTptRegion的整体相关系数BCof；

(2)从S2计算结果RTOrientCof和SRTOrientCof中分别选出四个方向的最大相关系数orientcoef；

(3)从选出的四个相关系数orientcoef中选出最大值orientMaxcoef和最小值orientMincoef；

(4)统计四个方向系数orientcoef中值大于Theta的个数Num2；其中，Theta为5帧图像整体相关系数均值MeanCof减去阈值Theta4的结果；

(5)分别计算orientcoef的上下两个方向和左右两个方向的相关系数的差的绝对值，公式如下：

UDCof＝abs(orientcoef[0]-orientcoef[1])

LRCof＝abs(orientcoef[2]-orientcoef[3])

其中orientcoef[0]，orientcoef[1]，orientcoef[2]，orientcoef[3]分别代表上、下、左、右四个方向的相关系数；

(6)当UDCof＞Theta5或者LRCof＞Theta5，且orientMaxcoef＞Theta6和Cof＜Theta7，则为部分遮挡，置部分遮挡标志PartOccludeFlag为1和遮挡标志OccludeFlag为1，部分遮挡计数器PartOccludeNum加1；

否则，当部分遮挡计数器PartOccludeNum的值大于等于3时，如果相关系数Cof＞Theta8，且orientMaxcoef＞Theta9或者Num2≥3，则为无遮挡，置部分遮挡标志PartOccludeFlag和遮挡标志OccludeFlag为0，将部分遮挡计数器PartOccludeNum清零；否则为完全遮挡，置遮挡标志OccludeFlag为1；当部分遮挡计数器PartOccludeNum的值小于3时，则为无遮挡，置部分遮挡标志PartOccludeFlag和遮挡标志OccludeFlag为0，将部分遮挡计数器PartOccludeNum清零；

(7)当BOccludeFlag为0或BCof＞Theta7，且OccludeFlag和PartOccludeFlag不为0，此时遮挡检测为虚警，置部分遮挡标志PartOccludeFlag和遮挡标志OccludeFlag为0，将部分遮挡计数器PartOccludeNum清零；

否则，不是虚警；

S5，保存当前帧目标所在区域：

在检测为无遮挡时，从当前帧图像目标所在位置，将比最大模板尺寸更大一点的区域保存下来，在后续遮挡检测中使用,并在模板初始化的时候从目标位置保存比模板尺寸稍大一点的区域；(1)遮挡检测结束后，在无遮挡的情况下从当前帧图像中目标所在位置处截取比最大模板尺寸更大一点的区域，保存到RTRegionNFrame中，最多可以保存FrameNum帧的图像数据；

图像存放的关系为RTRegionNFrame[0]中存放的是前面帧的图像数据，RTRegionNFrame[FrameNum-1]中存放的是后面帧的图像数据；

(2)在初始化模板的时候，从目标区域截取比模板尺寸稍大一点的图像区域存放在ProcessRegion中，并在无遮挡的情况下，使用截取当前帧图像目标所在区域的图像PresentRegion对ProcessRegion图像进行比例更新，更新公式如下：

ProcessRegion[i]＝0.88*ProcessRegion[i]+0.12*PresentRegion[i]

其中i表示图像区域的像素索引，ProcessRegion和PresentRegion图像尺寸相同。