CN116246232A - 一种跨境头和局部特征策略优化的车辆多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种跨境头和局部特征策略优化的车辆多目标跟踪方法，涉及智能视频监控安防技术领域。本发明步骤如下：对yolov7模型检测锚框以及网络的高度和深度进行调整，来根据交通场景图片推理得到检测框并给出检测框的置信度分数，根据检测框的坐标位置可知道车辆的位置；通过判别遮挡模块、运动估计、关联匹配和状态更新来对目标进行跟踪。本发明通过提出局部特征重识别来得到车辆多目标跟踪方法，局部特征重识别则是利用车辆的多重属性强化车辆视觉特征的提取，具体针对同一个车中的局部特征进行重识别，例如对同一辆车中的年检标、纸巾盒等局部物件进行重识别，从而实现车辆局部跟踪，进而跨境头对目标车辆进行跟踪的目的。

Description

一种跨境头和局部特征策略优化的车辆多目标跟踪方法

技术领域

本发明属于智能视频监控安防技术领域，特别是涉及一种跨境头和局部特征策略优化的车辆多目标跟踪方法。

背景技术

MOT在视频监控领域较为重要，旨在检测和估计视频流中目标的时空轨迹，车辆的多目标跟踪和车流量监测在交通安防应用中有着举足轻重的作用；

多目标跟踪(Multi-object tracking,MOT)通常包含目标检测和跟踪两个部分，跟踪部分由三步骤组成：状态估计、数据关联和目标定位，当前大部分基于检测的MOT方法多是基于SORT和JDE方法的研究；以上方式在MOT算法中取得了不错的效果，仍存在以下弊端：

(1)基于SORT的方法采用卡尔曼滤波作为运动状态估计模型，预测下一帧的运动估计框，与检测模型得到下一帧的检测框进行关联，并用于闭环或漏检情况下预测轨迹状态。由于卡尔曼滤波是线性的，而现实场景是非线性且跟踪目标易受遮挡、运动速度的影响，导致估计框不准确的宽度大小估计。类似SORT基于IOU方法更倾向跟踪预测框的质量，因此在复杂的现实场景中，由于摄像机的运动，预测框会得到一个错误位置，检测框和预测框的重叠率低导致跟踪性能下降。

(2)由于车辆的行驶速度和相机的分辨率和拍摄角度的原因，通常无法获得高质量车辆图片，当车辆识别失效的情况下，车辆reid就成为了一个非常重要的替代品技术，当前的reid受图像低分辨率、人物遮挡、视角、姿势变化、光照变化、视觉模糊性等影响，导致同ID内差异增大，不同ID间差异减少，从而出现车辆目标跟踪丢失的现象。

发明内容

本发明的目的在于提供一种跨境头和局部特征策略优化的车辆多目标跟踪方法，以解决上述背景技术中提出的技术问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种跨境头和局部特征策略优化的车辆多目标跟踪方法，步骤如下：

对yolov7模型检测锚框以及网络的高度和深度进行调整，来根据交通场景图片推理得到检测框并给出检测框的置信度分数，根据检测框的坐标位置可知道车辆的位置；

通过判别遮挡模块、运动估计、关联匹配和状态更新来对目标进行跟踪；

通过跨镜头追踪对横跨多个镜头的车辆进行追踪；

对跟踪成功的ID进行统计，然后设置时间阈值，统计规定内时间经过的车辆数量，对交通场景中的车辆流量进行监控，并及时进行反馈。

进一步地，检测框的坐标位置获得公式如下：

其中，Dect_Model表示yolov7检测模型，

表示第t帧第i个目标的检测结果，x，y，w，h表示检测框的位置，x，y是框的左上角坐标点，w，h表示框的长和宽；confidence表示框的置信度分数。

进一步地，遮挡模块通过采样每个目标的图像区域并将其输入到Yolov7检测网络中来识别当前目标的可视化程度。

进一步地，局部特征提取通过参考帧和当前帧为输入，通过权重共享的主干生成视觉特征，然后利用特征交互模型建立两帧之间的像素对应，然后为每个对象生成局部特征，增强目标外观特征的鲁棒。

进一步地，所述运动估计通过加入ECC相机运动补偿卡尔曼滤波检测时忽略的对检测噪声尺度上的信息，来对相邻帧的同一个目标进行对齐，利用卡尔曼滤波学习第t-1帧中的目标运行状态，估计下一帧的目标检测框，记为初始目标框(x，y，w，h)，在初始目标框基础上加入相机补偿。

进一步地，相机运动补偿过程先使用ECC算法生成3×3的单应性矩阵I，通过单应性关联，使后一帧图像目标对齐前一帧图像目标，提高跟踪的准确性，单应性矩阵I计算公式如下：

其中，

表示第t-1帧中的第i个目标图像，

表示第t帧中的第i个目标图像，计算的x，y为目标框的左上角和右下角的坐标信息。

进一步地，所述关联匹配步骤如下：

同时使用外观和运动信息来解决关联分配问题；

使用泛化IOU作为运动代价矩阵，对比检测框box_Dtc和目标预测框box_target的泛化IOU距离；

将局部参考目标传播到当前帧成目标先验，接着将目标先验特征与视觉特征融合，发送到局部特征检测头，得到车辆的局部跟踪目标。

进一步地，运动代价矩阵D使用外观和运动信息的加权和，计算公式如下：

D＝λD_a+(1-λ)D_m

其中，权重因子λ为0.95，D_a表示外观信息，D_m表示运动信息，通过距离函数确定匹配的车辆ID和未匹配的车辆ID；

在时空范围的约束下，对IOU距离范围之内的目标，仍进行跟踪，提高跟踪目标的检出率，泛化IOU函数公式如下：

使用局部特征reid进行匹配，根据相似度余弦距离D_cos对局部特征待重识别框F_part和车辆局部特征底库F_all进行判断，计算公式如下：

进一步地，所述状态更新采用指数移动平均的方式更新第t帧处第i个轨迹的外观状态，EMA更新策略不仅提高了匹配质量，而且减少了时间消耗，公式如下：

其中，

表示第i个轨迹的第t帧的状态，

表示当前的外观状态，；

对当前帧目标物体的跟踪状态进行判别并更新，如果连续30帧内的目标状态判定为state_delete，则认为跟踪丢失。

进一步地，跨镜头追踪包含离线追踪和实时在线追踪；

所述离线追踪是将多镜头生成目标的运动轨迹，通过轨迹到轨迹的匹配，实现跨境头的目标追踪；

所述实时在线追踪则是利用局部reid和动态聚类算法作为运动代价矩阵，构造局部与目标、目标与轨迹、轨迹与轨迹之间的联系，实现跨境头的车辆目标跟踪。

本发明具有以下有益效果：

1、本发明通过提出局部特征重识别来得到车辆多目标跟踪方法，局部特征重识别则是利用车辆的多重属性强化车辆视觉特征的提取，具体针对同一个车中的局部特征进行重识别，例如对同一辆车中的年检标、纸巾盒等局部物件进行重识别，从而实现车辆局部跟踪，进而跨境头对目标车辆进行跟踪的目的。

2、本发明通过提出基于时空约束的轨迹动态聚类算法，时空约束通过轨迹聚类算法建模相关摄像头之间的时空关系，动态聚类目标车辆的跨轨迹特征来对车辆跨境头匹配加以约束，增强跨镜头车辆跟踪能力。

3、本发明通过引入相机运动补偿和遮挡判断的方法，来估计车辆的单帧运动轨迹；相机运动能够在不受控制的环境中最好地捕捉局部运动，相机对移动部分的敏感性很好的弥补对目标车辆非线性或变速运动的估计；遮挡模块则是对遮挡模块下的特征进行局部特征reid提取，通过局部reid的方法提高估计的准确度。

4、本发明通过提出三阶段关联匹配策略；第一阶段和第二阶段加权外观运动信息和泛化IOU距离函数来构造检测和轨迹之间的运动代价矩阵；第三阶段引入局部特征匹配的方法，构造局部到轨迹之间的运动代价矩阵，提高待跟踪目标的准确度和降低错误目标被跟踪的可能性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的MOT网络框架流程图；

图2为本发明的初始化状态设置示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1和图2所示，本发明为一种跨境头和局部特征策略优化的车辆多目标跟踪方法。

1.目标检测部分

YOLOv7利用模块重参化和动态标签分配策略，在速度和准确度上都超越了目前已知的算法。本发明针对车辆场景的车辆检测，调用现有的yolov7的预训练模型，对及检测锚框以及网络的高度和深度进行微调，达到最好的检测效果的同时保证尽可能小的模型占用内存。给定一张交通场景图片，经过检测模型推理得到检测框并给出检测框的置信度分数，根据检测框的坐标位置可知道车辆的位置。检测结果如式(1)所示：

其中，Dect_Model表示yolov7检测模型，

表示第t帧第i个目标的检测结果，x，y，w，h表示检测框的位置，x，y是框的左上角坐标点，w，h表示框的长和宽。confidence表示框的置信度分数。

2.目标跟踪部分

步骤1：判别遮挡模块

遮挡模块利用多目标的检测边界框B_r＝{b₁，b₂，...，b_N}，其中N表示目标的数量，通过采样每个目标的图像区域并将其输入到Yolov7检测网络中来识别当前目标的可视化程度，通过识别目标在各个时刻的遮挡情况。

局部特征提取以参考帧和当前帧为输入，通过权重共享(为通过两个相同的网络使用同一个模型权重，保证过程一致性)的主干生成视觉特征，然后利用特征交互模型，具体通过比较帧与帧之间的像素级距离来建立两帧之间的像素对应，为了提高算法的精度，对目标的图像区域进行高斯滤波插值到128×96，并发送到骨干网络然后为每个对象生成局部特征，增强目标外观特征的鲁棒性，其中鲁棒性指的是泛化能力，形容各个目标都有比较好的检测效果。

本实施例中，骨干网络为现有网络，具体指Resnet网络，Resnet网络为现有成熟技术。

步骤2：运动估计

由于卡尔曼滤波进行状态适用无遮挡场景和匀速运动的物体，忽略了检测噪声尺度上的信息，加入ECC相机运动补偿，对相邻帧的同一个目标进行对齐，很好地弥补了卡尔曼估计对变速物体的缺陷。

首先利用卡尔曼滤波学习第t-1帧中的目标运行状态，并估计下一帧的目标检测框，记为初始目标框(x，y，w，h)。接着在初始目标框基础上加入相机补偿，其中相机运动补偿过程先使用现有的ECC算法生成3×3的单应性矩阵I，然后通过图像配准函数构建单应性关联，使后一帧图像目标对齐前一帧图像目标，从而提高跟踪的准确性。

本实施例中，单应性关联的实现通过现有技术opencv中的图像配准函数进行构建实现。

计算过程如式(2)所示：

其中，

表示第t-1帧中的第i个目标图像，

表示第t帧中的第i个目标图像，计算的x，y为目标框的左上角和右下角的坐标信息。

在得到目标框之后，对当前的状态进行初始化，其伪代码过程如图(2)所示。

步骤3：关联匹配阶段

本发明提出三阶段匹配策略。第一阶段同时使用外观和运动信息来解决分配问题，运动代价矩阵D使用外观和运动信息的加权和，如式(3)所示：

D＝λD_a+(1-λ)D_m (3)

其中，权重因子λ为0.95，D_a表示外观信息，D_m表示运动信息，通过距离函数确定匹配的车辆ID和未匹配的车辆ID。由于未匹配的ID和上一帧未匹配的车辆ID中含有置信度低但能检出的ID。

第二阶段使用泛化IOU作为运动代价矩阵，对比检测框box_Dtc和目标预测框box_target的泛化IOU距离，在时空范围的约束下，对IOU距离范围之内的目标，仍进行跟踪，进一步提高跟踪目标的检出率。泛化IOU函数如式(4)所示：

第三阶段通过将局部参考目标传播到当前帧成目标先验，接着将目标先验特征与视觉特征融合，发送到局部特征检测头，得到车辆的局部跟踪目标，最后使用局部特征reid进行匹配，根据相似度余弦距离D_cos对局部特征待重识别框F_part和车辆局部特征底库F_all进行判断，过程如式(5)所示：

步骤4：状态更新阶段

EMA更新策略采用指数移动平均的方式更新第t帧处第i个轨迹的外观状态，EMA更新策略不仅提高了匹配质量，而且减少了时间消耗，如式(6)所示：

其中，

表示第i个轨迹的第t帧的状态，

表示当前的外观状态，α为超参数，通常为0.8。

此外，对当前帧目标物体的跟踪状态进行判别并更新，如果连续30帧内的目标状态判定为state_delete，则认为跟踪丢失。

3.跨境头追踪

跨镜头追踪包含离线追踪和实时在线追踪两种机制，离线追踪是将多镜头生成目标的运动轨迹，通过轨迹到轨迹的匹配，从而实现跨境头的目标追踪。实时在线追踪则是利用局部reid和动态聚类算法作为运动代价矩阵，构造局部与目标、目标与轨迹、轨迹与轨迹之间的联系，从而实现跨境头的车辆目标跟踪。

4.交通车流量监测部分

首先对跟踪成功的ID进行统计，然后设置时间阈值，统计规定内时间经过的车辆数量，对交通场景中的车辆流量进行监控，并及时进行反馈。

本实施例在使用时达成以下好处：

一、提出局部特征重识别来得到车辆多目标跟踪方法。局部特征重识别则是利用车辆的多重属性强化车辆视觉特征的提取，具体针对同一个车中的局部特征进行重识别，例如对同一辆车中的年检标、纸巾盒等局部物件进行重识别，从而实现车辆局部跟踪，进而跨境头对目标车辆进行跟踪的目的。

二、提出基于时空约束的轨迹动态聚类算法，时空约束通过轨迹聚类算法建模相关摄像头之间的时空关系，动态聚类目标车辆的跨轨迹特征来对车辆跨境头匹配加以约束，增强跨镜头车辆跟踪能力。

三、为了提高估计的准确度，引入相机运动补偿和遮挡判断的方法，来估计车辆的单帧运动轨迹。相机运动能够在不受控制的环境中最好地捕捉局部运动，相机对移动部分的敏感性很好的弥补对目标车辆非线性或变速运动的估计；遮挡模块则是对遮挡模块下的特征进行局部特征reid提取，通过局部reid的方法提高估计的准确度。

四、为了提高目标车辆跟踪的数量，提出三阶段关联匹配策略。第一阶段和第二阶段加权外观运动信息和泛化IOU距离函数来构造检测和轨迹之间的运动代价矩阵；第三阶段引入局部特征匹配的方法，构造局部到轨迹之间的运动代价矩阵，提高待跟踪目标的准确度和降低错误目标被跟踪的可能性。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该本发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种跨境头和局部特征策略优化的车辆多目标跟踪方法，其特征在于，步骤如下：

对yolov7模型检测锚框以及网络的高度和深度进行调整，根据交通场景图片推理得到检测框并给出检测框的置信度分数，根据检测框的坐标位置可知道车辆的位置；

通过判别遮挡模块、运动估计、关联匹配和状态更新来对目标进行跟踪；

通过跨镜头追踪对横跨多个镜头的车辆进行追踪；

对跟踪成功的ID进行统计，设置时间阈值，统计规定内时间经过的车辆数量，对交通场景中的车辆流量进行监控，并及时进行反馈。

2.根据权利要求1所述的一种跨境头和局部特征策略优化的车辆多目标跟踪方法，其特征在于，检测框的坐标位置获得公式如下：

其中，Dect_Model表示yolov7检测模型，

表示第t帧第i个目标的检测结果，x，y，w，h表示检测框的位置，x，y是框的左上角坐标点，w，h表示框的长和宽；confidence表示框的置信度分数。

3.根据权利要求1所述的一种跨境头和局部特征策略优化的车辆多目标跟踪方法，其特征在于，遮挡模块通过采样每个目标的图像区域并将其输入到Yolov7检测网络中来识别当前目标的可视化程度。

4.根据权利要求3所述的一种跨境头和局部特征策略优化的车辆多目标跟踪方法，其特征在于，局部特征提取通过参考帧和当前帧为输入，通过权重共享的主干生成视觉特征，再利用特征交互模型建立两帧之间的像素对应，为每个对象生成局部特征，增强目标外观特征的鲁棒。

5.根据权利要求1所述的一种跨境头和局部特征策略优化的车辆多目标跟踪方法，其特征在于，所述运动估计通过加入ECC相机运动补偿卡尔曼滤波检测时忽略的对检测噪声尺度上的信息，来对相邻帧的同一个目标进行对齐，利用卡尔曼滤波学习第t-1帧中的目标运行状态，得到下一帧的目标检测框，记为初始目标框(x，y，w，h),在初始目标框基础上加入相机补偿。

6.根据权利要求5所述的一种跨境头和局部特征策略优化的车辆多目标跟踪方法，其特征在于，相机运动补偿过程先使用ECC算法生成3×3的单应性矩阵I，通过单应性关联，使后一帧图像目标对齐前一帧图像目标，提高跟踪的准确性，单应性矩阵I计算公式如下：

其中，

表示第t-1帧中的第i个目标图像，

表示第t帧中的第i个目标图像，计算的x，y为目标框的左上角和右下角的坐标信息。

7.根据权利要求1所述的一种跨境头和局部特征策略优化的车辆多目标跟踪方法，其特征在于，所述关联匹配步骤如下：

同时使用外观和运动信息来解决关联分配问题；

使用泛化IOU作为运动代价矩阵，对比检测框box_Dtc和目标预测框box_target的泛化IOU距离；

将局部参考目标传播到当前帧成目标先验，接着将目标先验特征与视觉特征融合，发送到局部特征检测头，得到车辆的局部跟踪目标。

8.根据权利要求7所述的一种跨境头和局部特征策略优化的车辆多目标跟踪方法，其特征在于，运动代价矩阵D使用外观和运动信息的加权和，计算公式如下：

D＝λD_a+(1-λ)D_m

其中，权重因子λ为0.95，D_a表示外观信息，D_m表示运动信息，通过距离函数确定匹配的车辆ID和未匹配的车辆ID；

在时空范围的约束下，对IOU距离范围之内的目标，仍进行跟踪，提高跟踪目标的检出率，泛化IOU函数公式如下：

使用局部特征reid进行匹配，根据相似度余弦距离D_cos对局部特征待重识别框F_part和车辆局部特征底库F_all进行判断，计算公式如下：

9.根据权利要求1所述的一种跨境头和局部特征策略优化的车辆多目标跟踪方法，其特征在于，所述状态更新采用指数移动平均的方式更新第t帧处第i个轨迹的外观状态，EMA更新策略不仅提高了匹配质量，而且减少了时间消耗，公式如下：

其中，

表示第i个轨迹的第t帧的状态，

表示当前的外观状态，α为超参数；

对当前帧目标物体的跟踪状态进行判别并更新，当连续30帧内的目标状态判定为state_delete，则认为跟踪丢失。

10.根据权利要求1所述的一种跨境头和局部特征策略优化的车辆多目标跟踪方法，其特征在于，跨镜头追踪包含离线追踪和实时在线追踪；

所述离线追踪是将多镜头生成目标的运动轨迹，通过轨迹到轨迹的匹配，实现跨境头的目标追踪；

所述实时在线追踪则是利用局部reid和动态聚类算法作为运动代价矩阵，构造局部与目标、目标与轨迹、轨迹与轨迹之间的联系，实现跨境头的车辆目标跟踪。

Images