CN107729818B - 一种基于深度学习的多特征融合车辆重识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的多特征融合车辆重识别方法，包括五部分内容，分别是训练模型、车牌识别、车辆识别、相似性度量以及可视化。首先，本发明利用大规模车辆数据集进行模型训练，训练采用多损失函数分阶段联合训练策略。然后，对每一张车辆图像进行车牌识别，并根据车牌识别情况生成车牌标识特征向量。同时，利用训练得到的模型提取待分析图像以及查询库内图像的车辆表述性特征与车辆属性特征，并将车辆表述性特征与车牌标识向量融合每张车辆图像的唯一重识别特征向量。在相似性度量阶段，将待分析图像与查询库内图像的重识别特征向量进行相似性度量，锁定符合要求的检索结果，并将其可视化。

Description

一种基于深度学习的多特征融合车辆重识别方法

技术领域

本发明属于计算机视觉技术领域，更具体的讲，涉及一种基于深度学习的多特征融合车辆重识别方法，是一种基于深度学习特征提取框架且融合了车牌标识特征、车辆全局特征、车辆兴趣区局部特征和车辆属性特征的高精度车辆识别方法。本发明既可以处理无车牌信息车辆图像，亦能提供任意车辆的多种属性信息。

背景技术

视觉跟踪与目标检测是计算机视觉领域内较早开始的研究方向。经过几十年的积累，这两个方向已经取得显著的发展。而关于车辆重识别的相关研究则起步较晚，国内外研究文献也相对较少。所谓车辆重识别技术是指在不同摄像头拍摄下的视频或图像中的车辆进行处理，判断是否为同一车辆对象。因为摄像头的角度、光照、尺寸和清晰度的问题，车辆距离以及行驶角度问题，拍摄环境等无法避免的因素存在，对于车辆重识别技术的发展存在很大的影响。根据目前已有研究方法的研究思路大致可以分为四类，具体如下：

(1)基于纹理特征(BOW-SIFT)：车辆重识别技术基于纹理特征进行提取，其中SIFT描述符被提取为车辆的局部纹理特征，BOW模型因为其在NDIR中的准确性和有效性而用于量化特征。

(2)基于颜色功能(BOW-CN)：基于颜色功能的重识别技术是一个基准测试方法，它将BOW应用于颜色名称Color Name(CN)功能，能够对户外环境的识别具有有效性和鲁棒性。

(3)利用深层神经网络提取语义特征：目前用于车辆重识别的深度学习框架有AlexNet、GoogLeNet等。深度学习对整个和部分车辆的图像进行训练，以检测车辆的详细属性，例如门的数量，灯的形状，座位数量和车辆类型。可以使用从模型中提取的特征作为语义特征，捕捉到车辆的高级语义信息。

(4)多功能融合：利用多个特征的融合，即颜色，纹理和语义特征的不同组合进行提取和融合。比如AlexNet神经网络和BOW-CN基于颜色功能的融合，或者提出FACT(Fusionof Attributes and Color feaTures)模型使用后融合的方案，用BOW-SIFT，BOW-CN和GoogLeNet分别学习的语义特征获得所有测试图像的匹配程度。

分析上述四种方法，多功能融合类别的方法在准确性及迁移性上普遍领先。因此受到融合思路的启发，本发明设计了车牌标识向量、车辆表述性特征向量以及车型属性特征向量三者融合的车辆重识别方法，不仅可以判定套牌等违规情况，还能获得车辆颜色、品牌、类型等诸多属性信息，同时还可以有效提高监控视频内车辆重识别的准确度。

发明内容

本发明的目的：随着计算机技术及信息科技的发展，城市交通监控系统逐渐普及，监控对象如人、车辆、道路、建筑等目标的研究也吸引了很多目光。为克服现有技术的不足，本发明提供的一种基于深度学习的多特征融合车辆重识别方法，既能够处理存在车牌信息的情况也能处理车牌信息无法获取的情况。同时本发明针对车牌信息和车辆信息的一致性能判定套牌等违章情况，从而实现替代人力进行车辆重识别的操作。不仅如此，本发明还可以为道路监控分析系统提供基础输入。

本发明采用的技术方案为：一种基于深度学习的多特征融合车辆重识别方法，该方法包括训练模型、车牌识别、车辆识别、相似性度量以及可视化五个部分：

步骤(m1)训练模型—利用大规模车辆数据集、本发明提出的深度学习框架和训练策略完成特征提取模型分阶段的训练；

步骤(m2)车牌识别—将车辆的车牌信息作为车辆识别的重要特征，该阶段分为预处理、车牌判别、车牌内容识别三个部分，将车牌识别结果存为车牌标识向量；

步骤(m3)车辆识别—利用步骤(m1)中训练好的特征提取模型提取车辆识别的表述性特征向量和车辆属性特征；

步骤(m4)相似性度量—分别提取待分析图像与车辆查询库内图像的车牌标识向量、车辆识别表述性特征向量，对其进行相似性度量，得到车辆重识别结果；

步骤(m5)可视化—将步骤(m4)得到的重识别结果以符合人类视觉理解方式的形式进行可视化。

其中，所述的步骤(m1)包括如下步骤：

(m1.1)加载事先训练好的车辆分类网络模型(vehicle_caffemodel)，作为预训练模型；

(m1.2)预处理参与训练的车辆图像rI_i，截取每张图像兴趣区，作为局部特征提取的基础输入；

(m1.3)根据步骤(m1.2)提取的兴趣区域位置信息，实现兴趣区池化，从而提取包含车内装饰、环保标识等车辆专属信息的局部特征；

(m1.4)根据本发明设计的深度学习提取框架主干网络，提取全局车辆特征；同时根据分支网络提取车辆属性特征；

(m1.5)分阶段的训练策略依托于多个损失函数，本发明涉及的多分类损失函数分别有局部特征误差loss₁、全局特征误差loss₂以及车辆属性特征误差loss₃；第一阶段计算联合损失误差Union_Loss₁，完成全局与局部的训练；第二阶段联合训练全局误差、局部误差以及车辆属性特征误差，该阶段的联合损失误差计算公式详见：

其中，上述两个公式中的权重参数根据实验设定为λ₁＝0.2，λ₂＝0.8；α＝0.05，β＝0.8，γ＝0.15；

(m1.6)在满足迭代终止条件之前，每一个循环通过误差的反向传播更新网络模型参数，直至满足终止条件，得到最终的特征提取模型。

其中，所述的步骤(m2)包括如下步骤：

(m2.1)预处理阶段包括以下步骤：

(r1)首先对车辆图像进行高斯模糊处理，图像rI_i则转变为gI_i；

(r2)针对高斯处理后的图像gI_i，进行灰度化处理，然后经过Sobel算子提取边缘，图像gI_i则转变为sI_i；

(r3)获得边缘的图像进行二值化，腐蚀膨胀等数学形态处理，并且提取轮廓，从而得到车牌判别的输入；

(m2.2)车牌判别阶段包括以下步骤：

(d1)预处理阶段提取到的矩形框均为候选车牌，对其进行尺寸判别，不符合宽高比和常规面积大小的从候选中删除；

(d2)对(d1)判别后剩余的候选车牌依靠矩形倾斜角进行角度判别，并结合(d1)的尺寸判别评分，得分最高者选定为当前车辆图像的车牌；

(m2.3)车牌内容识别阶段包括以下步骤：

(i1)对识别到的车牌进行灰度、二值化等处理，从而分割出车牌内的所有字符C₇＝{c₁，c₂，……，c₇}；

(i2)使用训练好的字符识别BP神经网络对分割后的字符进行识别，并进行二进制编码，连接成车牌标识特征向量；没有车牌或者检测失败的则用特殊标识占位生成特殊的特征向量；生成特征向量的第一位表示车牌信息是否获取成功，1表示成功，0表示失败；提取车牌成功的图像车牌标识特征向量用U(c₁),U(c₂),……,U(c₇)表示，提取车牌失败的图像车牌标识特征向量均用0占位。

其中，所述的步骤(m3)包括如下步骤：

(m3.1)利用步骤(m1)训练提取到的特征提取模型提取全局特征、局部特征以及车辆属性特征；

(m3.2)将步骤(m3.1)提取的全局特征、局部特征与步骤(m2)提取的车牌标识特征向量融合为车辆重识别特征向量；

(m3.3)将步骤(m3.1)提取的车辆属性特征映射为对应的车型和品牌信息，用于后续相似性度量及步骤(m5)的可视化。

其中，所述的步骤(m4)包括如下步骤：

(m4.1)识别步骤(m2)提取到的车牌标识特征向量，是否包含车牌信息；

(m4.2)以图像对为相似性度量输入，当都存在车牌的时候，优先判别车牌是否匹配，不匹配则认为是不同车辆；如果车牌匹配，则匹配车辆特征映射的品牌、车型等属性是否一致，不一致则判定为不同车辆，可以判定为同一车牌不同车辆的违规情况；如果车型判别也通过后，则计算车辆重识别特征向量之间的距离，距离小于预设阈值ε1认定为同一车辆，距离大于预设阈值ε1认定为不同车辆具有相同车牌，记为违规车辆；但凡认定为违规车辆的图像均存储信息并将其作为可视化警报的输入；

(m4.3)如果输入对中存在一张或者两张无车牌标识特征信息，则首先匹配车辆特征映射的车辆属性是否一致，如果不一致则认为是不同车辆；如果一致，则以车辆识别表述性特征相似度作为判定两辆车是否属于同一辆车的依据；当相似度小于预设阈值ε2，则进入待排序列表，并从中选择前N条符合社会条件、物理条件的图像作为最终检索结果。

其中，所述的步骤(m5)包括如下步骤：

(m5.1)步骤(m4.2)提供警报信息的情况下，立即可视化相关车辆在当前查询库内的全部动态信息，并给出醒目警告提示；

(m5.2)全部相似性度量结束后，一次性可视化检索结果，并支持检索结果向数据库内延伸查询，并将查询结果可视化：例如待分析图片I_A的检索结果集合为图像集I_setA，I_setA可按相似度、时间先后等不同排序方式可视化，点击任何一张检索结果，则可进一步可视化该图像对应的车辆属性信息及其在数据库内存储的关联信息。

具体的，一种基于深度学习的多特征融合车辆重识别方法，该方法分为训练模型、车牌识别、车辆识别、相似性度量以及结果可视化五个阶段。(1)在训练模型阶段，本发明提出一种融合全局、局部、车辆属性三种特征的网络框架，并利用分阶段训练策略完成特征提取模型的训练；(2)在车牌识别阶段，本发明对车辆图像进行车牌检测、识别，并根据检测是否成功以及成功识别后的字符进行车牌标识特征向量编码；(3)在车辆识别阶段，利用训练模型阶段训练得到的特征模型对图像进行多种特征提取，其中车辆属性特征、全局和局部融合特征依次用于车辆重识别，缩短匹配时间的同时增加准确度，然后车辆属性特征还将用于可视化车辆图像的品牌、车型等多类属性；(4)在相似性度量阶段，本发明主要计算待分析图像与特征库内所有车辆的特征的距离向量，选择特征库里符合要求的车辆作为检索结果，同时判别车牌信息匹配结果与车辆识别结果是否一致，从而得到盗用车牌、套牌等违规信息；(5)在结果可视化阶段，随时根据盗用车牌、套牌等违规信息发出警报类可视化；完成每次检索后，可视化检索结果与其对应车辆的品牌、车型等属性信息，同时根据检索结果在数据库内存储的信息显示所在监控视频内的位置等视觉信息。详细步骤描述如下：

(1)训练模型阶段：首先，本发明加载事先训练好的车辆分类网络模型；然后，预处理参与训练的车辆图像rI_i，截取每张图像兴趣区，作为局部特征提取的基础输入；再次，利用改进的多个损失函数实现分阶段的模型训练；最后，在满足迭代终止条件之前，通过每一次误差的反向传播更新网络模型参数，直至得到最终的特征提取模型。

(2)车牌识别阶段：进一步拆分为预处理、车牌判别、车牌识别三个部分：(2.1)预处理阶段，本发明首先对车辆图像进行高斯模糊处理，然后进行灰度化处理、Sobel算子提取边缘，同时对获得边缘的图像进行二值化、腐蚀膨胀等数学形态处理，从而得到车牌判别的输入；(2.2)车牌判别阶段，从步骤(2.1)预处理阶段提取到的矩形框均为候选车牌，对其进行尺寸判别，不符合宽高比和常规面积大小的从候选中删除；并且依靠矩形倾斜角对筛选后的候选车牌进行角度判别，综合两项评分最高者选定为当前车辆图像的车牌；(2.3)车牌内容识别阶段，也是车牌识别的核心内容，首先分割车牌的所有字符C₇＝{c₁，c₂，……，c₇}；然后使用训练好的字符识别BP神经网络对分割后的字符进行识别，并进行二进制编码，连接成车牌标识特征向量；没有车牌或者检测失败的则用特殊标识占位生成特殊的特征向量；生成特征向量的第一位表示车牌信息是否获取成功，1表示成功，0表示失败；提取车牌成功的图像车牌标识特征向量后续用U(c₁),U(c₂),……,U(c₇)表示，提取车牌失败的图像车牌标识特征向量后续均用0占位。

(3)车辆识别阶段：本发明利用训练后的特征提取模型提取全局特征、局部特征以及车辆属性特征；融合全局特征、局部特征作为车辆识别的特征；单独提取车辆属性特征并将其映射为对应的车型、品牌信息等属性信息。

(4)相似性度量阶段：本发明首先根据车牌标识特征向量首位标识符判断，车牌是否检测成功；然后以图像对为相似性度量输入，当都存在车牌的时候，优先判别车牌是否匹配，不匹配则认为是不同车辆；如果车牌匹配，则匹配车辆特征映射的品牌、车型等属性是否一致，不一致则判定为不同车辆，可以判定为同一车牌不同车辆的违规情况；如果车型判别也通过后，则计算车辆识别特征向量之间的距离，距离小于预设阈值ε1认定为同一车辆，距离大于预设阈值ε1认定为不同车辆具有相同车牌；但凡认定为违规车辆的图像均存储信息并将其作为可视化警报的输入。如果输入对中存在一张或者两张无车牌标识特征信息，则首先匹配车辆特征映射的车辆属性是否一致，如果不一致则认为是不同车辆；如果一致，则以车辆识别特征相似度作为判定两辆车是否属于同一辆车的依据；当相似度小于预设阈值ε2，则进入待排序列表，并从中选择前N条符合社会条件、物理条件的图像作为最终检索结果。

(5)结果可视化阶段：本发明当接收到上一阶段提供的警报信息时，立即可视化相关车辆在监控网络内的全部动态信息，并给出醒目警告提示；当接收到可视化检索结果时，显示当前待分析车辆图像在当前查询库内的匹配结果，并支持检索结果向数据库存储信息的延伸查询。每完成一次车辆查询均保存必要的中间信息并清空缓存空间。至此，本发明提出的多特征融合的深度学习车辆重识别方法完成了自身的基础任务，存储的全部信息则可以通过接口模式分发给智能监控系统，帮助完成自动化视频内容分析。本发明实现的车辆重识别方法，不仅可以处理车牌拍摄不清、违规套牌等情况，多特征依次匹配的查询方式还能提高时间效率。这使得本发明可以代替传统的人工检索车辆，同时还能为智能分析系统提供基础输入辅助实现全自动监控视频内容分析。

本发明的原理在于：

本发明提出了一种基于深度学习的多特征融合车辆重识别方法。该方法可解决当前监控大数据里的车辆分析问题。同时由于监控数据量增加、智能化分析需求增强的原因，车辆重识别技术才得到关注。该问题与行人重识别问题十分相似，但是在分析策略下存在巨大不同。

首先，行人重识别的研究目标行人属于非刚性形变类物体，而车辆重识别的研究目标车辆则属于刚性物体。研究目标属性的不同决定了方法重点关注的属性不同，因此本方法更关注能够识别车辆品牌、车型以及颜色的车辆属性特征。

其次，与现有车辆识别的方法不同，现有大多数车辆识别方法只关注了车辆的属性信息，这些信息虽然至关重要，但是很难直接在监控智能分析等实际应用中发挥作用。为了弥补该类方法的不足，并将之用于车辆重识别分析，本发明在提取车辆属性特征的同时还利用提出的深度学习网络框架提取车辆全局特征。

再次，本发明发现属于不同车辆但是属于同一车型的错误经常发生在车辆重识别里，比如两辆无法捕捉车牌信息的雪佛兰大黄蜂，尽管可以提取到显著的表述性特征与其它车辆进行区分，但是这两辆车之间却很难区分为不同车辆。这时候，前挡风玻璃上的环保标识、保险标识以及汽车内饰灯等细节将变得不可忽略。为此，本发明为了更好的做好细分类，在框架内加入了兴趣区提取概念，以便获得高区分度的局部特征，将其与全局特征融合，则可以有效解决上述提及的相同车型难以区分的问题。

最后，本发明设计之初分析了大量的车辆图像数据，发现某些摄像头内的视频可以清晰拍摄车辆的车牌信息，这种对车辆重识别有唯一标识作用的信息应该加以利用，为此本发明在提取识别向量的情况下还提取了车牌信息，并将其编码为车牌标识特征向量。该特征向量、车辆属性特征向量与表述性特征共同用于车辆重识别，可以提高车辆识别的准确性；依次递进匹配的方式则在保证高精度的情况下还可以缩短检索时间，适用于大数据量的车辆重识别。

本发明与现有技术相比的优势在于：

1、本发明与现有的多特征融合方法不同之处在于，现有方法大多数融合的传统特征、深度学习特征均属于特征识别。而忽略了车辆图像自身可以提供的车牌、车型、品牌等属性信息。为此本发明提出的特征融合车辆重识别方法更适合当前监控系统。

2.本发明提出的深度学习网络框架包含多种损失函数，分为为局部特征损失函数、全局特征损失函数以及车辆属性特征损失函数。三种损失函数虽然均使用softmax的多分类损失函数，但是通过调整损失函数权重参数，可以实现多阶段训练。在不同阶段根据使用联合训练的损失函数不同，来提升网络模型的在不同方面的特征提取能力，从而实现最佳的模型表述能力，方便提取具有显著区分度的识别特征向量。

3、本发明提出了兴趣区局部特征与车辆图像全局特征的特征融合，可以有效提高同一款车型分类代表不同车辆情况下车辆重识别的精度。不仅如此，车辆识别特征与车牌标识特征融合的方式，可以有效判别不同车辆挂同一个牌照、或者套牌等违规情况。这些本发明提出的多级特征融合方式可以有效训练特征提取网络，从而提高大规模查询库内的车辆重识别的准确性。同时，车辆属性特征的补充可以映射车辆的品牌、车型等属性信息，使得本发明用于监控视频内容分析更加可靠。

附图说明

图1为本发明提出的应用于监控场景的多特征融合车辆重识别方法的总体示意图；

图2为本发明提取车辆多种特征所设计的深度学习网络框架结构示意图；

图3为本发明车牌识别的流程示意图；

图4为本发明处理可识别车牌信息车辆图像的检索结果示意图；

图5为本发明处理识别不到车牌信息车辆图像的检索结果示意图。

具体实施方式

下面结合附图和实施例对本发明具体步骤进行详细描述。

本发明提出了一种基于深度学习的多特征融合车辆重识别方法。结合图1的方法总体示意图可知，本发明的车辆重识别处理过程主要分为五个部分，分别是训练模型阶段、车牌识别阶段、车辆识别阶段、相似性度量阶段以及结果可视化阶段。

A.训练模型阶段：该阶段训练的模型主要用于提取车辆识别阶段的表述性特征向量，具体步骤如下：

首先，加载事先训练好的车辆分类网络模型，作为本发明使用的预训练模型；

其次，根据图2的本发明提出的网络框架示意图进行分阶段训练，第一阶段训练采用联合全局特征误差与局部特征误差的方式，联合损失误差计算公式如下：

第二阶段采用联合全局特征误差、局部特征误差和车辆属性特征误差的策略，联合损失误差计算公式如下：

其中，局部特征误差为loss₁、全局特征误差为loss₂以及车辆属性特征误差为loss₃；上述两个公式中的权重参数根据实验设定为λ₁＝0.2，λ₂＝0.8；α＝0.05，β＝0.8，γ＝0.15。

最后，在达到迭代终止条件之前，不断迭代更新网络参数，直至最后得到训练好的特征提取模型。

B.车牌识别阶段：如图3所示，分为预处理、车牌判别、车牌内容识别三个部分，其中车牌内容识别可以看做是车牌识别的关键，每一步包含多种视觉处理算法，具体内容如下：

首先，对车辆图像做模糊处理，为Sobel算子提取边缘时去除噪声的干扰。后续在对高斯模糊后的图像进行灰度化处理。在得到的图像上利用Sobel算子进行边缘提取，方便二值化、数学形态处理，以便锁定当前车辆图像内所有候选的车牌区域。

其次，对上一步提取的外接矩形进行判断，确定是否为候选车牌的矩形。中国车牌大小为440mm*140mm，宽高比为3.14，所以要判断矩形是否为车牌矩形必须要满足两个条件：(a)宽高比，设置一个偏差率，并根据偏差率计算最大和最小的宽高比，判断提取到矩阵的宽高比是否满足此范围；(2)矩形面积，判断矩形的面积是否满足面积最大值和面积最小值之间。除此之外，还需设计一个倾斜角度最大值，对于提取到的矩形的倾斜角度作分析，从而实现车牌的判别。

最后，对锁定的车牌进行灰度化、二值化以获得车牌上的字符；在利用垂直面积投影法分割字符，送入字符识别BP神经网络进行字符识别；识别到车牌的图像车牌标识特征向量的第一位填写1，车牌识别不到的图像车牌标识特征向量的第一位填写0；前者的后续特征向量用U(c₁),U(c₂),……,U(c₇)表示，后者则用全0占位，从而实现车牌标识特征向量的提取。

C.车辆识别阶段主要用于提取车辆识别的特征，该特征由3部分组成，分别是车牌识别阶段提取的车牌标识特征向量、本阶段提取的车辆表述性特征和车辆属性特征向量。车牌标识特征向量以及车辆表述性特征向量组成图像的重识别特征向量用于车辆重识别，车辆属性特征向量则用于可视化显示不同图像的多种属性，具体细节如下：

首先，如图2所示的模型提取框架，不仅用于训练特征提取模型，也用于车辆特征的提取，利用原图截取的兴趣区有利于区分同一款车型的不同车辆，这部分特征成为局部特征flocal(I_i)；

其次，网络框架的核心网络用于提取车辆图像的全局特征fglobal(I_i)；该特征与局部特征flocal(I_i)融合成为车辆图像的识别特征fr(I_i)；

最后，提取上述两种特征的同时，提取车辆属性特征fv(I_i)，该特征用于可视化当前车辆的颜色、品牌以及车型。

D.相似性度量阶段的步骤为：

首先，将监控视频采集到的所有车辆图像定为查询库，批量提取车牌标识特征向量和车辆表述性特征向量，并将两者融合存储到特征库内fr(I_gallery)，以备计算与待分析图像之间的相似性；

其次，与上一步类似，根据任务需求提取待分析车辆图像的特征向量fr(I_query)；

最后，计算待分析车辆图像特征fr(I_query)与特征库中所有特征fr(I_gallery)之间的距离，从而得到检索结果，为可视化提供输入。

结果可视化阶段主要提供两种可视化服务，第一种为车牌标识特征向量相同但是识别特征向量距离差异大的情况，发出警报，认定为套牌等违规情况；第二种则是在完成待分析图像在当前监控网络内的所有重识别查询后，根据查询检索结果可视化相应的匹配图像，并支持点击匹配图像以获得对应的数据库内关联信息。如图4所示，展示了本发明提出的多特征融合车辆重识别方法处理车牌可识别车辆图像的可视化结果；图5则展示了本发明提出方法处理车牌无法识别情况下车辆重识别的可视化结果。

Claims (1)

1.一种基于深度学习的多特征融合车辆重识别方法，其特征在于：该方法包括训练模型、车牌识别、车辆识别、相似性度量以及可视化五个部分：

步骤(m1)训练模型—利用大规模车辆数据集、深度学习框架和训练策略完成特征提取模型分阶段的训练；

步骤(m2)车牌识别—将车辆的车牌信息作为车辆识别的重要特征，步骤(m2)分为预处理、车牌判别、车牌内容识别三个部分，将车牌识别结果存为车牌标识向量；

步骤(m3)车辆识别—利用步骤(m1)中训练好的特征提取模型提取车辆识别的表述性特征向量和车辆属性特征；

步骤(m4)相似性度量—分别提取待分析图像与车辆查询库内图像的车牌标识向量、车辆识别表述性特征向量，对待分析图像与车辆查询库内图像进行相似性度量，得到车辆重识别结果；

步骤(m5)可视化—将步骤(m4)得到的重识别结果以符合人类视觉理解方式的形式进行可视化；

所述步骤(m1)包括如下步骤：

(m1.1)加载事先训练好的车辆分类网络模型(vehicle_caffemodel)，作为预训练模型；

(m1.2)预处理参与训练的车辆图像rI_i，截取每张图像兴趣区，作为局部特征提取的基础输入；

(m1.3)根据步骤(m1.2)提取的兴趣区域的位置信息，实现兴趣区池化，从而提取包含车内装饰、环保标识的局部特征；

(m1.4)根据深度学习提取框架主干网络，提取全局车辆特征；同时根据分支网络提取车辆属性特征；

(m1.5)分阶段的训练策略依托于多个损失函数，多分类损失函数分别有局部特征误差loss₁、全局特征误差loss₂以及车辆属性特征误差loss₃；第一阶段计算联合损失误差Union_Loss₁，完成全局与局部的训练；第二阶段联合训练全局误差、局部误差以及车辆属性特征误差，第一、第二阶段的联合损失误差计算公式详见：

其中，上述两个公式中的权重参数根据实验设定为λ₁＝0.2，λ₂＝0.8；α＝0.05，β＝0.8，γ＝0.15；

(m1.6)在满足迭代终止条件之前，每一个循环通过误差的反向传播更新网络模型参数，直至满足终止条件，得到最终的特征提取模型；

所述步骤(m2)包括如下步骤：

(m2.1)预处理阶段包括以下步骤：

(r1)首先对车辆图像进行高斯模糊处理，图像rI_i则转变为gI_i；

(r2)针对高斯处理后的图像gI_i，进行灰度化处理，然后经过Sobel算子提取边缘，图像gI_i则转变为sI_i；

(r3)获得边缘的图像进行二值化，腐蚀膨胀数学形态处理，并且提取轮廓，从而得到车牌判别的输入；

(m2.2)车牌判别阶段包括以下步骤：

(d1)预处理阶段提取到的矩形框均为候选车牌，对矩形框进行尺寸判别，不符合宽高比和常规面积大小的从候选车牌中删除；

(d2)对(d1)判别后剩余的候选车牌依靠矩形倾斜角进行角度判别，并结合(d1)的尺寸判别评分，得分最高者选定为当前车辆图像的车牌；

(m2.3)车牌内容识别阶段包括以下步骤：

(i1)对识别到的车牌进行灰度、二值化处理，从而分割出车牌内的所有字符C₇＝{c₁，c₂，……，c₇}；

(i2)使用训练好的字符识别BP神经网络对分割后的字符进行识别，并进行二进制编码，连接成车牌标识特征向量；没有车牌或者检测失败的则用特殊标识占位生成特殊的特征向量；生成特征向量的第一位表示车牌信息是否获取成功，1表示成功，0表示失败；提取车牌成功的图像车牌标识特征向量用U(c₁),U(c₂),……,U(c₇)表示，提取车牌失败的图像车牌标识特征向量均用0占位；

所述步骤(m3)包括如下步骤：

(m3.1)利用步骤(m1)训练提取到的特征提取模型提取全局特征、局部特征以及车辆属性特征；

(m3.2)将步骤(m3.1)提取的全局特征、局部特征与步骤(m2)提取的车牌标识特征向量融合为车辆重识别特征向量；

(m3.3)将步骤(m3.1)提取的车辆属性特征映射为对应的车型和品牌信息，用于后续相似性度量及步骤(m5)的可视化；

所述步骤(m4)包括如下步骤：

(m4.1)识别步骤(m2)提取到的车牌标识特征向量，是否包含车牌信息；

(m4.2)以图像对为相似性度量输入，当都存在车牌的时候，优先判别车牌是否匹配，不匹配则认为是不同车辆；如果车牌匹配，则匹配车辆特征映射的品牌、车型是否一致，不一致则判定为不同车辆，可以判定为同一车牌不同车辆的违规情况；如果车型判别也通过后，则计算车辆重识别特征向量之间的距离，距离小于预设阈值ε1认定为同一车辆，距离大于预设阈值ε1认定为不同车辆具有相同车牌，记为违规车辆；但凡认定为违规车辆的图像均存储信息并将其作为可视化警报的输入；

(m4.3)如果输入对中存在一张或者两张无车牌标识特征信息，则首先匹配车辆特征映射的车辆属性是否一致，如果不一致则认为是不同车辆；如果一致，则以车辆识别表述性特征相似度作为判定两辆车是否属于同一辆车的依据；当相似度小于预设阈值ε2，则进入待排序列表，并从中选择前N条符合社会条件、物理条件的图像作为最终检索结果；

所述的步骤(m5)包括如下步骤：

(m5.1)步骤(m4.2)提供警报信息的情况下，立即可视化相关车辆在当前查询库内的全部动态信息，并给出醒目警告提示；

(m5.2)全部相似性度量结束后，一次性可视化检索结果，并支持检索结果向数据库内延伸查询，并将查询结果可视化：待分析图片I_A的检索结果集合为图像集I_setA，I_setA可按相似度、时间先后的不同排序方式可视化，点击任何一张检索结果，则可进一步可视化该图像对应的车辆属性信息及其在数据库内存储的关联信息。

Images