CN106919902A - 一种基于cnn的车辆识别和轨迹追踪方法 - Google Patents

Abstract

本发明公开了一种基于CNN的车辆识别和轨迹追踪方法，首先是通过对视频帧进行轮廓识别，筛选出车辆候选目标区域，将这些候选区域输入到预先训练好的卷积神经网络中进行车辆和非车辆目标的分类识别，在获取车辆坐标后，绘制车辆的轨迹信息，并按车道提取车辆的轨迹信息。本发明克服了现有技术存在的缺陷，提高了车辆目标识别的准确性和实时性。

Description

一种基于CNN的车辆识别和轨迹追踪方法

技术领域

本发明属于食品监控技术领域，特别涉及了一种车辆识别和轨迹追踪方法。

背景技术

目前，目标检测是智能视频监控系统中的关键技术，同时也是目标识别、目标跟踪、目标分类等处理算法的基础。车辆目标识别的目的是尽可能地从视频监控中提取出车辆目标区域，并且完整地从视频中提取出来，并将检测的结果提交给后续的算法处理，包括车辆位置信息，车辆轨迹信息等，以此来判断车辆当前车辆的行驶状态。因此为了解决现有技术中的不足，需要一种从视频中快速定位车辆位置和提取车辆轨迹的方法。

2015年Seung-Hyun Lee等人在International Symposium on ConsumerElectronics(ISCE)上发表了一篇《An efficient selection of HOG feature for SVMclassification of vehicle》，通过减小HOG特征的维度来减少SVM的计算复杂度，然后将降低维度的HOG(方向梯度直方图)特征作为支持向量机(SVM)分类检测的输入，提高了车辆识别检测的速度。然而，HOG特征很难处理遮挡的问题，并且在实际的环境中HOG特征对噪点比较敏感。

2015年Sun Shujuan等人在Chinese Control and Decision Conference(2015CCDC)上发表了一篇《Real-time vehicle detection using Haar-SURF mixedfeatures and gentle AdaBoost classifier》论文，提出一种采用级联分类器和混合Haar-SURF特征的Gentle AdaBoost分类器来进行车辆的实时检测。该方法存在的问题是AdaBoost算法训练时间过长，目标识别的准确性依赖于弱分类器的选择。

发明内容

为了解决上述背景技术提出的技术问题，本发明旨在提供一种基于CNN的车辆识别和轨迹追踪方法，为了克服现有技术存在的问题，采用轮廓筛选机制的卷积神经网络来提高车辆目标识别的精度，同时也优化了实时视频识别中的实时性问题。

为了实现上述技术目的，本发明的技术方案为：

一种基于CNN的车辆识别和轨迹追踪方法，包括以下步骤：

(1)实时获取车辆的视频信息；

(2)采用轮廓筛选机制对获取的视频帧进行预处理，提取车辆目标的候选区域；

(3)将目标的候选区域输入卷积神经网络中，完成车辆目标和非车辆目标的识别；

(4)获取每帧视频中的车辆位置坐标，根据这些坐标绘制车辆的轨迹；对于不同车道内的车辆轨迹按照车道进行分类提取。

进一步地，步骤(2)的具体过程如下：

采用索贝尔算子对获取的视频帧进行边缘点的检测，通过计算视频帧中每个像素点横向和纵向的灰度值来计算像素点的梯度，若梯度大于预设的阈值，则认为该像素点是轮廓边缘点，将相邻的轮廓边缘点连接起来，获得车辆目标的外部轮廓，根据外部轮廓确定车辆目标的候选区域。

进一步地，步骤(3)的具体过程如下：

缩放候选区域图片的scale，得到图片金字塔，通过卷积层提取图片中的特征，得到feature map，接着通过池化层将feature map大小不一的候选区域转变为大小统一的数据，进一步稳定特征，然后通过全连接层将池化层输出的特征进行合并，使用softmax完成车辆目标的识别。

进一步地，softmax进行车辆目标识别时，通过构建代价函数对分类进行优化，所述代价函数：

上式中，p_u为目标真实类别u的概率，v_i为bounding-box返回的坐标值，表示bounding-box的回归补偿，x,y,w,h分别表示定位框的横坐标、纵坐标、宽度、高度，

求解代价函数L取最小值时的用于补偿bounding-box返回的坐标值，使得返回的坐标值所表示的定位框能真实代表车辆区域。

进一步地，在步骤(4)中，对于不同车道内的车辆轨迹按照车道进行分类提取的过程：

(a)以图像的width方向为x轴、图像的height方向y轴，建立平面直角坐标系；

(b)在坐标系中定位车辆坐标，车道i的两条边线分别为y＝k_ix+c_i和y＝k_i+1x+c_i+1，其中，k_i、k_i+1为车道i的两条边线的斜率，c_i、c_i+1为车道i的两条边线的截距，i＝1,2,…,I，I为总车道数；

设车道i内的车辆坐标为(a,b)，则(a,b)满足以下条件：

进一步地，为了避免车道i内不同车辆轨迹粘合，在车辆驶离的方向设置检测带y＝m，当车道i内某车辆坐标(a,b)满足以下条件时，说明已完成该车辆目标的轨迹跟踪，需要进行轨迹清除：

采用上述技术方案带来的有益效果：

(1)本发明通过对实时输入的视频帧进行轮廓识别，将筛选出车辆目标的候选区域输入到卷积神经网络中进行车辆目标的识别分类，提高了车辆目标识别的准确性和实时性；

(2)本发明对于多车道车辆按车道的不同来分别提取车辆的轨迹信息，可以有效地提高车辆的轨迹提取速度，同时也对车辆轨迹进行了有效的分类处理。

附图说明

图1是本发明的方法流程图；

图2是本发明中多车道轨迹分类示意图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

一种基于CNN的车辆识别和轨迹追踪方法，如图1所示，具体步骤如下。

步骤1：实时获取车辆的视频信息。

步骤2：采用轮廓筛选机制对获取的视频帧进行预处理，提取车辆目标的候选区域。

采用索贝尔算子对获取的视频帧进行边缘点的检测，通过计算视频帧中每个像素点横向和纵向的灰度值来计算像素点的梯度，若梯度大于预设的阈值，则认为该像素点是轮廓边缘点，将相邻的轮廓边缘点连接起来，获得车辆目标的外部轮廓，根据外部轮廓确定车辆目标的候选区域。

像素点的梯度计算公式：

G＝G_x+G_y

上式中，G_x，G_y分别代表横向和纵向边缘检测的图像灰度值，G_x＝[f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2f(x-1,y)+f(x-1,y+1)]，G_y＝[f(x-1,y-1)+2f(x,y-1)+f(x-1,y-1)]-[f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1)]，其中f(x,y)为(x,y)点的灰度值。

步骤3：将目标的候选区域输入卷积神经网络中，完成车辆目标和非车辆目标的识别。

卷积神经网络(Convolutional Neural Network,CNN)是人工神经网络中的一种，它由多层的神经网络构成，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。卷积神经网络的优点在于网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。因此，卷积神经网络在图像识别和目标分类上具有很好的表现。

卷积神经网络主要分为3层：卷积层，池化层和全连接层。卷积层为了从图像中通过卷积运算提取车辆的初步特征，池化层用来将提取出的特征进一步降维，逐步稳定前面提取出车辆目标的特征，全连接层是为了将池化层的特征进行合并并分类回归。

首先是获取图片的ROI区域，然后缩放图片的scale得到图片金字塔，提取图片中的特征得到feature map，然后通过pooling层将特征图大小不一的候选区域转变为大小统一的数据，进一步稳定特征并把该特征输入到全连接特征层，最后通过softmax来完成车辆的分类操作。

为了使得bounding-box更加准确地定位到车辆的位置，通过构建代价函数对分类进行优化，所述代价函数：

上式中，p_u为目标真实类别u的概率，v_i为bounding-box返回的坐标值，表示bounding-box的回归补偿，x,y,w,h分别表示定位框的横坐标、纵坐标、宽度、高度，

求解代价函数L取最小值时的用于补偿bounding-box返回的坐标值，使得返回的坐标值所表示的定位框能真实代表车辆区域。

步骤4：获取每帧视频中的车辆位置坐标，根据这些坐标绘制车辆的轨迹；对于不同车道内的车辆轨迹按照车道进行分类提取。

为了实时绘制出车辆的轨迹信息，首先要定位图像帧中车辆目标的位置，然后将前n帧中车辆的坐标信息保存在一个数组链表中。第n帧中数组链表中包含了前n-1中车辆的坐标信息，在第n帧中绘制所有的坐标点来绘制出运动车辆所经过的轨迹。

车辆轨迹绘制过程：

1、当视频中检测到车辆后，将车辆的坐标保存在数组链表list。如图2所示，检测到3辆车，将车辆的的所有坐标信息存储在list中。图中(a_xy,b_xy)表示车辆坐标，x表示车道号，y表示帧数；

2、在第n帧后，在第n帧中图像上绘制list中所有的坐标点的。即构成了不同车道内的车辆轨迹运动信息。

对于不同车道内的车辆轨迹按照车道进行分类提取：

1、以图像的width方向为x轴、图像的height方向y轴，建立平面直角坐标系，如图2所示；

2、在坐标系中定位车辆坐标，车道i的两条边线分别为y＝k_ix+c_i和y＝k_i+1x+c_i+1，其中，k_i、k_i+1为车道i的两条边线的斜率，c_i、c_i+1为车道i的两条边线的截距，i＝1,2,…,I，I为总车道数；

设车道i内的车辆坐标为(a,b)，则(a,b)满足以下条件：

为了避免车道i内不同车辆轨迹粘合，在车辆驶离的方向设置检测带y＝m，当车道i内某车辆坐标(a,b)满足以下条件：

说明此时已经完成车辆目标的轨迹跟踪，通过对数组链表中车道i内该车辆的一系列离散点进行清除。

实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (6)

1.一种基于CNN的车辆识别和轨迹追踪方法，其特征在于，包括以下步骤：

(1)实时获取车辆的视频信息；

(2)采用轮廓筛选机制对获取的视频帧进行预处理，提取车辆目标的候选区域；

(3)将目标的候选区域输入卷积神经网络中，完成车辆目标和非车辆目标的识别；

(4)获取每帧视频中的车辆位置坐标，根据这些坐标绘制车辆的轨迹；对于不同车道内的车辆轨迹按照车道进行分类提取。

2.根据权利要求1所述基于CNN的车辆识别和轨迹追踪方法，其特征在于，步骤(2)的具体过程如下：

采用索贝尔算子对获取的视频帧进行边缘点的检测，通过计算视频帧中每个像素点横向和纵向的灰度值来计算像素点的梯度，若梯度大于预设的阈值，则认为该像素点是轮廓边缘点，将相邻的轮廓边缘点连接起来，获得车辆目标的外部轮廓，根据外部轮廓确定车辆目标的候选区域。

3.根据权利要求1所述基于CNN的车辆识别和轨迹追踪方法，其特征在于，步骤(3)的具体过程如下：

缩放候选区域图片的scale，得到图片金字塔，通过卷积层提取图片中的特征，得到feature map，接着通过池化层将feature map大小不一的候选区域转变为大小统一的数据，进一步稳定特征，然后通过全连接层将池化层输出的特征进行合并，使用softmax完成车辆目标的识别。

4.根据权利要求3所述基于CNN的车辆识别和轨迹追踪方法，其特征在于：softmax进行车辆目标识别时，通过构建代价函数对分类进行优化，所述代价函数：

$L=-{\log }_2{p}_u+\mathrm{\λ}\underset{i\∈\{x,y,w,h\}}{\mathrm{\Σ}}{\mathrm{smooth}}_{L1}(t_i^u-v_i)$

上式中，p_u为目标真实类别u的概率，为bounding-box返回的坐标值，表示bounding-box的回归补偿，x,y,w,h分别表示定位框的横坐标、纵坐标、宽度、高度，

求解代价函数L取最小值时的用于补偿bounding-box返回的坐标值，使得返回的坐标值所表示的定位框能真实代表车辆区域。

5.根据权利要求1所述基于CNN的车辆识别和轨迹追踪方法，其特征在于：在步骤(4)中，对于不同车道内的车辆轨迹按照车道进行分类提取的过程：

(a)以图像的width方向为x轴、图像的height方向y轴，建立平面直角坐标系；

(b)在坐标系中定位车辆坐标，车道i的两条边线分别为y＝k_ix+c_i和y＝k_i+1x+c_i+1，其中，k_i、k_i+1为车道i的两条边线的斜率，c_i、c_i+1为车道i的两条边线的截距，i＝1,2,…,I，I为总车道数；

设车道i内的车辆坐标为(a,b)，则(a,b)满足以下条件：

$\left\{\begin{array}{c}b<k_{i}a+c_i\\ b>k_{i+1}a+c_{i+1}\end{array}\right..$

6.根据权利要求5所述基于CNN的车辆识别和轨迹追踪方法，其特征在于：为了避免车道i内不同车辆轨迹粘合，在车辆驶离的方向设置检测带y＝m，当车道i内某车辆坐标(a,b)满足以下条件时，说明已完成该车辆目标的轨迹跟踪，需要进行轨迹清除：

$\left\{\begin{array}{c}b<k_{i}a+c_i\\ b>k_{i+1}a+c_{i+1}\\ b>m\end{array}\right..$