CN108549926A - 一种用于精细化识别车辆属性的深度神经网络及训练方法 - Google Patents

Abstract

本发明公开了一种用于精细化识别车辆属性的深度神经网络及训练方法，该网络包括：深度残差网络，用于对输入的图片进行特征提取，得到特征图；特征迁移层，包括多个特征迁移单元，用于针对各属性识别任务迁移共享的特征，使之适应于特定的任务；多个全连接层，对应各属性识别任务分支，连接于特征迁移层，以得到对应各属性识别任务的特征向量；多个损失计算单元，对应各属性识别任务分支，分别连接各全连接层，用于使用交叉熵作为多分类器的损失函数计算损失；多个参数更新单元，对应于各属性识别任务，连接各损失计算单元，通过随机梯度下降优化算法回传损失，更新参数，本发明实现了只用一个神经网络就能同时识别多种精细化的车辆属性的目的。

Description

一种用于精细化识别车辆属性的深度神经网络及训练方法

技术领域

本发明涉及计算机视觉与模式识别技术领域，特别是涉及一种用于精细化识别车辆属性的深度神经网络及其训练方法。

背景技术

车辆精细化属性识别技术是智能交通安防领域的一项基本技术，识别车辆属性可以提高计算机对目标车辆的理解，有助于解决一些更难的交通安防领域问题，比如车辆自动检索，车辆重识别。

车辆属性识别是计算机视觉与模式识别中的一个经典问题，识别的车辆属性一般有车辆的颜色、车辆的类型、车辆的品牌厂商等，技术应用的场景一般在道路摄像中，识别过往车辆的精细化属性，对车辆分类标签化。解决这类问题的关键技术是图像识别分类算法，其难点在于光照、尺度、遮挡对识别精度的影响。

早期采用的车辆属性识别技术以手工特征加上机器学习分类器为主，效果比较好的有采用尺度不变特征(SIFT特征)，方向梯度直方图特征(HOG)作为手工特征，用视角词袋框架和支持向量机(SVM)来解决车辆属性分类问题，分别对不同的属性分别建模。后来大家广泛采用深度学习来解决图像分类问题，通过大数据和强大的计算力，用随机梯度下降的优化算法优化网络上千万的参数，让网络很好地提取到车辆的特征，区别于传统方法的是深度网络输出的特征可学，最终通过学习出来的特征要远优于手工特征，这样再用分类器进行分类，效果要比传统的手工特征加上分类器的做法好。深度学习的方法具有很强的学习能力，只要训练数据涉及各类复杂场景(光照、尺度、遮挡)，那模型便能在这些复杂的场景表现出优异的性能。

公开号为105678275A的中国专利申请揭示了一种车辆识别方法，其先对图片数据预处理，计算全部图片的平均向量，再计算出每个训练样本图片所构成向量与所述平均向量的差值；然后计算所述训练样本图片的协方差矩阵，根据所述协方差矩阵求出特征向量和特征值并按序排列，用主成分分析法(PCA)提取特征向量，最后用一个BP神经网络作为分类器。公开号为105787466A的中国专利申请揭示了一种车辆类型的精细识别方法及系统，其对获取的原始车辆图像进行灰度化和标准化处理；计算标准化图像每个像素点的梯度和方向；根据计算的梯度和方向对标准化图像进行方向梯度直方图特征提取和局部线性约束编码，得到标准化图像的编码向量；根据得到的编码向量采用权值空间金字塔对局部线性约束编码后的标准化图像进行处理，得到车辆图像的最终表达向量，最后用一个SVM对这个特征向量进行车类型分类。

公开号为102737221B的中国专利申请提供了一种车辆颜色的识别方法及装置，其根据图像的纹理和结构信息定位车辆颜色识别的参考区域，之后再进行主识别区域和辅助识别区域的识别，主识别区域和辅助识别区域的结果加权投票得出最终的颜色识别的结果。公开号为103544480A的中国专利申请提供了一种车辆颜色识别方法,其通过对参考区域饱和度等特征参数的统计，首先将车辆分为彩色车和黑白银灰色车；若判定结果为彩色车，分离出彩色区域，并对此区域进行颜色识别；若判定结果为黑白银灰车，则将参考区域分割，通过投票的方法确定车辆的颜色。公开号为106203420A的中国专利申请提供了一种卡口车辆颜色识别方法，其用一个深度卷积神经网络，但并非输入一辆完整的汽车图片，输入是颜色识别感兴趣区域，输出是一条特征向量，再用SVM或者softmax对该向量分类。

公开号为103500327A的中国专利申请提供了一种基于空间位置信息的同一品牌车辆的车型识别方法，其先定位车牌位置，相对车牌的位置提取N个待测车型的特征区域，计算每个特征区域的特征向量用作分类，这种做法由于有车牌位置的帮助，可以巧妙地避开一些冗余信息，提高分类准确度。公开号为105930812A中国专利申请提供了一种基于融合特征稀疏编码模型的车辆品牌类型识别方法，其认为传统的特征，如Curvelet变换、HOG特征、PHOG特征、Harr特征、EOH特征、Gabor小波等都有各自的局限性，提出了一种融合特征稀疏编码的方法来增强特征的判别力。公开号为105488517A的中国专利申请提供了一种基于深度学习的车辆品牌型号识别方法利用不同城市的高清卡口点位搜集准备了2000多万张抓拍图片，经过人工筛选，根据车辆的品牌型号精确分成三千多类，建立丰富的涵盖各种条件的车辆品牌型号图片数据库。然后再利用车牌识别技术精确定位卡口图片中的车牌位置，根据车牌位置信息准确估计车脸区域，归一化车脸区域。他们设计了一个4个卷积层两个全连接层的卷积神经网络来提取这批数据的特征，然后用SVM做分类器。

然而，上述公开号为105678275A、105787466A、103500327A、105930812A的中国专利申请主要用了一些统计和梯度上的低层特征来表征车辆的类型，并没有用到高层的语义特征；公开号为105678275A、105787466A、102737221B、103544480A的中国专利申请都有数据预处理或者结果后处理步骤，但其流程繁琐；公开号为105488517A的中国专利申请是一个大数据车辆品牌识别的方法，运用到了深度学习技术，但其深度网络过于简单，只有四个卷积层和两个全连接层，而且可识别的车辆视角单一，仅限于车前脸的监控车辆图片的品牌识别。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种用于精细化识别车辆属性的深度神经网络及其训练方法，以实现只用一个神经网络就能同时识别多种精细化的车辆属性的目的，节省计算，提高识别时间。

为达上述目的，本发明提出一种用于精细化识别车辆属性的深度神经网络，包括：

深度残差网络，用于对输入的图片进行特征提取，得到特征图，所提取的特征供多个属性识别任务共享；

特征迁移层，包括多个特征迁移单元，用于针对各属性识别任务迁移共享的特征，使之更适应于特定的任务；

多个全连接层，对应各属性识别任务分支，连接于所述特征迁移层，以得到对应各属性识别任务的特征向量；

多个损失计算单元，对应各属性识别任务分支，分别连接各全连接层，用于使用交叉熵作为多分类器的损失函数计算损失，并于损失计算后，通过随机梯度下降优化算法回传损失，更新参数。

优选地，所述深度神经网络还包括多个双线性池化单元，连接所述特征迁移层，用于使用双线性池化操作得到判别性更强的特征向量接入全连接层。

优选地，对于车类型识别，视角识别，颜色识别类间差距比较大的识别任务，使用通用的深度网络图像分类算法，接入一个全连接层，输出一个1-D的概率向量，长度为分类的类别数目。

优选地，对于品牌/子品牌识别任务，使用压缩的双线性池化操作，输入一个特征图，输出一个判别性较强的一维的特征向量，然后用一个全连接层将此特征向量转为长度为分类类别数的概率向量。

优选地，每个特征迁移单元包括多个卷积层，每个卷积层采用卷积核，以迁移共享的特征，使之更适应于特定的任务。

优选地，每个特征迁移单元包括两个卷积层，每个卷积层采用1*1卷积核。

为达到上述目的，本发明还提供一种用于精细化识别车辆属性的深度神经网络的训练方法，包括如下步骤：

步骤一，利用一数据集训练某一属性识别任务的分类分支以及共享的卷积层，得到判别性较好的预训练模型；

步骤二，利用该预训练模型，固定住共享的卷积层，利用不同的数据集用较大的学习率训练每个分支；

步骤三，将所有非一致数据集整合至一起变成一个大型混合数据集，并利用较小的学习率联合训练所有的识别任务，优化该神经网络的全部参数。

优选地，于步骤一中，利用该数据集训练子品牌分类分支以及共享的卷积层，得到判别性较好的预训练模型。

优选地，于步骤二中，利用其它不一致数据集训练颜色分类分支、车类型分类分支、视角分类分支以及品牌分支。

优选地，于步骤三中，对于缺省的属性用一个不参与计算损失的标签代替。

与现有技术相比，本发明一种用于精细化识别车辆属性的深度神经网络及其训练方法实现了只用一个神经网络就能同时识别多种精细化的车辆属性的目的，且不局限于单属性识别领域；本发明的多属性识别分支共享同样的特征，不需要为每个识别任务都用一个神经网络提取特征，节省计算，提高识别时间；本发明引入特征迁移层使得各个属性识别分支能充分利用共享特征，提高单一分支的准确率又不影响其他分支的识别效果；本发明支持端到端训练，框架简洁优雅；本发明支持在非一致数据集上训练，支持对有缺省属性的数据训练，适用性强；本发明的多种属性识别任务在多任务协调训练时起到互相促进的作用，提高了各分支的准确率。

附图说明

图1为本发明一种用于精细化识别车辆属性的深度神经网络的系统架构图；

图2为本发明一种用于精细化识别车辆属性的深度神经网络的训练方法的步骤流程图；

图3为本发明具体实施例之数据集A图片示例；

图4为本发明具体实施例之数据集BCD图片示例。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种用于精细化识别车辆属性的深度神经网络的系统架构图。如图1所示，本发明一种用于精细化识别车辆属性的深度神经网络，包括：

深度残差网络101，用于对输入的图片进行特征提取，得到特征图，所提取的特征供多个属性识别任务共享。

在本发明具体实施例中，将输入图片保持长宽比放缩到最短边为512，随机翻转，随机取出448*448的子图，输进101层的深度残差网络101，该深度残差网络101将对输入图片下采样32倍，得到一个14*14，通道数为2048的特征图。

特征迁移层102，包括多个特征迁移单元，用于针对各属性识别任务迁移共享的特征，使之更适应于特定的任务。具体地说，每个特征迁移单元对应一个属性识别任务，每个特征迁移单元包括多个卷积层(在本发明具体实施例中，包括两个卷积层)，每个卷积层采用1*1卷积核，以迁移共享的特征，使之更适应于特定的任务。在本发明具体实施例中，多个属性识别任务包括品牌识别、子品牌识别、车类型识别、视角识别以及颜色识别等，但本发明不以此为限。

也就是说，深度残差网络101得到的特征图分别是五个不同属性识别任务的输入。但由于五个任务所需要的关注重点是不一样的，因此对于每个属性识别任务，本发明加入两个由1*1卷积核组成的卷积层对共享的特征做特征迁移，生成用于特定任务的专用特征，这里1*1的卷积核只对每个位置的不同通道的值重新加权，不同位置之间不相互影响，也不会对原特征图下采样，保持了原有的14*14分辨率。

多个双线性池化单元103，连接特征迁移层102，用于使用双线性池化操作得到判别性更强的特征向量，以适应用于对于品牌和子品牌识别这样的细粒度识别任务。

多个全连接层104，对应各属性识别任务分支，连接于特征迁移层102或双线性池化单元103，以得到对应各属性识别任务的特征向量。具体地说，对于车类型、视角、颜色等识别任务使用全连接层104得到特征向量，对于品牌和子品牌识别这样的细粒度识别任务，则先通过双线性池化单元103再通过全连接层104得到特征向量。

多个损失计算单元105，对应各属性识别任务分支，分别连接各全连接层104，用于利用softmax交叉熵作为损失函数，计算损失，并于损失计算后，通过随机梯度下降优化算法回传损失，更新参数。

具体地，Softmax交叉熵损失的计算如下：Softmax交叉熵损失分两步计算，首先计算概率向量的softmax函数，然后再计算交叉熵损失。这里假设z是输入计算损失的概率向量，f(z)是softmax的输出，则：

假设y是z对应样本的真实类别，其损失函数定义为：

l(y，z)＝-log f(z_y)

代入上式得：

对上式求导，则有：

在本发明具体实施例中，利用后向传播算法回传上式计算的梯度，梯次更新每个神经元的权重和偏置值。后向传播算法的原理是利用求导数的链式法则，一步一步地从损失函数往前求导，直至得到神经网络中每个神经元的权重和偏置关于损失函数的梯度，即导数。然后可训练参数(权重和偏置)沿梯度方向以学习率为步长更新值，公式如下：

其中α是指学习率，w是神经元权重，b是神经元偏置。

也就是说，对于车类型识别，视角识别，颜色识别这三种类间差距比较大的识别任务，本发明使用通用的深度网络图像分类算法，接入一个全连接层104，输出一个1-D(一维)的概率向量，长度是分类的类别数目(这里的分类类别数由任务决定。比如需要用该模型识别10种颜色，12种车类型，5个视角，100个品牌，300个子品牌。那么颜色分类分支的分类类别数为10，车类型的分类类别数为12，视角的分类类别数为5，品牌的分类类别数为100，子品牌的分类类别数为300)，然后用softmax交叉熵函数作为损失函数，计算预测的类别和给予的监督信息做比对，通过随机梯度下降优化算法回传损失，更新参数；对于品牌/子品牌识别任务，这类任务的特点是类间差距比类内差距小，使用一般的图像分类算法的识别准确率不理想，因此本发明使用了压缩的双线性池化操作，输入一个2048*14*14的特征图，输出一个判别性极强1-D特征向量，长度为32768，然后利用一个全连接层将此特征向量转为长度为分类类别数的概率向量，用softmax交叉熵作为损失函数，计算损失，并通过随机梯度下降更新参数。

图2为本发明一种用于精细化识别车辆属性的深度神经网络的训练方法的步骤流程图。如图2所示，本发明一种用于精细化识别车辆属性的深度神经网络的训练方法，包括如下步骤：

步骤S201，利用一数据集训练某一属性识别任务的分类分支以及共享的卷积层，得到判别性比较好的预训练模型。

本发明支持在非一致数据集上训练，在实际应用中经常会出现非一致数据的情况，即某些数据只有某些类别的标签，但缺失一些类别的标签，比如数据集A只有颜色和车类型标签，数据集B有视角和品牌子品牌的标签。本发明的方法可以在这些数据集上训练，并且各分支任务都能取得很好的效果，例如，利用数据集B训练子品牌分类分支以及共享的卷积层，得到判别性比较好的预训练模型，因为子品牌的分类类别最广，向其他任务泛化的能力最好，用该模型作为后续的预训练模型。具体方法是：屏蔽颜色、车类型、视角、品牌分类分支，单独训练子品牌分类分支的参数和共享网络的参数，直至在子品牌分类任务中达到最好效果。

步骤S202，利用该预训练模型，固定住共享的卷积层，利用不同的数据集用较大的学习率训练每个分支。例如，利用数据集A训练颜色分类分支，训练车类型分类分支，利用数据集训练视角分类分支，训练品牌分类分支，训练子品牌分类分支。在本发明具体实施例中，较大的学习率是指0.01到0.001之间，其训练过程是固定共享层和非相关的其他分支层的参数，仅训练分支部分的参数。

步骤S203，将所有非一致数据集整合至一起变成一个大型混合数据集，并利用较小的学习率联合训练所有的识别任务，优化该神经网络的全部参数，对于缺省的属性用一个不参与计算损失的标签代替，比如255。这里的较小的学习率是指0.001到0.0001之间，其训练整个网络的全部参数。

以下通过具体实施例来进一步说明本发明：

实施例一：基于VGG16的多种车辆精细化属性识别方法的实施方案包括了数据准备、环境配置、模型训练和模型测试四个阶段。

1.1数据准备阶段：

在本实施例中，在几个不同的数据集上进行非一致数据训练：数据集A有16万张图片，标注的属性有车类型，品牌，子品牌；数据集B有25000张监控视角的汽车图片，标注的属性有车类型，品牌，子品牌；数据集C有15000张监控视角汽车图片，标注的属性有颜色；数据集D有26000张监控视角图片，标注的属性有视角。数据集A是高清汽车图片，如图3所示，数据集BCD是监控视角汽车图片，如图4所示。

1.2环境准备阶段：

本实施例基于深度学习框架Caffe进行开发，需要按照Caffe官网教程配置好实验环境。关键依赖版本为：CUDA 8.0，CUDNN V5，OpenCV 2.4.9,Python 2.7.2。

1.3.模型训练:

具体地，模型训练步骤分为两部分，首先单独训练各个分支，然后进行联合微调，用到了多个非一致数据集参与训练。

1.3.1输入数据预处理

对输入的数据进行随机水平翻转，然后保持长宽比放缩，放缩到最短边为512，最后随机crop出448*448子图，减去每个颜色通道的灰度均值，输进网络。具体做法是：假设图片此时的高为h，宽为w，每次在[0,w-448)和[0,h-448)范围内随机取整数x和y，在这张图上取出左上角起点为(x,y)，右下角终点的坐标为(x+448,y+448)的子图。

1.3.2模型结构

在本实施例中，模型结构如图1所示，其中用VGG16网络代替深度残差网络，去掉VGG16最后一个池化层，取出conv5_3的特征输进每个属性识别分支。

每个属性识别分支前面都有两个特征迁移层来过滤共享的特征，得到实现该任务的专用特征，特征迁移层由1*1的卷积核的卷积层构成，输出的通道数与输入的通道数相同。

对于车类型识别，视角识别，颜色识别这三个属性识别任务，接入一个全连接层，输出一个1-D的概率向量，长度是分类的类别数目。然后用softmax交叉熵函数作为损失函数。对于品牌/子品牌识别任务，使用了压缩的双线性池化操作，输入一个512*28*28的特征图，输出一个判别线极强1-D特征向量，长度为8192。然后用一个全连接层将此特征向量转为长度为分类类别数的概率向量，用softmax交叉熵作为损失函数。

1.3.3单独训练各个分支

首先利用数据量大的大数据集A训练子品牌分类分支以及共享的卷积层，得到判别性比较好的预训练模型。

然后利用该预训练模型，固定住共享的卷积层，用不同的数据集训练每个分支。具体地，用数据集B训练品牌分类分支，训练子品牌分类分支，训练车类型分类分支。用数据集C训练颜色分类分支。用数据集D训练视角分类分支。

1.3.4联合微调

将所有数据集整合到一起变成一个大型混合数据集，每张图片都只有部分的属性标注，没有全部的属性标注。这里处理的方法是将缺省的属性标注为一个在计算损失的时候忽略的标签，比如假设在交叉熵损失计算时忽略255这个标签，即对标签为255的类别不计算损失，不回传梯度。

利用一个较小的学习率(例如0.0001)在这个混合数据集上优化这个网络的全部参数，发现各个任务的识别准确率都有提升，证明每个属性识别分支之间共享深度卷积特征不仅能起到提高计算效率(不用为每一个任务都算一个深度特征图)，也能起到互补提高的作用。

1.4模型测试。

模型测试过程包括数据输入处理，模型预测，结果输出三部分。

输入处理采用多次crop(裁剪)的方法提高模型预测的准确率。对要测试的图片进行保持宽高比放缩，放缩到最短边为512。在这个512*x的图片上的左上角，左下角，右上角，右下角，中间都分别crop一个448*448的子图。对512*x的图片进行水平翻转，同样地在其左上角，左下角，右上角，右下角，中间都分别crop一个448*448的子图。这里总共产生10张448*448的子图，将它们组成一个batch，输进网络。

用之前训练好的模型，输入一个batch_size为10的batch(批处理)，输出每个属性的分类结果。模型为每张子图的每个分类属性都预测了一个概率向量，将这10张子图的结果做平均，得出最终的分类结果。

实施例二：基于ResNet-101的多种车辆精细化属性识别方法的实施方案包括了数据准备、环境配置、模型训练和模型测试四个阶段：

2.1数据准备阶段。

本发明在几个不同的数据集上进行非一致数据训练。数据集A有16万张图片，标注的属性有车类型，品牌，子品牌；数据集B有25000张监控视角的汽车图片，标注的属性有车类型，品牌，子品牌；数据集C有15000张监控视角汽车图片，标注的属性有颜色；数据集D有26000张监控视角图片，标注的属性有视角。数据集A是高清汽车图片，如图3所示，数据集BCD是监控视角汽车图片，如图4所示。

2.2环境准备阶段。

本实施例基于深度学习框架Caffe进行开发，需要按照Caffe官网教程配置好实验环境。关键依赖版本为：CUDA 8.0，CUDNN V5，OpenCV 2.4.9,Python 2.7.2。

2.3模型训练。

本实施例的模型训练步骤分为两部分，首先单独训练各个分支，然后进行联合微调，用到了多个非一致数据集参与训练。

2.3.1输入数据预处理

对输入的数据进行随机水平翻转，然后保持长宽比放缩，放缩到最短边为512，最后随机crop出448*448子图，减去每个颜色通道的灰度均值，输进网络。具体做法是：假设图片此时的高为h，宽为w，每次在[0,w-448)和[0,h-448)范围内随机取整数x和y，在这张图上取出左上角起点为(x,y)，右下角终点的坐标为(x+448,y+448)的子图。

2.3.2模型结构

在本实施例中，其模型结构如图1所示，所有属性分类分支共享101层的深度残差网络，取出res5c的特征输进每个属性识别分支。

每个属性识别分支前面都有两个特征迁移层来过滤共享的特征，得到做这个任务的专用特征，特征迁移层由1*1的卷积核的卷积层构成，输出的通道数与输入的通道数相同。

对于车类型识别，视角识别，颜色识别这三个属性识别任务，接入一个全连接层，输出一个1-D的概率向量，长度是分类的类别数目。然后用softmax交叉熵函数作为损失函数。对于品牌/子品牌识别任务，使用了压缩的双线性池化操作，输入一个2048*14*14的特征图，输出一个判别线极强1-D特征向量，长度为32768。然后用一个全连接层将此特征向量转为长度为分类类别数的概率向量，用softmax交叉熵作为损失函数。

2.3.3单独训练各个分支

首先利用数据量大的大数据集A训练子品牌分类分支以及共享的卷积层，得到判别性比较好的预训练模型。

然后利用这个预训练模型，固定住共享的卷积层，用不同的数据集训练每个分支。用数据集B训练品牌分类分支，训练子品牌分类分支，训练车类型分类分支。用数据集C训练颜色分类分支。用数据集D训练视角分类分支。

2.3.4联合微调

将所有数据集整合到一起变成一个大型混合数据集，每张图片都只有部分的属性标注，没有全部的属性标注。这里我们处理的方法是将缺省的属性标注为一个在计算损失的时候忽略的标签，比如我们假设在交叉熵损失计算时忽略255这个标签，即对标签为255的类别不计算损失，不回传梯度。

用一个较小的学习率(0.0001)在这个混合数据集上优化这个网络的全部参数，发现各个任务的识别准确率都有提升，证明每个属性识别分支之间共享深度卷积特征不仅能起到提高计算效率(不用为每一个任务都算一个深度特征图)，也能起到互补提高的作用。

2.4模型测试。

模型测试过程包括数据输入处理，模型预测，结果输出三部分。

输入处理采用多次crop的方法提高模型预测的准确率。对要测试的图片进行保持宽高比放缩，放缩到最短边为512。在这个512*x的图片上的左上角，左下角，右上角，右下角，中间都分别crop一个448*448的子图。对512*x的图片进行水平翻转，同样地在其左上角，左下角，右上角，右下角，中间都分别crop一个448*448的子图。这里总共产生10张448*448的子图，将它们组成一个batch，输进网络。

用之前训练好的模型，输入一个batch_size为10的batch，输出每个属性的分类结果。模型为每张子图的每个分类属性都预测了一个概率向量，我们将这10张子图的结果做平均，得出最终的分类结果。

与现有技术相比，本发明具有如下优点：

(1)只用一个神经网络能同时识别多种精细化的车辆属性，不局限于单属性识别领域；

(2)多属性识别分支共享同样的特征，不需要为每个识别任务都用一个神经网络提取特征，节省计算，提高识别时间；

(3)引入特征迁移层使得各个属性识别分支能充分利用共享特征，提高单一分支的准确率又不影响其他分支的识别效果；

(4)支持端到端训练，框架简洁优雅；

(5)支持在非一致数据集上训练，支持对有缺省属性的数据训练，适用性强；

(6)多种属性识别任务在多任务协调训练时起到互相促进的作用，提高了各分支的准确率。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种用于精细化识别车辆属性的深度神经网络，包括：

深度残差网络，用于对输入的图片进行特征提取，得到特征图，所提取的特征供多个属性识别任务共享；

特征迁移层，包括多个特征迁移单元，用于针对各属性识别任务迁移共享的特征，使之更适应于特定的任务；

多个全连接层，对应各属性识别任务分支，连接于所述特征迁移层，以得到对应各属性识别任务的特征向量；

多个损失计算单元，对应各属性识别任务分支，分别连接各全连接层，用于使用交叉熵作为多分类器的损失函数计算损失，并于损失计算后，通过随机梯度下降优化算法回传损失，更新参数。

2.如权利要求1所述的一种用于精细化识别车辆属性的深度神经网络，其特征在于：所述深度神经网络还包括多个双线性池化单元，连接所述特征迁移层，用于使用双线性池化操作得到判别性更强的特征向量接入全连接层。

3.如权利要求1所述的一种用于精细化识别车辆属性的深度神经网络，其特征在于：对于车类型识别，视角识别，颜色识别类间差距比较大的识别任务，使用通用的深度网络图像分类算法，接入一个全连接层，输出一个一维的概率向量，长度为分类的类别数目。

4.如权利要求2所述的一种用于精细化识别车辆属性的深度神经网络，其特征在于：对于品牌/子品牌识别任务，使用压缩的双线性池化操作，输入一个特征图，输出一个判别性极强一维的特征向量，然后用一个全连接层将此特征向量转为长度为分类类别数的概率向量。

5.如权利要求1所述的一种用于精细化识别车辆属性的深度神经网络，其特征在于：每个特征迁移单元包括多个卷积层，每个卷积层采用卷积核，以迁移共享的特征，使之更适应于特定的任务。

6.如权利要求5所述的一种用于精细化识别车辆属性的深度神经网络，其特征在于：每个特征迁移单元包括两个卷积层，每个卷积层采用1*1卷积核。

7.一种用于精细化识别车辆属性的深度神经网络的训练方法，包括如下步骤：

步骤一，利用一数据集训练某一属性识别任务的分类分支以及共享的卷积层，得到判别性较好的预训练模型；

步骤二，利用该预训练模型，固定住共享的卷积层，利用不同的数据集用较大的学习率训练每个分支；

步骤三，将所有非一致数据集整合至一起变成一个大型混合数据集，并利用较小的学习率联合训练所有的识别任务，优化该神经网络的全部参数。

8.如权利要求7所述的一种用于精细化识别车辆属性的深度神经网络的训练方法，其特征在于：于步骤一中，利用该数据集训练子品牌分类分支以及共享的卷积层，得到判别性较好的预训练模型。

9.如权利要求7所述的一种用于精细化识别车辆属性的深度神经网络的训练方法，其特征在于：于步骤二中，利用其它不一致数据集训练颜色分类分支、车类型分类分支、视角分类分支以及品牌分支。

10.如权利要求7所述的一种用于精细化识别车辆属性的深度神经网络的训练方法，其特征在于：于步骤三中，对于缺省的属性用一个不参与计算损失的标签代替。