[go: up one dir, main page]

CN111275061A - 车辆属性识别方法及其模型训练方法、装置和电子设备 - Google Patents

车辆属性识别方法及其模型训练方法、装置和电子设备 Download PDF

Info

Publication number
CN111275061A
CN111275061A CN201811474810.5A CN201811474810A CN111275061A CN 111275061 A CN111275061 A CN 111275061A CN 201811474810 A CN201811474810 A CN 201811474810A CN 111275061 A CN111275061 A CN 111275061A
Authority
CN
China
Prior art keywords
layer
convolutional layer
convolutional
layers
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811474810.5A
Other languages
English (en)
Inventor
甘春生
赵元
沈海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN201811474810.5A priority Critical patent/CN111275061A/zh
Publication of CN111275061A publication Critical patent/CN111275061A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种车辆属性识别方法及其模型训练方法、装置和电子设备;其中,该车辆属性识别模型训练方法中,通过多层卷积层输出每层第一指定卷积层对应的特征图;通过每层第一指定卷积层所连接的组中的池化层和全连接层对第一指定卷积层对应的特征图进行降维处理;并通过每组中的损失函数,计算降维得到的特征向量的损失值;基于每组的损失值对初始模型进行训练,直至每组的损失值均收敛,得到目标模型。本申请实施例中,模型的网络结构较为简单,并且实现了各车辆属性对应特征的数据共享,减少了数据冗余,通过简单的模型结构即可实现车辆的多属性识别,提高了车辆属性识别的实时性,扩展了车辆属性识别的应用范围。

Description

车辆属性识别方法及其模型训练方法、装置和电子设备
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种车辆属性识别方法及其模型训练方法、装置和电子设备。
背景技术
车辆属性的识别在高速公路的收费、停车场、卡扣抓拍、公安系统等各方面有着广泛的应用。目前,基于图像分析的车辆属性识别方式中,大多采用人工智能的信息提取技术,通过时空分割、特征提取、目标识别等手段实现对图像的文本结构化解析,可以对图像中的车辆进行检测识别。相关技术中,为了实现对车辆的多种属性的识别,通常需要针对每种属性建立一个模型;导致整个识别系统结构庞大且各模型间数据冗余,难以满足识别实时性的需求,限制了车辆识别系统的应用范围。
发明内容
有鉴于此,本申请实施例的目的在于提供一种车辆属性识别模型训练方法、车辆属性识别方法、装置和电子设备,以提高车辆属性识别的实时性,扩展车辆属性识别的应用范围。
根据本申请的一个方面,提供一种电子设备,可以包括一个或多个存储介质和一个或多个与存储介质通信的处理器。一个或多个存储介质存储有处理器可执行的机器可读指令。当电子设备运行时,处理器与存储介质之间通过总线通信,处理器执行所述机器可读指令,以执行一个或多个以下操作:
一种车辆属性识别模型训练方法,该方法包括:将目标训练图像输入至初始模型;初始模型包括依次连接的多层卷积层,以及多组依次连接的池化层、全连接层和损失函数;多层卷积层中预先确定有多个第一指定卷积层;每组中的池化层与对应的第一指定卷积层连接;每组中的损失函数用于评价一种车辆属性的识别损失;通过多层卷积层输出每层第一指定卷积层对应的特征图;通过每层第一指定卷积层所连接的组中的池化层和全连接层对第一指定卷积层对应的特征图进行降维处理,得到特征图对应的预设维度的特征向量;通过每组中的损失函数,计算每组对应的特征向量的损失值;基于每组对应的损失值对初始模型进行训练,直至每组对应的损失值均收敛,得到目标模型;目标模型包括训练后的多层卷积层和多组池化层、全连接层和损失函数。
在一些实施例中,上述通过多层卷积层输出每层第一指定卷积层对应的特征图的步骤,包括:在多层卷积层中,通过残差网络的方式计算得到每层第一指定卷积层对应的特征图。
在一些实施例中,上述在多层卷积层中,通过残差网络的方式计算得到每层第一指定卷积层对应的特征图的步骤,包括:按照第一预设间隔从多层卷积层中确定多个第二指定卷积层,按照多层卷积层中各卷积层的顺序,逐一对每个卷积层执行下述步骤:如果当前卷积层为确定出的第二指定卷积层,根据当前卷积层之前的指定卷积层输出的特征图,确定当前卷积层的输入特征图;将输入特征图输入至当前卷积层进行卷积运算,输出当前卷积层对应的特征图;如果当前卷积层为除第二指定卷积层以外的卷积层,将当前卷积层的前一层卷积层输出的特征图输入至当前卷积层进行卷积运算,输出当前卷积层对应的特征图;遍历多层卷积层中的所有卷积层,得到多层卷积层中每层第一指定卷积层对应的特征图。
在一些实施例中,上述根据当前卷积层之前的指定卷积层输出的特征图,确定当前卷积层的输入特征图的步骤,包括:将当前卷积层的前一层卷积层输出的特征图与前一层卷积层之前的、与当前卷积层具有第一预设间隔的卷积层输出的特征图进行融合,得到融合特征图;将融合特征图确定为当前卷积层的输入特征图。
在一些实施例中,上述第一个第二指定卷积层为多层卷积层中的第四层卷积层;第一预设间隔包括两层卷积层。
在一些实施例中,上述车辆属性包括颜色属性、类型属性、品牌属性、型号属性中的多种;每种车辆属性对应的池化层所连接的第一指定卷积层在多层卷积层中的位置,由前至后依次为:颜色属性对应的第一指定卷积层、类型属性对应的指定卷积层、品牌属性对应的第一指定卷积层、型号属性对应的第一指定卷积层;相邻的第一指定卷积层之间间隔第二预设间隔的卷积层;其中,第一层卷积层为多层卷积层中输入目标训练图像的卷积层。
在一些实施例中,上述如果车辆属性包括颜色属性、类型属性、品牌属性和型号属性,颜色属性对应的第一指定卷积层为第五层卷积层;第二预设间隔为四层卷积层。
在一些实施例中,上述通过每层第一指定卷积层所连接的组中的池化层和全连接层对第一指定卷积层对应的特征图进行降维处理,得到特征图对应的预设维度的特征向量的步骤,包括:通过每组中的池化层,对池化层接收到的特征图进行降维处理,得到降维后的特征图;通过池化层连接的全连接层,对降维后的特征图进行拉伸处理,得到特征图对应的一维特征向量。
在一些实施例中,上述通过每组中的池化层,对池化层接收到的特征图进行降维处理,得到降维后的特征图的步骤,包括:基于当前组对应的车辆属性,通过池化层从接收到的特征图中筛选与当前组对应的车辆属性相关联的特征维度,将筛选出的特征维度组成为降维后的特征图。
在一些实施例中,上述损失函数包括softmax函数;softmax函数:
Figure BDA0001891922860000031
其中,xi表示特征向量中的第i个特征元素;xj表示特征向量中的第j个特征元素;N表示特征向量中的特征元素总个数。
在一些实施例中,上述通过每组中的损失函数,计算每组对应的特征向量的损失值的步骤,包括:对于每组对应的特征向量,通过损失函数计算当前组中每个特征元素的指数函数值;根据当前组中每个特征元素的指数函数值,以及当前组对应的特征向量中的每个特征元素的指数函数值总和,确定当前特征元素的概率;将当前组对应的特征向量中,概率最大的特征元素的概率确定为当前组对应的特征向量的损失值。
在一些实施例中,上述通过每组中的损失函数,计算每组对应的特征向量的损失值的步骤之后,方法还包括:将每组对应的损失值进行求和运算,得到损失值总和;上述基于每组对应的损失值对初始模型进行训练,直至每组对应的损失值均收敛的步骤,包括:基于每组对应的损失值对初始模型进行训练,直至损失值总和收敛时,确定每组对应的损失值均收敛,停止训练。
根据本申请的另一个方面,还提供一种车辆属性识别方法,该方法应用于配置有识别模型的设备;识别模型为上述车辆属性识别模型训练方法训练得到的目标模型;方法包括:获取待识别的车辆图像;将车辆图像输入至目标模型中,得到车辆图像对应的车辆的多种属性。
在一些实施例中,上述车辆的多种属性包括颜色属性、类型属性、品牌属性、型号属性中的多种。
根据本申请的另一个方面,还提供一种车辆属性识别模型训练装置,装置包括:训练图像输入模块,用于将目标训练图像输入至初始模型;初始模型包括依次连接的多层卷积层,以及多组依次连接的池化层、全连接层和损失函数;多层卷积层中预先确定有多个第一指定卷积层;每组中的池化层与对应的第一指定卷积层连接;每组中的损失函数用于评价一种车辆属性的识别损失;特征图输出模块,用于通过多层卷积层输出每层第一指定卷积层对应的特征图;降维处理模块,用于通过每层第一指定卷积层所连接的组中的池化层和全连接层对第一指定卷积层对应的特征图进行降维处理,得到特征图对应的预设维度的特征向量;损失值计算模块,用于通过每组中的损失函数,计算每组对应的特征向量的损失值;训练模块,用于基于每组对应的损失值对初始模型进行训练,直至每组对应的损失值均收敛,得到目标模型;目标模型包括训练后的多层卷积层和多组池化层、全连接层和损失函数。
在一些实施例中,上述特征图输出模块,用于:在多层卷积层中,通过残差网络的方式计算得到每层第一指定卷积层对应的特征图。
在一些实施例中,上述特征图输出模块,用于:按照第一预设间隔从多层卷积层中确定多个第二指定卷积层,按照多层卷积层中各卷积层的顺序,逐一对每个卷积层执行下述步骤:如果当前卷积层为确定出的第二指定卷积层,根据当前卷积层之前的指定卷积层输出的特征图,确定当前卷积层的输入特征图;将输入特征图输入至当前卷积层进行卷积运算,输出当前卷积层对应的特征图;如果当前卷积层为除第二指定卷积层以外的卷积层,将当前卷积层的前一层卷积层输出的特征图输入至当前卷积层进行卷积运算,输出当前卷积层对应的特征图;遍历多层卷积层中的所有卷积层,得到多层卷积层中每层第一指定卷积层对应的特征图。
在一些实施例中,上述特征图输出模块,用于:将当前卷积层的前一层卷积层输出的特征图与前一层卷积层之前的、与当前卷积层具有第一预设间隔的卷积层输出的特征图进行融合,得到融合特征图;将融合特征图确定为当前卷积层的输入特征图。
在一些实施例中,上述第一个第二指定卷积层为多层卷积层中的第四层卷积层;第一预设间隔包括两层卷积层。
在一些实施例中,上述车辆属性包括颜色属性、类型属性、品牌属性、型号属性中的多种;每种车辆属性对应的池化层所连接的第一指定卷积层在多层卷积层中的位置,由前至后依次为:颜色属性对应的第一指定卷积层、类型属性对应的指定卷积层、品牌属性对应的第一指定卷积层、型号属性对应的第一指定卷积层;相邻的第一指定卷积层之间间隔第二预设间隔的卷积层;其中,第一层卷积层为多层卷积层中输入目标训练图像的卷积层。
在一些实施例中,上述如果车辆属性包括颜色属性、类型属性、品牌属性和型号属性,颜色属性对应的第一指定卷积层为第五层卷积层;第二预设间隔为四层卷积层。
在一些实施例中,上述降维处理模块,用于:通过每组中的池化层,对池化层接收到的特征图进行降维处理,得到降维后的特征图;通过池化层连接的全连接层,对降维后的特征图进行拉伸处理,得到特征图对应的一维特征向量。
在一些实施例中,上述降维处理模块,用于:基于当前组对应的车辆属性,通过池化层从接收到的特征图中筛选与当前组对应的车辆属性相关联的特征维度,将筛选出的特征维度组成为降维后的特征图。
在一些实施例中,上述损失函数包括softmax函数;该softmax函数:
Figure BDA0001891922860000061
其中,xi表示特征向量中的第i个特征元素;xj表示特征向量中的第j个特征元素;N表示特征向量中的特征元素总个数。
在一些实施例中,上述损失值计算模块,用于:对于每组对应的特征向量,通过损失函数计算当前组中每个特征元素的指数函数值;根据当前组中每个特征元素的指数函数值,以及当前组对应的特征向量中的每个特征元素的指数函数值总和,确定当前特征元素的概率;将当前组对应的特征向量中,概率最大的特征元素的概率确定为当前组对应的特征向量的损失值。
在一些实施例中,上述装置还包括求和模块,用于:将每组对应的损失值进行求和运算,得到损失值总和;上述训练模块,用于:基于每组对应的损失值对初始模型进行训练,直至损失值总和收敛时,确定每组对应的损失值均收敛,停止训练。
根据本申请的另一个方面,还提供一种车辆属性识别装置,装置应用于配置有识别模型的设备;识别模型为上述车辆属性识别模型训练方法训练得到的目标模型;装置包括:车辆图像获取模块,用于获取待识别的车辆图像;车辆图像输入模块,用于将车辆图像输入至目标模型中,得到车辆图像对应的车辆的多种属性。
在一些实施例中,上述车辆的多种属性包括颜色属性、类型属性、品牌属性、型号属性中的多种。
根据本申请的另一个方面,还提供一种电子设备,包括:处理器、存储介质和总线,存储介质存储有处理器可执行的机器可读指令,当电子设备运行时,处理器与存储介质之间通过总线通信,处理器执行机器可读指令,以执行时执行如上述车辆属性识别模型训练方法的步骤,或者如上述车辆属性识别方法的步骤。
根据本申请的另一个方面,还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述车辆属性识别模型训练方法的步骤,或者如上述车辆属性识别方法的步骤。
基于上述任一方面,初始模型中包括依次连接的多层卷积层,以及多组依次连接的池化层、全连接层和损失函数;该多层卷积层中预先确定有多个第一指定卷积层;每组中的池化层与对应的第一指定卷积层连接,且每组对应的损失函数用于评价一种车辆属性的识别损失。上述模型在训练过程中,通过多层卷积层输出每层第一指定卷积层对应的特征图;通过每层第一指定卷积层所连接的组中的池化层和全连接层对第一指定卷积层对应的特征图进行降维处理;并通过每组中的损失函数,计算降维得到的特征向量的损失值;基于每组的损失值对初始模型进行训练,直至每组的损失值均收敛,得到目标模型。该模型的网络结构较为简单,并且靠后层卷积层的特征计算可以使用靠前层卷积层输出的特征图,实现了各车辆属性对应特征的数据共享,减少了数据冗余,通过简单的模型结构即可实现车辆的多属性识别,提高了车辆属性识别的实时性,扩展了车辆属性识别的应用范围。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种车辆属性识别系统的框图;
图2示出了本申请实施例所提供的电子设备的示例性硬件和软件组件的示意图;
图3示出了本申请实施例所提供的一种车辆属性识别模型训练方法的流程图;
图4示出了本申请实施例所提供的另一种车辆属性识别模型训练方法的流程图;
图5示出了本申请实施例所提供的一种初始模型的网络结构的示意图;
图6示出了本申请实施例所提供的另一种车辆属性识别模型训练方法的流程图;
图7示出了本申请实施例所提供的一种车辆属性识别方法的流程图;
图8示出了本申请实施例所提供的一种车辆属性识别模型训练装置的结构示意图;
图9示出了本申请实施例所提供的一种车辆属性识别装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容,结合特定应用场景“车辆属性识别”,给出以下实施方式。对于本领域技术人员来说,在不脱离本申请的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕车辆属性识别模型训练方法和车辆属性识别方法进行描述,但是应该理解,这仅是一个示例性实施例。本申请可以应用于任何其他交通工具的属性识别。例如,本申请可以应用于、火车、子弹头列车、高速铁路、地铁、船只、飞机、宇宙飞船、热气球等。本申请还可以包括用于车辆属性识别的任何系统,例如,用于高速公路的收费系统、停车场管理系统、卡扣安保抓拍系统、公安系统等。
需要说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
本申请的一个方面涉及一种车辆属性识别系统。图1是本申请一些实施例的车辆属性识别系统100的框图。该车辆属性识别系统100可以包括服务器110、网络120、图像采集设备130、图像采集设备140和数据库150中的一种或多种,服务器110中可以包括执行指令操作的处理器。
在一些实施例中,服务器110可以是单个服务器,也可以是服务器组。服务器组可以是集中式的,也可以是分布式的(例如,服务器110可以是分布式系统)。在一些实施例中,服务器110相对于终端,可以是本地的、也可以是远程的。例如,服务器110可以经由网络120访问存储在图像采集设备130、图像采集设备140、或数据库150、或其任意组合中的信息和/或数据。作为另一示例,服务器110可以直接连接到图像采集设备130、图像采集设备140和数据库150中至少一个,以访问存储的信息和/或数据。在一些实施例中,服务器110可以在云平台上实现。在一些实施例中,服务器110可以在具有本申请中图2所示的一个或多个组件的电子设备200上实现。
在一些实施例中,服务器110可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据,以执行本申请中描述的一个或多个功能。例如,处理器可以基于从图像采集设备130获得的服务请求来确定目标车辆。网络120可以用于信息和/或数据的交换。在一些实施例中,车辆属性识别系统100中的一个或多个组件(例如,服务器110,图像采集设备130,图像采集设备140和数据库150)可以向其他组件发送信息和/或数据。例如,服务器110可以经由网络120从图像采集设备130获取服务请求。在一些实施例中,网络120可以是任何类型的有线或者无线网络,或者是他们的结合。在一些实施例中,网络120可以包括一个或多个网络接入点。例如,网络120可以包括有线或无线网络接入点,例如基站和/或网络交换节点,车辆属性识别系统100的一个或多个组件可以通过该接入点连接到网络120以交换数据和/或信息。
在一些实施例中,图像采集设备130和图像采集设备140可以包括移动设备、平板计算机、膝上型计算机、摄像头等,或其任意组合。在一些实施例中,移动设备可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等,或其任意组合。
数据库150可以存储数据和/或指令。在一些实施例中,数据库150可以存储从图像采集设备130和/或图像采集设备140获得的数据。在一些实施例中,数据库150可以存储在本申请中描述的示例性方法的数据和/或指令。在一些实施例中,数据库150可以在云平台上实现。仅作为示例,云平台可以包括私有云、公有云、混合云、社区云、分布式云、跨云、多云或者其它类似的等,或其任意组合。
在一些实施例中,数据库150可以连接到网络120以与车辆属性识别系统100(例如,服务器110,图像采集设备130,图像采集设备140等)中的一个或多个组件通信。车辆属性识别系统100中的一个或多个组件可以经由网络120访问存储在数据库150中的数据或指令。在一些实施例中,数据库150可以直接连接到车辆属性识别系统100中的一个或多个组件(例如,服务器110,图像采集设备130,图像采集设备140等);或者,在一些实施例中,数据库150也可以是服务器110的一部分。
图2示出根据本申请的一些实施例的可以实现本申请思想的服务器110、图像采集设备130、图像采集设备140的电子设备200的示例性硬件和软件组件的示意图。例如,处理器可以用于电子设备200上,并且用于执行本申请中的功能。
电子设备200可以是通用计算机或特殊用途的计算机,两者都可以用于实现本申请的车辆属性识别模型训练方法和车辆属性识别方法。本申请尽管仅示出了一个计算机,但是为了方便起见,可以在多个类似平台上以分布式方式实现本申请描述的功能,以均衡处理负载。
例如,电子设备200可以包括连接到网络的网络端口210、用于执行程序指令的一个或多个处理器220、通信总线230、和不同形式的存储介质240,例如,磁盘、ROM、或RAM,或其任意组合。示例性地,计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备200还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output,I/O)接口250。
上述存储介质240存储有处理器220可执行的机器可读指令,当电子设备运行时,处理器220与存储介质240之间通过总线通信,处理器执行机器可读指令,以执行时执行下述道路地图的构建方法的步骤。另外,存储介质也可以称为计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行下述车辆属性识别模型训练方法的步骤,或者车辆属性识别方法的步骤。
为了便于说明,在电子设备200中仅描述了一个处理器。然而,应当注意,本申请中的电子设备200还可以包括多个处理器,因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如,若电子设备200的处理器执行步骤A和步骤B,则应该理解,步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如,第一处理器执行步骤A,第二处理器执行步骤B,或者第一处理器和第二处理器共同执行步骤A和B。
基于上述对车辆属性识别系统和电子设备的描述,参见图3所示的一种车辆属性识别模型训练方法的流程图;该方法包括如下步骤:
步骤S302,将目标训练图像输入至初始模型;该初始模型包括依次连接的多层卷积层,以及多组依次连接的池化层、全连接层和损失函数;多层卷积层中预先确定有多个第一指定卷积层;每组中的池化层与对应的第一指定卷积层连接;每组中的损失函数用于评价一种车辆属性的识别损失;
多层卷积层的数据不做具体限定;每层卷积层可以通过不同的卷积参数(如卷积核)实现卷积运算。通常,每组依次连接的池化层、全连接层和损失函数用于输出一种车辆属性的识别结果。上述第一指定卷积层为多层卷积层中的多个指定卷积层;每个第一指定卷积层输出的特征图输入至与该第一指定卷积层连接的池化层、全连接层和损失函数。
为了便于理解,下面给出一种初始模型的结构作为示例;多层卷积层包括10层卷积层;其中,用于输入目标训练图像的卷积层为第1层卷积层。该初始模型拟识别3种车辆属性,如分别为属性A、属性B和属性C;因而第一指定卷积层的数量为3个;具体可以根据车辆属性的特性,从上述10层卷积层中选择这3个第一指定卷积层,例如,这3个第一指定卷积层分别为第4层卷积层、第7层卷积层和第10层卷积层。其中,第4层卷积层连接一组连接的池化层、全连接层和损失函数,用于识别属性A;第7层卷积层连接一组连接的池化层、全连接层和损失函数,用于识别属性B;第10层卷积层连接一组连接的池化层、全连接层和损失函数,用于识别属性。
步骤S304,通过多层卷积层输出每层第一指定卷积层对应的特征图;
目标训练图像输入至多层卷积层中的第一层卷积层后,该第一层卷积层使用该卷积层对应的卷积核对该目标训练图像进行卷积运算,输出特征图;该特征图输入至第二层卷积层后,第二层卷积层使用该卷积层对应的卷积核对输入的特征图进行卷积运算,输出新的特征图;依此类推,直至最后一层卷积层输出特征图。上述每层第一指定卷积层对应的特征图,即每层第一指定卷积层输出的特征图;每层第一指定卷积层输出的特征图输入至与之连接的池化层、全连接层和损失函数中,以对第一指定卷积层输出的特征图进行降维、识别处理;另外,除最后一层卷积层作为第一指定卷积层的情况外,第一指定卷积层还将输出的特征图输入至与之连接的下一层卷积层中,以使该特征图参与后续的卷积运算。
步骤S306,通过每层第一指定卷积层所连接的组中的池化层和全连接层对第一指定卷积层对应的特征图进行降维处理,得到特征图对应的预设维度的特征向量;
通常,卷积层输出的特征图具有很高的维度,数据量较大;上述池化层和全连接层可以降低特征图的特征维度,减少数据量,以简化模型的计算复杂度;还可以对特征维度进行筛选、压缩,以提取该组池化层、全连接层和损失函数对应的属性特征相关的特征。上述预设维度的特征向量可以预先设置,如二维的特征向量,一维的特征向量等。
步骤S308,通过每组中的损失函数,计算每组对应的特征向量的损失值;
该损失函数也可以称为监督信号;损失函数可以根据上述特征向量,判断上述目标训练图像属于该组对应的车辆属性的那个类型,得到该特征向量属于各个类型的概率,该概率即为上述损失值;例如,该组对应的车辆属性为颜色,预先设置有待分类的多个颜色,如红色、黑色、白色、蓝色等;损失函数根据当前的特征向量,计算得到该特征向量属于各个颜色的概率,如红色为10%、黑色为80%、白色为0%,蓝色为10%;此时,该特征向量的损失值即为80%。同时,根据损失函数输出的损失值,即可确定该特征向量对应的车辆属性。
步骤S310,基于每组对应的损失值对初始模型进行训练,直至每组对应的损失值均收敛,得到目标模型;目标模型包括训练后的多层卷积层和多组池化层、全连接层和损失函数。
在实际训练过程中,每次训练得到的每组的损失值可能会有上下浮动,但经多次训练后,损失值即趋于稳定,当各组的损失值均收敛后,初始模型的训练完成,得到目标模型。相对于初始模型,目标模型的网络结构通常不发生变换,但模型中的每层卷积层、池化层、全连接层的参数均有可能发生变化。
本发明实施例提供的上述车辆属性识别模型训练方法,初始模型中包括依次连接的多层卷积层,以及多组依次连接的池化层、全连接层和损失函数;该多层卷积层中预先确定有多个第一指定卷积层;每组中的池化层与对应的第一指定卷积层连接,且每组对应的损失函数用于评价一种车辆属性的识别损失。上述模型在训练过程中,通过多层卷积层输出每层第一指定卷积层对应的特征图;通过每层第一指定卷积层所连接的组中的池化层和全连接层对第一指定卷积层对应的特征图进行降维处理;并通过每组中的损失函数,计算降维得到的特征向量的损失值;基于每组的损失值对初始模型进行训练,直至每组的损失值均收敛,得到目标模型。该模型的网络结构较为简单,并且靠后层卷积层的特征计算可以使用靠前层卷积层输出的特征图,实现了各车辆属性对应特征的数据共享,减少了数据冗余,通过简单的模型结构即可实现车辆的多属性识别,提高了车辆属性识别的实时性,扩展了车辆属性识别的应用范围。
本发明实施例还提供另一种车辆属性识别模型训练方法,该方法在上述实施例所提供方法的基础上实现;本实施例中,具体描述第一指定卷积层对应的特征图的获取方式。
通常,对于常规的卷积网络,多层卷积层之间依次连接,各卷积层输入的数据即为该卷积层前一层卷积层输出的数据;为了增加卷积网络的深度,提高模型的训练效果;本实施例中,在多层卷积层中,通过残差网络(也可以称为resnet网络)的方式计算得到每层第一指定卷积层对应的特征图。因此,多层卷积层中,通过使用跳跃连接的方式,把某些卷积层输出的数据,跳过后续的一层或多层卷积层,直接传递到更深层的卷积层中。
基于此,本实施例提供的另一种车辆属性识别模型训练方法如图4所示,具体包括下述步骤:
步骤S402,将目标训练图像输入至初始模型;该初始模型包括依次连接的多层卷积层,以及多组依次连接的池化层、全连接层和损失函数;多层卷积层中预先确定有多个第一指定卷积层;每组中的池化层与对应的第一指定卷积层连接;每组中的损失函数用于评价一种车辆属性的识别损失;
步骤S404,按照第一预设间隔从多层卷积层中确定多个第二指定卷积层;按照多层卷积层中各卷积层的顺序,逐一对每个卷积层执行下述步骤;
第二指定卷积层可以根据多层卷积层的实际结构确定;对于多层卷积层中的某一卷积层,可以同时为第一指定卷积层和第二指定卷积层。
步骤S406,判断当前卷积层是否为确定出的第二指定卷积层;如果是,执行步骤S408;如果否,执行步骤S410;
步骤S408,根据当前卷积层之前的指定卷积层输出的特征图,确定当前卷积层的输入特征图;将输入特征图输入至当前卷积层进行卷积运算,输出当前卷积层对应的特征图;执行步骤S412;
对于常规的卷积网络,除第一层卷积层以外,当前卷积层的输入特征图通常是当前卷积层的前一卷积层的输出特征图;而本实施例中,当前卷积层的输入特征图可以包含有该当前卷积层之前的指定卷积层输出的特征图;该指定的卷积层的数量不做限定,但通常为多个;例如可以将当前卷积层之前的所有的指定卷积层输出的特征图的总和作为当前卷积层的输入特征图;也可以先对当前卷积层之前的指定卷积层输出的特征图进行预处理,如特征图融合,将融合结果作为当前卷积层的输入特征图。
具体而言,上述步骤S408还可以通过下述步骤02-步骤04实现:
步骤02,将当前卷积层的前一层卷积层输出的特征图与前一层卷积层之前的、与当前卷积层具有第一预设间隔的卷积层输出的特征图进行融合,得到融合特征图;
该第一预设间隔通常以卷积层为单位,如一层卷积层、两层卷积层、三次卷积层等;如果当前卷积层为多层卷积层中的第四层卷积层,且第一预设间隔为两层卷积层,那么在前一层卷积层之前的、与当前卷积层具有第一预设间隔的卷积层的卷积层为第一卷积层。
在进行特征图融合的过程中,可以采用逐点相加或逐点相乘的方式进行特征图融合,得到一个融合后的特征图;由于两个特征图是由不同层的卷积层输出,两个特征图的尺度可能会有所不同,因此,为了能够使二者能够融合,在进行特征图融合之前,通常需要将尺度较小的特征图进行插值运算,以将该特征图的尺度扩展至与尺度较大的特征图尺度相同。
步骤04,将融合特征图确定为当前卷积层的输入特征图。
作为一个初始模型的网络结构的示例,如图5所示,该初始模型中的多层卷积层包括17层卷积层,其中,第一个第二指定卷积层为多层卷积层中的第四层卷积层;第一预设间隔包括两层卷积层;第四层卷积层输入的特征图是第三层卷积层输出的特征图和第一层卷积层输出的特征图的融合特征图。其他的第二之间卷积层分别为第六层卷积层、第八层卷积层、第十层卷积层、第十二层卷积层、第十四层卷积层、第十六层卷积层。
由上文可知,初始模型中还包括多组依次连接的池化层、全连接层和损失函数;图5中以四组为例,每组连接的卷积层为第一指定卷积层;因而该第一指定卷积层分别为第五层卷积层、第九层卷积层、第十三层卷积层和第十七层卷积层。
车辆属性通常包括颜色属性、类型属性、品牌属性、型号属性等;上述初始模型可以用于识别上述车辆属性中的多种;一组依次连接的池化层、全连接层和损失函数对应一种车辆属性;且其中的损失函数与对应的车辆属性相匹配。在上述车辆属性中,颜色属性通常最容易识别,类型属性和品牌属性其次,型号属性最识别;因此,在初始模型中,颜色属性对应的池化层所连接的第一指定卷积层通常位于多次卷积层中较为靠前的位置;型号属性对应的池化层所连接的第一指定卷积层通常位于多次卷积层中较为靠后的位置;类型属性各品牌属性对应的池化层所连接的第一指定卷积层居中;这样,在识别靠后的类型属性时,可以共享靠前的类型属性的部分参数,如特征图、卷积层参数等,以减少数据冗余,简化网络结构。
基于此,上述每种车辆属性对应的池化层所连接的第一指定卷积层在多层卷积层中的位置,由前至后依次为:颜色属性对应的第一指定卷积层、类型属性对应的指定卷积层、品牌属性对应的第一指定卷积层、型号属性对应的第一指定卷积层;相邻的第一指定卷积层之间间隔第二预设间隔的卷积层;其中,第一层卷积层为多层卷积层中输入目标训练图像的卷积层。当然,各车辆属性对应的第一指定卷积层的顺序还可以根据实际需求调整,各车辆属性对应的第一指定卷积层具体为多层卷积层中的哪个卷积层,也不做具体限定。
图5为一个示例,如果车辆属性包括颜色属性、类型属性、品牌属性和型号属性,颜色属性对应的第一指定卷积层为第五层卷积层;第二预设间隔为四层卷积层。则类型属性对应的第一指定卷积层为第九层卷积层;品牌属性对应的第一指定卷积层为第十一层卷积层;型号属性对应的第一指定卷积层为第十七层卷积层。可以理解,当模型仅用于识别上述四种车辆属性中的一部分属性时,把无需识别的车辆属性对应的池化层、全连接层和损失函数删除即可。
步骤S410,将当前卷积层的前一层卷积层输出的特征图输入至当前卷积层进行卷积运算,输出当前卷积层对应的特征图;
步骤S412,判断是否为最后一层卷积层;如果否,执行步骤S414;如果是,执行步骤S416;
步骤S414,将当前卷积层的下一层卷积层作为新的卷积层,执行步骤S404;
步骤S416,确定遍历多层卷积层中的所有卷积层,得到多层卷积层中每层第一指定卷积层对应的特征图。
步骤S418,通过每层第一指定卷积层所连接的组中的池化层和全连接层对第一指定卷积层对应的特征图进行降维处理,得到特征图对应的预设维度的特征向量;
步骤S420,通过每组中的损失函数,计算每组对应的特征向量的损失值;
步骤S422,基于每组对应的损失值对初始模型进行训练,直至每组对应的损失值均收敛,得到目标模型;该目标模型包括训练后的多层卷积层和多组池化层、全连接层和损失函数。
上述实施例中,通过残差网络的方式计算得到每层第一指定卷积层对应的特征图,并基于待识别的车辆属性描述了初始模型的具体网络结构,并基于该网络结构训练初始模型。该模型的网络结构较为简单,并且靠后层卷积层的特征计算可以使用靠前层卷积层输出的特征图,实现了各车辆属性对应特征的数据共享,减少了数据冗余,提高了车辆属性识别的实时性,扩展了车辆属性识别的应用范围。
本发明实施例还提供另一种车辆属性识别模型训练方法,该方法在上述实施例所提供方法的基础上实现;本实施例中,具体描述各车辆属性对应的池化层和全连接层对特征图进行降维处理的过程,以及通过对应的损失函数得到损失值的过程。如图6所示,该车辆属性识别模型训练方法,具体包括下述步骤:
步骤S602,将目标训练图像输入至初始模型;该初始模型包括依次连接的多层卷积层,以及多组依次连接的池化层、全连接层和损失函数;多层卷积层中预先确定有多个第一指定卷积层;每组中的池化层与对应的第一指定卷积层连接;每组中的损失函数用于评价一种车辆属性的识别损失;
步骤S604,按照第一预设间隔从多层卷积层中确定多个第二指定卷积层;按照多层卷积层中各卷积层的顺序,逐一对每个卷积层执行下述步骤;
步骤S606,判断当前卷积层是否为确定出的第二指定卷积层;如果是,执行步骤S608;如果是,执行步骤S610;
步骤S608,根据当前卷积层之前的指定卷积层输出的特征图,确定当前卷积层的输入特征图;将输入特征图输入至当前卷积层进行卷积运算,输出当前卷积层对应的特征图;执行步骤S612;
步骤S610,将当前卷积层的前一层卷积层输出的特征图输入至当前卷积层进行卷积运算,输出当前卷积层对应的特征图;
步骤S612,判断是否为最后一层卷积层;如果否,执行步骤S614;如果是,执行步骤S616;
步骤S614,将当前卷积层的下一层卷积层作为新的卷积层,执行步骤S606;
步骤S616,确定遍历多层卷积层中的所有卷积层,得到多层卷积层中每层第一指定卷积层对应的特征图;
步骤S618,通过每组中的池化层,对池化层接收到的特征图进行降维处理,得到降维后的特征图;
该池化层可以为平均池化层(Average Pooling或mean-pooling)、全局平均池化层(Global Average Pooling)、最大池化层(max-pooling)等;池化层可以用于保留特征图中的主要特征,删除非主要特征,以降低特征图的维度,以平均池化层为例,平均池化层可以对当前特征点的预设范围大小的邻域内的特征点值求平均,将平均值作为该当前特征点的新的特征点值。另外,池化层还可以帮助特征图保持一些不变形,例如旋转不变性、平移不变性、伸缩不变性等。
对于不同车辆属性对应的不同组中的池化层,可以预先设置池化层的参数,使得池化层基于当前组对应的车辆属性,通过池化层从接收到的特征图中筛选与当前组对应的车辆属性相关联的特征维度,将筛选出的特征维度组成为降维后的特征图。例如,以颜色属性为例,该颜色属性对应的池化层通常筛选与颜色属性相关的特征维度,剔除与颜色属性无关或关联性较小的特征维度。
步骤S620,通过池化层连接的全连接层,对降维后的特征图进行拉伸处理,得到特征图对应的一维特征向量。
上述全连接层可以将池化层输出的特征图进行拉伸,得到特征向量;该拉伸过程也可以理解为分类过程,得到的特征向量中的每个特征点对应一个类别,以供后续的损失函数对每个类别计算概率。
步骤S622,对于每组对应的特征向量,通过损失函数计算当前组中每个特征元素的指数函数值;
对车辆属性的识别可以理解为多分类的过程,因此,对多分类的网络模型的损失函数可以通过交叉熵函数实现,该交叉熵函数也可以称为softmax函数;具体地,该softmax函数的公式如下:
Figure BDA0001891922860000211
其中,xi表示特征向量中的第i个特征元素;xj表示特征向量中的第j个特征元素;N表示特征向量中的特征元素总个数。
相对于特征元素本身,特征元素的指数函数值可以扩大各个特征元素之间的差异,例如,特征向量为[3,1,-3],计算每个特征元素的指数函数值后,该特征向量对应的指数函数值向量为[20,2.7,0.05]。采用特征元素的指数函数值计算各特征元素的概率,可以增大彼此间的概率差距,使正确的识别结果的概率更高,有利于识别结果的准确性。
步骤S624,根据当前组中每个特征元素的指数函数值,以及当前组对应的特征向量中的每个特征元素的指数函数值总和,确定当前特征元素的概率;
步骤S626,将当前组对应的特征向量中,概率最大的特征元素的概率确定为当前组对应的特征向量的损失值。
具体地,每个特征元素的指数函数值除以特征向量中的每个特征元素的指数函数值总和,即可得到特征元素的概率;概率最大的特征元素对应的类别,即为车辆属性的识别结果。
为了便于理解,下面描述一个上述步骤20-步骤24的示例,颜色属性预设为红色、黑色、白色和蓝色;颜色属性对应的全连接层输出的一维特征向量通常包含四个特征元素,每个特征元素对应一种颜色属性;假设该特征向量为[2,3,-1,-3];其中,2对应红色,3对应黑色,-1对应白色,-3对应蓝色;每个特征元素计算得到指数函数值后,得到的指数函数值向量为[7,20,0.4,0.05];每个特征元素对应的概率向量为[0.26,0.73,0.01,0];此时颜色属性黑色的概率最大,即0.73,该0.73即为上述当前组对应的特征向量的损失值。
模型训练完成后,在识别过程中,上述损失函数用于计算每个特征元素的概率,将概率最大的特征元素对应的类别作为最终的识别结果输出。
步骤S628,基于每组对应的损失值对初始模型进行训练,直至每组对应的损失值均收敛,得到目标模型;该目标模型包括训练后的多层卷积层和多组池化层、全连接层和损失函数。
为了便于训练,降低模型在训练过程中的运算负担,上述计算得到每组对应的损失值后,将每组对应的损失值进行求和运算,得到损失值总和;在训练过程中,可以观察该损失值总和是否收敛,如果损失值总和收敛时,则可以确定每组对应的损失值均收敛,此时可以停止训练。
上述实施例中,通过模型中的池化层和全连接层对卷积层输出的特征图进行降维,得到与车辆属性相关的主要特征,再通过损失函数对主要特征计算概率并输出识别结果和损失值;由于不同车辆属性对应的池化层连接在多层卷积层中的不同卷积层中,靠后层卷积层的特征计算可以使用靠前层卷积层输出的特征图,实现了各车辆属性对应特征的数据共享,减少了数据冗余,因而提高了车辆属性识别的实时性,扩展了车辆属性识别的应用范围。
对应于上述车辆属性识别模型训练方法,本发明实施例还提供一种车辆属性识别方法,该方法应用于配置有识别模型的设备;该识别模型为上述实施例中的车辆属性识别方法训练得到的目标模型;如图7所示,该方法包括如下步骤:
步骤S702,获取待识别的车辆图像;
该车辆图像中通常包含有车辆的全部或局部部位;待识别的图像可以预先经过筛选,得到上述车辆图像;也可以不经筛选直接输入至目标模型中,此时模型输出的结果通常为错误提示。另外,该车辆图像中还可以携带有经其他检测网络检测出的车辆位于图像中的位置信息,该位置信息可以为定位信息,该定位信息通常为包含有车辆的矩形区域;该位置信息还可以为分割信息,该分割信息通常为车辆的边缘线条的位置。
步骤S704,将车辆图像输入至目标模型中,得到车辆图像对应的车辆的多种属性。
由于目标模型中包含多组依次连接的池化层、全连接层和损失函数,通常,每组中的损失函数输出一种属性的识别结果;如果该目标模型用于识别车辆的颜色属性、类型属性、品牌属性、型号属性,则该目标模型中包含四组依次连接的池化层、全连接层和损失函数;当然,该目标模型还可以用于识别上述颜色属性、类型属性、品牌属性、型号属性中的多种。
上述车辆属性识别方法,获取到待识别的车辆图像后,将该车辆图像输入至目标模型中,即可得到车辆图像对应的车辆的多种属性。该方式通过结构简单的模型即可实现车辆的多属性识别,因而提高了车辆属性识别的实时性,扩展了车辆属性识别的应用范围。
对应于上述车辆属性识别模型训练方法实施例,参见图8所示的一种车辆属性识别模型训练装置的结构示意图;该车辆属性识别模型训练装置实现的功能对应上述方法执行的步骤。该装置可以理解为上述服务器,或服务器的处理器,也可以理解为独立于上述服务器或处理器之外的在服务器控制下实现本申请功能的组件,如图8所示,该装置包括:
训练图像输入模块80,用于将目标训练图像输入至初始模型;初始模型包括依次连接的多层卷积层,以及多组依次连接的池化层、全连接层和损失函数;多层卷积层中预先确定有多个第一指定卷积层;每组中的池化层与对应的第一指定卷积层连接;每组中的损失函数用于评价一种车辆属性的识别损失;
特征图输出模块82,用于通过多层卷积层输出每层第一指定卷积层对应的特征图;
降维处理模块84,用于通过每层第一指定卷积层所连接的组中的池化层和全连接层对第一指定卷积层对应的特征图进行降维处理,得到特征图对应的预设维度的特征向量;
损失值计算模块86,用于通过每组中的损失函数,计算每组对应的特征向量的损失值;
训练模块88,用于基于每组对应的损失值对初始模型进行训练,直至每组对应的损失值均收敛,得到目标模型;目标模型包括训练后的多层卷积层和多组池化层、全连接层和损失函数。
本发明实施例提供的上述车辆属性识别模型训练装置,初始模型中包括依次连接的多层卷积层,以及多组依次连接的池化层、全连接层和损失函数;该多层卷积层中预先确定有多个第一指定卷积层;每组中的池化层与对应的第一指定卷积层连接,且每组对应的损失函数用于评价一种车辆属性的识别损失。上述模型在训练过程中,通过多层卷积层输出每层第一指定卷积层对应的特征图;通过每层第一指定卷积层所连接的组中的池化层和全连接层对第一指定卷积层对应的特征图进行降维处理;并通过每组中的损失函数,计算降维得到的特征向量的损失值;基于每组的损失值对初始模型进行训练,直至每组的损失值均收敛,得到目标模型。该模型的网络结构较为简单,并且靠后层卷积层的特征计算可以使用靠前层卷积层输出的特征图,实现了各车辆属性对应特征的数据共享,减少了数据冗余,通过简单的模型结构即可实现车辆的多属性识别,提高了车辆属性识别的实时性,扩展了车辆属性识别的应用范围。
上述车辆属性识别模型训练装置中的模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等,或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接,或其任意组合。两个或更多个模块可以组合为单个模块,并且任何一个模块可以分成两个或更多个单元。
在一些实施例中,上述特征图输出模块,用于:在多层卷积层中,通过残差网络的方式计算得到每层第一指定卷积层对应的特征图。
在一些实施例中,上述特征图输出模块,用于:按照第一预设间隔从多层卷积层中确定多个第二指定卷积层,按照多层卷积层中各卷积层的顺序,逐一对每个卷积层执行下述步骤:如果当前卷积层为确定出的第二指定卷积层,根据当前卷积层之前的指定卷积层输出的特征图,确定当前卷积层的输入特征图;将输入特征图输入至当前卷积层进行卷积运算,输出当前卷积层对应的特征图;如果当前卷积层为除第二指定卷积层以外的卷积层,将当前卷积层的前一层卷积层输出的特征图输入至当前卷积层进行卷积运算,输出当前卷积层对应的特征图;遍历多层卷积层中的所有卷积层,得到多层卷积层中每层第一指定卷积层对应的特征图。
在一些实施例中,上述特征图输出模块,用于:将当前卷积层的前一层卷积层输出的特征图与前一层卷积层之前的、与当前卷积层具有第一预设间隔的卷积层输出的特征图进行融合,得到融合特征图;将融合特征图确定为当前卷积层的输入特征图。
在一些实施例中,上述第一个第二指定卷积层为多层卷积层中的第四层卷积层;第一预设间隔包括两层卷积层。
在一些实施例中,上述车辆属性包括颜色属性、类型属性、品牌属性、型号属性中的多种;每种车辆属性对应的池化层所连接的第一指定卷积层在多层卷积层中的位置,由前至后依次为:颜色属性对应的第一指定卷积层、类型属性对应的指定卷积层、品牌属性对应的第一指定卷积层、型号属性对应的第一指定卷积层;相邻的第一指定卷积层之间间隔第二预设间隔的卷积层;其中,第一层卷积层为多层卷积层中输入目标训练图像的卷积层。
在一些实施例中,上述如果车辆属性包括颜色属性、类型属性、品牌属性和型号属性,颜色属性对应的第一指定卷积层为第五层卷积层;第二预设间隔为四层卷积层。
在一些实施例中,上述降维处理模块,用于:通过每组中的池化层,对池化层接收到的特征图进行降维处理,得到降维后的特征图;通过池化层连接的全连接层,对降维后的特征图进行拉伸处理,得到特征图对应的一维特征向量。
在一些实施例中,上述降维处理模块,用于:基于当前组对应的车辆属性,通过池化层从接收到的特征图中筛选与当前组对应的车辆属性相关联的特征维度,将筛选出的特征维度组成为降维后的特征图。
在一些实施例中,上述损失函数包括softmax函数;上述softmax函数:
Figure BDA0001891922860000261
其中,xi表示特征向量中的第i个特征元素;xj表示特征向量中的第j个特征元素;N表示特征向量中的特征元素总个数。
在一些实施例中,上述损失值计算模块,用于:对于每组对应的特征向量,通过损失函数计算当前组中每个特征元素的指数函数值;根据当前组中每个特征元素的指数函数值,以及当前组对应的特征向量中的每个特征元素的指数函数值总和,确定当前特征元素的概率;将当前组对应的特征向量中,概率最大的特征元素的概率确定为当前组对应的特征向量的损失值。
在一些实施例中,上述装置还包括求和模块,用于:将每组对应的损失值进行求和运算,得到损失值总和;训练模块,用于:基于每组对应的损失值对初始模型进行训练,直至损失值总和收敛时,确定每组对应的损失值均收敛,停止训练。
对应于上述车辆属性的识别实施例,参见图9所示的一种车辆属性识别装置的结构示意图;该车辆属性的识别实现的功能对应上述方法执行的步骤。该装置可以理解为上述服务器,或服务器的处理器,也可以理解为独立于上述服务器或处理器之外的在服务器控制下实现本申请功能的组件;该装置应用于配置有识别模型的设备;该识别模型为上述车辆属性识别模型训练方法训练得到的目标模型;如图9所示,该装置包括:
车辆图像获取模块90,用于获取待识别的车辆图像;
车辆图像输入模块92,用于将车辆图像输入至目标模型中,得到车辆图像对应的车辆的多种属性。
上述车辆属性识别装置,获取到待识别的车辆图像后,将该车辆图像输入至目标模型中,即可得到车辆图像对应的车辆的多种属性。该方式通过结构简单的模型即可实现车辆的多属性识别,因而提高了车辆属性识别的实时性,扩展了车辆属性识别的应用范围。
上述车辆属性识别装置中的模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等,或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接,或其任意组合。两个或更多个模块可以组合为单个模块,并且任何一个模块可以分成两个或更多个单元。
在一些实施例中,上述车辆的多种属性包括颜色属性、类型属性、品牌属性、型号属性中的多种。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (30)

1.一种车辆属性识别模型训练方法,其特征在于,所述方法包括:
将目标训练图像输入至初始模型;所述初始模型包括依次连接的多层卷积层,以及多组依次连接的池化层、全连接层和损失函数;所述多层卷积层中预先确定有多个第一指定卷积层;每组中的池化层与对应的所述第一指定卷积层连接;每组中的损失函数用于评价一种车辆属性的识别损失;
通过所述多层卷积层输出每层所述第一指定卷积层对应的特征图;
通过每层所述第一指定卷积层所连接的组中的池化层和全连接层对所述第一指定卷积层对应的特征图进行降维处理,得到所述特征图对应的预设维度的特征向量;
通过每组中的损失函数,计算每组对应的特征向量的损失值;
基于每组对应的损失值对所述初始模型进行训练,直至每组对应的损失值均收敛,得到目标模型;所述目标模型包括训练后的所述多层卷积层和多组池化层、全连接层和损失函数。
2.根据权利要求1所述的方法,其特征在于,通过所述多层卷积层输出每层所述第一指定卷积层对应的特征图的步骤,包括:
在所述多层卷积层中,通过残差网络的方式计算得到每层所述第一指定卷积层对应的特征图。
3.根据权利要求2所述的方法,其特征在于,在所述多层卷积层中,通过残差网络的方式计算得到每层所述第一指定卷积层对应的特征图的步骤,包括:
按照第一预设间隔从所述多层卷积层中确定多个第二指定卷积层,按照所述多层卷积层中各卷积层的顺序,逐一对每个卷积层执行下述步骤:
如果当前卷积层为确定出的所述第二指定卷积层,根据所述当前卷积层之前的指定卷积层输出的特征图,确定所述当前卷积层的输入特征图;将所述输入特征图输入至所述当前卷积层进行卷积运算,输出所述当前卷积层对应的特征图;
如果当前卷积层为除所述第二指定卷积层以外的卷积层,将当前卷积层的前一层卷积层输出的特征图输入至所述当前卷积层进行卷积运算,输出所述当前卷积层对应的特征图;
遍历所述多层卷积层中的所有卷积层,得到所述多层卷积层中每层所述第一指定卷积层对应的特征图。
4.根据权利要求3所述的方法,其特征在于,根据所述当前卷积层之前的指定卷积层输出的特征图,确定所述当前卷积层的输入特征图的步骤,包括:
将所述当前卷积层的前一层卷积层输出的特征图与所述前一层卷积层之前的、与所述当前卷积层具有所述第一预设间隔的卷积层输出的特征图进行融合,得到融合特征图;
将所述融合特征图确定为所述当前卷积层的输入特征图。
5.根据权利要求3或4所述的方法,其特征在于,第一个所述第二指定卷积层为所述多层卷积层中的第四层卷积层;所述第一预设间隔包括两层卷积层。
6.根据权利要求1所述的方法,其特征在于,所述车辆属性包括颜色属性、类型属性、品牌属性、型号属性中的多种;
每种车辆属性对应的池化层所连接的第一指定卷积层在所述多层卷积层中的位置,由前至后依次为:颜色属性对应的第一指定卷积层、类型属性对应的指定卷积层、品牌属性对应的第一指定卷积层、型号属性对应的第一指定卷积层;相邻的第一指定卷积层之间间隔第二预设间隔的卷积层;其中,第一层卷积层为所述多层卷积层中输入目标训练图像的卷积层。
7.根据权利要求6所述的方法,其特征在于,如果所述车辆属性包括颜色属性、类型属性、品牌属性和型号属性,所述颜色属性对应的第一指定卷积层为第五层卷积层;所述第二预设间隔为四层卷积层。
8.根据权利要求1所述的方法,其特征在于,通过每层所述第一指定卷积层所连接的组中的池化层和全连接层对所述第一指定卷积层对应的特征图进行降维处理,得到所述特征图对应的预设维度的特征向量的步骤,包括:
通过每组中的池化层,对所述池化层接收到的特征图进行降维处理,得到降维后的所述特征图;
通过所述池化层连接的全连接层,对降维后的所述特征图进行拉伸处理,得到所述特征图对应的一维特征向量。
9.根据权利要求8所述的方法,其特征在于,通过每组中的池化层,对所述池化层接收到的特征图进行降维处理,得到降维后的所述特征图的步骤,包括:
基于当前组对应的车辆属性,通过所述池化层从接收到的特征图中筛选与所述当前组对应的车辆属性相关联的特征维度,将筛选出的特征维度组成为降维后的所述特征图。
10.根据权利要求1所述的方法,其特征在于,所述损失函数包括softmax函数;
所述softmax函数:
Figure FDA0001891922850000031
其中,xi表示所述特征向量中的第i个特征元素;xj表示所述特征向量中的第j个特征元素;N表示所述特征向量中的特征元素总个数。
11.根据权利要求1所述的方法,其特征在于,通过每组中的损失函数,计算每组对应的特征向量的损失值的步骤,包括:
对于每组对应的特征向量,通过所述损失函数计算当前组中每个特征元素的指数函数值;
根据当前组中每个所述特征元素的指数函数值,以及当前组对应的特征向量中的每个所述特征元素的指数函数值总和,确定当前特征元素的概率;
将当前组对应的特征向量中,概率最大的特征元素的概率确定为当前组对应的特征向量的损失值。
12.根据权利要求1所述的方法,其特征在于,
通过每组中的损失函数,计算每组对应的特征向量的损失值的步骤之后,所述方法还包括:将每组对应的损失值进行求和运算,得到损失值总和;
所述基于每组对应的损失值对所述初始模型进行训练,直至每组对应的损失值均收敛的步骤,包括:基于每组对应的损失值对所述初始模型进行训练,直至所述损失值总和收敛时,确定每组对应的损失值均收敛,停止训练。
13.一种车辆属性识别方法,其特征在于,所述方法应用于配置有识别模型的设备;所述识别模型为权利要求1至12任一项所述方法训练得到的目标模型;所述方法包括:
获取待识别的车辆图像;
将所述车辆图像输入至所述目标模型中,得到所述车辆图像对应的车辆的多种属性。
14.根据权利要求13所述的方法,其特征在于,所述车辆的多种属性包括颜色属性、类型属性、品牌属性、型号属性中的多种。
15.一种车辆属性识别模型训练装置,其特征在于,所述装置包括:
训练图像输入模块,用于将目标训练图像输入至初始模型;所述初始模型包括依次连接的多层卷积层,以及多组依次连接的池化层、全连接层和损失函数;所述多层卷积层中预先确定有多个第一指定卷积层;每组中的池化层与对应的所述第一指定卷积层连接;每组中的损失函数用于评价一种车辆属性的识别损失;
特征图输出模块,用于通过所述多层卷积层输出每层所述第一指定卷积层对应的特征图;
降维处理模块,用于通过每层所述第一指定卷积层所连接的组中的池化层和全连接层对所述第一指定卷积层对应的特征图进行降维处理,得到所述特征图对应的预设维度的特征向量;
损失值计算模块,用于通过每组中的损失函数,计算每组对应的特征向量的损失值;
训练模块,用于基于每组对应的损失值对所述初始模型进行训练,直至每组对应的损失值均收敛,得到目标模型;所述目标模型包括训练后的所述多层卷积层和多组池化层、全连接层和损失函数。
16.根据权利要求15所述的装置,其特征在于,所述特征图输出模块,用于:
在所述多层卷积层中,通过残差网络的方式计算得到每层所述第一指定卷积层对应的特征图。
17.根据权利要求16所述的装置,其特征在于,所述特征图输出模块,用于:
按照第一预设间隔从所述多层卷积层中确定多个第二指定卷积层,按照所述多层卷积层中各卷积层的顺序,逐一对每个卷积层执行下述步骤:
如果当前卷积层为确定出的所述第二指定卷积层,根据所述当前卷积层之前的指定卷积层输出的特征图,确定所述当前卷积层的输入特征图;将所述输入特征图输入至所述当前卷积层进行卷积运算,输出所述当前卷积层对应的特征图;
如果当前卷积层为除所述第二指定卷积层以外的卷积层,将当前卷积层的前一层卷积层输出的特征图输入至所述当前卷积层进行卷积运算,输出所述当前卷积层对应的特征图;
遍历所述多层卷积层中的所有卷积层,得到所述多层卷积层中每层所述第一指定卷积层对应的特征图。
18.根据权利要求17所述的装置,其特征在于,所述特征图输出模块,用于:
将所述当前卷积层的前一层卷积层输出的特征图与所述前一层卷积层之前的、与所述当前卷积层具有所述第一预设间隔的卷积层输出的特征图进行融合,得到融合特征图;
将所述融合特征图确定为所述当前卷积层的输入特征图。
19.根据权利要求17或18所述的装置,其特征在于,第一个所述第二指定卷积层为所述多层卷积层中的第四层卷积层;所述第一预设间隔包括两层卷积层。
20.根据权利要求15所述的装置,其特征在于,所述车辆属性包括颜色属性、类型属性、品牌属性、型号属性中的多种;
每种车辆属性对应的池化层所连接的第一指定卷积层在所述多层卷积层中的位置,由前至后依次为:颜色属性对应的第一指定卷积层、类型属性对应的指定卷积层、品牌属性对应的第一指定卷积层、型号属性对应的第一指定卷积层;相邻的第一指定卷积层之间间隔第二预设间隔的卷积层;其中,第一层卷积层为所述多层卷积层中输入目标训练图像的卷积层。
21.根据权利要求20所述的装置,其特征在于,如果所述车辆属性包括颜色属性、类型属性、品牌属性和型号属性,所述颜色属性对应的第一指定卷积层为第五层卷积层;所述第二预设间隔为四层卷积层。
22.根据权利要求15所述的装置,其特征在于,所述降维处理模块,用于:
通过每组中的池化层,对所述池化层接收到的特征图进行降维处理,得到降维后的所述特征图;
通过所述池化层连接的全连接层,对降维后的所述特征图进行拉伸处理,得到所述特征图对应的一维特征向量。
23.根据权利要求22所述的装置,其特征在于,所述降维处理模块,用于:
基于当前组对应的车辆属性,通过所述池化层从接收到的特征图中筛选与所述当前组对应的车辆属性相关联的特征维度,将筛选出的特征维度组成为降维后的所述特征图。
24.根据权利要求15所述的装置,其特征在于,所述损失函数包括softmax函数;
所述softmax函数:
Figure FDA0001891922850000071
其中,xi表示所述特征向量中的第i个特征元素;xj表示所述特征向量中的第j个特征元素;N表示所述特征向量中的特征元素总个数。
25.根据权利要求15所述的装置,其特征在于,所述损失值计算模块,用于:
对于每组对应的特征向量,通过所述损失函数计算当前组中每个特征元素的指数函数值;
根据当前组中每个所述特征元素的指数函数值,以及当前组对应的特征向量中的每个所述特征元素的指数函数值总和,确定所述当前特征元素的概率;
将当前组对应的特征向量中,概率最大的特征元素的概率确定为当前组对应的特征向量的损失值。
26.根据权利要求15所述的装置,其特征在于,
所述装置还包括求和模块,用于:将每组对应的损失值进行求和运算,得到损失值总和;
所述训练模块,用于:基于每组对应的损失值对所述初始模型进行训练,直至所述损失值总和收敛时,确定每组对应的损失值均收敛,停止训练。
27.一种车辆属性识别装置,其特征在于,所述装置应用于配置有识别模型的设备;所述识别模型为权利要求1至12任一项所述方法训练得到的目标模型;所述装置包括:
车辆图像获取模块,用于获取待识别的车辆图像;
车辆图像输入模块,用于将所述车辆图像输入至所述目标模型中,得到所述车辆图像对应的车辆的多种属性。
28.根据权利要求27所述的装置,其特征在于,所述车辆的多种属性包括颜色属性、类型属性、品牌属性、型号属性中的多种。
29.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行时执行如权利要求1至12任一所述的车辆属性识别模型训练方法的步骤,或者如权利要求13或14所述的车辆属性识别方法的步骤。
30.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至12任一所述的车辆属性识别模型训练方法的步骤,或者如权利要求13或14所述的车辆属性识别方法的步骤。
CN201811474810.5A 2018-12-04 2018-12-04 车辆属性识别方法及其模型训练方法、装置和电子设备 Pending CN111275061A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811474810.5A CN111275061A (zh) 2018-12-04 2018-12-04 车辆属性识别方法及其模型训练方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811474810.5A CN111275061A (zh) 2018-12-04 2018-12-04 车辆属性识别方法及其模型训练方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN111275061A true CN111275061A (zh) 2020-06-12

Family

ID=71002924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811474810.5A Pending CN111275061A (zh) 2018-12-04 2018-12-04 车辆属性识别方法及其模型训练方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111275061A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313079A (zh) * 2021-07-16 2021-08-27 深圳市安软科技股份有限公司 一种车辆属性识别模型的训练方法、系统及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
US20170372174A1 (en) * 2016-06-28 2017-12-28 Conduent Business Services, Llc System and method for expanding and training convolutional neural networks for large size input images
CN107886073A (zh) * 2017-11-10 2018-04-06 重庆邮电大学 一种基于卷积神经网络的细粒度车辆多属性识别方法
CN108549926A (zh) * 2018-03-09 2018-09-18 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372174A1 (en) * 2016-06-28 2017-12-28 Conduent Business Services, Llc System and method for expanding and training convolutional neural networks for large size input images
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
CN107886073A (zh) * 2017-11-10 2018-04-06 重庆邮电大学 一种基于卷积神经网络的细粒度车辆多属性识别方法
CN108549926A (zh) * 2018-03-09 2018-09-18 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313079A (zh) * 2021-07-16 2021-08-27 深圳市安软科技股份有限公司 一种车辆属性识别模型的训练方法、系统及相关设备

Similar Documents

Publication Publication Date Title
CN110705448B (zh) 一种人体检测方法及装置
CN105989594B (zh) 一种图像区域检测方法及装置
CN108596277B (zh) 一种车辆身份识别方法、装置和存储介质
CN112288758B (zh) 一种电力设备红外与可见光图像配准方法
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN111444828A (zh) 一种模型训练的方法、目标检测的方法、装置及存储介质
CN111368943B (zh) 图像中对象的识别方法和装置、存储介质及电子装置
CN109614935A (zh) 车辆定损方法及装置、存储介质及电子设备
CN107274419A (zh) 一种基于全局先验和局部上下文的深度学习显著性检测方法
CN105512627A (zh) 一种关键点的定位方法及终端
CN113159024A (zh) 一种基于改进YOLOv4的车牌识别技术
CN109635783A (zh) 视频监控方法、装置、终端和介质
CN111241932A (zh) 汽车展厅客流检测与分析系统、方法及存储介质
WO2022222036A1 (zh) 车位确定方法及装置
CN117132737B (zh) 一种三维建筑模型构建方法、系统及设备
CN111914809A (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
JP2019153092A (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
CN112785083B (zh) 到达时间的预估方法、装置、电子设备以及存储介质
CN111488951B (zh) 一种用于rgb-d图像分类的对抗度量学习模型生成方法
CN116824132B (zh) 平面图分割方法、装置及电子设备
CN114708321B (zh) 一种基于语义的相机位姿估计方法及系统
CN111275061A (zh) 车辆属性识别方法及其模型训练方法、装置和电子设备
CN112667832B (zh) 一种未知室内环境下基于视觉的互定位方法
CN114627069A (zh) 车轮触地点的获取方法、存储介质和电子设备
CN116993752B (zh) 实景三维Mesh模型语义分割方法、介质和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200612

RJ01 Rejection of invention patent application after publication