CN107305636A - 目标识别方法、目标识别装置、终端设备和目标识别系统 - Google Patents

Abstract

本发明提供了基于在线自动深度学习的目标识别方法、目标识别装置、终端设备和目标识别系统。其中，该方法包括：实时采集图像数据；利用存储的第一分类器，对采集到的图像数据进行目标识别，以生成带有类别标签的图像数据，类别标签包含目标类别以及目标后验概率；在目标后验概率满足预定存储条件的情况下，按照目标类别，存储为训练样本；以及在预定启动条件被满足的情况下，启动在线深度学习处理，以获得第三分类器，并且用获得的第三分类器来更新存储的第一分类器。通过采用本发明的上述方法，能够实现高准确率的目标识别。

Description

目标识别方法、目标识别装置、终端设备和目标识别系统

技术领域

本发明涉及目标识别技术，尤其涉及基于在线自动深度学习的目标识别方法、目标识别装置、终端设备和目标识别系统。

背景技术

目标识别技术在视频监控、机器人、智能交通等领域都有广泛的应用前景。但是由于目标识别需要涉及到大量数据的计算和分析，外加光视角等环境因素的干扰，传统识别算法无法提取到图像的优选特征，导致识别率有限。

目标识别的一种方法可采用传统的离线学习方法。但是，在传统的离线学习方法中，利用离线分类器训练的分类模型只适用于特定的环境中的特定目标。当视频图像中的目标大小和环境等与训练样本严重不一致时，无法进行精确的行为识别，可移植性不好。虽然通过大样本训练分类器的方法在一定程度上可以弥补这一缺陷。然而，这类算法往往需要建立包括不同条件、不同场景的大样本数据库，同时需要对数据库中的数据进行手工标记，从而带来了巨大的工作量和诸多不便。

目标识别的另一种方法是采用现有的在线学习方法。相比于传统的离线学习方法，现有的在线学习方法不仅能以模型更新的方式保证模型的正确性，还能节约大量的存储空间。在线学习方法可以大大弱化学习过程中手工标注这一繁琐的步骤，通常不需要启动数据，或只需启动少量数据，即，只需手工标注一个较小的样本集来用于分类器的初始训练。然后，该分类器在执行分类任务时，能够不断地获得新样本，从而持续的自我训练和改进，以提高分类精度。虽然可以采用现有的在线学习方法来解决部分问题，但是现有的在线学习方法需要对获得的新样本进行类别的自动标注，否则无法实现识别系统的智能化，并且训练样本标注的正确与否决定了整个训练过程的有效性。因而，初始精度低的分类器极其不适用于响应迅速且精度要求可靠的应用。

在2015年7月1日公开的公告号为CN102915453B的中国专利中，提出了一种实时反馈更新的车辆识别方法，包括离线学习处理、实时识别处理和在线学习处理。首先，利用离线学习处理中得到的离线强分类器中对实时识别过程中采集到的第1～K帧图片进行分类，得到识别结果。然后，在在线学习处理中，根据得到的识别结果截取样本，利用在线强分类器进行车辆识别，得到识别目标。在线学习处理不断对在线强分类器进行更新。但是，在该专利文献中，离线学习依赖于特征提取和分类器选择。特征选取需要针对不同应用作专门设计，并且使用的分类器AdaBoost又依赖于弱分类器初始选择。而且，在线学习的训练样本仅来源于第1～K帧图片，数据类型不能模拟更多的场景。

发明内容

本发明针对现有技术中存在的不足之处，提出了基于在线自动深度学习的目标识别方法、目标识别装置、终端设备和目标识别系统。本发明的目标识别方法、目标识别装置、终端设备和目标识别系统，实现了高准确率的目标识别。

根据本发明的一个方面，提供了一种目标识别方法，所述目标识别方法基于在线自动深度学习，所述方法包括：

实时采集图像数据；

利用存储的第一分类器，对采集到的图像数据进行目标识别，以生成带有类别标签的图像数据，所述类别标签包含目标类别以及目标后验概率；

在所述目标后验概率满足预定存储条件的情况下，按照所述目标类别，将所述带有类别标签的图像数据存储为训练样本；以及

在预定启动条件被满足的情况下，启动在线深度学习处理，所述在线深度学习处理包括基于所述存储的第一分类器构建网络模型，并且将存储的全部训练样本输入到构建的网络模型中进行深度学习处理，以获得第三分类器，并且用获得的所述第三分类器来更新所述存储的第一分类器。

进一步地，所述存储的第一分类器所采用的初始分类器是通过对类别标签由人工标注的训练样本进行深度学习所获得的离线深度学习分类器。

进一步地，所述目标识别方法进一步包括：

定期将所述存储的全部训练样本经由网络传输给远端服务器，以进行离线深度学习处理；以及

经由所述网络从所述远端服务器接收由所述远端服务器进行所述离线深度学习处理所获得的第二分类器，并且在接收到所述第二分类器时，用接收到的所述第二分类器来更新所述存储的第一分类器。

进一步地，在进行目标识别之前，所述方法进一步包括对所述采集到的图像数据进行图像预处理，以提高图像清晰度，并从所述采集到的图像数据中提取出感兴趣区域图像数据；并且

在进行目标识别时，对所述采集到的图像数据中的所述感兴趣区域图像数据进行目标识别。

进一步地，在进行深度学习之前，所述在线深度学习处理进一步包括对所述存储的全部训练样本进行图像预处理，以提高图像清晰度。

进一步地，当属于所述目标类别的所述存储的训练样本的数量尚未达到预定数量时，所述预定存储条件采用第一存储条件，所述第一存储条件为所述目标后验概率大于等于预定阈值；

当属于所述目标类别的所述存储的训练样本的数量已经达到所述预定数量时，所述预定存储条件采用第二存储条件，所述第二存储条件为所述目标后验概率大于等于所述预定阈值，并且所述目标后验概率大于属于所述目标类别的所述存储的训练样本的最低目标后验概率；并且

当所述目标后验概率满足所述第二存储条件时，所述目标识别方法进一步包括，删除最早存储的属于所述目标类别的具有最低目标后验概率的训练样本。

进一步地，所述预定启动条件为使用所述目标识别方法的设备处于空闲状态，并且每个目标类别的所述存储的训练样本的数量均达到所述预定数量。

进一步地，所述预定数量为所述网络模型的网络参数个数的总数×10/要被训练的目标类别的总数。

根据本发明的另一个方面，提供了一种目标识别装置，所述目标识别装置基于在线自动深度学习，所述目标识别装置包括：实时检测装置、第一存储装置以及在线学习装置，其中

所述实时检测装置包括：

图像数据采集单元，所述图像数据采集单元实时采集图像数据；

目标识别单元，所述目标识别单元利用存储在所述第一存储装置中的第一分类器，对采集到的图像数据进行目标识别，以生成带有类别标签的图像数据，所述类别标签包含目标类别以及目标后验概率；

所述第一存储装置包括：

第一分类器存储单元，所述第一分类器存储单元存储所述第一分类器；以及

第一训练样本存储单元，所述第一训练样本存储单元在所述目标后验概率满足预定存储条件的情况下，按照所述目标类别，将所述带有类别标签的图像数据存储为训练样本；

所述在线学习装置包括：

在线学习启动单元，所述在线学习启动单元在预定启动条件被满足的情况下，启动在线深度学习处理；以及

在线深度学习单元，当所述在线学习启动单元启动所述在线深度学习处理时，所述在线深度学习单元基于存储在所述第一分类器存储单元中的所述第一分类器构建网络模型，并且将存储在所述第一训练样本存储单元中的全部训练样本输入到构建的网络模型中进行深度学习处理，以获得第三分类器，并且用获得的所述第三分类器来更新存储在所述第一分类器存储单元中的所述第一分类器。

进一步地，存储在所述第一分类器存储单元中的所述第一分类器所采用的初始分类器是通过对类别标签由人工标注的训练样本进行深度学习所获得的离线深度学习分类器。

进一步地，所述目标识别装置进一步包括第一数据传输装置，其中，

所述第一数据传输装置定期将存储在所述第一训练样本存储单元中的所述全部训练样本经由网络传输给远端服务器，以进行离线深度学习处理；以及

所述第一数据传输装置经由所述网络从所述远端服务器接收由所述远端服务器进行所述离线深度学习处理所获得的第二分类器，并且在接收到所述第二分类器时，用接收到的所述第二分类器来更新存储在所述第一分类器存储单元中的所述第一分类器。

进一步地，所述实时检测装置进一步包括第一图像预处理单元，所述第一图像预处理单元对所述采集到的图像数据进行图像预处理，以提高图像清晰度，并从所述采集到的图像数据中提取出感兴趣区域图像数据；并且

所述目标识别单元对所述采集到的图像数据中的所述感兴趣区域图像数据进行目标识别。

进一步地，所述在线学习装置进一步包括第三图像预处理单元，所述第三图像预处理单元在所述在线深度学习单元进行深度学习处理之前，对存储在所述第一训练样本存储单元中的全部训练样本进行图像预处理，以提高图像清晰度。

进一步地，当存储在所述第一训练样本存储单元中的属于所述目标类别的训练样本的数量尚未达到预定数量时，所述预定存储条件采用第一存储条件，所述第一存储条件为所述目标后验概率大于等于预定阈值；

当存储在所述第一训练样本存储单元中的属于所述目标类别的训练样本的数量已经达到所述预定数量时，所述预定存储条件采用第二存储条件，所述第二存储条件为所述目标后验概率大于等于所述预定阈值，并且所述目标后验概率大于存储在所述第一训练样本存储单元中的属于所述目标类别的训练样本的最低目标后验概率；并且

当所述目标后验概率满足所述第二存储条件时，所述第一训练样本存储单元删除最早存储到所述第一训练样本存储单元中的属于所述目标类别的具有最低目标后验概率的训练样本。

进一步地，所述预定启动条件为具有所述目标识别装置的设备处于空闲状态，并且存储在所述第一训练样本存储单元中的每个目标类别的训练样本的数量均达到所述预定数量。

进一步地，所述预定数量为所述网络模型的网络参数个数的总数×10/要被训练的目标类别的总数。

根据本发明的又一个方面，提供了一种终端装置，所述终端装置包括本发明的目标识别装置。

根据本发明的再一个方面，提供了一种目标识别系统，所述系统包括远端服务器、以及经由网络与所述远端服务器连接的多个本发明的终端装置，其中，

每个所述终端装置利用存储在第一分类器存储单元中的第一分类器对实时采集到的图像数据进行目标识别，将满足预定存储条件的图像数据存储为训练样本，并且用通过对存储在第一训练样本存储单元中的全部训练样本进行深度学习处理所获得的第三分类器或者用从所述远端服务器接收到的第二分类器，来更新存储在所述第一分类器存储单元中的所述第一分类器；

每个所述终端装置包括第一数据传输装置，所述第一数据传输装置定期经由所述网络将存储的全部训练样本传输给所述远端服务器；

所述远端服务器包括第二存储装置、离线学习装置和第二数据传输装置，其中，

所述第二存储装置包括存储所述第二分类器的第二分类器存储单元，以及存储类别标签由人工标注的训练样本和从所述多个终端装置接收到的训练样本的第二训练样本存储单元，

所述离线学习装置包括离线深度学习单元，所述离线深度学习单元基于存储在所述第二分类器存储单元中的所述第二分类器构建网络模型，将存储在所述第二训练样本存储单元中的全部训练样本输入到构建的网络模型中进行深度学习处理，以获得新的第二分类器，并且用获得的所述新的第二分类器来更新存储在所述第二分类器存储单元中的所述第二分类器，以及

所述第二数据传输装置经由所述网络将更新后的所述第二分类器传输给每个所述终端装置。

进一步地，存储在所述第一分类器存储单元中的所述第一分类器与存储在所述第二分类器存储单元中的所述第二分类器采用同一个初始分类器，所述初始分类器是所述离线深度学习单元通过对类别标签由人工标注的训练样本进行深度学习处理所获得的离线深度学习分类器。

进一步地，所述离线学习装置进一步包括第二图像预处理单元，所述第二图像预处理单元在所述离线深度学习单元进行深度学习处理之前，对存储在所述第二训练样本存储单元中的全部训练样本进行图像预处理，以提高图像清晰度。

通过采用本发明的目标识别方法、目标识别装置、终端设备和目标识别系统，能够随着识别目标的外观变化及场景变化，充分利用实时采集到的图像数据，在通过目标后验概率确保训练样本的可靠性的前提下进行在线学习，从而实现高准确率的目标识别。此外，采用离线深度学习分类器作为初始分类器，对目标进行识别，更进一步地保证了较高的识别准确率。

附图说明

图1显示根据本发明的实施例的目标识别系统的配置结构的示意图；

图2显示现有的深度学习方法的流程图；

图3显示根据本发明的实施例的目标识别装置的配置结构的示意图；以及

图4显示根据本发明的实施例的目标识别方法的流程图。

具体实施方式

下面将参考附图描述根据本发明的各种实施例。

图1显示根据本发明的实施例的目标识别系统1的配置的示意图。

如图1所示，目标识别系统1包括远端服务器10和多个终端装置30。每个终端装置30经由网络20与远端服务器10连接，以便相互能够进行数据交换。

每个终端装置30包括目标识别装置300。每个终端装置30的目标识别装置300利用存储的第一分类器对实时采集到的图像数据进行目标识别，将满足预定存储条件的图像数据存储为训练样本，并且用通过对存储的全部训练样本进行深度学习处理所获得的第三分类器或者用从远端服务器10接收到的第二分类器，来更新存储的第一分类器。

每个终端装置30的目标识别装置300定期经由网络30将存储的全部训练样本传输给远端服务器10。

目标识别装置300的具体配置结构以及处理过程将稍后在下文中被详细地说明。下面将结合图1和图2详细描述根据本发明的实施例的远端服务器10的具体配置结构以及处理过程。

如图1所示，远端服务器10包括第二数据传输装置110、第二存储装置120和离线学习装置130。第二存储装置120包括第二分类器存储单元121和第二训练样本存储单元122。离线学习装置130包括第二图像预处理单元131和离线深度学习单元132。

第二数据传输装置110接收每个终端装置30定期经由网络20传输来的训练样本，并且将接收到的训练样本存储到第二训练样本存储单元122中。此外，在第二存储装置120的第二分类器存储单元121中存储的第二分类器被更新后，第二数据传输装置110经由网络30将更新后的第二分类器传输给每个终端装置30。

第二分类器存储单元121用于存储第二分类器。第二训练样本存储单元122用于按照类别存储类别标签由人工标注的训练样本和从多个终端装置30接收到的类别标签由目标识别装置300的训练样本。

第二图像预处理单元131在离线深度学习单元132对存储在第二训练样本存储单元122中的全部训练样本进行深度学习之前，对存储在第二训练样本存储单元122中的全部训练样本进行图像预处理，诸如进行降噪处理或者其他处理，以提高图像清晰度。

离线深度学习单元132采用现有的深度学习方法，并且能够进行两种处理，一种处理是基于零的离线深度学习处理，以及另一种处理是基于在线学习反馈的离线深度学习处理。

下面将描述由离线深度学习单元132进行的基于零的离线深度学习处理。

当目标识别系统1处于初始状态时，即，远端服务器10还没有接收到来自多个终端装置30的训练样本，并且存储在远端服务器10的第二训练样本存储单元122中的训练样本均为类别标签由人工标注的训练样本(在下文中，为了便于说明，将类别标签由人工标注的训练样本简称为“全监督训练样本”)时，离线深度学习单元132对存储在第二训练样本存储单元122中的全部的全监督训练样本进行基于零的离线深度学习处理，来获得初始分类器，获得的初始分类器为离线深度学习分类器。当离线深度学习单元132通过进行基于零的离线深度学习处理获得初始分类器时，离线深度学习单元132将获得的初始分类器存储到第二分类器存储单元121中，以作为第二分类器的初始分类器。然后，远端服务器10的第二数据传输装置110可以经由网络20将存储在第二分类器存储单元121中的第二分类器的初始分类器传输给每个终端装置30，以使得每个终端装置30与远端服务器10具有同一个初始分类器。

下面将结合图2中所显示的现有的深度学习方法的流程图，来描述离线深度学习单元132通过进行基于零的离线深度学习处理来获得初始分类器的过程。

首先，如图2所示，在步骤S201中，离线深度学习单元132通过将网络模型的模型参数的参数值初始化为统一值来构建网络模型。网络模型的模型参数包括网络的层数、每层的节点数、节点与节点之间的权重值、以及响应函数。在现有的深度学习方法中，随着所采用的响应函数的不同，能够构建不同的网络模型。在下文中，将以卷积神经网络模型为例来进行相关的说明。

离线深度学习单元132所构建的卷积神经网络模型的各层包括输入层、输出层、以及在输入层和输出层之间的多层隐层。多层隐层包括滤波器组层、校正层、局部对比归一化层、平均池化和子采样层、以及最大池化和子采样层。滤波器组层包括卷积滤波器、激活函数、以及可训练增益。激活函数采用非线性变换函数sigmoid。卷积滤波器采用核函数进行卷积滤波。校正层对滤波器组层的输出结果进行简单校正，采用的是取绝对值的操作。局部对比归一化层对上层输出结果取均值和方差归一化，即图像特征归一化。平均池化和子采样层使得提取的特征对微小形变具有鲁棒性，采用的是对采样窗口所有值取平均，得到的值被传输到下一采样层。最大池化和子采样层是实现提取到的特征对平移操作的不变性，采用的是对采样窗口所有值取平均最大值，得到的值传输给下一采样层。

接着，在步骤S202中，离线深度学习单元132将经过第二图像预处理单元131的预处理的全部的全监督训练样本中的一部分全监督训练样本按照类别输入到已构建的卷积神经网络模型中，通过对输入的全监督训练样本进行深度学习，利用反卷积的训练方法，对卷积神经网络模型的模型参数进行训练，以调整模型参数的参数值。训练过程包含前向训练和后向训练。前向训练过程为自下而上的非监督学习，即从底层开始，一层一层的往顶层训练。在前向训练过程中，在通过训练学习得到第n-1层的模型参数的参数值之后，将n-1层的输出作为第n层的输入，来训练第n层，由此分别得到各层的模型参数的参数值。后向训练过程为自上而下的监督学习，即训练误差自顶向下传输，对模型参数的参数值进行微调。

然后，在步骤S203中，离线深度学习单元132将经过第二图像预处理单元131的预处理的全部的全监督训练样本中的另一部分全监督训练样本作为测试样本按照类别输入到模型参数已经被训练过的卷积神经网络模型中，经过多次卷积和次抽样处理得到优选特征。

然后，在步骤S204中，离线深度学习单元132根据优选特征，统计出样本属性类别映射关系表，从而获得包含样本属性类别映射关系表以及已经被训练过的模型参数的参数值的离线深度学习分类器，该离线深度学习分类器为初始分类器。

下面将描述由离线深度学习单元132进行的基于在线学习反馈的离线深度学习处理。

当目标识别系统1处于非初始状态时，即，远端服务器10已经接收到来自多个终端装置30的训练样本，并且存储在远端服务器10的第二训练样本存储单元122中的训练样本包括类别标签由人工标注的训练样本、以及从多个终端装置30接收到的类别标签由目标识别装置300标注的训练样本(在下文中，为了便于说明，将既包括类别标签由人工标注的训练样本，又包括从多个终端装置30接收到的类别标签由目标识别装置300标注的训练样本的样本集合简称为“半监督训练样本”)时，离线深度学习单元132基于存储在第二分类器存储单元121中的第二分类器，对存储在第二训练样本存储单元122中的全部的半监督训练样本进行基于在线学习反馈的离线深度学习处理，来获得新的第二分类器。当离线深度学习单元132通过进行基于在线学习反馈的离线深度学习处理获得新的第二分类器时，离线深度学习单元132将获得的新的第二分类器存储到第二分类器存储单元121中，以便用获得的新的第二分类器来更新存储在第二分类器存储单元121中的第二分类器。

离线深度学习单元132进行基于在线学习反馈的离线深度学习处理来获得新的第二分类器的过程，与离线深度学习单元132进行基于零的离线深度学习处理来获得初始分类器的过程大致相同，都是采用如图2所示的现有的深度学习方法。区别仅在于，在进行基于在线学习反馈的离线深度学习处理时，离线深度学习单元132通过将网络模型的模型参数的参数值初始化为存储在第二分类器存储单元121中的第二分类器所包含的模型参数的参数值，即上一次离线学习所获得的模型参数的参数值，来构建卷积神经网络模型，并且输入到构建的卷积神经网络模型中的训练样本为半监督训练样本。获得的新的第二分类器包含样本属性类别映射关系表以及已经被训练过的模型参数的参数值。为了简化说明，这里省略了相同的描述。

下面将结合图3和图4来描述根据本发明的实施例的目标识别装置300的具体配置结构以及处理过程。图3显示根据本发明的实施例的目标识别装置300的配置结构的示意图。

如图3所示，基于在线自动深度学习的目标识别装置300包括实时检测装置310、第一存储装置320、在线学习装置330、以及第一数据传输装置340。

实时检测装置310包括图像数据采集单元311以及目标识别单元313。另外，如图3所示，实时检测装置310还可以进一步包括第一图像预处理单元312。

第一存储装置320包括第一分类器存储单元322以及第一训练样本存储单元321。

第一分类器存储单元322用于存储第一分类器，第一分类器包含样本属性类别映射关系表以及已经被训练过的模型参数的参数值。存储在第一分类器存储单元322中的第一分类器所采用的初始分类器可以是预先存储在第一分类器存储单元322中的通过对类别标签由人工标注的训练样本进行深度学习所获得的离线深度学习分类器，或者也可以是由第一数据传输装置340经由网络20从远端服务器10接收到的初始分类器。

第一训练样本存储单元321用于按照类别存储目标后验概率满足预定存储条件的训练样本。

在线学习装置330包括在线学习启动单元331以及在线深度学习单元333。此外，如图3所示，在线学习装置330还可以包括第三图像预处理单元332。

第一数据传输装置340定期将存储在第一训练样本存储单元321中的全部训练样本经由网络20传输给远端服务器30，以进行离线深度学习处理。而且，第一数据传输装置340还经由网络20从远端服务器10接收由远端服务器10进行离线深度学习处理所获得的第二分类器，并且在接收到第二分类器时，用接收到的第二分类器来更新存储在第一分类器存储单元中的第一分类器。

图4显示根据本发明的实施例的由目标识别装置300进行的目标识别方法的流程图。

如图4所示，首先，在步骤S401中，图像数据采集单元311实时采集图像数据。图像数据采集单元311包括光学系统和摄像头。光学系统具有变倍功能、自动调焦功能等。摄像头可以是采用彩色CCD(电荷耦合元件)的摄像机。

接着，在步骤S402中，目标识别单元313利用存储在第一存储装置322中的第一分类器，对采集到的图像数据进行目标识别，以生成带有类别标签的图像数据。类别标签包含目标类别以及目标后验概率。

另外，在目标识别单元313对采集到的图像数据进行目标识别之前，还可以利用第一图像预处理单元312对图像数据采集单元311采集到的图像数据进行诸如降噪处理等的图像预处理，以提高图像清晰度。

另外，为了使得目标识别单元313能够更准确对采集到的图像数据进行目标识别，第一图像预处理单元312还可以对图像数据采集单元311采集到的图像数据进行诸如运动检测法(如光流法)、背景建立法(如高斯混合模型建立)、目标物候选区域提取(如DPM变形零部件模型)等图像预处理，以从采集到的图像数据中提取出感兴趣区域图像数据。

此时，在步骤S402中，目标识别单元313利用存储在第一存储装置322中的第一分类器，对采集到的图像数据中的感兴趣区域图像数据进行目标识别，以生成带有类别标签的图像数据。类别标签包含目标类别以及目标后验概率。

目标识别单元313根据第一分类器中包含的样本属性类别映射关系表，计算采集到的图像数据或者采集到的图像数据中的感兴趣区域图像数据分别对应于各个类别的概率值，将具有最大概率值的类别确定为采集到的图像数据或者采集到的图像数据中的感兴趣区域图像数据的目标类别，并且将该最大概率值作为采集到的图像数据或者采集到的图像数据中的感兴趣区域图像数据的目标后验概率。

目标识别单元313的识别结果，包括采集到的图像数据或者采集到的图像数据中的感兴趣区域图像数据的目标类别以及目标后验概率，可以被输出，以便用于其他应用。例如，目标识别单元313的识别结果可以作为跟踪算法的输入来进行目标跟踪。

接着，在步骤S403中，第一存储装置中的第一训练样本存储单元321判断采集到的图像数据或者采集到的图像数据中的感兴趣区域图像数据的目标后验概率是否满足预定存储条件。当采集到的图像数据或者采集到的图像数据中的感兴趣区域图像数据的目标后验概率满足预定存储条件时(步骤S403中的是)，第一训练样本存储单元321在步骤S404中，按照目标类别，将带有类别标签的图像数据存储为训练样本。当采集到的图像数据或者采集到的图像数据中的感兴趣区域图像数据的目标后验概率不满足预定存储条件时(步骤S403中的否)，返回步骤S401。

可以根据需要来设定预定存储条件。在本实施例中，基于确保存储在第一训练样本存储单元中的训练样本的可靠性的目的，来设定预定存储条件。

当存储在第一训练样本存储单元321中的属于采集到的图像数据或者采集到的图像数据中的感兴趣区域图像数据的目标类别的训练样本的数量尚未达到预定数量时，采用第一存储条件作为预定存储条件。第一存储条件为采集到的图像数据或者采集到的图像数据中的感兴趣区域图像数据的目标后验概率大于等于预定阈值。一般，预定阈值设定得越高，存储到第一训练样本存储单元321中的训练样本的可靠性越高。预定数量可以被设定成将要在在线深度学习单元中构建的网络模型的网络参数个数的总数×10/要被训练的目标类别的总数。

当存储在第一训练样本存储单元321中的属于采集到的图像数据或者采集到的图像数据中的感兴趣区域图像数据的目标类别的训练样本的数量已经达到预定数量时，采用第二存储条件作为预定存储条件。第二存储条件为采集到的图像数据或者采集到的图像数据中的感兴趣区域图像数据的目标后验概率大于等于预定阈值，并且采集到的图像数据或者采集到的图像数据中的感兴趣区域图像数据的目标后验概率大于存储在第一训练样本存储单元321中的属于采集到的图像数据或者采集到的图像数据中的感兴趣区域图像数据的目标类别的训练样本的最低目标后验概率。

当采集到的图像数据或者采集到的图像数据中的感兴趣区域图像数据的目标后验概率满足第二存储条件时，第一训练样本存储单元321进一步删除最早存储到第一训练样本存储单元321中的属于采集到的图像数据或者采集到的图像数据中的感兴趣区域图像数据的目标类别的具有最低目标后验概率的训练样本。

接着，在步骤S405中，在线学习启动单元331判断预定启动条件是否被满足。当在线学习启动单元331判断预定启动条件被满足时(步骤S405中的是)，在线学习启动单元331在步骤S406中启动在线深度学习处理，以获得第三分类器。当在线学习启动单元331判断预定启动条件没有被满足时(步骤S405中的否)，返回步骤S401。

在本实施例中，预定启动条件被设定为具有目标识别装置300的终端设备30处于空闲状态，并且存储在第一训练样本存储单元321中的每个目标类别的训练样本的数量均达到预定数量。

由于具有目标识别装置300的终端设备30可以被应用于不同领域，因此，确定具有目标识别装置300的终端设备30的设备状态的方法也不同。

举例来说，当具有目标识别装置300的终端设备30被应用于自动驾驶/辅助驾驶时，即目标识别装置300被安装在作为终端设备30的车辆中时，目标识别装置300可以通过识别终端设备30(车辆)当前是否长时间停止运动(已熄火)来确定终端设备30(车辆)是否处于空闲状态。即，目标识别装置300识别运动目标所在场景是否发生变化，包括对图像序列背景建模获取相对于光照变化鲁棒的背景模型与前一时刻获得的背景模型进行比较来识别是否发生场景变化。所谓背景建模就是提取运动目标图像序列中每一帧无运动区域部分，对该部分进行混合高斯背景建模，求取图像序列当前帧的背景模型和以前获得背景模型差异值来判断场景是否发生变化。如果目标识别装置300识别当前终端设备30(车辆)已停止运行，背景场景未发生变化，则确定终端设备30(车辆)处于空闲状态。

当具有目标识别装置300的终端设备30被应用于视频监控时，目标识别装置300可通过识别当前是否存在运动物体来确定终端设备30是否处于空闲状态。如果目标识别装置300识别当前不存在运动物体时，则确定终端设备30处于空闲状态。

对于某些其他应用，目标识别装置300也可以通过识别当前场景是否已经开始红外补光来确定终端设备30是否处于空闲状态。如果目标识别装置300识别当前已经开始红外补光，即当前正处于晚间，无须进行实时识别，则确定终端设备30处于空闲状态。

在步骤S406中，当在线学习启动单元331启动在线深度学习处理时，第三图像预处理单元332在在线深度学习单元333进行深度学习处理之前，对存储在第一训练样本存储单元321中的全部训练样本进行图像预处理，以提高图像清晰度。然后，在步骤S407中，在线深度学习单元333基于存储在第一分类器存储单元321中的第一分类器构建网络模型，并且将存储在第一训练样本存储单元321中的全部训练样本输入到构建的网络模型中进行深度学习处理，以获得第三分类器。

在线深度学习单元333类似于离线深度学习单元132，也是采用现有的深度学习方法，来进行基于在线学习反馈的在线深度学习处理，以获得第三分类器。

在线深度学习单元333进行基于在线学习反馈的在线深度学习处理，与离线深度学习单元132进行基于在线学习反馈的离线深度学习处理来获得新的第二分类器的过程大致相同，都是采用如图2所示的现有的深度学习方法。区别仅在于，在进行基于在线学习反馈的在线深度学习处理时，在线深度学习单元333通过将网络模型的模型参数的参数值初始化为存储在第一分类器存储单元322中的第一分类器所包含的模型参数的参数值，即上一次在线学习所获得的模型参数的参数值，来构建卷积神经网络模型，并且输入到构建的卷积神经网络模型中的训练样本为存储在第一训练样本存储单元321中的类别标签由目标识别单元313标注的训练样本(简称为“无监督训练样本”)。获得的第三分类器包含样本属性类别映射关系表以及已经被训练过的模型参数的参数值。

接着，在步骤S407中，在线深度学习单元333用获得的第三分类器来更新存储在第一分类器存储单元中的第一分类器。

采用本发明的目标识别装置200进行目标识别，解决了现有技术中需要采集大量样本的问题，节省了大量资源和时间。本发明的目标识别装置200通过在线学习，可以在目标识别过程中，不断更新和调整用于目标识别的分类器，逐步提高识别的正确率，很好地解决了目标外观变化、快速运动以及遮挡等问题。并且，本发明采用的深度学习网络具有多个隐层，拥有比浅层网络更加优异的特征表达能力，对光线、视角不敏感，算法具有较好的识别效果及优良的分类性能。

在本发明的目标识别系统1中，采用了全监督或半监督的离线学习与无监督的在线学习相结合的方案，适应于各种场景、角度、光照、天气的变化，解决了目标多尺度变化和遮挡造成的目标漂移丢失问题，保证了目标分类的适应性和可靠性。离线学习采用深度学习这种多层感知器，不需要特殊的特征提取算法，这部分由网络自动完成。在线学习完全基于非监督方式获得分类器，而不需要通过用户参与的监督学习训练类别模型，从而提高了系统的自动化程度。并且，在线学习训练样本选择采用信任度高的带类别标签样本，有利于保证在线学习的精度。在线训练后学习完毕之后，选择不丢弃信任度高的样本，反馈给离线训练，有利于提高离线学习的精度。

本发明适用于自动驾驶/辅助驾驶中实时且高精度的障碍物识别以及视频监控中高精度目标识别。

虽然经过对本发明结合具体实施例进行描述，对于本领域的技术技术人员而言，根据上文的叙述后作出的许多替代、修改与变化将是显而易见。因此，当这样的替代、修改和变化落入附后的权利要求的精神和范围之内时，应该被包括在本发明中。

Claims (20)

1.一种目标识别方法，所述目标识别方法基于在线自动深度学习，其特征在于，所述方法包括：

实时采集图像数据；

利用存储的第一分类器，对采集到的图像数据进行目标识别，以生成带有类别标签的图像数据，所述类别标签包含目标类别以及目标后验概率；

在所述目标后验概率满足预定存储条件的情况下，按照所述目标类别，将所述带有类别标签的图像数据存储为训练样本；以及

在预定启动条件被满足的情况下，启动在线深度学习处理，所述在线深度学习处理包括基于所述存储的第一分类器构建网络模型，并且将存储的全部训练样本输入到构建的网络模型中进行深度学习处理，以获得第三分类器，并且用获得的所述第三分类器来更新所述存储的第一分类器。

2.如权利要求1所述的方法，其特征在于，所述存储的第一分类器所采用的初始分类器是通过对类别标签由人工标注的训练样本进行深度学习所获得的离线深度学习分类器。

3.如权利要求2所述的方法，其特征在于，所述目标识别方法进一步包括：

定期将所述存储的全部训练样本经由网络传输给远端服务器，以进行离线深度学习处理；以及

经由所述网络从所述远端服务器接收由所述远端服务器进行所述离线深度学习处理所获得的第二分类器，并且在接收到所述第二分类器时，用接收到的所述第二分类器来更新所述存储的第一分类器。

4.如权利要求3所述的方法，其特征在于，在进行目标识别之前，所述方法进一步包括对所述采集到的图像数据进行图像预处理，以提高图像清晰度，并从所述采集到的图像数据中提取出感兴趣区域图像数据；并且

在进行目标识别时，对所述采集到的图像数据中的所述感兴趣区域图像数据进行目标识别。

5.如权利要求4所述的方法，其特征在于，在进行深度学习之前，所述在线深度学习处理进一步包括对所述存储的全部训练样本进行图像预处理，以提高图像清晰度。

6.如权利要求1-5中任一项所述的方法，其特征在于，当属于所述目标类别的所述存储的训练样本的数量尚未达到预定数量时，所述预定存储条件采用第一存储条件，所述第一存储条件为所述目标后验概率大于等于预定阈值；

当属于所述目标类别的所述存储的训练样本的数量已经达到所述预定数量时，所述预定存储条件采用第二存储条件，所述第二存储条件为所述目标后验概率大于等于所述预定阈值，并且所述目标后验概率大于属于所述目标类别的所述存储的训练样本的最低目标后验概率；并且

当所述目标后验概率满足所述第二存储条件时，所述目标识别方法进一步包括，删除最早存储的属于所述目标类别的具有最低目标后验概率的训练样本。

7.如权利要求6所述的方法，其特征在于，所述预定启动条件为使用所述目标识别方法的设备处于空闲状态，并且每个目标类别的所述存储的训练样本的数量均达到所述预定数量。

8.如权利要求7所述的方法，其特征在于，所述预定数量为所述网络模型的网络参数个数的总数×10/要被训练的目标类别的总数。

9.一种目标识别装置，所述目标识别装置基于在线自动深度学习，其特征在于，所述目标识别装置包括：实时检测装置、第一存储装置以及在线学习装置，其中

所述实时检测装置包括：

图像数据采集单元，所述图像数据采集单元实时采集图像数据；

目标识别单元，所述目标识别单元利用存储在所述第一存储装置中的第一分类器，对采集到的图像数据进行目标识别，以生成带有类别标签的图像数据，所述类别标签包含目标类别以及目标后验概率；

所述第一存储装置包括：

第一分类器存储单元，所述第一分类器存储单元存储所述第一分类器；以及

第一训练样本存储单元，所述第一训练样本存储单元在所述目标后验概率满足预定存储条件的情况下，按照所述目标类别，将所述带有类别标签的图像数据存储为训练样本；

所述在线学习装置包括：

在线学习启动单元，所述在线学习启动单元在预定启动条件被满足的情况下，启动在线深度学习处理；以及

在线深度学习单元，当所述在线学习启动单元启动所述在线深度学习处理时，所述在线深度学习单元基于存储在所述第一分类器存储单元中的所述第一分类器构建网络模型，并且将存储在所述第一训练样本存储单元中的全部训练样本输入到构建的网络模型中进行深度学习处理，以获得第三分类器，并且用获得的所述第三分类器来更新存储在所述第一分类器存储单元中的所述第一分类器。

10.如权利要求9所述的装置，其特征在于，存储在所述第一分类器存储单元中的所述第一分类器所采用的初始分类器是通过对类别标签由人工标注的训练样本进行深度学习所获得的离线深度学习分类器。

11.如权利要求10所述的装置，其特征在于，进一步包括第一数据传输装置，其中，

所述第一数据传输装置定期将存储在所述第一训练样本存储单元中的所述全部训练样本经由网络传输给远端服务器，以进行离线深度学习处理；以及

所述第一数据传输装置经由所述网络从所述远端服务器接收由所述远端服务器进行所述离线深度学习处理所获得的第二分类器，并且在接收到所述第二分类器时，用接收到的所述第二分类器来更新存储在所述第一分类器存储单元中的所述第一分类器。

12.如权利要求11所述的装置，其特征在于，所述实时检测装置进一步包括第一图像预处理单元，所述第一图像预处理单元对所述采集到的图像数据进行图像预处理，以提高图像清晰度，并从所述采集到的图像数据中提取出感兴趣区域图像数据；并且

所述目标识别单元对所述采集到的图像数据中的所述感兴趣区域图像数据进行目标识别。

13.如权利要求12所述的装置，其特征在于，所述在线学习装置进一步包括第三图像预处理单元，所述第三图像预处理单元在所述在线深度学习单元进行深度学习处理之前，对存储在所述第一训练样本存储单元中的全部训练样本进行图像预处理，以提高图像清晰度。

14.如权利要求9-13中任一项所述的装置，其特征在于，当存储在所述第一训练样本存储单元中的属于所述目标类别的训练样本的数量尚未达到预定数量时，所述预定存储条件采用第一存储条件，所述第一存储条件为所述目标后验概率大于等于预定阈值；

当存储在所述第一训练样本存储单元中的属于所述目标类别的训练样本的数量已经达到所述预定数量时，所述预定存储条件采用第二存储条件，所述第二存储条件为所述目标后验概率大于等于所述预定阈值，并且所述目标后验概率大于存储在所述第一训练样本存储单元中的属于所述目标类别的训练样本的最低目标后验概率；并且

当所述目标后验概率满足所述第二存储条件时，所述第一训练样本存储单元删除最早存储到所述第一训练样本存储单元中的属于所述目标类别的具有最低目标后验概率的训练样本。

15.如权利要求14所述的装置，其特征在于，所述预定启动条件为具有所述目标识别装置的设备处于空闲状态，并且存储在所述第一训练样本存储单元中的每个目标类别的训练样本的数量均达到所述预定数量。

16.如权利要求15所述的装置，其特征在于，所述预定数量为所述网络模型的网络参数个数的总数×10/要被训练的目标类别的总数。

17.一种终端装置，其特征在于，所述终端装置包括如权利要求9-16中任一项所述的目标识别装置。

18.一种目标识别系统，其特征在于，所述系统包括远端服务器、以及经由网络与所述远端服务器连接的多个如权利要求17所述的终端装置，其中，

每个所述终端装置利用存储在第一分类器存储单元中的第一分类器对实时采集到的图像数据进行目标识别，将满足预定存储条件的图像数据存储为训练样本，并且用通过对存储在第一训练样本存储单元中的全部训练样本进行深度学习处理所获得的第三分类器或者用从所述远端服务器接收到的第二分类器，来更新存储在所述第一分类器存储单元中的所述第一分类器；

每个所述终端装置包括第一数据传输装置，所述第一数据传输装置定期经由所述网络将存储的全部训练样本传输给所述远端服务器；

所述远端服务器包括第二存储装置、离线学习装置和第二数据传输装置，其中，

所述第二存储装置包括存储所述第二分类器的第二分类器存储单元，以及存储类别标签由人工标注的训练样本和从所述多个终端装置接收到的训练样本的第二训练样本存储单元，

所述离线学习装置包括离线深度学习单元，所述离线深度学习单元基于存储在所述第二分类器存储单元中的所述第二分类器构建网络模型，将存储在所述第二训练样本存储单元中的全部训练样本输入到构建的网络模型中进行深度学习处理，以获得新的第二分类器，并且用获得的所述新的第二分类器来更新存储在所述第二分类器存储单元中的所述第二分类器，以及

所述第二数据传输装置经由所述网络将更新后的所述第二分类器传输给每个所述终端装置。

19.如权利要求18所述的系统，其特征在于，存储在所述第一分类器存储单元中的所述第一分类器与存储在所述第二分类器存储单元中的所述第二分类器采用同一个初始分类器，所述初始分类器是所述离线深度学习单元通过对类别标签由人工标注的训练样本进行深度学习处理所获得的离线深度学习分类器。

20.如权利要求18所述的系统，其特征在于，所述离线学习装置进一步包括第二图像预处理单元，所述第二图像预处理单元在所述离线深度学习单元进行深度学习处理之前，对存储在所述第二训练样本存储单元中的全部训练样本进行图像预处理，以提高图像清晰度。