CN110458136A - 一种交通标志识别方法、装置和设备 - Google Patents

Abstract

本申请公开了一种交通标志识别方法、装置和设备，其中方法包括：获取待识别交通标志图像；将待识别交通标志图像输入到训练好的深度信念网络模型中进行特征提取，得到待识别交通标志图像对应的第一特征向量；将第一特征向量转换成第一脉冲序列；将第一脉冲序列输入到训练好的脉冲神经网络中，获取训练好的脉冲神经网络输出的识别结果。本申请采用深度信念网络模型与脉冲神经网络相结合的方式进行交通标志识别，不需要进行人工特征提取，大大减少了人工干预，提高了识别速度，通过充分利用深度信念网络模型和脉冲神经网络的优点，提高了识别结果，解决了现有的交通标志识别准确度低、速度慢的技术问题。

Description

一种交通标志识别方法、装置和设备

技术领域

本申请涉及图像识别技术领域，尤其涉及一种交通标志识别方法、装置和设备。

背景技术

交通标志是车辆行驶过程中获得信息的重要来源，对交通标志准确、快速识别对于保障交通安全、交通秩序，提高交通效率有着重要意义，也对目前正在兴起的无人驾驶研究有重要意义。

传统的交通标志识别方法是利用图像匹配、特征提取与分类器结合等方法进行识别，人为干预较多，存在识别准确度低、速度慢的问题。

发明内容

本申请提供了一种交通标志识别方法、装置和设备，用于解决现有的交通标志识别准确度低、速度慢的技术问题。

有鉴于此，本申请第一方面提供了一种交通标志识别方法，包括：

获取待识别交通标志图像；

将所述待识别交通标志图像输入到训练好的深度信念网络模型中进行特征提取，得到所述待识别交通标志图像对应的第一特征向量；

将所述第一特征向量转换成第一脉冲序列；

将所述第一脉冲序列输入到训练好的脉冲神经网络中，获取所述训练好的脉冲神经网络输出的识别结果。

优选地，还包括：

获取待训练交通标志图像集；

将所述待训练交通标志图像集中的待训练交通标志图像输入到训练好的深度信念网络模型中进行特征提取，得到所述待训练交通标志图像对应的第二特征向量；

基于时滞相位编码对所述第二特征向量进行转换，得到第二脉冲序列；

将所述第二脉冲序列输入到脉冲神经网络中，对所述脉冲神经网络进行训练；

计算所述脉冲神经网络对所述待训练交通标志图像的识别准确率，当所述识别准确率高于阈值时，训练完成，得到训练好的脉冲神经网络。

优选地，所述将所述待训练交通标志图像集中的待训练交通标志图像输入到训练好的深度信念网络模型中进行特征提取，得到所述待训练交通标志图像对应的第二特征向量，之前还包括：

对所述待训练交通标志图像进行预处理。

优选地，所述预处理包括：

基于双线性插值算法对所述待训练交通标志图像进行尺寸归一化处理，得到归一化处理后的待训练交通标志图像。

优选地，所述将所述第二脉冲序列输入到脉冲神经网络中，对所述脉冲神经网络进行训练，包括：

将所述第二脉冲序列输入到脉冲神经网络中，基于三脉冲STDP与阈值可塑性结合的学习方法对所述脉冲神经网络进行训练。

本申请第二方面提供了一种交通标志识别装置，包括：

第一图像获取模块，用于获取待识别交通标志图像；

第一特征提取模块，用于将所述待识别交通标志图像输入到训练好的深度信念网络模型中进行特征提取，得到所述待识别交通标志图像对应的第一特征向量；

第一转换模块，用于将所述第一特征向量转换成第一脉冲序列；

识别模块，用于将所述第一脉冲序列输入到训练好的脉冲神经网络中，获取所述训练好的脉冲神经网络输出的识别结果。

优选地，还包括：

第二图像获取模块，用于获取待训练交通标志图像集；

第二特征提取模块，用于将所述待训练交通标志图像集中的待训练交通标志图像输入到训练好的深度信念网络模型中进行特征提取，得到所述待训练交通标志图像对应的第二特征向量；

第二转换模块，用于基于时滞相位编码对所述第二特征向量进行转换，得到第二脉冲序列；

训练模块，用于将所述第二脉冲序列输入到脉冲神经网络中，对所述脉冲神经网络进行训练；

计算模块，用于计算所述脉冲神经网络对所述待训练交通标志图像的识别准确率，当所述识别准确率高于阈值时，训练完成，得到训练好的脉冲神经网络。

优选地，还包括：

预处理模块，用于对所述待训练交通标志图像进行预处理。

本申请第三方面提供了一种交通标志识别设备，其特征在于，包括：所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面任一项所述的交通标志识别方法。

本申请第四方面提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面任一项所述的交通标志识别方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请中，提供了一种交通标志识别方法，包括：获取待识别交通标志图像；将待识别交通标志图像输入到训练好的深度信念网络模型中进行特征提取，得到待识别交通标志图像对应的第一特征向量；将第一特征向量转换成第一脉冲序列；将第一脉冲序列输入到训练好的脉冲神经网络中，获取训练好的脉冲神经网络输出的识别结果。本申请利用训练好的深度信念网络模型对交通标志图像进行特征提取，不需要进行人工特征提取，通过深度信念网络模型对输入的交通标志图像进行特征降维和特征选择，大大减少了人工干预，从原始的交通标志图像中提取到高层次的特征，并筛选掉了冗余的噪声信息，有助于提高后续脉冲神经网络的识别结果，采用深度信念网络模型与脉冲神经网络相结合的方式进行交通标志识别，提高了识别速度，通过充分利用深度信念网络模型和脉冲神经网络的优点，提高了识别结果，解决了现有的交通标志识别准确度低、速度慢的技术问题。

附图说明

图1为本申请提供的一种交通标志识别方法的一个实施例的流程示意图；

图2为本申请提供的一种交通标志识别方法的另一个实施例的流程示意图；

图3为本申请提供的一种交通标志识别装置的一个实施例的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请提供的一种交通标志识别方法的一个实施例，包括：

步骤101，获取待识别交通标志图像。

需要说明的是，由于可能会存在获取到的图像中有不符合要求的图像，即存在不含有交通标志的图像，为了不对识别的结果产生影响，可以对获取的交通标志图像进行筛选，筛选掉一些不包含交通标志的图像以及一些模糊不清楚的交通标志图像，将符合要求的交通标志图像作为最终获取到的待识别交通标志图像。

步骤102，将待识别交通标志图像输入到训练好的深度信念网络模型中进行特征提取，得到待识别交通标志图像对应的第一特征向量。

需要说明的是，本实施例中的深度信念网络模型(deep belief network，DBN)由两层深度玻尔兹曼机模型(deep Boltzmann machine，DBM)和两层DBN模型融合构成，其中，DBM模型和DBN模型均以受限玻尔兹曼机(Restricted Boltzmann Machine，RBM)为基本构成单元，不同之处在于，DBM层间是无向连接，而DBN层间是有向连接。

深度信念网络模型中的低层采用信息还原度强的两层DBM对待识别交通标志图像进行初步的降维，得到去噪声后的和完整度较高的特征，将得到的特征作为两层DBN的输入，然后通过两层DBN来提取更高层特征。通过对DBM和DBN分别进行无监督训练和有监督微调，最终得到训练好的深度信念网络模型，通过训练好的深度信念网络模型，提取待识别交通标志图像的高层特征，有助于提高后续脉冲神经网络的识别结果。

步骤103，将第一特征向量转换成第一脉冲序列。

需要说明的是，脉冲神经网络的输入用脉冲序列表示，所以需要将提取的第一特征向量转换成第一脉冲序列，从而能够与后续采用脉冲神经网络进行交通标志识别相适应，使得脉冲神经网络能够更好地进行识别。

步骤104，将第一脉冲序列输入到训练好的脉冲神经网络中，获取训练好的脉冲神经网络输出的识别结果。

需要说明的是，传统的人工神经网络是对生物神经元的脉冲发放频率进行编码，神经元的输出一般为给定区间的模拟，其运算能力和生物真实性弱于脉冲神经网络，而采用训练好的脉冲神经网络进行交通标志识别有利于提高识别结果，因此，本实施例采用训练好的脉冲神经网络进行交通标志识别。

申请人发现，现有技术中采用图像匹配、特征提取与分类器结合的方法，人工干预较多，存在识别准确度低、速度慢的问题。因此，为解决现有技术中存在的这些问题，申请人提出本申请实施例中提供的交通标志识别方法，该方法达到了以下技术效果：

本申请实施例提供的交通标志识别方法，通过利用训练好的深度信念网络模型对交通标志图像进行特征提取，不需要进行人工特征提取，通过深度信念网络模型对输入的交通标志图像进行特征降维和特征选择，大大减少了人工干预，从原始的交通标志图像中提取到高层次的特征，并筛选掉了冗余的噪声信息，有助于提高后续脉冲神经网络的识别结果，采用深度信念网络模型与脉冲神经网络相结合的方式进行交通标志识别，提高了识别速度，通过充分利用深度信念网络模型和脉冲神经网络的优点，提高了识别结果，解决了现有的交通标志识别准确度低、速度慢的技术问题。

为了便于理解，请参阅图2，本申请提供的一种交通标志识别方法的另一个实施例，包括：

步骤201，获取待训练交通标志图像集。

需要说明的是，本实施例中的待训练交通标志图像集的待训练交通标志图像来自于德国交通标志识别数据库(German traffic sign recognition benchmark，GTSRB)。

步骤202，对待训练交通标志图像集中的待训练交通标志图像进行预处理。

需要说明的是，为了方便深度信念网络进行特征提取，可以对待训练交通标志图像集中的待训练交通标志图像进行尺寸归一化处理，可以采用双线性插值算法对待训练交通标志图像进行尺寸归一化，归一化后的待训练交通标志图像为同样大小，例如大小为48×48或28×28像素。

GTSRB数据库中有部分模糊、大面积水印的交通标志图像，可以对其进行筛选，筛选掉质量低的交通标志图像，留下高质量的交通标志图像，有利于深度信念网络提取到有益的特征信息，从而提高脉冲神经网络的识别结果。

步骤203，将预处理后的待训练交通标志图像输入到训练好的深度信念网络模型中进行特征提取，得到待训练交通标志图像对应的第二特征向量。

步骤204，基于时滞相位编码对第二特征向量进行转换，得到第二脉冲序列。

需要说明的是，常用的编码方式有时滞编码、相位编码，本实施例中采用时滞编码和相位编码相结合的方式对提取的第二特征向量进行编码，即时滞相位编码，采用时滞相位编码可以生成更好的脉冲序列，有助于提高脉冲神经网络的交通标志识别结果。

步骤205，将第二脉冲序列输入到脉冲神经网络中，对脉冲神经网络进行训练。

需要说明的是，本实施例中的脉冲神经网络采用LIF(Leaky Integrate-and-Fire)神经元，其中，第一层为竞争层，由多个LIF神经元构成，竞争层中神经元之间采用侧抑制的方式达到竞争性学习的目的，其侧抑制过程具体为：每当一个神经元迸发一个动作电位，该神经元会立即复位到初始状态，并进入不应期，而其他所有神经元复位到静息膜电位，进入抑制期。每当有神经元发放脉冲，所有神经元都会复位，然后重新开始竞争，通过竞争来学习，从而对脉冲神经网络进行训练；脉冲神经网络的第二层为输出层，输出层输出每个类别的相似度值，相似度值越小，说明相似度越高，相似度值最小的类的标签为最终的识别结果，相似度值的计算的具体步骤为：

假设输入图像矩阵为I＝x_ij∈R^n×n，对输入图像矩阵进行标准化处理，即：

x′_ij＝(x_ij-x_min)/(x_max-x_min)

其中，x_max、x_min分别为I中最大、最小像素值，x′_ij为标准化处理后的输入图像。

假设标签为L的神经元分别记为其中，为标签为L的第m个神经元，M_L为神经元的个数，L＝0,1,…,9；标签为L的第m个神经元对输入图像对应的脉冲序列发放的脉冲个数为标签为L的第m个神经元对应的感受野权值矩阵为将标签为L的M_L个神经元的脉冲个数与感受野权值进行乘累加，得到标签为L的神经元对输入图像的重构图像，即：

假设R_L＝r_ij∈R^n×n，对其同样进行标准化处理，得到标准化处理后的重构图像r′_ij，计算标准化处理后的输入图像与标准化处理后的重构图像的相似度值S_L，具体相似度值计算公式如下所示：

得到10个相似度数值S₀,S₁,…,S₉，比较S₀,S₁,…，S₉的大小，相似度值最小的类的标签为最终的识别结果，假设S₆最小，则标签6所代表的类别为最终识别结果。

脉冲神经网络采用三脉冲STDP与阈值可塑性结合的学习方法进行训练，三脉冲STDP学习方法是针对突触的，而阈值可塑性学习方法是针对神经元的阈值电位，采用三脉冲STDP与阈值可塑性结合的学习方法，使得神经元的发放频率得到了限制。

步骤206，计算脉冲神经网络对待训练交通标志图像的识别准确率，当识别准确率高于阈值时，训练完成，得到训练好的脉冲神经网络。

需要说明的是，识别准确率通过正确识别的待训练交通标志图像数目与所有待训练图像数目的比值计算得到，当识别准确率高于预先设定的阈值时，则认为训练完成，停止训练，得到训练好的脉冲神经网络。

步骤207，获取待识别交通标志图像。

步骤208，将待识别交通标志图像输入到训练好的深度信念网络模型中进行特征提取，得到待识别交通标志图像对应的第一特征向量。

步骤209，将第一特征向量转换成第一脉冲序列。

步骤210，将第一脉冲序列输入到训练好的脉冲神经网络中，获取训练好的脉冲神经网络输出的识别结果。

需要说明的是，本申请实施例中的步骤207至步骤210与上一实施例中的步骤101至步骤104一致，在此不再进行赘述。

为了便于理解，请参阅图3，本发明提供的一种交通标志识别装置的一个实施例，包括：

第一图像获取模块301，用于获取待识别交通标志图像；

第一特征提取模块302，用于将待识别交通标志图像输入到训练好的深度信念网络模型中进行特征提取，得到待识别交通标志图像对应的第一特征向量；

第一转换模块303，用于将第一特征向量转换成第一脉冲序列；

识别模块304，用于将第一脉冲序列输入到训练好的脉冲神经网络中，获取训练好的脉冲神经网络输出的识别结果。

进一步，还包括：

第二图像获取模块305，用于获取待训练交通标志图像集；

第二特征提取模块306，用于将待训练交通标志图像集中的待训练交通标志图像输入到训练好的深度信念网络模型中进行特征提取，得到待训练交通标志图像对应的第二特征向量；

第二转换模块307，用于采用时滞相位编码对第二特征向量进行转换，得到第二脉冲序列；

训练模块308，用于将第二脉冲序列输入到脉冲神经网络中，对脉冲神经网络进行训练；

计算模块309，用于计算脉冲神经网络对待训练交通标志图像的识别准确率，当识别准确率高于阈值时，训练完成，得到训练好的脉冲神经网络。

进一步，还包括：

预处理模块310，用于对待训练交通标志图像进行预处理。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种交通标志识别方法，其特征在于，包括：

获取待识别交通标志图像；

将所述待识别交通标志图像输入到训练好的深度信念网络模型中进行特征提取，得到所述待识别交通标志图像对应的第一特征向量；

将所述第一特征向量转换成第一脉冲序列；

将所述第一脉冲序列输入到训练好的脉冲神经网络中，获取所述训练好的脉冲神经网络输出的识别结果。

2.根据权利要求1所述的交通标志识别方法，其特征在于，还包括：

获取待训练交通标志图像集；

将所述待训练交通标志图像集中的待训练交通标志图像输入到训练好的深度信念网络模型中进行特征提取，得到所述待训练交通标志图像对应的第二特征向量；

基于时滞相位编码对所述第二特征向量进行转换，得到第二脉冲序列；

将所述第二脉冲序列输入到脉冲神经网络中，对所述脉冲神经网络进行训练；

计算所述脉冲神经网络对所述待训练交通标志图像的识别准确率，当所述识别准确率高于阈值时，训练完成，得到训练好的脉冲神经网络。

3.根据权利要求2所述的交通标志识别方法，其特征在于，所述将所述待训练交通标志图像集中的待训练交通标志图像输入到训练好的深度信念网络模型中进行特征提取，得到所述待训练交通标志图像对应的第二特征向量，之前还包括：

对所述待训练交通标志图像进行预处理。

4.根据权利要求3所述的交通标志识别方法，其特征在于，所述预处理包括：

基于双线性插值算法对所述待训练交通标志图像进行尺寸归一化处理，得到归一化处理后的待训练交通标志图像。

5.根据权利要求2所述的交通标志识别方法，其特征在于，所述将所述第二脉冲序列输入到脉冲神经网络中，对所述脉冲神经网络进行训练，包括：

将所述第二脉冲序列输入到脉冲神经网络中，基于三脉冲STDP与阈值可塑性结合的学习方法对所述脉冲神经网络进行训练。

6.一种交通标志识别装置，其特征在于，包括：

第一图像获取模块，用于获取待识别交通标志图像；

第一特征提取模块，用于将所述待识别交通标志图像输入到训练好的深度信念网络模型中进行特征提取，得到所述待识别交通标志图像对应的第一特征向量；

第一转换模块，用于将所述第一特征向量转换成第一脉冲序列；

识别模块，用于将所述第一脉冲序列输入到训练好的脉冲神经网络中，获取所述训练好的脉冲神经网络输出的识别结果。

7.根据权利要求6所述的交通标志识别装置，其特征在于，还包括：

第二图像获取模块，用于获取待训练交通标志图像集；

第二特征提取模块，用于将所述待训练交通标志图像集中的待训练交通标志图像输入到训练好的深度信念网络模型中进行特征提取，得到所述待训练交通标志图像对应的第二特征向量；

第二转换模块，用于基于时滞相位编码对所述第二特征向量进行转换，得到第二脉冲序列；

训练模块，用于将所述第二脉冲序列输入到脉冲神经网络中，对所述脉冲神经网络进行训练；

计算模块，用于计算所述脉冲神经网络对所述待训练交通标志图像的识别准确率，当所述识别准确率高于阈值时，训练完成，得到训练好的脉冲神经网络。

8.一种交通标志识别装置，其特征在于，还包括：

预处理模块，用于对所述待训练交通标志图像进行预处理。

9.一种交通标志识别设备，其特征在于，包括：所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-5任一项所述的交通标志识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-5任意一项所述的交通标志识别方法。