CN109816026B - 卷积神经网络和脉冲神经网络的融合装置及方法 - Google Patents

Abstract

本发明公开了一种卷积神经网络和脉冲神经网络的融合装置及方法，其中，结构包括：卷积神经网络结构、脉冲转换与编码结构和脉冲神经网络结构，其中，卷积神经网络结构包括输入层、卷积层和池化层；脉冲转换与编码结构包括脉冲转换神经元和可配置脉冲编码器；脉冲神经网络结构包括脉冲卷积层、脉冲池化层和脉冲输出层。该结构能够同时兼顾卷积神经网络和脉冲神经网络的优点，利用了卷积神经网络在图像识别领域具有较高识别率的优势，同时能发挥脉冲神经网络在稀疏性、低功耗、缓解过拟合等方面的优势，可以应用于对高速时变信息进行特征提取和准确分类等领域。

Description

卷积神经网络和脉冲神经网络的融合装置及方法

技术领域

本发明涉及高速图像识别技术领域，特别涉及一种卷积神经网络和脉冲神经网络的融合装置及方法。

背景技术

在图像识别领域中，目前广泛采用卷积神经网络进行图像分类与识别，并且已经具有相对成熟的网络结构和训练算法，现有研究成果显示，如果训练样本保证质量且充分，卷积神经网络在传统图像识别中具有较高的识别率。然而，卷积神经网络也具有一定的缺陷，随着样本特征的复杂化，卷积神经网络的结构也越来越复杂，网络层级结构不断增加，导致完成网络训练和推导的计算量急剧增加，网络计算延时也越来越大。

因此，在高速图像识别领域，尤其针对一些实时性嵌入式系统领域，卷积神经网络难以满足这些系统的计算延时需求。另一方面，脉冲神经网络是一种利用离散神经脉冲进行信息处理的新型神经网络，与传统人工神经网络相比，具有更好的生物仿真性能，是近年来的研究热点之一。脉冲神经网络的离散脉冲具有稀疏性特征，可以大量减少网络运算量，在实现高性能、低功耗以及缓解过拟合等方面具有优势。因此，有必要实现一种卷积神经网络和脉冲神经网络的融合网络，这种融合网络既能够发挥卷积神经网络在保证图像识别率方面的优势，同时也能发挥脉冲神经网络在低功耗和低延时等方面的优势，从而实现高速时变信息特征提取和准确分类。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种卷积神经网络和脉冲神经网络的装置结构，该结构能够同时兼顾卷积神经网络和脉冲神经网络的优点，利用了卷积神经网络在图像识别领域具有较高识别率的优势，同时能发挥脉冲神经网络在稀疏性、低功耗、缓解过拟合等方面的优势，可以应用于对高速时变信息进行特征提取和准确分类等领域。

本发明的另一个目的在于提出一种卷积神经网络和脉冲神经网络的融合方法。

为达到上述目的，本发明一方面实施例提出了一种卷积神经网络和脉冲神经网络的装置结构，包括：卷积神经网络结构，所述卷积神经网络结构包括输入层、卷积层和池化层，其中，所述输入层用于接收像素级图像数据，所述卷积层用于卷积运算，所述池化层用于池化运算；脉冲转换与编码结构，所述脉冲转换与编码结构包括脉冲转换神经元和可配置脉冲编码器，其中，所述脉冲转换神经元用于将所述像素级图像数据换成基于预设编码形式的脉冲信息，所述可配置脉冲编码器用于将所述脉冲转换与编码结构配置成时间编码或频率编码；脉冲神经网络结构，所述脉冲神经网络结构包括脉冲卷积层、脉冲池化层和脉冲输出层，其中，脉冲卷积层和脉冲池化层分别用于对所述脉冲信息进行脉冲卷积运算和脉冲池化运算得到运算结果，所述脉冲输出层用于输出所述运算结果。

本发明实施例的卷积神经网络和脉冲神经网络的装置结构，融合网络结构明确，训练算法简单，既能够发挥卷积神经网络在保证图像识别率方面的优势，同时也能发挥脉冲神经网络在低功耗和低延时等方面的优势，并具有可裁剪性和普适性，实现方法简单，代价适中，且可以快速部署到不同的实际工程应用中，可以在任何需要实现高速图像识别相关工程项目中，通过融合网络设计完成高速时变信息特征提取和准确分类。

另外，根据本发明上述实施例的卷积神经网络和脉冲神经网络的装置结构还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述脉冲转换神经元进一步用于根据脉冲频率转换将所述像素级图像数据映射成模拟电流，并根据所述模拟电流得到所述脉冲信息。

进一步地，在本发明的一个实施例中，所述脉冲频率与所述模拟电流之间的对应关系为：

其中，Rate表示所述脉冲频率，t_ref表示神经不应期时间长度，τ_RC表示根据膜电阻和膜电容确定的时间常数，V(t₀)和V(t₁)分别表示t₀和t₁时刻的膜电压，I表示模拟电流。

进一步地，在本发明的一个实施例中，所述脉冲卷积运算进一步包括：像素级卷积核根据基于LIF(Leaky-Integrate-and-Fire Model)模型神经元的突触强度和突触延时映射关系生成脉冲卷积核，并根据所述脉冲卷积核和所述脉冲信息且经过脉冲乘加运算生成脉冲卷积特征图。

进一步地，在本发明的一个实施例中，所述脉冲池化运算进一步包括：像素级池化窗口根据所述突触强度和所述突触延时映射关系生成脉冲池化窗口，并根据所述脉冲池化窗口和所述脉冲信息经过所述脉冲累加运算生成脉冲池化特征图。

进一步地，在本发明的一个实施例中，所述突触强度和所述突触延时映射关系进一步包括：所述像素级卷积核和所述像素级池化窗口根基于MP(McCulloch-Pitts Model)模型的人工神经元的权重和偏置分别映射成所述基于LIF模型神经元的突触强度和突触延时。

进一步地，在本发明的一个实施例中，所述突触强度和所述突触延时映射关系进一步包括：在把基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时的基础上，采用模拟电流叠加原理实现脉冲信息叠加。

进一步地，在本发明的一个实施例中，所述脉冲累加运算进一步包括：所述像素级卷积核基于所述MP模型的人工神经元的权重和偏置分别映射成基于所述LIF模型神经元的突触强度和突触延时。

为达到上述目的，本发明另一方面实施例提出了一种卷积神经网络和脉冲神经网络的融合方法，包括以下步骤：建立等效卷积神经网络和脉冲神经网络的对应关系；根据所述对应关系转换等效卷积神经网络学习训练结果与卷积神经网络和脉冲神经网络的融合网络学习训练结果，以得到卷积神经网络和脉冲神经网络的融合结果。

本发明实施例的卷积神经网络和脉冲神经网络的融合方法，融合网络结构明确，训练算法简单，既能够发挥卷积神经网络在保证图像识别率方面的优势，同时也能发挥脉冲神经网络在低功耗和低延时等方面的优势，并具有可裁剪性和普适性，实现方法简单，代价适中，且可以快速部署到不同的实际工程应用中，可以在任何需要实现高速图像识别相关工程项目中，通过融合网络设计完成高速时变信息特征提取和准确分类。

另外，根据本发明上述实施例的卷积神经网络和脉冲神经网络的融合方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述等效卷积神经网络和脉冲神经网络的对应关系包括网络层结构、权重和偏置，以及激活函数之间的映射关系。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的卷积神经网络和脉冲神经网络的装置结构的结构示意图；

图2为根据本发明一个实施例的卷积神经网络和脉冲神经网络融合网络结构框图；

图3为根据本发明一个实施例的卷积神经网络和脉冲神经网络融合网络层级结构图；

图4为根据本发明一个实施例的脉冲卷积运算流程图；

图5为根据本发明一个实施例的脉冲池化运算流程图；

图6为根据本发明一个实施例的脉冲乘加运算和脉冲累加运算流程图；

图7为根据本发明一个实施例的融合网络学习训练方法流程图；

图8为根据本发明一个实施例的卷积神经网络和脉冲神经网络的融合方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的卷积神经网络和脉冲神经网络的装置结构及方法，首先将参照附图描述根据本发明实施例提出的卷积神经网络和脉冲神经网络的装置结构。

图1是本发明一个实施例的卷积神经网络和脉冲神经网络的装置结构的结构示意图。

如图1所示，该卷积神经网络和脉冲神经网络的装置结构10包括：卷积神经网络结构100、脉冲转换与编码结构200和脉冲神经网络结构300。

其中，卷积神经网络结构100包括输入层、卷积层和池化层，其中，输入层用于接收像素级图像数据，卷积层用于卷积运算，池化层用于池化运算。脉冲转换与编码结构200包括脉冲转换神经元和可配置脉冲编码器，其中，脉冲转换神经元用于将像素级图像数据换成基于预设编码形式的脉冲信息，可配置脉冲编码器用于将脉冲转换与编码结构配置成时间编码或频率编码。脉冲神经网络结构300包括脉冲卷积层、脉冲池化层和脉冲输出层，其中，脉冲卷积层和脉冲池化层分别用于对脉冲信息进行脉冲卷积运算和脉冲池化运算得到运算结果，脉冲输出层用于输出运算结果。本发明实施例的结构10能够同时兼顾卷积神经网络和脉冲神经网络的优点，利用了卷积神经网络在图像识别领域具有较高识别率的优势，同时能发挥脉冲神经网络在稀疏性、低功耗、缓解过拟合等方面的优势，可以应用于对高速时变信息进行特征提取和准确分类等领域。

具体而言，如图2所示，卷积神经网络和脉冲神经网络融合网络结构10包括三个部分，分别是：卷积神经网络结构部分、脉冲神经网络结构部分和脉冲转换与编码部分。其中，卷积神经网络结构部分进一步包括：输入层、卷积层和输出层；脉冲神经网络结构部分进一步包括：脉冲卷积层、脉冲层和脉冲输出层。

其中，如图3所示，卷积神经网络结构部分进一步包括：基于MP模型的人工神经元实现(MPN)的输入层、卷积层和池化层，分别用于接收外部的像素级图像数据输入、卷积和池化运算。卷积神经网络结构部分中所涉及的完成卷积运算或池化运算的网络层数量可根据实际应用任务需要适当增加或者删减。需要说明的是，“MP模型”即McCulloch-PittsModel，是一种按不同方式组合可完成各种逻辑运算的二值开关模型。

脉冲转换与编码部分进一步包括：脉冲转换神经元(SEN)和可配置脉冲编码器，实现把像素级数据转换成基于特定编码形式的脉冲信息。也就是说，脉冲转换与编码部分涉及把像素级数据转换成脉冲信息的转换和编码过程，该部分层级结构可配置，可根据需要配置成时间编码、频率编码或者其他新型编码方式。

脉冲神经网络结构部分进一步包括：基于LIF模型的脉冲神经元(LIFN)实现的脉冲卷积层、脉冲池化层和脉冲输出层。脉冲神经网络结构部分中所涉及的完成卷积运算或池化运算的网络层数量可根据实际应用任务需要适当增加或者删减。脉冲卷积层和脉冲池化层进一步分别包括：脉冲卷积运算和脉冲池化运算，分别用于处理经过上一网络层级转换后的基于脉冲信息的卷积和池化运算以及最终结果输出。需要说明的是，“LIF模型”即Leaky-Integrate-and-Fire Model，是描述动作电位在神经元中传递关系的神经元动力学微分方程。

进一步地，在本发明的一个实施例中，脉冲转换神经元进一步用于根据脉冲频率转换将像素级图像数据映射成模拟电流，并根据模拟电流得到脉冲信息。

可以理解的是，脉冲转换神经元(SEN)和可配置脉冲编码器进一步包括：根据脉冲频率转换公式把卷积神经网络的像素级输出数据映射成模拟电流，实现把像素级数据转换成基于频率编码的脉冲信息。

其中，在本发明的一个实施例中，脉冲频率与模拟电流之间的对应关系为：

其中，Rate表示脉冲频率，t_ref表示神经不应期时间长度，τ_RC表示根据膜电阻和膜电容确定的时间常数，V(t₀)和V(t₁)分别表示t₀和t₁时刻的膜电压，I表示模拟电流。需要说明的是，“膜电阻”、“膜电容”和“膜电压”，均是指在LIF模型中用来表示细胞膜生物物理学特征的物理量，并且用于描述神经元离子电流在突触中的传导关系。

具体而言，脉冲转换与编码部分进一步包括：像素级数据与脉冲信息之间的转换与编码实现方法，例如，基于LIF模型的脉冲神经元的脉冲发放频率和模拟电流之间的对应关系可用公式1描述：

其中，Rate表示脉冲频率，t_ref表示神经不应期时间长度，τ_RC表示根据膜电阻和膜电容确定的时间常数，V(t₀)和V(t₁)分别表示t₀和t₁时刻的膜电压，I表示模拟电流。特别地，在t₀到t₁时间区间，膜电压从0上升到1时，公式1可以简化为公式2描述：

根据公式1或公式2，卷积神经网络的像素级输出数据可以映射成模拟电流，再根据实际需要适当调整t_ref和τ_RC常数，可把像素级数据转换成基于频率编码的脉冲信息。公式1和公式2还可以根据实际需要采用其他变形或者更高阶的修正形式。

进一步地，在本发明的一个实施例中，脉冲卷积运算进一步包括：像素级卷积核根据基于LIF模型神经元的突触强度和突触延时映射关系生成脉冲卷积核，并根据脉冲卷积核和脉冲信息且经过脉冲乘加运算生成脉冲卷积特征图。

可以理解的是，脉冲卷积运算进一步包括：像素级卷积核根据突触强度和突触延时映射关系生成脉冲卷积核，输入脉冲信息和已完成映脉冲卷积核经过脉冲乘加运算生成脉冲卷积特征图。

其中，在本发明的一个实施例中，突触强度和突触延时映射关系进一步包括：像素级卷积核和像素级池化窗口根基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时。

可以理解的是，突触强度和突触延时映射关系进一步包括：像素级卷积核和池化窗口基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时方法。

具体而言，如图4所示，首先像素级卷积核根据一一对应关系分别映射为突触强度和突触延时，然后输入脉冲信息和已完成映射的脉冲卷积核经过脉冲乘加运算生成脉冲卷积特征图。具体地，脉冲神经网络结构部分中脉冲卷积运算进一步包括：基于MP模型人工神经元和基于LIF模型脉冲神经元在完成卷积运算过程中所建立对应关系实现映射和替换的方法。其中，基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时。

进一步地，在本发明的一个实施例中，脉冲池化运算进一步包括：像素级池化窗口根据突触强度和突触延时映射关系生成脉冲池化窗口，并根据脉冲池化窗口和脉冲信息经过脉冲累加运算生成脉冲池化特征图。

可以理解的是，脉冲池化运算进一步包括：像素级池化窗口根据突触强度和突触延时映射关系生成脉冲池化窗口，输入脉冲信息和已完成映脉冲池化窗口经过脉冲累加运算生成脉冲池化特征图。

具体而言，如图5所示，脉冲神经网络结构部分中脉冲池化运算进一步包括：基于MP模型人工神经元和基于LIF模型脉冲神经元在完成卷积运算过程中所建立对应关系实现映射和替换的方法。其中，基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时。脉冲卷积特征图在池化函数(均值池化或最大池化等)控制下，调整池化窗口遍历脉冲卷积特征图，最终输出脉冲池化特征图。

进一步地，在本发明的一个实施例中，脉冲累加运算进一步包括：像素级卷积核基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时。

可以理解的是，脉冲乘加运算进一步包括：像素级卷积核基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时方法。

进一步地，在本发明的一个实施例中，突触强度和突触延时映射关系进一步包括：在把基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时的基础上，采用模拟电流叠加原理实现脉冲信息叠加。

可以理解的是，突触强度和突触延时映射关系进一步包括：在把基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时的基础上，通过采用模拟电流叠加原理实现脉冲信息叠加方法。

具体而言，如图6所示，脉冲神经网络结构部分中脉冲卷积运算和脉冲池化运算所涉及的脉冲乘加运算和脉冲累加运算进一步包括：基于模拟电流叠加实现脉冲信息叠加的方法。其中，模拟电流叠加由公式3描述：

公式3中的I(t)表示模拟电流，S_i和d_i分别表示突触强度和突触延时，Ψ(t)表示一个修正函数，可根据实际工程需要调整。

更进一步地，脉冲池化运算涉及脉冲乘加、脉冲累加或脉冲比较运算。脉冲累加是脉冲乘加的特殊形式(加权系数为1)，图6显示脉冲乘加运算的更多细节，脉冲比较运算可由简单脉冲计数器对脉冲频率实现比较。

脉冲乘加运算和脉冲累加运算在把基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时的基础上，通过采用模拟电流叠加原理实现脉冲信息叠加，图6显示了脉冲乘加运算或脉冲累加运算实施流程的更多细节，具体地：

如图6所示，当脉冲神经元接收到上一层网络的输出信号时，首先判断该信号是否为脉冲信息或者像素级数据，如果是像素级数据则需要完成一次脉冲转换与编码(脉冲信息转换与编码①)；否则，直接按照公式(3)完成模拟电流的叠加，模拟电流的叠加遵循突触强度和突触延时映射关系，完成叠加的模拟电流对膜电容充放电过程再经过一次脉冲转换与编码(脉冲信息转换与编码②)可以表征脉冲信息的乘加或者累加，其中累加运算可以理解为乘加运算的特殊情况(加权系数为1)。

进一步地，一种基于等效卷积神经网络实现融合网络训练的方法进一步包括：通过建立等效卷积神经网络和脉冲神经网络的对应关系，实现等效卷积神经网络学习训练结果与卷积神经网络和脉冲神经网络的融合网络学习训练结果转换。等效卷积神经网络和脉冲神经网络的对应关系进一步包括：等效卷积神经网络和融合网络分别在网络层结构、权重和偏置，以及激活函数等方面的映射关系。

具体而言，卷积神经网络和脉冲神经网络的融合网络学习训练利用了一种基于等效卷积神经网络实现融合网络训练的方法。其中，等效卷积神经网络和融合网络分别在网络层结构、权重和偏置、以及激活函数等方面建立一一对应关系。图6显示了卷积神经网络和脉冲神经网络的融合网络学习训练的更多细节，具体地：

如图6所示，首先根据卷积神经网络和脉冲神经网络的融合网络结构参数生成等效卷积神经网络，然后根据公式(1)或公式(2)替换或调整等效卷积神经网络的激活函数，在反向传播计算过程中监控训练算法的收敛性，直到选择合适的等效激活函数。在等效卷积神经网络的训练结果达到要求后，将相应的网络参数(如权重、偏置等)按照突触强度和突触延时映射，从而获得卷积神经网络和脉冲神经网络融合网络的训练结果。

综上，本发明的卷积神经网络和脉冲神经网络的融合网络与现有技术相比较具有以下优点和有益效果：

(1)相比于传统卷积神经网络，本发明提出的融合网络既能够发挥卷积神经网络在保证图像识别率方面的优势，同时也能发挥脉冲神经网络在低功耗和低延时等方面的优势，在脉冲神经网络结构部分充分利用脉冲信息稀疏性，极大降低网络运算量和计算延时，更加符合实际高速目标识别工程应用的实时性需求。

(2)相比于传统脉冲神经网络，本发明提出的融合网络提供了一种在脉冲神经网络基础上实现图像识别的方法，融合网络所涉及的脉冲转换与编码方法、脉冲卷积运算方法、脉冲池化运算方法等均具有较强的通用性，可以应用在任何可能需要利用脉冲神经网络结构进行特征提取和分类的问题中，解决了如何利用脉冲神经网络实现特征提取和准确分类的问题。

(3)本发明提出的融合网络结构所涉及的卷积神经网络部分、脉冲转换与编码部分、脉冲神经网络部分，以及其中完成卷积运算或池化运算的网络层数量均可根据实际应用任务需要适当增加或者删减，能够适配任意规模的神经网络结构，具有较强的灵活性和可扩展性。

(4)本发明提出的融合网络的中所涉及的基于MP模型人工神经元和基于LIF模型脉冲神经元之间的映射和替换方法简单明确，并且融合网络的训练方法借鉴于传统卷积神经网络的训练方法，突触强度和突触延时映射方法简单可行，本发明提出的融合网络可以迅速部署到实际工程应用中，具有较高的实用性。

根据本发明实施例提出的卷积神经网络和脉冲神经网络的装置结构，融合网络结构明确，训练算法简单，既能够发挥卷积神经网络在保证图像识别率方面的优势，同时也能发挥脉冲神经网络在低功耗和低延时等方面的优势，并具有可裁剪性和普适性，实现方法简单，代价适中，且可以快速部署到不同的实际工程应用中，可以在任何需要实现高速图像识别相关工程项目中，通过融合网络设计完成高速时变信息特征提取和准确分类。

其次参照附图描述根据本发明实施例提出的卷积神经网络和脉冲神经网络的融合方法。

图8是本发明一个实施例的卷积神经网络和脉冲神经网络的融合方法的流程图。

如图8所示，该卷积神经网络和脉冲神经网络的融合方法包括以下步骤：

步骤S801，建立等效卷积神经网络和脉冲神经网络的对应关系；

步骤S802，根据对应关系转换等效卷积神经网络学习训练结果与卷积神经网络和脉冲神经网络的融合网络学习训练结果，以得到卷积神经网络和脉冲神经网络的融合结果。

进一步地，在本发明的一个实施例中，等效卷积神经网络和脉冲神经网络的对应关系包括网络层结构、权重和偏置，以及激活函数之间的映射关系。

需要说明的是，前述对卷积神经网络和脉冲神经网络的装置结构实施例的解释说明也适用于该实施例的卷积神经网络和脉冲神经网络的融合方法，此处不再赘述。

根据本发明实施例提出的卷积神经网络和脉冲神经网络的融合方法，融合网络结构明确，训练算法简单，既能够发挥卷积神经网络在保证图像识别率方面的优势，同时也能发挥脉冲神经网络在低功耗和低延时等方面的优势，并具有可裁剪性和普适性，实现方法简单，代价适中，且可以快速部署到不同的实际工程应用中，可以在任何需要实现高速图像识别相关工程项目中，通过融合网络设计完成高速时变信息特征提取和准确分类。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种卷积神经网络和脉冲神经网络的融合装置，其特征在于，包括：

卷积神经网络结构，所述卷积神经网络结构包括输入层、卷积层和池化层，其中，所述输入层用于接收像素级图像数据，所述卷积层用于卷积运算，所述池化层用于池化运算；

脉冲转换与编码结构，所述脉冲转换与编码结构包括脉冲转换神经元和可配置脉冲编码器，其中，所述脉冲转换神经元用于将所述像素级图像数据换成基于预设编码形式的脉冲信息，所述可配置脉冲编码器用于将所述脉冲转换与编码结构配置成时间编码或频率编码；以及

脉冲神经网络结构，所述脉冲神经网络结构包括脉冲卷积层、脉冲池化层和脉冲输出层，其中，脉冲卷积层和脉冲池化层分别用于对所述脉冲信息进行脉冲卷积运算和脉冲池化运算得到运算结果，所述脉冲输出层用于输出所述运算结果。

2.根据权利要求1所述的卷积神经网络和脉冲神经网络的融合装置，其特征在于，所述脉冲转换神经元进一步用于根据脉冲频率转换将所述像素级图像数据映射成模拟电流，并根据所述模拟电流得到所述脉冲信息。

3.根据权利要求2所述的卷积神经网络和脉冲神经网络的融合装置，其特征在于，所述脉冲频率与所述模拟电流之间的对应关系为：

其中，Rate表示所述脉冲频率，t_ref表示神经不应期时间长度，τ_RC表示根据膜电阻和膜电容确定的时间常数，V(t₀)和V(t₁)分别表示t₀和t₁时刻的膜电压，I表示模拟电流。

4.根据权利要求1所述的卷积神经网络和脉冲神经网络的融合装置，其特征在于，所述脉冲卷积运算进一步包括：

像素级卷积核根据基于LIF模型神经元的突触强度和突触延时映射关系生成脉冲卷积核，并根据所述脉冲卷积核和所述脉冲信息且经过脉冲乘加运算生成脉冲卷积特征图。

5.根据权利要求4所述的卷积神经网络和脉冲神经网络的融合装置，其特征在于，所述脉冲池化运算进一步包括：

像素级池化窗口根据所述突触强度和所述突触延时映射关系生成脉冲池化窗口，并根据所述脉冲池化窗口和所述脉冲信息经过脉冲累加运算生成脉冲池化特征图。

6.根据权利要求5所述的卷积神经网络和脉冲神经网络的融合装置，其特征在于，所述突触强度和所述突触延时映射关系进一步包括：

所述像素级卷积核和所述像素级池化窗口根基于MP模型的人工神经元的权重和偏置分别映射成所述基于LIF模型神经元的突触强度和突触延时。

7.根据权利要求6所述的卷积神经网络和脉冲神经网络的融合装置，其特征在于，所述突触强度和所述突触延时映射关系进一步包括：

在把基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时的基础上，采用模拟电流叠加原理实现脉冲信息叠加。

8.根据权利要求7所述的卷积神经网络和脉冲神经网络的融合装置，其特征在于，所述脉冲累加运算进一步包括：

所述像素级卷积核基于所述MP模型的人工神经元的权重和偏置分别映射成基于所述LIF模型神经元的突触强度和突触延时。

9.一种用于如权利要求1所述的卷积神经网络和脉冲神经网络的融合装置的融合方法，其特征在于，包括以下步骤：

建立等效卷积神经网络和脉冲神经网络的对应关系；

根据所述对应关系转换等效卷积神经网络学习训练结果与卷积神经网络和脉冲神经网络的融合网络学习训练结果，以得到卷积神经网络和脉冲神经网络的融合结果。

10.根据权利要求9所述的融合方法，其特征在于，所述等效卷积神经网络和脉冲神经网络的对应关系包括网络层结构、权重和偏置，以及激活函数之间的映射关系。

Images