CN108229646A - 神经网络模型压缩方法、装置、存储介质和电子设备 - Google Patents

Abstract

本发明实施例提供一种神经网络模型压缩方法、装置、存储介质和电子设备。该方法包括：获取第一神经网络模型；保持或增大所述第一神经网络模型的深度并压缩所述第一神经网络模型的至少一网络层的至少一网络参数，得到第二神经网络模型；基于样本数据集并至少根据所述第一神经网络模型的输出训练所述第二神经网络模型。从而，可训练获得特征提取能力强、性能与未经压缩神经网络模型相当的压缩后的神经网络模型，并且该训练方法具有通用性，适用于实现任何功能的神经网络模型。

Description

神经网络模型压缩方法、装置、存储介质和电子设备

技术领域

本发明实施例涉及人工智能技术，尤其涉及一种神经网络模型压缩方法、装置、计算机存储介质和电子设备。

背景技术

近年来，深度神经网络应用在计算机视觉、自然语言处理等诸多任务中，使得性能取得突破性的提高。在深度神经网络模型中，以大量的网络权重换取强大的表达能力，从而取得较强的性能。例如，AlexNet模型的大小超过了200MB，VGG-16模型的大小超过了500MB。然而，由于其深度和网络参数，深度神经网络的网络前馈时间通常较长，这些一定程度上限制了神经网络在计算资源有限的设备中的应用。

发明内容

本发明实施例提出一种神经网络模型压缩方案。

根据本发明实施例的第一方面，提供一种神经网络模型压缩方法，包括：获取第一神经网络模型；保持或增大所述第一神经网络模型的深度并压缩所述第一神经网络模型的至少一网络层的至少一网络参数，得到第二神经网络模型；基于样本数据集并至少根据所述第一神经网络模型的输出训练所述第二神经网络模型。

可选地，所述至少一网络参数包括：卷积核大小，和/或，特征通道数。

可选地，增大所述第一神经网络模型的深度，包括：在构建所述第二神经网络过程中，根据所述第一神经网络模型中卷积核较大的一个卷积层的感受野，将所述卷积核较大的一个卷积层采用卷积核较小的多个卷积层来等效替换。

可选地，所述基于样本数据并至少根据所述第一神经网络模型的输出训练所述第二神经网络模型，包括：将所述样本数据输入所述第一神经网络模型，获得所述第一神经网络模型中至少一个网络层的输出结果；将所述样本数据输入所述第二神经网络模型，获得所述第二神经网络模型中至少一个网络层的输出结果；确定所述第二神经网络模型和所述第一神经网络模型的至少一个相应网络层的输出结果的第一差异；根据所述第一差异调整所述第二神经网络模型的网络参数。

可选地，所述基于样本数据并至少根据所述第一神经网络模型的输出训练所述第二神经网络模型，包括：将所述第二神经网络模型的最后一网络层与辅助卷积层连接；将所述样本数据输入所述第一神经网络模型，获得所述第一神经网络模型中至少一个网络层的输出结果；将所述样本数据输入所述第二神经网络模型，获得所述第二神经网络模型中至少一个网络层的输出结果；分别确定所述第二神经网络模型和所述第一神经网络模型的至少一个相应网络层的输出结果的第一差异、以及所述第一神经网络模型的最终输出结果与所述辅助卷积层的输出结果的第二差异；根据所述第一差异和所述第二差异加权调整所述第二神经网络模型的网络参数，且所述第一差异的权重大于所述第二差异的权重。

可选地，在所述第二神经网络模型训练完成之后，去除所述辅助卷积层。

可选地，所述至少一个相应网络层包括：所述第二神经网络模型和所述第一神经网络模型各自的最后一个网络层。

可选地，所述至少一个相应网络层包括：所述第二神经网络模型和所述第一神经网络模型的至少一个深度相同的中间网络层。

可选地，在所述至少一个相应网络层包括所述至少一个深度相同的中间网络层时，确定所述第一差异包括：在所述第二神经网络中增加至少一拟合分支，通过所述至少一个拟合分支确定所述第二神经网络模型和所述第一神经网络模型的相应中间网络层的输出结果的第一差异。

可选地，在所述第二神经网络模型训练完成之后，去除所述至少一拟合分支。

根据本发明实施例的第二方面，还提供一种神经网络模型压缩装置，其特征在于，包括：获取模块，用于获取第一神经网络模型；压缩模块，用于保持或增大所述获取模块获取的第一神经网络模型的深度并压缩所述第一神经网络模型的至少一网络层的至少一网络参数，得到第二神经网络模型；训练模块，用于基于样本数据集并至少根据所述第一神经网络模型的输出训练所述第二神经网络模型。

可选地，所述至少一网络参数包括：卷积核大小，和/或，特征通道数。

可选地，所述压缩模块用于在构建所述第二神经网络过程中，根据所述第一神经网络模型中卷积核较大的一个卷积层的感受野，将所述卷积核较大的一个卷积层采用卷积核较小的多个卷积层来等效替换。

可选地，所述训练模块包括：第一输出结果获取单元，用于将所述样本数据输入所述第一神经网络模型，获得所述第一神经网络模型中至少一个网络层的输出结果；第二输出结果获取单元，用于将所述样本数据输入所述第二神经网络模型，获得所述第二神经网络模型中至少一个网络层的输出结果；第一差异获取单元，用于确定所述第二神经网络模型和所述第一神经网络模型的至少一个相应网络层的输出结果的第一差异；第一参数调整单元，用于根据所述差异获取单元确定的第一差异调整所述第二神经网络模型的网络参数。

可选地，所述训练模块包括：辅助层连接单元，用于将所述第二神经网络模型的最后一网络层与辅助卷积层连接；第三输出结果获取单元，用于将所述样本数据输入所述第一神经网络模型，获得所述第一神经网络模型中至少一个网络层的输出结果；第四输出结果获取单元，用于将所述样本数据输入所述第二神经网络模型，获得所述第二神经网络模型中至少一个网络层的输出结果；第二差异获取单元，用于分别确定所述第二神经网络模型和所述第一神经网络模型的至少一个相应网络层的输出结果的第一差异、以及所述第一神经网络模型的最终输出结果与所述辅助卷积层的输出结果的第二差异；第二参数调整单元，用于根据所述第一差异和所述第二差异加权调整所述第二神经网络模型的网络参数，且所述第一差异的权重大于所述第二差异的权重。

可选地，所述训练模块还包括：辅助层去除单元，用于在所述第二神经网络模型训练完成之后，去除所述辅助卷积层。

可选地，所述至少一个相应网络层包括：所述第二神经网络模型和所述第一神经网络模型各自的最后一个网络层。

可选地，所述至少一个相应网络层包括：所述第二神经网络模型和所述第一神经网络模型的至少一个深度相同的中间网络层。

可选地，所述第一差异获取单元用于在所述第二神经网络中增加至少一拟合分支，通过所述至少一个拟合分支确定所述第二神经网络模型和所述第一神经网络模型的相应中间网络层的输出结果的第一差异。

可选地，所述训练模块还包括：拟合分支去除单元，用于在所述第二神经网络模型训练完成之后，去除所述至少一拟合分支。

根据本发明实施例的第三方面，还提供一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行以下操作：获取第一神经网络模型；保持或增大所述第一神经网络模型的深度并压缩所述第一神经网络模型的至少一网络层的至少一网络参数，得到第二神经网络模型；基于样本数据集并至少根据所述第一神经网络模型的输出训练所述第二神经网络模型。

可选地，所述至少一网络参数包括：卷积核大小，和/或，特征通道数。

可选地，所述可执行指令进一步使所述处理器执行以下操作：在构建所述第二神经网络过程中，根据所述第一神经网络模型中卷积核较大的一个卷积层的感受野，将所述卷积核较大的一个卷积层采用卷积核较小的多个卷积层来等效替换。

可选地，所述可执行指令进一步使所述处理器执行以下操作：将所述样本数据输入所述第一神经网络模型，获得所述第一神经网络模型中至少一个网络层的输出结果；将所述样本数据输入所述第二神经网络模型，获得所述第二神经网络模型中至少一个网络层的输出结果；确定所述第二神经网络模型和所述第一神经网络模型的至少一个相应网络层的输出结果的第一差异；根据所述第一差异调整所述第二神经网络模型的网络参数。

可选地，所述可执行指令进一步使所述处理器执行以下操作：将所述第二神经网络模型的最后一网络层与辅助卷积层连接；将所述样本数据输入所述第一神经网络模型，获得所述第一神经网络模型中至少一个网络层的输出结果；将所述样本数据输入所述第二神经网络模型，获得所述第二神经网络模型中至少一个网络层的输出结果；分别确定所述第二神经网络模型和所述第一神经网络模型的至少一个相应网络层的输出结果的第一差异、以及所述第一神经网络模型的最终输出结果与所述辅助卷积层的输出结果的第二差异；根据所述第一差异和所述第二差异加权调整所述第二神经网络模型的网络参数，且所述第一差异的权重大于所述第二差异的权重。

可选地，所述可执行指令进一步使所述处理器执行以下操作：在所述第二神经网络模型训练完成之后，去除所述辅助卷积层。

可选地，所述至少一个相应网络层包括：所述第二神经网络模型和所述第一神经网络模型各自的最后一个网络层。

可选地，所述至少一个相应网络层包括：所述第二神经网络模型和所述第一神经网络模型的至少一个深度相同的中间网络层。

可选地，所述可执行指令进一步使所述处理器执行以下操作：在所述第二神经网络中增加至少一拟合分支，通过所述至少一个拟合分支确定所述第二神经网络模型和所述第一神经网络模型的相应中间网络层的输出结果的第一差异。

可选地，所述可执行指令进一步使所述处理器执行以下操作：在所述第二神经网络模型训练完成之后，去除所述至少一拟合分支。

根据本发明实施例的第四方面，还提供一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现本申请实施例提供的任一神经网络模型压缩方法的步骤。

根据本发明实施例的第五方面，还提供一种计算机程序，其包括有计算机程序指令，所述程序指令被处理器执行时实现本申请实施例提供的任一神经网络模型压缩方法的步骤。

根据本发明实施例提供的神经网络模型压缩方案，通过将要进行压缩的神经网络模型的至少一网络层的至少一网络参数进行压缩，得到经过压缩的神经网络模型。在压缩过程中，保持或增大原有神经网络模型的深度，从而尽可能降低压缩对网络的表达能力的影响。此后，再基于样本数据集并至少根据未经压缩的神经网络模型的输出训练经过压缩的神经网络模型，从而可训练获得特征提取能力强、性能与未经压缩神经网络模型相当的压缩后的神经网络模型，并且该训练方法具有通用性，适用于实现任何功能的神经网络模型。

附图说明

图1是示出根据本发明实施例一的神经网络模型压缩方法的流程图；

图2是示出根据本发明实施例二的神经网络模型压缩方法的流程图；

图3是示出根据本发明实施例三的神经网络模型压缩方法的流程图；

图4示出根据本发明实施例四的神经网络模型压缩装置的逻辑框图；

图5示出根据本发明实施例五的神经网络模型压缩装置的逻辑框图；

图6示出根据本发明实施例六的神经网络模型压缩装置的逻辑框图；

图7是示出根据本发明实施例七的电子设备的结构示意图。

具体实施方式

下面结合附图详细描述本发明实施例的示例性实施例。

实施例一

图1是示出根据本发明实施例一的神经网络模型压缩方法的流程图。

参照图1，在步骤S110，获取第一神经网络模型。

这里的第一神经网络模型可以是已训练好的神经网络模型。也就是说，根据本发明实施例一的神经网络模型压缩方法适用于对任何通用的神经网络模型进行压缩。

在本发明实施例中不对第一神经网络模型的训练进行限定，可任何采用传统的网络训练方法预先训练第一神经网络模型。可根据第一神经网络模型要实现的功能、特性和训练要求，使用基于监督学习方法、无监督方法、强化学习方法或半监督方法等预先训练第一神经网络模型。

例如，可使用基于监督学习方法，训练用于分类的第一神经网络模型，其中，为训练样本标注出期望的分类值，以标注出的分类值对第一神经网络模型进行监督。在缺乏足够的先验知识，难以人工标注类别或进行人工类别标注成本过高的情况下，可使用无监督方法来训练例如用于图像特征提取的第一神经网络模型。对于其他适用的机器学习方法，在此不逐个给予描述。

在步骤S120，保持或增大第一神经网络模型的深度并压缩第一神经网络模型的至少一网络层的至少一网络参数，得到第二神经网络模型。

这里所说的网络层可包括，但不限于，卷积层、池化层、全连接层等神经网络中的层。

在此，可通过仅降低第一神经网络模型的一个或多个网络层的一个或多个网络参数，来获得经过压缩的第二神经网络模型。或者，可通过增加第一神经网络模型的深度，并减少第一神经网络模型的一个或多个网络层的一个或多个网络参数，来获得经过压缩的第二神经网络模型，由此通过增加第一神经网络模型的深度，来降低由于网络参数的减少对压缩的第二神经网络模型的准确度的影响。

可以看出，在前述任一种压缩处理中，均不降低第一神经网络模型的深度。这是因为，在网络参数的个数相当的情况下，网络越深，在每个网络层之前叠加的卷积层越多，神经网络的表达性越强，每个层神经元的感受野越大，高层神经元对应的输入范围越大，提取全局特征的能力就越强，因此其性能越好。因此，通过不降低第一神经网络模型的深度地压缩第一神经网络模型，可尽可能不影响第一神经网络模型的表达能力和全局特征的能力。

在步骤S130，基于样本数据集并至少根据第一神经网络模型的输出训练第二神经网络模型。

可选地，通过含有标注的期望值/真实值的样本数据集或不含有标注数据的样本数据集，来训练第二神经网络模型。其中，至少使用第一神经网络模型的输出对第二神经网络模型的训练进行监督。

例如，可将前述样本数据集分别输入给第一神经网络模型和第二神经网络模型，进行前向计算。此后，根据从第一神经网络模型获得的输出数据计算损失值，再根据该损失值进行反向计算，从而训练获得具有预期性能的第二神经网络模型；或者，可根据从第一神经网络模型获得的输出数据计算第一损失值，根据从第二神经网络模型获得的输出数据和样本数据集中含有的相应的期望值/真实值计算第二损失值，再根据该第一损失值和第二损失值进行反向计算，从而训练获得具有预期性能的第二神经网络模型。

根据本发明实施例一的神经网络模型压缩方法，通过将要进行压缩的神经网络模型的至少一网络层的至少一网络参数进行压缩，得到经过压缩的神经网络模型。在压缩过程中，保持或增大原有神经网络模型的深度，从而尽可能降低压缩对网络的表达能力的影响。此后，再基于样本数据集并至少根据未经压缩的神经网络模型的输出训练经过压缩的神经网络模型，从而可训练获得特征提取能力强、性能与未经压缩神经网络模型相当的压缩后的神经网络模型，并且该训练方法具有通用性，适用于实现任何功能的神经网络模型。

实施例二

图2是示出根据本发明实施例二的神经网络模型压缩方法的流程图。

参照图2，在步骤S210，获取第一神经网络模型。该步骤的处理与前述步骤S110的处理类似，在此不予赘述。

根据本发明的一种可选实施方式，在步骤S220，根据第一神经网络模型中卷积核较大的一个卷积层的感受野，将卷积核较大的一个卷积层采用卷积核较小的多个卷积层来等效替换，得到第二神经网络模型。

对于通常包括卷积层的第一神经网络模型来说，对于具有较大卷积核的卷积层，可通过使用小卷积核的多个卷积层替换大卷积核的一个卷积层，使得在相当或相同感受野的前提下通过小的卷积核来降低计算的复杂度，还可增加网络深度来提高神经网络的表达能力。

例如，可使用卷积核大小为3*3的2个卷积层替换第一神经网络模型中卷积核大小为5*5的1个卷积层，使用卷积核大小为3*3的3个卷积层替换第一神经网络模型中的卷积核大小为7*7的1个卷积层，等等。由此使得在替换前后相关卷积层的感受野相同或尽可能相同，通过小的卷积核来降低计算的复杂度，还可增加网络深度来提高神经网络的表达能力。。

根据本发明的另一种可选实施方式，在步骤S220，压缩第一神经网络模型的至少一网络层的至少一网络参数，得到第二神经网络模型。

例如，至少一网络参数可包括，但不限于：卷积核大小，和/或，特征通道数，等等。

通过缩小卷积核的大小，即使用小卷积核替代大卷积核，保持第一神经网络模型的深度不变，可降低卷积层的计算复杂度，提高网络前馈速度。例如，在第一神经网络模型的两个卷积层，使用多个3×3卷积核替代5×5卷积核或更大的卷积核，使得该两个卷积层的计算复杂度和存储空间均减少了(1–18/25)。

通过减少卷积层的特征通道的个数，可删除卷积层的冗余特征，降低计算规模，并且提高网络前馈速度。例如，对要压缩的卷积层，可通过对该卷积层进行1×1卷积将该卷积层的特征通道的个数从512减少到256。

可通过缩小卷积核的大小和减少卷积层的特征通道的个数两种方式之一来对卷积层进行压缩，也可以结合使用这两种方式来压缩第一神经网络模型的任一卷积层或多个卷积层。例如，对要压缩的卷积层，可先通过对该卷积层进行1×1卷积来将卷积层的特征通道的个数减少一半；此后，再在该特征通道已被减少的卷积层使用小卷积核替代该卷积层的大卷积核，来进一步压缩该卷积层。

在经过前述压缩处理获得第二神经网络模型，可随机地对第二神经网络模型进行初始化。

另一方面，由于经过压缩获得的第二神经网络模型的网络参数的个数较少，学习能力与原始的第一神经网络模型相差较大，直接拟合第一神经网络模型的输出数据真实值较为困难。在数据量较大的情况下，直接在训练数据集上训练容易出现不收敛的情形。

此外，由于第一神经网络模型输出的预测值较标注的真实值更加平滑，学习难度相对低，可通过拟合原始的第一神经网络模型的输出来获取较好的第二神经网络模型的网络参数的初始值。

为此，可选地，将第二神经网络模型的网络参数初始化为第一神经网络模型中相应的网络参数，从而初步拟合第一神经网络模型的输出。

此后，通过步骤S230～S260的处理来训练经过压缩的第二神经网络模型。

在训练层数多的神经网络模型的过程中，在执行反向传输时，由于网络较深，将出现较严重的梯度消失，造成无法训练靠近网络输入的卷积层的网络参数，难以训练获得性能较优的神经网络模型。为此，获取第二神经网络模型的中间网络层的输出，使压缩的第二神经网络模型在每个中间网络层拟合第一神经网络模型的对应层的输出特征，深度学习靠近神经网络模型的输入端的层(通常称为低网络层)的网络参数。

在步骤S230，将样本数据输入第一神经网络模型，获得第一神经网络模型中至少一个网络层的输出结果。

这里，通过使用样本数据对第一神经网络模型进行前向计算，从第一神经网络模型中的至少一个网络层获得相应的输出结果。这里的至少一个网络层可包括第一神经网络模型的中间网络层和最后一个网络层。

在步骤S240，将样本数据输入第二神经网络模型，获得第二神经网络模型中至少一个网络层的输出结果。

同理，通过使用样本数据对第二神经网络模型进行前向计算，从第二神经网络模型中的至少一个网络层获得相应的输出结果。这里的至少一个网络层可包括第二神经网络模型的中间网络层和最后一个网络层。

需要指出，可按照任意顺序执行步骤S230和S240，或并行地执行步骤S230和S240。

在步骤S250，确定第二神经网络模型和第一神经网络模型的至少一个相应网络层的输出结果的第一差异。

根据本发明的一种可选实施方式，这里的至少一个相应网络层包括：第二神经网络模型和第一神经网络模型各自的最后一个网络层。

也就是说，根据第一神经网络模型的最终输出和第二神经网络模型的最终输出来计算第一差异。

根据本发明的另一种可选实施方式，这里的至少一个相应网络层包括：第二神经网络模型和第一神经网络模型的至少一个深度相同的中间网络层。

也就是说，根据第二神经网络模型和第一神经网络模型中深度相同的至少一个中间网络层的输出结果来确定第一差异。

为此，具体地，根据本发明的一种可选实施方式，在第二神经网络中增加至少一拟合分支，通过至少一个拟合分支确定第二神经网络模型和第一神经网络模型的相应中间网络层的输出结果的第一差异。

例如，假设第一神经网络模型和第二神经网络模型均有16层，可分别在这两个神经网络模型的第6层分别设置拟合分支1，并且在这两个神经网络模型的第12层分别设置拟合分支2，以在中间卷积层进行输出特征拟合。在前述将样本数据分别输入第一神经网络模型和第二神经网络模型后，可通过这些拟合分支确定第二神经网络模型和第一神经网络模型的相应中间网络层的输出结果的第一差异。

可通过例如损失函数或距离计算函数计算第一差异，从而评估第二神经网络模型相对于第一神经网络模型的检测准确度。

可以理解的是，上述的可行方案仅是其中一种实现方式，在实际应用中，用户可以根据实际需求调整实现条件或具体参数，上述可行方案的举例不应理解为唯一的实现方式。

在步骤S260，根据第一差异调整第二神经网络模型的网络参数。

也就是说，在该步骤，使第二神经网络模型的中间卷积层设置的第二拟合分支的输出拟合第一神经网络模型相应的中间卷积层设置的第一拟合分支的输出，来更新压缩的第二神经网络模型的网络参数。具体地，将多个训练样本和第一差异为反向传输给第二神经网络模型，通过例如梯度下降方法对第二神经网络模型的网络参数进行更新，使第一差异收敛到容许的范围，从而训练获得性能达到预期的第二神经网络模型。

可选地，在第二神经网络模型训练完成之后，去除这些用于网络训练的至少一拟合分支。

根据本发明实施例二的神经网络模型压缩方法，通过增加神经网络模型的深度和/或减少至少一个网络层的网络参数，得到小规模的经过压缩的神经网络模型。在压缩过程中，保持或增大原有神经网络模型的深度，从而尽可能降低压缩对网络的表达能力的影响。此外，在原始的神经网络模型和被训练的小规模神经网络模型的中间卷积层拟合原始的神经网络模型的输出，从而深度地学习靠近神经网络模型的输入端的网络层(通常称为低网络层)的网络参数，提高经过压缩的神经网络模型的准确性。

实施例三

图3是示出根据本发明实施例三的神经网络模型压缩方法的流程图。

参照图3，在步骤S310，获取第一神经网络模型。该步骤的处理与前述步骤S110的处理类似，在此不予赘述。

在步骤S320，保持或增大第一神经网络模型的深度并压缩第一神经网络模型的至少一网络层的至少一网络参数，得到第二神经网络模型。

该步骤的处理与前述步骤S120或步骤S220的处理类似，在此不予赘述。

由于第二神经网络模型是第一神经网络模型经过压缩后生成的网络，其网络参数被减少，为了提高第二神经网络模型的特征表达能力，在根据本发明实施例三的神经网络模型压缩方法中，在训练第二神经网络模型的过程中，在第二神经网络模型的输出端(通常称为网络顶层)增设辅助卷积层，增加第二神经网络模型的网络深度，用于拟合深度网络的输出。

相应地，在步骤S330，将第二神经网络模型的最后一网络层与辅助卷积层连接。辅助卷积层的个数可以是一个、两个或更多。

在步骤S340，将前述样本数据输入第一神经网络模型，获得第一神经网络模型中至少一个网络层的输出结果，该输出结果包括前述中间网络层的输出结果和第一神经网络模型的最终输出结果。

在步骤S350，将前述样本数据输入第二神经网络模型，获得第二神经网络模型中至少一个网络层的输出结果。

也就是说，通过步骤S350的处理，从第二神经网络模型的至少一个中间网络层以及辅助卷积层分别获得相应的输出结果。

需要指出，可按照任意顺序执行步骤S340和S350，或并行地执行步骤S340和S350。

在步骤S360，分别确定第二神经网络模型和第一神经网络模型的至少一个相应网络层的输出结果的第一差异、以及第一神经网络模型的最终输出结果与辅助卷积层的输出结果的第二差异。

可参照步骤S250的处理确定第一差异，并且可通过例如损失函数或距离计算函数计算第二差异，从而评估第二神经网络模型在辅助卷积层相对于第一神经网络模型的检测准确度。

在步骤S370，根据第一差异和第二差异加权调整第二神经网络模型的网络参数，且第一差异的权重大于第二差异的权重。

具体地，对第一差异和第二差异分别进行加权，获得综合差异其中，为第一差异赋予大于第二差异的权重。由于设置辅助卷积层的目的为进一步提高第二神经网络模型的特征表达能力，对第二神经网络模型的训练进一步进行优化，因此为第二差异赋予的权重要低于第一差异的权重。此后，将多个训练样本和加权获得的综合差异反向传输给第二神经网络模型，通过例如梯度下降方法对第二神经网络模型的网络参数进行更新，使综合差异收敛到容许的范围，从而训练获得性能达到预期的第二神经网络模型。

可选地，在第二神经网络模型训练完成之后，去除用于网络训练的辅助卷积层。

根据本发明实施例三的神经网络模型压缩方法，在前述实施例的基础上，在被训练的、经过压缩的神经网络模型的输出端增设辅助卷积层，并且通过从辅助卷积层的输出结果拟合未经压缩的神经网络模型的输出，进一步增强被训练的神经网络模型的特征提取能力，并且优化该神经网络模型的性能。同理，该训练方法具有通用性，适用于实现任何功能的具有多个卷积层的神经网络模型。

实施例四

图4示出根据本发明实施例四的神经网络模型压缩装置的逻辑框图。

参照图4，根据本发明实施例四的神经网络模型压缩装置包括获取模块410、压缩模块420和训练模块430。

获取模块410用于获取第一神经网络模型。

压缩模块420用于保持或增大获取模块410获取的第一神经网络模型的深度并压缩所述第一神经网络模型的至少一网络层的至少一网络参数，得到第二神经网络模型。

训练模块430用于基于样本数据集并至少根据所述第一神经网络模型的输出训练所述第二神经网络模型。

本实施例的神经网络模型压缩装置用于实现前述方法实施例中相应的神经网络模型压缩方法，并具有相应的方法实施例的有益效果，在此不再赘述。

实施例五

图5示出根据本发明实施例五的神经网络模型压缩装置的逻辑框图。

根据本发明实施例五，在用于压缩模块420压缩的至少一网络参数包括：卷积核大小，和/或，特征通道数。

可选地，压缩模块420用于在构建所述第二神经网络过程中，根据所述第一神经网络模型中卷积核较大的一个卷积层的感受野，将所述卷积核较大的一个卷积层采用卷积核较小的多个卷积层来等效替换。

训练模块430包括：

第一输出结果获取单元431，用于将所述样本数据输入所述第一神经网络模型，获得所述第一神经网络模型中至少一个网络层的输出结果；

第二输出结果获取单元432，用于将所述样本数据输入所述第二神经网络模型，获得所述第二神经网络模型中至少一个网络层的输出结果；

第一差异获取单元433，用于确定所述第二神经网络模型和所述第一神经网络模型的至少一个相应网络层的输出结果的第一差异；

第一参数调整单元434，用于根据所述差异获取单元确定的第一差异调整所述第二神经网络模型的网络参数。

根据本发明的一种可选实施方式，前述至少一个相应网络层包括：所述第二神经网络模型和所述第一神经网络模型各自的最后一个网络层。

根据本发明的另一种可选实施方式，前述至少一个相应网络层包括：所述第二神经网络模型和所述第一神经网络模型的至少一个深度相同的中间网络层。

可选地，第一差异获取单元433用于在所述第二神经网络中增加至少一拟合分支，通过所述至少一个拟合分支确定所述第二神经网络模型和所述第一神经网络模型的相应中间网络层的输出结果的第一差异。

可选地，训练模块430还包括：拟合分支去除单元(未示出)，用于在所述第二神经网络模型训练完成之后，去除所述至少一拟合分支。

本实施例的神经网络模型压缩装置用于实现前述方法实施例中相应的神经网络模型压缩方法，并具有相应的方法实施例的有益效果，在此不再赘述。

实施例六

图5示出根据本发明实施例六的神经网络模型压缩装置的逻辑框图。

根据本发明实施例六，在用于压缩模块420压缩的至少一网络参数包括：卷积核大小，和/或，特征通道数。

可选地，压缩模块420用于在构建所述第二神经网络过程中，根据所述第一神经网络模型中卷积核较大的一个卷积层的感受野，将所述卷积核较大的一个卷积层采用卷积核较小的多个卷积层来等效替换。

根据本发明实施例六，训练模块430包括：

辅助层连接单元435，用于将所述第二神经网络模型的最后一网络层与辅助卷积层连接；

第三输出结果获取单元436，用于将所述样本数据输入所述第一神经网络模型，获得所述第一神经网络模型中至少一个网络层的输出结果；

第四输出结果获取单元437，用于将所述样本数据输入所述第二神经网络模型，获得所述第二神经网络模型中至少一个网络层的输出结果；

第二差异获取单元438，用于分别确定所述第二神经网络模型和所述第一神经网络模型的至少一个相应网络层的输出结果的第一差异、以及所述第一神经网络模型的最终输出结果与所述辅助卷积层的输出结果的第二差异；

第二参数调整单元439，用于根据所述第一差异和所述第二差异加权调整所述第二神经网络模型的网络参数，且所述第一差异的权重大于所述第二差异的权重。

根据本发明的一种可选实施方式，前述至少一个相应网络层包括：所述第二神经网络模型和所述第一神经网络模型各自的最后一个网络层。

根据本发明的另一种可选实施方式，前述至少一个相应网络层包括：所述第二神经网络模型和所述第一神经网络模型的至少一个深度相同的中间网络层。

可选地，训练模块430还包括：辅助层去除单元(未示出)，用于在所述第二神经网络模型训练完成之后，去除所述辅助卷积层。

本实施例的神经网络模型压缩装置用于实现前述方法实施例中相应的神经网络模型压缩方法，并具有相应的方法实施例的有益效果，在此不再赘述。

实施例七

图7是示出根据本发明实施例七的电子设备的结构示意图。

本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图7，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备700的结构示意图。

如图7所示，电子设备700包括一个或多个处理器、通信元件等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)701，和/或一个或多个图像处理器(GPU)713等，处理器可以根据存储在只读存储器(ROM)702中的可执行指令或者从存储部分708加载到随机访问存储器(RAM)703中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件712和通信接口709。其中，通信组件712可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口1409包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口1409经由诸如因特网的网络执行通信处理。

处理器可与只读存储器702和/或随机访问存储器730中通信以执行可执行指令，通过总线704与通信组件712相连、并经通信组件712与其他目标设备通信，从而完成本发明实施例提供的任一项方法对应的操作，例如，获取第一神经网络模型；保持或增大所述第一神经网络模型的深度并压缩所述第一神经网络模型的至少一网络层的至少一网络参数，得到第二神经网络模型；基于样本数据集并至少根据所述第一神经网络模型的输出训练所述第二神经网络模型。

在一种可选的实施方式中，所述至少一网络参数包括：卷积核大小，和/或，特征通道数。

在一种可选的实施方式中，可执行指令用于使得处理器进一步执行以下操作：在构建所述第二神经网络过程中，根据所述第一神经网络模型中卷积核较大的一个卷积层的感受野，将所述卷积核较大的一个卷积层采用卷积核较小的多个卷积层来等效替换。

在一种可选的实施方式中，所述可执行指令进一步使所述处理器执行以下操作：将所述样本数据输入所述第一神经网络模型，获得所述第一神经网络模型中至少一个网络层的输出结果；将所述样本数据输入所述第二神经网络模型，获得所述第二神经网络模型中至少一个网络层的输出结果；确定所述第二神经网络模型和所述第一神经网络模型的至少一个相应网络层的输出结果的第一差异；根据所述第一差异调整所述第二神经网络模型的网络参数。

在一种可选的实施方式中，所述可执行指令进一步使所述处理器执行以下操作：将所述第二神经网络模型的最后一网络层与辅助卷积层连接；将所述样本数据输入所述第一神经网络模型，获得所述第一神经网络模型中至少一个网络层的输出结果；将所述样本数据输入所述第二神经网络模型，获得所述第二神经网络模型中至少一个网络层的输出结果；分别确定所述第二神经网络模型和所述第一神经网络模型的至少一个相应网络层的输出结果的第一差异、以及所述第一神经网络模型的最终输出结果与所述辅助卷积层的输出结果的第二差异；根据所述第一差异和所述第二差异加权调整所述第二神经网络模型的网络参数，且所述第一差异的权重大于所述第二差异的权重。

在一种可选的实施方式中，所述可执行指令进一步使所述处理器执行以下操作：在所述第二神经网络模型训练完成之后，去除所述辅助卷积层。

在一种可选的实施方式中，所述至少一个相应网络层包括：所述第二神经网络模型和所述第一神经网络模型各自的最后一个网络层。

在另一种可选的实施方式中，所述至少一个相应网络层包括：所述第二神经网络模型和所述第一神经网络模型的至少一个深度相同的中间网络层。

在一种可选的实施方式中，所述可执行指令进一步使所述处理器执行以下操作：在所述第二神经网络中增加至少一拟合分支，通过所述至少一个拟合分支确定所述第二神经网络模型和所述第一神经网络模型的相应中间网络层的输出结果的第一差异。

在一种可选的实施方式中，所述可执行指令进一步使所述处理器执行以下操作：在所述第二神经网络模型训练完成之后，去除所述至少一拟合分支。

此外，在RAM 703中，还可存储有装置操作所需的各种程序和数据。第CPU701、ROM702以及RAM703通过总线704彼此相连。在有RAM703的情况下，ROM702为可选模块。RAM703存储可执行指令，或在运行时向ROM702中写入可执行指令，可执行指令使处理器701执行上述通信方法对应的操作。输入/输出(I/O)接口705也连接至总线704。通信组件712可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口709。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

需要说明的是，如图7所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图7的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信组件712可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。

特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，用于获取第一神经网络模型的可执行代码；用于保持或增大所述第一神经网络模型的深度并压缩所述第一神经网络模型的至少一网络层的至少一网络参数，得到第二神经网络模型的可执行代码；用于基于样本数据集并至少根据所述第一神经网络模型的输出训练所述第二神经网络模型的可执行代码。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明实施例的方法中限定的上述功能。

本发明实施例七提供的电子设备，通过将要进行压缩的神经网络模型的至少一网络层的至少一网络参数进行压缩，得到经过压缩的神经网络模型。在压缩过程中，保持或增大原有神经网络模型的深度，从而尽可能降低压缩对网络的表达能力的影响。此后，再基于样本数据集并至少根据未经压缩的神经网络模型的输出训练经过压缩的神经网络模型，从而可训练获得特征提取能力强、性能与未经压缩神经网络模型相当的压缩后的神经网络模型，并且该训练方法具有通用性，适用于实现任何功能的神经网络模型。

实施例八

根据本发明实施例八提供一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现前述任一神经网络模型压缩方法的步骤。

该计算机可读存储介质用于实现前述方法实施例中相应的神经网络模型压缩方法，并具有相应的方法实施例的有益效果，在此不再赘述。

该计算机可读存储介质用于实现前述方法实施例中相应的神经网络模型压缩方法，并具有相应的方法实施例的有益效果，在此不再赘述。

需要指出，根据实施的需要，可将本申请中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。

可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明实施例的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明实施例的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明实施例的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明实施例的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种神经网络模型压缩方法，其特征在于，包括：

获取第一神经网络模型；

保持或增大所述第一神经网络模型的深度并压缩所述第一神经网络模型的至少一网络层的至少一网络参数，得到第二神经网络模型；

基于样本数据集并至少根据所述第一神经网络模型的输出训练所述第二神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述至少一网络参数包括：卷积核大小，和/或，特征通道数。

3.根据权利要求1所述的方法，其特征在于，增大所述第一神经网络模型的深度，包括：

在构建所述第二神经网络过程中，根据所述第一神经网络模型中卷积核较大的一个卷积层的感受野，将所述卷积核较大的一个卷积层采用卷积核较小的多个卷积层来等效替换。

4.根据权利要求1-3任一所述的方法，其特征在于，所述基于样本数据并至少根据所述第一神经网络模型的输出训练所述第二神经网络模型，包括：

将所述样本数据输入所述第一神经网络模型，获得所述第一神经网络模型中至少一个网络层的输出结果；

将所述样本数据输入所述第二神经网络模型，获得所述第二神经网络模型中至少一个网络层的输出结果；

确定所述第二神经网络模型和所述第一神经网络模型的至少一个相应网络层的输出结果的第一差异；

根据所述第一差异调整所述第二神经网络模型的网络参数。

5.根据权利要求1-3任一所述的方法，其特征在于，所述基于样本数据并至少根据所述第一神经网络模型的输出训练所述第二神经网络模型，包括：

将所述第二神经网络模型的最后一网络层与辅助卷积层连接；

将所述样本数据输入所述第一神经网络模型，获得所述第一神经网络模型中至少一个网络层的输出结果；

将所述样本数据输入所述第二神经网络模型，获得所述第二神经网络模型中至少一个网络层的输出结果；

分别确定所述第二神经网络模型和所述第一神经网络模型的至少一个相应网络层的输出结果的第一差异、以及所述第一神经网络模型的最终输出结果与所述辅助卷积层的输出结果的第二差异；

根据所述第一差异和所述第二差异加权调整所述第二神经网络模型的网络参数，且所述第一差异的权重大于所述第二差异的权重。

6.一种神经网络模型压缩装置，其特征在于，包括：

获取模块，用于获取第一神经网络模型；

压缩模块，用于保持或增大所述获取模块获取的第一神经网络模型的深度并压缩所述第一神经网络模型的至少一网络层的至少一网络参数，得到第二神经网络模型；

训练模块，用于基于样本数据集并至少根据所述第一神经网络模型的输出训练所述第二神经网络模型。

7.根据权利要求6所述的装置，其特征在于，所述至少一网络参数包括：卷积核大小，和/或，特征通道数。

8.根据权利要求6所述的装置，其特征在于，所述压缩模块用于在构建所述第二神经网络过程中，根据所述第一神经网络模型中卷积核较大的一个卷积层的感受野，将所述卷积核较大的一个卷积层采用卷积核较小的多个卷积层来等效替换。

9.一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行以下操作：

获取第一神经网络模型；

保持或增大所述第一神经网络模型的深度并压缩所述第一神经网络模型的至少一网络层的至少一网络参数，得到第二神经网络模型；

基于样本数据集并至少根据所述第一神经网络模型的输出训练所述第二神经网络模型。

10.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现权利要求1～5中任一项所述神经网络模型压缩方法的步骤。