CN105701506A - 一种基于超限学习机与稀疏表示分类的改进方法 - Google Patents

Abstract

本发明公开了一种基于超限学习机与稀疏表示分类的改进方法。本发明步骤如下：1、随机产生隐层节点参数；2、计算出隐层节点输出矩阵，3、根据L和N的大小关系，采用不同的公式计算出连接隐层节点和输出神经元的输出权重4、计算出查询图片y的输出向量；5、对ELM输出向量ο中的极大值ο_f和次大值ο_s的差值进行判断，如果差值大于设定值，则求出输出向量中最大值对应的索引即为查询图片所属类别；否则进入步骤6；6、采用输出向量ο中k个最大值所对应的训练样本，构造子字典，采用系数重构算法计算图片y的线性表示系数，计算残差并根据残差所对应的类别确定查询图片的所属类。本发明计算量就会大大减少，实现较高的识别率，也能够大大降低计算复杂度。

Description

一种基于超限学习机与稀疏表示分类的改进方法

技术领域

本发明属于图像分类领域，尤其涉及一种基于超限学习机与稀疏表示分类的改进方法。

背景技术

图像分类，也就是自动把输入图片归并到某一特定的类别中吸引了越来越广泛的关注，尤其是因为它在安全系统，医学诊断，人机交互等多个领域的应用。在过去的几年，从机器学习发展而来的一些技术在图像分类领域也产生了很大的影响。事实上，几乎过去提出的每一种方法都有它的优点和缺点。一个不可避免的问题就是计算复杂度和分类准确性的折中。换句话说，也就是不可能设计出一种在所有应用中在效率和识别率都最好的方法。为了解决这个问题，混合的系统应运而生，也就是集成了各种不同方法的优点从而形成一种更加有效的方法。

一个成功的图像分类系统至关重要的因素就是分类器。一个设计良好的分类器不会因为其他一些因素，例如不同的特征提取方法而受到影响。在过去的几十年中，人工神经网络由于可以随意设置输入参数而大大受益，不但学习速度比较快，而且也取得了更好的泛化性能。在它们之中，超限学习机(ExtremeLearningMachine，ELM)被广泛的关注和研究。超限学习机(ELM)之所以如此受欢迎，是因为它具有快速的学习速度，实时处理的能力和神经网络的可测量性。除了超限学习机(ELM)，另一个也备受研究团体关注的是基于稀疏表示的分类(SparseRepresentationbasedClassification，SRC)。稀疏表示分类(SRC)最开始是为了研究人类视觉神经元的稀疏表现，后来发现它在人脸识别，机器视觉和方向估计等方面也具有良好的表现。稀疏表示分类(SRC)是尽量找出来自同一类的样本图片之间的联系并且通过线性回归建立起待查询图片的稀疏表示系数。尽管ELM和SRC各自都有突出的优点，但是它们仍然存在一些缺点限制了它们在实际应用中的发展。实验表明ELM的学习速度很快，但是不能较好的处理噪声，SRC虽然可以较好的处理噪声但是付出了很大的计算代价。另外需要注意到的是一个设计良好的分类器不仅需要表现出较高的识别率，而且需要有较快的识别效率。既然超限学习机(ELM)和稀疏表示分类(SRC)各有优点，那么设计一种混合分类器就是合理的。实验表明，ELM-SRC在识别率方面比超限学习机(ELM)表现好，计算复杂度也比稀疏表示分类(SRC)降低了，但是由于使用了完备字典，超限学习机与稀疏表示分类(ELM-SRC)计算复杂度仍然是很高的。

人工神经网络(ArtificialNeuralNetworks)也简称为神经网络(NNs)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络。构成前馈网络的各神经元接受前一级输入，并输出到下一级，无反馈，可以用一有向无环图表示。图的节点分为两类，即输入节点和计算单元。每个计算单元可以有任意个输入，但只有一个输出，而输出可以耦合到其他任意多个其他节点的输入。前馈神经网络通常分为不同的层，第i层的输入只与第i-1层的输出相关联，输入和输出节点由于可以和外界相连，直接受环境的影响，称为可见层，而其他的中间层则称为隐层。单隐层前馈神经网络(Single-hiddenLayerFeedforwordneuralNetworks，SLFNs)顾名思义就是隐层只有一层的前馈神经网络。对于N个任意不同的样本(x_i,t_i)，其中x_i＝[x_i1,x_i2,…x_in]^T，t_i＝[t_i1,t_i2,…,t_in]^T，具有M个隐层节点的标准单隐层前馈神经网络(SLFNs)来说，其数学模型是其中w_i是输入节点和隐层节点的权重，β_i是隐层节点和输出节点之间的权重，b_i是隐层偏差，g(x)是激活函数。

具有M个隐层节点的单隐层前馈神经网络(SLFNs)可以零误差逼近，意味着 ${\mathrm{\Σ}}_{j=1}^{\stackrel{\‾}{N}}\left|\right|o_j-t_j\left|\right|=0,$ 也就是 $\underset{i=1}{\overset{\stackrel{\‾}{N}}{\Σ}}{\mathrm{\β}}_{i}g(w_i+x_j+b_i)=t_j,$ 上面的N个等式也可以写成Hβ＝T,其中

$H(w_1,...w_L,x_1,...,x_N,b_1,...b_L)=\left[\begin{array}{ccc}g(w_1\·x_1+b_1)& \mathrm{...}& g(w_L\·x_1+b_L)\\ .& & .\\ .& \mathrm{...}& .\\ .& & .\\ g(w_1\·x_n+b_1)& \mathrm{...}& g(w_L\·x_N+b_L)\end{array}\right].$

$\mathrm{\β}=\left[\begin{array}{c}{\mathrm{\β}}_1^T\\ .\\ .\\ .\\ {\mathrm{\β}}_L^T\end{array}\right],T=\left[\begin{array}{c}{t}_1^T\\ .\\ .\\ .\\ t_N^T\end{array}\right].$

H是隐层输出矩阵。实验表明，随机选取输入权重和隐层偏差就可以准确的得到N个不同的观测值。事实表明，单隐层前馈神经网络(SLFNs)不仅学习速度快，而且具有较好的泛化性能。

发明内容

本发明的目的是针对现有方法中存在的问题，提供一种基于超限学习机与稀疏表示分类的改进方法。本方法是一种基于超限学习机与稀疏表示分类(ExtremeLearningMachine-SparseRepresentationbasedClassification，ELM-SRC)改进的自适应超限学习机与稀疏表示分类(ExtremeLearningMachineandAdaptiveSparseRepresentationbasedClassification，EA-SRC)的算法。为了实现上述目的，本发明采用如下方案。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1、随机产生隐层节点参数(w_i,b_i),i＝1,2,…,L，其中w_i是连接第i个隐层节点和输入神经元的输入权重，b_i是第i个隐层节点的偏差，L是隐层节点个数。

步骤2、计算出隐层节点输出矩阵H(w₁,…w_L,x₁,…,x_N,b₁,…b_i,…,b_L)，且 $H(w_1,...w_L,x_1,...,x_N,b_1,...b_L)=\left[\begin{array}{ccc}g(w_1\·x_1+b_1)& \mathrm{...}& g(w_L\·x_1+b_L)\\ .& & .\\ .& \mathrm{...}& .\\ .& & .\\ g(w_1\·x_n+b_1)& \mathrm{...}& g(w_L\·x_N+b_L)\end{array}\right]$

其中w是连接隐层节点和输入神经元的输入权重，x是训练样本输入，N是训练样本个数，b_i是第i个隐层节点的偏差，g()表示激活函数。

步骤3、根据L和N的大小关系，分别采用不同的公式计算出连接隐层节点和输出神经元的输出权重

步骤4、计算出查询图片y的输出向量

步骤5、对ELM输出向量o中的极大值o_f和次大值o_s的差值进行判断，并求出输出向量中最大值对应的索引即为查询图片所属类别。

如果ELM输出向量o中的极大值o_f和次大值o_s的差值大于预先设定的阈值σ，即o_f-o_s>σ，则直接采用超限学习机(ELM)已训练好的神经网络，求出输出向量中最大值对应的索引即为查询图片所属类别。

如果输出向量中的极大值o_f和次大值o_s的差值小于我们预先设定的阈值，即o_f-o_s<σ，则认为图片包含的噪声较高，采用稀疏表示分类算法进行分类。

所述的步骤3中，如果L和N的大小为L<＝N，即隐层节点个数小于等于样本数，则为了提高计算效率，对隐层节点输出矩阵进行奇异值分解，具体的：

3-1.奇异值分解H＝UDV^T，其中D＝diag{d₁,…d_i,…d_N}是对角矩阵，d_i是矩阵H的第i个奇异值，则HH^T＝VD²V^T。其中U是n阶酉矩阵矩阵，V是n阶酉矩阵。并且UU^T＝U^TU＝I，VV^T＝V^TV＝I。

3-2.设定好调整参数λ的上限λ_max和下限λ_min，在λ_i∈[λ_min,λ_max]范围内,分别计算出正交投影矩阵HAT的每层分解矩HAT_r，HAT_r＝HV(D²+λ_nI)^-1V^TH^T，其中HAT＝HH₊＝H(H^TH)_- ¹H^T。

3-3.在λ_i∈[λ_min,λ_max]范围内计算不同调整参数λ对应的均方差计算公式为：

${{\mathrm{MSE}}_i}^{PRESS}=\frac{1}{N}\underset{j=1}{\overset{N}{\&Sigma;}}{\left(\frac{t_j-o_j}{1-{\left({\mathrm{HAT}}_r\right)}_{jj}}\right)}^2;$

其中t_j是期望的输出，而o_j是实际的输出。

3-4.计算出的最小均方差对应的λ，即λ_opt。此时能够取得较好的泛化性能，并且也能够最大化分类边界。

3-5.计算出连接隐层节点和输出神经元的输出权重

$\widehat{\mathrm{\&beta;}}={(H^{T}H+{\mathrm{\&lambda;}}_{opt}I)}^{-1}{H}^{T}T=V{(D^2+{\mathrm{\&lambda;}}_{opt}I)}^{-1}{V}^T{H}^{T}T.$

所述的步骤3中，如果L和N的大小为L>N，即隐层节点个数大于样本数，则为了提高计算效率，对隐层节点输出矩阵进行奇异值分解，具体的：

3-6.奇异值分解H＝UDV^T，其中D＝diag{d₁,…d_i,…d_N}是对角矩阵，d_i是矩阵H的第i个奇异值，则HH^T＝UD²U^T，并且UU^T＝U^TU＝I，VV^T＝V^TV＝I。

3-7.设定好调整参数λ的上限λ_max和下限λ_min，在λ_i∈[λ_min,λ_max]范围内,分别计算出正交投影矩阵HAT的每层分解矩HAT_r＝HH^TU(D²+λ_iΙ)^-1U^T，其中HAT＝HH⁺＝H(H^TH)^-1H^T；

3-8.在λ_i∈[λ_min,λ_max]范围内,计算不同调整参数λ对应的均方差计算公式为：

${{\mathrm{MSE}}_i}^{PRESS}=\frac{1}{N}\underset{j=1}{\overset{N}{\&Sigma;}}{\left(\frac{t_j-o_j}{1-{\left({\mathrm{HAT}}_r\right)}_{jj}}\right)}^2;$

其中t_j是期望的输出，而o_j是实际的输出。

3-9.计算出的最小均方差对应的λ，即λ_opt。此时能够取得较好的泛化性能，并且也能够最大化分类边界。

3-10.计算出连接隐层节点和输出神经元的输出权重 $\widehat{\mathrm{\&beta;}}=H^{T}U{(D^2+{\mathrm{\&lambda;}}_{opt}I)}^{-1}{U}^{T}T.$

步骤5所述的稀疏表示分类算法首先利用输出向量o中前k个最大值建立自适应子字典，然后重构出训练样本的稀疏表示系数，求出相应的残差，最后找出残差中最小值对应的索引即为图片属于的类别，具体的：

首先找出输出向量o中前k个最大值所对应的类别，然后用输出向量o中前k个最大值对应的向量建立自适应子字典向量其中m(i)∈{1,2,...m}。

然后重构稀疏表示系数，公式如下，其中τ是调整系数。

最后计算出相应的残差 $r_d\left(y\right)=\left|\right|y-A_d{\mathrm{\&delta;}}_d\left(\hat{x}\right)|{|}_2^2,1\&le;d<m.$

其中A_d是第d类的训练样本；是第d类样本对应的稀疏表示系数。

本发明有益效果如下：

这种基于超限学习机与稀疏表示分类(ELM-SRC)改进的自适应超限学习机与稀疏表示分类(EA-SRC)的算法不仅具有较高的识别率，而且较快的学习速度，大大降低了计算复杂度。

附图说明

图1为本发明流程示意图；

图2为本发明单隐层前馈神经网络示意图。

具体实施方式

下面结合具体的实验来验证本发明的改进之处，以下描述仅作为示范和解释，并不对本发明作任何形式上的限制。

如图1和图2所示，选取任意一个数据库，首先由随机函数随机产生L个隐层节点参数(w_i,b_i),i＝1,2,…,L，其中w_i是连接第i个隐层节点和输入神经元的输入权重，b_i是第i个隐层节点的偏差，L是隐层节点个数。计算出隐层输出矩阵

$H(w_1,...w_L,x_1,...,x_N,b_1,...b_L)=\left[\begin{array}{ccc}g(w_1\&CenterDot;x_1+b_1)& \mathrm{...}& g(w_L\&CenterDot;x_1+b_L)\\ .& & .\\ .& \mathrm{...}& .\\ .& & .\\ g(w_1\&CenterDot;x_n+b_1)& \mathrm{...}& g(w_L\&CenterDot;x_N+b_L)\end{array}\right].$

(1)如果隐层节点个数小于样本数，即L<＝N。为了提高计算效率，对隐层输入矩阵进行奇异值分解，假设H＝UDV^T，其中D＝diag{d₁,…d_i,…d_N}是对角矩阵，d_i是矩阵H的第i个奇异值，则HH^T＝VD²V^T，并且VV^T＝V^TV＝I。事先设定好调整参数λ的上限λ_max和下限λ_min，在λ_i∈[λ_min,λ_max]范围内,分别计算出HAT矩阵的每层分解矩HAT_r＝HV(D²+λ_optI)^-1V^TH^T，其中HAT＝HH₊＝H(H_TH)_-1H_T。在λ_i∈[λ_min,λ_max]范围内,计算不同调整参数λ对应的均方差计算公式其中t_j是期望的输出，而o_j是实际的输出。返回上式中计算出的最小均方差对应的λ，即λ_opt。此时可以取得较好的泛化性能，并且也可以最大化分类边界。然后计算出连接隐层节点和输出神经元的输出权重计算公式如下 $\widehat{\mathrm{\&beta;}}={(H^{T}H+{\mathrm{\&lambda;}}_{opt}I)}^{-1}{H}^{T}T=V{(D^2+{\mathrm{\&lambda;}}_{opt}I)}^{-1}{V}^T{H}^{T}T.$

(2)如果隐层节点个数小于样本数，即L>＝N。对隐层输入矩阵进行奇异值分解，假设H＝UDV^T，其中D＝diag{d₁,…d_i,…d_N}是对角矩阵，d_i是矩阵H的第i个奇异值，则HH^T＝UD²U^T，并且UU^T＝U^TU＝I。事先设定好调整参数λ的上限λ_max和下限λ_min，在λ_i∈[λ_min,λ_max]范围内,分别计算出HAT矩阵的每层分解矩HAT_r＝HH^TU(D²+λ_optΙ)^-1U^T，其中HAT＝HH⁺＝H(H^TH)^-1H^T，再计算出不同调整参数λ对应的均方差，计算公式其中t_j是期望的输出，而o_j是实际的输出。然后返回上式中计算出的最小均方差对应的λ，即λ_opt。此时可以取得较好的泛化性能，并且也可以最大化分类边界。计算出连接隐层节点和输出神经元的输出权重

然后计算出输出向量如果查询图片的输出向量o中极大值和次大值的差值大于事先设定的阈值，即o_f-o_s>σ，直接采用超限学习机(ELM)已训练好的神经网络，输出向量中最大值对应的索引即为查询图片所属类别。如果ELM输出向量o中极大值和次大值的差值小于事先设定的阈值，即o_f-o_s<σ，首先找出输出向量o中前k个最大值所对应的索引，其中d∈{1,2,...m}，然后用输出向量o中前k个最大值对应的向量建立自适应子字典向量重构的稀疏表示系数计算公式如下，其中τ是调整系数。对于d＝1,d<m分别找出相应的A_d和计算出相应的残差找出残差最小值对应的类别y，即为图片所属类别。

Claims (4)

1.一种基于超限学习机与稀疏表示分类的改进方法，其特征在于包括如下步骤：

步骤1、随机产生隐层节点参数(w_i,b_i),i＝1,2,…,L，其中w_i是连接第i个隐层节点和输入神经元的输入权重，b_i是第i个隐层节点的偏差，L是隐层节点个数；

步骤2、计算出隐层节点输出矩阵H(w₁,…w_L,x₁,…,x_N,b₁,…b_i,…,b_L)，且 $H(w_1,\mathrm{...}{w}_L,x_1,\mathrm{...},x_N,b_1,\mathrm{...}{b}_L)=\left[\begin{array}{ccc}g(w_1\&CenterDot;x_1+b_1)& \mathrm{...}& g(w_L\&CenterDot;x_1+b_L)\\ .& & .\\ .& \mathrm{...}& .\\ .& & .\\ g(w_1\&CenterDot;x_n+b_1)& \mathrm{...}& g(w_L\&CenterDot;x_N+b_L)\end{array}\right]$

其中w是连接隐层节点和输入神经元的输入权重，x是训练样本输入，N是训练样本个数，b_i是第i个隐层节点的偏差，g()表示激活函数；

步骤3、根据L和N的大小关系，分别采用不同的公式计算出连接隐层节点和输出神经元的输出权重

步骤4、计算出查询图片y的输出向量

步骤5、对ELM输出向量ο中的极大值ο_f和次大值ο_s的差值进行判断，并求出输出向量中最大值对应的索引即为查询图片所属类别；

如果ELM输出向量ο中的极大值ο_f和次大值ο_s的差值大于预先设定的阈值σ，即ο_f-ο_s>σ，则直接采用超限学习机(ELM)已训练好的神经网络，求出输出向量中最大值对应的索引即为查询图片所属类别；

如果输出向量中的极大值ο_f和次大值ο_s的差值小于我们预先设定的阈值，即ο_f-ο_s<σ，则认为图片包含的噪声较高，采用稀疏表示分类算法进行分类。

2.如权利要求1所述的一种基于超限学习机与稀疏表示分类的改进方法，其特征在于所述的步骤3中，如果L和N的大小为L<＝N，即隐层节点个数小于等于样本数，则为了提高计算效率，对隐层节点输出矩阵进行奇异值分解，具体的：

3-1.奇异值分解H＝UDV^T，其中D＝diag{d₁,…d_i,…d_N}是对角矩阵，d_i是矩阵H的第i个奇异值，则HH^T＝VD²V^T；其中U是n阶酉矩阵，V是n阶酉矩阵；并且UU^T＝U^TU＝I，VV^T＝V^TV＝I；

3-2.设定好调整参数λ的上限λ_max和下限λ_min，在λ_i∈[λ_min,λ_max]范围内,分别计算出正交投影矩阵HAT的每层分解矩HAT_r，HAT_r＝HV(D²+λ_nI)^-1V^TH^T，其中HAT＝HH₊＝H(H^TH)^-1H^T；

3-3.在λ_i∈[λ_min,λ_max]范围内计算不同调整参数λ对应的统计均方误差，计算公式为：

${{\mathrm{MSE}}_i}^{PRESS}=\frac{1}{N}\underset{j=1}{\overset{N}{\&Sigma;}}{\left(\frac{t_j-o_j}{1-{\left({\mathrm{HAT}}_r\right)}_{jj}}\right)}^2;$

其中t_j是期望的输出，而ο_j是实际的输出；

3-4.计算出的最小统计均方误差对应的λ，即λ_opt；此时能够取得较好的泛化性能，并且也能够最大化分类边界；

3-5.计算出连接隐层节点和输出神经元的输出权重

$\widehat{\mathrm{\&beta;}}={(H^{T}H+{\mathrm{\&lambda;}}_{opt}I)}^{-1}{H}^{T}T=V{(D^2+{\mathrm{\&lambda;}}_{opt}I)}^{-1}{V}^T{H}^{T}T.$

3.如权利要求1所述的一种基于超限学习机与稀疏表示分类的改进方法，其特征在于所述的步骤3中，如果L和N的大小为L>N，即隐层节点个数大于样本数，则为了提高计算效率，对隐层节点输出矩阵进行奇异值分解，具体的：

3-6.奇异值分解H＝UDV^T，其中D＝diag{d₁,…d_i,…d_N}是对角矩阵，d_i是矩阵H的第i个奇异值，则HH^T＝UD²U^T，并且UU^T＝U^TU＝I，VV^T＝V^TV＝I；

3-7.设定好调整参数λ的上限λ_max和下限λ_min，在λ_i∈[λ_min,λ_max]范围内,分别计算出正交投影矩阵HAT的每层分解矩HAT_r＝HH^TU(D²+λ_iΙ)^-1U^T，其中HAT＝HH⁺＝H(H^TH)^-1H^T；

3-8.在λ_i∈[λ_min,λ_max]范围内,计算不同调整参数λ对应的统计均方误差计算公式为：

${{\mathrm{MSE}}_i}^{PRESS}=\frac{1}{N}\underset{j=1}{\overset{N}{\&Sigma;}}{\left(\frac{t_j-o_j}{1-{\left({\mathrm{HAT}}_r\right)}_{jj}}\right)}^2;$

其中t_j是期望的输出，而ο_j是实际的输出；

3-9.计算出的最小统计均方误差对应的λ，即λ_opt；此时能够取得较好的泛化性能，并且也能够最大化分类边界；

3-10.计算出连接隐层节点和输出神经元的输出权重

$\widehat{\mathrm{\&beta;}}=H^{T}U{(D^2+{\mathrm{\&lambda;}}_{opt}I)}^{-1}{U}^{T}T.$

4.如权利要求1所述的一种基于超限学习机与稀疏表示分类的改进方法，其特征在于步骤5所述的稀疏表示分类算法首先利用输出向量ο中前k个最大值建立自适应子字典，然后重构出训练样本的稀疏表示系数，求出相应的残差，最后找出残差中最小值对应的索引即为图片属于的类别，具体的：

首先找出输出向量ο中前k个最大值所对应的类别，然后用输出向量ο中前k个最大值对应的向量建立自适应子字典向量

其中m(i)∈{1,2,...m}；

然后重构稀疏表示系数，公式如下，其中τ是调整系数；

最后计算出相应的残差1≤d<m；

其中A_d是第d类的训练样本；是第d类样本对应的稀疏表示系数。