CN104809469A - 一种面向服务机器人的室内场景图像分类方法 - Google Patents

Abstract

本发明公开了一种面向服务机器人的室内场景图像分类方法，属于场景分类技术领域。本发明所述的室内场景图像分类方法包括以下步骤：步骤一：从先验场景图像库中选取训练样本；步骤二：对训练样本进行预处理；步骤三：训练基于最大可分性(MSD)的稀疏自编码(SAE)模型；步骤四：对训练样本进行提取特征得到特征向量；步骤五：利用均值池化对特征向量降维；步骤六：结合遗传免疫粒子群算法(GA-PSO)训练支持向量机(SVM)得到其参数；步骤七：利用训练好的SAE模型和SVM对新采集到的场景图像完成分类。采用本发明所述的室内场景分类方法能够实现复杂室内环境中的场景分类，从而服务机器人可以根据采集到的场景图像提供更多更准确的服务。

Description

一种面向服务机器人的室内场景图像分类方法

技术领域

本发明实施涉及图像处理技术，尤其涉及一种面向服务机器人的室内场景图像分类方法。

背景技术

随着计算机和机器人学的发展，现代机器人已经不仅仅在工业制造方面，而且期待能在农业、林业、军事、医疗、文娱、家用、科学研究等许多方面得到广泛的应用。对于家庭服务、患者看护、办公事务等高级工作而言，越来越多种类的移动服务机器人被开发和投入使用。随着研究的深入，人们对移动服务机器人在运动过程中能根据周围环境的变化而自助采取相应措施的能力也越来越强。移动服务机器人要达到自主导航、智能行进的目的，必须实时准确地获知周围信息，感知所处环境，即如何对场景图像正确分类。对服务机器人而言，要实现其对室内场景图像的分类，要解决四个基本问题：

1.用哪种图像特征来有效的描述图像，这涉及到特征提取问题；

2.用哪种图像分割的方式，对图像的字块或像素进行有效的识别，这个涉及到不同信息的融合问题；

3.用哪种机器学习方法来有效地构建识别模型，涉及到分类器设计和选取问题；

4.场景的同义性问题，即不同场景图像之间存在相似性，相同场景的不同图片之间存在一定的差异性。

现阶段的场景分类问题，有两个关键的组成部分：1)场景的描述与表示；2)利用场景表示来学习语义类别模型。比较流行的方法有视觉词袋模型(BoW)和基于空间金字塔匹配(SPM)法。BoW模型把一幅图像看作是由一组视觉词汇(Visual Word)组成的文档，其首先提取图像的兴趣点，然后来构建视觉词典(Codebook)，接着利用视觉词典对图像的低级特征(如兴趣点)进行向量量化，进而统计整幅图像的视觉词汇的直方图分布信息，最后通常采用SVM分类器完成场景分类任务。

尽管BoW方法在场景分类中取得了较好的效果，但它忽略了局部的图像块的位置信息，是一种无序的特征表示。而SPM方法对一幅图像在不同尺度上采用不同精细程度的划分，然后将各个尺度上所得到的统计直方图和串联起来表示图像场景特征。这种改进考虑了图像关键点的位置信息，从而使得场景图像分类的精度取得了较大的提升。但此方法也存在一个缺陷，其在视觉词典生成中采用了K-Means聚类的方法，由于K-Means是一种硬聚类(Hard Clustering)策略，并且在向量量化中每个描述子只属于一个聚类中心，故带来了较大的量化误差， 进而导致比较严重的信息损失。

本发明针对上面的问题1，问题3和问题4，提出一种面向服务机器人的场景图像分类方法，利用基于MSD约束下的SAE来进行特征提取，并用到均值池化的降维方法，结合遗传粒子群算法来优化SVM进行分类。能够有效解决BoW方法和SPM方法出现的问题，同时考虑到场景图像之间的同义性问题，大大提高室内场景图像分类的准确率，从而使服务机器人在场景理解方面具有更大的优势。

发明内容

为达到解决上述问题的目的，本发明提供一种面向服务机器人的室内场景图像分类方法，尤其是基于最大可分性(MSD)约束下的稀疏自编码(SAE)场景图像分类的方法。

本发明适用于多种室内场景图像的分类问题。具体步骤为：对场景图像进行白化等预处理，得到像素值在[0,1]之间的图像块。将预处理过的图像数据输入到基于MSD约束的SAE网络中，训练得到该模型的参数。然后将源图像输入到训练好的SAE中，结合卷积的思想对源图像进行特征提取，最终学习得到原始图像的抽象特征向量。为了便于分类，对此向量进行均值池化处理，得到原始输入的较低维数的特征向量。将经过降维处理的特征向量输入到“一对一”的SVM分类器中，并采用GA-PSO算法优化其参数。当采集到新的图像样本时，重复上面预处理、特征提取、卷积和均值池化步骤，并用已经训练好的SVM对其进行分类。这种方法能够取得较高的分类准确率。

本发明的面向服务机器人室内场景图像分类方法的大致流程如图2所示：

步骤1：图像预处理。本发明训练所采用的样本图像来自包含90种室内场景的先验图像库，随机选择每个场景类别的100幅图像，并进行预处理操作；即对图像进行去除噪声处理，提取图像边缘。选择合适的算子，使后续处理建立在较为准确的基础之上。

步骤2：训练基于MSD约束的SAE模型。将预处理过后的场景图像数据输入到该SAE模型中，训练的得到模型的参数；

步骤3：然后将原图像输入到训练好的SAE中，结合卷积的思想，经过逐层特征提取，得到原始输入的高维完备特征；

步骤4：对特征向量进行均值池化处理。由于步骤3中提取到的特征维数较高，不利于后面的分类，因此采用特征卷积和均值池化的方法对其进行降维处理，得到原始输入图像的较低维数的特征向量；

步骤5：确定SVM模型的参数。利用基于遗传免疫的粒子群算法优化并确定SVM分类器的参数：核函数参数r、惩罚参数c；

具体流程为： 

步骤5.1本发明选择RBF作为SVM的核函数，SVM需要优化核函数参数r、惩罚参数c。

步骤5.2初始化学习因子、惯性权重以及最大迭代次数。

步骤5.3计算个体的适应度值。计算每个个体的适应度的值，同时分别用一个变量把每个个体的当前二进制编码保留下来。从第二次迭代开始，如果产生的新个体的适应度比前一次保留的个体的适应度值小，则把新个体存储在变量中并替换前一代的个体。这样就保证了每个个体的历史最优解被保留下来。并且把每一代的最优解也用单独的变量保留下来，为步骤5.5做准备。

步骤5.4然后采用锦标赛选择法，即随机地从种群中选取一定数目的个体，再将适应度最好的个体先做父体，这样直到完成所有个体的选择。

步骤5.5交叉使用均匀交叉、变异操作到变异算子。在变异之前要先解码，在变异完成之后再重新编码。

步骤5.6判断是否满足终止条件，若达到最大迭代次数或所得餐宿不再变化则终止迭代，得到最优参数，否则返回到步骤5.3。

由于SVM本身针对二类分类，对于多类情况，常采用的是“一对多”和“一对一”的多分类器结构。本发明采用“一对一”的分类器结构。要通过优化分类器参数提高整个多分类器的样本识别精度，首先要分别优化多分类器的每个二分类器的参数，各分类器的参数是由该分类器对应的样本分别决定的，各分类器之间的参数具有独立性，可以分别进行优化。

步骤6：在线分类。当移动服务机器人的采集模块采集到一幅新的场景图像时，对新的图像样本重复步骤3和步骤4，并利用训练好的SVM直接对其进行分类。

附图说明

图1为本发明适用的90种室内场景的名称；

图2为本发明系统构架；

图3为本发明中采用的稀疏自编码的模型结构图；

图4为池化过程示意图；

图5为本发明中用到的优化算法基于遗传免疫粒子群算法的流程图。

具体实施方式

本发明所描述的面向服务机器人的室内场景图像分类方法，是以现有的移动机器人的视觉技术为基础，融合了移动终端产品中不断发展更新多维信息采集系统。通过对当前环境的多维信息采集，形成一个场景图像库，用基于最大可分性 (MSD)的稀疏自编码(SAE)模型进行特征提取，并采用SVM进行分类，

下面结合附图对本发明的实施做进一步的说明。

本发明，面向服务机器人室内场景图像分类方法的大致流程如图2所示，具体步骤如下：

步骤1：预处理。本发明训练所采用的图像样本来自包含90种室内场景的先验图像库，随机选择每个场景的100幅图像，组成一个3基色的图像库。利用分块的方法，将图像库中的图像切成一定像素大小(8×8)的图像块构成训练数据，并对其进行白化和归一化等预处理，将其像素值归一到[0,1]。

步骤2：训练基于MSD约束的单层SAE模型。本发明中，输入节点数和输出节点数均为64，隐藏层的单元数为1600。训练后得到各相邻层之间的权重W₁和W₂。利用L-BFGS函数最小化其目标函数：

$J_{\mathrm{SAE}}=\min (0.5\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left|\right|x_i-{\tilde{x}}_i\left|\right|}^2+0.5\mathrm{\λ}({\left|\right|W_1\left|\right|}_F^2+{\left|\right|W_2\left|\right|}_F^2)+\mathrm{\β}\underset{j=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{KL}\left(\mathrm{\ρ}\right|\left|{\widehat{\mathrm{\ρ}}}_j\right))---\left(1\right)$

式中，第一项是重构误差项，表示输入和输出的差异程度，其中，x_i表示步骤2中预处理后的第i个输入样本，表示样本x_i通过网络后在输出层的输出。第二项称为权重衰减项，是为了减小权重的幅度，防止过拟合，其中，m为隐藏层的单元数目，W₁和W₂分别表示SAE网络中第1、2层之间和第2、3层之间的权重。第三项是稀疏惩罚项，其中，表示隐藏层j的平均激活值，λ，β分别为权重衰减因子和稀疏约束的控制因子，ρ为稀疏系数，KL||·||项使得隐藏层所有单元的平均激励接近一个很小的数ρ，也就是说只有极少数隐藏层单元被激活。SAE模型的基本结构图如图1所示。

最大可分性(MSD)约束充分考虑场景图像的目标一致性问题，即相同场景不同图像之间的差异性和不同场景图像之间的相似性问题，通过计算类间散度矩阵S_b和类内散度矩阵S_w，并选择最佳的投影方向W，使得场景图像投影到方向W后能最大程度的被分开。

$S_b=\frac{1}{M}\underset{t=1}{\overset{C}{\mathrm{\Σ}}}{M}_t(m_t-m_0){(m_t-m_0)}^T---\left(2\right)$

$S_w=\frac{1}{M}\underset{t=1}{\overset{C}{\mathrm{\Σ}}}\underset{n=1}{\overset{M_t}{\mathrm{\Σ}}}(x_t^n-m_t){(x_t^n-m_t)}^T---\left(3\right)$

其中，M为总的训练样本的数目和第类样本的样本数目，M_t为第t类训练样本的数目。第t类训练样本中的第n个样本表示为m₀和m_t分别表示所有训练样本和第t类训练样本的均值。当S_b越大，S_w越小，不同的场景图像更容易被区分，因此，MSD具有如下的目标函数：

J_MSD＝w^TS_ww-ζ·w^TS_bw＝w^T(S_w-ζ·S_b)w   (4) 

其中，W为最佳投影方向，W^T为W的转置项。结合上述SAE模型，我们选择SAE模型中的权重为MSD约束中的最佳投影方向，通过优化(5)式，使得权重W和最佳投影方向W同时取得最优值。τ为平衡J_SAE和J_MSD之间的控制因子。

J(w)＝J_SAE+τJ_MSD   (5)

步骤3：经过步骤2，训练得到基于最大可分性(MSD)的稀疏自编码(SAE)的参数。将原图像输入到训练好的SAE中，并结合卷积的思想，经过逐层特征提取，得到原输入的抽象特征。

如图3所示，用8×8×3的图像块对256×256×3的源图像进行卷积，得到3个249×249的卷积特征图像。

步骤4：均值池化。步骤3完成后，得到的是原始输入的较高维数的特征向量，不利于后续的分类操作。基于此，采用均值池化的方法对其进行降维处理。然后将这些卷积特征进行池化，池化后的维数为3×3×1600。这样得到的特征向量能够表示每一类的场景图像，并且对其进行标注。卷积与均值池化的流程图如图4所示。

步骤5：GA-PSO算法优化SVM模型。近年来，将智能优化算法与SVM算法结合起来，用优化算法选择合适的模型参数以提高SVM的性能成为一种新的思路，受到研究者的广泛关注。大量研究表明，SVM的参数比如核函数参数r、 惩罚参数c等与SVM的性能有很大关系。因此参数的选择很重要。通常，通过大量的实验来获得较优的参数，但是这种方法要消耗大量的时间，而且获得的参数也不一定很好。本发明选择基于遗传免疫的粒子群算法(GA-PSO)来对SVM模型进行优化。

如图5所示，具体流程为：

步骤5.1本发明选择RBF作为SVM的核函数，SVM需要优化核函数参数r、惩罚参数c。

步骤5.2初始化学习因子、惯性权重以及最大迭代次数。

步骤5.3计算个体的适应度值。计算每个个体的适应度的值，同时分别用一个变量把每个个体的当前二进制编码保留下来。从第二次迭代开始，如果产生的新个体的适应度比前一次保留的个体的适应度值小，则把新个体存储在变量中并替换前一代的个体。这样就保证了每个个体的历史最优解被保留下来。并且把每一代的最优解也用单独的变量保留下来，为步骤5.5做准备。

步骤5.4然后采用锦标赛选择法，即随机地从种群中选取一定数目的个体，再将适应度最好的个体先做父体，这样直到完成所有个体的选择。

步骤5.5交叉使用均匀交叉、变异操作到变异算子。在变异之前要先解码，在变异完成之后再重新编码。

步骤5.6判断是否满足终止条件，若达到最大迭代次数或所得参数不再变化则终止迭代，得到最优参数，否则返回到步骤5.3。

由于SVM本身针对二类分类，对于多类情况，常采用的是“一对多”和“一对一”的多分类器结构。本发明采用“一对一”的分类器结构。要通过优化分类器参数提高整个多分类器的样本识别精度，首先要分别优化多分类器的每个二分类器的参数，各分类器的参数是由该分类器对应的样本分别决定的，各分类器之间的参数具有独立性，可以分别进行优化。

步骤6：当移动服务机器人的采集模块采集到新的场景图像时，重复上面的步骤3到步骤4，得到一定维数的新的特征向量。利用步骤5中训练好的SVM多分类器，可直接对新的样本进行分类。

综上所述，本发明旨在提出一种面向服务机器人的室内场景分类方法，并且这种方法与现存方法相比，具有更高的分类正确率。以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种面向服务机器人的室内场景图像分类方法，分为离线训练和在线分类两步来进行，具体步骤如下：

1.1离线训练：

1)在先验场景图像库中随机选择每类场景的100幅图像；

2)将取到的图像转换成一定大小和数量的图像块，并对其进行白化等预处理；

3)将预处理后的数据输入到基于最大可分性(MSD)约束的稀疏自编码(SAE)模型中，训练该模型，得到相应参数；

4)将训练图像和测试图像输入到训练好的SAE中，并结合卷积的思想，对输入逐层特征提取，得到原图像的特征向量；

5)上述步骤4)提取到的特征具有较高维数，不利于后面的分类，因此采用均值池化的方法对其进行降维处理，得到较低维数的训练图像的特征向量；

6)将特征向量输入到“一对一”的SVM分类器中，并结合GA-PSO算法，确定SVM的各参数值；

1.2在线分类：

a.当采集模块采集到新的场景图像时，可利用训练好的SAE模型对新的样本重复上述步骤2)到步骤4)，得到新样本的一组一定维数的特征向量；

b.将新的特征向量输入到步骤5)中训练好的SVM模型中，可直接对新的图像样本进行分类。

2.根据权利要求1所述的面向服务机器人的室内场景图像分类方法，其特征在于，本方法可对多种室内场景进行准确的图像分类，这些图像由采集模块在不同角度，不同光照强度等条件下采集到。

3.根据权利要求1所述的基于稀疏自编码的机器人室内场景图像分类方法，其特征在于，步骤3)中采用的基于MSD约束的SAE模型仅含一个隐藏层，其输入节点数和输出节点数均为64，中间隐藏节点数为1600，这样能自动提取到原场景图像的完备特征。

4.根据权利要求1所述的面向服务机器人的室内场景图像分类方法，其特征在于，步骤4)中采用均值池化的方法对步骤3)中提取到的特征进行降维处理，大大减小了训练SVM时的计算量。

5.根据权利要求1所述的基于MSD约束下的SAE场景图像分类方法，其特征在于，步骤5)中采用GA-PSO算法来优化并确定SVM模型的参数：核函数参数r、惩罚参数c。