CN105701509B - 一种基于跨类别迁移主动学习的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于跨类别迁移主动学习的图像分类方法，包括如下步骤：对辅助类别数据与目标类别数据中的图像进行向量化特征表示；构建辅助类别属性表示和目标类别属性表示；构造目标函数；优化求解目标函数，得到生成函数；利用生成函数及目标类别属性表示得到分类模型；利用分类模型计算目标类别数据中所有无标注图像的不确定性；选取不确定性最大的无标注图像进行标注；对目标类别数据中图像的权重进行更新，重新构造目标函数。本发明能够有效地在目标类别数据中挑选最有信息量的图像样本进行标注，有助于在目标类别只有极少有标注数据的情况下训练出准确的分类模型，降低标注成本。

Description

一种基于跨类别迁移主动学习的图像分类方法

技术领域

本发明涉及图像分类领域，尤其涉及一种基于跨类别迁移主动学习的图像分类方法。

背景技术

随着互联网上图像数据的大规模增长，图像分类技术受到广泛的关注和应用。现有的图像分类技术主要通过有监督学习的方法训练出目标类别的分类模型，即需要为各个分类模型收集足量的、高质量的有标注数据进行模型训练。这种方式适用与简单的分类任务和类别比较少的场景。但是随着分类任务的复杂化，比如类别数量多、类别专业化、特殊化等，为目标类别收集足量的有标注数据的成本大大上升。所以，如何尽可能地节省标注成本，用尽可能少的有标注数据来训练出准确的分类模型，在学术界和工业界都是一个重要的研究课题。

为了减少数据的标注成本，有两种常用的解决方案。第一种是主动学习(ActiveLearning)。主动学习的基本思想是：数据具有不同的信息量，如果学习算法能够挑选出那些最具信息量的数据来进行标注，那么即使只有很少的数据被标注了，这些数据所拥有的信息也能保证学习出的分类模型足够精确。另一种是迁移学习(Transfer Learning)。迁移学习的基本思想是：对于目标领域和任务，往往可以找到一些和它不同但是相关的辅助领域和任务，在辅助领域中拥有足量的有标注数据。即使只在目标领域中只有少量的数据，也能通过从辅助领域中迁移足量的知识来学习出准确的分类模型。当然，研究者们两种方案结合在一起，即迁移主动学习(Transfer Active Learning)，通过同时从辅助领域迁移知识和选择最优信息量的数据进行标注，也取得了一些不错的成果。但是，现有的迁移主动学习方法都有一个非常强的假设：目标领域和辅助领域所具有的数据的类别是完全一致的，只是数据在这些类别上的概率分布有差异。显然，这个假设在实际应用中太过苛刻了。对于目标领域，如果它包含大量的类别，或者所包含的类别的特殊性很强，要构建出一个类别与之完全相同的辅助领域也是一个成本很高的过程，这样违背了迁移主动学习的初衷。

从目前的研究来看，现有的迁移主动学习方法都只能处理目标领域和辅助领域的类别完全一模一样的情况，针对二者完全不同的解决方案还没有，但后者却是实际应用中更常见的情况。所以，如何在目标领域与辅助领域的类别相关但是不同的情况下，有效地从辅助领域迁移有价值的信息、同时在目标领域选择最有信息量的样本进行标注，以尽可能在极低的标注成本下训练足够准确的分类模型，仍需要进一步的研究。

发明内容

本发明旨在提供一种基于跨类别迁移主动学习的图像分类方法，以解决目前在目标领域与辅助领域的类别相关但是不同的情况下，有效地从辅助领域迁移有价值的信息、同时在目标领域选择最有信息量的样本进行标注，以尽可能在极低的标注成本下训练足够准确的分类模型的问题。

本发明的发明目的是通过下述技术方案来实现的：

一种基于跨类别迁移主动学习的图像分类方法，包括如下步骤：

步骤S1：利用特征抽取工具分别对辅助类别数据中的图像与目标类别数据中的有标注图像和无标注图像进行向量化特征表示，得到辅助类别图像特征向量和目标类别图像特征向量；

步骤S2：分别针对辅助类别数据和目标类别数据构建出辅助类别属性表示和目标类别属性表示；

步骤S3：利用步骤S1中得到的辅助类别图像特征向量和目标类别图像特征向量，以及步骤S2中得到的辅助类别属性表示和目标类别属性表示构造目标函数；

步骤S4：利用迭代式的优化方法求解上一步得到的目标函数，并得到生成函数；

步骤S5：利用上一步得到的生成函数以及步骤S2中得到的目标类别属性表示，直接产生各个目标类别对应的分类模型；

步骤S6：判断步骤S5中得到的分类模型的准确性是否符合要求，如果符合结束本次学习，如果不符合转下一步；

步骤S7：利用步骤S5中得到的分类模型，计算目标类别数据中所有无标注图像的不确定性，并按不确定性从大到小进行排序；

步骤S8：选取上一步中不确定性最大的无标注图像进行标注，将无标注图像转化为有标注图像；

步骤S9：对目标类别数据中图像的权重进行更新；然后转步骤S3。

进一步的，所述步骤S2：分别针对辅助类别数据和目标类别数据构建出辅助类别属性表示和目标类别属性表示中，利用维基百科上学习出的单词表示作为类别属性表示。

进一步的，所述步骤S3中构造出的目标函数为：

其中，α和β是控制各部分在目标函数中权重的超参数；

表示一个矩阵所有元素的平方和；

为加权的数据，表示目标类别数据 中各个图像的权重；

为步骤S1中所述的辅助类别图像特征向量构成的矩阵；

为步骤S1中所述的目标类别图像特征向量构成的矩阵；

为辅助类别数据中每个图像所对应的类别向量构成的矩阵；

为辅助类别数据中每个辅助类别属性向量构成的矩阵，所述辅助类别属性向量为所述步骤S2中辅助类别属性表示的一种表示方法；

为目标类别数据中每个目标类别属性向量构成的矩阵，所述目标类别属性向量为所述步骤S2中目标类别属性表示的一种表示方法；

为待预测的目标类别数据中每个图像所对应的类别向量构成的矩阵；

V为待预测的生成函数的参数；

为目标类别数据中无标注图像所对应的类别向量；

为目标类别数据中的有标图像集，为目标类别数据中无标图像集。

进一步的，所述步骤S4：利用迭代式的优化方法求解上一步得到的目标函数，并得到生成函数，具体包括如下步骤：

(1)优化Y_t：将V固定，所述目标函数对于Y_t为行解耦，对矩阵式目标函数的每一行进行单独处理，目标函数对于目标类别数据中无标注图像对应的类别向量的部分如下：

优化Y_t的公式如下：

(2)优化V：在Y_t固定的条件下，进行如下定义：

目标函数进行如下近似：

上式对于V的导数如下：

再令上述导数为0，可以得到优化V的公式如下：

V＝(X′X+βI)^-1X′YA(A′A)^-1

按上述方法不断迭代优化V和直至目标函数的值收敛，同时得到生成函数参数V。

再利用生成函数参数V得到生成函数g(a_c)＝a_cV’，其中a_c为图像的类别属性表示。

进一步的，所述步骤S5中各个目标类别对应的分类模型的计算公式为：

其中

进一步的，所述步骤S7中计算目标类别数据中所有无标注图像的不确定性的方法采用最优比次优法，具体步骤如下：

步骤S7.1：计算出无标注图像在各个目标类别的分类模型上的响应值 其中为无标注图像的特征向量，并对响应值o_jc从高到低进行排序；

步骤S7.2：找出两个最大的响应值和

步骤S7.3：根据两个最大的响应值和之差衡量无标注图像的不确定性，无 标注图像的不确定性

进一步的，所述步骤S9中对目标类别数据中图像的权重进行更新，所述权重可由如下公式进行更新：

其中δ是一个比例因子。

本发明的有益效果：

(1)本发明提出学习出一个生成函数，该函数利用类别的属性信息作为输入，输出对应类别的分类模型的参数，通过结合辅助类别和目标类别进行学习，该生成函数能够有效地将有价值的知识从辅助类别数据中迁移到目标类别数据中，同时在目标类别数据中挑选最有信息量的图像样本进行标注，有助于在目标类别只有极少有标注数据的情况下训练出准确的分类模型，降低标注成本。

(2)本发明还提出了一种迭代式的优化方法，能够有效地解决本发明中目标函数的优化问题，该优化方法效率高。

附图说明

图1为本发明所述的一种基于跨类别迁移主动学习的图像分类的方法流程图。

具体实施方式

以下参照附图1，结合具体的实施方式对本发明作进一步的说明。

本发明所述一种基于跨类别迁移主动学习的图像分类方法，具体包括如下步骤：

步骤S1：利用特征抽取工具分别对辅助类别数据中的图像与目标类别数据中有标注图像和无标注图像进行向量化特征表示，得到辅助类别图像特征向量和目标类别图像特征向量。

利用Lire或DeCAF图像特征提取工具对图像抽取一种或多种特征向量，并拼合为 一个整体向量其中x_kj表示 第k种特征向量中的第j个分量，而则表示第k种特征向量中的最后一个分量。同时，记d ＝mn_m表示图像特征的总维度。以下，用表示各个辅助类别图像特征向量，用表示各个 目标类别图像特征向量。

步骤S2：分别针对辅助类别数据和目标类别数据构建出辅助类别属性表示和目标类别属性表示。

对于任一种类别c，其属性表示为a_c＝(a_c1,a_c2,…,a_cr)，其中a_cj表示该属性表示的第j个分量。本发明使用单词表示(Word representation)来作为类别属性表示。单词表示是在一个大规模的文本数据库中，利用自然语言处理(Natural language processing)等相关方法挖掘出的单词的一种r维的向量化表示，单词之间的潜在的联系可以用该向量很好地描述。本发明利用在维基百科(Wikipedia)上学习出的单词表示作为类别属性表示。由于几乎所有的英文词汇都会出现在维基百科中，所以可以为任何一个类别，找到对应单词表示作为它的属性表示。对于任意辅助类别和目标类别，都可以用该方法得到其属性表示。以下，用表示辅助类别属性表示，用表示目标类别属性表示。

步骤S3：利用步骤S1中得到的辅助类别图像特征向量和目标类别图像特征向量以及步骤S2中得到的辅助类别属性表示和目标类别属性表示构造目标函数，本发明提出使用如下的目标函数：

其中，α和β是控制各部分在目标函数中权重的超参数；

表示一个矩阵所有元素的平方和；

为加权的数据，表示目标类别数据 中各个样本的权重；

为步骤S1中所述的辅助类别图像特征向量构成的矩阵；

为步骤S1中所述的目标类别图像特征向量构成的矩阵；

为辅助类别数据中每个图像所对应的类别向量构成的矩阵；

为辅助类别数据中每个辅助类别属性向量构成的矩阵，所述辅助类别属性向量为所述步骤S2中辅助类别属性表示的一种表示方法；

为目标类别数据中每个目标类别属性向量构成的矩阵，所述目标类别属性向量为所述步骤S2中目标类别属性表示的一种表示方法；

为目标类别数据中每个图像所对应的类别向量构成的矩阵；

V为待预测的生成函数的参数；

为目标类别数据中无标注图像所对应的类别向量；

为目标类别数据中的有标图像集，为目标类别数据中无标图像集。

在辅助类别数据中存在若干辅助类别这些辅助类别与目标类别不同但是相关。因为辅助类别数据中拥有丰富的有标注图像数据，所以可以利用其中的知识来减少为目标类别构建准确的分类模型所需要的有标注图像数据。这些类别有n_s个属于辅助类别的图像数据其中为辅助类别图像特征向量，是一个k_s维的辅助类别向量，如果第i个图像属于第m个类别，则令y_im＝1，否则y_im＝0，这些辅助类别数据中的图像数据都是有标注的，即已知。目标类别的图像数据被分为两个不相交的集合，有标图像集和无标图像集目标类别数据中存在有若干个目标类别同时有n_t个属于目标类别的图像数据其中为目标类别图像特征向量，包括有标注图像对应的类别向量和无标注图像对应的类别向量其中无标注图像的对应的类别向量是未知的。针对跨类别迁移学习问题，有即目标类别与辅助类别完全不同。同时，对于每一个类别c_i∈C^s∪C^t，都有一个对应类别属性来描述它。

步骤S4：利用迭代式的优化方法求解上一步得到的目标函数，并得到生成函数，具体包括如下步骤：

(1)优化Y_t：将生成函数参数V固定，所述目标函数对于Y_t为行解耦，对矩阵形式的目标函数的每一行进行单独处理，具体来说，该目标函数对于目标类别数据中无标注图像对应的类别向量的部分如下：

优化Y_t的公式如下：

(2)优化V：在Y_t固定的条件下，进行如下定义：

目标函数进行如下近似：

上式对于V的导数如下：

再令上述导数为0，可以得到优化V的公式如下：

V＝(X′X+βI)^-1X′YA(A′A)^-1

按上述方法不断迭代优化V和直至目标函数的值收敛，同时得到生成函数参数V。

再利用生成函数参数V得到生成函数g(a_c)，g(a_c)＝a_cV’。

本发明提出的一种迭代式的优化方法，能够有效地解决本发明中所面对的目标函数的优化问题，该优化方法效率高。

步骤S5：利用上一步得到的生成函数g(a_c)以及步骤S2中得到的目标类别属性表示直接产生各个目标类别对应的分类模型其中

本发明提出学习出一个生成函数g(a_c)，该函数利用类别的属性信息作为输入，输出对应类别的分类模型的参数，通过结合辅助类别和目标类别进行学习，该生成函数能够有效地将知识从辅助类别迁移到目标类别中，有助于在目标类别只有极少有标注数据的情况下训练出准确的分类模型。

步骤S6：判断步骤S5中得到的分类模型的准确性是否符合要求，如果符合结束本次学习，如果不符合转下一步。

分类模型的准确性的验证可以通过已有的有标注图像进行测试，例如，分类模型的准确性达到了80％，则说明目前得到的分类模型已符合要求，不需要再对无标注图形进行标注，可以结束学习。

步骤S7：利用步骤S5中得到的分类模型，计算目标类别数据中所有无标注图像的不确定性，并按不确定性从大到小进行排序。

采用最优比次优法计算目标类别数据中所有无标注图像的不确定性，具体步骤如下：

步骤S7.1：计算出无标样本图像在各个目标类别的分类模型上的响应值 其中为无标图像的特征向量，并对响应值o_jc从高到低进行排序；

步骤S7.2：找出最大的两个响应值和

步骤S7.3：根据最大的响应值和之差衡量无标注图像的不确定性，无标注 图像的不确定性

和是所有类别的分类模型中响应值最大的两个，即该图像最有可能属于类别c₁和c₂。如果这两个值有很大的差异，那么就可以非常有信心地认为这个样本属于c₁；反之，如果二者差异很小，那么该图像判断为c₁的置信度就比较低，即它的不确定性较高。所以，就可以利用这两个值之差来衡量无标注图像的不确定性。

步骤S8：不确定性最大的无标注图像进行标注，将无标注图像转化为有标注图像。

选取不确定性最大的无标注图像，即选取图像j：

接下来就可以对无标注图像j进行标注，并将其从无标图像集中移到有标图像集中。在主动学习的过程中，需要不断的从无标图像集中挑选图像样本进行人工标注，使无标注图像的类别向量从未知变成已知，并加入到有标图像集中用于训练分类模型，直至模型满足需求。

本发明提出一种基于生成函数的分类方法和在多类别环境下的不确定性采样方法，可以从目标类别数据的无标注图像数据中挑选出最有信息量的图像数据进行标注，对节省标注成本有重要作用。

步骤S9：对目标类别数据中图像的权重进行更新；然后转步骤S3。

在对各个图像样本的权重进行更新中，对于分类模型比较确定(即不确定性低)的图像样本，在训练时应该赋予更高的权重；反之，对于不确定性高的样本，应该赋予较低的权重。所以，样本权重可由如下公式进行更新：

其中δ是一个比例因子。

需要对上述步骤进行不断地重复，不断地挑选无标注图像样本进行标注并重新训练分类模型直至分类模型准确性达到要求位置。由于本发明能够很好地从辅助类别数据中迁移有价值的知识，并在目标类别数据中挑选最优信息量的图像样本进行标注，所以重复的次数不会太多，即需要标注的图像样本数量较少，标注成本低。

通过在图像分类领域的三个标准数据集AwA、aPascal-aYahoo、SUN上的实验，本发明所提出的基于跨类别迁移主动学习的图像分类方法表现出了有效性。具体来说，在AwA数据集中，使用40个类别作为辅助类别，10个类别作为目标类别；aPascal-aYahoo数据集中，使用aPascal所包含的20个类别作为辅助类别，aYahoo所包含的12个类别作为目标类别；SUN数据集中，使用707个类别作为辅助类别，10个类别作为目标类别。在所有实验中，目标类别和辅助类别完全不同，辅助类别有丰富的有标注数据，而该方法的目的就是要在目标类别的大量无标注数据中挑选尽可能少的数据进行标注，以通过它们得到准确的分类模型。对于这三个数据集，本发明所提出的方法，为了在目标类别上达到80％的分类准确度，所需要的目标类别的有标注数据比传统的主动学习方法需要的数据分别少了60％、75％、60％，该方法显著地节省了标注的成本，效果优异。

当然应意识到，虽然通过本发明的示例已经进行了前面的描述，但是对本发明做出的将对本领域的技术人员显而易见的这样和其他的改进及改变应认为落入如本文提出的本发明宽广范围内。因此，尽管本发明已经参照了优选的实施方式进行描述，但是，其意并不是使具新颖性的设备由此而受到限制，相反，其旨在包括符合上述公开部分、权利要求的广阔范围之内的各种改进和等同修改。

Claims (5)

1.一种基于跨类别迁移主动学习的图像分类方法,其特征在于，包括如下步骤：

步骤S1：利用特征抽取工具分别对辅助类别数据中的图像与目标类别数据中的有标注图像和无标注图像进行向量化特征表示，得到辅助类别图像特征向量和目标类别图像特征向量；

步骤S2：分别针对辅助类别数据和目标类别数据构建出辅助类别属性表示和目标类别属性表示；

步骤S3：利用步骤S1中得到的辅助类别图像特征向量和目标类别图像特征向量，以及步骤S2中得到的辅助类别属性表示和目标类别属性表示构造目标函数；

该步骤中所构造出的目标函数为：

其中，α和β是控制各部分在目标函数中权重的超参数；

表示一个矩阵所有元素的平方和；

为加权的数据，表示目标类别数据中各个图像的权重；

为步骤S1中所述的辅助类别图像特征向量构成的矩阵；

为步骤S1中所述的目标类别图像特征向量构成的矩阵；

为辅助类别数据中每个图像所对应的类别向量构成的矩阵；

为辅助类别数据中每个辅助类别属性向量构成的矩阵，所述辅助类别属性向量为所述步骤S2中辅助类别属性表示的一种表示方法；

为目标类别数据中每个目标类别属性向量构成的矩阵，所述目标类别属性向量为所述步骤S2中目标类别属性表示的一种表示方法；

为待预测的目标类别数据中每个图像所对应的类别向量构成的矩阵；

V为待预测的生成函数的参数；

为目标类别数据中无标注图像所对应的类别向量；

L为目标类别数据中的有标图像集，为目标类别数据中无标图像集；

步骤S4：利用迭代式的优化方法求解上一步得到的目标函数，并得到生成函数；

具体包括如下步骤：

(1)优化Y_t：将V固定，所述目标函数对于Y_t为行解耦，对矩阵式目标函数的每一行进行单独处理，目标函数对于目标类别数据中无标注图像对应的类别向量的部分如下：

优化Y_t的公式如下：

(2)优化V：在Y_t固定的条件下，进行如下定义：

目标函数进行如下近似：

上式对于V的导数如下：

再令上述导数为0，可以得到优化V的公式如下：

V＝(X'X+βI)^-1X'YA(A'A)^-1

按上述方法不断迭代优化V和直至目标函数的值收敛，同时得到生成函数参数V；

步骤S5：利用上一步得到的生成函数以及步骤S2中得到的目标类别属性表示，直接产生各个目标类别对应的分类模型；

步骤S6：判断步骤S5中得到的分类模型的准确性是否符合要求，如果符合结束本次学习，如果不符合转下一步；

步骤S7：利用步骤S5中得到的分类模型，计算目标类别数据中所有无标注图像的不确定性，并按不确定性从大到小进行排序；

步骤S8：选取上一步中不确定性最大的无标注图像进行标注，将无标注图像转化为有标注图像；

步骤S9：对目标类别数据中图像的权重进行更新；然后转步骤S3。

2.如权利要求1中所述的一种基于跨类别迁移主动学习的图像分类方法，其特征在于，所述步骤S2：分别针对辅助类别数据和目标类别数据构建出辅助类别属性表示和目标类别属性表示中，利用维基百科上学习出的单词表示作为类别属性表示。

3.如权利要求1中所述的一种基于跨类别迁移主动学习的图像分类方法，其特征在于,所述步骤S5中各个目标类别对应的分类模型的计算公式为:

其中

4.如权利要求3中所述的一种基于跨类别迁移主动学习的图像分类方法，其特征在于,所述步骤S7中计算目标类别数据中所有无标注图像的不确定性的方法采用最优比次优法，具体步骤如下：

步骤S7.1：计算出无标注图像在各个目标类别的分类模型上的响应值 其中为无标注图像的特征向量，并对响应值o_jc从高到低进行排序；

步骤S7.2：找出两个最大的响应值和

步骤S7.3：根据两个最大的响应值和之差衡量无标注图像的不确定性，无标注图像的不确定性

5.如权利要求4中所述的一种基于跨类别迁移主动学习的图像分类方法，其特征在于,所述步骤S9中对目标类别数据中图像的权重进行更新，所述权重可由如下公式进行更新：

其中δ是一个比例因子。