CN111291818A - 一种面向云掩膜的非均匀类别的样本均衡化方法 - Google Patents

Abstract

一种面向云掩膜的非均匀类别的样本均衡化方法，包括：步骤1：数据预处理与样本获取；步骤2：样本分组；步骤3：云掩膜模型训练；步骤4：分类器掩膜与评价；步骤5：迭代训练；步骤6：云掩膜；步骤7：掩膜数据后处理。本发明采用的样本均衡化方法，有效的解决了遥感影像中云类别不均匀而导致的样本失衡，实现对影像中各种类型云的有效识别和分割，从而提高云掩膜精度；选择性地输入样本，这可以突出缺失或错误检测的样本的影响，从而增强小类别样本，从而有效地调整深度学习模型所提取的特征，解决小类别云漏检或误检问题。

Description

一种面向云掩膜的非均匀类别的样本均衡化方法

技术领域

本发明涉及一种非均匀类别的样本均衡化方法，具体来说涉及基于深度学习的云掩膜训练过程中的非均匀类别的样本均衡化方法。

背景技术

随着遥感技术的发展，遥感影像广泛地应用于农作物制图、森林监测等各个领域。然而由于遥感影像成像过程中受云的影响，获取的影像上相应区域存在数据缺失或畸变，从而影响了信息提取结果的准确性及其应用意义。云导致的数据缺失或畸变问题在中国南方等多云多雨地区尤其突出，使用部分被云遮挡的影像能够提高数据可获取性，增强其保障能力。在应用部分缺失的影像中，逐像素标记影像上受云影响像素的云掩膜过程是各种应用的基础。

基于监督学习的云掩膜方法可以根据标记的样本学习云特征并调整分类器的参数，具有获得较高云掩膜精度的潜力，而特征设计与分类器选择是决定分类精度的重要因素。常用特征(例如光谱，形状和纹理特征等)、机器学习方法(例如支持向量机和浅层神经网络等)及其组合都已经用于云掩膜(胡根生,陈长春,梁栋.联合云量自动评估和加权支持向量机的Landsat图像云检测[J].测绘学报,2014,43(8):848-854.)。但是，这些特征都是人为设计的，由于不同种类的云特征迥异，难以利用单个或多个特征来准确描述并区分所有云，从而限制了方法的适用性。因而，每次云掩膜时需要重新选择样本并调整分类器模型，导致较高的时间消耗和财务成本，降低了算法的实用性。

近年来，深度学习因其将特征提取与分类器优化耦合在一起实现协同优化，在计算机视觉领域得到了广泛应用并获得巨大成功，从而为云掩膜提供新的技术思路与方案。一种典型方法如：通过线性迭代聚类算法可以将相似像素聚合为超像素，再将超像素作为输入进行云检测。同时，由于卷积操作不仅可以利用单个像素的光谱特征，还可以提取卷积窗口像素构成的空间特征，直接利用卷积特征进行云掩膜有助于提高掩膜精度(Xie F,ShiM,Shi Z,et al.Multilevel cloud detection in remote sensing images based ondeep learning[J].IEEE Journal of Selected Topics in Applied EarthObservations and Remote Sensing,2017,10(8):3631-3640.)。从以上论述可以看出：基于深度学习的云掩膜方法已经实现了较高精度的掩膜效果。

然而，由于云是一个复合类别，根据云的高度，再结合是否产生降水、温度以及逆辐射等信息，可以将其划分为低云、中云和高云3族10属，其中，低云的高度不超过4km，包括层云、层积云、雨层云、积云和积雨云等类型；中云的高度4-6km，包括高积云和高层云；高云的高度在6km以上，包括卷云、卷积云和卷层云。图1给出了各种云的示意图，可以看出：不同类型的云呈现出的形态与颜色特征不同、甚至差别很大；即使同一类型的云，其特征也随其厚度、高度等变化而变化。同时，这些云的数量差异也很大，且云的数量随时间和区域而变化，即构成不平衡类别(王帅辉,韩志刚,姚志刚,等.基于CloudSat资料的中国及周边地区各类云的宏观特征分析[J].气象学报,2011,69(5):883-899.)。

深度学习模型需要准确识别不同类型云的特征，才能实现不同类型云的准确识别，但是由于：(1)不同类型的云比例差异较大，且随着不同纬度、不同季节等因素的影响而变化，难以获得比例均衡的样本；(2)云的可分性不仅决定于云本身，也决定于与下垫面(如城市、森林、水体、沙漠等)的可区分性，而云与下垫面构成复杂的组合关系。上述因素使得深度学习模型不能很好地学习小类别的云特征，造成相应类型的云漏检。

在计算机视觉等领域，处理不平衡类别的一种方法是分类别选择样本，确保各种样本数量的相对平衡。然而，由于云的类别判别方法需要高度等其他辅助信息，仅依靠目视判断方法，对于专业技术人员也是一件具有挑战性的工作。因而，逐类别地选取样本难以实施。针对上述问题，本发明专利提出一种基于分组训练的样本均衡化方法，利用当前的分类结果判定分类器对各种类别云的掩膜精度，并选择性地输入存在漏检和误检样本，从而强化分类器对漏检或误检样本的敏感性。

发明内容

针对由于非均匀类别导致的样本不均衡问题，本发明提出一种样本均衡化方法，从而保证分类器能够准确识别不同类型的云。

本发明的原理是将样本分组，再通过前一组样本训练出一个相对稳定的深度学习模型，然后对后一组样本进行云掩膜及其结果评价；再将当前分类器能够准确识别的样本忽略，而将错检与漏检样本输入分类器进行迭代训练，从而减少大类别占总样本的比例，而增加小类别占的比例，从而实现样本均衡化。

根据以上原理，在获取待掩膜影像的基础上，本发明的一种面向云掩膜的非均匀类别的样本均衡化方法，实现步骤如下：

步骤1：数据预处理与样本获取；

标准假彩色影像上植被呈红色，各种地物与云的可区分性较大，使用标准假彩色方式进行波段合成。

由于原始影像采用不同的量化位数，导致相同的灰度值具有不同的意义，这里通过百分比截断的方式压缩到区间[1,255]，保证不同传感器获得的影像具有相似的色彩。

由于影像以景的方式分发，其尺寸远远大于计算机的处理能力，对影像进行切片，输出大小为h*w的影像块，其数目为M。

在此基础上，标记影像块上云所在区域的多边形，制作遥感影像云掩膜样本集G，其中包含N个影像块。

步骤2：样本分组；

将样本G分为K组样本：

G＝{G₁,G₂,...,G_K} (1)

其中，样本子集G₁作为预训练分类器，以获取一个相对稳健的深度学习模型；样本子集{G₂,...,G_k-1}组样本测试并迭代选取样本；样本子集G_K用于检测精度。

这里根据客户需要，可以保证各个样本子集之间是否存在交集。

步骤3：云掩膜模型训练；

在设置训练超参数后，使用样本子集G₁训练深度学习模型，记通过样本子集G₁训练得到的模型为C¹。

步骤4：分类器掩膜与评价；

使用C¹对G₂中的样本进行预测，获得掩膜结果，再将其与G₂中的标签数据进行比较，从而评价分类结果。

云掩膜结果可以分为正确T、错误F和遗漏M三种类型。其中，正确表示样本标记为云，且分类结果也是云；错误表示样本为非云，而分类器提取为云；遗漏表示样本标记为云，但是分类器未提取。在此基础上，我们选取平均检测率(AR)，平均正确率(AP)、整体精度(OA)三个评价指标来评价掩膜精度：

其中，#表示像素个数。值得注意的是：由于干净地物构成的背景像素数量远大于云像素数量，使得整体精度难以反映真实的检测效果，因此在计算OA时，忽略该部分像素，从而使得OA和交并比(IoU)相同。

同时，对样本分组G_K中的分类结果进行云掩膜及其精度评价，其精度记为OA(G_K,C¹)，

步骤5：迭代训练；

对于一块云，将AR和AP均大于0.5的作为正确样本，其他作为错误样本。忽略正确的样本，而将错误和遗漏的样本加入，再返回步骤3，训练得到新的分类器C²；然后按照步骤4对样本G₃进行评价。

重复上述过程，直到所有样本集用完或分类器达到稳定，这里分类器稳定是指第i次的分类精度OA(G_K,Cⁱ)与第i+1次的分类精度OA(G_K,Cⁱ⁺¹)的变化小于等于容差e：

|OA(G_K,Cⁱ)-OA(G_K,Cⁱ⁺¹)|≤e (5)

其中，i表示分类器的迭代次数。

将上述步骤获得的稳定的分类器记为C^K-1。

步骤6：云掩膜；

使用分类器模型C^K-1对待处理测试集G_K进行云掩膜，并评价云掩膜精度。

步骤7：掩膜数据后处理；

对掩膜数据进行后处理，剔除小于T的小联通区域的云；填充大块云中小于T的干净联通像素。

优选地，步骤1将近红外波段对应红色，红波段对应绿色，绿波段对应蓝色进行标准假彩色合成，获得标准假彩色影像；直接使用百分比截断将影像从16位降到8位，首先统计影像直方图，提取灰度值到达1％时候的灰度值a和灰度值达到99％时候的灰度值b，然后将[a,b]线性拉伸到[1,255]；

将遥感影像裁剪为512*512像素大小的影像块，生成训练所需的数据集，通过上述方式一共获得16000个影像块；

为制作数据集的云掩膜标签，使用ArcMap对影像块上的云进行标注，制作云边界清晰的掩膜标签，然后将其转化为栅格格式。

优选地，步骤2的样本分组具体是：第一组样本作为预训练数据集，用于训练一个相对稳健的深度学习模型；第二组到倒数第二组样本作为精度检验样本并进行精度评价，再加入样本进行增量训练；最后一组样本不参与训练，单独用于检测精度；

根据步骤1进行影像切片后，一共获得16000个影像块，首先将10000个样本用于训练，6000个样本分为6组用于影像测试，4000个样本用于测试；分为8组，各组样本的数量分别为(6000，1000，1000，1000，1000，1000，1000，4000)。

优选地，步骤3所述的云掩膜模型训练具体做法是：在初始化权重方面，使用COCO数据集上ResNet101的预训练模型来初始化Mask R-CNN网络权重；在超参数设置方面，设置迭代次数＝160，batch_size＝2，pool_size＝7，mask_pool_size＝14，初始学习率＝0.001，学习率更新系数＝0.9；

将步骤2的分组中的第一组数据输入Mask R-CNN模型中，按照所述超参数进行训练，训练得到一个稳定的云掩膜模型C¹。

本发明的优点是：(1)本发明采用的样本均衡化方法，有效的解决了遥感影像中云类别不均匀而导致的样本失衡，实现对影像中各种类型云的有效识别和分割，从而提高云掩膜精度。(2)选择性地输入样本，这可以突出缺失或错误检测的样本的影响，从而增强小类别样本，从而有效地调整深度学习模型所提取的特征，解决小类别云漏检或误检问题。

附图说明

图1是云分类示意图。

图2是本发明的面向云掩膜的非均匀类别的样本均衡化方法流程示意图。

图3是本发明准备的样本示例图。图3(a)为原始影像；图3(b)为人工云掩膜数据。

图4是本发明的实施例中原始Mask R-CNN模型预测结果示例图：图4(a)为原始影像图4(b)为云掩膜数据；图4(c)为原始掩膜结果；图4(d)为掩膜结果评价。

图5是本发明的实施例中迭代训练的不同迭代次数的结果图：图5(a)为原始的遥感影像；图5(b)为掩膜结果,即真值；图5(c)-(i)使用不同输入组的样本的迭代掩膜结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。因而，基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

假设已获取一个待掩膜的影像集，影像上部分区域被云遮挡而造成数据缺失，需要对该区域内的云进行掩膜。本实施例中，一共选取了24景Landsat 5TM影像，20景Landsat8OLI影像和17景Sentinel 2Multi Spectral Imager影像，由于本发明主要是基于影像的视觉特征进行分割，因而不区分各种影像类型，而当成同一种数据处理。

图2是本发明的流程图，本发明的一种面向云掩膜的非均匀类别的样本均衡化方法，具体实施方法如下：

步骤1：数据预处理与样本获取；

由于大部分影像都有近红外、红、绿波段，因而将近红外波段对应红色，红波段对应绿色，绿波段对应蓝色进行标准假彩色合成，获得标准假彩色影像。该影像上植被呈红色，各种地物与云的区别较大，具有较高的可分型。

由于Sentinel 2MSI和Landsat 8OLI影像采用16位量化，相同灰度值的含义并不相同，由于本发明主要是基于影像的视觉特征进行云掩膜，因而本发明不进行复杂的辐射校正等操作，而直接使用百分比截断将影像从16位降到8位。实现上首先统计影像直方图，提取灰度值到达1％时候的灰度值a和灰度值达到99％时候的灰度值b，然后将[a,b]线性拉伸到[1,255]。

由于遥感影像一般是以景的方式进行分发，单景影像的长宽较大，难以直接输入到深度学习模型进行处理，因此本发明将遥感影像裁剪为512*512像素大小的影像块，生成训练所需的数据集，通过上述方式一共获得16000个影像块。

为制作数据集的云掩膜标签，使用ArcMap对影像块上的云进行标注，制作云边界清晰的掩膜标签，然后将其转化为栅格格式。本项目选取的样本结果如图3所示。其中，图3(a)为原始的影像，图3(b)为本发明的掩膜实例。

步骤2：样本分组；

本发明提出了一种分组训练策略来解决样本不平衡的问题。分组原则是：第一组样本作为预训练数据集，用于训练一个相对稳健的深度学习模型；第二组到倒数第二组样本作为精度检验样本并进行精度评价，再加入样本进行增量训练；最后一组样本不参与训练，单独用于检测精度。

根据步骤1进行影像切片后，一共获得16000个影像块。本发明首先将10000个样本用于训练，6000个样本分为6组用于影像测试，4000个样本用于测试。分为8组，各组样本的数量分别为(6000，1000，1000，1000，1000，1000，1000，4000)。

样本分组可以采取可以重复或者不可重复方式，各组样本数量或者比例也可以根据需要进行调整。

步骤3：云掩膜模型训练；

Mask R-CNN等实例分割方法在多种应用中取得了良好的效果，因而本专利以MaskR-CNN为例说明本专利的实施过程，当然也可以根据要求选择更先进的分类器进行云掩膜。

在初始化权重方面，使用COCO数据集上ResNet101的预训练模型来初始化Mask R-CNN网络权重。在超参数设置方面，设置迭代次数＝160，batch_size＝2，pool_size＝7，mask_pool_size＝14，初始学习率＝0.001，学习率更新系数＝0.9。

将上述分组中的第一组数据输入Mask R-CNN模型中，按照步骤的上述超参数进行训练，训练得到一个稳定的云掩膜模型C¹。

步骤4：分组训练与评价；

使用步骤3训练的模型C¹对样本子集G₂进行云掩膜，得到云掩膜结果。

然后，对分组G^K进行云掩膜，获得掩膜结果，计算其整体精度OA(G_K,C¹)。

步骤5：迭代训练；

将掩膜结果与标签进行比较，结果可分为三种类型，即正确T，错误F和遗漏M，

在此基础上，评价各个云对象的AR和AP，并将小于0.5的云对象增加到训练集中，返回步骤3利用新的训练集进行重新训练；再实施步骤4对样本进行云掩膜。

重复上述过程，直到所有的样本子集已经使用完毕或测试集G^K上的分类精度达到稳定。

本实施案例使用前后两次的OA变化小于0.1％作为分类器稳定的标志。

图4为本文的掩膜结果实例。其中，图4(a)为本文方法的原始输入影像；图4(b)为本文方法的掩膜结果。

图5给出了本文方法的迭代掩膜结果，其中图5(a)为原始影像，影像上存在两种不同类型的云，即薄云和厚云；图5(b)为云掩膜结果；图5(c)-(i)为依次使用上述样本子集对云进行掩膜的效果，由于薄云的样本较少，导致在图5(c)等早期掩膜结果中存在较多的漏检，增加样本之后薄云逐渐被检出，分类精度提高。

步骤6：云掩膜；

使用分类器模型C^K-1对待处理测试集G^K进行云掩膜，获得像素级的云掩膜结果。

步骤7：掩膜结果后处理；

在获得训练模型的基础上，对用于测试的遥感影像样本进行云掩膜，获取云掩膜结果。去除云掩膜结果中产生的小于10像素的小联通云；或者大块联通区域中的小于10个像素的干净区域。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (4)

1.一种面向云掩膜的非均匀类别的样本均衡化方法，实现步骤如下：

步骤1：数据预处理与样本获取；

标准假彩色影像上植被呈红色，各种地物与云的可区分性较大，使用标准假彩色方式进行波段合成；

由于原始影像采用不同的量化位数，导致相同的灰度值具有不同的意义，这里通过百分比截断的方式压缩到区间[1,255]，保证不同传感器获得的影像具有相似的色彩；

由于影像以景的方式分发，其尺寸远远大于计算机的处理能力，对影像进行切片，输出大小为h*w的影像块，其数目为M；

在此基础上，标记影像块上云所在区域的多边形，制作遥感影像云掩膜样本集G，其中包含N个影像块；

步骤2：样本分组；

将样本G分为K组样本：

G＝{G₁,G₂,...,G_K} (1)

其中，样本子集G₁作为预训练分类器，以获取一个相对稳健的深度学习模型；样本子集{G₂,...,G_k-1}组样本测试并迭代选取样本；样本子集G_K用于检测精度；

这里根据客户需要，可以保证各个样本子集之间是否存在交集；

步骤3：云掩膜模型训练；

在设置训练超参数后，使用样本子集G₁训练深度学习模型，记通过样本子集G₁训练得到的模型为C¹；

步骤4：分类器掩膜与评价；

使用C¹对G₂中的样本进行预测，获得掩膜结果，再将其与G₂中的标签数据进行比较，从而评价分类结果；

云掩膜结果可以分为正确T、错误F和遗漏M三种类型；其中，正确表示样本标记为云，且分类结果也是云；错误表示样本为非云，而分类器提取为云；遗漏表示样本标记为云，但是分类器未提取；在此基础上，我们选取平均检测率(AR)，平均正确率(AP)、整体精度(OA)三个评价指标来评价掩膜精度：

其中，#表示像素个数；值得注意的是：由于干净地物构成的背景像素数量远大于云像素数量，使得整体精度难以反映真实的检测效果，因此在计算OA时，忽略该部分像素，从而使得OA和交并比(IoU)相同；

同时，对样本分组G_K中的分类结果进行云掩膜及其精度评价，其精度记为OA(G_K,C¹)，

步骤5：迭代训练；

对于一块云，将AR和AP均大于0.5的作为正确样本，其他作为错误样本；忽略正确的样本，而将错误和遗漏的样本加入，再返回步骤3，训练得到新的分类器C²；然后按照步骤4对样本G₃进行评价；

重复上述过程，直到所有样本集用完或分类器达到稳定，这里分类器稳定是指第i次的分类精度OA(G_K,Cⁱ)与第i+1次的分类精度OA(G_K,Cⁱ⁺¹)的变化小于等于容差e：

|OA(G_K,Cⁱ)-OA(G_K,Cⁱ⁺¹)|≤e (5)

其中，i表示分类器的迭代次数；

将上述步骤获得的稳定的分类器记为C^K-1；

步骤6：云掩膜；

使用分类器模型C^K-1对待处理测试集进行云掩膜，并评价云掩膜精度；

步骤7：掩膜数据后处理；

对掩膜数据进行后处理，剔除小于T的小联通区域的云；填充大块云中小于T的干净联通像素。

2.如权利要求1所述的一种面向云掩膜的非均匀类别的样本均衡化方法，其特征在于：步骤1将近红外波段对应红色，红波段对应绿色，绿波段对应蓝色进行标准假彩色合成，获得标准假彩色影像；直接使用百分比截断将影像从16位降到8位，首先统计影像直方图，提取灰度值到达1％时候的灰度值a和灰度值达到99％时候的灰度值b，然后将[a,b]线性拉伸到[1,255]；

将遥感影像裁剪为512*512像素大小的影像块，生成训练所需的数据集，通过上述方式一共获得16000个影像块；

为制作数据集的云掩膜标签，使用ArcMap对影像块上的云进行标注，制作云边界清晰的掩膜标签，然后将其转化为栅格格式。

3.如权利要求1所述的一种面向云掩膜的非均匀类别的样本均衡化方法，其特征在于：步骤2的样本分组具体是：第一组样本作为预训练数据集，用于训练一个相对稳健的深度学习模型；第二组到倒数第二组样本作为精度检验样本并进行精度评价，再加入样本进行增量训练；最后一组样本不参与训练，单独用于检测精度；

根据步骤1进行影像切片后，一共获得16000个影像块，首先将10000个样本用于训练，6000个样本分为6组用于影像测试，4000个样本用于测试；分为8组，各组样本的数量分别为(6000，1000，1000，1000，1000，1000，1000，4000)。

4.如权利要求1所述的一种面向云掩膜的非均匀类别的样本均衡化方法，其特征在于：步骤3所述的云掩膜模型训练具体做法是：在初始化权重方面，使用COCO数据集上ResNet101的预训练模型来初始化Mask R-CNN网络权重；在超参数设置方面，设置迭代次数＝160，batch_size＝2，pool_size＝7，mask_pool_size＝14，初始学习率＝0.001，学习率更新系数＝0.9；

将步骤2的分组中的第一组数据输入Mask R-CNN模型中，按照所述超参数进行训练，训练得到一个稳定的云掩膜模型C¹。

Images