CN107358203B - 一种基于深度卷积阶梯网络的高分辨sar图像分类方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积阶梯网络的高分辨SAR图像分类方法，输入待分类的高分辨SAR图像及其标记信息；构造训练数据集D1与测试数据集D2；对数据集D1、D2的特征进行归一化得到数据集D3、D4；构造基于深度卷积阶梯网络的分类器模型；用训练数据集D3对网络进行训练；利用训练好的分类模型对测试数据集D4进行分类。本发明可充分利用少量有类标的训练样本，且采用卷积层有效提取高层判别特征而获得较高的分类精度。

Description

一种基于深度卷积阶梯网络的高分辨SAR图像分类方法

技术领域

本发明属于图像处理领域，具体涉及一种基于深度卷积阶梯网络的高分辨SAR图像分类方法。

背景技术

合成孔径雷达SAR在地球科学遥感领域的应用十分广泛，为它不仅具有全天时、全天候的特性、而且它还能提供不同于红外和可见光传感器的不同的信息。因此对SAR图像进行理解与解译成为一个研究热点。

SAR图像地物分类是模式分类在SAR图像处理中的应用，它完成将图像从二维灰度空间转换到目标模式空间的工作，其分类的结果是将图像根据不同属性划分为多个不同类别的子区域。即根据SAR图像的基本特征，提取可靠特征，将图像区分为人造目标、自然目标、背景和阴影四种类别，为不同的应用提供对应的感兴趣区域。人造目标包括机动车辆、建筑物等强散射体；自然目标包括树木、灌木、树林等自然作物；背景包括草地、平地、植被等占图像大部分面积的地域；阴影包括目标阴影、湖泊、水域等镜面散射体。

SAR图像地物分类是传统自动地物分类SAR技术的扩展。一方面可以作为SAR图像解译系统的中前端，以带层次信息的感兴趣区域取代目标检测和鉴别模块，为目标识别过程提供潜在目标切片以及空间位置、尺寸等信息，另一方面，可以直接为人工判读提供必要参数，建立独立的辅助判别系统。

SAR图像特征的提取是分类的核心，传统的SAR图像特征提取主要采用人工设计的特征，如广泛使用灰度共生矩阵来提取SAR图像的空域特征，但随着分辨率的提高，提取图像中更为复杂的结构变得极为重要，因此采用多尺度滤波器如Gabor滤波器组、小波变换等方法去建模SAR图像中的局部信息，但是无法自适应的确定滤波器的尺度及方向来提取SAR图像的判别信息。

对于大多数现存的SAR图像分类系统来说，他们的性能主要取决于高质量的SAR图像人工标记，及其特征的有效提取。然而，人工进行标记非常耗时，并且由于对目标区域的不了解，标记的图像并不可靠。

发明内容

本发明的目的在于克服上述不足，提供一种基于深度卷积阶梯网络的高分辨SAR图像分类方法，能够减少训练样本个数，提高分类速度精度。

为了达到上述目的，本发明包括以下步骤：

步骤一，通过高分辨SAR图像及其人工标记图来构造训练数据集D1和测试数据集D2；

步骤二，将训练数据集D1和测试数据集D2中每个元素归一化至[0，1]之间，分别得到归一化后的训练数据集D3和归一化后的测试数据集D4；

步骤三，构造基于深度卷积阶梯网络的分类模型；

步骤四，用训练数据集D1对基于深度卷积阶梯网络进行训练，得到训练好的模型；

步骤五，利用训练好的模型对测试数据集D2进行分类，获得最终的分类结果。

所述步骤一中，构造训练数据集D1和测试数据集D2的具体方法如下：

第一步，先对高分辨SAR图像进行三倍降采样，再在该图上采用滑窗的方法取21×21像素大小的块代表该块区域，将21×21像素大小的块作为训练数据集D1的特征部分；

再将待分类的高分辨SAR图像的人工标记图采用滑窗的方法取21×21像素大小的图像块，并统计每个图像块中每类标记像素的个数，若未标记像素占整个图像块的30％以上则抛弃该像素块，否则选取像素个数最多的类别作为这块图像的类标，得到训练数据集D1的类标；在D1中取5％作为有类标数据L，剩下数据作为无类标数据U；

第二步，对高分辨SAR图像进行三倍降采样后的图进行超像素分割，以每个超像素的中心点取21×21大小的图像块代表整个超像素区域，作为测试数据集D2的特征部分。

所述步骤二中，归一化处理采用线性缩放的方法具体如下：

对训练数据集D1的特征先求出其最大值max(D1)；再将训练数据集D1特征中的每个元素均除以最大值max(D1)，得到归一化后的训练数据集D3，对测试数据集D2进行相同的操作得到归一化后的测试数据集D4。

所述步骤三中，构造基于深度卷积阶梯网络的分类模型的具体方法如下：

第一步，构造一个编码器，分为含噪通路与不含噪通路，含噪通路中每层均会加入噪声，不含噪通路则不加噪声，两者采用相同的结构，其结构为：由输入层→第一卷积层→第二卷积层→第三卷积层→softmax分类器组成的五层神经网络，给定各层的卷积核个数以及卷积核大小，所采用的五层卷积神经网络，每层卷积核的权重与偏置参数对含噪通路与不含噪通路是共享的；

第二步，构造一个解码器，其接受来自编码器含噪通路中对应层的特征图谱以及解码器上一层的输出作为解码器的输入，其每一层重构出编码器不含噪通路对应层的特征图谱；

第三步，构造损失函数C。

所述第一步中，对含噪通路中添加的噪声为均值为0，方差为0.1的高斯噪声，对第一卷积层、第二卷积层、第三卷积层的卷积核大小设置均为5×5，卷积步长均为2，输入层、第一卷积层、第二卷积层、第三卷积层和softmax分类器的参数设置如下：

第一层为输入层，设置大小为21×21；

第二层为第一卷积层，设置特征图谱个数为16，得到该层的特征图谱大小为：11×11；

第三层为第二卷积层，设置特征图谱个数为32，得到该层的特征图谱大小为：6×6；

第四层为第三卷积层，设置特征图谱个数为64，得到该层的特征图谱大小为：3×3，将运算后的单元拉成列向量得到576维向量，输入至第五层；

第五层为softmax分类器，设置输出单元个数为3。

所述第二步中，构造解码器器时，其重构函数为其中，为含噪通路第l层的输出，为解码器l+1层的输出，为解码器第l层的输出。

所述第三步中，构造的损失函数C为：

其中，为交叉熵损失函数，其中为分类器输出，t(n)为第n个样本的类标，N为每批训练样本个数；为每层重构均方误差项，其中z^(l)为第l层不含噪通路的特征图谱，为解码器第l层重构特征图谱，l为网络的层数，λ_l代表每层重构误差在损失函数中所占权重，设置为[1000，10，0.1，0.1，0.1，0.1]，m_l为每层特征图谱包含神经元个数。

所述步骤四中，用训练数据集D1对基于深度卷积阶梯网络进行训练的具体方法如下：

将归一化后的训练数据集D3的特征作为分类模型的输入，归一化后的训练数据集D3中对应每个图像块的类别作为分类模型的输出，通过计算损失函数C，并对其进行误差反向传播来优化分类模型的参数，得到训练好的分类模型。

所述步骤五中，利用训练好的分类模型对测试数据集D2进行分类的具体方法如下：

将归一化后的测试数据集D4的特征向量作为训练好的模型的输入，训练好的分类模型的输出作为对测试数据集中每个超像素块进行分类得到的类别，并恢复成图片，得到最后的分类结果。

与现有技术相比，本发明通过卷积阶梯网络采用半监督的方法可有效减少训练数据；采用的模型相比现有的半监督模型，能够避免逐层训练再精调的过程；采用的卷积阶梯网络相比于全连接的阶梯网络，能够有效提取图像中的结构信息，提取的特征更抽象；采用超像素分割的方法，能够有效减少测试数据集的规模，减少测试时间，综上，本发明通过采用一种半监督的卷积阶梯网络通过重构每层的特征，且同时优化有监督损失函数与无监督损失函数，同时完成特征提取与分类的任务，避免了逐层训练精调的过程，提高了分类速度。

附图说明

图1为本发明的基于深度卷积阶梯网络的高分辨SAR图像分类方法的实现流程图；

图2为本发明待分类的高分辨SAR图像；

图3为本发明中待分类图像的人工标记图；

图4为用本发明的方法对待分类图像的分类结果图。

具体实施方式

下面结合附图对本发明做进一步说明。

参照图1，本发明的具体实现步骤如下：

步骤1，输入待分类的高分辨SAR图像，及其人工标记图；由该高分辨SAR图像及其标记图来构造训练数据集D1，测试数据集D2，待分类的高分辨SAR图像选用德国DLR的ESAR传感器在特劳恩施泰因县获取的X波段三极化数据中的水平极化图，图像分辨率为1米，图像大小为4278×6187像素，如图2所示；

具体步骤如下：

(1a)先对高分辨SAR图像的原图进行三倍降采样，再在该图上采用滑窗的方法取21×21像素大小的块代表该块区域，将21×21像素大小的块作为训练数据集D1的特征部分；再将待分类的人工标记图采用滑窗的方法取21×21像素大小的图像块，并统计每个图像块中每类标记像素的个数，若未标记像素占整个图像块的30％以上则抛弃该像素块，否则选取像素个数最多的类别作为这块图像的类标，得到训练数据集D1的类标；在D1中取5％作为有类标数据L，剩下数据作为无类标数据U；

(1b)对高分辨SAR图像的原图进行三倍降采样后的图进行超像素分割，以每个超像素的中心点取21×21大小的图像块代表整个超像素区域，作为测试数据集D2的特征部分；

步骤2，将训练数据集D1和测试数据集D2中的特征部分进行归一化，分别得到归一化后的训练数据集D3和归一化后的测试数据集D4；常用的归一化方法有：线性缩放法、标准化与白化，本实例采用线性缩放法，对训练数据集D1的特征先求出其最大值max(D1)；再将训练数据集D1特征中的每个元素均除以最大值max(D1)，得到归一化后的训练数据集D3，对测试数据集D2进行相同的操作得到归一化后的测试数据集D4；

步骤3，构造基于深度卷积阶梯网络的分类器模型，具体步骤如下：

(3a)构造一个编码器，分为含噪通路与不含噪通路，含噪通路中每层均会加入一定的噪声，不含噪通路则不加噪声，含噪通路所加的噪声为均值为0方差为0.1的高斯噪声，含噪通路与不含噪通路采用相同的结构，其结构为：输入层→卷积层1→卷积层2→卷积层3→softmax分类器组成的5层神经网络，给定各层的卷积核个数以及卷积核大小，所采用的5层卷积神经网络，每层卷积核的权重与偏置参数对含噪通路与不含噪通路是共享的，每层卷积层的卷积核大小均设置为5×5，卷积步长均为2，每层的参数设置如下：

第一层为输入层，设置大小为21×21；

第二层为卷积层1，设置特征图谱个数为16，得到该层的特征图谱大小为：11×11；

第三层为卷积层2，设置特征图谱个数为32，得到该层的特征图谱大小为6×6；

第四层为卷积层3，设置特征图谱个数为64，得到该层的特征图谱大小为：3×3，将运算后的单元拉成列向量得到576维向量，输入至第五层；

第五层为softmax分类器，设置输出单元个数为3。

(3b)构造解码器，其接受来自编码器含噪通路对应层的输出以及从编码器上一层的重构特征图谱，其每一层重构出编码器不含噪通路对应层的特征图谱，其重构函数为 为含噪通路第l层的输出，为解码器l+1层的输出，为解码器第l层的输出；

(3c)构造损失函数C：

其中，为交叉熵损失函数，其中为分类器输出，t(n)为第n个样本的类标，N为每批训练样本个数；为每层重构均方误差项，其中z^(l)为第l层不含噪通路的特征图谱，为解码器第l层重构特征图谱，l为网络的层数，λ_l代表每层重构误差在损失函数中所占权重，设置为[1000，10，0.1，0.1，0.1，0.1]，m_l为每层特征图谱包含神经元个数；

步骤4，用训练数据集D1对分类模型进行训练，得到训练好的分类模型，具体步骤如下：

将归一化后的训练数据集D3的特征作为分类模型的输入，归一化后的训练数据集D3中对应每个图像块的类别作为分类模型的输出，通过计算损失函数C，并对其进行误差反向传播来优化分类模型的参数，得到训练好的分类模型，人工标记的正确类标，如图3所示；

步骤5，利用训练好的分类模型对测试数据集D2进行分类，具体步骤如下：

将归一化后的测试数据集D4的特征向量作为训练好的模型的输入，训练好的分类模型的输出作为对测试数据集中每个超像素块进行分类得到的类别，并恢复成图片，得到最后的分类结果。

本发明的效果可以通过以下方针实验进一步说明：

仿真条件：

硬件平台为：Intel(R)Xeon(R)CPU E5-2630，2.40GHz×16，内存为64G。

软件平台为：Tensorflow。

仿真内容与结果：

用本发明方法在上述仿真条件下进行实验，即分别从高分辨SAR图像数据的每个类别随机选取5％有标记的图像块作为训练样本，采用超像素分割的方法得到的数据集作为测试样本进行测试得到如图4的分类结果。

从图4可以看出：分类结果的区域一致性较好，采用超像素分割的方法使得区域边缘清晰明显，且保持良好的细节信息。

再一次减少训练样本，使训练样本占样本总数的4％，3％，2％，将本发明与传统的全连接阶梯网络性能进行比较，采用相同的数据集及样本量进行测试，结果如表1所示：

表1

训练样本所占比例	全连接阶梯网	本发明
			5％	86.87％	91.12％
4％	85.44％	90.64％
			3％	82.22％	89.06％
2％	81.42％	87.62％

由表1可知，训练样本占总样本总数的5％、4％、3％、2％时，本发明的测试数据集分类精度均高于全连接阶梯网络。

综上，本发明通过重构每个卷积层的特征，采用半监督的方法对数据进行特征的学习并分类，增强了模型的范化能力，使得在训练样本较少的情况下仍可以达到很高的分类精度。

Claims (7)

1.一种基于深度卷积阶梯网络的高分辨SAR图像分类方法，其特征在于，包括以下步骤：

步骤一，通过高分辨SAR图像及其人工标记图来构造训练数据集D1和测试数据集D2；

步骤二，将训练数据集D1和测试数据集D2中每个元素归一化至[0，1]之间，分别得到归一化后的训练数据集D3和归一化后的测试数据集D4；

步骤三，构造基于深度卷积阶梯网络的分类模型，具体方法如下：

第一步，构造一个编码器，分为含噪通路与不含噪通路，含噪通路中每层均会加入噪声，不含噪通路则不加噪声，两者采用相同的结构，其结构为：由输入层→第一卷积层→第二卷积层→第三卷积层→softmax分类器组成的五层神经网络，给定各层的卷积核个数以及卷积核大小，所采用的五层卷积神经网络，每层卷积核的权重与偏置参数对含噪通路与不含噪通路是共享的；

第二步，构造一个解码器，其接受来自编码器含噪通路中对应层的特征图谱以及解码器上一层的输出作为解码器的输入，其每一层重构出编码器不含噪通路对应层的特征图谱；

第三步，构造损失函数C，构造的损失函数C为：

其中，为交叉熵损失函数，其中为分类器输出，t(n)为第n个样本的类标，N为每批训练样本个数；为每层重构均方误差项，其中z^(l)为第l层不含噪通路的特征图谱，为解码器第l层重构特征图谱，l为网络的层数，λ_l代表每层重构误差在损失函数中所占权重，设置为[1000，10，0.1，0.1，0.1，0.1]，m_l为每层特征图谱包含神经元个数；

步骤四，用训练数据集D1对基于深度卷积阶梯网络进行训练，得到训练好的模型；

步骤五，利用训练好的模型对测试数据集D2进行分类，获得最终的分类结果。

2.根据权利要求1所述的一种基于深度卷积阶梯网络的高分辨SAR图像分类方法，其特征在于，所述步骤一中，构造训练数据集D1和测试数据集D2的具体方法如下：

第一步，先对高分辨SAR图像进行三倍降采样，再在该图上采用滑窗的方法取21×21像素大小的块代表该块区域，将21×21像素大小的块作为训练数据集D1的特征部分；

再将待分类的高分辨SAR图像的人工标记图采用滑窗的方法取21×21像素大小的图像块，并统计每个图像块中每类标记像素的个数，若未标记像素占整个图像块的30％以上则抛弃该图像块，否则选取像素个数最多的类别作为这块图像的类标，得到训练数据集D1的类标；在D1中取5％作为有类标数据L，剩下数据作为无类标数据U；

第二步，对高分辨SAR图像进行三倍降采样后的图进行超像素分割，以每个超像素的中心点取21×21大小的图像块代表整个超像素区域，作为测试数据集D2的特征部分。

3.根据权利要求1所述的一种基于深度卷积阶梯网络的高分辨SAR图像分类方法，其特征在于，所述步骤二中，归一化处理采用线性缩放的方法具体如下：

对训练数据集D1的特征先求出其最大值max(D1)；再将训练数据集D1特征中的每个元素均除以最大值max(D1)，得到归一化后的训练数据集D3，对测试数据集D2进行相同的操作得到归一化后的测试数据集D4。

4.根据权利要求1所述的一种基于深度卷积阶梯网络的高分辨SAR图像分类方法，其特征在于，所述第一步中，对含噪通路中添加的噪声为均值为0，方差为0.1的高斯噪声，对第一卷积层、第二卷积层、第三卷积层的卷积核大小设置均为5×5，卷积步长均为2，输入层、第一卷积层、第二卷积层、第三卷积层和softmax分类器的参数设置如下：

第一层为输入层，设置大小为21×21；

第二层为第一卷积层，设置特征图谱个数为16，得到该层的特征图谱大小为：11×11；

第三层为第二卷积层，设置特征图谱个数为32，得到该层的特征图谱大小为：6×6；

第四层为第三卷积层，设置特征图谱个数为64，得到该层的特征图谱大小为：3×3，将运算后的单元拉成列向量得到576维向量，输入至第五层；

第五层为softmax分类器，设置输出单元个数为3。

5.根据权利要求1所述的一种基于深度卷积阶梯网络的高分辨SAR图像分类方法，其特征在于，所述第二步中，构造解码器器时，其重构函数为其中，为含噪通路第l层的输出，为解码器l+1层的输出，为解码器第l层的输出。

6.根据权利要求1所述的一种基于深度卷积阶梯网络的高分辨SAR图像分类方法，其特征在于，所述步骤四中，用训练数据集D1对基于深度卷积阶梯网络进行训练的具体方法如下：

将归一化后的训练数据集D3的特征作为分类模型的输入，归一化后的训练数据集D3中对应每个图像块的类别作为分类模型的输出，通过计算损失函数C，并对其进行误差反向传播来优化分类模型的参数，得到训练好的分类模型。

7.根据权利要求1所述的一种基于深度卷积阶梯网络的高分辨SAR图像分类方法，其特征在于，所述步骤五中，利用训练好的分类模型对测试数据集D2进行分类的具体方法如下：

将归一化后的测试数据集D4的特征向量作为训练好的模型的输入，训练好的分类模型的输出作为对测试数据集中每个超像素块进行分类得到的类别，并恢复成图片，得到最后的分类结果。