CN111275618B - 一种基于双支感知的深度图超分辨率重建网络构建方法 - Google Patents

Abstract

本发明公开了一种基于双支感知的深度图超分辨率重建网络构建方法。传统的深度图像超分辨方法在效果和速度都不如基于卷积神经网络的方法，但大部分的超分辨卷积神经网络框架都都只是堆叠的卷积层，没有网络结构能判断彩色图像的纹理区域是否和深度图像中的纹理区域相关。本发明的基于注意力机制的卷积神经网络结构可以利用可学习参数判断彩色特征图像的纹理是否是深度图像重建所需要的，即可以更好的利用彩色图像所提供的信息，经过多级的感知机制最终获得筛选后的精细化的特征图像，融合这些信息对深度图像进行超分辨率重建。并且利用残差学习的思想，减轻了卷积神经网络的负担，提升了深度图像的重建效果。

Description

一种基于双支感知的深度图超分辨率重建网络构建方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于双支感知的深度图超分辨率重建网络构建方法。

背景技术

随着获取深度信息的技术的发展，如激光雷达，飞行时间(TOF)相机，三维结构光，深度图像已被广泛应用于移动机器人，人机交互，人体姿态估计和三维场景重建等。然而，从这些技术获得的深度图像仍然无法满足实际需求，尤其是获取的深度图像分辨率较低，质量较差。因此，如何将低分辨率的深度图像重建成高质量高分辨率深度图像成为计算视觉领域的研究热点。

近年来，随着深度学习的发展，越来越多的基于卷积神经网络的超分辨方法被提出。经过在大量图片数据集上的训练，卷积神经网络能够充分学习图像的特征，并将这些特征进行组合得到最后的重建结果。相较传统的超分辨算法，基于卷积神经网络的超分辨算法需要依赖于非常大的数据集，所以通过卷积层提取出的特征更具有普适性，更能代表物体的通用特征。通常，基于CNN的深度超分辨率方法可以实现比传统方法更好的性能。

目前大量的传统深度图像超分辨算法都是基于同场景的彩色图像引导的重建，获取高分辨率高质量的彩色图像的方法已经比较成熟，但相较于深度图像，彩色图像纹理区域会更多，利用普通的卷积神经网进行彩色图像引导深度图像重建可能会将这些无关纹理也带入重建中，因此需要一种方法可以判别彩色图像中的纹理区域是否能对深度图像超分辨重建提供有用信息。

发明内容

本发明的目的就是克服现有技术的不足，一种基于注意力机制的深度图超分辨率重建网络。本方法设计了一种新型的注意力机制，通过可学习的参数，使网络关注在彩色图像和深度图像相关联的区域，从而虚弱彩色图像无关纹理的影响，进而提升深度图像重建的效果。具体步骤如下：

步骤(1)：利用RGB-D相机获取同场景彩色图像和深度图像

使用RGB-D相机得到一张低分辨率深度图像I_depth其分辨率为M*N，和一张相同视角下的高分辨率彩色图像I_color其分辨率为rM*rN，其中r为倍率，M和N分别为图像的高和宽；对低分辨率的深度图像I_depth进行双三次上采样操作放大至rM*rN，获得了初始的低质量高分辨率深度图像并把彩色图像I_color转为YCbCr色彩空间，并取Y通道图像得到/>

步骤(2)：基于卷积神经网络的双支图像特征提取结构构建，在图像特征提取阶段两支结构相同，每一支在特征提取的阶段由七层卷积核大小为3*3的卷积层，双支之间设有五个双支通道感知模块和五个双支空间感知模块，这样得到深度图像特征与彩色图像特征交叉感知阶段部分。

(a)和/>首先各自通过各支的两层卷积核大小为3*3卷积层得到初始的特征图/>和/>

(b)双支感知结构构建，然后各自经过五层卷积核大小为3*3卷积层提取并精细化特征，这五层卷积层，每层后面都带有一个双支通道感知模块和一个双支空间感知模块，五层卷积层和五个双支通道感知模块和五个双支空间感知模块组成五级双支感知结构，假设输入深度特征图为X_d-1，彩色特征图为X_c-1，每级的双支感知结构的计算步骤如下：

①

首先将深度特征图为X_d-1∈R^B×C×H×W，彩色特征图为X_c-1∈R^B×C×H×W各自经过一层卷积核大小为3*3的卷积层之后通过激活层得到各种的特征图R_d∈R^B×C×H×W和R_c∈R^B×C×H×W。其中σ(·)代表Rectified Linear Unit激活层，和/>为卷积核大小为3*3的卷积层权值，其上标表示该卷积层属于哪一支，d为深度图像一支，c为彩色图像一支，下标表示卷积核大小。

②

R′_d＝M_Channel*R_d (3)

R′_c＝M_Channel*R_c (4)

将特征图R_d和R_c拼接在一起，输入到双支通道感知模块中得到通道权重M_Channel，并分别与特征图R_d和R_c做一次元素相乘得到双支通道感知后的特征图R′_d∈R^B×C×H×W和R′_c∈R^{B ×C×H×W}。其中，双支通道感知模块权重M_Channel的计算方式如下：

将特征图R_d和R_c拼接在一起，分别沿着空间维度进行max-pooled和average-pooled得到和/>上标表示处于双支通道感知阶段；

然后和/>输入两层全连接层，得到/>和/>其中ω₀∈R^B×2C/r×2C和ω₁∈R^B×C×2C/r分别表示两层全连接层的权重,σ(·)代表RectifiedLinear Unit激活层；

最后，使用Sigmod函数对和/>相加得到的和进行非线性映射，得到双支通道感知模块权重M_Channel。

③

R″_d＝M_Spatial*R′_d (10)

R″_c＝M_Spatial*R′_c (11)

将双支通道感知之后的特征图R′_d和特征图R′_c拼接在一起，输入到双支空间感知模块中得到通道权重M_Spatial，并分别与特征图R′_d和R′_c做一次元素相乘得到双支通道感知后的特征图R″_d∈R^B×C×H×W和R″_c∈R^B×C×H×W。其中，双支空间感知模块权重M_Spatial的计算方式如下：

将特征图R′_d和R′_c拼接在一起，分别沿着通道维度进行max-pooled和average-pooled得到和/>上标表示处于双支空间感知阶段；

然后将特征图和/>拼接在一起输入一个卷积核大小为5*5的卷积层，得到卷积层输出/>其中，ω₂是5*5卷积层的权重，σ(·)代表Rectified LinearUnit激活层；

最后，将输入Sigomd函数进行非线性变换得到双支空间感知模块权重M_Spatial。

初始的特征图和/>经过五级双支感知结构之后，得到精细化的深度图像的特征图/>和Y通道的特征图/>

步骤(3)：特征融合网络结构构建

特征融合引导阶段的网络由一个特征图像拼接操作、六层卷积核大小为3*3的卷积层构成，该阶段的每个卷积层之后都紧连一个Rectified Linear Unit激活层。

将深度图像的特征图和Y通道特征图/>首先通过拼接操作得到初始融合特征图/>然后/>经过六层卷积层进行细化融合，利用网络学习/>中有用的边缘部分，使彩色图像充分地起到引导作用，完成了特征融合引导的构造，得到了融合特征图，记为/>

步骤(4)：残差结构构建，重建高质量高分辨率深度图像

重建阶段的卷积神经网络由一个卷积核大小为3*3的卷积层和一次残差连接操作构成。

通过卷积核大小为3*3的卷积层得到重建深度图像的残差输出，记为/>最后将/>与/>进行元素对应相加，得到最终放大r倍的高分辨率高质量深度图像

本发明的有益效果：本发明设计一种基于感知机制的卷积神经网络学习并精细彩色图像中对引导深度图像重建有利的信息，削弱彩色图像中无关纹理带来的影响，可以免去人工寻找彩图有用引导特征的过程，很好的利用了深度图像和彩色图像相关性，能够重建出高质量高分辨率的深度图像。

附图说明

图1为本发明网络总体框架图；

图2为双支通道感知模块流程图；

图3为双支空间感知模块流程图。

具体实施方式

以下结合附图1对本发明作进一步说明，本发明包括以下步骤：

步骤(1)：利用RGB-D相机获取同场景彩色图像和深度图像

使用RGB-D相机得到一张低分辨率深度图像I_depth其分辨率为M*N，和一张相同视角下的高分辨率彩色图像I_color其分辨率为rM*rN，其中r为倍率，M和N分别为图像的高和宽；对低分辨率的深度图像I_depth进行双三次上采样操作放大至rM*rN，获得了初始的低质量高分辨率深度图像并把彩色图像I_color转为YCbCr色彩空间，并取Y通道图像得到/>

步骤(2)：基于卷积神经网络的双支图像特征提取结构构建，在图像特征提取阶段两支结构相同，每一支在特征提取的阶段由七层卷积核大小为3*3的卷积层，双支之间设有五个双支通道感知模块和五个双支空间感知模块，这样得到深度图像特征与彩色图像特征交叉感知阶段部分。

(a)和/>首先各自通过各支的两层卷积核大小为3*3卷积层得到初始的特征图/>和/>

(b)如图2、图3所示，双支感知结构构建，然后各自经过五层卷积核大小为3*3卷积层提取并精细化特征，这五层卷积层，每层后面都带有一个双支通道感知模块和一个双支空间感知模块，五层卷积层和五个双支通道感知模块和五个双支空间感知模块组成五级双支感知结构，假设输入深度特征图为X_d-1，彩色特征图为X_c-1，每级的双支感知结构的计算步骤如下：

①

首先将深度特征图为X_d-1∈R^B×C×H×W，彩色特征图为X_c-1∈R^B×C×H×W各自经过一层卷积核大小为3*3的卷积层之后通过激活层得到各种的特征图R_d∈R^B×C×H×W和R_c∈R^B×C×H×W。其中σ(·)代表Rectified Linear Unit激活层，和/>为卷积核大小为3*3的卷积层权值，其上标表示该卷积层属于哪一支，d为深度图像一支，c为彩色图像一支，下标表示卷积核大小。

②

R′_d＝M_Channel*R_d (3)

R′_c＝M_Channel*R_c (4)

将特征图R_d和R_c拼接在一起，输入到双支通道感知模块中得到通道权重M_Channel，并分别与特征图R_d和R_c做一次元素相乘得到双支通道感知后的特征图R′_d∈R^B×C×H×W和R′_c∈R^{B ×C×H×W}。其中，双支通道感知模块权重M_Channel的计算方式如下：

将特征图R_d和R_c拼接在一起，分别沿着空间维度进行max-pooled和average-pooled得到和/>上标表示处于双支通道感知阶段；

然后和/>输入两层全连接层，得到/>和/>其中ω₀∈R^B×2C/r×2C和ω₁∈R^B×C×2C/r分别表示两层全连接层的权重,σ(·)代表RectifiedLinear Unit激活层；

最后，使用Sigmod函数对和/>相加得到的和进行非线性映射，得到双支通道感知模块权重M_Channel。

③

R″_d＝M_Spatial*R′_d (10)

R″_c＝M_Spatial*R′_c (11)

将双支通道感知之后的特征图R′_d和特征图R′_c拼接在一起，输入到双支空间感知模块中得到通道权重M_Spatial，并分别与特征图R′_d和R′_c做一次元素相乘得到双支通道感知后的特征图R″_d∈R^B×C×H×W和R″_c∈R^B×C×H×W。其中，双支空间感知模块权重M_Spatial的计算方式如下：

将特征图R′_d和R′_c拼接在一起，分别沿着通道维度进行max-pooled和average-pooled得到和/>上标表示处于双支空间感知阶段；

然后将特征图和/>拼接在一起输入一个卷积核大小为5*5的卷积层，得到卷积层输出/>其中，ω₂是5*5卷积层的权重，σ(·)代表RectifiedLinear Unit激活层；

最后，将输入Sigomd函数进行非线性变换得到双支空间感知模块权重M_Spatial。

初始的特征图和/>经过五级双支感知结构之后，得到精细化的深度图像的特征图/>和Y通道的特征图/>

步骤(3)：特征融合网络结构构建

特征融合引导阶段的网络由一个特征图像拼接操作、六层卷积核大小为3*3的卷积层构成，该阶段的每个卷积层之后都紧连一个Rectified Linear Unit激活层。

将深度图像的特征图和Y通道特征图/>首先通过拼接操作得到初始融合特征图/>然后/>经过六层卷积层进行细化融合，利用网络学习/>中有用的边缘部分，使彩色图像充分地起到引导作用，完成了特征融合引导的构造，得到了融合特征图，记为/>

步骤(4)：残差结构构建，重建高质量高分辨率深度图像

重建阶段的卷积神经网络由一个卷积核大小为3*3的卷积层和一次残差连接操作构成。

通过卷积核大小为3*3的卷积层得到重建深度图像的残差输出，记为/>最后将/>与/>进行元素对应相加，得到最终放大r倍的高分辨率高质量深度图像

Claims (1)

1.一种基于双支感知的深度图超分辨率重建网络构建方法，其特征在于该方法的具体步骤是：

步骤(1)：利用RGB-D相机获取同场景彩色图像和深度图像

使用RGB-D相机得到一张低分辨率深度图像I_depth其分辨率为M*N，和一张相同视角下的高分辨率彩色图像I_color其分辨率为rM*rN，其中r为倍率，M和N分别为图像的高和宽；对低分辨率的深度图像I_depth进行双三次上采样操作放大至rM*rN，获得了初始的低质量高分辨率深度图像并把彩色图像I_color转为YCbCr色彩空间，并取Y通道图像得到/>

步骤(2)：基于卷积神经网络的双支图像特征提取结构构建，在图像特征提取阶段两支结构相同，每一支在特征提取的阶段由七层卷积核大小为3*3的卷积层，双支之间设有五个双支通道感知模块和五个双支空间感知模块，这样得到深度图像特征与彩色图像特征交叉感知阶段部分；

(a)和/>首先各自通过各支的两层卷积核大小为3*3卷积层得到初始的特征图和/>

(b)双支感知结构构建，然后各自经过五层卷积核大小为3*3卷积层提取并精细化特征，这五层卷积层，每层后面都带有一个双支通道感知模块和一个双支空间感知模块，五层卷积层和五个双支通道感知模块和五个双支空间感知模块组成五级双支感知结构，输入深度特征图为X_d-1，彩色特征图为X_c-1，每级的双支感知结构的计算步骤如下：

①

首先将深度特征图为X_d-1∈R^B×C×H×W，彩色特征图为X_c-1∈R^B×C×H×W各自经过一层卷积核大小为3*3的卷积层之后通过激活层得到各种的特征图R_d∈R^B×C×H×W和R_c∈R^B×C×H×W；其中σ(·)代表Rectified Linear Unit激活层，和/>为卷积核大小为3*3的卷积层权值，其上标表示该卷积层属于哪一支，d为深度图像一支，c为彩色图像一支，下标表示卷积核大小；

②

R'_d＝M_Channel*R_d (3)

R′_c＝M_Channel*R_c (4)

将特征图R_d和R_c拼接在一起，输入到双支通道感知模块中得到通道权重M_Channel，并分别与特征图R_d和R_c做一次元素相乘得到双支通道感知后的特征图R'_d∈R^B×C×H×W和R′_c∈R^{B ×C×H×W}；其中，双支通道感知模块权重M_Channel的计算方式如下：

将特征图R_d和R_c拼接在一起，分别沿着空间维度进行max-pooled和average-pooled得到和/>上标表示处于双支通道感知阶段；

然后和/>输入两层全连接层，得到/>和/>其中ω₀∈R^B×2C/r×2C和ω₁∈R^B×C×2C/r分别表示两层全连接层的权重,σ(·)代表RectifiedLinear Unit激活层；

最后，使用Sigmod函数对和/>相加得到的和进行非线性映射，得到双支通道感知模块权重M_Channel；

③

R″_d＝M_Spatial*R'_d (10)

R″_c＝M_Spatial*R′_c (11)

将双支通道感知之后的特征图R'_d和特征图R′_c拼接在一起，输入到双支空间感知模块中得到通道权重M_Spatial，并分别与特征图R′_d和R′_c做一次元素相乘得到双支通道感知后的特征图R″_d∈R^B×C×H×W和R″_c∈R^B×C×H×W；其中，双支空间感知模块权重M_Spatial的计算方式如下：

将特征图R′_d和R′_c拼接在一起，分别沿着通道维度进行max-pooled和average-pooled得到和/>上标表示处于双支空间感知阶段；

然后将特征图和/>拼接在一起输入一个卷积核大小为5*5的卷积层，得到卷积层输出/>其中，ω₂是5*5卷积层的权重，σ(·)代表Rectified LinearUnit激活层；

最后，将输入Sigomd函数进行非线性变换得到双支空间感知模块权重M_Spatial；

初始的特征图和/>经过五级双支感知结构之后，得到精细化的深度图像的特征图/>和Y通道的特征图/>

步骤(3)：特征融合网络结构构建

特征融合引导阶段的网络由一个特征图像拼接操作、六层卷积核大小为3*3的卷积层构成，该阶段的每个卷积层之后都紧连一个Rectified Linear Unit激活层；

将深度图像的特征图和Y通道特征图/>首先通过拼接操作得到初始融合特征图/>然后/>经过六层卷积层进行细化融合，利用网络学习/>中有用的边缘部分，使彩色图像充分地起到引导作用，完成了特征融合引导的构造，得到了融合特征图，记为/>

步骤(4)：残差结构构建，重建高质量高分辨率深度图像

重建阶段的卷积神经网络由一个卷积核大小为3*3的卷积层和一次残差连接操作构成；

通过卷积核大小为3*3的卷积层得到重建深度图像的残差输出，记为/>最后将/>与/>进行元素对应相加，得到最终放大r倍的高分辨率高质量深度图像