CN111986075B - 一种目标边缘清晰化的风格迁移方法 - Google Patents

Abstract

本发明涉及图像处理领域，具体为一种目标边缘清晰化的风格迁移方法，实现步骤为：搭建深度神经抠图网络；对原始风格图像和原始内容图像进行特征图提取、风格图像重建和内容图像重建；优化风格图像和内容图像产生的损失函数；计算原始风格图像与提取的内容图像特征图之间的欧氏距离；计算原始风格图像与提取的风格图像特征图之间的均方误差；确定风格图像与原始风格图像和内容图像的总损失函数；将总损失函数计算的误差进行迭代更新，并输出风格图像。本发明实现了风格图像的结构约束、纹理合成以及风格类似的图像之间的参数共享。

Description

一种目标边缘清晰化的风格迁移方法

技术领域

本发明涉及图像处理领域，具体为一种目标边缘清晰化的风格迁移方法。

背景技术

图像艺术风格渲染是计算机视觉领域中重要的研究方向。图像艺术风格化在电影产业、动画制作、游戏渲染等领域有着大量的应用。图像风格艺术化是指一幅图像的语义内容用另一幅图像的风格去表示。传统的风格迁移方法大多为手动建模，需要专业经验和复杂的数学公式，且语义内容保留以及空间约束性较差。深度神经网络凭借其强大的图像表示能力，迅速成为一种流行的图像风格化工具，推动了近年来许多神经样式转移方法的发展。因此，一种高效准确的图像风格化算法来提取图像风格及内容，能使风格化后的图像的主要目标清晰可辨且风格化效果显著。图像迁移过程中，图像布局被破坏并且前景、背景以及其他物体之间的边界变得模糊，图像的语义内容和空间布局保留程度有限，生成的图像目标模糊，视觉效果不够理想。

发明内容

针对图像布局被破坏并且前景、背景以及其他物体之间的边界变得模糊，生成图像的风格颜色中会掺杂风格图像中没有的颜色，图像的语义内容和空间布局保留程度有限，生成的图像会产生扭曲的问题，本发明提出了一种目标边缘清晰化的风格迁移方法，实现风格图像的结构约束、纹理合成以及风格类似的图像之间的参数共享。

为了实现所述目的，本发明采用的具体实施方案如下：

一种目标边缘清晰化的风格迁移方法，包括：

S1.输入原始风格图像和原始内容图像，搭建深度神经抠图网络；

S2.对原始风格图像和原始内容图像进行特征图提取、风格图像重建和内容图像重建，并将抠图网络产生的遮罩与重建的风格图像和内容图像合并；

S3.将特征图和抠图网络产生的遮罩叠加在高斯白噪声图像上，优化风格图像和内容图像产生的损失函数；

S4.计算原始风格图像与提取的内容图像特征图之间的欧氏距离；计算原始风格图像与提取的风格图像特征图之间的均方误差；

S5.将欧氏距离和均方误差与约束函数按照权重叠加，得到原始风格图像和原始内容图像与风格图像的总损失函数；

S6.将误差进行迭代更新，并输出风格图像。

所述深度神经抠图网络的搭建采用编码器-解码器结构，解码器的卷积层使用小卷积核，编码器部分由VGG-19模型作为特征提取器。

所述深度神经抠图网络最后一层是具有sigmoid函数的1×1的卷积层，该卷积层的特征图通道数为1，元素阈值设为[0,1]。

所述S2还包括：

S201、用VGG-19网络的卷积层Conv4_2和Conv5_2提取的高维特征图进行内容表示；

S2022、用VGG-19网络的卷积Conv1_1,Conv2_1,Conv3_1,Conv4_1,Conv5_1提取的特征图进行风格表示。

所述S3中，内容图像x和风格化图像

在第l层的损失函数为

风格图像y和风格化图像

在第l层的损失函数为:

其中G^l是格莱姆矩阵，一个N^l×N^l的对称矩阵，

是第l层的第i个和第j个矢量化特征图的归一化内积：

所述总损失函数为

式中，L_R为正则化项，以增加生成图像的平滑性，α，β，γ分别为内容损失函数、风格损失函数和正则化项的权重系数。

本发明的有益效果在于：本发明提供目标边缘清晰化的风格迁移算法，该算法搭建以编码器-解码器为主要结构的深度神经网络，抠图网络用小卷积核代替大卷积核，对内容图像的前景进行抠图处理形成前景目标遮罩，将深度神经抠图网络与神经风格迁移网络合并约束迁移过程，实现风格化图像的结构约束。

2、本发明用预训练好的神经网络作为特征提取器对输入的内容图像和风格图像提取特征图，把输入图像到输出图像的变换约束在色彩空间局部仿射中，在保证相同的感受野的条件下，用小卷积核代替大卷积核，增加网络深度，减少参数，获得更精确的抠图遮罩，并在输入图像RGB通道上合并目标遮罩，使得风格化图像的主要目标在抠图网络抠取的遮罩约束中实现纹理合成。

3、本发明在迁移网络的常规卷积层添加归一化层，归一化层通过学习仿射参数匹配内容图像和风格图像的统计信息，实现风格类似的图像之间的参数共享，减少迁移模型的参数量。

附图说明

图1是本发明的算法流程示意图；

图2是本发明中深度神经抠图模型；

图3是采用本发明算法与其他算法进行图像融合的效果对比图；

图3中：(a)为内容图像，(b)为风格图像，(c)为Gatys的迁移方法风格画的图像，(d)Ulyanov的迁移结果，(e)Huang的迁移结果(f)为Chen的迁移结果，(g)为Li的迁移结果(h)本发明。

具体实施方式

实施例1

本发明提出了一种目标边缘清晰化的风格迁移方法，本发明的原理为：首先搭建编解码深度神经网络，编码器将输入通过后续的卷积层和最大池层被转换成下采样的特征映射，解码器使用反池化层和卷积层来对特征映射进行上采样。其次，在保证相同的感受野的条件下，用小卷积核代替大卷积核，增加网络深度，减少参数，获得更精确的抠图遮罩。再次，在迁移网络的常规卷积层添加归一化层，归一化层通过学习仿射参数匹配内容图像和风格图像的统计信息，实现风格类似的图像之间的参数共享，减少迁移模型的参数量。最后，在色彩空间局部仿射上合并深度抠图网络和风格迁移网络，用VGG-19模型提取特征图，并进行风格重建和内容重建，用遮罩约束风格迁移，实现图像风格化。

具体包括以下步骤：

步骤一：输入原始风格图像和原始内容图像，搭建深度神经抠图网络，采用编码器-解码器结构，其中的卷积层使用小卷积核；使用公开发布的大数据集进行30000次迭代优化训练抠图网络，使内容图像产生良好的遮罩预测；

步骤二：用VGG-19网络对原始风格图像和原始内容图像进行特征图提取、风格重建和内容重建，并将抠图网络产生的遮罩与重建的风格图像和内容图像合并在一起；具体包括：

A.用VGG-19网络的卷积层Conv4_2和Conv5_2提取的高维特征图进行内容表示，

B.风格表述在不同层的特征表达有不同的视觉效果，采用多层融合，用VGG-19网络的卷积Conv1_1,Conv2_1,Conv3_1,Conv4_1,Conv5_1提取的特征图进行风格表示。

步骤三、将Step2.1.和Step2.2.的特征图和抠图网络产生的遮罩叠加在高斯白噪声图像上，实现初步的图像风格化，并优化风格图像和内容图像产生的损失函数；

步骤四、计算风格化图像与提取的内容特征图之间的欧氏距离；计算风格化图像与提取的风格特征图之间的均方误差；

步骤五：将步骤四得到的欧氏距离、均方误差和约束函数按照一定的权重叠加在一起得到风格化图像与原始风格图像和内容图像的损失函数。

步骤六：将步骤五得到损失函数用反向传播算法进行迭代更新，每迭代一次得到一张风格化图像，直到风格化图像与原始图像的误差最小完成图像风格化，输出风格化图像。

步骤一中搭建的深度神经抠图网络如图2所示，网络具体设置如下：

抠图网络由一个编码网络和一个解码网络组成。编码网络的输入是图像和相应的Trimap，沿着通道尺寸连接在一起，形成4通道输入。编码器网络的输入通过后续的卷积层和最大池化层转换为降采样后的特征图。本发明受到VGG-19网络模型的设计理念的启发，解码器部分采用小卷积核堆叠实现大卷积核的卷积操作。解码器网络依次使用相反的操作，将最大池化操作和卷积层反转，以对特征图进行上采样，并具有所需的输出。编码器网络有17个卷积层和5个池化层，解码器网络有11个卷积层，5个反池化层，解码网络结构更小，减少了参数，加快训练过程。

步骤一中深度神经抠图网络模型中卷积核大小的选择：编码器部分由VGG-19模型作为特征提取器，使用VGG-19模型的前17层，其中将第17层的全卷积层转换为卷积层，网络全部使用3×3的卷积核和2×2的池化核，通过不断加深网络深度来提升性能。解码器部分进行反卷积操作，将两个3×3卷积层的串联来实现5×5的卷积层的反卷积效果，2个3×3卷积层的大小相当于1个5×5的卷积层，小卷积核堆叠优于大卷积核的性能在反卷积中同样适用。网络的最后一层是具有sigmoid函数的1×1的卷积层，该卷积层将特征图的通道数减少为1，其中的元素阈值设为[0,1]，以生成透明的遮罩。

步骤一中深度神经抠图网络生成透明遮罩过程中损失函数的优化如下：

在深度抠图的过程中主要产生两部分的代价函数。第一部分是网络预测遮罩产生的代价函数，它是遮罩的真值与每个像素处的预测值之间的绝对差，表示为

其中

是在像素i处的阈值介于0和1之间的预测层的输出,

是像素i处的真值,ε是代价函数正则化项，使得式子的数值更加稳定，其值为10^-6。损失函数的导数

为

第二部分为成分损失，它是RGB真值与前景真值，背景真值和预测遮罩合成的预测RGB颜色之间的绝对差。

其中c表示RGB通道，P表示由预测遮罩合成的图像，G表示由遮罩真值合成的图像。

总损失是两个单独损失的加权总和，即

C_total＝ωC(α)+(1-ω)C(c)

其中ω值为0.5。

在步骤二中特征提取器VGG19的作用，具体如下：

VGG-19网络模型提取的高层特征是关于输入图像的物体和布局等信息，低层特征表达输入图像的像素信息。风格迁移保留内容图像的语义内容和空间布局，内容表示选取图像的高维特征，提取出的高维特征之间的欧氏距离越小，则生成图像与原始内容图像的内容越相似。风格表述在不同层的特征表达有不同的视觉效果，计算不同卷积层间的格莱姆矩阵(Gram Matrix)建立风格损失函数会使风格表达更加丰富，达到风格全局表述的目的。

在步骤三中网络的第l层有N^l不同的滤波器，每个特征响应的大小为H^l×W^l，其中H^l和W^l分别为第l层特征映射的高度和宽度，该层的响应可用矩阵表示:

其中，每一个值

都是在l层(i,j)位置第k个滤波器的激活函数值。

内容图像x和风格化图像

在第l层的损失函数为

风格图像y和风格化图像

在第l层的损失函数为:

其中G^l是格莱姆矩阵，一个N^l×N^l的对称矩阵，

是第l层的第i个和第j个矢量化特征图的归一化内积：

在步骤五将欧氏距离、均方误差和约束函数按照一定的权重叠加在一起得到风格化图像与原始风格图像和内容图像的误差为

神经风格化产生的整体损失函数为

式中，L_R为正则化项，以增加生成图像的平滑性，α，β，γ分别为内容损失函数、风格损失函数和正则化项的权重系数。

效果验证：图像风格迁移过程可理解为两幅图像的色彩和纹理的融合，尽可能地将内容图像的语义内容用风格图像的色彩纹理去表示。为了证明本算法的有效性，将这些方法的风格化的结果与Gatys等人的灵活但缓慢的优化方法，Ulyanov等人的快速但不灵活的方法，Huang等人的自适应实例规范化的方法，Chen等人的碎片交换的方法，Li等人的白化和着色变换的方法进行了对比，主观对比如图3所示。

在神经风格迁移中，图3(c)组的方法最早提出运用神经网络实现神经风格迁移，能够实现任意风格的迁移，但是风格化速度较慢且风格化的结果不稳定，会出现伪影和图像内容扭曲如图图3(c)(3)和图3(c)(4)。(d)组是Ulyanov的迁移结果，它是一种快速的风格迁移方法，迁移结果颜色纹理表示很好，但是这种训练模型只能迁移一种风格，不能扩展到新的风格。Huang方法将同一层的内容特征映射的均值和方差与风格特征映射的均值和方差对齐，能够快速实现任意风格转换，灵活性较高，但是风格化图像有细小的颗粒覆盖导致细节模糊且存在内容扭曲，如图图3(e)(3)，对于风格纹理复杂的迁移效果更差。Chen的方法将每个内容碎片与最匹配的风格碎片匹配，图像的扭曲较小，但是内容图像没有与风格图像很好地结合，纹理表示和颜色表示效果都较差，风格化效果不理想。Li方法用白化和着色转换实现内容图像的特征协方差与给定样式图像的直接匹配，它可以将学习到的一种风格扩展到多种风格，但是不能有效产生清晰的细节和细微的笔触，如图图3(g)(1)，对于人脸这类易变形的输入，迁移结果产生语义内容扭曲，如图3(g)(3)和图3(g)(4)。

图3(h)为本文风格迁移的结果图，由图3(h)看出，通过将抠图遮罩和风格迁移合并，本文迁移结果前后景及周围的主要景物边界清晰，主要物体清晰可辨，既结合了风格图像的纹理和色彩，也没有出现多余的纹理分布，最大程度上保留了内容图像的语义内容，语义内容扭曲程度很小

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (4)

1.一种目标边缘清晰化的风格迁移方法，其特征在于，包括：

S1.输入原始风格图像和原始内容图像，搭建深度神经抠图网络；

S2.对原始风格图像和原始内容图像进行特征图提取、风格图像重建和内容图像重建，并将抠图网络产生的遮罩与重建的风格图像和内容图像合并；

S3.将特征图和抠图网络产生的遮罩叠加在高斯白噪声图像上，优化风格图像和内容图像产生的损失函数；

S4.计算原始风格图像与提取的内容图像特征图之间的欧氏距离；计算原始风格图像与提取的风格图像特征图之间的均方误差；

S5.将欧氏距离和均方误差与约束函数按照权重叠加，得到风格图像与原始风格图像和内容图像的总损失函数；

S6.将总损失函数计算的误差进行迭代更新，并输出风格图像；

所述深度神经抠图网络的搭建采用编码器-解码器结构，解码器的卷积层使用小卷积核，编码器部分由VGG-19模型作为特征提取器；

所述S3中，内容图像x和风格化图像

在第l层的损失函数为

风格图像y和风格化图像

在第l层的损失函数为:

其中G^l是格莱姆矩阵，一个N^l×N^l的对称矩阵，

是第l层的第i个和第j个矢量化特征图的归一化内积：

其中H^l和W^l分别为第l层特征映射的高度和宽度，N^l表示网络第l层有N^l不同的滤波器，M^l(·)是在l层的滤波器的激活函数值。

2.根据权利要求1所述的一种目标边缘清晰化的风格迁移方法，其特征在于：所述深度神经抠图网络最后一层是具有sigmoid函数的1×1的卷积层，该卷积层的特征图通道数为1，元素阈值设为[0,1]。

3.根据权利要求1所述的一种目标边缘清晰化的风格迁移方法，其特征在于：所述S2还包括：

S201、用VGG-19网络的卷积层Conv4_2和Conv5_2提取的高维特征图进行内容表示；

S2022、用VGG-19网络的卷积Conv1_1,Conv2_1,Conv3_1,Conv4_1,Conv5_1提取的特征图进行风格表示。

4.根据权利要求1所述的一种目标边缘清晰化的风格迁移方法，其特征在于：所述S5中，总损失函数为

式中，L_R为正则化项，以增加生成图像的平滑性，α，β，γ分别为内容损失函数、风格损失函数和正则化项的权重系数。

Images