CN106952224A - 一种基于卷积神经网络的图像风格转移方法 - Google Patents

Abstract

本发明属于图像处理和计算机视觉领域，具体为一种基于卷积神经网络的图像风格转移方法。基于卷积神级网络中的高级语义表示建立图像内容模型和图像风格模型，然后优化一张初始图像使其在同一个卷积神经网络中具有与内容图像相似的内容表示、与风格图像相似的风格表示，从而生成融合内容图像的内容和风格图像的风格的图像，实现风格转移功能。本发明对任何风格图像均能实现风格转移。

Description

一种基于卷积神经网络的图像风格转移方法

技术领域

本发明属于图像处理和计算机视觉领域，涉及深度学习、图像生成等相关技术，具体为一种基于卷积神经网络的图像风格转移方法。

背景技术

日常生活，无论是拍照还是绘画，人们往往希望通过后期编辑使其具有某种特定的风格。然而图像编辑、绘画需要较高的技巧和丰富的经验，普通人不经学习难以实现风格转移的功能。

目前的已有的图像风格转移方法主要是通过非参数算法来实现。这些方法能够有效地将风格图像的颜色、细小边缘等纹理基元结构转移到内容图像中。但是这些方法也只能够提取图像的低级语义特性，实现图像的初级风格转移，对于图像的高级风格特性转移效果较差，生成的图像不自然。这是因为之前的方法所建立的图像风格模型只涉及到图像的低级语义特征。除此之外，之前的方法大多数只适用于对具有明显重复性图像结构的风格图像进行风格转移，对于任意的风格图像不具有普适性。因此，一种简单、高效、适用于任意风格图像的图像风格转移方法就成为了亟待解决的焦点。

发明内容

针对上述存在问题或不足，为解决对任意风格图像都高效地进行风格转移的问题，本发明提供了一种基于卷积神经网络的图像风格转移方法。

本发明采用的技术方案是：

步骤1、选定一个卷积神级网络Φ、一张目标内容图像以及一张目标风格图像选定卷积神经网络Φ中至少一层(标记为i)为内容约束层，选定卷积神经网络Φ中至少一层(标记为j)为风格约束层，设置阈值ε、最高迭代次数th；

步骤2、计算目标内容图像X^C在卷积神经网络Φ内容约束层中的滤波响应为建立目标内容图像在卷积神经网络第i层的内容表示为Φ(X^C)ⁱ；

步骤3、计算目标风格图像X^S在卷积神经网络Φ中风格约束层的滤波响应为建立目标风格图像在卷积神经网络Φ第j层的风格表示为其中

步骤4、选定新图像X^*，初始化为高斯白噪声；

步骤5、采用步骤2和步骤3相同的方法计算新图像X^*在选定的卷积神经网络Φ中内容约束层i的内容表示Φ(X^*)ⁱ和风格约束层j的风格表示

步骤6、计算新图像X^*和目标内容图像X^C在卷积神经网络Φ在内容约束层i的内容特征的损失函数并求解其关于新图像X^*在该层的滤波响应的梯度

步骤7、计算新图像X^*和目标风格图像X^S在卷积神经网络Φ在风格约束层j的风格特征的损失函数，并求解其关于新图像X^*在该层的滤波响应的梯度为

步骤8、将步骤6和步骤7中的梯度在卷积神经网络Φ中进行反向传播到输入层，更新图像X^*；

步骤9、若第t次后更新的图像满足或t≥th，此时收敛的图像X^*是融合了目标内容图像X^C的内容和目标风格图像X^S风格的图像；否则，重复步骤5-8继续迭代更新图像X^*直到收敛。

进一步的，由于卷积神经网络不同层滤波响应表达语义能力的不同，风格转移的效果非常依赖于内容约束层和风格约束层的选择。内容约束层选择低层用来保持目标内容图像的低级语义信息；风格约束层在低层、中层和高层中都选择至少一层用以学习目标风格图像的多层次风格信息。

本发明基于卷积神级网络中的高级语义表示建立图像内容模型和图像风格模型，然后优化一张初始图像(例如噪声图像)使其在同一个卷积神经网络中具有与内容图像相似的内容表示、与风格图像相似的风格表示，从而生成融合内容图像的内容和风格图像的风格的图像，实现风格转移功能。

卷积神经网络通过多层、多组滤波器能够学习到物体的多层语义特征。关于图像的风格信息，卷积神经网络中的每一个滤波器都从输入图像中提取到某一种特殊的纹理基元。越低层的滤波器提取到的纹理基元颜色就越单一，纹理基元的重复性结构就简单；越高层的滤波器提取到的纹理基元的颜色就越丰富，纹理基元的重复性结构就越复杂。

卷积神经网络中的每一个滤波器都提取了一种特定的纹理基元。因此，每个滤波响应的响应程度可以用来表征输入图像所含有的该滤波器所对应的纹理基元的成分多少，输入图像的风格特征就可以用某一层的滤波响应的和向量来表征。通过约束新图像使其在该层具有与目标风格图像相同的滤波响应和向量，就可以使生成图像与目标风格图像具有相同的纹理基元组合方式，生成与目标风格图像相似的风格。

图像的内容信息可以直接用卷积神经网络中的滤波响应表征。通过优化初始图像使其在卷积神经网络中的内容表示与目标内容图像的相同、其风格表示与目标风格图像的相同，就可以生成与内容图像相同内容、与风格图像相同风格的图像，从而实现图像风格转移功能。

综上所述，本发明具有对任何风格图像实现风格转移的技术效果。

附图说明

图1为本发明的图像风格转移流程图；

图2为实施例的目标内容图像；

图3为实施例的目标风格图像；

图4为实施例最终完成的风格转移效果图。

具体实施方式

下面结合附图和实施例对本发明做进一步的详细说明。

图2为目标内容图像，图3为目标风格图像。我们的目标是生成图像4，使其融合图2的内容和图3的风格。

步骤1、选取2014年在ImageNet图像分类比赛中获得优异成绩的深度卷积神经网络VGG-19作为我们的图像高级语义特征提取模型Φ，选取图2为目标内容图像X^C、图3为目标风格图像X^S，选定ReLU2_2为内容约束层，选定ReLU1_1、ReLU2_1、ReLU3_1、ReLU4_1和ReLU5_1为风格约束层，选定设置阈值ε＝5e^-3和最高迭代次数th＝200；

步骤2、将目标内容图像X^C输入到卷积神经网络VGG-19中，计算内容图像在内容约束层ReLU2_2上的滤波响应Φ(X^C)^ReLU2_2，计算内容表示Φ(X^C)^ReLU2_2；

步骤3、将目标风格图像X^S输入到卷积神经网络VGG-19中，计算风格图像在风格约束层ReLU1_1,ReLU2_1,ReLU3_1,ReLU4_1和ReLU5_1上的响应Φ(X^S)^ReLUh_1，计算图3在VGG-19中的多层风格表示h＝1,2,3,4,5；

步骤4、随机生成高斯噪声图像为初始化新图像X^*，大小与内容图像X^C相同；

步骤5、将新图像X^*输入到卷积神经网络VGG-19中，得到其在内容约束层ReLU2_2上的滤波响应Φ(X^*)^ReLU2_2，计算内容表示Φ(X^*)^ReLU2_2。计算X*在风格约束层ReLU1_1,ReLU2_1，ReLU3_1，ReLU4_1和ReLU5_1上的响应Φ(X^*)^ReLUh_1，计算图3在VGG-19中的风格表示Υ(Φ(X^*)^ReLUh_1)，其中h＝1,2,3,4,5；

步骤6、计算新图像X^*和内容图像X^C在卷积神经网络Φ的层ReLU2_2内容特征的损失函数并求解其关于图像X^*在该层的滤波响应的梯度其中i为ReLU2_2；

步骤7、计算新图像X^*和风格图像X^S在卷积神经网络Φ层ReLU1_1,ReLU2_1,ReLU3_1，ReLU4_1和ReLU5_1上的风格特征的损失函数：并求解其关于图像X^*在该层的滤波响应的梯度为其中j为ReLUh_1,h＝1,2,3,4,5；

步骤8、将步骤6和步骤7中的内容梯度与风格梯度分别乘以5和1，然后反向运算到输入图像上，更新输入图像X^*；

步骤9、重复步骤5-8，迭代104次后发现新生成图像X^*满足图像风格转移结束。

生成的风格转移效果图像如图4。实验结果表面，本发明能够有效地实现图像的风格转移功能。

Claims (2)

1.一种基于卷积神经网络的图像风格转移方法，包括以下步骤：

步骤1、选定一个卷积神级网络Φ、一张目标内容图像以及一张目标风格图像选定卷积神经网络Φ中至少一层(标记为i)为内容约束层，选定卷积神经网络Φ中至少一层(标记为j)为风格约束层，设置阈值ε、最高迭代次数th；

步骤2、计算目标内容图像X^C在卷积神经网络Φ内容约束层中的滤波响应为建立目标内容图像在卷积神经网络第i层的内容表示为Φ(X^C)ⁱ；

步骤3、计算目标风格图像X^S在卷积神经网络Φ中风格约束层的滤波响应为建立目标风格图像在卷积神经网络Φ第j层的风格表示为其中

步骤4、选定新图像X^*，初始化为高斯白噪声；

步骤5、采用步骤2和步骤3相同的方法计算新图像X^*在选定的卷积神经网络Φ中内容约束层i的内容表示Φ(X^*)ⁱ和风格约束层j的风格表示Υ(Φ(X^*)^j)；

步骤6、计算新图像X^*和目标内容图像X^C在卷积神经网络Φ在内容约束层i的内容特征的损失函数并求解其关于新图像X^*在该层的滤波响应的梯度

步骤7、计算新图像X^*和目标风格图像X^S在卷积神经网络Φ在风格约束层j的风格特征的损失函数，并求解其关于新图像X^*在该层的滤波响应的梯度为

步骤8、将步骤6和步骤7中的梯度在卷积神经网络Φ中进行反向传播到输入层，更新图像X^*；

步骤9、若第t次后更新的图像满足或t≥th，此时收敛的图像X^*是融合了目标内容图像X^C的内容和目标风格图像X^S风格的图像；否则，重复步骤5-8继续迭代更新图像X^*直到收敛。

2.如权利要求1所述基于卷积神经网络的图像风格转移方法，其特征在于：

所述步骤1中，内容约束层选择低层用来保持目标内容图像的低级语义信息；风格约束层在低层、中层和高层中都选择至少一层用以学习目标风格图像的多层次风格信息。