CN114078130A - 图像生成方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像生成方法、装置、计算机设备和存储介质。方法包括：获取原始图像和风格图像；采用预设分割算法对原始图像和风格图像进行分割，分别得到原始图像的多个独立的分割图和风格图像的多个独立的分割图，原始图像的分割图包括待迁移图像；输入待迁移图像和对应的风格图像的分割图至目标分割迁移网络，输出待迁移图像对应的变换图像；当原始图像的分割图均为待迁移图像时，融合各个变换图像得到目标图像，或当原始图像的分割图中包括未迁移图像时，融合待迁移图像的变换图像和未迁移图像，得到目标图像。按照预设规则对图像进行分割，分割后的待迁移图像执行对应的风格迁移，实现对待迁移图像的单独迁移，避免整体迁移效果不佳的问题。

Description

图像生成方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像生成方法、装置、计算机设备和存储介质。

背景技术

人脸属性编辑包括对人脸面部表情、年龄、发型、唇色等的编辑。对于人脸属性编辑任务会产生新的人脸图像，因此通常采用生成对抗模型(GAN)来进行生成和风格迁移的任务，以实现人脸属性的编辑。GAN模型通常改变图像整体风格，使得图像整体发生改变。比如由不戴眼镜的人脸图像生成戴眼镜的人脸图像，或者根据已有图像生成其不同年龄层次的图像。这些方案都是对人脸整体的编辑，无法满足人脸属性表面的需求。

发明内容

为了解决上述技术问题，本申请提供了一种图像生成方法、装置、计算机设备和存储介质。

本申请提供了一种图像生成方法，包括：

获取原始图像和所述原始图像对应的风格图像，所述原始图像包括人脸；

采用预设分割算法对所述原始图像进行分割，得到所述原始图像的多个独立的分割图，所述分割图包括人脸特征，所述原始图像的分割图中包括待迁移图像和未迁移图像；

采用预设分割算法对所述风格图像进行分割，得到所述风格图像的多个独立的分割图；

输入所述待迁移图像和对应的所述风格图像的分割图至目标分割迁移网络，输出所述待迁移图像对应的变换图像；

融合所述待迁移图像对应的所述变换图像，和所述未迁移图像，得到所述目标图像。

本申请提供了一种图像生成装置，包括：

数据获取模块，用于获取原始图像和所述原始图像对应的风格图像，所述原始图像包括人脸；

图像分割模块，用于采用预设分割算法对所述原始图像进行分割，得到所述原始图像的多个独立的分割图，所述分割图包括人脸特征，所述原始图像的分割图中包括待迁移图像和未迁移图像，采用预设分割算法对所述风格图像进行分割，得到所述风格图像的多个独立的分割图；

分割图像迁移模块，用于输入所述待迁移图像和对应的所述风格图像的分割图至目标分割迁移网络，输出所述待迁移图像对应的变换图像；

图像融合模块，用于融合所述待迁移图像对应的所述变换图像，和所述未迁移图像，得到所述目标图像。

本申请提供了一种图像生成方法，包括：

获取原始图像和所述原始图像对应的风格图像，所述原始图像包括人脸；

采用预设分割算法对所述原始图像进行分割，得到所述原始图像的多个独立的分割图，所述分割图包括人脸特征，所述原始图像的分割图中包括待迁移图像；

采用预设分割算法对所述风格图像进行分割，得到所述风格图像的多个独立的分割图；

输入所述待迁移图像和对应的所述风格图像的分割图至目标分割迁移网络，输出所述待迁移图像对应的变换图像；

当所述原始图像的分割图中仅包括所述待迁移图像时，融合所述待迁移图像对应的所述变换图像，得到所述目标图像。

本申请提供了一种图像生成装置，包括：

数据获取模块，用于获取原始图像和所述原始图像对应的风格图像，所述原始图像包括人脸；

图像分割模块，用于采用预设分割算法对所述原始图像进行分割，得到所述原始图像的多个独立的分割图，所述分割图包括人脸特征，所述原始图像的分割图中包括待迁移图像，采用预设分割算法对所述风格图像进行分割，得到所述风格图像的多个独立的分割图；

分割图像迁移模块，用于输入所述待迁移图像和对应的所述风格图像的分割图至目标分割迁移网络，输出所述待迁移图像对应的变换图像；

图像融合模块，用于当所述原始图像的分割图中仅包括所述待迁移图像时，融合所述待迁移图像对应的所述变换图像，得到所述目标图像。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图像生成方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像生成方法的步骤。

上述图像生成方法、装置、计算机设备和存储介质，按照预设规则对图像进行分割，分割后的待迁移图像执行对应的风格迁移，实现对待迁移图像的单独迁移，避免了整体迁移效果不佳的问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像生成方法的应用环境图；

图2为一个实施例中图像生成方法的流程示意图；

图3为一个实施例中图像生成方法的流程示意图；

图4为一个实施例中图像生成装置的结构框图；

图5为一个实施例中图像生成装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为一个实施例中图像生成方法的应用环境图。参照图1，该图像生成方法应用于图像生成系统。该图像生成系统包括终端110和服务器120。终端110和服务器120通过网络连接。服务器120获取终端110上传的获取原始图像和原始图像对应的风格图像，原始图像包括人脸；采用预设分割算法对原始图像进行分割，得到原始图像的多个独立的分割图，分割图包括人脸特征，原始图像的分割图中包括待迁移图像和未迁移图像；采用预设分割算法对风格图像进行分割，得到风格图像的多个独立的分割图；输入待迁移图像和对应的风格图像的分割图至目标分割迁移网络，输出待迁移图像对应的变换图像；融合待迁移图像对应的变换图像，和未迁移图像，得到目标图像。

上述数据获取、图像分割、风格迁移和图像融合过程也可以在终端110上执行。

终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

如图2所示，在一个实施例中，提供了一种图像生成方法。本实施例主要以该方法应用于上述图1中的终端110(或服务器120)来举例说明。参照图2，该图像生成方法具体包括如下步骤：

步骤S201，获取原始图像和原始图像对应的风格图像。

在本具体实施例中，原始图像包括人脸。

具体地，原始图像包括用户拍摄上传的照片或网络上下载的图片。风格图像是指与原始图像不同的风格的图像，其中一个原始图像可以对应一个或多个风格图像，风格图像的风格是指原始图像需要生成的目标图像的风格。风格图像可以自定义，也可以为预先配置好。原始图像中包含的人脸可以为一张或多张。

步骤S202，采用预设分割算法对原始图像进行分割，得到原始图像的多个独立的分割图。

在本具体实施例中，分割图包括人脸特征，原始图像的分割图中包括待迁移图像和未迁移图像。

步骤S203，采用预设分割算法对风格图像进行分割，得到风格图像的多个独立的分割图。

具体地，预设分割算法可以融合进深度学习模型和机器学习模型等，如预设分割算法融合深度学习模型为图像语义分割模型，图像语义分割模型包括但不限于Deeplab v3系列义分割模型、完全卷积网络(Fully Convolutional Networks)、SegNet网络和RefineNet等。通过预设分割算法或图像语义分割模型分别对原始图像和风格图像进行分割，得到原始图像对应的多个分割图像和风格图像对应的多个分割图。原始图像的分割图和风格图像的分割图的分割数量相同，每个原始图像的分割图像对应一个风格图像的分割图。若原始图像中包含多个人脸时，得到每个人脸对应的独立分割图。如原始图像中包括用户A的人脸和用户B的人脸，则在分割时，会得到用户A对应的多个分割图和用户B对应的多个分割图。也可以是对原始图像进行人脸检测，当检测到包含多个人脸时，则将每个人脸对应的区域作为原始图像区域，单独对该区域的人脸图像进行分割得到该区域的人脸图像的分割图像。待迁移图像是指从人脸图像的多个分割图中需要执行风格迁移的图像，未迁移图像是指从人脸图像的多个分割图中不需要执行风格迁移的图像。风格图像采用与原始图像同样的分割方式进行图像分割。

在一个实施例中，原始图像进行分割时，得到的独立分割图像可以根据需求自定义分割对象，分割对象包括眼睛、嘴巴、面部、头发和背景等等多个类别。其中眼睛类包括眉毛和眼睛，眉毛又分为左眉毛和右眉毛，眼睛分为左眼和右眼等，嘴巴类包括上嘴唇、下嘴唇和牙齿等，面部包括鼻子和面部皮肤。其中耳朵若被头发遮挡，则不对耳朵进行处理，若未被遮挡可以进行独立分割，或作为背景的一部分。

在一个实施例中，分割图包括背景分割图、眼睛分割图、面部分割图、嘴巴分割图和头发分割图。按照上述五种特征对图像进行分割，是因为在进行风格迁移时，对背景、头发、嘴巴上的唇色、牙齿的颜色和眼妆等进行单独的迁移。即通过分割图像进行局部迁移可以避免整体迁移导致迁移效果不佳的问题。如用户只是想迁移眼妆，但整体迁移会导致其他区域的风格也发生变化，故对人脸图像进行分割的方式对各个区域进行独立的迁移，从而使得迁移后的效果更佳。

在一个实施例中，若为了对眼妆进行更细节的控制，则可以将眼睛类分为眉毛和眼睛，若左右眼进行不同的处理，则可以将眼睛划分为左右眼，对左右眼对应的分割图像进行单独迁移。

步骤S204，输入待迁移图像和对应的风格图像的分割图至目标分割迁移网络，输出待迁移图像对应的变换图像。

步骤S205，融合待迁移图像对应的变换图像，和未迁移图像，得到目标图像。

具体地，目标风格迁移网络为生成对抗深度学习网络(Generative AdversarialNetwork，GAN)，其中GAN包括生成器和判别器，生成器用于根据输入的图像生成新的图像，判别器用于判别新的图像是否为想要生成的图像。判别器是在网络训练过程中存在的网络层，在网络训练好之后，则仅保留生成器。通过生成器对图像进行处理，即通过生成器对每个待迁移图像执行图像生成操作，根据风格图像的分割图像中的图像风格确定待迁移图像对应的变换图。每个待迁移图像对应一个变换图像。根据原始图像中各个分割图像中的有效区域对变换图像和未迁移图像的有效区域进行融合，得到与风格图像相同风格的目标图像。若存在多个风格图像，每个风格图像对应的待迁移图像对应的图像区域迁移后，得到的变换图的风格与待迁移图像对应的风格图像的风格相同。其中分割图像的有效区域是指目标特征对应的区域，如眼睛的分割图像则眼睛所在的区域为有效区域，同理嘴巴分割图为嘴巴所在的区域。

在一个实施例中，生成目标风格迁移网络，包括：获取训练图像对集合，训练图像对集合包含多个训练图像对，每个训练图像对包括训练图像和对应的训练风格图像；采用预设分割算法对训练图像对进行图像分割，得到多个分割图像对，分割图像对包括训练图像的分割图和训练风格图像的分割图；输入每个分割图像对至对应的原始风格迁移网络，输出每个分割图像对的风格变换图；根据每个分割图像对的风格变换图和对应的训练图像计算第一损失值；根据分割图像对的风格变换图和对应的训练风格图像计算第二损失值，当当前分割图像对的第一损失值和第二损失值满足当前分割图像对的预设损失条件时，将当前分割图像对的原始风格迁移网络作为当前分割图像对的目标风格迁移网络。

具体地，训练图像对是指用于训练风格迁移网络的图像。训练图像对包括训练图像和对应的训练风格图像。对训练图像对进行图像分割，得到分割图像对。训练图像对的多个分割图像，和风格图像对应的多个分割图像中相同类型的特征对应的分割图像组成的图像对，即为分割图像对。如训练图像对应的眼睛分割图，和训练风格图像对应的眼睛分割图组成的图像对眼睛分割图像对。将相同类型的特征输入对应的初始风格迁移网络，通过相同类型的特征对应的分割图像对训练原始风格迁移网络，得到目标风格迁移网络，该目标分割迁移网络可以是全部的特征进行风格迁移，也可以是仅对单个特征进行迁移，如仅对眼睛、面部单一特征进行迁移。同一类型的特征对应的分割图像对可以训练不同的风格迁移网络。在训练时，通过原始风格迁移网络对分割图像对生成对应的风格变换图，采用预选定义好损失函数计算风格变换图和分割图像对中训练图像对应的分割图的损失值，得到第一损失值，计算风格变换图和分割图像对中训练风格图像对应的分割图的损失值，得到第二损失值。根据原始风格迁移网络总的预设损失值计算函数计算第一损失值和第二损失值对于的总损失值。当总损失值满足预设损失条件时，得到目标风格迁移网络。其中预设损失条件可以自定义，如最小化第一损失值和第二损失值加权和，或第一损失值和第二损失值的加权和小于损失阈值等。

在一个实施例中，当当前分割图像对的第一损失值和第二损失值未满足当前分割图像对的预设损失条件时，根据当当前分割图像对的第一损失值和第二损失值更新当前分割图像对的原始风格迁移网络的网络参数，得到当前分割图像对的中间风格迁移网络，直至当前分割图像对的中间风格迁移网络对应的第一损失值和第二损失值满足当前分割图像对的预设损失条件时，得到当前分割图像对的目标风格迁移网络。

具体地，当第一损失值和第二损失值不满足预设损失条件时，表示初始风格迁移网络未完成训练，即需要更新初始风格迁移网络的网络参数，在调节网络参数时，可以根据第一损失值和第二损失值进行参数调节。将调节了网络参数的初始风格迁移网络作为中间风格迁移网络，采用训练中间风格迁移网络对训练图像对集合进行学习，输出对应的风格变换图，根据输出的风格变换图继续计算第一损失值和第二损失值，当第一损失值和第二损失值满足预设损失值条件时，得到目标风格迁移网络，反之则根据再次计算得到的第一损失值和第二损失值更新中间风格迁移网络的网络参数，直至得到目标风格迁移模型。

在一个实施例中，训练图像采用的数据集合为helen数据集。

在一个实施例中，分割图包括背景分割图、眼睛分割图、面部分割图、嘴巴分割图和头发分割图，标风格迁移网络包括背景迁移网络、眼睛迁移网络、面部迁移网络、嘴巴迁移网络和头发迁移网络，

在本实施例中，步骤S204，包括：

当待迁移图像包括背景分割图时，输入原始图像的背景分割图和风格图像的背景分割图至背景迁移网络，输出背景变换图；当待迁移图像包括眼睛分割图时，输入原始图像的眼睛分割图和风格图像的眼睛分割图至眼睛迁移网络，输出眼睛变换图；当待迁移图像包括面部分割图时，输入原始图像的面部分割图和风格图像的面部分割图至面部迁移网络，输出面部变换图；当待迁移图像包括嘴巴分割图时，输入原始图像的嘴巴分割图和风格图像的嘴巴分割图至嘴巴迁移网络，输出嘴巴变换图；当待迁移图像包括头发分割图时，输入原始图像的头发分割图和风格图像的头发分割图至头发迁移网络，输出头发变换图。

在本实施例中，步骤S205，包括：融合背景变换图、眼睛变换图、面部变换图、嘴巴变换图和头发变换图，得到目标图像。

具体地，将图像按照背景、眼睛、面部、嘴巴和头发五个分割目标进行分割，得到五个分割目标对应的分割图像，即原始图像和风格图像分别得到该五个分割目标对应的分割图，将每个分割目标对应的分割图像对输入对应的风格迁移网络，即背景分割图像对输入背景迁移网络，得到对应的背景变换图，同理其他的分割目标对应的分割图像对输入对应的迁移网络，输出对应的变换图，即得到眼睛变换图、面部变换图、嘴巴变换图和头发变换图。首先使用分割算法将人脸面部按照背景、眼睛、面部、头发、嘴巴五个类别进行精准分割，而后根据分割掩模图获得五官的独立分割图。针对五种类别的面部分割结果分别训练风格迁移网络即可通过风格迁移网络，独立的改变面部五官的风格。

在一个实施例中，步骤S202，采用预设分割算法对原始图像进行分割，得到原始图像的多个分割掩膜图；采用每个原始图像的分割掩膜图对于原始图像进行区域分割，得到每个分割掩膜图对应的分割图。

具体地，按照预先设置的分割目标对原始图像进行分割，如分割目标包括背景、眼睛、面部、嘴巴和头发。检测原始图像中各个分割目标所在的区域，得到各个分割目标对应的分割掩膜图。分割掩膜图是指像素值仅包含0和1的图像，该图像中像素值为1的区域为分割目标所在的区域，通过各个分割目标对应的分割掩膜图与原始图像执行与运算，得到各个分割目标对应的分割图。分割掩膜图和分割图与原始图像的大小一致。

在一个实施例中，采用未迁移图像、未迁移图像对应的分割掩膜图、待迁移图像对应的变换图像和待迁移图像对应的分割掩膜图进行图像融合，得到目标图像。

具体地，采用各个分割目标对应的分割掩膜图(各个待迁移图像对应的分割掩膜图)和分割目标对应的变换图(待迁移图像对应的变换图像)进行图像融合，以及未迁移图和未迁移图像对应的分割掩膜图进行融合，得到目标图像。如原始图像的分割图包括5个即I₁至I₅，其中为I₁和I₂和I₃为待迁移图像，I₄和I₅为未迁移图像。I₁至I₅分割掩膜图分别为I_mask1至I_mask5，I₁、I₂和I₃的变换图像分别为F₁(I₁)、F₂(I₂)和F₃(I₃)。目标图像I_target＝I_mask1*F₁(I₁)+I_mask2*F₂(I₂)+I_mask3*F₃(I₃)+I₄I_mask4+I₅I_mask5。

在一个实施例中，如图3所示，提供了一种图像生成方法，包括：

步骤S301，获取原始图像和原始图像对应的风格图像。

在本具体实施例中，原始图像包括人脸。

步骤S302，采用预设分割算法对原始图像进行分割，得到原始图像的多个独立的分割图。

在本具体实施例中，分割图包括人脸特征，原始图像的分割图中包括待迁移图像。

步骤S303，采用预设分割算法对风格图像进行分割，得到风格图像的多个独立的分割图。

步骤S304，输入待迁移图像和对应的风格图像的分割图至目标分割迁移网络，输出待迁移图像对应的变换图像。

步骤S305，当原始图像的分割图中仅包括待迁移图像时，融合待迁移图像对应的变换图像，得到目标图像。

具体地，步骤S301至步骤S304与步骤S201至步骤S204中各个步骤的内容和执行方式等基本相同，在此不再赘述。对各个待迁移图像执行对应的风格迁移之后，得到各个变换图像对应的变换图像。若原始图像的每一个分割图的都是待迁移图像，则在执行变换之后，根据原始图像的每一个分割图的变换图进行融合，得到目标图像。

在一个实施例中，当原始图像的分割图中包括未待迁移图像和待迁移图像时，融合待迁移图像对应的变换图像，得到目标图像，包括：融合待迁移图像对应的变换图像和未迁移图像，得到目标图像。

其中，原始图像的每个分割图对应的变换图像的风格与迁移该分割图的目标迁移网络的风格一致，同一个原始图像可以采用多个不同风格的风格网络执行迁移，得到不同风格的变换图像。

具体地，若原始图像的分割图中包含未待迁移图像和待迁移图像两种类型的图像，则融合待迁移图像的变换图和未待迁移图像，得到目标图像。其中待迁移图像可以包括一个或多个，剩余的原始图像的分割图为未迁移图像。

在一个实施例中，采用预设分割算法对原始图像进行分割，得到原始图像的多个分割掩膜图；采用每个原始图像的分割掩膜图对原始图像进行区域分割，得到每个分割掩膜图对应的分割图。

在一个实施例中，生成目标风格迁移网络，包括：获取训练图像对集合，训练图像对集合包含多个训练图像对，每个训练图像对包括训练图像和对应的训练风格图像；采用预设分割算法对训练图像对进行图像分割，得到多个分割图像对，分割图像对包括训练图像的分割图和训练风格图像的分割图；输入每个分割图像对至对应的原始风格迁移网络，输出每个分割图像对的风格变换图；根据每个分割图像对的风格变换图和对应的训练图像计算第一损失值；根据分割图像对的风格变换图和对应的训练风格图像计算第二损失值，当当前分割图像对的第一损失值和第二损失值满足当前分割图像对的预设损失条件时，将当前分割图像对的原始风格迁移网络作为当前分割图像对的目标风格迁移网络。

在一个实施例中，当当前分割图像对的第一损失值和第二损失值未满足当前分割图像对的预设损失条件时，根据当当前分割图像对的第一损失值和第二损失值更新当前分割图像对的原始风格迁移网络的网络参数，得到当前分割图像对的中间风格迁移网络，直至当前分割图像对的中间风格迁移网络对应的第一损失值和第二损失值满足当前分割图像对的预设损失条件时，得到当前分割图像对的目标风格迁移网络。

在一个实施例中，分割图包括背景分割图、眼睛分割图、面部分割图、嘴巴分割图和头发分割图，标风格迁移网络包括背景迁移网络、眼睛迁移网络、面部迁移网络、嘴巴迁移网络和头发迁移网络；

在本实施例中，步骤S304，包括：当待迁移图像包括背景分割图时，输入原始图像的背景分割图和风格图像的背景分割图至背景迁移网络，输出背景变换图；当待迁移图像包括眼睛分割图时，输入原始图像的眼睛分割图和风格图像的眼睛分割图至眼睛迁移网络，输出眼睛变换图；当待迁移图像包括面部分割图时，输入原始图像的面部分割图和风格图像的面部分割图至面部迁移网络，输出面部变换图；当待迁移图像包括嘴巴分割图时，输入原始图像的嘴巴分割图和风格图像的嘴巴分割图至嘴巴迁移网络，输出嘴巴变换图；当待迁移图像包括头发分割图时，输入原始图像的头发分割图和风格图像的头发分割图至头发迁移网络，输出头发变换图。

在一个实施例中，融合各个待迁移图像对应的变换图像，得到目标图像，包括：采用待迁移图像的变换图和对应的分割掩膜图进行图像融合，得到目标图像。

具体地，采用待迁移图像对应的分割掩膜图和待迁移图像对应的变换图进行图像融合。如待迁移图像的数量为5，原始图像为I，分割掩膜图分别为I_mask1至I_mask5，对应的分割图分别为I₁至I₅，则目标风格迁移网络为F₁至F₅，则，目标图像I_target＝I_mask1*F₁(I₁)+I_mask2*F₂(I₂)+I_mask3*F₃(I₃)+I_mask4*F₄(I₄)+I_mask5*F₅(I₅)。

上述图像生成方法，对图像按照预先设定的分割规则进行分割，对分割后的分割图按照待迁移图像对应的风格进行迁移，每个待迁移图像采用对应的风格迁移网络进行风格迁移，实现对各个待迁移图像的单独迁移，避免了整体迁移效果不佳的问题。

在一个具体的实施例中，上述图像生成方法，包括：

使用Deeplab v3+语义分割模型训练人脸精准分割模型。数据集采用Helen数据集，原始的Helen数据集包括11个类别，分别为背景、左眉毛、右眉毛、左眼、右眼、鼻子、面部皮肤、上嘴唇、下嘴唇、牙齿、头发。在本发明中，将左眉毛、右眉毛、左眼、右眼四种类别合并为“眼睛”一类，鼻子、面部皮肤合并为“面部”一类，上嘴唇、下嘴唇、牙齿合并为“嘴巴”一类，最终面部分割可以分为背景、眼睛、面部、嘴巴、头发五个类别。

针对不同类别的面部分割结果，分别训练风格迁移网络。通过训练后的风格迁移网络(目标风格迁移网路)，独立的改变面部五官的风格。风格迁移网络属于GAN网络的一种，旨在将一种图像的风格迁移至其他图像。通过GAN进行人脸属性编辑的时，可将原有属性的人脸面部结构风格变换至其他的指定风格(原始图像对应风格图像的风格为指定风格)，以达到人脸局部五官编辑的目的。使用现有的Fastphotostyle图像风格迁移算法，实现人脸不同部位独立的风格迁移。最终根据分割掩模图将人脸重组，即可获得编辑后的人脸。通过独立的五官特征实现五官属性的独立编辑，而不影响人脸的其他部位。

图2或图3为一个实施例中图像生成方法的流程示意图。应该理解的是，虽然图2或图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。例如，如图2中的步骤S202和步骤S203，两者可以同时执行，也可以先执行步骤S202再执行步骤S203，也可以先执行步骤S203再执行步骤S202。如图3中的步骤S302和步骤S303，两者可以同时执行，也可以先执行步骤S302再执行步骤S303，也可以先执行步骤S303再执行步骤S302。而且，图2或图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种图像生成装置200，包括：

数据获取模块201，用于获取原始图像和原始图像对应的风格图像，原始图像包括人脸。

图像分割模块202，用于采用预设分割算法对原始图像进行分割，得到原始图像的多个独立的分割图，分割图包括人脸特征，原始图像的分割图中包括待迁移图像和未迁移图像，采用预设分割算法对所述风格图像进行分割，得到所述风格图像的多个独立的分割图。

分割图像迁移模块203，输入待迁移图像和对应的风格图像的分割图至目标分割迁移网络，输出待迁移图像对应的变换图像。

图像融合模块204，用于融合待迁移图像对应的变换图像，和未迁移图像，得到目标图像。

在一个实施例中，图像分割模块202具体用于采用预设分割算法对原始图像进行分割，得到原始图像的多个分割掩膜图；采用每个原始图像的分割掩膜图对原始图像进行区域分割，得到每个分割掩膜图对应的分割图。

在一个实施例中，图像分割模块202具体采用未迁移图像、未迁移图像对应的分割掩膜图、待迁移图像对应的变换图像和待迁移图像对应的分割掩膜图进行图像融合，得到目标图像。

在一个实施例中，分割图包括背景分割图、眼睛分割图、面部分割图、嘴巴分割图和头发分割图，目标风格迁移网络包括背景迁移网络、眼睛迁移网络、面部迁移网络、嘴巴迁移网络和头发迁移网络；

分割图像迁移模块203具体用于当待迁移图像包括背景分割图时，输入原始图像的背景分割图和风格图像的背景分割图至背景迁移网络，输出背景变换图；当待迁移图像包括眼睛分割图时，输入原始图像的眼睛分割图和风格图像的眼睛分割图至眼睛迁移网络，输出眼睛变换图；当待迁移图像包括面部分割图时，输入原始图像的面部分割图和风格图像的面部分割图至面部迁移网络，输出面部变换图；当待迁移图像包括嘴巴分割图时，输入原始图像的嘴巴分割图和风格图像的嘴巴分割图至嘴巴迁移网络，输出嘴巴变换图；当待迁移图像包括头发分割图时，输入原始图像的头发分割图和风格图像的头发分割图至头发迁移网络，输出头发变换图。

在一个实施例中，眼睛分割图为左眉毛、右眉毛、左眼、右眼所在区域对应的分割图，面部分割图为鼻子和面部皮肤所在区域对应的分割图，嘴巴分割图为上嘴唇、下嘴唇和牙齿所在区域对应的分割图，头发分割图为头发所在区域对应的分割图，背景分割图为眼睛分割图、面部分割图、嘴巴分割图和头发分割图对应的区域之外的区域的分割图。

在一个实施例中，上述图像生成装置200，还包括：

网络生成模块，用于生成目标风格迁移网络。

其中，网络生成模块具体用于获取训练图像对集合，训练图像对集合包含多个训练图像对，每个训练图像对包括训练图像和对应的训练风格图像；采用预设分割算法对训练图像对进行图像分割，得到多个分割图像对，分割图像对包括训练图像的分割图和训练风格图像的分割图；输入每个分割图像对至对应的原始风格迁移网络，输出每个分割图像对的风格变换图；根据每个分割图像对的风格变换图和对应的训练图像计算第一损失值；根据分割图像对的风格变换图和对应的训练风格图像计算第二损失值；当当前分割图像对的第一损失值和第二损失值满足当前分割图像对的预设损失条件时，将当前分割图像对的原始风格迁移网络作为当前分割图像对的目标风格迁移网络。

在一个实施例中，网络生成模块具体还用于当当前分割图像对的第一损失值和第二损失值未满足当前分割图像对的预设损失条件时，根据当当前分割图像对的第一损失值和第二损失值更新当前分割图像对的原始风格迁移网络的网络参数，得到当前分割图像对的中间风格迁移网络，直至当前分割图像对的中间风格迁移网络对应的第一损失值和第二损失值满足当前分割图像对的预设损失条件时，得到当前分割图像对的目标风格迁移网络。

在一个实施例中，如图5所示，提供了一种图像生成装置300，包括：

数据获取模块301，用于获取原始图像和原始图像对应的风格图像，原始图像包括人脸。

图像分割模块302，用于采用预设分割算法对原始图像进行分割，得到原始图像的多个独立的分割图，分割图包括人脸特征，原始图像的分割图中包括待迁移图像；采用预设分割算法对风格图像进行分割，得到风格图像的多个独立的分割图。

分割图像迁移模块303，用于输入待迁移图像和对应的风格图像的分割图至目标分割迁移网络，输出待迁移图像对应的变换图像。

图像融合模块304，用于当原始图像的分割图中仅包括待迁移图像时，融合待迁移图像对应的变换图像，得到目标图像。

在一个实施例中，图像融合模块304还用于当原始图像的分割图中包括待迁移图像和未迁移图像时，融合待迁移图像对应的变换图像和未迁移图像，得到目标图像。

在一个实施例中，图像分割模块302具体用于采用预设分割算法对原始图像进行分割，得到原始图像的多个分割掩膜图；采用每个原始图像的分割掩膜图对原始图像进行区域分割，得到每个分割掩膜图对应的分割图。

在一个实施例中，图像融合模块304具体用于当原始图像的分割图中仅包括待迁移图像时，采用待迁移图像的变换图和对应的分割掩膜图进行图像融合，得到目标图像。

在一个实施例中，图像融合模块304具体用于当原始图像的分割图中包括待迁移图像和未迁移图像时，采用未迁移图像、未迁移图像对应的分割掩膜图、待迁移图像对应的变换图像和待迁移图像对应的分割掩膜图进行图像融合，得到目标图像。

在一个实施例中，上述图像生成装置300，还包括：

网络生成模块，用于生成目标风格迁移网络。

其中，网络生成模块具体用于获取训练图像对集合，训练图像对集合包含多个训练图像对，每个训练图像对包括训练图像和对应的训练风格图像；采用预设分割算法对训练图像对进行图像分割，得到多个分割图像对，分割图像对包括训练图像的分割图和训练风格图像的分割图；输入每个分割图像对至对应的原始风格迁移网络，输出每个分割图像对的风格变换图；根据每个分割图像对的风格变换图和对应的训练图像计算第一损失值；根据分割图像对的风格变换图和对应的训练风格图像计算第二损失值，当当前分割图像对的第一损失值和第二损失值满足当前分割图像对的预设损失条件时，将当前分割图像对的原始风格迁移网络作为当前分割图像对的目标风格迁移网络。

在一个实施例中，网络生成模块还用于当当前分割图像对的第一损失值和第二损失值未满足当前分割图像对的预设损失条件时，根据当当前分割图像对的第一损失值和第二损失值更新当前分割图像对的原始风格迁移网络的网络参数，得到当前分割图像对的中间风格迁移网络，直至当前分割图像对的中间风格迁移网络对应的第一损失值和第二损失值满足当前分割图像对的预设损失条件时，得到当前分割图像对的目标风格迁移网络。

在一个实施例中，分割图包括背景分割图、眼睛分割图、面部分割图、嘴巴分割图和头发分割图，标风格迁移网络包括背景迁移网络、眼睛迁移网络、面部迁移网络、嘴巴迁移网络和头发迁移网络；

分割图像迁移模块303具体用于当待迁移图像包括背景分割图时，输入原始图像的背景分割图和风格图像的背景分割图至背景迁移网络，输出背景变换图；当待迁移图像包括眼睛分割图时，输入原始图像的眼睛分割图和风格图像的眼睛分割图至眼睛迁移网络，输出眼睛变换图；当待迁移图像包括面部分割图时，输入原始图像的面部分割图和风格图像的面部分割图至面部迁移网络，输出面部变换图；当待迁移图像包括嘴巴分割图时，输入原始图像的嘴巴分割图和风格图像的嘴巴分割图至嘴巴迁移网络，输出嘴巴变换图；当待迁移图像包括头发分割图时，输入原始图像的头发分割图和风格图像的头发分割图至头发迁移网络，输出头发变换图。

图6示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110(或服务器120)。如图6所示，该计算机设备通过系统总线连接的处理器、存储器、网络接口、输入装置、摄像头、声音采集装置、扬声器和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像生成方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像生成方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的图像生成装置200(或图像生成装置300)可以实现为一种计算机程序的形式，计算机程序可在如图6所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像生成装置的各个程序模块，比如，图4所示的数据获取模块201、图像分割模块202、分割图像迁移模块203和图像融合模块204。比如，图5所示的数据获取模块301、图像分割模块302、分割图像迁移模块303和图像融合模块304。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像生成方法中的步骤。

例如，图6所示的计算机设备可以通过如图4所示的图像生成装置中的数据获取模块201执行获取原始图像和原始图像对应的风格图像，原始图像包括人脸。计算机设备可以通过图像分割模块202执行采用预设分割算法对原始图像进行分割，得到原始图像的多个独立的分割图，分割图包括人脸特征，原始图像的分割图中包括待迁移图像和未迁移图像，采用预设分割算法对风格图像进行分割，得到风格图像的多个独立的分割图。计算机设备可以通过分割图像迁移模块203执行输入待迁移图像和对应的风格图像的分割图至目标分割迁移网络，输出待迁移图像对应的变换图像。计算机设备可以通过图像融合模块204执行融合待迁移图像对应的变换图像，和未迁移图像，得到目标图像。

例如，图6所示的计算机设备可以通过如图5所示的图像生成装置中的数据获取模块，用于获取原始图像和原始图像对应的风格图像，原始图像包括人脸。计算机设备可以通过图像分割模块302执行采用预设分割算法对原始图像进行分割，得到原始图像的多个独立的分割图，分割图包括人脸特征，原始图像的分割图中包括待迁移图像，采用预设分割算法对风格图像进行分割，得到风格图像的多个独立的分割图。计算机设备可以通过分割图像迁移模块303执行输入待迁移图像和对应的风格图像的分割图至目标分割迁移网络，输出待迁移图像对应的变换图像。计算机设备可以通过图像融合模块304执行当原始图像的分割图中仅包括待迁移图像时，融合待迁移图像对应的变换图像，得到目标图像。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述图像生成方法任一实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述图像生成方法任一实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像生成方法中任一实施例的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (18)

1.一种图像生成方法，其特征在于，所述方法包括：

获取原始图像和所述原始图像对应的风格图像，所述原始图像包括人脸；

采用预设分割算法对所述原始图像进行分割，得到所述原始图像的多个独立的分割图，所述分割图包括人脸特征，所述原始图像的分割图中包括待迁移图像和未迁移图像；

采用预设分割算法对所述风格图像进行分割，得到所述风格图像的多个独立的分割图；

输入所述待迁移图像和对应的所述风格图像的分割图至目标分割迁移网络，输出所述待迁移图像对应的变换图像；

融合所述待迁移图像对应的所述变换图像，和所述未迁移图像，得到所述目标图像。

2.根据权利要求1所述的方法，其特征在于，所述采用预设分割算法对所述原始图像进行分割，得到所述原始图像的多个独立的分割图，包括：

采用所述预设分割算法对所述原始图像进行分割，得到所述原始图像的多个分割掩膜图；

采用每个所述原始图像的分割掩膜图对所述原始图像进行区域分割，得到每个所述分割掩膜图对应的所述分割图。

3.根据权利要求2所述的方法，其特征在于，所述融合所述待迁移图像对应的所述变换图像，和所述未迁移图像，得到所述目标图像，包括：

采用所述未迁移图像、所述未迁移图像对应的分割掩膜图、所述待迁移图像对应的变换图像和所述待迁移图像对应的分割掩膜图进行图像融合，得到所述目标图像。

4.根据权利要求1所述的方法，其特征在于，所述分割图包括背景分割图、眼睛分割图、面部分割图、嘴巴分割图和头发分割图，所述目标风格迁移网络包括背景迁移网络、眼睛迁移网络、面部迁移网络、嘴巴迁移网络和头发迁移网络；

所述输入所述待迁移图像和对应的所述风格图像的分割图至目标分割迁移网络，输出所述待迁移图像对应的变换图像，包括：

当所述待迁移图像包括背景分割图时，输入所述原始图像的背景分割图和所述风格图像的背景分割图至所述背景迁移网络，输出背景变换图；

当所述待迁移图像包括眼睛分割图时，输入所述原始图像的眼睛分割图和所述风格图像的眼睛分割图至所述眼睛迁移网络，输出眼睛变换图；

当所述待迁移图像包括面部分割图时，输入所述原始图像的面部分割图和所述风格图像的面部分割图至所述面部迁移网络，输出面部变换图；

当所述待迁移图像包括嘴巴分割图时，输入所述原始图像的嘴巴分割图和所述风格图像的嘴巴分割图至所述嘴巴迁移网络，输出嘴巴变换图；

当所述待迁移图像包括头发分割图时，输入所述原始图像的头发分割图和所述风格图像的头发分割图至所述头发迁移网络，输出头发变换图。

5.根据权利要求4所述的方法，其特征在于，所述眼睛分割图为左眉毛、右眉毛、左眼、右眼所在区域对应的分割图，所述面部分割图为鼻子和面部皮肤所在区域对应的分割图，所述嘴巴分割图为上嘴唇、下嘴唇和牙齿所在区域对应的分割图，所述头发分割图为所述头发所在区域对应的分割图，所述背景分割图为所述眼睛分割图、所述面部分割图、所述嘴巴分割图和所述头发分割图对应的区域之外的区域的分割图。

6.根据权利要求1所述的方法，其特征在于，生成目标风格迁移网络的步骤，包括：

获取训练图像对集合，所述训练图像对集合包含多个训练图像对，每个所述训练图像对包括训练图像和对应的训练风格图像；

采用所述预设分割算法对所述训练图像对进行图像分割，得到多个分割图像对，所述分割图像对包括所述训练图像的分割图和所述训练风格图像的分割图；

输入每个所述分割图像对至对应的原始风格迁移网络，输出每个所述分割图像对的风格变换图；

根据每个所述分割图像对的风格变换图和对应的所述训练图像计算第一损失值；

根据所述分割图像对的风格变换图和对应的所述训练风格图像计算第二损失值；

当当前分割图像对的所述第一损失值和所述第二损失值满足所述当前分割图像对的预设损失条件时，将所述当前分割图像对的所述原始风格迁移网络作为所述当前分割图像对的所述目标风格迁移网络。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

当当前分割图像对的所述第一损失值和所述第二损失值未满足所述当前分割图像对的预设损失条件时，根据所述当前分割图像对的所述第一损失值和所述第二损失值更新所述当前分割图像对的原始风格迁移网络的网络参数，得到所述当前分割图像对的中间风格迁移网络，直至所述当前分割图像对的中间风格迁移网络对应的所述第一损失值和所述第二损失值满足所述当前分割图像对的预设损失条件时，得到所述当前分割图像对的目标风格迁移网络。

8.一种图像生成方法，其特征在于，所述方法包括：

获取原始图像和所述原始图像对应的风格图像，所述原始图像包括人脸；

采用预设分割算法对所述原始图像进行分割，得到所述原始图像的多个独立的分割图，所述分割图包括人脸特征，所述原始图像的分割图中包括待迁移图像；

采用预设分割算法对所述风格图像进行分割，得到所述风格图像的多个独立的分割图；

输入所述待迁移图像和对应的所述风格图像的分割图至目标分割迁移网络，输出所述待迁移图像对应的变换图像；

当所述原始图像的分割图中仅包括所述待迁移图像时，融合所述待迁移图像对应的所述变换图像，得到所述目标图像。

9.根据权利要求8所述的方法，其特征在于，所述当所述原始图像的分割图中包括所述待迁移图像和未迁移图像时，所述方法还包括：

融合所述待迁移图像对应的所述变换图像和所述未迁移图像，得到所述目标图像。

10.根据权利要求9所述的方法，其特征在于，所述采用预设分割算法对所述原始图像进行分割，得到所述原始图像的多个独立的分割图，包括：

采用所述预设分割算法对所述原始图像进行分割，得到所述原始图像的多个分割掩膜图；

采用每个所述原始图像的分割掩膜图对所述原始图像进行区域分割，得到每个所述分割掩膜图对应的所述分割图。

11.根据权利要求10所述的方法，其特征在于，所述融合所述待迁移图像对应的所述变换图像，得到所述目标图像，包括：

采用所述待迁移图像的变换图和对应的分割掩膜图进行图像融合，得到所述目标图像。

12.一种图像生成装置，其特征在于，所述装置包括：

数据获取模块，用于获取原始图像和所述原始图像对应的风格图像，所述原始图像包括人脸；

图像分割模块，用于采用预设分割算法对所述原始图像进行分割，得到所述原始图像的多个独立的分割图，所述分割图包括人脸特征，所述原始图像的分割图中包括待迁移图像和未迁移图像，采用预设分割算法对所述风格图像进行分割，得到所述风格图像的多个独立的分割图；

分割图像迁移模块，用于输入所述待迁移图像和对应的所述风格图像的分割图至目标分割迁移网络，输出所述待迁移图像对应的变换图像；

图像融合模块，用于融合所述待迁移图像对应的所述变换图像，和所述未迁移图像，得到所述目标图像。

13.根据权利要求12所述的装置，其特征在于，所述图像分割模块用于采用所述预设分割算法对所述原始图像进行分割，得到所述原始图像的多个分割掩膜图，采用每个所述原始图像的分割掩膜图对所述原始图像进行区域分割，得到每个所述分割掩膜图对应的所述分割图。

14.根据权利要求13所述的装置，其特征在于，所述图像融合模块用于采用所述未迁移图像、所述未迁移图像对应的分割掩膜图、所述待迁移图像对应的变换图像和所述待迁移图像对应的分割掩膜图进行图像融合，得到所述目标图像。

15.一种图像生成装置，其特征在于，所述装置包括：

数据获取模块，用于获取原始图像和所述原始图像对应的风格图像，所述原始图像包括人脸；

图像分割模块，用于采用预设分割算法对所述原始图像进行分割，得到所述原始图像的多个独立的分割图，所述分割图包括人脸特征，所述原始图像的分割图中包括待迁移图像，采用预设分割算法对所述风格图像进行分割，得到所述风格图像的多个独立的分割图；

分割图像迁移模块，用于输入所述待迁移图像和对应的所述风格图像的分割图至目标分割迁移网络，输出所述待迁移图像对应的变换图像；

图像融合模块，用于当所述原始图像的分割图中仅包括所述待迁移图像时，融合所述待迁移图像对应的所述变换图像，得到所述目标图像。

16.根据权利要求15所述的装置，其特征在于，所述图像融合模块还用于当所述原始图像的分割图中包括所述待迁移图像和未迁移图像时，融合所述待迁移图像对应的所述变换图像和所述未迁移图像，得到所述目标图像。

17.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述方法的步骤。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。

Images