CN118887303A - 素材获取方法、模型训练方法、装置、设备及介质 - Google Patents

Abstract

本公开提供了一种素材获取方法、模型训练方法、装置、设备及介质，属于计算机技术领域。方法包括：获取参考面部图像及面部装饰图像；分别对参考面部图像及面部装饰图像进行特征提取，得到第一特征及第二特征；基于第一特征与第二特征之间的相似度，对第一特征及第二特征进行加权融合，得到第一融合特征；对第一融合特征进行解码，得到面部装饰素材。本公开实施例利用两个图像的特征，对两个图像进行对比，以对比出相对于参考面部图像的面部，面部装饰图像中的面部所具有的面部装饰素材，保证了面部装饰素材的准确性，且这种面部装饰素材获取方式，无需用户通过专业软件执行复杂的操作，降低了人力成本，且能够保证面部装饰素材的生成效率。

Description

素材获取方法、模型训练方法、装置、设备及介质

技术领域

本公开涉及计算机技术领域，特别涉及一种素材获取方法、模型训练方法、装置、设备及介质。

背景技术

随着计算机技术的发展，图像越来越受到用户的喜爱。通常用户通过设备拍摄到面部图像后，为面部图像中的面部添加面部装饰素材，以提升面部图像的显示效果。但是，目前需要开发人员通过专业软件执行复杂的操作，才能够生成面部装饰素材。这种生成面部装饰素材的方式较为复杂，耗费的人力成本高，面部装饰素材的生成效率低。

发明内容

本公开提供一种素材获取方法、模型训练方法、装置、设备及介质，能够提升面部装饰素材的生成效率。本公开的技术方案如下：

根据本公开实施例的一方面，提供一种素材获取方法，包括：

获取参考面部图像及面部装饰图像，所述面部装饰图像包括面部装饰素材，所述参考面部图像未包括所述面部装饰素材；

分别对所述参考面部图像及所述面部装饰图像进行特征提取，得到第一特征及第二特征，所述第一特征用于表示所述参考面部图像，所述第二特征用于表示所述面部装饰图像；

基于所述第一特征与所述第二特征之间的相似度，对所述第一特征及所述第二特征进行加权融合，得到第一融合特征；

对所述第一融合特征进行解码，得到所述面部装饰素材。

根据本公开实施例的另一方面，提供一种模型训练方法，所述方法包括：

获取第一样本图像、第二样本图像及样本装饰素材，所述第二样本图像包括面部装饰素材，所述第一样本图像未包括所述面部装饰素材，所述样本装饰素材为所述第二样本图像中的所述面部装饰素材；

通过素材提取模型，分别对所述第一样本图像及所述第二样本图像进行特征提取，得到第一样本特征及第二样本特征，所述第一样本特征用于表示所述第一样本图像，所述第二样本特征用于表示所述第二样本图像；

通过所述素材提取模型，基于所述第一样本特征与所述第二样本特征之间的相似度，对所述第一样本特征及所述第二样本特征进行加权融合，得到样本融合特征；

通过所述素材提取模型，对所述样本融合特征进行解码，得到预测装饰素材；

基于预测装饰素材及样本装饰素材，对所述素材提取模型进行训练。

根据本公开实施例的再一方面，提供一种素材获取装置，包括：

获取单元，被配置为执行获取参考面部图像及面部装饰图像，所述面部装饰图像包括面部装饰素材，所述参考面部图像未包括所述面部装饰素材；

提取单元，被配置为执行分别对所述参考面部图像及所述面部装饰图像进行特征提取，得到第一特征及第二特征，所述第一特征用于表示所述参考面部图像，所述第二特征用于表示所述面部装饰图像；

融合单元，被配置为执行基于所述第一特征与所述第二特征之间的相似度，对所述第一特征及所述第二特征进行加权融合，得到第一融合特征；

解码单元，被配置为执行对所述第一融合特征进行解码，得到所述面部装饰素材。

在一些实施例中，所述融合单元，被配置为执行将所述相似度与所述第二特征进行融合，得到第二融合特征；将所述第二融合特征与所述第一特征进行融合，得到所述第一融合特征。

在一些实施例中，所述提取单元，被配置为执行分别对所述参考面部图像及所述面部装饰图像进行特征提取，得到多个尺度的第一特征及所述多个尺度的第二特征；

所述融合单元，被配置为执行对于同一尺度，基于所述尺度的第一特征与所述尺度的第二特征之间的相似度，对所述尺度的第一特征与所述尺度的第二特征进行加权融合，得到所述尺度的第三融合特征；将所述多个尺度的第三融合特征进行融合，得到所述第一融合特征。

在一些实施例中，所述获取单元，还被配置为执行获取第一位置信息及第二位置信息，所述第一位置信息指示所述参考面部图像中面部的至少一个部位的位置，所述第二位置信息指示所述面部装饰图像中面部的至少一个部位的位置；

所述提取单元，被配置为执行对所述参考面部图像及所述第一位置信息进行特征提取，得到所述第一特征；对所述面部装饰图像及所述第二位置信息进行特征提取，得到所述第二特征。

在一些实施例中，所述第一位置信息与所述第二位置信息所指示的部位相同，所述面部装饰素材对应的部位与所述第二位置信息所指示部位的相同。

在一些实施例中，所述获取单元，还被配置为执行获取第一关键点信息及第二关键点信息，所述第一关键点信息指示所述参考面部图像中的面部关键点的位置，所述第二关键点信息指示所述面部装饰图像中的面部关键点的位置；

所述提取单元，被配置为执行对所述参考面部图像及所述第一关键点信息进行特征提取，得到所述第一特征；对所述面部装饰图像及所述第二关键点信息进行特征提取，得到所述第二特征。

在一些实施例中，所述面部装饰素材包括色彩图像及透明度。

根据本公开实施例的再一方面，提供一种模型训练装置，所述装置包括：

获取单元，被配置为执行获取第一样本图像、第二样本图像及样本装饰素材，所述第二样本图像包括面部装饰素材，所述第一样本图像未包括所述面部装饰素材，所述样本装饰素材为所述第二样本图像中的所述面部装饰素材；

提取单元，被配置为执行通过素材提取模型，分别对所述第一样本图像及所述第二样本图像进行特征提取，得到第一样本特征及第二样本特征，所述第一样本特征用于表示所述第一样本图像，所述第二样本特征用于表示所述第二样本图像；

融合单元，被配置为执行通过所述素材提取模型，基于所述第一样本特征与所述第二样本特征之间的相似度，对所述第一样本特征及所述第二样本特征进行加权融合，得到样本融合特征；

解码单元，被配置为执行通过所述素材提取模型，对所述样本融合特征进行解码，得到预测装饰素材；

训练单元，被配置为执行基于预测装饰素材及样本装饰素材，对所述素材提取模型进行训练。

在一些实施例中，所述训练单元，被配置为执行基于所述预测装饰素材及所述样本装饰素材，确定损失值，所述损失值指示所述预测装饰素材与所述样本装饰素材之间的色彩差异；基于所述损失值，对所述素材提取模型进行训练。

在一些实施例中，所述训练单元，被配置为执行基于所述预测装饰素材与所述样本装饰素材之间的相似度，对所述素材提取模型进行训练。

在一些实施例中，所述训练单元，被配置为执行基于判别模型，对所述预测装饰素材进行判别，得到判别结果，所述判别结果指示所述预测装饰素材为所述素材提取模型生成的可能性；基于所述预测装饰素材、所述样本装饰素材及所述判别结果，对所述素材提取模型进行训练。

根据本公开实施例的再一方面，提供一种电子设备，该电子设备包括：

一个或多个处理器；

用于存储该处理器可执行程序代码的存储器；

其中，该处理器被配置为执行该程序代码，以实现上述素材获取方法或模型训练方法。

根据本公开实施例的再一方面，提供一种计算机可读存储介质，当该计算机可读存储介质中的程序代码由电子设备的处理器执行时，使得电子设备能够执行上述素材获取方法或模型训练方法。

根据本公开实施例的再一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述素材获取方法或模型训练方法。

本公开实施例提供的方案中，利用未包括面部装饰素材的参考面部图像及包括面部装饰素材的面部装饰图像，基于参考面部图像的第一特征与面部装饰素材的第二特征之间的相似度，对第一特征及第二特征进行加权融合，得到第一融合特征，对第一融合特征进行解码，得到面部装饰素材，实现了一种新的面部装饰素材获取方式，利用这两个图像的特征，对两个图像进行对比，以对比出相对于参考面部图像的面部，面部装饰图像中的面部所具有的面部装饰素材，保证了面部装饰素材的准确性，且这种面部装饰素材获取方式，无需用户通过专业软件执行复杂的操作，降低了人力成本，且能够保证面部装饰素材的生成效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种实施环境示意图。

图2是根据一示例性实施例示出的一种素材获取方法的流程图。

图3是根据一示例性实施例示出的另一种素材获取方法的流程图。

图4是根据一示例性实施例示出的一种素材获取方法的示意图。

图5是根据一示例性实施例示出的一种模型训练方法的流程图。

图6是根据一示例性实施例示出的一种素材提取模型的结构示意图。

图7是根据一示例性实施例示出的一种素材获取装置框图。

图8是根据一示例性实施例示出的一种模型训练装置框图。

图9是根据一示例性实施例示出的一种终端的框图。

图10是根据一示例性实施例示出的一种服务器的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的面部图像都是在充分授权的情况下获取的。

本公开实施例提供的素材获取方法或者模型训练方法，能够由电子设备执行。在一些实施例中，电子设备被提供为终端或者服务器。在一些实施例中，终端101为智能手机、智能手表、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑等设备中的至少一种。在一些实施例中，服务器102为一台服务器、多台服务器、云计算平台或虚拟化中心中的至少一种。当电子设备被提供为终端时，可以由该终端实现素材获取方法。在一些实施例中，由该服务器和终端交互来实现素材获取方法。

图1是根据一示例性实施例示出的一种素材获取方法的实施环境示意图。以电子设备被提供为终端为例，参见图1，该实施环境具体包括：终端101和服务器102。

终端101用于获取参考面部图像及面部装饰图像，向服务器102发送参考面部图像及面部装饰图像，服务器102用于接收参考面部图像及面部装饰图像，基于参考面部图像及面部装饰图像，获取面部装饰素材。

在一些实施例中，终端101上安装有由服务器102提供服务的第一应用，终端101通过该第一应用实现例如面部装饰素材获取功能。在一些实施例中，第一应用为终端101操作系统中的应用，或者为第三方提供的应用。例如，第一应用为面部装饰素材获取应用，该面部装饰素材获取应用具有面部装饰素材获取功能，当然，该面部装饰素材获取应用还能够具有其他功能，例如，点评功能、购物功能、导航功能、游戏功能等。

终端101用于获取参考面部图像及面部装饰图像，通过第一应用向服务器102发送参考面部图像及面部装饰图像，服务器102用于接收参考面部图像及面部装饰图像，基于参考面部图像及面部装饰图像，获取面部装饰素材，向终端101发送面部装饰素材，由终端101通过第一应用显示面部装饰素材。

在一些实施例中，终端101在获取到面部装饰素材的情况下，将面部装饰素材部署在用于为第二应用提供的服务器103中，以便服务器103基于面部装饰素材为第二应用提供服务。终端102上安装有由服务器103提供服务的第二应用，终端102通过该第二应用实现例如图像处理功能。例如，第二应用为图像处理应用，该图像处理应用具有图像处理功能，当然，该图像处理应用还能够具有其他功能，例如，点评功能、购物功能、导航功能、游戏功能等。

终端102用于通过第二应用获取任一面部图像，通过第二应用与服务器103进行交互，从服务器103中获取至少一个面部装饰素材，通过第二应用显示获取到的面部装饰素材；终端102用于响应于对任一面部装饰素材的选中操作，基于选中的面部装饰素材，对面部图像进行调整，以便为面部图像中的面部添加面部装饰素材，得到更新后的面部图像。

图2是根据一示例性实施例示出的一种素材获取方法的流程图，如图2所示，该方法由电子设备执行，该方法包括：

在步骤S201中，电子设备获取参考面部图像及面部装饰图像，面部装饰图像包括面部装饰素材，参考面部图像未包括面部装饰素材。

在本公开实施例中，参考面部图像未包括面部装饰素材，也即是，参考面部图像中的面部上不具有面部装饰素材，面部装饰图像包括面部装饰素材，也即是，面部装饰图像中的面部上具有面部装饰素材，则后续能够将参考面部图像与面部装饰图像进行对比，以便将未包括面部装饰素材的参考面部图像作为参考，从面部装饰图像中提取所包括的面部装饰素材，以实现一种新的获取面部装饰素材的方式。

其中，面部装饰素材用于装饰面部，例如，面部装饰素材用于为面部图像中面部的妆容或者其他装饰图案。面部装饰素材能够以任意的形式表示，例如，面部装饰素材能够以图像的形式表示，或者，以其他形式表示。参考面部图像中的面部与面部装饰图像中的面部可能是同一面部也可能不是同一面部，例如，参考面部图像包括面部1，且面部1上不具有面部装饰素材，如参考面部图像中的面部1未化妆；面部装饰图像包括面部2，且面部2上具有面部装饰素材，如面部装饰图像中的面部2已化妆。

在步骤S202中，电子设备分别对参考面部图像及面部装饰图像进行特征提取，得到第一特征及第二特征，第一特征用于表示参考面部图像，第二特征用于表示面部装饰图像。

在本公开实施例中，第一特征和第二特征均能够以任意的形式表示，例如，第一特征和第二特征均是以特征向量的形式表示。

在步骤S203中，电子设备基于第一特征与第二特征之间的相似度，对第一特征及第二特征进行加权融合，得到第一融合特征。

在本公开实施例中，第一特征用于表示参考面部图像，第二特征用于表示面部装饰图像，第一特征与第二特征之间的相似度相当于参考面部图像与面部装饰图像之间的相似度程度，也能够反应出面部装饰图像与参考面部图像之间的差异，则基于第一特征与第二特征之间的相似度，对第一特征及第二特征进行加权融合，使得到的第一融合特征能够反映出面部装饰图像与参考面部图像之间的差异，进而反映出面部装饰图像中的面部装饰素材。

其中，第一融合特征能够以任意的形式表示，例如，第一融合特征是以特征向量的形式表示。

在步骤S204中，电子设备对第一融合特征进行解码，得到面部装饰素材。

在本公开实施例中，通过对第一融合特征进行解码，得到的面部装饰素材为面部装饰图像包括的面部装饰素材。

本公开实施例提供的方案中，利用未包括面部装饰素材的参考面部图像及包括面部装饰素材的面部装饰图像，基于参考面部图像的第一特征与面部装饰素材的第二特征之间的相似度，对第一特征及第二特征进行加权融合，得到第一融合特征，对第一融合特征进行解码，得到面部装饰素材，实现了一种新的面部装饰素材获取方式，利用这两个图像的特征，对两个图像进行对比，以对比出相对于参考面部图像的面部，面部装饰图像中的面部所具有的面部装饰素材，保证了面部装饰素材的准确性，且这种面部装饰素材获取方式，无需用户通过专业软件执行复杂的操作，降低了人力成本，且能够保证面部装饰素材的生成效率。

在上述图2所示的实施例的基础上，本公开实施例是以相似度先与第二特征进行融合再与第一特征进行融合的方式，获取第一融合特征，具体过程详见下述实施例。

图3是根据一示例性实施例示出的另一种素材获取方法的流程图，该方法由电子设备执行，如图3所示，该方法包括：

在步骤S301中，电子设备获取参考面部图像及面部装饰图像，面部装饰图像包括面部装饰素材，参考面部图像未包括面部装饰素材。

在一些实施例中，以面部装饰素材用于表示面部的妆容为例，则该步骤S301包括：对未化妆的第一面部进行拍摄，得到参考面部图像；对已化妆的第二面部进行拍摄，得到面部装饰图像。

在本公开实施例中，第一面部与第二面部可能是同一面部也可能是不同的面部，通过分别对未化妆的第一面部及已化妆的第二面部进行拍摄，得到参考面部图像及面部装饰图像，以便后续通过对参考面部图像及面部装饰图像进行对比，以便生成面部装饰素材，实现了一种对真实面部进行化妆来生成面部装饰素材的方式，以保证生成面部装饰素材的便捷性，提升了面部装饰素材的生成效率。

在一些实施例中，获取参考面部图像的过程，包括：对标准三维面部模型进行拍摄，得到参考面部图像。

在本公开实施例中，标准三维面部模型是一个通用的面部模型，标准三维面部模型的面部朝向正前方，且标准三维面部模型中面部的各个部位端正。通过对标准三维面部模型进行拍摄，以使参考面部图像包括的面部为标准面部，以便后续参考面部图像与面部装饰图像进行对比时，以便能够准确提取到面部装饰素材，以保证面部装饰素材的准确性。

在一些实施例中，获取面部装饰图像的过程，包括：基于多个预设面部装饰素材，对任一面部图像进行调整，得到面部装饰图像。

其中，预设面部装饰素材为任意的面部装饰素材，不同的预设面部装饰素材是面部的不同部位的装饰素材，或者，是面部的同意部位的装饰素材，不同的预设面部装饰素材不同。例如，任一预设面部装饰素材为面部中嘴部的装饰素材，另一预设面部装饰素材为面部中的眼睛的装饰素材。再例如，任一预设面部装饰素材指示面部中嘴部的颜色，另一预设面部装饰素材为面部中嘴部的形状。

在本公开实施例中，基于多个预设面部装饰素材，对任一面部图像进行调整，以实现多个预设面部装饰素材在该面部图像进行组成，使得到的面部装饰图像包括组合得到的面部装饰素材，这样，以便后续能够生成组合得到的面部装饰素材，使得组合得到的面部装饰素材能够复用，无需再按照上述方式来对预设面部装饰素材进行组合，能够保证后续对面部图像添加面部装饰素材的便捷性。

在步骤S302中，电子设备分别对参考面部图像及面部装饰图像进行特征提取，得到第一特征及第二特征，第一特征用于表示参考面部图像，第二特征用于表示面部装饰图像。

在一些实施例中，该步骤S302包括：获取第一位置信息及第二位置信息，第一位置信息指示参考面部图像中面部的至少一个部位的位置，第二位置信息指示面部装饰图像中面部的至少一个部位的位置；对参考面部图像及第一位置信息进行特征提取，得到第一特征；对面部装饰图像及第二位置信息进行特征提取，得到第二特征。

在本公开实施例中，由于参考面部图像不包括面部装饰素材，面部装饰图像包括面部装饰素材，面部装饰素材可能是面部中至少一个部位的装饰素材，第一位置信息和第二位置信息能够分别指示参考面部图像中面部和面部装饰图像中面部的至少一个部位的位置，则对参考面部图像及第一位置信息进行特征提取，得到第一特征；对面部装饰图像及第二位置信息进行特征提取，得到第二特征，使得第一特征不仅能够表征参考面部图像，还能够体现出参考面部图像中各个部位的位置，并且，第二特征不仅能够表征面部装饰图像，还能够体现出面部装饰图像中各个部位的位置，以保证第一特征和第二特征的准确性，也便于后续能够利用第一特征及第二特征，更好地对参考面部图像及面部装饰图像进行对比，进而保证后续得到的面部装饰素材的准确性。

其中，第一位置信息和第二位置信息能够以任意的形式表示，例如，第一位置信息和第二位置信息能够以向量或文本的形式表示。例如，第一位置信息包括参考面部图像中面部的至少一个部位的坐标，第二位置信息包括面部装饰图像中面部的至少一个部位的坐标。

在一些实施例中，第一位置信息与第二位置信息所对应的部位相同。例如，第一位置信息包括参考面部图像中面部的眼部、腮、唇部的位置，第二位置信息包括面部装饰图像中面部的眼部、腮、唇部的位置。

在一些实施例中，第一位置信息与第二位置信息所指示的部位相同，最终得到的面部装饰素材对应的部位与第二位置信息所指示部位的相同。

在本公开实施例中，第一位置信息指示参考面部图像中面部的至少一个部位的位置，第二位置信息指示面部装饰图像中面部的至少一个部位的位置，在第一位置信息与第二位置信息所指示的部位相同，以便后续得到第一特征和第二特征后，能够利用第一特征和第二特征，将参考面部图像与面部装饰图中相同的部位进行对比，以便从面部装饰图像中提取出第二位置信息所指示的部位上的装饰素材，进而构成面部装饰素材，以保证面部装饰素材的准确性。

例如，第一位置信息指示参考面部图像中面部的鼻子、腮和嘴巴的位置，第二位置信息指示面部装饰图像中面部的鼻子、腮和嘴巴的位置，最终得到的面部装饰素材包括鼻子、腮和嘴巴上的装饰素材。

在一些实施例中，该步骤S302包括：获取第一关键点信息及第二关键点信息，第一关键点信息指示参考面部图像中的面部关键点的位置，第二关键点信息指示面部装饰图像中的面部关键点的位置；对参考面部图像及第一关键点信息进行特征提取，得到第一特征；对面部装饰图像及第二关键点信息进行特征提取，得到第二特征。

在本公开实施例中，由于参考面部图像不包括面部装饰素材，面部装饰图像包括面部装饰素材，面部装饰素材可能是面部中至少一个部位的装饰素材，第一关键点信息及第二关键点信息能够分别指示参考面部图像和面部装饰图像中的面部关键点的位置，则对参考面部图像及第一关键点信息进行特征提取，得到第一特征；对面部装饰图像及第二关键点信息进行特征提取，得到第二特征，使得第一特征不仅能够表征参考面部图像，还能够体现出参考面部图像中面部关键点的位置，并且，第二特征不仅能够表征面部装饰图像，还能够体现出面部装饰图像中面部关键点的位置，以保证第一特征和第二特征的准确性，也便于后续能够利用第一特征及第二特征，按照面部关键点更好地对参考面部图像及面部装饰图像进行对比，进而保证后续得到的面部装饰素材的准确性。

其中，第一关键点信息和第二关键点信息能够以任意的形式表示，例如，第一关键点信息和第二关键点信息能够以向量或文本的形式表示。例如，第一关键点信息包括参考面部图像中至少一个面部关键点的坐标，第二关键点信息包括面部装饰图像中至少一个部位的坐标。

在一些实施例中，第一关键点信息与第二关键点信息所对应的面部关键点相同。例如，第一关键点信息包括参考面部图像中面部的眼部、腮、唇部的位置，第二关键点信息包括面部装饰图像中面部的眼部、腮、唇部的位置。

在一些实施例中，第一关键点信息与第二关键点信息所指示的面部关键点相同。

在本公开实施例中，第一关键点信息指示参考面部图像中面部关键点的位置，第二关键点信息指示面部装饰图像中面部关键点的位置，在第一关键点信息与第二关键点信息所指示的面部关键点相同，以便后续得到第一特征和第二特征后，能够利用第一特征和第二特征，将参考面部图像与面部装饰图中相同的面部关键点进行对比，以便从面部装饰图像中提取出面部装饰素材，以保证面部装饰素材的准确性。

例如，第一关键点信息指示参考面部图像中额头关键点、鼻子关键点、眼睛关键点的位置，第二关键点信息指示面部装饰素材中额头关键点、鼻子关键点、眼睛关键点的位置。

在步骤S303中，电子设备将第一特征与第二特征之间的相似度与第二特征进行融合，得到第二融合特征；将第二融合特征与第一特征进行融合，得到第一融合特征。

在本公开实施例中，由于参考面部图像和面部装饰图像均包括面部，两者的不同之处在于面部装饰图像中的面部具有面部装饰素材，而参考面部图像中的面部不具有面部装饰素材，第一特征与第二特征之间的相似度能够体现出参考面部图像与面部装饰图像中的面部的相似情况，先将相似度与第二特征进行融合，再将得到的第二融合特征与第一特征进行融合，以考虑到两个图像包括的面部的相似情况，这也相当于考虑到两个图像包括的面部的不同情况，以便使得到的第一融合特征能够体现出两个图像之间的不同情况，以便第一融合特征能够体现出面部装饰图像中的面部装饰素材，以保证第一融合特征的准确性。

其中，第一特征与第二特征之间的相似度能够以任意的方式确定，例如，采取欧式距离或其他方式。

在一些实施例中，以特征为特征向量为例，该步骤S303包括：将第一特征向量与第二特征向量的乘积，确定为第一特征向量与第二特征向量之间的相似度，将相似度与第二特征向量向量的乘积，确定为第二融合特征向量，将第二融合特征向量与第一特征向量的乘积，确定为第一融合特征向量。

其中，第一特征向量即为第一特征。第二特征向量即为第二特征，第二融合特征向量即为第二融合特征，第一融合特征向量即为第一融合特征。在本公开实施例中，采取相乘的方式，将特征进行融合，以保证得到的第一融合特征的准确性。

需要说明的是，本公开实施例是以先将相似度与第二特征融合再与第一特征进行融合为例进行说明，而在另一实施例中，无需执行上述步骤S303，而是采取其他方式，基于第一特征与第二特征之间的相似度，对第一特征及第二特征进行加权融合，得到第一融合特征。

在步骤S304中，电子设备对第一融合特征进行解码，得到面部装饰素材。

在一些实施例中，面部装饰素材能够以任意的形式表示，例如，面部装饰素材以图像的形式表示或者以其他形式的信息表示。

在一些实施例中，面部装饰素材包括色彩图像及透明度。其中，色彩图像能够表示装饰素材的颜色，而透明度能够表示面部素材的透明度。

在本公开实施例中，面部装饰素材包括色彩图像及透明度，透明度指示面部素材的透明度，以便后续将面部装饰素材与任一面部图像融合时，能够保证融合效果，进而保证为面部图像添加面部装饰素材的显示效果。

例如，面部装饰素材以RGBA(Red Green Blue Alpha，红色、绿色、蓝色、透明度)格式表示的图像，该图像能够以4个通道的数据表示，该4个通道包括颜色空间RGB三通道及控制透明度的α通道。

在一些实施例中，面部装饰素材仅包括一个图层，也即是，面部装饰素材以一个图层的图像表示。

在本公开实施例中，由于相关技术中是由人工通过专业的工具在不同的图层中添加不同部位的装饰素材，进而由多个图层组合成最终的面部装饰素材，但是这样会导致面部装饰素材的数据量大，而本公开实施例提供的面部装饰素材仅包括一个图像，则本公开实施例提供的面部装饰素材的数据量小，后续应用于任意的面部图像时，降低计算量。

本公开实施例提供的方案中，利用未包括面部装饰素材的参考面部图像及包括面部装饰素材的面部装饰图像，基于参考面部图像的第一特征与面部装饰素材的第二特征之间的相似度，对第一特征及第二特征进行加权融合，得到第一融合特征，对第一融合特征进行解码，得到面部装饰素材，实现了一种新的面部装饰素材获取方式，利用这两个图像的特征，对两个图像进行对比，以对比出相对于参考面部图像的面部，面部装饰图像中的面部所具有的面部装饰素材，保证了面部装饰素材的准确性，且这种面部装饰素材获取方式，无需用户通过专业软件执行复杂的操作，降低了人力成本，且能够保证面部装饰素材的生成效率。

在上述图2所示的实施例的基础上，本公开实施例是以参考面部图像和面部装饰图像的多个尺度的特征获取面部装饰素材，具体过程详见下述实施例。

图4是根据一示例性实施例示出的另一种素材获取方法的流程图，该方法由电子设备执行，如图4所示，该方法包括：

在步骤S401中，电子设备获取参考面部图像及面部装饰图像，面部装饰图像包括面部装饰素材，参考面部图像未包括面部装饰素材。

该步骤S401与上述步骤S301同理，在此不再赘述。

在步骤S402中，电子设备分别对参考面部图像及面部装饰图像进行特征提取，得到多个尺度的第一特征及多个尺度的第二特征，第一特征用于表示参考面部图像，第二特征用于表示面部装饰图像。

在本公开实施例中，对于同一图像，该图像的多个尺度特征能够更加详细的表征图像，因此，获取用于表示参考面部图像的多个尺度的第一特征、用于表示面部装饰图像的多个尺度的第二特征，以便能够更加详细的表征参考面部图像和面部装饰图像，以便后续能够利用多个尺度的第一特征和多个尺度的第二特征，能够更加详细的将参考面部图像和面部装饰图像进行对比，以保证后续得到的面部装饰素材的准确性。

其中，多个尺度能够是任意的尺度，对于多个尺度的第一特征及多个尺度的第二特征，第一特征的数量与第二特征的数量相同，任一第一特征与一个第二特征的尺度相同。

在一些实施例中，获取多个第一特征的过程，包括：对参考面部图像进行特征提取，得到第一尺度的第一特征，对第一尺度的第一特征进行降维，得到第二尺度的第一特征。

在本公开实施例中，第一尺度为任意的尺度，在对参考面部图像进行特征提取，得到第一尺度的第一特征后，能够采取降维的方式，能够获取其他尺度的第一特征，以保证获取到的多个尺度的第一特征的准确性。

需要说明的是，本公开实施例是以获取第一尺度和第二尺度的第一特征为例进行说明，而在另一实施例中，在得到第二尺度的第一特征的情况下，能够对第二尺度的第一特征进行降维，得到下一个尺度的第一特征，以此类推，能够得到多个尺度的第一特征，且在多个尺度中第一尺度最大。

需要说明的是，本公开实施例是在得到第一尺度的第一特征的基础上，采取降维的方式获取其他尺度的第一特征，而在另一实施例中，无需采取降维的方式获取第一特征，而是在得到第一尺度的第一特征的基础上，采取升维的方式，获取其他尺度的第一特征。例如，在得到第一尺度的第一特征的情况下，对第一尺度的第一特征进行升维，得到第三尺度的第一特征，第三尺度大于第一尺度。

需要说明的是，获取多个尺度的第二特征与上述获取多个尺度的第一特征同理，在此不再赘述。

在一些实施例中，该步骤S402包括：获取第一位置信息及第二位置信息，第一位置信息指示参考面部图像中面部的至少一个部位的位置，第二位置信息指示面部装饰图像中面部的至少一个部位的位置；对参考面部图像及第一位置信息进行特征提取，得到多个尺度的第一特征；对面部装饰图像及第二位置信息进行特征提取，得到多个尺度的第二特征。

在本公开实施例中，由于参考面部图像不包括面部装饰素材，面部装饰图像包括面部装饰素材，面部装饰素材可能是面部中至少一个部位的装饰素材，第一位置信息和第二位置信息能够分别指示参考面部图像中面部和面部装饰图像中面部的至少一个部位的位置，则对参考面部图像及第一位置信息进行特征提取，得到多个尺度的第一特征；对面部装饰图像及第二位置信息进行特征提取，得到多个尺度的第二特征，使得第一特征不仅能够表征参考面部图像，还能够体现出参考面部图像中各个部位的位置，并且，第二特征不仅能够表征面部装饰图像，还能够体现出面部装饰图像中各个部位的位置，以保证多个尺度的第一特征和多个尺度的第二特征的准确性，也便于后续能够利用多个尺度的第一特征及多个尺度的第二特征，更好地对参考面部图像及面部装饰图像进行对比，进而保证后续得到的面部装饰素材的准确性。

在一些实施例中，该步骤S402包括：获取第一关键点信息及第二关键点信息，第一关键点信息指示参考面部图像中的面部关键点的位置，第二关键点信息指示面部装饰图像中的面部关键点的位置；对参考面部图像及第一关键点信息进行特征提取，得到多个尺度的第一特征；对面部装饰图像及第二关键点信息进行特征提取，得到多个尺度的第二特征。

在本公开实施例中，由于参考面部图像不包括面部装饰素材，面部装饰图像包括面部装饰素材，面部装饰素材可能是面部中至少一个部位的装饰素材，第一关键点信息及第二关键点信息能够分别指示参考面部图像和面部装饰图像中的面部关键点的位置，则对参考面部图像及第一关键点信息进行特征提取，得到多个尺度的第一特征；对面部装饰图像及第二关键点信息进行特征提取，得到多个尺度的第二特征，使得第一特征不仅能够表征参考面部图像，还能够体现出参考面部图像中面部关键点的位置，并且，第二特征不仅能够表征面部装饰图像，还能够体现出面部装饰图像中面部关键点的位置，以保证多个尺度的第一特征和多个尺度的第二特征的准确性，也便于后续能够利用多个尺度的第一特征及多个尺度的第二特征，更好地对参考面部图像及面部装饰图像进行对比，进而保证后续得到的面部装饰素材的准确性。

在步骤S403中，电子设备对于同一尺度，基于尺度的第一特征与尺度的第二特征之间的相似度，对尺度的第一特征与尺度的第二特征进行加权融合，得到尺度的第三融合特征。

在一些实施例中，该步骤S403包括：对于同一尺度，将该尺度的第一特征与该尺度的第二特征之间的相似度与该尺度的第二特征进行融合，得到该尺度的第二融合特征；将该尺度的第二融合特征与该尺度的第一特征进行融合，得到该尺度的第三融合特征。

该步骤S403与上述步骤S203同理，在此不再赘述。

在步骤S404中，电子设备将多个尺度的第三融合特征进行融合，得到第一融合特征。

在本公开实施例中，对于同一图像，该图像的多个尺度特征能够更加详细的表征图像，因此，获取用于表示参考面部图像的多个尺度的第一特征、用于表示面部装饰图像的多个尺度的第二特征，以便能够更加详细的表征参考面部图像和面部装饰图像，以便利用多个尺度的第一特征和多个尺度的第二特征，能够更加详细的将参考面部图像和面部装饰图像进行对比，使得多个尺度的第三融合特征能够更加详细的表征面部装饰图像包括的面部装饰素材，以得到的面部装饰素材的准确性。

在一些实施例中，该步骤S404包括：将第i尺度的第三融合特征进行升维，将升维得到的第i+1尺度的特征与第i+1尺度的第三融合特征进行融合，得到第i+1尺度的特征，在升维得第k尺度的特征的情况下，将升维得到的第k尺度的特征与第k尺度的第三融合特征进行融合，得到第一融合特征。

其中，k为多个尺度的数量，k为大于1的整数。i为多个尺度的序号，i为大于0且不大于k的整数。

在本公开实施例中，第i尺度小于第i+1尺度，第k尺度为多个尺度中的最大尺度。

例如，以多个尺度中的最小尺度为第1尺度、k为3为例，将第1尺度的第三融合特征进行升维，将升维得到的第2尺度的特征与第2尺度的第三融合特征进行融合，得到第2尺度的特征；将第2尺度的第三融合特征进行升维，将升维得到的第3尺度的特征与第3尺度的第三融合特征进行融合，得到第一融合特征。

需要说明的是，本公开实施例是以从多个尺度中的最小尺度开始，采取升维的方式，将多个尺度的第三融合特征融合为第一融合特征，而在另一实施例中，还能够从多个尺度中的最大尺度开始，采取降维的方式，将多个尺度的第三融合特征融合为第一融合特征。其中，采取降维的方式将多个尺度的第三融合特征融合为第一融合特征的过程，与上述采取升维的方式将多个尺度的第三融合特征融合为第一融合特征的过程同理，在此不再赘述。

需要说明的是，本公开实施例是以参考面部图像和面部装饰图像的多个尺度的特征来获取第一融合特征为例进行说明，而在另一实施例中，无需执行上述步骤S402-S404，而是采取其他方式，分别对参考面部图像及面部装饰图像进行特征提取，得到第一特征及第二特征，基于第一特征与第二特征之间的相似度，对第一特征及第二特征进行加权融合，得到第一融合特征。

在步骤S405中，电子设备对第一融合特征进行解码，得到面部装饰素材。

该步骤S405与上述步骤S304同理，在此不再赘述。

本公开实施例提供的方案中，利用未包括面部装饰素材的参考面部图像及包括面部装饰素材的面部装饰图像，基于参考面部图像的第一特征与面部装饰素材的第二特征之间的相似度，对第一特征及第二特征进行加权融合，得到第一融合特征，对第一融合特征进行解码，得到面部装饰素材，实现了一种新的面部装饰素材获取方式，利用这两个图像的特征，对两个图像进行对比，以对比出相对于参考面部图像的面部，面部装饰图像中的面部所具有的面部装饰素材，保证了面部装饰素材的准确性，且这种面部装饰素材获取方式，无需用户通过专业软件执行复杂的操作，降低了人力成本，且能够保证面部装饰素材的生成效率。

需要说明的是，在上述图2至图4所示的实施例的基础上，本公开实施例在得到面部装饰素材的情况下，还能够将提取到的面部装饰素材应用到任意的面部图像中，以实现对面部图像中的面部添加面部装饰素材。在一些实施例中，将面部装饰素材应用到任一面部图像为例，则方法还包括：对面部装饰素材与任一面部图像进行融合，得到该面部图像对应的目标图像，目标图像包括的面部与面部图像相同，且目标图像包括面部装饰素材，且该面部装饰素材与上述提取到的面部素材相同。

在本公开实施例中，提取到的面部装饰素材能够应用到任意的面部图像，对于任一面部图像，将面部装饰素材与面部图像进行融合，得到的目标图像即为该面部图像中的面部添加面部装饰素材的面部图像，实现了一种为面部图像添加脸部装饰素材的方案，保证了面部装饰素材添加的便捷性，无需用户执行复杂的操作，提升了人机交互效率。

在一些实施例中，面部装饰素材包括彩色图像及透明度将面部图像与面部装饰素材进行融合的过程，包括：基于透明度确定数值，透明度与数值的和值为1，基于透明度及该数值，对彩色图像及面部图像进行加权融合，得到目标图像。

在本公开实施例中，采取加权融合的方式，也即是，Blend(混合)方式按照面部装饰素材中的透明度，将面部装饰素材中的彩色图像添加在面部图像中，以便为该面部图像中的面部添加面部装饰素材，且面部装饰素材按照透明度显示，这种混合方式简单高效，也能够保证目标图像的显示效果。

在一些实施例中，透明度、彩色图像及面部图像满足以下关系：

Result_{RGB}＝Blend_{RGB}*Blend_Alpha+Base_{RGB}*(1-Blend_Alpha)

其中，Result_{RGB}用于表示目标图像，目标图像以RGB的形式表示；Blend_{RGB}用于表示面部装饰素材中的彩色图像；Blend_Alpha用于表示面部装饰素材中的透明度；透明度为归一化后的透明度，透明度的范围为[0,1]；Base_{RGB}用于表示面部图像，面部图像以RGB的形式表示；1-Blend_Alpha用于表示数值。

需要说明的是，上述图2至图4所示的实施例能够通过素材提取模型来实现素材获取方法，也即是，素材获取方法包括：获取参考面部图像及面部装饰图像；通过素材提取模型，分别对参考面部图像及面部装饰图像进行特征提取，得到第一特征及第二特征；通过素材提取模型，基于第一特征与第二特征之间的相似度，对第一特征及第二特征进行加权融合，得到第一融合特征；通过素材提取模型，对第一融合特征进行解码，得到面部装饰素材。

在上述所示的实施例的基础上，本公开实施例中，在通过素材提取模型来实现素材获取方法之前，还需对素材提取模型进行训练，对素材提取模型的训练过程详见下述实施例。

图5是根据一示例性实施例示出的一种模型训练方法的流程图，该方法由电子设备执行，如图5所示，该方法包括：

在步骤S501中，电子设备获取第一样本图像、第二样本图像及样本装饰素材，第二样本图像包括面部装饰素材，第一样本图像未包括面部装饰素材，样本装饰素材为第二样本图像中的面部装饰素材。

其中，第一样本图像中的面部与第二样本图像中的面部可能是同一面部也可能不是同一面部。样本装饰素材能够以任意的形式表示，例如，样本装饰素材以RGBA格式表示的图像，样本装饰素材以RGBA格式表示的图像。

在一些实施例中，获取样本装饰素材的方式，包括：对于任一面部图像，开发人员通过专业软件对该面部图像执行复杂的操作，生成该第二样本图像及样本装饰素材。

在步骤S502中，电子设备通过素材提取模型，分别对第一样本图像及第二样本图像进行特征提取，得到第一样本特征及第二样本特征，第一样本特征用于表示第一样本图像，第二样本特征用于表示第二样本图像。

其中，素材提取模型能够是任意的网络模型，素材提取模型具有对两个图像进行对比，以提取面部装饰素材的功能。

在步骤S503中，电子设备通过素材提取模型，基于第一样本特征与第二样本特征之间的相似度，对第一样本特征及第二样本特征进行加权融合，得到样本融合特征。

在步骤S504中，电子设备通过素材提取模型，对样本融合特征进行解码，得到预测装饰素材。

该步骤S501-S504与上述步骤S301-S304同理，在此不再赘述。

在步骤S505中，电子设备基于预测装饰素材及样本装饰素材，对素材提取模型进行训练。

在本公开实施例中，预测装饰素材是素材提取模型基于第一样本图像及第二样本图像得到，样本装饰素材为第二样本图像中的面部装饰素材，也即是，样本装饰素材为准确的面部装饰素材，则预测装饰素材与样本装饰素材之间的差异，能够反映出素材提取模型的准确性；预测装饰素材与样本装饰素材之间的差异越大，素材提取模型的准确性越差，预测装饰素材与样本装饰素材之间的差异越小，素材提取模型的准确性越小，因此，基于预测装饰素材与样本装饰素材，对素材提取模型进行训练，以提升素材提取模型的准确性。

在一些实施例中，该步骤505包括：基于预测装饰素材及样本装饰素材，确定第一损失值，第一损失值指示预测装饰素材与样本装饰素材之间的差异；基于第一损失值，对素材提取模型进行训练。

在本公开实施例中，能够采取L1(Mean Absolute Error Loss，绝对误差损失)损失的方式，基于预测装饰素材及样本装饰素材，确定第一损失值，以便基于第一损失值对素材提取模型训练后，使得素材提取模型后续生成的面部装饰素材与样本装饰素材相似，保证素材提取模型的准确性。

在一些实施例中，该步骤S505包括：基于预测装饰素材及样本装饰素材，确定损失值，损失值指示预测装饰素材与样本装饰素材之间的色彩差异；基于损失值，对素材提取模型进行训练。

在本公开实施例中，采取直方图损失的方式，通过将预测装饰素材与样本装饰素材进行对比，以确定两者之间的色彩差异，以便基于用于表示两者之间的色彩差异的损失值，对素材提取模型进行训练，以保证素材提取模型的准确性。

在一些实施例中，将上述用于指示预测装饰素材与样本装饰素材之间的色彩差异的损失值称为第二损失值，则对素材提取模型的训练过程包括：基于第一损失值及第二损失值，对素材提取模型进行训练。

在本公开实施例中，第一损失值及第二损失值能够构成Makeup(化妆)损失，以便能够提升素材提取模型的准确性。

在一些实施例中，该步骤S505包括：基于预测装饰素材与样本装饰素材之间的相似度，对素材提取模型进行训练。

在本公开实施例中，预测装饰素材与样本装饰素材之间的相似度能够反映出素材提取模型的准确性，相似度越小则素材提取模型的准确性越小，则基于预测装饰素材与样本装饰素材之间的相似度，对素材提取模型进行训练，以提升素材提取模型的准确性。

在一些实施例中，对素材提取模型进行训练的过程包括：分别对预测装饰素材及样本装饰素材进行特征提取，得到预测特征及样本特征，预测特征用于表示预测装饰素材，样本特征用于表示样本装饰素材，基于预测特征及样本特征，确定预测装饰素材与样本装饰素材之间的相似度；基于相似度确定第三损失值，基于第三损失值，对素材提取模型进行训练。

在本公开实施例中，采取VGG(Visual Geometry Group，一种深度学习模型)损失，确定预测装饰素材与样本装饰素材在特征上的差异，以便基于这些差异来确定第三损失值，进而对素材提取模型进行训练，以保证素材提取模型的准确性。

在一些实施例中，该步骤S505包括：基于判别模型，对预测装饰素材进行判别，得到判别结果，判别结果指示预测装饰素材为素材提取模型生成的可能性；基于判别结果，对素材提取模型进行训练。

在本公开实施例中，判别模型用于判别装饰素材是否为素材提取模型生成，通过判别模型对预测装饰素材进行判别，以便基于判别结果，对素材提取模型进行训练，能够使得素材提取模型所生成的面容装饰素材无法被判别模型识别出来，以提升面部装饰素材的真实性和准确性，进而保证素材提取模型的准确性。

其中，判别结果能够以任意的形式表示，例如，判别结果以概率的形式表示。

在一些实施例中，对素材提取模型进行训练的过程包括：基于判别结果，确定第四损失值，基于第一损失值及第四损失值，对素材提取模型进行训练。

在本公开实施例中，能够采取GAN(Generative Adversarial Network，生成对抗网络)损失的方式，确定第四损失值，以便对素材提取模型进行训练，以提升素材提取模型的准确性。

在一些实施例中，采取对素材提取模型及判别模型进行对抗训练的方式，不仅对素材提取模型进行训练，还会对判别模型进行训练。例如，在迭代训练素材提取模型的过程中，对于每次迭代素材提取模型的过程：基于判别模型，对当前的预测装饰素材进行判别，得到当前的判别结果；基于当前的预测装饰素材、当前的样本装饰素材及当前的判别结果，对素材提取模型进行训练；在任一次迭代过程中，当前的判别结果指示当前的预测装饰素材为素材提取模型生成的可能性大于第一阈值的情况下，停止训练素材提取模型，而是对判别模型进行迭代训练。对判别模型的迭代过程：按照上述步骤S501-S504，获取样本装饰素材及预测装饰素材，基于判别模型，分别对样本装饰素材及预测装饰素材进行判别，得到第一判别结果及第二判别结果，第一判别结果指示样本装饰素材为素材提取模型生成的可能性，第二判别结果指示预测装饰素材为素材提取模型生成的可能性，基于第一判别结果及第二判别结果，对判别模型进行训练。在任一次迭代过程中，当前的第一判别结果指示当前的样本装饰素材为素材提取模型生成的可能性小于第二阈值、且当前的第二判别结果指示当前的预测装饰素材为素材提取模型生成的可能性大于第三阈值的情况下，停止训练判别模型，而是对素材提取模型进行迭代训练。重复上述完成，实现对素材提取模型及判别模型进行对抗训练。

需要说明的是，上述仅是以多种方式中的任一种对素材提取模型进行训练为例进行训练，而在另一实施例中，能够将上述多种方式进行结合，在一些实施例中，对第一损失值、第二损失值、第三损失值及第四损失值进行加权融合，得到融合后的损失值，基于融合后的损失值，对素材提取模型进行训练，则融合后的损失值，满足以下关系：

Loss＝w1*L1_loss+w2*Vgg_loss+w3*GAN_loss+w4*Makeup_loss

Makeup_loss＝L1_loss+Histogram_loss

其中，Loss用于表示融合后的损失值，L1_loss用于表示第一损失值，Histogram_loss用于表示第二损失值，Vgg_loss用于表示第三损失值，GAN_loss用于表示第四损失值，Makeup_loss用于表示Makeup(化妆)损失，w1用于表示第一损失值的权重，w2用于表示第三损失值的权重，w3用于表示第四损失值的权重，w4用于表示Makeup损失的权重。

在上述图5所示的实施例中基础上，按照上述图3所示的实施例，在获取第一样本特征及第二样本特征时，还会结合第一样本图像对应的位置信息和关键点信息、第二样本图像对应的位置信息和关键点信息，以便能够约束素材提取模型所提取到的预测装饰素材对应的部位，以保证后续素材提取模型得到的面部装饰素材真实自然。

例如，第一样本图像对应的位置信息和第二样本图像对应的位置信息分别指示了对应的面部中眼部、腮部、唇部，以便对眼部、腮部、唇部的妆容进行约束，以使素材提取模型提取到的面部装饰素材是由这些部位的装饰素材构成，以保证后续素材提取模型得到的面部装饰素材真实自然。

例如，按照上述图5所示的实施例，采取有监督的方式，对素材提取模型进行训练，素材提取模型的结构如图6所示。在训练得到素材提取模型后，能够利用素材提取模型来生成面部装饰素材。以参考面部图像为包括任意的无妆面部的无妆原始图像、以面部装饰图像为带妆引导图为例，将无妆原始图像、第一位置信息及第一关键点信息输入素材提取模型，通过素材提取模型中的编码层，对无妆原始图像、第一位置信息及第一关键点信息进行特征提取，得到第一尺度的第一特征及第二尺度的第一特征；将带妆引导图、第二位置信息及第二关键点信息输入素材提取模型，通过素材提取模型中的编码层，对带妆引导图、第二位置信息及第二关键点信息进行特征提取，得到第一尺度的第二特征及第二尺度的第二特征；通过素材提取模型中的注意力层，基于第一尺度的第一特征与第一尺度的第二特征之间的相似度与第一尺度的第二特征进行融合，得到第一尺度的第二融合特征；通过素材提取模型中的注意力层，基于第二尺度的第一特征与第二尺度的第二特征之间的相似度与第二尺度的第二特征进行融合，得到第二尺度的第二融合特征；通过素材提取模型中的第一融合层，对第一尺度的第一特征及第一尺度的第二融合特征进行融合，得到第一尺度的第三融合特征；通过素材提取模型中的第二融合层，对第二尺度的第一特征及第二尺度的第二融合特征进行融合，得到第二尺度的第三融合特征；通过素材提取模型中的第三融合层，对将所述多个尺度的第三融合特征进行融合，得到第一融合特征；通过素材提取模型中的解码层，对第一融合特征进行解码，得到面部装饰素材。

在本公开实施例中，面部装饰素材能够应用到任意的场景下，例如，按照上述方式获取多个面部装饰素材，将面部装饰素材存储至服务器中，该服务器用于为目标应用提供服务，任一终端能够通过目标应用对面部进行拍摄，得到并显示面部图像；或者，通过目标应用访问本地存储的面部图像，显示出访问的面部图像；终端响应于对现实的面部图像的素材添加指令，通过目标应用，显示服务器提供的多个面部装饰素材，终端响应于对任一面部装饰素材的触发操作，将面部图像与该面部装饰素材进行融合，并通过应用显示出融合后的面部图像。之后，用户通过终端还能够切换选择的面部装饰素材，以便将面部图像与其他的面部装饰素材进行融合，进而更新所显示的面部图像；或者，用户通过终端对融合后的面部图像执行存储操作，终端存储融合后的面部图像。其中，将面部图像与面部装饰素材进行融合的过程，能够由终端执行或者由服务器执行。在此过程由服务器执行的情况下，终端响应于对任一面部装饰素材的触发操作，向服务器发送融合请求，融合请求携带面部图像及面部装饰素材的标识，服务器响应于融合请求，将面部图像与该面部装饰素材进行融合，向终端发送融合后的面部图像；终端通过应用接收并显示出融合后的面部图像。

本公开实施例提供的方案中，提出一种高效简洁的素材生成方案，导入一张包括面部装饰素材的面部装饰图像及一张未包括面部装饰素材的参考面部图像，即可自动生成该面部装饰图像风格的面部装饰素材，降低了生成面部装饰素材所耗费的人工，大减少了计算量。并且，素材提取模型能够离线运行，不占用用户移动端任何资源。并且，能够引入面部图像对应的位置信息，以便按照位置信息指示的部位来生成面部装饰素材，以丰富生成面部装饰素材的灵活性，也能够保证面部装饰素材真实自然，进而保证面部装饰素材的显示效果。

需要说明的是，上述多个实施例能够采取任意结合形成本公开的实施例，在此不再一一赘述。

图7是根据一示例性实施例示出的一种素材获取装置框图。如图7所示，该装置包括：

获取单元701，被配置为执行获取参考面部图像及面部装饰图像，面部装饰图像包括面部装饰素材，参考面部图像未包括面部装饰素材；

提取单元702，被配置为执行分别对参考面部图像及面部装饰图像进行特征提取，得到第一特征及第二特征，第一特征用于表示参考面部图像，第二特征用于表示面部装饰图像；

融合单元703，被配置为执行基于第一特征与第二特征之间的相似度，对第一特征及第二特征进行加权融合，得到第一融合特征；

解码单元704，被配置为执行对第一融合特征进行解码，得到面部装饰素材。

在一些实施例中，融合单元703，被配置为执行将相似度与第二特征进行融合，得到第二融合特征；将第二融合特征与第一特征进行融合，得到第一融合特征。

在一些实施例中，提取单元702，被配置为执行分别对参考面部图像及面部装饰图像进行特征提取，得到多个尺度的第一特征及多个尺度的第二特征；

融合单元703，被配置为执行对于同一尺度，基于尺度的第一特征与尺度的第二特征之间的相似度，对尺度的第一特征与尺度的第二特征进行加权融合，得到尺度的第三融合特征；将多个尺度的第三融合特征进行融合，得到第一融合特征。

在一些实施例中，获取单元701，还被配置为执行获取第一位置信息及第二位置信息，第一位置信息指示参考面部图像中面部的至少一个部位的位置，第二位置信息指示面部装饰图像中面部的至少一个部位的位置；

提取单元702，被配置为执行对参考面部图像及第一位置信息进行特征提取，得到第一特征；对面部装饰图像及第二位置信息进行特征提取，得到第二特征。

在一些实施例中，第一位置信息与第二位置信息所指示的部位相同，面部装饰素材对应的部位与第二位置信息所指示部位的相同。

在一些实施例中，获取单元701，还被配置为执行获取第一关键点信息及第二关键点信息，第一关键点信息指示参考面部图像中的面部关键点的位置，第二关键点信息指示面部装饰图像中的面部关键点的位置；

提取单元702，被配置为执行对参考面部图像及第一关键点信息进行特征提取，得到第一特征；对面部装饰图像及第二关键点信息进行特征提取，得到第二特征。

在一些实施例中，面部装饰素材包括色彩图像及透明度。

需要说明的是，上述实施例提供的装置，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将电子设备的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。另外，上述实施例提供的素材获取装置与素材获取方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图8是根据一示例性实施例示出的一种模型训练装置框图。如图8所示，该装置包括：

获取单元801，被配置为执行获取第一样本图像、第二样本图像及样本装饰素材，第二样本图像包括面部装饰素材，第一样本图像未包括面部装饰素材，样本装饰素材为第二样本图像中的面部装饰素材；

提取单元802，被配置为执行通过素材提取模型，分别对第一样本图像及第二样本图像进行特征提取，得到第一样本特征及第二样本特征，第一样本特征用于表示第一样本图像，第二样本特征用于表示第二样本图像；

融合单元803，被配置为执行通过素材提取模型，基于第一样本特征与第二样本特征之间的相似度，对第一样本特征及第二样本特征进行加权融合，得到样本融合特征；

解码单元804，被配置为执行通过素材提取模型，对样本融合特征进行解码，得到预测装饰素材；

训练单元805，被配置为执行基于预测装饰素材及样本装饰素材，对素材提取模型进行训练。

在一些实施例中，训练单元805，被配置为执行基于预测装饰素材及样本装饰素材，确定损失值，损失值指示预测装饰素材与样本装饰素材之间的色彩差异；基于损失值，对素材提取模型进行训练。

在一些实施例中，训练单元805，被配置为执行基于预测装饰素材与样本装饰素材之间的相似度，对素材提取模型进行训练。

在一些实施例中，训练单元805，被配置为执行基于判别模型，对预测装饰素材进行判别，得到判别结果，判别结果指示预测装饰素材为素材提取模型生成的可能性；基于预测装饰素材、样本装饰素材及判别结果，对素材提取模型进行训练。

需要说明的是，上述实施例提供的装置，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将电子设备的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。另外，上述实施例提供的模型训练装置与模型训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供了一种电子设备，电子设备包括：一个或多个处理器；用于存储处理器可执行程序代码的存储器；其中，处理器被配置为执行程序代码，以实现上述实施例提供的素材获取方法或模型训练方法。

在一些实施例中，电子设备被提供为终端。图9是根据一示例性实施例示出的一种终端900的框图。该终端图9示出了本公开一个示例性实施例提供的终端900的结构框图。通常，终端900包括有：处理器901和存储器902。

处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器901所执行以实现本公开中方法实施例提供的素材获取方法或模型训练方法。

在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、显示屏905、摄像头组件906、音频电路907和电源909中的至少一种。

外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。

显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。

电源908用于为终端900中的各个组件进行供电。电源908可以是交流电、直流电、一次性电池或可充电电池。当电源908包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

本领域技术人员可以理解，图9中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在一些实施例中，电子设备被提供为服务器。图10是根据一示例性实施例示出的一种服务器1000的框图，该服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Units，CPU)1001和一个或一个以上的存储器1002，其中，该存储器1002中存储有至少一条程序代码，该至少一条程序代码由该处理器1001加载并执行以实现上述各个方法实施例提供的素材获取方法或模型训练方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器1000还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器或者存储器，上述指令可由终端的处理器或者服务器的处理器执行以完成上述方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述素材获取方法或模型训练方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种素材获取方法，其特征在于，所述方法包括：

获取参考面部图像及面部装饰图像，所述面部装饰图像包括面部装饰素材，所述参考面部图像未包括所述面部装饰素材；

分别对所述参考面部图像及所述面部装饰图像进行特征提取，得到第一特征及第二特征，所述第一特征用于表示所述参考面部图像，所述第二特征用于表示所述面部装饰图像；

基于所述第一特征与所述第二特征之间的相似度，对所述第一特征及所述第二特征进行加权融合，得到第一融合特征；

对所述第一融合特征进行解码，得到所述面部装饰素材。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一特征与所述第二特征之间的相似度，对所述第一特征及所述第二特征进行加权融合，得到第一融合特征，包括：

将所述相似度与所述第二特征进行融合，得到第二融合特征；

将所述第二融合特征与所述第一特征进行融合，得到所述第一融合特征。

3.根据权利要求1所述的方法，其特征在于，所述分别对所述参考面部图像及所述面部装饰图像进行特征提取，得到第一特征及第二特征，包括：

分别对所述参考面部图像及所述面部装饰图像进行特征提取，得到多个尺度的第一特征及所述多个尺度的第二特征；

所述基于所述第一特征与所述第二特征之间的相似度，对所述第一特征及所述第二特征进行加权融合，得到第一融合特征，包括：

对于同一尺度，基于所述尺度的第一特征与所述尺度的第二特征之间的相似度，对所述尺度的第一特征与所述尺度的第二特征进行加权融合，得到所述尺度的第三融合特征；

将所述多个尺度的第三融合特征进行融合，得到所述第一融合特征。

4.根据权利要求1所述的方法，其特征在于，所述分别对所述参考面部图像及所述面部装饰图像进行特征提取，得到第一特征及第二特征之前，所述方法还包括：

获取第一位置信息及第二位置信息，所述第一位置信息指示所述参考面部图像中面部的至少一个部位的位置，所述第二位置信息指示所述面部装饰图像中面部的至少一个部位的位置；

所述分别对所述参考面部图像及所述面部装饰图像进行特征提取，得到第一特征及第二特征，包括：

对所述参考面部图像及所述第一位置信息进行特征提取，得到所述第一特征；

对所述面部装饰图像及所述第二位置信息进行特征提取，得到所述第二特征。

5.根据权利要求4所述的方法，其特征在于，所述第一位置信息与所述第二位置信息所指示的部位相同，所述面部装饰素材对应的部位与所述第二位置信息所指示部位的相同。

6.根据权利要求1所述的方法，其特征在于，所述分别对所述参考面部图像及所述面部装饰图像进行特征提取，得到第一特征及第二特征之前，所述方法还包括：

获取第一关键点信息及第二关键点信息，所述第一关键点信息指示所述参考面部图像中的面部关键点的位置，所述第二关键点信息指示所述面部装饰图像中的面部关键点的位置；

所述分别对所述参考面部图像及所述面部装饰图像进行特征提取，得到第一特征及第二特征，包括：

对所述参考面部图像及所述第一关键点信息进行特征提取，得到所述第一特征；

对所述面部装饰图像及所述第二关键点信息进行特征提取，得到所述第二特征。

7.根据权利要求1所述的方法，其特征在于，所述面部装饰素材包括色彩图像及透明度。

8.一种模型训练方法，其特征在于，所述方法包括：

获取第一样本图像、第二样本图像及样本装饰素材，所述第二样本图像包括面部装饰素材，所述第一样本图像未包括所述面部装饰素材，所述样本装饰素材为所述第二样本图像中的所述面部装饰素材；

通过素材提取模型，分别对所述第一样本图像及所述第二样本图像进行特征提取，得到第一样本特征及第二样本特征，所述第一样本特征用于表示所述第一样本图像，所述第二样本特征用于表示所述第二样本图像；

通过所述素材提取模型，基于所述第一样本特征与所述第二样本特征之间的相似度，对所述第一样本特征及所述第二样本特征进行加权融合，得到样本融合特征；

通过所述素材提取模型，对所述样本融合特征进行解码，得到预测装饰素材；

基于预测装饰素材及样本装饰素材，对所述素材提取模型进行训练。

9.根据权利要求8所述的方法，其特征在于，所述基于预测装饰素材及样本装饰素材，对所述素材提取模型进行训练，包括：

基于所述预测装饰素材及所述样本装饰素材，确定损失值，所述损失值指示所述预测装饰素材与所述样本装饰素材之间的色彩差异；

基于所述损失值，对所述素材提取模型进行训练。

10.根据权利要求8所述的方法，其特征在于，所述基于预测装饰素材及样本装饰素材，对所述素材提取模型进行训练，包括：

基于所述预测装饰素材与所述样本装饰素材之间的相似度，对所述素材提取模型进行训练。

11.根据权利要求8所述的方法，其特征在于，所述基于预测装饰素材及样本装饰素材，对所述素材提取模型进行训练，包括：

基于判别模型，对所述预测装饰素材进行判别，得到判别结果，所述判别结果指示所述预测装饰素材为所述素材提取模型生成的可能性；

基于所述预测装饰素材、所述样本装饰素材及所述判别结果，对所述素材提取模型进行训练。

12.一种素材获取装置，其特征在于，所述装置包括：

获取单元，被配置为执行获取参考面部图像及面部装饰图像，所述面部装饰图像包括面部装饰素材，所述参考面部图像未包括所述面部装饰素材；

提取单元，被配置为执行分别对所述参考面部图像及所述面部装饰图像进行特征提取，得到第一特征及第二特征，所述第一特征用于表示所述参考面部图像，所述第二特征用于表示所述面部装饰图像；

融合单元，被配置为执行基于所述第一特征与所述第二特征之间的相似度，对所述第一特征及所述第二特征进行加权融合，得到第一融合特征；

解码单元，被配置为执行对所述第一融合特征进行解码，得到所述面部装饰素材。

13.一种模型训练装置，其特征在于，所述装置包括：

获取单元，被配置为执行获取第一样本图像、第二样本图像及样本装饰素材，所述第二样本图像包括面部装饰素材，所述第一样本图像未包括所述面部装饰素材，所述样本装饰素材为所述第二样本图像中的所述面部装饰素材；

提取单元，被配置为执行通过素材提取模型，分别对所述第一样本图像及所述第二样本图像进行特征提取，得到第一样本特征及第二样本特征，所述第一样本特征用于表示所述第一样本图像，所述第二样本特征用于表示所述第二样本图像；

融合单元，被配置为执行通过所述素材提取模型，基于所述第一样本特征与所述第二样本特征之间的相似度，对所述第一样本特征及所述第二样本特征进行加权融合，得到样本融合特征；

解码单元，被配置为执行通过所述素材提取模型，对所述样本融合特征进行解码，得到预测装饰素材；

训练单元，被配置为执行基于预测装饰素材及样本装饰素材，对所述素材提取模型进行训练。

14.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

用于存储所述处理器可执行程序代码的存储器；

其中，所述处理器被配置为执行所述程序代码，以实现如权利要求1至7任一项所述的素材获取方法；或者，如权利要求8至11任一项所述的模型训练方法。

15.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7任一项所述的素材获取方法；或者，如权利要求8至11任一项所述的模型训练方法。

16.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的素材获取方法；或者，如权利要求8至11任一项所述的模型训练方法。