CN118396857A - 一种图像处理方法及电子设备 - Google Patents

Abstract

本申请提供一种图像处理方法及电子设备，所述方法包括：获取第一图像，所述第一图像包含肖像图像；获取与第一图像匹配的优质图像，所述优质图像与所述第一图像来源于相同人物，所述优质图像的图像质量优于所述第一图像的图像质量；利用所述优质图像对所述第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，得到与所述第一图像对应的第二图像，且所述第二图像的图像质量优于所述第一图像。由此，本申请提供的方法可以基于同一人物的历史先验信息中的优质图像对第一图像中的肖像整体和/或局部图像进行增强处理，提升当前人物图像的人脸细节、质感以及纹理，以及改善处理后的人物图像中人物的特点包含与当前人物的特点不符的问题。

Description

一种图像处理方法及电子设备

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法及电子设备。

背景技术

随着计算机视觉(computer vision，CV)技术的快速发展和芯片算力的大幅提升，图像处理技术的得到普遍应用，极大地提升了图像质量。

目前大部分应用于人物图像的图像处理技术，使用由大量非特定人像的照片训练得到的图像处理模型对当前人物图像进行增强处理，处理后的人物图像中人物的特点可能会包含不属于当前人物的特点，例如，增加了并不属于当前人像的深邃的眼窝、高挺的鼻子山根等。

因此，如何提供一种图像处理方法改善图像处理效果，成为了技术领域内重要的研究课题。

发明内容

本发明提供一种图像处理方法及电子设备，基于当前被摄人物的历史先验数据中的优质图像对当前待增强人物图像进行增强处理，改善处理后的人物图像中人物的特点包含与当前人物的特点不符的问题。

第一方面，本申请提供一种图像处理方法，所述方法包括：获取第一图像，所述第一图像包含肖像图像；获取与所述第一图像匹配的优质图像，所述优质图像来源于目标人物且所述第一图像中包含所述目标人物的肖像图像，所述优质图像的图像质量优于所述第一图像的图像质量；利用所述优质图像对所述第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，得到与所述第一图像对应的第二图像，且所述第二图像的图像质量优于所述第一图像。

示例性的，所述优质图像的图像质量优于所述第一图像的图像质量包括：所述优质图像的面部特征优于所述第一图像的面部图像，和/或，所述优质图像的五官特征优于所述第一图像的五官特征。例如，该优质图像的整体图像或局部图像的画质较清晰、面部区域或五官区域清晰可见。

示例性的，该优质图像可以为与第一图像的人脸聚类标签一致的全部人物图像中图像综合质量最高的人物图像。

在本申请中，优质图像是指电子设备对应的图像数据库中存储的历史图像，该历史图像为在获取到上述第一图像之前获取到的图像。

上述优质图像与上述第一图像来源于相同人物(例如均来源于上述目标人物)，例如该优质图像的人脸聚类标签与第一图像中对应的肖像的人脸聚类标签相同。

在一种可能的实现方式中，上述优质图像为未进行过图像增强处理的历史图像。

例如，优质图像包括优质肖像，对第一图像中的肖像整体图像进行图像增强处理可以包括但不限于：利用优质肖像对第一图像的肖像图像进行增强处理。其中，第一图像的肖像图像可以基于人脸抠图技术获得。

例如，优质图像包括优质肖像和优质五官图像，对第一图像中的肖像整体图像和肖像局部图像进行图像增强处理可以包括但不限于：利用优质肖像对第一图像的肖像的整体图像进行增强处理，以及利用优质五官图像对增强后的肖像的五官图像进行单独增强处理。

例如，优质图像包括优质面部图像和优质五官图像。对第一图像中的肖像局部图像进行图像增强处理可以包括但不限于：对第一图像中的面部图像进行增强处理，具体可以为利用优质面部对第一图像的面部皮肤进行增强处理，以及对第一图像中的五官图像进行增强处理。其中，第一图像的面部图像、五官图像可以基于人脸解析技术获得。

在另外一些可能的实现方式中，对第一图像中的肖像整体图像和/或肖像局部图像进行图像增强处理还可以包括但不限于：对第一图像中的头发或脖子区域对应的图像进行图像增强处理。

示例性的，可以基于机器学习方法利用上述优质图像对第一图像中的肖像整体图像和/或肖像局部图像进行图像增强处理，机器学习方法可以是构建深度学习网络训练得到模型的方法以及区别于深度学习的传统方法。具体可以是，通过大量特定人物图像数据对(优质图像数据-待增强图像数据)训练深度网络得到深度模型，训练数据可以是整张肖像对、面部皮肤对、五官区域对，该网络可以共同实现利用优质肖像图像对待增强肖像图像增强、利用优质面部皮肤图像对待增强皮肤图像进行增强、利用优质五官图像对带增强五官图像进行增强处理；也可以训练三个模型分别对肖像图像、面部图像、五官图像进行增强处理；也可以利用传统方法，对优质图像和待增强图形进行图像特征融合，图像特征可以是图像的纹理信息、图像的清晰度、图像的色彩信息，传统方法包括传统的图像融合方法泊松融合法、拉普拉斯融合法、局域均值的图像融合方法等。通过深度模型或者传统的方法均可以增强第一图像的面部纹理信息、五官细节以及整体图像的画质清晰度。

可理解的，若采用由大量非特定人像的照片训练得到的图像处理模型对当前人物图像进行增强处理，处理后的人物图像中人物的特点可能会包含不属于当前人物的特点，例如增加了并不属于当前人像的深邃的眼窝、高挺的鼻子山根等，又例如包含不属于当前人物的皮肤纹理，使得处理后的人物图像的肤质与被摄人物的肤质存在较大差异的问题等。

然而采用本申请实施例提供的图像处理方法，一方面，上述优质图像的肖像和第一图像中的肖像是相同人物，且优质图像的肖像全局和/或局部清晰度和皮肤纹理细节的细腻度优于第一图像，采用该优质图像对第一图像的肖像整体图像和/或肖像局部图像进行图像增强，可以增强第一图像的面部纹理信息，增强第一图像的五官细节信息、整体图像的画质清晰度，而不会引入不是该人物的特征。例如基于该优质图像对第一图像的肖像整体图像和/或肖像局部图像进行增强处理包括但不限于：面部纹理细节的增强、嘴唇纹理细节的增强、眉毛对比度的增强(以使得增强眉毛区域的毛流感细节)、鼻子区域色彩对比度的增强(以使得提高鼻子区域对应图像的几何立体度)、耳朵清晰的增强、眼神光的光斑轮廓清晰度和光斑亮度的增强、眼睛虹膜色彩信息和虹膜纹理的增强。并且该面部纹理细节、五官细节基于相同的被摄对象的优质图像增强实现的，从而增强得到的上述第一增强图像和第二图像不会存在处理后的人物图像中人物的特点包含不属于当前人物的特点的问题。另外一方面，在丰富第一图像的纹理细节的同时，以好的面部纹理细节和五官细节解决肖像的整体图像清晰度、人像噪声、纹理细节缺失或涂抹等的问题。

采用本申请提供的方法可以解决在一些场景下，例如包括但不限于暗光场景、欠曝或过曝场景、拍照抖动场景下拍摄得到的人物图像的图像模糊、噪点多、纹理细节缺失或涂抹、光照不足、光照过亮的问题，以及在增强图像质量的同时改善处理后的人物图像中人物的特点包含不属于当前人物的特点的问题。

在一种可能的实现方式中，所述优质图像的图像质量优于所述第一图像的图像质量包括：所述优质图像的全局或局部清晰度、人脸皮肤纹理、以及五官细节优于所述第一图像，所述五官细节包括以下一项或一项以上：五官立体感、嘴唇纹理、眼神光的光斑清晰度、眼睛睁开程度、嘴巴张开程度；所述第二图像的图像质量优于所述第一图像包括：所述第二图像的画质清晰度、面部清晰度、五官清晰度、人脸皮肤纹理、五官立体感、嘴唇纹理、眉毛区域的对比度反映的毛流感、眼睛区域中包含的眼神光的光斑轮廓清晰度、眼神光的光斑亮度、虹膜区域的纹理、虹膜区域的色彩中的一项或一项以上优于所述第一图像。

在一种可能的实现方式中，所述利用所述优质图像对所述第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，得到与所述第一图像对应的第二图像，包括：将所述优质图像和所述第一图像输入图像增强模型，通过所述图像增强模型利用所述优质图像对所述第一图像的肖像整体图像和/或肖像局部图像进行增强处理，得到所述第二图像，所述图像增强模型基于机器学习中的有监督学习方法或无监督学习方法训练得到。

在一种可能的实现方式中，所述优质图像至少包含面部图像和五官图像，所述优质图像为一张图像中的肖像整体图像，所述肖像整体图像包含面部图像和五官图像；或者，所述优质图像为人脸不同部位对应的局部图像的图像集合、且所述优质图像中的每个五官区域来源于同一张图像或来源于不同图像；所述利用所述优质图像对所述第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，包括：基于所述优质图像中的面部图像对所述第一图像中的面部图像的面部纹理进行增强处理，和/或，基于所述优质图像中的五官图像对所述第一图像中对应的五官图像进行增强处理。

示例性的，上述优质图像中的面部图像的图像质量优于第一图像的面部图像的图像质量，上述优质图像中的五官图像的图像质量优于第一图像的面部图像的图像质量。例如优质图像的面部图像的清晰度、人脸皮肤纹理优于第一图像的面部图像，具体的优质图像的面部图像的皮肤纹理细腻度和质感优于第一图像的面部图像。优质图像中的五官图像的五官立体感、嘴唇纹理细节、眼神光的光斑清晰度、眼睛睁开程度、嘴巴张开程度优于第一图像的五官图像。

在一种可能的实现方式中，所述基于所述优质图像中的五官图像对所述第一图像中对应的五官图像进行增强处理包括以下至少一项：基于所述优质图像中的嘴巴图像对所述第一图像的嘴巴图像中的嘴唇纹理和色彩进行增强处理；在所述第一图像的眼睛图像中包含眼神光的情况下，对所述眼神光的光斑轮廓清晰度和/或眼神光的光斑亮度进行增强处理；基于第一参考虹膜图像对所述第一图像的眼睛部位的虹膜进行虹膜纹理和虹膜色彩的增强处理，所述第一参考虹膜图像与目标虹膜图像的相似度满足预设虹膜相似度条件，所述目标虹膜图像为所述第一图像中的虹膜图像，所述第一参考虹膜图像的色彩和纹理优于所述目标虹膜图像。

在一种可能的实现方式中，上述目标虹膜图像也可以为利用优质肖像对第一图像进行图像增强后的到的第一增强肖像中的虹膜图像。

在一种可能的实现方式中，所述基于所述优质图像中的五官图像对所述第一图像中对应的五官图像进行增强处理还包括以下至少一项：基于所述优质图像中的眼睛图像对所述第一图像的眼睛图像的进行清晰度增强处理；基于所述优质图像中的鼻子图像对所述第一图像的鼻子图像的清晰度和立体度进行增强处理；基于所述优质图像中的眉毛图像对所述第一图像的眉毛图像的清晰度和毛流感进行增强处理；基于所述优质图像中的耳朵图像对所述第一图像的耳朵图像的清晰度进行增强处理。

在本申请实施例中，分别利用优质五官图像中的五官特征对第一图像的肖像图像中的不同五官图像进行五官增强，可以考量到脸部不同区域的细节特征的差异，增强后得到的图像真实感更好。

示例性的，所述优质图像为属于肖像整体图像的优质肖像，所述优质肖像的图像质量优于所述第一图像的肖像图像的图像质量，所述利用所述优质图像对所述第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，得到与所述第一图像对应的第二图像，包括：利用所述优质肖像对所述第一图像的肖像图像的整体图像进行图像增强处理，得到所述第二图像。或者也可以理解为，所述基于所述优质图像中的面部图像对所述第一图像中的面部图像的面部纹理进行增强处理，和/或，基于所述优质图像中的五官图像对所述第一图像中对应的五官图像进行增强处理，具体包括：利用所述优质肖像对所述第一图像的肖像图像的整体图像进行图像增强处理，得到所述第二图像。

在一种可能的实现方式中，所述优质图像包含肖像整体图像的优质肖像，则相应地，该优质肖像对应的肖像清晰度优于待增强肖像的肖像清晰度，以及该优质肖像的面部图像纹理、清晰度和/或五官图像色彩及清晰度优于待增强肖像中对应区域的清晰度，该优质肖像的对应的整体图像包含该优质肖像和该优质肖像对应的背景图像，该待增强肖像的整体图像包含该待增强肖像和上述原始背景图像。

在一种可能的实现方式中，所述优质图像包含肖像整体图像的优质肖像，所述优质图像的图像质量优于所述第一图像的图像质量包括：所述优质肖像的画质清晰度、面部清晰度、五官清晰度、人脸皮肤纹理、五官立体感、以及嘴唇纹理优于所述第一图像的肖像图像。

在一种可能的实现方式中，所述利用所述优质肖像对所述第一图像的肖像图像的整体图像进行图像增强处理，得到所述第二图像，包括：将所述优质肖像和所述第一图像的肖像图像输入肖像增强模型，通过所述肖像增强模型基于所述优质肖像对所述第一图像的肖像图像进行肖像增强，得到所述第二图像；所述肖像增强模型采用有监督学习方法或无监督学习方法训练得到；其中，在采用有监督学习方法和至少两组实验数据训练得到所述肖像增强模型的情况下，每一组所述实验数据包括第一样本图像、第二样本图像、以及第三样本图像，所述第一样本图像和所述第二样本图像作为所述肖像增强模型的输入，所述第三样本图像作为第一输出图像的约束图像，所述第一输出图像为所述第一肖像增强模型中输出的与所述第一样本图像对应的增强处理后的图像，所述第一样本图像和所述第三样本图像包含相同肖像的两张不同图像质量的肖像，所述第三样本图像的图像质量优于所述第一样本图像的图像质量，所述第二样本图像包含第一参考肖像、且所述第二样本图像的图像质量优于所述第一样本图像，所述第一样本图像包含的肖像图像与所述第一参考肖像对应同一人物；或者，在采用无监督学习方法和至少两组实验数据训练得到所述肖像增强模型的情况下，每一组所述实验数据包括第四样本图像和第五样本图像，所述肖像增强模型包括生成模型和对抗模型，所述生成模型用于以所述第五样本图像作为指导图像生成与所述第四样本图像对应的增强处理后的第二输出图像，所述对抗模型为预训练好的用于评判所述第二输出图像是否符合增强效果的评判网络，所述第五样本图像包含第二参考肖像、且所述第五样本图像的图像质量优于所述第四样本图像，所述第四样本图像包含的肖像图像与所述第二参考肖像对应同一人物。

示例性的，所述无监督学习方法包括生成对抗网络GAN、流归一化网络FlowNormalization、扩散模型DiffusionModel。

在一种可能的实现方式中，所述利用所述优质肖像对所述第一图像的肖像图像的整体图像进行图像增强处理，得到所述第二图像，包括：利用所述优质肖像对所述第一图像的中的肖像图像的整体图像进行增强处理，得到第一增强肖像；以及，对所述第一增强肖像进行以下一项或一项以上增强处理得到所述第二图像：基于优质嘴唇图像对所述第一增强肖像中的嘴唇图像的色彩和纹理进行增强处理，所述优质嘴唇图像与所述第一图像来源于相同人物，所述优质嘴唇图像的图像质量优于所述第一图像的嘴唇图像的图像质量；在所述第一增强肖像中的眼睛中包含眼神光的情况下，对所述第一增强肖像的眼神光的光斑轮廓清晰度和/或眼神光的光斑亮度进行增强处理；基于优质鼻子图像对所述第一增强肖像中的鼻子图像的立体度进行增强处理，所述优质鼻子图像与所述第一图像来源于相同人物，所述优质鼻子图像的图像质量优于所述第一图像的鼻子图像的图像质量；基于优质眉毛图像对所述第一增强肖像中的眉毛图像的毛流感进行增强处理，所述优质眉毛图像与所述第一图像来源于相同人物，所述优质眉毛图像的图像质量优于所述第一图像的眉毛图像的图像质量；基于第一参考虹膜图像对所述第一增强肖像的眼睛部位的虹膜进行虹膜纹理和虹膜色彩的增强处理，所述第一参考虹膜图像与目标虹膜图像的相似度满足预设虹膜相似度条件，所述目标虹膜图像为所述第一图像中的虹膜图像或为所述第一增强肖像中的虹膜图像，所述第一参考虹膜图像的色彩和纹理优于所述目标虹膜图像；其中，所述优质嘴唇图像、所述优质鼻子图像、以及所述优质眉毛图像来源于同一张图像或不同图像。

在对待增强肖像进行肖像整体增强后，再利用对应的优质五官图像对第一增强肖像进行五官单独增强处理，可以进一步提高五官图像的图像效果。

上述基于第一参考虹膜图像对所述第一增强肖像的眼睛部位的虹膜进行虹膜纹理和虹膜色彩的增强处理具体可以是：从虹膜信息库中查找与该待增强肖像或该第一增强图像的虹膜的色彩相似度较高的上述第一参考虹膜图像，基于深度学习方法和该第一参考虹膜图像的虹膜纹理信息和色彩信息，对第一增强肖像的眼睛部位的虹膜进行虹膜纹理和虹膜色彩的增强处理。由此，在改善处理得到的人物图像的肤质与被摄人物的肤质存在较大差异的问题的同时，对眼部虹膜进行纹理细节填充，进一步改善增强后的图像(也即第二图像)在各个图像区域的清晰度的一致性，以及进一步改善增强后的图像的真实感。

在一种可能的实现方式中，所述优质图像包括优质面部图像和优质五官图像，所述优质面部图像包含人脸中的面部区域对应的局部图像，所述优质五官图像包含人脸中五官不同部位对应的局部图像，所述优质面部图像的图像质量优于所述第一图像的面部图像的图像质量，所述优质五官图像的图像质量优于所述第一图像的五官图像的图像质量，所述优质五官图像中的每个五官区域来源于同一张图像或来源于不同图像，所述利用所述优质图像对所述第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，包括：利用所述优质五官图像对所述第一图像的五官图像进行五官增强处理，以及，利用所述优质面部图像对所述第一图像的面部图像进行面部增强处理。

或者，也可以理解为，上述基于所述优质图像中的面部图像对所述第一图像中的面部图像的面部纹理进行增强处理，和/或，基于所述优质图像中的五官图像对所述第一图像中对应的五官图像进行增强处理，具体包括：利用所述优质五官图像对所述第一图像的五官图像进行五官增强处理，以及，利用所述优质面部图像对所述第一图像的面部图像进行面部增强处理。

可理解的，相比于利用优质肖像对第一图像的肖像图像进行整体增强的方案，分别利用优质面部图像对第一图像的面部图像进行增强处理以及利用优质五官图像对第一图像的五官图像进行增强处理，可以更好地考量到脸部不同区域的几何差异、细节特征差异，图像增强效果可能会更好，增强后得到的图像真实感可能会更好。

在一种可能的实现方式中，所述利用所述优质五官图像对所述第一图像的五官图像进行五官增强处理，包括：基于深度学习方法和/或传统方法利用所述优质五官图像对所述第一图像的五官图像进行五官增强处理；其中，基于深度学习方法利用所述优质五官图像对所述第一图像的五官图像进行五官增强处理包括：将所述优质五官图像和所述第一图像的五官图像输入五官增强模型，基于有监督学习方法或无监督学习方法在所述五官增强模型中利用所述优质五官图像对所述第一图像的五官图像进行五官增强处理；所述五官增强模型为集成网络，所述集成网络用于利用所述优质五官图像对所述第一图像的五官图像进行五官增强处理；或者，所述五官增强模型包括至少两个子网络，所述子网络用于利用所述优质五官图像中的子五官图像分别对所述第一图像的五官图像中对应的子五官图像进行五官增强处理，所述子五官图像包括嘴唇图像、鼻子图像、眼睛图像、眉毛图像、以及耳朵图像中的至少一项；其中，基于传统方法利用所述优质五官图像对所述第一图像的五官图像进行五官增强处理包括：提取优质五官图像中一个或一个以上五官图像体现的特征，基于提取到的特征信息进行特征拟合计算，以便于将优质五官图像中的五官局部图像的优质特征融合到第一图像的五官图像中对应的五官局部图像中。

在一种可能的实现方式中，所述优质图像包含肖像整体图像的优质肖像，在本申请实施例中，优质肖像的获取方法有以下两种，方式1：所述获取与所述第一图像匹配的优质图像包括：确定第一肖像集合，所述第一肖像集合中的每一个肖像图像与所述第一图像来源于相同人物，所述第一肖像集合中的任意一个肖像图像的画质清晰度值满足预设画质清晰度阈值，所述第一肖像集合中任意一个肖像图像的肖像综合评分结果优于所述第一图像的肖像综合评分结果；确定所述第一肖像集合中肖像综合评分结果最优的肖像图像作为所述优质肖像，所述优质肖像的肖像综合评分结果与以下一项或一项以上数据相关：所述优质肖像的面部清晰度、五官清晰度、人脸皮肤纹理、五官立体感、嘴唇纹理细节。

方式2：所述获取与所述第一图像匹配的优质图像包括：确定第一肖像集合，所述第一肖像集合中的每一个肖像图像与所述第一图像来源于相同人物，所述第一肖像集合中的任意一个肖像图像的画质清晰度值满足预设画质清晰度阈值，所述第一肖像集合中任意一个肖像图像的肖像综合评分结果大于所述第一图像的肖像综合评分结果；确定第一肖像图像，所述第一肖像图像为所述第一肖像集合中肖像综合评分结果最优的肖像图像，所述第一肖像图像的肖像综合评分结果与以下一项或一项以上数据相关：所述优质肖像的面部清晰度、五官清晰度、人脸皮肤纹理、五官立体感、嘴唇纹理细节；在确定所述第一肖像图像的头部姿态与所述第一图像的肖像图像的头部姿态的差值大于或等于第一预设差值的情况下，确定是否存在第二肖像图像，所述第二肖像图像的头部姿态与所述第一图像的肖像图像的头部姿态的差值小于第二预设差值、且所述第二肖像图像的肖像综合评分结果包含于第二肖像集合，所述第二肖像集合为所述第一评分集合中肖像综合评分结果由小到大排序的序列中排名靠前预设百分比(例如排名前10％)的评分集合，所述第二预设差值小于或等于所述第一预设差值；在确定存在所述第二肖像图像的情况下，确定第一参考图像集合中与所述第一图像的头部姿态的差值最小的肖像图像作为所述优质图像，第一参考图像集合包括至少一个所述第二肖像图像。

例如上述第一预设差值可以为10或20，上述第二预设差值可以为10或20，具体根据需求而定，本文对此不做限定。

可理解的，在选取优质肖像时，若依据肖像图像的质量评分(也即肖像综合评分结果)选取的第一肖像图像的头部姿态与第一图像的头部姿态相差较大的情况下，选取第一肖像集合中排名前预设百分比肖像图像中与第一图像的头部姿态最接近的图像，也即选取一个图像质量较优且与第一图像的头部姿态匹配度较高的图像。不仅考虑肖像图像的质量评分，还考虑历史图像的肖像图像与第一图像的头部姿态的匹配度，得到的优质肖像与第一图像的头部姿态相近，优质肖像包含更为完整的优质脸部信息，为图像增强提供保障。

在一种可能的实现方式中，所述优质肖像的画质清晰度值为目标评分区域对应的清晰度值；其中，在所述优质肖像对应的拍照模式为人像模式的情况下，所述目标评分区域为所述优质肖像中的肖像图像对应的区域，在所述优质肖像对应的拍照模式不为人像模式的情况下，所述目标评分区域为所述优质肖像对应的原始图像的全局图像区域，所述原始图像为与所述优质肖像对应的包含肖像图像和背景图像的图像。

示例性的，根据图像的拍照模式的不同(例如自动模式、人像模式、夜景模式、专业模式等)，画质清晰度的评分区域不同。例如，在进行画质清晰度评分时会读取当前照片的拍照模式，若为人像拍照模式，那么画质清晰度评分区域只对人像区域进行评价，也就是说，若优质肖像对应的整体图像的拍照模式为人像拍照模式，则该优质肖像的画质清晰度评分结果为肖像区域对应的图像的画质清晰度的评分结果(也即局部清晰度评分结果)。若不为人像拍照模式，那么评分区域为整张图像，也就是说，若优质肖像对应的整体图像的拍照模式不为人像拍照模式，优质肖像的画质清晰度评分结果为该优质肖像对应的整体图像的全局画质清晰度的评分结果。

可理解的，由于人像模式下人物图像中的背景图像默认均会有一定的模糊程度，则在计算该人物图像的模糊度时，不考虑该人物图像的背景图像的模糊度，得到的画质清晰度评分结果更具代表性。

在一种可能的实现方式中，所述第一肖像集合中的任意一个肖像图像的画质清晰度值包括N种清晰度算法对应的N个清晰度值，所述预设画质清晰度阈值包括N个清晰度阈值，所述N个清晰度阈值分别与所述N种清晰度算法对应，图像的所述N个清晰度值分别对应地满足所述N个清晰度阈值表示图像的清晰度好，所述N为大于或等于2的整数，所述第一肖像集合中的任意一个肖像图像的画质清晰度值满足预设画质清晰度阈值包括：所述第一肖像集合中的任意一个肖像图像的所述N个清晰度值分别对应地满足所述N个清晰度阈值。

示例性的，所述N种清晰度算法包括Brenner梯度函数、Laplacian梯度函数、灰度方差SMD函数、无参考图像评价指标NIQE、Brisque算法中的一项或一项以上。

可理解的，相比于仅采用一种清晰度计算方法评估图像的清晰度，采用多种清晰度计算方法评估图像的清晰度得到的评估结果更为客观，基于此，可以综合清晰度的各种不同统计方法的计算结果评估图像的清晰度，进一步提高清晰度评估结果(例如画质评分结果)的客观性。

在一种可能的实现方式中，所述优质肖像的肖像综合评分结果与所述优质肖像对应的面部评分结果和五官评分结果相关，其中，所述优质肖像对应的面部评分结果与所述优质肖像的面部皮肤纹理相关；所述五官评分结果包括所述优质肖像的眼睛区域评分结果、鼻子区域评分结果、嘴巴区域评分结果、眉毛区域评分结果、以及耳朵区域评分结果，所述眼睛区域评分结果与所述优质肖像中眼睛区域图像的清晰度以及眼睛睁开程度相关，所述鼻子区域评分结果与所述优质肖像中鼻子区域图像的清晰度和高光信息相关，所述嘴巴区域评分结果与所述优质肖像中嘴巴区域图像的清晰度和嘴巴张开程度相关，所述眉毛区域评分结果与所述优质肖像中眉毛区域图像的清晰度相关，所述耳朵区域评分结果与所述优质肖像中耳朵区域图像的清晰度相关。

由此，综合各个维度的特征选取与综合图像质量较高的该优质肖像对待增强肖像的肖像整体进行图像增强，提升当前待增强人物图像的细节、质感以及纹理，改善处理后的人物图像中人物的特点可能会包含不属于当前人物的特点的问题。

在一种可能的实现方式中，所述优质图像为属于肖像整体图像的优质肖像，所述利用所述优质图像对所述第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，包括：在所述优质肖像的头部姿态与所述第一图像的肖像图像的头部姿态的差值大于或等于第三预设差值的情况下，采用三维人脸重建或NerfGAN技术，基于所述第一图像的肖像图像的头部姿态对所述优质肖像的头部姿态进行矫正，得到第三参考肖像，所述第三参考肖像中的头部姿态与所述第一图像的肖像图像的头部姿态的差值小于第四预设差值；利用所述第三参考肖像对所述第一图像的肖像图像的整体图像进行图像增强处理。

示例性的，若基于上述方式1获取到的优质肖像的头部姿态与第一图像的头部姿态的差值大于或等于第三预设差值，则基于上述方式2获取优质肖像，若基于上述方式2无法获取到优质肖像，则采用方式1获取到的优质肖像以及三维人脸重建或NerfGAN技术，对方式1获取到的优质肖像的头部姿态进行矫正，得到上述第三参考肖像，基于上述第三参考肖像对第一图像的肖像图像进行增强处理。

例如上述第三预设差值可以为10或20，上述第四预设差值可以为10或20，具体根据需求而定，本文对此不做限定。

示例性的，采用三维人脸重建技术基于所述第一图像的肖像图像的头部姿态对所述优质肖像的头部姿态进行矫正，得到第三参考肖像，具体包括：对所述优质肖像进行三维人脸重建，得到三维人脸模型；基于所述第一图像中的肖像图像的头部姿态对所述三维人脸模型进行头部姿态矫正，获取矫正后的三维人脸模型；将所述矫正后的三维人脸模型渲染为二维图像，并将所述矫正后的三维人脸模型作为上述第三参考肖像，利用该二维图像对第一图像的肖像图像进行增强处理。

在本申请实施例中，当优质肖像的头部姿态与待增强肖像的头部姿态欧拉角的差值大于或等于预设欧拉角阈值时，对优质肖像进行三维人脸重建，可以得到该优质肖像更为完整的脸部信息，且三维人脸重建基于图像质量较好的该优质肖像包含的人脸进行三维人脸重建，得到的三维人脸模型不仅包含更为完整的脸部信息，其图像质量也较好。另外，基于所述待增强肖像的头部姿态对三维人脸模型进行头部姿态矫正，将所述矫正后的三维人脸模型渲染为二维图像，可以获取到三维人脸模型中与待增强肖像头部姿态相同或接近的人脸图像。

也就是说，在对待增强肖像进行增强处理之前，通过3D人脸建模进一步获取与待增强肖像更为匹配且图像质量较好的上述二维图像，其中该二维图像来源于与第一图像的头部姿态相同或差异较小的、图像质量完整、以及图像质量较好的头部姿态矫正后的3D人脸模型。

由此，当数据库中搜索到的比较匹配且图像质量较好的优质肖像，但其头部姿态与待增强肖像的头部姿态仍相差较大的情况下，可以基于3D人脸建模和该优质肖像获取更为完整且与待增强肖像的头部姿态更匹配的图像质量较好的上述二维图像对该待增强图像进行增强，从而基于该二维图像提取到的纹理特征所处区域与待增强肖像中的对应区域匹配，在进行特征拟合计算时所使用的特征信息的区域几何信息更为匹配，可以进一步提高图像增强效果。

在一种可能的实现方式中，所述优质图像包括优质面部图像和优质五官图像，所述优质面部图像包含人脸中的面部区域对应的局部图像，所述优质五官图像包含人脸中五官不同部位对应的局部图像，所述优质面部图像的面部纹理清晰度优于所述第一图像的面部纹理清晰度，所述优质五官图像中的五官清晰度、五官立体感、嘴唇纹理、眼神光的光斑清晰度、眼睛睁开程度、嘴巴张开程度中的一项或多项优于所述第一图像的五官图像。

在一种可能的实现方式中，所述优质图像包括优质面部图像和优质五官图像，所述优质五官图像包括第一嘴巴图像、第一眼睛图像、第一鼻子图像、第一眉毛图像、第一耳朵图像；其中，所述优质面部图像为面部图像集合中面部评分分值最优的图像，所述面部图像集合中的每一项面部图像来源于所述目标人物，所述面部图像集合中的每一项面部图像的评分结果优于所述第一图像的面部图像的评分结果，所述优质面部图像的面部评分结果与面部纹理细腻度相关；所述第一嘴巴图像为嘴巴图像集合中嘴巴评分分值最优的图像，所述嘴巴图像集合中的每一项嘴巴图像均来源于所述目标人物，所述嘴巴图像集合中的每一项嘴巴图像的评分结果优于所述第一图像的嘴巴图像的评分结果，所述第一嘴巴图像的嘴巴评分结果与嘴唇纹理以及嘴巴张开程度相关；所述第一眼睛图像为眼睛图像集合中眼睛评分分值最优的图像，所述眼睛评分集合中的每一项眼睛图像均来源于所述目标人物，所述眼睛图像集合中的每一项眼睛图像的评分结果优于所述第一图像的眼睛图像的评分结果；所述第一眼睛图像的眼睛评分结果与眼睛图像的清晰度以及眼睛睁开程度相关；所述第一鼻子图像为鼻子图像集合中鼻子评分分值最优的图像，所述鼻子图像集合中的每一项鼻子图像来源于所述目标人物，所述鼻子图像集合中的每一项鼻子图像的评分结果优于所述第一图像的鼻子图像的评分结果，所述第一鼻子图像的鼻子评分结果与鼻子图像的清晰度和高光信息相关；所述第一眉毛图像为眉毛图像集合中眉毛评分分值最优的图像，所述眉毛图像集合中的每一项眉毛图像来源于所述目标人物，所述眉毛图像集合中的每一项眉毛图像的评分结果优于所述第一图像的眉毛图像的评分结果，所述第一眉毛图像的眉毛评分结果与眉毛图像的清晰度和色彩对比度相关；所述第一耳朵图像为耳朵图像集合中耳朵评分分值最优的图像，所述耳朵图像集合中的每一项耳朵图像来源于所述目标人物，所述耳朵图像集合中的每一项耳朵图像的评分结果优于所述第一图像的耳朵图像的评分结果，所述第一耳朵图像的耳朵评分结果与耳朵图像的清晰度相关。在一种可能的实现方式中，所述嘴巴图像集合中的每一项嘴巴图像的嘴巴张开程度小于预设张开程度，所述眼睛图像集合中的每一项眼睛图像均包含眼神光(眼神光即为眼球上的白色光斑)以及眼睛睁开程度大于或等于预设睁开程度。

由此，优质面部图像和优质五官图像均包含相应的优质特征，为基于优质图像(历史先验图像)对当前第一图像进行图像增强的增强效果提供保障。

在一种可能的实现方式中，所述优质图像为属于肖像整体图像的优质肖像，所述利用所述优质图像对所述第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，得到与所述第一图像对应的第二图像，包括：利用所述优质肖像对所述第一图像的肖像图像的进行图像增强处理，得到第一增强图像，所述第一增强图像包含第一增强肖像和所述第一图像的原始背景图像，第一增强肖像的图像质量优于所述第一图像的肖像图像的图像质量；在所述第一增强肖像与所述原始背景图像之间满足色彩不均匀条件或满足光照不协调条件的情况下，利用所述第一增强肖像对所述第一图像的原始背景图像进行色彩校正，得到所述第二图像，所述第二图像中的肖像图像与背景图像之间的色差优于所述第一增强肖像与所述原始背景图像之间色差。

或者也可以理解为，所述基于所述优质图像中的面部图像对所述第一图像中的面部图像的面部纹理进行增强处理，和/或，基于所述优质图像中的五官图像对所述第一图像中对应的五官图像进行增强处理，包括：利用所述优质肖像对所述第一图像的肖像图像的进行图像增强处理，得到第一增强图像，所述第一增强图像包含第一增强肖像和所述第一图像的原始背景图像，第一增强肖像的图像质量优于所述第一图像的肖像图像的图像质量；在所述第一增强肖像与所述原始背景图像之间满足色彩不均匀条件或满足光照不协调条件的情况下，利用所述第一增强肖像对所述第一图像的原始背景图像进行色彩校正，得到所述第二图像，所述第二图像中的肖像图像与背景图像之间的色差优于所述第一增强肖像与所述原始背景图像之间色差。

可理解的，利用第一增强肖像的光照色彩信息对原始背景图像进行色彩校正，可以提高第一图像的背景图像的清晰度，以及协调处理得到的第二图像的图像整体色差，由此，进一步改善图像的光照质量、以及协调图像整体色差，使得增强得到的第二图像整体更为自然。

在一种可能的实现方式中，所述方法还包括：对所述第一增强肖像中的第一区域进行色彩校正，所述第一区域包括所述第一增强肖像中色彩不均匀的区域、光照不协调的区域、欠曝区域、过曝区域中的一项或一项以上。

由此，对第一增强肖像中色彩不均匀的区域、光照不协调的区域、欠曝区域、或过曝区域进行色彩校正，可以进一步改善增强后的图像质量，例如可以进一步改善第一增强肖像的图像区域的光照的一致性，以及进一步改善第二图像的真实感。

在一种可能的实现方式中，所述优质图像包括优质面部图像和优质五官图像，所述利用所述优质图像对所述第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，得到与所述第一图像对应的第二图像，包括：利用所述优质五官图像对所述第一图像的五官图像进行五官增强处理，得到增强后的五官图像，以及，利用所述优质面部图像对所述第一图像的面部图像进行面部增强处理，得到增强后的面部图像；基于所述增强后的五官图像、增强后的面部图像、剩余图像、以及所述原始背景图像融合得到第二增强图像，所述第二增强图像包含第二增强肖像和所述第一图像的原始背景图像，所述第二增强肖像的图像质量优于所述第一图像的肖像图像的图像质量；在所述第二增强肖像与所述原始背景图像之间满足色彩不均匀条件或满足光照不协调条件的情况下，利用所述第一增强肖像对所述第一图像的原始背景图像进行色彩校正，得到所述第二图像，所述第二图像中的肖像图像与背景图像之间的色差优于所述第一增强肖像与所述原始背景图像之间的色差。

上述基于所述增强后的五官图像、增强后的面部图像、剩余图像、以及所述原始背景图像融合得到第二增强图像，具体可以包括：对增强后的五官图像、增强后的面部图像、剩余图像进行拼图处理，以及对图像拼图产生的边缘进行平滑处理，得到第一增强肖像；对第一增强肖像和第一图像的原始背景图像进行拼图处理以及对图像拼图产生的边缘进行平滑处理，得到上述第二增强图像；上述利用所述第一增强肖像对所述第一图像的原始背景图像进行色彩校正，得到所述第二图像具体可以包括：基于色彩迁移技术和该第一增强肖像的色彩信息，对原始背景图像对应区域的色彩信息进行色彩校正，得到所述第二图像。由此，进一步改善图像的光照质量、以及协调图像整体色差，使得增强得到的第二图像整体更为自然。

可理解的，利用第二增强肖像的光照色彩信息对原始背景图像进行色彩校正，可以提高第一图像的背景图像的清晰度，以及协调处理得到的第二图像的图像整体色差，使得增强得到的第二图像整体更为自然。

在一种可能的实现方式中，所述方法还包括：对所述第二增强肖像中的第二区域进行色彩校正，所述第二区域包括所述第二增强肖像中色彩不均匀的区域、光照不协调的区域、欠曝区域、过曝区域中的一项或一项以上。

可理解的，第一增强肖像的五官图像基于优质五官图像增强得到，该优质五官图像中的每个五官区域图像可能来源于同一人物的多种不同图像，也就是说优质五官图像中的每个单独的五官区域图像之间的光照、色彩、曝光信息会有所差异，则增强后的各个五官图像之间也可能会存在明显的光照不均匀、色彩不均匀或过曝欠曝问题，基于此，在得到上述增强肖像A后，再对增强肖像A中的色彩不均匀的区域、光照不协调的区域、欠曝区域、过曝区域进行色彩校正，改善增强后的各个五官图像之间也可能会存在明显的光照不均匀、色彩不均匀、过曝、或欠曝的问题。

在一种可能的实现方式中，所述获取与所述第一图像匹配的优质图像包括：在所述电子设备的设备状态满足预设设备状态的情况下，获取所述优质图像，所述预设设备状态包括所述电子设备的当前电量大于或等于预设电量阈值，或者，所述预设设备状态包括所述电子设备的当前电量大于或等于预设电量阈值且所述电子设备处于充电灭屏状态；或者，在所述电子设备接收到目标处理请求的情况下，获取所述优质图像，所述目标处理请求用于表示用户主动请求对所述第一图像进行图像处理。

在本申请实施例中，若用户主动请求对第一图像进行图像处理，则立即获取优质图像第一图像进行增强处理，优先满足用户需求。若用户未主动请求对第一图像进行图像处理，则电子设备可以在设备满足当前电量大于或等于预设电量阈值，或者，当前电量大于或等于预设电量阈值且设备处于充电灭屏状态的情况下，获取优质图像对第一图像进行图像增强，改善图像增强对设备的电能损耗问题，由此，在满足用户需求的同时改善电能损耗问题。

在一种可能的实现方式中，所述获取第一图像包括：基于相机应用拍摄获取所述第一图像；所述在所述电子设备的设备状态满足预设设备状态的情况下，获取所述优质图像，包括：在所述电子设备的当前电量大于或等于预设电量阈值的情况下，获取所述优质图像；或者，在所述电子设备的当前电量小于预设电量阈值的情况下，存储所述第一图像，并在所述电子设备再次满足当前电量大于或等于所述预设电量阈值且处于充电灭屏状态的条件后，或在所述电子设备接收到用户主动触发的关于所述第一图像的图像处理请求后，获取所述优质图像。

示例性的，若用户当前通过电子设备在户外拍摄M(M大于或等于1)张人物图像，电子设备在确定当前电量大于或等于预设电量阈值时，采用本申请提供的任一种图像处理方法对该M张人物图像进行图像增强，当处理到第X张(X小于或等于M)人物图像后发现电子设备的当前电量小于预设电量阈值时，则停止对其他人物图像进行增强处理，从而可以为电子设备保持相当的电量以保障用户的户外活动的设备需求。

在一种可能的实现方式中，也可以向用户提供是否启用本申请提供的图像处理方法的功能控件，默认启用本申请提供的图像处理方法，但也可以基于用户针对该功能控件的关闭或开启操作相应地关闭或启用本申请提供的图像处理方法。

在一种可能的实现方式中，所述获取第一图像包括：基于数据下载方式在第一时间内获取至少两张以上所述第一图像；所述在所述电子设备的设备状态满足预设设备状态的情况下，获取所述优质图像，包括：在所述电子设备的当前电量大于或等于所述预设电量阈值且处于充电灭屏状态的情况下，获取所述优质图像；或者，在所述电子设备接收到用户主动触发的关于所述第一图像的图像处理请求的情况下，获取所述优质图像。

可理解的，数据传输例如蓝牙、NFC传输等就有一定的电能损耗，且若用户通过蓝牙或NFC等方式获取第一图像，也可以理解为当前用户对设备的使用需求较高，则基于本申请提供的方法，这种场景下电子设备需要满足电量大于或等于所述预设电量阈值且处于充电灭屏状态的情况，才能对获取到的人物图像进行增强处理，在达到图像增强效果的同时，改善图像增强为设备带来的电能损耗问题，以及为电子设备保持较好的电量状态以保障用户的设备使用需求。

在一种可能的实现方式中，所述获取与所述第一图像匹配的优质图像包括：在确定所述第一图像满足预设增强条件的情况下，将所述历史人物图像作为所述第一图像，所述预设增强条件包括以下一项或一项以上：人像模糊、人脸纹理细节缺失、人脸区域图像噪声高、人脸区域光照不足、人脸区域光照过亮。

在一种可能的实现方式中，所述方法应用于电子设备，所述电子设备中存储有包含肖像图像的历史人物图像，所述历史人物图像基于数据下载方式或相机拍照方式获得，所述方法还包括：在确定所述电子设备当前电量大于或等于预设电量阈值且所述电子设备处于充电灭屏状态、以及所述历史任务图像满足预设增强条件的情况下，将所述历史人物图像作为所述第一图像，所述预设增强条件包括以下一项或一项以上：人像模糊、人脸纹理细节缺失、人脸区域图像噪声高、人脸区域光照不足、人脸区域光照过亮。

第二方面，本申请实施例提供一种图像处理系统，所述图像处理系统包括增强子系统和人物特征检索子系统，所述增强子系统包含融合增强模块，其中，所述人物特征检索子系统，用于在获取第一图像之后，获取与所述第一图像匹配的优质图像；所述融合增强模块，用于利用所述优质图像对所述第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，得到第二图像。

在一种可能的实现方式中，所述融合增强模块，具体用于利用所述优质肖像对所述待增强肖像的整体肖像进行图像增强处理，得到所述第一增强图像。

在一种可能的实现方式中，所述图像处理系统还包括先验知识管理子系统、图像数据库以及人物处理子系统，所述人物处理子系统包括人像处理模块、评分模块以及人脸属性估计模块，所述先验知识管理子系统用于为人物图像创建索引，所述图像数据库用于存储与人物图像(包括所述优质图像)相关的以下数据：索引、该优质图像对应的原始图像资源、人像抠图数据、人脸解析数据、人脸聚类标签、头部姿态欧拉角、画质评分结果、五官评分结果、面部评分结果。所述人像处理模块用于对人物图像进行人脸聚类获取对应的人脸聚类标签；所述人像处理模块还用于对所述人物图像进行人像抠图和人脸解析以获取对应的人像抠图数据和人脸解析数据，所述评分模块用于基于人物图像的人像抠图数据和人脸解析数据对人物图像进行面部评分和五官评分，以获取对应的面部评分结果和五官评分结果，所述评分模块还用于对人物图像进行画质评分，以获取对应的画质评分结果。所述人脸属性估计模块用于对人物图像进行姿态估计得到对应的头部姿态欧拉角。

在一种可能的实现方式中，所述人物处理子系统还包括3D重建模块，所述3D重建模块，用于在所述优质肖像的头部姿态欧拉角与所述待增强肖像的头部姿态欧拉角的差值大于或等于预设欧拉角阈值的情况下，对所述优质肖像进行三维人脸重建，得到三维人脸模型；基于所述待增强肖像的头部姿态对所述三维人脸模型进行头部姿态矫正，获取矫正后的三维人脸模型；以及将所述矫正后的三维人脸模型渲染为二维图像，得到与所述优质肖像对应的头部姿态矫正后的二维图像；所述融合增强模块，具体用于利用所述二维图像对所述待增强肖像进行增强处理，得到所述第一增强图像。

在一种可能的实现方式中，所述融合增强模块，还用于对所述第一图像中包含的眼神光的光斑轮廓清晰度和光斑亮度进行增强处理；获取虹膜信息库与所述第一图像的虹膜色彩信息的相似度较高的第一参考虹膜图像，基于所述第一参考虹膜图像对所述第一图像的眼睛部位的虹膜进行虹膜纹理和虹膜色彩的增强处理；对所述第一图像中的眉毛区域的图像进行对比度增强处理；对所述第一图像中的嘴唇区域的图像进行色彩和纹理增强处理。

在一种可能的实现方式中，所述融合增强模块，还用于在增强后的第一增强肖像与原始背景图像之间满足色彩不均匀条件或满足光照不协调条件的情况下，利用第一增强肖像对第一图像的原始背景图像进行色彩校正，得到第二图像，第二图像中的肖像图像与背景图像之间的色差优于第一增强肖像与原始背景图像之间色差。

在一种可能的实现方式中，所述融合增强模块，还用于对第一增强肖像中的第一区域进行色彩校正，该第一区域包括第一增强肖像中色彩不均匀的区域、光照不协调的区域、欠曝区域、过曝区域中的一项或一项以上。

在一种可能的实现方式中，所述融合增强模块，具体用于利用所述优质五官图像对所述待增强五官图像进行五官增强处理，得到增强后的五官图像，以及，利用所述优质面部图像对所述待增强面部图像进行面部增强处理，得到增强后的面部图像；对所述增强后的五官图像、所述增强后的面部图像、以及剩余图像进行融合处理，得到所述第一增强图像，所述剩余图像为所述第一图像的肖像中除了所述待增强面部图像和所述待增强五官图像之外的其他图像。

在一种可能的实现方式中，所述融合增强模块，具体用于对所述第一增强图像和所述原始背景图像进行拼图处理，以及对所述第一增强肖像和所述原始背景图像拼图产生的边缘进行平滑处理，得到拼图以及平滑处理后的中间图像；基于色彩迁移技术和所述中间图像中所述第一增强图像对应区域的色彩信息，对所述中间图像中所述原始背景图像对应区域的色彩信息进行色彩校正，得到所述第二图像。

在一种可能的实现方式中，所述人物处理子系统还包括特征提取模块，所述增强子系统还包括判断模块，所述特征提取模块中的人脸检测模块用于对第一图像进行人脸检测，所述判断模块用于确定第一图像是否满足预设增强条件，所述人物特征检索子系统，具体用于在所述第一图像中包含人脸图像、且所述第一图像满足预设增强条件中的至少一项的情况下，获取所述优质图像。

关于优质图像、优质肖像、优质肖像的头部姿态欧拉角、优质面部图像、优质五官图像、人像抠图数据、人脸解析数据、头部姿态欧拉角、画质评分结果、五官评分结果、面部评分结果等名词的说明以及优质肖像、优质面部图像、优质五官图像的获取方法，可以参照第一方面或第一方面的任意可能的实现方式所示的方法中的相关说明，在此不再详述。

第三方面，本申请实施例提供一种电子设备，所述电子设备包括：一个或多个处理器、存储器和显示屏；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行所述第一方面或第一方面的任意可能的实现方式所示的方法。

第四方面，本申请实施例提供一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行所述第一方面或第一方面的任意可能的实现方式所示的方法。

第五方面，本申请实施例提供一种包含指令的计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行所述第一方面或第一方面的任意可能的实现方式所示的方法。

第六方面，本申请实施例提供一种计算机可读存储介质，包括指令，当所述指令在电子设备上运行时，使得所述电子设备执行所述第一方面或第一方面的任意可能的实现方式所示的方法。

可以理解的，上述第二方面提供的图像增强系统、第三方面提供的电子设备、第四方面提供的芯片、第五方面提供的计算机程序产品、以及第六方面提供的计算机存储介质均用于执行本申请实施例所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。

附图说明

图1为本申请实施例提供的一种对人物图像进行人像抠图、人脸解析的示意图；

图2为本申请实施例提供的一种对人物图像进行图像处理的系统图；

图3A至图3C为本申请实施例提供的一种系统图中包含的各个子系统中包含的功能模块的示意图；

图4为本申请实施例提供的一种图像增强方法的流程示意图；

图5为本申请实施例提供的又一种图像增强方法的流程示意图；

图6为本申请实施例提供的又一种图像增强方法的流程示意图；

图7为本申请实施例提供的又一种图像增强方法的流程示意图；

图8为本申请实施例提供的又一种图像增强方法的流程示意图；

图9为本申请实施例提供的又一种图像增强方法的时序图；

图10为本申请实施例提供的一种拍照场景下图像增强的用户界面示意图；

图11为本申请实施例提供的一种用户主动触发增强请求的场景下与图像增强相关的用户界面示意图；

图12为本申请实施例提供的电子设备100的结构示意图；

图13是本申请实施例的电子设备100的软件结构框图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一不地描述。

本申请的说明书、权利要求书及附图中的术语“第一”和“第二”等仅用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备等，没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元等，或可选地还包括对于这些过程、方法、产品或设备等固有的其它步骤或单元。

在本文中提及的“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员可以显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”。

为了便于理解，以下示例地给出了部分与本申请实施例中相关概念的说明以供参考。

(1)肖像、背景图像、人脸图像、五官图像、面部图像

在本申请中，电子设备可以对包含人脸的图像进行图像增强处理。以下为便于描述，将包含人脸的图像称为人物图像，该人像图像可以包含背景图像和肖像，或者，该人物图像也可以仅包含肖像，或者该人物图像也可以仅包含人脸图像，本文对此不做限定。

其中，肖像是指人物图像中能辨别出人物身份信息的人体区域对应的图像，肖像可以是包含人脸图像的人物全身照或半身照，或者肖像也可以是仅包含人脸的照片，本文对此不做限定。

背景图像是指图像中除了肖像区域之外的其他区域的图像。

人脸图像为人物图像中人物的脸部区域对应的图像，人脸图像包含的部位可以划分为：五官、除五官之外的其他连续的面部皮肤。

可理解的，人物的眼睛、耳朵、眉毛、嘴巴、以及鼻子均可以称为五官部位。图像中眼睛、耳朵、眉毛、嘴巴、以及鼻子对应的区域均可以称为五官区域。

在本申请中，一张人物图像中可以包含有‘眼睛、耳朵、眉毛、鼻子、嘴巴’中的一项或多项五官部位。

在本申请中，五官图像为人物图像中包含的每一个五官部位对应区域的图像的集合。

在本申请中，所描述的面部图像为人物图像的人脸图像中除了五官部位之外的其他皮肤区域对应的图像，且该除了五官部位之外的其他皮肤区域中对应的图像是一张连续图像。

可理解的，本文以面部图像为连续的一张图像示出，但基于具体的需求和设计，面部图像包含的部位中每两项部位对应的图像可以是连续的也可以是不连续的，本文对此不做限定。

在本申请中，电子设备可以基于人像抠图技术获取人物图像中的肖像和/或背景图像，以及基于人脸解析技术获取人物图像中五官图像和/或面部图像。

示例性的，如图1所示，图像A为包含人脸的人物图像，电子设备可以基于人像抠图技术将图像A分割为肖像101和背景图像102，或者也可以理解为将图像A划分为肖像101和背景图像102。以及，可以基于人脸解析技术为肖像101中的人脸区域的五官部位和面部皮肤部位对应的区域位置标上对应的标签，例如为人脸区域中的眉毛103、耳朵104、眼睛105、鼻子106、嘴巴107、面部108分别对应的区域位置标注对应的标签。基于此，电子设备可以获取人物图像的五官图像和面部图像，例如，图像A对应的五官图像包括眉毛103、耳朵104、眼睛105、鼻子106、以及嘴巴107对应的图像的集合，面部图像为面部108对应的图像。

在一种可能的实现方式中，人脸解析还可以为肖像101中的头发、脖子、饰品(例如眼镜、帽子、耳环、项链等)等对应的区域位置标上对应的标签。

上述对概念的介绍可以使用在以下的实施例中。

以下结合其他图像处理方法说明本申请提供的图像处理方法的优势：

在一些其他的图像处理方法中，对于存在人像模糊、人脸细节缺失等的图像质量问题的人物图像，大多使用基于大量非特定人像的图像数据训练得到的图像处理模型对图像进行增强处理。这种方法，由于图像处理模型使用了大量非特定人像的图像数据，缺乏当前特征人像的图像先验信息，未能充分利用当前特定人像的历史先验数据，处理后的人物的特点可能会存在与当前人物身份信息不符的情况，例如，增加了并不属于当前人像的深邃的眼窝、高挺的鼻子山根，或者增强后的人物图像与原始图像的在肤质细节或五官细节上会存在明显的差异，图像增强效果有待提高。

有鉴于此，本申请提供一种图像处理方法，提升当前待增强人物图像的面部纹理细节、五官清晰度以及五官细节，以及改善处理后的人物图像中人物的特点包含与当前人物的特点不符的问题。

在一种可能的实现方式中，采用本申请提供的图像处理方法对当前待增强人物图像(第一图像)进行增强所采用的方法包括：基于第一图像对应的人物的历史先验信息选取优质图像，基于该优质图像对第一图像的肖像或肖像的局部图像进行清晰度、皮肤纹理细腻度、五官细节的增强处理，得到增强后的肖像或增强后的肖像局部图像，以及对增强后的肖像或增强后的肖像局部图像与第一图像的背景图像进行融合增强，融合增强中包括拼图边缘平滑处理、基于增强后的肖像或肖像局部的色彩信息对背景图像进行色彩校正，增强处理后得到的第二图像中其肖像或肖像局部图像包含特定人像中细腻的纹理，背景图像与肖像或肖像局部图像的色调一致。

上述与第一图像匹配的优质图像可以是指该优质图像与第一图像的人脸聚类标签一致、图像质量较高的优质图像，图像质量较高是指该优质图像的面部清晰度好、五官清晰度好、五官细节丰好(例如嘴唇色彩和纹理好、眉毛的毛流感好、鼻子色彩对比度反映的鼻子立体度好)、皮肤纹理细腻度好，该优质图像可以包含优质肖像或优质肖像局部图像。上述优质图像与第一图像的人脸聚类标签一致根据第一图像中包含的肖像图像的数量的不同涵义有所不同，例如，若第一图像仅包含一个肖像图像，则第一图像的人脸聚类标签与该优质图像的人脸聚类标签一致，若第一图像包含两个或两个以上肖像图像，也即第一图像对应两个或两个以上人脸聚类标签，则优质图像对应的人脸聚类标签属于该第一图像对应两个或两个以上人脸聚类标签中的其中一个。

由此，采用上述优质图像对第一图像进行增强，利用当前被摄对象的先验知识中画质清晰度好、五官细节好、皮肤纹理细腻度好的优质图像对第一图像进行图像增强处理，将优质图像中清晰且细腻的皮肤纹理特征融合或迁移到第一图像中，得到的第二图像画质清晰度好、皮肤纹理细腻度好，在提升人物图像质量的同时，改善处理后的人物的特点可能会存在与当前人物身份信息不符或增强后的人物图像与原始图像的在肤质细节或五官细节上会存在明显的差异的问题。

例如，采用本申请提供的图像处理方法，可以解决实际使用场景中，存在多种因为拍摄情况复杂引发的人像质量问题。例如，在暗光场景中，拍摄得到的第一图像光照不足、图像噪声多、人像模糊、存在局部失真等人像质量问题，采用本申请提供的图像增强方法利用优质图像对第一图像进行增强处理，一方面，优质图像的光照信息充足，纹理细节多，利用优质图像对第一图像的肖像或肖像局部图像进行增强处理，增强后的肖像或肖像局部图像的皮肤纹理会更细腻、色调更自然，可以很好地改善图像噪声多、人像模糊、局部细节涂抹严重等的问题，同时，优质图像的光照充足，增强后的肖像或肖像局部图像中包含的皮肤纹理对应的像素点也是光照充足的，从而还可以改善暗光场景下光照不足、导致图像清晰度欠佳、图像亮度较低的问题。另外，背景融合增强步骤中将增强后的肖像与背景图像进行融合增强时，对拼图边缘做平滑处理，基于增强后的肖像的色彩信息对背景图像进行光照矫正，进一步改善图像的光照质量、以及协调图像整体色差，使得增强得到的第二图像整体更为自然。

例如，采用本申请提供的图像处理方法，可以改善因曝光控制不准引发人物图像出现欠曝或过曝的图像质量问题，恢复人像真实细节。例如第一图像的左脸颊区域对应的图像存在过曝的图像质量问题，而电子设备检索到的优质图像中也包含左脸颊对应的图像、且其清晰度高、皮肤纹理细节多，则电子设备基于该优质图像对第一图像中的左脸颊进行图像增强，为该存在过曝问题的左脸颊填充相应的细腻的皮肤纹理，改善第一图像存在的过曝问题，提高人物图像的质感和真实感。另外，还可以对增强后的肖像或肖像局部做进一步的曝光矫正，进一步提高图像增强效果。

同理，采用本申请提供的图像处理方法，也可以改善因数字变焦、对焦不准或拍照抖动等引起的人像模糊、细节缺失或涂抹的图像质量问题，在此不再详述。

在另外一些可能的实现方式中，上述优质图像为优质肖像，且该优质肖像的头部姿态与第一图像的头部姿态差异较大的情况下，电子设备可以基于三维人脸重建或NerfGAN技术对优质肖像进行头部姿态矫正，利用矫正后的肖像图像对第一图像进行增强处理。相比于直接使用与待增强肖像姿态差异较大的优质肖像对第一图像的肖像进行增强处理，可以得到较好的增强效果。

示例性的，基于三维人脸重建对优质图像进行头部姿态矫正可以包括：电子设备对优质肖像进行3D人脸重建得到三维人脸模型，以第一图像的头部姿态为参照对该三维人脸模型的头部进行姿态矫正，再将矫正后的三维人脸模型渲染为2D人脸图像，基于该2D人脸图像对第一图像的肖像进行图像增强处理。由此，利用优质肖像进行3D人脸重建和头部姿态矫正，可以得到与待增强肖像姿态一致或相近的3D人脸重建结果，并将该3D人脸重建结果生成2D人脸图像，基于该2D图像指导第一图像的肖像进行增强，相比于直接使用与待增强肖像姿态差异较大的上述优质肖像对第一图像的肖像进行增强处理，可以得到较好的增强效果。

在另外一些其他图像处理方法中，使用用户历史‘好’照片修复‘坏’照片，主要流程包含两步，第一步：调整优质历史人物图像的大小为与待增强的原始人物图像相同的大小，该优质历史人物图像与该原始图像包含同一特定人物，且其头部姿态一致，基于传统方法利用大量的优质历史人物图像对当前原始图像的人脸区域进行图像增强。

一方面，这种方法未基于增强后的肖像的色彩信息对原始人物图像的背景图像进行光照矫正，增强后的肖像与背景图像的色差整体不协调，增强得到的图像效果不自然。

然而，采用本申请提供的图像处理方法，电子设备可以对增强肖像和该第一图像的背景图像进行背景融合增强，具体包括将背景图像和增强肖像进行图像拼接并对拼接边缘进行平滑处理，以及利用增强肖像的色彩信息对该背景图像进行光照矫正，从而可以减小增强肖像的与背景图像在色彩差异，使得合成后的第二图像更自然。

另外一方面，这种方法采用传统方法对脸部区域进行整体增强，未能考虑脸部不同区域的几何和细节的差异，增强效果有待提高。

而采用本申请实施例提供的图像处理方法，电子设备可以提取人物图像不同区域的特征，上述优质图像可以包括肖像局部图像，例如优质五官图像和优质面部图像，分别利用优质五官图像中的五官特征对第一图像进行五官增强，利用优质面部图像中的面部特征对第一图像进行面部增强，例如对图像中眼睛区域包含的眼神光的轮廓清晰度和亮度做单独处理，对眼睛中的虹膜的纹理和色彩进行增强处理，增强后得到的图像真实感更好，考量脸部不同区域的细节特征的差异，图像增强效果好。

以下结合图2介绍本申请实施例提供的系统图。

如图2所示，该系统图包括在线增强子系统10、人物特征检索子系统20、人物处理子系统30、先验知识管理子系统40、以及图像数据库50。

如图3A所示，增强子系统10包括判断模块和增强融合模块。

判断模块用于判断人物图像是否满足预设增强条件，也即判断人物图像是否需要进行图像增强。具体的，关于预设增强条件的描述可以参照下文步骤S506中的相关说明，在此不再赘述。

增强融合模块用于对人物图像进行增强处理，其主要功能包括：对人物图像中的肖像的整体图像和/或肖像的局部图像进行图像增强，对两项增强后的肖像局部图像之间进行拼图融合，对增强后的图像以及未增强的图像进行融合增强。

具体的，如图3A中融合增强模块所示，包含五官增强、面部增强、肖像增强、背景融合增强。其中，五官增强是指利用优质五官图像对第一图像的五官图像进行增强处理，关于优质五官图像、以及具体如何基于优质五官图像对第一图像的五官图像进行增强处理可以参照下文图5中步骤S507和S508中的相关描述。面部增强是指利用优质面部图像对第一图像的面部图像进行增强处理，关于优质面部图像、以及具体如何基于优质面部图像对第一图像的面部图像进行增强处理可以参照下文图5中步骤S509和S510中的相关描述，肖像增强是指利用优质肖像对第一图像的肖像图像进行增强处理，关于优质肖像、以及具体如何基于优质肖像对第一图像的肖像图像进行增强处理可以参照下文图6中步骤S606和S608中的相关描述。背景融合增强是指对增强好的肖像图像与背景图像进行融合增强，关于增强好的肖像图像可以参照下文S511中或S608中增强肖像A的相关描述，关于具体如何对增强好的肖像图像与背景图像进行融合增强可以参照下文S512中的相关描述，在此不再详述。

人物特征检索子系统20，用于检索图像数据库50中与相关人物图像对应的数据。示例性的，如图3B所示，其主要功能包括：肖像数据检索、面部数据检索、五官数据检索、人脸属性特征检索。肖像数据为肖像图像(在本文的一些描述中肖像图像也简称为肖像)，面部数据可以是面部图像、面部评分结果；五官数据可以是五官图像、五官评分结果；人脸属性特征参数包含但不限于：头部姿态、人脸本征信息。关于肖像数据检索的描述可以参照下文图6中S607的相关说明，关于面部数据检索的描述可以参照下文图5中S509的相关说明，在此不再详述，关于五官数据检索的描述可以参照下文图5中S507的相关说明，在此不再详述，关于人脸属性特征检索的描述可以参照下文图6中S607中与头部姿态相关的描述以及S611中与人脸本征信息相关的描述。

示例性的，如图3C所示，人物处理子系统30包含特征提取模块、人像处理模块、评分模块、人脸属性估计模块、3D人脸重建模块。

其中，特征提取模块的主要功能包括：人脸检测、人脸特征提取、人脸纹理特征提取、以及图像特征提取。

人脸检测可以确定一张图像中是否存在人脸。人脸检测功能在下文图5中的步骤S502中体现，可以用于检测第一图像中是否存在人脸。

人脸特征提取包括人脸关键点提取，人脸关键点可以是98点人脸关键点，其中98点人脸关键点包括内部关键点和轮廓关键点，内部关键点包含眉毛、眼睛、鼻子、嘴巴、耳朵区域的关键点。进一步的，人脸关键点还可以包括眼睛部位的瞳孔关键点。人脸特征提取得到的数据可以用于对人物图像中的人脸进行人脸聚类。

关于人脸纹理特征提取中的纹理提取方法可以参照下文步骤S504中关于面部评分标准中介绍的提取面部纹理作为面部图像的评分依据中的相关说明，在此不再详述。

图像特征包括颜色特征、纹理特征、边缘特征以及空间几何特征等。例如，图像特征包括但不限于：尺度不变特征变换(scale-invariant feature transform，SIFT)特征、描述符(Descriptor)特征。图像特征的分析方法可以包括但不限于：主成分分析(principal component analysis，PCA)。关于提取图像特征的相关说明可以参照下文图5所示的步骤S512中提取增强肖像A和背景图像的图像特征的相关描述，在此不再详述。

人像处理模块主要功能包括：人脸聚类、人脸解析、人像抠图。

人脸聚类可以将属于同一个人的图像归为一类，为肖像标上对应的人物聚类标签。

人脸解析可以给人物图像的肖像中的人脸区域的五官部位和面部皮肤部位对应的区域位置标上对应的标签，各个部位和部件对应的区域位置标注对应的标签，包括眼睛、鼻子、嘴巴、眉毛、耳朵、面部、头发、脖子、饰品等区域，例如可以参照图1所示的103至107所示的人脸解析后五官部位的区域划分示意图。

人脸抠图可以将人物图像中的肖像和背景图像分割开，例如可以参照图1所示的101和102所示的人像抠图后肖像和背景图像的语义分割mask示意图。

关于人脸聚类、人脸解析、人像抠图相应得到的数据可以参照下文图5中阶段2相关步骤的描述，在此不再详述。

评分模块的主要功能包括：

1)画质评分：对人物图像的画质进行评分，得到人物图像的画质评分结果。

关于画质评分的评分标准以及评分区域可以参照下文图6中步骤S604中的相关说明，在此不再详述。

2)面部评分：对人物图像的面部图像进行评分，得到人物图像的面部评分结果。

3)五官评分：对人物图像的五官图像进行评分，得到人物图像的五官评分结果。

在本申请中，对一张人物图像进行五官评分，是指分别对该人物图像中包含的每一项五官图像进行评分，并得到包含多项评分数值的五官评分结果。例如，一张人物图像的五官评分结果包括：眉毛评分结果、眼睛评分结果、鼻子评分结果、嘴唇评分结果、耳朵评分结果；其中，眉毛评分结果、鼻子评分结果、嘴唇评分结果、以及耳朵评分结果对应的评分标准为图像清晰度，眼睛评分结果对应的评分标准为图像清晰度和眼睛睁开程度。

关于面部评分和五官评分的评分标准可以参照下文图5中步骤S504中的相关说明，在此不再详述。

人脸属性估计模块的主要功能包括：头部姿态估计、人脸本征估计。

1)头部姿态估计：对人物图像中的肖像进行姿态估计得到人像头部的欧拉旋转角；例如获取头部姿态欧拉角的方法包括但不限于头部姿态估计(head pose estimation)算法。

2)人脸本征估计：对人物图像进行人脸本征估计得到人脸本征信息。人脸本征信息是指人脸本质上固有的特征，可以基于逆渲染计算得到。在本申请中，人脸本征信息包括但不限于：漫反射、镜面反射、法线(体现人脸几何信息)、高光参数。

3D人脸重建模块的功能是对人物图像中的人脸进行3D人脸建模得到人脸三维模型，再将人脸三维模型渲染为2D图像，输出具备三维信息的2D图像。将人脸三维模型转为2D图像的方法包括但不限于神经渲染(neural rendering)技术，基于神经渲染将人脸三维模型渲染成2D图像，或者也可以是其他可以达到相同效果的算法或模型，在此不再详述。

关于3D人脸重建模块的具体实现可以参照图6中步骤S611的相关说明。

图像数据库50用于存储人物图像的相关数据，人物图像的相关数据包括但不限于：索引(该索引是指对人物图像的唯一标识)、原始图像、人像抠图数据、人脸解析数据、面部评分结果、五官评分结果、人脸聚类标签、头部姿态、人脸本征信息中的一项或多项。其中人像抠图可以是人像抠图mask，包括人物图像的肖像和背景图像；人脸解析数据可以是人脸解析mask，包括但不限于人物图像中肖像的五官图像和面部图像，在一种可能的实现方式中，人脸解析mask还可以包括人物图像中肖像的脖子、头发、饰品等对应的图像。

在一种可能的实现方式中，人物图像的相关数据还可以包括上述拍摄模式标签和画质评分结果。

在一种可能的实现方式中，人物图像(图像X.jpg)中包含的人脸的数目大于或等于2，图像数据库50中存储的该人物图像的相关数据如下表1所示。

表1

先验知识管理子系统40用于建立和维护图像数据库50。其中，先验知识管理子系统40可以为人物图像创建索引，并将人物图像相关数据和该人物图像的索引的关联关系存储到图像数据库50中，基于该索引从图像数据库50中检索对应的人物图像的数据。

可理解的，电子设备作为客户端可以向云服务器端请求数据，上述增强子系统10、人物特征检索子系统20、人物处理子系统30、先验知识管理子系统40以及图像数据库50，均可以是电子设备端中与本申请提供的图像处理方法相关的功能模块。在另外一些实现方式中，增强子系统10、人物特征检索子系统20、人物处理子系统30、先验知识管理子系统40以及图像数据库50中的一项或多项，也可以是电子设备的云服务器端中与本申请提供的图像处理方法相关的功能模块，本文对此不做限定。

以下结合上述系统图中的各个子系统简要概述本申请实施例提供的图像处理方法。

示例性的，电子设备获取到第一图像后，可以调用先验知识管理子系统40为该第一图像建立索引，将该第一图像存储到图像数据库50中，以及，调用增强子系统10中的判断模块，确定第一图像是否满足人像模糊、人像模糊、人脸纹理细节缺失、人脸区域图像噪声高、人脸区域光照不足、人脸区域光照过亮中的一项或多项增强条件；在确定第一图像满足增强条件的情况下，电子设备调用人物特征检索子系统20检索与第一图像匹配的优质图像(例如优质图像可以是优质肖像、优质五官或优质面部)，再基于增强子系统10中的融合增强模块利用该优质图像对第一图像进行图像增强，得到增强后的第一图像。

以下结合图4简要概述本申请实施例提供的图像处理方法的方法流程示意图。如图4所示，所述方法包括：

S401，电子设备获取第一图像。

在本申请实施例中，第一图像包含肖像图像。示例性的，电子设备可以基于上述人物处理子系统30中的人脸检测功能确定第一图像中是否包含肖像图像。

在本申请实施例中，在第一图像中包含人脸图像、且第一图像满足预设增强条件中的至少一项的情况下，执行步骤S402；其中，该预设增强条件包括以下一项或一项以上：人像模糊、人脸纹理细节缺失、人脸区域图像噪声高、人脸区域光照不足、人脸区域光照过亮。

S402，电子设备获取与第一图像匹配的优质图像。

在本申请实施例中，优质图像来源于目标人物且第一图像中包含该目标人物的肖像图像。示例性的，第一图像中包含人脸图像A，优质图像中包含人脸图像B，且该人脸图像A的人脸聚类标签与该人脸图像B的人脸聚类标签一致。

在本申请实施例中，优质图像的图像质量优于第一图像的图像质量。

示例性的，优质图像的图像质量优于第一图像的图像质量包括：优质图像的全局或局部清晰度、人脸皮肤纹理、以及五官细节优于第一图像，该五官细节包括以下一项或一项以上：五官立体感、嘴唇纹理、眼神光的光斑清晰度、眼睛睁开程度、嘴巴张开程度。

示例性的，上述优质图像包括优质面部图像和第一优质五官图像，该优质面部图像的面部清晰度(或者也可以理解为面部纹理细节)优于第一图像的面部图像，该第一优质五官图像的五官清晰度、五官立体感以及纹理细节(例如嘴唇纹理)优于第一图像的五官图像。关于第一优质五官图像、优质面部图像的说明具体可以参照下文图5中步骤S507和步骤S509中的相关描述，在此不再详述。

示例性的，上述优质图像包括优质肖像，该优质肖像的画质清晰度、面部清晰度、五官清晰度、人脸皮肤纹理、五官立体感、以及嘴唇纹理优于所述第一图像的肖像图像。在一些可能的实现方式中，该优质图像还可以包括第二优质五官图像，该第二优质五官图像可以包括鼻子图像、嘴巴图像、眉毛图像。关于优质肖像的说明具体可以参照下文图6中步骤S607中的相关描述，在此不再详述，关于第二优质五官图像的说明可以参照下文图6中步骤S616中的相关说明，在此不再详述。

在一种可能的实现方式中，若电子设备未能获取到包含上述目标人物的肖像图像的历史先验图像，或者电子设备未能获取到包含上述目标人物的肖像图像对应的优质的图像(也即无法获取优质图像)，则电子设备将上述第一图像作为历史图像存储，并在电子设备可以获取到符合条件的优质图像之后，电子设备确定当前电量是否大于或等于预设电量阈值且设备处于充电灭屏状态的情况下，电子设备对该图像A进行图像增强。或者，在电子设备可以获取到符合条件的优质图像之后，电子设备接收到用户主动触发请求对第一图像进行图像增强的指令后，电子设备对该第一图像进行图像增强。

在一种可能的实现方式中，若电子设备接收到用户主动触发的关于第一图像的图像增强请求后，电子设备未能获取到与第一图像匹配的优质图像时，电子设备还可以输出提示信息，该提示信息用于表示未存储有与当前图像匹配的历史先验数据，或者，用于表示未获取到比该第一图像A的图像质量更好的图像，暂时无法进行图像增强处理。

S403，电子设备利用优质图像对第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，得到第二图像。

示例性的，电子设备利用优质图像对第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，得到增强肖像，再对该增强肖像和第一图像的原始背景图像进行融合处理，得到与第一图像对应的上述第二图像。在一些可能的实现方式中，增强肖像与原始背景图像之间满足色彩不均匀条件或满足光照不协调条件的情况下，电子设备还可以利用该增强肖像对第一图像的原始背景图像进行色彩校正，具体可以是在该增强肖像和第一图像的原始背景图像进行融合处理之后进行色彩校正，得到上述第二图像。或者，也可以是对利用该增强肖像对第一图像的原始背景图像进行色彩校正之后，再利用该增强肖像和色彩校正后的原始背景图像进行融合处理，得到上述第二图像，从而可以协调图像的整体色差，使得增强得到的第二图像整体更为自然。

关于具体如何对第一图像的原始背景图像进行色彩校正以及该增强肖像和第一图像的原始背景图像进行融合处理可以参照下文步骤S512中的相关说明，在此不再详述。

在一种可能的实现方式中，优质图像包含第一优质五官图像和优质面部图像，电子设备具体如何获取该优质面部图像和优质五官图像以及如何基于该优质五官图像和优质面部图像对第一图像进行增强获得上述第一图像可以参照下文图5相关说明，在此不再详述。

在一种可能的实现方式中，优质图像包含优质肖像，或者该优质图像包含优质肖像和第二优质五官图像，电子设备具体如何获取该优质肖像、第二优质五官图像以及如何基于该优质肖像、第二优质五官图像对第一图像进行增强获得上述第一图像可以参照下文图6相关说明，在此不再详述。

以下结合图5所示的方法流程图详细说明上述图2所示的图像处理方法中利用优质面部图像和第一优质五官图像对第一图像进行增强处理的一种具体实现方式。如图5所示，该图像处理方法可以包括以下几个阶段和对应的方法步骤。

阶段1：电子设备获取到第一图像后，确定第一图像是否包含人脸，在确定包含人脸的情况下进入阶段2。

S501，电子设备获取第一图像。

例如，电子设备获取第一图像的方式包括但不限于：基于相机应用拍摄获取、基于数据传输方式获取，例如数据传输方式可以是网页下载、云盘下载、在即时通讯方式中交互的图像数据中下载、或者，短距离数据传输(例如蓝牙、NFC等)方式，本文对此不做限定。

S502，电子设备基于人脸检测确定第一图像是否存在人脸。

人脸检测方法包括但不限于旷视Face++人脸检测算法、深度学习方法。具体所使用的人脸检测算法和具体的检测方法为本领域技术人员熟知的技术，在此不再详述。

在确定第一图像存在人脸的情况下，电子设备执行步骤S503、S504、S505；在确定第一图像中不存在人脸的情况下，电子设备不解析第一图像也不对第一图像进行增强处理(在图5中以步骤S514示出)，也即不执行步骤S503至S512。

阶段2：电子设备获取第一图像的相关数据，具体包括：人脸聚类标签、人像抠图数据(包含肖像和背景图像)、人脸解析数据(包含待增强面部图像、待增强五官图像)、面部评分结果、以及五官评分结果。

S503，电子设备获取第一图像对应的待增强五官图像、待增强面部图像、背景图像。

例如，电子设备通过上述人物处理子系统30中的人像处理模块的人脸解析和人像抠图功能获取第一图像对应的待增强五官图像、待增强面部图像、肖像、背景图像。其中，人像抠图可以获取第一图像中包含的肖像和除了肖像之外的背景图像，人脸解析可以获取第一图像的待增强五官图像和待增强面部图像。

在本申请中，待增强五官图像为第一图像中包含的每一个五官部位对应区域的图像的集合，待增强面部图像为第一图像中的人脸区域中除了五官部位对应的图像之外的其他皮肤区域对应的图像。也可以理解为，面部图像为人物图像中除了五官部位对应区域的图像之外的其他图像，具体还可以参照上述术语解析中与‘五官图像’和‘面部图像’的相关说明，在此不再详述。示例性的，第一图像为如图1所示的图像，则待增强五官图像包括：眉毛103对应的图像、耳朵104对应的图像、眼睛105对应的图像、鼻子106对应的图像、嘴巴107对应的图像，待增强面部图像包括：面部108对应的图像。

在本申请中，电子设备获取到的待增强五官图像、待增强面部图像、肖像、以及背景图像后，可以将其存储在本地存储空间中，也可以存储到云端(电子设备的云服务器端)，本文对此不做限定。示例性的，人像处理模块获取到第一图像的待增强五官图像、待增强面部图像、肖像、背景图像之后，将其存储到图像数据库50中。

S504，电子设备获取第一图像的面部评分结果和五官评分结果。

在本申请中，第一图像的面部评分结果即为上述待增强面部图像的面部评分结果，第一图像的五官评分即为上述待增强五官图像的五官评分结果。示例性的，电子设备通过人物处理子系统30中的评分模块对上述待增强面部图像、待增强五官图像分别进行面部评分和五官评分，以获取该待增强面部图像的面部评分结果和该待增强五官图像的五官评分结果。在本申请实施例中，电子设备在接收到评分模块发送的该面部评分结果和五官评分结果后，可以将该第一图像的面部评分结果和五官评分结果存储到电子设备的本地存储空间中或电子设备的云服务器端中，例如可以是上述图像数据库50。或者，也可以是评分模块在计算得到该第一图像的面部评分结果和五官评分结果后，将该第一图像的面部评分结果和五官评分结果存储到电子设备的本地存储空间中或电子设备的云服务器端，本文对此不做限定。

在本申请实施例中，面部评分的评分标准与人物图像中面部图像的纹理相关，面部图像的纹理细节可以反映人脸皮肤的清晰度、细腻度以及质感。

在本申请实施例中，面部评分结果可以是面部纹理特征的纹理值，也可以是将纹理值转换为百分制或等级的结果，本文对此不做限定。

以下介绍如何提取第一图像的面部图像的纹理特征作为第一图像的面部评分结果或作为第一图像的面部评分的依据。

示例性的，可以通过对图像的人脸纹理进行分析，设计相应的反映人脸纹理状况的特征参数，通过人脸图像中像素值提取相关特征参数反映该人脸图像的纹理。

例如，电子设备可以基于待增强面部图像的LBP模式、灰度共生矩阵、分形维数、Tumera中的一项或多项计算待增强面部图像的纹理特征，以进行面部评分。具体的，电子设备可以基于面部图像的灰度共生矩阵、局部二值模式(local binary pattern，LBP)、分形维数、Tumera中的一项或多项数据计算面部图像的纹理特征。例如可以计算面部图像的灰度共生矩阵在不同维度上的纹理特征，包括均值、方差、熵、以及相关性等，其中方差可以反映纹理波动情况、均值表示纹理的一般程度、熵表示图像中纹理的复杂程度、相关性表示相应的区域的纹理是否相关。再基于该灰度共生矩阵计算得到的一个或多个参数(例如均值、方差、以及相关性)、面部图像的LBP特征、分形维数特征、Tumera特征中的两项或两项以上特征进行PCA降维计算，例如降维至3个特征，再分别对三个特征计算特征贡献率，选择贡献率最大的特征代表人脸图像的纹理信息作为面部图像的纹理特征的评分结果或作为面部图像优劣的评分依据。

关于基于人脸图像的灰度共生矩阵、LBP、分形维数、Tumera提取人脸图像在不同维度上的纹理特征仅为示例，还可以基于其他领域技术人员熟知的纹理特征提取技术对人脸图像进行面部或其他对应的区域位置进行纹理特征提取，本文对此不做限定。

可理解的，纹理的细腻度和清晰度是对应的，在本申请实施例中，面部图像的纹理值可以用于体现面部图像的图像清晰度和图像的纹理细节丰富度。

关于基于人脸图像的灰度共生矩阵、LBP、分形维数、Tumera提取人脸图像在不同维度上的纹理特征仅为示例，还可以基于其他领域技术人员熟知的纹理特征提取技术对人脸图像进行面部或其他对应的区域位置进行纹理特征提取，本文对此不做限定。

可理解的，电子设备可以基于人物处理子系统30中的人脸纹理特征提取模块提取面部图像的面部纹理特征作为面部评分结果或面部评分依据。

在本申请中，人物图像对应的五官评分结果包括多项评分数值，具体可以包括：眉毛图像的眉毛评分结果、眼睛图像的眼睛评分结果、鼻子图像的鼻子评分结果、嘴巴图像的嘴巴评分结果、以及耳朵图像的耳朵评分结果。

在本申请实施例中，对于不同的五官区域，五官图像有不同的评分标准。

具体的，1)耳朵图像的评分标准与耳朵图像的清晰度相关。

在本申请实施例中，关于图像的清晰度值可以基于一种或一种以上清晰度的传统计算方法计算得到的清晰度值。例如，可以通过但不限于Brenner梯度函数、Laplacian梯度函数、SMD(灰度方差)函数、无参考图像评价指标(NIQE)、Brisque算法中的一项或一项以上传统方法计算得到清晰度值，并且，可以将清晰度值直接作为图像的清晰度评分结果，或者也可以将清晰度值转换为百分制或等级制的结果作为图像的清晰度评分结果，本文对此不做限定。

可理解的，计算图像的清晰度值还可以采用深度学习方法，本文对此不做限定。

2)眉毛图像的评分标准与眉毛图像的清晰度以及眉毛图像的色彩对比度相关。

示例性的，眉毛图像的评分结果包含眉毛图像的清晰度值以及眉毛图像的色彩对比度信息的相关参数(例如眉毛区域图像像素点的均值、方差等参数)。

3)鼻子图像的评分标准与鼻子图像的清晰度以及高光信息相关。

示例性的，鼻子图像的评分结果包含鼻子图像的清晰度值以及鼻子图像的高光信息相关参数。例如可以基于鼻子图像的RGB域或HSV域的色彩对比度信息提取用于表示鼻子图像的高光情况的特征，例如色彩均值方差等，一般认为对应区域的像素点的色彩对比度需要存在一定的差异，该区域图像的立体度更好。

4)眼睛图像的评分标准与眼睛图像的清晰度以及眼睛睁开程度相关，眼睛睁开程度越大越好。

示例性的，眼睛图像的评分结果包含眼睛图像的清晰度值和眼睛睁开程度信息(眼睛睁开程度信息可以为虹膜面积或眼球面积)。

5)嘴巴图像的评分标准与嘴唇图像的纹理以及嘴巴的张开程度相关。

示例性的，嘴巴图像的评分结果包含嘴唇图像的纹理值和嘴巴张开程度，关于嘴唇图像的纹理值的计算可以参照上述关于面部图像的纹理值的计算方式，在此不再详述。

在另外一些可能的实现方式中，电子设备还可以对第一图像进行头部姿态估计。具体为获取第一图像中人物的头部姿态旋转角(也称头部姿态欧拉角)，例如可以基于头部姿态估计(head pose estimation)算法，获取第一图像的头部姿态。

S505，电子设备获取第一图像的人脸聚类标签。

示例性的，电子设备通过人物处理子系统30中人物处理模块的人脸聚类功能确定第一图像的人脸聚类标签。

示例性的，基于人脸检测和人脸特征提取使用深度学习方法对第一图像进行人脸聚类，获得第一图像的人脸聚类标签。具体如何使用深度学习方法进行人脸聚类为本领域技术人员熟知的技术，在此不再详述。可理解的，也可以使用其他已知的人脸聚类算法对第一图像进行人脸聚类，本文对此不做限定。

可理解的，第一图像的人脸聚类标签用于标识该第一图像中的人脸图像的所属人物。示例性的，第一图像中包含人脸图像A，若该人脸图像A与已存储的人脸聚类标签中的标签X对应的人物匹配，则第一图像的人脸聚类标签即为该标签X。若该人脸图像A与已存储的人脸聚类标签中的任一个聚类标签对应的人物均不匹配，则电子设备为该第一图像分配新的人脸聚类标签。

在本申请中，电子设备在获取到第一图像的人脸聚类标签后，将其存储在本地存储空间中，也可以存储到云端(电子设备的云服务器端)，本文对此不做限定。

可理解的，若图像的相关数据(包括第一图像的相关数据，例如第一图像的待增强五官图像、待增强面部图像、背景图像、面部评分结果、五官评分结果、人脸本征信息、人脸聚类标签等)存储在电子设备的本地存储空间中，则电子设备在获取图像的相关数据时，可以直接根据检索需求读取本地存储空间中存储的相应数据；若存储在电子设备的云服务器端，则电子设备在获取图像的相关数据时，需要向云端请求与检索需求对应的相应数据，需要电子设备需要接入可以与云服务器进行数据通信的网络。

S506，电子设备确定第一图像是否满足增强条件。

上述增强条件包括但不限于以下至少一项：人像模糊、人脸纹理细节缺失、人脸区域图像噪声高、人脸区域光照不足、人脸区域光照过亮。若电子设备确定第一图像满足该增强条件中的其中一项条件，则第一图像满足增强条件。

可理解的，造成人物图像的人像模糊、人脸纹理细节缺失、人脸区域图像噪声高、人脸区域光照不足、人脸区域光照过亮的场景，可以包括但不限于暗光场景、欠曝或过曝场景、数字变焦、对焦不准、拍照抖动中的一项或多项。

示例性的，可以通过N(N大于或等于1)种清晰度计算方法得到第一图像的N项清晰度值，基于该N项清晰度值确定第一图像是否满足人像模糊的增强条件。具体的，该N项清晰度值分别对应地满足N个模糊度阈值的情况下，确定该第一图像满足人像模糊条件。例如，该N中清晰度计算方法包括Brenner梯度函数、Laplacian梯度函数、SMD函数、NIQE三种，对应地N个模糊度阈值包括阈值A(与Brenner对应)、阈值B(与Laplacian对应)、阈值C(与SMD对应)、阈值D(与NIQE对应)，若第一图像针对该N个清晰度计算方法的N项清晰度值中Brenner梯度函数对应的清晰度值小于该阈值A、且Laplacian梯度函数对应的清晰度值小于阈值B、且SMD函数对应的清晰度值小于该阈值C、以及NIQE算法对应的清晰度值大于该阈值D，则该第一图像满足人像模糊的增强条件。

示例性的，通过计算第一图像的人脸区域的纹理特征值确定第一图像是否满足人脸纹理细节缺失的增强条件。例如，可以基于待增强面部图像的LBP模式、灰度共生矩阵、分形维数、Tumera中的一项或多项数据计算第一图像中的目标块的纹理值，该目标块为第一图像的面部区域(包括脸颊区域、额头区域)中预设面部大小的图像。若任意一个目标块的纹理值满足用于表示纹理细节缺失的纹理值阈值，则第一图像满足人脸纹理细节缺失的增强条件。

示例性的，基于图像噪声计算方法确定第一图像是否满足人脸区域图像噪声高的增强条件。

示例性的，电子设备可以对第一图像的人脸图像在RGB域或HSV域上进行亮度估计，若第一图像的人脸的亮度估计小于第一预设亮度阈值，则确定第一图像的人脸区域光照不足，当第一图像的人脸亮度估计大于第二预设亮度阈值，则确定第一图像的人脸区域光照过亮。或者，电子设备也可以将第一图像的人脸区域的RGB值转为灰度值，基于人脸区域图像的灰度值确定第一图像是否满足人脸区域光照过亮的增强条件。或者，电子设备也可以基于第一图像的人脸区域的HSV颜色模型，确定第一图像是否满足人脸区域光照过亮的增强条件。或者，电子设备还可以基于其他统计方法确定第一图像是否属于满足人脸区域光照不足或人脸光照过亮的增强条件，本文对此不做限定。

或者，还可以基于传统的统计方法，例如通过泊松融合方法对第一图像的灰度图像进行统计或对第一图像在HSV域中的V明亮度维度进行统计，确定第一图像是否存在过曝或欠曝现象，以及具体的过曝或欠曝区域，以确定第一图像是否满足人脸区域光照不足或光照过亮的增强条件。

可理解的，在一些场景下，例如暗光下光照少的场景、欠曝过曝场景、变焦对焦不准场景、或拍照抖动场景，手机拍照得到的人像图像噪声普遍较高，脸部细节缺失，图像画质清晰度也普遍较差，从而需要进行图像增强，改善图像质量。

在本申请中，上述步骤S503、S505、S506可以并行执行，也可以先后执行且其先后顺序不做限定。

在一种可能的实现方式中，在确定第一图像不满足增强条件的情况下，将第一图像存储到图像数据库50中，并在电子设备的电量大于预设电量阈值或电子设备处于充电灭屏状态的情况下，对第一图像执行上述步骤S503至S505。

在另外一些可能的实现方式中，电子设备在确定第一图像不满足增强条件之后还可以进一步确定第一图像的面部评分和五官评分是否较高，若确定第一图像的面部评分和五官评分较高，例如面部评分和五官评分以百分制为准，若第一图像的面部评分和五官评分均高于70分，则可以认为该第一图像之后被作为优质图像的可能性很高，则电子设备还可以对第一图像进行人脸本征估计，并将人脸本征信息存储到图像数据库50中，以便于之后需要使用该第一图像作为优质图像、且需要使用到优质图像的人脸本征信息时，可以直接读取图像数据库50中存储的相关人脸本征信息，减少图像处理的响应时间，提高用户体验。

电子设备在确定第一图像满足增强条件的情况下，执行步骤S507；在确定第一图像不满足增强条件的情况下，不对第一图像进行增强处理(在图5中以步骤S513示出)，也即不执行步骤S507至S512。

阶段3：电子设备检索第一优质五官图像并利用第一优质五官图像对待增强五官图像进行增强处理，检索优质面部图像并利用优质面部图像对待增强面部图像进行增强处理，得到增强肖像。

S507，电子设备获取与第一图像的待增强五官图像匹配的第一优质五官图像。

在本申请实施例中，图像数据库50中存储有历史图像的人脸聚类标签、五官图像、面部图像、肖像、背景图像、面部评分结果、五官评分结果、人脸本征信息。其中，该历史图像是指电子设备在获取到第一图像之前存储到图像数据库50中的人物图像。

在本申请实施例中，第一优质五官图像包括第一眉毛图像、第一眼睛图像、第一鼻子图像、第一嘴巴图像、以及第一耳朵图像，且第一优质五官图像中的每个五官部位对应的图像可以来源于同一张图像或来源于不同图像。以下介绍电子设备具体如何选取与待增强五官图像匹配的第一优质五官图像中的各项五官部位对应的图像。以下为便于描述，将第一图像中的待增强五官图像对应的人脸聚类标签所对应的人物称为目标人物。

1)第一眉毛图像

示例性的，电子设备确定眉毛图像集合以及确定该眉毛图像集合中眉毛评分结果最优的眉毛图像作为上述第一眉毛图像。其中，该眉毛图像集合中的任意一项眉毛图像来源于目标人物，且该眉毛图像集合中的任意一项眉毛图像的眉毛评分结果优于待增强五官图像中的眉毛图像，以及该眉毛图像集合中的任意一项眉毛图像的眉毛评分结果均满足对应的评分阈值，例如，该眉毛图像集合中的任意一项眉毛图像的眉毛评分结果为N项清晰度值和色彩对比度相关的参数，则该N项清晰度值均满足对应的预设清晰度阈值，且该色彩对比度反映的立体度信息较优。上述确定该眉毛图像集合中眉毛评分结果最优的眉毛图像作为上述第一眉毛图像具体可以包括：基于眉毛评分函数和相应的加权系数将该N项清晰度值和色彩对比度的相关参数计算眉毛综合评分结果，基于眉毛综合评分结果选取该眉毛图像集合中清晰度最优的眉毛图像作为该第一眉毛图像。本申请所描述的加权系数的具体取值根据具体情况和具体需求而定。

需要说明的是，该眉毛图像集合中的任意一项眉毛图像的眉毛评分结果优于待增强五官图像中的眉毛图像，可以是指该眉毛图像集合中的任意一项眉毛图像的N项清晰度值和色彩对比度相关的参数均对应地优于待增强五官图像中的眉毛图像。或者，也可以是指该眉毛图像集合中的任意一项眉毛图像的眉毛综合评分结果优于待增强五官图像中的眉毛综合评分结果。

2)第一眼睛图像

示例性的，电子设备先确定眼睛图像集合，再确定该眼睛图像集合中眼睛评分结果最优的眼睛图像作为上述第一眼睛图像。其中，该眼睛图像集合中的任意一项眼睛图像来源于目标人物，且眼睛图像集合中的任意一项眼睛图像的眼睛评分结果优于待增强五官图像中的眼睛图像，以及该眼睛图像集合中的任意一项眼睛图像的眼睛评分结果满足对应的评分阈值，例如该眼睛图像集合中的任意一项眼睛图像的眼睛评分结果包含N项清晰度和眼睛睁开程度，则该N项清晰度值均满足对应的预设清晰度阈值，且该眼睛睁开程度大于或等于预设睁开程度。上述确定该眼睛图像集合中眼睛评分结果最优的眼睛图像作为上述第一眼睛图像具体可以包括：基于眼睛评分函数和相应的加权系数计算该N项清晰度值和该眼睛睁开程度对应的眼睛综合评分结果，基于该眼睛综合评分结果选取该眼睛图像集合中得分最优的眼睛图像作为该第一眼睛图像。在另外一些可能的实现方式中，眼睛图像集合中的每一项眼睛图像还需要满足包含眼神光的条件。

需要说明的是，该眼睛图像集合中的任意一项眼睛图像的眼睛评分结果优于待增强五官图像中的眼睛图像，可以是指该眼睛图像集合中的任意一项眼睛图像的N项清晰度值和眼睛睁开程度均对应地优于待增强五官图像中的眼睛图像的N项清晰度值以及眼睛睁开程度。或者，也可以是指该眼睛图像集合中的任意一项眼睛图像的眼睛综合评分结果优于待增强五官图像中的眼睛综合评分结果。

3)第一鼻子图像

示例性的，电子设备先确定鼻子图像集合，再确定该鼻子图像集合中鼻子评分结果最优的鼻子图像作为上述第一鼻子图像。其中，该鼻子图像集合中的任意一项鼻子图像来源于目标人物，且该鼻子图像集合中的任意一项鼻子图像的眼睛评分结果优于待增强五官图像中的鼻子图像，以及该鼻子图像集合中的任意一项鼻子图像的鼻子评分结果满足对应的评分阈值，例如该鼻子图像集合中的任意一项鼻子图像的鼻子评分结果包含N项清晰度和高光信息的相关参数，则该N项清晰度值均满足对应的预设清晰度阈值，且高光信息的相关参数反映的立体度信息较优。上述确定该鼻子图像集合中鼻子评分结果最优的鼻子图像作为上述第一鼻子图像具体可以包括：基于鼻子评分函数和相应的加权系数计算该N项清晰度值和该高光信息的相关参数对应的鼻子综合评分结果，基于该鼻子综合评分结果选取该鼻子图像集合中得分最优的鼻子图像作为该第一鼻子图像。

需要说明的是，该鼻子图像集合中的任意一项鼻子图像的眼睛评分结果优于待增强五官图像中的鼻子图像，可以是指该眼睛图像集合中的任意一项眼睛图像的N项清晰度值和高光信息均对应地优于待增强五官图像中的眼睛图像。或者，也可以是指该眼睛图像集合中的任意一项眼睛图像的眼睛综合评分结果优于待增强五官图像中的眼睛综合评分结果。

4)第一嘴巴图像

示例性的，电子设备先确定嘴巴图像集合，再确定该嘴巴图像集合中嘴巴评分结果最优的嘴巴图像作为上述第一嘴巴图像。其中，该嘴巴图像集合中的任意一项嘴巴图像来源于目标人物，且该嘴巴图像集合中的任意一项嘴巴图像的嘴巴评分结果优于待增强五官图像中的嘴巴图像，以及该嘴巴图像集合中的每一项嘴巴图像的嘴巴张开程度小于预设张开程度。上述确定该嘴巴图像集合中嘴巴评分结果最优的嘴巴图像作为上述第一嘴巴图像具体可以包括：基于嘴巴评分函数和相应的加权系数计算该纹理值和该嘴巴张开程度信息对应的嘴巴综合评分结果，基于该嘴巴综合评分结果选取该嘴巴图像集合中得分最优的嘴巴图像作为该第一嘴巴图像。

需要说明的是，该嘴巴图像集合中的任意一项嘴巴图像的嘴巴评分结果优于待增强五官图像中的嘴巴图像，可以是指该嘴巴图像集合中的任意一项嘴巴图像的纹理值和嘴巴张开程度均对应地优于待增强五官图像中的嘴巴图像。或者，也可以是指该嘴巴图像集合中的任意一项嘴巴图像的嘴巴综合评分结果优于待增强五官图像中的嘴巴综合评分结果。

5)第一耳朵图像

示例性的，电子设备先确定耳朵图像集合，再确定该耳朵图像集合中耳朵评分结果最优的耳朵图像作为上述第一耳朵图像。其中，该耳朵图像集合中的任意一项耳朵图像来源于目标人物，且该耳朵图像集合中的任意一项耳朵图像的耳朵评分结果优于待增强五官图像中的耳朵图像，以及该耳朵图像集合中的任意一项耳朵图像的耳朵评分结果满足对应的评分阈值，例如该耳朵图像集合中的任意一项耳朵图像的耳朵评分结果为N项清晰度值，则该N项清晰度值均满足对应的预设清晰度阈值。上述确定该耳朵图像集合中耳朵评分结果最优的耳朵图像作为上述第一耳朵图像具体可以包括：基于耳朵评分函数和相应的加权系数将耳朵图像的N项清晰度值综合为一个清晰度值，基于综合的清晰度值选取该耳朵图像集合中综合清晰度最优的耳朵图像作为该第一嘴巴图像。

需要说明的是，该耳朵图像集合中的任意一项耳朵图像的耳朵评分结果优于待增强五官图像中的耳朵图像，可以是指该耳朵图像集合中的任意一项耳朵图像的N项清晰度值均对应地优于待增强五官图像中的耳朵图像的N项清晰度值。或者，也可以是指该耳朵图像集合中的任意一项耳朵图像的耳朵综合评分结果优于待增强五官图像中的耳朵综合评分结果。

S508，电子设备利用第一优质五官图像对待增强五官图像进行五官增强处理，获得增强后的五官图像。

也可以理解为将第一优质五官图像中包含的优质的五官特征作为引导对待增强面部图像进行增强处理，该优质的五官特征可以包括但不限于：清晰的画质、细腻的嘴唇纹理、眉毛对比度清晰(毛流感好)、清晰的耳朵、鼻子区域较好的几何立体感中的一项或多项。

可选的，利用第一优质五官图像对待增强五官图像进行五官增强处理的方法可以包括但不限于传统方法或深度学习方法。

例如电子设备可以通过深度学习在隐编码层对待增强五官图像进行增强，具体的，利用训练好的五官增强网络模型对待增强五官图像和第一优质五官图像进行特征提取，基于提取到的特征信息进行特征拟合计算，以便于进行特征融合或特征迁移，使得将第一优质五官图像中的优质特征融合到待增强五官图像中，对待增强五官图像进行增强。

示例性的，利用第一优质五官图像对待增强五官图像进行五官增强可以包括但不限于：嘴唇纹理细节的增强、眉毛对比度的增强(以使得增强眉毛区域的毛流感细节)、鼻子区域色彩对比度的增强(以使得提高鼻子区域对应图像的几何立体度)、耳朵清晰的增强、眼神光的光斑轮廓清晰度和光斑亮度的增强、眼睛虹膜色彩信息和虹膜纹理的增强。其中，眼睛虹膜色彩信息和虹膜纹理的增强具体包括但不限于：在虹膜信息库中查询与上述待增强五官图像的虹膜颜色相似度较高的参考虹膜图像，基于该参考虹膜图像的虹膜纹理信息和色彩信息，对该待增强五官图像的虹膜纹理和虹膜色彩进行增强处理，其中该虹膜信息库中可以包含两个或两个以上不同虹膜颜色的清晰且纹理细节优质的虹膜样板图像。

具体的，可以基于五官图像训练集和机器学习原理训练得到的上述五官增强模型，具体的可以是基于有监督学习方法或无监督学习方法训练得到，其中，该五官增强模型的训练目标是，当向模型中输入原始图像(或称原始五官图像)和该原始图像对应的优质图像(或称优质五官图像)后，提取两张图像的特征信息进行特征融合或特征迁移计算，输出的图像的画质清晰度更高、嘴唇区域图像纹理更多、眉毛区域图像的毛流感更佳(例如对比度更明显)、鼻子几何立体度更好(例如体现鼻子几何阴影信息)、眼神光的光斑轮廓更清晰和光斑亮度更好、眼睛虹膜色彩和虹膜纹理细节更好。

在本申请实施例中，五官增强模型可以是集成网络也可以是多个子网络的集合，该集成网络将基于第一眼睛图像、第一眉毛图像、第一嘴巴图像、第一耳朵图像、以及第一鼻子图像对待增强五官图像进行图像增强的功能集成到同一个模型；示例性的，该多个子网络包括基于第一眼睛图像对待增强五官图像中的眼睛图像进行增强处理的子网络、基于第一鼻子图像对待增强五官图像中的鼻子图像进行增强处理的子网络、基于第一嘴巴图像对待增强五官图像中的嘴巴图像进行增强处理的子网络、基于第一耳朵图像对待增强五官图像中的耳朵图像进行增强处理的功能对应的子网络、基于第一鼻子图像对待增强五官图像中的鼻子图像进行增强处理的功能对应的子网络。

示例性的，基于有监督学习方法训练得到上述五官增强模型，上述五官图像训练集至少包括两组样本数据，每一组样本数据包含样本图像1、样本图像2、以及样本图像3，样本图像1与样本图像3属于相同肖像图像的两张不同图像质量的五官图像，其中样本图像3的五官图像质量优于样本图像1，样本图像2与样本图像1对应同一人物(例如可以是相同人物的头部姿态和/或脸部微表情有所差异的两张不同图像)、且该样本图像2的五官图像质量优于样本图像1的五官图像质量，该样本图像1和样本图像2可以作为五官增强模型中原始五官图像的输入，样本图像3可以作为五官增强模型的输出图像的对比图像(也可以理解为约束图像)，该样本图像3可以用于指导五官增强模型中卷积层的损失函数和梯度回传。

例如，上述样本图像1可以是对上述样本图像3进行降质操作得到的、包含暗光场景下图像质量较差的、存在欠曝或过曝区域的质量较差的五官图像，五官评分较低的五官图像。

示例性的，基于无监督学习方法训练得到上述五官增强模型，上述五官图像训练集至少包括两组样本数据，每一组样本数据包含样本图像4和样本图像5，该样本图像4和样本图像5作为五官增强模型中原始五官图像的输入，该五官增强模型包括生成模型和对抗模型，其中生成模型用于以样本图像5作为指导图像生成与样本图像4对应的增强处理后的输出图像，对抗模型为预训练好的用于评判输出图像是否符合增强效果的评判网络，样本图像4与样本图像5对应同一人物且该样本图像5的五官图像质量优于样本图像4的五官图像质量。

在一种可能的实现方式中，上述五官增强网络模型可以对电子设备中存储的所有历史人物图像的五官图像进行特征编码，并存储五官编码数据，当电子设备调用该五官增强网络模型对待增强五官图像进行增强时，五官增强网络模型可以直接查询与该待增强五官图像对应的五官编码数据，以及筛选比该待增强五官图像更优质的历史人物图像的特征编码数据，利用优质的五官编码数据和该待增强五官图像的五官编码数据进行特征融合处理，以对该待增强五官图像进行增强处理。也就是说，该五官增强网络模型可以达到上述步骤S507的功能效果，这种情况下，电子设备可以不再执行上述步骤S507。

示例性的，利用传统方法对待增强五官图像进行增强是指，可以利用泊松函数、拉普拉斯函数，对第一优质五官图像中的像素值进行分析统计，提取图像的特征，例如提取的特征包括但不限于嘴唇的纹理特征(例如可以基于嘴唇图像的LBP、灰度共生矩阵、分形维数等计算嘴唇纹理特征)、眉毛对比度特征、鼻子几何立体度特征，获得图像质量好的该第一优质五官图像中像素值的分布情况，以及对待增强五官图像的像素值进行分析，并基于该第一优质五官图像中像素值的分布情况指导修正该待增强五官图像中的像素值，以使得处理得到的图像的画质清晰度更高、嘴唇区域图像纹理更多、眉毛区域图像的毛流感更佳、鼻子几何立体度更好、眼神光的光斑轮廓更清晰和光斑亮度更好、眼睛虹膜色彩和虹膜纹理细节更好。

可理解的，第一优质五官图像的评分较优也即清晰度越好，也可以理解为，第一优质五官图像是在光照环境比较好的条件下拍的，而光照环境较好的条件下拍得的五官必然立体感更强、眉毛的细节更清晰、鼻子更清晰高挺、嘴唇细节更清晰、五官的光影感更真实，从而利用第一优质五官图像对待增强图像进行增强，可以达到很好的增强效果。

S509，电子设备获取与第一图像的待增强面部图像匹配的优质面部图像。

示例性的，电子设备获取上述优质面部图像有以下两种可选的实现方式：

方式1：电子设备基于上述待增强面部图像的人脸聚类标签、待增强面部图像的面部评分结果、以及图像数据库50，获取与该待增强面部图像匹配的优质面部图像。

具体的，电子设备基于图像数据库50、第一图像的人脸聚类标签获取面部图像集合A，该面部图像集合A中的每一个人物图像的人脸聚类标签包含于第一图像的人脸聚类标签、且每一个人物图像的面部评分结果均优于第一图像的面部评分结果，以及，电子设备确定该面部图像集合A中的评分最优的面部图像作为上述优质面部图像。示例性的，面部图像的评分结果为面部纹理值，面部纹理值的具体计算方法参照步骤S504中的相关说明，相应地面部图像集合A中的最优评分是指面部评分集合A中面部纹理值最优的历史图像。

方式2：电子设备基于第一图像的人脸聚类标签、第一图像的面部评分结果、第一图像的头部姿态、以及图像数据库50，获取与第一图像匹配的优质面部图像。

具体的，电子设备基于图像数据库50、第一图像的人脸聚类标签获取上述面部评分集合A，基于评分X(评分X为面部评分集合A中的每一个评分)对应的历史图像的头部姿态、第一图像的头部姿态、第一图像的面部评分结果、以及该评分X，确定该评分X对应的历史图像的面部综合评分结果，得到综合面部评分集合B，确定该综合面部评分集合B中的最高评分对应的历史图像的面部图像作为上述优质面部图像。示例性的，可以将第一图像的头部姿态与评分X对应的历史图像的头部姿态的差值、和评分X的加权和作为该历史图像的面部综合评分结果。具体的加权数可以根据实际情况调整，本文对此不做限定。

在本申请实施例中，上述第一优质五官图像和优质面部图像还满足来源于未执行过图像增强处理的人物图像的条件。

S510，电子设备利用优质面部图像对待增强面部图像进行面部增强处理，获得增强后的面部图像。

也可以理解为将优质面部图像中包含的优质的面部特征作为引导对待增强面部图像进行增强处理，该优质的面部特征可以包括但不限于：清晰且细腻的皮肤纹理、自然的色调。

可选的，可以基于传统方法或深度学习方法利用优质面部图像对待增强面部图像进行面部增强处理，或者也可以基于OpenCV图像处理方法等其他方法利用优质面部图像对待增强面部图像进行面部增强处理，本文对此不做限定。

利用优质面部图像对待增强面部图像进行面部增强处理，可以包括但不限于：基于‘有指导人脸增强’的原理对待增强面部图像进行面部增强，具体的，利用训练好的面部增强网络模型对待增强面部图像和优质面部图像进行特征提取，基于提取到的特征信息进行特征拟合计算(也可以理解为特征融合或特征迁移)，使得将优质面部图像中的优质特征融合到待增强面部图像中。

具体的，可以基于面部图像训练集和有监督学习方法或无监督学习方法的机器学习原理训练得到的上述面部增强模型，其中，该面部增强模型的训练目标是，当向模型中输入原始图像(或称原始面部图像)和该原始图像对应的优质图像(或称优质面部图像)后，提取两张图像的特征信息进行特征融合或特征迁移计算，输出画质清晰度更高、脸部纹理细节更多的增强图像。

示例性的，基于有监督学习方法训练得到上述面部增强模型，上述面部图像训练集至少包括两组样本数据，每一组样本数据包含样本图像A，样本图像B、以及样本图像C，样本图像A与样本图像C属于相同肖像的两张不同图像质量的面部图像，其中样本图像C的面部图像质量优于样本图像A；样本图像B与样本图像A对应同一人物(头部姿态、脸部微表情有所差异的两张不同图像)、且该样本图像B的面部图像质量优于样本图像A的面部图像质量，该样本图像A和样本图像B可以作为五官增强模型中原始五官图像的输入，样本图像C可以作为五官增强模型的输出图像的对比图像(也可以理解为约束图像)，该样本图像C可以用于指导五官增强模型中卷积层的损失函数和梯度回传。

例如，该样本图像A可以是对该样本图像C进行降质操作(也即降低图像质量)得到的、包含暗光场景下图像质量较差的、存在欠曝或过曝区域的质量较差的面部图像，面部评分较低的面部图像。

基于传统方法利用优质面部图像对待增强面部图像进行面部增强处理，可以包括但不限于：利用泊松函数、拉普拉斯函数，对优质面部图像中的像素值进行分析统计，提取图像特征，例如提取的特征包括但不限于面部纹理特征(例如可以基于面部图像的LBP、灰度共生矩阵分形维数等计算面部纹理特征)，以获得图像质量好的该优质面部图像中像素值的分布情况，以及对待增强面部图像的像素值进行分析，并基于该优质面部图像中像素值的分布情况指导修正该待增强面部图像中的像素值。

可理解的，将优质面部图像中细腻、色调自然的皮肤纹理迁移或融合到待增强图像中，从而可以提升待增强面部图像的面部肤质清晰度、纹理细腻程度、人像真实感。

例如，当待增强图像的光照属于暗光场景的情况下，采用上述优质的面部特征作为引导对该待增强面部图像进行增强处理，增强后的面部图像其皮肤纹理会更细腻、色调更自然，一方面，增强后的面部图像包含细腻、色调自然的皮肤纹理，可以解决暗光场景下人像噪点高、细节涂抹现象严重的问题；另外一方面，优质面部图像的光照充足，增强后的面部图像中包含的皮肤纹理对应的像素点也是光照充足的，从而还可以改善暗光场景下光照不足、导致图像清晰度欠佳、图像亮度较低的问题。

例如，当待增强图像存在欠曝或过曝区域的情况下，采用上述优质的面部特征作为引导对该待增强面部图像进行增强处理，增强后的面部图像中与待增强面部图像的欠曝或过曝区域对应的区域，填补了相应的细腻、色调自然的皮肤纹理细节，从而可以改善欠曝或过曝场景下人像细节缺失的问题。

例如，当待增强图像存在因离焦、数字变焦或抖动造成的人像模糊、细节涂抹的情况下，采用上述优质的面部特征作为引导对该待增强面部图像进行增强处理，增强后的面部图像中与待增强图像的细节涂抹区域对应的区域会包含更多的纹理细节信息，增强后的面部图像的整体会包含更细腻、色调更自然的皮肤纹理，也即人像模糊问题也可以得到改善，从而可以改善因离焦、数字变焦或抖动造成的人像模糊、细节涂抹的问题。

S511，电子设备基于增强后的五官图像和增强后的面部图像融合得到增强肖像A。

为便于描述，以下将第一图像的肖像中除了面部图像和五官图像之外的其他部分图像简称为剩余图像。

在本申请实施例中，对增强后的五官图像、增强后的面部图像、以及剩余图像进行图像融合具体可以包括：将该增强后的五官图像、增强后的面部图像、以及剩余图像进行拼图处理，并对拼图的边缘进行平滑处理。

示例性的，电子设备基于图像融合方法对增强后的五官图像、增强后的面部图像、以及剩余图像进行图像融合以及色彩校正，得到上述增强肖像A。示例性的，图像融合方法可以有泊松图像融合、色彩迁移图像融合、拉普拉斯金字塔图像融合等方法，例如可以通过自适应实例标准化(adaptive instance normalization，AdaIN)方法实现风格迁移，对增强后的五官图像、增强后的面部图像、以及剩余图像进行图像融合，合成得到上述增强肖像A。

在本申请实施例中，电子设备基于图像融合方法对增强后的五官图像、增强后的面部图像、以及剩余图像进行图像融合，既可以将增强后的五官图像和增强后的面部图像进行拼图以及对拼图边缘进行平滑处理，还可以基于该增强后的五官图像和该增强后的面部图像的色彩信息对该剩余图像进行色彩校正，色彩校正后的该剩余图像(例如衣服区域的图像)的清晰度、光照色彩与增强后的脸部图像一致。

在另外一种可能的实现方式中，融合得到上述增强肖像A后，电子设备还可以对该增强肖像A中的第一区域进行色彩校正，该第一区域包括增强肖像A中色彩不均匀的区域、光照不协调的区域、欠曝区域、过曝区域中的一项或一项以上。

例如，增强肖像A的五官图像基于第一优质五官图像增强得到，该第一优质五官图像中的每个五官区域图像可能来源于同一人物的多种不同图像，也就是说第一优质五官图像中的每个单独的五官区域图像之间的光照、色彩、曝光信息会有所差异，则增强后的各个五官图像之间也可能会存在明显的光照不均匀、色彩不均匀或过曝欠曝问题，基于此，在得到上述增强肖像A后，再对增强肖像A中的色彩不均匀的区域、光照不协调的区域、欠曝区域、过曝区域进行色彩校正，改善增强后的各个五官图像之间也可能会存在明显的光照不均匀、色彩不均匀、过曝、或欠曝的问题。

示例性的，电子设备可以基于增强肖像A的HSV颜色模型，确定增强肖像A中是否存在色彩或光照不均匀现象、过曝或欠曝现象、以及具体的色彩不均匀的区域、光照不协调的区域、欠曝或过曝区域。或者也可以基于深度学习的方法构建曝光检测模型，将第一图像输入该曝光检测模型，该曝光检测模型可以输出第一图像的曝光区域的语义分割mask，以此确定第一图像中是否存在过曝或欠曝现象、以及过曝区域或欠曝区域。

示例性的，对该增强肖像A中的欠曝或过曝区域进行色彩校正(也可以理解为曝光矫正)可以包括：基于深度学习方法使用曝光矫正模型对该增强肖像A进行曝光矫正。例如，使用大量欠曝或过曝的图像作为训练集，基于曝光矫正模型中间输出的曝光区域的语义分割mask的准确性、以及与欠曝或过曝图像对应的曝光情况良好的图像作为约束集，设计该曝光矫正模型的损失函数，基于深度学习方法获得该曝光矫正模型。或者，对该增强肖像A中的欠曝或过曝区域进行曝光矫正还可以是基于泊松融合方法对增强肖像A进行曝光矫正，本文对此不做限定。或者，也可以基于其他本领域技术人员熟知的曝光矫正方法对增强肖像A进行曝光矫正，本文对此不做限定。

阶段4：电子设备将增强肖像A与背景图像进行背景融合增强，以获得图像处理后的第二图像。

S512，电子设备对增强肖像A和第一图像的背景图像进行背景融合增强得到第二图像。

在本申请实施例中，对增强肖像A和第一图像的背景图像进行背景融合增强具体包括：对增强肖像A和第一图像的背景图像进行拼图处理，并对该增强肖像A和该背景图像的拼图进行边缘平滑处理，消除拼图边缘突兀感，以使得增强后得到的图像更自然。

在一些可能的实现方式中，在增强肖像A与第一图像的原始背景图像之间满足色彩不均匀条件或满足光照不协调条件的情况下，电子设备还可以利用第一增强肖像对第一图像的原始背景图像进行色彩校正，以使得增强后得到的图像更自然。

例如，电子设备基于人物处理子系统30中的图像特征提取，提取增强肖像A和第一图像的背景图像的颜色特征，基于色彩迁移技术、自适应实例标准化(AdaIN)、风格迁移网络、或光照校准网络技术，利用该增强肖像A的色彩信息对该背景图像的色彩进行矫正，进一步减小增强肖像A与背景图像之间的色彩差异(或称光照色彩差异)，使得合成后的第二图像更自然。

例如，第一图像为暗光场景下模糊的、细节缺失的图像，增强肖像B为第一图像进行五官增强、面部增强处理过的、光照信息较佳的图像，而背景图像则未进行增强处理、光照信息较差(例如模糊)的图像，则电子设备可以基于该增强肖像B的像素点的色彩信息调整该背景图像的像素点的像素值，协调图像整体色差。

在本申请实施例中，电子设备获得上述第二图像后，可以删除已存储的第一图像的相关数据(包含第一图像的原始图像、人像抠图语义、人脸解析语义、人脸本征信息、头部姿态、五官评分结果、以及面部评分结果)，并将所述第一图像的索引与所述第二图像建立关联关系，将第二图像作为历史图像存储图像数据库50中。以及，将第二图像设置为已进行过图像增强的图像(具体可以通过为第二图像添加预设标识的方式实现)，用以表示该第二图像为已进行图像增强过的图像，以使得该第二图像不会再作为其他待增强图像的优质图像，也即不会利用第二图像对其他待增强图像进行增强处理。

在另外一些可能的实现方式中，电子设备还可以对第一图像的脖子区域对应的图像和/或头发区域对应的图像做单独增强处理。示例性的，电子设备可以基于人脸解析获取第一图像中的脖子和头发部分对应的图像。其中，对第一图像的脖子区域对应的图像做单独增强处理可以包括但不限于：对脖子区域对应的图像进行清晰度和纹理细腻度增强。对第一图像的头发区域对应的图像做单独增强处理可以。包括但不限于：对头发的光泽度进行增强处理，对头发区域的对比度进行增强处理。

在本申请实施例中，对图像进行相应的增强是指对图像进行相应的处理使得图像质量变得更好，例如由差变好。例如对图像的纹理进行增强是指：将纹理不清晰的图像增强为纹理更为细腻的图像；对图像的曝光情况进行增强是指：将图像中的过曝或欠曝区域，增强为曝光正常或较正常的图像，也即增强是指使得图像质量变得更好。

以下结合图6所示的方法流程图详细说明上述图2所示的图像处理方法中利用优质肖像或利用优质肖像和第二优质五官图像对第一图像进行增强的一种具体实现方式。如图6所示，该图像处理方法可以包括以下几个阶段和对应的方法步骤。

阶段1：电子设备获取到第一图像后，确定第一图像是否包含人脸，在确定包含人脸的情况下，进入阶段2。

S601，电子设备获取第一图像。

关于如何获取第一图像可以参照本文其他实施例的相关说明，例如上述步骤S501中的相关说明，在此不再详述。

S602，电子设备基于人脸检测确定第一图像是否存在人脸。

关于如何确定第一图像是否存在人脸可以参照本文其他实施例的相关说明，例如上述步骤S502，在此不再详述。

在确定第一图像存在人脸的情况下，电子设备执行步骤S603、S605、S606、S607；在确定第一图像不存在人脸的情况下，电子设备不解析第一图像也不对第一图像进行增强处理(在图6中以步骤S614示出)，也即不执行步骤S603至S612。

阶段2：电子设备获取第一图像的相关数据，具体包括：人脸聚类标签、人像抠图数据(包含待增强肖像和背景图像)、人脸解析数据、画质评分结果、五官评分结果、以及面部评分结果。

S603，电子设备获取第一图像对应的待增强肖像和背景图像。

示例性的，电子设备通过人物处理子系统30中的人像处理模块的人像抠图功能获取第一图像对应的待增强肖像和背景图像。

在本申请中，电子设备获取到第一图像的待增强肖像和背景图像后，可以将其存储在本地存储空间中，也可以存储到电子设备的云服务器端，本文对此不做限定。

S604，电子设备获取第一图像的画质评分结果、五官评分结果以及面部评分结果。

在本申请实施例中，第一图像的画质评分的评分标准与评分区域对应的图像的清晰度相关，评分区域对应的图像的清晰度越好则画质评分结果越优，该评分区域可以是第一图像中整张图像，也可以是第一图像中的人像区域(也即肖像区域)。

示例性的，电子设备在拍摄照片时会自动标记当前拍照模式，例如自动模式、人像模式、夜景模式、专业模式等。对于不同的模式，在进行画质评分时，评分区域有所不同。示例性的，在进行画质评分时会读取当前照片的拍照模式，若为人像拍照模式，那么画质评分区域只对人像区域进行评价。若为自动拍照模式，那么评分区域为整张图像。可理解的，由于人像模式下人物图像中的背景图像默认均会有一定的模糊程度，则在计算该人物图像的模糊度时，不考虑该人物图像的背景图像的模糊度，得到的画质评分结果更具代表性。

在本申请实施例中，第一图像的画质评分结果可以为与N种清晰度计算方法对应的N项清晰度值，N大于或等于2，该N项清晰度值中的每一个清晰度值均可以用于代表第一图像的清晰度。或者，第一图像的画质评分结果也可以为N项清晰度值对应的百分制或等级制结果，本文对此不做限定。关于清晰度值的计算方法参考上文相关描述，在此不再赘述。

上述N种清晰度值包括但不限于Brenner梯度函数、Laplacian梯度函数、SMD(灰度方差)函数、无参考图像评价指标(NIQE)、Brisque。其中，一般情况下，Brenner梯度函数、Laplacian梯度函数、以及SMD函数计算得到的值越大清晰度越好；NIQE的值越小，表示图像清晰度越好。可理解的，若仅采用一种清晰度计算方法评估图像的清晰度，评估结果可能会不太客观，基于此，可以综合清晰度的各种不同统计方法的计算结果评估图像的清晰度，进一步提高清晰度评估结果(例如画质评分结果)的客观性。上述有关清晰度计算的函数仅为示例，还可以有其他可以达到相同效果的算法或模型，其为本领域技术人员熟知的技术，在此不再叙述。

示例性的，电子设备在获取到第一图像的人脸解析数据后对第一图像的五官图像进行评分，以及对第一图像的面部图像进行评分。关于五官评分结果、面部评分结果、以及电子设备具体如何获取第一图像的五官评分结果和面部评分结果的说明，可以参照本文其他实施例的相关说明，在此不再详述，例如上述步骤S504。

S605，电子设备获取第一图像的人脸聚类标签。

关于具体如何获取第一图像的人脸聚类标签可以参照本文其他实施例的相关说明(例如步骤S505)，在此不再详述。

在本申请中，电子设备获取到第一图像的人脸聚类标签后，可以将其存储在本地存储空间中，也可以存储到云端，本文对此不做限定。

S606，电子设备确定第一图像是否满足增强条件。

关于具体如何确定第一图像是否满足增强条件可以参照本文其他实施例的相关说明(例如步骤S506)，在此不再详述。

在确定第一图像满足增强条件的情况下，电子设备执行步骤S607；在确定第一图像不满足增强条件的情况下，电子设备不对第一图像进行增强处理(在图6中以步骤S613示出)，也即不执行步骤S607至S612。

阶段3：检索优质肖像并利用优质肖像对待增强肖像进行增强处理，得到增强肖像A。

S607，电子设备获取与第一图像的待增强肖像匹配的优质肖像。

电子设备中或电子设备的云服务器中(例如图像数据库50中)存储有历史人物图像的人脸聚类标签、人像抠图数据(包含待增强肖像和背景图像)、人脸解析数据、画质评分结果、五官评分结果、面部评分结果、人脸本征信息、以及头部姿态。其中，该历史人物图像是指电子设备在获取到第一图像之前存储的。

以下提供三种选取优质肖像的方式：

方式1：电子设备可以基于历史人物图像的画质评分结果、五官评分结果、以及面部评分结果选取上述优质肖像。

示例性的，电子设备可以先基于第一图像的人脸聚类标签和第一图像的画质评分结果确定肖像图像集合A，再确定该肖像图像集合A中评分最优的肖像图像作为上述优质肖像，该肖像集合A中的任意一个肖像图像与待增强肖像来源于相同的目标人物，该肖像图像集合A中的任意一个肖像图像的画质评分结果满足预设画质评分阈值。例如，该肖像图像集合A中的任意一个肖像图像对应的画质评分结果包含N种清晰度算法对应的N个清晰度值，则该N个清晰度值均满足对应的预设清晰度阈值。上述确定该肖像图像集合A中评分最优的肖像图像作为上述优质肖像包括：基于肖像评分函数和相应的加权系数将肖像图像集合A中的每一个肖像图像对应的面部评分结果和五官评分结果综合为一个评分值作为排序依据，基于综合的评分值选取该肖像图像集合A中评分最优的肖像图像作为该优质图像。

方式2：电子设备基于历史人物图像的画质评分结果、五官评分结果、面部评分结果、以及头部姿态旋转角选取上述优质肖像。

示例性的，电子设备可以先基于第一图像的人脸聚类标签和第一图像的画质评分结果确定肖像图像集合A，再确定该肖像图像集合A中评分较优且肖像图像的头部姿态旋转角与第一图像的肖像图像的头部姿态旋转角差异较小的肖像图像作为上述优质肖像。例如，该肖像集合A中的任意一个肖像图像对应的画质评分结果包含N种清晰度算法对应的N个清晰度值，则该N个清晰度值均满足对应的预设清晰度阈值。上述确定该肖像图像集合A中评分较优且肖像图像的头部姿态旋转角与第一图像的肖像图像的头部姿态旋转角差异较小的肖像图像作为上述优质肖像包括：基于第一图像的肖像图像的头部姿态旋转角确定肖像图像集合B，再确定该肖像图像集合B中评分最优的肖像图像作为上述优质肖像，该肖像图像集合B中的任意一个肖像图像来源于该肖像图像集合A，且该肖像图像集合B中的任意一个肖像图像的头部姿态旋转角与第一图像的肖像图像的头部姿态旋转角的差值小于预设欧拉角阈值，上述确定该肖像图像集合B中评分最优的肖像图像作为上述优质肖像包括：基于肖像评分函数和相应的加权系数将肖像图像集合B中的每一个肖像图像对应的面部评分结果和五官评分结果综合为一个评分值作为排序依据，基于综合的评分值选取该肖像图像集合B中评分最优的肖像图像作为该优质图像。

方式3：电子设备先基于上述方式1选取优质肖像(例如记为优质肖像A)，再确定该优质肖像A与第一图像的头部姿态旋转角的差值是否小于预设欧拉角阈值，若是，则电子设备确定基于该优质肖像A对待增强肖像进行图像增强；若该优质肖像A与第一图像的头部姿态旋转角的差值大于或等于预设欧拉角阈值，则电子设备基于方式2重新选取优质肖像(例如记为优质肖像B)，基于该优质肖像B对待增强肖像进行图像增强。

在本申请实施例中，上述肖像图像集合A、肖像图像集合B中的任意一个肖像图像对应的画质评分结果具体可以是该肖像图像对应的人物图像的整体图像的画质评分结果，也可以是该肖像图像对应的人物图像的肖像图像区域的画质评分结果。

基于第一图像的人脸聚类标签、第一图像的画质评分结果、五官评分结果、面部评分结果、以及图像数据库50，获取与上述待增强肖像匹配的优质肖像。例如，可以将与第一图像中对应的人脸聚类标签一致的历史图像的画质评分结果、面部评分结果、以及五官评分结果的加权和作为该历史图像的综合肖像评分，基于综合肖像评分获取评分最高的历史图像的肖像作为上述优质肖像。具体的加权数可以根据实际情况调整，本文对此不做限定。

S608，电子设备利用优质肖像对待增强肖像进行增强处理，获得增强肖像A。

例如，可以采用深度学习方法在隐编码层利用优质肖像对待增强肖像进行增强处理。具体的，将优质肖像和该待增强肖像输入肖像增强网络模型，该肖像增强网络模型对优质肖像和该待增强肖像进行特征提取，基于提取到的特征信息进行特征融合计算，输出增强肖像A。其中，该肖像增强网络模型基于样本数据训练得到。

在本申请实施例中，肖像增强模型可以采用有监督学习方法或无监督学习方法训练得到，本文对此不做限定。

示例性的，采用有监督学习方法和至少两组实验数据训练得到肖像增强模型，具体的，实验数据包括第一样本图像、第二样本图像、以及第三样本图像，该第一样本图像和该第二样本图像作为该肖像增强模型的输入，该第三样本图像作为第一输出图像的约束图像，该第一输出图像为该第一肖像增强模型中输出的与该第一样本图像对应的增强处理后的图像，该第一样本图像和该第三样本图像包含相同肖像的两张不同图像质量的肖像，该第三样本图像的图像质量优于该第一样本图像的图像质量，该第二样本图像包含第一参考肖像、且该第二样本图像的图像质量优于该第一样本图像，该第一样本图像包含的肖像图像与该第一参考肖像对应同一人物；或者，

示例性的，采用无监督学习方法和至少两组实验数据训练得到肖像增强模型，具体的，该实验数据包括第四样本图像和第五样本图像，该肖像增强模型包括生成模型和对抗模型，该生成模型用于以该第五样本图像作为指导图像生成与该第四样本图像对应的增强处理后的第二输出图像，该对抗模型为预训练好的用于评判该第二输出图像是否符合增强效果的评判网络，该第五样本图像包含第二参考肖像、且该第五样本图像的图像质量优于该第四样本图像，该第四样本图像包含的肖像图像与该第二参考肖像对应同一人物。

在一种可能的实现方式中，电子设备还可以对增强肖像A中的第二区域进行色彩校正，该第二区域包括增强肖像A中色彩不均匀的区域、光照不协调的区域、欠曝区域、过曝区域中的一项或一项以上。具体可以参照图5中S511中关于对增强肖像A中的第一区域进行色彩校正的相关说明。

阶段4：对增强肖像A与背景图像进行背景融合增强，以获得图像处理后的第二图像。

S609，电子设备对增强肖像A和第一图像的背景图像进行背景融合增强得到第二图像。

具体可以参照本文其他实施例的相关说明(例如步骤S512)，在此不再详述。

在另外一些可能的实现方式中，电子设备还可以对第一图像的脖子区域和/或头发区域对应的图像进行单独增强，具体可以参照上述实施例1中的相关说明，在此不再详述。

在另外一种可能的实现方式中，若上述优质肖像的头部姿态与待增强肖像的头部姿态相差较大，例如头部姿态差值大于或等于预设欧拉角阈值(例如预设欧拉角阈值可以为10或20，本文对此不做限定)，则电子设备可以基于三维人脸重建技术或NerfGAN技术对优质肖像进行头部姿态矫正，基于矫正后肖像图像对上述待增强肖像进行增强处理。

示例性的，电子设备可以对该优质肖像进行3D人脸重建，基于待增强肖像的头部姿态对3D人脸模型进行头部姿态矫正，利用矫正后的3D人脸模型对应的2D图像对待增强肖像进行增强处理，以下结合如图6中S610至S612所示的步骤加以说明。具体的，在步骤S608电子设备获取到优质肖像后，执行如下步骤：

S610，电子设备确定优质肖像的头部姿态与第一图像的头部姿态的差值是否大于或等于预设欧拉角阈值。

例如，电子设备可以通过调用人物处理子系统30中的人脸属性估计模型中的头部姿态估计对优质肖像和第一图像的头部姿态进行估计。若优质肖像的头部姿态与第一图像的头部姿态的差值小于预设欧拉角阈值，则电子设备通过执行步骤S609至S610以获得增强处理后的与第一图像对应的第二图像。若优质肖像的头部姿态与第一图像的头部姿态的差值大于或等于预设欧拉角阈值，则电子设备执行步骤S611。

S611，电子设备对优质肖像进行3D人脸重建，获得3D人脸模型。

例如，电子设备基于优质肖像、优质肖像的人脸本征信息、优质肖像的纹理特征、边缘特征以及空间几何特征、对优质肖像进行3D人脸重建。例如优质肖像的人脸本征信息可以通过人物特征检索子系统20中的人脸属性特征参数检索得到或通过调用人物处理子系统30中的人脸属性估计模型中的人脸本征估计对优质肖像进行人脸本征估计得到。优质肖像的纹理特征、边缘特征以及空间几何特征可以通过人物处理子系统30中的特征提取模块提取得到。

S612，电子设备基于待增强图像的头部姿态对3D人脸模型进行头部姿态矫正，并将矫正后的3D人脸模型渲染为2D图像，获得矫正后的优质肖像。

关于具体如何进行3D人脸重建、如何旋转3D人脸模型的头部姿态欧拉角进行头部姿态矫正、以及如何将矫正后的3D人脸模型渲染为2D图像，为本领域技术人员熟知的技术，在此不再详述。

电子设备在执行完S612获取到矫正后的优质肖像后，基于该矫正后的优质肖像执行S608至S609以获得第二图像。其中，在步骤S608中，电子设备利用该矫正后的优质肖像进行增强处理，获得上述增强肖像A。

在一种可能的实现方式中，电子设备还可以检索与第一图像匹配的第二优质五官图像，在上述步骤S608之后，电子设备可以利用该第二优质五官图像对增强肖像(例如增强肖像A)进行五官增强处理。

如图7所示，电子设备在步骤S608之后，执行如下步骤：

S615，电子设备获取第二优质五官图像。

在本申请实施例中，第二优质五官图像可以是比第一图像中对应的五官图像的图像质量更优的五官图像，也可以是比增强肖像A中对应的五官图像的图像质量更优的五官图像。

在本申请实施例中，图7所示的步骤S615在步骤S608之后执行仅为示例，该步骤S615与S608可以同时执行也可以先后执行，且本文对其先后执行的顺序也不做限定。例如，步骤S615也可以在‘步骤S602之后以及步骤S608之前’的任意一个步骤执行，本文对此不做限定。

S616，电子设备利用第二优质五官图像对增强肖像A进行五官单独增强处理，得到五官单独增强后的增强肖像A。

示例性的，上述第二优质五官图像包含第二鼻子图像、第二嘴巴图像、第二眉毛图像、具体的，利用第二优质五官图像对增强肖像A进行五官单独增强处理可以包括但不限于：基于该第二嘴巴图像对增强肖像A中的嘴唇区域的图像进行色彩和纹理增强处理；基于该第二眉毛图像对增强肖像A中的眉毛区域的图像进行色彩对比度增强处理；基于该第二鼻子图像对增强肖像A中的鼻子图像进行立体度增强处理；对增强肖像A中包含的眼神光的光斑轮廓清晰度和光斑亮度进行增强处理；获取虹膜信息库与增强肖像A的虹膜色彩信息的相似度较高的第一参考虹膜图像，基于第一参考虹膜图像对增强肖像A的眼睛部位的虹膜进行虹膜纹理和虹膜色彩的增强处理。

关于如何获取与第一图像匹配的第二优质五官图像，可以参照上述步骤S507中获取第一优质五官图像相关的类似说明，在此不再详述。

在一些可能的实现方式中，电子设备还可以对增强肖像A中包含的眼神光的光斑轮廓清晰度和光斑亮度进行增强处理；和/或，获取虹膜信息库与增强肖像A的虹膜色彩信息的相似度较高的第一参考虹膜图像，基于第一参考虹膜图像对增强肖像A的眼睛部位的虹膜进行虹膜纹理和虹膜色彩的增强处理。

在本申请实施例中，电子设备基于第二优质五官图像对增强肖像A进行五官增强处理，以及增强肖像A中包含的眼神光的光斑轮廓清晰度和光斑亮度进行增强处理、基于第一参考虹膜图像对增强肖像A的眼睛部位的虹膜进行虹膜纹理和虹膜色彩的增强处理的功能，可以包含于上述步骤S608中所描述的肖像增强模型中，也可以是独立于该肖像增强模型之外的一个单独的增强模型，本文对此不做限定。

在本申请实施例中，电子设备在执行完S616得到五官单独增强后的增强肖像A后，基于该五官单独增强后的增强肖像A执行步骤S609，也即对该五官单独增强后的增强肖像A和第一图像的背景图像进行背景融合增强得到第二图像。

在一种可能的实现方式中，在上述图5和图7中，电子设备在确定第一图像满足增强条件之后，还可以基于电子设备的当前设备状态确定是否对第一图像进行数据解析以及图像增强处理。

如图8所示，在步骤S502确定第一图像存在人脸之后，电子设备执行如下步骤：

S801，电子设备确定当前电量是否大于或等于预设电量阈值。

例如，预设电量阈值可以是电子设备的满电电量的30％或50％，本文对此不做限定。

若电子设备确定当前电量大于或等于预设电量阈值，则电子设备执行步骤S503至S512。若电子设备确定当前电量小于预设电量阈值，则执行步骤S802。

S802，电子设备存储第一图像。

电子设备将第一图像作为历史图像存储到上述图像数据库中。例如，电子设备还可以在存储第一图像时，记录该第一图像属于人物图像。

S803，电子设备确定当前是否处于充电灭屏状态且当前电量大于或等于预设电量阈值，或者，是否接收到用户主动触发的关于该第一图像的图像增强请求。

在本申请实施例中，电子设备存储第一图像之后，若确定设备当前处于充电灭屏状态且当前电量大于或等于预设电量阈值，或者，接收到用户主动触发的关于该第一图像的图像增强请求，则电子设备对该第一图像执行步骤S503至S512。若电子设备当前既未处于充电灭屏状态或当前电量小于预设电量阈值、也未接收到用户主动触发的关于该第一图像的图像增强请求，则电子设备循环执行步骤S803，具体可以是周期性执行，本文对此不做限定。

例如，电子设备可以周期性地确定存储的人物图像中，是否存在属于人物图像的历史参考图像且电子设备中未存储有该历史参考图像的人物抠图数据、人脸解析数据、相关评分数据(例如五官评分结果、以及面部评分结果中的一项或多项)、人脸本征信息等数据。若电子设备确定存在该参考图像、且电子设备当前处于充电灭屏状态、以及电子设备的当前电量大于或等于预设电量阈值，则电子设备主动对该历史参考图像(其中这里的历史参考图像包括存储到图像数据库中的上述第一图像)执行步骤S503至S512。

例如，电子设备中的图库应用可以向用户展示图像数据库存储的图像，并向用户提供发起图像增强请求的入口，电子设备在接收到用户主动触发的关于该第一图像的增强请求后，无论电子设备的当前设备状态为何种状态，均对第一图像执行步骤S503至S512。

可理解的，如图8所示的关于是否对第一图像进行数据解析以及图像增强处理的方案，也同样也适用于本申请图6所示的方法图像增强方法，在此不再详述。

在一种可能的实现方式中，若在拍照场景获取到的上述第一图像，电子设备可以基于图8所示的电量控制方法确定是否对第一图像采用本申请提供的方法进行图像增强。示例性的，对于拍照获取到的第一图像，若电子设备当前电量大于或等于上述预设电量阈值，则电子设备对第一图像进行图像增强；若电子设备确定当前电量小于上述预设电量阈值，则将第一图像作为历史图像存储。之后，若电子设备接收到用户主动请求对存储的第一图像进行图像处理的指令，则立即获取优质图像第一图像进行增强处理，优先满足用户需求。若电子设备未接收到用户主动请求对第一图像进行图像处理的指令，则电子设备可以在设备处于充电灭屏状态且当前电量大于或等于预设电量阈值的情况下，再采用本申请提供的图像增强方法对电子设备中存储的该第一图像进行图像增强处理，改善图像增强对设备的电能损耗问题。

在另外一种可能的实现方式中，若电子设备基于数据下载方式在第一时间(例如第一时间为1分钟)内获取到至少两张第一图像，则电子设备在确定当前电量大于或等于预设电量阈值且设备当前处于充电灭屏状态的情况下，采用本申请提供的图像处理方法对第一图像进行图像增强；若电子设备当前电量小于预设电量阈值，则将获取到的上述至少两张第一图像作为历史图像存储。

可理解的，数据传输例如蓝牙、NFC传输等就有一定的电能损耗，且若用户通过蓝牙或NFC等方式获取第一图像，也可以理解为当前用户对设备的使用需求较高，则基于本申请提供的方法，这种场景下电子设备需要满足电量大于或等于所述预设电量阈值且处于充电灭屏状态的情况，才能对获取到的人物图像进行增强处理，在达到图像增强效果的同时，改善图像增强为设备带来的电能损耗问题，以及为电子设备保持较好的电量状态以保障用户的设备使用需求。

以下结合如图9所示的时序图，详细介绍在拍照场景中，电子设备中的图库应用如何采用本申请提供的图像处理方法对获得的图像进行增强处理。

如图9所示，在拍照场景中，电子设备执行本申请提供的图像处理方法所涉及的模块包括相机应用、图库应用、判断模块、人像处理模块、评分模块、人脸属性估计模块、增强融合模块、以及图像数据库。

阶段1：人脸检测。

S901，相机应用基于用户操作拍摄获取第一图像，并向图库应用发送该第一图像，相应地，图库应用接收该第一图像。

例如，电子设备基于用户操作启用相机应用，并在接收到拍摄指令后拍摄得到第一图像。

S902，图库应用调用人像处理模块对第一图像进行人脸检测，获得人脸检测结果。

人像处理模块对第一图像进行人脸检测，并向图库应用发送人脸检测结果，相应地，图库应用接收该人脸检测结果。

若人脸检测结果指示第一图像中包含人脸图像，则电子设备执行步骤S903、S904、以及S905。若人脸检测结果指示第一图像中不包含人脸图像，则电子设备不对第一图像进行人脸数据解析以及图像增强处理。

在一种可能的实现方式中，图库应用在确定第一图像中包含人脸图像后，还可以将该第一图像存储到图像数据库中，并为该第一图像标上人物图像的标签，或者，人像处理模型确定第一图像包含人脸后，将第一图像存储到图形数据库中，并为该第一图像标上人物图像的标签。

若图库应用确定第一图像中不包含人脸图像，也可以将该第一图像存储到该图像数据库中，或者将该第一图像存储到除了该图像数据库之外的另外一个数据库(例如称数据库A)，该数据库A用于存储不包含人脸的图像，本文对此不做限定。

在本申请实施例中，图像数据库可以存储在电子设备的本地存储空间中，也可以存储在电子设备的云服务器端，本文对此不做限定。

阶段2：获取图像数据并确定图像增强任务的执行时机。

S903，图库应用调用人像处理模块对第一图像进行人脸聚类、人像抠图、人脸解析、以及人脸特征提取。

人脸抠图数据包括第一图像的肖像和背景图像，人脸解析数据包括但不限于第一图像的待增强五官图像、待增强面部图像，人脸特征数据包括但不限于：人脸关键点、人脸纹理特征。在一些可能的实现方式中，人脸解析数据还可以包括人像的头发、脖子、以及饰品对应的图像。

在本申请实施例中，人像处理模块获取到第一图像的聚类标签、人像抠图数据、人脸解析数据、以及人脸特征数据后，将其存储到图像数据库中。

S904，图库应用调用人脸属性估计模块对第一图像进行头部姿态估计。

关于第一图像的头部姿态以及人脸本征信息等的说明可以参照上文其他实施例的相关说明，例如上述步骤S505中的相关说明，在此不再详述。

在本申请实施例中，人脸属性估计模块获取到将第一图像的头部姿态后，将其存储到图像数据库中。

S905，图库应用调用判断模块确定第一图像是否满足增强条件，获得判断结果。

关于增强条件、以及判断模块具体如何判断第一图像是否满足增强条件可以参照上文相关说明，例如步骤S506中的相关说明。

在确定判断结果为第一图像满足增强条件的情况下，执行步骤S906。在确定判断结果为第一图像不满足增强条件的情况下，不对第一图像进行图像增强处理。

S906，图库应用调用评分模块对第一图像以及图像数据库中未评分的人物图像进行图像评分。

上述图像评分可以包括画质评分、面部评分以及五官评分。

示例性的，评分模块可以获取图像数据库中存储的相关人脸数据，并根据图像数据库返回的相关人脸数据进行图像评分。

例如，图像评分包含画质评分、面部评分以及五官评分，则评分模块向图像数据库获取第一图像的肖像、面部图像以及五官图像(也可以是第一图像对应的人像抠图数据和人脸解析数据)、以及获取图像数据库中除了该第一图像之外的其他未评分的人物图像的肖像、面部图像、五官图像(也可以是该未评分人物图像对应的人像抠图数据和人脸解析数据)。评分模块获取到第一图像的面部图像和五官图像、以及获取图像数据库中未评分的人物图像的面部图像和五官图像后，相应地进行画质评分、面部评分以及五官评分，并将人物图像对应的画质评分结果、面部评分结果以及五官评分结果存储到图像数据库中。

具体如何对图像进行画质评分、五官评分、或面部评分，可以参照本文其他相关说明，例如上述步骤S504或上述步骤S604，在此不再详述。

在一种可能的实现方式中，也可以由判断模块调用评分模块执行上述步骤S906，也即判断模块在确定第一图像满足增强条件的情况下，调用评分模块对第一图像以及图像数据库中未评分的图像进行面部评分、以及五官评分，本文对此不做限定。

阶段3：确定图像增强任务的执行时机并对第一图像进行图像增强。

S907，图库应用确定图像数据库中人物图像的评分数据是否完善。

在本申请实施例中，人物图像的评分数据是指图像数据库中存储的除了已进行过图像增强之外的全部人物图像的评分数据，该评分数据包含人物图像的画质评分结果、面部评分结果和五官评分结果。

例如，评分数据是指人物图像的画质评分结果、面部评分结果以及五官评分结果，则若图像数据库中已存储有所有人物图像(包括第一图像)的画质评分结果、面部评分结果和五官评分结果，则人物图像的评分数据完善。也可以说明图像数据库中已存储有所有人物图像(包括第一图像)的肖像、面部图像、五官图像、以及头部姿态。

在本申请实施例中，图库应用可以周期性查询图像数据库中人物图像的评分数据是否完善。

可理解的，如果图库应用确定第一图像满足增强条件之后，不确认图像数据库中人物图像的评分数据是否完善就立即调用增强融合模块对第一图像进行人脸增强，就可能存在图像数据库中存储的人物图像的数据缺失，无法向增强融合模块提供对第一图像进行人脸增强所需的数据的问题，出现无法预知的代码运行错误(bug)，降低程序代码的成功率。

S908，图库应用在确定第一图像满足增强条件、且图像数据库中图像的评分数据完善的情况下，调用增强融合模块对第一图像进行图像增强处理。

可理解的，增强融合模块可以基于图像数据库中存储的人物图像的相关数据(包括人物图像的聚类标签、人像抠图数据、人脸解析数据、人脸特征数据、头部姿态、以及图像评分数据)，通过图5或图6所示的任意一种图像处理方法对第一图像进行图像增强处理，得到上述第二图像。例如可以基于步骤S507至S512对第一图像进行图像增强处理。也可以基于步骤S607至S609对第一图像进行图像增强处理，或者，也可以基于S607、S610至S612、以及S609对第一图像进行图像增强处理，或者也可以基于S607至S609以及S615至S616对第一图像进行图像增强处理，或者，也可以基于S607至S616对第一图像进行图像增强处理，还可以基于图7所示的图像处理方法对第一图像进行图像增强处理。

在本申请实施例中，增强融合模块在获取到第二图像后，将第二图像存储到图像数据库中。例如，增强融合模块删除原始的第一图像，将第二图像存储到图像数据库中。

在另外一种可能的实现方式中，电子设备在接收到用户主动触发的关于上述第一图像的增强请求且该第一图像包含人脸图像的情况下，电子设备也可以基于上述图9所示的S902至S908所示的图像增强方法对第一图像进行图像增强处理。

在本申请实施例中，如图8所示的基于当前设备状态确定是否对第一图像进行数据解析以及图像增强处理的方法也同样适用于图9所示的方法流程图，在此不再详述。例如，在步骤S902确定第一图像存在人脸之后，执行S801，并在确定电子设备的当前电量大于或等于预设电量阈值的情况下，执行步骤S903至S908。以及，在确定电子设备的当前电量小于预设电量阈值的情况下执行步骤S802至S803，其中在S802中对第一图像执行步骤S903和S904，在确定电子设备处于充电灭屏状态或接收到用户发起的针对该第一图像的图像增强请求后执行步骤S905至S908。

示例性的，在一些场景中，电子设备在接收到用户的拍摄指令后，获取包含人脸的上述第一图像并存储到图库中，在电子设备满足相应的设备状态且第一图像满足增强条件的情况下，对第一图像进行增强处理，并在接收到关于该第一图像的显示操作后，显示增强处理后的上述第二图像。

例如，如图10所示，电子设备通过相机应用拍照获取图像A，该图像A中包含肖像图像；具体的，如图10用户界面10A所示，电子设备在接收到关于拍照控件1001的点击操作后，拍摄得到该图像A，将拍摄到的图像A存储到图库应用中，并如图10用户界面10B所示在图像预览区域1002显示该图像A的缩小图。

示例性的，电子设备在拍摄获得上述图像A后，确定当前电量是否大于或等于预设电量阈值。若电子设备的当前电量大于或等于预设电量阈值，则电子设备基于上述步骤S903至S908在图像A满足增强条件的情况下，对图像A进行图像增强处理，得到与图像A对应的增强好的图像B，并如用户界面10C所示，将显示图像A替换为显示该图像B，该图像B的图像质量优于图像A。

示例性的，若用户当前通过电子设备在户外拍摄M(M大于或等于1)张人物图像，电子设备在确定当前电量大于或等于预设电量阈值时，采用本申请提供的任一种图像处理方法对该M张人物图像进行图像增强，当处理到第X张(X小于或等于M)人物图像后发现电子设备的当前电量小于预设电量阈值时，则停止对其他人物图像进行增强处理，从而可以为电子设备保持相当的电量以保障用户的户外活动的设备需求。

在一种可能的实现方式中，若在电子设备完成对图像A的增强已获得图像B之后，接收到查看该图像A的指令(例如如图10用户界面10B所示，电子设备接收到关于上述图像预览区域1002的点击操作)，则电子设备显示增强好的图像B。若在电子设备对图像A进行图像增强以获得图像B的过程中，接收到关于图像预览区域1002的点击操作，则电子设备可以先显示图像A，并输出图像增强中的提示信息(例如该提示信息为提示正在加载中的任意形式的提示信息)，以及在获得增强好的图像B之后，将显示图像A替换为显示该图像B。

示例性的，如图10中的图像A和图像B的效果图所示，图像A满足增强条件中的画质模糊条件，采用本申请提供的图像处理方法对该第一图像进行处理后，得到图像B。其中，该图像B中的面部区域的清晰度更高、纹理细节更多(具体可以是基于优质肖像对待增强肖像进行增强得到，也可以是基于优质面部图像对待增强面部图像进行增强得到)，五官区域的清晰度更高、嘴唇纹理细节更丰富、眉毛毛流感更佳、鼻子立体感更佳、眼睛中眼神光的光斑轮廓的更好清晰度以及光斑亮度更好、眼睛中虹膜纹理细节和色彩信息更好(具体可以是基于优质肖像对待增强肖像进行增强得到，也可以是基于优质五官图像对待增强五官图像进行增强得到)，图像的整体画质清晰度更佳，例如衣服区域的清晰度更高(例如可以是基于优质肖像对待增强肖像进行增强得到)，例如原始背景图像区域的清晰度更高(具体可以是基于增强后的肖像对原始背景图像进行色彩校正得到)，脖子区域的清晰度更高、纹理细节更多(具体可以是对脖子区域单独进行清晰度和纹理增强处理得到)，头发区域的清晰度和光泽感更好(具体可以是对头发区域单独进行清晰度、对比度、光泽度增强处理得到)。

在本申请实施例中，电子设备可以通过图库应用向用户提供手动触发对图像A进行增强的功能，也就是说用户可以通过图库应用手动触发请求对图像A进行增强。

示例性的，电子设备中存储有上述图像A，且该图像A未进行过图像增强处理。电子设备基于用户操作通过图库应用显示如图11所示的用户界面11A，该用户界面11A包含该图像A以及工具栏，工具栏中包含人像增强控件1101，该人像增强控件1101即为电子设备通过图库应用向用户提供的手动触发对图像A进行增强的功能。电子设备在接收到关于该人像增强控件1101的点击操作后，基于上述步骤S903至S908对该图像A进行图像增强，并如图11用户界面11B所示，显示增强好的照片，也即显示图像A对应的增强好的图像B。具体的，电子设备对该图像A进行图像增强得到该图像B后，利用该图像B替换该图像A存储到图库应用中。

可理解的，工具栏还可以包含编辑控件、收藏控件、删除控件等，本文对此不做限定。

在一些可能的实现方式中，电子设备通过图库应用显示一张参考照片时，对应的显示界面中的工具栏中是否包含上述人像增强控件1101可以根据该参考照片是否包含肖像以及该参考照片是否满足增强条件确定。示例性的，若参考照片包含肖像且该参考照片满足增强条件，则该参考图像对应的显示界面中的工具栏中包含人像增强控件1101，若参考照片不包含肖像或参考照片不满足增强条件，则该参考图像对应的显示界面中的工具栏中可以不包含人像增强控件1101。

在另外一些可能的场景中，电子设备也可以基于数据下载的方式(例如网页下载、网盘下载、蓝牙数据传输、近场通信NFC等数据传输方式)在短时间内获取到至少一张上述第一图像。

在这种场景中，若电子设备在短时间内通过数据下载的方式接收到大量的第一图像(例如接收到的第一图像的数量大于或等于两张)，则电子设备可以基于当前设备状态确定是否对该大量的第一图像进行数据解析以及图像增强处理。

具体的，电子设备确定设备当前是否处于充电灭屏状态以及当前电量是否大于或等于预设电量阈值，若电子设备当前处于充电灭屏状态且当前电量大于或等于预设电量阈值，则基于上述步骤S902至S908对接收到的上述大量的第一图像进行数据解析和图像增强处理。若电子设备当前未处于充电灭屏状态，或当前电量小于预设电量阈值，则电子设备将该大量的图像存储到图像数据库中，并在电子设备处于充电灭屏状态且当前电量大于或等于预设电量阈值后，电子设备对图像数据库中评分数据未完善的图像(也即包含上述大量的图像)通过上述步骤S902至S908所示的图像增强方法进行数据解析和图像增强处理。

在另外一种可能的实现方式中，若电子设备在短时间内通过数据传输的方式接收到少量的图像(例如接收到的图像的数量为1)，则电子设备可以基于上述步骤S902至S908所示的图像增强方法对接收到的图像进行图像增强处理。或者，若电子设备在短时间内通过数据传输的方式接收到少量的图像、且电子设备确定当前电量大于或等于上述预设电量阈值的情况下，基于上述步骤S902至S908所示的图像增强方法对接收到的图像进行图像增强处理。或者，若电子设备在短时间内通过数据传输的方式接收到少量的图像、且电子设备确定当前电量小于预设电量阈值的情况下，电子设备存储该少量的图像，并在电子设备处于充电灭屏状态后，基于上述步骤S902至S908所示的图像增强方法对接收到的图像进行图像增强处理。

在本申请实施例中，上述实施例1或实施例2中图像数据库中存储的人物图像的面部图像、五官图像、肖像、背景图像，可以以人像抠图mask和人脸解析mask的方式存储，例如如图1所示，直接存储人物图像的人像抠图语义分割mask，和103至108所示的人脸解析语义分割mask。或者，电子设备也可以是以单份图像数据的方式存储面部图像、五官图像、肖像、以及背景图像，例如如图1所示，以单独的一份图像数据的方式存储人物图像中肖像101和背景图像102，以及以单独的一份图像数据的方式存储103至108中的每一项图像，根据具体设计和需求而定，本文对此不做限定。

在一些可能的实现方式中，第一图像中包含的肖像的数量大于或等于2，则电子设备可以分别对每一个肖像进行图像增强处理。示例性的，第一图像包含肖像A和肖像B，则电子设备可以分别将该肖像A和肖像B作为上述图6所示的待增强肖像，分别利用与肖像A对应的优质肖像对肖像A、利用肖像B对应的优质肖像对肖像B进行增强处理。或者，电子设备也可以分别将该肖像A的五官图像和肖像B的五官图像分别作为图5所示的待增强五官图像，分别利用与该肖像A的五官图像对应的优质五官图像对该肖像A的五官图像进行增强处理、利用与该肖像B的五官图像对应的优质五官图像对该肖像B的五官图像进行增强处理，以及将肖像A的面部图像和肖像B的面部图像分别作为图5所示的待增强面部图像，分别利用与该肖像A的面部图像对应的优质面部图像对该肖像A的面部图像进行增强处理、利用与该肖像B的面部图像对应的优质面部图像对该肖像B的面部图像进行增强处理。

可理解的，可以由任意具备运行图像处理算法和模型的电子设备执行本申请实施例提供的图像增强方法。该电子设备的形态可以包括但不限于非折叠屏手机终端、折叠屏手机终端、平板终端、笔记本电脑、桌面型计算机、膝上型计算机、或手持计算机等，本文对此不做限定。

请参阅图12，以图12所示的电子设备100为例，详细说明本申请提供的电子设备的结构示意图。

电子设备100可以包括处理器110，外部存储器120，内部存储区121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，传感器模块170，按键180，摄像头190，以及显示屏191。其中传感器模块170可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图12所示中更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图12所示的部件可以以硬件，软件或软件和硬件的组合实现。例如，电子设备100还可以包括音频模块(扬声器、受话器、麦克风、耳机接口等)、用户标识模块(subscriber identification module，SIM)卡接口、以及马达等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

示例性的，处理器110可以用于执行图4-图9任一项所示的图像处理方法，或者，处理器110也可以结合上述外部存储器120，内部存储区121，充电管理模块140，电源管理模块141、无线通信模块160，传感器模块170，按键180，摄像头190，以及显示屏191中的一项或多项，配合执行行图4-图9任一项所示的图像处理方法。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异不收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备输出声音信号，或通过显示屏191显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备100通过GPU，显示屏191，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏191和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

电子设备100可以通过ISP，摄像头190，视频编解码器，GPU，显示屏191以及应用处理器等实现拍摄功能。

外部存储器120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储区121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储区121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储区121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储区121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

示例性的，内部存储区121或外部存储器120用于存储上文所描述的第一图像、第二图像、第一图像中的目标人物的历史图像(包含优质图像)。

图13是本申请实施例的电子设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将系统分为四层，从上至下分别为应用层，应用框架层，运行时(Runtime)和系统库，硬件抽象层，以及内核层。

应用层可以包括一系列应用程序包。

如图13所示，应用层中的应用程序包可以包括但不限于相机，图库，图像增强模块，系统管家等原因程序。该应用层中还可以包括通话、音乐、视频、短信等应用，本文对此不做限定。

其中，图像增强模块用于执行本申请提供的图像增强方法。示例性的，如图9所示，相机、图库、以及图像增强模块可以配合执行本申请提供的图像增强方法。

在另外一些可能的实现方式中，该图像增强模块也可以位于该软件构架的其他层级中，例如应用框架层、系统库、内核层等，此处不作限定。

应用框架层为应用层的应用程序提供应用编程接口(application programminginterface，API)和编程框架。应用框架层包括一些预先定义的函数。

如图13所示，应用框架层包括但不限于窗口管理器，内容提供器，通知管理器，电池管理。该应用框架层还可以包括视图系统，电话管理器，资源管理器等，本文对此不做限定。

示例性的，电子设备可以基于电池管理模块获取当前电量、以及确定当前是否处于充电灭屏状态。

窗口管理器用于管理窗口程序。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。视图系统包括可视控件，例如显示文字的控件，显示图像的控件等。视图系统可用于构建应用程序。电话管理器用于提供电子设备100的通信功能。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图像，布局文件，视频文件等等。通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。

运行时(Runtime)包括核心库和虚拟机。Runtime负责系统的调度和管理。

核心库包含两部分：一部分是编程语言(例如，jave语言)需要调用的功能函数，另一部分是系统的核心库。

应用层和应用框架层可以运行在虚拟机中。虚拟机可以将应用层和应用框架层的编程文件(例如，jave文件)执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库包括但不限于多个功能模块。例如：表面管理器(surface manager)，轻型数据库(SQLLite)，二维图形引擎(例如：SGL，媒体库(Media Libraries)等。该系统库还可以包括三维图形处理库(例如：OpenGL ES))等，本文对此不做限定。

硬件抽象层可以包括图形模块、蓝牙库模块、摄像头模块、以及硬件合成器。

示例性的，电子设备可以基于该蓝牙库模块通过蓝牙数据传输方式获取第一图像。

内核层是硬件和软件之间的层。内核层包含但不限于显示驱动，摄像头驱动，传感器驱动，设备驱动等。该内核层还可以音频驱动，虚拟卡驱动等，本文对此不做限定。

示例性的，电子设备可以基于上述摄像模块和摄像头驱动以拍照方式获取第一图像。

示例性的，本申请实施例提供的增强子系统10中的功能模块、人物处理子系统30中的功能模块、以及先验知识管理子系统40，可以包含于应用层中的图像增强模块，上述人物特征检索子系统20、以及图像数据库50可以包含于系统库的SQLLite。

可理解的，基于具体设计与需求，本申请实施例提供的增强子系统10中的功能模块、人物特征检索子系统20、人物处理子系统30中的功能模块、先验知识管理子系统40、以及图像数据库50还可以包含于位于其他层级，本文对此不做限定。

上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (31)

1.一种图像处理方法，其特征在于，所述方法包括：

获取第一图像，所述第一图像包含肖像图像；

获取与所述第一图像匹配的优质图像，所述优质图像来源于目标人物且所述第一图像中包含所述目标人物的肖像图像，所述优质图像的图像质量优于所述第一图像的图像质量；

利用所述优质图像对所述第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，得到与所述第一图像对应的第二图像，且所述第二图像的图像质量优于所述第一图像。

2.根据权利要求1所述的方法，其特征在于，

所述优质图像的图像质量优于所述第一图像的图像质量包括：所述优质图像的全局或局部清晰度、人脸皮肤纹理、以及五官细节优于所述第一图像，所述五官细节包括以下一项或一项以上：五官立体感、嘴唇纹理、眼神光的光斑清晰度、眼睛睁开程度、嘴巴张开程度；

所述第二图像的图像质量优于所述第一图像包括：所述第二图像的画质清晰度、面部清晰度、五官清晰度、人脸皮肤纹理、五官立体感、嘴唇纹理、眉毛区域的对比度反映的毛流感、眼睛区域中包含的眼神光的光斑轮廓清晰度、眼神光的光斑亮度、虹膜区域的纹理、虹膜区域的色彩中的一项或一项以上优于所述第一图像。

3.根据权利要求1或2所述的方法，其特征在于，所述优质图像至少包含面部图像和五官图像，

所述优质图像为一张图像中的肖像整体图像，所述肖像整体图像包含面部图像和五官图像；或者，所述优质图像为人脸不同部位对应的局部图像的图像集合、且所述优质图像中的每个五官区域来源于同一张图像或来源于不同图像；

所述利用所述优质图像对所述第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，包括：

基于所述优质图像中的面部图像对所述第一图像中的面部图像的面部纹理进行增强处理，和/或，基于所述优质图像中的五官图像对所述第一图像中对应的五官图像进行增强处理。

4.根据权利要求3所述的方法，其特征在于，所述基于所述优质图像中的五官图像对所述第一图像中对应的五官图像进行增强处理包括以下至少一项：

基于所述优质图像中的嘴巴图像对所述第一图像的嘴巴图像中的嘴唇纹理和色彩进行增强处理；

在所述第一图像的眼睛图像中包含眼神光的情况下，对所述眼神光的光斑轮廓清晰度和/或眼神光的光斑亮度进行增强处理；

基于第一参考虹膜图像对所述第一图像的眼睛部位的虹膜进行虹膜纹理和虹膜色彩的增强处理，所述第一参考虹膜图像与目标虹膜图像的相似度满足预设虹膜相似度条件，所述目标虹膜图像为所述第一图像中的虹膜图像，所述第一参考虹膜图像的色彩和纹理优于所述目标虹膜图像。

5.根据权利要求4所述的方法，其特征在于，所述基于所述优质图像中的五官图像对所述第一图像中对应的五官图像进行增强处理还包括以下至少一项：

基于所述优质图像中的眼睛图像对所述第一图像的眼睛图像的进行清晰度增强处理；

基于所述优质图像中的鼻子图像对所述第一图像的鼻子图像的清晰度和立体度进行增强处理；

基于所述优质图像中的眉毛图像对所述第一图像的眉毛图像的清晰度和毛流感进行增强处理；

基于所述优质图像中的耳朵图像对所述第一图像的耳朵图像的清晰度进行增强处理。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述优质图像包含肖像整体图像的优质肖像，所述优质肖像的画质清晰度、面部清晰度、五官清晰度、人脸皮肤纹理、五官立体感、以及嘴唇纹理优于所述第一图像的肖像图像。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述优质图像包含肖像整体图像的优质肖像，所述获取与所述第一图像匹配的优质图像包括：

确定第一肖像集合，所述第一肖像集合中的每一个肖像图像与所述第一图像来源于相同人物，所述第一肖像集合中的任意一个肖像图像的画质清晰度值满足预设画质清晰度阈值，所述第一肖像集合中任意一个肖像图像的肖像综合评分结果优于所述第一图像的肖像综合评分结果；

确定所述第一肖像集合中肖像综合评分结果最优的肖像图像作为所述优质肖像，所述优质肖像的肖像综合评分结果与以下一项或一项以上数据相关：所述优质肖像的面部清晰度、五官清晰度、人脸皮肤纹理、五官立体感、嘴唇纹理细节。

8.根据权利要求1-6任一项所述的方法，其特征在于，所述优质图像包含肖像整体图像的优质肖像，所述获取与所述第一图像匹配的优质图像包括：

确定第一肖像集合，所述第一肖像集合中的每一个肖像图像与所述第一图像来源于相同人物，所述第一肖像集合中的任意一个肖像图像的画质清晰度值满足预设画质清晰度阈值，所述第一肖像集合中任意一个肖像图像的肖像综合评分结果大于所述第一图像的肖像综合评分结果；

确定第一肖像图像，所述第一肖像图像为所述第一肖像集合中肖像综合评分结果最优的肖像图像，所述第一肖像图像的肖像综合评分结果与以下一项或一项以上数据相关：所述优质肖像的面部清晰度、五官清晰度、人脸皮肤纹理、五官立体感、嘴唇纹理细节；

在确定所述第一肖像图像的头部姿态与所述第一图像的肖像图像的头部姿态的差值大于或等于第一预设差值的情况下，确定是否存在第二肖像图像，所述第二肖像图像的头部姿态与所述第一图像的肖像图像的头部姿态的差值小于第二预设差值、且所述第二肖像图像的肖像综合评分结果包含于第二肖像集合，所述第二肖像集合为所述第一肖像集合中肖像综合评分结果由小到大排序的序列中排名靠前预设百分比的评分集合，所述第二预设差值小于或等于所述第一预设差值；

在确定存在所述第二肖像图像的情况下，确定第一参考图像集合中与所述第一图像的头部姿态的差值最小的肖像图像作为所述优质图像，第一参考图像集合包括至少一个所述第二肖像图像。

9.根据权利要求7或8所述的方法，其特征在于，所述优质肖像的画质清晰度值为目标评分区域对应的清晰度值；其中，在所述优质肖像对应的拍照模式为人像模式的情况下，所述目标评分区域为所述优质肖像中的肖像图像对应的区域，在所述优质肖像对应的拍照模式不为人像模式的情况下，所述目标评分区域为所述优质肖像对应的原始图像的全局图像区域，所述原始图像为与所述优质肖像对应的包含肖像图像和背景图像的图像。

10.根据权利要求7-9任一项所述的方法，其特征在于，所述第一肖像集合中的任意一个肖像图像的画质清晰度值包括N种清晰度算法对应的N个清晰度值，所述预设画质清晰度阈值包括N个清晰度阈值，所述N个清晰度阈值分别与所述N种清晰度算法对应，图像的所述N个清晰度值分别对应地满足所述N个清晰度阈值表示图像的清晰度好，所述N为大于或等于2的整数，

所述第一肖像集合中的任意一个肖像图像的画质清晰度值满足预设画质清晰度阈值包括：所述第一肖像集合中的任意一个肖像图像的所述N个清晰度值分别对应地满足所述N个清晰度阈值。

11.根据权利要求10所述的方法，其特征在于，所述N种清晰度算法包括Brenner梯度函数、Laplacian梯度函数、灰度方差SMD函数、无参考图像评价指标NIQE、Brisque算法中的一项或一项以上。

12.根据权利要求8-11任一项所述的方法，其特征在于，所述优质肖像的肖像综合评分结果与所述优质肖像对应的面部评分结果和五官评分结果相关，

其中，所述优质肖像对应的面部评分结果与所述优质肖像的面部皮肤纹理相关；

所述五官评分结果包括所述优质肖像的眼睛区域评分结果、鼻子区域评分结果、嘴巴区域评分结果、眉毛区域评分结果、以及耳朵区域评分结果，所述眼睛区域评分结果与所述优质肖像中眼睛区域图像的清晰度以及眼睛睁开程度相关，所述鼻子区域评分结果与所述优质肖像中鼻子区域图像的清晰度和高光信息相关，所述嘴巴区域评分结果与所述优质肖像中嘴巴区域图像的清晰度和嘴巴张开程度相关，所述眉毛区域评分结果与所述优质肖像中眉毛区域图像的清晰度相关，所述耳朵区域评分结果与所述优质肖像中耳朵区域图像的清晰度相关。

13.根据权利要求1-12任一项所述的方法，其特征在于，所述优质图像为属于肖像整体图像的优质肖像，所述利用所述优质图像对所述第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，包括：

在所述优质肖像的头部姿态与所述第一图像的肖像图像的头部姿态的差值大于或等于第三预设差值的情况下，采用三维人脸重建或NerfGAN技术，基于所述第一图像的肖像图像的头部姿态对所述优质肖像的头部姿态进行矫正，得到第三参考肖像，所述第三参考肖像中的头部姿态与所述第一图像的肖像图像的头部姿态的差值小于第四预设差值；

利用所述第三参考肖像对所述第一图像的肖像图像的整体图像进行图像增强处理。

14.根据权利要求3-5任一项所述的方法，其特征在于，所述优质图像包括优质面部图像和优质五官图像，所述优质面部图像包含人脸中的面部区域对应的局部图像，所述优质五官图像包含人脸中五官不同部位对应的局部图像，所述优质面部图像的面部纹理清晰度优于所述第一图像的面部纹理清晰度，所述优质五官图像中的五官清晰度、五官立体感、嘴唇纹理、眼神光的光斑清晰度、眼睛睁开程度、嘴巴张开程度中的一项或多项优于所述第一图像的五官图像。

15.根据权利要求3-5、14任一项所述的方法，其特征在于，所述优质图像包括优质面部图像和优质五官图像，所述优质五官图像包括第一嘴巴图像、第一眼睛图像、第一鼻子图像、第一眉毛图像、第一耳朵图像；

其中，所述优质面部图像为面部图像集合中面部评分分值最优的图像，所述面部图像集合中的每一项面部图像来源于所述目标人物，所述面部图像集合中的每一项面部图像的评分结果优于所述第一图像的面部图像的评分结果，所述优质面部图像的面部评分结果与面部纹理细腻度相关；

所述第一嘴巴图像为嘴巴图像集合中嘴巴评分分值最优的图像，所述嘴巴图像集合中的每一项嘴巴图像均来源于所述目标人物，所述嘴巴图像集合中的每一项嘴巴图像的评分结果优于所述第一图像的嘴巴图像的评分结果，所述第一嘴巴图像的嘴巴评分结果与嘴唇纹理以及嘴巴张开程度相关；

所述第一眼睛图像为眼睛图像集合中眼睛评分分值最优的图像，所述眼睛评分集合中的每一项眼睛图像均来源于所述目标人物，所述眼睛图像集合中的每一项眼睛图像的评分结果优于所述第一图像的眼睛图像的评分结果；所述第一眼睛图像的眼睛评分结果与眼睛图像的清晰度以及眼睛睁开程度相关；

所述第一鼻子图像为鼻子图像集合中鼻子评分分值最优的图像，所述鼻子图像集合中的每一项鼻子图像来源于所述目标人物，所述鼻子图像集合中的每一项鼻子图像的评分结果优于所述第一图像的鼻子图像的评分结果，所述第一鼻子图像的鼻子评分结果与鼻子图像的清晰度和高光信息相关；

所述第一眉毛图像为眉毛图像集合中眉毛评分分值最优的图像，所述眉毛图像集合中的每一项眉毛图像来源于所述目标人物，所述眉毛图像集合中的每一项眉毛图像的评分结果优于所述第一图像的眉毛图像的评分结果，所述第一眉毛图像的眉毛评分结果与眉毛图像的清晰度和色彩对比度相关；

所述第一耳朵图像为耳朵图像集合中耳朵评分分值最优的图像，所述耳朵图像集合中的每一项耳朵图像来源于所述目标人物，所述耳朵图像集合中的每一项耳朵图像的评分结果优于所述第一图像的耳朵图像的评分结果，所述第一耳朵图像的耳朵评分结果与耳朵图像的清晰度相关。

16.根据权利要求15所述的方法，其特征在于，所述嘴巴图像集合中的每一项嘴巴图像的嘴巴张开程度小于预设张开程度，所述眼睛图像集合中的每一项眼睛图像均包含眼神光以及眼睛睁开程度大于或等于预设睁开程度。

17.根据权利要求1-13任一项所述的方法，其特征在于，所述优质图像为属于肖像整体图像的优质肖像，所述优质肖像的图像质量优于所述第一图像的肖像图像的图像质量，所述利用所述优质图像对所述第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，得到与所述第一图像对应的第二图像，包括：

利用所述优质肖像对所述第一图像的肖像图像的整体图像进行图像增强处理，得到所述第二图像。

18.根据权利要求17所述的方法，其特征在于，所述利用所述优质肖像对所述第一图像的肖像图像的整体图像进行图像增强处理，得到所述第二图像，包括：

利用所述优质肖像对所述第一图像的中的肖像图像的整体图像进行增强处理，得到第一增强肖像；以及对所述第一增强肖像进行以下一项或一项以上增强处理得到所述第二图像：

基于优质嘴唇图像对所述第一增强肖像中的嘴唇图像的色彩和纹理进行增强处理，所述优质嘴唇图像与所述第一图像来源于相同人物，所述优质嘴唇图像的图像质量优于所述第一图像的嘴唇图像的图像质量；

在所述第一增强肖像中的眼睛中包含眼神光的情况下，对所述第一增强肖像的眼神光的光斑轮廓清晰度和/或眼神光的光斑亮度进行增强处理；

基于优质鼻子图像对所述第一增强肖像中的鼻子图像的立体度进行增强处理，所述优质鼻子图像与所述第一图像来源于相同人物，所述优质鼻子图像的图像质量优于所述第一图像的鼻子图像的图像质量；

基于优质眉毛图像对所述第一增强肖像中的眉毛图像的毛流感进行增强处理，所述优质眉毛图像与所述第一图像来源于相同人物，所述优质眉毛图像的图像质量优于所述第一图像的眉毛图像的图像质量；

基于第一参考虹膜图像对所述第一增强肖像的眼睛部位的虹膜进行虹膜纹理和虹膜色彩的增强处理，所述第一参考虹膜图像与目标虹膜图像的相似度满足预设虹膜相似度条件，所述目标虹膜图像为所述第一图像中的虹膜图像或为所述第一增强肖像中的虹膜图像，所述第一参考虹膜图像的色彩和纹理优于所述目标虹膜图像；

其中，所述优质嘴唇图像、所述优质鼻子图像、以及所述优质眉毛图像来源于同一张图像或不同图像。

19.根据权利要求1-5、14任一项所述的方法，其特征在于，所述优质图像包括优质面部图像和优质五官图像，所述优质面部图像包含人脸中的面部区域对应的局部图像，所述优质五官图像包含人脸中五官不同部位对应的局部图像，所述优质面部图像的图像质量优于所述第一图像的面部图像的图像质量，所述优质五官图像的图像质量优于所述第一图像的五官图像的图像质量，所述优质五官图像中的每个五官区域来源于同一张图像或来源于不同图像，所述利用所述优质图像对所述第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，包括：

利用所述优质五官图像对所述第一图像的五官图像进行五官增强处理，以及，利用所述优质面部图像对所述第一图像的面部图像进行面部增强处理。

20.根据权利要求1-13、17、18任一项所述的方法，其特征在于，所述优质图像为属于肖像整体图像的优质肖像，所述利用所述优质图像对所述第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，得到与所述第一图像对应的第二图像，包括：

利用所述优质肖像对所述第一图像的肖像图像的进行图像增强处理，得到第一增强图像，所述第一增强图像包含第一增强肖像和所述第一图像的原始背景图像，第一增强肖像的图像质量优于所述第一图像的肖像图像的图像质量；

在所述第一增强肖像与所述原始背景图像之间满足色彩不均匀条件或满足光照不协调条件的情况下，利用所述第一增强肖像对所述第一图像的原始背景图像进行色彩校正，得到所述第二图像，所述第二图像中的肖像图像与背景图像之间的色差优于所述第一增强肖像与所述原始背景图像之间色差。

21.根据权利要求20所述的方法，其特征在于，所述方法还包括：

对所述第一增强肖像中的第一区域进行色彩校正，所述第一区域包括所述第一增强肖像中色彩不均匀的区域、光照不协调的区域、欠曝区域、过曝区域中的一项或一项以上。

22.根据权利要求1-5、14-16、19任一项所述的方法，其特征在于，所述优质图像包括优质面部图像和优质五官图像，所述利用所述优质图像对所述第一图像中的肖像图像的整体图像和/或局部图像进行图像增强处理，得到与所述第一图像对应的第二图像，包括：

利用所述优质五官图像对所述第一图像的五官图像进行五官增强处理，得到增强后的五官图像，以及，利用所述优质面部图像对所述第一图像的面部图像进行面部增强处理，得到增强后的面部图像；

基于所述增强后的五官图像、增强后的面部图像、剩余图像、以及所述原始背景图像融合得到第二增强图像，所述第二增强图像包含第二增强肖像和所述第一图像的原始背景图像，所述第二增强肖像的图像质量优于所述第一图像的肖像图像的图像质量；

在所述第二增强肖像与所述原始背景图像之间满足色彩不均匀条件或满足光照不协调条件的情况下，利用所述第一增强肖像对所述第一图像的原始背景图像进行色彩校正，得到所述第二图像，所述第二图像中的肖像图像与背景图像之间的色差优于所述第一增强肖像与所述原始背景图像之间色差。

23.根据权利要求22所述的方法，其特征在于，所述方法还包括：

对所述第二增强肖像中的第二区域进行色彩校正，所述第二区域包括所述第二增强肖像中色彩不均匀的区域、光照不协调的区域、欠曝区域、过曝区域中的一项或一项以上。

24.根据权利要求1-23任一项所述的方法，其特征在于，所述获取与所述第一图像匹配的优质图像包括：

在所述电子设备的设备状态满足预设设备状态的情况下，获取所述优质图像，所述预设设备状态包括所述电子设备的当前电量大于或等于预设电量阈值，或者，所述预设设备状态包括所述电子设备的当前电量大于或等于预设电量阈值且所述电子设备处于充电灭屏状态；或者，

在所述电子设备接收到目标处理请求的情况下，获取所述优质图像，所述目标处理请求用于表示用户主动请求对所述第一图像进行图像处理。

25.根据权利要求24所述的方法，其特征在于，

所述获取第一图像包括：

基于相机应用拍摄获取所述第一图像；

所述在所述电子设备的设备状态满足预设设备状态的情况下，获取所述优质图像，包括：

在所述电子设备的当前电量大于或等于预设电量阈值的情况下，获取所述优质图像；或者，

在所述电子设备的当前电量小于预设电量阈值的情况下，存储所述第一图像，并在所述电子设备再次满足当前电量大于或等于所述预设电量阈值且处于充电灭屏状态的条件后，或在所述电子设备接收到用户主动触发的关于所述第一图像的图像处理请求后，获取所述优质图像。

26.根据权利要求24所述的方法，其特征在于，

所述获取第一图像包括：

基于数据下载方式在第一时间内获取至少两张以上所述第一图像；

所述在所述电子设备的设备状态满足预设设备状态的情况下，获取所述优质图像，包括：

在所述电子设备的当前电量大于或等于所述预设电量阈值且处于充电灭屏状态的情况下，获取所述优质图像；或者，

在所述电子设备接收到用户主动触发的关于所述第一图像的图像处理请求的情况下，获取所述优质图像。

27.根据权利要求1-26任一项所述的方法，其特征在于，所述获取与所述第一图像匹配的优质图像包括：

在确定所述第一图像满足预设增强条件的情况下，将所述历史人物图像作为所述第一图像，所述预设增强条件包括以下一项或一项以上：人像模糊、人脸纹理细节缺失、人脸区域图像噪声高、人脸区域光照不足、人脸区域光照过亮。

28.根据权利要求1-27任一项所述的方法，其特征在于，所述方法应用于电子设备，所述电子设备中存储有包含肖像图像的历史人物图像，所述历史人物图像基于数据下载方式或相机拍照方式获得，所述方法还包括：

在确定所述电子设备当前电量大于或等于预设电量阈值且所述电子设备处于充电灭屏状态、以及所述历史任务图像满足预设增强条件的情况下，将所述历史人物图像作为所述第一图像，所述预设增强条件包括以下一项或一项以上：人像模糊、人脸纹理细节缺失、人脸区域图像噪声高、人脸区域光照不足、人脸区域光照过亮。

29.一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器和存储器；

所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1-28任一项所述的方法。

30.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至28中任一项所述的方法。

31.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括指令，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1至28中任一项所述的方法。