CN111539008A - 保护隐私的图像处理方法及装置 - Google Patents

Abstract

本说明书实施例提供了保护隐私的图像处理方法及装置、保护隐私的模型训练方法及装置。该图像处理方法的一具体实施方式包括：获取与待加密的生物特征图像对应的混合图像，其中，该混合图像是通过对该生物特征图像和预定数目张其它图像进行加权求和后得到的,该预定数目张其它图像作用为噪声图像，其权重之和小于预设阈值；将该混合图像减去预定的图像模板,得到该生物特征图像对应的加密图像。其中，生物特征图像可以视为用户的隐私数据。采用此种加密方法，可以实现对用户的隐私数据的保护，而且所得的加密图像可以用于后续的模型训练。

Description

保护隐私的图像处理方法及装置

技术领域

本说明书实施例涉及数据安全技术领域，具体地，涉及保护隐私的图像处理方法及装置、保护隐私的模型训练方法及装置。

背景技术

目前，很多产品(例如理财产品、支付产品、安防产品等等)大量使用了用户许可的生物特征图像，例如人脸图像、指纹图像、虹膜图像等等。另外，生物特征识别算法训练过程中也需要海量的生物特征图像。

由于生物特征图像是用户的隐私数据，所以我们需要一种合理的加密算法，通过对生物特征图像进行加密，以保护用户的隐私数据，但又不影响加密后的生物特征图像用于后续的模型训练。

发明内容

本说明书实施例提供了保护隐私的图像处理方法及装置、保护隐私的模型训练方法及装置。

第一方面，本说明书实施例提供了一种保护隐私的图像处理方法，该方法包括：获取与待加密的生物特征图像对应的混合图像，其中，所述混合图像是通过对所述生物特征图像和预定数目张其它图像进行加权求和后得到的,所述预定数目张其它图像作用为噪声图像，其权重之和小于预设阈值；将所述混合图像减去预定的图像模板,得到所述生物特征图像对应的加密图像。

在一些实施例中，所述生物特征图像具有对应的标签；以及所述方法还包括：生成包括所述加密图像和所述标签的训练样本。

在一些实施例中，所述生物特征图像包括以下任一种图像：人脸图像、指纹图像、指静脉图像、虹膜图像。

在一些实施例中，所述待加密的生物特征图像是预定的生物特征图像集合中的任意一张图像，所述预定数目张其它图像是所述生物特征图像集合中的除所述待加密的生物特征图像以外的图像。

在一些实施例中，所述获取与待加密的生物特征图像对应的混合图像，包括：从所述生物特征图像集合中的除所述待加密的生物特征图像以外的图像中，随机选取预定数目张图像；为所述待加密的生物特征图像和选取出的预定数目张图像分配权重；根据分配的权重，对所述待加密的生物特征图像和选取出的预定数目张图像进行加权求和，得到所述混合图像。

在一些实施例中，所述为所述待加密的生物特征图像和选取出的预定数目张图像分配权重，包括：获取预定的权重集合；根据所述权重集合，为所述待加密的生物特征图像和选取出的预定数目张图像分配权重。

在一些实施例中，在所述获取与待加密的生物特征图像对应的混合图像之前，所述方法还包括：获取多张图像；计算所述多张图像之间的平均值；将所述平均值确定为所述图像模板。

在一些实施例中，所述多张图像与所述待加密的生物特征图像是同一类别的图像。

第二方面，本说明书实施例提供了一种保护隐私的模型训练方法，该方法包括：获取训练样本集，其中，训练样本包括加密图像和标签，所述加密图像是通过从其对应的混合图像中减去预定的图像模板后得到的，所述混合图像是通过对其对应的待加密的生物特征图像和预定数目张其它图像进行加权求和后得到的，所述标签是所述生物特征图像的标签；根据所述训练样本集，对待训练的深度学习模型进行训练，得到生物特征识别模型。

在一些实施例中，所述待加密的生物特征图像是预定的生物特征图像集合中的任意一张图像，所述预定数目张其它图像是所述生物特征图像集合中的除所述待加密的生物特征图像以外的图像。

在一些实施例中，所述待加密的生物特征图像包括以下任一种图像：人脸图像、指纹图像、指静脉图像、虹膜图像。

在一些实施例中，所述图像模板为多张图像之间的平均值。

在一些实施例中，所述多张图像与所述待加密的生物特征图像是同一类别的图像。

第三方面，本说明书实施例提供了一种保护隐私的图像处理装置，该装置包括：获取单元，被配置成获取与待加密的生物特征图像对应的混合图像，其中，所述混合图像是通过对所述生物特征图像和预定数目张其它图像进行加权求和后得到的,所述预定数目张其它图像作用为噪声图像，其权重之和小于预设阈值；加密单元，被配置成将所述混合图像减去预定的图像模板,得到所述生物特征图像对应的加密图像。

第四方面，本说明书实施例提供了一种保护隐私的模型训练装置，该装置包括：获取单元，被配置成获取训练样本集，其中，训练样本包括加密图像和标签，所述加密图像是通过从其对应的混合图像中减去预定的图像模板后得到的，所述混合图像是通过对其对应的待加密的生物特征图像和预定数目张其它图像进行加权求和后得到的，所述标签是所述生物特征图像的标签；训练单元，被配置成根据所述训练样本集，对待训练的深度学习模型进行训练，得到生物特征识别模型。

第五方面，本说明书实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，当该计算机程序在计算机中执行时，令该计算机执行如第一方面和第二方面中任一实现方式描述的方法。

第六方面，本说明书实施例提供了一种计算设备，包括存储器和处理器，其中，该存储器中存储有可执行代码，该处理器执行该可执行代码时，实现如第一方面和第二方面中任一实现方式描述的方法。

本说明书的上述实施例提供的保护隐私的图像处理方法及装置，通过获取与待加密的生物特征图像对应的混合图像，其中，混合图像是通过对该生物特征图像和预定数目张其它图像进行加权求和后得到的,预定数目张其它图像作用为噪声图像，其权重之和小于预设阈值，而后将该混合图像减去预定的图像模板,得到该生物特征图像对应的加密图像，采用此种加密方法，可以使得加密图像不可解密，且从视觉上难以识别，因而可以实现对用户的隐私数据的保护。另外，通过将该预定数目张其它图像作用为噪声图像，限制其权重之和小于预设阈值，可以使得加密图像从算法上能识别，故而能用于后续的模型训练。

本说明书的上述实施例提供的保护隐私的模型训练方法及装置，通过获取训练样本集，其中，训练样本包括加密图像和标签，加密图像是通过从其对应的混合图像中减去预定的图像模板后得到的，混合图像是通过对其对应的待加密的生物特征图像和预定数目张其它图像进行加权求和后得到的，标签是该生物特征图像的标签，而后根据训练样本集，对待训练的深度学习模型进行训练，得到生物特征识别模型，实现了基于加密图像的模型训练。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，而且还可以根据提供的附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

图1是本说明书的一些实施例可以应用于其中的一个示例性系统架构图；

图2是根据本说明书的保护隐私的图像处理方法的一个实施例的流程图；

图3a是加密人脸图像获取流程的一个示意图；

图3b是加密人脸图像获取流程的另一个示意图；

图3c是根据本说明书的保护隐私的图像处理方法的应用场景的一个示意图；

图4是根据本说明书的保护隐私的图像处理方法的又一个实施例的流程图；

图5是根据本说明书的保护隐私的模型训练方法的一个实施例的流程图；

图6是根据本说明书的保护隐私的模型训练方法的应用场景的一个示意图；

图7是根据本说明书的保护隐私的图像处理装置的一个结构示意图；

图8是根据本说明书的保护隐私的模型训练装置的一个结构示意图。

具体实施方式

下面结合附图和实施例对本说明书作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本说明书中的实施例及实施例中的特征可以相互组合。

如前所述，目前很多产品(例如理财产品、支付产品、安防产品等等)大量使用了用户许可的生物特征图像。例如，现有的刷脸支付产品大量使用了用户许可的人脸图像。另外，生物特征识别算法训练过程中也需要海量的生物特征图像。

由于生物特征图像是用户的隐私数据，所以我们需要一种合理的加密算法，通过对生物特征图像进行加密，以保护用户的隐私数据，但又不影响加密后的生物特征图像用于后续的模型训练。

基于此，本说明书的一些实施例分别披露了保护隐私的图像处理方法、保护隐私的模型训练方法。具体地，图1示出了适用于这些实施例的示例性系统架构图。

如图1所示，其显示出图像处理端100和模型训练端101。其中，图像处理端100可以用于提供图像处理服务，进一步地，可以用于提供图像加密服务。模型训练端101可以用于提供模型训练服务。具体地，图像处理端100可以对待加密的生物特征图像进行加密，得到该生物特征图像对应的加密图像。其中，该生物特征图像可以具有对应的标签。该加密图像和该标签可以用于组成训练样本。模型训练端101可以获取由此类训练样本组成的训练样本集，并根据该训练样本集进行模型训练，得到相应的生物特征识别模型。

需要说明的是，图像处理端100可以实现为服务端或客户端。该客户端可以为终端设备，或安装在该终端设备上的软件。模型训练端101可以实现为服务端。服务端可以为云平台、单个服务器或服务器集群。

需要指出的是，当图像处理端100实现为服务端时，图像处理端100与模型训练端101可以是同一个服务端，也可以是不同的服务端，在此不做具体限定。

应该理解，图1中示出的图像处理端和模型训练端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的图像处理端和模型训练端。

下面，结合具体的实施例，描述上述方法的具体实施步骤。

参看图2，其示出了保护隐私的图像处理方法的一个实施例的流程200。该方法应用于如图1所示的图像处理端100，包括以下步骤：

步骤201，获取与待加密的生物特征图像对应的混合图像，其中，混合图像是通过对该生物特征图像和预定数目张其它图像进行加权求和后得到的,预定数目张其它图像作用为噪声图像，其权重之和小于预设阈值；

步骤202，将混合图像减去预定的图像模板,得到待加密的生物特征图像对应的加密图像。

下面，对步骤201和步骤202做详细说明。

对于步骤201，图像处理端可以响应于接收到与待加密的生物特征图像有关的加密请求，而执行该步骤。其中，该加密请求可以是人为触发的，也可以是自动触发的，在此不做具体限定。

例如，若加密请求是人为触发的，加密请求例如可以是图像管理人员通过终端设备发送的。若加密请求是自动触发的，加密请求可以是通过定时任务触发的。

在步骤201中，待加密的生物特征图像可以包括以下任一种图像：人脸图像、指纹图像、指静脉图像、虹膜图像、声纹图像、掌纹图像等等。

预定数目可以是大于或等于1的整数。应该理解，预定数目可以根据实际需求设置，在此不做具体限定。

权重可以是处于[0，1]内的数值。待加密的生物特征图像和预定数目张其它图像的权重之和可以等于1。另外，预设阈值可以是不大于待加密的生物特征图像的权重的数值。在一种可选的实现方式中，待加密的生物特征图像和预定数目张其它图像的权重之和等于1，预设阈值小于待加密的生物特征图像的权重，且预定数目张其它图像的权重之和小于预设阈值。应该理解，预设阈值可以根据实际需求设置，在此不做具体限定。

需要说明的是，通过将预定数目张其它图像作用为噪声图像，并限定其权重之和小于预设阈值，可以使得混合图像成为待加密的生物特征图像的加噪图像。该混合图像从视觉上看起来比较模糊，但通常情况下，也能看出轮廓模样。因而，对于后续从该混合图像中减去预定的图像模板所得的加密图像，可以使得图像变得更模糊，但从算法上能识别，故而加密图像能用于后续的模型训练。

实践中，图像处理端可以采用各种方法，获取与待加密的生物特征图像对应的混合图像。

例如，若与待加密的生物特征图像对应的混合图像已预先生成，则图像处理端可以从特定的存储位置，获取该混合图像。

再例如，若与待加密的生物特征图像对应的混合图像未预先生成，则图像处理端可以执行以下混合图像获取步骤：

步骤a,从已存储的、除待加密的生物特征图像以外的任意图像中，随机选取出预定数目张图像；

步骤b，为待加密的生物特征图像和选取出的预定数目张图像分配权重；

步骤c，根据分配的权重，对待加密的生物特征图像和选取出的预定数目张图像进行加权求和，得到混合图像。

其中，在步骤a中，选取出的预定数目张图像和待加密的生物特征图像，可以是同一类别的图像，也可以是不同类别的图像。由于使用同一类别的图像对待加密的生物特征图像进行加噪，相较于使用不同类别的图像对待加密的生物特征图像进行加噪，可以使所得的混合图像更模糊，加噪效果更好，因而优选地，选取出的预定数目张图像和待加密的生物特征图像，是同一类别的图像。

此外，选取出的预定数目张图像和待加密的生物特征图像，可以来源于同一个图像集合，也可以来源于不同的图像集合，在此不做具体限定。

在步骤b中，作为一种可选的实现方式，待加密的生物特征图像可以对应预设的权重。对于选取出的预定数目张图像，可以基于预设的权重生成算法，为选取出的预定数目张图像随机生成权重。

作为另一种可选的实现方式，可以获取预定的权重集合，根据该权重集合，为待加密的生物特征图像和选取出的预定数目张图像分配权重。具体地，权重集合中的权重的数量与待加密的生物特征图像和选取出的预定数目张图像的图像数量相同。权重集合可以包括指定分配给待加密的生物特征图像的第一权重，和用于分配给预定数目张图像的第二权重。在分配权重时，可以直接将权重集合中的第一权重直接分配给待加密的生物特征图像。此外，可以将权重集合中的第二权重随机分配给选取出的预定数目张图像。

在步骤c中，针对待加密的生物特征图像和选取出的预定数目张图像，可以采用多种加权求和方式。

作为一种示例，可以根据分配的权重，对待加密的生物特征图像和选取出的预定数目张图像的像素特征进行加权求和。

作为又一种示例，可以获取分别从待加密的生物特征图像和选取出的预定数目张图像中提取的特征向量，而后根据分配的权重，对获取到的特征向量进行加权求和。

作为另一种示例，可以获取通过对待加密的生物特征图像和选取出的预定数目张图像的特征向量分别进行处理而得的图像特征，而后可以根据分配的权重，对获取到的图像特征进行加权求和。

在步骤202中，预定的图像模板可以是多张图像之间的平均值。该多张图像与待加密的生物特征图像，可以是同一类别的图像，也可以是不同类别的图像，在此不做具体限定。由于将基于与待加密的生物特征图像属于同一类别的图像生成的图像模板，应用于待加密的生物特征图像的加密过程中，可以使所得的加密图像看起来更模糊，加密效果更好，因而优选地，该多张图像与待加密的生物特征图像，是同一类别的图像。

此外，预定的图像模板可以是图像处理端生成的，也可以是其它服务端生成的，在此不做具体限定。若预定的图像模板是图像处理端生成的，则在步骤201之前，图像处理端可以执行以下图像模板获取操作：获取多张图像；计算该多张图像之间的平均值；将该平均值确定为图像模板。

其中，该多张图像可以是随机采样得到的。本实施例不对该多张图像的获取方式做具体限定。

如图3a所示，其示出了加密人脸图像获取流程的一个示意图。该获取流程适用于待加密的生物特征图像为人脸图像，预定数目为1，图像模板为人脸图像模板的情况。具体地，图3a示出了待加密的人脸图像P1，用于对待加密的人脸图像P1加噪的噪声人脸图像P2，为待加密的人脸图像P1分配的权重S1，为噪声人脸图像P2分配的权重S2，根据分配的权重，对待加密的人脸图像P1和噪声人脸图像P2进行加权求和后所得的混合图像M，以及从混合图像M中减去预定的人脸图像模板后所得的加密人脸图像。其中，S2小于预设阈值，例如，S2可以为0.1，预设阈值可以为0.15。此外，S1可以为0.9。

如图3b所示，其示出了加密人脸图像获取流程的又一个示意图。该获取流程适用于待加密的生物特征图像为人脸图像，预定数目为2，预定的图像模板为人脸图像模板的情况。具体地，图3b示出了待加密的人脸图像P1，用于对待加密的人脸图像P1加噪的噪声人脸图像P2和噪声人脸图像P3，为待加密的人脸图像P1分配的权重S1，为噪声人脸图像P2分配的权重S2，为噪声人脸图像P3分配的权重S3，根据分配的权重，对待加密的人脸图像P1、噪声人脸图像P2和噪声人脸图像P3进行加权求和后所得的混合图像M，以及从混合图像M中减去预定的人脸图像模板后所得的加密人脸图像。其中，S2与S3的总和小于预设阈值，例如，S2和S3可以均为0.1，预设阈值可以为0.25。此外，S1可以为0.8。

应该理解，以上示出的权重S1、S2、S3以及预设阈值的值，仅用作示例性说明，并不对本说明书做任何限定。

在本实施例的一些可选的实现方式中，图像处理端可以将所生成的加密图像存储到特定的存储位置。或者，可以将所生成的加密图像发送至模型训练端(例如图1所示的模型训练端101)，以供模型训练端进行基于加密图像的模型训练。

在本实施例的一些可选的实现方式中，待加密的生物特征图像可以具有对应的标签。该标签例如可以用于表征该生物特征图像所归属的用户。图像处理端在得到与该生物特征图像对应的加密图像后，可以生成包括该加密图像和该标签的训练样本。该训练样本可以用于生物特征识别模型的训练。此后，图像处理端可以将所生成的训练样本存储到特定的存储位置。或者，可以将所生成的训练样本发送至模型训练端，以供模型训练端基于接收到的训练样本所形成的训练样本集，进行模型训练操作。

继续参看图3c，图3c是根据本实施例的保护隐私的图像处理方法的应用场景的一个示意图。在本应用场景中，待加密的生物特征图像包括人脸图像。预定数目为1。预定的图像模板为人脸图像模板。图像处理端为服务端，并且图像处理端可以实时地执行如上所述的流程200。

当图像管理人员需要对用户的人脸图像进行加密时，图像管理人员可以如标号301所示，通过其所使用的终端设备执行与待加密的人脸图像有关的加密操作。之后，该终端设备可以响应于该加密操作，如标号302所示，向图像处理端发送与待加密的人脸图像有关的加密请求。而后，图像处理端可以如标号303所示，根据该请求，采用如上描述的任意一种获取混合图像的获取手段，获取与待加密的人脸图像对应的混合图像，该混合图像是通过对该人脸图像和1张其它人脸图像进行加权求和后得到的，该1张其它人脸图像作用为噪声图像，其权重小于预设阈值(例如0.15)。之后，图像处理端可以如标号304所示，将混合图像减去预定的人脸图像模板，得到待加密的人脸图像对应的加密人脸图像。

此后，图像处理端例如可以执行以下任一项：

将加密人脸图像存储至特定的存储位置；

将加密人脸图像发送至模型训练端；

生成包括加密人脸图像和加密人脸图像对应的待加密的人脸图像的标签的训练样本，并将训练样本存储至特定的存储位置；

生成包括加密人脸图像和加密人脸图像对应的待加密的人脸图像的标签的训练样本，并将训练样本发送至模型训练端。

需要说明的是，通过对两张人脸图像(例如1张待加密的人脸图像和1张作用为噪声图像的人脸图像)进行加权求和，计算得到第三张新的人脸图像(例如混合图像)，在计算过程中，相当于采用了一个二元一次方程。仅基于计算得到的新的人脸图像，是无法解析得到原始的两张人脸图像的。通过将这种不可逆计算用在人脸图像加密保护上，可以使得人脸图像更隐私且不可逆，并且不影响使用加密后的人脸图像训练得到更好的人脸识别模型。

需要指出的是，本领域技术人员可根据图3c所示的与人脸图像有关的内容，类推得到其他类型的生物特征图像实施方案，本说明书不逐一列举。

本实施例提供的保护隐私的图像处理方法，通过获取与待加密的生物特征图像对应的混合图像，其中，混合图像是通过对该生物特征图像和预定数目张其它图像进行加权求和后得到的,预定数目张其它图像作用为噪声图像，其权重之和小于预设阈值，而后将该混合图像减去预定的图像模板,得到该生物特征图像对应的加密图像，采用此种加密方法，可以使得加密图像不可解密，且从视觉上难以识别，因而可以实现对用户的隐私数据的保护。另外，通过将该预定数目张其它图像作用为噪声图像，限制其权重之和小于预设阈值，可以使得加密图像从算法上能识别，故而能用于后续的模型训练。

进一步参考图4，其示出了保护隐私的图像处理方法的又一个实施例的流程400。该方法应用于如图1所示的图像处理端100，包括以下步骤：

步骤401，将预定的生物特征图像集合中的任意一张图像作为待加密的生物特征图像，从生物特征图像集合中的除待加密的生物特征图像以外的图像中，随机选取预定数目张图像；

步骤402，获取预定的权重集合；

步骤403，根据权重集合，为待加密的生物特征图像和选取出的预定数目张图像分配权重；

步骤404，根据分配的权重，对待加密的生物特征图像和选取出的预定数目张图像进行加权求和，得到混合图像；

步骤405，将混合图像减去预定的图像模板,得到待加密生物特征图像对应的加密图像；

步骤406，生成包括加密图像和待加密的生物特征图像的标签的训练样本。

具体地，在步骤401中，生物特征图像集合可以是由同类别的生物特征图像形成的集合。生物特征图像可以包括以下任一种图像：人脸图像、指纹图像、指静脉图像、虹膜图像、声纹图像、掌纹图像等等。

关于步骤402-406的解释说明，可参看图2对应实施例中的相关描述，在此不再赘述。

基于步骤401的内容可以看出，本实施例中的用于生成混合图像的待加密的生物特征图像和预定数目张其它图像，是同一类别的图像，且二者来源于同一个图像集合，即如上所述的预定的生物特征图像集合。

从图4中可以看出，与图2对应的实施例相比，本实施例提供的保护隐私的图像处理方法，突出了对混合图像的获取方法进行扩展的步骤，以及生成包括加密图像和待加密的生物特征图像的标签的训练样本的步骤。由此，本实施例描述的方案，可以丰富图像处理端的功能。另外，通过限定用于生成混合图像的待加密图像和预定数目张其它图像来源于同一个生物特征图像集合，可以使所得的混合图像看起来更模糊，进而可以使所得的加密图像具有较好的加密效果，能加强对用户的隐私数据的保护。

进一步参考图5，其示出了保护隐私的模型训练方法的一个实施例的流程500。该模型训练方法应用于如图1所示的模型训练端101，包括以下步骤：

步骤501，获取训练样本集，其中，训练样本包括加密图像和标签，加密图像是通过从其对应的混合图像中减去预定的图像模板后得到的，混合图像是通过对其对应的待加密的生物特征图像和预定数目张其它图像进行加权求和后得到的，该标签是该生物特征图像的标签；

步骤502，根据训练样本集，对待训练的深度学习模型进行训练，得到生物特征识别模型。

下面，对步骤501和步骤502做详细说明。

在步骤501中，训练样本中的加密图像可以是采用如图2或图4分别所示的实施例提供的保护隐私的图像处理方法生成的。加密图像对应的待加密的生物特征图像，可以是预定的生物特征图像集合中的任意一张图像。作用为噪声图像的预定数目张其它图像，可以是该生物特征图像集合中的除该生物特征图像以外的图像。

其中，待加密的生物特征图像可以包括以下任一种图像：人脸图像、指纹图像、指静脉图像、虹膜图像、声纹图像、掌纹图像等等。

图像模板可以为多张图像之间的平均值。该多张图像与待加密的生物特征图像，可以是同一类别的图像，也可以不同类别的图像。由于将基于与待加密的生物特征图像属于同一类别的图像生成的图像模板，应用于待加密的生物特征图像的加密过程中，可以使所得的加密图像看起来更模糊，加密效果更好，因而优选地，该多张图像与待加密的生物特征图像，是同一类别的图像。

需要说明的是，步骤501可以是模型训练端响应于接收到模型训练请求而执行的。该模型训练请求可以是人为触发的，也可以是自动触发的，在此不做具体限定。

例如，若模型训练请求是人为触发的，该模型训练请求可以是模型管理人员通过终端设备发送的。若模型训练请求是自动触发的，该模型训练请求可以是图像处理端(例如图1所示的图像处理端100)在执行完图像处理流程(例如上述流程200或上述流程400)后自动发送的。

实践中，可以采用不同的方法获取训练样本集。

例如，若训练样本集中的训练样本已预先生成，则可以从特定的存储位置，获取至少一个训练样本所形成的训练样本集。

再例如，若训练样本集中的训练样本未预先生成，则可以先获取加密图像集合，以及加密图像集合中的加密图像对应的待加密的生物特征图像的标签。其中，加密图像集合中的加密图像是采用图2对应的实施例描述的保护隐私的图像处理方法生成的。而后，对于加密图像集合中的任意一张加密图像，可以将该加密图像，以及该加密图像对应的待加密的生物特征图像的标签，组成训练样本。如此，便可以将所组成的各个训练样本的集合作为训练样本集。

在步骤502中，待训练的深度学习模型可以是未经训练或未训练完成的模型。应该理解，本实施例中的深度学习模型可以是任意类型的深度学习模型，包括但不限于卷积神经网络(Convolutional Neural Network，CNN)、循环神经网络(Recurrent NeuralNetwork，RNN)、深度置信网络(Deep Belief Network，DBN)等等。

在对待训练的深度学习模型进行训练时，可以采用不同的训练方式。

作为一种示例，可以将训练样本集中的训练样本所包括的加密图像作为输入，将与输入的加密图像对应的标签作为输出，对待训练的深度学习模型进行训练，得到相应的生物特征识别模型。

作为另一种示例，对于训练样本集中的训练样本，可以从该训练样本的加密图像中提取出图像特征。之后，可以将训练样本集中的训练样本所包括的加密图像的图像特征作为输入，将与输入的图像特征对应的标签作为输出，对待训练的深度学习模型进行训练，得到相应的生物特征识别模型。应该理解，与输入的图像特征对应的标签，是该图像特征所归属的加密图像所在的训练样本中的标签。

下面以将训练样本所包括的加密图像的图像特征作为输入为例，对模型训练过程进行示例性说明。

例如，可以执行以下模型训练操作：将训练样本集中的每个训练样本所包括的加密图像的图像特征依次输入待训练的深度学习模型，得到训练样本集中的每个训练样本所包括的加密图像的图像特征对应的预测结果；将训练样本集中的每个训练样本所包括的加密图像的图像特征对应的标签和预测结果进行比较，得到本轮训练后的深度学习模型的预测准确率；确定预测准确率是否大于预设准确率阈值；若大于预设准确率阈值，则将本轮训练后的深度学习模型作为生物特征识别模型。

此外，若预测准确率不大于预设准确率阈值，则可以将本轮训练后的深度学习模型作为待训练的深度学习模型，继续执行上述模型训练操作。

需要说明的是，加密图像从视觉上看起来比较模糊。基于如上所述的训练样本集，训练得到生物特征识别模型，可以使得生物特征识别模型能对模糊的生物特征图像进行较好的识别，因而本实施例中的生物特征识别模型具有较高的识别性能。

由此，后续将训练所得的生物特征识别模型应用于各种生物特征识别场景时，例如包括但不限于基于生物特征识别的支付场景、账户登录场景、安检场景等等，可以有助于提高识别效率和识别准确度。

继续参看图6，图6是根据本实施例的保护隐私的模型训练方法的应用场景的一个示意图。在本应用场景中，待加密的生物特征图像为人脸图像。加密图像为加密人脸图像。模型训练端为服务端，并且模型训练端可以实时地执行如上所述的流程500。

此外，训练样本已预先生成，并存储在存储位置L1。该训练样本包括加密人脸图像和标签。该标签是该加密人脸图像对应的待加密的人脸图像的标签。另外，待训练的深度学习模型存储在存储位置L2。

当需要训练得到人脸识别模型时，模型管理人员可以如标号601所示，通过其所使用的终端设备，执行模型训练操作。其中，该模型训练操作指向存储位置L1和存储位置L2。之后，该终端设备可以响应于该模型训练操作，如标号602所示，向模型训练端发送模型训练请求。其中，模型训练请求可以包括存储位置L1和存储位置L2的地址。而后，模型训练端可以如标号603所示，根据模型训练请求，从存储位置L1获取多个训练样本所形成的训练样本集，以及从存储位置L2获取待训练的深度学习模型。然后，模型训练端可以如标号604所示，根据训练样本集，对待训练的深度学习模型进行训练，得到人脸识别模型。

在本应用场景中，加密人脸图像从视觉上看起来比较模糊。基于多个包含加密人脸图像的训练样本所形成的训练样本集，训练得到人脸识别模型，可以使得人脸识别模型能对模糊的人脸图像进行较好的识别，因而该人脸识别模型具有较高的识别性能。

由此，后续将训练所得的人脸识别模型应用于各种人脸识别场景时，例如包括但不限于基于人脸识别的支付场景、账户登录场景、安检场景等等，可以有助于提高识别效率和识别准确度。

需要指出的是，本领域技术人员可根据图6所示的与人脸图像有关的内容，类推得到其他类型的生物特征图像实施方案，本说明书不逐一列举。

本实施例提供的保护隐私的模型训练方法，通过获取训练样本集，其中，训练样本包括加密图像和标签，加密图像是通过从其对应的混合图像中减去预定的图像模板后得到的，混合图像是通过对其对应的待加密的生物特征图像和预定数目张其它图像进行加权求和后得到的，标签是该生物特征图像的标签，而后根据训练样本集，对待训练的深度学习模型进行训练，得到生物特征识别模型，实现了基于加密图像的模型训练。

进一步参考图7，作为对以上一些图所示方法的实现，本说明书提供了一种保护隐私的图像处理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置可以应用于如图1所示的图像处理端100。

如图7所示，本实施例的保护隐私的图像处理装置700可以包括：获取单元701和加密单元702。其中，获取单元701被配置成获取与待加密的生物特征图像对应的混合图像，其中，混合图像是通过对该生物特征图像和预定数目张其它图像进行加权求和后得到的,该预定数目张其它图像作用为噪声图像，其权重之和小于预设阈值；加密单元702被配置成将该混合图像减去预定的图像模板,得到该生物特征图像对应的加密图像。

在本实施例中，获取单元701和加密单元702的具体处理及其带来的技术效果，可分别参考图2对应实施例中步骤201和步骤202的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，生物特征图像可以具有对应的标签；以及上述装置700还可以包括：生成单元(图中未示出)，被配置成生成包括加密图像和该标签的训练样本。

在本实施例的一些可选的实现方式中，生物特征图像可以包括以下任一种图像：人脸图像、指纹图像、指静脉图像、虹膜图像、声纹图像、掌纹图像等等。

在本实施例的一些可选的实现方式中，待加密的生物特征图像是预定的生物特征图像集合中的任意一张图像，预定数目张其它图像是生物特征图像集合中的除待加密的生物特征图像以外的图像。

在本实施例的一些可选的实现方式中，获取单元701可以包括：选取子单元(图中未示出)，被配置成从生物特征图像集合中的除待加密的生物特征图像以外的图像中，随机选取预定数目张图像；分配子单元(图中未示出)，被配置成为待加密的生物特征图像和选取出的预定数目张图像分配权重；获取子单元(图中未示出)，被配置成根据分配的权重，对待加密的生物特征图像和选取出的预定数目张图像进行加权求和，得到混合图像。

在本实施例的一些可选的实现方式中，分配子单元可以进一步被配置成：获取预定的权重集合；根据权重集合，为待加密的生物特征图像和选取出的预定数目张图像分配权重。

在本实施例的一些可选的实现方式中，上述装置700还可以包括：图像模板确定单元(图中未示出)，被配置成获取多张图像；计算该多张图像之间的平均值；将该平均值确定为图像模板。

在本实施例的一些可选的实现方式中，上述多张图像与待加密的生物特征图像是同一类别的图像。

本实施例提供的保护隐私的图像处理装置，通过获取单元获取与待加密的生物特征图像对应的混合图像，其中，混合图像是通过对该生物特征图像和预定数目张其它图像进行加权求和后得到的,预定数目张其它图像作用为噪声图像，其权重之和小于预设阈值，而后通过加密单元将该混合图像减去预定的图像模板,得到该生物特征图像对应的加密图像，采用此种加密方法，可以使得加密图像不可解密，且从视觉上难以识别，因而可以实现对用户的隐私数据的保护。另外，通过将该预定数目张其它图像作用为噪声图像，限制其权重之和小于预设阈值，可以使得加密图像从算法上能识别，故而能用于后续的模型训练。

进一步参考图8，作为对以上一些图所示方法的实现，本说明书提供了一种保护隐私的模型训练装置的一个实施例，该装置实施例与图5所示的方法实施例相对应，该装置可以应用于如图1所示的模型训练端101。

如图8所示，本实施例的保护隐私的模型训练装置800包括：获取单元801和训练单元802。其中，获取单元801被配置成获取训练样本集，其中，训练样本包括加密图像和标签，加密图像是通过从其对应的混合图像中减去预定的图像模板后得到的，混合图像是通过对其对应的待加密的生物特征图像和预定数目张其它图像进行加权求和后得到的，该标签是该生物特征图像的标签；训练单元802被配置成根据训练样本集，对待训练的深度学习模型进行训练，得到生物特征识别模型。

在本实施例中，获取单元801和训练单元802的具体处理及其带来的技术效果，可分别参考图5对应实施例中步骤501和步骤502的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，待加密的生物特征图像可以是预定的生物特征图像集合中的任意一张图像，预定数目张其它图像可以是生物特征图像集合中的除待加密的生物特征图像以外的图像。

在本实施例的一些可选的实现方式中，待加密的生物特征图像可以包括以下任一种图像：人脸图像、指纹图像、指静脉图像、虹膜图像、声纹图像、掌纹图像等等。

在本实施例的一些可选的实现方式中，图像模板可以为多张图像之间的平均值。

在本实施例的一些可选的实现方式中，上述多张图像与待加密的生物特征图像可以是同一类别的图像。

本实施例提供的保护隐私的模型训练装置，通过获取单元获取训练样本集，其中，训练样本包括加密图像和标签，加密图像是通过从其对应的混合图像中减去预定的图像模板后得到的，混合图像是通过对其对应的待加密的生物特征图像和预定数目张其它图像进行加权求和后得到的，标签是该生物特征图像的标签，而后通过模型训练单元根据训练样本集，对待训练的深度学习模型进行训练，得到生物特征识别模型，实现了基于加密图像的模型训练。

本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，当该计算机程序在计算机中执行时，令计算机执行以上各方法实施例分别所示的保护隐私的图像处理方法或保护隐私的模型训练方法。

本说明书实施例还提供了一种计算设备，包括存储器和处理器，其中，该存储器中存储有可执行代码，该处理器执行该可执行代码时，实现以上各方法实施例分别所示的保护隐私的图像处理方法或保护隐私的模型训练方法。

本说明书实施例还提供了一种计算机程序产品，当在数据处理设备上执行时，使得数据处理设备实现以上各方法实施例分别所示的保护隐私的图像处理方法或保护隐私的模型训练方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书披露的多个实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述的具体实施方式，对本说明书披露的多个实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书披露的多个实施例的具体实施方式而已，并不用于限定本说明书披露的多个实施例的保护范围，凡在本说明书披露的多个实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书披露的多个实施例的保护范围之内。

Claims (17)

1.一种保护隐私的图像处理方法，包括：

获取与待加密的生物特征图像对应的混合图像，其中，所述混合图像是通过对所述生物特征图像和预定数目张其它图像进行加权求和后得到的,所述预定数目张其它图像作用为噪声图像，其权重之和小于预设阈值；

将所述混合图像减去预定的图像模板,得到所述生物特征图像对应的加密图像。

2.根据权利要求1所述的方法，其中，所述生物特征图像具有对应的标签；以及

所述方法还包括：

生成包括所述加密图像和所述标签的训练样本。

3.根据权利要求1所述的方法，其中，所述生物特征图像包括以下任一种图像：人脸图像、指纹图像、指静脉图像、虹膜图像。

4.根据权利要求1所述的方法，其中，所述待加密的生物特征图像是预定的生物特征图像集合中的任意一张图像，所述预定数目张其它图像是所述生物特征图像集合中的除所述待加密的生物特征图像以外的图像。

5.根据权利要求4所述的方法，其中，所述获取与待加密的生物特征图像对应的混合图像，包括：

从所述生物特征图像集合中的除所述待加密的生物特征图像以外的图像中，随机选取预定数目张图像；

为所述待加密的生物特征图像和选取出的预定数目张图像分配权重；

根据分配的权重，对所述待加密的生物特征图像和选取出的预定数目张图像进行加权求和，得到所述混合图像。

6.根据权利要求5所述的方法，其中，所述为所述待加密的生物特征图像和选取出的预定数目张图像分配权重，包括：

获取预定的权重集合；

根据所述权重集合，为所述待加密的生物特征图像和选取出的预定数目张图像分配权重。

7.根据权利要求1-6之一所述的方法，其中，在所述获取与待加密的生物特征图像对应的混合图像之前，所述方法还包括：

获取多张图像；

计算所述多张图像之间的平均值；

将所述平均值确定为所述图像模板。

8.根据权利要求7所述的方法，其中，所述多张图像与所述待加密的生物特征图像是同一类别的图像。

9.一种保护隐私的模型训练方法，包括：

获取训练样本集，其中，训练样本包括加密图像和标签，所述加密图像是通过从其对应的混合图像中减去预定的图像模板后得到的，所述混合图像是通过对其对应的待加密的生物特征图像和预定数目张其它图像进行加权求和后得到的，所述标签是所述生物特征图像的标签；

根据所述训练样本集，对待训练的深度学习模型进行训练，得到生物特征识别模型。

10.根据权利要求9所述的方法，其中，所述待加密的生物特征图像是预定的生物特征图像集合中的任意一张图像，所述预定数目张其它图像是所述生物特征图像集合中的除所述待加密的生物特征图像以外的图像。

11.根据权利要求9所述的方法，其中，所述待加密的生物特征图像包括以下任一种图像：人脸图像、指纹图像、指静脉图像、虹膜图像。

12.根据权利要求9-11之一所述的方法，其中，所述图像模板为多张图像之间的平均值。

13.根据权利要求12所述的方法，其中，所述多张图像与所述待加密的生物特征图像是同一类别的图像。

14.一种保护隐私的图像处理装置，包括：

获取单元，被配置成获取与待加密的生物特征图像对应的混合图像，其中，所述混合图像是通过对所述生物特征图像和预定数目张其它图像进行加权求和后得到的,所述预定数目张其它图像作用为噪声图像，其权重之和小于预设阈值；

加密单元，被配置成将所述混合图像减去预定的图像模板,得到所述生物特征图像对应的加密图像。

15.一种保护隐私的模型训练装置，包括：

获取单元，被配置成获取训练样本集，其中，训练样本包括加密图像和标签，所述加密图像是通过从其对应的混合图像中减去预定的图像模板后得到的，所述混合图像是通过对其对应的待加密的生物特征图像和预定数目张其它图像进行加权求和后得到的，所述标签是所述生物特征图像的标签；

训练单元，被配置成根据所述训练样本集，对待训练的深度学习模型进行训练，得到生物特征识别模型。

16.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-13中任一项的所述的方法。

17.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-13中任一项所述的方法。

Images