CN112508811A - 图像预处理方法、装置、设备以及存储介质 - Google Patents

Abstract

本申请公开了图像预处理方法、装置、设备以及存储介质，涉及计算机视觉、深度学习等人工智能技术领域。该方法的一具体实施方式包括：获取人脸的RGBD图像，其中，RGBD图像包括RGB图像和深度图像；从RGB图像中提取RGB脸部和头发掩膜；从深度图像中提取深度脸部和头发掩膜；基于RGB脸部和头发掩膜对RGB图像进行过滤，得到RGB脸部区域和RGB头发区域，以及基于深度脸部和头发掩膜对深度图像进行过滤，得到深度脸部区域和深度头发区域。该实施方式通过脸部和头发掩膜对人脸的RGBD图像进过滤，能够实现脸部区域和头发区域的像素级分割，从而针对性地去除RGBD图像中的背景。

Description

图像预处理方法、装置、设备以及存储介质

技术领域

本申请实施例涉及计算机技术领域，具体涉及计算机视觉、深度学习等人工智能技术领域，尤其涉及图像预处理方法、装置、设备以及存储介质。

背景技术

通常，深度相机采集到的人脸的RGBD图像可以用于人脸三维重建。由于人脸表情会变化，人脸三维重建相比场景三维重建难度更大。为了得到较好的重建结果，需要对人脸的RGBD图像进行预处理。目前，常用的人脸的RGBD图像的预处理方式与场景的RGBD图像的预处理方式相同，均是利用传统形态学方法进行预处理。通过形态学处理和算法策略填补空洞，去除离群点。

发明内容

本申请实施例提出了图像预处理方法、装置、设备以及存储介质。

第一方面，本申请实施例提出了一种图像预处理方法，包括：获取人脸的RGBD图像，其中，RGBD图像包括RGB图像和深度图像；从RGB图像中提取RGB脸部和头发掩膜；从深度图像中提取深度脸部和头发掩膜；基于RGB脸部和头发掩膜对RGB图像进行过滤，得到RGB脸部区域和RGB头发区域，以及基于深度脸部和头发掩膜对深度图像进行过滤，得到深度脸部区域和深度头发区域。

第二方面，本申请实施例提出了一种图像预处理装置，包括：获取模块，被配置成获取人脸的RGBD图像，其中，RGBD图像包括RGB图像和深度图像；第一提取模块，被配置成从RGB图像中提取RGB脸部和头发掩膜；第二提取模块，被配置成从深度图像中提取深度脸部和头发掩膜；第一过滤模块，被配置成基于RGB脸部和头发掩膜对RGB图像进行过滤，得到RGB脸部区域和RGB头发区域，以及基于深度脸部和头发掩膜对深度图像进行过滤，得到深度脸部区域和深度头发区域。

第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。

第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。

本申请实施例提供的图像预处理方法、装置、设备以及存储介质，首先从人脸的RGBD图像包括的RGB图像中提取RGB脸部和头发掩膜，以及从人脸的RGBD图像包括的深度图像中提取深度脸部和头发掩膜；然后基于RGB脸部和头发掩膜对RGB图像进行过滤，以及基于深度脸部和头发掩膜对深度图像进行过滤。通过脸部和头发掩膜对人脸的RGBD图像进过滤，能够实现脸部区域和头发区域的像素级分割，从而针对性地去除RGBD图像中的背景。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请可以应用于其中的示例性系统架构；

图2是根据本申请的图像预处理方法的一个实施例的流程图；

图3是根据本申请的图像预处理方法的又一个实施例的流程图；

图4是根据本申请的图像预处理方法的另一个实施例的流程图；

图5是根据本申请的图像预处理装置的一个实施例的结构示意图；

图6是用来实现本申请实施例的图像预处理方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的图像预处理方法或图像预处理装置的实施例的示例性系统架构100。

如图1所示，系统架构100中可以包括相机101、网络102和服务器103。网络102用以在相机101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

相机101可以通过网络102与服务器103交互，以接收或发送消息等。例如，相机101可以采集人脸的RGBD图像，并发送至服务器103。

服务器103可以提供各种服务。例如，服务器103可以对从相机101接收到的人脸的RGBD图像进行分析等处理，生成处理结果(例如过滤掉背景区域的RGBD图像)。

需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本申请实施例所提供的图像预处理方法一般由服务器103执行，相应地，图像预处理装置一般设置于服务器103中。

应该理解，图1中的相机、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的相机、网络和服务器。

继续参考图2，其示出了根据本申请的图像预处理方法的一个实施例的流程200。该图像预处理方法包括以下步骤：

步骤201，获取人脸的RGBD图像。

在本实施例中，图像预处理方法的执行主体(例如图1所示的服务器103)可以从深度相机(例如图1所示的相机101)获取人脸的RGBD图像。例如，终端设备可以调用深度相机的API(Application Programming Interface，应用程序编程接口)采集人脸的RGBD图像。

通常，深度相机可以扫描人脸，采集大量RGBD图像。其中，RGBD图像可以包括RGB图像和深度图像。RGB图像的每个像素点的像素值可以是人脸表面的每个点的颜色值。通常，人类视力所能感知的所有颜色均是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到的。深度图像的每个像素点的像素值可以是深度摄像机与人脸表面的每个点之间的距离。通常，RGB图像和深度图像是配准的，因而RGB图像和深度图像的像素点之间具有一对一的对应关系。

此外，RGBD图像还可以包括相机参数。不同型号的深度相机的相机参数可以不同，相机参数是与深度相机自身特性相关的参数，包括但不限于相机的焦距、相机的光心等参数。

步骤202，从RGB图像中提取RGB脸部和头发掩膜。

在本实施例中，由于人脸主要是由脸部和头发组成，因此上述执行主体可以从RGB图像中提取RGB脸部和头发掩膜(mask)。其中，RGB脸部和头发掩膜可以是由0和1组成的二进制图像，用于对RGB图像中的脸部和头发进行像素过滤。具体地，脸部区域和头发区域对应的像素值可以是1，而脸部区域和头发区域外对应的像素值可以是0。RGB脸部和头发掩膜与RGB图像的尺寸相同。例如，若RGB图像是一个512*512*3图像，则RGB脸部和头发掩膜是一个512*512*1图像，其通道代表脸部和头发的预测结果。

步骤203，从深度图像中提取深度脸部和头发掩膜。

在本实施例中，由于人脸主要是由脸部和头发组成，因此上述执行主体可以从深度图像中提取深度脸部和头发掩膜。其中，深度脸部和头发掩膜可以是由0和1组成的二进制图像，用于对深度图像中的脸部和头发进行像素过滤。具体地，脸部区域和头发区域对应的像素值可以是1，而脸部区域和头发区域外对应的像素值可以是0。深度脸部和头发掩膜与深度图像的尺寸相同。例如，若深度图像是一个512*512*1图像，则深度脸部和头发掩膜是一个512*512*1图像，其通道代表脸部和头发的预测结果。

步骤204，基于RGB脸部和头发掩膜对RGB图像进行过滤，得到RGB脸部区域和RGB头发区域，以及基于深度脸部和头发掩膜对深度图像进行过滤，得到深度脸部区域和深度头发区域。

在本实施例中，上述执行主体可以基于RGB脸部和头发掩膜对RGB图像进行过滤，得到RGB脸部区域和RGB头发区域，以及基于深度脸部和头发掩膜对深度图像进行过滤，得到深度脸部区域和深度头发区域。

具体地，将RGB脸部和头发掩膜与RGB图像相与，即可将RGB图像中的背景区域的像素点置零，保留RGB脸部区域和RGB头发区域。同理，将深度脸部和头发掩膜与深度图像相与，即可将深度图像中的背景区域的像素点置零，更纯粹的保留深度脸部区域和深度头发区域。

此外，上述执行主体还可以基于RGB脸部区域、RGB头发区域、深度脸部区域和深度头发区域进行人脸三维重建，得到人脸的三维模型。由于去除了RGBD图像的背景，从而能够获取更好的重建效果。

本申请实施例提供的图像预处理方法，首先从人脸的RGBD图像包括的RGB图像中提取RGB脸部和头发掩膜，以及从人脸的RGBD图像包括的深度图像中提取深度脸部和头发掩膜；然后基于RGB脸部和头发掩膜对RGB图像进行过滤，以及基于深度脸部和头发掩膜对深度图像进行过滤。通过脸部和头发掩膜对人脸的RGBD图像进过滤，能够实现脸部区域和头发区域的像素级分割，从而针对性地去除RGBD图像中的背景。

进一步参考图3，其示出了根据本申请的图像预处理方法的又一个实施例的流程300。该图像预处理方法包括以下步骤：

步骤301，获取人脸的RGBD图像。

在本实施例中，步骤301具体操作已在图2所示的实施例中步骤201进行了详细的介绍，在此不再赘述。

步骤302，将RGB图像输入至预先训练的深度学习分割网络，得到RGB脸部和头发掩膜。

在本实施例中，上述执行主体可以将RGB图像输入至预先训练的深度学习分割网络，得到RGB脸部和头发掩膜。其中，深度学习分割网络可以用于预测RGB图像的RGB脸部和头发掩膜。

在实际应用中，深度学习分割网络可以是Unet框架。Unet框架可以包括两部分，第一部分为特征提取结构，可采用Resnet、VGG等网络的特征提取层设计，其优点是可以利用预训练的成熟模型来加速Unet的训练。第二部分为上采样部分，这里采用反卷积处理。由于网络结构像U型，所以叫Unet框架。采用Unet框架的深度学习分割网络，能够融合共享卷积层产生更高维的特征图进行脸部和头发掩膜提取，使得进行脸部和头发掩膜提取的信息内容更加丰富，并且保留RGB图像中的重要信息，从而提升了提取出的脸部和头发掩膜的准确度。

其中，深度学习分割网络可以采用深度学习方式，通过大量训练样本对Unet框架的模型进行训练而得到。Unet框架的模型的参数预先初始化，其训练步骤如下：

首先，获取样本RGB图像。

其中，样本RGB图像存在人脸，可以是从开源数据集中收集到的大量包含人脸的RGB图像。

之后，对样本RGB图像中的脸部和头发进行像素级标注，得到样本标注RGB图像。

然后，基于样本标注RGB图像，生成样本RGB脸部和头发掩膜。

其中，样本RGB脸部和头发掩膜与样本标注RGB图像的尺寸相同，且像素点一一对应。具体地，样本RGB图像中被标注为脸部或头发的像素点对应到样本RGB脸部和头发掩膜中的像素点的像素值为1，反之，对应到样本RGB脸部和头发掩膜中的像素点的像素值为0。

最后，将样本RGB图像作为输入，将样本RGB脸部和头发掩膜作为输出，训练得到深度学习分割网络。

具体地，将样本RGB图像输入至Unet框架的模型，计算得到的输出与样本RGB脸部和头发掩膜的差异。基于差异调整Unet框架的模型的参数，直至模型收敛，即可得到深度学习分割网络。

步骤303，计算深度图像的深度直方图。

在本实施例中，上述执行主体可以计算深度图像的深度直方图。

通常，为了更好地去除深度图像中的背景，减少背景区域对人脸重建的影响，可以通过深度图像直方图统计的方法去除背景区域。其中，深度直方图可以是深度值的直方图，一个点对应一个深度值，其值是对应的深度值的像素点的个数。深度图像中的深度值可以以16bit二进制表示，上述执行主体可以在16bit深度图像上计算深度值的直方图。

步骤304，查找深度直方图的高峰。

在本实施例中，上述执行主体可以从深度直方图上查找高峰。其中，比其前后相邻点的值都大的点是高峰。

步骤305，在深度直方图中，从高峰处向前后两个方向前进，直至深度值小于预设阈值时停止，以及在停止处进行截断。

在本实施例中，对于深度直方图中的每个高峰，上述执行主体可以从该高峰处向前后两个方向前进，直至深度值小于预设阈值时停止，以及在停止处进行截断。

作为示例，上述执行主体可以从0深度值对应的点开始查找第一个高峰所对应的点，然后从高峰所在点往前后两个方向前进，每前进一步即做一次判断，当判断某个方向的当前点的值小于预设阈值时，停止前进。待两个方向均停止前进，两个停止处的点对应的深度值就是深度图距离的截断距离。

步骤306，基于深度直方图中截断得到的部分，生成深度脸部和头发掩膜。

在本实施例中，上述执行主体可以基于深度直方图中截断得到的部分，生成深度脸部和头发掩膜。其中，截断得到的部分的像素点的像素值落在两个停止处的点对应的深度值之间。这些像素点在深度脸部和头发掩膜中对应的像素点的像素值是1，其与像素点在深度脸部和头发掩膜中对应的像素点的像素值是0。

步骤307，基于RGB脸部和头发掩膜对RGB图像进行过滤，得到RGB脸部区域和RGB头发区域，以及基于深度脸部和头发掩膜对深度图像进行过滤，得到深度脸部区域和深度头发区域。

在本实施例中，步骤307具体操作已在图2所示的实施例中步骤204进行了详细的介绍，在此不再赘述。

从图3中可以看出，与图2对应的实施例相比，本实施例中的图像预处理方法的流程300突出了提取RGB脸部和头发掩膜以及深度脸部和头发掩膜的步骤。由此，本实施例描述的方案采用Unet框架的深度学习分割网络，能够融合共享卷积层产生更高维的特征图进行脸部和头发掩膜提取，使得进行脸部和头发掩膜提取的信息内容更加丰富，并且保留RGB图像中的重要信息，从而提升了提取出的脸部和头发掩膜的准确度。通过深度图像直方图统计的方法能够更好地去除深度图像中的背景。

进一步参考图4，其示出了根据本申请的图像预处理方法的另一个实施例的流程400。该图像预处理方法包括以下步骤：

步骤401，获取人脸的RGBD图像。

步骤402，将RGB图像输入至预先训练的深度学习分割网络，得到RGB脸部和头发掩膜。

步骤403，计算深度图像的深度直方图。

在本实施例中，步骤401-403具体操作已在图3所示的实施例中步骤301-303进行了详细的介绍，在此不再赘述。

步骤404，对深度直方图进行直方图平滑。

在本实施例中，上述执行主体可以对深度直方图进行直方图平滑，以避免深度值出现巨大的跳变，而导致过滤背景不准确。

步骤405，查找深度直方图的高峰。

步骤406，在深度直方图中，从高峰处向前后两个方向前进，直至深度值小于预设阈值时停止，以及在停止处进行截断。

步骤407，基于深度直方图中截断得到的部分，生成深度脸部和头发掩膜。

在本实施例中，步骤405-407具体操作已在图3所示的实施例中步骤304-306进行了详细的介绍，在此不再赘述。

步骤408，对RGB脸部和头发掩膜、深度脸部和头发掩膜中的至少一项做形态学处理。

在本实施例中，上述执行主体可以对RGB脸部和头发掩膜、深度脸部和头发掩膜中的至少一项做形态学处理。其中，形态学处理可以包括但不限于以下至少一项：形态学腐蚀、形态学膨胀、形态学开与形态学闭处理等。

通常，人脸分割、头发分割、直方图统计得到的掩膜可能会出现小的孔洞与离群点，为了填补这一类孔洞并去除离群点，可以对脸部和头发掩膜做形态学处理，从而有效地填补掩膜孔洞，去除离群点。

步骤409，基于RGB脸部和头发掩膜对RGB图像进行过滤，得到RGB脸部区域和RGB头发区域，以及基于深度脸部和头发掩膜对深度图像进行过滤，得到深度脸部区域和深度头发区域。

在本实施例中，步骤409具体操作已在图3所示的实施例中步骤307进行了详细的介绍，在此不再赘述。

步骤410，将深度头发区域通过非零均值滤波器，对非零均值滤波器的滤波核内的像素统计非零均值，以及利用非零均值替代滤波核内的像素。

在本实施例中，上述执行主体可以将深度头发区域通过非零均值滤波器，对非零均值滤波器的滤波核内的像素统计非零均值，以及利用非零均值替代滤波核内的像素。

通常，人脸的头发区域比较蓬松，深度相机采集的深度图像在该区域可能出现深度突变的问题。深度突变对人脸三维重建的效果有很大影响，会造成重建的人脸三维模型在边缘有毛刺和离群点，甚至导致重建失败。为了解决头发区域深度突变的问题，设计一个非零均值滤波器。非零均值滤波器对滤波核内的像素统计非零均值，并把滤波核内像素用非零均值替代，达到平滑深度的目的，从而较大程度的解决深度突变问题，优化了重建的效果。

步骤411，对深度脸部区域做形态学处理。

在本实施例中，上述执行主体可以对深度脸部区域做形态学处理。其中，形态学处理可以包括但不限于以下至少一项：形态学腐蚀、形态学膨胀、形态学开与形态学闭处理等。

通常，在得到深度脸部区域之后，可以对深度脸部区域本身做一次形态学处理，尽可能填补深度脸部区域因采集设备或其他因素影响导致的孔洞，并去除深度脸部区域的离群点，让重建后的模型更平滑。

从图4中可以看出，与图3对应的实施例相比，本实施例中的图像预处理方法的流程400增加了深度直方图平滑步骤、脸部和头发掩膜形态学处理步骤、深度头发区域滤波步骤和深度脸部区域形态学处理步骤。由此，本实施例描述的方案对深度直方图进行直方图平滑，以避免深度值出现巨大的跳变，而导致过滤背景不准确。对脸部和头发掩膜做形态学处理，从而有效地填补掩膜孔洞，去除离群点。利用非零均值滤波器对深度头发区域进行滤波，达到平滑深度的目的，从而较大程度的解决深度突变问题，优化了重建的效果。对深度脸部区域本身做一次形态学处理，尽可能填补深度脸部区域因采集设备或其他因素影响导致的孔洞，并去除深度脸部区域的离群点，让重建后的模型更平滑。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种图像预处理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的图像预处理装置500可以包括：获取模块501、第一提取模块502、第二提取模块503和第一过滤模块504。其中，获取模块501，被配置成获取人脸的RGBD图像，其中，RGBD图像包括RGB图像和深度图像；第一提取模块502，被配置成从RGB图像中提取RGB脸部和头发掩膜；第二提取模块503，被配置成从深度图像中提取深度脸部和头发掩膜；第一过滤模块504，被配置成基于RGB脸部和头发掩膜对RGB图像进行过滤，得到RGB脸部区域和RGB头发区域，以及基于深度脸部和头发掩膜对深度图像进行过滤，得到深度脸部区域和深度头发区域。

在本实施例中，图像预处理装置500中：获取模块501、第一提取模块502、第二提取模块503和第一过滤模块504的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，第一提取模块502进一步被配置成：将RGB图像输入至预先训练的深度学习分割网络，得到RGB脸部和头发掩膜。

在本实施例的一些可选的实现方式中，深度学习分割网络通过如下步骤训练得到：获取样本RGB图像，其中，样本RGB图像存在人脸；对样本RGB图像中的脸部和头发进行像素级标注，得到样本标注RGB图像；基于样本标注RGB图像，生成样本RGB脸部和头发掩膜；将样本RGB图像作为输入，将样本RGB脸部和头发掩膜作为输出，训练得到深度学习分割网络。

在本实施例的一些可选的实现方式中，第二提取模块503包括：计算子模块，被配置成计算深度图像的深度直方图；查找子模块，被配置成查找深度直方图的高峰；截断子模块，被配置成在深度直方图中，从高峰处向前后两个方向前进，直至深度值小于预设阈值时停止，以及在停止处进行截断；生成子模块，被配置成基于深度直方图中截断得到的部分，生成深度脸部和头发掩膜。

在本实施例的一些可选的实现方式中，第二提取模块504还包括：平滑子模块，被配置成对深度直方图进行直方图平滑。

在本实施例的一些可选的实现方式中，图像预处理装置500还包括：第一处理模块，被配置成对RGB脸部和头发掩膜、深度脸部和头发掩膜中的至少一项做形态学处理，其中，形态学处理包括以下至少一项：形态学腐蚀、形态学膨胀、形态学开与形态学闭处理。

在本实施例的一些可选的实现方式中，图像预处理装置500还包括：第二过滤模块，被配置成将深度头发区域通过非零均值滤波器，对非零均值滤波器的滤波核内的像素统计非零均值，以及利用非零均值替代滤波核内的像素。

在本实施例的一些可选的实现方式中，图像预处理装置500还包括：第二处理模块，被配置成对深度脸部区域做形态学处理。

在本实施例的一些可选的实现方式中，图像预处理装置500还包括：重建模块，被配置成基于RGB脸部区域、RGB头发区域、深度脸部区域和深度头发区域进行人脸三维重建，得到人脸的三维模型。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图6所示，是根据本申请实施例图像预处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像预处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像预处理方法。

存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像预处理方法对应的程序指令/模块(例如，附图5所示的获取模块501、第一提取模块502、第二提取模块503和第一过滤模块504)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像预处理方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像预处理方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至图像预处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

图像预处理方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。

输入装置603可接收输入的数字或字符信息，以及产生与图像预处理方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请的技术方案，首先从人脸的RGBD图像包括的RGB图像中提取RGB脸部和头发掩膜，以及从人脸的RGBD图像包括的深度图像中提取深度脸部和头发掩膜；然后基于RGB脸部和头发掩膜对RGB图像进行过滤，以及基于深度脸部和头发掩膜对深度图像进行过滤。通过脸部和头发掩膜对人脸的RGBD图像进过滤，能够实现脸部区域和头发区域的像素级分割，从而针对性地去除RGBD图像中的背景。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (20)

1.一种图像预处理方法，包括：

获取人脸的RGBD图像，其中，所述RGBD图像包括RGB图像和深度图像；

从所述RGB图像中提取RGB脸部和头发掩膜；

从所述深度图像中提取深度脸部和头发掩膜；

基于所述RGB脸部和头发掩膜对所述RGB图像进行过滤，得到RGB脸部区域和RGB头发区域，以及基于所述深度脸部和头发掩膜对所述深度图像进行过滤，得到深度脸部区域和深度头发区域。

2.根据权利要求1所述的方法，其中，所述从所述RGB图像中提取RGB脸部和头发掩膜，包括：

将所述RGB图像输入至预先训练的深度学习分割网络，得到所述RGB脸部和头发掩膜。

3.根据权利要求2所述的方法，其中，所述深度学习分割网络通过如下步骤训练得到：

获取样本RGB图像，其中，所述样本RGB图像存在人脸；

对所述样本RGB图像中的脸部和头发进行像素级标注，得到样本标注RGB图像；

基于所述样本标注RGB图像，生成样本RGB脸部和头发掩膜；

将所述样本RGB图像作为输入，将所述样本RGB脸部和/头发掩膜作为输出，训练得到所述深度学习分割网络。

4.根据权利要求2所述的方法，其中，所述从所述深度图像中提取深度脸部和头发掩膜，包括：

计算所述深度图像的深度直方图；

查找所述深度直方图的高峰；

在所述深度直方图中，从所述高峰处向前后两个方向前进，直至深度值小于预设阈值时停止，以及在停止处进行截断；

基于所述深度直方图中截断得到的部分，生成所述深度脸部和头发掩膜。

5.根据权利要求4所述的方法，其中，在所述查找所述深度直方图的高峰之前，还包括：

对所述深度直方图进行直方图平滑。

6.根据权利要求4所述的方法，其中，在所述基于所述RGB脸部和头发掩膜对所述RGB图像进行过滤，得到RGB脸部区域和RGB头发区域，以及基于所述深度脸部和头发掩膜对所述深度图像进行过滤，得到深度脸部区域和深度头发区域之前，还包括：

对所述RGB脸部和头发掩膜、所述深度脸部和头发掩膜中的至少一项做形态学处理，其中，所述形态学处理包括以下至少一项：形态学腐蚀、形态学膨胀、形态学开与形态学闭处理。

7.根据权利要求1所述的方法，其中，所述方法还包括：

将所述深度头发区域通过非零均值滤波器，对所述非零均值滤波器的滤波核内的像素统计非零均值，以及利用所述非零均值替代所述滤波核内的像素。

8.根据权利要求7所述的方法，其中，所述方法还包括：

对所述深度脸部区域做形态学处理。

9.根据权利要求1-8之一所述的方法，其中，所述方法还包括：

基于所述RGB脸部区域、所述RGB头发区域、所述深度脸部区域和所述深度头发区域进行人脸三维重建，得到人脸的三维模型。

10.一种图像预处理装置，包括：

获取模块，被配置成获取人脸的RGBD图像，其中，所述RGBD图像包括RGB图像和深度图像；

第一提取模块，被配置成从所述RGB图像中提取RGB脸部和头发掩膜；

第二提取模块，被配置成从所述深度图像中提取深度脸部和头发掩膜；

第一过滤模块，被配置成基于所述RGB脸部和头发掩膜对所述RGB图像进行过滤，得到RGB脸部区域和RGB头发区域，以及基于所述深度脸部和头发掩膜对所述深度图像进行过滤，得到深度脸部区域和深度头发区域。

11.根据权利要求10所述的装置，其中，所述第一提取模块进一步被配置成：

将所述RGB图像输入至预先训练的深度学习分割网络，得到所述RGB脸部和头发掩膜。

12.根据权利要求11所述的装置，其中，所述深度学习分割网络通过如下步骤训练得到：

获取样本RGB图像，其中，所述样本RGB图像存在人脸；

对所述样本RGB图像中的脸部和头发进行像素级标注，得到样本标注RGB图像；

基于所述样本标注RGB图像，生成样本RGB脸部和头发掩膜；

将所述样本RGB图像作为输入，将所述样本RGB脸部和/头发掩膜作为输出，训练得到所述深度学习分割网络。

13.根据权利要求11所述的装置，其中，所述第二提取模块包括：

计算子模块，被配置成计算所述深度图像的深度直方图；

查找子模块，被配置成查找所述深度直方图的高峰；

截断子模块，被配置成在所述深度直方图中，从所述高峰处向前后两个方向前进，直至深度值小于预设阈值时停止，以及在停止处进行截断；

生成子模块，被配置成基于所述深度直方图中截断得到的部分，生成所述深度脸部和头发掩膜。

14.根据权利要求13所述的装置，其中，所述第二提取模块还包括：

平滑子模块，被配置成对所述深度直方图进行直方图平滑。

15.根据权利要求13所述的方法，其中，所述装置还包括：

第一处理模块，被配置成对所述RGB脸部和头发掩膜、所述深度脸部和头发掩膜中的至少一项做形态学处理，其中，所述形态学处理包括以下至少一项：形态学腐蚀、形态学膨胀、形态学开与形态学闭处理。

16.根据权利要求10所述的装置，其中，所述装置还包括：

第二过滤模块，被配置成将所述深度头发区域通过非零均值滤波器，对所述非零均值滤波器的滤波核内的像素统计非零均值，以及利用所述非零均值替代所述滤波核内的像素。

17.根据权利要求16所述的装置，其中，所述装置还包括：

第二处理模块，被配置成对所述深度脸部区域做形态学处理。

18.根据权利要求10-17之一所述的装置，其中，所述装置还包括：

重建模块，被配置成基于所述RGB脸部区域、所述RGB头发区域、所述深度脸部区域和所述深度头发区域进行人脸三维重建，得到人脸的三维模型。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。

Images