CN105187810B - 一种基于人脸色彩特征的自动白平衡方法及电子媒体装置 - Google Patents

Abstract

本发明涉及一种基于人脸色彩特征的自动白平衡方法，该方法包括如下步骤：步骤一：获取包括本征值和目标值的人脸色彩特征集；步骤二：根据所述本征值对图像背景和人脸分别进行环境照明色温及色彩估计，得到对应色温估计值C₁、C₂，综合C₁、C₂得到全图像的估计值C₃；步骤三：根据上述色温及色彩估计和人脸色彩特征集对图像进行白平衡矫正和色彩增强。本发明还涉及含有上述自动白平衡方法的电子媒体装置。

Description

一种基于人脸色彩特征的自动白平衡方法及电子媒体装置

技术领域

本发明涉及影像技术和电子设备领域，特别的是摄像头图像处理系统中的色彩控制、处理和增强。

背景技术

自动白平衡通常包括照明色彩及色温估计，色彩通道的增益调节和色彩矫正和增强。肤色物体表面通常是白平衡照明色彩及色温估计的比较棘手的场景。其一是种族和个体的肤色差，以及个人化妆等带来的随机变异。其二是白色或其它物体表面在一定的色温光照下和肤色难以分辨，从而使目前流行的一些白平衡算法如A.灰色世界、B.完全反射、C.多表面相关等在肤色充盈的场景下对环境色温发生误判。即便在主流品牌的摄像产品中，肤色引起的白平衡误差和肤色色彩还原误差也颇为多见。因此，美国专利申请公开号US2008037975A1中主张将人脸肤色从环境色温的估计中剔除。自动白平衡的一个主要难点是在估计环境色温时，摄像头看到的是未知光源的光照在未知色彩表面物体上的混叠。如果场景中有已知色彩的表面，比如像专业摄像常用的现场白平衡的灰板，计算则很简单。但这对普通照相用户是不方便的。

发明内容

本发明的其中一个目的在于提供一种基于人脸色彩特征的自动白平衡方法。

解决本发明的其中一个目的所采取的方案是：提供一种基于人脸色彩特征的自动白平衡方法，其特征在于，该方法适用于电子媒体装置的图像及视频媒体的自动白平衡，包括如下步骤：

步骤一：获取在自动白平衡适用的光源照明下含有清晰明亮用户人脸的图像；对人脸进行检测、分割、识别和色彩特征提取，获取包括用户人脸肤色、眼白及牙齿的本征值和目标值的人脸色彩特征集；

步骤二：根据所述人脸色彩特征集对图像背景和人脸分别进行环境照明色温及色彩估计，得到对应色温及色彩估计值C₁、C₂，综合C₁、C₂得到全图像的估计值C₃；

步骤三：根据所述人脸色彩特征集、色温及色彩估计值对图像进行白平衡矫正和色彩增强。

本发明的又一目的在于提供一种电子媒体装置。

解决本发明的又一目的所采取的方案是：提供一种电子媒体装置，包括至少一个前置工作模式的摄像头，所述摄像头的前置工作模式的拍摄视场中通常含有该电子媒体装置的用户；

一个或多个控制器，其中一个控制器用于控制该电子媒体装置的系统；

固态或非暂时性存储器，用于存有可供控制器读取的指令集；

动态存储器，用于供摄像头缓存帧图像和其它数据，以及控制器用来执行指令；

可通过网络或其它媒介接收和传送图像、视频或其它数据的装置；

可显示图像和图形的显示屏；

用户可控的人机交互界面；

其中，所述摄像头包括镜头、图像传感器、存储器、摄像头控制器、及图像处理器等模块；该图像处理器将图像传感器传过来的信号处理成符合应用格式化的图像或视频；

其中，所述摄像头的上述部分或全部模块是资源独立的，或者是和宿主电子媒体装置资源共享的；

该图像处理器包括自动白平衡模块，该自动白平衡模块通过其包括的电子逻辑和控制处理电路硬件模块及控制处理软件模块以及该电子媒体装置的其它资源来实现下述自动白平衡方法和步骤：

步骤一：获取在自动白平衡适用的光源照明下含有清晰明亮用户人脸的图像，对人脸进行检测、分割、识别和色彩特征提取，获取包括用户人脸肤色、眼白及牙齿的本征值和目标值的人脸色彩特征集；

步骤二：运用所述人脸色彩特征集对图像背景和人脸分别进行环境照明色温及色彩估计，得到对应色温及色彩估计值C₁、C₂，综合C₁、C₂得到全图像的估计值C₃；

步骤三：根据人脸色彩特征集、色温及色彩估计对图像进行白平衡矫正和色彩增强。

在本发明中，该图像处理器包括自动白平衡模块，该自动白平衡模块包括电子逻辑和控制处理电路及控制处理软件，通过该电子逻辑和控制处理电路及控制处理软件在视频预览、录像或抓拍过程中将该图像处理器流水线上的帧图像缓存于独立的或共享的存储器中，进行人脸检测、分割和识别，提取用户人脸的色彩特征作为自动白平衡的参考表面，利用该表面色彩特征进行更为准确的白平衡的照明色温及色彩估计，并可对人脸及人体裸露的肤色、图像的其它部分进行有区别的白平衡的调节和色彩增强。此外，通过人机交互界面可获取用户对自己人脸色彩的喜好作为AWB调节的参考目标值，以达到一对一的用户人脸色彩表达的体验效果。

本发明的第三个目的在于提供一种可由多装置架构实现的更灵活应用上述自动白平衡的方法的电子媒体装置。

解决本发明的第三个目的所采取的方案是：提供一种电子媒体装置，包括一个或多个处理器，其中一个用于控制该电子媒体装置的系统；

固态或非暂时性存储器，用于存有可供控制器读取的指令集；

动态存储器，用于供摄像头缓存帧图像和其它数据，以及控制器用来执行指令；

可通过网络或其它媒介接收和传送图像、视频或其它数据的装置；

可显示图像和图形的显示屏；

用户可控的人机交互界面；

一个基于人脸色彩特征的自动白平衡装置，为该装置所含或与该装置相连的摄像头的一个自动白平衡模块，或是该装置其它应用中的一个自动白平衡模块，该自动白平衡模块的实现包括：

步骤一：获取在自动白平衡适用的光源照明下含有清晰明亮用户人脸的图像，对人脸进行检测、分割、识别和色彩特征提取，获取包括用户人脸肤色、眼白及牙齿的本征值和目标值的人脸色彩特征集；

步骤二：获取需要进行自动白平衡矫正的图像，对该图像进行人脸检测、分割、和识别，确认该图像含有用户人脸；运用所述人脸色彩特征集对图像背景和人脸分别进行环境照明色温及色彩估计，得到对应色温及色彩估计值C₁、C₂，综合C₁、C₂得到全图像的估计值C₃；

步骤三：根据所述人脸色彩特征集、色温及色彩估计值对图像进行自动白平衡矫正和色彩增强；

所述步骤一及步骤二中获取图像的方法是通过摄像头实时采集的，或者是在摄像头采集后非实时获取的；所述步骤一、步骤二及步骤三可以在一个或多个电子媒体装置上实现；在多个媒体装置上实现时，包括在第一电子媒体装置上实现获取图像，在第二电子媒体装置上实现人脸色彩特征集的获取，在第三电子媒体装置上实现步骤二、或步骤二及步骤三，或其他步骤与装置的组合。

附图说明

图1为前摄平台的示意图；

图2为自动白平衡(AWB)模块的ISP示意流程图；

图3为自动白平衡(AWB)模块的另一ISP示意流程图；

图4为后处理模式的流程图示意图；

图5为人脸色彩特征获取模式的流程图；

图6为AWB调节模式的流程图；

图7为AWB机器学习模式的示意图；

图8为将人脸分割成肤色区、眼白、牙齿的示意图；

图9为白点轨迹和肤色轨迹在一个色坐标系中的示意图；

图10为一种AWB调节的方法，使用同一个C₃对整幅图像进行同一处理；

图11为另一种AWB调节的方法：使用C₃有区别的对人脸和背景图像进行处理，以白平衡标准参考光源照明下的白点位置为目标；

图12为另一种AWB调节的方法：使用C₃有区别的对人脸和背景图像进行处理，并以用户喜好的色彩表达为目标；

图13为一种检测人脸以外其他裸露皮肤的方法；

图14为用户人机界面的实现方法示意图；

图15为AWB反馈学习示意图；

图16为人脸色彩特征用于人脸识别的辅助矢量的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了便于理解，对涉及到专用符号或名词进行如下解释：

C₁、C₂、C₃：

将图像分割成人脸部分和背景部分，C₁，C₂，C₃指自动白平衡(Automatic WhiteBalance：AWB)的照明色温及色彩估计基于背景、人脸和全图的计算过程和结果。该结果通常由某一色空间或色坐标系中的坐标点位置来表示。用来计算色温的方法可以用上述背景技术中提到的A、B、C或其它方法。

人脸色彩特征：在本发明中指人脸分割后，人脸肤色，眼白以及牙齿部位的统计色彩特征，包括其本征值及目标值，对应于AWB常用的光照色温区间的照明色温及色彩。

人脸色彩特征集：在本发明中指包括所有用户的对应于AWB常用的光照色温区间的照明色温及色彩的人脸色彩特征的数据集合和结构。

前摄平台：指摄像头或其它含有摄像头电子媒体装置，在操作中至少有一个模式，其中一个摄像头的视场通常含有该装置的使用者。

机主：前摄平台的机主或管理员，有权使用并授权平台使用者用户权，使其有使用本发明的体验的权利。

用户：前摄平台具有用户权的使用者，用户权也有可以有前摄平台的服务程序直接开放授权，直至用户群达到系统支持的最大限度。

ISP(Image Signal Processor：图像信号处理装置或图像信号处理器)：摄像头的图像信号处理系统，包括图像传感器的接口、与宿主设备的控制和信号通讯接口、图像信号处理的电子电路的计算和逻辑硬件引擎、数据和程序使用的存储器，可编程的控制器及控制和处理软件等。

鉴于观测到用户人脸常常是前摄平台的主要摄像目标并占据了拍摄图像的较大的画面，而手机后置摄像头和其它摄像装置也经常拍摄人脸肖像；并由于智能手机及其它前摄平台的日益扩展和普及应用，使得利用现场拍摄到的图像中用户人脸的色彩特征作为AWB的参考表面成为一个实用可行的技术。

本发明自动白平衡(AWB)装置作为摄像头ISP的一个模块适用于前摄平台，也可应用于其它摄像平台的自动白平衡的方法和装置，包括电子逻辑和控制处理电路，和控制处理软件。其主要工作过程为首先获取人脸色彩特征集，其次在实时工作中将ISP流水线上的帧图像缓存于存储器中，进行人脸检测、分割和识别，提取用户人脸的色彩特征作为自动白平衡的参考表面，利用该表面色彩特征以及人脸色彩特征集中的数据进行更为准确的白平衡的照明色温及色彩估计，并可对人脸及人体裸露的肤色、图像的其它部分进行有区别的白平衡的调节和色彩增强。此外，通过人机交互界面可获取用户对自己人脸色彩的喜好作为AWB调节的参考目标值，以达到一对一的用户人脸色彩表达的体验效果。

本发明提供一种电子媒体装置包括：一个或多个摄像头，其中至少一个摄像头的一个工作模式中摄像头的视场通常可见该装置的使用者。

在该模式下，摄像头的AWB控制装置使用检测获取的用户人脸色彩特征作为照明色温及色彩估计的色彩调节的参考；一个或多个可编程控制器，其中一个为系统控制器；固态或非暂时性存储器，可存有可供系统控制器读取的指令集；动态存储器，可供摄像头缓存帧图像和其它数据，以及控制器用来执行指令；可通过网络或其它媒介接收和传送图像、视频或其它数据的装置。

前摄平台的摄像头包括镜头和图像传感器；ISP系统；图像传感器与ISP系统的接口；专用的或与宿主平台控制器兼用的可编程摄像头控制器；自带的或与宿主平台共享的显示屏；自带的或与宿主平台共享的图像或视频的抓拍存储传输装置；自带的或与宿主平台共享的固态或非暂时性存储器，可存储可供摄像头控制器读取的指令集；自带的或与宿主平台共享的动态存储器，可供摄像头缓存帧图像和其它数据，以及摄像头控制器用来执行指令；可通过网络或其它媒介接收和传送图像、视频或其它数据的装置；摄像头具有关机、开机、待机、预览、视频抓拍和图像抓拍等工作状态，由摄像头专用控制器或平台系统控制器根据用户的需求来切换。在预览或抓拍工作模式下，帧图像经图像传感器的接口，再经过ISP的前级处理后储存于缓存中。然后一个或多个控制器或其它专用逻辑计算电路对图像进行人脸检测，分割和识别以及人脸色彩特征的提取以及基于人脸色彩特征的AWB增益调节和色彩增强，并将图像传输到耦合的ISP下游模块做进一步处理并产生格式化的输出或显示，存储在本机的固态存储单元中，或经由网络输出。图2和图3是简化的摄像头及ISP的工作示意图。人脸色彩特征的获取也可以把抓拍的图像输出储存为通用的图像文件，由其它具有计算功能的平台来分析处理。

本发明的AWB装置作为ISP的一个模块，其功能包括对照明色温及色彩进行估计，再根据估计的结果将图像从当前照明矫正到在白平衡标准参考光源照明如D50照明下的状态，或将图像矫正到一个非标准但更与人眼感觉更吻合的照明下的状态，或将图像矫正到本机用户偏爱的目标状态。特别的色彩增强可以与AWB的增益调节同时进行，或在AWB增益调节后进行。AWB模块可以用如图2或图3的方法实现，也可以在ISP内不同的位置实现，如Bayer域中，或如图4所示的后处理模块，或在其它平台上作为一个脱机模块来实现。如图2所示的实施例的实现中，抓拍的图像或视频的帧图像在经过前处理里后被存于缓存260中。控制器230通过对缓存260的读写和运算进行人脸检测和识别，人脸特征获取，照明色温及色彩估计，白平衡增益调节，色彩矫正和增强。如有专门设计的硬件加速运算电路，高速控制器和充足的和动态缓存空间会大大提高运算速度和图像处理的质量和效果。

本发明披露的AWB装置有3种工作模式：

AWB人脸色彩特征获取模式如图5所示；

AWB色彩调节模式如图6所示；

AWB的机器学习模式如图7所示。

在AWB人脸色彩特征获取模式下，模块53对经过前处理的缓存51中的图像进行人脸检测，分割和识别；模块52获取被识别认可的用户的人脸色彩特征的本征值，并通过人机交互模块55提取人脸色彩特征的目标值，并将结果存在模块54人脸色彩特征集中。其中，缓存51中的图像也可以经过进一步处理输出为格式化的图像文件，提取人脸色彩特征可以在本装置或其它装置上进行。

在AWB调节模式下，模块63进行人脸检测，分割和识别和人脸色彩特征提取，64根据上述的结果以及人脸色彩特征集62中的人脸色彩特征数据进行照明色温及色彩估计并获取C₁，C₂，C₃，根据C₁，C₂，C₃和人脸色彩特征集中的数据进行白平衡的增益调节和色彩增强。

在AWB的机器学习模式中，AWB控制起初完全基于C₁的计算，人脸色彩

特征的获取和学习过程在后台运行。当学习过程收敛之后，如上述基于C₁，C₂， C₃的AWB调节模式在前台运行。

以下对上述三种模式进行详细描述。

AWB人脸色彩特征获取模式：

人脸检测、分割和识别的实时算法实现，已在智能手机和其它视频系统中大量使用。前摄平台可以利用用户群有限和多种用户的辅助身份信息如密码、指纹等，以及利用下述的人脸色彩特征集作为人脸识别的辅助特征矢量，使人脸识别的计算量进一步简化。因此，人脸检测、分割和识别的实时算法实现在本发明中作为现有技术而不作详细叙述。

AWB人脸色彩特征获取模式包括：标准光源多点标测模式、标准色板多点标测模式、单点插值标测模式，和机器学习自动测试模式。

标准光源多点标测模式：

在AWB适用的参考光源照明下，拍摄含有人脸的图像，对人脸进行检测，和分割和识别，并提取包括肤色，眼白和牙齿部位的色彩特征。具体地，可以在D50或其他标准光源和合适的亮度照明下，在摄像平台的自动曝光和对焦稳定后，先用灰卡做手动白平衡，然后关闭白平衡的功能：拍摄用户脸部正面图像，并在显示屏幕显示上述所拍的图像，使其脸部轮廓的尺度足够大，眼白、牙齿清晰可见；测试软件对人脸进行检查和定位，并提取各部位的统计色彩特征，输入到人脸色彩特征集对应于该用户该照明光源的本征值表项中；测试软件再调节人脸肤色在某一色空间的位置，将效果和调节方法在显示屏上显示如图14，并由用户通过人机交互界面来调节选择最佳效果，测试软件再根据用户的选择将人脸肤色在色空间中选定的位置坐标作为目标值输入至人脸色彩特征集对应于该用户该照明光源的目标值表项中；保持自动白平衡关闭，改变照明光源，逐一重复上述步骤，但在本征值测量时不再做手动白平衡，在目标值测量时做手动白平衡，即可获得对应于新的光源点的人脸色彩特征值。使测量的光源以一定的间隔(1000K-2000K)覆盖白平衡需要覆盖的色温区间(如2500K-12000K)，则测试完成。以下以肤色区为例，更为详细的表述本征值的获取过程。如图8所示，首先将肤色区880的像素点从RGB空间转化到HSL空间，并采用一个数据结构使每一个像素点在RGB空间图像矩阵中的位置不被丢失。其次用大小可调的亮度阈值来去除过亮和过暗的像素点。再次对通过滤波的像素点做一个对应于H和S的二维直方图，保留近直方图峰值中心区域约80％的像素点作为肤色特征统计的优选点，并在RGB空间原矩阵中计算这些优选点各个坐标分量的平均值，其结果就作为用户的肤色特征本征值r₁₁₀，g₁₁₀，b₁₁₀输入到人脸色彩特征集中对应于该用户表项在该色温下的本征值的位置。提取眼白和牙齿的本征值的过程与之相似，但人眼区830以及嘴巴区820在上述提取前需经进一步分割以得到准确的眼球和牙齿的轮廓边缘。

标准灰板多点标测模式：

由于标准光源设备的昂贵和上述操作的不方便，可以做如下简易的标测：用含有标准灰板或白色表面的背景在室内外常用环境下拍摄含有上述参考表面的用户脸部图像，可选择例如“日光灯”、“白炽灯”、“阳光下”、“树荫下”等场景，以包含AWB所需覆盖的色温和色谱区间；用户通过上述人机交互界面做色彩调整，选择喜爱的最佳肤色效果；测试程序会根据标准灰板或白色表面来计算环境色温，和与之对应的人脸色彩特征本征值和目标值。

单点插值标测模式：

如图9所示，人类肤色在某一色坐标系中的在自然光照明下的色彩分布可以通过大量经验数据来获取，可以通过上述两种方法之一获取一个色温点的人脸色彩本征值点的坐标P，再根据人类肤色的在色坐标系中的统计分布及其与摄像头标测的白点分布在该色坐标系中的位置的相关性进行外插，即可获取足够多的色温点的本征值。

上述三种人脸色彩特征提取过程是由测试程序对缓存中的图像进行的，也可以将图像抓拍或视频录像，输入到其它平台或装置上进行人脸检测、分割、识别、特征提取以及白平衡的照明估计、矫正和增强。

上述的人脸色彩特征获取过程可以在用户的启动下随时进行或由系统服务程序启动，人脸色彩特征集的数据也随之更新。如果人脸识别不能确认画面中的人脸为用户，可将检测到的人脸部分从C₁白平衡色温估计中剔除。C₂不做计算

以下表一为人脸色彩特征集对应于自然光照明在RGB色空间的坐标示例。

表一：人脸色彩特征集表项结构示意

AWB色彩调节模式

如图6所示，首先模块63对缓存中的图像进行人脸检测、分割和识别，确认为用户后，模块64进行自动白平衡的环境色温估计。以一种基于黑体辐射的光源特性的照明估计方法为例：

C₁计算方式如下：

如图9所示，设背景中任一像素点为i_b，其R、G、B分量为r_ib，g_ib，b_ib。背景像素点总和为T₁，平均色温的估计为

【1】

α_ib为加权因子，与该点的色彩特征及亮度相关。

将垂直投影到最近的白点轨迹曲线，即可得到色温估计值C₁。

C₂的计算，其基本原理与C₁计算相似。每个人脸部位都可以看成是一个独立的参考表面，根据其实测的统计平均值在该表面的色温曲线中的投影位置，以及与色温估计的置信度相关的权重，可算出其对C₂的贡献。设人脸图像上任一点i_fj，j对应于各个不同的分割部位，与人脸色彩特征集表中的行列序号相对应，各部位的色温估计先分别进行计算，然后再加以综合，以肤色为例：

肤色区的图像像素点坐标值乘以一个系数为该点对平均色温估计的贡献，可与该点的色彩特征及亮度相关。

【2】

其中代表人脸肤色像素点总数。

如图10所示，图中为某一用户人脸肤色的平均估计在色坐标系中的位置，对应该用户肤色本征值色温曲线上的投影P_fm即为上述肤色的色温估计

人脸其余部位的色温估计，与肤色相似，令眼白的色温估计为

牙齿为在计算C₂，时，还需要再次通过查找人脸色彩特征值将

和映射到白点轨迹上得到相应的和

【3】

其中θ_j为估计的置信度加权因子。

把C₁，C₂的坐标看成一个矢量，则全图的色温估计

C₃＝(C₁*k₁+C₂*k₂)/(k₁+k₂)； 【4】

其中(0＜k₁＜1，0＜k₂＜1；0＜w₁＜1，0＜w₂＜1)，k₁，k₂是加权系数，可以是置信度w₁，w₂的一个函数。

对于色彩与黑体辐射的光源特性的照明有一定差异的、需要做白平衡矫正的人工光源的照明色温和色彩估计和白平衡矫正，C₁即为即统计估计总体平均值不向白点色温曲线作投影，C₂的人脸各部位计算与之类似。

自动白平衡矫正与色彩增强：

本发明可根据色温及色彩估计C₁或C₂或C₃或C₁、C₂、C₃的任意组合对图像进行白平衡矫正和色彩增强，以下是一些可行的实例：

(1)用C₃对背景和人脸进行同一白平衡的矫正和人脸的色彩增强(参见图10)在标准色温照明下，白点的这通常是在ISP系统调试过程中各个色彩通道的增益作了对应于传感器像素光谱以及其它模块作了相应的预处理调节。如果当前的照明色温估计C₃在(B/G，R/G)色坐标系中的坐标是则，对应于R通道和B通道的附加的白平衡增益调节为G/R₁和G/B₁，G通道增益通常不变，以保证自动曝光不受白平衡的影响。白平衡调节之后，还要进行一个3*3CCM色彩矫正矩阵[R′，G′，B′]＝A*[R，G，B]^T。 【5】

(2)用C₃对背景和人脸分别进行白平衡的矫正和人脸的色彩增强(参见图11)。人脸的各个部位和背景被从各自当前的C₃位置调节到各自的D50本征值位置。这种方法会使各个部位的色彩还原最佳，但计算量较大，还要处理好边界的平滑，以避免噪声和不自然的图像失真。

(3)另一种实施的方法是用C₂和C₁来分别处理人脸及人体的肤色与其它背景图像，这对人脸和背景照明色谱差异较大时特别有效，并基于用户优选的目标值的白平衡矫正(如图12所示)。人脸各个部位的色彩从对应于当前估计的C₂的本征值位置调节到对应于C₂的目标值位置。每一个用户都有一组本征值和目标值。在某一用户没有目标值选项的情况下，就只能纠正到该用户的标准参考光源下的本征值。如图10和图11所示。

先来考虑人脸的肤色，假设R_ref，B_ref和G_ref肤色的目标值，并且R_current，B_current和G_current是对应于C₃的当前估计值，肤色的矫正可以由以下公式来计算：

【6】

虽然上式满足了用户喜好的色彩表达，但由于在自动曝光的过程中，

G_ref可能不等于G_current从而引起人脸亮度的变化。解决这个问题的一种方法可以把肤色像素点从RGB空间转换到比如HSL空间，再将色彩和饱和度矫正到用户优选的目标值，保持亮度不变，再将矫正后的像素点转换回RGB空间。色彩和饱和度的调节具体实现，首先在HSL空间里，计算当前估计值作为一个总体平均值以及目标值在HSL空间里的坐标，(H_current，S_current，L_current)以及H_ref，S_ref，L_ref)，然后计算H和S分量的差值ΔH＝H_ref-H_current；ΔS＝S_ref-S_current。对与肤色区某一像素点(h_current，s_current，l_current)的调节可以采用以下公式；

h_current1＝h_current0+γ×ΔH； 【7】

s_current1＝s_current0+θ×ΔS； 【8】

其中，γ和θ是一个与亮度相关的加权因子。

为了使人脸区的肤色与人体其他裸露部位的肤色的表达一致性，可以采取如下的处理(参见图13)：

首先，进行人体肤色裸露部位的检测和定位，如图8所示，根据人脸的大小和方向性，预测一个人体区间矩形(或用其它现有技术更精准的方法，获取人体的轮廓)，将矩形的像素从RGB空间转变到YCbCr空间，在CbCr坐标系里以当前色温参考肤色的位置，f为核心的一个邻域，为运算和说明方便起见，如半径为L(大小可调)的圆为肤色滤波器，对上述人体矩形区进行滤波，对位于圆内的像素，再计算其与人体形态各部位的位置相关性等特征以及人体肤色区部位的连通性特征，若被判断为裸露的肤色部位，则采用与上述人脸肤色相同的增益调节方法。人脸的其他部位如牙齿和眼白可以按照各自的本征值和目标值进行类似肤色的矫正和增强，或和背景同样处理。

AWB的机器学习特征获取和色彩矫正模式：

首先，通过机器学习来获取用户人脸色彩特征的本征值，具体的：

获取需要进行白平衡矫正的图像，对该图像进行人脸检测、分割、和识别，确认该图像含有用户人脸；

用C₁作为照明的色温及色彩估计来进行白平衡调整，在无监督学习模式下，在某个估计的光照色温下，当估计的置信度w₁高于某个阈值w_t，进行人脸色彩特征本征值数据提取采集，缓存于一个候选数组中，当在同一个估计的光照色温下采集的候选数组中人脸色彩特征本征值数据对应于均值的均方差小于某个阈值的概率P₁大于某个阈值P_1t时，则认为C₁的检测准确，将候选数组中的人脸色彩特征集本征值的均值进行采集，并录入人脸色彩特征集该用户该色温的表项，或者：

在用户监督学习模式下，通过人机界面随机的显示含有用户人脸且基于C₁的照明色温及色彩估计置信度较高的图像，通过人机界面征询用户对色彩还原的满意度；如果用户满意，就说明该图基于C₁的照明估计和白平衡和色彩矫正正确，对该用户进行人脸色彩特征集本征值数据提取采集，录入人脸色彩特征集中该用户对应于当前估计的照明的本征值的表项；

或者：

在用户监督学习模式下，通过人机界面显示含有用户人脸且基于C₁的照明色温及色彩估计并通过无监督学习合格的图像，进一步通过人机界面征询用户对色彩还原的满意度；如果用户满意，就说明该图基于C1的照明估计和白平衡和色彩矫正正确，对该用户进行人脸色彩特征集本征值数据提取采集，录入人脸色彩特征集中该用户对应于当前估计的照明的本征值的表项；

目标值的获取方法是，通过人机界面显示一幅或多幅经过色彩增强的图像，或提供由用户自行调节人脸色彩和饱和度的界面，或并用上述两种方法，提示并获取用户的输入，根据用户的输入确定提取目标值，同时获取对应于从原始图像变换到用户确认图像的变换函数；将所获取的目标值及变换函数输入至人脸色彩特征集中对应于该用户该色温估计的表项；

当用上述方法采集的人脸色彩特征集的数据充分覆盖了AWB所需覆盖的照明色温及色彩区时，学习过程完成，之后的白平衡的色温及色彩估计和矫正就可以使用上述数据来实现步骤二和步骤三；

上述的机器学习还具有更新的模式，在该模式下，用户随时启动学习过程，更新本征值或目标值。

本发明所披露的方法与装置也适用不同于前摄平台的其它影像装置，例如，后置摄像头和数码相机在自拍的模式时，可以拍到用户人脸。此外，前置摄像头获取的照明估计对后置摄像头的白平衡也是有用的信息，尤其在一些场景，当后置摄像头自动白平衡的照明估计置信度较低时，后置摄像头向系统控制器发出请求前置摄像头获取照明估计信息，系统控制器在系统资源许可时，批准该请求，并在用户不在使用前置摄像头时启动前置摄像头获取照明估计的工作；后置摄像头采用或参考前置摄像头的照明估计相关的判定条件和方法是：前、后置摄像头同时工作且视场的照明相同或相关时；该照明相同或相关的判定条件和方法是：可通过自动曝光和其它场景分析算法判定两摄像头的视场同为室内或室外；通过自动对焦或其它测距算法判定前、后置摄像头的场景与摄像头的距离远近；在前置摄像头的场景中检测到的照明光源与后置摄像头的白平衡模块估计的环境照明光源相同或相近；前置摄像头的白平衡模块估计的环境照明光源与后置摄像头的白平衡模块估计的环境照明光源相同或相近；

后置摄像头的白平衡模块与前置摄像头的白平衡模块的同时工作可以是常态的，也可以是间隙的；当用户在使用后置摄像头而不在使用前置摄像头时，后置摄像头的白平衡模块有权实时通过系统控制程序来启动或关闭前置摄像头及其白平衡模块以获取场景分析和照明色温及色彩估计性息，且前置摄像头在后台工作，不做白平衡矫正及ISP的下游处理，以降低功耗。

本发明的AWB模块的实施结构可以有多种选择。在图2中，帧图像缓存是设在RGB的处理域中；自动白平衡模块可设在图像处理器内的Bayer域中、或RGB域中、或后处理模块，或以分布式的处理架构涉及所述电子媒体装置多项资源，或在其它平台装置上作为一个脱机模块来实现，包括在第一电子媒体装置上实现步骤一的获取图像部分，在第二电子媒体装置上实现步骤一的人脸色彩特征提取部分，在第三电子媒体装置上上实现步骤二、或步骤二及步骤三，或其它步骤与媒体装置的组合；其中，第二或第三电子媒体装置带或不带摄像头，包括电视机、显示屏、游戏机、电脑、视频或图像压缩编码器、或网络传输装置。

摄像头上的ISP系统中的自动白平衡装置包括基于电子电路的逐点处理(硬件)，比如统计数据采集模块，增益调节模块，色彩矫正(CCM)模块或专业ASIC的处理模块；基于可编程控制器或DSP、GPU的软件模块，如照明色温估计，增益调节值等计算，以及整个过程的控制。要完成上述的人脸检测，分割和识别，以及基于人脸色彩特征的自动白平衡任务需要合理配置计算资源。专用的硬件加速单元越多，控制器的速度越快，图像质量就越好，延迟也越小，但功耗和成本会越高。比如，当图像中检测出多个用户的人脸时候，计算量会显著增加，在这种情况下，可以事先赋予人脸色彩特征集中不同用户不同的优先权，首先满足优先权级别最高的用户的需求，保证其色彩还原的效果最佳，并优先采用该用户的人脸色彩特征作为C₂计算的参考，另一个方法是同时参照多个用户的人脸色彩特征来计算C₂，在综合时考虑到优先权以及个体估计的置信度等作为权重的影响因素。在作白平衡矫正和色彩增强时，是否用多用户模式可以有机主设定。如果机主希望自己在图像中色彩还原最好，可以只采用单用户。反之比如是一个家庭合影，人人都希望表现出色，就可以设成多用户模式，显然多用户模式会占用较多的系统资源和较多的处理时间。如前所述，小样本集的实时人脸检测和识别在智能手机上已经可以实时实现，因此，本发明提出的方法在计算资源上是现实可行的，尤其是像对于用C₃对全图进行统一增益调节的实施方法。

如图16所示，人脸色彩特征集可以作为一个辅助的或独立的特征向量集应用于本发明中的人脸识别的模块，也可以用于其它人脸识别的场合如视频监控或网络视频和图像检索。

Claims (16)

1.一种基于人脸色彩特征的自动白平衡方法，其特征在于，该方法适用于电子媒体装置的图像及视频媒体的自动白平衡，包括如下步骤：

步骤一：获取在自动白平衡适用的光源照明下含有清晰明亮用户人脸的多幅图像；对人脸进行检测、分割、识别和色彩特征提取，获取包括用户人脸肤色、眼白及牙齿的本征值和目标值的人脸色彩特征集；

步骤二：获取需要进行白平衡矫正的图像，对该图像进行人脸检测、分割、和识别，确认该图像含有用户人脸，所述用户为步骤一中已经预先建立人脸色彩特征集的用户；根据所述人脸色彩特征集对图像背景和人脸分别进行环境照明色温及色彩估计，得到对应色温及色彩估计值C₁、C₂，综合C₁、C₂得到全图像的色温及色彩估计值C₃；

步骤三：根据所述人脸色彩特征集、色温及色彩估计值对图像进行白平衡矫正和色彩增强。

2.如权利要求1所述的方法，其特征在于，包括步骤一、步骤二及步骤三在一个或多个装置上实现的架构，其中，在多个装置上实现的架构包括：在第一电子媒体装置上实现获取图像，在第二电子媒体装置上实现人脸色彩特征集的获取，在第三电子媒体装置上实现步骤二、或步骤二及步骤三；或其它不同的步骤与装置的组合；所述电子媒体装置包括手机、相机、笔记本、平板电脑、掌上电脑、电视机、显示屏、游戏机、电脑、视频图像压缩编码器、网络传输装置、图像或视频编辑处理装置。

3.如权利要求1所述的方法，其特征在于，所述步骤一的获取本征值的实现方法包括：在标准光源下拍摄含有用户人脸的图像；或在常用场景照明下拍摄同时含有标准参考色彩的表面和用户人脸的图像，并利用参考色彩的表面测定照明光源的色温及色彩特征；对人脸进行部位分割，获取各部位的轮廓，再用亮度阈值和色彩直方图对轮廓内的像素点进行筛选，取筛选后的像素点平均值作为人脸的肤色，眼白及牙齿的本征值；所述步骤一获取目标值的方法包括：通过人机界面显示一幅或多幅经过色彩增强的图像，或提供由用户自行调节人脸色彩和饱和度的界面，或并用上述两种方法，提示并获取用户的输入，根据用户的输入确定，并使用与上述获取本征值相同的特征提取方法所述步骤一获取上述部位的目标值，同时获取对应于从原始图像变换到用户确认图像的变换函数；将所获取的本征值，目标值及变换函数输入至人脸色彩特征集中对应于该用户的表项。

4.如权利要求1所述的方法，其特征在于，所述步骤二照明色温及色彩估计实现方法包括：

对于基于黑体辐射的光源特性的一种照明估计方法为：

C₁计算方式如下：

设背景中任一像素点为i_b，其R、G、B分量为r_ib，g_ib，b_ib，背景像素点总和为T₁，平均色温的估计为

${\stackrel{\‾}{C}}_1=\[(\underset{i=1}{\overset{T_1}{\Σ}}{\mathrm{\α}}_{ib}*(\frac{r_{ib}}{g_{ib}})/(\left(\underset{i=1}{\overset{T_1}{\Σ}}{\mathrm{\α}}_{ib}\right)*T_1\left)\right);(\underset{i=1}{\overset{T_1}{\Σ}}{\mathrm{\α}}_{ib}*(\frac{b_{ib}}{g_{ib}})/(\left(\underset{i=1}{\overset{T_1}{\Σ}}{\mathrm{\α}}_{ib}\right)*T_1\left)\right)\];$

α_ib为加权因子，与该点的色彩特征及亮度相关；

将垂直投影到最近的白点轨迹曲线，即可得到C₁；

C₂的计算，其基本原理与C₁计算相似，每个人脸部位都看成是一个独立的参考表面，根据其实测的统计平均值在该表面的色温曲线中的投影位置，以及与色温估计的置信度相关的权重，可算出其对C₂的贡献；设人脸图像上任一点i_fj，j对应于各个不同的分割部位，与人脸色彩特征集表中的行列序号相对应，各部位的色温估计先分别进行计算，然后再加以综合，以肤色为例；

肤色区的图像像素点坐标值乘以一个系数为该点对平均色温估计的贡献，与该点的色彩特征及亮度相关；

${\stackrel{\‾}{C}}_{2_{f1}}=\left(\right(\underset{i=1}{\overset{T_{2_{f1}}}{\Σ}}\left(\frac{b_{i_{f1}}}{g_{i_{f1}}}\right)*{\mathrm{\β}}_{i_{f1}})/(\underset{i=1}{\overset{T_{2_{f1}}}{\Σ}}{\mathrm{\β}}_{i_{f1}}*T_{2_{f1}}),(\underset{i=1}{\overset{T_{2_{f1}}}{\Σ}}\left(\frac{r_{i_{f1}}}{g_{i_{f1}}}\right)*{\mathrm{\β}}_{i_{f1}})/(\underset{i=1}{\overset{T_{2_{f1}}}{\Σ}}{\mathrm{\β}}_{i_{f1}}*T_{2_{f1}}\left)\right)$

其中代表人脸肤色像素点总数；

将投影到该用户的人脸色彩特征集中本征值拟合的肤色参考线上的最近参考点或最近线段，就得到了

人脸其余部位的色温估计，与肤色相似，令眼白的色温估计为牙齿为在计算C₂，时，还需要再次通过查找人脸色彩特征值将和映射到白点轨迹上得到相应的和

$C_2=(\underset{j=1}{\overset{3}{\Σ}}{C}_{2fj}^{\′}*{\mathrm{\θ}}_j)/\underset{j=1}{\overset{3}{\Σ}}{\mathrm{\θ}}_j,$

其中θ_j为估计的置信度加权因子；

把C₁，C₂的坐标看成一个矢量，则全图的色温估计

C₃＝(C₁*k₁+C₂*k₂)/(k₁+k₂)；

对于色彩与黑体辐射的光源特性的照明有一定差异的、需要做白平衡矫正的人工光源的照明色温和色彩估计和白平衡矫正，C₁即为，即统计估计总体平均值不向白点色温曲线作投影，C₂的人脸各部位计算与之类似。

5.如权利要求1所述的方法，其特征在于，所述步骤三包括：

方法一：将全图从当前的照明色温及色彩估计C₃调节到D50或其他白平衡标准参考光源下的白点位置或某个与场景相关的体验最优值，其实现步骤如下：

如果当前的照明色温估计C₃在(B/G，R/G)色坐标系中的坐标是则对应于R通道和B通道的附加的白平衡增益调节为G/R₁和G/B_1；G通道增益不变，使自动曝光不受白平衡的影响；白平衡调节之后，还要进行一个3*3CCM色彩矫正矩阵[R′，G′，B′]＝A*[R，G，B]^T。

6.如权利要求1所述的方法，其特征在于，所述步骤三包括：

方法二：将人脸各个部位的色彩从对应于当前估计的C₂的本征值位置调节到人脸色彩特征中对应于该照明估计的目标值位置，而背景从当前的照明色温及色彩估计C₁调节到D50或其他白平衡标准参考光源下的白点位置或某个与场景相关的体验最优值；方法二的第一种实现是在人脸色彩特征集中查找与当前估计C₂最近色温点的变换函数，并对函数的参数做适当调节，再用调节后的函数对原图进行变换；或者：

先来处理人脸的肤色，假设R_ref，B_ref和G_ref肤色的对应于C₂的目标值，并且R_current，B_current和G_current是对应于C₂的当前估计值，如果G_ref与G_current很接近，肤色的矫正由以下方法来计算：

$R\_gain=\frac{R_{ref}}{R_{current}};B\_gain=\frac{B_{ref}}{B_{current}};G\_gain=\frac{G_{ref}}{G_{current}};$

若G_ref与G_current相差比较大，则把肤色像素点从RGB空间转换到比如HSL空间，再将色彩和饱和度调节到用户优选的目标值，保持亮度不变，再将矫正后的像素点转换回RGB空间；

上述色彩和饱和度的调节具体步骤包括，首先在HSL空间里，计算在当前照明下，人脸肤色像素以亮度和色彩为权重的统计加权平均值以及目标值在HSL空间里的坐标，(H_current，S_current，L_current)以及(H_ref，S_ref，L_ref)，然后计算其H和S分量的差值ΔH＝H_ref-H_current；ΔS＝S_ref-S_current，对与肤色区某一像素点(h_current0，s_current0，l_current0)的调节采用以下公式；

h_current1＝h_current0+γ×ΔH；

S_current1＝s_current0+θ×ΔS；

其中，γ和θ是一个与亮度相关的加权因子；

将调节后的像素点(h_current1，s_current1，l_current0))转换到RGB空间；为了使人脸区的肤色与人体其他裸露部位的肤色的表达一致性，采取如下的处理：

首先，进行人体肤色裸露部位的检测和定位，根据人脸的大小和方向性，预测一个人体区间矩形，将矩形的像素从RGB空间转变到YCbCr空间，在CbCr坐标系里以当前色温参考肤色的位置，f为核心、半径为L的圆为肤色滤波器，对所述人体矩形区进行滤波，对位于圆内的像素，再计算其与人体形态各部位的位置相关性以及人体肤色区部位的连通性特征，若被判断为裸露的肤色部位，则采用与上述人脸肤色相同的增益调节方法；

人脸的其他部位如牙齿和眼白按照各自的本征值和目标值进行类似肤色的矫正和增强，或与背景同样处理；最后对采用不同矫正方法的图像区域的边缘进行平滑处理。

7.如权利要求1所述的方法，其特征在于，基于机器学习的人脸色彩特征的自动提取和白平衡矫正模式，包括如下步骤：

获取需要进行白平衡矫正的图像，对该图像进行人脸检测、分割、和识别，确认该图像含有用户人脸；

用C₁作为照明的色温及色彩估计来进行白平衡调整，在无监督学习模式下，在某个估计的光照色温下，当估计的置信度w₁高于某个阈值w_t，进行人脸色彩特征本征值数据提取采集，缓存于一个候选数组中，当在同一个估计的光照色温下采集的候选数组中人脸色彩特征本征值数据对应于均值的均方差小于某个阈值的概率P₁大于某个阈值P_1t时，则认为C₁的检测准确，将候选数组中的人脸色彩特征集本征值的均值进行采集，并录入人脸色彩特征集该用户该色温的表项，或者：

在用户监督学习模式下，通过人机界面随机的显示含有用户人脸且基于C₁的照明色温及色彩估计置信度较高的图像，通过人机界面征询用户对色彩还原的满意度；如果用户满意，就说明该图基于C₁的照明估计和白平衡和色彩矫正正确，对该用户进行人脸色彩特征集本征值数据提取采集，录入人脸色彩特征集中该用户对应于当前估计的照明的本征值的表项；

或者：

在用户监督学习模式下，通过人机界面显示含有用户人脸且基于C₁的照明色温及色彩估计并通过无监督学习合格的图像，进一步通过人机界面征询用户对色彩还原的满意度；如果用户满意，就说明该图基于C₁的照明估计和白平衡和色彩矫正正确，对该用户进行人脸色彩特征集本征值数据提取采集，录入人脸色彩特征集中该用户对应于当前估计的照明的本征值的表项；

目标值的获取方法是，通过人机界面显示一幅或多幅经过色彩增强的图像，或提供由用户自行调节人脸色彩和饱和度的界面，或并用上述两种方法，提示并获取用户的输入，根据用户的输入确定提取目标值，同时获取对应于从原始图像变换到用户确认图像的变换函数；将所获取的目标值及变换函数输入至人脸色彩特征集中对应于该用户该色温估计的表项；

当用上述方法采集的人脸色彩特征集的数据充分覆盖了AWB所需覆盖的照明色温及色彩区时，学习过程完成，之后的白平衡的色温及色彩估计和矫正就使用上述数据来实现步骤二和步骤三；

上述的机器学习还具有更新的模式，在该模式下，用户随时启动学习过程，更新本征值或目标值。

8.一种电子媒体装置，其特征在于，包括至少一个前置工作模式的摄像头；

一个或多个控制器，其中一个控制器用于控制该电子媒体装置的系统；

固态或非暂时性存储器，用于存有可供控制器读取的指令集；

动态存储器，用于供摄像头缓存帧图像和其它数据，以及控制器用来执行指令；

可通过网络或其它媒介接收和传送图像、视频或其它数据的装置；

可显示图像和图形的显示屏；

用户可控的人机交互界面；

其中，所述摄像头包括镜头、图像传感器、存储器、摄像头控制器、及图像处理器；该图像处理器将图像传感器传过来的信号处理成符合应用格式化的图像或视频；

其中，所述摄像头的上述部分或全部模块是资源独立的，或者是和宿主电子媒体装置资源共享的；

该图像处理器包括自动白平衡模块，该自动白平衡模块通过其包括的电子逻辑和控制处理电路硬件模块及控制处理软件模块以及该电子媒体装置的其它资源来实现下述自动白平衡方法和步骤：

步骤一：获取在自动白平衡适用的光源照明下含有清晰明亮用户人脸的多幅图像，对人脸进行检测、分割、识别和色彩特征提取，获取包括用户人脸肤色、眼白及牙齿的本征值和目标值的人脸色彩特征集；

步骤二：获取需要进行白平衡矫正的图像，对该图像进行人脸检测、分割、和识别，确认该图像含有用户人脸，所述用户为步骤一中已经预先建立人脸色彩特征集的用户；运用所述人脸色彩特征集对图像背景和人脸分别进行环境照明色温及色彩估计，得到对应色温及色彩估计值C₁、C₂，综合C₁、C₂得到全图像的色温及色彩估计值C₃；

步骤三：根据所述人脸色彩特征集、色温及色彩估计值对图像进行白平衡矫正和色彩增强。

9.如权利要求8所述的电子媒体装置，其特征在于，所述步骤一的获取本征值的实现方法包括：在标准光源下拍摄含有用户人脸的图像；或在常用场景照明下拍摄同时含有标准参考色彩的表面和用户人脸的图像，并利用参考色彩的表面测定照明光源的色温及色彩特征；对人脸进行部位分割，获取各部位的轮廓，再用亮度阈值和色彩直方图对轮廓内的像素点进行筛选，取筛选后的像素点平均值作为人脸的肤色，眼白及牙齿的本征值；所述步骤一获取目标值的方法包括：通过人机界面显示一幅或多幅经过色彩增强的图像，或提供由用户自行调节人脸色彩和饱和度的界面，或并用上述两种方法，提示并获取用户的输入，根据用户的输入确定并使用与上述获取本征值相同的特征提取方法所述步骤一获取上述部位的目标值，同时获取对应于从原始图像变换到用户确认图像的变换函数；将所获取的本征值，目标值及变换函数输入至人脸色彩特征集中对应于该用户的表项。

10.根据权利要求8所述的电子媒体装置，其特征在于，所述照明色温及色彩估计的实现包括：

对于基于黑体辐射的光源特性的一种照明估计方法为：

C₁计算方式如下：

设背景中任一像素点为i_b，其R、G、B分量为r_ib，g_ib，b_ib，背景像素点总和为T₁，平均色温的估计为

${\stackrel{\‾}{C}}_1=\[(\underset{i=1}{\overset{T_1}{\Σ}}{\mathrm{\α}}_{ib}*(\frac{r_{ib}}{g_{ib}})/(\left(\underset{i=1}{\overset{T_1}{\Σ}}{\mathrm{\α}}_{ib}\right)*T_1\left)\right);(\underset{i=1}{\overset{T_1}{\Σ}}{\mathrm{\α}}_{ib}*(\frac{b_{ib}}{g_{ib}})/(\left(\underset{i=1}{\overset{T_1}{\Σ}}{\mathrm{\α}}_{ib}\right)*T_1\left)\right)\];$

α_ib为加权因子，与该点的色彩特征及亮度相关；

将垂直投影到最近的白点轨迹曲线，即可得到C₁；

C₂的计算，其基本原理与C₁计算相似，每个人脸部位都看成是一个独立的参考表面，根据其实测的统计平均值在该表面的色温曲线中的投影位置，以及与色温估计的置信度相关的权重，可算出其对C₂的贡献；设人脸图像上任一点i_fj，j对应于各个不同的分割部位，与人脸色彩特征集表中的行列序号相对应，各部位的色温估计先分别进行计算，然后再加以综合，以肤色为例：

肤色区的图像像素点坐标值乘以一个系数为该点对平均色温估计的贡献，可与该点的色彩特征及亮度相关；

${\stackrel{\‾}{C}}_{2_{f1}}=\left(\right(\underset{i=1}{\overset{T_{2_{f1}}}{\Σ}}\left(\frac{b_{i_{f1}}}{g_{i_{f1}}}\right)*{\mathrm{\β}}_{i_{f1}})/(\underset{i=1}{\overset{T_{2_{f1}}}{\Σ}}{\mathrm{\β}}_{i_{f1}}*T_{2_{f1}}),(\underset{i=1}{\overset{T_{2_{f1}}}{\Σ}}\left(\frac{r_{i_{f1}}}{g_{i_{f1}}}\right)*{\mathrm{\β}}_{i_{f1}})/(\underset{i=1}{\overset{T_{2_{f1}}}{\Σ}}{\mathrm{\β}}_{i_{f1}}*T_{2_{f1}}\left)\right)$

其中代表人脸肤色像素点总数；

人脸其余部位的色温估计，与肤色相似，令眼白的色温估计为牙齿为在计算C₂，时，还需要再次通过查找人脸色彩特征值将和映射到白点轨迹上得到相应的和

$C_2=(\underset{j=1}{\overset{3}{\Σ}}{C}_{2_{fj}}^{\′}*{\mathrm{\θ}}_j)/\underset{j=1}{\overset{3}{\Σ}}{\mathrm{\θ}}_j$

其中θ_j为估计的置信度加权因子；

把C₁，C₂的坐标看成一个矢量，则全图的色温估计

C₃＝(C₁*k₁+C₂*k₂)/(k₁+k₂)；

对于色彩与黑体辐射的光源特性的照明有一定差异的、需要做白平衡矫正的人工光源的照明色温和色彩估计和白平衡矫正，C₁即为即统计估计总体平均值不向白点色温曲线作投影，C₂的人脸各部位计算与之类似。

11.根据权利要求8所述的电子媒体装置，其特征在于，所述步骤三包括方法一：将全图从当前的照明色温及色彩估计C₃调节到D50或其他白平衡标准参考光源下的白点位置或某个与场景相关的体验最优值，其实现步骤如下：

如果当前的照明色温估计C₃在(B/G，R/G)色坐标系中的坐标是则，对应于R通道和B通道的附加的白平衡增益调节为G/R₁和G/B₁；G通道增益通常不变，以保证自动曝光不受白平衡的影响；白平衡调节之后，还要进行一个3*3CCM色彩矫正矩阵[R′，G′，B′]＝A*[R，G，B]^T。

12.根据权利要求8所述的电子媒体装置，其特征在于，所述步骤三包括：

方法二：将人脸各个部位的色彩从对应于当前估计的C₂的本征值位置调节到人脸色彩特征中对应于该照明估计的目标值位置，而背景从当前的照明色温及色彩估计C₁调节到D50或其他白平衡标准参考光源下的白点位置或某个与场景相关的体验最优值；方法二的第一种实现是在人脸色彩特征集中查找与当前估计C₂最近色温点的变换函数，并对函数的参数做适当调节，再用调节后的函数对原图进行变换；或者：

先来处理人脸的肤色，假设R_ref，B_ref和G_ref肤色的对应于C₂的目标值，并且R_current，B_current和G_current是对应于C₂的当前估计值，如果G_ref与G_current很接近，肤色的矫正由以下方法来计算：

$R\_gain=\frac{R_{ref}}{R_{current}};B\_gain=\frac{B_{ref}}{B_{current}};G\_gain=\frac{G_{ref}}{G_{current}};$

若G_ref与G_current相差比较大，则把肤色像素点从RGB空间转换到比如HSL空间，再将色彩和饱和度调节到用户优选的目标值，保持亮度不变，再将矫正后的像素点转换回RGB空间；

上述色彩和饱和度的调节具体步骤包括，首先在HSL空间里，计算在当前照明下，人脸肤色像素以亮度和色彩为权重的统计加权平均值以及目标值在HSL空间里的坐标，(H_current，S_current，L_current)以及(H_ref，S_ref，L_ref)，然后计算其H和S分量的差值ΔH＝H_ref-H_current；ΔS＝S_ref-S_current，对与肤色区某一像素点(h_current0，s_current0，l_current0)的调节采用以下公式；

h_current1＝h_current0+γ×ΔH；

S_current1＝s_current0+θ×ΔS；

其中，γ和θ是一个与亮度相关的加权因子；

将调节后的像素点(h_current1，s_current，l_current0))转换到RGB空间；为了使人脸区的肤色与人体其他裸露部位的肤色的表达一致性，采取如下的处理：

首先，进行人体肤色裸露部位的检测和定位，根据人脸的大小和方向性，预测一个人体区间矩形，将矩形的像素从RGB空间转变到YCbCr空间，在CbCr坐标系里以当前色温参考肤色的位置，f为核心、半径为L的圆为肤色滤波器，对所述人体矩形区进行滤波，对位于圆内的像素，再计算其与人体形态各部位的位置相关性以及人体肤色区部位的连通性特征，若被判断为裸露的肤色部位，则采用与上述人脸肤色相同的增益调节方法；

人脸的其他部位如牙齿和眼白按照各自的本征值和目标值进行类似肤色的矫正和增强，或与背景同样处理；最后对采用不同矫正方法的图像区域的边缘进行平滑处理。

13.根据权利要求8所述的电子媒体装置，其特征在于，含有基于机器学习的人脸色彩特征的自动提取和白平衡矫正模式，用户或机器学习服务程序可自动启动该模式；包括如下步骤：

获取需要进行白平衡矫正的图像，对该图像进行人脸检测、分割、和识别，确认该图像含有用户人脸；

用C₁作为照明的色温及色彩估计来进行白平衡调整，在无监督学习模式下，在某个估计的光照色温下，当估计的置信度w₁高于某个阈值w_t，进行人脸色彩特征本征值数据提取采集，缓存于一个候选数组中，当在同一个估计的光照色温下采集的候选数组中人脸色彩特征本征值数据对应于均值的均方差的差别小于某个阈值的概率P₁大于某个阈值P_1t时，则认为C₁的检测准确，将候选数组中的人脸色彩特征集本征值的均值进行采集，并录入人脸色彩特征集该用户该色温的表项，或者：

在用户监督学习模式下，通过人机界面随机的显示含有用户人脸且基于C₁的照明色温及色彩估计置信度较高的图像，通过人机界面征询用户对色彩还原的满意度；如果用户满意，就说明该图基于C₁的照明估计和白平衡和色彩矫正正确，对该用户进行人脸色彩特征集本征值数据提取采集，录入人脸色彩特征集中该用户对应于当前估计的照明的本征值的表项；

或者：

在用户监督学习模式下，通过人机界面显示含有用户人脸且基于C₁的照明色温及色彩估计并通过无监督学习合格的图像，进一步通过人机界面征询用户对色彩还原的满意度；如果用户满意，就说明该图基于C₁的照明估计和白平衡和色彩矫正正确，对该用户进行人脸色彩特征集本征值数据提取采集，录入人脸色彩特征集中该用户对应于当前估计的照明的本征值的表项；

目标值的获取方法是，通过人机界面显示一幅或多幅经过色彩增强的图像，或提供由用户自行调节人脸色彩和饱和度的界面，或并用上述两种方法，提示并获取用户的输入，根据用户的输入确定提取目标值，同时获取对应于从原始图像变换到用户确认图像的变换函数；将所获取的目标值及变换函数输入至人脸色彩特征集中对应于该用户该色温估计的表项；

当用上述方法采集的人脸色彩特征集的数据充分覆盖了AWB所需覆盖的照明色温及色彩区时，学习过程完成，之后的白平衡的色温及色彩估计和矫正就使用上述数据来实现步骤二和步骤三；

上述的机器学习还具有更新的模式，在该模式下，用户随时启动学习过程，更新本征值或目标值。

14.根据权利要求8所述的电子媒体装置，其特征在于，具有基于人脸色彩特征的多用户或单用户白平衡模式；在多用户模式下，对应于人脸色彩特征集中不同用户设置不同的优先权级别；当图像中检测出多个用户的人脸时候，按优先权级别高低次序来优先实现色彩还原的效果。

15.根据权利要求8所述的电子媒体装置，其特征在于：前置摄像头用于协助后置摄像头白平衡的照明估计；其中，前、后置摄像头同时工作用于照明估计是常态的；或间歇的，其中：后置摄像头在某些场景下照明估计置信度低下时，后置摄像头向系统控制器发出请求前置摄像头获取照明估计信息，系统控制器在系统资源许可时，批准该请求，并在用户不在使用前置摄像头时启动前置摄像头获取照明估计的工作；后置摄像头采用或参考前置摄像头的照明估计相关的判定条件和方法是：判定前、后置摄像头的视场同为室内或室外；判定前、后置摄像头的场景与摄像头的距离相近；在前置摄像头的场景中检测到的照明光源与后置摄像头的白平衡模块估计的环境照明光源相同或相近；前置摄像头的白平衡模块估计的环境照明光源与后置摄像头的白平衡模块估计的环境照明光源相同或相近；后置摄像头在某些场景下照明估计置信度低下。

16.一种电子媒体装置，其特征在于，包括一个或多个处理器，其中一个用于控制该电子媒体装置的系统；

固态或非暂时性存储器，用于存有可供控制器读取的指令集；

动态存储器，用于供摄像头缓存帧图像和其它数据，以及控制器用来执行指令；

可通过网络或其它媒介接收和传送图像、视频或其它数据的装置；

可显示图像和图形的显示屏；

用户可控的人机交互界面；

一个基于人脸色彩特征的自动白平衡装置，是该装置所含或与该装置相连的摄像头中的一个白平衡控制模块，或是该装置其它应用中的一个白平衡控制模块，该白平衡控制模块的实现包括：

步骤一：获取在自动白平衡适用的光源照明下含有清晰明亮用户人脸的图像，对人脸进行检测、分割、识别和色彩特征提取，获取包括用户人脸肤色、眼白及牙齿的本征值和目标值的人脸色彩特征集；

步骤二：获取需要进行白平衡矫正的图像，对该图像进行人脸检测、分割、和识别，确认该图像含有用户人脸，所述用户为步骤一中已经预先建立人脸色彩特征集的用户；运用所述人脸色彩特征集对图像背景和人脸分别进行环境照明色温及色彩估计，得到对应色温及色彩估计值C₁、C₂，综合C₁、C₂得到全图像的色温及色彩估计值C₃；

步骤三：根据所述人脸色彩特征集、色温及色彩估计值对图像进行白平衡矫正和色彩增强；

所述步骤一及步骤二中获取图像的方法是通过摄像头实时采集的，或者是在摄像头采集后非实时获取的；所述步骤一、步骤二及步骤三在一个或多个电子媒体装置上实现；在多个媒体装置上实现时，包括在第一电子媒体装置上实现获取图像，在第二电子媒体装置上实现人脸色彩特征集的获取，在第三电子媒体装置上实现步骤二、或步骤二及步骤三；或其它步骤与装置的组合；

所述电子媒体装置包括手机、相机、笔记本、平板电脑、掌上电脑、电视机、显示屏、游戏机、电脑、视频或图像压缩编码器、网络传输装置，或其它带有影像装置的装置。