HK1203011B - 电子照相机的自动白平衡的自动化自我训练的装置及方法 - Google Patents

Description

电子照相机的自动白平衡的自动化自我训练的装置及方法

技术领域

本发明涉及电子照相机的自动白平衡或彩色平衡技术领域，特别涉及一种电子照相机的自动白平衡的自动化自我训练的装置及方法。

背景技术

白平衡为从电子照相机所撷取的影像移除不切实际的色偏的处理，以使这些影像提供场景的真实色彩表现。举例而言，场景中人眼显现白色的物体通过对影像传感器的初始输出进行白平衡而呈现白色。人眼于不同光源之下判断什么是白色是非常好的，但影像传感器这样做往往有很大困难，且常建立难看的蓝色、橘色或绿色色偏。不同的发光体(亦即光源)具有它们独特的光谱特征。既定发光体的光谱特征可以其色温为其代表。光源的色温为将可比较的色调的光放射至光源的理想的黑体辐射体的温度。色温表示白光的相对温暖或凉爽。当色温上升时，光能增加。因此，由发光体所放射的光的波长变得更短，亦即，移向看得见的光谱的蓝色部分，且色彩色调变得更冷。

撷取由既定发光体所照明的场景影像的影像传感器首先将产生具有受发光体的色温影响的色彩的影像。因此，许多电子照相机使用自动白平衡(Automatic WhiteBalance,AWB)以依据发光体校正影像传感器的色彩输出。为了应用AWB，电子照相机必须具有供每个发光体用的AWB参数，常被描写为色彩通道的增益。电子照相机的AWB单元首先决定要使用何种发光体来照明场景。接着，AWB单元应用那个发光体的AWB参数至场景的影像，以提供具有此场景的色彩的更真实表现的影像。

一般而言，为了产生供电子照相机用的一组AWB参数，电子照相机在表示实际使用中所遭遇的发光体的范围的各种色温照明条件之下，撷取灰色物体(例如特别制作的灰卡)的影像。举例而言，影像在四个不同的参考发光体之下被撷取：D65光源，其对应至中午日光并具有6504度的色温；冷白荧光(CWF)灯管，具有4230度K的色温；TL84荧光灯管，具有4000K的色温；以及光源A(白炽钨灯)，具有2856K的色温。理想上，具有AWB功能的电子照相机的制造商，应为制造的每个电子照相机执行这种校准程序。然而，这种实施方式通常太昂贵。影像传感器工业中的常见作法在各种照明条件之下校正一个或一小数目的被称为黄金模块(golden module)的电子照相机，然后将所产生的AWB参数组应用到所有其它影像传感器。然而，由于光谱特性的差异(例如，量子效率的光谱特性、彩色滤光片数组与影像传感器的红外截止滤光片)，使得传感器间的差异本质上存在。因此，所有其它影像传感器使用黄金模块AWB参数组频繁地导致错误。

发明内容

在一个实施例中，一种电子照相机中的自动白平衡的校正方法包括：(a)从在第一发光体之下被电子照相机所撷取的各个多个现实场景的各个第一多个影像获得多个第一色彩值；(b)调用关于现实场景的至少部分的真实色彩值的假设；以及(c)基于在真实色彩值与第一色彩值的平均值之间的差异，决定供包括第一发光体的各个多个发光体用的多个最终自动白平衡参数。

在一个实施例中，电子照相机装置包括：(a)影像传感器，用以撷取现实场景的现实影像；(b)非易失性存储器，具有多个机器可读取指令，这些指令包括部分校正的自动白平衡参数组及多个自动白平衡自我训练指令；以及(c)处理器，用于依据自我训练指令处理现实影像以产生完全校正的自动白平衡参数组，其中完全校正的自动白平衡参数组是电子照相机特有的。

附图说明

图1显示依据一个实施例的关于包括自我训练模块的电子照相机的自动化自我训练的一个例示方案100。

图2为显示依据一个实施例的供多个例示发光体用的例示AWB参数图。

图3显示依据一个实施例的包括供AWB参数的自动化自我训练用的模块的一个例示电子照相机。

图4显示依据一个实施例的包括供AWB参数的自动化自我训练用的模块的电子照相机的一个例示存储器。

图5显示依据一个实施例的用以校正供电子照相机用的AWB参数组的一种例示方法，其通过现实场景的取像而部分利用通过电子照相机的自动化自我训练。

图6为显示依据一个实施例的关于例示的多个发光体的在图5的方法中被执行的一个例示的转换图，其中基础AWB参数组被转换成初始AWB参数组，。

图7为显示依据一个实施例的关于例示的多个发光体的在图5的方法中被执行的一个例示的转换图，其中初始AWB参数组被转换成最终AWB参数组。

图8显示依据一个实施例的用以通过灰卡的取像校正供参考发光体用的AWB参数的一种例示方法。

图9显示依据一个实施例的通过使用灰色世界假设来执行图5的方法的自动化自我训练部分的一种例示方法。

图10为显示依据一个实施例的用以确认一个例示发光体的一种例示方法的图。

图11显示依据一个实施例的通过使用万用人脸色调假设来执行图5的方法的自动化自我训练部分的一种例示方法。

图12显示依据一个实施例的用以通过人脸的样品组的取像校正供参考发光体用的AWB参数的一种例示方法。

具体实施方式

在此揭露的是用以校正电子照相机的AWB参数的装置及方法，其部分依据照相机在被实际用户初始使用期间的自动化自我训练。自动化自我训练完成AWB校准程序以提供完全校正的AWB功能，同时使制造商免于成本非常高的校准花费。AWB校准程序包括至少三个主要步骤。首先，黄金模块电子照相机用于产生基础AWB参数组，其涵盖具有一个范围的色温的发光体。基础AWB参数组被应用至所有与黄金模块电子照相机相关的电子照相机，举例而言，所有相同型号的照相机或所有来自相同的生产线的照相机。接着，供单一参考发光体(例如D65发光体)用的AWB参数为每个个别的电子照相机作校正。在这个步骤之后，照相机被交付给用户。最后，供另一个发光体用的第二AWB参数在被用户正常使用期间，通过电子照相机的自动化自我训练而被校正。在通过自动化自我训练校准第二AWB参数之后，整组的AWB参数依据两个校正的AWB参数被转换。

图1显示关于电子照相机110的自动化自我训练的一个例示方案100。电子照相机包括自我训练模块120及AWB参数组130。一个用户撷取多个现实场景150的多个影像。自我训练模块120分析现实场景150的影像以更新AWB参数组130从初始AWB参数组(由电子照相机提供)更新至最终AWB参数组(用来在自动化自我训练之后所撷取的影像的自动白平衡)。在一个实施例中，初始AWB参数组为从相关的黄金模块电子照相机的校准获得的基础AWB参数组。在另一个实施例中，初始AWB参数组为依据电子照相机110的制造商的局部校准而通过调整基础AWB参数组获得的AWB参数组，基础AWB参数组从相关的黄金模块电子照相机的校准获得。

图2为显示供多个例示发光体用的例示AWB参数的图表200。图表200包括供各个发光体D65、TL84、CWF及A用的AWB参数220、222、224及226。在一个实施例中，AWB参数220、222、224及226为通过撷取在发光体D65、TL84、CWF及A之下的影像，而从黄金模块电子照相机的校准获得的基础AWB参数。图表200将AWB参数220、222、224及226置放在被横轴线210及纵轴线212跨越的二维空间中。假设色彩由影像传感器所输出的三个原色成分(例如红色(R)、绿色(G)及蓝色(B))的相对强度所定义，如最常使用于电子照相机中的RGB影像传感器的。横轴线210及纵轴线212的每一个表示色彩比率。由横轴线210及纵轴线212跨越的空间中的一个点表示一个有序对[x,y]的色彩比率。有序对的色彩比率定义一个色彩合成。有序对的色彩比率的例子包括[G/B,G/R]、[(R*B)/(G^2),B/R]、[log(G/B),log(G/R)]、[log((R*B)/(G^2)),log(B/R)]及其导函数。在下文中，假设有序对的色彩比率为[G/B,G/R]。在不背离于此的范围之下，可使用其它有序对的色彩比率，例如上述那些与其它组的原色。

如由图表200中的AWB参数220、222、224及226的分散显而易见的，各个发光体D65、TL84、CWF及A具有不同的色彩合成。举例而言，发光体D65(标签220)被移向看得见的光谱的蓝色端，而发光体A(标签226)被移向看得见的光谱的红色及绿色部分。发光体TL84、CWF及A比发光体D65更红及更不显现蓝色。这显示出依据照明场景的发光体的由电子照相机所撷取的影像的适当的白平衡的重要性。举例而言，如果影像未被白平衡，则在发光体A之下所撷取的影像可显现具有红色色偏。在发光体A之下所撷取的影像的白平衡，依据与图表200中的发光体A相关的有序对的色彩比率而通过修正影像的色彩来达成。在有序对为[G/B，G/R]的指定假设之下，影像的蓝色及红色色彩合成是乘以横轴线210及纵轴线212的各个色彩比率。通过依据色彩比率G/B及G/R描述发光体的特征，图表200或其任何相同的附图或非附图适当地提供待用于白平衡此影像的色彩增益。有序对的其它例子(例如[(R*B)/(G^2)，B/R])将在简单的代数操作之后提供相同的色彩增益。

图3显示一个例示电子照相机300。电子照相机300为图1的电子照相机110的一个实施例，并包括图1的自我训练模块120。电子照相机300包括影像传感器310，用以通过物镜.320撷取形成于其上的影像。电子照相机300还包括处理器330、存储器340及接口380。处理器330通信地耦接至影像传感器310、存储器340及接口380。存储器340包括图1的AWB参数组130、多个机器可读取指令350及数据储存360。存储器340可包括易失性及非易失性存储器两者。在某些实施例中，指令350及AWB参数组130储存于存储器340的非易失性部分中，而数据储存360的部分被设置在易失性存储器中。处理器330依据指令350处理被影像传感器310所撷取的影像。电子照相机300还包括可选择的电源供应部385及腔体390，用以分别供电及环境保护电子照相机300的组件。在电子照相机300的自动白平衡的自动化自我训练期间，被影像传感器310所撷取的影像，依据包括在指令350中的自我训练指令而被处理器330处理，用以更新AWB参数组130从最初提供的AWB参数组更新到最终AWB参数组。

举例而言，处理器330依据指令350分析撷取的影像，且基于此将认为适合AWB自我训练的影像储存至数据储存360。当适合AWB自我训练的足够数目的影像已被储存至数据储存360时，处理器330依据指令350分析储存的影像以决定最终AWB参数组。在这个处理期间，由处理器330所产生的暂时数值及结果可被储存至数据储存360，或维持在未显示于图3的工作存储器中。处理器330接着将最终AWB参数组储存为AWB参数组130。

处理器330、指令350及数据储存360一同构成图1的自我训练模块120的一个实施例。处理器330、指令350及数据储存360全部可执行其它未关于AWB自我训练的功能。处理器330可依据指令350自动白平衡而在完成自我训练之后所撷取的影像。在使用的一个例子中，在AWB自我训练期间所撷取的所有影像被储存至数据储存360。在完成AWB自我训练之后，所有储存的影像可依据指令350及使用最终AWB参数组130而通过处理器330被自动白平衡。因此，在AWB自我训练期间所撷取的影像的适当地自动白平衡版本，可成为电子照相机300的用户可得到的。

被影像传感器310所撷取且可选择地通过处理器330被白平衡的影像，可通过接口380输出至用户。接口380可包括例如显示器及有线或无线通信端口。接口380还可进一步被使用以接收指令及其它来自外部源(例如用户)的资料。

图4显示一个例示存储器400，其为电子照相机300(图3)的存储器340的实施例。存储器400包括AWB参数组130(图1及3)、多个指令450以及数据储存460。指令450为指令350(图3)的实施例。指令450包括一些组件，其某些的任务将于此揭露书中随后被讨论。指令450包括色彩值萃取指令451，用以从影像取出色彩信息，如表示为如与图2相关所讨论的原色的强度。指令450包括色彩比率计算指令452，用以基于通过使用色彩值萃取指令451而决定的色彩值计算色彩比率，例如与图2相关所讨论的那些。指令450包括色彩比率对AWB参数计算指令453，用以从通过使用色彩比率计算指令452而决定的色彩比率求出AWB参数，如与图2相关所讨论的。指令450还包括：多个发光体识别指令454，用以确认发光体，影像在其之下由例如电子照相机300的影像传感器310(图3)所撷取；多个脸侦测指令455，用以侦测这种影像中的人脸；以及多个AWB参数转换指令456，用以将由黄金模块校准或局部校正、最初提供的AWB参数组所产生的基础AWB参数组转换成最终AWB参数组。例如(图3)的处理器330的处理器执行指令451至456。存储器400还包括基于现实场景的影像而在自动化AWB自我训练中所利用的多个假设480。假设480可包括灰色世界假设指令481及/或万用人脸色调假设指令482。

数据储存460为数据储存360(图3)的一个实施例。数据储存460包括影像储存461、色彩值储存462及色彩比率储存463。例如图3的处理器330的处理器可存取所有这些储存组件。影像储存461储存由影像传感器(如图3的影像传感器310)所撷取的影像。色彩值储存462储存依据色彩值萃取指令451通过例如图3的处理器330所产生的色彩值。色彩比率储存463用来储存依据色彩比率计算指令452通过例如图3的处理器330所产生的色彩比率。

在某些实施例中，数据储存460还包括初始AWB参数组464，其为局部校正的AWB参数组，AWB参数组不是由制造商随电子照相机(例如电子照相机300(图3))提供，就是从制造商随电子照相机提供的信息中推导出。在这种实施例中，AWB参数组130为通过相关的黄金模块电子照相机的校准所获得的基础AWB参数组。依据AWB参数转换指令456，初始AWB参数组464可基于基础AWB参数组130及制造商提供储存于存储器400中的信息，而如通过处理器330(图3)产生。在其它实施例中，具有存储器400的例如电子照相机300(图3)的电子照相机由制造商提供以AWB参数组130，其为由电子照相机的局部校准所产生的初始AWB参数组。于此情况下，初始AWB参数组464是不需要的。

图5显示用以通过现实场景的取像利用通过电子照相机的自动化自我训练来校正供电子照相机用的AWB参数组的一种例示方法500。自动化自我训练可在电子照相机的正常使用期间由用户所执行，并完成由照相机制造商所执行的局部校准。方法500被实施在如图1的电子照相机110或图3的电子照相机300中。

在步骤510中，基础AWB参数组从在多个发光体之下的相关的黄金模块电子照相机的校准获得。图2的图表200显示一个例示的基础AWB参数组，其具有供四个个别的发光体D65、TL84、CWF及A用的四个AWB参数220、222、224及226。在一个例子中，电子照相机300(图3)的制造商将基础AWB参数组储存至电子照相机300以作为AWB参数组130(图1及3)。电子照相机300的处理器330接着可依需要从存储器340取得AWB参数组130。

在步骤520中，电子照相机在参考发光体之下撷取影像，于此参考发光体为用于产生在步骤510中所获得的基础AWB参数组的其中一个发光体。举例而言，在将电子照相机300(图3)出货给用户之前，它的制造商通过使用电子照相机300在D65发光体之下撷取多个影像。在步骤530中，分析在步骤520中所撷取的影像，以决定供参考发光体用的AWB参数，于此AWB参数专为电子照相机(例如电子照相机300(图3))而校正。

在步骤540中，步骤510中所获得的基础AWB参数组被转换成初始AWB参数组，以使供参考发光体用的初始AWB参数为在步骤530中所获得的那个AWB参数。在一个实施例中，步骤540通过制造商而执行，且所产生的初始AWB参数组被储存至电子照相机(例如电子照相机300(图3))以作为例如AWB参数组130(图1及3)。在另一个实施例中，在步骤530中所产生的供参考发光体用的初始AWB参数被储存至电子照相机，例如，储存至照相机300(图3)的存储器340(图3)。于本实施例中，步骤510中所获得的基础AWB参数组亦被储存至电子照相机，如储存至电子照相机300(图3)的AWB参数组130(图1及3)。基础AWB参数组到初始AWB参数组的转换接着在电子照相机的机板上被执行。举例而言，具有实施为存储器340(图3)的存储器400(图4)的电子照相机300(图3)的处理器330(图3)，依据AWB参数转换指令456执行AWB参数组130的转换。处理器330(图3)然后将所产生的AWB参数组储存至存储器400(图4)以作为初始参数组464(图4)。

在步骤550中，现实场景的影像通过使用电子照相机而被撷取。步骤550如通过用户而执行，该用户使用具有被实施为存储器340(图3)的存储器400(图4)的电子照相机300(图3)撷取现实场景的影像。处理器330(图3)接收来自影像传感器310(图3)的现实影像，且不是将现实影像储存至影像储存461(图4)，就是将它们维持在工作存储器中以供在后续步骤555中的更进一步的处理。在步骤555中，电子照相机分析步骤550中所撷取的现实影像。在一个既定、第一发光体之下所撷取的现实影像，用于校正供第一发光体用的AWB参数。第一发光体为用于产生在步骤510中所获得的基础AWB参数组的其中一个发光体，或一个实质上类似于其的发光体。第一发光体与步骤530中所使用的参考发光体不同。步骤555例如是通过具有实施为存储器340(图3)的存储器400(图4)的电子照相机300(图3)的处理器330(图3)而执行。处理器330(图3)分析由影像传感器310(图3)所接收或从影像储存461(图4)取得的影像。接着，处理器330(图3)依据发光体识别指令454(图4)分析现实影像，并选择在例如发光体A之下所撷取的现实影像，以供依据指令450(图4)更进一步的处理，以决定一个供发光体A用的校正的AWB参数。步骤550及555可与步骤540同时或依顺序被执行。

在步骤560中，在步骤540中所产生的初始AWB参数组依据供第一发光体用的AWB参数的在步骤555中所产生的校准而更进一步被转换。这会产生专为这种特定电子照相机校正的最终AWB参数组。最终AWB参数组包括分别在步骤540及555中所产生的供参考及第一发光体用的校正的AWB参数。步骤560例如是通过具有实施为存储器340(图3)的存储器400(图4)的电子照相机300(图3)的处理器330(图3)而执行。处理器330(图3)从AWB参数组130(图1及3)或初始AWB参数组464取得初始AWB参数组。然后，处理器330(图3)依据AWB参数转换指令456(图4)转换初始AWB参数组。

步骤550、555及560构成供电子照相机用的AWB参数的校准的自动化自我训练部分。

图6为显示关于一个例示的多个发光体的在方法500的步骤540(图5)中被执行的一个例示的转换的图表600。图表600显示在步骤510(图5)中所获得的基础AWB参数的转换，以形成在步骤540(图5)中的初始AWB参数组，于此转换在一个如与图2相关所讨论的色彩比率参数空间中被执行。图表600关于图2的图表200，其中图表200显示基础AWB参数组。步骤530(图5)提供AWB参数给专为讨论中的电子照相机所校正的参考发光体。在图表600中，参考发光体被假设成是D65发光体。在步骤540(图5)中，基础AWB参数组被转换，以将供发光体D65用的基础AWB参数的位置(卷标220)改变至在步骤530(图5)中所获得的供发光体D65用的具体校正的AWB参数的位置(卷标620)。这会导致初始AWB参数组，其由供D65发光体用的具体校正的AWB参数620以及供各个发光体TL84、CWF及A用的转换的AWB参数622、624及626所构成。

图7为显示关于一个例示的多个发光体的在方法500的步骤560(图5)中被执行的一个例示的转换的图表700。图表700关于图表600(图6)，其中图6的AWB参数620、622、624及626构成初始AWB参数组。步骤560(图5)将初始AWB参数转换成最终AWB参数组，其包括具体校正的AWB参数620及供步骤555(图5)中所产生的发光体A用的具体校正的AWB参数726。通过使用讨论中的电子照相机未被具体校正的剩下的AWB参数因此被转换。在图表600所示的非限制例中，初始AWB参数组通过旋转730伴随着缩放740而被转换。旋转730绕着一个与具体校正的AWB参数620重合的旋转轴线旋转初始AWB参数组。缩放740沿着线770按比例缩放旋转的参数组，以使AWB参数620未受缩放影响，且初始AWB参数626结束于具体校正的AWB参数726的位置。因此，初始AWB参数622及624被旋转并按比例缩放，以产生最终AWB参数722及724。结果为最终AWB参数组，其由供各个发光体D65、TL84、CWF及A用的最终AWB参数620、722、724及726所构成。

在某些实施例中，如图表600(图6)及700(图7)的例子所显示的在方法500的步骤540及560(图5)中被执行的转换，通过在二维色彩比率空间中将矩阵操作应用至AWB参数组而执行。方法500的步骤540及560(图5)可通过各别使用两个各别矩阵操作而执行，于此一个矩阵包括步骤540(图5)的转换，而另一个矩阵包括步骤560(图5)的转换。或者，方法500的步骤540及560(图5)的转换利用单一矩阵操作而执行，于此所应用的矩阵为与步骤540(图5)及560(图5)的转换相关的两个各别矩阵的乘积。

在一个实施例中，在步骤540中所产生的初始AWB参数组更进一步被转换，以将供参考发光体用的AWB参数置放于执行转换的坐标系统的原点。参见图表600(图6)的例子，AWB参数620、622、624及626被转换，以使AWB参数620位于原点。这简化了在步骤560(图5)中被执行的初始AWB参数组之后来的操控。

关于电子照相机的完整的AWB校准程序如同基础AWB参数组的照相机特定转换。供参考发光体用的AWB参数的特定校准(图5的步骤530)提供第一锚点，而通过自动化自我训练所获得的另一个AWB参数的特定校准(图5的步骤555)提供第二锚点。在某些实施例中，于AWB参数的特定校准所使用的两个发光体位于色温范围的相反极端。这可提供最终AWB参数组的改善的精度。

图8显示用于执行方法500的步骤520及530(图5)的一种例示方法800。在属于步骤520的实施例(图5)的步骤810中，影像被由参考发光体所照明的灰卡的电子照相机所撷取。举例而言，图3的电子照相机300撷取由D65发光体所照明的灰卡的影像。在步骤820中，决定灰卡的每个影像的色彩。在一个实施例中，在电子照相机的机板上的功能执行步骤820。举例而言，具有实施为存储器340(图3)的存储器400(图4)的电子照相机300(图3)的处理器330，依据色彩值萃取指令451(图4)处理撷取的影像。在另一个实施例中，步骤820通过使用电子照相机(例如，电子照相机300(图3))外部的功能(如于制造工厂的设备)而执行。步骤820可在电子照相机的完全装配之前执行。在步骤830中，步骤820中所获得的色彩被平均，以决定由参考发光体所照明的灰卡的影像的平均色彩。步骤830可在电子照相机(例如，电子照相机300(图3))外部执行。或者，步骤830可依据指令350(图3)而如通过电子照相机300的处理器330(图3)在电子照相机的机板上执行。

步骤830中所获得的平均色彩可以与灰卡的实际色彩不同。举例而言，平均色彩可被移向红色或蓝色。在步骤840中，供参考发光体用的AWB参数被校正，以使校正的AWB参数在被应用至步骤830中所决定的平均色彩时，产生色彩灰色，亦即，灰卡的实际色彩。在一个实施例中，步骤840在电子照相机的机板上执行。举例而言，电子照相机300的处理器330(图3)依据指令350(图3)执行步骤840。在另一个实施例中，步骤840在电子照相机外部执行。

方法800说明步骤810、820及830中的影像的处理，采用的是被步骤810处理的所有影像，接着是被步骤820处理的所有影像，接着是被步骤830处理的所有影像。在不背离于此的范围之下，影像反而可顺序地被步骤810、820及830的两个后续步骤，或步骤810、820及830全部所处理。

图9显示用于执行方法500的步骤555(图5)的一种例示方法900。方法900为基于现实影像的自动化自我训练的一部分，并利用所谓的灰色世界假设。灰色世界假设陈述给定一个影像具有足够量的色彩变化，其原色成分(例如R、G及B成分)的平均值应达到平均数至一共同的灰阶值。通常，这种假设为合理的近似法，因为任何既定现实场景通常具有很多色彩变化。然而，单一现实场景可具有一个并未达到平均数至一个灰阶值的色彩合成，如主要由蓝天所构成的场景。然而，在电子照相机的正常使用期间，照相机将可能撷取种类繁多的现实场景的影像，以使多个撷取的影像的平均色彩的确是灰色。

在步骤910中，为每个被电子照相机所撷取的现实影像决定一个色彩值。在一个实施例中，现实影像的色彩值为影像的平均色彩。步骤910例如是通过具有实施为存储器340(图3)的存储器400(图4)的电子照相机300(图3)的处理器330而执行。处理器330(图3)不是接收来自影像传感器310(图3)的影像，就是从影像储存461(图4)取得影像，并依据色彩值萃取指令451(图4)处理这些影像。在步骤920中，评估在步骤910中所获得的色彩值，以确认在第一发光体之下所撷取的现实影像。在一个实施例中，具有在由第一发光体所照明的灰卡的色彩值的特定范围内的相关色彩值的现实影像，被视为是在第一发光体之下被撷取。步骤920例如是通过具有实施为存储器340(图3)的存储器400(图4)的电子照相机300(图3)的处理器330而执行。处理器330(图3)从色彩值储存462(图4)取得色彩值，并依据发光体识别指令454(图4)处理这些色彩值，用以确认在例如发光体A之下所撷取的现实影像。接着，处理器330(图3)将在第一发光体之下所撷取的现实影像或其纪录储存至影像储存461(图4)，及/或将与其相关的色彩值储存至色彩值储存462(图4)。

图10为显示关于一个例示的第一发光体(图表200的发光体A(图2))的方法900的步骤920(图9)的图表1000。除了显示靠近AWB参数226的色彩值的一个范围1010以外，图表1000与图2的图表200相同，靠近AWB参数226的色彩值被解释成由在发光体A之下所撷取的现实影像所引起。

回到图9，在步骤930中，决定关于在第一发光体之下所撷取的现实影像的平均色彩值，于此贡献平均值的现实影像为步骤920中所识别的那些影像。步骤920例如通过具有实施为存储器340(图3)的存储器400(图4)的电子照相机300(图3)的处理器330而执行。处理器330(图3)从色彩值储存462(图4)取得适当的色彩值，并依据色彩值萃取指令451中的指令(图4)计算平均色彩值。

步骤940调用上述所讨论的灰色世界假设。举例而言，具有实施为存储器340(图3)的存储器400(图4)的电子照相机300(图3)的处理器330调用灰色世界假设。处理器330(图3)从存储器400的指令450取得灰色世界假设指令481。在步骤950中，通过使用在步骤940中所调用的灰色世界假设，来决定供第一发光体用的照相机专用校正AWB参数。依据灰色世界假设，决定供第一发光体用的照相机专用校正AWB参数，以使AWB参数在被应用至在第一发光体之下被撷取的现实影像时，产生属于灰色的现实影像的平均色彩。在某些实施例中，在步骤930中所获得的平均色彩值以色彩比率表示。举例而言，平均色彩比率被表示为有序对的色彩比率，其定义三原色成分的相对强度，如与图2相关所讨论的。接着，可从有序对的色彩比率计算出照相机专用校正AWB参数。步骤950如通过具有实施为存储器340(图3)的存储器400(图4)的电子照相机300(图3)的处理器330而执行。处理器330(图3)从色彩值储存462(图4)取得色彩值，依据色彩比率计算指令452中的指令(图4)导出色彩比率，并将色彩比率储存至色彩比率储存463(图4)。接着，处理器330(图3)依据色彩比率对AWB参数计算指令453(图4)处理储存于色彩比率储存463(图4)中的色彩比率，以产生供第一发光体用的照相机专用校正AWB参数。

方法900说明步骤910及920中的影像的处理，所采用的是被步骤910所处理的所有影像，接着是被步骤920所处理的所有影像。在一个实施例中，电子照相机(如电子照相机300(图3))预先被设定组态，以在执行方法900前撷取某个数目(如100或1000)的现实影像。在不背离于此的范围之下，现实影像反而可顺序地被步骤910及920所处理，而不是首先对所有现实影像执行步骤910，然后对所有现实影像执行步骤920。这可被延伸至步骤550(图5)、步骤910及步骤920的顺序性能，其允许电子照相机(例如图3的电子照相机300)连续评估方法900的后续步骤的性能可得到的可用数据的数量。此外，步骤550(图5)以及步骤910及920中的影像的顺序撷取及处理允许减少储存需求。只有从影像被取出的色彩值的储存为自我训练所需要，而不是储存全影像。在一个例子中，在步骤550(图5)中，具有实施为存储器340(图3)的存储器400(图4)的电子照相机300(图3)撷取影像。处理器330(图3)执行这个影像的步骤910及920。如果影像在第一发光体之下被撷取，则处理器330(图3)依据色彩值萃取指令451(图4)决定影像的色彩值。处理器330(图3)将此色彩值储存至色彩值储存462(图4)。

在一个实施例中，在步骤920中识别某个数目(如50或500)的现实影像时，电子照相机(例如图3的电子照相机300)预先被设定组态以继续至步骤930。在某些实施例中，自我训练逐渐地发生。因为被电子照相机所撷取的影像的数目增加，所以步骤550(图5)、步骤910及920以及步骤560(图5)被执行多次。因为灰色世界假设的精度随着由电子照相机所取像的不同场景的数目增加，所以这导致逐渐改善的最终AWB参数组。在更进一步的实施例中，由步骤550(图5)、步骤910及920以及步骤560(图5)所构成的自我训练，遍及电子照相机的寿命而定期地被重复。

图11显示用于执行方法500的步骤555(图5)的一种例示方法1100。方法900为基于现实影像的自动化自我训练的一部分并利用所有人脸，不管人种或族群为何，本质上具有相同的面部色调。色调关于色彩知觉并表示一个色彩类似于一组原色或与一组原色不同的程度。色调可以例如R、G及B的原色成分表示，如以Preucil的方程式所说明的：

除了方法1100包括确认现实影像中的人脸，并利用一万用人脸色调的假设以导出一个AWB参数以外，方法1100类似于利用灰色世界假设的方法900(图9)。

方法1100的前两个步骤为方法900的步骤910及920(图9)。在执行步骤910及920后，方法1100继续至步骤1125。在使用一人脸检测算法时，步骤1125选择在步骤920中被识别为在第一发光体之下被撷取的一个子集合的现实影像，其还包括至少一个人脸。步骤1125如是通过具有实施为存储器340(图3)的存储器400(图4)的电子照相机300(图3)的处理器330而执行。处理器330(图3)从影像储存461(图4)取得在步骤920中所识别的现实影像，并依据脸侦测指令455(图4)处理现实影像。处理器330(图3)接着将在第一发光体之下所撷取并还包括至少一个人脸或这些影像的一个纪录的现实影像储存至影像储存461(图4)。在步骤1130中，在步骤1125中所选择的现实影像中的人脸的平均色彩，依据色彩萃取指令451而如通过具有实施为存储器340(图3)的存储器400(图4)的电子照相机300的处理器330(图3)而决定。

步骤1140调用上述所讨论的万用人脸色调假设。举例而言，万用人脸色调假设被具有实施为存储器340(图3)的存储器400(图4)的电子照相机300(图3)的处理器330所调用。处理器330(图3)从存储器400的指令450取得万用人脸色调假设指令482。在步骤1150中，通过使用在步骤1140中所调用的万用人脸色调假设，来决定供第一发光体用的照相机专用校正AWB参数。依据万用人脸色调假设，设定供第一发光体用的照相机专用校正AWB参数，以在被应用至在第一发光体之下被撷取并包括至少一个人脸的现实影像时，产生属于万用人脸色调的现实影像中的人脸的平均色调。注意人脸的平均色调可通过使用上述所讨论的Preucil的方程式而从平均色彩被取出。在某些实施例中，在步骤1130中所获得的平均色彩以色彩比率表示。举例而言，平均色彩比率被表示为有序对的色彩比率，其定义三原色成分的相对强度，如与图2相关所讨论的。接着，可从有序对的色彩比率计算出照相机专用校正AWB参数。步骤1150例如是通过具有实施为存储器340(图3)的存储器400(图4)的电子照相机300(图3)的处理器330而执行。处理器330(图3)从色彩值储存462(图4)取得色彩，依据色彩比率计算指令452(图4)导出色彩比率，并将色彩比率储存至色彩比率储存463(图4)。接着，处理器330(图3)依据色彩比率对AWB参数计算指令453(图4)处理储存于色彩比率储存463(图4)中的色彩比率，以产生供第一发光体用的照相机专用校正AWB参数。

方法1100说明步骤910、920及1125中的影像的处理，所采用的是被步骤1110处理的所有影像，接着是被步骤920处理的所有影像，接着被步骤1125处理的所有影像。在一个实施例中，电子照相机(例如图3的电子照相机300)预先被设定组态，以在执行方法1100前撷取某个数目(如100或1000)的现实影像。在不背离于此的范围下，现实影像可顺序地被步骤910、920及1125的两个后续步骤，或步骤910、920及1125全部所处理，而不是通过步骤910、920及1125传播全组的现实影像作为一群组。这可被延伸至步骤550(图5)、步骤910、步骤920以及步骤1125的顺序性能，其允许电子照相机(例如图3的电子照相机300)连续评估方法1100的后续步骤的性能可得到的可用数据的数量。此外，步骤550(图5)以及步骤910、920及1125中的影像的顺序撷取及处理允许减少储存需求。只有从影像被取出的色彩值的储存为自我训练所需要，而不是储存全影像。在一个例子中，在步骤550(图5)中，具有实施为存储器340(图3)的存储器400(图4)的电子照相机300(图3)撷取一个影像。处理器330(图3)接着针对这个影像执行步骤910及920，且如果适合的话，执行步骤1125。若影像在第一发光体之下被撷取并包括至少一个人脸时，则处理器330(图3)依据色彩值萃取指令451(图4)取出一个代表影像中的人脸的色调的色彩值。处理器330(图3)将这个色彩值储存至色彩值462(图4)。

在一个实施例中，当某个数目(如50或500)的现实影像已在步骤1125中被识别时，电子照相机(例如，图3的电子照相机300)预先被设定组态以继续至步骤1130。在某些实施例中，自我训练逐渐地发生。因为被电子照相机所撷取的影像的数目增加，所以步骤550(图5)、步骤910、920及1125以及步骤560(图5)被执行多次。因为由电子照相机所取像的不同场景的数目增加，所以这可导致一个逐渐改善的最终AWB参数组。在更进一步的实施例中，由步骤550(图5)、步骤910、920及1125以及步骤560(图5)所构成的自我训练遍及电子照相机的寿命而定期地被重复。

与基于灰色世界假设的自我训练比较而言，基于万用人脸色调假设的自我训练可能需要较小数目的现实影像，以提供一个供第一发光体用的AWB参数的正确校准。此乃因为每一个人的人脸具有非常接近万用人脸色调的色调，虽然其很可能需要大批现实影像以达到一个灰色的平均色彩合成。另一方面，电子照相机(例如，图3的电子照相机300)首先可由一用户采用来撷取并未包括人脸的现实场景的影像。在某些实施例中，电子照相机(例如，图3的电子照相机300包括灰色世界假设指令与万用人脸色调假设指令两者，并将依据所撷取的影像的型式选择两个假设的任一个。

图12显示用于执行方法500的步骤520及530(图5)的一种例示方法1200。方法1200替代图8的方法800。方法1200利用万用人脸色调的假设以校正供参考发光体用的AWB参数。在步骤1210中，电子照相机撷取由参考发光体所照明的一组样品人脸、实际的脸或其复制的影像。举例而言，图3的电子照相机300撷取由D65发光体所照明的一组样品人脸的影像。在步骤1220中，决定一个样品人脸的每个影像的色彩。在一个实施例中，在电子照相机的机板上的功能执行步骤1220。举例而言，具有实施为存储器340(图3)的存储器400(图4)的电子照相机300的处理器330(图3)，依据脸侦测指令455(图4)处理撷取的影像以将人脸定位在影像中。处理器330(图3)接着依据色彩值萃取指令451(图4)处理与一个人脸相关的影像的部分。在另一个实施例中，步骤1220通过使用电子照相机(例如，电子照相机300(图3))外部的功能(举例而言于制造工厂的设备)而执行。步骤1220可在电子照相机的完全装配前执行。在步骤1230中，步骤1220中所获得的色彩被平均，以决定在参考发光体之下所撷取的影像中的人脸的一个平均色彩。步骤1230可在电子照相机(例如，电子照相机300(图3))外部执行。或者，步骤1230可依据指令350(图3)，例如通过电子照相机300的处理器330(图3)在电子照相机的机板上执行。

步骤1230中所获得的平均色彩可表示不同于万用人脸色调的色调。举例而言，与人脸的色调比较而言，色调可被移向红色或蓝色。在步骤1240中，校正供参考发光体用的AWB参数，以使校正的AWB参数在被应用至步骤1230中所决定的平均色彩时，产生代表万用人脸色调的色彩。在一个实施例中，步骤1240在电子照相机的机板上执行。举例而言，电子照相机300的处理器330(图3)依据指令350(图3)执行步骤1240。在另一个实施例中，步骤1240在电子照相机外部执行。

方法1200说明步骤1210及1220中的影像的处理，采用的是被步骤1210所处理的所有影像，伴随着被步骤1220所处理的所有影像。在不背离于此的范围之下，影像反而可顺序地被步骤1210及1220所处理。

特征的组合

在不背离于此的范围之下，上述特征与以下所主张的那些特征可以各种方式作结合。举例而言，吾人将明白到，于此所说明的电子照相机中的自动白平衡的自动化自我训练的一个装置或方法的实施样态，可合并或交换于此所说明的电子照相机中的自动白平衡的自动化自我训练的另一个装置或方法的特征。下述例子说明上述实施例的可能的，非限制组合。应清楚得知，在不背离本发明的精神与范围下，可针对方法及装置于此做出多数其它改变及修改。

(A)一种电子照相机中的自动白平衡的校正方法，包括：(i)从在第一发光体之下被所述电子照相机所撷取的各个多个现实场景的各个第一多个影像获得多个第一色彩值；(ii)调用一关于所述现实场景的至少多个部分的真实色彩值的假设；及(iii)基于在所述真实色彩值与所述第一色彩值的平均值之间的差异，决定多个最终自动白平衡参数。

(B)如(A)所述的方法，多个最终自动白平衡参数关联包括供所述第一发光体用的各个多个发光体。

(C)如(A)及(B)所述的方法，多个最终自动白平衡参数包括供所述第一发光体用的最终第一自动白平衡参数。

(D)如(C)所述的方法，所述决定步骤包括基于在所述真实色彩值与所述第一色彩值的平均值之间的差异，决定所述最终第一自动白平衡参数。

(E)如(C)及(D)所述的方法，还包括转换包括供所述第一发光体用的初始第一自动白平衡参数的多个初始自动白平衡参数，用以产生所述多个最终自动白平衡参数，所述初始第一自动白平衡参数转换成所述最终第一自动白平衡参数。

(F)如(A)至(E)所述的方法，所述获得步骤包括从被多个现实场景的所述电子照相机所撷取的超集的影像中选择所述第一多个影像，所述第一多个影像中的每个影像被所述第一发光体所撷取。

(G)如(A)至(F)所述的方法，所述第一色彩值的每一个为所述各个影像的平均色彩。

(H)如(G)所述的方法，所述真实色彩值为所述多个现实场景的平均色彩，所述平均色彩为灰色。

(I)如(A)至(F)所述的方法，所述第一多个影像的每一个包括至少一人脸，且所述第一色彩值的每一个定义所述至少一人脸的平均色调。

(J)如(I)所述的方法，所述真实色彩值为所述多个现实场景中的人脸的平均色调，所述平均色调为万用人脸色调。

(K)如(I)及(J)所述的方法，所述获得步骤包括从被多个现实场景的所述电子照相机所撷取的超集的影像中选择所述第一多个影像，所述第一多个影像中的每个影像被所述第一发光体所撷取并包括至少一个人脸。

(L)如(K)所述的方法，所述获得步骤还包括将脸侦测例程应用至所述超集的影像。

(M)如(E)至(L)所述的方法，所述第一影像的每一个具有由第一、第二及第三原色所定义的色彩；及所述转换步骤在被有序对的第一色彩比率及第二色彩比率跨越的一个二维空间中被执行，所述第一与第二色彩比率一同定义所述第一、第二及第三原色的所述相对值。

(N)如(M)所述的方法，所述转换步骤包括旋转并按比例缩放在所述二维空间之内的所述初始白平衡参数组。

(O)如(M)及(N)所述的方法，所述有序对为[第二原色/第三原色，第二原色/第一原色]、[第一原色*第三原色/第二原色^2，第三原色/第一原色]、[Log(第二原色/第三原色)，Log(第二原色/第一原色)]、[Log(第一原色*第三原色/第二原色^2)、Log(第三原色/第一原色)]，或其导函数。

(P)如(C)至(O)所述的方法，所述多个初始自动白平衡参数包括供第二发光体用的初始第二自动白平衡参数，所述方法还包括通过下述步骤来决定所述多个初始自动白平衡参数：(i)获得包括供所述第二发光体用的基础第二自动白平衡参数的多个基础自动白平衡参数；(ii)校正所述基础第二自动白平衡参数以产生其校正值；及(iii)转换所述基础自动白平衡参数组以产生所述初始自动白平衡参数组，所述初始第二自动白平衡参数为所述校正值。

(Q)如(P)所述的方法，所述校正步骤包括通过所述电子照相机撷取在所述第二发光体之下的一个或多个场景的第二多个影像，因此所述校正值在被应用以白平衡所述第二多个影像时，产生属于灰色的所述第二多个影像的平均色彩。

(R)如(P)所述的方法，所述校正步骤包括通过所述电子照相机撷取在所述第二发光体之下的一个或多个场景的第二多个影像，所述一个或多个场景的每一个包括人脸；及所述校正值在被应用以白平衡所述第二多个影像时，产生属于万用人脸色调的所述人脸的平均色调。

(S)如(P)至(R)所述的方法，所述多个基础自动白平衡参数由被第二电子照相机所撷取的多个影像所决定。

(T)一种电子照相机装置，包括：(i)影像传感器，用以撷取多个现实场景的多个现实影像；(ii)非易失性存储器，包括多个机器可读取指令，所述指令包括部分校正的自动白平衡参数组及多个自动白平衡自我训练指令；及(iii)处理器，用于依据所述自我训练指令处理所述现实影像以产生完全校正的自动白平衡参数组，所述完全校正的自动白平衡参数组为所述电子照相机装置特有的。

(U)如(T)所述的装置，所述自我训练指令包括关于所述现实场景的假设。

(V)如(U)所述的装置，所述假设包括多个所述现实场景的所述平均色彩为灰色的假设。

(W)如(V)所述的装置，所述假设包括多个人脸的所述色调为万用人脸色调的假设。

(X)如(T)至(W)所述的装置，所述自我训练指令包括多个照明识别指令，其在被所述处理器执行时，确认在第一发光体之下所撷取的子集合的所述现实影像。

(Y)如(X)所述的装置，多个自动白平衡参数转换指令，其在被所述处理器执行时，基于通过使用所述照明识别指令所识别的所述影像的分析，将部分校正的自动白平衡参数组转换至完全校正的自动白平衡参数组。

(Z)如(T)至(Y)所述的装置，所述自我训练指令还包括多个脸侦测指令，其在被所述处理器执行时，确认多个现实影像中的多个人脸。

在未脱离本发明的精神与范围下，可以对上述方法及系统进行修改或变更，需注意者，在以上说明书及附图中所述仅为举例性，而非为限制性。所附权利要求可涵盖所述的一般及特定特征，而本发明的方法及系统的范围中的所有陈述，其仅为语言问题，皆应落于权利要求的范围。

Claims (20)

1.一种电子照相机中的自动白平衡的校正方法，包括：

从在第一发光体之下被所述电子照相机所撷取的各个多个现实场景的各个第一多个影像获得多个第一色彩值，所述电子照相机包括多个初始自动白平衡参数，所述多个初始自动白平衡参数包括供不同于所述第一发光体的参考发光体用的预校正的自动白平衡参数；

调用关于所述现实场景的至少多个部分的真实色彩值的假设；及

基于所述多个初始自动白平衡参数以及在所述真实色彩值与所述第一色彩值的平均值之间的差异，决定供包括所述第一发光体和所述参考发光体的各个多个发光体用的多个最终自动白平衡参数。

2.如权利要求1所述的方法，其中所述多个最终自动白平衡参数包括供所述第一发光体用的最终第一自动白平衡参数，且所述决定步骤包括：

基于在所述真实色彩值与所述第一色彩值的平均值之间的差异，决定所述最终第一自动白平衡参数；以及

转换包括供所述第一发光体用的初始第一自动白平衡参数的所述多个初始自动白平衡参数，用以产生所述多个最终自动白平衡参数，所述初始第一自动白平衡参数转换成所述最终第一自动白平衡参数。

3.如权利要求1所述的方法，其中所述获得步骤包括：从被多个现实场景的所述电子照相机所撷取的超集的影像中选择所述第一多个影像，所述第一多个影像中的每个影像在所述第一发光体之下所撷取。

4.如权利要求1所述的方法，其中：

所述第一色彩值的每一个为各个影像的平均色彩；及

所述真实色彩值为所述多个现实场景的平均色彩，所述假设为所述多个现实场景的平均色彩为灰色。

5.如权利要求1所述的方法，其中：

所述第一多个影像的每一个包括至少一个人脸；

所述第一色彩值的每一个定义所述至少一个人脸的平均色调；及

所述真实色彩值为所述多个现实场景中的人脸的平均色调，所述假设为所述多个现实场景中的人脸的平均色调为万用人脸色调。

6.如权利要求5所述的方法，其中：

所述获得步骤包括从被多个现实场景的所述电子照相机所撷取的超集的影像中选择所述第一多个影像，所述第一多个影像中的每个影像在所述第一发光体之下所撷取并包括至少一个人脸。

7.如权利要求6所述的方法，其中所述获得步骤还包括将脸侦测例程应用至所述超集的影像。

8.如权利要求2所述的方法，其中：

所述第一多个影像的每一个具有由第一、第二及第三原色所定义的色彩；及

所述转换步骤在被有序对的第一色彩比率及第二色彩比率跨越的一个二维空间中被执行，所述第一色彩比率与第二色彩比率一同定义所述第一、第二及第三原色的相对强度。

9.如权利要求8所述的方法，其中所述转换步骤包括：旋转并按比例缩放在所述二维空间内的所述多个初始自动白平衡参数。

10.如权利要求8所述的方法，其中所述有序对为[第二原色/第三原色，第二原色/第一原色]、[(第一原色*第三原色)/(第二原色^2)，第三原色/第一原色]、[Log(第二原色/第三原色)，Log(第二原色/第一原色)]或[Log((第一原色*第三原色)/(第二原色^2))，Log(第三原色/第一原色)]。

11.如权利要求2所述的方法，还包括通过下述步骤来决定所述多个初始自动白平衡参数：

获得包括供所述参考发光体用的基础第二自动白平衡参数的多个基础自动白平衡参数；

校正所述基础第二自动白平衡参数以产生所述预校正的自动白平衡参数；及

转换所述多个基础自动白平衡参数以产生所述多个初始自动白平衡参数。

12.如权利要求11所述的方法，其中：

所述校正步骤包括通过所述电子照相机撷取在所述参考发光体之下的一个或多个场景的第二多个影像；及

所述预校正的自动白平衡参数在被应用以白平衡所述第二多个影像时，产生属于灰色的所述第二多个影像的平均色彩。

13.如权利要求11所述的方法，其中：

所述校正步骤包括：通过所述电子照相机撷取在所述参考发光体之下的一个或多个场景的第二多个影像，所述一个或多个场景的每一个包括人脸；及

所述预校正的自动白平衡参数在被应用以白平衡所述第二多个影像时，产生属于万用人脸色调的所述人脸的平均色调。

14.如权利要求11所述的方法，其中所述多个基础自动白平衡参数由被第二电子照相机所撷取的多个影像所决定。

15.一种电子照相机装置，包括：

影像传感器，用以撷取多个现实场景的多个现实影像；

非易失性存储器，包括多个机器可读取指令，所述指令包括部分校正的自动白平衡参数组及多个自动白平衡自我训练指令，所述部分校正的自动白平衡参数组包括具有供参考发光体用的一个预校正的自动白平衡参数的多个初始自动白平衡参数；及

处理器，用于依据所述自动白平衡自我训练指令处理在不同于所述参考发光体的第一发光体之下所撷取的子集合的所述现实影像以产生完全校正的自动白平衡参数组，所述完全校正的自动白平衡参数组为所述电子照相机装置特有的。

16.如权利要求15所述的装置，其中所述自动白平衡自我训练指令包括关于所述现实场景的假设。

17.如权利要求16所述的装置，其中所述假设包括多个所述现实场景的平均色彩为灰色的假设。

18.如权利要求16所述的装置，其中所述假设包括多个人脸的色调为万用人脸色调的假设。

19.如权利要求15所述的装置，其中所述自动白平衡自我训练指令包括：

多个照明识别指令，其在被所述处理器执行时，确认在第一发光体之下所撷取的子集合的所述现实影像；及

多个自动白平衡参数转换指令，其在被所述处理器执行时，基于通过使用所述照明识别指令所识别的所述影像的分析，将所述部分校正的自动白平衡参数组转换至所述完全校正的自动白平衡参数组。

20.如权利要求19所述的装置，其中所述自动白平衡自我训练指令还包括多个脸侦测指令，其在被所述处理器执行时，确认多个现实影像中的多个人脸。