CN102301391A - 彩色图像处理方法、彩色图像处理设备以及彩色图像处理程序 - Google Patents

Abstract

本发明提供了一种彩色图像处理方法和设备，以实现彩色成像设备所拍摄的彩色图像中特定对象的对象区域的期望颜色再现，并且从而改善纹理。一种彩色图像处理设备(100)，包括：图像信息获取单元(110)，基于输入图像来检测对象区域，并且获得对象区域的颜色信息和3D信息；反射信息恢复单元(120)，基于颜色信息和3D信息，来恢复对象区域的镜面分量和包含阴影的体反射分量；漫反射系数计算单元(130)，通过从颜色信息中去除镜面分量和体反射分量中的阴影来计算漫反射系数；漫反射系数校正处理单元(140)，使用颜色信息和漫反射系数来恢复表面反射率；并且通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数；以及再现颜色计算单元(150)，通过将体反射分量中的阴影和镜面分量与校正漫反射系数相加来计算对象区域的再现颜色，并从而产生输出图像。

Description

彩色图像处理方法、彩色图像处理设备以及彩色图像处理程序

技术领域

本发明涉及彩色图像的图像处理，具体涉及一种彩色图像处理方法、一种彩色图像处理设备以及一种彩色图像处理程序，实现实际上由彩色成像设备拍摄的彩色图像中对象的颜色校正以及该对象的期望颜色再现从而改善纹理。

背景技术

作为改善由彩色成像设备拍摄的彩色图像的图像质量的技术，已经提出了一种使得彩色图像中的特定对象的颜色(例如，肉色、植物的绿色以及蓝天)接近该对象的所记录颜色并从而再现期望颜色的技术。

例如，专利文献1公开了一种与彩色图像的颜色校正有关的技术。在专利文献1中，从图像中的对象区域中提取代表颜色，并且通过将该代表颜色与用于校正的预定中心颜色相比较来确定RGB校正参数。然后，通过对根据到中心颜色的距离应用这些校正参数的强度加以控制来校正每个像素。具体地，已经提出了一种通过以下操作集中校正对象的颜色的技术：将颜色信息(即，彩色图像中每个像素的RGB值)转换成色调、饱和度以及亮度；计算该颜色与颜色空间中用于校正的中心颜色之间的距离；以及根据距离调整校正强度。

在该技术中，基于RGB颜色空间中校正参数的加法/减法来执行颜色校正。例如，在人脸的肉色情况下，根据到用于校正的中心颜色的距离，来计算针对每个像素的校正量。如果要使脸部区域在整体上更亮，则根据到用于校正的中心颜色的上述距离，将校正参数与实质上位于整个脸部区域的每个像素的RGB值相加，或者从实质上位于整个脸部区域的每个像素的RGB值中减去校正参数。此外，专利文献2公开了一种与输入图像中脸部区域的检测有关的技术。

专利文献3公开了一种颜色校正设备和方法，其中，当对光谱-彩色图像数据进行颜色校正时，将该特定颜色转换到维度低于原始维度的颜色空间中；在低维度的颜色空间中进行颜色校正；以及根据低维度产生适当维度的特定颜色。

此外，专利文献4公开了一种技术，该技术将原始颜色空间转换成具有不同参考白色的颜色系统之间的目标颜色空间，而同时使观看颜色的方式(way)与原始颜色空间中观看颜色的方式保持不变。具体地，从原参考白色(即，原始颜色空间的参考白色)的色温中恢复原参考白色的光谱功率分布特性。此外，从目标参考白色(即，目标颜色空间的参考白色)的色温中恢复目标参考白色的光谱功率分布特性。然后，通过使用给定颜色的三色激励值、原参考白色的光谱功率分布特性以及人类的颜色匹配函数，来恢复原始颜色空间中给定颜色的表面反射率。此外，基于恢复的表面反射率、目标参考白色的恢复的光谱功率分布特性以及人类的颜色匹配函数，来获得作为目标颜色空间中的颜色的三色激励值。

专利文献5公开了一种技术，该技术自动进行对各种照明环境下所拍摄的自然图像中重要对象的优异白色校正。具体地，提取特定对象的体表(body surface)颜色，并且针对所提取的体表颜色设置最优颜色校正参数。这样，能够自动进行对各种照明环境下所拍摄的自然图像中重要对象的颜色校正。注意，专利文献3、4和5中所公开的发明与以下描述的本发明的具有完全不同的配置。

专利文献6提出了将用于人类皮肤反射建模技术应用于脸部图像的呈现。在该方法中，通过3D扫描仪对脸部进行扫描来获得脸部的3D(三维)形状。然后，通过沿着不同方向从不同视点照亮脸部来获得多个脸部图像。通过使用脸部扫描数据和图像数据来估计总反射率和法向量图。然后，使用光纤频谱仪，通过扫描下表面反射率来获得透射率图。将总反射率分成下表面散射和(镜面)表面反射率两个分量。

引文列表

专利文献

专利文献1：日本专利No.3264273(0036到0045段)

专利文献2：日本待审专利申请公开No.2003-317084(0019到0021段)

专利文献3：日本待审专利申请公开No.2004-45189

专利文献4：日本待审专利申请公开No.10-229499

专利文献5：日本待审专利申请公开No.2001-92956

专利文献6：日本待审专利申请公开No.2006-277748

非专利文献

非专利文献1：″Face detection based on Generalized LVQ″ToshinoriHosoi，Tetsuaki Suzuki，Atushi Satoh，FIT2002，I-30(Sep.2002)

非专利文献2：″Image engineering series 10，Color imagereproduction theory，Fundamentals of color management″Joji Tajima，MARUZEN Co.，Ltd.September 30，1996，p.33-39

发明内容

技术问题

上述专利文献1和2以及非专利文献1和2的公开通过引用合并于此。在下文中描述根据本发明对现有技术的分析。

如专利文献1的情况，在使用颜色的三种特性(例如，RGB和/或彩色图像数据的色调、饱和度以及亮度)的彩色图像处理技术中，存在对象的原始纹理会劣化的问题。

这是因为当对图像中特定对象的颜色进行校正以使得图像更亮时，会引起以下现象：在将校正参数与其他颜色分量(绿色和蓝色)相加，或者从其他颜色分量(绿色和蓝色)中减去时，最初具有高像素值的颜色分量(例如，红色)饱和。如果针对对象的整个区域执行该过程，则对象区域中颜色信息或像素值的分散(dispersion)变得更窄，并因此劣化对象区域中明显的纹理。

在专利文献6中，尽管针对脸部图像的呈现提出人类皮肤反射建模，但是需要特殊的测量设备，即，光纤频谱仪。因此，很难对普通彩色图像处理的颜色校正应用该技术。

相应地，期望开发一种彩色图像处理，可以仅使用输入图像通过更容易的技术来实现，并且能够抑制彩色图像中对象区域中的纹理的劣化。

本发明的目的是提供一种彩色图像处理方法、一种彩色图像处理设备以及一种彩色图像处理程序，实现彩色成像设备所拍摄的彩色图像中特定对象的对象区域的期望颜色再现并且从而改善纹理。

问题的解决方案

根据本发明的彩色图像处理方法的一个方面是一种彩色图像处理方法，包括：基于输入图像来检测对象区域；获得对象区域的颜色信息和3D信息；基于颜色信息和3D信息，来恢复对象区域的镜面分量和体反射分量中包含的阴影；通过从颜色信息中去除镜面分量和阴影来计算漫反射系数(albedo)；使用颜色信息和漫反射系数来恢复表面反射率；通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数；以及通过将阴影和镜面分量与校正漫反射系数相加来计算对象区域的再现颜色，并从而产生输出图像。

此外，根据本发明的彩色图像处理设备的一个方面是一种彩色图像处理设备，包括：图像信息获取单元，基于输入图像来检测对象区域，并且获得对象区域的颜色信息和3D信息；反射信息恢复单元，基于颜色信息和3D信息，来恢复对象区域的镜面分量和体反射分量(或者漫射(diffuse)分量)中包含的阴影；漫反射系数计算单元，通过从颜色信息中去除镜面分量和阴影来计算漫反射系数；漫反射系数校正处理单元，使用颜色信息和漫反射系数来恢复表面反射率；并且通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数；以及再现颜色计算单元，通过将阴影和镜面分量与校正漫反射系数相加来计算对象区域的再现颜色，并从而产生输出图像。

此外，根据本发明的存储了彩色图像处理程序的计算机可读记录介质的一个方面是一种存储了彩色图像处理程序的计算机可读记录介质，所述彩色图像处理程序使计算机执行以下操作：图像信息获取过程，基于输入图像来检测对象区域，并且获得对象区域的颜色信息和3D信息；反射信息恢复过程，基于颜色信息和3D信息，来恢复对象区域的镜面分量和体反射分量中包含的阴影；漫反射系数计算过程，通过从颜色信息中去除镜面分量和阴影来计算漫反射系数；漫反射系数校正处理过程，使用颜色信息和漫反射系数来恢复表面反射率，并且通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数；以及再现颜色计算过程，通过将阴影和镜面分量与校正漫反射系数相加来计算对象区域的再现颜色，并从而产生输出图像。

本发明的有利效果

根据本发明，能够实现对彩色成像设备所拍摄的彩色图像中特定对象的期望颜色再现，并从而改善纹理。

附图说明

图1是示出了根据本发明示例实施例的一个方面的彩色图像处理方法的过程流的示意图；

图2是示出了根据本发明示例实施例的彩色图像处理设备的配置示例的框图；

图3是用于说明根据本发明第一示例实施例的彩色图像处理方法的过程示例的流程图；

图4是用于说明自动检测输入图像中的对象区域并获得颜色信息的过程的图；

图5是示出了具有平均肉色的日本人的脸部区域的表面反射率的示例的图；

图6是示出了CIE日光的均值第一和第二主分量向量的图；

图7是示出了基本向量的示例的图，基本向量是通过收集对象的表面反射率并对这些表面反射率执行主分量分析而获得的；

图8示出了特性参数bi(i＝1至3)的空间中执行的与对象区域的颜色有关的校正；

图9是示出了根据本发明第一示例实施例的彩色图像处理设备的配置示例的框图；

图10是用于说明根据本发明第二示例实施例的彩色图像处理方法的过程示例的流程图；以及

图11是示出了根据本发明第二示例实施例的彩色图像处理设备的配置示例的框图。

具体实施方式

下文中参照附图说明本发明的示例实施例。为了阐明说明，根据需要部分地省略和简化以下描述和附图。贯穿附图，具有相同配置和功能的组件和等同部件由相同符号表示，并且省略对它们重复说明。

对根据本发明的示例实施例的一个方面进行说明。在本发明中，当要对输入图像中特定对象的颜色进行校正时，使用从输入图像恢复的特定对象的3D(三维)形状(也被称作“3D”信息)以及图像拍摄时照明的几何条件(也被称作“几何信息”)来计算特定对象上出现的镜面分量(高亮)和包含阴影的漫射分量。接着，通过使用颜色信息(漫反射系数)以高精确度来恢复对特定对象加以表示的表面反射率，颜色信息是通过从特定对象的原始颜色信息中去除对镜面分量和包含在漫射分量(下文中被称作“体反射分量”)中的阴影的影响来获得的。然后，进行校正，以使表面反射率接近于对象的更加期望的预定参考表面反射率。然后，使用校正表面反射率以及镜面分量和包含在体反射分量中的阴影来计算特定对象的再现颜色。这样，特定对象的颜色校正后的再现颜色看起来更自然，并且特定对象由更期望的颜色表示。

图1示出了根据本发明示例实施例的彩色图像处理方法的过程流。

I.首先，将输入图像和与输入图像有关的信息提供给彩色图像处理设备(图像信息获取过程)。具体地，提供输入图像，并且根据输入图像指定特定对象。通过指定特定对象，对要校正漫反射系数的区域(对象区域)进行检测。此外，获得特定对象的3D形状和颜色信息(对象区域的颜色)。

II.接着，恢复特定对象的反射信息(反射信息恢复过程)。具体地，基于3D形状恢复照明的几何条件。接着，使用颜色信息、3D形状以及照明几何条件来恢复镜面分量和包含阴影的体反射分量。在该过程中，从输入图像的每个像素的像素值中去除镜面分量。并且将由漫反射系数和体反射分量的乘积表示的分量分离。注意，体反射分量是包含阴影信息的分量。

III.计算特定对象的漫反射系数(漫反射系数计算过程)。具体地，通过用从去除了镜面分量的像素值除以体反射分量中包含的阴影来计算漫反射系数。

IV.校正漫反射系数(漫反射系数校正过程)。具体地，使用特定对象的颜色信息和漫反射系数来计算表面反射率。然后，使所计算的表面反射率接近参考表面反射率。这样，校正漫反射系数。

V.通过将镜面分量和包含在体反射分量中的阴影与校正漫反射系数相加来计算特定对象的再现颜色(再现颜色计算过程)。

在该说明书中，假定从特定对象中检测到的对象区域包括多个像素。此外，每个像素具有颜色信息，并且颜色信息可以被称作“像素值”。还假定颜色信息至少包含镜面分量和体反射分量，并且还可以包含其他颜色信息。

此外，在以下说明中，特定对象和对象区域彼此没有区别，除非另外指定。

漫反射系数是通过从包含在特定对象中的阴影的颜色信息中去除镜面分量和体反射分量而获得的颜色信息。即，漫反射系数是通过从特定对象的颜色信息(从输入图像中获得颜色信息)中去除镜面分量(闪光)和包含在体反射分量中的阴影来获得的。因此，漫反射系数可以被视为特定对象本身的颜色信息。

通过将镜面分量与漫反射系数和包含阴影的体反射分量的乘积相加，来获得(表示)对象区域的颜色信息。体反射分量包含阴影信息。

参考表面反射率是根据特定对象预先定义的表面反射率。后续将进一步说明参考表面反射率。

此外，图2示出了根据本发明示例实施例的彩色图像处理设备的配置示例。彩色图像处理设备100包括图像信息获取单元110、反射信息恢复单元120、漫反射系数计算单元130、漫反射系数校正处理单元140以及再现颜色计算单元150。

图像信息获取单元110从外部接收输入图像，基于输入图像指定特定对象，以及检测特定对象的对象区域。此外，图像信息获取单元110获得颜色信息和对象区域的3D(三维)形状。

反射信息恢复单元120基于颜色信息和3D形状，来恢复对象区域的阴影信息、镜面分量以及包含阴影的体反射分量。具体地，反射信息恢复单元120通过使用3D信息来恢复照明(照明的辐照度)的几何信息，并且通过使用3D形状和照明几何信息，来恢复镜面和包含阴影的体反射分量。后续说明这些过程的细节。

漫反射系数计算单元130通过从颜色信息中减去镜面分量并且将所获得值除以体反射分量中包含的阴影来计算漫反射系数。

漫反射系数校正处理单元140通过使用颜色信息和漫反射系数来恢复表面反射率，并且通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数。在该示例中，漫反射系数校正处理单元140包括光谱功率分布恢复单元141和漫反射系数校正单元142。光谱功率分布恢复单元141通过使用对象区域的颜色信息来恢复光谱功率分布。漫反射系数校正单元142通过使用恢复的照明光谱功率分布和漫反射系数来恢复对象区域的表面反射率。此外，漫反射系数校正单元142基于恢复的表面反射率，通过校正漫反射系数来计算校正漫反射系数。

再现颜色计算单元150通过将镜面分量和体反射分量中的阴影与校正反射率相加来计算对象区域的再现颜色，并且通过使用计算的再现颜色来产生输出图像。

下文中参照特定示例实施例来继续说明。

[第一示例实施例]

首先，参照附图说明根据本发明第一示例所述的彩色图像处理方法的过程流。使用图2所示彩色图像处理设备100的配置示例来进行一下说明。

图3是用于说明根据本发明第一示例实施例的彩色图像处理方法的流程图。为了说明起见，假定图像的颜色系统是RGB颜色系统。即，图像的颜色通过R(红色)、B(绿色)和B(蓝色)来表示，并且表示为“颜色信息RGB”。注意，毫无疑问，除了RGB颜色系统以外，本发明还适合于其他颜色系统。

为了在图像质量方面改善任意给定彩色图像中特定对象的纹理，重新计算彩色图像中对象区域中的每个像素的再现颜色。

注意，特定对象不限于任何具体对象，假定，即使当各个单独特定对象彼此不同，即，即使当存在个体差异，也可以基于从彩色图像获得的特性将对象确定为假定对象，这是因为一般颜色信息和纹理的一般性。

首先，图像信息获取单元110从输入图像中自动检测特定对象(步骤S1)。在该过程中，图像信息获取单元110获得针对检测到的特定对象的对象区域的颜色信息。

如图4所示，通过使用颜色信息、纹理等来从输入彩色图像中检测特定对象。关于假定特定对象是人脸来进行以下说明。当特定对象是人脸时，使用诸如眼睛、鼻子和嘴之类的特征来检测脸部区域。

作为用于检测脸部区域的技术，例如可以使用非专利文献2中所公开的脸部检测方法。该技术是一种脸部检测方法，该方法通过将基于图像的技术与用于检测眼睛的基于特征的技术相结合、使用一般学习向量量化来获得。

此外，作为用于检测输入图像中脸部区域的技术，可以使用专利文献2中所公开的用于检测图像中眼睛的方法。即，如果从输入图像中检测到眼睛的位置，则可以容易地估计脸部区域。

注意，一般地，上述两种技术通过使用单色信息来检测脸部。然而，能够通过合并检测到的脸部区域是否是肉色(或肤色)的附加确定来提高脸部区域检测的精度。

关于肉色确定方法，可以使用在专利文献1中所公开的图像直方图的技术。脸部检测方法不限于上述两种技术，也可以使用其他技术。

尽管在上述说明中描述了从任意给定输入图像中自动检测脸部作为要检测的对象的情况，但是除了脸部以外，要检测的对象还可以是任何对象。注意，为了自动检测除了脸部以外的对象，可以使用一种通过将图像数据的视觉特性信息与预配准的对象区域相比较来自动检测对象的方法。

接着，光谱功率分布恢复单元141根据输入图像中特定对象的颜色信息(对象区域的颜色)，来恢复拍摄输入图像时照明的颜色信息(照明的光谱功率分布)(步骤S2)。

在该过程中，通过使用彩色图像中对象区域的颜色信息和/或对象的表面反射率来恢复拍摄输入图像时可能要使用的照明(或照亮)的颜色信息(即，光谱功率分布特性)。具体地，获得对象区域的颜色信息RGB，并且基于所获得的颜色信息RGB来获得XYZ颜色系统中的三色激励值XYZ。然后，基于输入图像中对象区域的三色激励值XYZ和对象的表面反射率，来恢复光谱功率分布。

下文中以更加具体的方式说明由图像信息获取单元110执行以获得针对从输入图像自动检测到的特定对象的对象区域的颜色信息的过程。

图4是说明用于自动检测输入图像中的对象区域并从而获得颜色信息的过程的概要的图。注意，作为对象区域的颜色信息，可以使用位于对象所占据的区域内像素的平均颜色、中值颜色(中值)、模式颜色(模式)等中的一个作为对象区域的颜色信息。

在该示例中，获得对象区域的颜色信息RGB，并且基于所获得的颜色信息RGB来获得XYZ颜色系统中的三色激励值XYZ。

后续说明是关于以下假定进行的：关于输入图像的颜色信息RGB，预先指定该颜色信息RGB的RGB荧光体的色度和白色的色度，以及RGB数据与显示设备的发射强度之间的关系是线性的。

在这种情况下，输入图像的RGB与三色激励值XYZ之间的关系由以下所示表达式(1)来表示

$\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=\mathrm{RX}\left(\begin{array}{c}R\\ G\\ B\end{array}\right)---\left(1\right)$

在表达式中，RX是3×3变换矩阵。

如果确定了RGB荧光体的色度与白色的色度，则可以唯一计算该变换矩阵RX。

作为用于计算变换矩阵RX的方法，例如可以使用非专利文献2中所公开的技术。此外，当当前使用彩色图像显示设备是sRGB(标准RGB)显示设备时，可以使用由IEC(国际电工委员会)指定的变换矩阵。对于表达式(1)，也可以并入黑色的XYZ值作为偏移项。

接着，光谱功率分布恢复单元141计算照明的光谱功率分布。照明光谱功率分布时拍摄输入图像是照明的颜色信息。注意“拍摄输入图像时的照明”是照亮输入图像中对象的照明(光源)。

首先，根据通过表达式(1)获得的图像中对象区域的三色激励值XYZ以及对象的表面反射率来产生用于恢复光谱功率分布的观测方程。

使用对象区域的表面反射率、照亮对象的照明的光谱功率分布以及人类视觉的颜色匹配函数，由以下所示表达式(2)来表示基于XYZ颜色系统指示对象区域的颜色的三色激励值XYZ。

X＝∫I(λ)R(λ)X(λ)dλ

Y＝∫I(λ)R(λ)y(λ)dλ(2)

Z＝∫I(λ)R(λ)Z(λ)dλ

                                      

在表达式中，λ是波长；I(λ)是照明光谱功率分布；以及R(λ)是对象区域的表面反射率。函数x(λ)、y(λ)和z(λ)是颜色匹配函数，并且是公知的函数。在可见光线的波长范围上执行积分。

当将通过表达式(1)计算的三色激励值XYZ代入到表达式(2)的左手侧时，表达式(2)变成照明光谱功率分布I(λ)和表面反射率R(λ)的观测方程，照明光谱功率分布I(λ)和表面反射率R(λ)是未知的。

然而，在当前状态下，不能根据表达式(2)计算作为波长的连续函数的I(λ)和R(λ)。

假定可以预先限制或确定指示了对象区域的颜色的表面反射率R(λ)，尽管会有一定程度的误差，也可以作为已知值来处理表面反射率R(λ)。因此，表达式(2)变成单独I(λ)的观测方程。

例如，如果对象是日本人的脸部，则具有平均肉色的日本人的脸部区域的表面反射率(作为示例如图5所示)可以用作表达式(2)中的R(λ)。图5是示出了具有平均肉色的日本人的脸部区域的表面反射率。水平轴指示波长(nm)，垂直轴指示表面反射率(％)。

即使当对象不是脸部，也可以预先获得被选择为具有通过对该对象执行多次测量而获得的表面反射率的平均或代表颜色的对象区域的表面反射率，并且可以将所获得表面反射率代入表达式(2)的R(λ)中。预先获得对象区域的表面反射率，并存储在彩色图像处理设备100内(例如，存储在漫反射系数校正处理单元140内)。

不能根据当前表达式(2)以分析方法计算照明光谱功率分布I(λ)，当前表达式(2)是照明光谱功率分布I(λ)的观测方程。这是因为照明光谱功率分布I(λ)固有地由可见光线范围中的无限维度波形来表示。然而，如果I(λ)可以由更少的参数来表示，则该问题会被解决。

CIE日光是CIE(国际照明委员会)根据相对光谱功率分布指定的用于测量的光源，并且已知理想近似平均分量和两个主分量的线性和。

图6是示出了CIE日光的平均分量、第一和第二主分量向量的图。水平轴指示波长(nm)，垂直轴指示照明或光源的每个波长处的光谱功率分布。

根据该图，如下所示表示照明光谱功率分布I(λ)。

I(λ)＝I₀(λ)+a₁I₁(λ)+a₂I₂(λ)(3)

表达式(3)中的项I_i(λ)(i＝0至2)是图6所示照明的平均和偏置向量。

系数a_i(i＝1至2)是相应偏置向量的权重系数，并且是表示照明的颜色的特性参数。

通过将表达式(3)的I(λ)代入表达式(2)，获得具有两个未知特性参数a₁和a₂(表示照明的颜色)的线性联立方程。此外，可以容易地计算特性参数a₁和a₂。

通过将所获得的表示照明颜色的特性参数a₁和a₂代入表达式(3)，获得照明光谱功率分布I(λ)。

通过上述过程获得的照明光谱功率分布用作拍摄输入图像时的照明光谱功率分布I(λ)。

接着，图像信息获取单元110恢复图像中特定对象的3D形状(步骤S3)。关于假定特定对象是人脸进行说明。因此，可以使用下述文献(下文中被称作“非专利文献3”)中所公开的技术。在该技术中，通过使用具有与预先准备的人脸的形状有关的平均3D信息的脸部模型，根据2D(二维)图像估计人脸的3D形状。

非专利文献3：″Recognition of Non-Frontal Facial Images by PoseConversion using Generic 3D Face Model″Rui Ishiyama，IEICE，GeneralConference 2007，D-12-085，2007，p.201。

上述技术是特定对象是人脸的情况下专用的3D形状恢复方法。然而，该技术也能够通过将非专利文献3中所公开的技术扩展至那些特定对象，来根据输入图像恢复其他特定对象的粗略3D形状，假定即使当存在个体差异时，特定对象也具有大体普遍的形状。

注意，恢复输入图像中特定对象的3D形状的事实意味着，在每个像素位置处的法向向量

输入图像中特定对象的表观颜色(apparent color)受到场景中照明以及照明相对于对象的几何条件的影响。即，当照明和对象的几何条件改变时，对象的表观颜色也改变。

此外，接着，恢复照明相对于输入图像中特定对象的几何条件(步骤4)。在本发明中，应用简单物理反射模型，以表示实际表观颜色。以下三个文献(下文中分别被称作非专利文献4、5和6)示出了与这种物理模型有关的技术。

非专利文献4：R.Basri and D.Jacobs，″Lambertian Reflectance andLinear Subspaces″，Proc.IEEE Intl.Conf.Computer Vision 01，pp.383-389，2001。

非专利文献5：R.Ramamoorthi and P.Hanrahan，″An efficientrepresentation for irradiance environment maps″，[online]，Proc.ACMSIGGRAPH 01，pp.497-500，2001.Searched on January 26，2009，theInternet＜URL：http://www1.cs.columbia.edu/～ravir/papers/envmap/envmap.pdf>。

非专利文献6：Ravi Ramamoorthi and Pat Hanrahan：″On therelationship between radiance and irradiance：determining theillumination from images of a convex Lambertian object″，J.Opt.Soc.Am.A/Vol.18，No.10/October 2001。

根据非专利文献4和5，当忽略投影(cast shadow)和邻近照明时，对象区域的表观辐射E由法向向量

的函数单独表示，并且通过使用球面谐波来理想近似。当来自方向向量的远距离照明表示为时，如下所示表示理想漫射半球对象

上的辐射：

$E\left(\stackrel{\→}{n}\right)={\∫}_{\mathrm{\Ω}\left(\stackrel{\→}{n}\right)}L\left(\stackrel{\→}{\mathrm{\ω}}\right)(\stackrel{\→}{n}\·\left(\stackrel{\→}{\mathrm{\ω}}\right))d\stackrel{\→}{\mathrm{\ω}}---\left(4\right)$

其中，和是单位方向向量。

利用位置向量

中的表面漫反射系数

对辐射执行缩放。如下所示表示对应于图像中亮度的辐照度B。

$B(\stackrel{\→}{p},\stackrel{\→}{n})=\mathrm{\ρ}\left(\stackrel{\→}{p}\right)E\left(\stackrel{\→}{n}\right)---\left(5\right)$

假定根据Lambertian表面上的观测值(辐射)估计照明条件。如上所述，假定可以忽略投影和邻近照明影响，照明是凸起对象表面上的非负函数。在非专利文献4和5中，该函数使用球面谐波来表示。

球面谐波Y_lm(l≥0，-1≤m≤1)具有与球面上的直线或圆形的傅里叶基类似外形。9个球面谐波(l≤2)变成笛卡尔坐标(x，y，z)中的常数(l＝0)，线性表达式(l＝1)，或者二次多项式表达式，并且如下所示进行表示。

(x，y，z)＝(sinθcosφ、sinθsinφ、cosθ)

$Y_{00}=\frac{1}{\sqrt{4\mathrm{\π}}}B(\stackrel{\→}{p},\stackrel{\→}{n})=\mathrm{\ρ}\left(\stackrel{\→}{p}\right)E\left(\stackrel{\→}{n}\right)---\left(6\right)$

$(Y_{1-1},Y_{10},Y_{11})=\sqrt{\frac{3}{4\mathrm{\π}}}(y,z,x)---\left(7\right)$

$(Y_{2-2},Y_{2-1},Y_{21})=3\sqrt{\frac{5}{12\mathrm{\π}}}(\mathrm{xy},\mathrm{yz},\mathrm{xz})---\left(8\right)$

$Y_{20}=\frac{1}{2}\sqrt{\frac{5}{4\mathrm{\π}}}({3z}^2-1)---\left(9\right)$

$Y_{22}=\frac{3}{2}\sqrt{\frac{5}{12\mathrm{\π}}}(x^2-y^2)---\left(10\right)$

和

由球面谐波扩展的系数Llm和El来表示。

$L\left(\stackrel{\→}{n}\right)=\underset{l=0}{\overset{\∞}{\mathrm{\Σ}}}\underset{m=-l}{\overset{l}{\mathrm{\Σ}}}{L}_{\mathrm{lm}}{Y}_{\mathrm{lm}}\left(\stackrel{\→}{n}\right)---\left(11\right)$

$E\left(\stackrel{\→}{n}\right)=\underset{l=0}{\overset{\∞}{\mathrm{\Σ}}}\underset{m=-l}{\overset{l}{\mathrm{\Σ}}}{E}_{\mathrm{lm}}{Y}_{\mathrm{lm}}\left(\stackrel{\→}{n}\right)---\left(12\right)$

由A_l表示。由于A并不依赖于方位角，因此仅使用m＝0或索引l。

$A\left(\stackrel{\→}{n}\right)=\max [\cos \mathrm{\θ},0]=\underset{l=0}{\overset{\∞}{\mathrm{\Σ}}}{A}_l{Y}_{l0}\left(\stackrel{\→}{n}\right)---\left(13\right)$

然后，根据这些定义，如非专利文献6所示，如下所示表示E_lm。

$E_{\mathrm{lm}}=\sqrt{\frac{4\mathrm{\π}}{2l+1}}{A}_l{L}_{\mathrm{lm}}---\left(14\right)$

这里，如下所示使用变量

${\hat{A}}_l=\sqrt{\frac{4\mathrm{\π}}{2l+1}}{A}_l---\left(15\right)$

为了呈现，如下所示表示辐射E。

$E(\mathrm{\θ},\mathrm{\φ})=\underset{l=0}{\overset{\∞}{\mathrm{\Σ}}}\underset{m=-l}{\overset{l}{\mathrm{\Σ}}}{\hat{A}}_l{L}_{\mathrm{lm}}{Y}_{\mathrm{lm}}\left(\stackrel{\→}{n}\right)---\left(16\right)$

注意可以从非专利文献6取得的解析式。当l是大于1的奇数时

表示消失，并且当l是偶数时急剧降为

当l＝1时，

${\hat{A}}_1=\frac{2\mathrm{\π}}{3}---\left(17\right)$

当l是大于1的偶数时(l＞1)，

${\hat{A}}_l=0---\left(18\right)$

当l是偶数时，

${\hat{A}}_l=2\mathrm{\π}\frac{{(-1)}^{\frac{l}{2}-1}}{(l+2)(l-1)}\left[\frac{l!}{2^l{(\frac{l}{2}!)}^2}\right]---\left(19\right)$

当由数值表示时，具有以下值。

${\hat{A}}_0=3.141593,$ ${\hat{A}}_1=2.094395,$ ${\hat{A}}_2=0.785398,$ ${\hat{A}}_3=0$

${\hat{A}}_4=-0.130900,$ ${\hat{A}}_5=0,$ ${\hat{A}}_6=0.049087$

如上所述，获得表达式(6)中表示的特定对象的每个像素的辐射E。即，意味着可以恢复相对于输入图像中特定对象的照明几何条件。注意，辐射E被视为几何条件。

接着，反射信息恢复单元120恢复(计算)输入图像中特定对象中的镜面分量和包含形状的体反射分量(步骤S5)。

通常，对象的反射率取决于入射光和发射光的几何条件。通常，该反射特性表示为BRDF(双向反射率分布函数)。BRDF通常包括镜面分量和体反射分量两个分量。

当特定对象是诸如人类的活生物时，镜面分量和体反射分量定义如下。

镜面分量是在皮肤表面上反射的分量。

体反射分量是当光一旦进入皮肤内时产生的光的分量，并且在皮肤内发散，并且再次通过皮肤分散。

通过假定特定对象的表面反射特性是朗伯体(Lambertian)，即理想漫射，可以使用步骤S4中所示的球面谐波来计算特定对象的每个像素的辐射。因为假定了理想漫射，则该辐射E可以被视为特定对象的漫反射分量(或体反射分量)DR(漫反射)。假定针对每个颜色通道(例如，R、G和B)计算辐射E。因此，辐射表示为“Ei”。字母“i”指示每个颜色通道。类似地，漫反射分量(体反射分量)表示为“DRi”。

Ei＝DRi  (20)

假定特定对象是朗伯体，计算漫反射分量(体反射分量)。然而，实际上，特定对象包含镜面分量而非漫反射分量(体反射分量)。换言之，输入图像中每个颜色通道的像素值表示该包含了漫反射分量(体反射分量)和镜面分量的颜色通道的表观亮度。使用最小二乘法等来计算对象区域中的漫反射分量(体反射分量)，因此辐射不必与像素值匹配。可以确切的说，在该偏差中出现的差异是镜面分量。因此，使用以下表达式来计算针对特定对象区域中特定像素的每个颜色通道的镜面分量SPi。

当SPi＝Ii-Dri时，Ii-DRi＞0

当SPi＝0时，除了上述以外    (21)

注意“Ii”表示输入图像中特定对象区域中的特定像素的像素值，“i”表示颜色通道(例如，R、G、B等)。

输入图像中特定对象区域中的特定像素的体反射分量BRi通过从图像的像素值Ii中减去镜面分量SPi来获得：

BRi＝Ii-Spi＝Min(Ii，DRi)   (22)

其中，Min(x，y)是输出x与y之间最小值的函数。

然后，漫反射分量(体反射分量)的亮度DRi是对象区域的阴影信息(阴影)。该阴影信息表示输入图像中特定对象区域的特定像素的漫反射分量(体反射分量)的亮度DRi，并且可以通过表达式(1)来计算。假定通过表达式(1)计算的三色激励值Y(三色激励值的Y分量)是对象的3D形状和照明的几何形状所引起的阴影信息，则漫反射系数可以定义为通过从颜色信息中去除阴影信息而获得的颜色信息。

接着，漫反射系数计算单元130计算输入图像中特定对象区域的特定像素的漫反射系数(步骤S6)。具体地，漫反射系数计算单元130根据以下表达式计算输入图像中特定对象区域的特定像素的每个颜色通道的漫反射系数ADi。

ADi＝BRi/Y  (23)

接着，漫反射系数校正处理单元140根据输入图像中特定对象中的每个像素的漫反射系数和照明光谱功率分布来恢复表面反射率R(λ)(步骤S7)。

基于输入图像是RGB颜色系统中的图像的假定来进行以下说明。

根据表达式(1)，从特定对象区域中漫反射系数ADi所表示的每个像素的RGB值，来计算三色激励值XYZ，并且将所计算的三色激励值XYZ代入表达式(2)的左手侧。

然后，通过将在步骤S2中计算的拍摄输入图像时的照明光谱功率分布Iorg(λ)代入表达式(2)的右手侧，表达式(2)成为特定对象区域中特定像素的表面反射率R(λ)的观测方程。

注意，如在照明光谱功率分布的情况下，由于特定对象的表面反射率也可以由可见光线范围中的无限维度波形来表示，不能根据观测方程(2)以分析方法来计算。

因此，特定对象的表面反射率也可以由使用有限维度线性模型的模型来表示，该有限维度线性模型由低维度基本向量的加权和来表示。

R(λ)＝r₀(λ)+b₁r₁(λ)+b₂r₂(λ)+b₃r₃(λ)  (24)

在表达式中，r_i(λ)(i＝0至3)是通过以下操作而获得的基本向量：收集多个对象的表面反射率并且对这些表面反射率执行主分量分析，并且r_i(λ)(i＝0至3)分别表示平均和第一至第三主分量向量。这些向量均是已知的。

项b_i(i＝1至3)是相应的基本向量的权重系数，并且是表示对象颜色的未知特性参数。

图7是通过对对象的表面反射率执行主分量分析而获得的基本向量的示例。水平轴指示波长(nm)，垂直轴指示照明或光源的每个波长处的光谱功率分布光谱功率。

注意，也可以使用通过收集特定对象的多个表面反射率并且对这些表面反射率执行主分量分析而获得的基本向量。

假定特定对象的表面反射率可以表示为表达式(24)，未知的特性参数b₁至b₃通过表达式(5)来获得，这是通过将表达式(24)代入观测方程(即，表达式(2))而获得具有三个未知特性参数的线性联立方程。

$\underset{\‾}{\left(\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right)={\left(\begin{array}{ccc}M(x,r_1)& M(x,r_2)& M(x,r_3)\\ M(y,r_1)& M(y,r_2)& M(y,r_3)\\ M(z,r_1)& M(z,r_2)& M(z,r_3)\end{array}\right)}^{-1}\left(\begin{array}{c}X-M(x,r_0)\\ Y-M(y,r_0)\\ Z-M(z,r_0)\end{array}\right)---\left(25\right)}$

在表达式中，M(x，r_i)(i＝0至3)是″∫I(λ)r_i(λ)x(λ)dλ″的积分项。这对于y和z也适用。

通过将从表达式(25)获得的表述对象颜色的特性参数b_i(i＝1至3)代入表达式(24)，获得对象区域中给定像素的表面反射率。

接着，通过使用对象区域的参考表面反射率来计算输入图像中对象中的每个像素的再现表面反射率，并从而计算校正的漫反射系数(步骤S8)。

基于参考表面反射率来校正步骤S7中所计算的输入图像中对象中的每个像素的表面反射率，参考表面反射率被定义为，使得再现该对象区域的期望颜色。

注意，对象区域的参考表面反射率是被定义为使得再现该对象区域的期望颜色的表面反射率。更具体地，参考表面反射率是对象在通过标准照明下拍摄对象而获得的彩色图像中具有良好且期望的颜色(亮度、饱和度和色调)。

由于该参考表面反射率对于个人的感知是主观的，因此不能唯一地定义该参考表面反射率。然而，通过进行主观性评估实验，可以预先获得参考表面反射率。例如，使用图像处理工具将对象区域的颜色变为各种颜色时，来评估对象区域的图像质量。然后，对于评估中被确定为最期望图像的图像，应用上述步骤S2和S3。这样，能够获得对象区域中每个像素的参考表面反射率。

注意，关于参考表面反射率，可以预先选择对象区域的三个或更多颜色，并且可以将与所选颜色的平均颜色、中值颜色(中值)或模式颜色(模式)相对应的像素颜色的表面反射率定义为对象区域的参考表面反射率Rref(λ)。

此外，也可以将对象区域内的最亮颜色、最暗颜色、具有最高饱和度的颜色和具有最低饱和度的颜色以及位于通过分析对象区域内颜色分布而获得的色调两端的颜色定义为该对象区域的参考表面反射率Rref(λ)。

此外，当可以使用输入图像中对象的形状的特征时，可以将与该区域处的颜色相对应的表面反射率定义为该对象区域的参考表面反射率Rref(λ)。例如，当对象是脸部时，可以使用脸颊、眼角、额头等作为特征区域。

可以获得这些特征区域中位于特定范围内的像素的平均颜色，并且可以计算该平均颜色的表面反射率。然后，可以将所获得表面反射率定义为该对象区域的参考表面反射率Rref(λ)。

通过使用上述技术，可以预先获得对象区域的参考表面反射率。

可以使用参考表面反射率Rref(λ)，通过校正输入图像中特定对象中的每个像素的表面反射率R(λ)，来计算再现表面反射率Rmd(λ)。即，通过使用被定义为理想再现对象区域的颜色的参考表面反射率Rref(λ)，可以计算再现表面反射率Rmd(λ)，利用该再现表面反射率Rmd(λ)可以再现期望的颜色。以下示出再现表面反射率Rmd(λ)的计算方法的示例：

Rmd(λ)＝α·R(λ)+(1-α)·Rref(λ)  (26)

其中，α是不小于零且不大于1.0(0≤α≤1.0)的实数。

此外，也可以使用以下所示的另一校正方法。

首先，获得与输入图像中特定对象的颜色的平均颜色、中值颜色(中值)或模式颜色(模式)相对应的像素颜色的表面反射率，并且将所获得的值定义为″Ravg(λ)″。关于参考表面反射率，使用上述参考表面反射率Rref(λ)。

如下所示定义波长λ的函数F(λ)。

F(λ)＝Rref(λ)/Ravg(λ)  (27)

然后，如下所示，校正输入图像中特定对象中的每个像素的表面反射率R(λ)，并且从而计算可以再现期望颜色的再现表面反射率Rmd(λ)：

Rmd(λ)＝α·F(λ)·R(λ)+(1-α)·R(λ)  (28)

其中，α是不小于零且不大于1.0(0≤α≤1.0)的实数。

此外，能够进行设计，使得防止作为对表面反射率进行校正的结果而将对象区域中的表面反射率校正到一个表面反射率，并且从而防止对象区域内的再现颜色的分散更窄。

如果对象区域内颜色的分散变得更窄，则这会引起纹理的劣化。

在该示例实施例中，通过校正特性参数b_i(i＝1至3)来校正图像中对象区域的颜色，特性参数b_i(i＝1至3)构成根据特定对象区域中的每个像素的漫反射系数而计算的表面反射率。以下示出了特性参数b_i(i＝1至3)的校正公式的示例。

$\left(\begin{array}{c}{b_1}^{\′}\\ {b_2}^{\′}\\ {b_3}^{\′}\end{array}\right)=\left(\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\\ m_{31}& m_{32}& m_{33}\end{array}\right)\left(\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right)---\left(29\right)$

在表达式中，特性参数b_i′(i＝1至3)是校正的特性参数。3×3矩阵是校正矩阵，并且其元素m_ij(i，j＝1至3)以以下方式来计算。

如上所述，针对特定对象预先准备三个或更多参考表面反射率Rref(i，λ)(i＝0至n，n≥3)。例如，如果可以使用特定对象区域的平均颜色、中值颜色(中值)、模式颜色(模式)、对象区域内最亮颜色、最暗颜色、具有最高饱和度的颜色、具有最低饱和度的颜色，或者位于通过分析对象区域内颜色分布而获得的色调的任一端处的颜色，则上述是与颜色等相对应的参考表面反射率。备选地，如果可以使用输入图像中对象的形状的特征，则上述是与该区域中的颜色等相对应的参考表面反射率。

对于上述颜色中的每一个，获得在输入图像中的对象区域中具有相同特性的颜色，以及获得这些颜色的表面反射率。

即，当第一参考表面反射率Rref(i，λ)是图像(如上所述被确定为最期望图像)中对象区域中的平均颜色的表面反射率，则获得输入图像中对象区域中的平均颜色的表面反射率R(1，λ)。

注意，Rref(i，λ)的特性参数表示为″b_r1，i(i＝1至3)″，并且R(1，λ)的特性参数表示为″b_1，i(i＝1至3)″。

将输入图像中对象区域中的平均颜色校正到被确定为期望图像中对象区域中的中心颜色。将Rref(1，λ)的特性参数b_r1，i(i＝1至3)和R(1，λ)的特性参数b_1，i(i＝1至3)分别代入表达式(29)的左手侧上的特性参数b_i′(i＝1至3)和右手侧上的特性参数b_i(i＝1至3)。

因此，表达式(29)变成未知元素m_ij(i，j＝1至3)的联立方程。

通过针对对象的三个或更多个颜色中的每一个颜色执行类似的过程，可以基于方程数目与位置参数的数目之间关系来求解未知元素m_ij(i，j＝1至3)，并且从而获得表达式(29)的校正矩阵。

图8示出了特性参数b_i(i＝1至3)的空间中对象区域中的三个颜色的上述校正关系。

从图8中也可以看出，输入图像中特定对象区域中的特性参数的分布保持为参考表面反射率中特性参数的分布，利用该表面反射率可以实现期望颜色再现，使得可以抑制颜色的分散变化(不平衡和下降)。因此，不会削弱校正颜色的纹理。

此外，如果输入图像中特定对象区域中的特性参数分布广泛漫射，则将其调整到参考表面反射率的特性参数分布的漫射。因此，也可以削弱(降低)另外由过度颜色漫射而引起的纹理劣化。

可以通过将表达式(29)的校正矩阵应用于特性参数b_i(i＝1至3)(构成输入图像的对象中每个像素的表面反射率)来计算校正的特性参数，并且通过将校正的特性参数代入表达式(24)，来获得输入图像中对象中的每个像素的校正后再现表面反射率。

然后，对于输入图像中对象中的每个像素的校正颜色的计算，可以通过将照明光谱功率分布和再现表面反射率代入表达式(2)的右手侧，来计算三色激励值X′Y′Z′。计算校正漫反射系数ADi′(“i”表示颜色通道)。在RGB的情况下，如下所示执行计算。

$\left(\begin{array}{c}{R}^{\′}\\ G^{\′}\\ B^{\′}\end{array}\right)=\mathrm{XR}\left(\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ X^{\′}\end{array}\right)---\left(30\right)$

在表达式中，XR是表达式(1)中矩阵RX的逆矩阵，并且是已知值。

接着，使用校正漫反射系数、阴影信息(漫反射分量的亮度)以及镜面分量来计算输入图像的对象中的每个像素的校正颜色(步骤S9)。

通过将校正漫反射系数ADi′乘以漫反射分量的亮度来计算体反射分量BRi′：

BRi′＝ADi′×Y  (31)

其中，Y是漫反射分量DRi的亮度，即，通过表达式(1)获得的三色激励值的Y分量。然后通过将镜面分量SPi与体反射分量BRi相加来获得颜色校正像素值Ii′。

Ii′＝Bri′+Spi  (32)

根据上述方法，输出通过校正输入图像中对象区域的颜色而获得的图像作为输出图像。

尽管在上述说明中说明了输入和输出图像的设备相关颜色是RGB的情况，但是假定可以获得那些设备相关颜色与设备相关颜色的三色激励值XYZ之间的对应关系，除了RGB以外，本发明也可以应用于的设备相关颜色(例如，CMY和CMYK)的图像。设备相关颜色并不意味着依赖于设备(向该设备输出图像)的颜色空间。

注意，在图3中，可以在步骤S7之前的任何处理阶段执行步骤S2中用于恢复照明光谱功率分布(照明颜色信息)的过程。即，不必按照图3所示的处理顺序来执行。

接着，对应用了根据本发明第一示例实施例的彩色图像处理方法的彩色图像处理设备(颜色校正设备)进行说明。图9示出了根据本发明第一示例实施例的彩色图像处理设备的配置示例。

彩色图像处理设备101是对输入图像1执行颜色校正并输出颜色校正的输出图像2的设备。彩色图像处理设备101包括对象区域检测单元3、光谱功率分布恢复单元(照明光谱功率分布恢复单元)4、代表表面反射率存储存储器(对象区域代表表面反射率存储存储器)5、3D信息恢复单元(对象区域3D信息恢复单元)6、反射信息恢复单元(用于恢复对象区域的镜面分量和体反射分量的单元)7、漫反射系数计算单元(对象区域漫反射系数计算单元)8、表面反射率恢复单元(对象区域表面反射率恢复单元)9、校正漫反射系数计算单元(用于通过校正表面反射率来校正漫反射系数的单元)10、参考表面反射率存储存储器(对象区域参考表面反射率存储存储器)11、以及再现颜色计算单元(对象区域再现颜色计算单元)12。

当提供输入图像1时，对象区域检测单元3分析输入图像1，检测预先假定的特定对象，以及输出对检测到的特定对象的对象区域加以指示的信息。指示对象区域的信息包含对象区域的颜色信息。具体地，对象区域检测单元3通过在步骤S2的前半部中说明的用于获得对象区域的颜色信息的过程，来获得对象区域的颜色信息。

注意，要从输入图像1检测的对象是以下的对象：对象的对象区域的颜色和形状特征在某种程度上是受限的，例如受限于上述人脸。关于检测方法，可以使用上述技术。注意，如果从输入图像1中没有检测到要处理的对象，则输出输入图像1本身作为输出图像2。

光谱功率分布恢复单元4使用对象区域中的颜色信息和对象区域的代表表面反射率，来恢复输入图像中的照明光谱功率分布。对象区域由对象区域检测单元3来检测。具体地，光谱功率分布恢复单元4通过图3中步骤S2的后半部中说明的用于恢复光谱功率分布的过程，来从对象区域中获得对象区域中的照明光谱功率分布(照明颜色信息)。此外，光谱功率分布恢复单元4从对象区域代表表面反射率存储存储器5中读取对象区域的代表表面反射率。然后，光谱功率分布恢复单元4使用对象区域的颜色信息和对象区域的代表表面反射率，通过步骤S2中描述的过程，来恢复照明光谱功率分布。即，光谱功率分布恢复单元4执行与图3中上述步骤S2相对应的过程。

对象区域代表表面反射率存储存储器5存储对象区域的代表表面反射率(对象区域代表表面反射率)。预先定义对象区域的代表表面反射率。

3D信息恢复单元6恢复对象区域检测单元3检测到的对象区域的3D形状。3D信息恢复单元6执行与上述步骤S3相对应的过程。

反射信息恢复单元7首先使用对象区域的3D形状(即，法向向量)来恢复对象的辐射E(照明几何条件)。然后，使用颜色信息、3D形状和辐射E来恢复镜面分量和包含阴影的体反射分量。

3D形状由3D信息恢复单元6来计算。如图3中步骤S4所述，对象区域的3D形状是法向向量。反射信息恢复单元7执行上述步骤S4中描述的过程作为对辐射的计算。

此外，反射信息恢复单元7根据上述步骤S5中描述的过程方法，来恢复(计算)对象区域中的镜面分量和体反射分量。

漫反射系数计算单元8计算漫反射系数，漫反射系数是从中消除了体反射分量DRi的亮度(即，反射信息恢复单元7所获得的阴影信息)的一种颜色信息。通过上述步骤S6中描述的过程来执行计算。

表面反射率恢复单元9根据上述方法，从恢复后照明光谱功率分布和对象区域的漫反射系数，来恢复对象区域中每个像素的表面反射率。表面反射率恢复单元9执行与图3中上述步骤S7相对应的过程。

校正漫反射系数计算单元10根据上述方法，使用参考表面反射率存储存储器11中存储的对象区域的参考表面反射率，来校正对象区域中每个像素的恢复后表面反射率，并从而计算再现表面反射率。然后校正漫反射系数计算单元10根据照明光谱功率分布和再现表面反射率来计算要进行校正的漫反射系数(校正漫反射系数)。校正漫反射系数计算单元10执行与图3中上述步骤S8相对应的过程。

参考表面反射率存储存储器11存储对象区域的参考表面反射率。参考表面反射率存储存储器11优选地存储对象区域的三个或更多个参考表面反射率。通过使用多个参考表面反射率，能够使再现颜色更接近特定对象本身的颜色信息。

再现颜色计算单元12使用对象区域中每个像素的校正漫反射系数、漫反射分量(体反射分量)的亮度(即阴影信息)以及镜面分量来计算输入图像中对象中的每个像素的校正颜色，并从而输出颜色校正图像作为输出图像。再现颜色计算单元12执行与图3中上述步骤S9相对应的过程。

此外，根据第一示例实施例的彩色图像处理设备101和图2所示的彩色图像处理设备100以如下方式彼此相关。

图像信息获取单元110包括对象区域检测单元3和3D信息恢复单元6。

反射信息恢复单元120对应于反射信息恢复单元7。

漫反射系数计算单元130对应于漫反射系数计算单元8。

在漫反射系数校正处理单元140中，光谱功率分布恢复单元141包括光谱功率分布恢复单元4和对象区域代表表面反射率存储存储器5。此外，漫反射系数校正单元142包括表面反射率恢复单元9、校正后漫反射系数计算单元10以及参考表面反射率存储存储器11。

再现颜色计算单元150对应于再现颜色计算单元12。

注意，图2或9所示的彩色图像处理设备的配置仅是示例，也可以使用能够实现类似功能的任何其他设备配置。

此外，彩色图像处理设备101可以使用计算机、以及构成彩色图像处理设备的每个组件来实现，即，对象区域检测单元3、光谱功率分布恢复单元4、对象区域代表表面反射率存储存储器5、3D信息恢复单元6、反射信息恢复单元7、漫反射系数计算单元8、表面反射率恢复单元9、校正漫反射系数计算单元10、参考表面反射率存储存储器11以及再现颜色计算单元12可以作为使计算机的中央处理单元(CPU)实现上述功能的程序。

构成彩色图像处理设备的每个组件可以由计算机来实现并且实现为程序的事实不限于第一示例实施例，并且在其他实施例中也适用。

[第二示例实施例]

接着，说明根据第二示例实施例的彩色图像处理方法。图10是示出了根据本发明第二示例实施例的彩色图像处理方法的流程图。在根据第二示例实施例的彩色图像处理方法中，实现其中组合了根据第一示例实施例的彩色图像处理方法步骤S7和S8中执行的两个过程(图3)的过程。具体地，用于恢复输入图像中对象中的每个像素的表面反射率的过程(步骤S7)和用于通过对恢复的表面反射率进行校正来计算校正漫反射系数的过程(步骤S8)均由基于线性计算的校正公式来代替。这样，获得能够提供与根据第一示例实施例的彩色图像处理方法的校正结果相同的校正结果的彩色图像处理方法。

图10中的步骤S1至S6和步骤S9类似于第一示例实施例的那些步骤，因此省略对这些步骤的说明。此外，下文中参照图2所示配置示例说明步骤S10。

首先，在步骤S10中，漫反射系数校正处理单元140使用步骤S7中计算对象区域中的表面反射率的方法，来计算步骤S8中表达式(29)中的3×3个元素组成的矩阵m_ij(i，j＝1至3)，该矩阵用于校正对象区域中的表面反射率。具体地，在步骤S10中，构造基于线性变换的计算公式，该计算公式提供与步骤S9中执行的对校正后再现颜色的计算的结果相同的结果。

假定在步骤S2中，光谱功率分布恢复单元141已经恢复了拍摄输入图像时照明光谱功率分布I(λ)。此外，漫反射系数校正单元142通过类似于图3中步骤S7的过程，恢复输入图像中对象区域中的特定像素的表面反射率R(λ)。即，已经获得表示对象颜色的特性参数b_i(i＝1至3)。然后漫反射系数校正单元142通过类似于图3中步骤S8的过程，来获得用于校正表面反射率的3×3校正矩阵。

因此，通过表达式(29)来计算对象区域的校正表面反射率R′(λ)的特性参数b_i′(i＝1至3)。接着，通过将特性参数b_i′(i＝1至3)代入表达式(24)中来计算校正表面反射率R′(λ)。校正表面反射率R′(λ)表示为表达式(33)。

R′(λ)＝r₀(λ)+b₁′r₁(λ)+b₂′r₂(λ)+b₃′r₃(λ)

                                             (33)

如下所示表示对象区域的颜色的校正三色激励值X′Y′Z′。

X′＝∫I(λ)R′(λ)x(λ)dλ

Y′＝∫I(λ)R′(λ)y(λ)dλ

                                (34)

Z′＝∫I(λ)R′(λ)z(λ)dλ

通过将表达式(33)代入表达式(34)的右手侧，并且以线性变换格式表示所获得的表达式，获得以下表达式。

$\left(\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\end{array}\right)=\left(\begin{array}{ccc}M(x,r_1)& M(x,r_2)& M(x,r_3)\\ M(y,r_1)& M(y,r_2)& M(y,r_3)\\ M(z,r_1)& M(z,{2r}_1)& M(z,r_3)\end{array}\right)\left(\begin{array}{c}{b_1}^{\′}\\ {b_2}^{\′}\\ {b_3}^{\′}\end{array}\right)+\left(\begin{array}{c}M(x,r_0)\\ M(y,r_0)\\ M(z,r_0)\end{array}\right)---\left(35\right)$

在表达式中，M(x，r_i)(i＝0至3)是″∫I(λ)r_i(λ)x(λ)dλ″的积分项。这对于y和z也适用。根据表达式(34)、(25)和(29)获得以下表达式。

表达式(36)可以总体上表示为以下所示的表达式(37)。

$\left(\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\end{array}\right)=A\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)+B---\left(37\right)$

在表达式中，矩阵A是表示为以下所示表达式(38)的3×3矩阵，矩阵B是表示为以下所示表达式(39)的3×1矩阵。这些矩阵均是常数矩阵。

当获得用于校正颜色信息的表达式(37)时，计算输入图像中对象区域中的每个像素的三色激励值XYZ，并然后使用表达式(37)来计算三色激励值X′Y′Z。然后使用表达式(30)，通过使用线性变化来获得校正R′G′B′(即，校正漫反射系数)。

如此通过用基于线性变换的一个校正公式来代替两个过程，可以减少处理时间。

图11是示出了根据本发明第二示例实施例的彩色图像处理设备的配置的框图。根据该示例实施例的彩色图像处理设备102是对输入图像1执行颜色校正并且输出颜色校正输出图像2的设备。彩色图像处理设备102包括对象区域检测单元3、光谱功率分布恢复单元4、对象区域代表表面反射率存储存储器5、3D信息恢复单元6、反射信息恢复单元7、漫反射系数计算单元8、漫反射系数校正单元13、参考表面反射率存储存储器11以及再现颜色计算单元12。

用漫反射系数校正单元13代替彩色图像处理设备101的表面反射率恢复单元9和校正漫反射系数计算单元10来获得彩色图像处理设备102。因此，仅对漫反射系数校正单元13进行说明。

漫反射系数校正单元13执行与图10中上述步骤S10相对应的过程。即，漫反射系数校正单元13创建表示为用于校正对象区域颜色的表达式(37)的校正公式。然后，漫反射系数校正单元13通过对对象区域中的像素执行表达式(37)所表示的颜色校正，来计算校正漫反射系数。

具体地，在创建校正公式时，漫反射系数校正单元13使用照明光谱功率分布和漫反射系数来恢复对象区域的表面反射率，并且使用表面反射率来创建用于校正漫反射系数的校正公式。此外，漫反射系数校正单元13使用参考表面反射率来校正表面反射率，以计算再现表面反射率，并且使用再现表面反射率来创建校正公式。参考表面反射率预先存储在参考表面反射率存储存储器11中。

[其他示例实施例]

可以使用计算机来实现每个上述示例实施例中的彩色图像处理方法和设备。彩色图像处理方法和设备的每个过程也可以通过组合两个或多个软件、硬件和固件来实现。

例如，当使用程序来实现图2所示的彩色图像处理设备100时，该程序(一组命令)使计算机至少执行以下过程。将程序加载到计算机的存储器中，并且在CPU的控制下执行每个命令。

(a)图像信息获取过程，基于输入图像来检测对象区域，并且获得对象区域的颜色信息和3D形状。该过程对应于图2中的图像信息获取单元110。(b)反射信息恢复过程，基于颜色信息和3D形状，来恢复对象区域的镜面分量和包含阴影的体反射分量。该过程对应于图2中的反射信息恢复单元120。(c)漫反射系数计算过程，计算通过从颜色信息中去除镜面分量和体反射分量中的阴影而获得的漫反射系数。该过程对应于图2中的漫反射系数计算单元130。(d)漫反射系数校正处理过程，使用颜色信息和漫反射系数来恢复表面反射率，并且使用表面反射率通过校正漫反射系数，来计算校正漫反射系数。该过程对应于图2中的漫反射系数校正处理单元140。(e)再现颜色计算过程，通过将阴影信息和镜面分量与校正漫反射系数相加来计算对象区域的再现颜色，并从而产生输出图像。该过程对应于图2中的再现颜色计算单元150。

具体地，漫反射系数校正处理过程通过以下过程来实现。

(f)光谱功率分布恢复过程，使用颜色信息来恢复照明光谱功率分布。(g)漫反射系数校正过程，使用照明光谱功率分布和漫反射系数来恢复对象区域的表面反射率，并且基于恢复的表面反射率，通过校正漫反射系数来计算校正漫反射系数。

更具体地，在漫反射系数校正过程中，使用与预先存储在参考表面反射率存储存储器中的对象区域相对应的参考表面反射率，通过校正表面反射率来计算再现表面反射率，漫反射系数是使用再现表面反射率来校正的。

此外，参考表面反射率存储存储器优选地存储三个或更多个参考表面反射率。在这种情况下，在漫反射系数校正过程中，使用三个或更多个参考表面反射率来校正表面反射率。

更具体地，在光谱功率分布恢复过程中，使用与对象区域相对应的预定代表表面反射率以及颜色信息来恢复光谱功率分布。

此外，在漫反射系数校正过程中，例如，如第二示例实施例中所说明的，创建用于校正漫反射系数的校正公式，并且使用该校正公式，通过矩阵变换来计算校正漫反射系数。

注意，上述过程中的每个过程是由程序实现的过程的示例，并且这些过程不限于那些示例。此外，还能够通过硬件和/或固件来实现多个过程的一部分。

程序可以通过在记录介质中记录该程序来提供，或者可以通过互联网或其他通信介质传输该程序来提供。注意，存储介质的示例包括软盘、硬盘、磁盘、磁光盘、CD-ROM、DVD、ROM盒式磁盘、具有备用电池的RAM存储器盒式磁盘、闪速存储器盒式磁盘以及非易失性RAM盒式磁盘。此外，通信介质的示例包括诸如电话线之类的有线通信介质，和诸如微波线之类的无线电通信介质。

如到目前为止所说明的，根据依照本发明示例实施例的一个方面，对于彩色成像设备所拍摄的彩色图像中的特定对象，能够实现特定对象区域的期望颜色再现，防止纹理劣化，以及保持或改善纹理。

此外，根据本发明示例实施例的一个方面，能够解决对象的原始纹理在使用颜色的三种特性(例如，RGB和/或彩色图像数据的色调、饱和度和亮度)的彩色图像处理中会发生劣化的问题，并且实现对象区域的期望颜色再现，而不会劣化彩色成像设备所拍摄的彩色图像中特定对象的纹理。此外，由于本发明不需要使用诸如光纤频谱仪之类的特殊测量设备，能够实现仅使用输入图像的简单技术。

尽管参照上述说明中的示例实施例说明本发明，但是本发明不限于上述示例实施例。可以在不背离本发明范围的前提下，对本发明的配置和细节进行本领域技术人员容易理解的各种修改。

本申请基于并要求于2009年1月27日提交的日本专利申请No.2009-15120的优先权权益，其公开通过引用合并于此。

工业适用性

本发明适用于彩色图像输入/输出设备中实现颜色校正的功能。此外，本发明还适用作为针对给定彩色图像通过以运行在计算机系统上的程序的形式应用本发明的颜色校正软件或应用。

参考符号列表

1 输入图像

2 输出图像

3 对象区域检测单元

4 光谱功率分布恢复单元

5 对象区域代表表面反射率存储存储器

6 3D信息恢复单元

7 反射信息恢复单元

8 漫反射系数计算单元

9 表面反射率恢复单元

10 校正漫反射系数计算单元

11 参考表面反射率存储存储器

13、142 漫反射系数校正单元

100、101、102 彩色图像处理设备

110 图像信息获取单元

120 反射信息恢复单元

130 漫反射系数计算单元

140 漫反射系数校正处理单元

141 光谱功率分布恢复单元

150 再现颜色计算单元

Claims (19)

1.一种彩色图像处理方法，包括：

基于输入图像来检测对象区域；

获得对象区域的颜色信息和3D信息；

基于颜色信息和3D信息，来恢复对象区域的镜面分量和包含阴影的体反射分量；

通过从颜色信息中去除镜面分量和体反射分量中的阴影来计算漫反射系数；

使用颜色信息和漫反射系数来恢复表面反射率；

使用表面反射率，通过校正漫反射系数，来计算校正漫反射系数；以及

通过将体反射分量中的阴影和镜面分量与校正漫反射系数相加来计算对象区域的再现颜色，并从而产生输出图像。

2.根据权利要求1所述的彩色图像处理方法，其中，在表面反射率的恢复中，使用颜色信息来恢复照明光谱功率分布，并且使用照明光谱功率分布和漫反射系数来恢复对象区域的表面反射率。

3.根据权利要求2所述的彩色图像处理方法，其中，在校正漫反射系数的计算中，通过使用根据对象区域预先定义且存储在参考表面反射率存储存储器中的参考表面反射率来校正表面反射率，以计算再现表面漫反射系数，并且使用再现表面反射率来校正漫反射系数。

4.根据权利要求3所述的彩色图像处理方法，其中，

三个或更多个参考表面反射率存储在参考表面反射率存储存储器中，以及

在校正漫反射系数的计算中，使用三个或更多个参考表面反射率来校正表面反射率。

5.根据权利要求2至4中任一项所述的彩色图像处理方法，其中，除了颜色信息以外，还使用根据对象区域预先定义的代表表面反射率来恢复照明光谱功率分布。

6.根据权利要求1至5中任一项所述的彩色图像处理方法，其中，在校正漫反射系数的计算中，创建用于校正漫反射系数的校正公式，并且使用所述校正公式通过矩阵变换，来计算校正漫反射系数。

7.一种彩色图像处理设备，包括：

图像信息获取装置，基于输入图像来检测对象区域，并且获得对象区域的颜色信息和3D信息；

反射信息恢复装置，基于颜色信息和3D信息，来恢复对象区域的镜面分量和包含阴影的体反射分量；

漫反射系数计算装置，通过从颜色信息中去除镜面分量和体反射分量中的阴影来计算漫反射系数；

漫反射系数校正处理装置，使用颜色信息和漫反射系数来恢复表面反射率；并且通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数；以及

再现颜色计算装置，通过将体反射分量中的阴影和镜面分量与校正漫反射系数相加来计算对象区域的再现颜色，并从而产生输出图像。

8.根据权利要求7所述的彩色图像处理设备，其中，漫反射系数校正处理装置包括：

光谱功率分布恢复装置，使用颜色信息来恢复照明光谱功率分布；

表面反射率恢复装置，使用照明光谱功率分布和漫反射系数，来恢复对象区域的表面反射率；以及

校正漫反射系数计算装置，通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数。

9.根据权利要求8所述的彩色图像处理设备，其中，

漫反射系数校正处理装置还包括：参考表面反射率存储存储器，存储根据对象区域预先定义的参考表面反射率，以及

校正漫反射系数计算装置通过使用参考表面反射率来校正表面反射率，以计算再现表面反射率，并且使用再现表面反射率来校正漫反射系数。

10.根据权利要求9所述的彩色图像处理设备，其中，

参考表面反射率存储存储器存储三个或更多个参考表面反射率，以及

校正漫反射系数计算装置使用三个或更多个参考表面反射率，来校正表面反射率。

11.根据权利要7所述的彩色图像处理设备，其中，漫反射系数校正处理装置包括：

光谱功率分布恢复装置，使用颜色信息来恢复照明光谱功率分布；以及

漫反射系数校正装置，使用照明光谱功率分布和漫反射系数来恢复对象区域的表面反射率，使用表面反射率来产生用于创建漫反射系数的校正公式，以及使用所述校正公式通过矩阵变换来计算校正漫反射系数。

12.根据权利要求11所述的彩色图像处理设备，其中

漫反射系数校正处理装置还包括：参考表面反射率存储存储器，存储对象区域的参考表面反射率，以及

漫反射系数校正装置通过使用参考表面反射率来校正表面反射率，以计算再现表面反射率，并且使用再现表面反射率来创建校正公式。

13.根据权利要求8至12中任一项所述的彩色图像处理设备，其中，

光谱功率分布恢复装置包括：代表表面反射率存储存储器，存储对象区域的代表表面反射率，以及

除了颜色信息以外，还使用对象区域的代表表面反射率来恢复照明光谱功率分布。

14.一种存储了彩色图像处理程序的计算机可读记录介质，所述彩色图像处理程序使计算机执行以下操作：

图像信息获取过程，基于输入图像来检测对象区域，并且获得对象区域的颜色信息和3D信息；

反射信息恢复过程，基于颜色信息和3D信息，来恢复对象区域的镜面分量和体反射分量；

漫反射系数计算过程，通过从颜色信息中去除镜面分量和体反射分量来计算漫反射系数；

漫反射系数校正处理过程，使用颜色信息和漫反射系数来恢复表面反射率，并且通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数；以及

再现颜色计算过程，通过将体反射分量和镜面分量与校正漫反射系数相加来计算对象区域的再现颜色，并从而产生输出图像。

15.根据权利要求14所述的存储了彩色图像处理程序的计算机可读记录介质，其中，漫反射系数校正处理过程包括：

光谱功率分布恢复过程，使用颜色信息来恢复照明光谱功率分布；以及

漫反射系数校正过程，使用照明光谱功率分布和漫反射系数来恢复对象区域的表面反射率，并且通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数。

16.根据权利要求15所述的存储了彩色图像处理程序的计算机可读记录介质，其中，在漫反射系数校正过程中，通过使用根据对象区域预先定义且存储在参考表面反射率存储存储器中的参考表面反射率来校正表面反射率，以计算再现表面漫反射系数，并且使用再现表面反射率来校正漫反射系数。

17.根据权利要求16所述的存储了彩色图像处理程序的计算机可读记录介质，其中，

三个或更多个参考表面反射率存储在参考表面反射率存储存储器中，以及

在漫反射系数校正过程中，使用三个更或多个参考表面反射率来校正表面反射率。

18.根据权利要求15至17中任一项所述的存储了彩色图像处理程序的计算机可读记录介质，其中，除了颜色信息以外，还使用根据对象区域预先定义的代表表面反射率来恢复照明光谱功率分布。

19.根据权利要求14至18中任一项所述的存储了彩色图像处理程序的计算机可读记录介质，其中，在漫反射系数校正过程中，创建用于校正漫反射系数的校正公式，并且使用所述校正公式通过矩阵变换来计算校正漫反射系数。

Images