CN102044056A - 图像处理设备和图像处理方法 - Google Patents

Abstract

在此公开了图像处理设备和图像处理方法。所述图像处理设备包括：数据处理部分，其处理输入图像数据并获得输出图像数据；面部检测部分，其基于所述输入图像数据来检测面部图像，并且获得关于存在面部图像的面部图像区域的信息；以及处理控制器，其基于面部检测部分中获得的关于面部图像区域的信息，来控制数据处理部分的处理。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及图像处理设备和图像处理方法，更具体而言，涉及可使用面部图像区域的检测结果来执行处理的图像处理设备和图像处理方法。

背景技术

在现有技术中，已经提出了如下的技术：保持像素值变化急剧的边缘而不变化，平滑边缘以外的部分，并且将通过输入信号中减去平滑后的分量所获得的幅度分量进行放大，以便独立地对不包括边缘的分量执行图像处理(例如参见日本待审专利申请公开No.2001-298621)。

图22图示了与日本待审专利申请公开No.2001-298621所公开的图像处理设备相对应的图像处理设备200的配置示例。该图像处理设备200包括非线性滤波器201、减法器202、加减放大器203和加法器204。

将输入图像数据Vin提供至非线性滤波器201。例如使用ε(厄普西隆)滤波器配置非线性滤波器201。在非线性滤波器201中，在保持边缘的同时对输入图像数据Vin进行平滑，并且生成作为平滑后的数据的结构分量ST1。进一步，将输入图像数据Vin提供至减法器202。还将非线性滤波器201中生成的结构分量ST1提供至减法器202。在减法器202中，从输入图像数据Vin中减去结构分量ST1，并且获得纹理分量TX1作为输出数据。

将减法器202中获得的纹理分量TX1提供至加减放大器203。在加减放大器203中，纹理分量TX1被放大以获得纹理分量TX2。加减放大器203的增益例如通过用户操作来调节。将加减放大器203中获得的纹理分量TX2提供至加法器204。还将非线性滤波器201中生成的结构分量ST1提供至加法器204。在加法器204中，将纹理分量TX2加至结构分量ST1以获得输出图像数据Vout。

在图22所示的图像处理设备200中，在保持输入图像数据Vin的边缘分量的同时获得了边缘分量以外的低幅度分量得到加重的输出图像数据Vout。为此，可以在不损坏整个屏幕的锐度的情况下来增强纹理。然而，在该图像处理设备200中，由于加减放大器203的增益在整个屏幕上无差别，因此加重对于面部图像而言可能过度，从而引起图像中的奇怪感觉。

因而，在现有技术中，已提出了如下的技术：其检测肤色区域，并执行控制以使得相比于其它区域，抑制肤色区域中的加重级别，以获得适当的纹理(例如参见日本待审专利申请公开No.2003-348615)。

图23图示了与日本待审专利申请公开No.2003-348615所公开的图像处理设备相对应的图像处理设备200A的配置示例。该图像处理设备200A除了包括非线性滤波器201、减法器202、加减放大器203和加法器204之外，还包括皮肤色度检测部分205和增益控制器206。

图像处理设备200A的各部分：非线性滤波器201、减法器202、加减放大器203和加法器204与图22中所示的图像处理设备200中的相同，因而省略其详细描述。

将输入图像数据Vin提供至皮肤色度检测部分205。在皮肤色度检测部分205中，基于输入图像数据Vin，针对每个像素检测皮肤色度。皮肤色度的值对于一预定肤色是最大的，并且随着越来越偏离该预定肤色而减小。将以此方式在皮肤色度检测部分205中检测到的皮肤色度提供至增益控制器206。在增益控制器206中，例如以如图24中所示那样的对应关系获得对应于皮肤色度的增益控制信号CN1。

将增益控制器206中获得的CN1提供至加减放大器203。在此情况下，加减放大器203的增益变为与增益控制信号CN1的电平成比例的值。为此，加减放大器203的增益在皮肤色度高的图像区域中受到抑制。于是，相比于其它区域，加重级别在面部图像区域中受到抑制，从而获得适当的纹理。

发明内容

在图23所示的图像处理设备200A中，在具有低光照等的图像的情况下，面部图像可能超过预定肤色范围。在这种情况下，加重级别在面部图像区域中未受到抑制，从而导致无法在面部图像区域中获得适当的纹理。

进一步，在对比度校正的情况下，当基于关于整个屏幕的亮度信息等来对整个屏幕执行对比度控制时，在作为主要对象的面部图形中可能出现出现曝光不足。另外，即使在用于色彩饱和度、色调等的色彩校正的情况下，当基于整个屏幕的色彩饱和度信息、色调信息等来对整个屏幕的色彩饱和度、色调等执行控制时，面部色彩校正可能类似地引起奇怪的感觉。

期望提供能够有效地控制面部图像的纹理、锐度、亮度和色彩等的图像处理设备和图像处理方法。

根据本发明的一实施方式，提供了如下的图像处理设备，其包括：数据处理部分，其处理输入图像数据并获得输出图像数据；面部检测部分，其基于所述输入图像数据来检测面部图像，并且获得关于存在面部图像的面部图像区域的信息；以及处理控制器，其基于面部检测部分中获得的关于面部图像区域的信息，来控制数据处理部分的处理。

利用该配置，输入图像数据经数据处理部分处理以获得输出图像数据。进一步，面部检测部分基于所述输入图像数据检测存在面部图像的面部图像区域。另外，处理控制器基于与面部检测部分中检测到的面部图像有关的信息来控制数据处理部分的处理。这样，由于基于关于面部图像区域的信息来控制数据处理部分的处理，因此可以有效地控制面部图像的纹理、锐度、亮度、色彩等。

在此实施方式中，例如，所述处理控制器可包括：面部信息提取部分，其基于面部检测部分中获得的关于面部图像区域的信息，从所述输入图像数据中提取出关于面部图像的图像信息；以及图像区域检测部分，其基于所述输入图像数据，检测存在与面部信息提取部分中提取出的图像信息相对应的图像的图像区域，并且所述处理控制器可基于关于图像区域检测部分中检测到的图像区域的信息，来控制数据处理部分的处理。

在此情况下，图像区域检测部分中检测到的图像区域中包括其中存在面部检测部分中未检测到的面部图像的面部图像区域。因而，即使在面部检测部分中出现面部图像区域的错误否定的情况下，也可以有效地控制图像中所包括的所有面部图像的纹理、锐度、亮度、色彩等。进一步，在此情况下，即使面部检测部分的检测需要若干个帧，图像区域检测部分中检测到的图像区域中也包括其中存在输入图像数据中当前帧中的面部图像的面部图像区域。因而，即使在输入图像数据是运动图像数据以及面部图像区域正在运动的情况下，也可以有效地控制面部图像的纹理、锐度、亮度、色彩等。

进一步，在此实施方式中，例如，所述面部检测部分可基于所述输入图像数据，针对每一帧来检测存在面部图像的面部图像区域。所述处理控制器的面部信息提取部分针对每一帧，基于与面部检测部分中检测到的面部图像区域有关的信息，从所述输入图像数据中提取出关于面部图像的图像信息。所述处理控制器可进一步包括面部信息保留部分，其保留面部信息提取部分中所提取出的图像信息。所述处理控制器的图像区域检测部分可基于所述输入图像数据，检测存在与面部信息保留部分中保留的图像信息相对应的图像的图像区域。

在此情况下，即使存在面部检测部分中未检测到的面部图像区域的帧，由于面部图像信息保留在面部信息保留部分中，因此图像区域检测部分也可以通过使用面部信息保留部分中所保留的面部图像信息，稳定地检测图像区域。因而，可以将更少地依赖于面部检测部分的检测能力的强壮控制实施为用于面部图像的纹理、锐度、亮度、色彩等的控制。

进一步，在此实施方式中，例如，所述设备可进一步包含：图像状态变化检测部分，其基于所述输入图像数据来检测图像状态的变化，并且每当在图像状态变化检测部分中检测到图像状态的变化时，所述处理控制器的面部信息保留部分可保留面部信息提取部分中所提取出的图像信息。在图像状态不变化的时间段期间，面部信息提取部分中提取出的关于面部图像的图像信息处于几乎相同的状态。这里，图像状态的变化例如可包括场景变化、亮度变化等。因而，即使每当图像状态变化时而在面部信息保留部分中更新了关于面部图像的图像信息，这也不会引起问题，从而减轻了CPU处理负荷。

进一步，在此实施方式中，例如，所述数据处理部分可包括：平滑部分，其在保持边缘的同时对所述输入图像数据进行平滑，以生成平滑后的图像数据；减法部分，其从所述输入图像数据中减去平滑部分中所生成的平滑后的图像数据；放大部分，其对减法部分的输出数据进行放大；以及加法部分，其将平滑部分中生成的平滑后的图像数据加至放大部分的输出数据，以获得所述输出图像数据，并且，所述处理控制器可控制放大部分的增益。

在此情况下，在保持输入图像数据的边缘分量的同时，获得了边缘分量以外的低幅度分量得到加重的输出图像数据。进一步，控制放大部分的增益，以使得在面部图像区域和其它区域中变得不同。例如，相比于其它区域，放大部分的增益在面部图像区域中受到抑制，从而获得适当的纹理。于是，在此情况下，可以在不损坏整个屏幕的锐度的情况下增强图像的纹理，并且进一步可以适当地控制面部图像的纹理。

进一步，在本实施方式中，例如，所述数据处理部分可包括：高频分量提取部分，其从所述输入图像数据中提取高频分量；放大部分，其对高频分量提取部分中提取出的高频分量进行放大；以及加法部分，其将放大部分的输出数据加至所述输入图像数据，以获得所述输出图像数据，并且所述处理控制器可控制放大部分的增益。

在此情况下，获得了输入图像数据的高频分量得到加重的输出图像数据。进一步，控制放大部分的增益，以使得面部图像区域和其它区域彼此不同。例如，相比于其它区域，放大部分的增益在面部图像区域中受到抑制，从而实现适当的纹理。于是，在此情况下，可以增强图像的锐度，并且进一步可以适当地控制面部图像的锐度。

进一步，在此实施方式中，例如，所述数据处理部分可包括色彩饱和度调节部分，其对所述输入图像数据执行色彩饱和度调节处理，以获得所述输出图像数据。所述处理控制器可包括：面部信息提取部分，其基于与面部检测部分检测到面部图像区域有关的信息，从所述输入图像数据中提取出关于面部图像的图像信息；以及图像区域检测部分，其基于所述输入图像数据，检测存在与面部信息提取部分中提取出的图像信息相对应的图像的图像区域，并且所述处理控制器可基于关于图像区域检测部分中检测到的图像区域的信息中和面部信息提取部分中提取出的图像信息中所包括的色彩饱和度信息，来控制色彩饱和度调节部分中的色彩饱和度调节量。

进一步，在此实施方式中，例如，所述数据处理部分可包括色彩饱和度调节部分，其对所述输入图像数据执行色彩饱和度调节处理，以获得所述输出图像数据。所述处理控制器可包括面部信息提取部分，其基于与面部检测部分中检测到的面部图像区域有关的信息，从所述输入图像数据中提取出关于面部图像的图像信息，并且所述处理控制器可基于面部信息提取部分中提取出的图像信息中所包括的色彩饱和度信息，来控制色彩饱和度调节部分中的色彩饱和度调节量。

在此情况下，色彩饱和度调节部分对所述输入图像数据执行色彩饱和度调节处理，以获得所述输出图像数据。基于关于面部图像的图像信息中所包括的色彩饱和度信息，控制色彩饱和度调节部分中的色彩饱和度调节量。于是，在此情况下，可以适当地控制面部图像的色彩饱和度。进一步，可以对面部图像或者包括面部图像的整个图像执行色彩饱和度调节。

进一步，在此实施方式中，例如，所述数据处理部分可包括色调调节部分，其对所述输入图像数据执行色调调节，以获得所述输出图像数据。所述处理控制器可包括：面部信息提取部分，其基于与面部检测部分中检测到的面部图像区域有关的信息，从所述输入图像数据中提取出关于面部图像的图像信息；图像区域检测部分，其基于所述输入图像数据，检测存在与面部信息提取部分中提取出的图像信息相对应的图像的图像区域，并且所述处理控制器可基于关于图像区域检测部分中检测到的图像区域的信息中和面部信息提取部分中提取出的图像信息中所包括的色调信息，来控制色调调节部分中的色调调节量。

进一步，在此实施方式中，例如，所述数据处理部分可包括色调调节部分，其对所述输入图像数据执行色调调节处理，以获得所述输出图像数据。所述处理控制器可包括面部信息提取部分，其基于与面部检测部分中检测到的面部图像区域有关的信息，从所述输入图像数据中提取出关于面部图像的图像信息，并且所述处理控制器可基于面部信息提取部分中提取出的图像信息中所包括的色调信息，来控制色调调节部分中的色调调节量。

在此情况下，色调调节部分对所述输入图像数据执行色调调节处理，以获得所述输出图像数据。基于关于面部图像的图像信息中所包括的色调信息，控制色调调节部分中的色调调节量。于是，在此情况下，可以适当地控制面部图像的色调。进一步，可以对面部图像或者包括面部图像的整个图像执行色调调节。

进一步，在此实施方式中，例如，所述数据处理部分可包括对比度校正部分，其基于用于对比度校正的输入输出特性曲线，对所述输入图像数据执行对比度校正，以获得所述输出图像数据。所述处理控制器可包括：面部信息提取部分，其基于与面部检测部分中检测到的面部图像区域有关的信息，从所述输入图像数据中提取出关于面部图像的图像信息；以及亮度信息提取部分，其基于所述输入图像数据，提取关于整个屏幕的亮度信息，并且所述处理控制器可基于面部信息提取部分中提取出的图像信息中所包括的亮度信息以及亮度信息提取部分中提取出的亮度信息，来控制对比度校正部分中所使用的用以对比度校正的输入输出特性曲线。

在此情况下，对比度校正部分基于用以对比度校正的输入输出特性曲线，对所述输入图像数据执行对比度校正，以获得所述输出图像数据。基于关于整个屏幕的亮度信息以及关于面部图像的图像信息中所包括的亮度信息，来控制用于对比度校正部分中对比度校正的输入输出特性曲线。于是，在此情况下，可以适当地控制面部图像的亮度。

进一步，在此实施方式中，例如，所述数据处理部分可包括：平滑部分，其在保持边缘的同时对所述输入图像数据进行平滑，以生成平滑后的图像数据；减法部分，其从所述输入图像数据中减去平滑部分中所生成的平滑后的图像数据；放大部分，其对减法部分的输出数据进行放大；对比度校正部分，其基于用以对比度校正的输入输出特性曲线，对平滑部分中生成的平滑后的图像数据执行对比度校正；以及加法部分，其将对比度校正部分的输出数据加至放大部分的输出数据，以获得所述输出图像数据。所述处理控制器可进一步包括亮度信息提取部分，其基于所述输入图像数据，提取关于整个屏幕的亮度信息；并且所述处理控制器可基于关于图像区域检测部分中检测到的图像区域的信息，来控制放大部分的增益；并且所述处理控制器可基于面部信息提取部分中提取出的图像信息中所包括的亮度信息以及亮度信息提取部分中提取出的亮度信息，来控制对比度校正部分中所使用的用以对比度校正的输入输出特性曲线。

在此情况下，在保持输入图像数据的边缘分量的同时，获得了边缘分量以外的低幅度分量得到加重的输出图像数据。进一步，控制放大部分的增益，以使得在面部图像区域和其它区域中变得不同。例如，相比于其它区域，放大部分的增益在面部图像区域中受到抑制，从而获得适当的纹理。于是，在此情况下，可以在不损坏整个屏幕的锐度的情况下增强图像的纹理，并且进一步可以适当地控制面部图像的纹理。

进一步，在此情况下，对比度校正部分对平滑部分中生成的平滑后的图像数据执行对比度校正。基于关于整个屏幕的亮度信息和关于面部图像的图像信息中所包括的亮度信息，控制用于对比度校正部分中的对比度校正的输入输出特征曲线。于是，在此情况下，可以在不加重噪声的情况下适当地控制面部图像的亮度。

根据本发明的实施方式，由于基于与面部图像区域有关的信息来控制数据处理部分的处理，因此可以有效地控制面部图像的纹理、锐度、亮度、色彩等。

附图说明

图1是图示根据本发明第一实施方式的图像处理设备的配置示例的方块图。

图2A和2B是图示遮盖区域信号和增益控制信号之间的对应关系的示例的图。

图3A和3B是图示帧图像和面部图像的检测示例的图。

图4是图示面部检测部分中的面部图像的检测处理的示例的图。

图5A和5B是图示用于面部检测和面部评分测量的面部词典的图。

图6是图示面部词典的内容的图。

图7是图示用于面部图像的检测处理的缩小的图像的图。

图8是图示面部检测部分中的面部图像检测处理的示例性过程的流程图。

图9是图示根据本发明第二实施方式的图像处理设备的配置示例的图。

图10A和10B是图示作为关于面部图像的图像信息的示例的亮度直方图和二维UV直方图的图。

图11A、11B和11C是图示将存在与关于面部图像的图像信息相对应的图像的图像区域检测为重新配置的图像区域的图。

图12是图示根据本发明第三实施方式的图像处理设备的配置示例的图。

图13是图示根据本发明第四实施方式的图像处理设备的配置示例的图。

图14是图示根据本发明第五实施方式的图像处理设备的配置示例的图。

图15是图示根据本发明第六实施方式的图像处理设备的配置示例的图。

图16是图示根据本发明第七实施方式的图像处理设备的配置示例的图。

图17是图示根据本发明第八实施方式的图像处理设备的配置示例的图。

图18A、18B和18C是图示对比度控制器中生成的、用于对比度校正的输入输出特性曲线(校正曲线)的图。

图19A、19B和19C是图示对比度控制器中生成的、用于对比度校正的另一输入输出特性曲线(校正曲线)的图。

图20A、20B、20C和20D是图示对比度控制器中生成的、用于对比度校正的又一输入输出特性曲线(校正曲线)的图。

图21是图示根据本发明第九实施方式的图像处理设备的配置示例的图。

图22是图示现有技术的图像处理设备的配置示例的图。

图23是图示现有技术的图像处理设备的另一配置示例的图。

图24是图示皮肤色度和增益控制信号之间的对应关系的示例的图。

具体实施方式

下文描述本发明的实施方式。将以下列顺序进行描述。

1.第一实施方式(图1)

2.第二实施方式(图9)

3.第三实施方式(图12)

4.第四实施方式(图13)

5.第五实施方式(图14)

6.第六实施方式(图15)

7.第七实施方式(图16)

8.第八实施方式(图17)

9.第九实施方式(图21)

第一实施方式

[图像处理设备的配置]

图1是图示根据第一实施方式的图像处理设备100的配置示例的图。图像处理设备100包括非线性滤波器101、减法器102、加减放大器103和加法器104。进一步，图像处理设备100包括面部检测部分105、遮盖区域创建部分106、空间滤波器107和增益控制器108。

非线性滤波器101例如由ε滤波器制成。非线性滤波器101在保持边缘的同时对用于形成所述输入图像数据Vin的输入亮度数据Yin进行平滑，并且生成作为平滑后的数据的结构分量ST1。减法器102从输入亮度数据Yin中减去在非线性滤波器101中生成的结构分量ST1，以获得作为输出数据的纹理分量TX1。

加减放大器103将在减法器102中获得的纹理分量TX1进行放大以获得作为输出数据的放大的纹理分量TX2。加法器104将在加减放大器103中获得的纹理分量TX2加至非线性滤波器101中生成的结构分量ST1以获得输出亮度数据Yout。

面部检测部分105基于输入亮度数据Yin，针对每一帧检测面部图像，并且获得关于存在面部图像的面部图像区域的信息Iarf。例如，面部检测部分105以多个分辨率在滑动检测框的同时来扫描每一帧的图像，以检测面部图像，并且获得关于包括面部图像的检测框的信息，作为关于面部图像区域的信息Iarf。然而，本发明不限于此方法。面部检测部分105的细节将于稍后描述。

遮盖区域创建部分106例如基于面部检测部分105中获得的关于面部图像区域的信息Iarf，创建在面部图像区域中变为高电平而在其它区域中变为低电平的遮盖区域信号Smsk。空间滤波器107在水平方向和垂直方向上对遮盖区域创建部分106中创建的遮盖区域信号Smsk执行低通滤波处理。电平在水平方向和垂直方向上快速变化的一部分遮盖区域信号Smsk通过空间滤波器107而平滑地变化。

增益控制器108生成与空间滤波器107中获得的滤波后的遮盖区域信号Smsk’相对应的增益控制信号CN2，然后将增益控制信号CN2提供给加减放大器103。在这种情况下，加减放大器103的增益变为与增益控制信号CN2的电平成比例的值。

增益控制器108例如根据用户的显示模式选择操作，以图2A中所示的对应关系或以图2B中所示的对应关系，生成与遮盖区域信号Smsk’对应的增益控制信号CN2。图2A中的对应关系用于选择了增大加减放大器103的增益以增强纹理的显示模式的情况。在这种情况下，纹理在整体上增大，但是由于加减放大器103的增益在面部图像区域中相对受到抑制，因此获得了适当的纹理而不会引起奇怪的感觉。进一步，图2B中的对应关系用于选择了减小加减放大器103的增益以便以适当级别抑制纹理的显示模式的情况。在这种情况下，纹理在整体上相对受到抑制，但是由于加减放大器103的增益在面部图像区域中相对增大，因此纹理得到改善。

[面部检测部分]

面部检测部分105例如基于输入亮度数据Yin，针对每一帧，通过利用多个分辨率在滑动检测框的同时扫描帧图像来检测面部图像。进一步，面部检测部分105获得关于包括面部图像的检测框的信息(位置信息和尺寸信息)，作为关于面部图像区域的信息Iarf。例如，当如图3A中那样示出帧图像IM-0时，面部检测部分105检测帧图像IM-0中包括的面部图像IM-1(其由图3B中的虚线框围绕)。

将描述面部检测部分105中面部图像的检测处理的示例。在该检测处理中，如图4中所示，将具有预定尺寸(例如，水平尺寸为S像素，垂直尺寸为S像素)的检测框FR-fa设置在帧图像IM-0上。如图4中箭头所示，检测框FR-fa在帧图像IM-0上进行扫描，以使得依次改变其位置。进一步，对于每个位置的检测框FR-fa所围绕的图像，使用面部词典测量面部评分SCORE_fa，并且基于面部评分SCORE_fa确定图像是否是面部图像。

如图5B中所示，面部词典包括t4组(几百对)pix_fa1(i)，pix_fa2(i)，θ_fa(i)和α_fa(i)的组合。这里，如图6中所示那样，pix_fa1(i)和pix_fa2(i)表示检测框FR-fa围绕的图像中的两个点的位置。为了说明简便，图6仅示出三组。θ_fa(i)表示与pix_fa1(i)的亮度值和pix_fa2(i)的亮度值之差有关的阈值。进一步，α_fa(i)表示基于pix_fa1(i)的亮度值与pix_fa2(i)的亮度值之差和阈值θ_fa(i)之间的比较结果所加上或减去的权重。关于pix_fa1(i)、pix_fa2(i)、θ_fa(i)和α_fa(i)的每个值的详细描述被省略，它们通过诸如AdaBoost之类的机器学习算法而被获悉和得到。

在面部评分SCORE_fa的测量中，如图5A中所示，针对面部词典的每一组pix_fa1(i)、pix_fa2(i)、θ_fa(i)和α_fa(i)，确定是否满足公式(1)。进一步，在该测量中满足公式(1)的情况下，执行公式(2)的运算。另一方面，在不满足公式(1)的情况下，执行公式(3)的运算。在公式(1)中，pix_fa1(i)表示其位置的亮度值，pix_fa2(i)表示其位置的亮度值。

pix_fa1(i)-pix_fa2(i)＜θ_fa(i)  ...(1)

SCORE_fa＝SCORE_fa+α_fa(i)      ...(2)

SCORE_fa＝SCORE_fa-α_fa(i)      ...(3)

基于如上所述那样测量的面部评分SCORE_fa，确定检测框FA-fa围绕的图像是否是面部图像。进一步，在面部评分SCORE_fa的测量中，如果在满足公式(1)的情况下，h(i)＝1，而在不满足公式(1)的情况下，h(i)＝-1。在此情况下，如公式(4)那样表示所测量的面部评分SCORE_fa。

$\mathrm{SCORE}\_\mathrm{fa}=\underset{i}{\mathrm{\Σ}}h\left(i\right)\mathrm{\α}\_\mathrm{fa}\left(i\right)...\left(4\right)$

当面部评分SCORE_fa大于0时，确定检测框FA-fa围绕的图像是面部图像。另一方面，当面部评分SCORE_fa等于或小于0时，确定检测框FA-fa围绕的图像不是面部图像。确定基准可以不是0，但是可以是从零微调的值。

帧图像中包括的面部图像可具有各种尺寸。为此，如图4中所示，当将具有预定尺寸的检测框FR-fa设置在帧图像IM-0上以检测面部图像时，仅可以检测到帧图像IM-0中包括的面部图像中与检测框FR-fa的尺寸相对应的面部图像。为了检测帧图像IM-0中包括的各种面部图像，除了帧图像IM-0之外，还针对通过适当地缩小帧图像IM-0所获得的缩小的图像IM-0a、IM-0b等(如图7中所示)，执行如上所述的面部图像的检测处理。

图8是图示面部检测部分102中的面部图像检测处理的过程的流程图。

面部检测部分105在步骤ST21开始面部图像检测处理，然后前进到步骤ST22。在步骤ST22中，面部检测部分105将帧图像IM-0的缩小步长S_NO设置为1。然后，在步骤S23中，面部检测部分105针对帧图像IM-0执行缩小步长S_NO的缩放(缩小)，从而生成用于检测面部图像的缩小的图像(缩小的帧图像)。

当S_NO＝1时，缩小比为1，用于检测面部图像的缩小的图像与帧图像IM-0相同。进一步，随着缩小步长S_NO增大，缩小比减小。在具有更小缩小比的缩小的图像中检测到的面部图像在静止图像帧IM-0中变为更大的面部图像。进一步，面部检测框信息(位置信息和尺寸信息)基于帧图像IM-0。

接下来，在步骤ST24中，面部检测部分105将检测框FR-fa设置在步骤ST23中生成的缩小的图像的左上方。进一步，在步骤ST25中，面部检测部分105如上所述那样，通过使用面部词典来测量面部评分SCORE_fa。

然后，在步骤ST26中，面部检测部分105基于在步骤ST25中测量出的面部评分SCORE_fa，确定检测框FA-fa围绕的图像是否为面部图像。在这种情况下，面部检测部分105在SCORE_fa大于0时，确定该图像是面部图像，而在SCORE_fa不大于0时，确定该图像不是面部图像。

当确定图像是面部图像时，面部检测部分105前进到步骤ST27。在步骤ST27中，面部检测部分105将面部ID添加至面部检测框信息(位置信息和尺寸信息)，并且将结果存储于存储部分(未示出)。在步骤ST27的处理之后，面部检测部分105前进到步骤ST28。

当在步骤ST26中确定图像不是面部图像时，面部检测部分105直接前进到步骤ST28。在步骤ST28中，面部检测部分105确定检测框FR-fa是否移至最终位置。当检测框FR-fa未移至最终位置时，面部检测部分105在步骤ST29中将检测框FR-fa移至下一位置，然后返回至步骤ST25以重复与上述相同的过程。进一步，检测框FR-fa在某一垂直位置上以水平方向移动一个像素。如果完成了在该垂直位置上以水平方向的移动，则检测框FR-fa在垂直方向上移动一个像素，然后移至下一垂直位置。

当检测框FR-fa在步骤ST28中移至最终位置时，面部检测部分105在步骤ST30确定缩小步长S_NO是否处于最终步长S_NOmax。当缩小步长S_NO不是最终步长S_NOmax时，面部检测部分105在步骤ST31中将缩小步长S_NO设置为下一步长，然后返回步骤ST23以重复与上述相同的过程。进一步，在步骤ST30，当缩小步长S_NO是最终步长S_NOmax时，由于完成了所有缩小步长S_NO中的面部图像的检测处理，因此面部检测部分105在步骤ST32中终止面部图像检测处理。

将描述图1中的图像处理设备100的操作。将用于形成输入图像数据Vin的输入亮度数据Yin提供至非线性滤波器101。在非线性滤波器101中，在保持边缘的情况下对输入亮度数据Yin进行平滑，并且生成作为平滑后的数据的结构分量ST1。

进一步，将输入亮度数据Yin提供至减法器102。还将非线性滤波器101中生成的结构分量ST1提供至减法器102。减法器102从输入亮度数据Yin中减去结构分量ST1以获得作为输出数据的纹理分量TX1。

将减法器102中获得的纹理分量TX1提供至加减放大器103。加减放大器103将纹理分量TX1进行放大以获得放大后的纹理分量TX2。例如，如上所述那样，由用户的显示模式选择操作来确定加减放大器103的基本增益(basic gain)。

将加减放大器103中获得的纹理分量TX2提供至加法器104。还将非线性滤波器101中生成的结构分量ST1提供至加法器104。加法器104将纹理分量TX2加至结构分量ST1以获得用于形成输出图像数据Vout的输出亮度数据Yout。进一步，用于形成输入图像数据Vin的输入彩色数据(红色差数据和蓝色差数据)Cin不加以变化地变为用于形成输出图像数据Vout的输出彩色数据Cout。

进一步，将用于形成输入图像数据Vin的输入亮度数据Yin提供至面部检测部分105。面部检测部分105基于输入亮度数据Yin，针对每一帧检测面部图像，并且获得关于存在面部图像的面部图像区域的信息Iarf，例如面部检测框信息(位置和尺寸信息)。将关于面部图像区域的信息Iarf提供至遮盖区域创建部分106。遮盖区域创建部分106例如基于关于面部图像区域的信息Iarf，创建在面部图像区域中变为高电平而在其它区域中变为低电平的遮盖区域信号Smsk。

将遮盖区域创建部分106中创建的遮盖区域信号Smsk输入至空间滤波器107，其然后在水平方向和垂直方向上对遮盖区域信号Smsk执行低通滤波处理。通过该处理，电平在水平方向和垂直方向上快速变化的一部分遮盖区域信号Smsk通过空间滤波器107而平滑地变化。将空间滤波器107中获得的滤波之后的遮盖区域信号Smsk’提供至增益控制器108。

增益控制器108生成与遮盖区域信号Smsk’对应的增益控制信号CN2，并且将增益控制信号CN2提供给加减放大器103。在这种情况下，加减放大器103的增益变为与增益控制信号CN2的电平成比例的值。

例如，在选择了用于通过增大加减放大器103的基本增益来增强纹理的显示模式的情况下，增益控制器108以图2A中所示的对应关系，生成与遮盖区域信号Smsk’对应的增益控制信号CN2。为此，在这种情况下，由于加减放大器103的基本增益增大，因此纹理在整体上增强。然而，在面部图像区域中，增益控制信号CN2变小，因而加减放大器103的增益相对受到抑制。于是，可以防止由于面部图像中过度加重的纹理所引起的奇怪的感觉，从而获得适当的纹理。

进一步，例如，在选择了用于通过减小加减放大器103的基本增益来相对抑制纹理的显示模式的情况下，增益控制器108以图2B中所示的对应关系，生成与遮盖区域信号Smsk’对应的增益控制信号CN2。为此，在这种情况下，由于加减放大器103的基本增益减小，因此纹理在整体上相对抑制。然而，在面部图像区域中，增益控制信号CN2变大，因而加减放大器103的增益相对增大。于是，对于作为主要对象的面部图像，纹理增大，从而获得适当的纹理。

如上所述，图1中所示的图像处理设备100基于面部检测部分105中所获得的关于面部图像区域的信息Iarf，在增益控制器108中生成加减放大器103的增益控制信号CN2。为此，在存在面部图像的面部图像区域中，以相对于其它区域相对低或高的级别控制加减放大器103的增益。于是，与加减放大器103的基本增益设置所引起的总体纹理的级别无关，都可以为面部图像获得适当的纹理。

进一步，在图1所示的图像处理设备100中，将遮盖区域创建部分106中创建的遮盖区域信号Smsk输入至空间滤波器107，其然后在水平方向和垂直方向上对遮盖区域信号Smsk执行低通滤波处理。通过该处理，电平在水平方向和垂直方向上快速变化的一部分遮盖区域信号Smsk平滑地变化。因而，增益控制器108中生成的增益控制信号CN2在面部图像区域和其它区域之间的边界不会快速变化，因而可以防止边界突出。

第二实施方式

[图像处理设备的配置]

图9是图示根据第二实施方式的图像处理设备100A的配置示例的图。在图9中，与图1中的那些元件对应的元件被赋予了相同的附图标记。图像处理设备100A包括非线性滤波器101、减法器102、加减放大器103和加法器104。进一步，图像处理设备100A包括面部检测部分105、面部信息提取部分111、面部信息保留部分112、遮盖区域创建部分113、空间滤波器107、增益控制器108和场景变化检测部分114。

在图像处理设备100A中，非线性滤波器101、减法器102、加减放大器103、加法器104、面部检测部分105、空间滤波器107和增益控制器108与图1所示的图像处理设备100中的相同，因而省略其详细描述。

面部信息提取部分111针对每一帧，基于面部检测部分105中获得的关于面部图像区域的信息Iarf，从用于形成输入图像数据Vin的输入亮度数据Yin和输入彩色数据Cin中提取关于面部图像的图像信息Ifa。在该实施方式中，面部信息提取部分111例如获得与面部图像区域的亮度直方图和二维UV直方图有关的信息，作为面部图像信息Ifa。

即，面部信息提取部分111通过使用输入亮度数据Yin中与面部图像区域相对应的每个像素的亮度数据，创建如图10B中所示的亮度直方图。进一步，面部信息提取部分111通过使用输入彩色数据Cin中与面部图像区域相对应的每个像素的彩色数据(红色差数据U和蓝色差数据V)，创建如图10A中所示的二维UV直方图。

面部信息保留部分112保留面部信息提取部分111中所提取出的关于面部图像的图像信息Ifa。面部信息提取部分111如上述那样，从在面部检测部分105中获得关于面部图像区域的信息Iarf的帧中提取关于面部图像的图像信息Ifa。对于从面部信息提取部分111提取出关于面部图像的图像信息Ifa的每一帧，面部信息保留部分112可以更新关于面部图像的图像信息Ifa的保留内容。

然而，当图像状态未变化时，面部信息提取部分111中提取出的关于面部图像的图像信息Ifa处于近似相同的状态。为此，在本实施方式中，每当检测到图像状态变化时，面部信息保留部分112更新面部信息提取部分111中提取出的关于面部图像的图像信息Ifa的保留内容。在本实施方式中，如稍后描述的那样，将场景变化所引起的图像状态的变化示例为图像状态的变化，但是可以考虑光照变化所引起的图像状态的变化。

遮盖区域创建部分113针对每一帧，基于输入亮度数据Yin和输入彩色数据Cin，检测其中存在与面部信息保留部分112中保留的关于面部图像的图像信息Ifa相对应的图像的图像区域。在这种情况下，遮盖区域创建部分113参照关于亮度直方图和二维UV直方图的信息(其为关于面部图像的图像信息Ifa)，分别将具有高频的预定范围确定为亮度值范围和UV值范围。例如每当更新面部信息保留部分112的保留内容时，遮盖区域创建部分113执行亮度值范围和UV值范围的确定处理。

遮盖区域创建部分113针对每一帧，基于输入亮度数据Yin和输入彩色数据Cin，检测亮度值和UV值均处于所确定的亮度值范围和UV值范围中的像素。进一步，遮盖区域创建部分113检测每个检测到的像素的区域，作为存在与关于面部图像的图像信息Ifa相对应的图像的图像区域。

以此方式在遮盖区域创建部分113中检测到的图像区域基于关于面部图像的图像信息Ifa而被重新配置，其将称为“重新配置的图像区域”。遮盖区域创建部分113基于与重新配置的图像区域有关的信息来创建遮盖区域信号Smsk。即，遮盖区域创建部分113创建例如在重新配置的面部图像区域中变为高电平而在其它区域中变为低电平的遮盖区域信号Smsk。

场景变化检测部分114基于输入亮度数据Yin和输入彩色数据Cin检测场景变化，并且将检测信号Schd发送到面部信息保留部分112。场景变化检测部分114使用通过针对每个分割块来处理帧图像的像素数据所获得的包括多个矢量元素的特征矢量、或者通过处理帧图像的像素信号所获得的亮度或色差直方图等，来检测场景变化。图9中所示图像处理设备100A的其它配置与图1中所示图像处理设备100中的相同。

将描述图9中所示的图像处理设备100A的操作。将用于形成输入图像数据Vin的输入亮度数据Yin提供至非线性滤波器101。非线性滤波器101在保持边缘的同时对输入亮度数据Yin进行平滑，并且生成作为平滑后的数据的结构分量ST1。

进一步，将输入亮度数据Yin提供至减法器102。还将非线性滤波器101中生成的结构分量ST1提供至减法器102。减法器102从输入亮度数据Yin中减去结构分量ST1以获得作为输出数据的纹理分量TX1。

将减法器102中获得的纹理分量TX1提供至加减放大器103。加减放大器103将纹理分量TX1进行放大以获得放大后的纹理分量TX2。例如，根据用户的显示模式选择操作来确定加减放大器103的基本增益。

将加减放大器103中获得的纹理分量TX2提供至加法器104。还将非线性滤波器101中生成的结构分量ST1提供至加法器104。加法器104将纹理分量TX2加至结构分量ST1以获得用于形成输出图像数据Vout的输出亮度数据Yout。进一步，用于形成输入图像数据Vin的输入彩色数据(红色差数据和蓝色差数据)Cin不加以变化地变为用于形成输出图像数据Vout的输出彩色数据Cout。

进一步，将用于形成输入图像数据Vin的输入亮度数据Yin提供至面部检测部分105。面部检测部分105基于输入亮度数据Yin针对每一帧检测面部图像，并且获得关于存在面部图像的面部图像区域的信息Iarf，例如面部检测框信息(位置信息和尺寸信息)。将关于面部图像区域的信息Iarf提供至面部信息提取部分111。

面部信息提取部分111针对每一帧，基于面部检测部分105中获得的关于面部图像区域的信息Iarf，从输入亮度数据Yin和输入彩色数据Cin中提取关于面部图像的图像信息Ifa。例如，在面部信息提取部分111中，将面部图像区域的亮度直方图和二维UV直方图测量为面部图像信息Ifa。以此方式，将面部信息提取部分111中所提取出的关于面部图像的图像信息Ifa提供至面部信息保留部分112。

面部信息保留部分112保留面部信息提取部分111提供的关于面部图像的图像信息Ifa。在这种情况下，每当基于来自场景变化检测部分114的场景变化检测信号Schd而在每当图像状态变化时检测到场景变化时，面部信息保部分112更新面部信息提取部分111中提取出的关于面部图像的图像信息Ifa的保留内容。

遮盖区域创建部分113针对每一帧，基于输入亮度数据Yin和输入彩色数据Cin，检测其中存在面部信息保留部分112中保留的关于面部图像的图像信息Ifa所对应的图像的图像区域，作为重新配置的图像区域。进一步，遮盖区域创建部分113例如创建这样的遮盖区域信号Smsk：其基于与重新配置的图像区域有关的信息而在重新配置的面部图像区域中变为高电平，而在其它区域中变为低电平。

将遮盖区域创建部分113中创建的遮盖区域信号Smsk输入至空间滤波器107，其然后在水平方向和垂直方向上对遮盖区域信号Smsk执行低通滤波处理。通过该处理，电平在水平方向和垂直方向上快速变化的一部分遮盖区域信号Smsk平滑地变化。将空间滤波器107获得的滤波之后的遮盖区域信号Smsk’提供至增益控制器108。

增益控制器108生成与遮盖区域信号Smsk’对应的增益控制信号CN3，并且将增益控制信号CN3提供给加减放大器103。在这种情况下，加减放大器103的增益变为与增益控制信号CN3的电平成比例的值。

例如，在选择了用于增大加减放大器103的基本增益以提高纹理的显示模式的情况下，增益控制器108以图2A中所示的对应关系，生成与遮盖区域信号Smsk’对应的增益控制信号CN3。为此，在这种情况下，由于加减放大器103的基本增益增大，因此纹理在整体上增大，但是在重新配置的面部图像区域中，增益控制信号CN3变小，并且加减放大器103的增益相对受到抑制。于是，可以防止由于面部图像中过于加重的纹理所引起的奇怪的感觉，从而获得适当的纹理。

进一步，例如，在选择了减小加减放大器103的基本增益以相对抑制纹理的显示模式的情况下，增益控制器108以图2B中所示的对应关系，生成与遮盖区域信号Smsk’对应的增益控制信号CN3。为此，在这种情况下，由于加减放大器103的基本增益减小，因此纹理在整体上相对受到抑制，但是在重新配置的面部图像区域中，增益控制信号CN3变大，并且加减放大器103的增益相对增大。从而，作为主要对象的面部图像具有改善的纹理，并且可以获得适当的纹理。

如上所述，在图9中所示的图像处理设备100A中，基本上，基于面部检测部分105中所获得的关于面部图像区域的信息Iarf，在增益控制器108中生成加减放大器103的增益控制信号CN3。为此，在存在面部图像的面部图像区域中，以相对于其它区域相对低或高的级别控制加减放大器103的增益。于是，与加减放大器103的基本增益设置所引起的整体纹理的级别无关，都可以为面部图像获得适当的纹理。

进一步，在图9所示的图像处理设备100A中，基于面部检测部分105中获得的关于面部图像区域的信息Iarf，在面部信息提取部分111中提取出关于面部图像的图像信息Ifa。进一步，在遮盖区域创建部分113中，检测其中存在与关于面部图像的图像信息Ifa相对应的图像的图像区域，作为重新配置的图像区域，并且基于与重新配置的图像区域有关的信息来创建遮盖区域信号Smsk。

重新配置的图像区域包括存在面部检测部分105中未检测到的面部图像的面部图像区域。例如，将如图11A所示的帧图像IM-0描述为示例。例如，如图11B示出的点划线框所示，面部检测部分105检测帧图像IM-0中所包括的较大面部的面部图像IM-1，而不检测帧图像IM-0中所包括的较小面部的面部图像IM-2。然而，如图11C中所示那样，除了面部图像IM-1的区域之外，基于关于面部图像的图像信息Ifa所检测到的重新配置的图像区域还包括面部图像IM-2的区域。进一步，在图11C中，阴影区域表示重新配置的图像区域以外的区域。

以此方式，重新配置的图像区域还包括其中存在面部检测部分105中未检测到的面部图像的面部图像区域。为此，即使在面部检测部分105中存在侧面面对的面部图像等中的面部图像区域的错误否定(false negative)的情况下，也可以使得所有的面部图像区域包括在重新配置的图像区域中。于是，即使在面部检测部分105中的面部图像区域的错误否定的情况下，也可以与输入图像中所包括的所有面部图像区域相对应地适当控制加减放大器103的增益，从而为图像中包括的所有面部图像都获得适当的纹理。

进一步，在图9所示的图像处理设备100A中，在遮盖区域创建部分113中，基于面部信息提取部分111中提取出的关于面部图像的图像信息Ifa，从输入亮度数据Yin和输入彩色数据Cin检测重新配置的图像区域。为此，即使在面部检测部分105的检测需要若干帧的情况下，重新配置的图像区域也包括输入图像数据Vin的当前帧中存在面部图像的面部图像区域。

于是，在图9所示的图像处理设备100A中，即使在输入图像数据Vin是运动图像数据以及面部图像区域正在运动的情况下，也可以与输入图像中包括的所有面部图像区域对应地适当控制加减放大器103的增益。因而，可以为输入图像中包括的所有面部图像都获得适当的纹理。

进一步，在图9所示的图像处理设备100A中，面部信息提取部分111中提取出的关于面部图像的图像信息Ifa保留在面部信息保留部分112中。进一步，遮盖区域创建部分113基于面部信息保留部分112中保留的关于面部图像的图像信息Ifa来检测重新配置的图像区域，并且基于关于重新配置的图像区域的信息来创建遮盖区域信号Smsk。

为此，由于即使在面部检测部分105中未检测到面部图像区域的帧的情况下，面部图像信息也保留在面部信息保留部分112中，因此遮盖区域创建部分113可以稳定地检测重新配置的图像区域。于是，即使在面部检测部分105中未检测到面部图像区域的帧的情况下，也可以与输入图像中包括的所有面部图像区域对应地适当控制加减放大器103的增益，因而使得可以为输入图像中包括的所有面部图像都获得适当的纹理。

进一步，在图9所示的图像处理设备100A中，每当检测到场景变化时，面部信息保留部分112更新面部信息提取部分111中提取出的关于面部图像的图像信息Ifa的保留内容。为此，可以减小更新频率，并且可以显著地减轻CPU处理负荷。

另外，在图9所示的图像处理设备100A中，将遮盖区域创建部分113中创建的遮盖区域信号Smsk输入至空间滤波器107，其然后在水平方向和垂直方向上对遮盖区域信号Smsk执行低通滤波处理。通过该处理，电平在水平方向和垂直方向上快速变化的一部分遮盖区域信号Smsk平滑地变化。因而，增益控制器108中生成的增益控制信号CN3在重新配置的面部图像区域和其它区域之间的边界不会快速变化，因而可以防止边界突出。

在图9所示的图像处理设备100A中，面部检测部分105针对每一帧检测面部图像，然而，在图9所示的图像处理设备100A中，面部信息提取部分111中提取出的关于面部图像的图像信息Ifa被发送至并保留在面部信息保留部分112中，并且用于面部检测部分105中未检测到面部图像区域的帧。因而，面部检测部分105不一定针对每一帧检测面部图像，而是可以针对每两个或更多帧检测面部图像。

第三实施方式

[图像处理设备的配置]

图12是图示根据第三实施方式的图像处理设备100B的配置示例的图。在图12中，与图9中的那些元件对应的元件被赋予了相同的附图标记。图像处理设备100B包括高通滤波器121、加减放大器122和加法器123。进一步，图像处理设备100B包括面部检测部分105、面部信息提取部分111、面部信息保留部分112、遮盖区域创建部分113、空间滤波器107、增益控制器108和场景变化检测部分114。

在图像处理设备100B中，面部检测部分105、面部信息提取部分111、面部信息保留部分112、遮盖区域创建部分113、空间滤波器107、增益控制器108和场景变化检测部分114与图9所示图像处理设备100A中的相同。因而省略其详细描述。

高通滤波器121从用于形成输入图像数据Vin的输入亮度数据Yin中提取高频分量YH1。加减放大器122将高通滤波器121中获得的高频分量YH1进行放大以获得作为输出数据的经放大的高频分量YH2。加法器123将加减放大器122中获得的高频分量YH2加至输入亮度数据Yin以获得输出亮度数据Yout。

增益控制器108生成与空间滤波器107中获得的滤波之后的遮盖区域信号Smsk’相对应的增益控制信号CN4，并且将增益控制信号CN4提供给加减放大器122。在这种情况下，加减放大器122的增益是与增益控制信号CN4的电平成比例的值。加减放大器122的增益基本上由用户的柔焦效果调节操作来确定，但是增益还进一步受增益控制信号CN4控制。

例如，增益控制器108生成增益控制信号CN4，以使得在通过柔焦效果调节将加减放大器122的增益设置为高电平的情况下，加减放大器122的增益在面部图像区域中相对减小。在这种情况下，柔焦效果在整体上增大，但是由于加减放大器122的增益在面部图像区域中相对受到抑制，因此可以获得适当的柔焦效果而没有奇怪的感觉。

进一步，例如，增益控制器108生成增益控制信号CN4，以使得在通过柔焦效果调节将加减放大器122的增益设置为低电平的情况下，加减放大器122的增益在面部图像区域中相对增大。在这种情况下，柔焦效果在整体上相对受到抑制，但是由于加减放大器122的增益在面部图像区域中相对增大，因此柔焦效果得到增强。图12所示图像处理设备100B的其它配置与图9所示图像处理设备100A中的相同。

将描述图12中所示图像处理设备100B的操作。将用于形成输入图像数据Vin的输入亮度数据Yin提供至高通滤波器121。高通滤波器121从用于形成输入图像数据Vin的输入亮度数据Yin中提取高频分量YH1。将高通滤波器121中提取出的高频分量YH1提供至加减放大器122。加减放大器122将高频分量YH1进行放大以获得作为输出数据的经放大的高频分量YH2。例如，如上述那样，根据用户的柔焦效果调节操作来确定加减放大器122的基本增益。

将加减放大器122中获得的高频分量YH2提供至加法器123。还将输入亮度数据Yin提供至加法器123。加法器123将高频分量YH2加至输入亮度数据Yin以获得用于形成输出图像数据Vout的输出亮度数据Yout。用于形成输入图像数据Vin的输入彩色数据(红色差数据和蓝色差数据)Cin不加以变化地变为用于形成输出图像数据Vout的输出彩色数据Cout。

进一步，面部检测部分105基于输入亮度数据Yin检测面部图像，以获得关于面部图像区域的信息Iarf。面部信息提取部分111基于关于面部图像区域的信息Iarf，从输入亮度数据Yin和输入彩色数据Cin中提取关于面部图像的图像信息If。遮盖区域创建部分113检测其中存在与关于面部图像的图像信息Ifa相对应的图像的图像区域，作为重新配置的图像区域，并且基于与重新配置的图像区域有关的信息来创建遮盖区域信号Smsk。进一步，遮盖区域信号Smsk在空间滤波器107中经受低通滤波处理，然后被提供至增益控制器108。

增益控制器108生成与遮盖区域信号Smsk’对应的增益控制信号CN4，并且将增益控制信号CN4提供给加减放大器122。在这种情况下，加减放大器122的增益变为与增益控制信号CN4的电平成比例的值。

例如，增益控制器108生成增益控制信号CN4，以使得在通过柔焦效果调节将加减放大器122的增益设置为高电平的情况下，加减放大器122的增益在面部图像区域中相对减小。在这种情况下，柔焦效果在整体上增大，但是由于加减放大器122的增益在面部图像区域中相对受到抑制，因此可以获得适当的柔焦效果而不会引起奇怪的感觉。

进一步，例如，增益控制器108生成增益控制信号CN4，以使得在通过柔焦效果调节将加减放大器122的增益设置为低电平的情况下，加减放大器122的增益在面部图像区域中相对增大。在这种情况下，柔焦效果在整体上相对受到抑制，但是由于加减放大器122的增益在面部图像区域中相对增大，因此柔焦效果得到增强。

如上所述，在图12中所示的图像处理设备100B中，基本上，基于面部检测部分105中所获得的关于面部图像区域的信息Iarf，在增益控制器108中生成加减放大器122的增益控制信号CN4。为此，在存在面部图像的面部图像区域中，以相对于其它区域相对低或高的级别控制加减放大器122的增益。于是，与加减放大器122的基本增益设置所引起的总体柔焦效果的级别无关，都可以为面部图像获得适当的柔焦效果。

进一步，在图12所示的图像处理设备100B中，基于面部检测部分105中获得的关于面部图像区域的信息Iarf，在面部信息提取部分111中提取出关于面部图像的图像信息Ifa。进一步，遮盖区域创建部分113检测其中存在与关于面部图像的图像信息Ifa相对应的图像的图像区域，作为重新配置的图像区域，并且基于与重新配置的图像区域有关的信息来创建遮盖区域信号Smsk。

因而，即使在侧面面对的面部图像等中存在面部图像区域的错误否定的情况下，面部检测部分105也可包括重新配置的图像区域中的所有面部图像区域。于是，即使在面部检测部分105中的面部图像区域的错误否定的情况下，也可以与输入图像中所包括的所有面部图像区域相对应地适当控制加减放大器122的增益，从而为图像中包括的所有面部图像都获得适当的柔焦效果。

进一步，在图12所示的图像处理设备100B中，遮盖区域创建部分113基于面部信息提取部分111中所提取出的关于面部图像的图像信息Ifa，从输入亮度数据Yin和输入彩色数据Cin检测重新配置的图像区域。为此，即使在面部检测部分105的检测需要若干帧的情况下，重新配置的图像区域也包括输入图像数据Vin的当前帧中包括面部图像的面部图像区域。

于是，在图12所示的图像处理设备100B中，即使在输入图像数据Vin是运动图像数据以及面部图像区域正在运动的情况下，也可以与输入图像中包括的所有面部图像区域对应地适当控制加减放大器122的增益。因而，可以为输入图像中包括的所有面部图像都获得适当的柔焦效果。

进一步，在图12所示的图像处理设备100B中，以与图9中所示图像处理设备100A类似的方式，可以实现面部信息保留部分112和空间滤波器107所引起的效果，所述效果是通过对每个场景变化执行关于面部信息保留部分112的保留信息的更新等而实现的。

第四实施方式

[图像处理设备的配置]

图13是图示根据第四实施方式的图像处理设备100C的配置示例的图。在图13中，与图9中的那些元件对应的元件被赋予了相同的附图标记。图像处理设备100C包括色彩饱和度调节器131和色彩饱和度控制器132。进一步，图像处理设备100C包括面部检测部分105、面部信息提取部分111、面部信息保留部分112、遮盖区域创建部分113、空间滤波器107和场景变化检测部分114。

在图像处理设备100C中，面部检测部分105、面部信息提取部分111、面部信息保留部分112、遮盖区域创建部分113、空间滤波器107和场景变化检测部分114与图9所示图像处理设备100A中的相同。因而省略其详细描述。

色彩饱和度调节器131对用于形成输入图像数据Vin的输入彩色数据(红色差数据和蓝色差数据)Cin执行色彩饱和度调节处理。例如，色彩饱和度调节器131配备有用于对输入彩色数据Cin内的红色差数据和蓝色差数据进行放大的加减放大器，并且通过调节其增益来执行色彩饱和度调节。色彩饱和度调节器131的色彩饱和度调节处理由色彩饱和度控制器132中生成的色彩饱和度控制信号CN5控制。

色彩饱和度控制器132通过从关于面部图像的图像信息Ifa(其由面部信息提取部分111提取并保留在面部信息保留部分112中)之中使用色彩饱和度信息(二维UV直方图)而生成色彩饱和度控制信号CN5。进一步，色彩饱和度控制器132基于空间滤波器107中获得的滤波之后的遮盖区域信号Smsk’而生成色彩饱和度控制信号CN5。色彩饱和度控制器132生成色彩饱和度控制信号CN5，其用于使得色彩饱和度调节器131能够执行色彩饱和度调节处理以便面部图像的色彩饱和度变为预定级别的色彩饱和度，并且使得色彩饱和度调节器131能够仅在重新配置的面部图像区域中执行色彩饱和度调节处理。这里，所述预定级别的色彩饱和度是固定值或用户设置值。图13所示图像处理设备100C的其它配置与图9所示图像处理设备100A中的相同。

将描述图13中所示的图像处理设备100C的操作。将用于形成输入图像数据Vin的输入彩色数据Cin提供至色彩饱和度调节器131。色彩饱和度调节器131的色彩饱和度调节处理由色彩饱和度控制器132提供的色彩饱和度控制信号CN5控制。如上所述，色彩饱和度控制信号CN5使得能够进行色彩饱和度调节处理以便面部图像的色彩饱和度变为预定级别的色彩饱和度，并且使得能够仅在重新配置的面部图像区域中进行色彩饱和度调节处理。

为此，色彩饱和度调节器131执行色彩饱和度调节处理以便面部图像的色彩饱和度仅在重新配置的面部图像区域中变为预定级别的色彩饱和度。色彩饱和度调节器131的输出彩色数据(红色差数据和蓝色差数据)变为用于形成输出图像数据Vout的输出彩色数据Cout。进一步，用于形成输入图像数据Vin的输入亮度数据Yin不加以变化地变为用于形成输出图像数据Vout的输出亮度数据Yout。

如上所述，在图13所示的图像处理设备100C中，基于面部检测部分105中获得的关于面部图像区域的信息Iarf，在面部信息提取部分111中提取出关于面部图像的图像信息Ifa。进一步，通过从关于面部图像的图像信息Ifa之中使用色彩饱和度信息(二维UV直方图)而生成色彩饱和度控制信号CN5。因而，可以在面部图像区域中执行高精度的色彩饱和度调节，以便面部图像的色彩饱和度变为预定级别的色彩饱和度。

进一步，在图13所示的图像处理设备100C中，当在色彩饱和度控制器132中生成色彩饱和度控制信号CN5时，使用面部信息保留部分112中所保留的关于面部图像的图像信息Ifa。为此，即使在面部检测部分105中未检测到面部图像区域的帧的情况下，色彩饱和度控制器132也稳定地生成色彩饱和度控制信号CN5，因而可以稳定地执行色彩饱和度调节。

另外，在图13所示的图像处理设备100C中，以与图9中所示图像处理设备100A类似的方式，可以实现空间滤波器107所引起的效果，所述效果是通过对每个场景变化执行面部信息保留部分112中的保留信息的更新等而实现的。

第五实施方式

[图像处理设备的配置]

图14是图示根据第五实施方式的图像处理设备100D的配置示例的图。在图14中，与图9和13中的那些元件对应的元件被赋予了相同的附图标记。图像处理设备100D包括色彩饱和度调节器131和色彩饱和度控制器133。进一步，图像处理设备100D包括面部检测部分105、面部信息提取部分111、面部信息保留部分112和场景变化检测部分114。

在图像处理设备100D中，色彩饱和度调节器131、面部检测部分105、面部信息提取部分111、面部信息保留部分112和场景变化检测部分114与图13所示图像处理设备100C中的相同。因而省略其详细描述。

色彩饱和度调节器131的色彩饱和度调节处理由色彩饱和度控制器133中生成的色彩饱和度控制信号CN6控制。色彩饱和度控制器133通过从关于面部图像的图像信息Ifa(其在面部信息提取部分111中提取并保留在面部信息保留部分112中)之中使用色彩饱和度信息(二维UV直方图)而生成色彩饱和度控制信号CN6。色彩饱和度控制器133生成色彩饱和度控制信号CN6，其用于使得色彩饱和度调节器131能够执行色彩饱和度调节处理以便面部图像的色彩饱和度变为预定级别的色彩饱和度。图14所示图像处理设备100D的其它配置与图9和13所示图像处理设备100A中的相同。

将描述图14中所示的图像处理设备100D的操作。将用于形成输入图像数据Vin的输入彩色数据Cin提供至色彩饱和度调节器131。色彩饱和度调节器131的色彩饱和度调节处理由来自色彩饱和度控制器133的色彩饱和度控制信号CN6控制。如上所述，色彩饱和度控制信号CN6使得能够进行色彩饱和度调节处理以便面部图像的色彩饱和度变为预定级别的色彩饱和度。

为此，色彩饱和度调节器131在整个屏幕中执行色彩饱和度调节处理以便面部图像的色彩饱和度变为预定级别的色彩饱和度。色彩饱和度调节器131的输出彩色数据(红色差数据和蓝色差数据)变为用于形成输出图像数据Vout的输出彩色数据Cout。进一步，用于形成输入图像数据Vin的输入亮度数据Yin不加以变化地变为用于形成输出图像数据Vout的输出亮度数据Yout。

如上所述，在图14所示的图像处理设备100D中，基于面部检测部分105中获得的关于面部图像区域的信息Iarf，在面部信息提取部分111中提取出关于面部图像的图像信息Ifa。进一步，通过从关于面部图像的图像信息Ifa之中使用色彩饱和度信息(二维UV直方图)而生成色彩饱和度控制信号CN6。因而，可以调节整个屏幕的色彩饱和度，以便面部图像的色彩饱和度变为预定级别的色彩饱和度。在图像处理设备100D中，由于人的视觉特性对于面部高度敏感，因此可以仅通过面部图像区域的色彩饱和度直方图的变化来处理整个屏幕的色彩饱和度，以便实现高画质。

进一步，在图14所示的图像处理设备100D中，当在色彩饱和度控制器133中生成色彩饱和度控制信号CN6时，使用面部信息保留部分112中所保留的关于面部图像的图像信息Ifa。为此，即使在面部检测部分105中未检测到面部图像区域的帧的情况下，色彩饱和度控制器133也稳定地生成色彩饱和度控制信号CN6，并且可以稳定地执行色彩饱和度调节。另外，在图14所示的图像处理设备100D中，以与图9中所示图像处理设备100A类似的方式，可以实现通过对每个场景变化执行关于面部信息保留部分112中的保留信息的更新等所实现的效果。

第六实施方式

[图像处理设备的配置]

图15是图示根据第六实施方式的图像处理设备100E的配置示例的图。在图15中，与图9中的那些元件对应的元件被赋予了相同的附图标记。图像处理设备100E包括色调调节器141和色调控制器142。进一步，图像处理设备100E包括面部检测部分105、面部信息提取部分111、面部信息保留部分112、遮盖区域创建部分113、空间滤波器107和场景变化检测部分114。

在图像处理设备100E中，面部检测部分105、面部信息提取部分111、面部信息保留部分112、遮盖区域创建部分113、空间滤波器107和场景变化检测部分114与图9所示图像处理设备100A中的相同。因而省略其详细描述。

色调调节器141对用于形成输入图像数据Vin的输入彩色数据(红色差数据和蓝色差数据)Cin执行色调调节处理。例如，色调调节器141配备有分别对输入彩色数据Cin中的红色差数据和蓝色差数据进行放大的两个加减放大器，并且通过单独地调节每个加减放大器的增益来执行色调调节。色调调节器141的色调调节处理由色调控制器142中生成的色调控制信号CN7控制。

色调控制器142通过从关于面部图像的图像信息Ifa(其在面部信息提取部分111中提取并保留在面部信息保留部分112中)之中使用色调信息(二维UV直方图)而生成色调控制信号CN7。进一步，色调控制器142基于空间滤波器107中获得的滤波之后的遮盖区域信号Smsk’而生成色调控制信号CN7。色调控制器142生成色调控制信号CN7，其用于使得色调调节器141能够执行色调调节处理以便面部图像的色调变为预定级别的色调，并且使得色调调节器141能够仅在重新配置的面部图像区域中执行色调调节处理。所述预定的色调是固定值或用户设置值。图15所示图像处理设备100E的其它配置与图9所示图像处理设备100A中的相同。

将描述图15中所示的图像处理设备100E的操作。将用于形成输入图像数据Vin的输入彩色数据Cin提供至色调调节器141。色调调节器141的色调调节处理由色调控制器142提供的色调控制信号CN7控制。如上所述，色调控制信号CN7使得能够进行色调调节处理以便面部图像的色调变为预定级别的色调，并且使得能够仅在重新配置的面部图像区域中进行色调调节处理。

为此，色调调节器141执行色调调节处理以便面部图像的色调仅在重新配置的面部图像区域中变为预定级别的色调。色调调节器141的输出彩色数据(红色差数据和蓝色差数据)变为用于形成输出图像数据Vout的输出彩色数据Cout。用于形成输入图像数据Vin的输入亮度数据Yin不加以变化地变为用于形成输出图像数据Vout的输出亮度数据Yout。

如上所述，在图15所示的图像处理设备100E中，基于面部检测部分105中获得的关于面部图像区域的信息Iarf，在面部信息提取部分111中提取出关于面部图像的图像信息Ifa。进一步，通过从关于面部图像的图像信息Ifa之中使用色调信息(二维UV直方图)而生成色调控制信号CN7。为此，可以在面部图像区域中执行高精度的色调调节，以便面部图像的色调变为预定级别的色调。

进一步，在图15所示的图像处理设备100E中，当在色调控制器142中生成色调控制信号CN7时，使用面部信息保留部分112中所保留的关于面部图像的图像信息Ifa。为此，即使在面部检测部分105中未检测到面部图像区域的帧的情况下，色调控制器142也稳定地生成色调控制信号CN7，并且可以稳定地执行色调调节。

另外，在图15所示的图像处理设备100E中，以与图9中所示图像处理设备100A类似的方式，可以实现空间滤波器107所引起的效果，所述效果是通过对每个场景变化执行关于面部信息保留部分112的保留信息的更新等而实现的。

第七实施方式

[图像处理设备的配置]

图16是图示根据第七实施方式的图像处理设备100F的配置的图。在图16中，与图9和15中的那些元件对应的元件被赋予了相同的附图标记。图像处理设备100F包括色调调节器141和色调控制器143。进一步，图像处理设备100F包括面部检测部分105、面部信息提取部分111、面部信息保留部分112和场景变化检测部分114。

在图像处理设备100F中，色调调节器141、面部检测部分105、面部信息提取部分111、面部信息保留部分112和场景变化检测部分114与图9和15所示图像处理设备100E中的相同。因而省略其详细描述。

色调调节器141的色调调节处理由色调控制器143中生成的色调控制信号CN8控制。色调控制器143通过从关于面部图像的图像信息Ifa(其在面部信息提取部分111中提取并保留在面部信息保留部分112中)之中使用色调信息(二维UV直方图)而生成色调控制信号CN8。进一步，色调控制器143生成色调控制信号CN8，其用于使得色调调节器141能够执行色调处理以便面部图像的色调变为预定级别的色调。图16所示图像处理设备100F的其它配置与图9和15所示图像处理设备100A中的相同。

将描述图16中所示的图像处理设备100F的操作。将用于形成输入图像数据Vin的输入彩色数据Cin提供至色调调节器141。色调调节器141的色调调节处理由色调控制器143提供的色调控制信号CN8控制。如上所述，色调控制信号CN8使得能够进行色调调节处理以便面部图像的色调变为预定级别的色调。

为此，色调调节器141在整个屏幕中执行色调调节处理以便面部图像的色调变为预定级别的色调。色调调节器141的输出彩色数据(红色差数据和蓝色差数据)变为用于形成输出图像数据Vout的输出彩色数据Cout。用于形成输入图像数据Vin的输入亮度数据Yin不加以变化地变为用于形成输出图像数据Vout的输出亮度数据Yout。

如上所述，在图16所示的图像处理设备100F中，基于面部检测部分105中获得的关于面部图像区域的信息Iarf，在面部信息提取部分111中提取出关于面部图像的图像信息Ifa。进一步，通过从关于面部图像的图像信息Ifa之中使用色调信息(二维UV直方图)而生成色调控制信号CN8。为此，可以调节整个屏幕的色调，以便面部图像的色调变为预定级别的色调。在图像处理设备100F中，由于人的视觉特性对于面部高度敏感，因此可以仅通过面部图像区域的色调直方图的变化来处理整个屏幕的色调，以便实现高画质。

另外，在图16所示的图像处理设备100F中，当在色调控制器143中生成色调控制信号CN8时，使用面部信息保留部分112中所保留的关于面部图像的图像信息Ifa。为此，即使在面部检测部分105中未检测到面部图像区域的帧的情况下，色调控制器143也稳定地生成色调控制信号CN8，并且可以稳定地执行色调调节。进一步，在图16所示的图像处理设备100F中，以与图9中所示图像处理设备100A类似的方式，可以实现通过对每个场景变化执行关于面部信息保留部分112中的保留信息的更新等所实现的效果。

第八实施方式

[图像处理设备的配置]

图17是图示根据第八实施方式的图像处理设备100G的配置的图。在图17中，与图9中的那些元件对应的元件被赋予了相同的附图标记。图像处理设备100G包括对比度校正部分151、全屏信息提取部分153。进一步，图像处理设备100G包括面部检测部分105、面部信息提取部分111、面部信息保留部分112和场景变化检测部分114。

在图像处理设备100G中，面部检测部分105、面部信息提取部分111、面部信息保留部分112和场景变化检测部分114与图9所示图像处理设备100A中的相同。因而省略其详细描述。

对比度校正部分151对用于形成输入图像数据Vin的输入亮度数据Yin执行对比度校正处理。对比度校正部分151基于对比度控制器152中所生成的输入输出特性曲线(校正曲线)CN9，通过将输入亮度数据Yin转换为输出亮度数据Yout来执行对比度校正处理。

全屏信息提取部分153基于输入亮度数据Yin创建整个屏幕的亮度直方图，并且将其信息Iahs发送至对比度控制器152。对比度控制器152基本上基于全屏信息提取部分153提供的整个屏幕的亮度直方图的信息Iahs，创建输入输出特性曲线(校正曲线)CN9。

例如，在低亮度区域(黑电平区域)的频率高的情况下，创建输入输出特性曲线CN9以使得低亮度区域的对比度加宽。进一步，例如，在高亮度区域(白电平区域)的频率高的情况下，创建输入输出特性曲线CN9以使得高亮度区域的对比度加宽。另外，例如，在中间亮度区域的频率高的情况下，创建输入输出特性曲线CN9以使得中间亮度区域的对比度加宽。

进一步，对比度控制器152通过从关于面部图像的图像信息Ifa(其在面部信息提取部分111中提取并保留在面部信息保留部分112中)之中使用亮度直方图而生成输入输出特性曲线CN9。在这种情况下，对比度控制器152校正输入输出特性曲线CN9，以使得在面部图像区域中不产生曝光不足或过度曝光。

例如，在如图18A所示的帧图像的情况下，高亮度区域(白电平区域)的频率在整个屏幕的亮度直方图中变为高。为此，在对比度校正部分151中，如图18B中所示，基本上创建输入输出特性曲线CN9以使得高亮度区域的对比度加宽。然而，在未加以变化地使用输入输出特性曲线CN9的情况下，如图18C中所示，从一开始就在低亮度区域中的面部图像区域中产生曝光不足。

进一步，例如，在如图19A所示的帧图像的情况下，低亮度区域(黑电平区域)的频率在整个屏幕的亮度直方图中变为高。为此，在对比度校正部分151中，如图19B中所示，基本上创建输入输出特性曲线CN9以使得低亮度区域的对比度加宽。然而，在未加以变化地使用输入输出特性曲线CN9的情况下，如图19C中所示，从一开始就在高亮度区域中的面部图像区域中产生过度曝光。

进一步，例如，在如图20A所示的帧图像(其与图18A中的相同)中创建如图20B所示的输入输出特性曲线CN9(其与图18B中的相同)的情况下，将执行下列校正。即，对于如图20B所示的输入输出特性曲线CN9，基于面部图像的亮度直方图来校正输入输出特性曲线CN9以使得低亮度区域中的面部图像区域的对比度加宽(如图20C所示)。在使用经校正的输入输出特性曲线CN9的情况下(如图20D中所示)，低亮度区域中的面部图像区域中不会产生曝光不足。

尽管未描述，但是例如即使在基本上如图19B所示那样创建输入输出特性曲线CN9的情况下，在如图19A所示的帧图像中，也类似地校正输入输出特性曲线CN9以便高亮度区域中的面部图像区域的对比度加宽。图17所示的图像处理设备100G的其它配置与图9所示的图像处理设备100A中的相同。

将描述图17中所示的图像处理设备100G的操作。将用于形成输入图像数据Vin的输入亮度数据Yin提供至对比度校正部分151。基于对比度控制器152提供的输入输出特性曲线(校正曲线)CN9来执行对比度校正部分151中的对比度校正处理。

进一步，将输入亮度数据Yin提供至全屏信息提取部分153。全屏信息提取部分153基于输入亮度数据Yin创建整个屏幕的亮度直方图，并且将信息Iahs发送至对比度控制器152。另外，将关于面部图像的图像信息Ifa(其在面部信息提取部分111中提取并保留在面部信息保留部分112中)之中的关于亮度直方图的信息发送至对比度控制器152。

对比度控制器152基本上基于全屏信息提取部分153提供的关于整个屏幕的亮度直方图的信息Iahs，创建输入输出特性曲线(校正曲线)CN9。进一步，对比度控制器152基于面部图像的亮度直方图来创建输入输出特性曲线CN9，以使得面部图像区域的对比度加宽。另外，将以此方式在对比度控制器152中生成的输入输出特性曲线CN9提供至对比度校正部分151。

对比度校正部分151的输出亮度数据变为用于形成输出图像数据Vout的输出亮度数据Yout。进一步，用于形成输入图像数据Vin的输入彩色数据Cin不加以变化地变为用于形成输出图像数据Vout的输出彩色数据Cout。

如上所述，在图17所示的图像处理设备100G中，基于面部检测部分105中获得的关于面部图像区域的信息Iarf，在面部信息提取部分111中提取出关于面部图像的图像信息Ifa。进一步，基于关于面部图像的图像信息Ifa之中的亮度直方图，校正对比度控制器152中所生成的输入输出特性曲线CN9以使得面部图像区域的对比度加宽。于是，可以执行更好的对比度校正。

进一步，在图17所示的图像处理设备100G中，当在对比度控制器152中校正输入输出特性曲线CN9时，使用面部信息保留部分112中所保留的面部图像的亮度直方图。为此，即使在面部检测部分105中未检测到面部图像区域的帧的情况下，对比度控制器152也稳定地生成输入输出特性曲线CN9，因而可以实现稳定的对比度校正。另外，在图17所示的图像处理设备100G中，以与图9中所示图像处理设备100A类似的方式，可以实现通过对每个场景变化执行关于面部信息保留部分112的保留信息的更新等所实现的效果。

第九实施方式

[图像处理设备的配置]

图21是图示根据第九实施方式的图像处理设备100H的配置的图。在图21中，与图9和17中的那些元件对应的元件被赋予了相同的附图标记。图像处理设备100H包括非线性滤波器101、减法器102、加减放大器103和加法器104。进一步，图像处理设备100H包括面部检测部分105、面部信息提取部分111、面部信息保留部分112、遮盖区域创建部分113、空间滤波器107、增益控制器108和场景变化检测部分114。另外，图像处理设备100H包括对比度校正部分151、全屏信息提取部分153和控制器161。

在图像处理设备100H中，非线性滤波器101、减法器102、加减放大器103和加法器104与图9所示图像处理设备100A中的相同。因而省略其详细描述。进一步，在图像处理设备100H中，面部检测部分105、面部信息提取部分111、面部信息保留部分112、遮盖区域创建部分113、空间滤波器107和场景变化检测部分114与图9所示图像处理设备100A中的相同。另外，在图像处理设备100H中，对比度校正部分151和全屏信息提取部分153与图17所示图像处理设备100G中的相同。

对比度校正部分151对非线性滤波器101中生成的结构分量ST1执行对比度校正处理。对比度校正部分151基于控制器161中所生成的输入输出特性曲线(校正曲线)CN9，通过将结构分量ST1转换为结构分量ST2来执行对比度校正处理。

控制器161生成与空间滤波器107中获得的滤波之后的遮盖区域信号Smsk’相对应的增益控制信号CN3，并且将增益控制信号CN3提供至加减放大器103。在这种情况下，加减放大器103的增益变为与增益控制信号CN3的电平成比例的值。

进一步，控制器161基本上基于全屏信息提取部分153提供的关于整个屏幕的亮度直方图的信息Iahs，创建输入输出特性曲线(校正曲线)CN9。另外，控制器161通过使用面部图像的亮度直方图(其在面部信息提取部分111中提取并保留在面部信息保留部分112中)来校正输入输出特性曲线CN9，以使得面部图像区域的对比度加宽。图21所示图像处理设备100H的其它配置与图9所示图像处理设备100A中的以及图17所示图像处理设备100G中的相同。

将描述图21中所示的图像处理设备100H的操作。将用于形成输入图像数据Vin的输入亮度数据Yin提供至非线性滤波器101。非线性滤波器101在保持边缘的同时对输入亮度数据Yin进行平滑，并且生成作为平滑后的数据的结构分量ST1。

进一步，将输入亮度数据Yin提供至减法器102。还将非线性滤波器101中生成的结构分量ST1提供至减法器102。减法器102从输入亮度数据Yin中减去结构分量ST1以获得作为输出数据的纹理分量TX1。

将减法器102中获得的纹理分量TX1提供至加减放大器103。加减放大器103将纹理分量TX1进行放大以获得放大后的纹理分量TX2。例如，根据用户的显示模式选择操作来确定加减放大器103的基本增益。将加减放大器103中获得的纹理分量TX2提供至加法器104。

进一步，将非线性滤波器101中生成的结构分量ST1提供至对比度校正部分151。对比度校正部分151基于控制器161提供的输入输出特性曲线(校正曲线)CN9，对结构分量ST1执行对比度校正处理。将输出自对比度校正部分151的结构分量ST2提供至加法器104。

加法器104将纹理分量TX2加至结构分量ST2以获得用于形成输出图像数据Vout的输出亮度数据Yout。进一步，用于形成输入图像数据Vin的输入彩色数据(红色差数据和蓝色差数据)Cin不加以变化地变为用于形成输出图像数据Vout的输出彩色数据Cout。

进一步，将用于形成输入图像数据Vin的输入亮度数据Yin提供至面部检测部分105。面部检测部分105基于输入亮度数据Yin针对每一帧检测面部图像，并且获得关于存在面部图像的面部图像区域的信息Iarf，例如面部检测框信息(位置信息和尺寸信息)。将关于面部图像区域的信息Iarf提供至面部信息提取部分111。

面部信息提取部分111基于面部检测部分105中获得的关于面部图像区域的信息Iarf，针对每一帧从输入亮度数据Yin和输入彩色数据Cin中提取面部图像的图像信息Ifa。例如，面部信息提取部分111将面部图像区域的亮度直方图和二维UV直方图测量为面部图像信息Ifa。以此方式，将面部信息提取部分111中所提取出的关于面部图像的图像信息Ifa提供至面部信息保留部分112。

面部信息保留部分112保留面部信息提取部分111提供的关于面部图像的图像信息Ifa。在这种情况下，每当基于来自场景变化检测部分114的场景变化检测信号Schd而在每当图像状态变化时检测到场景变化时，面部信息保部分112更新面部信息提取部分111中提取出的关于面部图像的图像信息Ifa的保留内容。

遮盖区域创建部分113基于输入亮度数据Yin和输入彩色数据Cin，针对每一帧检测其中存在面部信息保留部分112中保留的关于面部图像的图像信息Ifa所对应的图像的图像区域，作为重新配置的图像区域。进一步，遮盖区域创建部分113例如基于与重新配置的图像区域有关的信息而创建这样的遮盖区域信号Smsk：其在重新配置的面部图像区域中变为高电平，而在其它区域中变为低电平。

将遮盖区域创建部分113中创建的遮盖区域信号Smsk输入至空间滤波器107，其然后在水平方向和垂直方向上对遮盖区域信号Smsk执行低通滤波处理。通过该处理，电平在水平方向和垂直方向上快速变化的一部分遮盖区域信号Smsk平滑地变化。将空间滤波器107中获得的滤波之后的遮盖区域信号Smsk’提供至控制器161。

控制器161生成与遮盖区域信号Smsk’对应的增益控制信号CN3，并且将增益控制信号CN3提供给加减放大器103。在这种情况下，加减放大器103的增益变为与增益控制信号CN3的电平成比例的值。

例如，在选择了通过增大加减放大器103的基本增益来改善纹理的显示模式的情况下，控制器161以图2A中所示的对应关系，生成与遮盖区域信号Smsk’对应的增益控制信号CN3。为此，在这种情况下，由于加减放大器103的基本增益增大，因此纹理在整体上增大。然而在重新配置的面部图像区域中，增益控制信号CN3变小，因而加减放大器103的增益相对受到抑制。于是，可以防止由于面部图像中过于加重的纹理所引起的奇怪的感觉，从而获得适当的纹理。

进一步，例如，在选择了通过减小加减放大器103的基本增益来相对抑制纹理的显示模式的情况下，控制器161以图2B中所示的对应关系，生成与遮盖区域信号Smsk’对应的增益控制信号CN3。为此，在这种情况下，由于加减放大器103的基本增益减小，因此纹理在整体上相对受到抑制。然而在重新配置的面部图像区域中，增益控制信号CN3变大，因而加减放大器103的增益相对增大。于是，对于作为主要对象的面部图像，纹理增大，从而获得适当的纹理。

进一步，将输入亮度数据Yin提供至全屏信息提取部分153。全屏信息提取部分153基于输入亮度数据Yin创建整个屏幕的亮度直方图，然后将信息Iahs发送至控制器161。另外，将关于面部图像的图像信息Ifa(其在面部信息提取部分111中提取出并保留在面部信息保留部分112中)之中的关于亮度直方图的信息发送至控制器161。

控制器161基本上基于全屏信息提取部分153提供的关于整个屏幕的亮度直方图的信息Iahs，创建输入输出特性曲线(校正曲线)CN9。进一步，控制器161基于面部图像的亮度直方图创建输入输出特性曲线CN9，以使得面部图像区域的对比度加宽。另外，将以此方式在控制器161中生成的输入输出特性曲线CN9提供至对比度校正部分151。对比度校正部分151基于校正后的输入输出特性曲线CN9执行对比度校正。

如上所述，在图21所示的图像处理设备100H中，基本上，基于面部检测部分105中所获得的关于面部图像区域的信息Iarf，在控制器161中生成加减放大器103的增益控制信号CN3。为此，在存在面部图像的面部图像区域中，以相对于其它区域相对低或高的级别控制加减放大器103的增益。于是，与加减放大器103的基本增益设置所引起的整体纹理的级别无关，都可以为面部图像获得适当的纹理。

进一步，在图21所示的图像处理设备100H中，基于面部检测部分105中获得的关于面部图像区域的信息Iarf，在面部信息提取部分111中提取出关于面部图像的图像信息Ifa。进一步，遮盖区域创建部分113检测其中存在与关于面部图像的图像信息Ifa相对应的图像的图像区域，作为重新配置的图像区域，并且基于与重新配置的图像区域有关的信息来创建遮盖区域信号Smsk。

重新配置的图像区域也包括其中存在面部检测部分105中未检测到的面部图像的面部图像区域。为此，即使在面部检测部分105中存在侧面面对的面部图像等中的面部图像区域的错误否定的情况下，也可以使得所有的面部图像区域包括在重新配置的图像区域中。于是，即使在面部检测部分105中的面部图像区域的错误否定的情况下，也可以与输入图像中所包括的所有面部图像区域相对应地适当控制加减放大器103的增益，从而为图像中包括的所有面部图像都获得适当的纹理。

进一步，在图21所示的图像处理设备100H中，遮盖区域创建部分113基于面部信息提取部分111中提取出的关于面部图像的图像信息Ifa，从输入亮度数据Yin和输入彩色数据Cin检测重新配置的图像区域。为此，即使在面部检测部分105的检测需要若干帧的情况下，重新配置的图像区域也包括输入图像数据Vin的当前帧中包括面部图像的面部图像区域。

于是，在图21所示的图像处理设备100H中，即使在输入图像数据Vin是运动图像数据以及面部图像区域正在运动的情况下，也可以与输入图像中包括的所有面部图像区域对应地适当控制加减放大器103的增益。因而，可以为输入图像中包括的所有面部图像都获得适当的纹理。

进一步，在图21所示的图像处理设备100H中，基于面部检测部分105中获得的关于面部图像区域的信息Iarf，在面部信息提取部分111中提取出关于面部图像的图像信息Ifa。另外，基于关于面部图像的图像信息Ifa之中的亮度直方图，校正对比度控制器152中生成的输入输出特性曲线CN9以使得面部图像区域的对比度加宽。因而，可以执行更好的对比度校正。

进一步，在图21所示的图像处理设备100H中，当在控制器161中校正输入输出特性曲线CN9时，使用面部信息保留部分112中所保留的面部图像的亮度直方图。为此，即使在面部检测部分105中未检测到面部图像区域的帧的情况下，控制器161也稳定地生成输入输出特性曲线CN9，因而可以执行稳定的对比度校正。

另外，在图21所示的图像处理设备100H中，将对比度校正部分151安排在结构分量的路径中。因而，可以在不改变面部图像的纹理的情况下执行对比度校正。进一步，在图21所示的图像处理设备100H中，以与图9中所示图像处理设备100A类似的方式，可以实现面部信息保留部分112和空间滤波器107所引起的效果，所述效果是通过对每个场景变化执行关于面部信息保留部分112的保留信息的更新等而实现的。

本申请包含与2009年10月23日向日本专利局提交的日本优先权专利申请JP 2009-244660中公开的主题有关的主题，将其全部内容通过引用的方式合并在此。

本领域技术人员应当理解，依据设计要求和其它因素，可出现各种修改、组合、部分组合和变更，只要其在所附权利要求书及其等效物的范围内即可。

Claims (19)

1.一种图像处理设备，包括：

数据处理部分，其处理输入图像数据并获得输出图像数据；

面部检测部分，其基于所述输入图像数据来检测面部图像，并且获得关于存在面部图像的面部图像区域的信息；以及

处理控制器，其基于面部检测部分中获得的关于面部图像区域的信息，来控制数据处理部分的处理。

2.如权利要求1所述的设备，

其中，所述处理控制器包括：

面部信息提取部分，其基于面部检测部分中获得的关于面部图像区域的信息，从所述输入图像数据中提取出关于面部图像的图像信息；以及

图像区域检测部分，其基于所述输入图像数据，检测存在与面部信息提取部分中提取出的图像信息相对应的图像的图像区域，

所述处理控制器基于关于图像区域检测部分中检测到的图像区域的信息，来控制数据处理部分的处理。

3.如权利要求2所述的设备，

其中，所述面部检测部分基于所述输入图像数据，针对每一预定数目的帧来检测面部图像，并且获得存在面部图像的面部图像区域，

其中，所述处理控制器的面部信息提取部分针对每一帧，基于面部检测部分中获得的关于面部图像区域的信息，从所述输入图像数据中提取出关于面部图像的图像信息，

其中，所述处理控制器进一步包括面部信息保留部分，其保留面部信息提取部分中所提取出的图像信息，并且

其中，所述处理控制器的图像区域检测部分基于所述输入图像数据，检测存在与面部信息保留部分中保留的图像信息相对应的图像的图像区域。

4.如权利要求3所述的设备，

进一步包含：图像状态变化检测部分，其基于所述输入图像数据来检测图像状态的变化，

其中，每当在图像状态变化检测部分中检测到图像状态的变化时，所述处理控制器的面部信息保留部分根据面部信息提取部分中提取出的图像信息，来更新保留内容。

5.如权利要求1或2所述的设备，

其中，所述数据处理部分包括：

平滑部分，其在保持边缘的同时对所述输入图像数据进行平滑，以生成平滑后的图像数据；

减法部分，其从所述输入图像数据中减去平滑部分中所生成的平滑后的图像数据；

放大部分，其对减法部分的输出数据进行放大；以及

加法部分，其将平滑部分中生成的平滑后的图像数据加至放大部分的输出数据，以获得所述输出图像数据，并且

其中，所述处理控制器控制放大部分的增益。

6.如权利要求2所述的设备，

其中，所述数据处理部分包括：

高频分量提取部分，其从所述输入图像数据中提取高频分量；

放大部分，其对高频分量提取部分中提取出的高频分量进行放大；以及

加法部分，其将放大部分的输出数据加至所述输入图像数据，以获得所述输出图像数据，并且

其中，所述处理控制器控制放大部分的增益。

7.如权利要求1所述的设备，

其中，所述数据处理部分包括色彩饱和度调节部分，其对所述输入图像数据执行色彩饱和度调节处理，以获得所述输出图像数据，并且

其中，所述处理控制器包括：

面部信息提取部分，其基于面部检测部分中获得的关于面部图像区域的信息，从所述输入图像数据中提取出关于面部图像的图像信息；以及

图像区域检测部分，其基于所述输入图像数据，检测存在与面部信息提取部分中提取出的图像信息相对应的图像的图像区域，

所述处理控制器基于关于图像区域检测部分中检测到的图像区域的信息和面部信息提取部分中提取出的图像信息中所包括的色彩饱和度信息，来控制色彩饱和度调节部分中的色彩饱和度调节量。

8.如权利要求7所述的设备，

其中，所述面部检测部分基于所述输入图像数据，针对每一预定数目的帧来检测面部图像，并且获得关于存在面部图像的面部图像区域的信息，

其中，所述处理控制器的面部信息提取部分针对每一帧，基于面部检测部分中获得的关于面部图像区域的信息，从所述输入图像数据中提取出关于面部图像的图像信息，

其中，所述处理控制器进一步包括面部信息保留部分，其保留面部信息提取部分中所提取出的图像信息，

其中，所述处理控制器的图像区域检测部分基于所述输入图像数据，检测存在与面部信息保留部分中保留的图像信息相对应的图像的图像区域，并且

其中，所述处理控制器基于关于图像区域检测部分中检测到的图像区域的信息和面部信息保留部分中保留的图像信息中所包括的色彩饱和度信息，来控制色彩饱和度调节部分中的色彩饱和度调节量。

9.如权利要求1所述的设备，

其中，所述数据处理部分包括色彩饱和度调节部分，其对所述输入图像数据执行色彩饱和度调节处理，以获得所述输出图像数据，并且

其中，所述处理控制器包括面部信息提取部分，其基于面部检测部分中获得的关于面部图像区域的信息，从所述输入图像数据中提取出关于面部图像的图像信息，

所述处理控制器基于面部信息提取部分中提取出的图像信息中所包括的色彩饱和度信息，来控制色彩饱和度调节部分中的色彩饱和度调节量。

10.如权利要求9所述的设备，

其中，所述面部检测部分基于所述输入图像数据，针对每一预定数目的帧来检测面部图像，并且获得关于存在面部图像的面部图像区域的信息，

其中，所述处理控制器的面部信息提取部分针对每一帧，基于面部检测部分中获得的关于面部图像区域的信息，从所述输入图像数据中提取出关于面部图像的图像信息，

其中，所述处理控制器进一步包括面部信息保留部分，其保留面部信息提取部分中所提取出的图像信息，并且

其中，所述处理控制器基于面部信息保留部分中保留的图像信息中所包括的色彩饱和度信息，来控制色彩饱和度调节部分中的色彩饱和度调节量。

11.如权利要求1所述的设备，

其中，所述数据处理部分包括色调调节部分，其对所述输入图像数据执行色调调节处理，以获得所述输出图像数据，并且

其中，所述处理控制器包括：

面部信息提取部分，其基于面部检测部分中获得的关于面部图像区域的信息，从所述输入图像数据中提取出关于面部图像的图像信息，

图像区域检测部分，其基于所述输入图像数据，检测存在与面部信息提取部分中提取出的图像信息相对应的图像的图像区域，

所述处理控制器基于关于图像区域检测部分中检测到的图像区域的信息和面部信息提取部分中提取出的图像信息中所包括的色调信息，来控制色调调节部分中的色调调节量。

12.如权利要求11所述的设备，

其中，所述面部检测部分基于所述输入图像数据，针对每一预定数目的帧来检测面部图像，并且获得关于存在面部图像的面部图像区域的信息，

其中，所述处理控制器的面部信息提取部分针对每一帧，基于面部检测部分中获得的关于面部图像区域的信息，从所述输入图像数据中提取出关于面部图像的图像信息，

其中，所述处理控制器进一步包括面部信息保留部分，其保留面部信息提取部分中所提取出的图像信息，

其中，所述处理控制器的图像区域检测部分基于所述输入图像数据，检测存在与面部信息保留部分中保留的图像信息相对应的图像的图像区域，并且

其中，所述处理控制器基于关于图像区域检测部分中检测到的图像区域的信息中以及面部信息保留部分中保留的图像信息中所包括的色调信息，来控制色调调节部分中的色调调节量。

13.如权利要求1所述的设备，

其中，所述数据处理部分包括色调调节部分，其对所述输入图像数据执行色调调节处理，以获得所述输出图像数据，并且

其中，所述处理控制器包括面部信息提取部分，其基于面部检测部分中获得的关于面部图像区域的信息，从所述输入图像数据中提取出关于面部图像的图像信息，

所述处理控制器基于面部信息提取部分中提取出的图像信息中所包括的色调信息，来控制色调调节部分中的色调调节量。

14.如权利要求13所述的设备，

其中，所述面部检测部分基于所述输入图像数据，针对每一预定数目的帧来检测面部图像，并且获得关于存在面部图像的面部图像区域的信息，

其中，所述处理控制器的面部信息提取部分针对每一帧，基于面部检测部分中获得的关于面部图像区域的信息，从所述输入图像数据中提取出关于面部图像的图像信息，

其中，所述处理控制器进一步包括面部信息保留部分，其保留面部信息提取部分中所提取出的图像信息，并且

其中，所述处理控制器基于面部信息保留部分中保留的图像信息中所包括的色调信息，来控制色调调节部分中的色调调节量。

15.如权利要求1所述的设备，

其中，所述数据处理部分包括对比度校正部分，其基于用于对比度校正的输入输出特性曲线，对所述输入图像数据执行对比度校正，以获得所述输出图像数据，并且

其中，所述处理控制器包括：

面部信息提取部分，其基于面部检测部分中获得的关于面部图像区域的信息，从所述输入图像数据中提取出关于面部图像的图像信息；以及

亮度信息提取部分，其基于所述输入图像数据，提取关于整个屏幕的亮度信息，

所述处理控制器基于面部信息提取部分中提取出的图像信息中所包括的亮度信息以及亮度信息提取部分中提取出的亮度信息，来控制对比度校正部分中所使用的用于对比度校正的输入输出特性曲线。

16.如权利要求15所述的设备，

其中，所述面部检测部分基于所述输入图像数据，针对每一预定数目的帧来检测面部图像，并且获得关于存在面部图像的面部图像区域的信息，

其中，所述处理控制器的面部信息提取部分针对每一帧，基于面部检测部分中获得的关于面部图像区域的信息，从所述输入图像数据中提取出关于面部图像的图像信息，

其中，所述处理控制器进一步包括面部信息保留部分，其保留面部信息提取部分中所提取出的图像信息，并且

其中，所述处理控制器基于面部信息保留部分中保留的图像信息中所包括的亮度信息以及亮度信息提取部分中提取出的亮度信息，来控制对比度校正部分中所使用的用于对比度校正的输入输出特性曲线。

17.如权利要求2所述的设备，

其中，所述数据处理部分包括：

平滑部分，其在保持边缘的同时对所述输入图像数据进行平滑，以生成平滑后的图像数据；

减法部分，其从所述输入图像数据中减去平滑部分中所生成的平滑后的图像数据；

放大部分，其对减法部分的输出数据进行放大；

对比度校正部分，其基于用于对比度校正的输入输出特性曲线，对平滑部分中生成的平滑后的图像数据执行对比度校正；以及

加法部分，其将对比度校正部分的输出数据加至放大部分的输出数据，以获得所述输出图像数据，并且

其中，所述处理控制器进一步包括亮度信息提取部分，其基于所述输入图像数据，提取关于整个屏幕的亮度信息，

所述处理控制器基于关于图像区域检测部分中检测到的图像区域的信息，来控制放大部分的增益，并且

所述处理控制器基于面部信息提取部分中提取出的图像信息中所包括的亮度信息以及亮度信息提取部分中提取出的亮度信息，来控制对比度校正部分中所使用的用于对比度校正的输入输出特性曲线。

18.如权利要求17所述的设备，

其中，所述面部检测部分基于所述输入图像数据，针对每一预定数目的帧来检测面部图像，并且获得关于存在面部图像的面部图像区域的信息，

其中，所述处理控制器的面部信息提取部分针对每一帧，基于面部检测部分中获得的关于面部图像区域的信息，从所述输入图像数据中提取出关于面部图像的图像信息，

其中，所述处理控制器进一步包括面部信息保留部分，其保留面部信息提取部分中所提取出的图像信息，

其中，所述处理控制器的图像区域检测部分基于所述输入图像数据，检测存在与面部信息保留部分中保留的图像信息相对应的图像的图像区域，并且

其中，所述处理控制器基于面部信息保留部分中保留的图像信息中所包括的亮度信息以及亮度信息提取部分中提取出的亮度信息，来控制对比度校正部分中所使用的用于对比度校正的输入输出特性曲线。

19.一种图像处理方法，其包含以下步骤：

处理输入图像数据，并获得输出图像数据；

基于所述输入图像数据来检测面部图像，并且获得关于存在面部图像的面部图像区域的信息；以及

基于面部检测步骤中获得的关于面部图像区域的信息，来控制数据处理步骤的处理。

Images