CN102138329B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明涉及图像处理设备、图像处理方法以及程序，其能够从照明环境不同的多个图像去除由于照明分量导致的影响并且生成具有高颜色再现性的图像。去马赛克处理单元221对在基准马赛克图像保持单元111中保存的基准图像执行去马赛克处理。去马赛克处理单元22对在处理目标马赛克图像保持单元112中保存的处理目标图像执行去马赛克处理。白平衡计算单元230关于基准图像计算用于每个通道的白平衡值。通道增益计算单元250基于基准图像和处理目标图像的RGB值以及基准图像的白平衡，计算用于转换照明分量的每个通道的增益。在增益计算的同时，考虑过黑状况、饱和等。通道增益应用单元260将由通道增益计算单元250计算的增益应用于处理目标图像的每个通道。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及图像处理设备，更特别地，涉及用于从被拍摄图像生成具有高颜色再现性的图像的图像处理设备、使用其的处理方法以及使计算机执行这种方法的程序。 

背景技术

使用照明环境不同的多个图像的图像处理的典型示例是使用两个图像(即，闪光发射图像和非闪光发射图像)的白平衡处理，用于通过发射闪光改善图像的颜色再现性的目的。通常，由于闪光和周围环境光在色温方面不同，当使用闪光时，照明的色平衡在发射闪光的地方和其他地方之间不同。为此原因，照射物体的光的色平衡对于每个区域改变。如在相关领域中用于对屏幕执行均匀白平衡的增益处理中，存在发生崩溃的情况。关于此，已经做出从两个图像(闪光发射图像和非闪光发射图像)分离照明的闪光分量和周围环境光分量，并且为每个像素调节白平衡增益的尝试(例如，参见PTL1)。 

引文列表 

专利文献 

PTL1：日本未审查专利申请公开No.2005-210485(图1) 

发明内容

技术问题 

在使用多个图像的相关领域的技术中，通过计算两个图像之间的差异来分离照明分量，通过处理基于在单一照明环境下拍摄的图像的白平衡来处理的每个分量，以及通过结合多个分量，来解决白平衡问题。然而，在相关领域的技术中，存在以下两个主要问题。 

第一个问题在于，不可能处理周围环境光的改变。为了将基准图像和处理目标图像之间的差异作为单一照明的问题来处理，在两个图像之间除了闪光分量之外的照明分量必须是恒定的。为此原因，在图像拍摄时间发生改变(诸如，阳光减少)的情况下，不可能成功地处理这种改变。 

第二个问题在于，很难处理移动主体。在属于在基准图像和处理目标图像之间移动的物体的像素中，比较具有不同光谱反射率的像素，并且不能执行基于图像之间的差异的照明分量的分离。为此原因，在相关领域的技术中，存在不可能处理相机的方位改变的图像、包括移动主体的图像等的结合等问题。关于用于多个图像的这些图像处理问题，提出了解决手段，诸如，使用三脚架、或者使用全局运动向量和块匹配执行的定位。然而，在使用三脚架的情况下，可以补偿由相机移动导致的偏移量，但是不可能处理移动主体。在全局运动向量和块匹配中，通常，基于SAD(绝对差值的和)的两个图像之间的差异来估计运动。然而，在照明环境不同的情况下，不可能确定差异是由照明分量的改变还是由移动主体导致，出现准确度低的问题。 

考虑到这种情况做出本发明，并且目标在于从具有不同照明环境的多个图像去除由于照明分量导致的影响并且生成具有高颜色再现性的图像。问题的解决方案 

本发明已经解决了上述问题。本发明的第一方面提供了一种图像处理设备、图像处理方法和程序。图像处理设备包括：通道增益计算单元，基于在不同照明环境下拍摄的基准图像和处理目标图像，计算用于转换在每个像素位置处的每个通道的照明分量的增益；以及通道增益应用单元，将增益应用于处理目标图像。结果，产生通过使用在不同照明环境下拍摄的基准图像，转换用于在处理目标图像的每个像素位置处的每个通道的照明分量的效果。 

此外，在第一方面，通道增益计算单元可以按照下述方式来计算增益：处理目标图像的特定通道的增益是固定的并且使处理目标像素的色平衡与基准图像的色平衡相匹配。此外，通道增益计算单元可以固定处理目标图像的亮度值并且可以计算增益，使得处理目标像素的色平衡与基准图像的色平衡匹配。 

此外，在第一方面，通道增益计算单元可以在计算的增益的值超过预定上限值的情况下将上限值设置为增益，或者在计算的增益的值低于预定下限值的情况下将下限值设置为增益。结果，产生去除从上限值和下限值 的范围偏离的增益的效果。 

此外，在第一方面，通道增益计算单元可以包括：饱和程度计算单元，基于基准图像计算像素值的像素的饱和程度，以及饱和补偿单元，根据饱和程度执行用于补偿增益的处理。结果，产生根据饱和程度补偿增益的效果。 

此外，在第一方面，通道增益计算单元可以包括：过黑状况程度计算单元，基于基准图像的像素值计算像素的过黑状况程度；以及过黑状况补偿单元，根据过黑状况程度执行用于补偿增益的处理。通道增益计算单元可以包括：过黑状况程度计算单元，基于基准图像的像素值和基准图像与处理目标图像的通道间比率，计算像素的过黑状况程度，以及过黑状况补偿单元，根据过黑状况程度执行用于补偿增益的处理。结果，产生根据过黑状况程度补偿增益的效果。 

此外，在第一方面，图像处理设备还可以包括：曝光补偿单元，调节强度，使得曝光强度变为相等，以补偿基准图像和处理目标图像的图像拍摄条件之间的差异。结果，产生补偿图像拍摄条件的差值的效果。 

此外，在第一方面，通道增益应用单元可以包括：饱和可靠性计算单元，基于基准图像的像素值计算像素的饱和可靠性，以及平滑处理单元，基于饱和可靠性对增益执行空间平滑，然后将增益应用于处理目标像素。结果，产生通过基于饱和可靠性执行空间平滑的增益来转换照明分量的效果。 

此外，在第一方面，通道增益应用单元可以包括：过黑状况可靠性计算单元，基于基准图像的像素值计算像素的过黑状况可靠性，以及平滑处理单元，基于过黑状况可靠性对增益执行空间平滑，然后将增益应用于处理目标像素。通道增益应用单元可以包括：过黑状况可靠性计算单元，基于基准图像的像素值和基准图像与处理目标图像的通道间比率，计算像素的过黑状况可靠性，以及平滑处理单元，基于过黑状况可靠性对增益执行空间平滑，并将增益应用于处理目标像素。结果，产生通过基于过黑状况可靠性执行空间平滑的增益来转换照明分量的效果。 

此外，在第一方面，通道增益应用单元可以包括：移动主体可靠性计算单元，基于基准图像和处理目标图像的相应像素中的特性值的改变，确定像素是否为在空间中移动的主体，并且计算移动主体可靠性；以及平滑处理单元，基于移动主体可靠性对增益执行空间平滑，然后将增益应用于 处理目标像素。在第一方面，移动主体可靠性计算单元可以包括：比率反转程度计算单元，根据处理目标图像的像素的信号强度的改变是否与整个基准图像和处理目标图像的照明分量的改变的方向相反，来计算移动主体可靠性。结果，产生通过基于移动主体可靠性执行空间平滑的增益来转换照明分量的效果。 

此外，在第一方面，图像处理设备可以进一步包括：分辨率转换单元，转换基准图像或处理目标图像的分辨率，然后将图像提供给通道增益计算单元。此时，在第一方面，分辨率转换单元可以通过下述方式来执行分辨率转换：基于像素的疏化进行缩图，或者可以通过下述方式来执行分辨率转换：基于像素块中的像素的平均值进行缩图。分辨率转换单元可以通过下述方式来执行分辨率转换：基于像素块中的像素的中心值进行缩图。此外，分辨率转换单元可以通过边缘保留型平滑滤波处理执行分辨率转换。结果，产生使基准图像的尺寸与处理目标图像的尺寸匹配的效果。 

此外，在第一方面，图像处理设备可以进一步包括：帧存储器，用于存储被连续拍摄的图像；加法单元，在对被连续拍摄的图像执行加权的同时添加被连续拍摄的图像，并且生成输入图像；以及控制参数确定单元，确定用于连续图像拍摄的控制参数，以执行图像拍摄循环控制。结果，产生使用由连续拍摄的多个图像结合的图像作为输入图像的效果。 

此外，在第一方面，可以使用其中基准图像是在没有闪光发射的情况下拍摄的图像而处理目标图像是在有闪光发射的情况下拍摄的图像的结合。 

此外，在第一方面，通道增益应用单元可以包括：亮度计算单元，基于处理目标图像的像素值来计算亮度，以及平滑处理单元，基于像素之间的亮度的差异对增益执行空间平滑，然后将增益应用于处理目标像素。在该情况下，亮度计算单元使用预先对处理目标图像的像素值设置的权重，计算线性和作为亮度，并且可以基于多重回归分析来计算亮度，在多重回归分析中，基准图像与处理目标图像的相应像素的强度比率为对象变数并且处理目标图像的像素值为解释变数。 

此外，本发明的第二方面提供了一种图像处理设备，包括：块直方图计算单元，针对将区域在空间轴方向和亮度轴方向上分为多个部分的块，将计算处理目标图像的像素的频率值，作为块直方图；块积分值计算单元，计算属于每个块的特性值的积分值；加权乘积和单元，基于目标像素位置处的亮度值、块直方图以及块积分值计算目标像素位置处的全局增益值； 以及增益应用单元，将全局增益值应用于处理目标图像。结果，产生获得全局增益值，并且通过使用在不同照明环境下拍摄的基准图像并且使用全局增益值，转换用于在处理目标图像的每个像素位置处的每个通道的照明分量的效果。 

此外，在第二方面，针对每个块的特性值的积分值对于每个通道可以是用于转换针对属于每个块的像素的每个通道的照明分量的增益的总计数，或者对于每个通道可以是用于转换属于每个块的像素的照明分量的增益的中心值乘以块中的处理目标图像的像素的频率值。 

此外，在第二方面，加权乘积和单元可以包括：第一内插单元，通过使用预先限定的在空间轴方向上的权重函数执行块直方图到目标像素位置的内插；第二内插单元，通过使用预先限定的在空间轴方向上的权重函数执行用于每个块的特性值到目标像素位置的内插；第一乘积和单元，通过使用预先限定的在亮度轴方向上的权重函数计算内插块直方图的负载和；第二乘积和单元，通过使用预先限定的在亮度轴方向上的权重函数计算内插特性值的负载和；以及除法单元，将第二乘积和单元的输出除以第一乘积和单元的输出。此外，可以通过互换顺序，按照亮度方向上的内插和空间方向上内插的顺序，执行加权乘积和单元中的存储和管理处理。 

此外，在第二方面，加权乘积和单元可以包括：第一除法单元，将每个块的特性值除以块直方图的值，以计算每个块位置处的平均特性值；比较单元，将平均特性值与针对目标像素位置的特性值进行比较以计算权重；第一乘法单元，将比较单元中计算的权重乘以在相应块位置处针对每个块的特性值；第二乘法单元，将比较单元中计算的权重乘以在相应块位置处块直方图的值；第一内插单元，根据预先限定的在空间轴方向上的权重函数，执行作为第一乘法单元的输出的加权块直方图到目标像素位置的内插；第二内插单元，通过使用预先限定的空间轴方向上的权重函数，执行作为第二乘法单元的输出的针对每个块的加权特性值到目标像素位置的内插；第一乘积和单元，通过使用预先限定的在亮度轴方向上的权重函数，计算内插块直方图的负载和；第二乘积和单元，通过使用预先限定的在亮度轴方向上的权重函数，计算内插特性值的负载和；以及第二除法单元，将第二乘积和单元的输出除以第一乘积和单元的输出。 

根据本发明，可以获得较好的优点，使得可以从照明环境不同的多个图像去除由于照明分量导致的影响，并且可以生成具有高颜色再现性的图像。 

附图说明

图1示出本发明的实施例中的图像拍摄装置的示例。 

图2示出本发明的第一实施例的图像处理电路23的处理功能的示例。 

图3示出作为本发明的实施例中假设的马赛克图像的颜色布置的示例的拜尔布置。 

图4示出作为在本发明的实施例中假设的马赛克图像的颜色布置的示例的拜尔布置中的拜尔集合。 

图5示出在本发明的第一实施例中的照明分量转换处理单元120的配置的示例。 

图6示出在本发明的第一实施例中的通道增益计算单元250的配置的示例。 

图7示出在本发明的第一实施例中的过黑状况程度的示例。 

图8示出在本发明的第一实施例中的过黑状况程度的另一示例。 

图9示出在本发明的第一实施例中的饱和程度的示例。 

图10示出在本发明的实施例中的通道增益应用单元260的配置的示例。 

图11示出在本发明的实施例中的图像拍摄装置的操作的示例。 

图12示出在本发明的第一实施例中的照明分量转换处理过程的操作的示例。 

图13示出在本发明的第一实施例中的通道增益计算处理过程的操作的示例。 

图14示出在本发明的第一实施例中的通道增益应用处理过程的操作的示例。 

图15示出在本发明的第二实施例中的照明分量转换处理单元120的配置的示例。 

图16示出在本发明的第二实施例中的通道增益应用单元260的配置的示例。 

图17示出在本发明的第二实施例中的饱和可靠性的示例。 

图18示出在本发明的第二实施例中的过黑状况可靠性的示例。 

图19示出在本发明的第二实施例中的过黑状况可靠性的另一示例。 

图20示出在本发明的第二实施例中的移动主体可靠性计算单元460的配置的示例。 

图21示出在本发明的第二实施例中的比率反转程度的示例。 

图22示出在本发明的第二实施例中的预测比率的示例。 

图23示出在本发明的第二实施例中的光谱反射率改变量的示例。 

图24示出在本发明的第二实施例中的通道增益应用单元260的操作的示例。 

图25示出在本发明的实施例中的移动主体可靠性计算单元460的操作的示例。 

图26示出在本发明的第三实施例中的平滑处理单元480的处理功能的示例。 

图27示出在本发明的第三实施例中的块积分值计算单元531和532以及块直方图计算单元533的配置的示例。 

图28示出在本发明的第三实施例中的加权乘积和单元561和562的配置的示例。 

图29示出在本发明的第三实施例中的亮度权重函数的形状的示例。 

图30示出在本发明的第三实施例中的平滑处理单元480的前半部分。 

图31示出在本发明的第三实施例中的平滑处理单元480的操作的示例的后半部分。 

图32示出在本发明的第三实施例中的块积分值计算单元531和532以及块直方图计算单元533的操作的示例。 

图33示出在本发明的第三实施例中的加权乘积和单元561和562的操作的示例。 

图34示出在本发明的第四实施例中的照明分量转换处理单元120的配置的示例。 

图35示出在本发明的第四实施例中的通道增益应用单元260的配置的示例。 

图36示出在本发明的第四实施例中的平滑处理单元480的配置的示 例。 

图37示出在本发明的第四实施例中的照明分量转换处理单元120的操作的示例。 

图38示出在本发明的第四实施例中的通道增益应用单元260的操作的示例。 

图39示出在本发明的第四实施例中的平滑处理单元480的操作的示例的前半部分。 

图40示出在本发明的第四实施例中的平滑处理单元480的操作的示例的后半部分。 

图41示出在本发明的第五实施例中的照明分量转换处理单元120的配置的示例。 

图42示出在本发明的第五实施例中的帧加法单元280的配置的示例。 

图43示出在本发明的第五实施例中的照明分量转换处理单元120的操作的示例的前半部分。 

图44示出在本发明的第五实施例中的照明分量转换处理单元120的操作的示例的后半部分。 

图45示出在本发明的第六实施例中的图像处理电路23的处理功能的示例。 

图46示出在本发明的第七实施例中的图像处理电路23的处理功能的示例。 

图47示出在本发明的第八实施例中的图像处理电路23的处理功能的示例。 

图48示出在本发明的实施例中的平滑处理单元480的处理功能的示例。 

图49示出在本发明的实施例中的平滑处理单元480的处理功能的另一示例。 

图50示出在本发明的第九实施例中的平滑处理单元480的操作的示例的前半部分，其对应于图48的处理功能的示例。 

图51示出在本发明的第九实施例中的平滑处理单元480的操作的示例的后半部分，其对应于图48的处理功能的示例。 

图52示出在本发明的第九实施例中的平滑处理单元480的操作的第一示例，其对应于图49的处理功能的示例。 

图53示出在本发明的第九实施例中的平滑处理单元480的操作的第二示例，其对应于图49的处理功能的示例。 

图54示出在本发明的第九实施例中的平滑处理单元480的操作的第三示例，其对应于图49的处理功能的示例。 

图55示出在本发明的第十实施例中的平滑处理单元480的处理功能的示例。 

图56示出在本发明的第十实施例中的加权乘积和单元561和562的配置的示例。 

图57示出在本发明的第十实施例中的加权乘积和的权重θ的计算的示例。 

图58示出在本发明的第十实施例中的平滑处理单元480的处理功能的另一示例。 

图59示出在本发明的第十实施例中的与平滑处理单元480的图58的处理功能对应的加权乘积和单元561和562的配置的示例。 

图60示出在本发明的第十实施例中的与平滑处理单元480的图55的处理功能的示例对应的操作的示例。 

图61示出在本发明的第十实施例中的加权乘积和单元561和562的操作的示例的前半部分。 

图62示出在本发明的第十实施例中的加权乘积和单元561和562的操作的示例的后半部分。 

图63示出在本发明的第十实施例中的平滑处理单元480的操作的示例。 

具体实施方式

此后，将描述用于执行本发明(以下称为实施例)的模式。按照以下顺序给出说明。 

1.第一实施例(通过乘法执行增益应用的示例) 

2.第二实施例(通过权重平滑执行增益应用的示例) 

3.第三实施例(通过使用块直方图的边缘保留型平滑执行增益应用的示例) 

4.第四实施例(对输入图像执行分辨率转换的示例) 

5.第五实施例(通过使用帧存储器对输入图像进行结合的示例) 

6.第六实施例(在进行照明分量转换处理的阶段执行白平衡处理的示例) 

7.第七实施例(使用已经执行了白平衡处理的输入图像的示例) 

8.第八实施例(使用已经执行了伽马校正处理的输入图像的示例) 

9.第九实施例(使用多重回归分析计算亮度的示例) 

10.第十实施例(使用增益执行平滑的示例) 

<1.第一实施例> 

[图像拍摄装置的配置的示例] 

图1示出本发明的实施例中的图像拍摄装置的示例。当被广泛分类时，该图像拍摄装置包括：光学系统、信号处理系统、记录系统、显示系统以及控制系统。 

光学系统包括：透镜11，用于从主体的光学图像收集光；孔径12，用于调节光学图像的光量；以及图像拍摄元件13，用于对所收集的光学图像执行光电转换，以将其转换为电信号。图像拍摄元件13通过例如CCD图像传感器或者CMOS图像传感器实现。 

信号处理系统包括：采样电路21、A/D转换电路22以及图像处理电路23。采样电路21对来自图像拍摄元件13的电信号进行采样。该采样电路21通过例如双相关采样电路(CDS)实现。结果，减少在图像拍摄元件13中产生的噪声。A/D转换电路22将从采样电路21提供的模拟信号转换为数字信号。图像处理电路23对从A/D转换电路22输入的数字信号执行预定图像处理。图像处理电路23通过例如DSP(数字信号处理器)实现。同时，随后将描述由图像处理电路23执行的处理的详情。 

记录系统包括：存储器32，用于存储图像信号；以及编码器/解码器31，用于对由图像处理电路23处理的图像信号进行编码，将其记录在存储器32中，进一步从存储器32读取图像信号，并且对其进行解码，并且将图像信号提供给图像处理电路23。同时，存储器32可以是磁盘、光盘、磁光盘、半导体存储器等。 

显示系统包括：显示驱动器41，用于将由图像处理电路23处理的图像信号输出至显示单元42；以及显示单元42，用于显示与输入图像信号对应的图像。显示单元42通过例如LCD(液晶显示器)等实现，并且具有探测器(finder)的功能。 

控制系统包括：定时发生器51、操作输入接受单元52、驱动器53、控制单元54、闪光发射单元61以及闪光控制单元62。定时发生器51控制图像拍摄元件13、采样电路21、A/D转换电路22和图像处理电路23的操作定时。操作输入接受单元52接受快门操作和由用户输入的其他命令。驱动器53是用于连接外围设备的驱动器。磁盘、光盘、磁光盘、半导体存储器等连接至驱动器53。控制单元54控制整个图像拍摄装置。该控制单元54通过驱动器53读取存储在它们中的控制程序，并且根据读取的控制程序、来自用户的命令(其从操作输入接受单元52输入)等执行控制。闪光发射单元61用光在图像拍摄时照射主体，并且有时被称为闪光。闪光控制单元62控制闪光发射单元61，并且使闪光发射单元61根据来自用户的指示、邻近亮度等发光。 

图像处理电路23、编码器/解码器31、存储器32、显示驱动器41、定时发生器51、操作输入接受单元52、控制单元54以及闪光控制单元62通过总线59相互连接。 

在图像拍摄装置中，主体的光学图像(入射光)通过透镜11和孔径12进入图像拍摄元件13，通过图像拍摄元件13被光电转换，以变为电信号。通过采样电路21去除所获得的电信号的噪声分量。在电信号通过A/D转换电路22被数字化之后，其被暂时存储在结合在图像处理电路23中的图像存储器(未示出)中。 

同时，在通常状态下，在信号处理系统上的定时发生器51的控制下，图像信号在结合在图像处理电路23中的图像存储器中以固定帧速率不断地被盖写。结合在图像处理电路23中的图像存储器的图像信号通过显示驱动器41输出至显示单元42，并且相应图像被显示在显示单元42上。 

显示单元42还用作用于图像拍摄装置的探测器。在用户按下包括在操作输入接受单元52中的快门按钮的情况下，控制单元54控制信号处理系统，使得定时发生器51保存紧接在按下快门按钮之后的图像信号，即，在图像处理电路23的图像存储器中图像信号不被盖写。在图像处理电路23的图像存储器中保存的图像数据由编码器/解码器31编码并且记录在存储器32中。利用诸如以上描述的那些的图像拍摄装置的操作，一个图 像数据的获取完成。 

[图像处理电路23的处理功能的示例] 

图2示出在本发明的第一实施例中的图像处理电路23的处理功能的示例。图像处理电路23包括：照明分量转换处理单元120、白平衡处理单元130、去马赛克处理单元140、灰度校正处理单元150、伽马校正处理单元160以及YC转换处理单元170。图像处理电路23通过使用由A/D转换电路22数字化的马赛克图像作为输入图像执行图像处理。马赛克图像使得与R、G和B的颜色中之一对应的强度信号存储在每个像素中，并且对于其颜色布置，假设图3中所示的拜尔布置。同时，马赛克图像有时被称为RAW(原始)数据。此外，存储在每个像素中的强度信号不限于R、G和B，并且可以是C、M和Y，或者除此之外的颜色信息。 

图像处理电路23包括作为输入单元的基准马赛克图像保持单元111和处理目标马赛克图像保持单元112。基准马赛克图像保持单元111是用于保存用作基准(标准)的马赛克图像(基准图像M_c)的存储器。处理目标马赛克图像保持单元112是用于保存用作处理目标(主体)的马赛克图像(处理目标图像M_s)的存储器。在本发明的实施例中，假设通过使用基准图像中的色平衡(颜色的比率)调节处理目标图像的色平衡。 

照明分量转换处理单元120通过使用基准图像中的颜色的比率转换处理目标图像的照明分量，并且生成马赛克图像M₁。即，处理目标图像乘以用于每个通道的合适系数，以变为等于基准图像的色平衡，以被转换为单光源的色平衡。同时，随后将描述照明分量转换处理单元120的配置。 

白平衡处理单元130对马赛克图像M₁执行白平衡处理。白平衡处理单元130根据每个像素强度拥有的颜色，将合适系数乘以马赛克图像M₁，使得无彩色的主体区域的色平衡变为无彩色。已经执行了白平衡处理的马赛克图像M_w被提供给去马赛克处理单元140。 

去马赛克处理单元140执行内插处理(去马赛克处理)，使得在马赛克图像M_w的像素位置处充分准备R、G和B的所有通道的强度。已经执行了该内插处理的去马赛克图像[R_g，G_g，B_g]^T是与R(红)、G(绿)、和B(蓝)三色对应的三个图像(RGB图像)，并且被提供给灰度校正处理单元150。同时，矩阵A^T表示矩阵A的转置矩阵。 

灰度校正处理单元150对去马赛克处理单元140的输出的图像[R_g，G_g，B_g]^T中的每个像素执行灰度校正处理。已经执行了灰度校正处理的图像[R_u， G_u，B_u]^T被提供给伽马校正处理单元160。 

伽马校正处理单元160对图像[R_u，G_u，B_u]^T执行伽马校正处理。伽马校正处理是用于在显示单元42上再现接近输入图像的显示的校正。伽马校正处理单元160的输出[R_u ^γ，G_u ^γ，B_u ^γ]^T被提供给YC转换处理单元170。 

YC转换处理单元170对伽马校正后的3-通道图像[R_u ^γ，G_u ^γ，B_u ^γ]^T执行YC矩阵处理和用于色度分量的频带限制，从而输出亮度信号Y和色差信号C(Cr、Cb)。亮度信号和色差信号分别保存在Y图像保持单元191和C图像保持单元192中，并且被提供给图像处理电路23的随后级的编码器/解码器31。 

同时，在通常情况下，RGB信号被提供给显示驱动器41。该RGB信号使得作为YC转换处理单元170的输出的亮度信号和色差信号被转换为RGB信号。 

[拜尔布置和拜尔集合] 

图3示出作为在本发明的实施例中假设的马赛克图像的颜色布置的示例的拜尔布置。在该拜尔布置中，颜色G的像素被布置成棋盘形图案，颜色R的像素被布置成在除了那些像素之外的位置处在水平方向和垂直方向上每隔一个像素的规则格子的形式，以及颜色B的像素被布置成在其余像素的位置处在水平方向和垂直方向上每隔一个像素的规则格子的形式。 

图4示出作为在本发明的实施例中假设的马赛克图像的颜色布置的示例的拜尔布置中的拜尔集合。在本发明的实施例中，在用于照明分量转换处理单元120中的照明分量的转换处理期间，马赛克图像的水平两个像素×垂直两个像素的四个像素可以被看作一个单位。四个像素的集合将被称为拜尔集合。特别地，将接近四个像素G、B、R和G的位置601用作中心的那四个像素的集合是拜尔集合602。 

[照明分量转换处理单元120的配置的示例] 

图5示出在本发明的第一实施例中的照明分量转换处理单元120的配置的示例。照明分量转换处理单元120包括去马赛克处理单元221和222、白平衡计算单元230、基准图像白平衡保持单元240、通道增益计算单元250以及通道增益应用单元260。 

去马赛克处理单元221对保存在基准马赛克图像保持单元111中的基准图像执行去马赛克处理，并且生成基准图像的去马赛克图像I_c(p)，其 中，为每个像素充分准备获得强度和可靠性必须的通道。同时，p表示每个像素位置。去马赛克处理单元222对在处理目标马赛克图像保持单元112中保存的处理目标图像执行去马赛克处理，并且生成处理目标图像的去马赛克图像I_s(p)，其中，为每个像素充分准备获得强度和可靠性必须的通道。同时，在本发明的第一实施例中，足以为每个像素获得用于获得强度的G通道。 

当将执行去马赛克处理时，去马赛克处理单元221和222可以通过将图4的拜尔集合602作为处理单位，在位置601处执行用于执行去马赛克的简化处理。此时的去马赛克方法可以是对于R和B通道的像素，像素被用作“原样”，并且对于G通道的像素，计算两个像素的平均值的处理。在这种情况下，生成其高度和宽度减少1/2并且充分准备三个通道的图像。此外，可以通过参考较宽区域，为每个像素执行去马赛克处理单元221和222中的去马赛克处理，就像图2的去马赛克处理单元140中的去马赛克处理。在这种情况下，不执行缩减，并且仅执行去马赛克。此外，当为每个像素执行去马赛克处理时，去马赛克之前的像素P_M变为与去马赛克之后的像素p相同，并且从马赛克图像Ms到增益应用单元的线变得不必须。 

白平衡计算单元230为每个通道计算保存在基准马赛克图像保持单元111中的基准图像的白平衡增益。作为此时计算白平衡的方法，可以获得使得基于灰色世界假设，整个屏幕的RGB像素的平均值的比率是1∶1∶1的增益。此外，作为另一种计算方法，与保存在处理目标马赛克图像保持单元112中的处理目标图像一起，白平衡可以被获得作为在日本未审查专利申请公开No.2006-67561的0071至0081段中描述的最优化问题。另外，可以通过类似于图2中的白平衡处理单元130的技术设置白平衡。此外，白平衡可以采用在图像拍摄之前预先设置白平衡的形式。设置方法假设在图像拍摄时间由图像拍摄人基于由另一设备(诸如，色温计)测量的色温来执行设置的方法。通过设置荧光灯或者场景(诸如，多云天空)，可以通过使用预设白平衡进行设置。可替换地，还可以通过使用常规白平衡(白设置)功能拍摄白色体的图像执行设置。所计算的白平衡被存储在基准图像白平衡保持单元240中。 

通道增益计算单元250基于基准图像和处理目标图像的R、G和B值以及基准图像的白平衡，为每个通道计算增益FS(p)用于色平衡调节。增益FS(p)是用于转换处理目标图像的照明分量的用于每个通道的增益 值。如随后描述的，该增益可以通过使用通道中的任一个作为基准，获得基准图像与处理目标图像的比率来获得。例如，在G通道被用作基准的情况下，G通道的增益FS_G(p)是“1”。由通道增益计算单元250计算的增益被提供给通道增益应用单元260。 

通道增益应用单元260将由通道增益计算单元250计算的增益提供给处理目标图像的每个通道。虽然随后将描述增益应用的详情，但是考虑使处理目标图像乘以增益的最简单的应用形式。已经由通道增益应用单元260执行了增益应用的马赛克图像M₁被保存在照明分量转换马赛克图像保持单元290中，并且在随后阶段被提供给白平衡处理单元130。 

[通道增益计算单元250的配置的示例] 

图6示出在本发明的第一实施例中的通道增益计算单元250的配置的示例。通道增益计算单元250包括颜色转换增益计算单元311和312，并且计算增益S(p)。 

在本发明的实施例中，通过使用关于相同主体在不同照明环境下拍摄的两个图像(基准图像和处理目标图像)，为每个像素的每个通道获得增益，并且应用该增益，从而生成具有高颜色再现性的图像。基准图像是其用于每个像素的白平衡已经被获得或者其白平衡可以通过相关领域的技术等容易地获得的图像。另一方面，假设处理目标图像为用于每个像素的白平衡增益的估计不同于图像本身(诸如，在具有不同于基准图像的色温的多个光源下拍摄的图像)的图像。结果，通过获取基准图像的白平衡，变得可以间接地计算处理目标图像的白平衡，使得可以解决关于在多个光源下拍摄的图像的白平衡的问题。作为特定结合，假设在不使闪光发光的情况下拍摄的图像和在使闪光发光的图像的结合。此外，作为另一示例，假设具有由于荧光灯的影响导致的带形噪声(闪烁)的图像和不具有带形噪声的图像的结合、存在多个光源的环境等中改变光源的图像的结合。 

当在每个像素中由传感器测量的强度被表示为I，照明强度为E，并且光谱反射率为ρ时，可以根据以下等式的关系做出近似。 

I(p)＝E(p)·ρ(p) 

其中， 

[数学式1] 

$I\left(p\right)=\left[\begin{array}{c}R\left(p\right)\\ G\left(p\right)\\ B\left(p\right)\end{array}\right]$

$E\left(p\right)=\left[\begin{array}{ccc}{E}_R\left(p\right)& 0& 0\\ 0& E_G\left(p\right)& 0\\ 0& 0& E_B\left(p\right)\end{array}\right]$

$\mathrm{\&rho;}\left(p\right)=\left[\begin{array}{c}{\mathrm{\&rho;}}_R\left(p\right)\\ {\mathrm{\&rho;}}_G\left(p\right)\\ {\mathrm{\&rho;}}_B\left(p\right)\end{array}\right]$

其中，当通过将基准图像的强度设置为I_c并且将处理目标图像的强度设置为I_s来计算两个图像的比率时，可以近似消除用于每个通道的光谱反射率ρ的影响，并且不取决于光谱反射率的照明分量的比率Ko可以被获得，如以下等式。 

[数学式2] 

$\mathrm{Ko}\left(p\right)=\frac{I_s\left(p\right)}{I_o\left(p\right)}\left[\begin{array}{c}\frac{R_s\left(p\right)}{R_c\left(p\right)}\\ \frac{G_s\left(p\right)}{G_c\left(p\right)}\\ \frac{B_s\left(p\right)}{B_c\left(p\right)}\end{array}\right]=\left[\begin{array}{c}\frac{E_{\mathrm{sR}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_R\left(p\right)}{E_{\mathrm{cR}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_R\left(p\right)}\\ \frac{E_{\mathrm{sG}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_G\left(p\right)}{E_{\mathrm{cG}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_G\left(p\right)}\\ \frac{E_{\mathrm{sB}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_B\left(p\right)}{E_{\mathrm{cB}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_B\left(p\right)}\end{array}\right]$

$=\left[\begin{array}{c}\frac{E_{\mathrm{sR}}\left(p\right)}{E_{\mathrm{cR}}\left(p\right)}\\ \frac{E_{\mathrm{sG}}\left(p\right)}{E_{\mathrm{cG}}\left(p\right)}\\ \frac{E_{\mathrm{sB}}\left(p\right)}{E_{\mathrm{cB}}\left(p\right)}\end{array}\right]=\left[\begin{array}{c}{\mathrm{Ko}}_R\left(p\right)\\ {\mathrm{Ko}}_G\left(p\right)\\ {\mathrm{Ko}}_B\left(p\right)\end{array}\right]$

当比较两个图像时，通过校正图像拍摄条件以使图像拍摄条件一致，可以使值Ko标准化，以使Ko为纯照明色平衡的比率。通过将处理目标像素I_s除以值Ko，可以将处理目标像素的照明分量映射至基准图像的照明的色平衡。然而，如果处理目标像素I_s被简单地除以Ko以及色平衡，则使信号强度与基准图像的强度一致，从而失去闪光的强度的改进优点。从而，为了保持照明强度，添加取消强度改变的校正，并且增益S可以被表示为以下等式。 

[数学式3] 

$S\left(p\right)=\frac{\mathrm{KI}\left(p\right)}{\mathrm{Ko}\left(p\right)}$

其中，KI表示根据强度的定义被确定用于每个像素的值。在本发明的实施例中，以下关系被用于固定类似于典型白平衡的增益的G通道的值。 

KI(p)＝KO_G(p)＝G_s(p)/G_c(p) 

即， 

[数学式4] 

$S\left(p\right)=\frac{{\mathrm{Ko}}_G\left(p\right)}{\mathrm{ko}\left(p\right)}=\left[\begin{array}{c}\frac{G_s\left(p\right)/G_c\left(p\right)}{R_s\left(p\right)/R_c\left(p\right)}\\ \frac{G_s\left(p\right)/G_c\left(p\right)}{G_s\left(p\right)/G_c\left(p\right)}\\ \frac{G_s\left(p\right)/G_c\left(p\right)}{B_s\left(p\right)/B_c\left(p\right)}\end{array}\right]=\left[\begin{array}{c}\frac{G_s\left(p\right)\&CenterDot;R_c\left(p\right)}{G_c\left(p\right)\&CenterDot;R_s\left(p\right)}\\ 1\\ \frac{G_s\left(p\right)\&CenterDot;B_c\left(p\right)}{G_c\left(p\right)\&CenterDot;B_s\left(p\right)}\end{array}\right]=\left[\begin{array}{c}{S}_R\left(p\right)\\ S_G\left(p\right)\\ S_B\left(p\right)\end{array}\right]$

颜色转换增益计算单元311和312根据以上等式分别计算增益S_R(p)和S_B(p)。同时，在本发明的实施例中，由于假设G通道的值是固定的，因而增益S_G(p)总是变为“1”。同时，G通道的值是固定的原因在于，G通道的信号具有最大像素数量，此外，灵敏度高，从而可靠性被认为高。 

同时，在本发明的实施例中，通过图像之间的相同通道的比率Ko计算增益S。可以通过改变计算顺序来实现同一处理。通常，除法处理是计算成本高的处理。为了减少计算次数，优选使用诸如被转换为对数之后的倒数查找表或减法的处理的技术。此外，对值KI，不必说，可以使用除了G通道之外的比率，诸如，用于每个像素的亮度值。 

通过在通道增益应用单元260中将以此方式获得的增益乘以每个像素，可以在基准图像的色平衡处获得其照明强度等于处理目标图像的照明强度的图像。在根据本发明的实施例的技术中，不执行光源的分离，并且通过将处理目标图像的结合光看作一个光源，将结合光映射至基准图像的照明的色平衡。为此原因，即使两个图像的差异由多个光源形成，实施例也可以正常地操作。 

然而，在以上等式中，假设基准图像的色平衡是正确的。在每个像素的通道是饱和的或者过黑状况发生的情况下，基准像素的色平衡本身是不正确的。此外，即使在与移动主体对应的像素中，比率Ko也不被正确地获得，并且增益S可能变为非常大的值或者非常小的值。为此原因，照明分量转换处理单元120进一步包括上限值限幅单元321和322以及下限值限幅单元331和332。利用该布置，在增益的值中设置上限值和下限值， 并且执行限幅处理，从而抑制极端伪像。此外，照明分量转换处理单元120进一步包括：过黑状况补偿单元341和342、过黑状况程度计算单元345、饱和补偿单元351和352以及饱和程度计算单元355。通过该配置，给出用于过黑状况和饱和的基准值，作出关于增益S的有效性的确定，并且在过黑状况和饱和的时间独有的方案中确定的与补偿值的加权平均被设置为增益，从而获得不发生大崩溃的增益。 

上限值限幅单元321和322执行限幅处理，使得增益S_R(p)或S_B(p)在其超过上限值的情况下变为上限值。下限值限幅单元331和332执行限幅处理，使得增益S_R(p)或S_B(p)在其低于下限值的情况下变为下限值。可以在增益上限值R保持单元323或在增益上限值B保持单元324中预先设置增益上限值。此外，可以在增益下限值R保持单元333或在增益下限值B保持单元334中预先设置增益下限值。增益上限值和增益下限值可以从外部设置，或者可以在内部计算然后设置。当计算增益上限值和增益下限值时，可以使用以下等式。 

[数学式5] 

[数学式6] 

在以上等式中，WB_c是用于基准图像的白平衡，并且WB_s是用于处理目标图像的白平衡。从而，在随后阶段，与白平衡处理单元130中的增益一起应用于每个像素的增益落在与通道对应的基准图像的白平衡和处理目标图像的白平衡之间，并且可以防止大崩溃。在此，对于WB_c，可以使用由白平衡计算单元230计算的值。此外，对于WB_s，通过预先测量图1的闪光发射单元61获得白平衡值。此外，可以使用通过与WB_c相同的技术从处理目标图像获得的值。 

已经由上限值限幅单元321和322执行限幅处理的增益S_macR(p)和S_macB(p)分别被提供给下限值限幅单元331和332。此外，已经由下限值限幅单元331和332执行限幅处理的增益S_mincR(p)和S_mincB(p)分别被提供给过黑状况补偿单元341和342。 

过黑状况程度计算单元345基于基准图像或处理目标图像的特定通道的值，计算指示过黑状况发生的程度的过黑状况程度。在此，假设G通道用于特定通道。通常，在图像传感器中，传感器在过黑状况区域中的特性方面损失线性。另外，关于完全过黑状况发生并且像素值变为0的通道，比率Ko不被正确地获得。从而，对于具有非常小的像素值的像素，必须由另一种方法计算增益。当处理目标图像的目标像素是暗色的时，即使计算不正确的增益并且应用色平衡，其也是不明显的。然而，当目标像素通过闪光具有充足的亮度时，色平衡的崩溃非常显著。作为该结果，优选当基准图像具有非常小的值时，要求过黑状况程度的特性取大值，并且当由于闪光导致处理目标图像变得足够亮时，示出大值。 

从而，对于过黑状况程度PGB(p)，如在图7和以下等式中使用这样 的值，该值从0突然降低到用作特定阈值的Gc的值并且在阈值处和超过阈值处变为0。 

[数学式7] 

其中，G_{white_level}是Gc的上限值。该等式被用于从基准图像的像素值计算过黑状况程度。 

此外，为了解释区域变亮作为闪光被点亮的结果，可以根据图8和以下等式设置过黑状况程度PGB(p)。该等式被用于基于基准图像的像素值和基准图像与处理目标图像的通道间比率来计算过黑状况程度。 

[数学式8] 

其中，expCV是用于校正曝光的差异的系数，其由基准图像和处理目标图像之间的孔径、快门速度以及为传感器设置的ISO敏感度的差异导致。此外，在简化形式中，expCV可以基于Exif信息根据以下等式设置，其中，F表示指示孔径的F值，t表示快门速度，以及ISO表示ISO敏感度。各自下标c表示基准图像，并且下标s表示处理目标图像。 

[数学式9] 

$\mathrm{expCV}=\frac{t_c\&times;{\mathrm{ISO}}_c/{F_c}^2}{t_s\&times;{\mathrm{ISO}}_s\&times;{F_s}^2}$

后者的过黑状况程度突然从0减小到调节曝光的G_s·expCV的值，并且在G_s·expCV处以及之后变为0。当基准图像的G的强度G_c小并且由于单调减小特性导致过黑状况发生时，过黑状况程度具有大值。另外，作为使属性为从0到G_s·expCV向下凸起的形式的结果，当曝光调节之后的基准图像与处理目标图像的比率大时(即，当闪光的贡献比率大时)，过黑状况程度具有大值。在具有这种特性的权重的情况下，加权计算方法不限于上述等式。 

过黑状况补偿值R保持单元343和过黑状况补偿值B保持单元344保存过黑状况补偿值用作当过黑状况将被补偿时的标准。通过考虑处理目标像素的照明分量大部分由闪光产生，将过黑状况补偿值设置为WBs/WBc是有效的。对于此时的WBc和WBs，可以使用用于计算上限值和下限值的与用于白平衡的那些相同的值。此外，对于在此的WBs，可以使用由日本专利No.3889017中披露的双白平衡校正获得的白平衡值。 

过黑状况补偿单元341和342执行使增益S_minc(S_mincR(p)和S_mincB(p))接近保存在过黑状况补偿值R保持单元343和过黑状况补偿值B保持单元344中的过黑状况补偿值的处理。特别地，过黑状况补偿单元341和342根据对S_minc的成比例处理(其中，过黑状况程度PGB(p)为权重)和过黑状况补偿值生成增益S_blacR(p)和S_blacB(p)。 

饱和程度计算单元355基于基准图像的G通道的值，计算指示基准图像饱和(过白)的程度的饱和程度。通常，在图像传感器的饱和区域中，传感器的特性损失线性。然后，另外，关于图像完全饱和并且值达到上限值的通道，比率Ko被不正确地获得。从而，关于像素值非常大的像素，必须通过另一种方法计算增益。对于饱和程度PGS(p)，具有这种特性的值(如图9中的那些)被认为是有效的。即，饱和程度是0一直到特定阈值，并且饱和程度在基准图像的G的强度G_c超过阈值的区域内突然增加。在基准像素饱和的情况下，希望照明分量中的周围环境光分量也在处理目标像素中具有足够的量值。 

饱和补偿值R保持单元353和饱和补偿值B保持单元354保存饱和补偿值用作当饱和将被补偿时的标准。认为该饱和补偿值被设置为“1”是有效的。 

饱和补偿单元351和352执行用于使增益S_blac(S_blacR(p)和S_blacB(p))接近保存在饱和补偿值R保持单元353和饱和补偿值B保持单元354中的饱和补偿值的处理。特别地，饱和补偿单元351和352根据增益S_blac的成比例处理(其中，饱和程度PGS(p)为权重)和饱和补偿值生成增益FS_R(p)和FS_B(p)。 

同时，在上述过黑状况程度计算单元345和饱和程度计算单元355中，通过使用G通道作出关于过黑状况程度和饱和程度的确定，但是该确定不限于G通道。使用R和B通道的确定、或者基于最大值/最小值、线性和以及其亮度值等的确定也是有效的。 

在通道增益计算单元250中，在通过颜色转换增益计算单元311和312获得的增益的强度中，在通过过黑状况程度计算单元345的过黑状况程度确定中，以及在通过饱和程度计算单元355的饱和程度确定中，使用G通道。从而，除了在马赛克图像中的原始通道之外，还必须具有用于每个像素的G通道的值，但是不一定关于除此之外的通道。此外，随着用作用于强度的标准的通道被改变，变成每个像素所必须的该通道也改变。 

[通道增益应用单元260的配置的第一示例] 

图10示出在本发明的实施例中的通道增益应用单元260的配置的第一示例。通道增益应用单元260的配置的第一示例包括乘法单元261和262。乘法单元261将来自去马赛克处理单元222的处理目标图像I_s(p)的R_s(p)乘以来自通道增益计算单元250的增益FS_R(p)。乘法单元262将来自去马赛克处理单元222的处理目标图像I_s(p)的B_s(p)乘以来自通道增益计算单元250的增益FS_B(p)。当它们的处理由等式表示时，获得以下等式。 

R_l(p)＝FS_R(p)×R_s(p) 

B_l(p)＝FS_B(p)×B_s(p) 

R₁(p)和B₁(p)分别形成马赛克图像M₁的R通道和B通道。此外，在本发明的实施例中，由于用于G通道的增益被固定为1，用于G通道的值在照明分量转换处理之前和之后不改变。为此原因，处理目标图像的马赛克图像M_s的G的各个像素被读取为在马赛克图像M₁中的相应位置处的G并且被存储。根据当增益将被计算时保存的信号的强度，变得必须应用用于G通道的增益。在这种情况下，在通道增益计算单元250中，用于G通道的增益被计算为与R和B通道相符，并且在通道增益应用单元260中应用该增益。 

同时，在通道增益应用单元260的配置的第一示例中，来自去马赛克处理单元221的基准图像I_c(p)的输入变为不是必须的。 

[操作的示例] 

图11示出在本发明的实施例中的图像拍摄装置的操作的示例。首先，在不使闪光发射单元61发光的情况下执行图像拍摄(步骤S901)。图像在基准马赛克图像保持单元111中被存储为基准图像的马赛克图像M_c(步骤S902)。接下来，执行图像拍摄(其中，使闪光发射单元61发光)(步骤S903)。图像被存储为处理目标图像的马赛克图像M_s，并且被存储在处理目标马赛克图像保持单元112中(步骤S904)。 

此后，图像处理电路23的照明分量转换处理单元120基于两个被拍摄图像调节处理目标图像的色平衡，并且将照明分量转换为单光源的色平衡(步骤S910)。然后，白平衡处理单元130调节马赛克图像的色平衡(步骤S905)。接下来，去马赛克处理单元140从马赛克图像生成RGB图像，其中，在每个像素上充分准备RGB信息(步骤S906)。接下来，灰度校正处理单元150对RGB图像执行灰度校正处理(步骤S907)。接下来，伽马校正处理单元160对已经经过灰度校正的图像执行伽马校正处理(步骤908)。接下来，YC转换处理单元170将伽马校正后的RGB图像转换为YC图像(步骤S909)。转换后的YC图像被输出用于在LCD上的显示或者在记录介质上的存储。作为以上结果，图像处理单元的用于一帧的操作完成。如果不存在随后帧的输入，则图像处理单元的操作完成。同时，图像拍摄顺序可以以关于闪光发射单元61的闪光发射存在或不存在的这种方式反转，具有闪光发射的图像被较早拍摄。 

图12示出在本发明的第一实施例中的照明分量转换处理过程的操作的示例(步骤S910)。首先，读取基准图像(步骤S911)，并且计算用于基准图像的每个通道的白平衡(步骤S912)。所计算的白平衡被保存在基准图像白平衡保持单元240中(步骤S913)。此后，在以下步骤中，作出用于每个像素的处理，以关于整个屏幕继续进行。 

接下来，读取处理目标图像(步骤S914)。读取的基准图像和处理目标图像分别在去马赛克处理单元221和222中经历去马赛克处理(步骤S915和S916)。此时，去马赛克处理的顺序无关紧要。然后，在通道增益计算单元250中，从基准图像和处理目标图像的R、G和B的值计算用于色平衡调节的每个通道的增益(步骤S917)。所计算的增益在通道增益应用单元260中被用于处理目标图像的每个通道(步骤S918)。以这种方 式处理的处理目标图像被保存在照明分量转换马赛克图像保持单元290中(步骤S919)。 

当步骤S911至S919的处理完成时，用于一帧的照明分量转换处理完成。 

图13示出在本发明的第一实施例中的通道增益计算处理过程(步骤S917)的操作的示例。首先，在增益上限值R保持单元323、增益上限值B保持单元324、增益下限值R保持单元333以及增益下限值B保持单元334中相应地设置增益上限值或增益下限值(步骤S921)。此外，在过黑状况补偿值R保持单元343和过黑状况补偿值B保持单元344中设置过黑状况补偿值，并且在饱和补偿值R保持单元353和饱和补偿值B保持单元354中设置的饱和补偿值(步骤S922)。然后，通过将每个像素用作目标重复以下处理。 

在循环L702中，获得处理目标图像的像素和基准图像的像素(步骤S923)。然后，在过黑状况程度计算单元345中，计算过黑状况程度(步骤S924)，并且在饱和程度计算单元355中，计算饱和程度(步骤S925)。然后，此外，通过将每个通道(R通道和B通道)用作目标来重复以下处理(循环L703)。 

在循环L703中，通过颜色转换增益计算单元311和312计算颜色转换增益(步骤S926)。此时，当增益超过保存在增益上限值B保持单元324或者增益上限值R保持单元323中的增益上限值时(步骤S927)，执行使用增益上限值的限幅处理(步骤S928)。在增益下限值低于保存在增益下限值R保持单元333或增益下限值B保持单元334中的增益下限值的情况下(步骤S929)，执行使用增益下限值的限幅处理(步骤S931)。限幅处理可以按照下限值和上限值的顺序执行。此外，在过黑状况补偿单元341或342中，执行与过黑状况程度对应的过黑状况补偿(步骤S932)。此外，在饱和补偿单元351或352中，执行与饱和程度对应的饱和程度补偿(步骤S933)。以此方式获得的增益被存储在存储器(未示出)中(步骤S934)。 

当在循环L703中的步骤S926至S934的处理完成时，关于下一个通道执行相同处理。当用于所有通道的处理完成时，控制从循环L703退出，并且重复用于下一个像素的处理。当用于所有像素的处理完成时，控制从循环L702退出，并且用于一帧的通道增益计算处理完成。同时，在本发明的第一实施例中，可以在步骤S923和步骤S924之间插入在图12的步 骤S915和步骤S916中执行的去马赛克处理，作为用于每个像素的处理。结果，可以在循环L702中结合执行图12的步骤S914至S916的处理。 

图14图示了在本发明的第一实施例中的通道增益应用处理过程(S918)的操作示例。这里通过使用各像素作为目标来重复以下处理(循环L704)。 

在循环L704中获得处理目标图像的RGB值(R_s(p)和B_s(p))以及增益(FS_R(p)和FS_B(p))(步骤S937)。乘法单元261和262针对各通道将RGB值与增益相乘(步骤S938)。在对于原像素在照明分量转换马赛克图像保持单元290的处理目标图像的马赛克图像M_s中的位置而言适合的位置处保持该相乘结果作为用于各通道的应用增益的马赛克图像M₁的像素值(步骤S939)。另外，这里提到的步骤S939的处理是图12中的步骤S919，并且可以通过在它们之一中存储处理结果来省略其它处理。 

当完成在所有像素中的处理时，控制从循环L704退出，并且完成针对一帧的通道增益应用处理。同时，在本发明的第一实施例中，通过紧接在图13中的步骤S933之后插入步骤S938至S939的处理，图13中的循环L703和图14中的循环L704可以形成为共用循环处理。另外这时省略步骤S934和S937。 

如上文所述，根据本发明的第一实施例，获得用于各像素的增益以便变成基准图像的颜色平衡，并且乘法单元261和262在处理目标图像的各像素中使用这一增益，由此使得有可能生成颜色再现性高的图像。另外当要计算增益时，在增益变成在上限值或者下限值以外的情况下，通过在上限值限幅单元321和322以及下限值限幅单元331和332中进行限幅处理，可以抑制极端伪像。另外当在计算增益时，在已经出现过黑状况或者饱和的情况下，在过黑状况补偿单元341和342以及饱和补偿单元351和352中设置具有补偿值的加权平均作为增益，由此使得可以获得其中未出现大量过黑的增益。 

<2.第二实施例> 

在上述第一实施例中，通过在乘法单元261和262中的简单乘法来进行增益应用。然而当要进行实际增益应用时有其中像素的坐标微量偏离的情况并且可能出现其中在原样状态中不能充分应对扰动的情况。因而下文将给出对如下示例的描述，在该示例中通过根据各像素的可靠性从邻近像素进行平滑来进行稳健的增益应用。同时由于图像拍摄装置和图像处理电 路23的假设配置与第一实施例的配置相同，所以省略其描述。 

<照明分量转换处理单元120的配置示例> 

图15图示了在本发明的第二实施例中的照明分量转换处理单元120的配置示例。照明分量转换处理单元120的配置示例与参照图5描述的配置的第一示例不同在于向通道增益应用单元260输入来自去马赛克处理单元221的输出，除了这一点之外与第一示例的配置相同。因此省略对其它配置的描述。 

<通道增益应用单元260的配置示例> 

图16图示了在本发明的第二实施例中的通道增益应用单元260的配置示例。通道增益应用单元260的配置示例包括除法单元421至423、曝光补偿单元431至433、饱和可靠性计算单元440、过黑状况可靠性计算单元450、移动主体可靠性计算单元460、可靠性选择单元470和平滑处理单元480。 

除法单元421至423针对各像素的各通道生成基准图像与处理目标图像之比Ko。一般而言，除法是一种计算成本高的处理。因此，出于减少计算次数的目的，优选地通过使用倒数(reciprocal)查找表的处理来实现这种除法，或者通过转换成对数之后进行减法的技术来实现这种除法。 

曝光补偿单元431至433进行用于补偿两个图像的图像拍摄条件差异的处理。由于这一曝光补偿处理，调节强度使得在如下区域中的强度变成彼此相等，在该区域中，基准图像和处理目标图像中的照明环境相等且固定。一般而言，在使用数码相机的图像拍摄中，即使在相等照明环境之下拍摄相同主体的图像，观测的信号强度仍然取决于用于光圈、快门速度和传感器的ISO灵敏度设置而不同。这一曝光补偿处理是用于调节增益使得在相同条件之下拍摄其图像的主体具有相同强度的处理。 

通过将根据Exif信息的各参数计算的曝光补偿值expCV乘以比率Ko以简化的形式实现了这一曝光补偿处理。因而获得了补偿之后的比率K。 

K_G(p)＝Ko_G(p)×expCV 

K_R(p)＝Ko_R(p)×expCV 

K_B(p)＝Ko_B(p)×expCV 

同时可以通过在后续阶段的条件确定中考虑针对曝光补偿值数量的偏移 来省略这一曝光补偿处理。 

饱和可靠性计算单元440计算从饱和程度的观点来看的基准图像的可靠性。一般而言，在图像传感器中，传感器的线性特性在饱和区域中不成立。此外关于完全饱和并且其值由上限值限幅的通道，难以正确获得增益。因而在平滑处理期间认为减少饱和像素的权重并且使用与具有高可靠性的邻近像素有关的信息来获得像素的值是有效的。因此对于饱和可靠性ST(p)，如图17中所示，如下特性有效，在这些特性中，基准图像的强度Gc为1直到阈值，并且值在超过特定阈值之后随着强度增加而骤然减少。另外本技术也可以用作一种用于计算处理目标图像的饱和可靠性的方法。在该情况下使用Gs而不是Gc。 

过黑状况可靠性计算单元450计算从过黑状况程度的观点来看的基准图像的可靠性。一般而言，在图像传感器中，在传感器的特性中线性在过黑状况区域中不成立。此外，在其中出现完全过黑状况并且根据下限值对值进行限幅的通道中，难以正确获得增益。另外，这样的崩溃(breakdown)在处理目标图像的强度大时明显。因而认为通过在平滑处理期间减少权重并且通过使用与相对于如下像素具有高可靠性的邻近像素有关的信息来获得像素的值是有效的，该像素在基准图像中的像素值是很小的值而在处理目标图像中的像素值是充分大的值。因此对于过黑状况可靠性BT(p)，认为具有比如以下图18中所示等式中的特性的值有效。这一等式基于基准图像的像素值来计算过黑状况程度。另外本技术也可以用作一种计算处理目标图像的过黑状况可靠性的方法。在该情况下使用Gs而不是Gc。 

[数学式10] 

另外，过黑状况可靠性BT(p)可以是具有比如以下图19中所示等式中的特性的值。这一等式基于基准图像的像素值和在基准图像与处理目标图像之间的通道间比率来计算过黑状况程度。 

[数学式11] 

同时，在上文提到的饱和可靠性计算单元440和过黑状况可靠性计算单元450中，通过使用G通道来进行关于过黑状况程度和饱和程度的确定，但是这并不限于G通道。使用R和B通道的确定或者基于最大值/最小值、线性和及其亮度值也是有效的。 

移动主体可靠性计算单元460计算从主体是否为移动主体的观点来看的基准图像的可靠性。移动主体可靠性计算单元460通过针对非闪光发射和闪光发射的任何图像考虑可辨认主体的特性值并且通过关于各像素是否为移动主体进行确定来计算移动主体可靠性MT(p)。对于这样的特性值，例如考虑主体的光谱反射率。一般而言，由于不能在移动主体中正确进行像素比较，所以难以正确获得增益。在这样的像素中，认为在平滑处理期间减少权重并且通过使用与具有更高可靠性的邻近像素有关的信息来获得像素的值是有效的。 

可靠性选择单元470选择饱和可靠性ST(p)、过黑状况可靠性BT(p)和移动主体可靠性MT(p)之中的最低可靠性。因而选择被确定为最可疑的可靠性FT(p)。另外，在这一选择期间可以将可靠性计算为饱和可靠性ST(p)、过黑状况可靠性BT(p)和移动主体可靠性MT(p)的线性和。 

在平滑处理单元480基于以这种方式获得的可靠性FT(p)来进行平滑之时，平滑处理单元480向处理目标图像的RGB值(R_s(p)和B_s(p))应用增益FS_R(p)和FS_B(p)。作为平滑处理单元480的第一处理功能的示例，在区域α中进行加权平滑的情况下通过以下等式来实现处理功能。 

[数学式12] 

$R_I\left(p\right)=\frac{\underset{p\&Element;a}{\mathrm{\&Sigma;}}{\mathrm{FS}}_R\left(p\right)\&CenterDot;\mathrm{FT}\left(p\right)}{\underset{p\&Element;a}{\mathrm{\&Sigma;}}\mathrm{FT}\left(p\right)}\&CenterDot;R_s\left(p\right)$

$B_I\left(p\right)=\frac{\underset{p\&Element;a}{\mathrm{\&Sigma;}}{\mathrm{FS}}_B\left(p\right)\&CenterDot;\mathrm{FT}\left(p\right)}{\underset{p\&Element;a}{\mathrm{\&Sigma;}}\mathrm{FT}\left(p\right)}\&CenterDot;B_s\left(p\right)$

在照明分量转换马赛克图像保持单元290中保持应用增益的马赛克图像M₁。同时，后文将描述平滑处理的另一示例。 

[移动主体可靠性计算单元460的配置示例] 

图20图示了在本发明的第二实施例中的移动主体可靠性计算单元460的配置示例。移动主体可靠性计算单元460包括比率反转程度计算单元461、比率预测单元462、光谱反射率改变量预测单元463、周围环境光光谱颜色平衡值保持单元464、闪光光谱颜色平衡值保持单元465和最小值选择单元466。 

在周围环境光光谱颜色平衡值保持单元464中保持的周围环境光光谱颜色平衡值是用于各通道的增益，使得参照周围环境光在基准图像中的光谱、非彩色对象体的信号强度为非彩色，也就是R∶G∶B＝1∶1∶1。以近似方式可以使用针对基准图像的白平衡WB_c。一般而言，作为白平衡的值，通过考虑图像再现，其中留有一些数量的颜色阴影(color shade)的增益用于非彩色的对象体。然而对于周围环境光光谱颜色平衡值，使得获得的R∶G∶B完全为1∶1∶1的增益是优选的。这里为了辨别二者，增益具体表示为WB_pc。 

在闪光光谱颜色平衡值保持单元465中保持的闪光光谱颜色平衡值是用于各通道的增益，使得参照闪光发射单元61的闪光的光谱、非彩色的对象体的信号强度变成非彩色。以近似方式可以使用针对处理目标图像的白平衡WB_s。一般而言，作为白平衡的值，通过考虑图像再现，其中留有一些数量的颜色阴影的增益用于非彩色的对象体。然而对于闪光光谱颜色平衡值，使得获得的R∶G∶B完全为1∶1∶1的增益是优选的。这里为了辨别二者，增益具体表示为WB_pf。同时可以通过在图像拍摄装置内部计算光谱的颜色平衡值来设置并且可以从图像拍摄装置外部设置这些值。这 也同样适用于周围环境光。 

比率反转程度计算单元461计算从像素值的改变方向的观点来看的移动主体可靠性。比率反转程度计算单元461通过检测像素值的改变方向与整个图像的照明分量的改变方向相反来确定像素为移动主体。在闪光发射/非闪光发射的示例中，如果假设在连续拍摄的基准图像和处理目标图像中周围环境光没有改变，则在曝光补偿单元431至433补偿的图像中，补偿之后的比率K将在发射闪光的区域中增加至多于“1”。另外，补偿之后的比率K将在未照到闪光的区域中变成等于“1”。因此，由于可以估计信号强度已经增加(因为对象体在补偿之后的K变成小于“1”的区域中已经移动)，所以可以使用具有图21中所示特性的函数来确定比率反转程度MTRK(p)。也就是说，认为其logK为负并且具有使得绝对值越大、其值就越接近0的特性的比率反转程度MTRK(p)是有效的。 

比率预测单元462计算从比率K的预测值的观点来看的移动主体可靠性。比率预测单元462预测比率K在补偿之后的值并且测量从测量值的偏移、由此确定像素为移动主体。在处理目标图像(闪光图像)的照明分量之中，由仅周围环境光的E″_c和闪光的E″_pf的相加来表示处理目标图像的照明分量E_s。 

E_s(p)＝E″_c(p)+E″_pf(p) 

因此，由以下等式来表示比率Ko。 

[数学式13] 

$\mathrm{Ko}\left(p\right)=\frac{I_s\left(p\right)}{I_c\left(p\right)}\left[\begin{array}{c}\frac{R_s\left(p\right)}{R_c\left(p\right)}\\ \frac{G_s\left(p\right)}{G_c\left(p\right)}\\ \frac{B_s\left(p\right)}{B_c\left(p\right)}\end{array}\right]\left[\begin{array}{c}\frac{E_{\mathrm{sR}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_R\left(p\right)}{E_{\mathrm{cR}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_R\left(p\right)}\\ \frac{E_{\mathrm{sG}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_G\left(p\right)}{E_{\mathrm{cG}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_G\left(p\right)}\\ \frac{E_{\mathrm{sB}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_B\left(p\right)}{E_{\mathrm{cB}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_B\left(p\right)}\end{array}\right]$

$=\left[\begin{array}{c}\frac{({E^{\&prime;\&prime;}}_{\mathrm{cR}}\left(p\right)+{E^{\&prime;\&prime;}}_{\mathrm{pfR}}\left(p\right)}{E_{\mathrm{cR}}\left(p\right)}\\ \frac{({E^{\&prime;\&prime;}}_{\mathrm{cG}}\left(\text{p}\right)\text{+}{E^{\&prime;\&prime;}}_{\mathrm{pfG}}\left(p\right)}{E_{\mathrm{cG}}\left(p\right)}\\ \frac{({E^{\&prime;\&prime;}}_{\mathrm{cB}}\left(p\right)+{E^{\&prime;\&prime;}}_{\mathrm{pfB}}\left(p\right)}{E_{\mathrm{cB}}\left(p\right)}\end{array}\right]$

另外，根据照明的光谱获得的白平衡增益是如下增益，该增益调节颜色平衡使得通道强度在光谱反射率为非彩色(也就是说，ρ_R∶ρ_G∶ρ_B＝1∶1∶1)的目标中变成R∶G∶G＝1∶1∶1。因此，以下等式的关系成立。 

[数学式14] 

$\left[\begin{array}{c}{E}_R\\ E_B\end{array}\right]=E_G\&CenterDot;\left[\begin{array}{c}{{\mathrm{WB}}_R}^{-1}\\ {{\mathrm{WB}}_B}^{-1}\end{array}\right]$

基于上述两个等式，R和B通道的比率的预测值eK_R和eK_B可以表示为以下等式。 

[数学式15] 

$\left[\begin{array}{c}{\mathrm{eK}}_R\\ {\mathrm{eK}}_B\end{array}\right]=\left[\begin{array}{c}{\mathrm{eKo}}_R\\ {\mathrm{eKo}}_B\end{array}\right]\&CenterDot;\mathrm{expCV}=\left[\begin{array}{c}\frac{({E^{\&prime;\&prime;}}_{\mathrm{cG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{pcR}}}^{-1}+{E^{\&prime;\&prime;}}_{\mathrm{pfG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{pfR}}}^{-1})}{E_{\mathrm{cG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{pcR}}}^{-1}}\\ \frac{({E^{\&prime;\&prime;}}_{\mathrm{cG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{pcB}}}^{-1}+{E^{\&prime;\&prime;}}_{\mathrm{pfG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{pfB}}}^{-1})}{E_{\mathrm{cG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{pcB}}}^{-1}}\end{array}\right]\&CenterDot;\mathrm{expCV}$

$=\left[\begin{array}{c}\frac{(E_{\mathrm{cG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{PCR}}}^{-1}+E_{\mathrm{pfG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{pfR}}}^{-1})}{E_{\mathrm{cG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{pcR}}}^{-1}}\\ \frac{(E_{\mathrm{cG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{pcB}}}^{-1}+E_{\mathrm{pfG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{pfB}}}^{-1})}{E_{\mathrm{cG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{pcB}}}^{-1}}\end{array}\right]$

$=\left[\begin{array}{c}\frac{(({\mathrm{WB}}_{\mathrm{pfR}}-{\mathrm{WB}}_{\mathrm{pcR}})+K_G\&CenterDot;{\mathrm{WB}}_{\mathrm{pcR}})}{{\mathrm{WB}}_{\mathrm{pfR}}}\\ \frac{(({\mathrm{WB}}_{\mathrm{pfB}}-{\mathrm{WB}}_{\mathrm{pcB}})+K_G\&CenterDot;{\mathrm{WB}}_{\mathrm{pcB}})}{{\mathrm{WB}}_{\mathrm{pfB}}}\end{array}\right]$

这里认为预测值eK与测量值K大不相同的事实可归因于光谱反射率ρ被改变并且不可整除的事实。因而确定其差的绝对值ΔK＝|K-eK|大的像素是移动主体，并且设置具有如图22中的特性的预测比率MTEK(p)。也就是说，通过考虑ΔK＝|K-eK|的值越大、光谱反射率ρ的改变所致的影响就越大，减少在平滑处理期间的权重。同时，图22中的预测比率意味着与预测比率与实际值之间的误差相关联的可靠性。 

光谱反射率改变量预测单元463计算从光谱反射率改变量的预测值的观点来看的移动主体可靠性。类似于比率预测单元462，光谱反射率改变量预测单元463基于G通道的值来估计R和B通道的强度比率K的值。如果周围环境光的照明强度在基准图像与处理目标图像之间改变成E′_c，则R和B通道的比率的预测值eK_R和eK_B的等式可以改写为以下等式： 

[数学式16] 

$\left[\begin{array}{c}e{K}_R\\ e{K}_R\end{array}\right]=\left[\begin{array}{c}\frac{({E^{,}}_{\mathrm{cG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{pcR}}}^{-1}+E_{\mathrm{pfG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{pfR}}}^{-1})}{E_{\mathrm{cG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{pcR}}}^{-1}}\\ \frac{({E^{,}}_{\mathrm{cG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{pcB}}}^{-1}+E_{\mathrm{pfG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{pfB}}}^{-1})}{E_{\mathrm{cG}}\&CenterDot;{{\mathrm{WB}}_{\mathrm{pcB}}}^{-1}}\end{array}\right]$

$=\left[\begin{array}{c}\frac{{E^{,}}_{\mathrm{cG}}}{E_{\mathrm{cG}}}+\frac{E_{\mathrm{pfG}}}{E_{\mathrm{cG}}}\&CenterDot;\frac{{\mathrm{WB}}_{\mathrm{pcR}}}{{\mathrm{WB}}_{\mathrm{pfR}}}\\ \frac{{E^{,}}_{\mathrm{cG}}}{E_{\mathrm{cG}}}+\frac{E_{\mathrm{pfG}}}{E_{\mathrm{cG}}}\&CenterDot;\frac{{\mathrm{WB}}_{\mathrm{pcB}}}{{\mathrm{WB}}_{\mathrm{pfB}}}\end{array}\right]$

因此可以根据以下等式来近似R、G和B的比率。 

[数学式17] 

$\left[\begin{array}{c}{K}_R\\ K_G\\ K_B\end{array}\right]\&cong;\left[\begin{array}{c}{\mathrm{eK}}_R\\ {\mathrm{eK}}_G\\ {\mathrm{eK}}_B\end{array}\right]=\left[\begin{array}{c}\frac{{E^{,}}_{\mathrm{cG}}}{E_{\mathrm{cG}}}+\frac{E_{\mathrm{pfG}}}{E_{\mathrm{cG}}}\&CenterDot;\frac{{\mathrm{WB}}_{\mathrm{pcR}}}{{\mathrm{WB}}_{\mathrm{pfR}}}\\ \frac{{E^{,}}_{\mathrm{cG}}}{E_{\mathrm{cG}}}+\frac{E_{\mathrm{pfG}}}{E_{\mathrm{cG}}}\\ \frac{{E^{,}}_{\mathrm{cG}}}{E_{\mathrm{cG}}}+\frac{E_{\mathrm{pfG}}}{E_{\mathrm{cG}}}\&CenterDot;\frac{{\mathrm{WB}}_{\mathrm{pcB}}}{{\mathrm{WB}}_{\mathrm{pfB}}}\end{array}\right]$

这一等式意味着以下三个点存在于相同直线中。 

[数学式18] 

$(\frac{{\mathrm{WB}}_{\mathrm{pcR}}}{{\mathrm{WB}}_{\mathrm{pfR}}},K_R),(1,K_G),(\frac{{\mathrm{WB}}_{\mathrm{pcB}}}{{\mathrm{WB}}_{\mathrm{pfB}}},K_B)$

如果这三个点不存在于相同直线中，则认为不能在推断上文提到的R和B通道的比率的预测值eK_R和eK_B的等式的过程中消去ρ。因而也可以确定像素为移动主体。可以基于由三个点等形成的角度θ来确定三个点是否存在于直线中。因此优选的是光谱反射率改变量MTVR(p)具有作为θ的函数的比如图23中的特性。也就是说，当三个点排列于直线中时，在空间平滑中的权重接近“1”，并且角度θ在它为90°时变成“0”。同时，图23中的光谱反射率改变量意味着与光谱反射率的改变相关联的可靠性。 

最小值选择单元466从在比率反转程度计算单元461、比率预测单元462和光谱反射率改变量预测单元463中获得的值之中选择最小值并且输出该最小值作为最终移动主体可靠性MT(p)。同时，在本发明的实施例中使用比率反转程度计算单元461、比率预测单元462和光谱反射率改变量预测单元463中的所有单元。然而可以单独或者组合使用它们中的仅一些单元。 

[操作示例] 

图24图示了在本发明的第二实施例中的通道增益应用单元260的操作示例。这里通过使用各像素作为目标来重复以下处理(循环L705)。 

在循环L705中获得基准图像和处理目标图像的RGB值(Rc(p)、Gc(p)和Bc(p)以及Rs(p)、Gs(p)和Bs(p))。在除法单元421至423中计算基准 图像和处理目标图像的RGB值的比率Ko(p)(步骤S942)。另外，在曝光补偿单元431至433中根据在图像拍摄时的设置来进行曝光补偿处理(步骤S943)。因而在照明环境中不变的静止主体中，比率变成“1”。 

接着在饱和可靠性计算单元440中计算饱和可靠性ST(p)(步骤S944)。在过黑状况可靠性计算单元450中计算过黑状况可靠性BT(p)(步骤S945)。另外，在移动主体可靠性计算单元460中计算移动主体可靠性MT(p)(步骤S946)。然后可靠性选择单元470从饱和可靠性ST(p)、过黑状况可靠性BT(p)和移动主体可靠性MT(p)之中选择最低可靠性(步骤S947)。在存储器(未示出)中存储以这一方式获得的可靠性(步骤S948)。当完成在所有像素中的处理时，控制从循环L705退出。在本发明的第二实施例中，通过紧接在控制从图13中的循环L703退出之后插入步骤S942至S948的处理，图13中的循环L702和图24中的循环L705可以形成共用循环处理。由于已经在步骤S923中读取各像素的值，所以可以省略步骤S941。 

接着在平滑处理单元480中，针对各像素进行平滑处理(步骤S949)。在照明分量转换马赛克图像保持单元290中保持以这一方式向其应用增益的像素值(步骤S950)。另外，这里提到的步骤S905的处理是图12中的步骤S919，并且通过在它们之一中存储处理结果，可以省略其它处理。在完成所有像素中的处理时完成了针对一帧的像素增益应用处理。 

图25图示了在本发明的实施例中的移动主体可靠性计算单元460的操作示例。这里通过使用各像素作为目标来进行以下处理。 

首先从曝光补偿单元431至433获得比率K(步骤S951)。另外从周围环境光光谱颜色平衡值保持单元464获得周围环境光在基准图像中的颜色平衡并且从闪光光谱颜色平衡值保持单元465获得闪光的颜色平衡(步骤S951)。 

然后在比率反转程度计算单元461中关于整个图像强度的改变方向和像素的强度定向的反转进行确定并且根据其程度来计算比率反转程度(步骤S952)。另外，在比率预测单元462中根据在比率K的测量值与其估计值之间的发散程度关于像素是否为移动主体进行确定并且确定预测比率(步骤S953)。在比率预测期间，由于假设分母/分子消去光谱反射率ρ，所以通过预测的发散表明已经检测到光谱反射率的改变并且确定像素为移动主体。另外，在光谱反射率改变量预测单元463中基于在颜色平衡的预测值与测量值之间的偏移来预测光谱反射率改变量(步骤S954)。然 后在最小值选择单元466中，从在比率反转程度计算单元461、比率预测单元462和光谱反射率改变量预测单元463中获得的值之中选择最小值(步骤S955)。输出该所选值作为最终移动主体可靠性MT(p)。 

如上文所述，根据本发明的第二实施例，关于从过黑状况、饱和或者移动主体的观点来看的针对各像素的可靠性进行确定，并且在平滑期间减少具有低可靠性的像素的权重，从而使得可以使用关于邻近像素的信息并且进行稳健的增益应用。 

在第二实施例中已经描述如下示例，在该示例中在平滑处理期间进行简单的加权平滑。可替换地，可以应用边缘保留型平滑(edge preservation type smoothing)。边缘保留型平滑是如下非线性滤波处理，在该处理中对灰度(gradation)进行平滑而留下明显的阶梯差、比如在图像中的对象体边界。由于去除细微变化而存储对易于查看有影响的对象体轮廓，所以边缘保留型平滑用于降噪处理已经由来已久。边缘保留型平滑处理也用于如下灰度校正处理，在该处理中通过使用如下性质来压缩除了以纹理为代表的细节分量之外的亮度差，该性质可以分离对象体内的纹理的细微亮度变化与对象体轮廓的明显亮度阶梯差。 

近年来已经经常在这样的边缘保留型平滑处理之中使用一种称为双边(bilateral)滤波器的技术。一般而言，用于图像的亮度I(p)的双边滤波器BLF(p)将中心像素位置pc周围的由两个函数(即，在空间方向上的权重函数ω(p-p_c)和在亮度值方向上的权重函数φ(I(p)-I(P_c)))加权的像素值I(p)相加，如以下等式。 

[数学式19] 

$\mathrm{BLF}\left(p_c\right)=\frac{\underset{p\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(p-p_c)\&CenterDot;\mathrm{\&phi;}(I\left(p\right)-I\left(p_c\right))\&CenterDot;I\left(p\right)}{\underset{p\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(p-P_c)\&CenterDot;\mathrm{\&phi;}(I\left(p\right)-I\left(p_c\right))}$

在上式中，右侧分母表明权值的标准化系数。 

如在上式中所示，在双边滤波器中，针对局部区域中的各像素的加权根据中心像素的亮度值而改变。出于这一原因，由于需要针对各像素重新计算权值，所以问题在于计算次数明显增加至多于普通线性FIR滤波器的计算次数。另外作为双边滤波器的一种应用技术，已经提出一种称为联 合双边滤波器或者交叉双边滤波器的技术。在双边滤波器中，根据中心像素(滤波处理目标)的亮度值来改变针对局部区域中的各像素的加权。对照而言，在联合双边滤波器中，用于权重计算的特性值不同于滤波处理目标的特性值。在以下等式中给出联合双边滤波器JBLF(p)的等式。 

[数学式20] 

$\mathrm{JBLF}\left(p_c\right)=\frac{\underset{p\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(p-p_c)\&CenterDot;\mathrm{\&phi;}(I\left(p\right)-I\left(p_c\right))\&CenterDot;S\left(p\right)}{\underset{p\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(p-p_c)\&CenterDot;\mathrm{\&phi;}(I\left(p\right)-I\left(p_c\right))}$

上式代表如下计算，在该计算中计算中心像素位置pc周围的由两个函数(即，在空间方向上的权重函数ω(p-p_c)和在亮度值方向上的权重函数φ(I(p)-I(p_c)))加权的像素值S(p)。例如当有与S/N特性很差的信号具有高相关性并且具有高S/N比率的信号I时，通过进行与I信号对应的加权，使具有令人满意的S/N比率的边缘保留型滤波处理成为可能。 

另外，在联合双边滤波器中，类似于双边滤波器，针对局部区域中的各像素的加权以取决于中心像素的亮度值这样的方式改变。出于这一原因，由于需要针对各像素重新计算权值，所以问题在计算次数明显多于普通线性FIR滤波器的计算次数。 

因此，在以下第三实施例中，提出一种通过使用块直方图来减少边缘保留型平滑的计算次数的技术。 

<3.第三实施例> 

在本发明的第三实施例中，在空间轴上和在亮度轴上划分成多个部分的各块中计算像素频率值和特定限定特性值，随后基于由在各像素位置与各块之间的距离限定的权重将用于各块的特性值加权相加。对于特性值，可以使用各块内包含的像素的增益积分值(总计数)、内部包含的像素的增益的中心值、与内部包含的像素数目相乘的中心值等。这一计算表示为以下等式。 

[数学式21] 

$\tilde{S}\left(p_c\right)=\frac{\underset{i,j,\mathrm{\&lambda;}}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(i,j,p_c)\&CenterDot;\mathrm{\&phi;}(\mathrm{\&lambda;},I\left(p_c\right))\&CenterDot;S(i,j,\mathrm{\&lambda;})}{\underset{i,j,\mathrm{\&lambda;}}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(i,j,p_c)\&CenterDot;\mathrm{\&phi;}(\mathrm{\&lambda;},I\left(p_c\right))\&CenterDot;H(i,j,\mathrm{\&lambda;})}$

这里，i、j是块在空间轴方向上的下标。另外，λ是与块对应的亮度范围的中心值。I(pc)是亮度在坐标位置pc的值。S(i，j，λ)是块(i，j，λ)的增益的积分值。H(i，j，λ)是块直方图的值。上式对应于在联合双边滤波器的空间轴上的权重函数ω和在亮度轴上的权重函数φ沿着块的划分以逐步(stepwise)方式离散化，由此，表现边缘保留型平滑的效果。此外，即使减去计算块直方图和块积分值的成本，针对各块的加权乘积和的计算次数仍然可能明显减少到少于针对各像素的加权乘积和的计算次数。边缘保留型平滑的运算符大小越大，这种效果就越大。 

此外，在本发明的第三实施例中提出如下边缘保留型平滑处理，在该处理中除了权重之外还引入针对各像素位置确定的权重τ(p)。用以下方式代表块直方图和块内的特性值的加权积分。 

[数学式22] 

$\mathrm{ISW}(i,j,\mathrm{\&lambda;})=\underset{p\&Element;\mathrm{\&Pi;}}{\mathrm{\&Sigma;}}\mathrm{\&tau;}\left(p\right)\&CenterDot;S\left(p\right)$

[数学式23] 

$\mathrm{IFT}(i,j,\mathrm{\&lambda;})=\underset{p\&Element;\mathrm{\&Pi;}}{\mathrm{\&Sigma;}}\mathrm{\&tau;}\left(p\right)\&CenterDot;1$

这里，ISW(i，j，λ)是块(i，j，λ)内的加权增益积分值，并且IFT(i，j，λ)是块(i，j，λ)内的加权频率值、也就是权重本身的积分值。当这应用于前式时获得以下等式。 

[数学式24] 

$\hat{S}\left(p_c\right)=\frac{\underset{i,j,\mathrm{\&lambda;}}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(i,j,p_c)\&CenterDot;\mathrm{\&phi;}(\mathrm{\&lambda;},I\left(p_{\text{c}}\right))\&CenterDot;\mathrm{ISW}(i,j,\mathrm{\&lambda;})}{\underset{i,j,\mathrm{\&lambda;}}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(i,j,p_c)\&CenterDot;\mathrm{\&phi;}(\mathrm{\&lambda;},I\left(p_c\right))\&CenterDot;\mathrm{IFT}(i,j,\mathrm{\&lambda;})}$

这一计算对应于以下等式代表的在加权联合双边滤波器的空间轴上的权重函数ω和在亮度轴上的权重函数φ沿着块的划分以逐步方式离散化。 

[数学式25] 

$\mathrm{WJBLF}\left(p_c\right)=\frac{\underset{p\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(p-p_c)\&CenterDot;\mathrm{\&phi;}(I\left(p\right)-I\left(p_c\right))\&CenterDot;\mathrm{\&tau;}\left(p\right)\&CenterDot;S\left(p\right)}{\underset{p\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(p-{\text{p}}_c)\&CenterDot;\mathrm{\&phi;}(I\left(p\right)-I\left(p_c\right))\&CenterDot;\mathrm{\&tau;}\left(p\right)}$

因此有边缘保留型平滑的效果。此外即使减去计算块积分值的成本，针对各块的加权乘积和的计算次数仍然可以明显减少到少于针对各像素的加权乘积和的计算次数。边缘保留型平滑的运算符大小越大，这种效果就越大。 

此外，在本发明的第三实施例中提供一种减少计算次数的技术。也就是说，预先针对各块对块直方图和增益积分值进行在亮度轴方向上卷积权重函数的卷积计算，并且保持其结果。在这一情况下，在以下等式中给出对块直方图的卷积计算。 

[数学式26] 

$H_{\mathrm{convolved}}(i,j,v)=\underset{\mathrm{\&lambda;}}{\mathrm{\&Sigma;}}H(i,j,\mathrm{\&lambda;})\&CenterDot;\mathrm{\&phi;}(\mathrm{\&lambda;},v)$

另外，在以下等式中给出对块积分值的卷积计算。 

[数学式27] 

$S_{\mathrm{convolved}}(i,j,v)=\underset{\mathrm{\&lambda;}}{\mathrm{\&Sigma;}}S(i,j,\mathrm{\&lambda;})\&CenterDot;\mathrm{\&phi;}(\mathrm{\&lambda;},v)$

在针对各像素的加权乘积和计算中，其中已经对亮度权重函数进行卷积的块直方图和其中在空间方向上内插加权增益积分值的结果仅需要相除。在以下等式中给出这一计算。 

[数学式28] 

$\tilde{S}\left(p\right)=\frac{\underset{i,j}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(i,j,p)\&CenterDot;S_{\mathrm{convolved}}(i,j,I\left(p\right))}{\underset{i,j}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(i,j,p)\&CenterDot;H_{\mathrm{convolved}}(i,j,I\left(p\right))}$

这一效果在与原图像大小进行比较时(也就是说，在通过考虑图像中的宽范围来进行平滑处理时)随着块的少量数目的划分而增加。 

此外，在本发明的第三实施例中，上文提到的块直方图、针对各块的增益积分值或者由亮度轴权重函数卷积的块直方图和增益积分值存储于 存储器中。因而提供一种用于在接下来输入的帧中的边缘保留型平滑处理的技术。也就是说，在输入为移动图像数据的情况下，可以用少量工作存储器进行大量边缘保留型平滑而不用扫描所有像素两次。 

此外，在本发明的第三实施例中在进行计算上文提到的块直方图、上文提到的针对各块的增益积分值或者由亮度轴权重函数卷积的块直方图和增益积分值的处理之前进行用于减少输入图像的处理。因而减少了用于计算块直方图、针对各块的增益积分值或者由亮度轴权重函数卷积的块直方图和增益积分值的计算次数和存储器数量。 

同时，在第三实施例中，假设的图像拍摄装置、图像处理电路23和照明分量转换处理单元120的配置与第二实施例的配置相同，因而省略其描述。 

[平滑处理单元480的处理功能示例] 

图26图示了在本发明的第三实施例中的平滑处理单元480的处理功能示例。平滑处理功能480的处理功能示例包括乘法单元511和512、亮度计算单元521以及非线性转换单元522。另外，平滑处理单元480的第二处理功能的示例包括块积分值计算单元531和532、块直方图计算单元533、块积分值保持单元541和542以及块直方图保持单元543。另外，平滑处理单元480的第二处理功能的示例还包括相位补偿处理单元551和552、加权乘积和单元561和562以及增益应用单元571和572。 

亮度计算单元521根据处理目标图像的RGB值来计算亮度值L(p)。亮度计算单元521可以例如通过关于RGB值使用预设系数(权重)计算RGB值的线性和来计算亮度值。另外，这一亮度计算单元521可以通过用于从RGB值之中获得最大值这样的过处理来生成亮度值。 

非线性转换单元522通过对亮度计算单元521计算的亮度值进行非线性转换来输出非线性转换亮度值L^(nl)(p)。非线性转换单元522例如应用“上凸形式的单调增加特性”如γ曲线、使用小于1的取幂的取幂特性或者对数转换是有效的。 

乘法单元511和512通过将针对各通道的增益FS(p)乘以目标像素的可靠性FT(p)来生成针对各通道的加权增益SW(p)。 

块积分值计算单元531和532在空间轴方向上和在亮度轴方向上将图像划分成多个块并且计算属于各块的特性值的积分值。这里提到的特性值是R和B通道的根据可靠性FT(p)进行加权的加权增益SW_R(p)和 SW_B(p)。块积分值计算单元531和532计算的积分值存储于块积分值保持单元541或者542中。也就是说，块积分值保持单元541保持R通道的加权增益ISW_R(r)。块积分值保持单元542保持B通道的加权增益ISW_B(r)。 

块直方图计算单元533对属于各划分块的可靠性FT(p)进行积分并且计算像素的频率值作为块直方图。块直方图计算单元533计算的块直方图IFT(r)存储于块直方图保持单元543中。在下文中，在块积分值保持单元541和542以及块直方图保持单元543中保持的信息也将称为中间数据。 

相位补偿处理单元551和552对应于目标像素的各通道计算与处理目标图像的马赛克图像中的位置相对应的亮度值。在简化的去马赛克中，针对各拜尔集602在位置601处获得亮度值。针对马赛克图像中的各像素位置，基于邻近的四个亮度值，通过线性内插处理来实现相位补偿处理单元551和552的处理。在针对各像素进行去马赛克而不是简化的去马赛克的情况下，亮度计算单元521和非线性转换单元522针对处理目标图像的马赛克图像的各像素获得亮度。因此可以省略这一相位补偿处理。 

加权乘积和单元561和562基于块直方图、块积分值和在目标像素位置处的亮度值来计算在目标像素位置处的全局增益值。全局增益值是与目标像素位置所属对象体区域的平均增益对应的信息。加权乘积和单元561向增益应用单元571供应全局增益值SW_IR(p)，而加权乘积和单元562向增益应用单元572供应全局增益值SW_IB(p)。 

增益应用单元571和572向各通道值应用由加权乘积和单元561和562计算的增益。一般而言，可以通过乘法来实现在增益应用单元571和572中的处理。也就是说，增益应用单元571和572分别进行如以下等式的计算： 

R_l(p)＝R_s(p)×SW_lR(p)B_l(p)＝B_s(p)×SW_lB(p) 

同时，加权乘积和单元561和562以及增益应用单元571和572是在权利要求中描述的平滑处理单元的示例。 

[块积分值计算单元531和532以及块直方图计算单元533的配置示例] 

图27图示了在本发明的第三实施例中的块积分值计算单元531和532以及块直方图计算单元533的配置示例。块积分值计算单元531和532以及块直方图计算单元533中的各单元包括块选择单元534和n个积分器 535-1至535-5。这里，当图像在宽度方向上的块划分数目表示为W、图像在高度方向上的块划分数目表示为H并且图像在亮度方向上的块划分数目表示为D时，块数目n为W×H×D。 

块选择单元534根据像素位置和亮度值将输入的各像素的加权特征量分类为N个块之一。这里提到的加权特征量是根据可靠性FT(p)加权的针对R和B通道的增益SW_R(p)和SW_B(p)，或者可靠性FT(p)。 

积分器535-1至535-n将分类的加权特征量相加。各积分器535-1至535-n保持加法单元536和寄存器537。加法单元536将分类的加权特征量和在寄存器537中保持的值相加。寄存器537保持加法单元536的输出。在已经处理用于一帧的像素之后，所有块的积分器535-1至n的值存储于块积分值保持单元538中。这里，块积分值保持单元538对应于块积分值保持单元541和542或块直方图保持单元543。 

[加权乘积和单元561和562的配置示例] 

图28图示了在本发明的第三实施例中的加权乘积和单元561的配置示例。加权乘积和单元561和562中的每个包括内插单元563和564、空间权重函数表保持单元565、乘积和单元566和567、亮度权重函数表保持单元568以及除法单元569。 

内插单元563和564内插与亮度值的像素位置相对应的加权特征量。也就是说，内插单元563在目标像素位置的空间方向上内插邻近的4x4块区域的加权增益SW_R(r)或者SW_B(r)的块积分值ISW_R(r)或者ISW_B(r)。内插单元564在目标像素位置的空间方向上内插邻近的4x4块区域的可靠性FT(p)本身的块积分值IFT(r)。对于在该情况下的内插系数，例如三次B-样条函数等是适合的。可以在空间权重函数表保持单元565中将该B-样条函数值保持为空间权重函数表，使得基于在邻近块位置与目标像素位置之间的相对位置关系来提取必需系数。内插单元563和564进行的计算如以下等式。 

[数学式29] 

${\mathrm{SW}}_{\mathrm{interpolatedR}}\left(\mathrm{\&lambda;}\right)=\underset{i,j}{\mathrm{\&Sigma;}}{B}_{i,j}\&CenterDot;{\mathrm{ISW}}_R(i,j,\mathrm{\&lambda;})$

${\mathrm{SW}}_{\mathrm{interpolatedB}}\left(\mathrm{\&lambda;}\right)=\underset{i,j}{\mathrm{\&Sigma;}}{B}_{i,j}\&CenterDot;{\mathrm{ISW}}_B(i,j,\mathrm{\&lambda;})$

[数学式30] 

${\mathrm{FT}}_{\mathrm{interpolated}}\left(\mathrm{\&lambda;}\right)=\underset{i,j}{\mathrm{\&Sigma;}}{B}_{i,j}\&CenterDot;\mathrm{IFT}(i,j,\mathrm{\&lambda;})$

这里，i、j是表明邻近4x4个块的下标。λ是与直方图的各块对应的亮度水平的中心值。B__i，j是用于与下标i和j对应的块的B-样条内插系数。ISW_R(i，j，λ)和ISW_B(i，j，λ)是与(i，j，λ)对应的块的加权增益SW_R(p)或者SW_B(p)的块积分值。IFT(i，j，λ)是针对与(i，j，λ)对应的块的可靠性FT(p)本身的积分值(块直方图)。同时，内插单元563是在权利要求中描述的第一内插单元的示例。另外，内插单元563是在权利要求中描述的第二内插单元的示例。 

乘积和单元566和567计算如下结果，其中关于与目标像素位置对应的加权积分值对照明加权值进行求和。通过使用在亮度权重函数表保持单元568中存储的表来计算亮度权重值。图29图示了在亮度权重函数表保持单元568中存储的亮度权重函数的形状示例。关于亮度权重函数，如下单峰形状的函数是适合的，该形状具有随着在目标像素位置的输入亮度值L^(nl)(p)和与在目标像素位置内插的积分值的各块相对应的亮度水平λ之间的差值减少而具有更大的值。例如可以使用比如以下等式中所示函数这样的函数。 

[数学式31] 

$\mathrm{\&phi;}(\mathrm{\&lambda;},L^{\left(\mathrm{nl}\right)}\left(p\right))=\exp (-\frac{{(\mathrm{\&lambda;}-L^{\left(\mathrm{nl}\right)}\left(p\right))}^2}{2\&CenterDot;{{\mathrm{\&sigma;}}_{\mathrm{th}}}^2})$

这里，σ_th是如下常值，该常值确定函数范围的扩展大小。由于使用这样的亮度权重函数，可以向值与输入亮度值L^(nl)(p)接近的块赋以大的权值并且可以向值远离该输入亮度值的块赋以小的权值。乘积和单元566和567基于亮度权重函数和输入亮度值来计算用于各块的权值并且随后根据各权重来进行对在目标像素位置内插的权重本身与加权增益内插值的所有块的值的加权求和。除法单元569将乘积和单元566计算的加权增益值除以乘法和单元567计算的可靠性并且输出其结果作为在目标像素位置的全局增益值。乘法和单元566和567以及除法单元569进行的计算如以下等式。 

[数学式32] 

${\mathrm{SW}}_l\left(p\right)=\frac{\underset{\mathrm{\&lambda;}}{\mathrm{\&Sigma;}}{\mathrm{SW}}_{\mathrm{interpolated}}\left(\mathrm{\&lambda;}\right)\&CenterDot;\mathrm{\&phi;}(\mathrm{\&lambda;},L^{\left(\mathrm{nl}\right)}\left(p\right))}{\underset{\mathrm{\&lambda;}}{\mathrm{\&Sigma;}}{\mathrm{FT}}_{\mathrm{interpolated}}\left(\mathrm{\&lambda;}\right)\&CenterDot;\mathrm{\&phi;}(\mathrm{\&lambda;},L^{\left(\mathrm{nl}\right)}\left(p\right))}$

同时，乘积和单元566是在权利要求中描述的第一乘积和单元的示例。另外，乘积和单元567是在权利要求中描述的第二乘积和单元的示例。另外，除法单元569是在权利要求中描述的第二除法单元的示例。 

在块积分值中，针对各块对各块区域的具有接近值的像素的加权增益和可靠性本身进行积分。因此通过进行如下求和来获得在邻近的4x4块区域内特别近的亮度值的像素的积分结果，在该求和中以上述方式对与在目标像素位置的亮度值接近的亮度水平的块设定权重。因此即使宽范围的区域如邻近的4x4块区域小，向不同亮度的另一主体施加的像素值的影响也是小的，并且可以计算目标像素所属主体的平均增益值。 

同时，内插单元564是在权利要求中描述的第一内插单元的示例。另外，内插单元563是在权利要求中描述的第二内插单元的示例。另外，乘积和单元567是在权利要求中描述的第一乘积和单元的示例。另外，乘积和单元566是在权利要求中描述的第二乘积和单元的示例。 

[操作示例] 

图30和图31图示了在本发明的第三实施例中的平滑处理单元480的操作示例。 

这里首先通过使用各像素作为目标来重复步骤S961至S969的处理(循环L707)。在这一循环L707中获得处理目标图像的RGB值(步骤S961)。另外获得对应像素的增益FS_R(p)和FS_B(p)以及可靠性FT(p)(步骤S962)。然后在亮度计算单元521中计算亮度值L(p)(步骤S963)。这一亮度值L(p)在非线性转换单元522中受到非线性转换，并且输出非线性转换亮度值L⁽ⁿ¹⁾(p)(步骤S964)。 

然后进行用于计算块积分值的处理(S965)。具体而言，在乘法单元511和512中将增益FS_R(p)和FS_B(p)以及可靠性FT(p)相乘。另外，在块积分值计算单元531和532中更新在目标像素位置处针对R和B通道的增益的块积分值(步骤S966)。另外，在块直方图计算单元533中更新在目标像素位置处与块直方图对应的可靠性本身的块积分值(步骤S966)。 然后在存储器(未示出)中存储目标像素的亮度值(步骤S967)。 

在完成循环L707的步骤S961至S967的处理时重复针对下一像素位置的处理。当完成针对所有像素位置的处理时，控制从循环L707退出，并且分别在块积分值保持单元541和542以及块直方图保持单元543中存储针对一帧的块积分值和块直方图(步骤S968)。另外，在本发明的第三实施例中，通过紧接在图24中的步骤S947之后插入步骤S962至S967的处理，图24中的循环L705和图30中的循环L707可以形成为共用循环处理。由于已经在步骤S941中读取各像素的值，所以可以省略步骤S961。另外关于可靠性，通过直接使用在步骤S947中选择的值，可以省略步骤S948和S962中的可靠性的存储和读取处理。 

接着通过使用各像素作为目标来重复以下处理(循环L708)。在这一循环L708中，从存储器(未示出)读取目标像素周围的亮度值。另外从块直方图保持单元543读取针对目标像素周围的可靠性本身的块积分值(步骤S971)。然后通过使用各通道(R和B通道)作为目标来重复以下处理(循环L709)。 

在循环L709中从块积分值保持单元541或者542读取针对目标通道的加权增益的块积分值(步骤S972)。然后在相位补偿处理单元551或者552中计算与目标通道在马赛克图像中的像素位置相对应的亮度值(步骤S973)。另外，在加权乘积和单元561或者562中通过对块积分值的加权乘积和计算来计算针对目标像素通道的增益(步骤S974)。然后在增益应用单元571或者572中向目标通道应用通过加权乘积和所获得的增益(步骤S975)。针对各通道在照明分量转换马赛克图像保持单元290的目标像素位置处存储以这种方式应用增益的像素值(步骤S976)。另外，这里提到的步骤S976的处理是图12中的步骤S919和图24中的步骤S950，并且通过在它们之一中存储处理结果，可以省略其它处理。 

当在循环L709中完成步骤S972至S976的处理时，针对下一通道重复相同处理。在完成针对所有通道的处理时，控制从循环L709退出，并且针对下一像素重复相同处理。在完成针对所有像素位置的处理时，控制从循环L708退出，并且完成针对一帧的平滑处理。 

图32图示了在本发明的第三实施例中的块积分值计算单元531和532以及块直方图计算单元533的操作示例。 

这里通过使用各像素作为目标来进行步骤S981至S983的处理。首 先从非线性转换单元522以及乘法单元511和512获得在目标像素位置处的亮度值和加权特征量(步骤S981)。然后，块选择单元534关于其中包含目标像素位置的块来自n个块之中的哪个块进行确定(步骤S982)。然后在对应的积分器535-1至535-n中将目标像素的加权特征量相加(步骤S983)。 

图33图示了在本发明的第三实施例中的加权乘积和单元561和562的操作示例。 

首先获得在目标像素位置处的亮度(步骤S991)。然后在内插单元563中，基于在亮度相等的空间方向上的邻近的4x4个块的块积分值信息，对于在亮度方向上的各划分通过内插来计算在目标像素位置处的加权增益积分值(步骤S992)。另外，在内插单元564中，对于在亮度方向上的各划分通过内插来计算在亮度相等的空间方向上的邻近的4x4个块在目标像素位置处与块直方图相对应的可靠性本身的积分值(步骤S993)。 

接着，在乘积和单元566中计算如下结果，其中将亮度加权值与在目标像素位置处内插的加权增益积分值求和(步骤S994)。另外，在乘积和单元567中计算如下结果，其中将亮度加权值与在目标像素位置处内插的可靠性本身的积分值(块直方图)求和(步骤S995)。 

接着，在除法单元569中将乘法和单元566求和的加权增益积分值除以乘法和单元567求和的可靠性本身的积分值。然后输出除法单元569的计算结果作为在目标像素位置处的全局增益值(步骤S997)并且完成针对一个像素的加权乘积和处理。 

如上文所述，根据本发明的第三实施例，通过使用针对各块区域的具有接近值的像素的加权增益和其中针对各块对可靠性本身进行积分的块积分值，可以减少边缘保留型平滑的计算次数。另外，在本发明的实施例中以进行空间平滑的顺序进行加权乘积求和并且接着进行在亮度方向上的平滑。可替换地，可以进行亮度方向平滑，并且接着进行空间平滑。另外如数学式26至数学式28中所示，通过保持其中已经预先进行在亮度方向上的平滑的加权增益作为块积分值，可以减少针对各像素的计算次数。 

同时，在上文提到的实施例中获得在G通道的增益固定为“1”时R和B通道的增益。在亮度固定时的增益中也有必要应用针对G通道的增益。在该情况下，根据本实施例的技术也有效地适用于G通道。 

<4.第四实施例> 

在本发明的范围中，作为另一实施例，照明分量转换处理可以包括用于对输入图像进行分辨率转换并且进行比较的处理。在照明分量转换处理中的中间数据使得提取全局照明分布和整个图像的结构。因而即使中间数据是预先缩小的计算图像，那些信息仍然未失效，并且可以减少计算次数。另外通过在缩小之后进行比较，可以抑制移动主体的影响。此外，在引入分辨率转换处理单元时，引向LCD并且向LCD输出的监视器图像等变成可用。因而当监视器图像用作基准马赛克图像时可以生成具有高颜色再现性的图像而不进行对闪光发射和非闪光发射的连续图像拍摄，并且这有助于节省存储器。一种缩小输入图像的方法可以是简单的方法，比如对属于处理目标图像的马赛克图像中的与缩小的图像的各像素位置相对应的区域的像素进行简单的平均。 

同时，在第四实施例中，由于假设的图像拍摄装置和图像处理电路23的配置与第三实施例的配置相同，所以省略其描述。 

[照明分量转换处理单元120的配置示例] 

图34图示了在本发明的第四实施例中的照明分量转换处理单元120的配置示例。类似于第三实施例，照明分量转换处理单元120包括去马赛克处理单元221和222、白平衡计算单元230、基准图像白平衡保持单元240、通道增益计算单元250以及通道增益应用单元260。在这一示例中，通道增益计算单元250与图15的通道增益计算单元250不同在于输λ/输出，并且使用在分辨率转换之后的值。除此之外进行相同的操作。照明分量转换处理单元120还包括分辨率转换单元271和272。 

分辨率转换单元272和272改变输入图像的尺寸。分辨率转换的主要目的在于缩小图像并且抑制移动主体等的除了照明环境的改变之外的差异的影响。该目的的另一示例在于使输入图像的大小在基准图像与处理目标图像之间匹配。通常的做法是向LCD输出的监视器图像具有比在正常处理中拍摄的图像的分辨率更小的分辨率。出于这一原因，两个图像的大小不同，并且不能直接使用上文提到的增益计算。为了解决这一问题，如下技术是有效的，在该技术中进行用于使基准图像与处理目标图像的大小彼此一致的分辨率转换、然后对图像进行比较。在该情况下，基于在基准图像与处理目标图像的图像大小之间的大小关系来确定分辨率转换单元271和272进行的处理是扩大和缩小中的哪一种。当分辨率转换单元271和272进行的处理为扩大处理时，边缘保留型平滑滤波处理进行扩大处理是有效的。在平滑处理中，由于即使在照明环境在对象体的边界中大不相 同的情况下，平滑处理仍然进展，所以在边界中出现色模糊。当分辨率转换单元271和272进行的处理为缩小处理时，可以使用比较简单的方法、比如属于原图像中的与缩小的图像的各像素位置相对应的块区域的像素的简单平均、中心值或者稀化(疏化，thinning)处理。另外通过与去马赛克处理单元221和222进行的去马赛克处理同时在分辨率转换单元271和272中进行分辨率转换处理，可以减少计算次数。另外可以改变在分辨率转换单元271和272中的分辨率转换处理以及去马赛克处理单元221和222进行的去马赛克处理的顺序。在该情况下也可以减少计算次数。 

[通道增益应用单元260的配置示例] 

图35图示了在本发明的第四实施例中的通道增益应用单元260的配置示例。通道增益应用单元260包括与在图16中描述的第二实施例中相同的配置。然而当要生成可靠性时使用缩小的图像。输入缩小的基准图像BR_c(q)、BG_c(q)和BB_c(q)以及缩小的处理目标图像BR_s(q)、BG_s(q)和BB_s(q)。另外，在平滑处理单元480中，除了处理目标图像R_s(p)、G_s(p)和B_s(p)之外，还输入缩小的处理目标图像BR_s(q)、BG_s(q)和BB_s(q)、基于缩小的图像的可靠性BFT(q)以及缩小的图像的增益BFS_R(q)和BFS_B(q)。这里，p和q表示各像素。 

[平滑处理单元480的配置示例] 

图36图示了在本发明的第四实施例中的平滑处理单元480的配置示例。平滑处理单元480包括与参照图26描述的第三实施例的配置相同的配置。然而用于计算块积分值的图像为缩小的图像。也就是说，向乘法单元511和512输入缩小的图像的增益BFS_R(q)和BFS_B(q)以及基于缩小的图像的可靠性BFT(q)。另外向亮度计算单元523输入缩小的处理目标图像BR_s(q)、BG_s(q)和BB_s(q)。 

另一方面，原样维持加权求和的处理目标图像的大小。也就是说，向亮度计算单元521输入处理目标图像R_s(p)、G_s(p)和B_s(p)。另外分别向增益应用单元571和572输入处理目标图像R_s(p)和B_s(p)。 

[操作示例] 

图37图示了在本发明的第四实施例中的照明分量转换处理单元120的操作示例。这一操作示例与参照图12描述的第一实施例的操作示例基本上相同。然而在分辨率转换单元271和272中进行用于缩小基准图像和处理目标图像的处理(步骤S821和S822)。另外，在通道增益应用单元 260中根据处理目标图像来扩大并且向各通道应用增益(步骤S818)。这时基于关于目标像素是恶化成过黑状况还是过白状况或者目标像素是否为移动主体的确定来设置可靠性。通过考虑各通道的原像素位置按照边缘保留型来应用空间平滑增益。 

图38图示了在本发明的第四实施例中的通道增益应用单元260的操作示例。这一操作示例与参照图24描述的第二实施例的操作示例基本上相同。然而不同在于基于缩小的图像来计算可靠性。出于这一原因，与循环L705相对应的循环L714的处理是针对各缩小像素的处理。另外由于循环L702和循环L705可以形成为共用循环，所以与通道增益计算单元250对缩小的图像进行的循环L702相对应的处理和循环L714的处理可以一起形成为大循环处理。另外，用于计算块积分值的图像也为缩小的图像(步骤S841)。也就是说，向乘法单元511和512输入缩小的图像的增益BFS_R(q)和BFS_B(q)以及基于缩小的图像的可靠性BFT(q)。另外向亮度计算单元523输入缩小的处理目标图像BR_s(q)、BG_s(q)和BB_s(q)。另外，这里提到的步骤S850的处理是图37中的步骤S819。通过在它们之一中存储处理结果，可以省略其它处理。 

在这种平滑中，在各像素中与目标通道的处理目标图像的马赛克图像中的像素位置相对应的平滑是优选的。因而平滑是在根据处理目标图像的马赛克图像的大小来扩大之时应用的处理。这时虽然可以单独进行边缘保留型平滑处理和扩大处理，但是从减少计算次数的观点来看优选的是同时进行这些处理。 

图39和图40图示了在本发明的第四实施例中的平滑处理单元480的操作示例。这一操作示例与参照图30和图31描述的第三实施例的操作示例基本上相同。然而用于计算块积分值的图像为缩小的图像。也就是说，向乘法单元511和512输入缩小的图像的增益BFS_R(q)和BFS_B(q)以及基于缩小的图像的可靠性BFT(q)。另外向亮度计算单元523输入缩小的处理目标图像BR_s(q)、BG_s(q)和BB_s(q)。另外，原样维持要加权求和的处理目标图像的大小。出于这一原因，在亮度计算单元521中基于处理目标图像R_s(p)、G_s(p)和B_s(p)来计算亮度(步骤S872)，并且在非线性转换单元522中进行非线性转换(步骤S873)。对非线性转换的亮度进行相位补偿处理(步骤S875)。另外，在加权乘积和单元561和562中，当要通过对块积分值的加权乘积求和计算来计算针对目标像素通道的增益(步骤S876)时，重要的是通过使用处理目标图像的马赛克图像在缩小之前的分 辨率来考虑块积分值和目标像素的距离。另外，这里提到的步骤S878的处理是图37中的步骤S819或者图38中的步骤S850。通过在它们之一中存储处理结果，可以省略其它处理。另外，在本发明的第四实施例中，通过紧接在图38中的步骤S847之后插入处理步骤S862至S866，图38中的循环L714和图39中的循环L715可以形成为共用循环处理。由于已经在步骤S841中读取各像素的值，所以可以省略步骤S861。另外关于可靠性，通过直接使用在步骤S847中选择的值，可以省略步骤S848和S862中的可靠性的存储和读取处理。 

如上文所述，根据本发明的第四实施例，使用缩小的图像使得可以减少计算总次数并且抑制移动主体的影响。 

<5.第五实施例> 

此外，作为照明分量转换过程的另一种形式，可采用下文描述的另一种形式。在到现在为止所描述的照明分量转换过程中，将通过数码相机拍摄的单个图像用作基准图像处理目标图像。下文将描述一个实施例，其包括帧存储器，并通过从多个图像生成组合输入图像来处理不同于闪光发射或非闪光发射的场景。 

同时，在第五实施例中，所假设的图像拍摄装置和图像处理电路23的配置与第四实施例的相同，因此将省略其描述。 

[照明分量转换处理单元120的配置的示例] 

图41示出本发明第五实施例中的照明分量转换处理单元120的配置的示例。类似于第四实施例，照明分量转换处理单元120包括：去马赛克处理单元221和222、白平衡计算单元230、基准图像白平衡保持单元240、通道增益计算单元250和通道增益应用单元260。照明分量转换处理单元120还包括帧加法单元280。帧加法单元280根据多个图像生成组合输入图像。 

[帧加法单元280的配置的示例] 

图42示出本发明第五实施例中的帧加法单元280的配置的示例。帧加法单元280包括：加法单元281和282、基准马赛克图像保持单元283、处理目标马赛克图像保持单元284和控制参数确定单元285。 

基准马赛克图像保持单元283和处理目标马赛克图像保持单元284保持过去所拍摄的图像及其加法结果。在基准马赛克图像保持单元283和处理目标马赛克图像保持单元284中保持在时间方向上积分的图像。此 外，在基准马赛克图像保持单元283和处理目标马赛克图像保持单元284中，为了在较宽的强度范围内保持准确的颜色平衡，优选的是保持每个通道的基于16位精度的高动态范围(HDR)图像。 

加法单元281将来自新基准马赛克图像保持单元213的图像与基准马赛克图像保持单元283中所保持的图像相加。加法单元282将来自新处理目标马赛克图像保持单元214的图像与处理目标马赛克图像保持单元284中所保持的图像相加。 

控制参数确定单元285确定是否执行新图像拍摄，并且基于帧存储器中的图像和新拍摄的图像确定图像拍摄期间的控制参数。作为此控制参数，优选为，采用足够高速的快门速度，从而不会出现相机抖动和主体相机抖动。此外，控制参数确定单元285执行控制以执行连续图像拍摄，同时基于即将拍摄处理目标图像时的曝光设定参数和处理目标图像的值来改变曝光，从而实现适当的RGB颜色平衡，其中对于所有的像素位置均不存在饱和及过黑状况。 

此外，控制参数确定单元285执行控制以检测来自基准马赛克图像保持单元283和处理目标马赛克图像保持单元284中所保持的图像的闪光并重复图像拍摄，直到其影响消失为止。 

此外，作为另一种控制方法，在控制参数确定单元285中，可从基准马赛克图像保持单元283和处理目标马赛克图像保持单元284中所保持的图像检测到过黑状况或饱和。随后，通过重复图像拍摄，同时改变曝光直到其影响消失，可生成宽动态范围图像。 

同时，在加法单元281和282中，优选在通过块匹配等执行准确定位之后执行加法。可替选地，可与第四实施例的分辨率转换过程进行组合。因此，即使使用简单的加权加法平均值而不执行基准马赛克图像保持单元283中所保持的图像与新图像之间的定位，也可获得令人满意的结果。 

[操作示例] 

图43和44示出本发明第五实施例中的照明分量转换处理单元120的操作示例。照明分量转换处理单元120的后半部分与参照图12所描述的第一实施例的后半部分相同，不同之处在于在前半部分执行对基准马赛克图像保持单元283和处理目标马赛克图像保持单元284的帧加法。同时，在下文中，基准马赛克图像保持单元283和处理目标马赛克图像保持单元284将被称为帧存储器。 

首先，在控制参数确定单元285中，确定关于图像拍摄的控制参数并且根据此控制参数拍摄第一图像(步骤S881)。此时拍摄的图像可为基准图像和处理目标图像，或者可为其中之一。 

接着，对每个像素重复步骤S882至S885的处理(循环L718)。在循环L718中，获得新拍摄的图像的目标像素值(步骤S882)。此外，从帧存储器中获得现有的相应像素值(步骤S883)。随后，在加法单元281和282中，对新像素值和帧存储器中的图像进行加权相加(步骤S884)。将加法结果重写为帧存储器中的新帧存储器图像(步骤S885)。 

在完成步骤S882至S885的处理时，对下一个像素重复该过程。在对所有像素完成该处理时，控制退出循环L718，并且过程进入随后的步骤。此时，在控制参数确定单元285中，基于帧存储器中的图像和新拍摄的图像确定是否应执行新图像拍摄，并确定图像拍摄过程中的控制参数(步骤S886)。在控制参数确定单元285中，当确定需要额外的图像拍摄时，过程返回步骤S881，其中执行新图像拍摄。在帧存储器中的图像为有效的情况下，过程进入随后的步骤。随后的处理与参照图12描述的第一实施例的处理相同。 

如上所述，根据本发明的第五实施例，提供帧存储器，并且根据多个图像生成组合输入图像，由此可处理不同于闪光发射或非闪光发射的场景。例如，在荧光灯或汞灯的照明下使用CMOS传感器在短周期曝光中拍摄的图像中，将出现这样的区域：其中部分地由于闪光的影响而使照明条件不同。然而，可以处理这种图像。 

同时，以此方式使用第五实施例以与第四实施例相组合是有效的。 

<6.第六实施例> 

[图像处理电路23的处理功能示例] 

图45示出本发明第六实施例中的图像处理电路23的处理功能的示例。图像处理电路23与参照图2描述的第一实施例的图像处理电路的不同之处在于：在照明分量转换处理单元120之前的阶段执行白平衡过程。即，对在白平衡处理单元131和132中估算的白平衡值进行计算，并将其分别存储在基准图像白平衡保持单元181和处理目标图像白平衡保持单元182中。随后，将所存储的白平衡值供应给照明分量转换处理单元120。 

在第六实施例中，颜色转换增益计算单元311和312中的过程如下列等式。 

[数学式33] 

$S\left(p\right)=\frac{{\mathrm{WB}}_c\&CenterDot;{\mathrm{Ko}}_G\left(p\right)}{\mathrm{Ko}\left(p\right)}\left[\begin{array}{c}\frac{{\mathrm{WB}}_{\mathrm{cR}}\&CenterDot;G_s\left(p\right)/G_c\left(p\right)}{R_s\left(p\right)/R_c\left(p\right)}\\ \frac{{\mathrm{WB}}_{\mathrm{cG}}\&CenterDot;G_s\left(p\right)/G_c\left(p\right)}{G_s\left(p\right)/G_c\left(p\right)}\\ \frac{{\mathrm{WB}}_{\mathrm{cB}}\&CenterDot;G_s\left(p\right)/G_c\left(p\right)}{B_s\left(p\right)/B_c\left(p\right)}\end{array}\right]$

$=\left[\begin{array}{c}{\mathrm{WB}}_{\mathrm{cR}}\&CenterDot;\frac{G_s\left(p\right)\&CenterDot;R_c\left(p\right)}{G_c\left(p\right)\&CenterDot;R_s\left(p\right)}\\ {\mathrm{WB}}_{\mathrm{cG}}\\ {\mathrm{WB}}_{\mathrm{cB}}\&CenterDot;\frac{G_s\left(p\right)\&CenterDot;B_C\left(p\right)}{G_c\left(p\right)\&CenterDot;B_s\left(p\right)}\end{array}\right]$

因此，可同时处理照明分量转换处理单元120的增益以及白平衡处理单元131和132的增益。在这种情况下，由于相对于第一实施例，增益被乘以WB_c，因此关于增益上限值R保持单元323或增益上限值B保持单元324或者增益下限值R保持单元333或增益下限值B保持单元334，设置被乘以WB_c的值。因此，设置由下列等式表示的上限值和下限值是有效的。 

[数学式34] 

[数学式35] 

此外，其还可应用于过黑状况补偿值R保持单元343和过黑状况补偿值B保持单元344以及饱和补偿值R保持单元353和饱和补偿值B保持单元354。将过黑状况补偿值设置为WB_s并将饱和补偿值设置为WB_c即足够。此外，对于上限值、下限值和补偿值的计算，使用存储在基准图像白平衡保持单元181和处理目标图像白平衡保持单元182中的值。 

此外，此时，通过白平衡计算单元230执行的过程变得不必要。除马赛克处理单元221和222以及通道增益应用单元260中的上述过程之外的过程与第一实施例中的过程相同。 

<7.第七实施例> 

[图像处理电路23的处理功能示例] 

图46示出本发明第七实施例中的图像处理电路23的处理功能的示例。在图像处理电路23中，将不仅执行了增益计算而且还执行了白平衡过程的马赛克图像实际上用作照明分量转换处理单元的输入。此处，白平衡处理单元131和132计算白平衡，将白平衡分别存储在基准图像白平衡保持单元181和处理目标图像白平衡保持单元182中，并且将已执行白平衡过程的图像用作照明分量转换处理单元120的输入。 

相对于第一实施例的输入I，在下列等式中给出第七实施例中的已执行白平衡过程的输入。 

[数学式36] 

$\stackrel{\&CenterDot;}{I}\left(p\right)=\mathrm{WB}\&CenterDot;I\left(p\right)=\mathrm{WB}\&CenterDot;E\left(p\right)\&CenterDot;\mathrm{\&rho;}\left(p\right)$

因此，分别以下列方式在通道增益计算单元250中的颜色转换增益计算单元311和312中计算出的比率和增益。 

[数学式37] 

$\stackrel{\&CenterDot;}{K}o\left(p\right)=\frac{{\stackrel{\&CenterDot;}{I}}_s\left(p\right)}{{\stackrel{\&CenterDot;}{I}}_{\left(p\right)}}$

$=\left[\begin{array}{c}\frac{{\stackrel{\&CenterDot;}{R}}_s\left(p\right)}{{\stackrel{\&CenterDot;}{R}}_c\left(p\right)}\\ \frac{{\stackrel{\&CenterDot;}{G}}_s\left(p\right)}{{\stackrel{\&CenterDot;}{G}}_c\left(p\right)}\\ \frac{{\stackrel{\&CenterDot;}{B}}_s\left(p\right)}{{\stackrel{\&CenterDot;}{B}}_c\left(p\right)}\end{array}\right]=\left[\begin{array}{c}\frac{{\mathrm{WB}}_{\mathrm{sR}}\&CenterDot;E_{\mathrm{sR}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_R\left(p\right)}{{\mathrm{WB}}_{\mathrm{cR}}\&CenterDot;E_{\mathrm{cR}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_R\left(p\right)}\\ \frac{{\mathrm{WB}}_{\mathrm{sG}}\&CenterDot;E_{\mathrm{sG}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_G\left(p\right)}{{\mathrm{WB}}_{\mathrm{cG}}\&CenterDot;E_{\mathrm{cG}}\&CenterDot;{\mathrm{\&rho;}}_G\left(p\right)}\\ \frac{{\mathrm{WB}}_{\mathrm{sB}}\&CenterDot;E_{\mathrm{sB}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_B\left(p\right)}{{\mathrm{WB}}_{\mathrm{cB}}\&CenterDot;E_{\mathrm{cB}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_B\left(p\right)}\end{array}\right]$

$=\left[\begin{array}{c}\frac{\frac{{\mathrm{WB}}_{\mathrm{sR}}}{{\mathrm{WB}}_{\mathrm{cR}}}\&CenterDot;E_{\mathrm{sR}}\left(p\right)}{E_{\mathrm{cR}}\left(p\right)}\\ \frac{E_{\mathrm{sG}}\left(p\right)}{E_{\mathrm{cG}}\left(p\right)}\\ \frac{\frac{{\mathrm{WB}}_{\mathrm{sB}}}{{\mathrm{WB}}_{\mathrm{cB}}}\&CenterDot;E_{\mathrm{sB}}\left(p\right)}{E_{\mathrm{cB}}\left(p\right)}\end{array}\right]=\left[\begin{array}{c}\frac{{\mathrm{WB}}_{\mathrm{sR}}}{{\mathrm{WB}}_{\mathrm{cR}}}\&CenterDot;{\mathrm{ko}}_R\\ {\mathrm{Ko}}_G\\ \frac{{\mathrm{WB}}_{\mathrm{sB}}}{{\mathrm{WB}}_{\mathrm{cB}}}\&CenterDot;{\mathrm{Ko}}_B\end{array}\right]$

[数学式38] 

$\stackrel{\&CenterDot;}{S}\left(p\right)=\frac{{\stackrel{\&CenterDot;}{K}o}_G\left(p\right)}{\stackrel{\&CenterDot;}{k}o\left(p\right)}$

$=\left[\begin{array}{c}\frac{{\mathrm{WB}}_{\mathrm{cR}}}{{\mathrm{WB}}_{\mathrm{sR}}}\&CenterDot;\frac{G_s}{G_c}\&CenterDot;{\left(\frac{R_s}{R_c}\right)}^{-1}\\ 1\\ \frac{{\mathrm{WB}}_{\mathrm{cB}}}{{\mathrm{WB}}_{\mathrm{sB}}}\&CenterDot;\frac{G_s}{G_c}\&CenterDot;{\left(\frac{B_s}{B_c}\right)}^{-1}\end{array}\right]=\left[\begin{array}{c}\frac{{\mathrm{WB}}_{\mathrm{cR}}}{{\mathrm{WB}}_{\mathrm{sR}}}\&CenterDot;\frac{G_s\&CenterDot;R_G}{G_c\&CenterDot;R_s}\\ 1\\ \frac{{\mathrm{WB}}_{\mathrm{cB}}}{{\mathrm{WB}}_{\mathrm{sB}}}\&CenterDot;\frac{G_s\&CenterDot;B_c}{G_c\&CenterDot;B_s}\end{array}\right]$

$=\left[\begin{array}{c}\frac{{\mathrm{WB}}_{\mathrm{cR}}}{{\mathrm{WB}}_{\mathrm{sR}}}\&CenterDot;S_R\\ S_G\\ \frac{{\mathrm{WB}}_{\mathrm{cB}}}{{\mathrm{WB}}_{\mathrm{sB}}}\&CenterDot;S_B\end{array}\right]$

此处，比率Ko已被乘以WB_s/WB_c，而增益已被乘以WB_c/WB_s。当考虑到此事实时，关于增益上限值R保持单元323或增益上限值B保持单元324或者增益下限值R保持单元333或增益下限值B保持单元334设置相对于第一实施例被乘以WB_c/WB_s的值。因此，以下列方式设定上限值和下限值是有效的。 

[数学式39] 

[数学式40] 

此外，其还应用于过黑状况补偿值R保持单元343和过黑状况补偿值B保持单元344以及饱和补偿值R保持单元353和饱和补偿值B保持单元354。将过黑状况补偿值设置为″1″并且将饱和补偿值设定为WB_c/WB_s即足够。此外，对于上限值、下限值和补偿值的计算，使用存储在基准图像白平衡保持单元181和处理目标图像白平衡保持单元182中的值。 

此外，作为获得上限值、下限值和补偿值的另一种形式，可以考虑下列技术。即，对于WB_c/WB_s的值，不使用存储在基准图像白平衡保持单元181和处理目标图像白平衡保持单元182中的值，而是可从已执行白平衡过程的基准图像和处理目标图像直接获得。通过对于数学式37执行曝光补偿过程，可类似于数学式41写出已在执行了白平衡过程的图像中执行曝光补偿过程的两个图像的比率K的等式。此处，在闪光不能达到的背景区域，由于比率K(p)为1，可获得白平衡的比率以作为这种区域中的数学式41的每个通道的值。因此，为KG提供阈值，并且可获得WB_c/WB_s以作为其中KG接近1的区域中K的通道的值的平均或中心值的倒数。 

[数学式41] 

$\stackrel{\&CenterDot;}{K}\left(p\right)=\stackrel{\&CenterDot;}{K}o\left(p\right)\&CenterDot;\mathrm{expCV}=\left[\begin{array}{c}\frac{{\mathrm{WB}}_{\mathrm{sR}}}{{\mathrm{WB}}_{\mathrm{cR}}}\&CenterDot;K_R\left(p\right)\\ K_G\left(p\right)\\ \frac{{\mathrm{WB}}_{\mathrm{sB}}}{{\mathrm{WB}}_{\mathrm{cB}}}\&CenterDot;K_B\left(p\right)\end{array}\right]$

此外，此时，通过白平衡计算单元230执行的过程变得不必要。去马赛克处理单元221和222中的处理与第一实施例的处理相同。此外，通道增益应用单元260中的过程为其中考虑了相对于第一实施例比率Ko已被乘以WB_s/WB_c这一事实的过程。 

<8.第八实施例> 

在本发明的第八实施例中，假设两个已将某种转换过程添加到RAW数据的图像。例如，假设两个已执行对应于图2的图像拍摄装置的图像处理电路23中的白平衡处理单元130到YC转换处理单元170的过程的图 像。作为图像格式，例如，可假设JPEG(联合图象专家组)格式。此外，对于输入图像，假设为每个像素充分地准备三个通道，并且已对每个图像执行白平衡过程。即，类似于第七实施例，在第八实施例中，可将已执行白平衡过程的图像用作输入图像。 

第八实施例与其它实施例的主要区别在于，已对于每个像素充分地准备了三个通道的数据。因此，图5中的用于基准图像的去马赛克处理单元221和用于处理目标图像的去马赛克处理单元222变得不必要并且可被绕过。此外，白平衡计算单元230的操作也不同。在白平衡计算单元230中，假设将通过白平衡处理单元130预先获得的白平衡值保持并存储为基准图像白平衡保持单元中的基准图像的WB_c的值。关于WB_s，假设保持并使用预先通过白平衡处理单元130获得的值。此外，作为设置WB_s的另一种形式，可使用通过对图1的闪光发射单元61的先前测量获得的白平衡值。此外，如第七实施例的数学式41中所示，可获得基准图像与处理目标图像的白平衡的比率以作为曝光补偿之后的两个图像的比率。此外，另一个不同之处在于，已将对应于图2的伽马校正处理单元160的非线性过程添加到输入图像，并且未正确地获得信号的强度比率K。为此，在第八实施例中，执行其中在逆伽马校正过程之后使用用于照明分量转换过程的输入的过程，或执行其中假设希望改变伽马校正过程的过程。图47为示出图像处理电路23的配置的框图，其中将逆伽马校正过程之后的图像作为输入。 

[图像处理电路23的处理功能示例] 

图47示出本发明第八实施例中的图像处理电路23的处理功能的示例。图像处理电路23包括：逆伽马校正处理单元133和134、照明分量转换处理单元120、伽马校正处理单元160、YC转换处理单元170、基准图像白平衡保持单元183和处理目标图像白平衡保持单元184。 

图像处理电路23的输入图像为已从JPEG格式解码并且其中为每个像素充分地准备三个通道的图像。对于逆伽马校正过程，希望的是生成JPEG格式的图像时伽马校正过程的逆转换。在其中不可能知道准确的逆转换的情况下，可使用简化逆伽马校正过程。在下列等式中给出伽马校正过程的简化过程。 

[数学式42] 

$\mathrm{gamI}\left(p\right)={\left(\frac{I\left(p\right)}{I_{\mathrm{white}\_\mathrm{level}}}\right)}^{\mathrm{\&gamma;}}\&CenterDot;I_{\mathrm{white}\_\mathrm{level}}$

因此，可以看出执行以下列等式所表示的校正过程即足够，其中所述校正过程为上述等式的逆转换等式。 

[数学式43] 

$I\left(p\right)={\left(\frac{\mathrm{gamI}\left(p\right)}{I_{\mathrm{whitel}\_\mathrm{level}}}\right)}^{\frac{1}{\mathrm{\&gamma;}}}\&CenterDot;I_{\mathrm{whitel}\_\mathrm{level}}$

此处，I_{white_level}为输入信号I的上限值，用于将输入信号标准化为0.0至1.0的值。用于逆伽马校正之后的图像的过程符合本发明的第一实施例。此外，用于计算增益计算单元中的增益上限值、增益下限值、饱和补偿值和过黑状况补偿值的等式符合第七实施例的数学式39和数学式40。此外，类似于第七实施例，通道增益应用单元260中的过程是其中考虑了相对于第一实施例比率Ko已被乘以WB_s/WB_c这一事实的过程。 

此外，在照明分量转换过程之后，需要再次执行伽马校正。优选地，此转换为逆伽马校正处理单元133和134的逆转换，其独立于生成JPEG格式的图像时的伽马校正过程。 

接着，在图47的函数的示例中，将描述其中省略逆伽马校正处理单元133和134以及伽马校正处理单元160的情况下的处理。通常，优选的是通过使用被称为RAW数据的图像来执行对每个通道的颜色平衡调整过程，其中RAW数据具有传感器和安置于其表面上的滤色器的谱特征、照明分量的颜色平衡以及强度的线性特征。照明分量转换过程被认为是对这样的图像执行的：在该图像中，已对该RAW数据执行了f转换。 

如果要在RAW数据阶段以上述方式执行对颜色平衡的调整，则此时获得的输出是已在执行颜色转换过程之后执行过f转换的图像。因此，可如下表示输出。 

f(FS(p)·I_s(p)) 

此处，为了简化描述，当省略图6中的上限值限幅单元、下限值限幅单元、过黑状况补偿单元和饱和补偿单元，并设置增益S(p)＝增益FS(p)时，获得下列结果。 

f(S(p)·I_s(p)) 

另一方面，当将f转换之后的图像用作照明分量转换处理单元120的输入并且将通过颜色转换增益计算单元311和312获得的增益表示为tS(p)时，增益应用之后的图像如下。 

tS(p)·f(I_s(p)) 

此处需获得使上述两个等式的结果彼此匹配的tS(p)。因此，获得下列等式。 

f(S(p)·I_s(p)＝tS(p)·f(I_s(p)) 

tS(p)＝(f(S(p)·I_s(p))/f(I_s(p)) 

此处，假设关于f转换，乘法和除法的计算顺序以及f转换是可互换的。即，假设下列等式成立。 

f(I(p)·J(p))＝f(I(p))·f(J(p)) 

f(1/I(p))＝1/f(I(p)) 

可看出，通过在转换之后对图像执行与数学式4相同的过程，此假设的使用可获得相应的颜色转换增益tFS(p)，如下列等式所示。 

[数学式44] 

$\mathrm{tS}\left(p\right)=\frac{f[\frac{K{o}_G\left(p\right)}{\mathrm{Ko}\left(p\right)}\&CenterDot;I_s\left(p\right)]}{f\left(I_s\left(p\right)\right)}$

$=\frac{f\left(K{o}_G\left(p\right)\right)\&CenterDot;f\left[\frac{1}{\mathrm{Ko}\left(p\right)}\right]\&CenterDot;f\left(I_s\left(p\right)\right)}{f\left(I_s\left(p\right)\right)}$

$=f\left(K{o}_G\left(p\right)\right)\&CenterDot;\frac{1}{f\left(\mathrm{Ko}\left(p\right)\right)}$

$=f\left[\frac{G_s\left(p\right)}{G_c\left(p\right)}\right]\&CenterDot;\frac{1}{f\left[\frac{I_s\left(p\right)}{I_c\left(p\right)}\right]}$

$=\frac{f\left(G_s\left(p\right)\right)\&CenterDot;f\left(I_c\left(p\right)\right)}{f\left(G_c\left(p\right)\right)\&CenterDot;f\left(I_s\left(p\right)\right)}$

即，显示出在不关于已对RAW数据执行了f转换(其具有上述等式的特性)的图像执行逆转换过程的情况下，根据本发明实施例的颜色转换增益计算方法仍然有效。 

伽马校正过程可近似为使用数学式41中所示的指数函数的转换，其中数学式41表示简化伽马校正过程。此外，此转换满足关于f转换的假设。因此，可以以近似的方式将本发明实施例中所示的照明分量转换过程应用于伽马过程之后的图像，而不执行逆转换。此外，此时，对于通道增益计算单元250中所使用的增益上限值、增益下限值、饱和补偿值和过黑状况补偿值，使用在逆伽马校正过程的第七实施例的数学式39和数学式40中获得值相应地乘以γ是有效的。因此，将过黑状况补偿值设定为1并且将饱和补偿值设定为(WB_c/WB_s)^γ即足够，并且通过下列等式来设定增益 

上限值和增益下限值。 

[数学式45] 

[数学式46] 

在将保持为经伽马处理的图像用作输入图像的情况下，在下列等式中 给出伽马修正状态下的图像的比率gamKo。 

[数学式47] 

$\mathrm{gamKo}\left(p\right)=\frac{{\mathrm{gamI}}_s\left(p\right)}{{\mathrm{gamI}}_c\left(p\right)}=\left[\begin{array}{c}\frac{{\mathrm{gamR}}_s\left(p\right)}{{\mathrm{gamR}}_c\left(p\right)}\\ \frac{{\mathrm{gamG}}_s\left(p\right)}{{\mathrm{gamG}}_c\left(p\right)}\\ \frac{{\mathrm{gamB}}_s\left(p\right)}{{\mathrm{gamB}}_c\left(p\right)}\end{array}\right]$

$=\left[\begin{array}{c}\frac{{\left(\frac{R_s\left(p\right)}{R_{\mathrm{whitelevel}}}\right)}^{\mathrm{\&gamma;}}\&CenterDot;R_{\mathrm{whitelevel}}}{{\left(\frac{R_o\left(p\right)}{R_{\mathrm{whitelevel}}}\right)}^{\mathrm{\&gamma;}}\&CenterDot;R_{\mathrm{whitelevel}}}\\ \frac{{\left(\frac{G_s\left(p\right)}{G_{\mathrm{whitelevel}}}\right)}^{\mathrm{\&gamma;}}\&CenterDot;G_{\mathrm{whitelevel}}}{{\left(\frac{G_c\left(p\right)}{G_{\mathrm{whitelevel}}}\right)}^{\mathrm{\&gamma;}}\&CenterDot;G_{\mathrm{whitelevel}}}\\ \frac{{\left(\frac{B_s\left(p\right)}{B_{\mathrm{whitelevel}}}\right)}^{\mathrm{\&gamma;}}\&CenterDot;B_{\mathrm{whitelevel}}}{{\left(\frac{B_c\left(p\right)}{B_{\mathrm{whitelevel}}}\right)}^{\mathrm{\&gamma;}}\&CenterDot;B_{\mathrm{whitelevel}}}\end{array}\right]=\left[\begin{array}{c}{\left(\frac{R_s\left(p\right)}{R_c\left(p\right)}\right)}^{\mathrm{\&gamma;}}\\ {\left(\frac{G_s\left(p\right)}{G_c\left(p\right)}\right)}^{\mathrm{\&gamma;}}\\ {\left(\frac{B_s\left(p\right)}{B_c\left(p\right)}\right)}^{\mathrm{\&gamma;}}\end{array}\right]$

$=\left[\begin{array}{c}{\left(\frac{E_{\mathrm{Rs}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_R\left(p\right)}{E_{\mathrm{Rc}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_G\left(p\right)}\right)}^{\mathrm{\&gamma;}}\\ {\left(\frac{E_{\mathrm{Gs}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_G\left(p\right)}{E_{\mathrm{Gc}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_G\left(p\right)}\right)}^{\mathrm{\&gamma;}}\\ {\left(\frac{E_{\mathrm{Bs}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_B\left(p\right)}{E_{\mathrm{Bc}}\left(p\right)\&CenterDot;{\mathrm{\&rho;}}_B\left(p\right)}\right)}^{\mathrm{\&gamma;}}\end{array}\right]=\left[\begin{array}{c}{\left(\frac{E_{\mathrm{Rs}}\left(p\right)}{E_{\mathrm{Rc}}\left(p\right)}\right)}^{\mathrm{\&gamma;}}\\ {\left(\frac{E_{\mathrm{Gs}}\left(p\right)}{E_{\mathrm{Gc}}\left(p\right)}\right)}^{\mathrm{\&gamma;}}\\ {\left(\frac{E_{\mathrm{Bs}}\left(p\right)}{E_{\mathrm{Bc}}\left(p\right)}\right)}^{\mathrm{\&gamma;}}\end{array}\right]={\mathrm{Ko}}^{\mathrm{\&gamma;}}$

因此，通过使用gamKo，以下列等式表示由于图像拍摄环境的不同而执行的曝光校正之后的比率K。 

[数学式48] 

$K=\mathrm{Ko}\&CenterDot;\mathrm{expCV}={\left(\mathrm{gamKo}\right)}^{\frac{1}{\mathrm{\&gamma;}}}\&CenterDot;\mathrm{expCV}$

相对于I求解关于gamI的伽马校正过程的简化过程，并代入每个确定等式，在将伽马校正之后的图像用作输入时可确定过黑状况、饱和以及移动主体。此外，在将伽马校正之后的图像用作输入时，已将“呈向上凸起形式的非线性转换”应用于RGB值。从而，其结果是也对以其线性和表示的亮度L执行了非线性转换。因此，在将伽马校正之后的图像用作输入图像的照明分量转换过程中，可省略非线性转换单元522中的过程(图26)。最后，照明分量转换处理单元120的输出为等效于图2中伽马校正处理单元160的输出结果的信号。 

如上所述，根据本发明的第八实施例，即使在将已执行过伽马校正过程的图像用作基准图像和处理目标图像的情况下，可生成具有高颜色再现性的图像。 

<9.第九实施例> 

在第三或第四实施例中，在边缘保留型平滑的过程中，根据固定系数从RGB值计算亮度，并且随后执行非线性转换。在本发明的第九实施例中，假设通过在对RGB值进行非线性转换之后执行多重回归分析来计算亮度。 

[平滑处理单元480的处理功能的示例] 

图48示出本发明的第九实施例中的平滑处理单元480的处理功能的示例。平滑处理单元480的处理功能的示例包括：非线性转换单元611和621至623以及亮度计算单元630，其替代图26所示的第三实施例中的亮度计算单元521和非线性转换单元522。 

非线性转换单元611对G通道的强度比率K_G(p)执行非线性转换并输出非线性强度比率K_G ^(nl)(p)。非线性转换单元621至623对处理目标图像I_s(p)的RGB值R_s(p)、G_s(p)和B_s(p)中的每一个执行非线性转换，并且输出非线性RGB值R_s ^(nl)(p)、G_s ^(nl)(p)和B_s ^(nl)(p)。类似于非线性转换单元522，对于非线性转换单元611和621至623，应用例如“向上凸起形式的单调递增特性”(诸如γ曲线)、使用小于1的指数的指数特性或对数转换是有利的。此处，执行非线性转换的原因是通过改变像素值的分布来提高直线模型的准确度。此外，还存在下列优点：由于该非线性转换，强度比率 K_G(p)与增益之间的相关性增大，并且其间的关系变得易于理解。同时，在本实施例中，将强度比率K_G(p)用作非线性转换单元611的输入。替代地，可使用K_R(p)、K_B(p)、1/K_R(p)、1/K_G(p)或1/K_B(p)。此外，可使用颜色转换增益本身，即，FS_R(p)和FS_B(p)。 

亮度计算单元630根据非线性转换单元611和621至623的输出计算非线性转换亮度值L^(nl)(p)。第三实施例中的亮度计算单元521基于固定系数计算RGB值的线性和。亮度计算单元630基于根据图像获得的系数计算亮度值。作为其示例，亮度计算单元630对非线性转换单元611和621至623的输出执行多重回归分析，并通过将所获得的多重回归分析参数用作系数来计算亮度值。同时，此处，因为亮度值是根据非线性转换值计算的，该值不同于严格意义上的亮度值。类似于第三实施例，由于目标是最终计算非线性转换亮度值L^(nl)(p)，将该值作为宽泛意义上的亮度值进行处理。亮度计算单元630包括：多重回归分析单元631、多重回归分析参数保持单元632和多重回归预测值计算单元633。 

多重回归分析单元631对非线性转换单元611和621至623的输出执行多重回归分析。多重回归分析单元631获得使下列等式的值最小化的多重回归分析参数CC_R、CC_G、CC_B和CC_Offset。此处，CC_R、CC_G和CC_B为偏回归系数，而CC_Offset为片段。 

∑(K_G ^(nl)(p)-(CC_R·R_s ^(nl)(p)+CC_G·G_s ^(nl)(p)+CC_B·B_s ^(nl)(p)+CC_Offset))²即，此处，执行R_s ^(nl)(p)、G_s ^(nl)(p)和B_s ^(nl)(p)为说明性变量，而K_G ^(nl)(p)为目标变量的多重回归分析。同时，在本示例中假设关于整个一个屏幕获得多重回归分析参数。可替选地，对作为屏幕的一部分的每个较小区域获得多重回归分析参数。此外，此处，通过使用RGB的所有通道执行多重回归分析。可替选地，可通过仅使用特定的通道来执行多重回归分析，并且可通过将CC_Offset固定为0来执行多重回归分析。 

多重回归分析参数保持单元632是用于保持通过多重回归分析单元631所获得的多重回归分析参数CC_R、CC_G、CC_B和CC_Offset的存储器。将多重回归分析参数保持单元632中所保持的多重回归分析参数供应给多重回归预测值计算单元633。 

多重回归预测值计算单元633根据多重回归分析参数保持单元632中所保持的多重回归分析参数，计算非线性转换亮度值L^(nl)(p)作为多重回归预测值。多重回归预测值计算单元633根据下列等式计算经非线性转换 的亮度值L^(nl)(p)。 

L^(nl)(p)＝CC_R·R_s ^(nl)(p)+CC_G·G_s ^(nl)(p)+CC_B·B_s ^(nl)(p)+CC_Offset

由于仅从处理目标图像的像素值获得以上述方式获得的非线性转换亮度值L^(nl)(p)，非线性转换亮度值L^(nl)(p)具有难以受到移动主体影响的特征。此外，由于此非线性转换亮度值L^(nl)(p)具有与第三实施例的情况中相同的特征，因此省略对另一配置的描述。 

[平滑处理单元480的处理功能的示例] 

图49示出本发明的第九实施例中的平滑处理单元480的处理功能的示例。平滑处理单元480的处理功能的另一示例包括：非线性转换单元612和621至623和641至643，以及亮度计算单元630，以替代图36所示的第四实施例中的亮度计算单元523和非线性转换单元524。如上所述，第四实施例包括用于对输入图像执行分辨率转换并与第三实施例进行比较的过程，并且也在图48的示例和图49的示例中具有相同的关系。 

非线性转换单元612对缩小的图像的G通道的强度比率BK_G(p)执行非线性转换并输出非线性强度比率BK_G ^(nl)(p)。如上所述，非线性转换单元621至623对处理目标图像I_s(p)的RGB值R_s(p)、G_s(p)和B_s(p)中的每个执行非线性转换，并输出非线性RGB值R_s ^(nl)(p)、G_s ^(nl)(p)和B_s ^(nl)(p)。非线性转换单元641至643对缩小的图像的RGB值BR_s(p)、BG_s(p)和BB_s(p)中的每个执行非线性转换，并输出非线性RGB值BR_s ^(nl)(p)、BG_s ^(nl)(p)和BB_s ^(nl)(p)。类似于非线性转换单元522，对于非线性转换单元612和621至623和641至643，应用例如“向上凸起形式的单调递增特性”(诸如γ曲线)、使用小于1的指数的指数特性或对数转换是有利的。 

亮度计算单元630根据非线性转换单元611和621至623和641至643的输出计算非线性转换亮度值L^(nl)(p)。亮度计算单元630基于根据缩小的图像获得的系数来计算亮度值。亮度计算单元630包括：多重回归分析单元634、多重回归分析参数保持单元635和多重回归预测值计算单元633和636。 

多重回归分析单元634对非线性转换单元612和641至643的输出执行多重回归分析。除了分析目标基于缩小的图像之外，多重回归分析单元634与使用图48的示例描述的多重回归分析单元631相同。 

多重回归分析参数保持单元635是用于保持通过多重回归分析单元634获得的多重回归分析参数CC_R、CC_G、CC_B和CC_Offset的存储器。多 重回归分析参数保持单元635中所保持的多重回归分析参数被供应给多重回归预测值计算单元633和636。 

多重回归预测值计算单元633根据多重回归分析参数保持单元635中所保持的多重回归分析参数计算非线性转换亮度值L^(nl)(p)作为多重回归预测值。此外，多重回归预测值计算单元636根据多重回归分析参数保持单元635中所保持的多重回归分析参数计算缩小的图像的非线性转换亮度值BL^(nl)(p)作为多重回归预测值。在多重回归预测值计算单元633和636中，使用相同的多重回归分析参数。 

[操作示例] 

图50和51示出本发明的第九实施例中的平滑处理单元480的操作示例，其对应于图48的处理功能的示例。同时，此处，以相同的附图标记指示与图30中相同的过程。 

此处，首先，通过将每个像素用作目标重复步骤S751至S753的处理(循环L719)。在循环L719中，获得处理目标图像的RGB值和G通道的强度比率(步骤S751)。在非线性转换单元611和621至623中对RGB值和强度比率进行非线性转换(步骤S752)。将经非线性转换的RGB值和强度比率存储在存储器(未示出)中(步骤S753)。 

当对每个像素执行非线性转换过程时，在多重回归分析单元631中，执行R_s ^(nl)(p)、G_s ^(nl)(p)和B_s ^(nl)(p)为说明性变量而K_G ^(nl)(p)为目标变量的多重回归分析(步骤S754)。因此，将通过多重回归分析获得的多重回归分析参数保持在多重回归分析参数保持单元632中(步骤S755)。 

当通过多重回归分析获得多重回归分析参数时，通过将每个像素用作目标重复步骤S756至S967的处理(循环L720)。在循环L720中，获得处理目标图像的非线性转换过程后的RGB值(步骤S756)。此外，获得相应像素的增益FS_R(p)和FS_B(p)和可靠性FT(p)(步骤S962)。此外，获得多重回归分析参数保持单元632中所保持的多重回归分析参数(步骤S757)。随后，在多重回归预测值计算单元633中计算多重回归预测值以作为非线性转换亮度值L^(nl)(p)(步骤S758)。随后的处理与参照图31所描述的处理相同，因此将省略其描述。 

图52至54示出本发明的第九实施例中的平滑处理单元480的操作示例，其对应于图49的处理功能的示例。该操作示例与对应于参照图50和51所描述的图48的处理功能的示例基本相同。然而，用于计算块积分 值的图像为缩小的图像。即，将缩小的图像的增益BFS_R(q)和BFS_B(q)以及基于缩小的图像的可靠性BFT(q)输入乘法单元511和512。此外，将缩小的图像的强度比率BK_G(p)以及缩小的处理目标图像BR_s(q)、BG_s(q)和BB_s(q)输入非线性转换单元612和641至643。此外，保持加权求和的处理目标图像的尺寸不变。 

此处，首先，通过使用缩小的图像的每个像素作为目标重复步骤S761至S763的处理(循环L721)。步骤S761至S763的处理内容与上述步骤S751至S753的处理相同，因此此处省略其描述。此外，接着上述处理的步骤S764和S765的处理内容与上述步骤S754和S755的处理相同，因此省略其描述。 

当通过多重回归分析获得多重回归分析参数时，通过使用缩小的图像的每个像素作为目标来重复步骤S766至S866的处理(循环L722)。同时，此处，以相同的附图标记指示与图39相同的过程。循环L722中的步骤S766至S866的处理内容与上述步骤S756至S966的处理相同，因此这里省略其描述。 

另一方面，加权求和后的图像不是缩小的图像，而是处理目标图像。因此，在循环L723中，通过使用处理目标图像的每个像素作为目标来重复每个过程。在循环L723中，获得处理目标图像的RGB值和权重本身的块积分值(步骤S871)。此外，获得多重回归分析参数保持单元632中所保持的多重回归分析参数(步骤S771)。在非线性转换单元621至623中对RGB值进行非线性转换(步骤S772)。随后，在多重回归预测值计算单元633中计算多重回归预测值以作为非线性转换亮度值L^(nl)(p)(步骤S773)。由于随后的处理与图40中所描述的处理相同，此处省略其描述。 

如上述，根据本发明的第九实施例，当将要执行使用块积分值的边缘保留类平滑时，可使用对应于图像的亮度在亮度方向执行平滑。 

<10.第十实施例> 

在上述第三或第四实施例中，当要执行边缘保留平滑时，基于位置和亮度的周围的直方图执行平滑。在本发明的第十实施例中，假设使用加权乘积和的近似增益本身执行平滑。 

[平滑处理单元480的处理功能的示例] 

图55示出本发明的第十实施例中的平滑处理单元480的处理功能的示例。此外，在平滑处理单元480的处理功能的示例中，将增益FS_R(p) 和FS_B(p)输入图26所示的第三实施例中的加权乘积和单元561和562。在加权乘积和单元561和562中，通过将位置p处的增益FS_R(p)和FS_B(p)与对应于位置p的坐标r的平均增益HSW_R(r)和HSW_B(r)以及亮度值L^(nl)(p)进行比较，计算加权乘积和的权重。 

[加权乘积和单元561和562的配置示例] 

图56示出本发明的第十实施例中的加权乘积和单元561和562的配置的示例。加权乘积和单元561和562中的每个包括以下配置，其中在图28所示的第三实施例中的内插单元563和564之前的阶段设置乘法单元653和654。 

对于每个坐标r，除法单元651将块积分值保持单元541和542中所保持的块积分值ISW_R(r)和ISW_B(r)除以块直方图保持单元543所保持的块直方图IFT(r)。因此，计算坐标r处的平均白平衡。同时，相对于空间位置和亮度，对块积分值和块直方图进行离散化。坐标r指示空间位置i、j和亮度λ的三维坐标(i，j，λ)。根据下列等式获得通过除法单元651计算的HSW_R(r)和HSW_B(r)。 

HSW_R(r)＝ISW_R(r)/IFT(r) 

HSW_B(r)＝ISW_B(r)/IFT(r) 

同时，除法单元651是权利要求中所描述的第一除法单元的示例。 

比较单元652将处理目标图像的位置p处的增益FS_R(p)和FS_B(p)与对应于位置p的块的坐标r的平均增益HSW_R(r)和HSW_B(r)进行比较，由此计算加权乘积和的权重θ。根据图57所示的ΔMax(r)的值，该权重θ指示1至0范围内的值。ΔMax(r)是指absR和absB中较大的一个。同时，ABS为指示绝对值的函数。 

ΔMax(r)＝max(absR，absB) 

absR＝ABS(FS_R(p)-HSW_R(r))/SWUNIT_R

absB＝ABS(FS_B(p)-HSW_B(r))/SWUNIT_B

此处，根据下列等式定义SWUNIT_R和SWUNIT_B。 

SWUNIT_R＝ABS(增益上限值_R-增益下限值_R) 

SWUNIT_B＝ABS(增益上限值_B-增益下限值_B) 

增益上限值和增益下限值与数学式5和数学式6中所示的相同。通过 将平均增益的差除以SWUNIT，可将增益与平均增益之间的差标准化到0.0至1.0的范围。由于通过上限值和下限值对每个像素的增益进行限幅，差的绝对值的范围为从0到“上限值-下限值”。此外，由于此标准化，可对R和B之间的差进行比较以将较大的一个设置为ΔMax(r)。 

同时，此处，将ΔMax(r)设置为absR和absB中较大的一个，并且获得权重θ作为R通道和B通道共用的权重。可替选地，可单独地处理absR和absB，并且可获得独立于R通道和B通道的权重θ_R和θ_B。在这种情况下，针对R通道和B通道中的每个计算块区域的加权增益SWR(r)或SWB(r)。 

此外，在本示例中，如图57假设权重θ和ΔMax(r)之间的关系，但是并非局限于本示例。该关系具有使权重θ随ΔMax(r)的增大而单调减小的特性即足够。 

对于每个坐标r，乘法单元653将块积分值保持单元541和542中所保持的块积分值ISW_R(r)和ISW_B(r)乘以通过比较单元652计算的权重θ。此外，对于每个坐标r，乘法单元654将块直方图保持单元543中所保持的块直方图IFT(r)乘以通过比较单元652计算的权重θ。将通过乘法单元653获得的乘法结果供应给内插单元563，并且将通过乘法单元654获得的乘法结果供应给内插单元564。同时，乘法单元653为权利要求中所描述的第一乘法单元的示例。此外，乘法单元654为权利要求中所描述的第二乘法单元的示例。 

尽管内插单元563和564之后的配置与图28中的配置相同，但是由于权重θ以上述方式进行乘法计算，以下列方式获得的值不同。首先，内插单元563根据空间权重函数表保持单元565中所保持的空间权重函数表的值ω(r，p)内插来自乘法单元653的输入。因此，内插单元563输出下列值。 

∑ω(i，j，p)·θ(ΔMax(i，j，λ))·ISW_R(i，j，λ) 

∑ω(i，j，p)·θ(ΔMax(i，j，λ))·ISW_B(i，j，λ) 

此处，坐标r展开为空间位置i，j和亮度λ的坐标(i，j，λ)。此外，此处假设计算∑执行空间位置i，j的求和。 

内插单元564根据空间权重函数表保持单元565中所保持的空间权重函数表的值ω(r，p)内插来自乘法单元654的输入。因此，输出以下值。 

∑ω(i，j，p)·θ(ΔMax(i，j，λ))·IFT(i，j，λ) 

此处假设计算∑执行对空间位置i，j的求和。 

乘积和单元566计算其中相对于内插单元563的输出对亮度权值进行加权求和的结果。使用存储在亮度权重函数表保持单元568中的表的值ψ(λ，L^(nl)(p))计算亮度权值。乘积和单元566输出下列值。 

∑(ψ(λ，L^(nl)(p))·ω(i，j，p)·θ(ΔMax(i，j，λ))·ISW_R(i，j，λ)) 

∑(ψ(λ，L^(nl)(p))·ω(i，j，p)·θ(ΔMax(i，j，λ))·ISW_B(i，j，λ)) 

此处假设计算∑执行针对空间位置i，j和亮度λ的求和。 

乘积和单元567计算其中相对于内插单元564的输出对亮度权值进行加权求和的结果。通过使用存储在亮度权重函数表保持单元568中的表的值ψ(λ，L^(nl)(p))计算亮度权值。乘积和单元567输出下列值。 

∑(ψ(λ，L^(nl)(p))·ω(i，j，p)·θ(ΔMax(i，j，λ))·IFT(i，j，λ)) 

此处假设计算∑执行针对空间位置i，j和亮度λ的求和。 

除法单元569将乘积和单元566的输出除以乘积和单元567的输出。即，除法单元569输出下列值。 

[数学式49] 

${\mathrm{SW}}_{\mathrm{lR}}\left(p\right)=\frac{\underset{i,j,\mathrm{\&lambda;}}{\mathrm{\&Sigma;}}(\mathrm{\&psi;}(\mathrm{\&lambda;},L^{\mathrm{nl}}\left(p\right))\&CenterDot;\mathrm{\&omega;}(i,j,p)\&CenterDot;\mathrm{\&theta;}\left(\mathrm{\&Delta;Max}(i,j,\mathrm{\&lambda;})\right)\&CenterDot;{\mathrm{ISW}}_R(i,j,\mathrm{\&lambda;}))}{\underset{i,j,\mathrm{\&lambda;}}{\mathrm{\&Sigma;}}(\mathrm{\&psi;}(\mathrm{\&lambda;},L^{\mathrm{nl}}\left(p\right))\&CenterDot;\mathrm{\&omega;}(i,j,p)\&CenterDot;\mathrm{\&theta;}\left(\mathrm{\&Delta;Max}(i,j,\mathrm{\&lambda;})\right)\&CenterDot;{\mathrm{IFT}}_R(i,j,\mathrm{\&lambda;}))}$

${\mathrm{SW}}_{\mathrm{lB}}\left(p\right)=\frac{\underset{i,j,\mathrm{\&lambda;}}{\mathrm{\&Sigma;}}(\mathrm{\&psi;}(\mathrm{\&lambda;},L^{\mathrm{nl}}\left(p\right))\&CenterDot;\mathrm{\&omega;}(i,j,p)\&CenterDot;\mathrm{\&theta;}\left(\mathrm{\&Delta;Max}(i,j,\mathrm{\&lambda;})\right)\&CenterDot;{\mathrm{ISW}}_B(i,j,\mathrm{\&lambda;}))}{\underset{i,j,\mathrm{\&gamma;}}{\mathrm{\&Sigma;}}(\mathrm{\&Psi;}(\mathrm{\&lambda;},L^{\mathrm{nl}}\left(p\right))\&CenterDot;\mathrm{\&omega;}(i,j,p)\&CenterDot;\mathrm{\&theta;}\left(\mathrm{\&Delta;Max}(i,j,\mathrm{\&lambda;})\right)\&CenterDot;\mathrm{IFT}(i,j,\mathrm{\&lambda;}))}$

此处，在第十实施例中，当执行与第三实施例的比较时，对应于数学式25的等式如下。 

[数学式50] 

${\mathrm{SW}}_{\mathrm{TLF}}\left(p_c\right)=\frac{\underset{p\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}[\mathrm{\&omega;}(p-p_c)\&CenterDot;\mathrm{\&psi;}(I\left(p\right)-\left(I\left(p_c\right)\right)\&CenterDot;\mathrm{\&theta;}(\mathrm{FS}\left(p\right)-\mathrm{FS}\left(p_c\right))\&CenterDot;\mathrm{\&tau;}\left(p\right)\&CenterDot;S\left(p\right)]}{\underset{p\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}\&CenterDot;}[\mathrm{\&omega;}(p-{\text{p}}_c)\&CenterDot;\mathrm{\&psi;}(I\left(p\right)-\left(I\left(p_c\right)\right)\&CenterDot;\mathrm{\&theta;}(\mathrm{FS}\left(p\right)-\mathrm{FS}\left(p_c\right))\&CenterDot;\mathrm{\&tau;}\left(p\right)]}$

当对此进行离散化和近似时，获得对应于数学式24的下列等式。 

[数学式51] 

${\mathrm{SW}}_{\mathrm{TLF}}\left(p_c\right)=\frac{\underset{i,j,\mathrm{\&lambda;}}{\mathrm{\&Sigma;}}[\mathrm{\&omega;}(i,j,p_c)\&CenterDot;(\mathrm{\&psi;}(\mathrm{\&lambda;},I\left(p_c\right))\&CenterDot;\mathrm{\&theta;}[\frac{\mathrm{ISW}(i,j,\mathrm{\&lambda;}))}{\mathrm{IFT}(i,j,\mathrm{\&lambda;}))},\mathrm{FS}\left(p_c\right)]\&CenterDot;\mathrm{ISW}(i,j,\mathrm{\&lambda;}))]}{\underset{i,j,\mathrm{\&lambda;}}{\mathrm{\&Sigma;}}[\mathrm{\&omega;}(i,j,p_c)\&CenterDot;(\mathrm{\&psi;}(\mathrm{\&lambda;},I\left(p_c\right))\&CenterDot;\mathrm{\&theta;}[\frac{\mathrm{ISW}(i,j,\mathrm{\&lambda;}))}{\mathrm{IFT}(i,j,\mathrm{\&lambda;}))},\mathrm{FS}\left(p_c\right)]\&CenterDot;\mathrm{IFT}(i,j,\mathrm{\&lambda;}))]}$

即，当将要执行邻近像素的加权加法平均计算时，在第三实施例中是基于空间距离和亮度差计算权重，而在第十实施例中是使用针对每个像素位置获得的增益的差的进一步加法来计算权重。即，在第十实施例中，基于针对每个像素位置获得的空间距离、亮度差和增益差来计算权重，并且计算邻近像素的加权加法平均值。因此，可实现更适合的平滑过程。 

[平滑处理单元480的处理功能的另一示例] 

图58示出本发明的第十实施例中的平滑处理单元480的处理功能的另一示例。平滑处理单元480的处理功能的另一个示例还包括图36所示的第四实施例中的分辨率转换单元661和662。如上所述，第四实施例包括用于对输入图像执行分辨率转换并且随后进行第三实施例中的比较的过程，而且还具有与图55的示例和图58的示例中相同的关系。 

分辨率转换单元661扩展缩小的图像的增益BFS_B(q)的分辨率，从而将其转换成与处理目标图像相同分辨率的增益ITPBFS_B(p)。分辨率转换单元662扩展缩小的图像的增益BFS_R(q)的分辨率，从而将其转换成与处理目标图像相同分辨率的增益ITPBFS_R(p)。例如可通过简单的线性内插 来实现其中的分辨率转换。基于缩小的图像的增益ITPBFS_R(p)和ITPBFS_B(p)的准确度变得较差，但是当与块积分值和块直方图相比时，该增益为具有高频分量的增益。将基于缩小的图像的增益ITPBFS_R(p)和ITPBFS_B(p)分别供应给加权乘积和单元561和562。 

[加权乘积和单元561和562的配置示例] 

图59示出本发明的第十实施例中对应于图58的平滑处理单元480的处理功能的加权乘积和单元561和562。类似于图56，加权乘积和单元561和562中的每个具有以下配置：其在内插单元563和564之前的阶段包括除法单元671、比较单元672以及乘法单元673和674。 

平滑处理单元480的配置示例与图56所示的配置基本相同。不同之处在于，替代被输入到图56中的比较单元652的增益FS_R(p)和FS_B(p)，在本示例中，将基于缩小的图像的增益ITPBFS_R(p)和ITPBFS_B(p)输入到比较单元672。其它点与图56的示例相同，因此此处将省略其描述。 

[操作示例] 

图60示出对应于本发明的第十实施例中的图55的平滑处理单元480的处理功能示例的操作示例。同时，由于前半部分的处理与第三实施例中的图30的相同，此处将省略。 

此处，在图30的处理之后，通过将每个像素用作目标重复步骤S971至S976的处理(循环L724)。步骤S971至S976的处理本身与参照图31描述的处理相同。不同之处在于，省略对图31中每个通道的重复。其原因为，在第十实施例中，在权重计算时同时处理R通道和B通道的值。其它点与参照图31描述的相同，因此这里省略其描述。 

图61和62示出本发明的第十实施例中的加权乘积和单元561和562的操作示例。同时，此处，以相同的附图标记指示与图33相同的过程。 

首先，从块积分值保持单元541和542获得目标像素的邻近的4×4块的加权增益积分值(步骤S781)。此外，从块直方图保持单元543获得目标像素的邻近的4×4块的权重(可靠性)本身的积分值(块直方图)(步骤S782)。随后，在除法单元651中，执行用于将加权增益积分值除以权重(可靠性)本身的积分值的过程，并且计算目标像素的邻近的4×4块中的每个的平均增益(步骤S783)。 

接着，获得目标像素的增益FS_R(p)和FS_B(p)(步骤S784)。随后，在比较单元652中，执行目标像素的增益与目标像素的邻近4×4块中的每 个的平均增益的比较，并针对每个块计算基于增益距离的权重(步骤S785)。此外，在乘法单元653和654中，将基于增益距离的权重乘以相应块的加权增益积分值和权重(可靠性)本身的积分值(步骤S786)。 

随后，获得目标像素的亮度值(步骤S991)，并且在内插单元563中执行对邻近的4×4块的内插，其中将目标像素位置处的加权增益积分值乘以对应于增益距离的权重(步骤S787)。此外，在内插单元564中执行对邻近的4×4块的内插，其中将目标像素位置处的权重(可靠性)本身的积分值乘以对应于增益距离的权重(步骤S788)。步骤S994及其后的过程与图33的过程相同，因此这里省略其描述。 

同时，在图61和62中，通过假设图56的配置给出描述。此外，在图59的配置中，作为加权乘积和过程，执行相同的过程。因此，此处省略其描述。然而，在步骤S784，替代目标像素的增益FS_R(p)和FS_B(p)，获得基于缩小的图像的增益ITPBFS_R(p)和ITPBFS_B(p)并将其用于比较。 

图63示出本发明的第十实施例中的平滑处理单元480的操作示例。同时，前半部分的过程与第四实施例中的图39的相同，因此这里省略其描述。另外，此处以相同的附图标记指示与图40相同的过程。 

在更新块积分值和块直方图之后，在循环L725中，重复步骤S871至S878的过程。尽管每个过程的内容与图40相同，但是不同之处在于，将步骤S791的过程插在步骤S873与S874之间。在步骤S791中，通过内插单元563和564的内插过程计算目标像素位置处的增益。此外，另一个不同之处在于，省略图40中的对每个通道的重复。其原因是，在第十实施例中，在权重计算时同时处理R通道和B通道的值。其它点与参照图40描述的相同，因此这里省略其描述。 

如上所述，根据本发明的第十实施例，在执行用于平滑化的加权乘积求和时，通过不仅使用某位置和亮度周围的直方图，而且使用近似增益本身，可生成具有高颜色再现性的图像。 

同时，本发明的实施例示出用以体现本发明的示例。如本发明的实施例中所指定的，本发明的实施例中的项目与权利要求中的发明特定项目具有对应关系。类似地，权利要求中的发明特定项目和与本发明实施例中相同名称所指示的项目具有相应关系。然而，本发明不限于这些实施例，并且在不背离本发明的精神和范围的范围内可对本发明做出各种修改。 

此外，本发明实施例中所描述的处理过程可被理解为具有所述一系列 过程的方法，此外还可被理解为用于使计算机执行所述一系列过程的计算机程序以及用于记录该程序的记录介质。作为记录介质，例如可使用CD(光盘)、MD(小型磁盘)、DVD(数字多用光盘)、存储卡、蓝光光盘(Blu-ray Disc(注册商标))等。 

参考标号列表 

11 透镜 

12 孔径 

11 图像拍摄元件 

21 采样电路 

22 A/D 转换电路 

23 图像处理电路 

31 编码器/解码器 

32 存储器 

41 显示驱动器 

42 显示单元 

51 定时发生器 

52 操作输入接受单元 

53 驱动器 

54 控制单元 

59 总线 

61 闪光发射单元 

62 闪光控制单元 

111 基准马赛克图像保持单元 

112 处理目标马赛克图像保持单元 

120 照明分量转换处理单元 

130、131 白平衡处理单元 

133 逆伽马校正处理单元 

140 去马赛克处理单元 

150 灰度校正处理单元 

160 伽马校正处理单元 

170 YC 转换处理单元 

181、183 基准图像白平衡保持单元 

182、184 处理目标图像白平衡保持单元 

191 Y 图像保持单元 

192 C 图像保持单元 

213 新基准马赛克图像保持单元 

214 新处理目标马赛克图像保持单元 

221、222 去马赛克处理单元 

230 白平衡计算单元 

240 基准图像白平衡保持单元 

250 通道增益计算单元 

260 通道增益应用单元 

261、262 乘法单元 

271 分辨率转换单元 

280 帧加法单元 

281、282 加法单元 

283 基准马赛克图像保持单元 

284 处理目标马赛克图像保持单元 

285 控制参数确定单元 

290 照明分量转换马赛克图像保持单元 

311、312 颜色转换增益计算单元 

321、322 上限值限幅单元 

323 增益上限值R保持单元 

324 增益上限值B保持单元 

331、332 下限值限幅单元 

333 增益下限值R保持单元 

334 增益下限值B保持单元 

341、342 过黑状况补偿单元 

343 过黑状况补偿值R保持单元 

344 过黑状况补偿值B保持单元 

345 过黑状况程度计算单元 

351、352 饱和补偿单元 

353 饱和补偿值R保持单元 

354 饱和补偿值B保持单元 

355 饱和程度计算单元 

421至423 除法单元 

431至433 曝光补偿单元 

440 饱和可靠性计算单元 

450 过黑状况可靠性计算单元 

460 移动主体可靠性计算单元 

461 比率反转程度计算单元 

462 比率预测单元 

463 光谱反射率改变量预测单元 

464 周围环境光光谱颜色平衡值保持单元 

465 闪光光谱颜色平衡值保持单元 

466 最小值选择单元 

470 可靠性选择单元 

480 平滑处理单元 

511 乘法单元 

521、523、630 亮度计算单元 

522、611、612、621至623、641至643 非线性转换单元 

531 块积分值计算单元 

533 块直方图计算单元 

534 块选择单元 

535 积分器 

536 加法单元 

537 寄存器 

538 块积分值保持单元 

541、542 块积分值保持单元 

543 块直方图保持单元 

551 相位补偿处理单元 

561、562 加权乘积和单元 

563、564 内插单元 

565 空间权重函数表保持单元 

566、567 乘积和单元 

568 亮度权重函数表保持单元 

569 除法单元 

571、572 增益应用单元 

631、634 多重回归分析单元 

632、635 多重回归分析参数保持单元 

633、636 多重回归预测值计算单元 

651、671 除法单元 

652、672 比较单元 

653、654、673、674 乘法单元 

661、662 分辨率转换单元 

Claims (25)

1.一种图像处理设备，包括：

通道增益计算单元，基于在不同照明环境下拍摄的基准图像和处理目标图像，计算用于转换在每个像素位置处的每个通道的照明分量的增益；以及

通道增益应用单元，将所述增益应用于所述处理目标图像

其中，所述通道增益计算单元按照下述方式来计算增益：固定所述处理目标图像的特定通道的增益，并且使处理目标像素的色平衡与所述基准图像的色平衡相匹配。

2.根据权利要求1所述的图像处理设备，其中，所述通道增益计算单元固定所述处理目标图像的亮度值并且计算所述增益，使得所述处理目标像素的色平衡与所述基准图像的色平衡匹配。

3.根据权利要求1所述的图像处理设备，其中，所述通道增益计算单元在计算的所述增益的值超过预定上限值的情况下将所述上限值设置为所述增益，或者在计算的所述增益的值低于预定下限值的情况下将所述下限值设置为所述增益。

4.根据权利要求1所述的图像处理设备，其中，所述通道增益计算单元包括：

饱和程度计算单元，基于所述基准图像的像素值计算像素的饱和程度，以及

饱和补偿单元，根据所述饱和程度执行用于补偿所述增益的处理。

5.根据权利要求1所述的图像处理设备，其中，所述通道增益计算单元包括：

过黑状况程度计算单元，基于所述基准图像的像素值计算像素的过黑状况程度；以及

过黑状况补偿单元，根据所述过黑状况程度执行用于补偿所述增益的所述处理。

6.根据权利要求1所述的图像处理设备，其中，所述通道增益计算单元包括：

过黑状况程度计算单元，基于所述基准图像的像素值和所述基准图像与所述处理目标图像的通道间比率，计算像素的过黑状况程度，以及

过黑状况补偿单元，根据所述过黑状况程度执行用于补偿所述增益的所述处理。

7.根据权利要求1所述的图像处理设备，进一步包括：曝光补偿单元，其调节强度，使得曝光强度变为相等，以补偿所述基准图像和所述处理目标图像的图像拍摄条件之间的差异。

8.根据权利要求1所述的图像处理设备，其中，所述通道增益应用单元包括：

饱和可靠性计算单元，基于所述基准图像的像素值计算像素的饱和可靠性，以及

平滑处理单元，基于所述饱和可靠性对所述增益执行空间平滑，然后将所述增益应用于所述处理目标像素。

9.根据权利要求1所述的图像处理设备，其中，所述通道增益应用单元包括：

过黑状况可靠性计算单元，基于所述基准图像的像素值计算像素的过黑状况可靠性，以及

平滑处理单元，基于所述过黑状况可靠性对所述增益执行空间平滑，然后将所述增益应用于所述处理目标像素。

10.根据权利要求1所述的图像处理设备，其中，所述通道增益应用单元包括：

过黑状况可靠性计算单元，基于所述基准图像的像素值和所述基准图像与所述处理目标图像的通道间比率，计算像素的过黑状况可靠性，以及

平滑处理单元，基于所述过黑状况可靠性对所述增益执行空间平滑，并将所述增益应用于所述处理目标像素。

11.根据权利要求1所述的图像处理设备，其中，所述通道增益应用单元包括：

移动主体可靠性计算单元，基于所述基准图像和所述处理目标图像的相应像素中的特性值的改变，确定所述像素是否为在空间中移动的主体，并且计算移动主体可靠性；以及

平滑处理单元，基于所述移动主体可靠性对所述增益执行空间平滑，然后将所述增益应用于所述处理目标像素。

12.根据权利要求11所述的图像处理设备，其中，所述移动主体可靠性计算单元包括：

比率反转程度计算单元，根据所述处理目标图像的像素的信号强度的改变是否与整个基准图像和处理目标图像的照明分量的改变的方向相反，来计算所述移动主体可靠性。

13.根据权利要求11所述的图像处理设备，其中，所述移动主体可靠性计算单元包括：

光谱反射率改变量预测单元，根据所述基准图像和所述处理目标图像的相应像素的光谱反射率的改变来计算所述移动主体可靠性。

14.根据权利要求1所述的图像处理设备，进一步包括：分辨率转换单元，转换所述基准图像或所述处理目标图像的分辨率，然后将所述图像提供给所述通道增益计算单元。

15.根据权利要求14所述的图像处理设备，其中，所述分辨率转换单元通过下述方式来执行所述分辨率转换：基于像素的疏化进行缩图。

16.根据权利要求14所述的图像处理设备，其中，所述分辨率转换单元通过下述方式来执行所述分辨率转换：基于像素块中的像素的平均值进行缩图。

17.根据权利要求14所述的图像处理设备，其中，所述分辨率转换单元通过下述方式来执行所述分辨率转换：基于像素块中的像素的中心值进行缩图。

18.根据权利要求14所述的图像处理设备，其中，所述分辨率转换单元通过边缘保留型平滑滤波处理来执行所述分辨率转换。

19.根据权利要求14所述的图像处理设备，其中，所述分辨率转换单元执行所述分辨率转换，使得所述基准图像和所述处理目标图像的尺寸相互匹配。

20.根据权利要求1所述的图像处理设备，进一步包括：

帧存储器，用于存储连续拍摄的图像；

加法单元，在对所述连续拍摄的图像加权的同时相加所述连续拍摄的图像，并且生成输入图像；以及

控制参数确定单元，确定用于所述连续图像拍摄的控制参数，以执行图像拍摄重复控制。

21.根据权利要求1所述的图像处理设备，其中，所述基准图像是在没有闪光发射的情况下拍摄的图像，并且所述处理目标图像是在有闪光发射的情况下拍摄的图像。

22.根据权利要求1所述的图像处理设备，其中，所述通道增益应用单元包括：

亮度计算单元，基于所述处理目标图像的像素值来计算亮度，以及

平滑处理单元，基于像素之间的所述亮度的差异对所述增益执行空间平滑，然后将所述增益应用于所述处理目标像素。

23.根据权利要求22所述的图像处理设备，其中，所述亮度计算单元使用预先对所述处理目标图像的所述像素值设置的权重，计算线性和作为所述亮度。

24.根据权利要求22所述的图像处理设备，其中，所述亮度计算单元基于多重回归分析来计算所述亮度，在所述多重回归分析中，所述基准图像与所述处理目标图像的相应像素的强度比率为对象变数，并且所述处理目标图像的所述像素值为解释变数。

25.一种图像处理方法，包括：

通道增益计算过程：基于在不同照明环境下拍摄的基准图像和处理目标图像，计算用于转换在每个像素位置处的每个通道的照明分量的增益；以及

通道增益应用过程：用于将所述增益应用于所述处理目标图像，

其中，在所述通道增益计算过程中按照下述方式来计算增益：固定所述处理目标图像的特定通道的增益，并且使处理目标像素的色平衡与所述基准图像的色平衡相匹配。

Images