CN101262564A - 图像处理装置、成像装置、图像处理方法和计算机程序 - Google Patents

Abstract

一种图像处理装置包括以下元件。图像输入单元被配置以接收长期曝光图像和短期曝光图像。图像分析单元被配置以基于在该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中确定在拍摄时间段期间发生了亮度变化的亮度变化像素。像素值校正单元被配置以校正所检测的亮度变化像素的像素值。在像素值校正单元中，组合图像生成器被配置以选择性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像；中间图像生成器被配置以生成该组合图像的模糊图像；以及输出图像生成器被配置以使用该组合图像和模糊图像的每个中的该对应像素的像素值来确定所检测的亮度变化像素的像素值。

Description

图像处理装置、成像装置、图像处理方法和计算机程序

技术领域

本发明涉及图像处理装置、成像装置和图像处理方法以及计算机程序。具体地，本发明涉及基于两类图像、即长期曝光图像(long-time exposureimage)和短期曝光图像来生成高质量输出图像的图像处理装置、成像装置和图像处理方法以及计算机程序。

背景技术

固态成像元件、诸如视频摄像机、数字静态摄像机等等中使用的电荷耦合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器积累与其上的入射光量对应的电荷，并输出与所积累的电荷对应的电信号，换句话说，进行光电转换。但是，能够被积累在光电转换元件中的电荷量存在限制。当接收到多于某个电平的光量时，所积累的电荷量到达饱和电平，以至于比某个值更亮的物体区域被设为饱和亮度电平。即，产生“泛白(white-out)”问题。

为了避免这种泛白现象，根据周围光中的变化等等来控制在光电转换元件中积累电荷的时间段，以调整曝光时间来最佳地控制灵敏度。例如，当拍摄明亮物体时，以高速释放(release)快门来减少曝光时间，以减少在光电转换元件中积累电荷的时间段，以便在所积累的电荷量到达了饱和电平之前输出电信号。这允许通过准确再现与物体一致的灰度及来输出图像。

在包括明亮区域和暗沉区域两者的物体的拍摄中，高速快门释放不保证在暗沉区域中的足够的曝光时间，导致了信噪(S/N)比的恶化和低图像质量。在包括明亮和暗沉区域两者的这种物体的拍摄的图像中，通过增加具有在图像传感器上的少量入射光的像素中的曝光时间，来准确地再现明亮和暗沉区域的亮度电平，以在避免具有大量入射光的像素中的饱和的同时实现高S/N比。

在例如2005年2月的IEEE International Solid-State Circuits Conference(ISSCC)2005，pp.354中描述了用于实现这种准确再现的方法。具体地，如图1所示，放大型图像传感器包括以矩阵排列的像素100，每个像素具有光电二极管101、转移晶体管102、复位晶体管103、放大晶体管104、和选择晶体管105。为了截止转移晶体管102，将被施加到转移晶体管102的控制电极的电压被设置为允许在某个值以上过多的电子流入浮动扩散(floating diffusion)(FD)节点106的电平Vtrg，而不是用于完全截止转移晶体管102的标准电平。

当在光电二极管101中积累的电子数量超过电平Vtrg时，在低于阈值的区域中开始发生过多电子泄漏到FD节点106。该泄漏在低于阈值的区域中操作，保持在光电二极管101中的电子数量是对数响应的。

如图2所示，在时间段T0中复位操作以后，当电压Vtrg仍然被施加到转移晶体管102的控制电极时执行电子的积累。在积累的电子数量小的时间段T1中，所有电子被存储在光电二极管101中。当所积累的电子数量超过电平Vtrg时，如时间段T2所指示的，电子开始泄漏到FD节点106。

由于在低于阈值的区域中的泄漏，即使当积累继续(在时间段T3中)时，电子也关于入射光强度呈对数特性地积累。在时间段T4中，复位溢出到FD节点106的电子，且通过完全转移读取被存储在光电二极管101中的所有电子。图3示出入射光强度和输出电子的数量之间的关系。关于超过由电压Vtrg限定的线性区域的上限Qlinear的入射光强度，由对数响应来确定输出电子的数量。

虽然在前述现有技术中发表了124dB的动态范围的实现，但是能够实现高S/N比的线性区域的饱和电平小于或等于标准饱和电平Qs的一半。此外，当由对数响应实现了很宽的动态范围时，对数响应电路易受转移晶体管102的阈值改变等等的影响。因此，即使消除了阈值改变，对于对数区域的5mV大的固定图样噪声，与对于线性区域的0.8mV的固定图样噪声相比，也保持在宽的动态范围内。

发明内容

因此希望提供适合于产生包括明亮和暗沉区域的物体的拍摄的图像的图像处理装置、成像装置、图像处理方法和计算机程序，其中生成两类图像、即长期曝光图像和短期曝光图像，以及对所生成的图像进行图像处理以获得在高亮度区域中有少量泛白且在低亮度区域中有高S/N比的高的高质量输出图像。

还希望提供适合于对两类输入图像、即长期曝光图像和短期曝光图像进行图像处理的图像处理装置、成像装置、图像处理方法和计算机程序，其中其亮度电平等等由于物体的运动等等而变化的像素被检测，并经过限制性处理，以防止像素的灰度级错误或伪色(false color)以生成高质量图像。

根据本发明的某些实施例，一种图像处理装置包括以下元件。图像输入单元，被配置以接收长期曝光图像和短期曝光图像。图像分析单元，被配置以基于在该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间发生了亮度变化的亮度变化像素。像素值校正单元，被配置以校正由该图像分析单元检测的亮度变化像素的像素值。像素值校正单元包括以下元件。组合图像生成器，被配置以选择性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像。中间图像生成器，被配置以生成中间图像，该中间图像是该组合图像的模糊图像。输出图像生成器，被配置以使用该组合图像中的对应像素的像素值和在该模糊图像中的该对应像素的像素值来确定由该图像分析单元检测的亮度变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位置上。

在本发明的实施例中，在该图像处理装置中，该输出图像生成器被配置以使用以下等式确定在输出图像中的该对应像素的像素值：

[Rv]＝a×[Dv]+b×[Mv]

其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素值，a和b标示系数，其中a+b＝1。

在本发明的实施例中，在该图像处理装置中，该图像分析单元被配置以检测从该短期曝光图像获得有效输出值且从该长期曝光图像获得有效输出值的像素位置，并被配置以确定位于所检测的像素位置上的像素是其亮度电平从高亮度电平改变到低亮度电平的亮度变化像素。

在本发明的实施例中，在该图像处理装置中，该图像分析单元被配置以检测在该长期曝光图像中的像素值饱和且没有从该短期曝光图像获得有效输出值的像素位置，并被配置以确定位于所检测的像素位置上的像素是其亮度电平从低亮度电平改变到高亮度电平的亮度变化像素。

在本发明的实施例中，在该图像处理装置中，该图像分析单元被配置以使用平滑滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转换，并被配置以基于作为该图像转换的结果而获得的图像来排除错误检测到的亮度变化像素。

在本发明的实施例中，在该图像处理装置中，该图像分析单元被配置以使用滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转换，并被配置以放大亮度变化像素区域。

在本发明的实施例中，在该图像处理装置中，该输出图像生成器被配置以使用系数通过以下等式来确定在输出图像中的该对应像素的像素值：

[Rv]＝a×[Dv]+b×[Mv]

其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素值，a和b标示系数，其中a+b＝1。该输出图像生成器被配置以通过使用被用于确定基于该组合图像而检测到的亮度变化像素区域的像素值的第一组系数和用于确定使用该滤波器放大的该亮度变化像素区域的像素值的第二组系数作为系数，来确定在该输出图像中的该对应像素的像素值，该第一组系数和该第二组系数具有彼此不同的值。

在本发明的实施例中，在该图像处理装置中，该中间图像生成器被配置以对该组合图像施加平滑滤波器，以生成模糊图像。

在本发明的实施例中，在该图像处理装置中，该中间图像生成器被配置以缩小和放大该组合图像以生成模糊图像。

在本发明的实施例中，在该图像处理装置中，该像素值校正单元进一步包括图像校正单元，其被配置以缩小由该组合图像生成器生成的组合图像的颜色饱和，以生成饱和减少图像。该中间像素生成器被配置以接收由该图像校正单元生成的该饱和减少图像并以生成模糊图像。

在本发明的实施例中，在该图像处理装置中，该像素值校正单元进一步包括图像校正单元，其被配置以进行对由该输出图像生成器生成的图像施加低通滤波器的图像校正处理。

在本发明的实施例中，在该图像处理装置中，生成该长期曝光图像的曝光时间段包括生成该短期曝光图像的曝光时间段，且该短期曝光图像和该长期曝光图像是由单个成像元件从相同像素生成的图像。

根据本发明的某些实施例，一种成像装置包括以下元件。成像设备，被配置以生成长期曝光图像和短期曝光图像。图像分析单元，被配置以基于在该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间发生了亮度变化的亮度变化像素。像素值校正单元，被配置以校正由该图像分析单元检测的亮度变化像素的像素值。该像素值校正单元包括以下元件。组合图像生成器，被配置以选择性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像。中间图像生成器，被配置以生成中间图像，该中间图像是该组合图像的模糊图像。输出图像生成器，被配置以使用该组合图像中的对应像素的像素值和在该中间图像中的该对应像素的像素值来确定由该图像分析单元检测的亮度变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位置上。

在本发明的实施例中，在该成像处理装置中，生成该长期曝光图像的曝光时间段包括生成该短期曝光图像的曝光时间段。该成像设备被配置以使用单个成像元件从相同像素生成该短期曝光图像和该长期曝光图像。

根据本发明的某些实施例，一种用于在图像处理装置中进行图像处理的图像处理方法包括以下步骤：通过图像输入单元，接收长期曝光图像和短期曝光图像；通过图像分析单元，基于在该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间发生了亮度变化的亮度变化像素；以及通过像素值校正单元，校正所检测的亮度变化像素的像素值。该校正的步骤包括以下步骤：通过选择性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像，生成中间图像，该中间图像是该组合图像的模糊图像，以及使用该组合图像中的对应像素的像素值和在该中间图像中的该对应像素的像素值来确定由该图像分析单元检测的亮度变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位置上。

在本发明的实施例中，在该图像处理方法中，该确定的步骤包括以下步骤：使用以下等式确定在输出图像中的该对应像素的像素值：

[Rv]＝a×[Dv]+b×[Mv]

其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素值，a和b标示系数，其中a+b＝1。

在本发明的实施例中，在该图像处理方法中，该检测的步骤包括以下步骤：检测从该短期曝光图像获得有效输出值且从该长期曝光图像获得有效输出值的像素位置，以确定位于所检测的像素位置上的像素是其亮度电平从高亮度电平改变到低亮度电平的亮度变化像素。

在本发明的实施例中，在该图像处理方法中，该检测的步骤包括以下步骤：检测在该长期曝光图像中的像素值饱和且没有从该短期曝光图像获得有效输出值的像素位置，以确定位于所检测的像素位置上的像素是其亮度电平从低亮度电平改变到高亮度电平的亮度变化像素。

在本发明的实施例中，在该图像处理方法中，该检测的步骤包括以下步骤：使用平滑滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转换，以基于作为该图像转换的结果而获得的图像来排除错误检测到的亮度变化像素。

在本发明的实施例中，在该图像处理方法中，该检测的步骤包括以下步骤：使用滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转换，以放大亮度变化像素区域。

在本发明的实施例中，在该图像处理方法中，该确定的步骤包括以下步骤：使用系数通过以下等式来确定在输出图像中的该对应像素的像素值：

[Rv]＝a×[Dv]+b×[Mv]

其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素值，a和b标示系数，其中a+b＝1。通过使用被用于确定基于该组合图像而检测到的亮度变化像素区域的像素值的第一组系数和用于确定使用该滤波器放大的该亮度变化像素区域的像素值的第二组系数作为系数，来确定在该输出图像中的该对应像素的像素值，该第一组系数和该第二组系数具有彼此不同的值。

在本发明的实施例中，在该图像处理方法中，该生成中间图像的步骤包括以下步骤：对该组合图像施加平滑滤波器，以生成模糊图像。

在本发明的实施例中，在该图像处理方法中，该生成中间图像的步骤包括以下步骤：缩小和放大该组合图像以生成模糊图像。

在本发明的实施例中，在该图像处理方法中，该校正的步骤进一步包括以下步骤：缩小所生成的组合图像的颜色饱和，以生成饱和减少图像。生成中间图像的步骤包括接收所生成的该饱和减少图像和生成模糊图像。

在本发明的实施例中，在该图像处理方法中，该校正的步骤进一步包括以下步骤：进行对在该确定步骤中生成的图像施加低通滤波器的图像校正处理。

在本发明的实施例中，在该图像处理方法中，生成该长期曝光图像的曝光时间段包括生成该短期曝光图像的曝光时间段，且该短期曝光图像和该长期曝光图像是由单个成像元件从相同像素生成的图像。

根据本发明的某些实施例，一种用于使得图像处理装置执行图像处理的计算机程序包括如下步骤：使得图像输入单元接收长期曝光图像和短期曝光图像；使得图像分析单元基于在该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间发生了亮度变化的亮度变化像素；以及使得像素值校正单元校正所检测的亮度变化像素的像素值。该使得像素值校正单元校正像素值的步骤包括以下步骤：通过选择性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像，生成该组合图像的模糊图像，以及使用该组合图像中的对应像素的像素值和在该中间图像中的该对应像素的像素值来确定由该图像分析单元检测的亮度变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位置上。

该计算机程序是能够以计算机可读形式通过存储介质或通信介质被提供在例如能够执行各种程序代码的通用计算机系统中的计算机程序。存储介质的示例包括紧致盘(CD)、软盘(FD)、和磁光(MO)盘，通信介质的示例包括网络。通过以计算机可读形式提供程序，在计算机系统上实现与程序一致的处理。

从结合附图进行的本发明的示范实施例的以下详细描述，本发明的进一步特征和优点将变得明显。在此使用的术语系统是指装置的逻辑组，而不管是否在单个外壳中装配这些装置。

因此，根据本发明的实施例，输入长期曝光图像和短期曝光图像，且通过选择性地组合长期和短期曝光图像中的有效像素值来生成宽动态范围图像。在该处理中，检测了其中在对应于长期曝光时间的拍摄时间段期间已经发生了亮度变化的亮度变化像素，并替换所检测的亮度变化像素的像素值，来进行图像校正处理。具体地，基于宽动态范围图像生成模糊图像，且使用在所生成的模糊图像和宽动态范围图像中的每个中、与亮度变化像素的像素位置有关的像素值来确定输出图像的像素值。这能够防止由于物体的运动等等而发生亮度变化像素的灰度级错误或伪色，得到了高质量的看起来自然的输出图像。

附图说明

图1是示出成像设备的示例电路结构的图；

图2是示出成像设备的输出操作的示例的图；

图3是示出在成像设备上的入射光强度和输出电子的数量之间的关系的图；

图4是示出根据本发明的第一实施例的图像处理装置的示例结构的图；

图5是示出用于生成两类图像、即长期曝光图像和短期曝光图像的处理的图；

图6是示出用于生成两类图像、即长期曝光图像和短期曝光图像的处理中的物体的亮度电平中的变化效果的图；

图7A和7B是示出作为在典型的颜色滤波器中使用的颜色图样的拜尔图样(Bayer pattern)的示例的图；

图8是示出在图像处理装置中的图像处理器的示例结构的图；

图9是示出图像处理器的操作的具体示例的图；

图10A和10B是示出用于检测亮度变化像素的处理的具体示例的图；

图11A和11B是示出用于图像模糊的低通滤波器(LPF)的示例的图；

图12是示出在图像处理装置中的像素值校正单元的详细结构和操作的图；

图13是示出亮度变化像素的错误检测到的图；

图14是示出根据本发明的第二实施例的图像分析单元的结构和操作的图；

图15是示出由根据第二实施例的图像分析单元进行的滤波处理的图；

图16是示出由根据第二实施例的图像分析单元进行的滤波处理的图；

图17是示出根据本发明的第三实施例的像素值校正单元的结构和操作的图；

图18是示出根据本发明的第四实施例的像素值校正单元的结构和操作的图；

图19是示出由根据第四实施例的像素值校正单元进行的颜色饱和减少处理的图；

图20是示出根据本发明的第五实施例的像素值校正单元的结构和操作的图。

具体实施方式

此后将参考附图描述根据本发明的实施例的图像处理装置、成像装置、图像处理方法和计算机程序。

第一实施例

图4是示出作为根据本发明的第一实施例的图像处理装置的示例的成像装置的示例结构的方块图。通过光学镜头201进入的光入射在成像设备202上。成像设备202是由例如CMOS图像传感器组成的，且光电地将入射光转换成图像数据。图像数据被输入到图像处理器203。成像设备202生成两类图像，即，长期曝光图像211和短期曝光图像212，并向图像处理器203输入这两类图像数据。图像处理器203基于长期曝光图像211和短期曝光图像212生成输出图像。长期曝光图像211和短期曝光图像212在曝光时间上是不同的。

首先，将参考图5描述由成像设备202进行的用于生成两类图像、即长期曝光图像211和短期曝光图像212的处理。在2006年10月16日提交且被分配给本发明的代理人的日本专利申请No.2006-280959中公开了用于由成像设备202生成具有不同曝光时间的图像的处理。

成像设备202当参考成像设备202的每个像素的饱和电平时生成输出图像。如上所述，从成像设备202输出的电信号对应于入射在成像设备202上的光的量。在某个曝光时间(长期曝光)中，从对应于更亮物体区域的像素的光电转换元件输出的电信号可以达到饱和电平。因此，那些像素是其中输出对应于饱和电平的电信号以便灰度电平差异不可感知的泛白像素。

为了避免这种泛白现象以获得其中反射了物体的亮度电平的输出，成像设备202生成具有长期曝光的图像数据和具有短期曝光的图像数据。图像处理器203组合两类图像数据并进行其他处理以获得输出图像。例如，在长期曝光期间期望其像素值达到饱和电平的像素经过输出基于由短期曝光获得的数据而计算的像素值的处理。

在2006年10月16日提交且被分配给本发明的代理人的日本专利申请No.2006-280959中还公开了该处理的基本操作。在本发明的实施例中，进一步改善了图像处理器203的操作。具体地，在两类输入图像、即长期曝光图像和短期曝光图像上进行的图像处理中，由于物体的运动等等而改变其亮度电平等等的像素被检测，且经过限制性的处理以防止发生像素的灰度级错误或伪色来生成高质量图像。

将参考图5描述由成像设备202生成具有不同曝光时间(长期曝光图像211和短期曝光图像212)的图像数据的处理。例如，在运动图像的拍摄中，成像设备202在视频速率(30到60fps)内输出具有不同的曝光时间的两类图像数据。还在静态图像的拍摄中，成像设备202生成并输出具有不同的曝光时间的两类图像数据。本发明的实施例可用于静态图像或运动图像。

图5是示出由成像设备202生成的具有不同曝光时间的两类图像(长期曝光图像211和短期曝光图像212)的特性的图。在图5中，横坐标轴表示时间(t)且纵轴表示对应于固态成像元件的一个像素的、在光电转换元件的光接收光电二极管(PD)中的积累的电荷量(e)。

例如，如图5所示的高亮度区域线251所示，在由光接收光电二极管(PD)接收的光的量大的区域、即明亮物体区域中，积累的电荷量随时间快速增加。另一方面，如图5所示的低亮度区域线252所示，在由光接收二极管(PD)接收的光的量小的区域、即暗沉物体区域中，积累的电荷量随时间缓慢增加。

从时间t0到时间t3的时间段对应于用于获得长期曝光图像211的曝光时间TL。对于长期曝光时间TL的时间段，如由低亮度区域线252所示，积累的电荷量在时间t3没有达到饱和电平(未饱和点Py)。基于使用基于积累的电荷量(Sa)而获得的电信号所确定的像素的灰度电平，实现准确的灰度级表示。

如高亮度区域线251所清楚地指示的，积累电荷量在时间t3之前已经达到了饱和电平(饱和点Px)。在由高亮度区域线251所指示的这种高亮度区域中，从长期曝光图像211输出对应于饱和电平的电信号，且因此对应的像素是泛白像素。

在由高亮度区域线251所指示的高亮度区域中，在时间t3之前的时间处，例如在时间t1处(电荷扫除(sweep-out)开始点P1)，扫除在光接收光电二极管(PD)中的电荷。不对在光接收二极管(PD)中积累的所有的电荷，而是对累积到由光电二极管(PD)控制的中间电压保持电平的电荷进行电荷扫除操作。在电荷扫除处理之后，对于曝光时间段TS(时间t1到时间t2)执行短期曝光。具体地，如图5所示，进行对于从短期曝光开始点P2到短期曝光结束点P3的时间段的短期曝光。通过该短期曝光，获得积累的电荷量(Sb)，且使用基于积累的电荷量(Sb)获得的电信号来确定像素的灰度电平。

可以基于如下电信号来确定像素值：由在由低亮度区域线252指示的低亮度区域中的长期曝光所获得的积累电荷量(Sa)的电信号，和由在由高亮度区域线251指示的高亮度区域中的短期曝光所获得的累积电荷(Sb)的电信号。在这种情况下，确定当曝光高亮度区域和低亮度区域长达相同的时间段时评估的积累的电荷量、或对应于所评估的积累的电荷量的电信号的输出值，且基于确定结果来确定像素值电平。

如图5所示，在由高亮度区域线251指示的高亮度区域中，在时间t3之前的时间处，例如在时间t1处(电荷扫除开始点P1)，扫除在光接收光电二极管(PD)中积累的电荷，且执行短期曝光以获得基于对于短期曝光时间段(时间t1到时间t2)积累的电荷量(Sb)的电信号。然后，连续进行曝光操作直到之间t3，且电荷积累到例如饱和电平。从长期曝光图像获得基于积累到饱和电平的电荷的电信号。但是，该电信号不被施加到对应的像素以确定像素值。相应地，成像设备202为每个像素选择基于作为长期曝光或短期曝光的结果的积累的电荷量的电信号，作为用于确定有效像素值的信号，且确定像素值。

在例如图5所示的时间tj处，对于每个像素，确定长期曝光图像或短期曝光图像的哪个像素值要应用于输出图像。如果在图5所示的时间tj处，对于像素积累了多于或等于电荷的参考量、诸如图5所示的电荷量(ev)的电荷量，则在时间t1处(电荷扫除开始点P1)扫除在像素的光接收光电二极管(PD)中积累的电荷，并执行短期曝光以从短期曝光图像确定输出像素值。如果在时间tj处，对于像素没有积累多于或等于电荷量(ev)的电荷量，则在不扫除电荷的情况下进行长期曝光，并从长期曝光图像确定输出像素值。

相应地，例如，使用长期曝光图像211确定少于图5所示的阈值亮度电平253的、对应于拍摄物体的暗沉部分的像素的像素值。另一方面，使用短期曝光图像212确定多于或等于阈值亮度电平253的、对应于拍摄物体的明亮部分的像素的像素值。这保证了包括明亮和暗沉区域两者的物体的拍摄的图像的建立，其中生成不出现泛白现象且在低亮度区域中不出现S/N比的减少的高质量高动态范围的图像。

在物体的发光度在拍摄时间段上不改变的情况下，上述操作、即使用长期曝光图像211确定对应于拍摄物体的暗沉部分的像素的像素值和使用短期曝光图像212确定对应于拍摄物体的明亮部分的像素的像素值没有问题。但是，例如在拍摄时间段期间、由于物体的运动等等而改变物体的发光度的情况下，出现问题。

在图5所示的示例中，假设在拍摄时间段上像素的发光度不改变，且高亮度区域线251的斜率和低亮度区域线252的斜率不随时间而改变。因此，在图5中，假设在拍摄时间段上发光度恒定。因此，除了由电荷扫除操作减少积累的电荷量的时间以外，一直呈现线性增长的线。

例如，在物体在拍摄时间段中运动的情况下，与像素有关的物体的发光度不是恒定的而是改变的。图6示出当物体的发光度改变时在成像设备202的光接收光电二极管(PD)中积累的电荷量(e)的时间过渡的示例。在图6中，如图5一样，横坐标轴表示时间(t)，且纵轴表示在对应于固态成像元件的一个像素的、在光电转换元件的光接收光电二极管(PD)中积累的电荷量(e)。

亮度改变区域线261指示对应于位于拍摄操作中间(在图6的点Pq)的低亮度区域中且突然变亮的像素的、在光接收光电二极管(PD)中积累的电荷量(e)的过渡。例如，明亮的物体突然运动到焦点区域，或暗沉的物体移走，且明亮的背景对象出现。如由亮度改变区域线261所示，在长期曝光时间段结束的时间(时间t3)之前，积累的电荷量(e)已经达到了饱和电平(如图6所示的点Pr)。

基于确定了亮度改变区域线261表示在时间tj没有积累多于或等于电荷量(ev)的电荷量的像素，成像设备202进行长期曝光而不扫除电荷。因此，由亮度改变区域线261表示的像素的像素值变成其电平等于饱和电平的泛白像素。

因此，在物体的亮度电平在拍摄时间段中改变的情况下，即使通过使用长期曝光图像和当前曝光图像，也可能产生像素值电平的不准确的表示。当例如使用包括诸如红、绿和蓝滤波器的颜色滤波器在内的适合于颜色成像的固态成像元件时，这种问题变得更严重。

典型的单芯片颜色固态成像元件包括粘结在其表面的颜色滤波器阵列，该颜色滤波器阵列被配置用于仅允许通过每个像素的具体波长成分，且被配置以便使用一组像素来恢复期望的颜色成分。颜色滤波器阵列可以包括表示红(R)、绿(G)和蓝(B)的图7A所示的颜色图样，和表示用作亮度信号的白(Y)、红(R)、绿(G)和蓝(B)的组合的图7B所示的颜色图样。在单芯片颜色固态成像元件中，由于每个像素仅具有关于单个颜色成分的信息，因此使用关于相邻像素的颜色信息来进行内插，以恢复每个像素中的期望的颜色成分。该处理被称为去马赛克(demosaic)处理。

当使用包括诸如红、绿和蓝滤波器的颜色滤波器在内的、适合于颜色成像的固态成像元件时，由于诸如固态成像元件的光谱灵敏度、周围光线和物体的反射之类的影响，灵敏度信息通常在红、绿和蓝像素之间不同。因此，在红、绿和蓝像素的不同位置上可能发生如上所述的灰度级错误。例如，如果关于红、绿和蓝像素的一个或两个信息不正确，则即使物体实际上是非彩色的，也可能出现红、绿和蓝的伪色或其互补颜色。另外，伪色可能取决于位置而改变。

如上所述，在物体的发光度、颜色等等在拍摄时间段上不改变的情况下，使用长期曝光图像确定对应于拍摄物体的暗沉部分的像素的像素值和使用短期曝光图像确定对应于拍摄物体的明亮部分的像素的像素值没有问题。但是，例如在拍摄时间段期间、由于物体的运动等等而改变物体的发光度、颜色等等的情况下，出现问题。在物体运动的区域中，将出现诸如伪色或灰度级错误。

根据本发明的第一实施例的图像处理器203执行用于解决该问题的处理。具体地，基于由成像设备202生成的具有不同曝光时间的两类图像，生成高质量输出图像。

图8示出图像处理器203的示例结构。图像处理器203包括：图像输入单元301，被配置用于接收输入图像，即长期曝光图像211和短期曝光图像212；图像分析单元302，被配置用于检测基于输入图像而确定像素值在运动物体区域等等中改变的像素位置；以及像素值校正单元303，被配置用于通过用新的像素值替换由图像分析单元302检测的像素位置上的像素的像素值来执行像素值校正。

将参考图9描述图像处理器203的操作的具体示例。在图9中，如图5和6一样，横坐标轴表示时间(t)，纵轴表示对应于如成像设备202的固态成像元件的一个像素的、在光电转换元件的光接收光电二极管(PD)中积累的电荷量(e)。

在光接收光电二极管(PD)中积累的电荷量(e)具有最大值255，其是图像的输出值(数字数据范围从0到255)。在亮度不随时间改变的情况下，由虚线指示的阈值线323是低亮度信号和高亮度信号之间的边界。图9示出两者亮度变化像素线，即亮度变化像素线A 321和亮度变化像素线B 322。亮度变化像素线A 321由于例如物体的运动，在点P1从高亮度电平改变到低亮度电平，且亮度变化像素线B 322在点P2从低亮度电平改变到高亮度电平。

如上所述，成像设备202在例如时间tj确定每个像素是否存储了比由阈值线323所限定的积累的电荷量(ev)更大的电荷量，并确定是进行长期曝光还是短期曝光。如果像素存储了比由阈值线323所限定的积累的电荷量(ev)更大的电荷量，则确定该像素处于高亮度区域，且对应于该像素的光接收光电二极管(PD)经过类似于参考图5上述的电荷扫除处理，以减少积累的电荷量到中间电压保持电平。然后，进行从时间t1到时间t2的时间段的短期曝光，并在短期曝光图像212中设置该像素的像素值，其中设置基于由于短期曝光而获得的积累的电荷量的像素值。另一方面，如果在时间tj，像素存储了小于或等于由阈值线323所限定的积累的电荷量(ev)的电荷量，则确定该像素处于低亮度区域，且对应于该像素的光接收光电二极管(PD)经过从时间t0到时间t3的时间段的长期曝光，而不扫除电荷。在长期曝光图像211中设置该像素的像素值，其中，设置基于由于长期曝光而获得的积累的电荷量的像素值。

图8所示的图像处理器203的图像输入单元301接收如此生成的长期曝光图像211和短期曝光图像212，并将它们输出到图像分析单元302。图像分析单元302检测基于两类图像确定像素值在运动物体区域等等中改变的像素位置。像素值可能在如下两种情况下改变：(a)物体的亮度电平从高亮度电平改变到低亮度电平；以及(b)物体的亮度电平从低亮度电平改变到高亮度电平。

图像分析单元302使用不同的技术检测在上述两种情况(a)和(b)的每个中亮度改变的像素位置。

首先，将描述由图像分析单元302进行的、用于检测(a)物体的亮度电平从高亮度电平改变到低亮度电平的像素位置的处理。在图9中，亮度变化像素线A 321是指示由于例如物体的运动、其亮度电平在点P1从高亮度电平改变到低亮度电平的像素的线。

如果在短期曝光图像212中获得关于如亮度变化像素线A 321所示亮度电平从高亮度电平改变到低亮度电平的像素位置的有效像素信息，则确定该像素位置是经过了从时间t1到时间t2的短时间段(TS)的短期曝光的像素位置。

因此，在长期曝光图像211中，对应于该像素位置的像素的像素值通常处于饱和电平，且不获得有效信号。如图9所示，在经过从时间t1到时间t2的短时间段(TS)的短期曝光处理之后测量(输出)了电荷以后，在时间t2之后重新开始电荷的积累。如果该像素静止在高亮度电平，则在光接收光电二极管(PD)中积累的对应于该像素的电荷量在点P3达到饱和电平，且在长期曝光图像211中的像素的像素电平等于饱和电平(255的像素值)，导致了泛白像素。

如果与该像素有关的物体的亮度电平在拍摄时间段或长期曝光时间段(从时间t0到时间t3)中改变，即如果如图9所示物体的亮度电平在点P1下降，则亮度变化像素线A 321的斜率在点P1之后变得缓慢。换句话说，在光接收光电二极管(PD)中积累电荷的速度减慢。

如果物体的亮度电平不改变，则通常，在光接收光电二极管(PD)中积累的电荷量在点P3达到饱和电平，且在长期曝光图像211中的像素的像素电平等于饱和电平(255的像素值)，导致了泛白像素。但是，如图9所示，如果在点P1物体的亮度电平减少，且在光接收光电二极管(PD)中积累电荷的速度减慢，则在长期曝光图像211中的像素的像素电平变得小于或等于饱和电平(255的像素值)，且获得有效的输出像素值(小于255的像素值)。

根据上述现象的分析，执行由图像分析单元302进行的、用于检测(a)物体的亮度电平从高亮度电平改变到低亮度电平的像素位置的处理。具体地，确定是否从短期曝光图像212和长期曝光图像211获得有效输出值(此后称为“确定条件1”)。

确定满足确定条件1的像素位于(a)物体的亮度电平从高亮度电平改变到低亮度电平的像素位置。

通过与预定的阈值比较，确定在短期曝光图像212和长期曝光图像211中的有效输出值。

例如，通过比较从基于由短期曝光积累的电荷量的电信号检测像素值(0到255)与阈值“10”，短期曝光图像212的有效输出值。如果所检测的像素值大于阈值“10”(所检测的像素值＞10)，则确定所检测的像素值是有效输出值。

通过比较从基于由长期曝光积累的电荷量的电信号检测像素值(0到255)与阈值“230”，确定长期曝光图像211的有效输出值。如果所检测的像素值小于阈值“230”(所检测的像素值＜230)，则确定所检测的像素值是有效像素值。

在上述确定公式中的阈值诸如10和230仅是示例。用于确定短期曝光图像212的有效输出值的阈值可以优选地是允许确定是否保证高于成像元件的噪声的输出值的值。用于确定长期曝光图像211的有效输出值的阈值可以优选地是保证准确的灰度级表示、同时考虑成像元件的截止特性(kneecharacteristic)的值。可以不使用上述使用阈值的确定处理，或可以以组合方式使用上述使用阈值的确定处理来观察每个实际图像，以主观地评估图像以确定是否获得有效像素值。

接下来，将描述由图像分析单元302进行的、用于检测(b)物体的亮度电平从低亮度电平改变到高亮度电平的像素位置的处理。在图9中，亮度变化像素线B 322是指示由于例如物体的运动、其亮度电平在点P2从低亮度电平改变到高亮度电平的像素的线。

在由从时间t0到时间t3的时间段的长期曝光所生成的长期曝光图像211中，该像素变成饱和的泛白像素(255的像素值)，且没有获得有效输出。

对于在长期曝光图像211中变成饱和的泛白像素(255的像素值)的像素，可以从没有改变亮度的像素区域中的短期曝光图像212确定有效像素值。但是亮度变化像素线B 322在点P2从低亮度电平改变到高亮度电平，且不进行用于获取短期曝光图像212的有效像素值的操作，也不进行参考图5所述的电荷扫除和短期曝光操作。因此，没有从短期曝光图像212获得有效像素值。

根据上述现象的分析，执行由图像分析单元302进行的、用于检测(b)物体的亮度电平从低亮度电平改变到高亮度电平的像素位置的处理。具体地，确定长期曝光图像211的像素值是否饱和，和是否从短期曝光图像212获得有效输出值(此后称为“确定条件2”)。

确定满足确定条件2的像素位于(b)物体的亮度电平从低亮度电平改变到高亮度电平的像素位置。

通过与预定阈值比较，进行关于长期曝光图像211的像素值是否饱和的确定，或关于是否没有从短期曝光图像212获得有效输出值的确定。

例如，通过比较从基于由长期曝光积累的电荷量的电信号检测的像素值(0到255)与阈值“240”，进行关于长期曝光图像211的像素值是否饱和的确定。如果所检测的像素值多于或等于阈值“240”(所检测的像素值≥240)，则确定所检测的像素值是饱和的像素值。

通过比较从基于由短期曝光记录的电荷量的电信号检测的像素值(0到255)与阈值“5”，进行关于是否没有从短期曝光图像212获得有效输出值的确定。如果所检测的像素值小于或等于阈值“5”(所检测的像素值≤5)，确定没有获得有效输出值。

上述确定公式中的阈值，诸如240和5仅是示例。用于确定长期曝光图像211的像素值是否饱和的阈值可以优选地是保证准确的灰度级表示、同时考虑成像元件的截止特性的值。用于确定是否从短期曝光图像212获得输出值的阈值可以优选地是允许确定是否保证成像元件的噪声电平的数值。可以不使用上述使用阈值的确定处理，也可以以组合方式使用上述使用阈值的确定处理来观察每个实际图像，以主观地评估图像来确定是否获得有效像素值。

将参考图10A和10B描述亮度变化像素的检测处理的具体示例。图10A示出在(从时间t0到时间t3)长期曝光时间段中的物体的运动。在明亮背景中，暗沉的矩形物体351侧向运动到物体位置352。

图10B示出由于由图像分析单元302进行的上述检测处理而获得的像素位置，上述检测处理即，(a)物体的亮度电平从高亮度电平改变到低亮度电平的像素位置的检测处理，和(b)物体的亮度电平从低亮度电平改变到高亮度电平的像素位置的检测处理。

在图10B中，每个格元表示一个像素。由于图10A所示的物体351具有低亮度电平，因此与位于物体351运动方向前端的区域362相对应的区域内的成像像素的亮度电平从高亮度电平改变到低亮度电平。通过(a)物体的亮度电平从高亮度电平改变到低亮度电平的像素位置的上述检测处理，也就是通过确定是否满足确定条件1，即是否从短期曝光图像212和长期曝光图像211获得有效输出值，来检测像素区域362。图10B所示的像素位置372满足确定条件1。

另外，由于图10A所示的物体351具有低亮度电平，因此与位于物体351运动方向后端的区域361相对应的区域内的成像像素的亮度电平从低亮度电平改变到高亮度电平。通过(b)物体的亮度电平从低亮度电平改变到高亮度电平的像素位置的上述检测处理，也就是通过确定是否满足确定条件2，即长期曝光图像211的像素值是否饱和，且是否没有从短期曝光图像212获得有效输出值，来检测像素区域361。图10B所示的像素位置371满足确定条件2。

因此，图8所示的图像处理器203的图像分析单元302基于长期曝光图像211的像素值和短期曝光图像212的像素值，来检测(a)物体的亮度电平从高亮度电平改变到低亮度电平的像素位置，并检测(b)物体的亮度电平从低亮度电平改变到高亮度电平的像素位置。

如果使用参考图7A和7B上述的适合于颜色成像的单芯片固态成像元件，则可以在未经过像素值内插的输入马赛克数据(原始数据)或经过像素值内插的输入马赛克数据上进行图像分析单元302的像素位置检测处理。在分析中使用的长期曝光图像211和短期曝光图像212的设置是马赛克数据的设置或去马赛克数据的设置。

接下来，将描述图8所示的由图像处理器203的像素值校正单元303进行的像素值校正处理。像素值校正单元303校正位于由图像分析单元302检测的每个像素位置、即(a)物体的亮度电平从高亮度电平改变到低亮度电平的像素位置和(b)物体的亮度电平从低亮度电平改变到高亮度电平的像素位置上的像素的像素值。

在上述被分配给本发明的代理人的日本专利申请No.2006-280959中公开的技术中，获得两类输入图像，即长期曝光图像211和短期曝光图像212，且使用长期曝光图像211确定小于图5所示的阈值亮度电平253的、与拍摄物体的暗沉部分对应的像素的像素值，而使用短期曝光图像212确定大于或等于阈值亮度电平253的、与拍摄物体的明亮部分对应的像素的像素值。因此，进行替换的处理，即，选择长期曝光图像211的像素值和短期曝光图像212的像素值之一来生成组合图像。由替换的处理获得的组合图像此后被称为“宽动态范围图像”。

但是，参考图9描述的，如此生成的宽动态范围图像是如下图像，在该图像中位于物体的亮度电平从高亮度电平改变到低亮度电平的像素位置(a)上的像素的像素值和位于物体的亮度电平从低亮度电平改变到高亮度电平的像素位置(b)上的像素的像素值是不正确的，且出现灰度级错误或伪色。在根据本发明的第一实施例的图像处理中，图像处理器203的像素值校正单元303校正像素以防止像素的灰度级错误或伪色的发生，来生成高质量图像。

像素值校正单元303通过用校正后的像素值来替换位于由图像分析单元302检测的每个像素位置上的像素的像素值，来进行像素值校正处理，其中由图像分析单元302检测的每个像素位置即，(a)物体的亮度电平从高亮度电平改变到低亮度电平的像素位置，和(b)物体的亮度电平从低亮度电平改变到高亮度电平的像素位置。考虑下列要点来进行像素值校正处理。

由于被显示在由图像分析单元302检测的已经发生亮度改变的像素位置上的物体图像可能运动，因此如果图像模糊了，则图像的高频成分是不重要的且图像不自然。基于这种假设，像素值校正单元303从宽动态范围图像建立模糊的图像数据，并使用模糊的图像数据来设置已经发生了亮度改变的像素位置上的像素值，其中宽动态范围图像是使用长期曝光图像211像素值和短期曝光图像212的像素值之一选择性地生成的。

使用例如典型的低通滤波器(LPF)来进行图像模糊操作。图11A和11B示出可用的低通滤波器(LPF)的两个示例。图11A示出具有5×5像素尺寸的简单的平滑滤波器，诸如被配置用于将位于中心的目标像素381的像素值与用1/25的因子加权后的、相邻的5×5像素的像素值相加并用于设置像素值的滤波器。图11B示出具有5×5像素尺寸的加权滤波器，诸如被配置用于将位于中心的目标像素382的像素值与根据位置用1/45到5/45的因子加权后的、相邻的5×5像素的像素值相加并用于设置像素值的滤波器。

为了模糊图像的目的，通过考虑二维加宽已经发生了亮度改变的成像像素(此后称为“亮度变化像素”)，来调整所使用的滤波器的尺寸(抽头数)。例如，在以图10B所示的方式检测亮度变化像素的区域的情况下，在亮度变化像素的区域的长端上提供四个像素，且滤波器可以具有相同尺寸或更大，例如，大概5个抽头。多于或等于5个数量的抽头，诸如7个抽头或9个抽头在最终结果上将不具有大的影响。所检测的像素的上述尺寸仅是示例。

在使用了适合于颜色成像的单芯片固态成像元件的情况下，可以在马赛克数据(原始数据)或经过像素内插的数据上进行上述替换操作。

将参考图12描述像素值校正单元303的详细结构和操作。通过图4所示的成像设备202生成的具有不同曝光时间的两类图像数据，即长期曝光图像211和短期曝光图像212被输入到检测亮度变化像素的图像分析单元302和像素值校正单元303的图像组合器391中。

如上所述，图像分析单元302基于长期曝光图像211的像素值和短期曝光图像212的像素值，来检测(a)物体的亮度电平从高亮度电平改变到低亮度电平的像素位置，和(b)物体的亮度电平从地亮度电平改变到高亮度电平的像素位置。关于所检测的像素位置的信息(此后称为“亮度变化像素位置信息”或“亮度变化像素位置”)被输入到像素值校正单元303的输出图像生成器393。

像素值校正单元303的图像组合器391基于长期曝光图像211和短期曝光图像212生成组合图像。具体地，根据还在上述被分配给本发明的代理人的日本专利申请No.2006-280959公开的技术，图像组合器391进行替换的处理以生成宽动态范围图像390。例如，使用长期曝光图像211确定与小于图5所示的阈值亮度电平的暗沉物体部分对应的像素的像素值，并使用短期曝光图像212确定与大于或等于阈值亮度电平253对应的像素的像素值。

如上所述，通过计算当曝光高和低亮度区域长达与对应于评估的积累的电荷量的电信号的输出值相同的时间段时评估的积累的电荷量，来确定由组合处理生成的宽动态范围图像390的每个像素的像素值。例如，使长期曝光时间为“1”而短期曝光时间为“0.1”。在这种情况下，对于选择短期曝光图像212的像素值作为有效像素值的像素，由因子10来增加短期曝光图像212的像素值，且结果被设为宽动态范围图像390的像素值。丢弃与对应的像素位置有关的长期曝光图像211的像素值。

另一方面，对于选择长期曝光图像211的像素值作为有效像素值的像素，长期曝光图像211的像素值被直接设置为宽动态范围图像390的像素值。丢弃与对应的像素位置有关的短期曝光图像212的像素值。

因此，生成作为基于长期曝光图像211和短期曝光图像212的组合图像的宽动态范围图像390。所生成的宽动态范围图像390被输入到中间图像生成器392和输出图像生成器393。

中间图像生成器392使用参考图11A或11B所述的低通滤波器(LPF)，并从宽动态范围图像390生成模糊中间图像数据。中间图像生成器392使用例如图11A所示的平滑滤波器、图11B所示的加权滤波器等等来从宽动态范围图像390生成模糊中间图像数据。为了模糊图像，滤波器的尺寸(抽头数)可以与由图像分析单元302检测的亮度变化像素区域的二维区域一样大。所生成的中间图像被输入到输出图像生成器393。

输出图像生成器393从图像组合器391接收宽动态图像390，从中间图像生成器392接收作为模糊图像的中间图像数据，并从图像分析单元302接收亮度变化像素位置信息。

输出图像生成器393基于以上接收的数据来生成输出图像395。对于位于从图像分析单元302输入的亮度变化像素位置上的像素，宽动态范围图像390的像素值被设置为输出图像395的像素值。基于从图像组合器391输入的宽动态范围图像390的对应的像素位置的像素值和从中间图像生成器392输入的作为模糊图像的中间图像数据，确定位于从图像分析单元302输入的亮度变化像素位置上的像素的像素值。

例如，如果由[Dv]标示与亮度变化像素位置有关的宽动态范围图像390的像素值，且由[Mv]标示与亮度变化像素位置有关的作为模糊图像的中间图像的像素值，使用系数a和b通过如下等式来确定与对应的像素位置有关的输出图像395的像素值[Rv]：

[Rv]＝a×[Dv]+b×[Mv]

其中a+b＝1。

因此，以预定的a∶b的比率组合宽动态范围图像390的像素值[Dv]和作为模糊图像的中间图像的像素值[Mv]来确定输出图像395的像素值[Rv]。使用参数a和b来设置比率，且根据所使用的成像元件的特性和得到的图像的主观评价来调整参数a和b的值。例如，分别设置参数a和b为0.2和0.8。

使用宽动态范围图像390和从宽动态范围图像390生成的作为模糊图像的中间图像来计算输出图像395的像素值。可以使用例如使用红、绿和蓝单芯片成像元件获得的图像来生成那些图像，或可以处理通过转换RGB数据而获得的由亮度信号Y和色差信号Cb和Cr组成的图像数据YCbCr以计算每个信号Y、Cb和Cr的输出信号值。

另外，可以单独地为亮度信号Y和色差信号Cb和Cr计算参数a和b，其中参数a和b被用于通过以预定比率相加和组合宽动态范围图像390的像素值[Dv]与从宽动态范围图像390生成的作为模糊图像的中间图像的对应像素的像素值[Mv]，如[Rv]＝a×[Dv]+b×[Mv]，来计算输出图像395的像素值[Rv]。可以对于红、绿和蓝的每个改变参数a和b，也可以为信号Y、Cb和Cr的每个改变参数a和b。

由中间图像生成器392使用例如参考图11A或11B描述的低通滤波器生成作为模糊图像的中间图像数据，如通过相加相邻像素信息而模糊的图像。在模糊的图像中，原始灰度电平仍然保持位于由图像分析单元302检测的亮度变化像素位置区域，且可以在宽动态范围图像390中包含的不正确的亮度或伪色与相邻的像素值组合，并因此而减少。从而，位于亮度变化像素位置上的像素的像素值与作为模糊图像的中间图像数据和宽动态范围图像390组合，由此生成不很偏离物体的原始像素值的一致的输出图像。

因此，根据本发明的第一实施例，在用于基于输入的长期曝光图像和输入的短期曝光图像生成宽动态范围图像的处理中，使用宽动态范围图像和从宽动态范围图像生成的模糊图像确定由运动的运动等等导致的亮度变化像素的像素值。这保证了生成高质量的输出图像，并减少由于运动物体等等而造成的灰度级错误或伪色。

第二实施例

将关于防止亮度变化像素的错误检测到的示例结构，描述本发明的第二实施例的成像装置。第二实施例与第一实施例不同之处在于图像处理器203中的图像分析单元302的结构。其他结构与第一实施例相同。第二实施例的成像装置的整体结构类似于参考图4描述的第一实施例。根据第二实施例的图像处理器203基本上具有参考图8描述的结构，且根据第二实施例的图像处理器203中的像素值校正单元303还具有类似于参考图12描述的结构的结构。

第二实施例与第一实施例不同之处在于图像处理器203中的图像分析单元302的操作。在第二实施例中，在检测亮度变化像素的处理中防止错误检测。将参考图13描述亮度变化像素的错误检测。

图13示出由图像分析单元302检测到的亮度变化像素，关于根据第一实施例的用于检测亮度变化像素的处理的示例的描述检测结果如图10B所示。图13示出所检测的亮度变化像素401到404。

如上所述，图像分析单元302检测位于(a)物体的亮度电平从高亮度电平改变到低亮度电平的像素位置和(b)物体的亮度电平从低亮度电平改变到高亮度电平的像素位置的亮度变化像素。

在用于检测(a)物体的亮度电平从高亮度电平改变到低亮度电平的像素位置的处理中，确定是否满足确定条件1，也就是是否从短期曝光图像212和从长期曝光图像211获得有效输出值。

在用于检测(b)物体的亮度电平从低亮度电平改变到高亮度电平的像素位置的处理中，确定是否满足确定条件2，也就是长期曝光图像211的像素值是否饱和，和是否没有从短期曝光图像212获得有效的输出值。

作为基于上述确定处理的亮度变化像素的检测结果，例如，检测了图13所示的亮度变化像素401到404。在由于例如物体运动而在拍摄时间段(长期曝光时间段)中物体的亮度电平改变的情况下，检测某块像素，如亮度变化像素401。另一方面，由于由像素之间的制造变化、元件驱动条件(例如中间电位)中的变化等等而导致的错误检测，检测如图3所示的亮度变化像素402到404一样的单个亮度变化像素。

在第二实施例中，图像处理器203的图像分析单元302单独地标识由物体的亮度电平的变化所导致的正确检测到的亮度变化像素(例如，图13所示的亮度变化像素401)，和由像素之间的制造变化(manufacturing variation)、元件驱动条件中的变化等等(例如，图13所示的亮度变化像素402到404)，并仅提取正确检测到的亮度变化像素。

图14示出操作以进行这种标识的图像分析单元302的示例结构。如图14所示，根据第二实施例的图像分析单元302包括亮度变化像素检测器421、图像转换器422和亮度变化像素选择器423。如在第一实施例中的一样，亮度变化像素检测器421接收长期曝光图像211和短期曝光图像212，并根据上述确定条件1和2，检测位于(a)物体的亮度电平从高亮度电平改变到低亮度电平的像素位置和(b)物体的亮度电平从低亮度电平改变到高亮度电平的像素位置的亮度变化像素。

作为检测处理的结果，生成图13所示的检测结果图像。检测结果图像被设为其中由亮度变化像素集线器421检测的亮度变化像素被设为1且其余像素被设为0的图像。例如，在从0到255范围的像素值电平的表示中，亮度变化像素被设为0，且其余像素被设为255。

图像转换器422接收检测结果图像，并使用滤波器进行滤波处理。将参考图15具体描述滤波处理。如图15所示，由三抽头平滑滤波器432来倍增其中亮度变化像素被设为1且其余像素被设为0的检测结果图像431。因此，生成其中3×3像素的区域具有像素值“0.11”的滤波器结果433。

图15示出在检测到单个独立亮度变化像素的区域上进行的滤波处理的示例。作为在检测到单个独立亮度变化像素的区域上进行的滤波处理的结果，获得其中3×3像素的区域具有像素值“0.11”的如图15所示的滤波器结果433。

在由于物体的运动等等物体的亮度电平改变的情况下，通常，检测某块像素作为亮度变化像素区域。如果图15所示的平滑滤波器432被应用于这种区域，则不获得其中3×3像素的区域具有像素值“0.11”的如图15所示的滤波器结果433，而获得具有大于0.11的像素值的结果。

由图像转换器422获得的滤波器结果被输入到亮度变化像素选择器423。亮度变化像素选择器423基于滤波器结果中包含的像素的像素值，单独地标识正确检测到的亮度变化像素、即基于物体的亮度电平的变化而检测的亮度变化像素，和由设备错误等等导致的错误检测到的亮度变化像素。具体地，如果在滤波器结果中包含的像素的像素值中检测到小于或等于“0.11”的像素值，则确定对应于所检测到的像素值的像素是错误检测到的亮度变化像素。

因此，排除错误检测到的亮度变化像素，且仅提取正确检测到的亮度变化像素、即基于物体的亮度电平的变化而检测到的关于亮度变化像素的像素位置信息，并将其输出到像素值校正单元303。这可以排除由像素之间的制造变化、元件驱动条件中的变化(例如中间电位)等等而导致的错误检测到的像素，且能够向像素值校正单元303仅输出关于来自物体的正确检测到的亮度变化像素的位置信息。

在图15中，亮度变化像素选择器423通过用于排除独立的亮度变化像素的技术示例，使用滤波器结果中包含的像素值“0.11”作为阈值，以确定具有小于或等于“0.11”的像素值的像素是错误检测到的区域。例如，为了排除一组并排排列的大约两个亮度变化像素，亮度变化像素选择器423可以改变将使用的阈值。具体地，可以使用略大于“0.11”的阈值来排除一组并排排列的大约两个亮度变化像素区域。

接下来，将描述用于防止遗漏正确检测到的亮度变化像素、即其中由于物体的运动等等物体的亮度电平在拍摄时间段(长期曝光时间段)中改变的像素区域中的亮度变化像素的检测的处理。但是，在这种情况下，图像转换器422使用与上述用于排除错误检测到的亮度变化像素的滤波器不同的滤波器。

例如，亮度变化像素检测器421输出图13所示的检测结果。如果假设图13所示的检测结果中包括的亮度变化像素401是正确检测到的像素，则在正确检测到的亮度变化像素401的周围通常发生检测遗漏。另外，由于以上述方式排除错误检测到的像素，可能缩窄正确检测的亮度变化像素401的范围。

换句话说，使用图15所示的滤波器432的滤波处理可能导致生成其中缩窄了正确检测到的亮度变化像素401的范围的滤波器结果，导致亮度变化像素选择器423仅确定比正确检测到的亮度变化像素401的实际范围小的范围是正确检测的亮度变化像素范围。

为了防止这种检测的遗漏，扩展正确检测到的亮度变化像素401的范围。在这种情况下，使用图16所示的滤波器442。类似于参考图15上述的滤波器432，由三抽头滤波器442倍增其中亮度变化像素被设为1且其余像素被设为0的检测结果图像441。因此，生成其中3×3像素的区域具有像素值“1”的滤波器结果443。

在图16所示的示例中，三抽头滤波器被应用于将位于中央的的像素的像素值范围向外扩展一个像素。根据在检测时设置的条件来确定扩展范围的像素数。用于扩展的范围尺寸对应于抽头数。

由图像转换器422获得的滤波器结果被输入到亮度变化像素选择器423。亮度变化像素选择器423基于滤波器结果中包含的像素的像素值，检测正确检测到的亮度变化像素，即基于物体的亮度电平的变化而检测的亮度变化像素。具体地，如果在滤波器结果中包括具有像素值“1”的像素，则确定该像素是正确检测到的亮度变化像素。

亮度变化像素选择器423除了基于图像转换器422的滤波器结果来检测正确检测到的亮度变化像素位置以外，还可以基于输入的未经过滤波的原始检测结果信息来检测亮度变化像素位置。亮度变化像素选择器423可以单独地存储这两类检测到的信息，即(1)基于原始检测结果的亮度变化像素位置信息和(2)基于滤波器结果的亮度变化像素位置信息，且可以将它们输出到像素值校正单元303。像素值校正单元303可以取决于其中使用滤波器扩展的像素值范围的亮度变化像素和根据两类信息的初始检测的亮度变化像素，来改变用于生成输出图像的上述参数的值。具体地，如上所述，如果由[Dv]标示宽动态范围图像390的像素值，且由[Mv]标示作为模糊图像的中间图像的像素值，则使用系数a和b通过下列等式来确定输出图像395的对应像素位置的像素值[Rv]：

[Rv]＝a×[Dv]+b×[Mv]

例如，系数a和b可以被分别设为0.2和0.8，以确定未经过滤波的初始检测的亮度变化区域内的像素的像素值，且参数a和b可以被分别设为0.4和0.6，以确定使用滤波器新检测到的亮度变化区域内的像素的像素值。这保证了更平滑和自然的输出图像。

另外，在使用参考图15描述的滤波器432进行滤波以由亮度变化像素选择器423排除错误检测到的像素以后，可以进一步使用参考图16描述的滤波器442进行滤波，以由亮度变化像素选择器423正确地选择亮度变化像素。替换地，可以进行以上滤波处理之一。

第三实施例

将关于由在根据图12所示的第一实施例的像素值校正单元303中的中间图像生成器(模糊处理)392进行的模糊图像生成处理，来描述根据本发明的第三实施例的图像处理装置。

在第一实施例中，如参考图12所描述的，在图12所示的像素值校正单元303中的中间图像生成器(模糊处理)392接收宽动态范围图像390，并使用通过示例的图11A或11B所示的低通滤波器生成模糊图像。

但是，在物体剧烈运动的情况下，滤波器的抽头数增加，且可能难以在硬件中实现。在第三实施例中，通过放大和缩小(reducing)图像来生成模糊图像。图像被缩小以减少信息量，且得到的具有减少的信息的图像被放大从而达到与模糊处理的优点类似的优点。该缩小和放大处理是基于例如双线性(双线性内插)处理的。

将参考图17描述等级第三实施例的像素值校正单元303’的结构和操作。根据第三实施例的像素值校正单元303’被配置以至于修改了根据参考图12描述的第一实施例的像素值校正单元303中的中间图像生成器392的结构。

中间图像生成器392包括：图像缩小单元501，被配置以接收并缩小宽动态范围图像390以生成缩小的图像；存储器502，被配置以存储由图像缩小单元501生成的缩小的图像；以及图像放大单元503，被配置以从存储器502检索并放大缩小的图像。

图像缩小单元501接收宽动态范围图像390并进行双线性(双线性内插)操作以生成具有垂直和水平尺度被缩小了例如1/16(1/256的面积)的缩小的图像。在存储器502中存储该缩小的图像。图像放大单元503检索被存储在存储器502中的缩小的图像，并使用双线性(双线性内插)处理来放大检索到的图像。放大的图像对应于通过模糊宽动态范围图像390而获得的数据。

由于仅对与由输出图像生成器393使用模糊图像的像素值所在的亮度变化像素的位置对应的图像部分使用模糊图像数据，因此图像放大单元503可以放大被存储在存储器502中的缩小的图像的受限图像区域、包括亮度变化像素的位置，以生成局部图像。在这种情况下，图像放大单元503从图像分析单元302接收亮度变化像素位置信息，并基于所接收的亮度变化像素位置确定将要经过放大处理的局部区域。图像放大单元503放大该局部区域以生成放大的图像(模糊图像)，并向输出图像生成器393输出放大的图像。

第四实施例

在前述实施例中，中间图像生成器(模糊处理)392使用如上所述的图11A或11B所示的低通滤波器通过进行图像缩小和放大处理，来从宽动态范围图像390生成模糊图像。

取决于拍摄环境(诸如光源、物体颜色和物体速度)，高颜色饱和伪色可能在运动物体区域中产生，且伪色可能甚至在模糊图像中产生。根据本发明的第四实施例的成像装置可操作用于避免这种问题。

图18示出根据第四实施例的像素值校正单元303”的示例结构。如此配置第四实施例以至于，在根据参考图12描述的第一实施例的像素值校正单元303中的中间图像生成器392之前，进一步提供图像校正单元(颜色饱和减少处理)521。

图像校正单元(颜色饱和减少处理)521接收宽动态范围图像390，并进行颜色饱和减少处理以生成具有减少的颜色饱和的饱和减少图像。饱和减少图像被输入到中间图像生成器392。中间图像生成器392模糊该饱和减少图像以生成模糊图像。

图像校正单元(颜色饱和减少处理)521减少宽动态范围图像390的颜色饱和。宽动态范围图像390被分离成亮度和色差信号，如Y、Cb和Cr，并仅在亮度改变像素区域中减少色差信号。图像校正单元(颜色饱和减少处理)521从图像分析单元302接收亮度改变像素位置信息，并根据所接收的信息，仅在亮度改变像素区域中减少色差信号。

图19示出了减少色差信号的比率的示例。在图19中，横坐标轴表示宽动态范围图像390的输入图像的色差信号Cb和Cr的绝对值，且纵轴表示作为由图像校正单元(颜色饱和减少处理)521进行的颜色饱和减少处理的结果而获得的图像的色差信号Cb和Cr的绝对值。如图19所示，在宽动态范围图像390的色差信号Cb和Cr的绝对值的范围从0到Va的分段区域中，减少颜色饱和。进行上述处理的颜色饱和范围取决于成像元件或拍摄条件而不同，且被优化用于每个成像系统。

中间图像生成器392模糊饱和减少图像以生成模糊图像。通过在生成模糊图像之前进行颜色饱和减少处理，即使在运动物体区域中产生的高颜色饱和伪色也可以被防止在模糊图像中显现，且可以减少在最后输出图像上的这种伪色的影响。

第五实施例

根据本发明的第五实施例的成像装置被配置以至于，在处理输出图像的最后阶段中激活低通滤波器。图20示出根据第五实施例的像素值校正单元303”的示例结构。根据第五实施例的像素值校正单元303”被配置以至于在根据参考图12描述的第一实施例的像素值校正单元303中的输出图像生成器393之后进一步提供图像校正单元(低通滤波器)541。

如先前在第一实施例中描述的，输出图像生成器393从图像组合器391接收宽动态范围图像390，从中间图像生成器392接收作为模糊图像的中间图像数据，并从图像分析单元302接收亮度变化像素位置信息。

对于位于从图像分析单元302输入的亮度变化像素位置以外的像素，宽动态范围图像390的像素值被设为输出图像395的像素值。基于从图像组合器391输入的宽动态范围图像390的对应像素位置的像素值和从中间图像生成器392输入的作为模糊图像的中间图像数据，确定位于从图像分析单元302输入的亮度变化像素位置上的像素的像素值。具体地，如果由[Dv]标示与亮度变化像素位置有关的宽动态范围图像390的像素值，且由[Mv]标示与亮度变化像素位置有关的作为模糊图像的中间图像的像素值，则使用系数a和b通过以下等式来确定输出图像395的对应像素值的像素值[Rv]：

[Rv]＝a×[Dv]+b×[Mv]

因此，确定了输出图像395的像素值。

在由输出图像生成器393生成的图像中，可能在替换了像素值的像素区域中或者在该像素区域与没有替换像素值的区域之间的边界上引起不自然的灰度级。图像校正单元(低通滤波器)541向由输出图像生成器393生成的图像施加低通滤波器，以生成最后输出图像。

在图像校正单元(低通滤波器)541中使用的滤波器的形状或配置可以类似于参考图11A或11B上述的滤波器。换句话说，可以使用图11A中示出的平滑滤波器、图11B中示出的加权滤波器等等。优选地，滤波器的尺寸(抽头数)可以足够以包括替换了像素值的像素区域或更大区域。优选地，图像校正单元(低通滤波器)541从图像分析单元302接收亮度变化像素位置信息，并在进行处理之前确定所使用的滤波器的尺寸(抽头数)。

已经关于其具体实施例详细描述本发明。但是，要理解，本领域技术人员在不脱离本发明的范围的情况下可以进行各种修改或替换。即，已经公开本发明的示例实施例，且不解释其为限制本发明。本发明的范围应该由所附权利要求确定。

可以由硬件或软件或其组合实现在此描述的处理序列。当由软件实现处理序列时，具有处理序列的程序可以被安装到并入了专用硬件的计算机的内部存储器中，并被执行，或可以被安装到能够执行各种处理的通用计算机上，并被执行。

程序可以预先被记录在诸如硬盘或只读存储器(ROM)的记录介质上。替换地，程序可以被暂时或永久地存储(或记录)在可移动记录介质上，诸如软盘、紧致盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、磁盘或半导体存储器。这种可移动记录介质可以被提供作为打包软件。

程序从这种可移动记录介质被安装到计算机上，或从下载站点被无线地传输到计算机，或通过电线经由诸如局域网(LAN)或英特网被传输到计算机上，以便该计算机能够接收以上述方式传输的程序，并可以安装该程序到诸如硬盘的内部记录介质上。

根据进行该处理的装置的性能，在此描述的处理可以被并行或单独地执行，以及可以按在此描述的顺序执行。此处所使用的术语系统是指装置的逻辑组，而不管是否在单个外壳中装配这些装置。

本领域技术人员应该理解，取决于涉及要求和其他因素进行各种修改、组合、子组合和替换，只要它们处于所附权利要求或其等同物的范围之内。

相关申请的交叉引用

本发明包含与2007年3月9日在日本专利局提交的日本专利申请JP2007-059972相关的主题，其全部内容被引用附于此。

Claims (27)

1.一种图像处理装置，包括：

图像输入单元，被配置以接收长期曝光图像和短期曝光图像；

图像分析单元，被配置以基于在该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间发生了亮度变化的亮度变化像素；以及

像素值校正单元，被配置以校正由该图像分析单元检测的亮度变化像素的像素值，

其中该像素值校正单元包括

组合图像生成器，被配置以选择性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像，

中间图像生成器，被配置以生成中间图像，该中间图像是该组合图像的模糊图像，以及

输出图像生成器，被配置以使用该组合图像中的对应像素的像素值和在该中间图像中的该对应像素的像素值来确定由该图像分析单元检测的亮度变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位置上。

2.根据权利要求1所述的图像处理装置，其中该输出图像生成器被配置以使用以下等式确定在输出图像中的该对应像素的像素值：

[Rv]＝a×[Dv]+b×[Mv]

其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素值，a和b标示系数，其中a+b＝1。

3.根据权利要求1所述的图像处理装置，其中该图像分析单元被配置以检测从该短期曝光图像获得有效输出值且从该长期曝光图像获得有效输出值的像素位置，并被配置以确定位于所检测的像素位置上的像素是其亮度电平从高亮度电平改变到低亮度电平的亮度变化像素。

4.根据权利要求1所述的图像处理装置，其中该图像分析单元被配置以检测在该长期曝光图像中的像素值饱和且没有从该短期曝光图像获得有效输出值的像素位置，并被配置以确定位于所检测的像素位置上的像素是其亮度电平从低亮度电平改变到高亮度电平的亮度变化像素。

5.根据权利要求1所述的图像处理装置，其中该图像分析单元被配置以使用平滑滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转换，并被配置以基于作为该图像转换的结果而获得的图像来排除错误检测到的亮度变化像素。

6.根据权利要求1所述的图像处理装置，其中该图像分析单元被配置以使用滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转换，并被配置以放大亮度变化像素区域。

7.根据权利要求6所述的图像处理装置，其中该输出图像生成器被配置以使用系数通过以下等式来确定在输出图像中的该对应像素的像素值：

[Rv]＝a×[Dv]+b×[Mv]

其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素值，a和b标示系数，其中a+b＝1，以及

其中该输出图像生成器被配置以通过使用被用于确定基于该组合图像而检测到的亮度变化像素区域的像素值的第一组系数和用于确定使用该滤波器放大的该亮度变化像素区域的像素值的第二组系数作为系数，来确定在该输出图像中的该对应像素的像素值，该第一组系数和该第二组系数具有彼此不同的值。

8.根据权利要求1所述的图像处理装置，其中该中间图像生成器被配置以对该组合图像施加平滑滤波器，以生成模糊图像。

9.根据权利要求1所述的图像处理装置，其中该中间图像生成器被配置以缩小和放大该组合图像以生成模糊图像。

10.根据权利要求1所述的图像处理装置，其中该像素值校正单元进一步包括图像校正单元，其被配置以缩小由该组合图像生成器生成的组合图像的颜色饱和，以生成饱和减少图像，以及

其中该中间像素生成器被配置以接收由该图像校正单元生成的该饱和减少图像以生成模糊图像。

11.根据权利要求1所述的图像处理装置，其中该像素值校正单元进一步包括图像校正单元，其被配置以进行对由该输出图像生成器生成的图像施加低通滤波器的图像校正处理。

12.根据权利要求1到11中的任意一项的图像处理装置，其中生成该长期曝光图像的曝光时间段包括生成该短期曝光图像的曝光时间段，以及

其中该短期曝光图像和该长期曝光图像是由单个成像元件从相同像素生成的图像。

13.一种成像装置，包括：

成像设备，被配置以生成长期曝光图像和短期曝光图像；

图像分析单元，被配置以基于在该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间发生了亮度变化的亮度变化像素；以及

像素值校正单元，被配置以校正由该图像分析单元检测的亮度变化像素的像素值，

其中该像素值校正单元包括

组合图像生成器，被配置以选择性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像，

中间图像生成器，被配置以生成中间图像，该中间图像是该组合图像的模糊图像，以及

输出图像生成器，被配置以使用该组合图像中的对应像素的像素值和在该中间图像中的该对应像素的像素值来确定由该图像分析单元检测的亮度变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位置上。

14.根据权利要求13所述的成像装置，其中生成该长期曝光图像的曝光时间段包括生成该短期曝光图像的曝光时间段，以及

其中该成像设备被配置以使用单个成像元件从相同像素生成该短期曝光图像和该长期曝光图像。

15.一种用于在图像处理装置中进行图像处理的图像处理方法，该图像处理方法包括以下步骤：

通过图像输入单元，接收长期曝光图像和短期曝光图像；

通过图像分析单元，基于在该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间发生了亮度变化的亮度变化像素；以及

通过像素值校正单元，校正所检测的亮度变化像素的像素值，

其中该校正的步骤包括以下步骤

通过选择性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像，

生成中间图像，该中间图像是该组合图像的模糊图像，以及

使用该组合图像中的对应像素的像素值和在该中间图像中的该对应像素的像素值来确定由该图像分析单元检测的亮度变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位置上。

16.根据权利要求15所述的图像处理方法，其中该确定的步骤包括以下步骤：

使用以下等式确定在输出图像中的该对应像素的像素值：

[Rv]＝a×[Dv]+b×[Mv]

其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素值，a和b标示系数，其中a+b＝1。

17.根据权利要求15所述的图像处理方法，其中该检测的步骤包括以下步骤：

检测从该短期曝光图像获得有效输出值且从该长期曝光图像获得有效输出值的像素位置，以确定位于所检测的像素位置上的像素是其亮度电平从高亮度电平改变到低亮度电平的亮度变化像素。

18.根据权利要求15所述的图像处理方法，其中该检测的步骤包括以下步骤：

检测在该长期曝光图像中的像素值饱和且没有从该短期曝光图像获得有效输出值的像素位置，以确定位于所检测的像素位置上的像素是其亮度电平从低亮度电平改变到高亮度电平的亮度变化像素。

19.根据权利要求15所述的图像处理方法，其中该检测的步骤包括以下步骤：

使用平滑滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转换，以基于作为该图像转换的结果而获得的图像来排除错误检测到的亮度变化像素。

20.根据权利要求15所述的图像处理方法，其中该检测的步骤包括以下步骤：

使用滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转换，以放大亮度变化像素区域。

21.根据权利要求20所述的图像处理方法，其中该确定的步骤包括以下步骤：

使用系数通过以下等式来确定在输出图像中的该对应像素的像素值：

[Rv]＝a×[Dv]+b×[Mv]

其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素值，a和b标示系数，其中a+b＝1，

其中通过使用被用于确定基于该组合图像而检测到的亮度变化像素区域的像素值的第一组系数和用于确定使用该滤波器放大的该亮度变化像素区域的像素值的第二组系数作为系数，来确定在该输出图像中的该对应像素的像素值，该第一组系数和该第二组系数具有彼此不同的值。

22.根据权利要求15所述的图像处理方法，其中该生成中间图像的步骤包括以下步骤：

对该组合图像施加平滑滤波器，以生成模糊图像。

23.根据权利要求15所述的图像处理方法，其中该生成中间图像的步骤包括以下步骤：

缩小和放大该组合图像以生成模糊图像。

24.根据权利要求15所述的图像处理方法，其中该校正的步骤进一步包括以下步骤：

缩小所生成的组合图像的颜色饱和，以生成饱和减少图像，以及

其中生成中间图像的步骤在接收所生成的该饱和减少图像时生成模糊图像。

25.根据权利要求15所述的图像处理方法，其中该校正的步骤进一步包括以下步骤：

进行对在该确定步骤中生成的图像施加低通滤波器的图像校正处理。

26.根据权利要求15到25中的任意一项所述的图像处理方法，其中生成该长期曝光图像的曝光时间段包括生成该短期曝光图像的曝光时间段，以及

其中该短期曝光图像和该长期曝光图像是由单个成像元件从相同像素生成的图像。

27.一种用于使得图像处理装置执行图像处理的计算机程序，该计算机程序包括如下步骤：

使得图像输入单元接收长期曝光图像和短期曝光图像；

使得图像分析单元基于在该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间发生了亮度变化的亮度变化像素；以及

使得像素值校正单元校正所检测的亮度变化像素的像素值，

其中该使得像素值校正单元校正像素值的步骤包括以下步骤

通过选择性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像，

生成该组合图像的模糊图像，以及

使用该组合图像中的对应像素的像素值和在该中间图像中的该对应像素的像素值来确定由该图像分析单元检测的亮度变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位置上。

Images