CN107113407B - 图像拾取装置驱动方法和信号处理方法 - Google Patents

Abstract

本发明的目的是提供一种用于在至少具有R、G和B像素的图像拾取装置中生成具有降低的颜色噪声的图像的技术。一种图像拾取装置驱动方法，其特征在于：使用由包含在n个帧中的R、G和B像素输出的信号和由包含在m个帧中的W像素输出的信号，生成图像数据，其中n是大小等于二的整数，其中m小于n；或者使用由包含在n个帧中的R和B像素输出的信号和由包含在m个帧中的G像素输出的信号，生成图像数据。

Description

图像拾取装置驱动方法和信号处理方法

技术领域

本发明涉及用于驱动图像拾取装置的方法以及信号处理方法。

背景技术

常常使用具有用于获得颜色图像的所谓拜耳阵列的图像拾取装置。在这种类型的图像拾取装置中，每个被配置为透射特定波长分量的光(诸如红色、绿色或蓝色的光)的滤色器(可以由CF表示)以逐个像素为基础布置在元件表面上。在下文中，红色、绿色和蓝色将分别由R、G和B表示。具有红色(R)CF的像素将被称为R像素，具有绿色(G)CF的像素将被称为G像素，具有蓝色(B)CF的像素将被称为B像素。R、G和B像素可以被统称为RGB像素。

专利文献1描述了具有RGB像素和不具有CF的像素(下文中称为白色像素或W像素)的图像处理装置。专利文献1中描述的图像拾取装置对由具有RGBW阵列的图像拾取元件输出的信号执行边缘检测和模糊校正，以进行颜色相关重新拼接。

引用列表

专利文献

PTL 1：日本专利公开No.2011-55038

发明内容

技术问题

一个目的是提供用于在至少具有RGB像素的图像拾取装置中生成具有降低的颜色噪声的图像的技术。

问题的解决方案

本发明的一方面是用于驱动图像拾取装置的方法，该图像拾取装置包括具有多个颜色像素以及白色像素的图像拾取元件，其中每个颜色像素具有红色、绿色和蓝色之一的滤色器；以及输出信号处理器。该方法包括：从图像拾取元件向输出信号处理器输出由所述多个颜色像素输出的信号和由白色像素输出的信号；以及由输出信号处理器使用由包含在n个帧中的所述多个颜色像素输出的信号和包含在m个帧中的白色像素的信号，来生成图像数据，其中n是大于或等于二的整数，其中m小于n。

本发明的另一方面是用于驱动图像拾取装置的方法，该图像拾取装置包括具有多个颜色像素的图像拾取元件，其中每个颜色像素具有红色、绿色和蓝色之一的滤色器；以及输出信号处理器。该方法包括：从图像拾取元件向输出信号处理器输出由所述多个颜色像素输出的信号；以及由输出信号处理器使用包含在n个帧中并由具有红色和蓝色的滤色器的像素输出的信号以及包含在m个帧中并具有绿色的滤色器的像素的信号，来生成图像数据，其中n是大于或等于二的整数，其中m小于n。

本发明的另一方面是用于驱动图像拾取装置的方法，该图像拾取装置包括被配置为输出颜色数据和表示亮度的分辨率数据的图像拾取元件，以及输出信号处理器。该方法包括：由输出信号处理器使用包含在n个帧中的颜色数据和包含在m个帧中的分辨率数据生成图像数据，其中n是大于或等于二的整数，其中m小于n。

本发明的另一方面是使用由图像拾取元件输出的颜色数据和分辨率数据的信号处理方法，分辨率数据表示亮度。该方法包括：使用包含在n个帧中的颜色数据和包含在m个帧中的分辨率数据生成图像数据，其中n是大于或等于二的整数，其中m小于n。

发明的有利效果

本发明可以提供生成具有降低的颜色噪声的图像的图像拾取装置。

附图说明

图1图示了图像拾取装置的配置。

图2图示了图像拾取元件的配置。

图3图示了图像拾取元件的滤色器阵列。

图4图示了图像拾取装置的操作。

图5图示了图像拾取装置的操作。

图6示出了由图像拾取装置生成的图像的评估。

图7图示了图像拾取装置的操作。

图8示出了由图像拾取装置生成的图像的评估。

图9图示了图像拾取元件的滤色器阵列。

图10图示了图像拾取装置的操作。

图11图示了图像拾取装置的操作。

图12图示了图像拾取元件的滤色器阵列。

图13图示了图像拾取装置的操作。

图14图示了图像拾取装置的操作。

具体实施方式

现在将参考附图描述根据每个实施例的图像拾取装置。

(第一实施例)

图1图示了根据本实施例的图像拾取装置500的配置。

图像拾取装置500是使用图像拾取元件301获取图像或移动图像的装置。图像拾取装置500的示例包括数字静态相机、数字摄像机和监视摄像机。

参考图1，图像拾取装置500包括将物体的光学图像聚焦到图像拾取元件301上的透镜302、用于保护透镜302的挡板303和用于调节穿过透镜302的光量的光阑304。图像拾取装置500还包括处理来自图像拾取元件301的输出信号的输出信号处理器305。

输出信号处理器305包括数字信号处理单元。输出信号处理器305根据需要对从图像拾取元件301输出的信号执行各种类型的校正和压缩，并输出所得的信号。当从图像拾取元件301输出的信号是模拟信号时，输出信号处理器305可以在数字信号处理单元的上游包括模拟/数字转换器电路。

图像拾取装置500还包括用于临时存储图像数据的缓冲存储器单元306。图像拾取装置500还包括用于与外部计算机等进行通信的外部接口(I/F)单元307。图像拾取装置500还包括用于在记录介质上记录或从记录介质进行读取的存储介质控制接口(I/F)单元308。图像拾取装置500还包括在其上记录或从其读取拾取图像数据的记录介质309。记录介质309是可从图像拾取装置移除或包括在图像拾取装置中的半导体存储器。

图像拾取装置500还包括总体控制/计算单元310，其不仅执行各种计算，而且还控制数字静态相机的整体操作。图像拾取装置500还包括定时发生器311，其将各种定时信号输出到输出信号处理器305。控制信号(诸如定时信号)可以从图像拾取装置500的外部输入，而不是从定时发生器311输入。即，图像拾取装置500包括至少处理来自图像拾取元件301的输出信号的输出信号处理器305和图像拾取元件301。

图2是图示本实施例的图像拾取元件的框图。本实施例的图像拾取元件包括具有包括以矩阵形式布置的像素100的像素阵列的图像拾取区域1、垂直扫描电路2、列电路单元3、水平扫描电路4和输出单元5。垂直扫描电路2以逐行为基础选择像素100。由垂直扫描电路2选择的像素100基于入射光将信号输出到多条垂直信号线6。垂直信号线6各自与像素100的列对应。列电路单元3包括为与相应列对应的相应垂直信号线6提供的多个列电路。多个列电路中的每一个通过从像素100输出到相应垂直信号线6的信号中减去噪声分量来生成信号。水平扫描电路4水平并顺序地扫描列电路单元3的多个列电路。因此，信号从用于列电路单元3中的相应列的列电路顺序地输出到输出单元5。输出单元5向部署在图像拾取元件301外部的输出信号处理器305输出信号。

图3(a)和图3(b)各自图示了用于像素的滤色器(CF)的阵列。R、G和B分别表示红色、绿色和蓝色滤色器。W表示白色像素，并且指示不提供滤色器。

图3(a)图示了没有W像素的拜耳阵列。CF以R:G:B＝1:2:1的比率布置。布置比R和B像素更多的G像素，因为相比于与红色和蓝色对应的波长，人类视觉对于与绿色对应的波长更敏感。而且，相比于与红色和蓝色波长对应的光的亮度，由人类视觉感知到的图像的锐度更强烈地依赖于与绿色波长对应的光的亮度。

图3(b)图示了由RGBW12表示的CF阵列。在四乘四像素阵列中，CF以R:G:B:W＝1:2:1:12的比率布置。作为颜色像素的R、G和B像素中的任一个在平面图中的上/下、右/左和对角线方向上与W像素相邻。即，R、G和B像素中的每一个被八个W像素包围。W像素占所有像素的四分之三。由于作为颜色像素的RGB像素中的每一个被W像素包围，因此用W像素的信号内插R、G和B像素中的每一个的信号的准确度高于在图3(a)中所示的CF阵列中的准确度。

图4是图示本实施例的图像拾取元件301和输出信号处理器305的动作的流程图。

在步骤S101中，图像拾取元件301向输出信号处理器305输出信号。

在步骤S103中，输出信号处理器305基于CF阵列将从图像拾取元件301输出的信号分离成分辨率数据和颜色数据。分辨率数据是由从W像素输出的信号生成的数据，并且是表示亮度的数据。颜色数据是由从RGB像素输出的信号生成的数据。在颜色数据中，R、G和B像素数之和为总像素数的四分之一。因而，分辨率是X和Y方向上的像素总数的一半。在图4中，降低的分辨率由像素的尺寸示意性地表示。

在图3(b)的CF阵列中，不获取与R、G和B像素部分中的白色对应的数据。因而，这个数据在图4中由“？”指示。

在步骤S105中，输出信号处理器305对分辨率数据执行内插。这种内插是基于相邻W像素的信号来补偿与R、G和B像素所在的部分中的白色对应的信号的处理。通过这种内插，与R、G和B像素中的每一个中的白色对应的信号被内插。在图4中，内插像素的内插数据由iW表示。双线性方法可以适当地被用作内插的方法。在本实施例中，围绕iW的八个像素是W像素。因而，可以将上/下、右/左、右对角线和左对角线方向上的W像素的输出用作参考内插值。例如，可以使用上/下、右/左，右对角线和左对角线方向上的两个W像素的平均值，这两个是信号值变化较小的像素。通过使用具有较小信号值变化的W像素的平均值，可以使所得的iW与分辨率数据的真实值的偏差小于仅在上/下和右/左方向中存在相邻W像素的情况下的偏差。

因此，如本实施例中那样，在R、G和B像素各自被八个W像素包围的CF阵列中，可以以高准确度执行内插。

虽然将在步骤S111的解释中描述细节，但是输出信号处理器305对包含由图像拾取元件301输出的信号的所有帧中的一些帧中的信号执行步骤S103中的内插。

在步骤S107中，输出信号处理器305确定已经从其获取颜色数据的帧数是否达到n，其中n大于或等于二。

如果在步骤S107中输出信号处理器305确定“否”，那么处理返回到步骤S101。

另一方面，如果在步骤S107中输出信号处理器305确定“是”，那么处理前进到步骤S109。

在步骤S109中，输出信号处理器305处理包含在多个帧中的颜色数据。在步骤S109中执行的处理是以下之一或一些的组合：移动平均、顺序循环处理(无限脉冲响应或IIR)和非顺序循环处理(有限脉冲响应或FIR)。经处理的颜色数据是其中包括在每帧中的颜色数据中所包含的颜色噪声减少的数据。

在步骤S111中，输出信号处理器305将分辨率数据与在步骤S109中处理的颜色数据组合。

将对这种组合操作进行描述。这里的描述是基于在步骤S109中处理的颜色数据的帧数“n”为二的假设。

首先，从图像拾取元件301输出第一帧的信号。输出信号处理器305不对第一帧中的分辨率数据执行步骤S105的操作。

输出信号处理器305在步骤S107中确定“否”，并且处理返回到步骤S101。

在步骤S101中，图像拾取元件301输出第二帧的信号。在步骤S103的操作之后，输出信号处理器305对第二帧中的分辨率数据执行步骤S105的操作。而且，输出信号处理器305在步骤S107中确定“是”，并且在步骤S109中处理包含在两帧中的颜色数据。

在步骤S111中，输出信号处理器305将包含在两帧中的经处理的颜色数据与第二帧中的分辨率数据组合。基于分辨率数据和颜色数据，输出信号处理器305生成颜色图像。在图4中，每个像素都用RGB标记。这意味着为每个像素生成颜色R、G和B中的每一个的数据。

在步骤S113中，输出信号处理器305输出在步骤S111中生成的图像。

图5图示了参考图4描述的步骤S107中的操作的细节。

由于存在W像素，在本实施例的图像拾取元件中，R、G和B像素数之和小于图3(a)中所示的拜耳阵列中的R、G和B像素数之和。因此，由于R、G和B像素的数量较少，因此R、G和B像素中的随机散粒噪声和照片散粒噪声比拜耳阵列中的更为显著。随机散粒噪声和照片散粒噪声将被统称为颜色噪声。

为了降低颜色噪声，本实施例的图像拾取装置500使用包含在多个时间上连续的帧中的颜色数据来执行降噪(NR)。将描述降噪的方法。首先，将第一帧中的颜色数据预先存储在帧存储器中。不对第一帧中的颜色数据执行乘法和除法(如下所述)。

接下来，将描述第二帧中的颜色数据。如图5中所示，输出信号处理器305首先将第二帧中的颜色数据乘以系数1/n。在本实施例中，在n为2的情况下，R、G和B像素中的每一个的信号值为1/2。然后，输出信号处理器305将存储在帧存储器中的第一帧中的颜色数据乘以系数(n-1)/n。由于n是2，因此第一帧中的颜色数据的R、G和B像素中的每一个的信号是1/2。然后，输出信号处理器305将第一帧中乘以1/2的信号与第二帧中乘以1/2的信号相加。因此，获取第一帧和第二帧中的颜色数据的平均数据。

如果n为3或更大，那么输出信号处理器305将通过将第一帧和第二帧中的颜色数据的平均颜色数据乘以2/3而得到的信号加到通过将包含在第三帧(即，三帧中的最后一帧)中的颜色数据乘以1/3而得到的颜色数据，由此输出信号处理器305获取包含在三帧中的颜色数据的平均数据。

在图5中，nrR、nrG和nrB分别表示在降噪后获得的R、G和B像素的颜色数据。使用包含在多帧中的颜色数据来生成降噪后获得的颜色数据。即，由nrR、nrG和nrB表示的数据是比每帧中包含的颜色数据具有更少的噪声分量的数据。

将进一步描述步骤S111中的操作。步骤S111中的操作是计算用于与布置有R、G和B像素的像素中的白色对应的信号的内插数据iW，以及像素的nrR、nrG和nrB的RGB颜色比率的处理。通过将颜色比率乘以每个像素的数据W或内插数据iW获得的值是像素的RGB值。这将通过以下等式具体解释。

当待处理的像素为W像素时：

[等式1]

当待处理的像素为R、G和B像素时：

[等式2]

要指出的是，iWr、iWg和iWb分别是R、G和B像素部分的iW值。另一种处理方法可以是归一化颜色数据。这将通过以下等式来解释。

当待处理的像素为W像素时：

[等式3]

当待处理的像素为R、G和B像素时：

[等式4]

在上述等式中，nrR、nrG和nrB由(nrR+nrG+nrB)归一化。因而，nrR/(nrR+nrG+nrB)、nrG/(nrR+nrG+nrB)和nrB/(nrR+nrG+nrB)中的每一个的值是归一化的颜色数据。

数据W和内插数据iW是分辨率数据。与通过对多个帧中的信号求平均所获得的颜色数据相比，分辨率数据更快地响应于物体的运动。另一方面，颜色数据(nrR，nrG，nrB)是具有降低的噪声分量的数据。

颜色数据(nrR，nrG，nrB)是比分辨率数据更慢地对物体的运动进行响应的数据。但是，对于颜色数据，人眼对于帧内的空间变化和帧之间的时间变化的敏感度比对于分辨率数据更低。因而，与分辨率数据相比，颜色数据的低响应性更可以被允许。

因此，如果分辨率数据对物体的运动快速响应，那么输出信号处理器305可以使用分辨率数据和通过对多个帧中的信号求平均而获得的颜色数据来生成良好的RGB图像。

因此，通过将分辨率数据和颜色数据组合在一起，可以获得具有降低的噪声分量和对物体的运动有良好响应性的图像。

使用本实施例的图像拾取装置500和其它图像拾取装置执行评价拍摄。图6示出了评价拍摄的条件和结果。就噪声和余像(afterimage)对图像进行评估。图6中的噪声评估和余像评估是A到C的级别(scale)，其中A是最好。

作为评估拍摄的条件，拍摄环境中的亮度和上述系数1/n和(n-1)/n中n的值(n是用于颜色数据的平均化的帧数)对于评估有所变化。

作为条件1，拍摄场景的亮度被设置为10lux(勒克斯)，用于颜色数据的平均化的帧数“n”被设置为1(n＝1)。在这种条件下拍摄的图像噪声非常小，没有余像。因而，噪声和余像都被评估为A。

作为条件2，拍摄场景中的亮度被设置为10lux，n被设置为4(n＝4)。在这种条件下拍摄的图像噪音非常小。与n＝1的条件1不同，由于n＝4，在某些部分看到具有模糊颜色的余像，但是这在允许的范围内。因而，噪声和余像被分别评估为A和B。

作为条件3，拍摄场景中的亮度被设置为1lux，n被设置为1(n＝1)。由于拍摄场景中的光量的减少而导致的分辨率数据和颜色数据的S/N比降低，在这种条件下拍摄的图像而具有轻微的噪音。在这种条件下拍摄的图像中没有看到余像。因而，噪声和余像被分别评估为B和A。

作为条件4，拍摄场景中的亮度被设置为1lux，n被设置为4(n＝4)。在这种条件下，通过对多个帧中的颜色数据求平均，获得噪声小于在条件3下拍摄的图像的图像。余像的程度与在条件2下拍摄的图像中的余像的程度相同，因此在允许范围内。因而，噪声和余像被分别评估为A和B。

作为条件5，拍摄场景中的亮度被设置为0.1lux，n被设置为1(n＝1)。在这种条件下，与条件3相比，分辨率数据和颜色数据的S/N比进一步降低，并且拍摄了具有显著噪声的图像。由于n＝1，因此没有看到余像。因而，噪声和余像被分别评估为C和A。

作为条件6，拍摄场景中的亮度被设置为0.1lux，n被设置为4(n＝4)。在这种条件下，通过对多帧中的颜色数据求平均，获得噪声小于在条件5下拍摄的图像的图像。虽然用于颜色数据的处理的帧数“n”被设置为4(n＝4)，但是余像感觉处于允许的水平。因而，在条件6中，噪声和余像都被评估为B。

因此，通过对包含在多帧中的颜色数据求平均，本实施例的图像拾取装置500可以在降低噪声水平的同时生成具有减少的余像的图像。

本实施例的图像拾取装置500使用包含在n个帧中的RGB像素数据和包含在m个帧中的W像素数据来生成图像数据，其中m小于n。n的值优选地是大于或等于1/X的数，其中X是W像素数与光入射到其上的全部像素数的比率。因此，可以减少随W个像素数增大而增加的假色的出现。

本实施例的图像拾取装置500可以根据物体的环境(诸如亮度、对比度或运动速度)适当地改变n的值。

在本实施例的图像拾取装置500中，由于W像素的存在，因此R、G和B像素的数量小于拜耳阵列中R、G和B像素的数量。因此，与在使用由具有拜耳阵列的图像拾取元件输出的信号生成的图像中相比，在由本实施例的图像拾取装置500生成的图像中，叠纹(moiré)可能更频繁地出现。在这种情况下，在步骤S111的操作中，可以对通过上述操作获得的每个像素的RGB值进一步执行以下操作。

为了通过步骤S111的操作生成RGB图像，使用通过以下等式获得R'G'B'数据：

[等式5]

在这个等式中，iWr、iWg和iWb分别表示用于内插R、G和B像素的内插数据iW。R'G'B'数据是通过用R像素的信号值除以基于围绕R像素的八个W像素的内插数据iW来获得的。因此可以获得具有减少的叠纹的图像。

在本实施例中，分辨率数据仅由W像素的信号形成，颜色数据仅由R、G和B像素的信号形成。本发明不限于这个示例。形成分辨率数据的信号可以包括R、G和B像素的信号，只要分辨率数据主要由W像素的信号形成即可。而且，形成颜色数据的信号可以包括W像素的信号，只要颜色数据主要由R、G和B像素的信号形成即可。

虽然在本实施例中已经描述了R、G和B颜色的滤色器作为示例，但是滤色器可以是青色、品红色和黄色，而不是R、G和B。即使在这种情况下，也可以使用具有青色、品红色和黄色的滤色器的像素以及W像素来执行与本实施例中描述的操作相同的操作。

在本实施例中，图像拾取元件在一帧中输出颜色数据和分辨率数据。可替代地，图像拾取元件可以在一帧中输出颜色数据，并在另一帧中输出分辨率数据。

在本实施例中，图像拾取装置500的输出信号处理器305使用包含在n个帧中的RGB像素数据和包含在m个帧中的W像素数据来生成图像数据，其中m小于n。本发明不限于此。例如，经由诸如CD-ROM或DVD-ROM之类的记录介质或通信网络输送的程序可以包括使用包含在n个帧中的RGB像素数据和包含在m个帧中的W像素数据来生成图像数据的信号处理方法，其中m小于n。因此，其上安装有程序的计算机可以执行使用包含在n个帧中的RGB像素数据和包含在m个帧中的W像素数据来生成图像数据的信号处理方法，其中m小于n。

(第二实施例)

将描述本实施例的图像拾取装置，重点在于与第一实施例的图像拾取装置500的不同之处。本实施例的图像拾取装置500使用通过处理包含在多帧中的颜色数据所获得的颜色数据和通过处理包含在比用于处理颜色数据的帧数更少数量的帧中的分辨率数据所获得的分辨率数据，来生成图像。本实施例的图像拾取装置500的配置与图1中所示的图像拾取装置500的配置相同。

图7是图示本实施例的图像拾取装置500的操作的流程图。在图7中，与图4中所示的操作相同的操作用相同的附图标记表示。

输出信号处理器305将从图像拾取元件301输出的信号分离成分辨率数据和颜色数据。然后，对于分辨率数据，输出信号处理器305通过处理包含在m个帧中的分辨率数据来生成分辨率数据。对于颜色数据，输出信号处理器305通过处理n个帧中包含的颜色数据来生成颜色数据，其中n大于m。

对于人眼来说，察觉颜色的余像比分辨率的余像更难。因而，用于处理用于生成图像的分辨率数据的帧数小于用于处理颜色数据的帧数。因此，本实施例的图像拾取装置500可以生成具有降低的噪声的图像，同时使图像中出现的余像难以使人眼察觉。

图8示出了根据本实施例的评估。图8中的噪声评估和余像评估是A到D的级别，其中A是最好。

作为条件1，拍摄场景中的亮度被设置为10lux，并且m和n都被设置为1(m＝1，n＝1)。在这种条件下拍摄的图像的噪声和余像都被评估为A。

作为条件2，拍摄场景中的亮度被设置为1lux，并且m和n分别被设置为1和4(m＝1，n＝4)。在这种条件下拍摄的图像的噪声和余像分别被评估为A和B。

作为条件3，拍摄场景中的亮度被设置为1lux，并且m和n分别被设置为2和4(m＝2，n＝4)。在这种条件下拍摄的图像的噪声和余像分别被评估为A和C。与条件2下获得的图像相比，在条件3下获得的图像中的余像的程度在允许范围内增大。

作为条件4，拍摄场景中的亮度被设置为0.1lux，并且m和n都设置为1(m＝1，n＝1)。在这种条件下拍摄的图像的噪声和余像分别被评估为D和A。

作为条件5，拍摄场景中的亮度被设置为0.1lux，并且m和n分别被设置为1和4(m＝1，n＝4)。在这种条件下拍摄的图像的噪声和余像分别被评估为C和B。与在条件4下拍摄的图像相比，在条件5下拍摄的图像中，余像的程度在允许范围内增大，并且噪音水平降低。

作为条件6，拍摄场景中的亮度被设置为0.1lux，并且m和n分别设置为2和4(m＝2，n＝4)。在这种条件下拍摄的图像的噪声和余像分别被评估为B和C。与在条件5下拍摄的图像相比，在条件6下拍摄的图像中，余像的程度在允许范围内增加，并且噪声水平降低。

作为条件7，拍摄场景中的亮度被设置为0.01lux，并且m和n分别设置为1和4(m＝1，n＝4)。在这种条件下拍摄的图像的噪声和余像分别被评估为D和B。

作为条件8，拍摄场景中的亮度被设置为0.01lux，并且m和n分别设置为2和4(m＝2，n＝4)。在这种条件下拍摄的图像的噪声和余像都被评估为C。与在条件7下拍摄的图像相比，在条件8下拍摄的图像中，余像的程度在允许范围内增大，并且噪声水平降低。

作为条件9，拍摄场景中的亮度被设置为0.01lux，并且m和n都设置为4(m＝4，n＝4)。在这种条件下拍摄的图像的噪声和余像分别被评估为B和D。与在条件8下拍摄的图像相比，在条件9下拍摄的图像中，噪声水平降低，并且余像的程度增大超过允许的极限。

如从例如条件5和6的比较可以看出的，本实施例的图像拾取装置500可以使用通过处理包含在多帧中的分辨率数据获得的分辨率数据来生成具有降低的噪声的图像。在用来生成图像的分辨率数据和颜色数据帧数相等的条件9下，余像的程度增大超过允许的极限。在本实施例的图像拾取装置500中，使用来生成图像的分辨率数据的帧数小于颜色数据的帧数，以使得图像拾取装置500可以生成具有降低的噪声的图像，同时减少余像的程度的增大。

当使用通过处理包含在多帧中的分辨率数据获得的分辨率数据来生成图像时，余像的程度可以增大。因此，当物体静止时，使用n1帧中的颜色数据和m1帧中的分辨率数据来生成图像，其中m1小于n1。另一方面，当物体运动时，可以使用比当物体静止时更少的帧数中的分辨率数据来生成图像。当物体运动时，可以优选地使用仅包含在一帧中的分辨率数据来生成图像。

虽然在本实施例中已经描述了R、G和B颜色的滤色器作为示例，但是滤色器可以是青色、品红色和黄色，而不是R、G和B。即使在这种情况下，也可以使用具有青色、品红色和黄色的滤色器的像素以及W像素执行与本实施例中描述的操作相同的操作。

(第三实施例)

将描述本实施例的图像拾取装置，重点在于与第一实施例的图像拾取装置500的不同之处。本实施例使用图9中所示的CF阵列。这个阵列由RGBW8表示。在RGBW8阵列中，W像素数与总像素数的比率低于RGBW12阵列中的该比率。因而，具有RGBW8阵列的图像拾取元件的灵敏度低于具有RGBW12阵列的图像拾取元件的灵敏度。在RGBW8阵列中，与RGBW12阵列不同，在平面图中，R、G和B像素中的任何一个都在上/下和左/右方向上与每个W像素相邻。这具有减少假色的发生的效果。

图10是图示本实施例的图像拾取装置500的操作的流程图。

在步骤S201中，图像拾取元件301向输出信号处理器305输出信号。

在步骤S203中，输出信号处理器305基于CF阵列将从图像拾取元件301输出的信号分离成分辨率数据和颜色数据。

在图9的CF阵列中，不获取与R、G和B像素部分中的白色对应的数据。因而，这个数据由图10中的“？”指示。

在步骤S205中，输出信号处理器305对分辨率数据执行内插。这种内插是基于相邻W像素的信号来补偿与R、G和B像素所在的部分中的白色对应的信号的处理。通过这种内插，对与R、G和B像素中的每一个中的白色对应的信号进行内插。在图10中，用于内插像素的内插数据由iW表示。双线性方法可以被适当地用作内插的方法。在本实施例中，围绕iW的四个像素是W像素。因而，可以将在上/下和左/右方向相邻的W像素的输出作为参考内插值。例如，可以使用上/下和左/右方向上的两个W像素的平均值，这两个是信号值变化较小的像素。

在步骤S207中，输出信号处理器305确定已经从其获取颜色数据的帧数是否达到n，其中n是大于或等于二的整数。

如果在步骤S207中输出信号处理器305确定“否”，那么处理返回到步骤S201。

另一方面，如果输出信号处理器305在步骤S207中确定“是”，那么处理前进到步骤S209。

在步骤S209中，输出信号处理器305处理包含在多帧中的颜色数据。在步骤S209中执行的处理可以与上面参考图4描述的步骤S109中的处理相同。

在步骤S211中，输出信号处理器305将分辨率数据与在步骤S209中处理的颜色数据组合。

在步骤S213中，输出信号处理器305输出在步骤S211中生成的图像。

图11图示了参考图10描述的步骤S207中的操作的细节。

图11中所示的本实施例的图像拾取装置500的操作与图5中所示的操作相同，除了由于其间CF阵列中的差异而引起的颜色数据的像素数不同之外。

通过使用执行上述操作的图像拾取装置500，在与图6中所示的条件相同的条件下执行评估拍摄。因为W像素与所有像素的比率低于第一实施例的图像拾取装置500中的比率，所以图像的灵敏度和分辨率降低。但是，与使用包含在一帧中的分辨率数据和包含在一帧中的颜色数据生成图像的情况相比，本实施例的图像拾取装置500能够在减少余像的同时生成具有降低的噪声的图像。

虽然在本实施例中已经描述了R、G和B颜色的滤色器作为示例，但是滤色器可以是青色、品红色和黄色，而不是R、G和B。即使在这种情况下，也可以使用具有青色、品红色和黄色的滤色器的像素以及W像素执行与本实施例中描述的操作相同的操作。

(第四实施例)

将描述本实施例的图像拾取装置，重点在于与第一实施例的不同之处。

图12图示了本实施例的图像拾取元件301的CF阵列。这个CF阵列由RGBG12表示。

通过用G像素代替RGBW12阵列中的W像素来获得本实施例的图像拾取元件301中的CF阵列。用G像素代替W像素会降低RGBW12的灵敏度。在用大量光拍摄物体的情况下，RGBW12阵列中的W像素会饱和，并且这会降低图像的灰度(gradation)。另一方面，在RGBG12阵列中，由于G像素的灵敏度低于W像素的灵敏度，因此，即使在W像素饱和的拍摄场景中，G像素也不会饱和。因此，即使在W像素饱和的拍摄场景中，本实施例的图像拾取装置500也会生成灰度降低较少的图像。

图13是图示本实施例的图像拾取装置500的操作的流程图。

在步骤S301中，图像拾取元件301向输出信号处理器305输出信号。

在步骤S303中，输出信号处理器305基于CF阵列将从图像拾取元件301输出的信号分离成分辨率数据和颜色数据。

在图12的CF阵列中，不获取与R和B像素部分中的G像素对应的数据。因而，在使用图12中的G像素的分辨率数据中，R和B像素用“？”指示。

在步骤S305中，输出信号处理器305对分辨率数据执行内插。这种内插是基于相邻G像素的信号来补偿与R和B像素所在的部分中的G像素对应的信号的处理。通过这种内插，对与R和B像素中的每一个中的G像素对应的信号进行内插。在图13中，用于被内插的像素的内插数据由iG表示。双线性方法可以被适当地用作内插的方法。

在步骤S307中，输出信号处理器305确定已经从其获取颜色数据的帧数是否达到n，其中n是大于或等于二的整数。

如果在步骤S307中输出信号处理器305确定“否”，那么处理返回到步骤S301。

另一方面，如果在步骤S307中输出信号处理器305确定“是”，那么处理前进到步骤S309。

参考图13描述的步骤S307中的操作与图5中所示的操作相同。

在步骤S309中，输出信号处理器305处理包含在多帧中的颜色数据。在步骤S309中执行的处理可以与上面参考图4描述的步骤S109中的处理相同。

在步骤S311中，输出信号处理器305将分辨率数据与在步骤S309中处理的颜色数据组合。

在步骤S311中，输出信号处理器305对通过步骤S305中的内插获得的分辨率数据和在步骤S309中处理的多帧中的颜色数据执行以下操作。

输出信号处理器305获得与R像素所在的像素中的G像素对应的内插数据iGr与像素中的颜色数据的nrR的比率。对于G像素，该比率乘以数据G，而对于R像素，该比率乘以内插数据iG。

而且，输出信号处理器305获得与B像素所在的像素中的G像素对应的内插数据iGb与像素中的颜色数据的nrB的比率。对于G像素，该比率乘以数据G，而对于B像素，该比率乘以内插数据iG。

总而言之，通过将分辨率数据与颜色数据组合而获得RGB图像的计算由以下等式表示。

当待处理的像素是G像素时：

[等式6]

当待处理的像素是R和B像素时：

[等式7]

在本实施例的图像拾取元件301中，R和B像素与所有像素的比率低于拜耳阵列中的该比率。因此，输出信号处理器305还执行下述操作。

当待处理的像素是G像素时：

[等式8]

当待处理的像素是R和B像素时：

[等式9]

使用执行上述操作的图像拾取装置500执行评估拍摄。作为拍摄的结果，与使用具有拜耳阵列的图像拾取元件相比，可以降低低照明环境中的颜色噪声。

在本实施例中，利用iGr对R数据进行归一化，并且利用iGb对B数据进行归一化。因此，在R像素中通过除以要实现的亮度(iGr)所获得的值和在B像素中通过除以要实现的亮度(iGb)所获得的值被用于R/iGr和B/iGb的计算，由此可以减少在R和B像素中叠纹的发生。

在步骤S313中，输出信号处理器305输出在步骤S311中生成的图像。

通过使用执行上述操作的图像拾取装置500，在与图6中所示的条件相同的条件下执行评估拍摄。由于图像拾取元件301不包括W像素，因此由本实施例的图像拾取装置500生成的图像的灵敏度和分辨率低于由第一实施例的图像拾取装置500获得的图像的灵敏度和分辨率。但是，与使用包含在一帧中的分辨率数据和包含在一帧中的颜色数据生成图像的情况相比，本实施例的图像拾取装置500能够在减少余像的同时生成具有降低的噪声的图像。

虽然在本实施例中已经描述了R、G和B颜色的滤色器作为示例，但是滤色器可以是青色、品红色和黄色，而不是R、G和B。即使在这种情况下，也可以使用具有青色、品红色和黄色的滤色器的像素以及W像素执行与本实施例中描述的操作相同的操作。

本实施例的图像拾取装置500使用包含在n个帧中的RB像素数据和包含在m个帧中的G像素数据生成图像数据，其中m小于n。n的值优选地为大于或等于1/X的数，其中X是G像素数与光入射到其上的全部像素数的比率。因此，可以减少随着G像素的数量增加而增加的假色的发生。

(第五实施例)

将描述本实施例的图像拾取装置，重点放在与第四实施例的不同之处。

本实施例的图像拾取元件301的CF阵列是图3(a)中所示的拜耳阵列。

图14是图示本实施例的图像拾取装置500的操作的流程图。

在步骤S401中，图像拾取元件301向输出信号处理器305输出信号。

在步骤S403中，输出信号处理器305基于CF阵列将从图像拾取元件301输出的信号分离为分辨率数据和颜色数据。

在图3(a)的CF阵列中，不获取与R和B像素部分中的G像素对应的数据。因而，在使用图3(a)中的G像素的分辨率数据中，R和B像素由“？”指示。

在步骤S405中，输出信号处理器305对分辨率数据执行内插。这种内插是基于相邻G像素的信号来补偿与R和B像素所在的部分中的G像素对应的信号的处理。通过这种内插，对与R和B像素中的每一个中的G像素对应的信号进行内插。在图14中，用于被内插像素的内插数据由iG表示。双线性方法可以被适当地用作内插的方法。

在步骤S407中，输出信号处理器305确定已经从其获取颜色数据的帧数是否达到n，其中n是大于或等于二的整数。

如果在步骤S407中输出信号处理器305确定“否”，那么处理返回到步骤S401。

另一方面，如果输出信号处理器305在步骤S407中确定“是”，那么处理前进到步骤S409。

在步骤S409中，输出信号处理器305处理包含在多帧中的颜色数据。在步骤S409中执行的处理可以与上面参考图11描述的步骤S209中的处理相同。

在步骤S411中，输出信号处理器305将分辨率数据与在步骤S409中处理的颜色数据组合。

在步骤S413中，输出信号处理器305输出在步骤S411中生成的图像。

步骤S411中的组合操作与第四实施例中描述的用于为每个像素获得RGB数据的操作相同。

通过使用执行上述操作的图像拾取装置500，在与图6所示相同的条件下执行评估拍摄。由于图像拾取元件301不包括W像素，因此由本实施例的图像拾取装置500生成的图像的灵敏度和分辨率低于由第一实施例的图像拾取装置500获得的图像的灵敏度和分辨率。但是，与使用包含在一帧中的分辨率数据和包含在一帧中的颜色数据生成图像的情况相比，本实施例的图像拾取装置500能够在减少余像的同时生成具有降低的噪声的图像。

虽然在本实施例中已经描述了R、G和B颜色的滤色器作为示例，但是滤色器可以是青色、品红色和黄色，而不是R、G和B。即使在这种情况下，也可以使用具有青色、品红色和黄色的滤色器的像素以及W像素执行与本实施例中描述的操作相同的操作。

本发明不限于上述实施例，在不背离本发明的精神和范围的情况下，可以进行各种改变和修改。所附的权利要求用以公开本发明的范围。

附图标记列表

1：图像拾取区域

2：垂直扫描电路

3：列电路单元

301：图像拾取元件

305：输出信号处理器

500：图像拾取装置

Claims (8)

1.一种用于驱动图像拾取装置的方法，该图像拾取装置包括具有多个颜色像素以及白色像素的图像拾取元件，其中每个颜色像素具有红色、绿色和蓝色之一的滤色器；以及输出信号处理器，所述方法包括：

从图像拾取元件向输出信号处理器输出由所述多个颜色像素在n个帧中输出的信号和由白色像素在m个帧中输出的信号，其中所述n个帧中的每个帧是在不同的时间从图像拾取元件输出的，并且n是大于2的整数，其中所述m个帧中的每个帧是在不同的时间从图像拾取元件输出的，并且m是小于n的整数；以及

由输出信号处理器使用所述n个帧中包含的由所述多个颜色像素输出的信号和所述m个帧中包含的由白色像素输出的信号，来生成图像数据，

其中，输出信号处理器使用通过对所述n个帧中包含的由所述多个颜色像素输出的信号求平均所获得的信号和通过对所述m个帧中包含的由白色像素输出的信号求平均所获得的信号来生成图像数据。

2.如权利要求1所述的用于驱动图像拾取装置的方法，其中n是大于或等于1/X的数，其中X是图像拾取元件中白色像素的数量与光入射到上面的所有像素的数量的比率。

3.如权利要求1所述的用于驱动图像拾取装置的方法，其中输出信号处理器使用通过对所述n个帧中包含的由所述多个颜色像素输出的信号和所述n个帧中的最后一帧中包含的由白色像素输出的信号求平均所获得的信号，来生成图像数据。

4.如权利要求1所述的用于驱动图像拾取装置的方法，其中图像拾取元件包括多个白色像素；以及

在平面图中，颜色像素中的每一个颜色像素在上/下、右/左和对角线方向上都与白色像素相邻。

5.一种用于驱动图像拾取装置的方法，该图像拾取装置包括具有多个颜色像素的图像拾取元件，其中每个颜色像素具有红色、绿色和蓝色之一的滤色器；以及输出信号处理器，所述方法包括：

从图像拾取元件向输出信号处理器输出由第一颜色像素在n个帧中输出的信号和由第二颜色像素在m个帧中输出的信号，所述第一颜色像素是具有红色和蓝色的滤色器的颜色像素，所述第二颜色像素是具有绿色的滤色器的颜色像素，其中所述n个帧中的每个帧是在不同的时间从图像拾取元件输出的，并且n是大于2的整数，其中所述m个帧中的每个帧是在不同的时间从图像拾取元件输出的，并且m是小于n的整数；以及

由输出信号处理器使用所述n个帧中包含的由第一颜色像素输出的信号以及所述m个帧中包含的由第二颜色像素输出的信号，来生成图像数据，

其中，输出信号处理器使用通过对所述n个帧中包含的由第一颜色像素输出的信号求平均所获得的信号和通过对所述m个帧中包含的由第二颜色像素输出的信号求平均所获得的信号来生成图像数据。

6.如权利要求5所述的用于驱动图像拾取装置的方法，其中n是大于或等于1/X的数，其中X是图像拾取元件中的第二颜色像素的数量与光入射到上面的所有像素的数量的比率。

7.如权利要求5所述的用于驱动图像拾取装置的方法，其中输出信号处理器使用通过对所述n个帧中包含的由第一颜色像素输出的信号以及所述n个帧中最后一帧中包含的由第二颜色像素输出的信号求平均所获得的信号，来生成图像数据。

8.如权利要求5所述的用于驱动图像拾取装置的方法，其中，在平面图中，具有红色和蓝色的滤色器的像素中的每一个在上/下、右/左和对角线方向上都与具有绿色的滤色器的像素相邻。

Images