WO2011150554A1

WO2011150554A1 - 一种多光谱感光器件及其采样方法

Info

Publication number: WO2011150554A1
Application number: PCT/CN2010/073443
Authority: WO
Inventors: 胡笑平
Original assignee: Boly Media Communications Shenzen Co Ltd
Current assignee: Boly Media Communications Shenzen Co Ltd
Priority date: 2010-06-01
Filing date: 2010-06-01
Publication date: 2011-12-08
Anticipated expiration: 2012-12-01
Also published as: US20130068934A1; EP2512126A1; KR20130050911A; RU2534018C2; EP2512126B1; EP2512126A4; HUE039688T2; JP2013529035A; CA2787911A1; CA2787911C; JP5775570B2; RU2012157297A; US9100597B2; KR101473424B1

Description

一种多光谱感光器件及其采样方法

技术领域

本发明涉及对感光芯片的感光象素的读取, 尤其是大阵列感光芯片的感光象素的子采样数据读取。具体的说，本发明涉及到一种多光谱感光器件及其采样方法。

背景技术

本发明是本发明人稍早一点的《多光谱感光器件及其制作方法》（PCT/CN2007/071262）和《多光谱感光器件及其制作方法》（中国申请号：200810217270.2）的延续, 旨在提供更为具体而且优选的半导体电路和芯片级别的实现。

之前的感光器件,要么专注于彩色可见光,要么专注于红外光,很少有将二者合在一起的。虽然也有其它的发明或申请,例如采用铟化镉的半导体技术(“Silicon infrared focal plane arrays”, M. Kimata, in Handbook of Infrared Detection Technologies, edited by M. Henini and M. Razeghi, pp. 352-392, Elsevier Science Ltd., 2002),来同时实现可见和红外光的感应,但它们没有得到彩色。之前的同时得到彩色和红外感光的方法是将一个彩色感光器件与一个红外感光器件,物理迭加在一起(如“Backside-hybrid Photodetector for trans-chip detection of NIR light], by T. Tokuda et al., in IEEE Workshop on Charge-coupled Devices & Advanced Image Sensors, Elmau, Germany, May 2003, and “A CMOS image sensor with eye-safe detection function using backside carrier injection”, T. Tokuda et al., J. Inst Image Information & Television Eng., 60(3):366-372, March 2006) 。

本发明人稍早一点的《多光谱感光器件及其制作方法》（PCT/CN2007/071262）和《多光谱感光器件及其制作方法》（中国申请号：200810217270.2）,提出了一种能同时得到彩色和红外图像的新的多光谱感光器件的制作方法.这种新型的感光器件, 极大地扩展感光器件动态范围,从而满足汽车,安防等领域里的高性能要求.不仅如此, 将它用于小尺寸的彩色感光器件, 如手机用的摄像头,也能大幅地提高图像品质.不仅如此, 他们可以采用现有的CMOS, CCD, 或其它半导体感光器件制作技术来制作, 而且每一种技术都可以有非常多而且有效的制作方法和结构设计.本发明主要提供少数几种采用CMOS/CCD半导体技术的制作方法。

但是，这种新的双层或多层感光器件带来一个新的问题，就是数据量是传统的单层感光器件的两倍甚至更多。虽然两层感光器件只需一半的象素就能获得与单层感光器件同等的解析度，但是高速处理大阵列的感光器件的数据，仍然是一个需要改进的问题。

最近几年，已经发明了一些优秀的方法来对大阵列图像进行高性能的子采样，例如读取电路共享，并行（Row Binning）及并列(Column Binning)采样技术（如美国专利US6，801，258B1， US6，693，670B1， US7，091，466B2， US7，319，218B2等等）。值得一提的是美国专利US6，693，670B1， US7，091，466B2和 US7，319，218B2。这些专利提供了效果不错而且方便易行的手段，实现了N行或N列或M行与N列的并用。

但是这些子采样技术没有达到最优。例如，采用并行和并列的子采样技术将N个点并为一个点，图像信噪比的改进最高只能是 (见美国专利US7，091，466B2， US7，319，218B2)。这是因为并行和并列只是对信号做了平均，因而只是将随机噪声的方差降低了倍，而有用信号本身的强度没有得到增强，而仅仅是用几个点的平均值取代。图像信号中通常还有缓变低频的固定噪声，这一部分噪声也没有减少。

此外，现有的子采样技术仅仅是单独地考虑Bayer排列或CYMG四色图案排列的感光芯片的子采样的需求，也没有为后续计算做简化。例如一个Bayer图案的彩色图像，经过美国Micron Technologies Inc. 的并行和并列采样技术（美国专利US7，091，466B2， US7，319，218B2)后，仍然是一个Bayer图案，仍然需要经过复杂的处理才能得到预览和存储阶段所偏爱的YUV图像。而其它一些能够改进信噪比的子采样电路，需要用到复杂的积分电路和比较器，从而带来辅助电路的增加和频率的增加。

另外一个现有子采样技术的巨大的限制，就是，并行和并列只在相同的，而且空间上并不紧邻（中间隔着别的象素）的色彩象素间进行。对于Bayer图案或CYMG四色图案，相同的色彩象素，在空间上并不紧邻，经过并行和并列后的图像，已经破坏了原始图像的空间上的均匀分布的特点，因此，后端处理如果不专门适应这种情况，在直线边缘，就容易产生锯齿效果。

尤其，对于本发明所要关注的双层或多层感光器件而言，现有技术就显得局促和平庸，因为双层或多层感光器件提供了非常多的优秀的色彩图案排列，因而，无论是信号读取和子采样，都应当针对双层或多层感光器件的特点，做出改进。

技术问题

本发明的目的旨在提出更优越的子采样原理和先进的子采样电路，并将子采样和后续图像处理结合起来一起优化。本发明提供一种多光谱感光器件及其采样方法，以便能克服双层或多层多光谱感光芯片的数据量比较大的这个微弱的不足。这里，采样方法主要包括子采样，但也涵盖了全图采样。需要了解，本发明并不局限在双层或多层多光谱感光器件，对于单层的感光器件，同样是适用的。

技术解决方案

为便于描述本发明并解释其与现有技术的差别,我们现给出如下名词的定义:双层感光器件,双面感光器件,和双向感光器件。其中，双层感光器件是指感光象素被物理上分成两层(如本发明人在稍早的发明申请《多光谱感光器件及其制作方法》（PCT/CN2007/071262）所描述的两层感光器件),每一层都含有感应特定光谱的感光象素。双面感光器件是指感光器件具有两个感光表面,每一个面都能至少从一个方向上感光。双向感光器件是指感光器件能从两个(通常互成180度)的方向上感光，亦即从感光器件的正面和背面都能感光。

一个感光器件可以同时具有双层，双面，和双向这三个特点中的一个，两个，和所有三个特点。

为了解决上述技术问题，本发明采用了如下技术方案：

一种多光谱感光器件，包括以行和列排列的象素阵列，以及

第一合并单元，用于对所述象素阵列中的紧邻的同行异列、异行同列、或异行异列的象素间进行两两合并采样，获得第一合并象素的采样数据；

第二合并单元，用于对第一合并单元得到的第一合并象素的采样数据进行合并采样，获得第二合并象素的采样数据。

所述的多光谱感光器件，还包括第三合并单元，用于对第二合并单元得到的第二合并象素的采样数据进行合并采样，获得第三合并象素的采样数据。

所述的多光谱感光器件，所述第一合并单元或第二合并单元的象素合并方式为相同或不同色彩象素间的电荷累加方式或两个不同色彩象素间的信号平均方式，其中不同色彩象素间的象素合并方式（包括电荷累加方式或信号平均方式）遵照色彩空间变换的方式，以满足色彩重建的要求。

所述的多光谱感光器件，所述电荷累加方式是在读取电容（FD）中完成的。

所述的多光谱感光器件，所述第一合并单元或第二合并单元的基于色彩的合并采样方式包括同色合并方式、异色合并方式、混杂合并方式、或选择性抛弃多余色彩合并方式，且第一合并单元和第二合并单元采用的合并采样方式不同时为同色合并方式，也即两个合并单元中至少有一个合并单元不采用同色合并方式。

所述的多光谱感光器件，所述第一合并单元或第二合并单元的基于位置的合并采样方式包括以下几种方式中的至少一种：直接输出到总线的信号自动平均方式、跳行或跳列方式、和逐个采样方式。亦即这几种基于位置的合并采样方式可以单独使用，也可以组合使用。

所述的多光谱感光器件，所述第三合并采样单元的合并采样方式包括：色彩空间变换方式和后端数字图像缩放方式中的至少一种。

所述的多光谱感光器件，所述色彩空间变换包括RGB到CyYeMgX空间的变换、RGB到YUV空间的变换, 或CyYeMgX到YUV空间的变换、其中X为R(红)、G(绿)、B(兰)中的任一种。

所述的多光谱感光器件，所述象素阵列由复数个包含至少一个基本象素的宏象素组成，其中基本象素可以为被动象素或主动象素。

所述的多光谱感光器件，所述宏象素中的基本象素按方阵或蜂窝排列。

所述的多光谱感光器件，所述宏象素的组成方式可以包括以下组成方式至少一种：不带读取电容（FD）的3T主动象素组成方式、带一个读取电容（FD）的4T主动象素组成方式。

所述的多光谱感光器件，每个宏象素带一个读取电容（FD）的4T主动象素，采用4点共享方式、6点共享方式、或8点共享方式。

所述的多光谱感光器件，所述宏象素也可以包括如下的组成方式：由四个方阵排列的象素和两个位于两行中间的不透光的读取电容(FD)组成，上一行的象素与下一行的象素共用一个读取电容(FD)，两个读取电容(FD)之间可以实现电荷转移，并且至少一个读取电容上连接有读取电路。

所述宏象素可由带两点共享、三点共享、或四点共享读取电容（FD）的3T或4T主动象素的基本象素组成，采用4点桥式共享方式、6点桥式共享方式、或8点桥式共享方式。

所述的多光谱感光器件，每个宏象素由带两点共享、三点共享、或四点共享读取电容（FD）的4T主动象素的基本象素组成，采用4点桥式共享方式、6点桥式共享方式、或8点桥式共享方式。

所述的多光谱感光器件，所述多光谱感光器件的全图采样方式包括逐行扫描、逐行读取方式或逐行扫描、隔行或跨行读取方式。

本发明还公开了一种多光谱感光器件的采样方法，包括：

第一合并过程，用于对所述象素阵列中的紧邻的同行异列、异行同列、或异行异列的象素间进行两两合并采样，获得第一合并象素的采样数据；

第二合并过程，用于对第一合并过程得到的第一合并象素的采样数据进行合并采样，获得第二合并象素的采样数据。

所述的采样方法，还包括：第三合并过程，用于对第二合并过程得到的第二合并象素的采样数据进行合并采样，获得第三合并象素的采样数据。

所述的采样方法，所述第一合并过程或第二合并过程的象素合并采样方式为相同或不同色彩象素间的电荷相加方式或不同色彩象素间的信号平均方式，其中不同色彩象素间的象素合并方式（包括电荷相加方式或信号平均方式）遵照色彩空间变换的方式，以满足色彩重建的要求。

所述的采样方法，所述第一过程或第二合并过程的基于色彩的合并采样方式包括同色合并方式、异色合并方式、混杂合并方式、或选择性抛弃多余色彩方式，且第一合并过程和第二合并过程中至少一个合并过程不是同色合并方式。

所述的采样方法，所述第一合并过程或第二合并采样过程的基于位置的合并采样方式包括以下几种方式中的至少一种：直接输出到总线的信号自动平均方式、跳行或跳列方式、和逐个采样方式。

所述的采样方法，所述第三合并采样过程进行的合并采样方式包括：色彩空间变换方式、后端数字图像缩放方式。

所述的采样方法，所述色彩空间变换包括RGB到CyYeMgX空间的变换、 RGB到YUV空间的变换、或CyYeMgX到YUV空间的变换、其中X为R(红)、G(绿)、B(兰)中的任一种。

所述的采样方法，其全图采样的方式包括逐行扫描、逐行读取方式或逐行扫描、隔行或跨行读取方式。

有益效果

本发明有益的技术效果在于：

将子采样至少分为两个过程，即前述的第一合并采样过程和第二合并采样过程。第一合并采样过程和第二合并采样过程，通常发生在象素的行（合并）采样和列（合并）采样之间，主要对模拟信号进行，除电荷相加部分通常只在第一合并采样过程中做以外，其次序和内容通常是可以交换的。此外，也可以包括第三合并采样过程，第三合并采样过程发生在模数转换之后，主要对数字信号进行。

对于第一合并采样过程，是取象素阵列中两个紧邻的象素来进行合并。一方面，完成了紧邻象素的合并，在本文中，我们将合并后的象素称为第一合并象素，需要理解的是，第一合并象素只是为本发明描述之便，利用该概念来指代进行第一合并过程后的象素，而不代表物理上，在象素阵列中存在一个“第一合并象素”；将两个紧邻象素合并采样后的数据称为第一合并象素的采样数据。紧邻，系指两个象素之间从水平，垂直，或对角方向上来看紧挨着，中间没有其它象素。紧邻的情况包含同行异列，异行同列，或异行异列。一般而言，在这种合并中，信号将至少是两个象素的信号平均，而噪声则会降低，因此，合并后，至少可以将信噪比提高倍，且这种合并可以在相同或不同色彩的象素之间进行。另一方面，由于两个合并的色彩可以不同，即色彩相加或平均，从色彩的三原色原理可知，两种原色的相加是另一种原色的补色，就是说，两个不同原色的象素合并，产生另一种原色的补色，从原色空间，变换到了补色空间，仅仅是发生了色彩空间变换，我们仍然可以通过不同的补色而完成彩色重建。也即通过本发明，既能实现不同色彩的象素合并以提高信噪比，同时又能够进行彩色重建。整个子采样过程也因此得到优化，更加适应大数据量的象素阵列的高速需求。色彩空间变换的一个基本要求是，变换后的色彩的组合，能够（通过插值等手段）重建所需要的RGB（或YUV, 或CYMK）色彩。

需要了解，由于通常象素阵列包含多个象素，第一合并采样只是将两个象素进行合并，显然，合并形成的第一合并象素也具有多个。对于不同的第一合并象素，其采用的色彩合并方式可以相同，也可以不同。当第一合并全部在相同的色彩间进行时，我们将之称为同色合并方式；当第一合并全部在不同的色彩间进行时，我们将之称为异色合并方式；当第一合并部分在相同色彩间进行、部分在不同色彩间进行，我们将之称为混杂合并方式；当对象素阵列中的一些多余的色彩进行抛弃（当然，抛弃是选择性的，例如，不能因此而影响到彩色重建），这样的色彩合并方式称为选择性抛弃多余彩色方式。

显然的，第二合并过程是对多个第一合并象素的操作，同样的，可以将色彩相同的第一合并象素进行合并；也可以将色彩不同的第一合并象素进行合并（当然，这种情况下可能导致三原色的全部相加而无法重建出彩色）。

上述的同色合并、异色合并、混杂合并等方式，是将合并采样做基于色彩的分类，另外，从合并采样的位置选取的角度，第一合并过程和第二合并过程的合并采样方式包括：直接输出到总线的信号自动平均方式、跳行或跳列方式，逐个采样方式，以及这些方式的两种或三种的同时使用。除电荷相加部分通常只能在第一合并采样过程中做以外，第一合并过程和第二合并过程，除了次序的不同外，其方式都是相同和可以交换的。

所谓直接输出到总线的信号自动平均方式，就是，将需要合并的信号(色彩相同或是不同)，同时输出到数据采集总线上去，通过（电压）信号的自动平衡，来获得需要合并信号的平均值。所谓跳行或跳列方式就是跳过一些行或列，从而通过减少数据量的方式来实现（合并）采样。所谓逐个采样方式，实际上就是不做任何合并，依此读取原来的象素或第一合并象素。这三个方式有一些是可以同时使用的，例如，跳行或跳列方式可与直接输出到总线的信号自动平均方式或逐个采样方式同时使用。

第三合并采样过程的子采样方式包括色彩空间变换方式、后端数字图像缩放方式、以及这两个方式的串行使用。第一和第二合并过程主要是在模拟信号上进行，而第三子采样过程主要是在数字信号上进行，即模数转换之后进行。通过将处于不同空间位置的三个或四个色彩象素，当作同一个点上的值而转换到另一个色彩空间，就又可实现水平和（或）垂直方向上的数据减少，从而达到子采样的效果。而数字图像缩放方式，是最为直观常用的子采样方式。

本发明还首次在合并采样时实现了电荷相加。目前的合并采样几乎都是只做到了电压或电流信号的平均，这种方式在合并N点时，最多只能将信噪比提高倍。这是因为现有的合并采样都是N个相同色彩的象素共用一根输出线的方式进行合并采样，在这根输出线上，各个象素的电压或电流信号必然要进行（自动的）平均，因此，其信噪比的提高只是在于噪声合并后降低了，从而使信噪比提高最多倍。而采用本发明的电荷相加方式，例如通过读取电容存储电荷，实现电荷的累加，从而信号可以进行叠加而使得信噪比可以提高至少N倍，比信号平均的方法高至少倍。也就是说，将N个信号以电荷相加的方法合并，理论上最高可以达到N2个信号相平均的效果或更好(如下面所述)，这是效果非常显著的提高信噪比的手段。

紧邻象素相加，还带来另外一个显著的效果，就是，象素之间的相互干扰(cross-talking)效果被减弱。这是由于本来相互干扰的色彩，现在是合法的一体，也就是说，原来属于噪声的一部分信号，现在成了有效的信号部分，因此，N个信号电荷相加带来信噪比的改进，可以接近理论上的上限，即N 倍，从而，相当于N3个信号相平均的效果。

电荷相加是一个效果卓著的合并采样手段，但它要求合并的象素在空间上相邻。之前的子采样不能做的原因是，之前的子采样只在相同色彩的象素之间进行，但由于被合并的象素之间隔着其它象素，因而无法实现电荷相加。对于多层感光器件而言，实现电荷相加相对比较容易，因为色彩图案非常丰富。而采用本发明，我们也能很容易地在单层感光器件上实现电荷相加，只要采用了本发明的色彩空间变换的方法。

本发明在全图采样（即对一个图像的按最高分辨率进行采样）时，采用逐行扫描、隔行或跨行读取的方式，不需要提高时钟速度和采用帧缓存器，将大阵列图像的全图读取帧率在拍单张照时翻倍。如果增加AD转换器和行缓存，那么，全图读取帧率还可以提高更多。这个方法对于省去机械快门有非常重要的价值。

请注意本发明的逐行扫描、隔行或跨行读取的方式，与传统电视系统里的场扫描方式（interleaved scanning）是不同的。传统的场扫描方式，是隔行扫描，隔行读取，因此，奇数场和偶数场（无论是感光还是读取）在时间上差了一场，即半帧。而本发明的逐行扫描、隔行或跨行读取的方式，象素在感光时间顺序上却是与逐行扫描、逐行读取方式是完全一样的，只是行的读取次序做了变化。

本发明将通过实施例描述新的威力更强，适应面更广的感光器件及其子采样方法。这些优选实现方法，仅仅是作为举例来说明本发明和本发明者的先前相关发明的优点和实现方法而已，而不是为了限制这些发明的保护范围。

对于相关业界的有识之士而言，本发明的上述及其它目的和优点，在阅读过下面的优选的带有多个插图解释的实现案例的细节描述之后，将是十分明显的。

附图说明

图1是CMOS被动象素的读取（采样）电路。

图2是CMOS 3T主动象素的读取（采样）电路。

图3是CMOS 4T主动象素的读取（采样）电路。

图4（a）和（b）分别是CMOS 主动象素和被动的读取（采样）电路与行地址选择电路的关系。

图5是CMOS象素的读取（采样）电路与行地址选择电路和列地址选择电路的结构示意图。

图6是一个典型的带有列缓存的实用CMOS象素的读取（采样）电路示意图。

图7是CCD象素的读取方式（a）与CMOS象素的读取方式(b)的比较。注意到在图7（a）中CCD象素之间在垂直方向上的挨个传递的功能。

图8是描述美国专利US7，091，466B2的基本原理的示意图。通过同时打开需要合并的相同象素的开关，将相关信号同时输出到采样总线上后自己达成平衡，从而得到合并象素的平均值。

图9是描述美国专利US7，319，218B2的基本原理的示意图。通过异时高速采样需要合并的相同象素，将相关信号记录完全后再同时输出到采样总线上后自己达成平衡，从而得到合并象素的平均值。其基本思想与美国专利US7，091，466B2是相同的，只是采用了不同的电路实现。

图10摘要了现有象素同色合并技术的基本思想：将相邻宏象素的色彩相同的象素（以信号平均的方式）合并。图10（a）是列合并的示意图，图10（b）是行列同时合并的示意图。

图11显示的是当前比较好的4-点共享4T主动感光象素的读取电路,平均每个象素采用了1.75个门。

图12显示的是一个6-点共享4T主动感光象素的读取电路,平均每个象素只采用了1. 5个门。这个6-点共享主动感光象素的读取电路,适用于采用蜂窝排列的双面双层感光器件（参见《多光谱感光器件及其制作方法》，中国申请号200810217270.2）, 亦即让一个宏象素里的所有三个复合象素的上下两层感光二极管共享同一个读取电容(FD)和3T读取电路。

图13显示的是一个8-点共享4T主动感光象素的读取电路,平均每个象素只采用了1.375个门。这个8-点共享主动感光象素的读取电路,适用于以四点宏象素为基础的方阵排列的双面双层感光器件, 亦即让一个宏象素里的所有四个复合象素的上下两层感光二极管共享同一个读取电容(FD)和3T读取电路。

图14显示的是本发明的异色和混杂合并的技术的基本思想：先将同一宏象素的内的两个不同或相同色彩的象素（以信号平均或相加的方式）合并，然后再做合并后相邻且色彩相同的象素间的合并。图14（a）显示的是Bayer图案感光器件一种两列合并的示意图，图14（b）显示的是Bayer图案感光器件一种两列和两行同时合并的示意图。其中，单独看G与B，或G与R的合并时，就构成了异色合并；而将G与B的合并，G与R的合并，B与R的合并，以及G与G的合并合起来看时，就构成了混杂合并，因为其中有的合并是在同色之间（G与G），而其它则是在异色之间。Bayer图案的RGB原色图像，在经过杂色合并后，被转换成了CyYeMgG补色图像。在这个图中，将G与B的合并，G与R的合并， B与R的合并，以及G与G的合并构成了第一个合并过程。第二个合并过程，是将合并后得到不同位置上的Cy, Ye, Mg, 和G值，按照同色合并的方式，同时输出到总线上，或采用跳行或跳列的方式，跳过某些象素，和逐个读出。

图15显示的是本发明的杂色合并技术用于更一般的M行与N列合并情况（图中为5x3,即5行与3列的合并）。将跳行或跨行与跳列与跨列的方法结合，可以得到很多种不同的类似图15的情况。3行3列的合并可以通过2行与2列的合并方式加上跳行和跳列来完成。

注意到第三行和第四行在进行交叉合并时，将产生一对位于同一中点位置的（Mg, G）信号。为了后面的列合并的方便性，可以人为认为Mg或G在前面，以保持一致性。

注意到行和列的对称性，从这个图我们可以很容易地延伸出3x5,2x3,3x2，2x4,4x2,5x2,2x5,2x6,6x2,3x4,4x3,3x6,6x3,4x4,4x5,5x4,4x6,6x4,5x6,6x5,6x6,7x6,6x7,7x7x, 8x8, 等等各种合并情况。比较有用的是 2x2,2x4, 4x2, 4x4, 3x6, 6x3, 6,6, 4x8, 8x4, 和8x8的能够很容易的保持图像长宽比的合并因子。同样，在这个图中，G与B的合并，G与R的合并， B与R的合并，以及G与G的合并，构成了第一个合并过程。第二个合并过程，是将合并后得到不同位置上的Cy, Ye, Mg, 和G值，按照同色合并的方式，同时输出到总线上，并跳过中间一些没有用到的象素（例如图中的第5行和第10行）。被跳过的色彩，将不再参加后面的第三合并采样过程，如果感光器件包含有第三合并采样过程的话。

图16显示的是色彩空间矩阵变换带来的额外的2x2图像缩小。无论CyYeMgG的图像是原始图像，还是通过本发明的杂色合并方法从Bayer RGB图像获得，当我们将它转换成YUV图像时，可以获得额外的2x2缩小。缩小的方法就是将一个CyYeMgG宏象素，当成是共点的四个象素而转换成一个（Y，U，V）象素，然后再将（水平方向）相邻的两个点的U和V值平均，就得到预览和JPEG/MPEG压缩所希望的YUV422图像。

图17显示的是本发明的一种优秀的读取电路。在这个读取电路中，奇数行与偶数行的感光象素，将共用一个不透光的读取电容FD(如图中的FD1和FD2).开关TG1用来选择将Gr感光二极管中的电容转换到FD1中去。同样，开关TG2, TG3, TG4 被用来分别读取R, B, Gb等电容值到FD2, FD1, 或FD2中去。另外一个开关TG5, 则用来将读取电容FD1中的值, 以相加的方式，转移到FD2中去（或从FD2转移到FD1）。这种布局的感光象素，可以采用如图18所示的四点桥式共享读取电路。在这个电路中，读取电容FD不透光的要求，是实现如图21所示的逐行扫描，隔行或跨行读取所必须的。

图18显示的是本发明的用于四点宏象素方阵排列图案的四点桥式共享读取电路。这种读取电路平均每个象素用到2个三极管。虽然不是门数最少的共享读取电路，但在其它方面有无与伦比的优点。第一个优点是，在子采样时，通过同时打开TG1/TG3或同时打开TG2/TG4, 奇数行的象素值Gr能够与偶数行的象素值B以相加的方式在FD1内累加，从而达到信号相加，噪声相减的双重效果。平均而言，采用FD将两个信号融合后再读取的方式，可以将信噪比提高至多2 倍，其中2倍来自于信号的增强，倍来自于噪声的减弱。对比之下，之前的将两个信号取平均的方法，只能通过减弱噪声的方式，将信噪比提高至多倍。同样，通过，控制时序同时打开TG1/TG4/TG5或TG2/TG3/TG5，我们也能够将对角线上的象素以信号相加的方式读出。第二个优点是，在全图采样时，可以通过将下一行象素值存到FD里面的办法，从而实现隔行或跨行读取，如图21所示。

图19显示的是一种本发明的用于三点宏象素蜂窝排列图案双层感光器件的六点共享读取电路。在这种读取电路中，顶层三个象素共用一个读取电容FD1, 底层三个象素共用一个读取电容FD2，顶层三点与底层三点共用一个放大和读取电路。这种顶层和底层共用读取电路的方法，能够简化设计，并在子采样时让控制逻辑变得简单。与图12不同之处在于，顶层和底层的读取电容没有分享，从而便于双面感光器件的制作。

图20显示的是一种本发明的用于四点宏象素方阵排列图案双层感光器件的八点共享读取电路。在这种读取电路中，顶层四个象素共用一个读取电容FD1, 底层四个象素共用一个读取电容FD2，顶层四点与底层四点共用一个放大和读取电路。与图13不同之处在于，顶层和底层的读取电容没有分享，从而便于双面感光器件的制作。

显然，对于双面双层感光器件，顶层和底层的四个宏象素点也可以分别采用如图18所示意的双FD桥式共享读取电路，从而让顶层和底层的读取电路相对独立并且各自可以采取隔行或跨行读取的方式，加快全图拍照时的快门速度。

图21显示的是图17所示的采样读取电路，用于在全图采样时的隔行读取（图21（a））或跨行读取（图21（b））方式的示意图。

在图21（a）的隔行读取中，读第一行(GrRgGrR …)时，第二行(BGBG…)的值，在第一行相应位置的值读取之后，紧接着移到已经空余的FD区间。也就是说，当第一行的第N列象素在被读取的时候，第二行的第N-1（或N-2，等等）个象素正在被移到垂直对应的FD区域里。当第一行读完后，我们并不紧接着去读存在FD里的第二行里的值，而是接着读第三行的象素值。同样，在读第三行的象素值时，第四行的象素值也被同时被转移到FD区域里。也就是说，所有偶数行的象素值，都被逐一地移入FD缓存区，直到奇数行的象素值全被读完。最后我们再按次序一行一行地读FD缓存区里的偶数行里的象素值。

在图21（b）的跨行读取中，读第一行(GrRgGrR …)时，第二行(BGBG…)的值，在第一行相应位置的值读取之后，紧接着移到已经空余的FD区间。也就是说，当第一行的第N列象素在被读取的时候，第二行的第N-1（或N-2，等等）个象素正在被移到垂直对应的FD区域里。当第一行读完后，我们并不紧接着读第三行的象素值时，而是接着读第四行的象素值，并同时将第三行的象素值转移到FD区域里。也就是说，行的读取顺序依照1,4,5,8, …, 2,3,6,7, 这样的次序。图21(b)的好处是，前面半帧的图像，依然是Bayer图案排列，因而可以用来快速得到拍照瞬间的小图预览。

图21所示的隔行读取方式或跨行读取方式，与之前电视制式里的场扫描方式是不同的。不同的地方主要在于，存于缓存（FD）区域里的后半帧图像的感光时间与前半帧是几乎一样的，因而在效果上将快门速度比逐行读取提高了一倍，但却避免了电视制式的场扫描方式带来的奇数场和偶数场时间上晚一场（半帧）的情况。这种情况当然只适合于抓拍一张的情况，不适合于连续的视频录像。

采用隔行读取方式或跨行读取方式来将拍照时的电子快门速度在一瞬间提高一倍是非常有价值的手段。例如，假定象素读取时钟为96MHz, 而感光芯片有8M象素，那么，在拍全图时的电子快门速度为（96/8）= 12fps, or 1/12秒。而采用图19所示的隔行读取方式或跨行读取方式，我们就能将感兴趣的那个单帧，瞬间提升到24fps, or 1/24秒，速度快了一倍。达到1/24秒的拍照快门速度，意味着可以省去手机照相模组上的机械快门，而1/12秒的拍照速度需要机械快门才能不因手抖产生图像扭曲。

图22显示的是一个双层感光器件在子采样时的一种简化处理情况：第一合并过程首先从上下两层的冗余的色彩象素里，采用合并或舍弃的方法，只保留色彩重建所必需的色彩分量，例如，Cy, Mg (为B和R合并所得)， G，和Ye. 第三合并过程然后再利用图16所示的色彩空间转换的手段，将相邻的CyYeMgG四个象素，转换为一个YUV色彩，再将相邻的UV分量做水平方向上的2分子采样，就得到YUYV422图像。这个过程完成了一个2x2的子采样。如果图像还是太大的话，那么，在进行色彩空间CyYeMgG到YUV转换之前，还可以第二合并过程中先做CyYeMgG相同色彩的平均而不是采用图中的全采样方式。

这种双层感光器件在全图采样时，可以舍弃掉一些象素，也可以全部读出后由后端处理器来决定怎么处理。全部读出时，数据量多了一倍。那么，如果采用图18和图20所示的隔行或条行读取方式，那么就能将拍照瞬间的帧率提高一倍，与现有的单层感光器件速度一样。

图22也足以表明，两层或多层感光器件在子采样时的复杂性和丰富多彩性。由于两层或多层感光器件在宏象素的色彩分布上有几千种以上的可能性，那么，子采样也就相应地有更多种可能。我们在此只能列举少数几种方法来阐述本发明的精髓。

图23显示的是另一种双层感光器件在子采样时的一种简化处理情况：第一合并过程通过象素相加（或平均），它首先得到CyYeMgB的宏象素，然后，第三合并过程将此四点通过色彩变换的关系得到YUV色彩，从而实现2x2的子采样。当然在色彩转换之前，也可以在第二合并过程先对CyYeMgB的宏象素做相同色彩的（以信号平均的方式）合并而不是采用全采样方式，从而得到更高倍数的子采样。显而易见，图中CyYeMgB的宏象素也可以用BRGB的类似Bayer图案的宏象素取代。这里，我们用CyYeMgB说明，用CyYeMgB，CyYeMgG，CyYeMgR，都可以得到YUV或重建RGB。也就是说， CyYeMgG只是CyYeMgX的一个特例，其中X可以是R，G，或B。

图24显示的是另一种双层感光器件在子采样时的一种简化处理情况：第一合并过程先将相邻象素沿水平方向（以信号平均或相加的方式）做合并，然后第二合并过程再将合并后的象素，（以信号平均或相加，或弃行的方式）沿垂直方向合并。通过合适的时序控制，水平方向和垂直方向的合并，可以同时完成。这种子采样方式，不仅比现有的子采样方式更加丰富多彩，也提供好得多的信噪比。

图25显示的是实现本发明的象素读取和子采样电路的一种感光器件的原理性系统方块示意图，用来阐述本发明的各种功能模块在感光器件中的实现方法。此原理性系统包含象素阵列，行地址解码控制器，列地址解码控制器，采样控制电路，放大和模数转换模块，色彩变换和子采样及图像处理模块，输出控制模块，芯片总控制模块（图25中的CC模块），和其它可能的模块。象素读取和子采样的功能，将主要通过行地址解码控制器和列地址解码控制器产生相应的控制信号（行选信号Row[i], 行控制矢量信号RS[i]，列选信号Col[j], 列控制矢量信号T[j], 其中i和j分别对应的行标号和列标号）来完成。系统其它模块的协调，将主要由芯片总控制模块来完成。第三合并采样过程，如果有的话，将在色彩变换和子采样及图像处理模块中完成。

图26是以一个具体的实例（图17所示的感光象素）来说明图25中的各个控制信号（行选，行控制矢量，列选，列控制矢量）与对应的感光象素上的控制信号的关系。图26描述的是图17中的Gr象素和B象素的信号共享情况（TG5被省略了）。行选信号Row[i]和Col[j]已经清楚标出。在这个电路图中，复位信号RS1和转移门控制信号RS2（TG1或TG3）属于行控制信号。注意到，RS1是两行共享的，而RS2则每行有一个(例如，TG1属于RS[i], 而TG3属于RS[i+1]).图17中的TG5（图26中省略）, 则属于列控制信号T[j].也就是说，尽可能地对象素只做行操作（同一行的象素完全相同）和列操作（同一列的象素完全相同），而不去做每个象素不同的操作，以减少复杂度。

在后面的具体实施方式里，我们将结合图25和图26来说明，本发明的采样和子采样方法是怎样实现的。

本发明的最佳实施方式

本发明的实施方式

本发明具体实施方式的多光谱感光器件，不同的读取和子采样的电路可由类似于图25所示的电路来实现，包括：包含有复数个宏象素的象素阵列，行地址解码控制器，列地址解码控制器，采样控制电路，放大和模数转换模块，色彩变换和子采样及图像处理模块，输出控制模块，芯片总控制模块（图25中的CC模块），和其它可能的模块。

先根据需要，按照方阵或蜂窝形状排列以四个点或三点象素为基础的宏象素。这些象素，可以是被动象素，也可以是主动象素，可以带读取电容FD，也可以不带读取电容FD。

在前文中，我们已经将子采样过程区分为第一合并采样过程、第二合并采样过程、以及可选的第三合并采样过程。对应于这几个过程，我们分别采用第一合并单元、第二合并单元和第三合并单元来实现上述几个合并采样过程。当然，这几个单元只是从其实现功能的角度对器件的一种模块划分，从物理器件的角度，这些功能单元可以是由一个物理上的模实现其功能，也可以是多个物理上的模块组合实现其功能，又或者这些功能单元集成在一个物理的模块中。总之，本文中的第一合并单元、第二合并单元和第三合并单元的描述，只是从其功能上一种描述，而不具体的限定其物理上的实现方式。

具体的，在本示例中，实现所需子采样功能的是行地址解码控制器和列地址解码控制器。行地址解码控制器将输出两类信号，行选信号Row[i] (每行一条线) 和行控制矢量信号RS[i] (每行一条或多条线)，其中i为行的标号。类似地，列地址解码控制器将输出两类信号，列选信号Col[j] (每列一条线) 和列控制矢量信号T[j] (每列一条或多条线)，其中j为列的标号。

行选信号Row[i]是用来做行的选择，而列选信号Col[j]是用来做列的选择。这是两组相对标准的信号。行控制矢量信号RS[i]是对现有CMOS行控制信号的扩展（每行一条线扩展到每行多条线），而列控制矢量信号T[j]，有的CMOS感光器件根本没有，即使有，也是一列只有一个。图26以图17的感光象素为例，给出了Row[i]，RS[i], Col[j], 和T[j]的一个具体的实现，其中Row[i]是两行共享的，而RS包含两个行控制信号RS1[i]（复位信号，同样两行共享）和RS2[2]（电荷转移控制信号）。

在本发明中，可能同时好几行被同时选中，也可能同时好几列被同时选中，甚至几行和几列被同时选中。虽然在之前的某些技术中（如美国专利US6，801，258B1， US6，693，670B1， US7，091，466B2， US7，319，218B2等等），同样会有好几行或好几列被同时选中，但由于合并采样的方式不同，因而，行选信号和列选信号的时序和波型是完全不同的。例如，在进行图14（a）中的合并采样时，第一行第一列和第二行第二列被同时选中，而这种情况在之前的子采样方法中是不可能出现的。

RS[i]和T[j]是用来控制感光象素的复位，清零，感光时间控制，电荷转移，象素合并，和象素读取。由于行列的对称性，RS[i]和T[j]有很多种具体的实现方式。如图17所示的TG1-TG5，Vb1 - Vb4等信号，还有图18中所示的RS，S，和SF信号，都是RS[i]和T[j]所要包含的。本发明并不受到这些信号的具体实现方式的限制。

更具体地，在做任一MxN因子的子采样时（M≥2, N≥2），首先做两行或两列，或两行和两列的合并采样的第一合并采样过程，然后再在第一合并采样的基础上完成M行x N列的子采样。

在第一合并采样之后的子采样（总的MxN子采样），即第二合并采样过程，可通过以下各种方式单独或联合来完成：直接输出到总线的信号自动平均方式、跳行或跳列方式、和逐个采样方式。而第三合并采样过程，如果有的话，可通过如下两种方式单独或联合来完成：色彩空间变换方式和后端数字图像缩放方式。

我们知道，在一个象素阵列中，是含有相当多的感光象素的，尤其对于双层或多层感光器件，色彩的种类和几何分布情况就非常丰富。显然，第一合并采样过程也相应的针对多个第一合并象素，因而，在进行第一合并采样过程时，这些第一合并象素从象素的色彩合并的角度上说，其用作合并的色彩选择是多样的，可以采用同色合并的方式，异色合并的方式，混杂合并方式（部分象素色彩相同，部分不同），也并可以选择性地丢掉多余的色彩。

色彩空间的变换包括RGB到CyYeMgG空间的变换，CyYeMgG到YUV空间的变换，和RGB到YUV空间的变换。

注意到RGB到CyYeMgG空间的变换，可以在模拟信号空间完成，也可以在数字空间完成，因此，它可以在第一合并过程，第二合并过程，或第三合并采样过程中的任何一个过程中来做。但CyYeMgG到YUV空间的变换和RGB到YUV空间的变换，则只能在数字信号空间来做，也就是说只能在第三合并采样过程中来做。

更具体地，象素阵列部分，由复数的按方阵排列的三个或四个基本象素一组的宏象素组成。其中宏象素中的基本象素可由被动象素组成，也可由不带FD的3T主动象素组成，也可由带一个FD的4T主动象素组成。

如果宏象素中基本象素采用带FD的4T主动象素，其读取电路可以采用4-点共享方式 (图11), 6-点共享方式(图12), 和8-点共享方式(图13)。

更为优选地，每个宏象素可由带两个不透光的FD的4T主动象素组成，此时，其读取电路可以采用4-点桥式共享方式 (图18)。相应地，此种感光器件在进行第一次两行或两列，或两行和两列的合并采样子采样时的色彩合并时，采用的是电荷相加的方式。这种宏象素为后面的逐行扫描，隔行或跨行读取全图采样方式提供了可能。

对于双层或多层感光器件，除了第一合并采样过程的色彩选择更加丰富多彩外，当每个宏象素由带两个FD的4T主动象素组成时，其读取电路还可以采用4-点桥式共享方式 (图18)，6-点桥式共享方式(图19), 或八点桥式共享方式 (图20)。相应地，此种感光器件在进行第一次两行或两列，或两行和两列的合并采样子采样时的色彩合并时，采用的是电荷相加的方式。

注意到，N个信号在采用电荷相加的方式合并时，信噪比的改进上限为N 倍，而N个信号在采用信号平均的方式合并时，信噪比的改进上限为倍。其次，这种四点共用两个FD（或两行象素共用一行FD）的感光器件在进行全图采样时除了正常的逐行扫描，逐行读取外，还可采取逐行扫描，隔行读取的方式。

举例来说，在全图采样时，行地址解码控制器和列地址解码控制器，将根据索取的图像区域要求，依次先按行将Row[i]和RS[i]值按照器件约定置成高或低，并接着依次按列输出Col[j]和T[j]的值置成高或低，使得所需要的象素（电荷/电压）值，能够（经过读写电路）依读取顺序输出到输出总线上。

在子采样时，对于每一个所支持的MxN采样因子（行缩小M倍，列缩小N倍），行地址解码控制器和列地址解码控制器，根据MxN采样因子和图像区域要求，对应每一个输出行，同时将需要合并的行所对应的所有Row[i]和RS[i]值置成高或低，并同时对应每一个输出列，接着将需要合并的列的所有Col[j]和T[j]的值置成高或低，使得所有需要合并的象素（电荷/电压）值，能够同时依读取顺序（经过读写电路）输出到输出总线上。同时，必要的时候，行地址解码控制器和列地址解码控制器还将根据MxN采样因子和图像区域要求，进行必要的跳行和跳列的操作。

不同的MxN采样因子，输出总线上在不同的时间可能得到不同的色彩。相应地，其它系统功能模块，如放大和模数转换模块，色彩变换和子采样及图像处理模块，还有输出控制模块，都需要做相应的协调工作。这个系统的总的控制，可以通过芯片总控制模块（图25中的CC模块）来完成。注意到，除了放大和模数转换模块和象素阵列外，其它模块，主要都是数字处理电路，因而可以比较容易地在器件外围实现，从而使得感光器件的布线相对简单。

下面我们将结合图17所示的感光象素的如图26的读取电路实现，以及图25所示的感光器件的其它模块来给出一个更为具体的信号控制流程。

首先，进行清零和感光控制：一种简单的清零控制是将Vb1和Vb2全部置零，这个要求Vb1和Vb2成为行控制矢量的一个信号。另一种方法是，先将FD1和FD2复位（图26中的RS1置零），并同时TG1和TG2打开（图26中的RS2置高），将感光象素里Gr和R里的电荷清掉。此后，将RS1置高， RS2置零。此后，在光的照射下，Gr和R的感光二极管开始积累电荷。

当需要读取Gr中的电荷时，有三种做法。第一种是直接将TG1/RS2和Row[i]打开，将Gr中的电荷转移到FD1中，并从中（通过电荷到电压的转换）读出Gr中的电荷值。第二种做法是，接着第一种做法的最后一步的读出Gr中的电荷值后，再对FD1复位，并读出FD1在复位状态下的电荷（电压），以便用来对刚读出的Gr的电荷值进行相关采样。第三种是在读取Gr中的电荷值之前，先对FD1进行复位采样，这种方法会干扰Gr中的值，因而比不上第二种。此时，列地址解码控制器必须将Gr对应的列选信号Col[j]打开，以便对Gr的测量(可能是两次，其中一次是复位状态下的测量)输出到放大和模数转换模块中去。

根据Row[i], Col[j], 和RS2[i]的值，芯片总控制模块CC可以算出正在读取的象素的色彩，并对它进行相应的处理。不同的色彩，可能会进入不同的放大电路，并进行不同的模数转换处理而得到数字信号。

感光象素的数字信号将放进缓存里，由色彩变换和子采样及图象处理模块，做进一步的处理。在全图采样的情况下，不做子采样，对于大阵列图像感光器件，通常也不做任何色彩变换。因而在此模式下，芯片总控制模块CC会做出相应的控制，让感光象素的数字信号跳过色彩变换和子采样模块，直接进入到图像处理模块。经过感光器件内含的图像处理之后，再由输出模块输出到感光器件的对外接口。

在全图采样时，需要注意的是逐行扫描，隔行或跨行读取方式。在此情况下，奇数行和偶数行的复位清零和感光时间控制是同时进行的。在隔行读取的时候，当偶数行（第一行）的象素被全部读取之后，行地址解码控制器并不是立即去选择读下一行，而是，先将后面的奇数行（第二行）转移到FD与偶数行共用的FD中去，然后再开始第三行的读取。在跨行读取的时候，如果第一行的标号从0开始，那么，前半帧的行的读取顺序为0,3,4,7,8，11，12，15…,而后半帧的读取顺序为，1，2，5，6，9，10，13，14…。当然还可以有更加复杂的次序。中间读前半帧时中间被跨过去的行，先被放在已经使用过一次的FD中暂存起来，等到读下半帧读出。

逐行扫描，隔行或跨行方式与传统电视里的场扫描方式的不同之处是，在本发明的逐行扫描，隔行或跨行方式里，象素的感光时序完全是逐行进行的，而场扫描方式不是。

在子采样时，情况会复杂很多。但是对于一个具体的感光器件，子采样因子MxN可以只支持少数几种。相应地，芯片总控制模块CC，行地址解码控制器，以及列地址解码控制器可以只考虑所支持的MxN子采样因子。例如，一个5百万象素的感光器件，可以只考虑支持2x2,2x1,4x4,8x8的四种情况。

第二合并采样过程通常不涉及电荷相加，因而通常采用的是如下三个方式：直接输出到总线的信号自动平均方式、跳行或跳列方式，逐个采样方式。这三个方式都非常传统和简单，为本领域技术人员所熟知，不在此赘述。第三合并采样过程是在数字图像空间完成，采用的也是相对标准的数字图像缩放技术。下面我们仅对第一合并采样过程做信号控制流程的仔细说明，以使本发明的使用方法更加容易了解。

对于如图17所示的宏象素，在第一合并过程中，可能有两种合并方式：第一种方式是Gr与B合并，R与Gb合并；第二种方式是Gr与Gb合并，R与B合并。

对于第一种合并方式，按时间顺序：

1． t0时刻: 行地址解码控制器会将如图26所示的对应于FD1的RS1置零（复位）。

2． t1时刻：打开TG1和TG3（RS2[i]和RS2[i+1]）,同时将Gr和B感光二极管（PD）的电荷，转移到FD1中。此时，RS1可以置高。

3． t2时刻：然后再打开行选Row[i]和列选Col[j] （假定Gr处在第i行第j列），将FD1中的电荷（电压值）输出到输出总线上。

4． t3时刻：接下来还可读取FD1中的零值以做相关采样用。

前两步的操作，可以同时对第i和第i+1行的所有象素进行，第三和第四步则对合并后的象素依次进行读取。因此，如果不做相关采样，平均一个时钟脉冲可以读取一个象素，如果做相关采样，则平均两个时钟脉冲可以读取一个象素。这是按照象素位置优先次序进行的。这种合并方式，也可以按照下面的色彩优先次序进行。

对于第二种合并方式，时序情况复杂很多。这时候有两种处理方式。第一种处理方式是按色彩优先次序进行：先将整行的Gr与Gb合并采样完，再进行B和R的合并采样，或者按相反次序。这种方式比较简单，控制信号的时间顺序如下：

5． t0时刻: 行地址解码控制器会将如图17和图26所示的对应于FD1和FD2的RS1置零（复位）。

6． t1时刻：打开TG1和TG4（RS2[i]和RS2[i+1]）,同时将Gr和Gb感光二极管（PD）的电荷，分别转移到FD1和FD2中。此时，RS1可以置高。

7． t2时刻：打开TG5,将FD2中的电荷转移到FD1中去

8． t3时刻：然后再打开行选Row[i]和列选Col[j] （假定Gr处在第i行第j列），将FD1中的电荷（电压值）输出到输出总线上。

9． t4时刻：接下来还可读取FD1中的零值以做相关采样用。

前三步的操作，可以同时对第i和第i+1行的所有Gr和Gb象素进行，第三和第四步则对合并后的象素依次进行读取。因此，如果不做相关采样，平均一个时钟脉冲可以读取一个象素，如果做相关采样，则平均两个时钟脉冲可以读取一个象素。这种读取方式破坏了象素按位置的自然排序，需要后端处理校正。为了保持一致性，第一种合并方式，也可以按色彩优先方式进行。

第二种处理方式是按位置优先次序进行：先将第一个Gr与Gb合并采样完，再进行第一个B和R的合并采样，如此反复。这种方式的控制信号的时间顺序与上面第一种处理方式类似，但象素之间只能串行处理，不能并行处理。就是说，在处理第一个合并象素的t0-t5时刻，不能处理第二个合并象素。这要求比较高的系统时钟。幸运的是，在进行了子采样后，象素的数量大大减少，因此，系统时钟频率还不至于高得太离谱。

对于本发明中的优选电路实现而言，在子采样时，相关采样作用不大，因而可以省去。从而，上面的时序就简单很多。

对于选定的象素采样次序，芯片总控制模块CC将相应地控制放大和模数转换模块，色彩变换和子采样及图像处理模块，还有输出控制模块，以便对不同的色彩做不同的处理。更详尽的介绍已经超出了本发明的范畴。

现有的子采样方式主要是在相同色彩的象素间进行，而且主要采用的象素平均和跳行或跳列的方式。这些方法，对于丰富多彩的双层或多层感光器件而言，就显得过于局限和苍白无力。本发明提出的子采样方法，通过色彩空间变换的方式，即可以在相同色彩间进行，也可在不同色彩间进行，也可混合进行（即部分在相同色彩间进行，部分在不同色彩间进行）。此外，本发明提出的电荷相加的信号合并方式，只需将n个信号合并，就能达到接近于n3个信号相加的效果。因而，本发明的子采样方法相比现有的子采样方法，将可具有更好的图像质量，特别的，将本发明用于双层或多层感光器件的时候，就能产生不可胜数的简单而又优秀的子采样方式。

以上我们只是以单层和双层感光器件和少数3T/4T主动象素为例子，来说明本发明的精髓和内容。这些具体的条件，并不是本发明的限制。相反，将本发明用于更为复杂的设计，如5T/6T主动象素，或多层感光器件，其效果可能更为明显。

工业实用性

序列表自由内容

Claims

一种多光谱感光器件，其特征在于，包括以行和列排列的象

素阵列，以及

第一合并单元，用于对所述象素阵列中的紧邻的同行异列、异行同列、或异行异列的象素间进行两两合并采样，获得第一合并象素的采样数据；

第二合并单元，用于对第一合并单元得到的第一合并象素的采样数据进行合并采样，获得第二合并象素的采样数据。
如权利要求1所述的多光谱感光器件，其特征在于，还包括第

三合并单元，用于对第二合并单元得到的第二合并象素的采样数据进行合并采样，获得第三合并象素的采样数据。
如权利要求2所述的多光谱感光器件，其特征在于，所述第一

合并单元或第二合并单元的象素合并方式为相同或不同色彩象素间的电荷累加方式或两个不同色彩象素间的信号平均方式，其中不同色彩象素间的象素合并方式遵照色彩空间变换的方式，以满足色彩重建的要求。
如权利要求3所述的多光谱感光器件，其特征在于，所述电荷

累加方式是在读取电容中完成的。
如权利要求1至4任意一项所述的多光谱感光器件，其特征在

于，所述第一合并单元或第二合并单元的基于色彩的合并采样方式包括同色合并方式、异色合并方式、混杂合并方式、或选择性抛弃多余色彩合并方式，且第一合并单元和第二合并单元采用的合并采样方式不同时为同色合并方式。
如权利要求1至5任意一项所述的多光谱感光器件，其特征在

于，所述第一合并单元或第二合并单元的基于位置的合并采样方式包括以下几种方式中的至少一种：直接输出到总线的信号自动平均方式、跳行或跳列方式、和逐个采样方式。
如权利要求1至6任意一项所述的多光谱感光器件，其特征在

于，所述第三合并采样单元的合并采样方式包括：色彩空间变换方式和后端数字图像缩放方式中的至少一种。
如权利要求1或7任意一项所述的多光谱感光器件，其特征在

于，所述色彩空间变换包括RGB到CyYeMgX空间的变换、RGB到YUV空间的变换, 或CyYeMgX到YUV空间的变换、其中X为R、G、B中的任一种。
如权利要求1至8任意一项所述的多光谱感光器件，其特征在

于，所述象素阵列由复数个包含至少一个基本象素的宏象素组成，其中基本象素可以为被动象素或主动象素。
如权利要求9所述的多光谱感光器件，其特征在于，所述宏象

素中的基本象素按方阵或蜂窝排列。
如权利要求9或10所述的多光谱感光器件，其特征在于，所

述宏象素的组成方式包括以下组成方式至少一种：不带读取电容的3T主动象素组成方式、带一个读取电容的4T主动象素组成方式。
如权利要求11所述的多光谱感光器件，其特征在于，所述带

一个读取电容的4T主动象素，采用4点共享方式、6点共享方式、或8点共享方式。
如权利要求9所述的多光谱感光器件,其特征在于，所述宏象

素包括如下的组成方式：由四个按方阵排列的基本象素和两个位于两行中间的不透光的读取电容组成，上一行的象素与下一行的象素共用一个读取电容，两个读取电容之间可以实现电荷转移，并且在至少一个读取电容上连接有读取电路。
根据权利要求9所述的多光谱感光器件，其特征在于，所述宏

象素为带两点共享、三点共享、或四点共享读取电容的3T或4T主动象素的基本象素组成，采用4点桥式共享方式、6点桥式共享方式、或8点桥式共享方式。
根据权利要求1至14任意一项所述的多光谱感光器件，其特

征在于，所述多光谱感光器件的全图采样方式包括逐行扫描、逐行读取方式或逐行扫描、隔行或跨行读取方式。
一种多光谱感光器件的采样方法，其特征在于，包括：

第一合并过程，用于对所述象素阵列中的紧邻的同行异列、异行同列、或异行异列的象素间进行两两合并采样，获得第一合并象素的采样数据；

第二合并过程，用于对第一合并过程得到的第一合并象素的采样数

据进行合并采样，获得第二合并象素的采样数据。
如权利要求16所述的采样方法，其特征在于，还包括：第三

合并过程，用于对第二合并过程得到的第二合并象素的采样数据进行合并采样，获得第三合并象素的采样数据。
如权利要求16或17所述的采样方法，其特征在于，所述第一

合并过程或第二合并过程的象素合并采样方式为相同或不同色彩象素间的电荷相加方式或不同色彩象素间的信号平均方式，其中不同色彩象素间的象素合并方式遵照色彩空间变换的方式，以满足色彩重建的要求。
如权利要求16至18任意一项所述的采样方法，其特征在于，

所述第一过程或第二合并过程的基于色彩的合并采样方式包括同色合并方式、异色合并方式、混杂合并方式、或选择性抛弃多余色彩方式，且第一合并过程和第二合并过程中至少一个合并过程不是同色合并方式。
如权利要求16至19任意一项所述的采样方法，其特征在于，

所述第一合并过程或第二合并采样过程的基于位置的合并采样方式包括以下几种方式中的至少一种：直接输出到总线的信号自动平均方式、跳行或跳列方式、和逐个采样方式。
如权利要求16至21任意一项所述的采样方法，其特征在于，

所述第三合并采样过程进行的合并采样方式包括：色彩空间变换方式、后端数字图像缩放方式。
如权利要求18或21所述的采样方法，其特征在于，所述色彩

空间变换包括RGB到CyYeMgX空间的变换、 RGB到YUV空间的变换、或CyYeMgX到YUV空间的变换、其中X为R、G、B中的任一种。
如权利要求18至22任意一项所述的采样方法，其特征在于，其全图采样的方式包括逐行扫描、逐行读取方式或逐行扫描、隔行或跨行读取方式。