CN111435977B

CN111435977B - 用于多晶片图像传感器的dram和逻辑单元之间的可配置接口对准缓冲器

Info

Publication number: CN111435977B
Application number: CN202010032920.7A
Authority: CN
Inventors: 秦晴; 柳勋; 丁台衡
Original assignee: Howe Technology Co ltd
Current assignee: Howe Technology Co ltd
Priority date: 2019-01-14
Filing date: 2020-01-13
Publication date: 2021-09-17
Anticipated expiration: 2040-01-13
Also published as: CN111435977A; US20200228739A1; US10834352B2

Abstract

图像传感器具有被配置在多个块中的像素的阵列；每个块耦合到单独的模数转换器(ADC)，以提供数字化的图像数据。ADC将数字化的图像馈送到图像RAM中；并且图像RAM以第一像素次序将数字化的图像馈送到对准缓冲器。对准缓冲器以不同于第一像素次序的第二像素次序将数字化的图像提供给图像处理器。在实施例中，对准缓冲器使用多端口RAM。在另一个实施例中，对准缓冲器使用第一对准缓冲器RAM和第二对准缓冲器RAM，在读取另一个对准缓冲器RAM的同时写入一个对准缓冲器RAM以将图像数据提供给图像处理器。在实施例中，对准缓冲器以在全分辨率和降低分辨率次序之间可选择以及在从右到左和从左到右次序之间可选择的次序来提供数字化的图像。

Description

用于多晶片图像传感器的DRAM和逻辑单元之间的可配置接口对准缓冲器

技术领域

本发明涉及图像传感器技术领域，尤其涉及一种用于多晶片图像传感器的DRAM和逻辑单元之间的可配置接口对准缓冲器。

背景技术

光传感器阵列可以与读出和原始图像存储电路相关联，该读出和原始图像存储电路以与阵列内像素的物理次序不同的次序提供数据。例如，通常每像素块键合的堆叠晶片图像传感器设计具有像素阵列裸片，其中像素按组或像素块布置，每个组包含8、16、32或64个像素，组中的每个像素通过模数转换器(ADC)被依次读取到至少第二裸片上的图像存储器(RAM)中。当从那个存储器中读取那些像素时，它们自然可以处于以下次序：来自每个组的单个像素与来自下一组的对应像素相邻，而来自每个组的其余像素则在其它时间获取，诸如在接下来的图像RAM字中。这个次序不允许物理上相邻的像素一起到达图像处理器。

典型的相机功能包括自动对焦和颜色平面处理。许多图像处理和许多自动对焦方法共有的功能是边缘检测。许多边缘检测单元被配置为以像素次序顺序而不是以无序的顺序接收数据。

发明内容

图像传感器具有被配置在多个块中的像素阵列；每个块耦合到单独的模数转换器(ADC)，以提供数字化的图像数据。ADC将数字化的图像馈送到图像RAM中；并且图像RAM以第一像素次序将数字化的图像馈送到对准缓冲器。对准缓冲器以不同于第一像素次序的第二像素次序将数字化的图像提供给图像处理器。在特定实施例中，对准缓冲器使用多端口RAM。在另一个特定实施例中，对准缓冲器使用第一对准缓冲器RAM和第二对准缓冲器RAM，在写入第一对准缓冲器RAM的同时读取第二对准缓冲器RAM以将图像数据提供给图像处理器，反之亦然。在又一个实施例中，将对准缓冲器划分为子缓冲器，每个子缓冲器在128个像素的宽度上操作。

附图说明

图1是图示说明具有三晶片每像素键合图像传感器的相机的重要块的示图，示出了裸片和块之间的信息流。

图2是具有相关联的RAM图像缓冲器存储器、对准缓冲器和图像处理器的图像传感器的框图。

图3是如何将来自图2的像素阵列的块103、140的数据写入图2的RAM图像缓冲器的图示说明。

图4A和4B图示说明了适于输入到图像处理器的从左到右或从右到左的重新排序的数据序列。

图5是用在图2的传感器中并且适于将图3的数据次序改变为图4A和4B的数据次序的、使用单个多端口RAM的对准缓冲器的实施例的框图。

图6图示说明了双RAM乒乓对准缓冲器的概念。

图6A是用在图2的传感器中并且适于将图3的数据次序改变为图4的数据次序的双RAM对准缓冲器的框图。

图7是在图5的实施例中使用的RAM的框图。

图8是当图像传感器以降低的分辨率操作时从图像RAM和对准缓冲器读取的颜色组的像素的图示说明。

图9是图2的传感器的操作的流程图。

具体实施方式

参考图1和2，具有三晶片堆叠的、每像素块键合的图像传感器100、202的电子相机200通过透镜206接收入射光204，透镜206将光208聚焦到图像传感器100、202的像素阵列裸片210或像素阵列晶片的一部分上。该光与像素阵列裸片210、101的像素阵列211的像素的块212、103、140中的光电二极管相互作用。每个块212、103、140具有多个像素，而为了简单起见在图2中为每个块图示说明了十六个像素，在示例实施例中，每个块的像素计数可以在从四到一百二十八的范围内，并且在特定实施例中，每个块有六十四个像素。在实施例中，像素阵列裸片210、101是背面照明的光电传感器裸片，包括用于该块内的每个像素的光电二极管和像素选择晶体管，每个块在耦合到ADC和数字裸片188、216的单独的模数转换器(ADC)139、179、214的像素阵列裸片的表面上具有裸片间键合焊盘，ADC和数字裸片188、216是第二晶片的一部分。

ADC和数字裸片188、216的每个ADC 139、179、214将从相关联的块212、103、140的所选择的像素接收的信号190、192转换成数字格式，并将该数字格式通过裸片通孔和裸片间键合焊盘194、196提供给RAM裸片198、218上的图像RAM 182、216，RAM裸片是从RAM晶片切出的部分。在特定实施例中，图像RAM 182、216被实现为动态RAM(DRAM)。图像RAM 182、216的尺寸被设计为并且被配置为保持至少一个数字化的图像，在一个实施例中，它保持单个图像，而在另一个实施例中，它保持多个图像的堆叠。

图像RAM 182、216被配置为通过RAM裸片198、218的对准缓冲器184、220读取，读出的数据通过RAM裸片的裸片间键合焊盘被发送，并且然后被发送到ADC和数字裸片188、216的图像处理器186、222，RAM裸片的裸片间键合焊盘耦合到ADC和数字裸片188、216的裸片间键合焊盘和裸片通孔。

在图2的每像素块103、140十六个像素的实施例中，存在许多行和列的像素块，例如但不限于20兆像素相机阵列可以具有5120×4096像素；以16个像素的块为单位，可以具有1280×1024块的阵列中的1310720个块。在使用64个像素的块的可替代实施例中，相似尺寸的相机阵列可以具有640×512块的阵列中的327680个块。

在图2的实施例中，像素102、104、106、108是块103中的相邻像素并且在与块140的像素142、144、146、148相同的像素行199中。类似地，像素112、114、116、118是块103中的相邻像素并且在与块140的像素152、154、156、158相同的像素行中。像素122、124、126、128是块103中的相邻像素并且在与块140的像素162、164、166、168相同的像素行中；并且像素132、134、136、138是块103中的相邻像素并且在与块140的像素172、174、176、178相同的像素行中。

因为每个块中的像素必须通过与那个块相关联的ADC顺序地被读取，并且与块的同一行的块的像素并行地被读取，所以来自一行块的每个块中的一个像素的数据被输入到图像RAM 182的每个有效字183中。

来自图2的像素阵列的块103、140的数据在图像RAM 182、300中不相邻，如图3所图示说明的。图像缓冲器的每个字302包括与每个块(诸如一行块101、304、306的块103、140)中的对应像素的像素数据对应的ADC结果。在具有有640×512块、每个块64个像素、每个块行具有640个块的图像传感器的特定实施例中，以每个ADC 12位，单个块行的写入的宽度可以是7680位。由于帧的所有512行都可以写入图像RAM 182，因此图像RAM在64次写入中被写入，每次写入3932160位，其中每次写入包括用于每个块的对应像素的ADC数据。

在可替代实施例中，为了减小冲击电流和噪声，同时写入块的子集或行的子集，其余的行或块紧接着在接下来的写入操作中被写入。例如，在一个可替代实施例中，在第一写入操作中写入与偶数编号的块行相关联的像素，并且在第二写入操作中写入与奇数编号的块行相关联的像素，从而将写入的宽度减小到3840位。类似地，可以同时写入一行中偶数编号的块的像素，此后紧接着在第二写入操作中写入奇数编号的块，这也减小了写入的宽度。在这些实施例中，读取需要与本文所述相似的数据次序重新布置。

以字302读取图像RAM 182、300，每个字具有针对块的一个像素和同一行内的对应像素的ADC结果。在具有有640×512块、在每个块中组织有8×8像素的64个像素以及12位ADC的图像传感器的特定实施例中，RAM图像缓冲器被读取为4096个字，每个字7680位。这提供了像素数据的时间序列308，其中像素数据在行序列中从块跳到块而不是从像素跳到像素。

对准缓冲器

从图像RAM 182、300读取的数据不出现在像素数据的序列308中，诸如图像处理器186期望的与每一行中的像素对应的序列。我们在对准缓冲器184中对该数据重新排序，以使相邻像素数据以期望的像素顺序到达图像处理器186。

在图像处理期间，我们的对准缓冲器在将此数据提供给图像处理器186之前，如图4A或4B中所图示说明的按与像素行中的像素从左到右或从右到左扫描对应的顺序对相邻像素重新排序。

在实施例中，由对准缓冲器按四个相邻像素的颜色单元组(来自第一像素行的两个像素与来自第二像素行的两个像素)将像素提供给图像处理器，每个颜色单元组的像素数据同时提供给图像处理器。用于颜色单元组的像素数据以颜色单元组的从右到左或从左到右扫描次序顺序地提供给图像处理器。这种颜色单元组次序简化了图像处理器中的颜色处理和边缘检测。

在实施例中，如图5中所图示说明，使用单个高速、多端口对准缓冲器RAM 504来实现重新对准缓冲器500，该高速RAM支持单独的写和读地址以及单独的数据输入和输出总线，这个RAM能够在不同地址同时写入和读取。在这个实施例中，来自图像RAM 402的数据在由写地址生成器506指定的地址处输入到多端口对准缓冲器RAM 504的单元，该写地址生成器与缓冲器写地址生成器406对应。根据来自读地址生成器502的地址，来自多端口对准缓冲器RAM的数据被读取并提供给图像处理器508，该读地址生成器与缓冲器读地址和使能生成器对应。总之，在操作中，本文所述的相机和图像传感器通过以下动作进行操作600(图9)：首先将像素阵列裸片的像素曝光602，然后将每个像素块的每个像素的模拟像素数据按顺序传送到ADC和逻辑裸片上的ADC，在此数据被数字化603以给出每个像素的数字化的像素数据，该数字化的像素数据形成全帧图像的数字化的图像数据的一部分。将数字化的像素数据按照与块内像素的次序对应的次序写入604图像RAM，该图像RAM适于将至少一个完整图像帧的数字化的像素数据存储为数字化的图像数据。然后，数字化的图像数据被读取606到对准缓冲器中并且按图像RAM次序被写入608其中。

然后，从对准缓冲器读取610数据，并以期望的像素次序将数据提供给图像处理器。

在乒乓RAM实施例中，对准缓冲器184、400(图6A)从图像RAM 402接收像素数据流。在这个实施例中，如图6中所图示说明，提供两个缓冲器RAM 410、416，其中一个缓冲器RAM被写入，而另一个缓冲器RAM被读取，从而允许与单端口缓冲器RAM一起操作。在这个实施例中，当读地址计数器404步进通过每行像素时，对准缓冲器写地址计数器406通过第一地址多路复用器408向第一缓冲器RAM 410提供对应的写地址。在完成图像RAM 402写入第一缓冲器RAM 410后(与像素对应的数据的字按像素在图像RAM中的次序被写入)，来自控制逻辑411的RAM选择控制线412切换，使得对准缓冲器写地址计数器406通过第二地址多路复用器414向第二缓冲器RAM 416提供写地址，同时写入与第二行像素对应的所有图像RAM 402字。在完成将与第二行像素内的像素对应的数据的所有图像RAM 402字按像素在第二像素行中的次序写入第二缓冲器RAM 410后，来自控制逻辑411的RAM选择控制线412切换，使得对准缓冲器写地址计数器406再次通过第一地址多路复用器406向第一缓冲器RAM 410提供写地址，同时写入与另一行像素对应的所有图像RAM 402字；从而交替地或“乒乓地”写入第一和第二缓冲器RAM 410、416。

在将图像RAM 402数据写入第二缓冲器RAM 416的同时，读地址计数器和读使能生成器418通过第一地址多路复用器408向第一缓冲器RAM 410提供地址，按期望的像素次序从第一缓冲器RAM 410读取第一像素行数据并将这个数据提供为对准缓冲器输出419。当图像RAM 402数据恢复为写入第一缓冲器RAM 410时，读地址计数器和读使能生成器418通过第二地址多路复用器414向第二缓冲器RAM 416提供地址，从而按期望的像素次序从第二缓冲器RAM 416读取第二像素行数据。

由于在特定实施例中，从图像RAM 402读取一行中的像素数据并且以结合来自该行的每个块的像素的字的形式将其写入对准缓冲器，但是以较小的块读取到图像处理器，因此每个对准缓冲器RAM 410、416被组织为多个较小的RAM 452、454、456、458，如图7所图示说明，其具有并联耦合的输出，并且具有被解码器460一次一个地驱动的输出使能。为了防止数据在对准缓冲器处溢出，在一些实施例中，对图像RAM 402地址的改变以及对对准缓冲器RAM 410、416的写入可以以比读地址418的改变和缓冲器RAM 410、416的读取慢的时钟速率发生。

因为读地址生成器418使用可选择的加减计数器，所以对准缓冲器可容易地在从左到右和从右到左的顺序像素输出之间重新配置，其中读地址生成器向上计数的像素按从左到右的次序读出，并且读地址生成器向下计数的像素按从右到左的次序读出。

对准缓冲器的读和写地址计数器不需要顺序地计数，而是读地址计数器以期望的像素次序计数。

如本文所述的对准缓冲器和图像RAM还可以容易地从全分辨率模式重新配置为降低分辨率模式、降低带宽模式。降低分辨率模式在使用高分辨率图像传感器时是有用的，诸如对于高分辨率静止摄影是有用的，以提供取景器图像或高速降低分辨率视频。

在全分辨率配置中，对准缓冲器读地址计数器在每次读取操作时递增或递减一，因此所有图像RAM位置并且因此所有像素均被读取。在这个实施例中，用于读取图像RAM的读地址计数器404递增或递减一，因此从图像RAM读取所有像素数据行。

在降低分辨率实施例中，通过以下动作读取降低分辨率图像数据：通过将读地址计数器404递增一来跳过图像RAM中的像素，以从对准缓冲器中读取在像素阵列裸片的第一位置附近的与颜色组802(图8)的像素对应的像素数据，然后在将像素行数据读取到对准缓冲器中期间通过非一整数(诸如在一些配置中为二或四)跳到像素阵列裸片的第二位置附近的包含与颜色组804相关联的像素数据的对准缓冲器地址。在这个实施例中，用于读取图像RAM的读地址计数器404递增或递减一以读取与颜色单元的像素相关联的行的相邻像素颜色数据，然后通过非一整数跳过图像RAM中的一行或多行像素数据，从而导致当从图像RAM中将像素数据读取到对准缓冲器中时跳过一行或多行像素数据。结果是一些像素(诸如与图8中的交叉阴影线像素相关联的像素数据)被忽略，因为它们或者未从图像RAM中读取或者未从对准缓冲器中读取。

虽然图8图示说明了R-G-G-B(红色，绿色，绿色，蓝色)拜耳图案像素颜色组，但是本文所述的系统可与其它类型的像素颜色组一起使用，诸如但不限于R-G-W-B(红色，绿色，白色，蓝色)或R-G-I-B(红色，绿色，红外，蓝色)颜色组。

除了可配置为以降低的分辨率读取之外，图像传感器还可配置为通过调整与递增或递减图像RAM读地址计数器404、对准缓冲器读418和写406地址计数器以及其它对准缓冲器电路相关联的时钟来以减少的带宽被读取。

组合

本文描述的特征可以多种方式组合。发明人特别预期的组合是：

标记为A的图像传感器具有像素阵列，该像素阵列被配置为感测光并被配置为多个块中；其中每个像素块耦合到适于提供数字化的图像数据的单独的模数转换器(ADC)；ADC耦合成将数字化的图像数据馈送到图像RAM中；以及图像RAM耦合成以第一像素次序将数字化的图像数据提供给对准缓冲器。对准缓冲器被配置为以不同于第一像素次序的第二像素次序将数字化的图像数据提供给图像处理器。

标记为AA的图像传感器包括标记为A的图像传感器，其中像素阵列、ADC和图像RAM各自物理上位于单独的裸片上，单独的裸片通过裸片间键合互连。

标记为AB的图像传感器包括标记为A或AA的图像传感器，其中对准缓冲器包括能够在第一地址被读取并同时在第二地址被写入的多端口RAM，第一地址不同于第二地址。

标记为AC的图像传感器包括标记为A或AA的图像传感器，其中对准缓冲器具有第一对准缓冲器RAM和第二对准缓冲器RAM，对准缓冲器被配置为用数字化的图像数据写入第一对准缓冲器RAM，同时第二对准缓冲器RAM被读取以将数字化的图像数据提供给图像处理器，以及用数字化的图像数据写入第二对准缓冲器RAM，同时第一对准缓冲器RAM被读取以将数字化的图像数据提供给图像处理器。

标记为AD的图像传感器包括标记为AB或AC的图像传感器，其中图像RAM是DRAM，并适于存储至少整个图像帧。

标记为AE的图像传感器包括标记为AB或AC的图像传感器，其中对准缓冲器可重新配置为以在从左到右像素次序和从右向左像素次序之间可选择的次序将数字化的图像数据提供给图像处理器。

标记为AF的图像传感器包括标记为A、AA、AB、AC或AD的图像传感器，其中对准缓冲器和图像RAM可配置为减小数字化的图像数据的分辨率和/或带宽。

标记为AG的图像传感器包括标记为AB、AC、AD、AE或AF的图像传感器，其中对准缓冲器被配置为以第一长度的字被写入并且以比第一长度短的第二长度的字被读取。

在不脱离其范围的情况下，可以对以上方法和系统进行改变。因此应当注意的是，以上描述中包含的或附图中所示的内容应当被解释为说明性而不是限制性的。所附权利要求书旨在覆盖本文所述的所有一般和具体特征，以及本方法和系统的范围的所有陈述，就语言而言，可以认为其介于两者之间。

Claims

1.一种图像传感器，包括：

像素阵列，被配置为感测光并且被配置在多个块中；

其中每个像素块耦合到适于提供数字化的图像数据的单独的模数转换器(ADC)；

ADC，被耦合成将数字化的图像数据馈送到图像RAM中；

图像RAM，被耦合成以第一像素次序将数字化的图像数据提供给对准缓冲器；

对准缓冲器，被配置为以第二像素次序将数字化的图像数据提供给图像处理器，第二像素次序不同于第一像素次序；以及

图像处理器，物理上位于裸片堆叠组件中的单独的裸片上，所述单独的裸片通过裸片间键合互连；

其中像素阵列、ADC和图像RAM各自物理上位于裸片堆叠组件的单独的裸片上；以及

其中图像处理器与ADC位于相同的第一裸片上，并且对准缓冲器和图像RAM位于相同的第二裸片上，第二裸片不同于第一裸片。

2.如权利要求1所述的图像传感器，其中对准缓冲器包括能够在第一地址被读取并同时在第二地址被写入的多端口RAM，第一地址不同于第二地址。

3.如权利要求2所述的图像传感器，其中多端口RAM被配置为以第一长度的字被写入并且以比第一长度短的第二长度的字被读取。

4.如权利要求3所述的图像传感器，其中第二像素次序可配置为从左到右像素次序或从右到左像素次序。

5.如权利要求4所述的图像传感器，其中第二像素次序可配置为全分辨率像素次序或降低分辨率像素次序。

6.如权利要求5所述的图像传感器，其中图像RAM是DRAM并且适于存储至少一个整个图像帧。

7.如权利要求3所述的图像传感器，其中对准缓冲器包括第一对准缓冲器RAM和第二对准缓冲器RAM，对准缓冲器被配置为用数字化的图像数据写入第一对准缓冲器RAM，同时第二对准缓冲器RAM被读取以将数字化的图像数据提供给图像处理器，以及用数字化的图像数据写入第二对准缓冲器RAM，同时第一对准缓冲器RAM被读取以将数字化的图像数据提供给图像处理器。

8.如权利要求7所述的图像传感器，其中图像RAM是DRAM并且适于存储至少一个整个图像帧。

9.如权利要求8所述的图像传感器，其中对准缓冲器可重新配置为以从至少从左到右像素次序和从右到左像素次序可选择的次序将数字化的图像数据提供给图像处理器。

10.如权利要求3所述的图像传感器，其中对准缓冲器可配置为以全分辨率次序或降低分辨率次序将数字化的图像数据提供给图像处理器。

11.一种向多晶片图像传感器中的图像处理器提供图像数据的方法，所述图像传感器具有像素传感器裸片，所述像素传感器裸片具有被组织为像素块的像素，所述方法包括：

通过模数转换器(ADC)重复地从每个像素块中的像素读取像素数据以生成数字化的像素数据，并同时将每个块中像素的所述数字化的像素数据写入图像RAM，直到每个块中的所有像素都被读取，每个像素块耦合到ADC；

从位于与ADC分开的晶片上的图像RAM将数字化的像素数据读取到对准缓冲器中，所述像素数据在图像RAM中处于第一像素次序；以及

以第二像素次序从对准缓冲器将数字化的像素数据读取到图像处理器中，第二像素次序不同于第一像素次序；

图像处理器与ADC位于相同的第一晶片上并且与像素阵列位于不同的晶片上，对准缓冲器和图像处理器位于相同的第二晶片上并且与像素阵列位于不同的晶片上，第二晶片不同于第一晶片。

12.如权利要求11所述的方法，其中第二像素次序将颜色单元的像素的数字化的像素数据按颜色单元组提供给图像处理器。