CN103686006B - 一种基于压缩传感的全局式曝光cmos图像传感器 - Google Patents
一种基于压缩传感的全局式曝光cmos图像传感器 Download PDFInfo
- Publication number
- CN103686006B CN103686006B CN201310721862.9A CN201310721862A CN103686006B CN 103686006 B CN103686006 B CN 103686006B CN 201310721862 A CN201310721862 A CN 201310721862A CN 103686006 B CN103686006 B CN 103686006B
- Authority
- CN
- China
- Prior art keywords
- analog
- random
- sensing
- pixel
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007906 compression Methods 0.000 title claims abstract description 23
- 230000006835 compression Effects 0.000 title claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 230000006386 memory function Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000009825 accumulation Methods 0.000 claims description 5
- 238000013144 data compression Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 18
- 238000012545 processing Methods 0.000 abstract description 7
- 238000013500 data storage Methods 0.000 abstract description 5
- 238000013480 data collection Methods 0.000 abstract description 2
- 230000003321 amplification Effects 0.000 abstract 1
- 238000003199 nucleic acid amplification method Methods 0.000 abstract 1
- 239000003990 capacitor Substances 0.000 description 19
- 238000005259 measurement Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000005286 illumination Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
本发明提供了一种基于压缩传感的全局式曝光CMOS图像传感器，包括有记忆功能的像素单元阵列、随机0‑1序列产生单元、随机序列存储单元、时序控制单元、跨阻放大单元、模数转换单元。所述图像传感器可在图像传感的同时进行模拟数据压缩；使用全局式曝光方式，使全部像素同时开始和结束曝光，再进行读出工作。本发明基于压缩传感理论，模数转换前完成图像传感和压缩，在保证与传统方法相同分辨率的前提下，减少了数据采集量，降低了对模数转换器采样速度的要求，节约了数据存储空间；同时使用硬件方式压缩数据，相比在模数转换后软件方式的数据压缩，提高了处理速度；使用全局式曝光方式，可采集高速运动物体的瞬时图像。
Description
技术领域
本发明属于CMOS（Complementary Metal Oxide Semiconductor，互补金属氧化物半导体）图像传感器领域，尤其涉及一种基于压缩传感的全局式曝光CMOS图像传感器。
背景技术
随着CMOS制造工艺的不断提高，CMOS图像传感器（CMOS Image Sensors，CIS）在功耗、可集成性、随机寻址、成本等方面优于CCD图像传感器，成为固态图像传感器领域的主流器件。
根据晶体管的数量不同，当前像素单元电路结构主要分为三管有源像素、四管有源像素等类型，其中，四管有源像素在CMOS图像传感器中应用最广泛。传统的四管结构CMOS图像传感器像素单元电路如图1所示，包括：复位晶体管M_RST，传输门晶体管M_TX，源跟随晶体管M_SF，行选通晶体管M_RS及用于感受光信号的光电二极管PD，FD为浮动扩散节点，Vout为像素单元输出端。
图1中VDD是外部提供给像素单元电路的电源电压，控制复位晶体管M_RST、传输门晶体管M_TX、行选通晶体管M_RS的导通与截止来实现像素单元电路的信号输出。因为传统四管结构CMOS图像传感器主要只利用光电二极管PD存储电荷，所以像素单元电路存储的光照信息只能被输出一次。
传统CMOS图像传感器由像素单元阵列、行控制电路、读出单元、模拟处理单元、模数转换单元组成，如图2所示。传统CMOS图像传感器基于奈奎斯特采样理论，需要以高于原始信号频率两倍的频率进行采样，这种方法所采集的模拟数据量大，导致对模数转换器速度要求高、数据存储空间要求大、模数转换后数据压缩的时间长。
CMOS图像传感器像素单元阵列的曝光方式主要分为全局式曝光和滚筒式曝光。全局式曝光方式，要求同时开始和结束曝光，再进行读出工作，这种曝光方式可以更加准确地采集高速运动物体的瞬时图像。滚筒式曝光方式，由于每列像素都用同一套读出电路，所以一行像素读出后，才能再进行下一行像素读出。
压缩传感（compressive sensing），作为一种全新的信号采样方式，于2006年在美国电子电气工程师协会信息理论会刊上公开。
压缩传感理论，是让稀疏或可压缩的原始信号通过一个满足一定条件的随机测量矩阵进行采样，可获得远少于传统奈奎斯特理论的采样点数，需要时再用重构算法恢复压缩数据。由于压缩传感具有低于奈奎斯特的采样速率和完全重构信号的特征，已逐渐在图像传感、数据处理等领域应用。
发明内容
本发明为解决现有CMOS图像传感器对模数转换器采样速度要求高、数据存储空间要求大、在模数转换后软件方式数据压缩时间长、对高速运动物体的瞬时图像采集不够准确的技术问题，提供了一种能在模拟电路处理阶段使传感和压缩同时进行的基于压缩传感的全局式曝光CMOS图像传感器。
一种基于压缩传感的全局式曝光CMOS图像传感器，在图像传感的同时进行模拟数据压缩，使用全局式曝光方式，使全部像素同时开始和结束曝光，再进行读出工作。
进一步的，所述基于压缩传感的全局式曝光CMOS图像传感器，包括：
有记忆功能的像素单元阵列，由多个具有可存储并多次选择性输出固定瞬时光照信息的像素单元排列成矩阵构成；
随机0-1序列产生单元，产生随机0-1序列，构成基于压缩传感的测量矩阵；
随机序列存储单元，存储随机0-1序列产生单元产生的随机0-1序列，给各像素单元的数据输出提供控制信号；
时序控制单元，控制各像素单元中光生电荷的积累、存储及输出和整个电路的时序；
跨阻放大单元，由多个跨阻放大器构成，将各像素阵列块输出的电流转换成电压；
模数转换单元，由多个模数转换器构成，将各跨阻放大器输出的模拟图像数据转换成数字图像数据。
进一步的，所述随机0-1序列产生单元将数据存储到随机序列存储单元；随机序列存储单元将数据按照不同压缩率的时序要求输入到各像素单元的像素选通晶体管栅极，作为其控制信号；时序控制单元控制各像素单元中光生电荷的积累、存储及输出和整个电路的时序；各跨阻放大器分别连接在相应CMOS像素单元阵列块和模数转换器之间。
本发明基于压缩传感的全局式曝光CMOS图像传感器，在图像传感的同时进行模拟数据压缩，使用全局式曝光方式，使全部像素同时开始和结束曝光，再进行读出工作。本发明基于压缩传感理论，模数转换前完成图像传感和压缩，在保证与传统方法相同分辨率的前提下，减少了数据采集量，降低了对模数转换器采样速度的要求，节约了数据存储空间；同时使用硬件方式压缩数据，相比在模数转换后软件方式的数据压缩，提高了处理速度；使用全局式曝光方式，可采集高速运动物体的瞬时图像。
附图说明
图1是现有技术提供的典型四管有源像素单元电路示意图。
图2是现有技术提供的传统CMOS图像传感器电路示意图。
图3是本发明实施例使用的六管结构具有记忆和多次选择输出功能的像素单元电路示意图。
图4是本发明实施例使用的六管有源像素单元控制信号波形图。
图5是本发明实施例使用的基于压缩传感的随机测量矩阵与原始图像信号矩阵相乘的示意图。
图6是本发明实施例提供的基于压缩传感的全局式曝光CMOS图像传感器控制时序图。
图7是本发明实施例提供的基于压缩传感的全局式曝光CMOS图像传感器电路示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明为一种基于压缩传感的全局式曝光CMOS图像传感器。所述图像传感器在图像传感的同时进行模拟数据压缩，使用全局式曝光方式，使全部像素同时开始和结束曝光，再进行读出工作。
本发明为一种基于压缩传感的全局式曝光CMOS图像传感器，包括：
有记忆功能的像素单元阵列，由多个具有可存储并多次选择性输出固定瞬时光照信息的像素单元排列成矩阵构成；
随机0-1序列产生单元，产生随机0-1序列，构成基于压缩传感的测量矩阵；
随机序列存储单元，存储随机0-1序列产生单元产生的随机0-1序列，给各像素单元的数据输出提供控制信号；
时序控制单元，控制各像素单元中光生电荷的积累、存储及输出和整个电路的时序；
跨阻放大单元，由多个跨阻放大器构成，将各像素阵列块输出的电流转换成电压；
模数转换单元，由多个模数转换器构成，将各跨阻放大器输出的模拟图像数据转换成数字图像数据。
本发明中的像素单元使用六管结构像素单元电路，如图3所示，包括：启动晶体管M_START、传输门晶体管M_TX、光电二极管PD、电容充电选通晶体管M_CI、存储电容C、电容放电选通晶体管M_CO、源跟随晶体管M_SF、像素选通晶体管M_SEL。此像素结构可以存储并多次选择性输出固定瞬时光照信息，即将固定瞬时光照信息的电荷存储在非光电二极管的单独电容中，并使该电容中固定瞬时光照信息的电荷量基本无变化。
图3中所述启动晶体管M_START位于电源正极VDD和浮动扩散节点FD之间；传输门晶体管M_TX位于浮动扩散节点FD和光电二极管PD之间；光电二极管PD位于传输门晶体管M_TX和地之间；电容充电选通晶体管M_CI位于浮动扩散节点FD和存储电容C上极板之间；存储电容C上极板位于电容充电选通晶体管M_CI和电容放电选通晶体管M_CO连接处，下极板接地；电容放电选通晶体管M_CO位于存储电容C上极板和源跟随晶体管M_SF栅极之间；源跟随晶体管M_SF位于电源正极VDD和像素选通晶体管M_SEL之间；像素选通晶体管M_SEL位于源跟随晶体管M_SF和像素单元输出端Iout之间。
图3中所述电容充电选通晶体管M_CI、存储电容C、电容放电选通晶体管M_CO增加了像素单元内存储瞬时光照信息的功能，同时增加了多次选择性输出固定瞬时光照信息的功能。
进一步的，图3中所述像素单元还包括：给启动晶体管M_START施加启动信号START、传输门晶体管M_TX施加传输信号TX、电容充电选通晶体管M_CI施加电容充电选通信号CI、电容放电选通晶体管M_CO施加电容放电选通信号CO、像素选通晶体管M_SEL施加像素选择输出信号SEL。图4为控制单元产生的传输信号TX、电容充电选通信号CI、电容放电选通信号CO、像素选择输出信号SEL的波形图。启动信号START在该像素单元工作时，始终接电源正极VDD。
本发明中的随机0-1序列产生单元，基于压缩传感理论，产生随机0-1序列，构成满足一定条件的随机测量矩阵，用以和原始图像信号进行计算，达到图像传感和压缩同时进行的目的。例如，所处理最小图像块像素为16×16，则用以和随机测量矩阵相乘的原始图像信号矩阵大小为256×1。达到不同压缩率的随机测量矩阵规模不同。压缩率为1、2、4、8、16的随机测量矩阵规模分别为256×256、128×256、64×256、32×256、16×256，随机测量矩阵与原始图像信号矩阵相乘后，分别得到规模为256×1、128×1、64×1、32×1、16×1的压缩后模拟数据矩阵。
将随机0-1序列产生的随机0-1序列存储在随机序列存储单元中，以便按照上述压缩率要求，将0-1序列信号输入给各像素单元的像素输出晶体管栅极，控制像素单元信号的输出。
根据基尔霍夫电流定律，采集各像素单元输出端的电流信号，将每个16×16的最小图像块输出端连接在各电流主路上，这样，各电流主路上的电流等于16×16最小图像块中像素输出晶体管栅极被输入1的支路电流之和。再根据所要达到1、2、4、8、16压缩率的要求，逐次提供给各像素单元的像素输出晶体管256、128、64、32、16次控制信号，如此便完成了随机测量矩阵与原始图像信号矩阵相乘的计算，分别得到规模为256×1、128×1、64×1、32×1、16×1的压缩后图像矩阵。
将每个16×16最小图像块得到的压缩后图像矩阵的数据输入至跨阻放大器，使得到的总电流转换为电压。
将跨阻放大器输出的电压信号输入至模数转换单元，将模拟信号转换为数字信号，让其接受数字信号的存储、压缩数据重构等处理。
整个电路中的时序由时序控制单元控制。
本发明对整幅图像的大小没有具体限制。例如，整幅图像有m×n个像素，按照每16×16像素作为最小图像块进行处理，用相同的时序控制信号控制每个16×16最小图像块。若m和n均为16的倍数，所需的跨阻放大器和模数转换单元均为（m×n）/（16×16）个；若m和n不都是16的倍数，则需先做补零操作，再按照上述方法计算。每个16×16最小图像块都使用相同的时序控制信号，即方便了模拟图像的采集和压缩，也方便了压缩图像的重构。
由于当所处理最小图像块的像素为16×16时，随机测量矩阵较大，不易完全写出矩阵计算和时序控制的全过程，所以用4×4像素的最小图像块举例，图5所示为压缩率为4时，4×16的随机测量矩阵与16×1的原始图像信号矩阵相乘，得到4×1的压缩后模拟数据矩阵的示意图。图6所示为根据图5的随机测量矩阵所控制的图像采集时序。
所述基于压缩传感的全局式曝光CMOS图像传感器，电路如图7所示。随机0-1序列产生单元将数据存储到随机序列存储单元；随机序列存储单元将数据按照不同压缩率的时序要求输入给各像素单元的像素选通晶体管栅极，给CMOS像素单元阵列的像素选通晶体管提供控制信号；时序控制单元控制各像素单元中光生电荷的积累、存储及输出和整个电路的时序；各跨阻放大器分别连接在相应CMOS像素单元阵列块和模数转换器之间。
本发明基于压缩传感的全局式曝光CMOS图像传感器，在图像传感的同时进行模拟数据压缩，使用全局式曝光方式，使全部像素同时开始和结束曝光，再进行读出工作。本发明基于压缩传感理论，数模转换前完成图像传感和压缩，在保证与传统方法相同分辨率的前提下，减少了处理数据量，降低了对模数转换器采样速度的要求，节约了数据存储空间；同时使用硬件方式压缩数据，相比在模数转换后软件方式的数据压缩，提高了处理速度；使用全局式曝光方式，可采集高速运动物体的瞬时图像。
以上所述仅为发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于压缩传感的全局式曝光CMOS图像传感器，其特征在于：
包括一个具有记忆功能的像素单元阵列，其由多个具有可存储并多次选择性输出固定瞬时光照信息的像素单元排列成矩阵构成；所述CMOS像素传感器在图像传感的同时进行模拟数据压缩，使用全局式曝光方式，使全部像素同时开始和结束曝光，再分别控制各像素单元独立随机压缩采样，最后按照不同压缩率的要求，读出相应次数的全局图像信息。
2.如权利要求1所述的基于压缩传感的全局式曝光CMOS图像传感器，其特征在于，还包括：
随机0-1序列产生单元，产生随机0-1序列，构成基于压缩传感的测量矩阵；
随机序列存储单元，存储随机0-1序列产生单元产生的随机0-1序列，给各像素单元的数据输出提供控制信号；
时序控制单元，控制各像素单元中光生电荷的积累、存储及输出和整个电路的时序；
跨阻放大单元，由多个跨阻放大器构成，将各像素阵列块输出的电流转换成电压；
模数转换单元，由多个模数转换器构成，将各跨阻放大器输出的模拟图像数据转换成数字图像数据。
3.如权利要求1所述的基于压缩传感的全局式曝光CMOS图像传感器，其特征在于：
同时读出多行像素信号，且多列像素单元电路配置一个读出单元电路，即一个跨阻放大器和一个模数转换器，跨阻放大器连接在像素单元阵列和模数转换器之间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310721862.9A CN103686006B (zh) | 2013-12-24 | 2013-12-24 | 一种基于压缩传感的全局式曝光cmos图像传感器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310721862.9A CN103686006B (zh) | 2013-12-24 | 2013-12-24 | 一种基于压缩传感的全局式曝光cmos图像传感器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103686006A CN103686006A (zh) | 2014-03-26 |
| CN103686006B true CN103686006B (zh) | 2017-04-05 |
Family
ID=50322143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310721862.9A Expired - Fee Related CN103686006B (zh) | 2013-12-24 | 2013-12-24 | 一种基于压缩传感的全局式曝光cmos图像传感器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103686006B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3167552A1 (en) * | 2014-07-12 | 2017-05-17 | Robert C. Gibbons | Read-out integrated circuit with integrated compressive sensing |
| AU2018220946B2 (en) * | 2017-02-14 | 2023-12-14 | Atracsys Sàrl | High-speed optical tracking with compression and/or CMOS windowing |
| CN107734273B (zh) * | 2017-10-27 | 2019-11-05 | 中国电子科技集团公司第四十四研究所 | 用于列级adc架构cmos图像传感器的高速数据读出电路 |
| CN109756651A (zh) * | 2017-11-01 | 2019-05-14 | 浙江舜宇智能光学技术有限公司 | 低温环境高速摄像设备及其成像方法 |
| CN108184081B (zh) * | 2018-01-15 | 2021-01-08 | 北京时代民芯科技有限公司 | 一种用于cmos图像传感器中的中高速数据传输读出电路及读出通道 |
| CN113014837B (zh) * | 2021-02-20 | 2023-04-18 | 北京大学深圳研究生院 | 一种光电式的传感像素电路 |
| CN116226031A (zh) * | 2023-02-21 | 2023-06-06 | 安徽医科大学 | 一种基于感存算一体化的芯片系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6821808B2 (en) * | 2002-08-23 | 2004-11-23 | Micron Technology, Inc. | CMOS APS with stacked avalanche multiplication layer which provides linear and logarithmic photo-conversion characteristics |
| JP4873385B2 (ja) * | 2006-07-19 | 2012-02-08 | オリンパス株式会社 | 固体撮像装置 |
| US9082673B2 (en) * | 2009-10-05 | 2015-07-14 | Zena Technologies, Inc. | Passivated upstanding nanostructures and methods of making the same |
| CN102638659B (zh) * | 2012-03-28 | 2014-05-14 | 西安电子科技大学 | 基于cmos-tdi模式的高分辨率成像系统及方法 |
-
2013
- 2013-12-24 CN CN201310721862.9A patent/CN103686006B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN103686006A (zh) | 2014-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103686006B (zh) | 一种基于压缩传感的全局式曝光cmos图像传感器 | |
| US10277843B2 (en) | Oversampled image sensor with conditional pixel readout | |
| CN102595066B (zh) | 低功耗数字域累加cmos-tdi图像传感器 | |
| CN100490497C (zh) | 红外焦平面读出电路 | |
| CN102387316B (zh) | 一种高动态范围的像素单元及图像传感器 | |
| CN103248837B (zh) | 一种基于忆阻器的图像传感器 | |
| CN102595060B (zh) | Cmos图像传感器内部实现tdi功能的模拟累加器 | |
| CN102595065B (zh) | 宽动态范围时间延时积分型cmos图像传感器 | |
| CN102447848A (zh) | Cmos图像传感器全局曝光像素单元 | |
| CN102595068A (zh) | 数字域累加cmos-tdi图像传感器 | |
| CN104219468B (zh) | 高行频cmos‑tdi图像传感器 | |
| CN102629995A (zh) | Cmos图像传感器像素时序控制方法 | |
| CN101354288A (zh) | 高速低功耗双列线红外焦平面读出电路 | |
| CN104243867B (zh) | 高像素高帧率的cmos图像传感器及图像采集方法 | |
| CN108322676A (zh) | 对led光源闪烁免疫的图像传感器像素结构及成像系统 | |
| CN111669526B (zh) | 提高帧频高速全数字数据读出的cmos图像传感器 | |
| CN103873792B (zh) | 像素单元读出装置及方法、像素阵列读出装置及方法 | |
| CN104270584A (zh) | 用于cmos-tdi图像传感器的电流累加型像素结构 | |
| CN107040733A (zh) | Cmos图像传感器 | |
| CN101540824A (zh) | 关联双取样电路及其相关的影像感测器 | |
| US9706143B2 (en) | Readout circuit and method of using the same | |
| CN108848327B (zh) | 硅基混成cmos-apd图像传感器系统 | |
| WO2017101562A1 (zh) | 图像传感器及具有其的终端、成像方法 | |
| CN106303311B (zh) | 像素感光值的输出方法 | |
| CN110336965A (zh) | 用于cmos图像传感器的有源像素摆幅扩展系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170405 |