[go: up one dir, main page]

TWI795034B - 處置壞點的時延積分感測器 - Google Patents

處置壞點的時延積分感測器 Download PDF

Info

Publication number
TWI795034B
TWI795034B TW110138441A TW110138441A TWI795034B TW I795034 B TWI795034 B TW I795034B TW 110138441 A TW110138441 A TW 110138441A TW 110138441 A TW110138441 A TW 110138441A TW I795034 B TWI795034 B TW I795034B
Authority
TW
Taiwan
Prior art keywords
pixel
pixels
image sensor
row
pixel data
Prior art date
Application number
TW110138441A
Other languages
English (en)
Other versions
TW202318861A (zh
Inventor
劉仁傑
李兆琪
陳浥元
許恩峯
Original Assignee
原相科技股份有限公司
財團法人國家實驗研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 原相科技股份有限公司, 財團法人國家實驗研究院 filed Critical 原相科技股份有限公司
Priority to TW110138441A priority Critical patent/TWI795034B/zh
Priority to US17/849,711 priority patent/US11849236B2/en
Application granted granted Critical
Publication of TWI795034B publication Critical patent/TWI795034B/zh
Publication of TW202318861A publication Critical patent/TW202318861A/zh
Priority to US18/503,265 priority patent/US12192655B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/768Addressed sensors, e.g. MOS or CMOS sensors for time delay and integration [TDI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本發明提供一種使用滾動快門的時延積分感測器,該時延積分感測器包含多個像素行。每一像素行包含多個像素配置於一沿軌方向,其中每一像素行的兩相鄰像素或兩相鄰像素組之間具有一分隔距離。該分隔距離等於一像素高度乘上滾動快門之一列時間差與一圖框期間之一時間比例,或等於至少一個像素高度加上該像素高度乘上該列時間差與該圖框期間之該時間比例。該時延積分感測器還記錄有像素陣列的壞點,以在將像素資料累積至積分器時,不累積該壞點相關的像素資料至對應的積分器。

Description

處置壞點的時延積分感測器
本發明係有關一種時延積分感測器,特別有關一種紀錄有壞點的時延積分互補式金屬氧化物半導體影像感測器,以在累積像素資料時忽略該壞點相關的像素資料。
時延積分(time delay integration, TDI)感測器使用面積陣列影像感測器從影像平台擷取影像,該影像平台相對被取像物體或場景以等速度移動。時延積分感測器在概念上可視為線性陣列的堆疊,其中每一線性陣列在感測器移動一行像素距離所需要的時間越過相同的場景點。
傳統上,只有電荷耦合裝置(charge coupled device, CCD)技術適用於時延積分應用,因為電荷耦合裝置本質上就是通過將電荷在像素間傳遞的方式來運作,而當感測器越過取像場景的場景點時使得像素之間的電荷累積。然而,電荷耦合裝置的影像裝置成本較高且耗費較高電能。
使用互補式金屬氧化物半導體(Complementary Metal-Oxide- Semiconductor, CMOS)電路雖然可實現低功率、高累積度及高速的目的,但卻具有較高的雜訊。雖然使用4-電晶體(4T)像素架構可以降低雜訊,但4T像素係採用滾動式快門(rolling shutter)技術。使用滾動式快門時脈會在所擷取的影像中產生假影,這是由於所有的像素並非在相同時間中累積電荷。
因此,美國專利號 US 9148601 中揭示了一種用於時延積分取像的CMOS影像感測器。請參照圖1所示,該CMOS影像感測器包含多個像素行112,每一像素行112配置成與沿軌方向(along-track direction)D a_t平行。為了補償該CMOS影像感測器的滾動快門的積分期間,每一像素行112的兩個相鄰像素之間另配置有一物理距離150,其中,若假設該等像素行112具有N行,每一個物理距離150則等於一像素高度的1/N。
然而,當像素行112存在壞點時,在累積像素資料時則會出現錯誤。
本發明則提供一種可修補壞點的像素資料的TDI CMOS影像感測器。
本發明的目的在於提供一種根據一像素高度及滾動快門之一列時間差與一圖框期間決定像素間之分隔距離的TDI CMOS影像感測器。
本發明之一目的在於提供一種具有備用像素的TDI CMOS影像感測器,以在正常像素出現壞點時,利用備用像素的像素資料取代正常像素的像素資料。
本發明之另一目的在於提供一種在積分階段直接忽略壞點的像素資料的TDI CMOS影像感測器。
本發明之再一目的在於提供一種在後處理階段直接修補壞點的像素資料的TDI CMOS影像感測器。
為達上述目的,本發明提供一種時延積分互補式金屬氧化物半導體影像感測器,其使用滾動快門擷取一影像圖框並用於相對一場景朝向一沿軌方向移動。該影像感測器包含一像素陣列及多個積分器。該像素陣列包含多個像素行,每一該等像素行包含多個像素配置於該沿軌方向,且每一該等像素行的兩相鄰像素之間具有一分隔距離。每一該等像素行的該多個像素包含多個正常像素及至少一個備用像素。該多個積分器分別耦接該多個像素行,每一積分器用於累積相對應像素行的該多個正常像素的像素資料。當該多個正常像素存在一壞點時,該壞點所在的像素行對應的積分器累積該像素行的該備用像素的像素資料以取代該壞點的像素資料。
除此之外,本發明還提供一種時延積分互補式金屬氧化物半導體影像感測器,其使用滾動快門擷取一影像圖框並用於相對一場景朝向一沿軌方向移動。該影像感測器包含一像素陣列及多個積分器。該像素陣列包含多個像素行,每一該等像素行包含多個像素配置於該沿軌方向,且每一該等像素行的兩相鄰像素之間具有一分隔距離。該多個積分器分別耦接該多個像素行,每一積分器用於累積相對應像素行的該多個像素的像素資料。當該多個像素存在一壞點時,該壞點所在的像素行對應的積分器不累積該壞點的像素資料。
除此之外,本發明還提供一種時延積分互補式金屬氧化物半導體影像感測器,其使用滾動快門擷取一影像圖框並用於相對一場景朝向一沿軌方向移動。該影像感測器包含一像素陣列及多個積分器。該像素陣列包含多個像素行,每一該等像素行包含多個像素配置於該沿軌方向,且每一該等像素行的兩相鄰像素之間具有一分隔距離。該多個積分器分別耦接該多個像素行,每一積分器用於累積相對應像素行的該多個像素的像素資料。當該多個像素存在一壞點時,該壞點所在的第一像素行對應的第一積分器累積該像素資料的第一累積次數小於不存在壞點的第二像素行對應的第二積分器累積該像素資料的第二累積次數。
本發明實施例中,該分隔距離與像素陣列之尺寸(即像素數目)不直接相關,只要決定了圖框期間及列時間差,即可決定該分隔距離。
為了讓本發明之上述和其他目的、特徵、和優點能更明顯,下文特舉本發明實施例,並配合所附圖示,作詳細說明如下。
本發明實施例之互補式金屬氧化物半導體(CMOS)影像感測器透過於一沿軌方向(along-track direction)配置像素分隔距離,以補償使用滾動快門進行時間延遲(time delay integration, TDI)取像時之一列時間差。藉此,連續影像圖框可在被取像場景中,累積相對相同位置的像素資料以增加訊雜比(SNR),其中,可累積的次數與像素陣列的尺寸相關。
時間延遲取像之概念為習知,本發明在於消除TDI CMOS影像感測器使用滾動快門技術時所產生的取像失真。
請參照圖2,其為本發明第一實施例之用於時延積分取像的CMOS影像感測器200的示意圖。TDI CMOS影像感測器200係使用滾動快門(rolling shutter)擷取影像圖框並用於相對一場景(scene)朝向一沿軌方向D a_t移動,其中該場景根據TDI CMOS影像感測器200的應用而定。例如,當TDI CMOS影像感測器200應用於掃描器時,該場景則為被掃描文件;當TDI CMOS影像感測器200應用於衛星或飛行器時,該場景則為地面。
滾動快門的運作則為習知,故於此不再詳述。
TDI CMOS影像感測器200包含一像素陣列21。該像素陣列21包含多個像素行212。每一該等像素行212包含多個像素2123(此處以斜線區域表示)配置於該沿軌方向D a_t(例如像素陣列21的縱向方向)。每一像素行212的兩相鄰像素之間具有一分隔距離2124(此處以空白區域表示)。
請參照圖3,其顯示圖2之TDI CMOS影像感測器200的一種運作示意圖。一種實施方式中,該分隔距離2124等於一個像素2123在該沿軌方向D a_t之一像素高度W乘上滾動快門之一列時間差(line time difference)t與擷取該影像圖框(例如圖3顯示3個影像圖框)之一圖框期間T之一時間比例,亦即W×t/T。
本發明中,該列時間差t是指像素陣列21的兩相鄰像素列開始曝光或結束曝光之一時間間隔。
圖3中,假設一場景包含三個位置或物體A、B及C朝向右方(即沿軌方向D a_t)移動。Stage1及Stage2表示每一像素行112的兩列像素,其中,Stage1及Stage2之間具有該分隔距離W×t/T。本發明中,圖框期間T由場景之一亮度及像素陣列21之一感光度決定。TDI CMOS影像感測器200之一移動速度設定為該像素高度W除以該圖框期間T。
由於圖3係假設像素陣列21之該等像素行212具有兩列像素,故TDI CMOS影像感測器200擷取一張影像圖框之圖框期間T內包含兩個列時間,其具有一列時間差t。此處,該列時間是指一列像素完成曝光及讀取所需之一處理時間。例如,圖3顯示一第一影像圖框包含兩列像素F 1_1及F 1_2;一第二影像圖框包含兩列像素F 2_1及F 2_2;一第三影像圖框包含兩列像素F 3_1及F 3_2
本實施例中,TDI CMOS影像感測器200還包含多個積分器,例如圖3顯示兩個積分器31及32,其中,積分器例如是暫存器(數位積分器)或電容器(類比積分器),且其數量較佳對應該等像素行212之數目,以決定被取像場景的寬度。積分器31及32分別用於累積相鄰影像圖框中,相對該場景之相同位置或相同物體的像素資料。
例如,一第一影像圖框(例如包含F 1_1及F 1_2)中,Stage1感测一場景之位置或物體A的像素資料並累積(或加總)於積分器31,其顯示為I A;此時積分器32尚未累積像素資料,故顯示為0。
由於該場景係以W/T的移動速度朝向沿軌方向D a_t移動,在第二影像圖框(例如包含F 2_1及F 2_2)中,Stage1感测該場景之位置或物體B的像素資料並累積(或加總)於積分器32,其顯示為I B;Stage2感测該場景之位置或物體A的像素資料並累積(或加總)於積分器31,其顯示為2I A(表示累積兩次)。
由於該場景持續以W/T的移動速度朝向沿軌方向D a_t移動,在第三影像圖框(例如包含F 3_1及F 3_2)中,先前累積於積分器31中相關於物體A的像素資料2I A先被讀出。接著,Stage1感测該場景之位置或物體C的像素資料並累積(或加總)於積分器31,其顯示為I C;Stage2感测該場景之位置或物體B的像素資料並累積(或加總)於積分器32,其顯示為2I B(表示累積兩次)。當該持續感測該場景時,TDI CMOS影像感測器200則持續以圖3所顯示的方式累積並讀出像素資料,以增加訊噪比。
一種實施方式中,圖框期間T(或稱為一張影像圖框的曝光期間)大於以滾動快門擷取該像素陣列21的全部像素列之一列曝光時間和,例如圖3顯示每一影像圖框之第二列像素完成曝光及讀取後,還剩餘一額外時間t extra
一種非限定的實施方式中,該圖框期間T與該列曝光時間和之一時間差(即t extra)中,影像感測器200進入一休眠模式,以節省耗能。
另一種非限定的實施方式中,TDI CMOS影像感測器200的行類比數位轉換器(例如包含於讀取電路23中)在該時間差t extra中用於對輔助像素(例如黑像素)的像素信號、像素陣列21之外部電壓值或溫度感測器之溫度值進行類比數位轉換。更詳言之,在該時間差t extra中,該行類比數位轉換器可用於針對該等像素行112以外的感測信號進行類比數位轉換,以增加TDI CMOS影像感測器200的應用範圍。本實施方式中,列時間較佳設定為處理一列像素資料所需之最短時間。
本實施例中,讀取電路23例如使用相關性雙重取樣(CDS)來對各像素進行取樣。
請再參照圖2,另一種實施方式中,該分隔距離2124等於一個像素在沿軌方向D a_t之一像素高度W加上該像素高度W乘上該滾動快門之一列時間差t與擷取影像圖框之一圖框期間T之一時間比例,亦即W×(y+t/T)。
請同時參照圖4A,其為圖2的TDI CMOS影像感測器200的另一種運作示意圖。圖4A中,假設一場景包含八個位置或物體A至H朝向右方(即沿軌方向D a_t)移動。Stage1至Stage4表示一個像素行112的四列像素,其中,兩相鄰像素之間具有該分隔距離W×(y+t/T),其中,y=0或正整數。圖4A係顯示y=1時的實施方式;當y=0時,則形成圖3的實施方式。
由於圖4A係假設像素陣列21具有四列像素,故TDI CMOS影像感測器200擷取一張影像圖框之圖框期間T內包含四個列時間,其兩兩間具有一列時間差t。例如,圖4A顯示一影像圖框包含四列像素F 1_1至F 1_4;下一個影像圖框包含四列像素F 2_1至F 2_4;再下一個影像圖框顯示包含四列像素F 3_1至F 3_4;依此類推。
同理,TDI CMOS影像感測器200還包含多個積分器,例如圖4A顯示四個積分器41至44。積分器41用於儲存一第一影像圖框(例如F 1_1至F 1_4圖框)及一第二影像圖框(例如F 3_1至F 3_4圖框)中,相對該場景之一相同位置(例如位置或物體F)的像素資料,其中該第一影像圖框與該第二影像圖框相差一個影像圖框(例如F 2_1至F 2_4圖框)。其他積分器42至44的運作方式與積分器41相同,差別在於累積不同位置或物體的像素資料。
從圖4A中可以看出,該第一影像圖框中用於感測該相同位置(例如F)的像素資料(例如I F)之一第一像素(例如Stage1)與該第二影像圖框中用於感測該相同位置(例如F)的像素資料(例如I F)之一第二像素(例如Stage2),是該像素陣列21中同一像素行212的兩相鄰像素。因此,積分器(例如41至44)在該第一影像圖框與該第二影像圖框間之該影像圖框之一圖框期間中,不累積該第一像素及該第二像素之該相同位置的該像素資料I F。位置或物體D及B的感测及累積,在圖4A中亦以虛線及箭號表示。
圖4A的實施方式中,由於積分器41至44是間隔一張影像圖框(例如F 2_1至F 2_4圖框)累積相對一場景之相同位置或相同物體的像素資料,若假設該等像素行112具有N個像素,該積分器41至44則累積N/2次相對該場景之相同位置或相同物體的像素資料。
影像圖框F 2_1至F 2_4之像素資料則累積於另一組積分器,其同樣是間隔一張影像圖框(例如F 3_1至F 3_4圖框)累積相對該場景之相同位置或相同物體的像素資料。
當y=n時,該場景之相同位置會在n個影像圖框後被同一像素行212中的下一個相鄰像素感測。只要透過配置控制電路27輸出的控制信號,該場景之相同位置或物體的像素資料,可正確累積於相同積分器中。
此外,圖4A的實施例中,由於像素行112的相鄰像素之間具有較大的分隔距離2124,在需要擷取較寬的場景影像的實施方式中,可通過在該分隔距離2124中每相隔預定行像素即配置緩衝器用於緩衝或放大像素列的控制信號。例如圖4B所示,分隔距離2124中,配置有緩衝器49用於緩衝或放大像素控制信號,例如包括重置信號Srst、電荷轉移信號Sgt及列選擇信號Srs等,但並不限於此。藉此,可使得具有高像素行數目的像素陣列得以正確運作。
請參照圖5所示,其為本發明第二實施例的用於時延積分取像的CMOS影像感測器500的示意圖。TDI CMOS影像感測器500同樣使用滾動快門擷取影像圖框並相對一場景朝向一沿軌方向D a_t移動。
TDI CMOS影像感測器500包含一像素陣列51。該像素陣列51包含多個像素行512,每一該等像素行512包含多個像素配置於該沿軌方向D a_t。該等像素的兩相鄰像素組之間具有一分隔距離5124以補償使用滾動快門時之一列時間差,其中每一該像素組包含一第一像素5123及一第二像素5125彼此相連接,亦即其間並不具有該分隔距離5124。
TDI CMOS影像感測器500還包含一第一讀取電路53及一第二讀取電路54。如圖5所示,該第一讀取電路53通過讀取線513耦接該等像素行512中之複數第一像素5123,以讀取該等第一像素5123的像素資料;該第二讀取電路55通過讀取線515耦接該等像素行512中之複數第二像素5125,以讀取該等第二像素5125的像素資料。
請參照圖6,其顯示圖5的CMOS影像感測器500的一種運作示意圖。一種實施方式中,該分隔距離5124等於一個像素在該沿軌方向D a_t之一像素高度W乘上滾動快門之一列時間差t與擷取該影像圖框(例如圖6顯示2個影像圖框)之一圖框期間T之一時間比例,亦即W×t/T。
圖6中,假設場景包含八個位置或物體A至H朝向右方(即沿軌方向D a_t)移動。
本實施例中,讀取電路53及55例如使用相關性雙重取樣來對各像素進行取樣。圖6中,Stage1及Stage2、Stage3及Stage4、Stage5及Stage6、Stage7及Stage8分別表示一個像素行112之一像素組,其中Stage1、Stage3、Stage5、Stage7例如為第一像素5123;而Stage2、Stage4、Stage6、Stage8例如為第二像素5125。兩相鄰像素組之間具有該分隔距離W×t/T。
由於圖6係假設像素陣列51中在該沿軌方向D a_t具有4個像素組,故TDI CMOS影像感測器500擷取一張影像圖框的圖框期間T內包含四個列時間,其兩兩間具有一列時間差t。例如,圖6顯示一第一影像圖框包含四列像素組F 1_1至F 1_4;一第二影像圖框包含四列像組F 2_1至F 2_4
本實施例中,每一像素組中的第一像素5123與第二像素5125同時曝光且其像素資料分別被第一讀取電路53及第二讀取電路55同時累積。
例如,一第一影像圖框(例如F 1_1至F 1_4圖框)之F 1_2的列時間中,Stage3及Stage4同時曝光,Stage3的像素資料(例如I D)被第一讀取電路53累積至積分器63而Stage4的像素資料(例如I C)被第二讀取電路55累積至積分器64;該第一影像圖框之F 1_3的列時間中,Stage5及Stage6同時曝光,Stage5的像素資料(例如I B)被第一讀取電路53累積至積分器65而Stage6的像素資料(例如I A)被第二讀取電路55累積至積分器66。該第一影像圖框之圖框期間中其他列時間的曝光及累積方式與F 1_2及F 1_3的列時間相同。
例如,第二影像圖框(例如F 2_1至F 2_4圖框)之F 2_3的列時間中,Stage5及Stage6同時曝光,Stage5的像素資料(例如I C)被第一讀取電路53累積至積分器64,其顯示為2I C以表示累積兩次;而Stage6的像素資料(例如I B)被第二讀取電路55累積至積分器65,其顯示為2I C以表示累積兩次。該第二影像圖框之圖框期間中其他列時間的曝光及累積方式與F 2_3的列時間相同。
例如,第一讀取電路53及第二讀取電路55分別通過開關元件(例如多工器)耦接每一個積分器,該開關元件通過控制信號(例如由控制電路57所產生)累積第一讀取電路53或第二讀取電路55所讀取的像素資料至同一個積分器。可以瞭解的是,圖6僅顯示用於說明本發明的部分積分器。
更詳沿之,TDI CMOS影像感測器500的多個積分器分別用於儲存相鄰之一第一影像圖框(例如包含F 1_1至F 1_4的圖框)及一第二影像圖框(例如包含F 2_1至F 2_4的圖框)中,相對一場景之相同位置(例如B)的像素資料,其中該第一影像圖框中,相對該場景之該相同位置(例如B)之像素資料(例如I B)是由該第一讀取電路53讀取而累積至一積分器65,而該第二影像圖框中,相對該場景之該相同位置(例如B)之像素資料(例如I B)是由該第二讀取電路55讀取而累積至該積分器65。只要透過配置控制電路57的輸出信號,即使是由不同讀取電路讀出的像素資料,亦能夠正確累積於相同積分器。其他積分器累積相關像素之像素資料的方式類似本段說明,故於此不再贅述。
其他實施方式中,上述圖2及圖5的實施例可以合併實現。例如,圖5的兩相鄰像素組之間的分隔距離可為至少一個像素高度W加上一個像素高度W乘上滾動快門之一列時間差t與擷取影像圖框之一圖框期間T之一時間比例,亦即W×(y+t/T)。
如上所述,TDI CMOS影像感測器使用積分器累積多次像素資料可以增加訊雜比。然而,當像素陣列存在壞點(defect pixels)時,積分器累積相對應像素列的像素資料則會出現錯誤。因此,本發明還提供一種可修補或忽略壞點的像素資料的TDI CMOS影像感測器。
請參照圖7所示,其為本發明第三實施例之TDI CMOS影像感測器700的示意圖。TDI CMOS影像感測器700同樣使用滾動快門擷取一影像圖框並用於相對一場景朝向一沿軌方向D a_t移動。
TDI CMOS影像感測器700包含一像素陣列71、一讀取電路73、一控制電路77、多個積分器B1~BN以及處理器79。
像素陣列71同樣包含多個像素行112,每一該等像素行112包含多個像素(例如stage1至stage7)配置於該沿軌方向D a_t,且每一該等像素行112的兩相鄰像素之間具有一分隔距離150。
控制電路77用於輸出控制信號,例如列選擇信號、重置信號及電荷轉移信號等,以使像素陣列71運行於滾動快門,其為已知且並非本發明的主要目的,故於此不再贅述。
讀取電路73用於讀取每個像素的資料並將其累積於相對應的積分器B1~BN中,例如分別用於累積相鄰影像圖框中,相對一場景之一相同位置的像素資料,因其已說明於上,故於此不再贅述。
圖7的實施例與上述實施例的差異在於,像素陣列71的每一像素行112的多個像素包含多個正常像素(例如stage1至stage5)及至少一個備用像素(例如顯示為2列備用像素stage6及stage7,但不限於此數目)。
本實施例中,所謂備用像素是指當所有正常像素皆正常工作時,備用像素輸出的像素資料不會被累積或使用。
本實施例中,多個積分器B1~BN分別耦接多個像素行112,每一積分器B1~BN用於累積相對應像素行112的多個正常像素的像素資料。
一種實施方式中,當多個正常像素不存在壞點時,讀取電路73不讀取備用像素列的像素資料,而當多個正常像素存在一壞點PIX_d時,讀取電路73才讀取備用像素列的像素資料。
如圖7所示,當多個正常像素存在一壞點PIX_d時,壞點PIX_d所在的像素行對應的積分器(例如B2)累積該像素行的備用像素PIX_b的像素資料以取代壞點PIX_d的像素資料。亦即,積分器B2累積像素stage1、stage2、stage4、stage5及stage6的像素資料。
另一種實施方式中,當多個正常像素不存在壞點時,讀取電路73讀取備用像素列的像素資料,但讀取電路73讀取的備用像素列的像素資料不累積至多個積分器B1~BN。當不存在壞點時,積分器B2累積像素stage1、stage2、stage3、stage4及stage5的像素資料。
圖7至圖9中,stage6及stage7中填滿斜線的備用像素表示其像素資料不被累積,而空白的備用像素(例如PIX_b)表示其像素資料被累積至相對應的積分器B1~BN。
一種實施方式中,TDI CMOS影像感測器700還包含一記憶體75用於紀錄像素陣列71的至少一個壞點的像素位置,例如圖7至圖9的PIX_d及PIX_d’。該至少一個壞點的像素位置是於出廠前所紀錄或於運作時在一測試模式中所記錄,並無特定限制。
測試壞點的一種方式,例如是以像素陣列71的各像素接收均勻光線,並將輸出像素灰階值超出閾值範圍的像素視為壞點。測試壞點也可以用其他已知方式,並無特定限制。
根據本實施例,當像素陣列700具有如圖7所示的壞點PIX_d時,讀取電路73讀取積分器B2的相對應像素行的備用像素PIX_b的像素資料並累積至積分器B2以取代壞點PIX_d的像素資料。例如,讀取電路73仍然讀取壞點PIX_d的像素資料,但不將其累積至積分器B2。此外,與備用像素PIX_b位於相同列(例如stage6)的備用像素的像素資料不被累積至對應的積分器。
例如,當像素陣列700具有如圖8所示的壞點PIX_d、PIX_d’時,讀取電路73讀取積分器B2、B3的相對應像素行的備用像素PIX_b、PIX_b’的像素資料並分別累積至積分器B2、B3以取代壞點PIX_d、PIX_d’的像素資料。藉此,即使某像素列存在壞點,所有積分器仍然累積相同次數的像素資料。
例如,當像素陣列700具有如圖9所示的位於相同行的兩個壞點PIX_d時,讀取電路73讀取積分器B2的相對應像素行的兩個備用像素(例如stage6至stage7)PIX_b的像素資料並累積至積分器B2以取代兩個壞點PIX_d的像素資料,以使積分器B2相對該場景之一相同位置累積相同次數的像素資料。
必須說明的是,雖然圖7至圖9顯示備用像素stage6、stage7是位於像素行112的最後位置的像素,但本發明並不限於此。其他實施方式中,備用像素可位於像素行112的最前端位置、中間位置等,並無特定限制。
請參照圖10所示,其為本發明第四實施例之TDI CMOS影像感測器800的示意圖。TDI CMOS影像感測器800同樣使用滾動快門擷取一影像圖框並用於相對一場景朝向一沿軌方向D a_t移動。
TDI CMOS影像感測器800同樣包含一像素陣列81、一讀取電路83、一控制電路87、多個積分器B1~BN以及處理器89。
讀取電路83及控制電路87的運作類似上述實施例,故於此不再贅述。
像素陣列81同樣包含多個像素行112,每一該等像素行112包含多個像素(例如stage1至stage7)配置於該沿軌方向D a_t,且每一該等像素行112的兩相鄰像素之間具有一分隔距離150。
多個積分器B1~BN分別耦接多個像素行112,每一積分器B1~BN用於累積相對應像素行112的多個像素的像素資料,例如累積相鄰影像圖框中,相對該場景之一相同位置的像素資料。
一種實施方式中,當像素陣列81的某像素行的多個像素存在一壞點PIX_d時,該壞點PIX_d所在的像素行對應的積分器B2不累積該壞點PIX_d的像素資料。例如,讀取電路83雖然仍然讀取壞點PIX_d的像素資料,但不將其累積至積分器B2中,例如可通過電晶體開關來控制。
處理器89在接收來自多個積分器B1~BN的累積像素資料時,積分器B2的累積像素資料的累積次數則會少於其他積分器的累積次數而具有稍微低的訊雜比。但在像素行112包含多個像素的數目很高時,即累積次數很高,則對處理器89的後處理不會有顯著的影響。
另一種實施方式中,當像素陣列81的某像素行的多個像素存在一壞點PIX_d時,該壞點PIX_d所在的第一像素行對應的第一積分器B2累積像素資料的第一累積次數(例如6次)小於不存在壞點的第二像素行對應的第二積分器B1、B3~BN累積像素資料的第二累積次數(例如7次)。如上所述,該壞點PIX_d的像素資料不累積至第一積分器B2。處理器89在後處理累積像素資料時,則根據比例(第二累積次數/第一累積次數)=7/6來比例放大該第一積分器B2累積的像素資料,以達到類似累積7次的效果。
同理,TDI CMOS影像感測器800還包含一記憶體85用於紀錄像素陣列81的至少一個壞點的像素位置,其例如是於出廠前所紀錄或於運作時在一測試模式中所記錄。
必須說明的是,雖然圖7至圖10顯示記憶體是位於處理器79內,但其僅用於說明而非用於限定本發明。其他實施方式中,記憶體可配置於處理器79之外。
必須說明的是,雖然圖10顯示TDI CMOS影像感測器800不包含備用像素,但本發明並不限於此。相對圖10的像素資料修補方法(即忽略及比例放大像素資料)亦適用於圖7至圖9的像素陣列71。例如,當圖9中對應積分器B2的像素行另外還具有壞點時,因為該像素行已經沒有足夠備用像素可取代壞點的像素資料,則可結合圖10的方式來修補像素資料。
必須說明的是,雖然圖7至圖10是以圖1的像素陣列為例來說明,亦即分隔距離等於一個像素在沿軌方向D a_t之一像素高度乘上滾動快門之一列時間差與擷取一影像圖框之一圖框期間之一時間比例,但本發明並不限於此。圖7至圖10的實施例亦適用於圖2的像素陣列200,亦即分隔距離等於一個像素在沿軌方向D a_t之一像素高度加上該像素高度乘上滾動快門之一列時間差與擷取一影像圖框之一圖框期間之一時間比例。
亦即,圖2的像素陣列200中壞點的像素資料可根據上述說明以備用像素的像素資料取代、直接被忽略或按比例修補。
可以瞭解的是,本發明各實施例及圖式中的數值,例如像素數目、積分器數目、影像圖框數目等僅用以說明,並非用以限定本發明。
綜上所述,當CMOS影像感測器使用滾動快門技術時,因為像素陣列的所有像素並非同時開始並結束曝光,而使得累積的像素感測資料並非完全相對應場景中的相同位置或物體而產生失真。有鑑於此,本發明另提出一種使用滾動快門的時延積分CMOS感測器(例如參照圖2及圖5)及其運作方法(例如參照圖3、圖4A及圖6),其通過設置不同的像素分隔距離,來補償滾動快門的列時間差所造成的失真。通過相對配置控制電路的控制信號,即能正確累積相對位置的像素資料至相關的積分器。
雖然本發明已以前述實施例揭示,然其並非用以限定本發明,任何本發明所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作各種之更動與修改。因此本發明之保護範圍當視後附之請求項所界定者為準。
200、500、700、800:TDI CMOS影像感測器 21、51、71、81:像素陣列 112、212、512:像素行 2123:像素 5123:第一像素 150、2124、5124:分隔距離 5125:第二像素 213、513、515:讀取線 23、73、83:讀取電路 53:第一讀取電路 55:第二讀取電路 27、57、77、87:控制電路 79、89:處理器 75、85:記憶體 D a_t:沿軌方向 B1~BN:積分器 PIX_d、PIX_d’:壞點 PIX_b、PIX_b’:備用像素
為了讓本發明的上述和其他目的、特徵和優點能更明顯,下文將配合所附圖示,詳細說明如下。此外,于本發明之說明中,相同的構件以相同的符號表示,於此先述明。 圖1顯示習知用於時延積分取像的CMOS影像感測器的示意圖。 圖2顯示本發明第一實施例之TDI CMOS影像感測器的示意圖。 圖3顯示圖2之TDI CMOS影像感測器的一種運作示意圖。 圖4A顯示圖2之TDI CMOS影像感測器的另一運作示意圖。 圖4B顯示圖2之TDI CMOS影像感測器中於分隔距離中配置緩衝器的示意圖。 圖5顯示本發明第二實施例之TDI CMOS影像感測器的示意圖。 圖6顯示圖5之TDI CMOS影像感測器的運作示意圖。 圖7-圖9顯示本發明第三實施例之TDI CMOS影像感測器的示意圖。 圖10顯示本發明第四實施例之TDI CMOS影像感測器的示意圖。
700:TDI CMOS影像感測器
71:像素陣列
112:像素行
150:分隔距離
73:讀取電路
75:記憶體
77:控制電路
79:處理器
Da_t:沿軌方向
B1~BN:積分器
PIX_d:壞點
PIX_b:備用像素

Claims (17)

  1. 一種時延積分互補式金屬氧化物半導體影像感測器,使用滾動快門擷取一影像圖框並用於相對一場景朝向一沿軌方向移動,該影像感測器包含:一像素陣列,該像素陣列包含多個像素行,每一該等像素行包含多個像素配置於該沿軌方向,且每一該等像素行的兩相鄰像素之間具有一分隔距離,其中每一該等像素行的該多個像素包含多個正常像素及至少一個備用像素;以及多個積分器,該多個積分器分別耦接該多個像素行,每一積分器用於累積相對應像素行的該多個正常像素的像素資料,且該多個積分器分別用於累積相鄰影像圖框中,相對該場景之一相同位置的像素資料,其中,當該多個正常像素存在一壞點時,該壞點所在的像素行對應的積分器累積該像素行的該備用像素的像素資料以取代該壞點的像素資料。
  2. 如請求項1所述之影像感測器,其中該分隔距離等於一個像素在該沿軌方向之一像素高度乘上該滾動快門之一列時間差與擷取該影像圖框之一圖框期間之一時間比例。
  3. 如請求項1所述之影像感測器,其中該分隔距離等於一個像素在該沿軌方向之一像素高度加上該像素高度乘上該滾動快門之一列時間差與擷取該影像圖框之一圖框期間之一時間比例。
  4. 如請求項2或3所述之影像感測器,其中該列時間差是該像素陣列的兩相鄰像素列開始曝光之一時間間隔。
  5. 如請求項1所述之影像感測器,還包含一記憶體用於紀錄該像素陣列的至少一個壞點的像素位置。
  6. 如請求項5所述之影像感測器,其中該至少一個壞點的該像素位置是於出廠前所紀錄或於運作時在一測試模式中所記錄。
  7. 如請求項1所述之影像感測器,還包含讀取電路,其中當該多個正常像素不存在壞點時,該讀取電路不讀取該備用像素列的像素資料,且當該多個正常像素存在壞點時,該讀取電路才讀取該備用像素列的像素資料。
  8. 如請求項1所述之影像感測器,還包含讀取電路,其中當該多個正常像素不存在壞點時,該讀取電路讀取該備用像素列的像素資料,但該讀取電路讀取的該備用像素列的該像素資料不累積至該多個積分器。
  9. 一種時延積分互補式金屬氧化物半導體影像感測器,其使用滾動快門擷取一影像圖框並用於相對一場景朝向一沿軌方向移動,該影像感測器包含:一像素陣列,該像素陣列包含多個像素行,每一該等像素行包含多個像素配置於該沿軌方向,且每一該等像素行的兩相鄰像素之間具有一分隔距離;以及 多個積分器,該多個積分器分別耦接該多個像素行,每一積分器用於累積相對應像素行的該多個像素的像素資料,且該多個積分器分別用於累積相鄰影像圖框中,相對該場景之一相同位置的像素資料,其中,當該多個像素存在一壞點時,該壞點所在的像素行對應的積分器不累積該壞點的像素資料。
  10. 如請求項9所述之影像感測器,其中該分隔距離等於一個像素在該沿軌方向之一像素高度乘上該滾動快門之一列時間差與擷取該影像圖框之一圖框期間之一時間比例。
  11. 如請求項9所述之影像感測器,其中該分隔距離等於一個像素在該沿軌方向之一像素高度加上該像素高度乘上該滾動快門之一列時間差與擷取該影像圖框之一圖框期間之一時間比例。
  12. 如請求項9所述之影像感測器,還包含記憶體用於紀錄該像素陣列的至少一個壞點的像素位置。
  13. 如請求項12所述之影像感測器,其中該至少一個壞點的該像素位置是於出廠前所紀錄或於運作時在一測試模式中所記錄。
  14. 一種時延積分互補式金屬氧化物半導體影像感測器,其使用滾動快門擷取一影像圖框並用於相對一場景朝向一沿軌方向移動,該影像感測器包含:一像素陣列,該像素陣列包含多個像素行,每一該等像素行包含多個像素配置於該沿軌方向,且每一該等像素行的兩相鄰像素之間具有一分隔距離; 多個積分器,該多個積分器分別耦接該多個像素行,每一積分器用於累積相對應像素行的該多個像素的像素資料,且該多個積分器分別用於累積相鄰影像圖框中,相對該場景之一相同位置的像素資料,其中,當該多個像素存在一壞點時,該壞點所在的第一像素行對應的第一積分器累積該像素資料的第一累積次數小於不存在壞點的第二像素行對應的第二積分器累積該像素資料的第二累積次數。
  15. 如請求項14所述之影像感測器,還包含記憶體用於紀錄該像素陣列的至少一個壞點的像素位置。
  16. 如請求項15所述之影像感測器,其中該至少一個壞點的該像素位置是於出廠前所紀錄或於運作時在一測試模式中所記錄。
  17. 如請求項14所述之影像感測器,還包含處理器用於根據比例(第二累積次數/第一累積次數)來比例放大該第一積分器累積的該像素資料。
TW110138441A 2021-10-15 2021-10-15 處置壞點的時延積分感測器 TWI795034B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW110138441A TWI795034B (zh) 2021-10-15 2021-10-15 處置壞點的時延積分感測器
US17/849,711 US11849236B2 (en) 2021-10-15 2022-06-27 Time delay integration sensor handling defect pixels
US18/503,265 US12192655B2 (en) 2021-10-15 2023-11-07 Time delay integration sensor handling defect pixels

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110138441A TWI795034B (zh) 2021-10-15 2021-10-15 處置壞點的時延積分感測器

Publications (2)

Publication Number Publication Date
TWI795034B true TWI795034B (zh) 2023-03-01
TW202318861A TW202318861A (zh) 2023-05-01

Family

ID=85981540

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110138441A TWI795034B (zh) 2021-10-15 2021-10-15 處置壞點的時延積分感測器

Country Status (2)

Country Link
US (2) US11849236B2 (zh)
TW (1) TWI795034B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI795034B (zh) * 2021-10-15 2023-03-01 原相科技股份有限公司 處置壞點的時延積分感測器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201130303A (en) * 2009-09-16 2011-09-01 Altasens Inc Image sensor with wide dynamic range
CN104363391A (zh) * 2014-11-28 2015-02-18 广东欧珀移动通信有限公司 图像坏点补偿方法、系统及拍照设备
TW201939939A (zh) * 2018-01-16 2019-10-01 美商豪威科技股份有限公司 雙重轉化增益高動態範圍影像感測器讀出電路記憶體儲存結構

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3379652B2 (ja) * 1992-09-09 2003-02-24 富士通株式会社 固体撮像素子
JP3824344B2 (ja) * 1996-04-18 2006-09-20 オリンパス株式会社 固体撮像装置
FR2959901B1 (fr) * 2010-05-04 2015-07-24 E2V Semiconductors Capteur d'image a matrice d'echantillonneurs
US9148601B2 (en) * 2012-09-26 2015-09-29 Teledyne Dalsa, Inc. CMOS TDI image sensor with rolling shutter pixels
TWI795034B (zh) * 2021-10-15 2023-03-01 原相科技股份有限公司 處置壞點的時延積分感測器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201130303A (en) * 2009-09-16 2011-09-01 Altasens Inc Image sensor with wide dynamic range
CN104363391A (zh) * 2014-11-28 2015-02-18 广东欧珀移动通信有限公司 图像坏点补偿方法、系统及拍照设备
TW201939939A (zh) * 2018-01-16 2019-10-01 美商豪威科技股份有限公司 雙重轉化增益高動態範圍影像感測器讀出電路記憶體儲存結構

Also Published As

Publication number Publication date
US20240073563A1 (en) 2024-02-29
US20230123405A1 (en) 2023-04-20
US11849236B2 (en) 2023-12-19
US12192655B2 (en) 2025-01-07
TW202318861A (zh) 2023-05-01

Similar Documents

Publication Publication Date Title
JP4423112B2 (ja) 固体撮像装置および撮像システム
JP5173171B2 (ja) 光電変換装置、撮像装置及び信号読出方法
US6914227B2 (en) Image sensing apparatus capable of outputting image by converting resolution by adding and reading out a plurality of pixels, its control method, and image sensing system
US20120327281A1 (en) Electronic apparatus and driving method therefor
JP4858281B2 (ja) 固体撮像装置
EP2809065A1 (en) Solid-state image sensor, driving method therefor, and electronic device
JP2006197393A (ja) 固体撮像装置、カメラ、及び固体撮像装置の駆動方法
JP2005303746A (ja) 撮像装置
US12279054B2 (en) Time delay integration sensor with multiple sensor arrays
TWI795034B (zh) 處置壞點的時延積分感測器
CN113873182B (zh) 时延积分传感器
JP4571150B2 (ja) カメラぶれ補正方法及び装置
JP2006109117A (ja) Ad変換用参照信号の伝達方法および伝達装置、ad変換方法およびad変換装置、並びに物理情報取得方法および物理情報取得装置
JP4929584B2 (ja) 信号処理方法および信号処理装置並びに物理量分布検知のための半導体装置
JP2000050164A (ja) 信号処理装置及びそれを用いた撮像装置
TWI793809B (zh) 雙增益時延積分感測器
JP2009033286A (ja) 蓄積型センサの駆動方法および蓄積型センサ
TWI780645B (zh) 可改變列時間差的時延積分感測器
TW202203641A (zh) 使用滾動快門的時延積分感測器
TWI909744B (zh) 可增加開口面積的時延積分感測器
US20250287117A1 (en) Time delay integration sensor with increased aperture area
US20250392842A1 (en) Time delay integration sensor with in-pixel time delay integration
US20230353902A1 (en) Time delay integration sensor with pixels having different sensing ability
CN205378049U (zh) Cmos图像传感器像元合并读出电路结构
JP5153563B2 (ja) 固体撮像装置及びその駆動方法