TWI519161B

TWI519161B - 影像感測器及影像感測程序

Info

Publication number: TWI519161B
Application number: TW102145198A
Authority: TW
Inventors: 彭進寶
Original assignee: 豪威科技股份有限公司
Priority date: 2013-05-28
Filing date: 2013-12-09
Publication date: 2016-01-21
Also published as: HK1204407A1; US9154750B2; TW201446002A; US20140354861A1; CN104184967A; CN104184967B

Description

影像感測器及影像感測程序

所描述之實施例大體上係關於影像感測器，且詳言之但非排他地，係關於包括對由於彩色濾光器圖案之固定圖案雜訊(FPN)之校正的影像感測器。

影像感測器廣泛用於數位靜態相機、蜂巢式電話、安全相機、醫療、汽車及其他應用中。使用互補金屬氧化物半導體(「CMOS」)技術來在矽基板上製造低成本影像感測器。

大多數影像感測器包括用以捕獲影像之二維像素陣列。彩色影像感測器(亦即，能夠捕獲彩色影像之影像感測器)使用耦接至像素陣列之彩色濾光器陣列(「CFA」)來將色彩指派給像素陣列中之每一像素。彩色濾光器陣列中之特定色彩圖案(亦即，所使用之色彩以及其配置在濾光器陣列內的方式)可改良像素陣列所捕獲之彩色影像的品質，但不同彩色濾光器圖案可對像素陣列所捕獲之影像中之固定圖案雜訊(FPN)具有不同影響。

100‧‧‧CMOS影像感測器

105‧‧‧彩色像素陣列

110‧‧‧讀出電路

115‧‧‧功能邏輯

120‧‧‧控制電路

200‧‧‧像素

202‧‧‧基板

203‧‧‧電介質層

204‧‧‧金屬堆疊

206‧‧‧光敏或光電二極體(PD)區

208‧‧‧彩色濾光器

210‧‧‧微透鏡

220‧‧‧像素

222‧‧‧基板

223‧‧‧電介質

224‧‧‧金屬堆疊

256‧‧‧PD區

258‧‧‧彩色濾光器

260‧‧‧微透鏡

300‧‧‧最小重複單元(MRU)

302‧‧‧製造單元

304‧‧‧製造單元

306‧‧‧製造單元

308‧‧‧製造單元

400‧‧‧彩色濾光器陣列(CFA)

參考下圖來描述本發明之非限制且非詳盡實施例，其中除非另有指定，否則相同參考數字在各個視圖中始終指代相同部分。

圖1為包括彩色濾光器陣列之影像感測器之實施例的示意圖。

圖2A為前側照明(FSI)影像感測器之像素陣列中之一對像素之實施例的橫截面圖。

圖2B為背側照明(BSI)影像感測器之像素陣列中之一對像素之實施例的橫截面圖。

圖3為說明彩色濾光器陣列之最小重複單元之實施例的平面圖。

圖4為包括例如圖3中所示之最小重複單元的複數個磚塊式排列之最小重複單元之彩色濾光器陣列之實施例的平面圖。

圖5為說明彩色濾光器陣列內之最小重複單元中之固定圖案雜訊校正的實施例之彩色濾光器陣列之實施例的平面圖。

圖6為用於校正使用包括清透濾光器之彩色濾光器陣列的影像感測器中之固定圖案雜訊的程序之實施例的流程圖。

圖7A為說明不包括透鏡濾光器之彩色濾光器陣列之最小重複單元之實施例的平面圖。

圖7B為包括例如圖7A中所示之最小重複單元之複數個磚塊式排列之最小重複單元之彩色濾光器陣列之實施例的平面圖。

描述用於校正由於彩色濾光器圖案之影像感測器固定圖案雜訊(FPN)的裝置、系統及方法之實施例。描述具體細節以提供對該等實施例之全面理解，但熟習此項技術者將認識到，在無所描述之細節中之一或多者的情況下，或使用其他方法、組件、材料等，仍可實踐本發明。在一些例子中，未詳細展示或描述眾所周知之結構、材料或操作，但其仍在本發明之範疇內。

本說明書中通篇對「一項實施例」或「一實施例」之參考意謂特定特徵、結構或特性包括在至少一所描述之實施例中。因此，短語「在一項實施例中」或「在一實施例中」在本說明書中的出現不一定全都指代同一實施例。此外，在一或多項實施例中，可以按照任何合適方式組合所描述之特定特徵、結構或特性。

圖1說明CMOS影像感測器100之實施例，其包括彩色像素陣列105、耦接至該像素陣列之讀出電路110、耦接至該讀出電路之功能邏輯115，以及耦接至該像素陣列之控制電路120。彩色像素陣列105為個別成像感測器或像素(例如，像素P1、P2、…、Pn)之二維(「2D」)陣列，其具有X個像素行及Y個像素列，且可實施為前側照明像素陣列(例如，見圖2A)或背側照明影像像素陣列(例如，見圖2B)。在一項實施例中，陣列中之每一像素為互補金屬氧化物半導體(「CMOS」)成像像素。如所說明，將每一像素配置成列(例如，列R1至Ry)及行(例如，行C1至Cx)以獲取人、地方或物件之影像資料，其可接著用以呈現該人、地方或物件之2D影像。

彩色像素陣列105使用耦接至像素陣列之彩色濾光器陣列(「CFA」)將色彩指派給每一像素。CFA藉由將單獨的原色之濾光器置放在每一像素上來將該原色指派給該像素。因此，例如，常見的是若像素不具有濾光器或未耦接至清透(亦即，無色)濾光器，則將像素稱為「清透像素」，若像素耦接至藍色濾光器，則將其稱為「藍色像素」，若像素耦接至綠色濾光器，則將其稱為「綠色像素」，或若像素耦接至紅色濾光器，則將其稱為「紅色像素」。當光子藉由某一原色之濾光器到達像素時，僅該原色之波長通過。所有其他波長被吸收。

在像素陣列105中之每一像素均已獲取其影像資料或影像電荷之後，由讀出電路110讀出該影像資料，並將其傳送至功能邏輯115以供儲存、額外處理等。讀出電路110可包括放大電路、類比/數位(「ADC」)轉換電路，或其他電路。功能邏輯115可簡單地儲存影像資料，且/或藉由應用後影像效應(例如，剪裁、旋轉、去紅眼、調整亮度、調整對比度或以其他方式)來操縱該影像資料。功能邏輯115在一項實施例中亦可用於處理該影像資料以校正(亦即，減少或去除)固定圖案雜訊。

控制電路120耦接至像素陣列105，以控制彩色像素陣列105之操作特性。舉例而言，控制電路120可產生用於控制影像獲取之快門信號。

圖2A至2B各自說明CMOS影像感測器中之一對像素的橫截面。圖2A說明前側照明(FSI)CMOS影像感測器中之像素200之實施例。像素200之前側為基板202的其上安置像素電路且其上形成用於再分配信號之金屬堆疊204的側。金屬層M1及M2藉由電介質層203與前側分離，且以產生入射在前側照明像素200上之光可穿過其到達光敏或光電二極體(「PD」)區206之光學通道的方式圖案化。為了實施彩色影像感測器，前側包括彩色濾光器208，其各自安置在微透鏡210下，微透鏡210有助於使光聚焦至PD區206上。

圖2B說明背側照明(BSI)CMOS影像感測器中之像素220的實施例。如同像素200一樣，像素220之前側為基板222的其上安置像素電路且其上形成用於再分配信號之電介質223及金屬堆疊224的側。背側為基板222之與前側相對的側。為了實施BSI彩色影像感測器，背側包括安置在背側與微透鏡260之間的彩色濾光器258。微透鏡260有助於將光聚焦至PD區256上。藉由照明像素220之背側而非前側，金屬堆疊224中之金屬互連線不遮蔽正成像之物件與收集區域之間的路徑，從而導致PD區256之較大信號產生。

圖3說明彩色濾光器陣列之最小重複單元(MRU)300之實施例。最小重複單元為使得無其他重複單元具有更少個別濾光器之重複單元。給定彩色濾光器陣列可包括若干重複單元，但若陣列中存在包括更少個別濾光器之另一重複單元，則重複單元並非最小重複單元。

最小重複單元300為四個濾光器乘以四個濾光器，總共16個個別濾光器，且由四個鄰接製造單元(cell)302、304、306及308組成，每一製造單元為兩個濾光器乘以兩個濾光器。每一製造單元包括四個個別濾光器：沿一條對角線之兩個清透(亦即，無色)濾光器，以及沿另一對角線之同一色彩之兩個濾光器。在所說明之實施例中，對角相對之製造單元304及308具有綠色濾光器，製造單元306具有藍色濾光器，且製造單元308具有紅色濾光器。因此，製造單元302實際上為紅色製造單元，製造單元306實際上為藍色製造單元，且製造單元304及308實際上為綠色製造單元。在其他實施例中，不同之一組原色可用於MRU 300中之彩色濾光器。舉例而言，在一項實施例中，所使用之原色可為藍綠色、洋紅色及黃色。由於每一個別濾光器耦接至個別像素，因此常見的是可互換地指代像素及濾光器，使得例如「紅色像素」為耦接至紅色濾光器之像素。

圖4說明彩色濾光器陣列(CFA)400之實施例。濾光器陣列400包括磚塊式排列在一起以形成彩色濾光器陣列之多個MRU 300。MRU 300在圖中由粗輪廓指示。每一MRU磚塊式排列至濾光器陣列中，使得其沿其邊緣中之一者鄰接至少一其他MRU。圖中僅展示九個MRU 300，但實際彩色濾光器陣列實施例將使用比所示多得多的MRU，如圖中由指向外的箭頭所指示。彩色濾光器陣列在影像感測器中與像素陣列一起使用；在大多數情況下，彩色濾光器陣列將包括與像素陣列中存在的其可與之耦接之像素一樣多的個別濾光器，意謂陣列中之每一像素將光學耦合至對應的個別濾光器。

圖5說明使用MRU 300且經標記以闡釋用以校正(亦即，減少或消除)使用像素陣列收集之影像資料中之固定圖案雜訊之程序的實施例之彩色濾光器陣列的實施例，該像素陣列使用所說明之彩色濾光器陣列圖案。

在使用MRU 300之彩色濾光器陣列中，可將清透濾光器分類為三個類別，如圖中所示：類型A清透濾光器，其各自由兩個綠色濾光器及兩個紅色濾光器環繞；類型B清透濾光器，其各自由兩個綠色濾光器、一個紅色濾光器及一個藍色濾光器環繞；以及類型C清透濾光器，其各自由兩個綠色濾光器及兩個藍色濾光器環繞。在所說明之彩色濾光器陣列中，不同清透濾光器對固定圖案雜訊作出不同貢獻。在一些實施例中，類型A及類型C清透濾光器貢獻固定圖案雜訊之大部分，且在此等實施例中，主要焦點在於校正來自耦接至類型A及類型C濾光器之像素之信號，以減少或消除固定圖案雜訊，如下文進一步論述。然而，在其他實施例中，不同類別之清透像素之固定圖案雜訊貢獻可不同，且在彼等實施例中，可相應地校正適用之類別。

將兩種主要校正應用於像素信號，以減少或消除固定圖案雜訊：色彩比率校正及串擾校正。在所說明之濾光器圖案中，色彩比率問題為因清透像素之分離以及不同清透像素由彩色濾光器圖案中之不同色彩環繞的事實而產生。在一項實施例中，可使用以下公式來表徵色彩比率校正：

其中A及B為加權參數；在一項實施例中，加權參數A具有值0.5，且加權參數B具有值-1.5，但在其他實施例中，加權參數A及B可具有其他值。在等式1中，為MRU中之對角鄰近紅色像素之平均值，且為鄰接清透像素之平均值，其根據以下公式計算：，以及其中P₁及P₆為MRU中之紅色像素(亦即，圖5中之像素1及6)的值，且P₂及P₅為與MRU中之紅色像素相關聯之清透像素(亦即，圖5中之類型A清透像素2及5)的值。換句話說，在此實施例中，基於MRU 300之製造單元302中之個別濾光器來計算色彩比率(R/C)。

第二種校正為串擾校正，其具有水平及垂直分量。水平及垂直分量中之每一者又具有兩個部分：主光線角度(CRA)部分及色彩比率部分。CRA部分因主光線角度(亦即，主光線入射在像素陣列上之角度)在像素陣列之不同部分中不同而出現。通常，主光線角度在陣列之中心附近最低，且在陣列之邊緣附近較高，意謂串擾類似地在陣列之中心附近最低，且在陣列之邊緣處較高。在一些實施例中，CRA校正很大程度上隨結合像素陣列使用之光學器件而變。在一項實施例中，可使用四次方等式為陣列中之每一像素計算主光線角度校正CRA：CRA=C ₄ r ⁴+C ₃ r ³+C ₂ r ²+C ₁ r (等式2)

其中r為特定像素距像素陣列之中心之距離，且C1至C4為數位係數。在一項實施例中，可藉由使曲線擬合至使用將結合像素陣列使用之特定光學器件獲得的資料來根據經驗判定係數C1至C4，但在其他實施例中，可使用不同等式來表徵CRA校正。

為了獲得每一像素之串擾校正，使用以下等式將CRA校正及色彩比率校正組合至水平及垂直串擾分量中：

其中XT _h及XT _v分別為水平及垂直串擾校正；h及v為像素距陣列中心之水平及垂直距離，且r為像素距像素陣列之中心之直線距離；XT _max為最大串擾值，表達為小數(例如，在一項實施例中，0.12)；CRA為使用等式2針對特定像素計算之主光線角度校正；且(R/C)為使用等式1計算之色彩比率。

在已計算了色彩比率校正及串擾校正之後，使用色彩比率校正與串擾校正之線性組合來校正個別清透像素(對於圖5之彩色濾光器陣列而言，此表示群組A像素及群組C像素)之資料值。在一項實施例中，可根據以下等式來實施兩種校正之線性組合：

其中P_C為經校正之像素值，P為原始像素值，w ₁及w ₂為可取決於校正應用於之特定清透像素之加權因子，且其餘項在上文結合等式1至4來定義。加權因子w ₁及w ₂可具有任何整數或小數值，包括零。

圖6說明用於在包括CFA(例如CFA 500)之像素陣列中應用校正之程序600的實施例。程序在區塊602處開始。在區塊604處，將該程序設定至像素陣列中之第一個別像素。在區塊606處，該程序在區塊606處計算對該像素之色彩比率校正，且在區塊608處計算對該像素之主光線角度(CRA)校正。在區塊610處，該程序使用色彩比率校正及CRA校正來計算對該像素之串擾校正。

在區塊612處，該程序核實像素是否為清透濾光器。若像素不清透，則該程序移至區塊622，其中其核實陣列中是否仍有任何像素待處理。若在區塊622處，有更多像素待處理，則該程序移至區塊624，其選擇陣列中之下一像素，且接著對於該下一像素，返回以遍歷區塊606至612。

若在區塊612處，該程序判定像素為清透像素(亦即，其耦接至清透濾光器)，則該程序移至區塊614，以判定清透濾光器是否在校正類別中，在此實施例中，此表示判定清透濾光器為群組A抑或群組C清透濾光器。若清透濾光器在校正群組中，則該程序移至區塊616，其中將串擾及色彩比率校正應用於該像素。若在區塊614處，程序判定討論中之清透濾光器不在校正類別中，則程序移至區塊618，以判定像素陣列中是否仍有任何更多像素待處理。若不再有像素待處理(亦即，陣列中之所有像素均已處理)，則在區塊620處輸出經校正之影像資料，且程序在區塊626處結束。

在區塊616處將校正應用於像素之後，該程序移至區塊618，以核實陣列中是否仍有任何像素待處理。若有更多像素待處理，則程序返回至區塊624，其中其選擇另一像素，且接著進行至區塊606，其中其對下一像素重複該程序。若在區塊618處，沒有像素仍待處理(亦即，像素陣列中之所有像素均已處理)，則該程序繼續移至區塊620，其中輸出經校正之影像資料，且接著移至區塊626，其中程序結束。

圖7A至7B說明最小重複單元700及使用MRU 700之對應彩色濾光器陣列之實施例。MRU 300與MRU 700之間的主要差異在於MRU 700不包括清透濾光器。MRU 700為通常稱為紅-綠-藍(RGB)拜耳圖案之彩色濾光器陣列圖案之MRU，此係因為其使用紅色、綠色及藍色作為其原色集合。當然，MRU 700之其他實施例可使用不同原色集合，例如藍綠色、洋紅色及黃色，且可使用與圖示不同的原色配置。包括藍綠色、洋紅色及黃色作為其原色集合之MRU 700之一項實施例稱為CYYM圖案，此係因為其包括一藍綠色濾光器、兩個黃色濾光器及一洋紅色濾光器。

引申開來，針對用於具有清透濾光器之濾光器陣列之圖5及6而描述的校正及程序實施例兩者可應用於不具有清透濾光器之陣列，例如所說明之拜耳圖案。對於該等校正，應用於不具有清透濾光器之陣列時之主要差別為在色彩比率校正之計算中。在不包括清透像素之彩色濾光器陣列中，有色像素中之一者用作亮度之代理，其為通常由清透像素提供之資訊。在RGB圖案中，綠色通常用於亮度；在CYYM圖案中，通常使用黃色。因此，在所說明之RGB實施例中，可使用以下等式來計算色彩比率校正：，以及其中P₁為MRU中之紅色像素(亦即，圖7B中之像素1)的值，且P₂及P₃為綠色像素(亦即，圖5中之綠色像素2及5)的值。在計算了色彩比率校正後，可根據等式2計算對每一像素之CRA校正，可根據等式3至4計算每一像素之串擾校正XT _h及XT _v，且仍可根據等式5計算對每一像素之總體校正。

圖6中所說明之程序仍適用於不具有清透像素之陣列。主要差別為校正應用於哪些像素。在不包括任何清透像素之濾光器陣列中，校正將應用於與清透濾光器最類似之濾光器(亦即，亮度濾光器)。在圖7B之RGB圖案中，根據等式5之校正將應用於綠色像素。在圖6之程序實施例中，在區塊612處，程序將核實濾光器是否為綠色而並非清透的，且在區塊614處，程序將核實綠色像素是否為校正群組之部分。在一項實施例中，陣列中之所有綠色像素可為校正群組之部分，在此情況下，可省略區塊614，但在其他實施例中，可能需要定義綠色像素之一或多個校正群組，使得一些綠色像素被校正，但其他不被校正。在使用CYYM濾光器圖案之實施例中，校正將類似地應用於黃色像素。

本發明之所說明實施例之以上描述，包括發明摘要中所描述之內容，無意為詳盡的或將本發明限於所揭示之精確形式。雖然本文出於說明性目的描述了本發明之特定實施例及實例，但如熟習此項技術者將認識到，在本發明之範疇內，各種等效修改為可能的。可根據以上詳細描述對本發明進行此等修改。

所附申請專利範圍中所使用之術語不應被解釋為將本發明限於說明書及申請專利範圍中所揭示之特定實施例。相反，本發明之範疇將完全由所附申請專利範圍來判定，將根據所確立之權利要求詮釋教義來解釋所附申請專利範圍。

Claims

一種影像感測器，其包含：一像素陣列；一彩色濾光器陣列，其光學耦合至該像素陣列，該彩色濾光器陣列包括複數個磚塊式排列之最小重複單元；處理電路，其耦接至該像素陣列以校正該像素陣列所捕獲之一影像中之固定圖案雜訊(FPN)，其中該處理電路校正作為校正群組之部分之像素的值，且其中該校正包含以下各項之一組合：一色彩比率校正，其基於該複數個磚塊式排列之最小重複單元之每一最小重複單元內之選定色彩之比率，以及一或多個串擾校正，其基於一主光線角度(CRA)校正及該色彩比率校正。
如請求項1之影像感測器，其中該複數個磚塊式排列之最小重複單元中之每一者為：其中a表示一第一色彩之一濾光器，b表示一第二色彩之濾光器，且c表示一第三色彩之一濾光器。
如請求項2之影像感測器，其中a、b及c各自分別為藍色、紅色及綠色。
如請求項1之影像感測器，其中該複數個磚塊式排列之最小重複單元中之每一者包括複數個非重疊製造單元，其各自具有至少兩個清透濾光器以及選自一組三種色彩中之一單一色彩之至少兩個濾光器，其中光學耦接至一清透濾光器之每一像素為一清透像素且光學耦接至一彩色濾光器之每一像素為一彩色像素。
如請求項4之影像感測器，其中該複數個磚塊式排列之最小重複單元中之每一者為：其中p表示清透濾光器，a表示一第一色彩之濾光器，b表示一第二色彩之濾光器，且c表示一第三色彩之濾光器。
如請求項5之影像感測器，其中a、b及c各自分別為紅色、藍色及綠色。
如請求項5之影像感測器，其中a、b及c各自分別為藍綠色、洋紅色及黃色。
如請求項4之影像感測器，其中該等清透像素可分類為複數個群組，使得同一群組中之所有清透像素由彩色像素之相同組合環繞，但不同群組中之清透像素由彩色像素之不同組合環繞。
如請求項8之影像感測器，其中該校正群組可包含所有該複數個群組或少於所有該複數個群組。
如請求項4之影像感測器，其中該色彩比率校正係基於一個製造單元中之彩色像素之平均值與同一製造單元中之該等清透像素之平均值的比率。
如請求項1之影像感測器，其中該一或多個串擾校正包括一垂直串擾校正及一水平串擾校正。
如請求項11之影像感測器，其中該校正為該色彩比率校正與該一或多個串擾校正之線性組合。
一種影像感測程序，其包含：自光學耦合至一彩色濾光器陣列之一像素陣列中之每一像素接收一信號，該彩色濾光器陣列包括複數個磚塊式排列之最小重複單元；校正作為該像素陣列中之一或多個校正群組之部分的像素之該等信號，以減少或消除由該像素陣列捕獲之一影像中之固定圖案雜訊(FPN)，其中校正該信號包含，對於該陣列中之每一個別像素：判定對該個別像素之一色彩比率校正，其基於該複數個磚塊式排列之最小重複單元之每一者內之選定色彩之比率，判定對該個別像素之一或多個串擾校正，其基於一主光線角度(CRA)校正及該色彩比率校正，以及在該個別像素為一校正群組之部分的情況下，使用該色彩比率校正與該一或多個串擾校正之一組合來校正來自該個別像素之該信號。
如請求項13之程序，其中該複數個磚塊式排列之最小重複單元中之每一者為：其中a表示一第一色彩之一濾光器，b表示一第二色彩之濾光器，且c表示一第三色彩之一濾光器。
如請求項14之程序，其中a、b及c各自分別為藍色、紅色及綠色。
如請求項13之程序，其中該複數個磚塊式排列之最小重複單元中之每一者包括複數個非重疊製造單元，其各自具有至少兩個清透濾光器以及選自一組三種色彩中之一單一色彩之至少兩個濾光器，其中光學耦接至一清透濾光器之每一像素為一清透像素且光學耦接至一彩色濾光器之每一像素為一彩色像素。
如請求項16之程序，其中該複數個磚塊式排列之最小重複單元中之每一者為：其中p表示清透濾光器，a表示一第一色彩之濾光器，b表示一第二色彩之濾光器，且c表示一第三色彩之濾光器。
如請求項17之程序，其中a、b及c各自分別為紅色、藍色及綠色。
如請求項17之程序，其中a、b及c各自分別為藍綠色、洋紅色及黃色。
如請求項16之程序，其進一步包含將清透像素分類為複數個群組，使得同一群組中之所有清透像素由彩色像素之相同組合環繞，但不同群組中之清透像素由彩色像素之不同組合環繞。
如請求項20之程序，其中該校正群組可包含所有該複數個群組或少於所有該複數個群組。
如請求項16之程序，其中該色彩比率校正係基於一個製造單元中之彩色像素之平均值與同一製造單元中之該等清透像素之平均值的比率。
如請求項13之程序，其中該一或多個串擾校正包括一垂直串擾校正及一水平串擾校正。
如請求項13之程序，其中該校正為該色彩比率校正與該一或多個串擾校正之一線性組合。