TWI508558B

TWI508558B - 黑階調整裝置及黑階調整方法

Info

Publication number: TWI508558B
Application number: TW102126051A
Authority: TW
Inventors: Po Chang Chen; Yuan Chih Peng
Original assignee: Himax Imaging Ltd
Priority date: 2013-07-22
Filing date: 2013-07-22
Publication date: 2015-11-11
Also published as: TW201505444A

Description

黑階調整裝置及黑階調整方法

本發明係有關於黑階控制(black level control)，特別是有關於在一CMOS影像感測器中的一種黑階控制裝置及方法，其可藉由混色(dithering)來進行黑階控制處理。

第1圖係顯示一傳統的CMOS影像感測器像素陣列(CMOS image sensor pixel array)。CMOS影像感測器像素陣列100可包括暗列(dark row)110及活動列(active row)120，如第1圖所示。在CMOS影像感測器像素陣列100中的像素(例如：R/B/Gr/Gb)會以貝爾圖樣(Bayer Pattern)的方式進行排列。暗列110會被完全遮蔽而不會接收到任何光線，而活動列120會用以接收光線或其入射影像。暗列110係主要在該CMOS影像感測器中的一類比前端中用以調整像素值以輸出適合的黑階。所謂的黑階控制/取消(BLC)處理可利用暗列的輸出像素值以降低由該CMOS影像感測器及不完美的類比電路設計之雜訊所導致的偏差及偏移。

一般而言，在CMOS影像感測器中照下一張影像可包括下列步驟：重設並讀取(曝光處理)暗列中的像素；輸出暗列的像素以進行黑階控制處理；校正類比電路並調整偏移值至合適的輸出黑階值以進行黑階控制處理；在暗列的末端固定黑階控制處理之設定；重設並讀取活動列之像素；依據所固定在暗列中之設定以對活動列之像素值進行黑階控制處理。

除此之外，一般用於補償偏差值之方法是先計算暗列的平均像素值，並接著將活動列的平均像素值減去暗列的平均像素值。在黑階控制處理中在數位電路中的平均像素值之計算，因為有限精確度的緣故，無法避免會有數值錯誤。在彩色感測器中，在顏色通道中所無法避免的數值錯誤會導致顯著的色彩顏色偏移，特別是當影像信號處理器採用高通道增益在不同的色彩通道的像素上。先前技術會使用一低成本的除法器以計算暗列的平均值。然而，無法避免的數值錯誤是無法被忽視的，且會導致色彩/亮度的閃動，特別是當後端的影像信號處理器使用大通道增益以進行影像處理。

本發明係提供一種黑階調整方法，用於具有一像素陣列之一互補金屬氧化物半導體(CMOS)影像感測器，該像素陣列包括複數個暗列及複數個活動列。該黑階調整方法包括下列步驟：計算來自該等暗列之複數個像素之一平均值，其中該平均值包括一整數部分及一小數部分；依據該整數部分計算一黑階控制偏移值；依據該小數部分產生一混色遮罩；將該混色遮罩應用至該等活動列之複數個像素；以及將所計算之該黑階控制偏移值加至來自該等活動列中已混色後之該等像素以產生複數個結果像素。

本發明更提供一種黑階調整裝置，用於具有一像素陣列之一互補金屬氧化物半導體(CMOS)影像感測器，該像素陣列包括複數個暗列及複數個活動列，該黑階調整裝置包括：一運算單元，耦接至該等暗列，用以計算來自該等暗列之複數個像素的一平均值，其中該平均值包括一整數部分及一小數部分，且該運算單元更依據該整數部分計算一黑階控制偏移值；一遮罩產生單元，耦接至該運算單元，用以依據該小數部分產生一混色遮罩；一混色處理單元，耦接至該遮罩產生單元及該等活動列，用以應用該混色遮罩至來自該等活動列之複數個像素；以及一偏移計算單元，用以將所計算之該黑階控制偏移值加至來自該等活動列中已混色後的該等像素以產生複數個結果像素。

100‧‧‧CMOS影像感測器像素陣列

110‧‧‧暗列

120‧‧‧活動列

10‧‧‧CMOS影像感測器

20‧‧‧像素陣列

200‧‧‧黑階調整裝置

210‧‧‧運算單元

211‧‧‧累加器

212‧‧‧除法器

213‧‧‧減法單元

220‧‧‧遮罩產生單元

230‧‧‧混色處理單元

240‧‧‧偏移計算單元

250‧‧‧暗列

260‧‧‧活動列

BLC_target‧‧‧預定黑階值

BLC_offset‧‧‧黑階控制偏移值

Pd、Pa‧‧‧像素

Pa_blc‧‧‧結果像素

M‧‧‧閥值圖

Mdtr‧‧‧中間混色遮罩

D‧‧‧混色遮罩

i、j‧‧‧座標

DN‧‧‧數位數值

Blk₀₀ 、Blk₀₁ 、Blk₁₀ 、Blk₁₁ ‧‧‧方塊

第1圖係顯示一傳統的CMOS影像感測器像素陣列。

第2圖係顯示依據本發明一實施例中在一CMOS感測器中的黑階調整裝置的方塊圖。

第3圖係顯示依據本發明一實施例之運算單元210的方塊圖。

第4A~4E圖係顯示依據本發明一實施例中用於遮罩產生單元220的閥值圖及混色遮罩的示意圖。

第5圖係顯示依據本發明一實施例中應用混色遮罩至來自活動列之像素的示意圖。

第6A-6C圖係顯示用於傳統黑階控制處理的四捨五入法(rounding)的模擬圖。

第7A-7C圖係顯示依據本發明一實施例中用於黑階調整裝置中的混色處理之模擬圖。

第8圖係顯示依據本發明一實施例中用於具有一像素陣列之一CMOS感測器中的黑階調整方法的流程圖。

為使本發明之上述目的、特徵和優點能更明顯易懂，下文特舉一較佳實施例，並配合所附圖式，作詳細說明如下。

第2圖係顯示依據本發明一實施例中在一CMOS感測器中的黑階調整裝置的方塊圖。CMOS感測器10係包括一黑階調整裝置200及一像素陣列20，該像素陣列20包括暗列250及活動列260。在一實施例中，黑階調整裝置200可包括一運算單元210、一遮罩產生單元220、一混色處理單元(dithering process unit)230、以及一偏移計算單元240。如第2圖所示，Pa及Pa係分別表示來自暗列250及活動列260中所取得的像素，而BLC_target係表示在該黑階控制處理中的一預定黑階值。運算單元210係耦接至像素陣列20的暗列250以計算暗列250之像素的平均值，其中該平均值係以整數及小數的形態表示。在實用上，不想要有超出特定範圍(例如10~250)的輸出黑階值，因此會設定一使用者定義黑階值(註：BLC_target)。運算單元210更可將該預定黑階值BLC_target(註：使用者定義的黑階值)減去該整數值以計算一黑階控制偏移值 BLC_offset。除此之外，使用者定義之輸出黑階值是選擇性的，且可藉由將BLC_target之數值設定為0以將其忽略。遮罩產生單元220係耦接至運算單元210，其用以依據該小數值以產生一混色遮罩(dithering mask)。混色處理單元230係耦接至遮罩產生單元220及像素陣列20之活動列260，其用以接收來自遮罩產生單元220之混色遮罩，並將該混色遮罩用於來自活動列260之像素。偏移計算單元240係用以將所計的黑階控制偏移值加至混色後的像素以產生結果像素Pa_blc(註：調整過後的活動列之像素以用於後續處理)。

第3圖係顯示依據本發明一實施例之運算單元210的方塊圖。請同時參考第2圖及第3圖，在一實施例中，運算單元210係包括一累加器211、一除法器212及一減法單元213。如第3圖所示，累加器211係用以接收來自暗列的像素Pd並計算所有像素Pd的加總值(註：累加值)。除法器212係將該加總值除以所接收的像素Pd之總數量以計算一平均值，其中該平均值係包括一整數部分及一小數部分。除法器212係輸出該小數部分至該遮罩產生單元220以產生該混色遮罩。減法單元213係用以將該預定黑階值減去該整數部分以計算黑階控制偏移值BLC_offset(註：可為正數或負數)。需注意的是所計算的該BLC偏移值係作為一參考黑階，且可利用該參考黑階以調整來自活動列的像素值，可在當使用通道增益至不同的色彩通道(註：在貝爾圖樣中的B,Gb,R及Gr等等)時，藉以維持顏色的一致性。

第4A~4E圖係顯示依據本發明一實施例中用於遮罩產生單元220的閥值圖及混色遮罩的示意圖。在一實施例中，遮罩產生單元220可接收由運算單元210所產生的小數部分，並依據該小數部分及閥值圖M以產生一中間混色遮罩(intermediate dithering mask)，其中閥值圖M係如第4A圖所示。舉例來說，給定該小數部分A為7(註：二進位的0111)，當在閥值圖M中的元素小於該小數部分，則遮罩產生單元220會設定在中間混色遮罩Mdtr中的相關元素為16。否則，遮罩產生單元220會設定在中間混色遮罩Mdtr中的相關元素為0。在閥值圖M中小於該小數部分的元素會被標示，如第4B圖所示，且相關的中間混色遮罩Mdtr係如第4C圖所示。遮罩產生單元220更可將該中間混色遮罩Mdtr除以16以產生混色遮罩D。換言之，遮罩產生單元220會正規化(normalize)該中間混色遮罩以產生該混色遮罩D，如第4D圖所示。另一方面來說，該中間混色遮罩是可以忽略的。換言之，遮罩產生單元220可比較來自暗列250的像素與在閥值圖M中的各個相關像素。若該像素小於該相關元素，遮罩產生單元220會直接設定在該混色遮罩D中的該相關元素為1。否則，遮罩產生單元220會直接設定在該混色遮罩D中的該相關元素為0。需注意的是在該閥值圖M中的元素之順序並不限定於本發明之形式。舉例來說，每4個連續數字(例如0-3、4-7、8-11及12-15)可對稱地排列在閥值圖中之不同的矩陣，如第4E圖所示。

第5圖係顯示依據本發明一實施例中應用混色遮罩至來自活動列之像素的示意圖，其中i及j係分別表示B像素的水平及垂直座標。因此，混色處理單元230可接收來自遮罩產生單元220之混色遮罩，並應用(apply)混色遮罩至活動列260之像素。更進一步而言，使用該混色遮罩係表示該混色處理單元230係將活動列 260之像素減去在混色遮罩中的相關數值(元素)。如第5圖所示，混色處理單元230可將在方塊Blk₀₀ 、Blk₀₁ 、Blk₁₀ 及Blk₁₁ 中的B像素減去在混色遮罩中的相關數值。接著，在處理一圖像中的所有方塊後可得到一調整後的圖像。需注意的是混色處理單元230可進行一類似的混色處理(註：使用該混色遮罩)至來自其他色彩通道(例如：R/Gb/Gr)的像素。

第6A-6C圖係顯示用於傳統黑階控制處理的四捨五入法(rounding)的模擬圖。第7A-7C圖係顯示依據本發明一實施例中用於黑階調整裝置中的混色處理之模擬圖。擷取在各色彩通道中的暗列的像素。第6A及7A圖係顯示在各色彩通道在30張影像中的的黑階值。第6B及7B圖係顯示在各色彩通道在30張影像中的黑階值之變異數(variance)。第6C及7C圖係顯示在B及R色彩通道之差值及其變異數。在先前技術中，在運算單元210中用於黑階控制處理的除法器213係設計為定點運算(fixed-point operation)，並可在除法器所得到之平均值中的小數部分使用四捨五入法(或捨去法)。因此，在黑階控制處理(註：取消該偏移值)後的數值錯誤可達到1DN，如第6B圖所示，其中DN係表示一「數位數值」(註：一基礎單位)。

舉例來說，當各像素之精度為8位元時，該數位數值 (註：DN)可為256。因為各色彩通道(例如：R/B/Gr/Gb)之黑階控制處理是獨立進行的，各個色彩通道均會有數值錯誤。因此，在兩個色彩通道(例如：R及B通道)之間的差值可達到2DN(±1DN)，如第6C圖所示，這些差值會導致明顯的色彩顏色偏移，或是色彩/亮度閃動。在本發明中，可使用所揭示之混色處理，將各色彩通道中的數值錯誤(註：其變異數)降低至大約0.4DN，如第7C圖所示，且因此在各兩個色彩通道之間的差值可降低至0.8DN。

第8圖係顯示依據本發明一實施例中用於具有一像素陣列之一CMOS感測器中的黑階調整方法的流程圖。請同時參考第2圖及第8圖，像素陣列20係包括暗列250及活動列260。在步驟S810，運算單元210可計算來自暗列250之複數個像素的一平均值，其中該平均值係包括一整數部分及一小數部分。在步驟S820，運算單元210更可依據該整數部分以計算一黑階控制偏移值(註：BLC_offset)。更進一步而言，運算單元210可將一預定黑階值BLC_target減去該整數部分以產生該黑階控制偏移值。在步驟S830，遮罩產生單元220係依據該小數部分產生一混色遮罩。在步驟S840，混色處理單元230可使用該混色遮罩(註：執行混色處理)至來自活動列260之複數個像素。在步驟S850，偏移計算單元240係將所計算的黑階控制偏移值加至混色後之像素以產生複數個結果像素Pa_blc(註：調整後之活動列的像素)。

本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。