TWI458347B

TWI458347B - 影像擷取裝置及其方法

Info

Publication number: TWI458347B
Application number: TW099144834A
Authority: TW
Inventors: 李仲琪; 葉凱儀
Original assignee: 財團法人工業技術研究院
Priority date: 2010-12-20
Filing date: 2010-12-20
Publication date: 2014-10-21
Also published as: US20120154654A1; TW201228383A; US8643753B2

Description

影像擷取裝置及其方法

本揭露是有關於一種光學感測裝置，且特別是有關於一種影像擷取裝置。

在現今電子產品愈來愈輕薄短小的趨勢下，影像擷取裝置中的光學暗影(optical shading)將更加嚴重。光學暗影是指當光透過鏡頭照射在影像感測器上時，因為照射角度變化，造成影像感測器角落的讀數會比中央區塊讀數小的現象。例如CMOS影像感測器應用於定焦鏡頭，當定焦鏡頭越靠近影像感測器，影像感測器的角落與影像感測器中心點法線的夾角越大，造成光學暗影的現象越嚴重。

光學暗影現象大約是影像感測器上的像素與鏡頭中心連線與感測器法線夾角的餘弦四次方(cos⁴ Θ)成正比。這是一個非線性的函數，因此不易以傳統行式類比至數位轉換器(column ADC)或chip level ADC等電路架構加以補償。如果影像感測器輸出的資料轉換成數位影像後，再應用後端數位訊號處理器(DSP)來改善光學暗影，例如：針對每個像素位置查表得到需補償的增益值。則此種方法在像素增加或影像更新率增加的情況下，會因運算量太大而導致訊號處理時間太長，嚴重影響影像的輸出。

提供一影像擷取裝置實施範例，其包括感測器陣列與類比至數位轉換器陣列。感測器陣列包括M×N個感測器區塊，這些感測器區塊標示為SB(i,j)，每一感測器區塊包括P×Q個影像感測單元，這些影像感測單元標示為Se(x,y)，其中M,N為大於1的整數，P,Q,i,j,x,y皆為大於等於1的整數，且i小於等於M，j小於等於N，x小於等於P，y小於等於Q。類比至數位轉換器陣列置於此感測器陣列受光的另一側，類比至數位轉換器陣列包括M×N個類比至數位轉換器，這些類比至數位轉換器標示為ADC(i,j)，類比至數位轉換器ADC(i,j)耦接至感測器區塊SB(i,j)，類比至數位轉換器ADC(i,j)從感測器區塊SB(i,j)中的影像感測單元Se(x,y)獲得影像資料Data(x,y)，並根據影像感測單元Se(x,y)的位置運算而得增益值G(x,y)，而輸出補償後影像資料Data_com (x,y)，其中Data_com (x,y)=Data(x,y)×G(x,y)。

提供一影像擷取裝置實施範例，包括影像讀取層與類比至數位轉換層。影像讀取層包括多數個影像讀取區，每一影像讀取區包括多數個影像感測單元。類比至數位轉換層置於影像讀取層受光的另一側，類比至數位轉換層包括多數個類比至數位轉換器，每一類比至數位轉換器耦接至這些影像讀取區之一，每一類比至數位轉換器從所耦接之影像讀取區內的影像感測單元獲得一影像資料，並根據獲得影像資料之影像感測單元的位置運算而得一增益值，且將影像資料乘以增益值，來獲得一補償後影像資料。

提供一影像擷取方法實施範例，其包括提供影像讀取層以及類比至數位轉換層。此影像讀取層包括多數個影像讀取區，每一影像讀取區包括多數個影像感測單元，此類比至數位轉換層包括多數個類比至數位轉換器。此外，將類比至數位轉換層置於影像讀取層受光的另一側，並將類比至數位轉換層耦接至影像讀取層。每一類比至數位轉換器從所耦接之影像讀取區內的影像感測單元獲得影像資料。根據獲得此影像資料之影像感測單元的位置運算而得一增益值。最後，將此影像資料乘以此增益值，來獲得補償後影像資料。

提供一影像擷取方法實施範例，其包括提供感測器陣列以及類比至數位轉換器陣列，此感測器陣列包括M×N個感測器區塊，感測器區塊標示為SB(i,j)，每一感測器區塊包括P×Q個影像感測單元，影像感測單元標示為Se(x,y)，其中M,N為大於1的整數，P,Q,i,j,x,y皆為大於等於1的整數，且i小於等於M，j小於等於N，x小於等於P，y小於等於Q，該類比至數位轉換器陣列包括M×N個類比至數位轉換器，該些類比至數位轉換器標示為ADC(i,j)。

將類比至數位轉換器陣列置於感測器陣列受光的另一側，並將類比至數位轉換器ADC(i,j)耦接至感測器區塊SB(i,j)。此外，類比至數位轉換器ADC(i,j)從感測器區塊SB(i,j)中的影像感測單元Se(x,y)獲得影像資料Data(x,y)。根據影像感測單元Se(x,y)的位置運算而得增益值G(x,y)。最後輸出補償後影像資料Data_com (x,y)，其中Data_com (x,y)=Data(x,y)×G(x,y)。

基於上述，本揭露可將感測器陣列及類比至數位轉換器陣列成堆疊狀，依據目前像素位置找出相對應的增益值作補償，進而改善影像畫面光學暗影。

為讓本揭露之上述特徵和優點能更明顯易懂，下文特舉實施範例，並配合所附圖式作詳細說明如下。

在此揭露一種影像擷取裝置，可改善光學暗影，如圖1所示，圖1是依照一實施範例之一種影像擷取裝置的方塊圖，請參照圖1。影像擷取裝置10包括感測器陣列100、類比至數位轉換器陣列200以及控制器300。類比至數位轉換器陣列200置於感測器陣列100受光的另一側。其中，感測器陣列100包括M×N個感測器區塊，感測器區塊可標示為SB(i,j)，每一感測器區塊包括P×Q個影像感測單元，影像感測單元又可標示為Se(x,y)，其中M,N為大於1的整數，P,Q,i,j,x,y皆為大於等於1的整數，且i小於等於M，j小於等於N，x小於等於P，y小於等於Q。類比至數位轉換器陣列200包括M×N個類比至數位轉換器，這些類比至數位轉換器標示為ADC(i,j)，類比至數位轉換器ADC(i,j)耦接至感測器區塊SB(i,j)。

舉例來說，圖2A是一影像擷取裝置實施範例的空間示意圖，請合併參照圖1及圖2A。影像擷取裝置包括感測器陣列100’以及類比至數位轉換器陣列200’。圖2B是圖2A中感測器陣列內之編號示意圖，請合併參照圖2A及圖2B。感測器陣列100’包含了4×4個感測器區塊SB(i,j)(M=4,N=4,i小於等於4,j小於等於4)；其中，i代表垂直數來第i列，j代表水平數來第j行。圖2C是圖2B中任一感測器區塊SB(i,j)之編號示意圖，請合併參照圖2B及圖2C。每一個感測器區塊SB(i,j)又包括4×4個影像感測單元Se(x,y)(P=4,Q=4,x小於等於4,y小於等於4)，圖2D是圖2A中類比至數位轉換器陣列內之編號示意圖，請合併參照圖2A及圖2D。類比至數位轉換器陣列200’包括4×4個類比至數位轉換器ADC(i,j)(i小於等於4,j小於等於4)。但本揭露並不以此為限，在其他的實施範例中，可依情況定義M,N,P,Q的大小。

圖3A是一類比至數位轉換器ADC的實施範例方塊圖。類比至數位轉換器ADC包括轉換器310、乘法器320、運算單元340與記憶單元350。轉換器310可接收影像類比訊號IAS輸出影像數位訊號IDS，控制器300耦接運算單元340，運算單元340耦接記憶單元350，運算單元340輸出一增益值G。乘法器320接收影像數位訊號IDS與增益值G輸出補償後影像資料Data_com (x,y)。

圖3B是一類比至數位轉換器ADC’實施範例的方塊圖。類比至數位轉換器ADC’包括轉換器310、乘法器320、運算單元340與記憶單元350。運算單元340耦接記憶單元與控制器300並輸出一增益值G。乘法器320接收影像類比訊號IAS與增益值G後輸出補償後影像類比訊號IAS_com 。轉換器310接收補償後影像類比訊號IAS_com 輸出補償後影像資料Data_com (x,y)。

記憶單元350用以儲存對應於感測器區塊SB(i,j)內的預定位置的影像感測單元Se(g,h)的增益值G(g,h)，其中g,h皆為大於等於1的整數，且g小於等於P，h小於等於Q。舉例來說，記憶單元可以有4個，舉更特定的情況為例，此4個記憶單元用來儲存對應於感測器區塊SB(i,j)的4個角落之影像感測單元Se(1,1)、Se(P,1)、Se(1,Q)、Se(P,Q)的4個增益值G(1,1)、G(P,1)、G(1,Q)、G(P,Q)。但本揭露記憶單元的數目並不以此為限，例如：記憶單元可以只有1組但不限制有多少個，用以儲存對應於感測器區塊SB(i,j)的位置的相關預定參數。

運算單元340可依據影像感測單元Se(x,y)的x位置與y位置來運算影像不同位置的增益值。更具體的說，可依據x位置與y位置以及記憶單元350所儲存對應於預定位置的增益值G(g,h)利用移位及加法器與加法器做運算，以獲得對應於不同位置的增益值。其運算方法可以是雙線性內插法(bi-linear intorpolation)或是三維內插(bi-cubic)等等，而運算單元可以由多個移位及加法器與加法器來實現。

舉例來說，圖4是一雙線性內插法實施範例的示意圖，請合併參照圖3A、圖3B、圖4及圖5，以一感測器區塊包括8×8個影像感測單元為例。如圖4所示，記憶單元350包括4個預定位置增益值分別為G(1,1)、G(1,8)、G(8,1)、G(8,8)，欲求4個位置的增益值G(4,1)、G(4,3)、G(4,4)、G(4,8)。由雙線性內插法可知，G(4,1)=3/8*G(8,1)+5/8*G(8,1)，G(4,8)=3/8*G(8,8)+5/8*G(1,8)，其中G(4,1),G(4,8)所需運算相同；又G(4,3)=2/8*G(4,8)+6/8*G(4,1)，G(4,4)=3/8*G(4,8)+5/8*G(4,1)。因此，如果能循序計算，並適當選擇P使其為2的冪次方，例如：P=8,16,...128,..，則每一個像素的增益值都可以由上一個像素的增益與該列頭尾的增益，經過移位及加法器求出。而適當選擇Q使其為2的冪次方或2的冪次方數相加的整數，例如：Q=192，192=2⁸ +2⁶ ，則每列頭尾的增益又可以角落增益及上一列頭尾增益值經由移位及加法器求出。所以整個運算增益值的過程無需乘法器，可降低運算複雜度及電路實現成本。

圖5是一運算單元電路實施範例架構示意圖，請合併參照圖3A、圖3B、圖4及圖5。記憶單元350包括4個預定位置儲存增益值分別為G(1,1)、G(1,8)、G(8,1)、G(8,8)。運算單元340包括移位及加法器S/A_1~S/A_6，加法器Add_1~Add_3。移位及加法器S/A_1耦接儲存增益值G(1,1)的記憶單元；移位及加法器S/A_2耦接儲存增益值G(8,1)的記憶單元；移位及加法器S/A_3耦接儲存增益值G(1,8)的記憶單元；移位及加法器S/A_4耦接儲存增益值G(8,8)的記憶單元。加法器Add_1耦接至移位及加法器S/A_1及移位及加法器S/A_2；加法器Add_2耦接至移位及加法器S/A_3及移位及加法器S/A_4；加法器Add_3耦接至移位及加法器S/A_5及移位及加法器S/A_6。

依本實施範例可知，先利用已知增益值G(1,1),G(8,1)分別經過移位及加法器S/A_1與S/A_2進行移位及累加，可求得增益值G(4,1)；相同地，利用已知增益G(1,8),G(8,8)分別經過移位及加法器S/A_3與S/A_4進行移位及累加，可得到增益值G(4,8)；再利用G(4,1)與G(4,8)分別經過移位及加法器S/A_5與S/A_6進行移位及累加可得欲求位置Se(4,3)與Se(4,4)的增益值G(4,3)與G(4,4)。

整理上述並推演可得另一實施範例，運算單元可包括第一移位及加法器、第二移位及加法器、第三移位及加法器、第四移位及加法器、第一加法器、第二加法器、第五移位及加法器、第六移位及加法器，以及第三加法器。其中，第一移位及加法器耦接至儲存增益值G(1,1)的記憶單元，用以根據影像感測單元Se(x,y)的y位置為控制參數，並依據增益值G(1,1)進行移位及累加。第二移位及加法器耦接至儲存增益值G(1,Q)的記憶單元，用以根據影像感測單元Se(x,y)的y位置為控制參數，並依據增益值G(1,Q)進行移位及累加。第三移位及加法器耦接至儲存增益值G(P,1)的記憶單元，用以根據影像感測單元Se(x,y)的y位置為控制參數，並依據增益值G(P,1)進行移位及累加。第四移位及加法器耦接至儲存增益值G(P,Q)的記憶單元，用以根據影像感測單元Se(x,y)的y位置為控制參數，並依據增益值G(P,Q)進行移位及累加。

第一加法器耦接至第一移位及加法器以及第二移位及加法器，用以將第一移位及加法器以及第二移位及加法器之輸出相加。第二加法器耦接至第三移位及加法器以及第四移位及加法器，用以將第三移位及加法器以及第四移位及加法器之輸出相加。第五移位及加法器耦接至第一加法器，用以根據影像感測單元Se(x,y)的x位置為控制參數，並依據第一加法器的輸出進行移位及累加。第六移位及加法器耦接至第二加法器，用以根據影像感測單元Se(x,y)的x位置為控制參數，並依據第二加法器的輸出進行移位及累加。第三加法器耦接至第五移位及加法器以及第六移位及加法器，用以將第五移位及加法器以及第六移位及加法器之輸出相加，而獲得增益值G(x,y)。

承接上述，控制器300用以控制影像擷取裝置內所有的類比至數位轉換器ADC(i,j)內的運算單元340同時依據感測器區塊SB(i,j)的預定參數做相同運算。例如同時做移位及加法器或同時做加法器的運算。其中，類比至數位轉換器ADC(i,j)可透過穿矽孔(TSV)、重佈層(RDL)或微凸塊(microbump)電性連接至所耦接的感測器區塊SB(i,j)。

總而言之，類比至數位轉換器ADC(i,j)從感測器區塊SB(i,j)中的影像感測單元Se(x,y)獲得影像資料Data(x,y)，並根據影像感測單元Se(x,y)的位置運算而得增益值G(x,y)，而輸出補償後影像資料Data_com (x,y)，其中Data_com (x,y)=Data(x,y)×G(x,y)。而上式的乘法依照本實施範例可以數位邏輯運算達成或以類比放大達成，也就是說，影像資料Data(x,y)可以是類比訊號或數位訊號。

上述圖2A所繪示的影像擷取裝置實施範例的空間示意圖對改善光學暗影問題描繪出一個可能的型態，僅是一種選擇實施範例，不應限制本案的保護範圍，感測器及類比數位轉換器並不一定受限於矩形，排列方式也不以矩形為限。換言之，只要是具備有影像讀取層(image pickup layer)以及類比至數位轉換層。影像讀取層包括多數個影像讀取區(image pickup area)，每一影像讀取區包括多數個影像感測單元(image sensing element)。類比至數位轉換層置於影像讀取層受光的另一側，類比至數位轉換層包括多數個類比至數位轉換器，每一類比至數位轉換器耦接至影像讀取區之一，每一類比至數位轉換器從所耦接之影像讀取區內的影像感測單元獲得影像資料，並根據獲得前述影像資料之影像感測單元的位置運算而得增益值，且將影像資料乘以增益值，來獲得補償後影像資料。以上之裝置即為本揭露之精神所在。

從另一觀點來看，圖6是一影像擷取方法實施範例的流程圖，請參照圖6。首先如步驟S610所示，提供一感測器陣列以及一類比至數位轉換器陣列。其中，感測器陣列包括M×N個感測器區塊，感測器區塊標示為SB(i,j)，每一感測器區塊又包括P×Q個影像感測單元，影像感測單元標示為Se(x,y)，其中M,N為大於1的整數，P,Q,i,j,x,y皆為大於等於1的整數，且i小於等於M，j小於等於N，x小於等於P，y小於等於Q。類比至數位轉換器陣列包括M×N個類比至數位轉換器，類比至數位轉換器標示為ADC(i,j)。

接著，於步驟S620，將類比至數位轉換器陣列置於感測器陣列受光的另一側，並將類比至數位轉換器ADC(i,j)耦接至感測器區塊SB(i,j)。藉此，於步驟S630，類比至數位轉換器ADC(i,j)將可從感測器區塊SB(i,j)中的影像感測單元Se(x,y)獲得影像資料Data(x,y)。之後，於步驟S640，根據影像感測單元Se(x,y)的位置以及對應於感測器區塊SB(i,j)內的多數個預定位置的影像感測單元Se(g,h)的增益值G(g,h)運算而得增益值G(x,y)。最後如步驟S650所示，輸出補償後影像資料Data_com (x,y)，其中Data_com (x,y)=Data(x,y)×G(x,y)。至於本實施範例的其他細部流程已包含在上述各實施範例中，故在此不予贅述。

從又一觀點來看，圖7是一影像擷取方法實施範例的流程圖，請參照圖7。首先如步驟S710所示，提供一影像讀取層以及一類比至數位轉換層。影像讀取層包括多數個影像讀取區，每一影像讀取區包括多數個影像感測單元。類比至數位轉換層包括多數個類比至數位轉換器。接著如步驟S720所示，將類比至數位轉換層置於影像讀取層受光的另一側，並將類比至數位轉換層耦接至影像讀取層。藉此，於步驟S730，每一類比至數位轉換器從所耦接之影像讀取區內的影像感測單元獲得影像資料。

之後，於步驟S740，根據獲得影像資料之影像感測單元的位置運算而得增益值。最後如步驟S750所示，將影像資料乘以增益值，來獲得補償後影像資料。本實施範例之其他細部流程已包含在上述各實施範例中，故在此不予贅述。

雖然本揭露已以實施範例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾，故本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

10．．．影像擷取裝置

100．．．感測器陣列

100’．．．感測器陣列

200．．．類比至數位轉換器陣列

200’．．．類比至數位轉換器陣列

300．．．控制器

310．．．轉換器

320．．．乘法器

340．．．運算單元

350．．．記憶單元

SB(i,j)．．．感測器區塊

Se(x,y)．．．影像感測單元

ADC(i,j)．．．類比至數位轉換器

G．．．增益值

S/A_1~S/A_6．．．移位及加法器

Add_1~Add_3．．．加法器

S610~S650．．．用以說明圖6實施範例的各步驟

S710~S750．．．用以說明圖7實施範例的各步驟

i．．．垂直數來第i列

j．．．水平數來第j行

圖1是一影像擷取裝置實施範例的方塊圖。

圖2A是一影像擷取裝置實施範例的空間示意圖。

圖2B是圖2A中感測器陣列內之編號示意圖。

圖2C是圖2B中任一感測器區塊SB(i,j)之編號示意圖。

圖2D是圖2A中類比至數位轉換器陣列內之編號示意圖。

圖3A是一類比至數位轉換器ADC實施範例的方塊圖。

圖3B是一類比至數位轉換器ADC’實施範例的方塊圖。

圖4是一雙線性內插法實施範例的示意圖。

圖5是一運算單元電路實施範例架構示意圖。

圖6是一影像擷取方法實施範例的流程圖。

圖7是一影像擷取方法實施範例的流程圖。