TWI696387B

TWI696387B - 影像擷取裝置

Info

Publication number: TWI696387B
Application number: TW108116092A
Authority: TW
Inventors: 米塔艾民; 江志堅; 蘇斐瑋
Original assignee: 恆景科技股份有限公司
Priority date: 2019-03-08
Filing date: 2019-05-09
Publication date: 2020-06-11
Also published as: US20200288052A1; TW202034679A; CN111669512A

Abstract

本發明提出一種影像擷取裝置，包括影像感測電路以及處理電路。處理電路用以在感測全畫面之前，控制影像感測電路感測部份畫面，其中部份畫面的像素數目少於全畫面的像素數目，並且部份畫面的曝光時間少於全畫面的曝光時間。處理電路也根據部份畫面執行自動曝光程序以計算出快速曝光時間與增益，將快速曝光時間與增益轉換為曝光時間與增益，並據此控制影像感測電路感測全畫面。

Description

影像擷取裝置

本發明是有關於一種影像擷取裝置，且特別是有關於一種能快速調整曝光參數的影像擷取裝置。

在數位相機系統裡面，自動曝光、自動對焦、自動白平衡等都是重要的功能。其中自動曝光是根據場景的光線亮度來調整光圈大小、快門速度等等，通常也會對應地調整增益，使得產生的影像有需要的訊號準位(level)。一些習知的自動曝光演算法需要先用預設的光圈大小與快門速度擷取一或多張影像，然後計算這些影像或影像中興趣區域的場景統計數值，例如但不限於訊號準位的直方圖、平均亮度、亮度中位數以及/或者最大亮度等，然後才重新調整光圈大小與快門速度。然而，上述的自動曝光演算法可能需要大量的時間來讀取訊號準位與執行相關計算，所需的時間是受畫面大小、所要讀取的畫面數目、處理器設計、控制迴圈的穩定性設計、重複曝光、捲動快門的讀取時間等因素所影響。當相機系統截取零星影像或具有長間隔時間的週期性影像的應用中，兩張或兩組影像畫面之間的間隔可能很長，這段時間並不會擷取任何資料。在此情況下，自動曝光演算法並不會考慮間隔時間內發生的場景變化，這導致一些自動曝光演算法的錯誤，使得控制迴圈不穩定，以及/或者讓自動曝光演算法需要更長的時間才能收斂。因此如何提出一個更快速的自動曝光演算法，為此領域技術人員所關心的議題。

本發明的實施例提出一種影像擷取裝置，包括影像感測電路以及處理電路。處理電路電性連接至影像感測電路，用以在影像感測電路感測一全畫面之前，控制影像感測電路感測部份畫面，其中部份畫面的像素數目少於全畫面的像素數目，並且部份畫面的曝光時間少於全畫面的曝光時間。處理電路也根據部份畫面執行自動曝光程序以計算出快速曝光參數，將快速曝光參數轉換為全畫面曝光參數，並根據全畫面曝光參數控制影像感測電路感測全畫面。

在一些實施例中，影像擷取裝置還包括放大器與類比數位轉換器。放大器設置於影像感測電路與處理電路之間，用以放大來自於影像感測電路的訊號並輸出放大後的訊號。類比數位轉換器用以接收放大後的訊號並輸出數位訊號給處理電路。處理電路設定放大器的增益，使得對應於部份畫面的增益大於對應於全畫面的增益。在一些實施例中，上述的增益也可以再類比數位轉換器的運作之後的任意時間點用數位的方式來實施。

在一些實施例中，處理電路控制影像感測電路只讀取對應於一興趣區域的像素以形成部份畫面。

在一些實施例中，處理電路還控制影像感測電路對多個像素執行一像素合併程序以產生部份畫面。

在一些實施例中，處理電路控制影像感測電路對多個像素執行降取樣以形成部份畫面。

在一些實施例中，上述部份畫面的數目大於1且包括第一部份畫面與第二部份畫面，第二部份畫面是在第一部份畫面之後被感測。上述的快速曝光參數包括第一快速曝光參數與第二快速曝光參數，處理電路根據第一部份畫面計算出第一快速曝光參數，控制影像感測電路根據第一快速曝光參數感測以取得第二部份畫面，根據第二部份畫面計算出第二快速曝光參數，並將第二快速曝光參數轉換為曝光參數。

在一些實施例中，在感測部份畫面之前，影像擷取裝置處於睡眠模式或是關機模式。

在一些實施例中，在影像感測電路感測部份畫面之前，處理電路控制影像感測電路感測前一張全畫面，並根據前一張全畫面執行自動曝光方法以計算出前曝光參數，並將前曝光參數轉換為前快速曝光參數，並控制影像感測電路根據前快速曝光參數感測部份畫面。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧影像擷取裝置

109‧‧‧感光元件

110‧‧‧影像感測電路

111‧‧‧行電路

112‧‧‧列解碼器

113‧‧‧曝光時間電路

114‧‧‧模式控制電路

120‧‧‧放大器

130‧‧‧類比數位轉換器

140‧‧‧處理電路

201~208‧‧‧時間區間

310、410‧‧‧全畫面

320、330、340、450、470‧‧‧部份畫面

420、440、461、462‧‧‧興趣區域

431~436‧‧‧區域

501~506、601~604、701、702、801~803‧‧‧時間區間

[圖1]是根據一實施例繪示影像擷取裝置的方塊示意圖。

[圖2]是根據一實施例繪示決定曝光參數的流程示意圖。

[圖3A]至[圖3B]、[圖4A]至[圖4C]是根據實施例繪示全畫面與部份畫面的示意圖。

[圖5]至[圖8]是根據一些實施例繪示影像擷取裝置拍攝多張全畫面的流程示意圖。

關於本文中所使用之『第一』、『第二』、...等，並非特別指次序或順位的意思，其僅為了區別以相同技術用語描述的元件或操作。

圖1是根據一實施例繪示影像擷取裝置的方塊示意圖。請參照圖1，影像擷取裝置100包括了影像感測電路110、放大器120、類比數位轉換器130、處理電路140。放大器120設置在影像感測電路110與處理電路140之間。類比數位轉換器130設置在放大器120與處理電路140。影像感測電路110包括了多個感光元件109、行電路111、列解碼器112、曝光時間電路113與模式控制電路114。這些感光元件109例如為感光耦合元件(Charge-coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor)感測器或其他合適的感光元件。在一些實施例中，感光元件109會排列為多個行(column)與多個列(row)，每一個感光元件109都會感測一個像素，行電路111與列解碼器112分別用以致能行與列以讀取對應的像素。曝光時間電路113用以控制曝光時間。模式控制電路114用以根據來自處理電路140的訊號來決定要致能那些行與列。從影像感測電路110所讀取的像素(表示為類比電壓的訊號)會傳送至放大器120，放大器120會放大此訊號並將放大後的訊號傳送至類比數位轉換器130。類比數位轉換器130會接收上述放大後的訊號，並輸出數位訊號(代表像素的亮度)給處理電路140。處理電路140是用以控制放大器120的增益、曝光時間，並決定要讀取全畫面或是部份畫面。

具體來說，請參照圖1與圖2，圖2是根據一實施例繪示決定曝光參數的流程示意圖。首先，處理電路140會在時間區間201取得用於感光元件109的預設曝光時間，並在時間區間202取得放大器120的預設增益。在時間區間201，增益感光元件109會根據預設的曝光時間來感測一畫面。在時間區間202，處理電路140會傳送一訊號至模式控制電路114，模式控制電路114會致能部份的行與列，藉此讀取一部份畫面，此部份畫面的像素個數會少於一全畫面的像素個數，此時所採用的是上述放大器120的預設增益，值得注意的是，此預設增益是大於全畫面的增益。例如，放大器的120的預設增益可以為全畫面的增益的N倍，其中N為大於1的實數。舉例來說，請參照圖3A，圖3A是根據一實施例繪示全畫面與部份畫面的示意圖。全畫面310所指的是感光元件109中每一個像素都被讀取出之後所形成的畫面，但如果只讀取感光元件109中部份的像素則會形成部份畫面320。在圖3A的實施例中，感光元件109中所有的像素被劃分為多個區域，而部份畫面320只包括了在四個角落的興趣區域中的像素。在一些實施例中，還可以對部份畫面320中每個區域內的像素執行一像素合併程序(pixel binning)以輸出一個訊號準位(表示亮度)，這些訊號準位會形成部份畫面330，如此一來部份畫面330中只會具有4個訊號準位(即包含了四個像素)。執行上述像素合併程序的電路(未繪示)可以實作在影像感測電路110中，但本領域通常知識者當可理解像素合併程序，因此並不再贅述。值得注意的是，由於部份畫面320與部份畫面330具有較少的像素，因此相較於讀取全畫面來說，讀取部份畫面所需要的時間區間202相對地較短。

在一些實施例中，處理電路140也可以控制影像感測電路110以對感光元件109的像素執行降取樣以形成部份畫面。例如，在圖3B的實施例中，也可以對全畫面310執行像素合併程序或降取樣以得到部份畫面340，其中部分畫面340只具有6個訊號準位。

上述興趣區域的位置、大小、形狀可以任意地設定。例如，在圖4A的實施例中，全畫面410中具有興趣區域420，只有6個區域431~436中的像素會被讀取以輸出部份畫面。在一實施例中，每個區域431~436中的像素可以再做像素合併程序以得到6個訊號準位，這6個訊號準位會輸出做為部份畫面。在一些實施例中，上述的像素合併程序是將所有的像素做平均，但在一些實施例中每個像素也可以乘上一個權重然後再加總起來，這些權重可以彼此不相同，本發明並不在此限。此外，降取樣、興趣區域與像素合併程序這三種方法可以做任意的組合。例如，在圖4B的實施例中，全畫面310只有一個興趣區域440，對興趣區域440中的像素可以實施像素合併程序或降取樣以取得部分畫面450。在圖4C的實施例中，全畫面310具有興趣區域461、462，對於興趣區域461、462中的像素可以實施像素合併程序或降取樣以取得部份畫面470。其他任意可以讓部份畫面的像素數目少於全畫面的方法，都在本揭露的範圍當中。

請參照圖2，在時間區間203，處理電路140會根據所讀取的部份畫面執行自動曝光程序以計算出一組快速曝光參數，這組快速曝光參數例如包括了曝光時間與增益。舉例來說，可先對部份畫面中所有的訊號準位灰階值取平均，然後判斷此平均值是否達到一預設值。如果上述的平均值小於預設值，則可以增加曝光時間；如果平均值大於預設值，則可以減少曝光時間；如果平均值與預設值的差距在一預設範圍內，則停止調整曝光時間。在一些實施例中，如果影像擷取裝置設置有光圈，上述的快速曝光參數也可以包括光圈大小，本發明並不在此限。增益是根據曝光時間所計算出。此外，上述的自動曝光程序僅是範例，本發明並不限制自動曝光程序的內容。

在圖2的實施例中，部份畫面中所有訊號準位的平均與上述預設值的差距並未在預設範圍內，因此在時間區間204中，處理電路140控制影像感測電路110根據所計算出的快速曝光參數中的曝光時間感測一張第二部份畫面。在時間區間205，處理電路140根據計算出的快速曝光參數的增益來控制影像感測電路110、放大器120與類比數位轉換電路130以讀取第二部份畫面。在時間區間206，處理電路140根據此第二部份畫面執行自動曝光程序以計算第二組快速曝光參數。在此實施例中，第二快速曝光參數已經不需要進一步調整(例如，第二部份畫面中所有訊號準位的平均值與預設值的差距在預設範圍內)，因此接下來處理電路140會將第二快速曝光參數轉換為用於全畫面的曝光參數。

接下來，在時間區間207，處理電路140會根據轉換後的曝光參數來控制影像感測電路110感測一張全畫面。值得注意的是，時間區間207會大於時間區間201、204，這是因為在時間區間207內放大器120的增益相對地較小，因此需要較長的曝光時間。在時間區間208中，處理電路140會控制影像感測電路110以讀取全畫面，其中時間區間208會大於時間區間202、205，這是因為在時間區間208需要讀取的像素比時間區間205、205還要多。總結來說，透過在感測全畫面之前感測一或多張部份畫面，可以快速地決定出全畫面的曝光參數。在圖2的實施例中，在感測全畫面之前總共感測了兩張部份畫面便可以快速地取得全畫面的曝光參數，但本發明並不在此限，在其他實施例中也可以在感測全畫面之前感測更多或更少張部份畫面。

圖5至圖8是根據一些實施例繪示影像擷取裝置拍攝多張全畫面的流程示意圖。請參照圖5，在時間區間501之前共感測了四張部份畫面，關於部份畫面的感測已經詳細說明如上，因此不再贅述。根據最後一張部份畫面所計算出的快速曝光參數會被轉換為全畫面的曝光參數，此曝光參數用於時間區間501以感測一張全畫面。在時間區間502，讀取第一張全畫面，此全畫面會在時間區間504用來計算新的曝光參數。此外，在時間區間503會感測第二張全畫面，而時間區間503所採用的曝光參數會相同於時間區間501所採用的曝光參數，並且在時間區間505會讀取第二張全畫面。時間區間504所計算出的曝光參數會用在時間區間506以曝光第三張全畫面，以此類推。因此，在圖5的實施例中，只有在感測第一張全畫面之前需要感測多張部份畫面，在感測其他全畫面時便可以採用傳統的自動曝光程序。

在圖6的實施例中，全畫面的取樣頻率較低，也就是說感測兩張全畫面之間的時間間隔相對地較長，在此情況下，在感測每一張全畫面之前都可以感測一或多張部份畫面。具體來說，在時間區間601中感測了第一張全畫面，此全畫面會在時間區間602被讀取，並且在時間區間603用來計算新的曝光參數，所計算出的曝光參數會在時間區間604被轉換以用來曝光部份畫面。例如，時間區間603所計算出的增益可以乘上N倍，並將時間區間603所計算出的曝光時間除以N倍。以另一個角度來說，在時間區間604感測部份畫面之前，處理電路140會控制影像感測電路110感測前一張全畫面(時間區間601、602)，根據此前一張全畫面執行自動曝光方法以計算出前曝光參數，並將前曝光參數轉換為前快速曝光參數(時間區間603)，最後在時間區間604控制影像感測電路110根據前快速曝光參數感測部份畫面。

請參照圖7，圖7與圖6的差異在於，在時間區間701讀取第一張全畫面以後，此第一張全畫面並不會用於計算新的曝光參數。在時間區間702會用預設的曝光參數(包括曝光時間與增益)來感測部份畫面，並經過圖2的程序來計算出全畫面的曝光參數。

請參照圖8，在一些實施例中，在時間區間801讀取第一張全畫面以後，影像擷取裝置會進入睡眠模式或是關機模式(時間區間802)，藉此減少功率消耗。之後，在時間區間803影像擷取裝置會被喚起以感測部份畫面。

在上述提出的影像擷取裝置中，透過部份畫面的機制可以減少曝光時間與讀取時間，如此一來可以快速地計算出用於全畫面的曝光參數。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

201~208‧‧‧時間區間

Claims

一種影像擷取裝置，包括：一影像感測電路，包括多個感測元件，每一該些感測元件用以感測一像素；以及一處理電路，電性連接至該影像感測電路，用以在該影像感測電路感測一全畫面之前，控制該影像感測電路感測至少一部份畫面，其中每一該至少一部份畫面的像素數目少於該全畫面的像素數目，每一該些感測元件中的該像素被讀取出以形成該全畫面，感測該全畫面的時間區間不重疊於感測該至少一部分畫面的時間區間，該全畫面不包含該至少一部分畫面，並且該至少一部份畫面的曝光時間少於該全畫面的曝光時間，其中該處理電路根據該至少一部份畫面執行一自動曝光程序以計算出至少一快速曝光參數，將該至少一快速曝光參數的其中之一轉換為一曝光參數，並根據該曝光參數控制該影像感測電路感測該全畫面。
如申請專利範圍第1項所述之影像擷取裝置，還包括：放大器，設置於該影像感測電路與該處理電路之間，用以放大來自於該影像感測電路的訊號並輸出放大後的該訊號；以及類比數位轉換器，用以接收放大後的該訊號並輸出數位訊號給該處理電路，其中該處理電路設定該放大器的增益，使得對應於該至少一部份畫面的增益大於對應於該全畫面的增益。
如申請專利範圍第1項所述之影像擷取裝置，其中該處理電路控制該影像感測電路只讀取對應於一興趣區域的該些像素以形成該至少一部份畫面。
如申請專利範圍第1項所述之影像擷取裝置，其中該處理電路還控制該影像感測電路對該些像素執行一像素合併程序以產生該至少一部份畫面。
如申請專利範圍第1項所述之影像擷取裝置，其中該處理電路控制該影像感測電路對該些像素執行降取樣以形成該至少一部份畫面。
如申請專利範圍第1項所述之影像擷取裝置，其中該至少一部份畫面的數目大於1且包括一第一部份畫面與一第二部份畫面，該第二部份畫面是在該第一部份畫面之後被感測，其中該至少一快速曝光參數包括一第一快速曝光參數與一第二快速曝光參數，該處理電路根據該第一部份畫面計算出該第一快速曝光參數，控制該影像感測電路根據該第一快速曝光參數感測以取得該第二部份畫面，根據該第二部份畫面計算出該第二快速曝光參數，並將該第二快速曝光參數轉換為該曝光參數。
如申請專利範圍第1項所述之影像擷取裝置，其中在感測該至少一部份畫面之前，該影像擷取裝置處於一睡眠模式或是關機模式。
如申請專利範圍第1項所述之影像擷取裝置，其中在該影像感測電路感測該至少一部份畫面之前，該處理電路控制該影像感測電路感測前一張全畫面，並根據該前一張全畫面執行該自動曝光方法以計算出一前曝光參數，並將該前曝光參數轉換為一前快速曝光參數，並控制該影像感測電路根據該前快速曝光參數感測該至少一部份畫面。