TWI512351B - 多相機影像擷取系統與影像重組補償方法 - Google Patents

Description

多相機影像擷取系統與影像重組補償方法

本發明為一種多相機影像擷取系統與影像重組補償方法，特別是指根據系統內多鏡頭模組與多感測器模組間位移或間距變化產生影像重組參數的多相機影像擷取系統與影像重組補償方法。

圖1示意顯示習知技術陣列式相機，陣列式相機由多個相機組成，每個相機為一個鏡頭與一個對應的影像感測器的組成，陣列式相機即包括多鏡頭模組與多感測模組。此類陣列式相機設有如圖中顯示陣列型式排列的鏡頭101，下方設有對應各鏡頭101的多個陣列排列的影像感測器(圖未示)，以及外部承載機構10。

從圖1顯示的多鏡頭模組可知，各個鏡頭101之間有一定的間距，因此拍攝同一個場景時，多個相機取得複數個影像，場景可具有至少一個景物，同一景物於複數個感測影像中存在著視差，將透過後端軟體或硬體執行重組複數個影像，獲得融合影像，重組影像時會利用到校正多個景物成像位置與成像範圍的重組參數，使得融合影像具有正確而更良好的影像品質，此外此類相機可以具有更小的體積。

在相機對焦系統的領域中，鏡頭與影像感測器之間具有一個可以清楚成像的間距，根據光學成像公式(1/u+1/v=1/f)，其中物距(u)為鏡頭與景物的距離，像距(v)為鏡頭與成像位置的距 離，公式表示焦距(f)的倒數等於物距的倒數加上像距的倒數。在一般情況下，物距相對於像距為極大，根據成像公式，像距因此近似焦距。

對焦正確的相機可以取得清楚成像的相片，也就是在適當的像距上呈現清楚的影像。然而，鏡頭可能因為外在因素造成焦距產生變化。比如溫度變化對鏡頭熱脹冷縮的效應產生了變化，或是溫度改變對鏡頭產生折射率的變化等，鏡頭焦距因此產生改變，使得成像有誤差。於是習知技術提出一些溫度補償的技術，應用在相機中，可以補償相機之焦距因為溫度所產生的變化，根據焦距與像距的關係，因此透過修正像距讓透過鏡頭的影像仍可以清楚成像於影像感測器上。

此溫度補償的機制包括一種可以隨著溫度改變而有外觀型態變化的物體。若是相機載有此物體，透過機構的設計，可以藉此物體補償因為溫度改變而產生鏡頭與影像感測器焦距變化的問題。

此類物體材料有隨著熱而變化外觀型態的特性，比如因為溫度上升產生外觀曲線改變，又因為溫度下降而產生反方向曲線改變，因此可以藉此特性帶動機構，作為修正鏡頭與影像感測器的間距的機制。

舉例來說，此具有溫度補償特性的物體如以複合材料置做的裝置，其中有至少兩種材料，兩種材料因為溫度改變而有不同的熱脹冷縮效應，因此材料產生一個方向的曲度，藉此可以作為一種補償機構。

習知技術中採用溫度補償機構的鏡頭模組應用中，在鏡筒外且連接於所述鏡筒與鏡座之間設有多個可以隨著溫度變化而彎曲的補償片，藉此可以帶動鏡筒沿光軸方向移動，使鏡頭模組的成像面保持在預定平面。此為一種利用材料特性而補償溫度所造成改變的技術之一。

為了提出一種解決在陣列式相機內針對影像擷取模組因焦距改變造成景物於影像感測器上的成像位置改變的問題，揭露書揭示一種多相機影像擷取系統與影像重組補償方法，能夠根據鏡頭模組位移的距離或與影像感測器的位移或間距變化而提出對應的影像重組參數。

陣列式相機內的影像擷取模組焦距改變，主因包括因溫度改變使得鏡頭折射率變化，或因鏡頭熱脹冷縮效應而影響焦距改變，習知方案中已提出了補償此溫度造成對焦失誤的問題，補償即造成鏡頭模組位移，影響陣列式相機中多感測器模組與多鏡頭模組間的間距(關聯到鏡頭成像的像距)。但此焦距與像距一旦改變也隨之造成景物於影像感測器中的成像位置或是成像範圍產生改變，因此若沿用陣列式相機原本的重組參數，將無法正確地重組影像，於是本揭露書提出的影像重組補償方法即提出對應鏡頭模組位移或間距的影像重組參數，提供陣列式相機的影像重組之用。

揭露書所揭示的多相機影像擷取系統為了達成因為焦距補償而修正重組參數的目的，其中主要元件為影像擷取模組，設有多鏡頭模組與多感測器模組，其中多鏡頭模組由多個鏡頭排列組成，多感測器模組由多個影像感測器排列組成，多個影像感測器的位置係一對一對應到多個鏡頭的排列位置。系統再有一間距調整單元，是為針對溫度影響造成焦距改變的一溫度補償機構，比如溫度變化產生鏡頭的折射率變化或熱漲冷縮而改變了焦距，因應此變化，間距調整單元即用以調整多鏡頭模組與多感測器模組之間距；系統再包括一位置感測模組，用以感測多鏡頭模組與多感測器模組之位移或間距變化，因此系統能根據位置感測模組所感測到多鏡頭模組與多感測器模組的位移或間距變化而對應產生 一組影像重組參數，以進行重組影像。

在多相機影像擷取系統的影像重組補償方法的實施例之一，方法包括取得多相機影像擷取系統中多鏡頭模組與多感測器模組之間的位移或間距變化，當中若偵測到位移或間距改變，比如補償因為溫度改變造成焦距改變所調整的間距，即取得一組影像重組參數，用以進行影像重組。在一實施例中，系統提供一查找表，查找表記載多鏡頭模組與多感測器模組之間的位移或間距與影像重組參數的對應關係，可以據此取得某位移或間距所對應到的影像重組參數。

為了能更進一步瞭解本發明為達成既定目的所採取之技術、方法及功效，請參閱以下有關本發明之詳細說明、圖式，相信本發明之目的、特徵與特點，當可由此得以深入且具體之瞭解，然而所附圖式與附件僅提供參考與說明用，並非用來對本發明加以限制者。

10‧‧‧承載機構

101‧‧‧鏡頭

22,22’‧‧‧鏡頭單元

20‧‧‧影像感測器

201‧‧‧入射光線

203‧‧‧折射光線

201’‧‧‧入射光線

203’‧‧‧折射光線

201”‧‧‧入射光線

203”‧‧‧折射光線

24‧‧‧間距調整單元

30‧‧‧影像擷取模組承載機構

32‧‧‧多感測器模組

302‧‧‧影像感測器

34‧‧‧多鏡頭模組

304‧‧‧鏡頭

36‧‧‧溫度補償機構

303‧‧‧霍爾效應感測器

301‧‧‧磁性元件

35‧‧‧移動部位

401,401’‧‧‧人臉

402,402’‧‧‧愛心

50‧‧‧影像擷取模組

501‧‧‧多鏡頭模組

502‧‧‧多感測器模組

52‧‧‧間距調整單元

54‧‧‧位置感測模組

56‧‧‧影像重組參數產生單元

58‧‧‧影像重組模組

503‧‧‧承載機構

步驟S601~S609‧‧‧影像重組補償步驟

圖1顯示習知技術陣列式相機的多鏡頭模組示意圖；圖2A顯示多相機影像擷取系統聚焦正確的狀態示意圖；圖2B顯示多相機影像擷取系統對焦不正確的狀態示意圖；圖2C顯示多相機影像擷取系統調整間距後的狀態示意圖；圖3A所示為多相機影像擷取系統中採用溫度補償機構的結構示意圖之一；圖3B所示為多相機影像擷取系統中採用溫度補償機構的結構示意圖之二；圖4A與圖4B所示為多相機影像擷取系統因為焦距變化致使成像改變的示意圖；圖5顯示本發明多相機影像擷取系統實施例的功能方塊圖；圖6顯示之流程描述本發明多相機影像擷取系統之影像重組 補償步驟實施例。

陣列式相機(camera array)是採用多個相機合併而成的相機裝置，其中多個相機中每一個鏡頭單元對應到一個影像感應元件(如CCD,CMOS)，使得形成多顆小型相機合併組成一個相機，陣列式相機也倚賴後端透過韌體或是軟體方法重組影像，將多個相機個別所擷取到的影像訊號重組獲得一融合影像。

揭露書所載之多相機影像擷取系統的影像擷取模組採用陣列式鏡頭(lens array)，其中多鏡頭模組中設有多個以特定陣列型式排列的鏡頭，對應多鏡頭模組的位置上的多感測器模組中也設有位置一對一對應各個鏡頭的多個影像感測器。

多相機影像擷取系統中多鏡頭模組可參考圖1顯示的結構示意圖，在原始的設計中，其中多鏡頭模組與多感測器模組之間距定義出一能清楚成像的像距。根據成像公式，焦距的倒數等於像距的倒數加上物距的倒數，因此在物距相對於像距為極大的一般情況下，焦距的改變將主要導致像距的變化。

圖2A顯示多相機影像擷取系統正常聚焦的狀態，示意以多鏡頭模組中之一個鏡頭單元22對應多感測器模組之一影像感測器20來說明。鏡頭單元22與影像感測器20間具有一像距，入射光線201經此鏡頭單元22後預設能夠正確對焦在對應位置上的影像感測器20上，如所示的折射光線203，影像因此可以清楚成像在影像感測器20上。

當圖示中的多相機影像擷取系統的多鏡頭模組(以一鏡頭單元22’為例)的焦距因為溫度的影響下產生變化，比如因為鏡頭熱脹冷縮效應或鏡頭隨著外界溫度產生折射率改變，於是產生對焦誤差的現象，如圖2B所示之示意圖。

在圖2B中，同樣以多鏡頭模組內的單一鏡頭單元22’來說 明，入射光線201’經多鏡頭模組鏡頭單元22’折射後，形成折射光線203’，此例係因溫度上升導致折射率下降，故鏡頭焦距拉長而產生成像對焦不正確的情況，使得焦點偏離影像感測器20。

圖2C顯示為調整間距後的狀態。此例之鏡頭單元22’上設有間距調整單元24，間距調整單元24主要帶動了整個多鏡頭模組進行溫度補償而位移，透過改變像距而使得鏡頭單元22’正確對焦在影像感測器20上。如此圖顯示進入系統的入射光線201”，折射後形成折射光線203”，因為間距調整單元24而能使得光線能正確聚焦於影像感測器20上。

舉例來說，針對溫度變化造成對焦誤差的問題，上述的間距調整單元24在習知技術曾採用特定溫度補償機構，透過材料隨著溫度變化而產生形變的特性，修正系統中的多鏡頭模組(此例以鏡頭單元22’為例)與多感測器模組20之間距，使得經多鏡頭模組之鏡頭單元22’的景物光線可以清楚成像於多感測器模組20上，如圖2C所示。

根據本揭露書所載實施例，經前述間距調整後，影像擷取模組中多鏡頭模組將產生位移，此位移顯示多鏡頭模組與多感測器模組之間像距已經改變，因此景物經多鏡頭模組於多感測器模組上成像的位置與/或範圍已經改變，示意圖可參閱圖4A與圖4B，於是本發明提出了校正因為修正焦距變化而牽動多鏡頭模組於多感測器模組之間距(可對應到所述之像距)變化的影像重組技術。

而取得像距或多鏡頭模組與多感測器模組之位移或間距變化的資訊前，本發明揭露書提出的多相機影像擷取系統先偵測出多鏡頭模組的相對位移。可繼續參閱圖3A與圖3B所揭示的實施態樣。

在圖3A所示的多相機影像擷取系統的結構示意圖中，影像擷取模組承載機構30如陣列式相機模組的主體外框結構，為一固定整個裝置的機構，此固定部位內部設置多相機影像擷取系統的影 像擷取模組，包括多感測器模組32，多感測器模組32由多個影像感測器302排列組成。圖3A更示意表示承載機構30另以移動部位35承載並帶動多鏡頭模組34，多鏡頭模組34由多個鏡頭304排列組成，其中多個影像感測器302的位置係一對一對應到多個鏡頭304的排列位置，其中鏡頭304具有至少一鏡片。

系統內焦距之改變係因溫度改變造成鏡頭熱脹冷縮造成，或因溫度改變直接造成多個鏡頭本身折射率改變所造成。當多鏡頭模組34內多個鏡頭304因為溫度造成焦距改變，因此藉由影像擷取模組中所設的溫度補償機構36帶動移動部位35上的多鏡頭模組34進行補償位移，使得改變多鏡頭模組34與多感測器模組32之間的間距，目的是讓光線能夠清楚聚焦於多感測器模組32上，運作方式亦如前述圖2C的間距調整單元(24)。

此類溫度補償機構36實施方式之一可由多種材質疊構而成，各材質具有不同的膨脹係數，因此結合的機構將可以根據溫度改變而有一定曲度的變化，藉此作為機構上的補償用途。溫度補償機構36的初始狀態示意顯示如圖3A，一端連結著承載機構30的固定部位，另一端則是連結承載機構的移動部位35。多鏡頭模組34與多感測器模組32有一初始間距，之後經過溫度補償之後，溫度補償機構36可能有曲率的物理變化，因此帶動移動部位35連同多鏡頭模組34移動，使得與多感測器模組32之間有了另一間距，如圖3B所示。

然而，經間距調整後，影像可以正確地成像於感測器上，同時也造成成像在感測器上的成像位置或範圍也產生了變化，因此原本用於多相機影像擷取系統的影像重組參數同樣需要修正，本發明系統即先取得多鏡頭模組34相對於多感測器模組32的位移距離，實施例之一將於此多相機影像擷取系統中設置有一位置感測模組(301,303)，用以感測多鏡頭模組34與多感測器模組32之間距變化。之後再根據此位移或間距提出對應的影像重組參數。

實施例同樣可參閱圖3A與圖3B，位置感測模組之實施例之一可以在多相機影像擷取系統中的固定結構上，如影像擷取模組承載機構30，設有一組霍爾效應感測器(Hall effect sensor)303，以及在可被溫度補償機構36帶動的多鏡頭模組34的相關結構上設有一個作為指標用的磁性元件301。根據實施例之一，霍爾效應感測器303可設於承載機構30的固定部位，磁性元件301則可設於承載機構30的移動部位35，使得霍爾效應感測器303可以根據偵測到因為磁性元件301移動所產生的磁場變化，進而判斷出位移的量。

在另一實施例中，位置感測模組可為一應變感測器(strain gauge)，其可以直接設於溫度補償結構上，用以量測溫度補償機構的應變量，藉此判斷出位移量。

圖4A與圖4B所示之狀態示意圖用以表示上述系統在感測器上的成像因為溫度補償產生的位移而變化。

圖4A顯示多相機影像擷取系統拍攝一個場景時，場景有兩個景物，景物於系統內之一相機的感測器成像，如人臉401與愛心402。接著如圖4B所示，此例顯示溫度上升造成焦距變長的情況，因為溫度造成焦距改變後的補償措施，使得多鏡頭模組與多感測器模組之間距隨之變化，補償措施可使景物影像清楚的地成像於感測器上，但鏡頭與感測器間距變化與焦距變化讓景象於某一感測器的成像位置與/或範圍也產生改變，如圖所示的人臉401’與愛心402’。示意圖如圖4A與圖4B相較之下，其中物體的成像位置與範圍都產生了改變。

圖5顯示本發明多相機影像擷取系統實施例的功能方塊圖。

多相機影像擷取系統主要元件為影像擷取模組50，承載機構503上設有主要元件包括多鏡頭模組501與多感測器模組502，其中鏡頭與影像感測器的位置為相互對應，因此經過各個鏡頭的光線將成像於對應之影像感測器上。根據實施例之一，多鏡頭模組 501設於承載機構503的移動部位上，多感測器模組502則相對設於承載機構503的固定部位上，如整個系統的承載機構503。

影像擷取模組50上設有補償對焦錯誤的間距調整單元52，間距調整單元52連接多鏡頭模組501，進行補償時，當間距調整單元52帶動多鏡頭模組501移動時。位置感測模組54可以感測多鏡頭模組501的位置改變，系統透過位置感測模組54取得承載機構503上多鏡頭模組501與多感測器模組502之間的位移量或間距，位置感測模組54實施例可參閱圖3A與圖3B之描述。

接著，本發明所揭示的多相機影像擷取系統更根據此位移量或間距提出用來重組影像的影像重組參數，圖中影像重組參數產生單元56將根據多鏡頭模組501與多感測器模組502之間的位移量或間距調整而對應判斷出校正影像重組參數的資訊，最後將對應的重組參數提供給影像重組模組58進行影像重組。值得一提的是本發明提出對應位移或間距變化的影像重組參數，由影像重組模組58校正因為多鏡頭模組501與多感測器模組502之間因為補償焦距改變所產生的重組誤差問題，產生品質良好的影像。

根據實施例之一，根據多鏡頭模組501與多感測器模組502的位移或間距變化而提供影像重組參數的方法之一是建立一個查找表(lookup table,CUT)。對應的影像重組參數可利用對照多相機影像擷取系統內建的查找表獲得，查找表的建立是根據實驗獲得多鏡頭模組501與多感測器模組502的間距(像距改變牽動焦距變化)與影像重組參數的關係。舉例來說，查找表記載多鏡頭模組501與多感測器模組502之間的位移或間距與影像重組參數的對應關係，也就是記載多鏡頭模組501的位置變化所對應的影像重組參數。

接著如圖6所示，其中流程描述本發明多相機影像擷取系統之影像重組補償步驟實施例。

在本發明所揭示的多相機影像擷取系統中，如步驟S601所 述，溫度造成系統的焦距改變，於是可透過溫度補償機制補償因為溫度造成系統焦距產生變化的問題。如步驟S603所述，然而，補償機制同時造成系統內多鏡頭模組與多感測器模組的間距改變，也造成影像於感測器上的成像位置或範圍產生改變，於是多相機影像擷取系統將修正影像重組參數。如步驟S605，系統透過位置感測的功能取得多鏡頭模組與多感測器模組的位移或間距變化，再根據此位移或間距取得對應的影像重組參數。如步驟S607，實施例如上述，可以先建立位移或間距與影像重組參數的查找表，因此可以隨著不同的位移或間距變化而透過查找表得到影像重組參數。

系統接著根據對應的影像重組參數進行多相機影像擷取系統的影像重組，如步驟S609，以獲得多相機影像擷取系統融合後的影像。

綜上所述，習知技術為了補償因為溫度改變造成鏡頭光學特性改變，包括折射率改變，而產生了焦距變化，於是提出了調整多鏡頭模組與多感測器模組之間距的溫度補償機制，但卻忽略了因為多鏡頭模組與多感測器模組之間距改變造成景物影像成像位置或範圍的變化，使得原有影像重組的參數失效，於是為了讓多相機影像擷取系統正確重組影像，本發明實施例提出了一種影像重組補償方法，取得上述多鏡頭模組與多感測器模組之位移或間距而提出對應的影像重組參數，進而調整影像重組參數。

惟以上所述僅為本發明之較佳可行實施例，非因此即侷限本發明之專利範圍，故舉凡運用本發明說明書及圖示內容所為之等效結構變化，均同理包含於本發明之範圍內，合予陳明。

S601‧‧‧多相機影像擷取系統由於溫度影響，焦距產生變化

S603‧‧‧補償機制補償焦距變化

S605‧‧‧偵測間距

S607‧‧‧獲得影像重組參數

S609‧‧‧獲得融合後影像

Claims (9)

1. 一種多相機影像擷取系統，包括：一多鏡頭模組，由多個鏡頭排列組成；一多感測器模組，由多個光感測器排列組成，該多個影像感測器的位置係一對一對應到該多個鏡頭的排列位置；一間距調整單元，為針對溫度影響造成焦距改變的一溫度補償機構；該間距調整單元用以調整該多鏡頭模組與該多感測器模組之間距；一位置感測模組，係用以感測該多鏡頭模組與該多感測器模組之間的位移或間距變化；以及一影像重組參數產生單元，係根據該位置感測模組感測到該多鏡頭模組與該多感測器模組之間的位移或間距產生一影像重組參數。
2. 如請求項1所述的多相機影像擷取系統，其中該多鏡頭模組設於一承載機構的移動部位，該多感測器模組設於該承載機構的固定部位；該位置感測模組包括一設於該承載機構的固定部位的霍爾效應感測器，以及設於該承載機構的移動部位的一磁性元件，以感測該溫度補償機構致使該多鏡頭模組與該多感測器模組之間的位移或間距變化。
3. 如請求項1所述的多相機影像擷取系統，其中該位置感測模組為一應變感測器，設於該溫度補償機構上，用以量測該溫度補償機構的應變量。
4. 一種多相機影像擷取系統的影像重組補償方法，包括：取得該多相機影像擷取系統中一多鏡頭模組與一多感測器模組之間的位移或間距變化；以及若偵測到位移或間距改變，取得一組影像重組參數。
5. 如請求項4所述的影像重組補償方法，其中該多相機影像擷取系統之該多鏡頭模組係由多個鏡頭排列組成、該多感測器模組係由多個影像感測器排列組成，且該多個影像感測器的位置係一對一對應到該多個鏡頭的排列位置；更包括針對溫度影響造成焦距改變而補償形成該位移或間距改變的一間距調整單元，以及感測該位移或間距改變的一位置感測模組。
6. 如請求項5所述的影像重組補償方法，其中該間距調整單元係為一溫度補償機構。
7. 如請求項6所述的影像重組補償方法，其中該多鏡頭模組與該多感測器模組之位移或間距變化係根據一設於該溫度補償機構上的應變感測器的應變量所得到。
8. 如請求項6所述的影像重組補償方法，其中該多相機影像擷取系統中該多鏡頭模組與該多感測器模組之位移或間距變化係以設於該多相機影像擷取系統上之一霍爾效應感測器與一磁性元件所取得。
9. 如請求項7或8所述的影像重組補償方法，其中該方法提供一查找表，該查找表記載該多鏡頭模組與該多感測器模組之位移或間距與影像重組參數的對應關係。