TWI858472B

TWI858472B - 圖像系統

Info

Publication number: TWI858472B
Application number: TW111149573A
Authority: TW
Inventors: 彭明輝
Original assignee: 大陸商星宸科技股份有限公司
Priority date: 2022-12-22
Filing date: 2022-12-22
Publication date: 2024-10-11
Also published as: TW202428016A

Abstract

圖像系統包含多個資料傳輸介面電路、多個視訊輸入介面電路以及自動曝光控制電路。每一個資料傳輸介面電路根據第一控制訊號與一第二控制訊號觸發以提供曝光參數資料給多個圖像感測器中的對應者。多個視訊輸入介面電路分別從該些圖像感測器接收多個圖像資料，而該第二控制訊號與至少一圖像資料的一圖幀時序相關。自動曝光控制電路從多個視訊輸入介面電路接收多個圖像資料，並根據該些圖像資料更新該曝光參數資料，並在更新曝光參數資料後產生該第一控制訊號。

Description

圖像系統

本案是關於圖像系統，尤其是可同步更新多個圖像感測器的圖像拼接系統。

在現有的圖像拼接系統中，是藉由系統中的中央處理器來依序更新多個圖像感測器的曝光參數。如此一來，多個圖像感測器的新曝光參數可能會在不同期間生效，因此可能發生多個圖像感測器依不同的曝光參數拍攝所得的多張圖像拼接成一拼接圖像而造成圖像品質不佳的情況。此外，若待處理的圖像感測器的數量較多，會使得中央處理器的工作負載變多，從而導致整體運行效率降低。

於一些實施態樣中，本案的目的之一在於提供一種圖像系統，其可改善上述先前技術的不足。

於一些實施態樣中，圖像系統包含複數個資料傳輸介面電路、複數個視訊輸入介面電路以及自動曝光控制電路。該些資料傳輸介面電路中每一者根據一第一控制訊號與一第二控制訊號觸發以提供一曝光參數資料給複數個圖像感測器中的一對應者。複數個視訊輸入介面電路分別從該些圖像感測器接收複數個圖像資料。其中該第二控制訊號與該些圖像資料中至少一者的一圖幀時序相關。自動曝光控制電路從該些視訊輸入介面電路接收該些圖像資料，並根據該些圖像資料更新該曝光參數資料，並在更新該曝光參數資料後產生該第一控制訊號。

有關本案的特徵、實作與功效，茲配合圖式作較佳實施例詳細說明如下。

0~3:圖幀

100:圖像系統

110[1],110[2]:資料傳輸介面電路

111[1],111[2]:直接記憶體存取電路

120[1],120[2]:視訊輸入介面電路

130:自動曝光控制電路

140:同步電路

150:時序控制電路

160:更新控制電路

200,300,400,500,600,700:圖像系統

205:記憶體

205A,205B:緩衝器

215:中央處理器

221:圖像接收器

222:字組直接記憶體存取電路

223:時序偵測器

510[1],510[2],610[2]:緩衝器

AE1,AE2:曝光參數資料

FS:圖幀同步訊號

ID1,ID2:圖像資料

IF1,IF2:圖像感測器

LS:行同步訊號

S21,S22,S23:操作

SC1:控制訊號

SC2:至少一控制訊號

ST:觸發訊號

VS:同步訊號

Vsync:垂直同步訊號

t0~t2:時間

〔圖1A〕為根據本案一些實施例繪製一種圖像系統的示意圖；〔圖1B〕為根據本案一些實施例繪製與圖1A中的多個圖像資料相關的圖幀時序的波形圖；〔圖2A〕為根據本案一些實施例繪製一種圖像系統的示意圖；〔圖2B〕為根據本案一些實施例繪製圖2A中的視訊輸入介面電路的示意圖；〔圖2C〕為根據本案一些實施例繪製圖2B中的時序偵測器所執行的操作流程圖；〔圖3〕為根據本案一些實施例中繪製的一種圖像系統的示意圖；〔圖4〕為根據本案一些實施例中繪製的一種圖像系統的示意圖；〔圖5〕為根據本案一些實施例中繪製的一種圖像系統的示意圖；〔圖6〕為根據本案一些實施例中繪製的一種圖像系統的示意圖；以及〔圖7〕為根據本案一些實施例中繪製的一種圖像系統的示意圖。

本文所使用的所有詞彙具有其通常的意涵。上述之詞彙在普遍常用之字典中之定義，在本案的內容中包含任一於此討論的詞彙之使用例子僅為示例，不應限制到本案之範圍與意涵。同樣地，本案亦不僅以於此說明書所示出的各種實施例為限。

關於本文中所使用之『耦接』或『連接』，均可指二或多個元件相互直接作實體或電性接觸，或是相互間接作實體或電性接觸，亦可指二或多個元件相互操作或動作。如本文所用，用語『電路』可為由至少一個電晶體與/或至少一個主被動元件按一定方式連接以處理訊號的裝置。

圖1A為根據本案一些實施例繪製一種圖像系統100的示意圖。在一些應用中，圖像系統100可控制多個圖像感測器IF1~IF2同步進行拍攝以產生多個圖像資料ID1~ID2，以組合(例如為拼接)該些圖像資料ID1~ID2為單一圖像。

圖像系統100包含多個資料傳輸介面電路110[1]~110[2]、多個視訊輸入介面電路120[1]~120[2]、自動曝光控制電路130、同步電路140、時序控制電路150、更新控制電路160。資料傳輸介面電路110[1]~110[2]分別耦接到多個圖像感測器IF1~IF2。在一些實施例中，資料傳輸介面電路110[1]~110[2]中每一者可為，但不限於，積體電路間(Inter-Integrated Circuit,I²C)匯流排介面電路。多個資料傳輸介面電路110[1]~110[2]中每一者可傳輸曝光參數資料給多個圖像感測器IF1~IF2中的一對應者。

具體而言，資料傳輸介面電路110[1]可傳輸曝光參數資料AE1給圖像感測器IF1，且資料傳輸介面電路110[2]可傳輸曝光參數資料AE2給圖像感測器IF2。曝光參數資料包含對應的圖像感測器在後續拍攝中要套用的控制參數，例如包含，但不限於，曝光時間、快門速度、放大增益等等。

多個視訊輸入介面(video input interface)電路120[1]~120[2]分別耦接到多個圖像感測器IF1~IF2。多個視訊輸入介面電路120[1]~120[2]中每一者可從多個圖像感測器IF1~IF2中的一對應者接收一對應的圖像資料。詳細而言，視訊輸入介面電路120[1]可自圖像感測器IF1接收圖像資料ID1，且視訊輸入介面電路120[2]可自圖像感測器IF2接收圖像資料ID2。

自動曝光控制電路130可從多個視訊輸入介面電路120[1]~120[2]接收多個圖像資料ID1~ID2，並根據該些圖像資料ID1~ID2執行一自動曝光演算法以決定是否更新曝光參數資料AE1~AE2。例如，若自動曝光控制電路130判斷多個圖像資料ID1~ID2的圖像內容之亮度過低，自動曝光控制電路130可決定增加多個圖像感測器IF1~IF2的曝光時間，並據此更新曝光參數資料AE1~AE2。在更新完曝光參數資料AE1~AE2後，自動曝光控制電路130更輸出控制訊號SC1，控制訊號SC1用以指示曝光參數資料AE1~AE2已更新。

在一些實施例中，自動曝光控制電路130可包含圖像處理電路(未示出)以及執行自動曝光演算法的處理電路(未示出)。圖像處理電路可接收多個圖像資料ID1~ID2，並對該些圖像資料ID1~ID2進行處理以產生多個圖像資訊(例如包含，但不限於，亮度分佈統計、灰階值、飽和度、對比等等)。該處理電路可根據該些圖像資訊執行該自動曝光演算法以決定是否更新曝光參數資料AE1~AE2。在一些實施例中，執行自動曝光演算法的處理電路可為，但不限於，系統中的中央處理器(例如為圖2A的中央處理器215)。

同步電路140產生同步訊號VS，以控制多個圖像感測器IF1~IF2同時進行拍攝以同步地產生該些圖像資料ID1~ID2。在一些實施例中，同步電路140可為多個圖像感測器IF1~IF2的從屬(slave)控制器。時序控制電路150根據多個圖像資料ID1~ID2產生至少一控制訊號SC2，其中至少一控制訊號SC2與該些圖像資料ID1~ID2中至少一者的圖幀(frame)時序相關。更新控制電路160根據控制訊號SC1以及至少一控制訊號SC2產生觸發訊號ST。如此，資料傳輸介面電路110[1]~110[2]可根據觸發訊號ST同時將更新後的曝光參數資料AE1~AE2傳送到多個圖像感測器IF1~IF2，使多個圖像感測器IF1~IF2以更新後的曝光參數資料AE1~AE2進行後續拍攝。

在不同實施例中，時序控制電路150的操作可由獨立電路執行，或是由多個視訊輸入介面電路120[1]~120[2]中的至少一者執行(即將時序控制電路150功能整合到視訊輸入介面電路120[1]~120[2]，如圖2A、圖3、圖4、圖5或圖6所示)，或是由同步電路140執行(即將時序控制電路150的功能整合到同步電路140，如圖7所示)。在不同實施例中，更新控制電路160可由獨立電路(例如為圖2A、圖5、圖6或圖7的中央處理器215)執行，或是由資料傳輸介面電路110[1]~110[2]執行(即將時序控制電路150的功能整合到資料傳輸介面電路110[1]~110[2]，如圖3或圖4所示)。

藉由上述設置方式，多個圖像感測器IF1~IF2可在相同時間內載入更新後的曝光參數資料AE1~AE2，並開始進行後續拍攝。如此，可確保多個圖像感測器IF1~IF2可在相同時間改為基於更新後的曝光參數資料AE1~AE2產生後續的圖像資料ID1及ID2，以獲得相近圖像品質的圖像內容。

圖1B為根據本案一些實施例繪製與圖1A中的多個圖像資料ID1~ID2相關的圖幀時序的波形圖。如前所述，多個圖像感測器IF1與IF2受控於同步訊號VS而同時產生多個圖像資料ID1~ID2。多個圖像資料ID1~ID2中每一者可包含多個圖幀0~3，且每一個圖幀的期間可由垂直同步訊號Vsync設定。

在此例中，在時間t0(例如是圖幀0結束的時間點)，自動曝光控制電路130接收到多個圖像資料ID1~ID2中每一者的圖幀0，並開始根據圖幀0的圖像內容決定是否要調整曝光參數資料AE1~AE2。在時間t1(在圖幀1的期間內)，自動曝光控制電路130計算出新的曝光參數資料AE1~AE2，並產生控訊號SC1。在時間t2(在圖幀1的期間內)，時序控制電路150根據圖像資料ID1或圖像資料ID2中至少一者的圖幀時序產生至少一控制訊號SC2，使得更新控制電路160根據控制訊號SC1以及至少一控制訊號SC2產生觸發訊號ST。於此條件下，資料傳輸介面電路110[1]~110[2]可根據觸發訊號ST將更新後的曝光參數資料AE1~AE2傳送到多個圖像感測器IF1~IF2。接著，在圖幀3開始後，更新後的曝光參數資料AE1~AE2可生效，使得多個圖像感測器IF1~IF2可基於更新後的曝光參數資料AE1~AE2進行拍攝來產生圖像資料ID1與ID2中的圖幀3。

在一些習知相關技術中，多個圖像感測器的曝光參數資料是在不同時間內被調整，使得更新後的曝光參數資料可能會在不同時間內生效，而導致多個圖像感測器在不同的圖幀期間開始使用更新後的曝光參數資料進行拍攝。在某些圖幀期間內，可能會有部分的圖像感測器使用更新後的曝光參數資料進行拍攝，且另一部分的圖像感測器仍在使用更新前的曝光參數資料進行拍攝。如此一來，拼接後所得到的圖像在該些圖幀內會具有較差的拍攝效果(例如，部分區域的亮度會過高等等)。藉由圖1A中的設置方式，可使得多個圖像感測器IF1~IF2在相同時間內載入更新後的曝光參數資料，以同時使用更新後的曝光參數資料來進行拍攝，使得拼接後所得到的圖像可具有較佳的拍攝效果。

圖2A為根據本案一些實施例繪製一種圖像系統200的示意圖。在此例中，圖像系統200更包含記憶體205，記憶體205中包括由不同記憶區塊構成的緩衝器205A及緩衝器205B，且圖1A的更新控制電路160可由系統中的中央處理器215實施，資料傳輸介面電路110[1]包含直接記憶體存取(direct memory access,DMA)電路111[1]，且資料傳輸介面電路110[2]包含直接記憶體存取電路111[2]。在一些實施例中，記憶體205可為，但不限於，動態隨機存取記憶體。在一些實施例中，記憶體205設置於圖像系統200之外，圖像系統200以外接的方式與記憶體205連接，記憶體205可為系統中與其他電路共用的記憶體。

自動曝光控制電路130可將曝光參數資料AE1儲存到記憶體205中的緩衝器205A，並將曝光參數資料AE2儲存到記憶體205中的緩衝器205B。資料傳輸介面電路110[1]與110[2]可根據控制訊號SC1與至少一控制訊號SC2控制直接記憶體存取電路111[1]與111[2]分別自緩衝器205A與205B讀取曝光參數資料AE1與AE2並將曝光參數資料AE1與AE2傳送給圖像感測器IF1與IF2。例如，中央處理器215可根據控制訊號SC1與至少一控制訊號SC2產生觸發訊號ST，且資料傳輸介面電路110[1]與110[2]可根據觸發訊號ST的觸發而分別控制直接記憶體存取電路111[1]與111[2]進行上述操作。

在此例中，圖1A的時序控制電路150的功能可整合到多個視訊輸入介面電路120[1]~120[2]中的一者。例如，視訊輸入介面電路120[2]可偵測圖像資料ID2的圖幀時序以產生至少一控制訊號SC2。詳細而言，視訊輸入介面電路120[2]更包含時序偵測器(例如為圖2B的時序偵測器223)，其可偵測所接收到的圖像資料ID2的行數，並在該行數符合一目標值時產生至少一控制訊號SC2。關於此處的操作與設置方式將於後參照圖2B與圖2C說明。

圖2B為根據本案一些實施例繪製圖2A中的視訊輸入介面電路120[2]的示意圖。視訊輸入介面電路120[2]包含圖像接收器221、字組直接記憶體存取(word DMA)電路222以及時序偵測器223。圖像接收器221可接收圖像資料ID2，並根據該圖像資料ID2的圖幀時序產生行同步訊號LS以及圖幀同步訊號FS。字組直接記憶體存取電路222可將圖像資料ID2轉存到記憶體205中的圖像緩衝器(未示出)。時序偵測器223可根據行同步訊號LS以及圖幀同步訊號FS確認當下所接收到圖像資料ID2的行數。

應當理解，圖像資料中的一圖幀可由多個行(line)組成，且可透過逐行處理圖像資料中的像素以顯示該圖幀。例如，當圖幀同步訊號FS轉態一次(例如為圖1B中的垂直同步訊號)，代表圖像資料ID2的圖幀開始。接著，若行同步訊號LS轉態，代表處理/接收完圖像資料ID2的第1行。依此類推，若行同步訊號LS轉態N次，代表處理/接收完圖像資料ID2的第N行。如此，時序偵測器223可包含一行計數器(未示出)，其可根據行同步訊號LS以及圖幀同步訊號FS進行計數，以確認圖像資料ID1的當前行數。時序偵測器223可將此行數與目標值進行比較，以決定是否輸出至少一控制訊號SC2。在此例中，至少一控制訊號SC2可為對中央處理器215的中斷請求。

圖2C為根據本案一些實施例繪製圖2B中的時序偵測器223所執行的操作流程圖。在操作S21，根據行同步訊號進行計數，以得到當前行數，並於接收到圖幀同步訊號FS時重置計數值。在操作S22，比較該當前行數與目標值，以確認當前行數是否等於該目標值。若當前行數等於該目標值，執行操作S23；反之，則再次執行操作S21。在操作S23，輸出至少一控制訊號(即至少一控制訊號SC2)。

在一些實施例中，該目標值可為一特定行數，該特定行數對應的時間點為足以讓自動曝光控制電路130產生更新後的曝光參數資料AE1或AE2的時間(例如可為圖1B中的時間t2)。在不同實施例中，依據實際需求，該目標值亦可設定為圖幀起始時間或圖幀結束時間所對應的行數，且本案並不以此為限。

圖3為根據本案一些實施例中繪製的一種圖像系統300的示意圖。在此例中，圖1A的更新控制電路160的功能可整合到多個資料傳輸介面電路110[1]與110[2]，且圖1B的時序控制電路150的功能可整合到多個視訊輸入介面電路120[1]與120[2]。

詳細而言，多個視訊輸入介面電路120[1]與120[2]中每一者的時序偵測器(例如為圖2B中的時序偵測器223)可根據一對應圖像資料產生至少一控制訊號SC2的一對應者，並將至少一控制訊號SC2的該對應者傳輸給對應的資料傳輸介面電路，使得該對應的資料傳輸介面電路可提供對應的曝光參數資料給對應的圖像感測器。例如，視訊輸入介面電路120[1]根據圖像資料ID1產生至少一控制訊號SC2中的一訊號，並將此訊號傳輸給資料傳輸介面電路110[1]。如此，資料傳輸介面電路110[1]可根據此訊號觸發而將曝光參數資料AE1載入到產生圖像資料ID1的圖像感測器IF1。類似地，視訊輸入介面電路120[2]、資料傳輸介面電路110[2]以及圖像感測器IF2之間的操作亦可依此類推。

如前所述，圖1A的更新控制電路160的功能可整合到多個資料傳輸介面電路110[1]與110[2]。例如，多個資料傳輸介面電路110[1]與110[2]中每一者的直接存取記憶體電路(例如為圖2A中的直接記憶體存取電路111[1]與111[2])可根據控制訊號SC1以及至少一控制訊號SC2中的一對應者觸發，而自記憶體205讀取對應的曝光參數資料AE1或AE2並藉由資料傳輸介面電路110[1]或110[2]傳輸給對應的圖像感測器IF1或IF2。如此，可避免中央處理器215受到過多的中斷請求，進而提升中央處理器215的處理效率。

在一些實施例中，圖3所示的設置方式可適用於圖像感測器IF1與圖像感測器IF2屬於不同類型的圖像感測器的情形。例如，在一些應用中，圖像感測器IF1可為一般圖像感測器，而圖像感測器IF2為紅外光感測器。在此情形下，由於兩者的硬體上可能存在不同的傳輸或處理延遲，藉由使用各自對應的一組資料傳輸介面電路以及視訊輸入介面電路來直接控制圖像感測器IF1與IF2，可避免中央處理器215受到延遲時間較長(可能要等待延遲時間較長的圖像感測器完成運作)的中斷請求。

圖4為根據本案一些實施例繪製的一種圖像系統400的示意圖。不同於圖3，在此例中，多個視訊輸入介面電路120[1]與120[2]中的一對應者(例如為視訊輸入介面電路120[2])可根據對應圖像資料ID2產生至少一控制訊號SC2，並將此至少一控制訊號SC2傳輸給多個資料傳輸介面電路110[1]與110[2]。例如，視訊輸入介面電路120[2]中的時序偵測器(例如為圖2B中的時序偵測器223)可根據對應圖像資料ID2產生至少一控制訊號SC2，並將至少一控制訊號SC2傳輸給多個資料傳輸介面電路110[1]與110[2]。如此，多個資料傳輸介面電路110[1]與110[2]可根據控制訊號SC1以及至少一控制訊號SC2以傳輸對應的曝光參數資料AE1或AE2給對應的圖像感測器IF1或IF2。

圖5為根據本案一些實施例繪製的一種圖像系統500的示意圖。相較於圖2，圖像系統500未使用到記憶體205。在此例中，多個資料傳輸介面電路110[1]與110[2]中每一者包含緩衝器(分別標示為緩衝器510[0]以及緩衝器510[2])。緩衝器510[0]與緩衝器510[2]可由暫存器或靜態隨機存取記憶體(SRAM)所構成。緩衝器510[1]可儲存圖像感測器IF1要接收的曝光參數資料AE1，且緩衝器510[2]可儲存圖像感測器IF2要接收的曝光參數資料AE2。多個資料傳輸介面電路110[1]與110[2]可根據觸發訊號ST觸發，而將緩衝器510[0]以及緩衝器510[2]中的曝光參數資料AE1~AE2分別載入到圖像感測器IF1與IF2。

圖6為根據本案一些實施例繪製的一種圖像系統600的示意圖。不同於圖5。在此例中，多個資料傳輸介面電路110[1]與110[2]中之一者包含緩衝器，且此緩衝器儲存所有圖像感測器IF1~IF2所要接收的曝光參數資料AE1與AE2。例如，資料傳輸介面電路110[2]包含緩衝器610[2]，其可儲存曝光參數資料AE1與AE2。緩衝器610[2]可由暫存器或靜態隨機存取記憶體所構成。資料傳輸介面電路110[1]可從緩衝器610[2]讀出該曝光參數資料AE1。在一實施例中，緩衝器610[2]可設置於資料傳輸介面電路110[2]之外部，並由多個資料傳輸介面電路110[1]與110[2]所共用。

圖7為根據本案一些實施例繪製的一種圖像系統700的示意圖。不同於圖2。在此例中，圖1A的時序控制電路150(或圖2B中的時序偵測器223)的功能整合到同步電路140。換言之，同步電路140可根據同步訊號VS的相關資訊(例如包含，但不限於，圖1B中的垂直同步訊號Vsync的時序)來產生至少一控制訊號SC2。中央處理器215可根據此至少一控制訊號SC2以及控制訊號SC1決定是否產生觸發訊號ST。

為方便說明，上述多個實施例僅以兩個圖像感測器為例說明。依據實際應用需求，上述的多個實施例可使用2個或2個以上的圖像感測器。因此，本案所適用的圖像感測器數量並不限於上述的多個實施例。在上述多個實施例中，中央處理器215亦可由獨立電路實施，以更進一步降低中央處理器215的負載。此外，上述多個實施例中係以圖像拼接之應用場景來說明本案可使多個圖像感測器同時更新曝光參數資料之圖像系統，然而該些實施例並非用來限定本案之圖像系統亦應用於其它場景。

綜上所述，本案一些實施例中的圖像系統具有多種設置方式，以使多個圖像感測器可同時更新曝光參數資料以獲得較為一致的拼接圖像。再者，在一些設置方式中，可將更新曝光參數資料的操作整合到其他電路或是由獨立電路執行以降低中央處理器的負載，從而改善整體系統的運行效率。

雖然本案之實施例如上所述，然而該些實施例並非用來限定本案，本技術領域具有通常知識者可依據本案之明示或隱含之內容對本案之技術特徵施以變化，凡此種種變化均可能屬於本案所尋求之專利保護範疇，換言之，本案之專利保護範圍須視本說明書之申請專利範圍所界定者為準。