TWI581211B - 影像融合裝置及其方法 - Google Patents

Description

影像融合裝置及其方法

本揭露係關於一種影像融合裝置及方法，特別是指一種無縫影像融合裝置及其方法。

在影像融合或串接中，最常遇到的是影像出現接縫所產生的不自然現象，尤其在虛擬實境(Virtual Reality,VR)之應用中，特別注重影像之自然才不易造成人眼之不舒服。而且，在即時(real-time)之考量上，解決融合影像之接縫問題亦需要快速演算法來達成。

目前之影像融合或串接技術中，常見的有多頻段融合(multi-band blending)技術、α融合(alpha blending)技術、以及梯度域影像串接(Gradient-domain Image Stitching,GIST)技術。多頻段融合技術之影像融合效果較佳，但解決融合影像之接縫時間較長而不符合即時需求。α融合技術解決融合影像之接縫時間較短，但影像融合效果較差。

再者，梯度域影像串接(GIST)技術之影像融合效果與融合影像之接縫時間則介於多頻段融合技術與α融合技術之間，但因梯度域影像串接技術使用二個影像作為目標函 數(object function)或價值函數(cost function)之參考值，並使用α(alpha)融合在目標函數或價值函數上，故梯度域影像串接技術之演算法較複雜，以致解決融合影像之接縫時間較長。

因此，解決上述問題，實已成為本領域技術人員之一大課題。

本揭露提供一種影像融合裝置，適用於包括一記憶體及一處理器之一影像處理系統，影像融合裝置包括：一影像提供模組，其經配置提供一具有第一重疊區域之第一影像與一具有第二重疊區域之第二影像，且第一重疊區域與第二重疊區域為第一影像與第二影像之重疊區域；以及一影像融合模組，其經配置產生第一影像之第一梯度影像與第二影像之第二梯度影像，並計算第一梯度影像之第一重疊區域中多個第一像素點各自之第一距離權重、與第二梯度影像之第二重疊區域中多個第二像素點各自之第二距離權重，其中，影像融合模組經配置依據多個第一像素點各自之第一距離權重與相對應位置的多個第二像素點各自之第二距離權重，將第一梯度影像與第二梯度影像融合成一融合梯度影像，並還原融合梯度影像為一融合影像。

本揭露亦提供一種影像融合方法，適用於包括一記憶體及一處理器之一影像處理系統，影像融合方法包括：由經配置之一影像提供模組提供一具有第一重疊區域之第一影像與一具有第二重疊區域之第二影像，且第一重疊區域 與第二重疊區域為第一影像與第二影像之重疊區域；由經配置之一影像融合模組產生第一影像之第一梯度影像與第二影像之第二梯度影像；由經配置之影像融合模組計算第一梯度影像之第一重疊區域中多個第一像素點各自之第一距離權重、與第二梯度影像之第二重疊區域中多個第二像素點各自之第二距離權重；由經配置之影像融合模組依據多個第一像素點各自之第一距離權重與相對應位置的多個第二像素點各自之第二距離權重，將第一梯度影像與第二梯度影像融合成一融合梯度影像；以及由經配置之影像融合模組還原融合梯度影像為一融合影像。

由上可知，本揭露之影像融合裝置及其方法中，使用至少梯度影像與距離權重等技術，以利達成融合影像無接縫、融合影像之接縫時間較短、影像融合效果較佳等功效。

為讓本揭露之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明。在以下描述內容中將部分闡述本揭露之額外特徵及優點，且此等特徵及優點將部分自所述描述內容顯而易見，或可藉由對本揭露之實踐習得。本揭露之特徵及優點借助於在申請專利範圍中特別指出的元件及組合來認識到並達到。應理解，前文一般描述與以下詳細描述兩者均僅為例示性及解釋性的，且不欲約束本揭露所主張之範圍。

1‧‧‧影像融合裝置

2‧‧‧影像提供模組

3‧‧‧影像融合模組

31‧‧‧目標函數運算式

A‧‧‧重疊區域

A1‧‧‧第一重疊區域

A2‧‧‧第二重疊區域

B1‧‧‧第一非重疊區域

B2‧‧‧第二非重疊區域

D1、D2‧‧‧方向

E1‧‧‧第一中心點

E2‧‧‧第二中心點

F、P‧‧‧像素點

F1、P1‧‧‧第一像素點

F2、P2‧‧‧第二像素點

G‧‧‧梯度值

G1‧‧‧第一梯度值

G2‧‧‧第二梯度值

H1、H2、H3‧‧‧欄

I₁‧‧‧第一影像

I₂‧‧‧第二影像

J1‧‧‧融合梯度影像

J2‧‧‧目標融合影像

J3‧‧‧融合影像

Q‧‧‧像素值

Q1‧‧‧第一像素值

Q2‧‧‧第二像素值

R1‧‧‧第一參考值

R2‧‧‧第二參考值

S1至S6‧‧‧步驟

w1‧‧‧第一距離權重

w2‧‧‧第二距離權重

X、Y‧‧‧座標

▽I₁‧‧‧第一梯度影像

▽I₂‧‧‧第二梯度影像

第1圖係繪示本揭露之影像融合裝置之一實施例方塊示意圖； 第2圖係繪示本揭露之影像融合方法之一實施例流程圖；第3A圖至第3D圖係繪示本揭露之影像融合方法之一實施例示意圖；以及第4A圖至第4G圖係繪示本揭露之影像融合方法之一實施例示意圖。

以下藉由特定的具體實施形態說明本揭露之實施方式，熟悉此技術之人士可由本說明書所揭示之內容輕易地了解本揭露之其他優點與功效，亦可藉由其他不同的具體實施形態加以施行或應用。

第1圖係繪示本揭露之影像融合裝置1之一實施例方塊示意圖，第2圖係繪示本揭露之影像融合方法之一實施例流程圖，第3A圖至第3D圖係繪示本揭露之影像融合方法之一實施例示意圖，第4A圖至第4G圖係繪示本揭露之影像融合方法之一實施例示意圖。

如第1圖與第2圖實施例所示，影像融合裝置1與影像融合方法可適用於包括一記憶體及一處理器之一影像處理系統(圖中未繪示)。同時，影像融合裝置1主要包括一影像提供模組2與一影像融合模組3，其中，影像提供模組2可為影像擷取器、影像擷取卡、儲存器、記憶體、記憶卡或其組合等，且儲存器可為硬碟、軟碟、光碟或隨身碟等，影像融合模組3可為影像處理器、影像處理軟體或其組合等，但不以此為限。

如第1圖、第2圖、第3A圖與第4A圖實施例所示，在第2圖之步驟S1中，由經配置之影像提供模組2提供一具有第一重疊區域A1與第一非重疊區域B1之第一影像I₁、以及一具有第二重疊區域A2與第二非重疊區域B2之第二影像I₂，且第一重疊區域A1與第二重疊區域A2為第一影像I₁與第二影像I₂之重疊區域A(見第3D圖或第4D圖)。

詳言之，在第4A圖之實施例中，第一影像I₁可包括多個具有第一像素值Q1之第一像素點P1，但不包括多個第一參考值R1。第二影像I₂可包括多個具有第二像素值Q2之第二像素點P2，但不包括多個第二參考值R2。第一參考值R1或第二參考值R2可例如為數值0至255其中一者，本實施例以數值0至255之平均值127(中間值)作為例子。

如第1圖、第2圖、第3B圖與第4B圖實施例所示，在第2圖之步驟S2中，由經配置之影像融合模組3產生第一影像I₁之第一梯度影像▽I₁與第二影像I₂之第二梯度影像▽I₂。

詳言之，在第4B圖之實施例中，影像融合模組3可依據第4A圖之多個第一參考值R1與第一影像I₁中多個第一像素點P1各自之第一像素值Q1計算出第4B圖之第一梯度影像▽I₁中多個第一像素點P1各自之第一梯度值G1，並依據第4A圖之多個第二參考值R2與第二影像I₂中多個第二像素點P2各自之第二像素值Q2計算出第4B 圖之第二梯度影像▽I₂中多個第二像素點P2各自之第二梯度值G2。在第4A圖或第4B圖實施例中，多個第一像素點P1可為第一影像I₁或第一梯度影像▽I₁之全部像素點，多個第二像素點P2可為第二影像I₂或第二梯度影像▽I₂之全部像素點。

舉例而言，以計算第一梯度影像▽I₁於X軸方向之多個第一梯度值G1、與第二梯度影像▽I₂於X軸方向之多個第二梯度值G2為例。在第4B圖之第一梯度影像▽I₁中，影像融合模組3可將第4A圖左側上方之第一參考值(即128)往右減掉第4A圖左上角之第一影像I₁之第一像素值Q1(即110)以對應得到第4B圖左上角之第一梯度值G1(即18)。再者，影像融合模組3可將前述第4A圖之第一像素值Q1(即110)再往右減掉第一像素值Q1(即110)以對應得到第4B圖之第一梯度值G1(即0)，以此類推。

同時，在第4B圖之第二梯度影像▽I₂中，影像融合模組3可將第4B圖右側上方之第二參考值R2(即128)往左減掉第4A圖右上角之第二影像I₂之第二像素值Q2(即112)以對應得到第4B圖右上角之第二梯度值G2(即16)。再者，影像融合模組3可將前述第4A圖之第二像素值Q2(即112)再往左減掉第二像素值Q2(即112)以對應得到第4B圖之第二梯度值G2(即0)，以此類推。

同理，依上述計算方式，還可進一步計算出第一梯度影像▽I₁於Y軸方向之多個第一梯度值G1、與第二梯度影像▽I₂於Y軸方向之多個第二梯度值G2，但在此不再重覆 敘述。

如第1圖、第2圖、第3C圖與第4C圖實施例所示，在第2圖之步驟S3中，由經配置之影像融合模組3計算第一梯度影像▽I₁之第一重疊區域A1中多個第一像素點P₁各自之第一距離權重w1、與第二梯度影像▽I₂之第二重疊區域A2中多個第二像素點P2各自之第二距離權重w2。

詳言之，在第4C圖之實施例中，影像融合模組3可依據第一梯度影像▽I₁之第一重疊區域A1中多個第一像素點P1與第一梯度影像▽I₁之第一中心點E1之距離計算出多個第一像素點P1各自之第一距離權重w1，並依據第二梯度影像▽I₂之第二重疊區域A2中多個第二像素點P2與第二梯度影像▽I₂之第二中心點E2之距離計算出多個第二像素點P2各自之第二距離權重w2。

舉例而言，第4C圖之第一中心點E1之座標(X,Y)為(0,0)，第一像素點F1之座標(X,Y)為(3,1)，則第一像素點F1之第一距離權重w1等於。同理，第4C圖之第二中心點E2之座標(X,Y)為(0,0)，第二像素點F2之座標(X,Y)為(2,1)，則第二像素點F2之第二距離權重w2等於，以此類推。

如第1圖、第2圖、第3D圖與第4D圖實施例所示，在第2圖之步驟S4中，由經配置之影像融合模組3依據第3C圖(第4C圖)中多個第一像素點P1各自之第一距離權重w1與相對應位置(或座標)的多個第二像素點P2各自之第二距離權重w2，將第3C圖(第4C圖)之第一梯度影像▽I₁ 與第二梯度影像▽I₂分別依據方向D1及方向D2融合成第3D圖(第4D圖)之融合梯度影像J1。

詳言之，在第4D圖之實施例中，影像融合模組3可依據第4B圖之第一梯度影像▽I₁之第一重疊區域A1中多個第一像素點P1各自之第一梯度值G1、第二梯度影像▽I₂之第二重疊區域A2中多個第二像素點P2各自之第二梯度值G2、第4C圖之多個第一像素點P1各自之第一距離權重w1與多個第二像素點P2各自之第二距離權重w2，計算出第4D圖之融合梯度影像J1之重疊區域A中多個像素點P各自之梯度值G。

舉例而言，以第4D圖之重疊區域A之像素點F(即第4B圖與第4C圖中第一像素點F1與第二像素點F2兩者重疊之像素點F)為例，影像融合模組3可將「第4B圖之第一像素點F1之第一梯度值G1(即0)乘以第4C圖之第二像素點F2之第二梯度值G2(即)」，加上「第4B圖之第二像素點F2之第二梯度值G2(即4)乘以第4C圖之第一像素點F1之第一梯度值G1(即)」，再除以「第4C圖之第二像素點F2之第二梯度值G2(即)加上第4C圖之第一像素點F1之第一梯度值G1(即)」，以得到第4D圖之像素點F之梯度值G(約等於2)，亦即如下列運算式所示，並可以此類推。

如第1圖、第2圖與第4E圖實施例所示，在第2圖之步驟S5中，由經配置之影像融合模組3依據例如下列目標 函數運算式31(或價值函數運算式)，計算出第4D圖之融合梯度影像J1之重疊區域A中多個像素點P各自之梯度值G以產生第4E圖之目標融合影像J2。

其中，min為最小化，q為第4D圖之融合梯度影像J₁之重疊區域A中多個像素點P各自之座標(X,Y)，為第4E圖之目標融合影像J2之重疊區域A中多個像素點P之各自梯度值G，▽C(q)為第₄D圖之融合梯度影像J₁之重疊區域A中多個像素點P各自之梯度值G。

要說明的是，本揭露亦可省略上述第2圖之步驟S5(第4E圖)，並直接從上述第2圖之步驟S4(第4D圖)進入下列第2圖之步驟S6(第4F圖至第4G圖)，以使影像融合模組3直接將第4D圖之融合梯度影像J1還原為下列第4G圖之融合影像J3。

如第1圖、第2圖、第4F圖與第4G圖實施例所示，在第2圖之步驟S6中，由影像融合模組3將第4E圖之目標融合影像J2還原為第4G圖之融合影像J3。

詳言之，在第4F圖與第4G圖之實施例中，影像融合模組3可依據第4A圖之第一影像I₁之第一非重疊區域B1中多個第一像素點P1(如欄H1之第一像素點P1)各自之第一像素值Q1、第4B圖之第一梯度影像▽I₁之第一非重疊區域B1中多個第一像素點P1(如欄H1之第一像素點P1)各自之第一梯度值G1、與第4E圖之目標融合影像J2之重 疊區域A中多個像素點P各自之梯度值G，計算出第4G圖之融合影像J3之重疊區域A中多個像素點P各自之像素值Q。

舉例而言，以第4G圖之重疊區域A之欄H2為例，影像融合模組3可將第4B圖之第一梯度影像▽I₁之欄H1中多個第一梯度值G1(如4,0,2,2,-16,0)分別填入第4F圖之目標融合影像J2之欄H1中，並將第4A圖之第一影像I₁之欄H1中多個第一像素值Q1(如108,112,64,64,80,112)分別減掉第4F圖之目標融合影像J2之欄H1中多個第一梯度值G1(如4,0,2,2,-16,0)，以得出第4G圖之融合影像J3之重疊區域A中欄H2之多個像素點P各自之像素值Q(如104,112,62,62,96,112)。

再者，影像融合模組3可將第4G圖中H2欄之多個像素點P各自之像素值Q(如104,112,62,62,96,112)分別減掉第4F圖之目標融合影像J2之欄H2中多個梯度值G(如-3,3,4,2,-22,-3)，以得出第4G圖之欄H3之多個像素點P各自之像素值Q(如107,109,58,60,108,115)。

另外，影像融合模組3可將第4A圖之第一影像I₁之第一非重疊區域B1中多個第一像素點P1各自之第一像素值Q1分別填入第4G圖之第一非重疊區域B1中，並將第4A圖之第二影像I₂之第二非重疊區域B2中多個第二像素點P2各自之第二像素值Q2分別填入第4G圖之第二非重疊區域B2中，藉此得到第4G圖之融合影像J3。

由上可知，本揭露之影像融合裝置及其方法中，使用 至少梯度影像與距離權重等技術，以利達成融合影像無接縫、融合影像之接縫時間較短、影像融合效果較佳等功效，並可透過較簡易之價值函數運算式以較為即時或較為快速地融合至少二影像。

上述實施形態僅例示性說明本揭露之原理、特點及其功效，並非用以限制本揭露之可實施範疇，任何熟習此項技藝之人士均可在不違背本揭露之精神及範疇下，對上述實施形態進行修飾與改變。任何運用本揭露所揭示內容而完成之等效改變及修飾，均仍應為下述之申請專利範圍所涵蓋。因此，本揭露之權利保護範圍，應如申請專利範圍所列。

1‧‧‧影像融合裝置

2‧‧‧影像提供模組

3‧‧‧影像融合模組

31‧‧‧目標函數運算式

A1‧‧‧第一重疊區域

A2‧‧‧第二重疊區域

I₁‧‧‧第一影像

I₂‧‧‧第二影像

▽I₁‧‧‧第一梯度影像

▽I₂‧‧‧第二梯度影像

J1‧‧‧融合梯度影像

J2‧‧‧目標融合影像

J3‧‧‧融合影像

w1‧‧‧第一距離權重

w2‧‧‧第二距離權重

Claims (13)

1. 一種影像融合裝置，適用於包括一記憶體及一處理器之一影像處理系統，該影像融合裝置包括：一影像提供模組，其經配置提供一具有第一重疊區域之第一影像與一具有第二重疊區域之第二影像，且該第一重疊區域與該第二重疊區域為該第一影像與該第二影像之重疊區域；以及一影像融合模組，其經配置產生該第一影像之第一梯度影像與該第二影像之第二梯度影像，並計算該第一梯度影像之該第一重疊區域中多個第一像素點各自之第一距離權重、與該第二梯度影像之該第二重疊區域中多個第二像素點各自之第二距離權重，其中，該影像融合模組經配置依據該多個第一像素點各自之第一距離權重與相對應位置的該多個第二像素點各自之第二距離權重，將該第一梯度影像與該第二梯度影像融合成一融合梯度影像，並還原該融合梯度影像為一融合影像。
2. 如申請專利範圍第1項所述之影像融合裝置，其中，該影像提供模組為影像擷取器、影像擷取卡、儲存器、記憶體、記憶卡或其組合，該影像融合模組為影像處理器、影像處理軟體或其組合。
3. 如申請專利範圍第1項所述之影像融合裝置，其中，該影像融合模組更依據多個第一參考值與該第一影像中該多個第一像素點各自之第一像素值計算出該第一 梯度影像中該多個第一像素點各自之第一梯度值，並依據多個第二參考值與該第二影像中該多個第二像素點各自之第二像素值計算出該第二梯度影像中該多個第二像素點各自之第二梯度值。
4. 如申請專利範圍第1項所述之影像融合裝置，其中，該影像融合模組更依據該第一梯度影像之該第一重疊區域中該多個第一像素點與該第一梯度影像之第一中心點之距離計算出該多個第一像素點各自之該第一距離權重，並依據該第二梯度影像之該第二重疊區域中該多個第二像素點與該第二梯度影像之第二中心點之距離計算出該多個第二像素點各自之該第二距離權重。
5. 如申請專利範圍第1項所述之影像融合裝置，其中，該影像融合模組更依據該第一梯度影像之該第一重疊區域中該多個第一像素點各自之第一梯度值、該第二梯度影像之第二重疊區域中該多個第二像素點各自之第二梯度值、該多個第一像素點各自之該第一距離權重與該多個第二像素點各自之該第二距離權重，計算出該融合梯度影像之重疊區域中多個像素點各自之梯度值。
6. 如申請專利範圍第1項所述之影像融合裝置，其中，該影像融合模組更依據下列目標函數運算式計算出該融合梯度影像之該重疊區域中多個像素點各自之梯度值以產生一目標融合影像，並將該目標融合影像還原 為該影像融合， 其中，min為最小化，q為該融合梯度影像之該重疊區域中該多個像素點各自之座標，為該目標融合影像之該重疊區域中該多個像素點各自之梯度值，▽C(q)為該融合梯度影像之該重疊區域中該多個像素點各自之梯度值。
7. 如申請專利範圍第1項所述之影像融合裝置，其中，該影像融合模組更依據該第一影像之第一非重疊區域中該多個第一像素點各自之第一像素值、該第一梯度影像之該第一非重疊區域中該多個第一像素點各自之第一梯度值、與目標融合影像之該重疊區域中多個像素點各自之梯度值，計算出該融合影像之該重疊區域中該多個像素點各自之像素值。
8. 一種影像融合方法，適用於包括一記憶體及一處理器之一影像處理系統，該影像融合方法包括：由經配置之一影像提供模組提供一具有第一重疊區域之第一影像與一具有第二重疊區域之第二影像，且該第一重疊區域與該第二重疊區域為該第一影像與該第二影像之重疊區域；由經配置之一影像融合模組產生該第一影像之第一梯度影像與該第二影像之第二梯度影像；由經配置之該影像融合模組計算該第一梯度影像 之該第一重疊區域中多個第一像素點各自之第一距離權重、與該第二梯度影像之該第二重疊區域中多個第二像素點各自之第二距離權重；由經配置之該影像融合模組依據該多個第一像素點各自之第一距離權重與相對應位置的該多個第二像素點各自之第二距離權重，將該第一梯度影像與該第二梯度影像融合成一融合梯度影像；以及由經配置之該影像融合模組還原該融合梯度影像為一融合影像。
9. 如申請專利範圍第8項所述之影像融合方法，更包括由經配置之該影像融合模組依據多個第一參考值與該第一影像中該多個第一像素點各自之第一像素值計算出該第一梯度影像中該多個第一像素點各自之第一梯度值，並依據多個第二參考值與該第二影像中該多個第二像素點各自之第二像素值計算出該第二梯度影像中該多個第二像素點各自之第二梯度值。
10. 如申請專利範圍第8項所述之影像融合方法，更包括由經配置之該影像融合模組依據該第一梯度影像之該第一重疊區域中該多個第一像素點與該第一梯度影像之第一中心點之距離計算出該多個第一像素點各自之該第一距離權重，並依據該第二梯度影像之該第二重疊區域中該多個第二像素點與該第二梯度影像之第二中心點之距離計算出該多個第二像素點各自之該第二距離權重。
11. 如申請專利範圍第8項所述之影像融合方法，更包括由經配置之該影像融合模組依據該第一梯度影像之該第一重疊區域中該多個第一像素點各自之第一梯度值、該第二梯度影像之第二重疊區域中該多個第二像素點各自之第二梯度值、該多個第一像素點各自之該第一距離權重與該多個第二像素點各自之該第二距離權重，計算出該融合梯度影像之重疊區域中多個像素點各自之梯度值。
12. 如申請專利範圍第8項所述之影像融合方法，更包括由經配置之該影像融合模組依據下列目標函數運算式計算出該融合梯度影像之該重疊區域中多個像素點各自之梯度值以產生一目標融合影像，並將該目標融合影像還原為該影像融合， 其中，min為最小化，q為該融合梯度影像之該重疊區域中該多個像素點各自之座標，為該目標融合影像之該重疊區域中該多個像素點各自之梯度值，▽C(q)為該融合梯度影像之該重疊區域中該多個像素點各自之梯度值。
13. 如申請專利範圍第8項所述之影像融合方法，更包括由經配置之該影像融合模組依據該第一影像之第一非重疊區域中該多個第一像素點各自之第一像素值、該第一梯度影像之該第一非重疊區域中該多個第一像素 點各自之第一梯度值、與目標融合影像之該重疊區域中多個像素點各自之梯度值，計算出該融合影像之該重疊區域中該多個像素點各自之像素值。