TWI578268B - 鳥瞰影像系統及其補償方法 - Google Patents

Description

鳥瞰影像系統及其補償方法

本發明是有關於一種影像補償方法及其系統，特別是指一種提升鳥瞰影像接合邊界之影像資訊一致性之鳥瞰影像系統及其補償方法。

目前，在車輛的安全設計中，利用搭載於行動載具周遭的影像擷取模組，用以發展動態影像式的全景鳥瞰輔助駕駛系統為近年來各大車廠以及行動載具系統商的主要研發重點。藉由影像轉換與調整，將一般影像擷取模組所擷取的環境影像進行鳥瞰轉換，再予以接合以形成的全景鳥瞰影像，不僅可提供駕駛者參考行車動向，更進一步地提昇行車駕駛之安全性。

然於習知之全景鳥瞰輔助駕駛技術中，雖行動載具各方向所搭載之影像擷取模組取像方式，係以能包含行動載具環境而設計架設，但由於行車環境下所接受之入射光源方向之不同，致使各影像擷取模組取得的影像之影像資訊(如：亮度或色度)彼此間無法具有一致性，故所組成之全景鳥瞰影像中各相鄰區域之影像資訊將隨著不同影像擷取模組所感測到的不同光源來源而產生色差或亮度不一致之現象，因此常令駕駛者對所見影像混淆而降低了輔助駕駛的效果。

綜觀前所述，本發明旨在設計一種鳥瞰影像系統及其補償方法，針對現有全景鳥瞰影像系統之不足加以改善，以克服因習知鳥瞰影像中影像資訊不一致，所造成駕駛者無法快速且明確地判斷當下之行車駕駛狀態之不足點，增加駕駛者在實車環境下的便利性，進一步提升道路行車安全。

據此，本發明提出一種鳥瞰影像系統，其包含：一處理模組以及一影像補償模組。該處理模組係接收並處理由該鳥瞰影像系統之各個鏡頭所擷取的各個影像畫面所拼接而成的一鳥瞰影像。該影像補償模組係補償該鳥瞰影像。其中，該處理模組係根據各個該影像畫面與其左或右側相鄰影像畫面間之交接區域或重疊區域的一影像資訊差值，來計算一第一補償值，並根據該影像畫面與其另一側相鄰影像畫面間之交接區域或重疊區域的另一影像資訊差值，來計算一第二補償值，該影像補償模組則根據該第一補償值及該第二補償值及一補償條件，來對該鳥瞰影像進行補償。

較佳地，該影像資訊係包含色彩、明暗資訊YUV值、RGB值、Lab值、YCbCr值、YPbPr值以及Luv值

較佳地，該補償條件係根據該第一補償值及該第二補償值之正值或負值所建立，當該第一補償值及該第二補償值同為正值或負值時，該影像補償模組則對該鳥瞰影像進行補償。

較佳地，該補償條件更根據當該第一補償值及該第二補償值非同為正值或負值時，該影像補償模組先選擇該第一補償值或該第二補償值對該鳥瞰影像進行補償，該處理模組再對各個該影像畫面 之交接區域或重疊區域進行縮小或擴增，並對應重新計算該第一補償值及該第二補償值，以使該影像補償模組再次根據重新計算後之該第一補償值及該第二補償值及一補償條件，對該鳥瞰影像進行補償。

較佳地，該影像補償模組係選擇該第一補償值及該第二補償值之中數值較小者做為一補償參數，或以其平均值做為補償參數，以該補償參數對該鳥瞰影像進行補償。

較佳地，該影像補償模組係利用該鳥瞰影像系統對前一次所擷取之該鳥瞰影像計算所得之該補償參數來對本次所擷取之該鳥瞰影像進行補償。

根據本發明之目的，本發明之發明人提供一種鳥瞰影像系統，其包含：一處理手段以及一影像補償手段。該處理手段係接收並處理由該鳥瞰影像系統之各個鏡頭所擷取的各個影像畫面所拼接而成的一鳥瞰影像，並根據各個該影像畫面與其左或右側相鄰影像畫面間之交接區域或重疊區域的一影像資訊差值，來計算一第一補償值，並根據該影像畫面與其另一側相鄰影像畫面間之交接區域或重疊區域的另一影像資訊差值，來計算一第二補償值。該影像補償手段係根據該第一補償值及該第二補償值及一補償條件，來對該鳥瞰影像進行補償。

根據本發明之目的，本發明提供一種鳥瞰影像補償方法，其包含下列步驟：利用一處理模組接收並處理由該鳥瞰影像系統之各個鏡頭所擷取的各個影像畫面所拼接而成的一鳥瞰影像；藉由該處理模組根據 各個該影像畫面與其左或右側相鄰影像畫面間之交接區域或重疊區域的一影像資訊差值，來計算一第一補償值；利用該處理模組根據各個該影像畫面與其另一側相鄰影像畫面間之交接區域或重疊區域的另一影像資訊差值，來計算一第二補償值；以及藉由該影像補償模組根據該第一補償值及該第二補償值及一補償條件，來對該鳥瞰影像進行補償。

承上所述，依本發明一種提升鳥瞰影像接合邊界之影像資訊一致性之鳥瞰影像系統及其補償方法，其可具有一或多個下述優點：此鳥瞰影像系統及其補償方法，可將由各個影像畫面拼接而成之鳥瞰影像之光影顏色看起來具有較佳之一致性，令駕駛者在應用上有較佳地視覺效果，減少駕駛者之視覺負擔。使駕駛者更清楚地了解行車環境的狀況，增加了行車駕駛之安全性。

1‧‧‧鳥瞰影像系統

10‧‧‧處理模組

101‧‧‧鳥瞰影像

1010‧‧‧本次鳥瞰影像

101a、101b、101c、101d‧‧‧影像畫面

102‧‧‧影像資訊差值

103‧‧‧前一次影像資訊差值

104‧‧‧本次影像資訊差值

11‧‧‧影像補償模組

111‧‧‧第一補償值

1110‧‧‧前一次影像之第一補償值

112‧‧‧第二補償值

1120‧‧‧前一次影像之第二補償值

113‧‧‧補償條件

114‧‧‧影像資訊補償

115‧‧‧補償後之鳥瞰影像

200a、200b、200c、200d‧‧‧交接區域

S21-S23、S31-S34、S41-S44、S51-S54‧‧‧步驟

第1圖係為本發明之鳥瞰影像系統之第一實施例之方塊圖。

第2圖係為本發明之鳥瞰影像系統之第一實施例之流程圖。

第3圖係為本發明之鳥瞰影像系統之補償條件流程圖。

第4圖係為本發明之鳥瞰影像系統之第二實施例之方塊圖。

第5圖係為本發明之鳥瞰影像系統之第二實施例之流程圖。

第6圖係為本發明之鳥瞰影像系統之第三實施例之示意圖。

第7圖係為本發明之鳥瞰影像補償方法流程圖。

以下將參照相關圖式，說明依本發明之鳥瞰影像系統及其補償方法之實施例，為使便於理解，下列所述實施例中之相同元件係以相同之符號標示來說明。

請參閱第1圖，係為本發明之鳥瞰影像系統之第一實施例之方塊圖。如圖所示，本發明鳥瞰影像系統1包含處理模組10及影像補償模組11。處理模組10可接收並處理由鳥瞰影像系統1之各個鏡頭所擷取的各個影像畫面所拼接而成的鳥瞰影像101，並根據各個影像畫面與其右側及左側相鄰影像畫面間之交接區域或重疊區域的影像資訊差值102產生第一補償值111以及第二補償值112。

影像補償模組11則根據各個影像資訊差值102所產生第一補償值111以及第二補償值112對從處理模組10所接收傳遞的鳥瞰影像101作出補償條件113的判斷，以對鳥瞰影像101作影像資訊補償114，進而得到補償後之鳥瞰影像115。

此外，各個影像資訊差值102的計算方式可藉由處理模組10在各個影像畫面與其右側及左側相鄰影像畫面間之交接區域或重疊區域擷取複數個影像資訊，以針對各個相鄰之複數個影像資訊取一平均值做差值計算，以產生第一補償值111以及第二補償值112。其中，影像資訊係包含色彩明暗資訊YUV值、RGB值、Lab值、YCbCr值、YPbPr值或Luv值，但不應以此為侷限。

請參閱第2圖，係為本發明之鳥瞰影像系統之第一實施例之流程圖。其步驟如下：

在步驟S21中，利用處理模組接收由鳥瞰影像系統的各個鏡頭所擷取的各個影像畫面以拼接成鳥瞰影像。

在步驟S22中，利用處理模組根據各個影像畫面與其兩側相鄰影像畫面間之交接區域或重疊區域的影像資訊之差值以計算第一補償值以及第二補償值。

在步驟S23中，利用影像補償模組根據第一補償值及第二補償值及一補償條件對鳥瞰影像進行影像資訊補償，以產生補償後之鳥瞰影像。

請參閱第3圖，係為本發明之提升鳥瞰影像接合邊界之影像資訊一致性之鳥瞰影像系統之補償條件流程圖。其步驟如下：

在步驟S31中，從處理模組接收統計後的第一補償值以及第二補償值。

在步驟S32中，判斷第一補償值以及第二補償值是否同為正值或負值。

在步驟S33中，利用影像補償模組先選擇第一補償值或第二補償值對鳥瞰影像進行補償，處理模組再對應各個影像畫面之交接區域或重疊區域進行縮小或擴增。

在步驟S34中，藉由影像補償模組對鳥瞰影像進行影像資訊補償。

較佳地，當第一補償值以及第二補償值被判斷是同為正值或負值時，影像補償模組係選擇第一補償值以及第二補償值之中數值較小者，或第一補償值與第二補償值之一平均值做為做為補償參數，以對鳥瞰影像進行影像資訊補償。

此外，當第一補償值及第二補償值被判斷非同為正值或負值時，影像補償模組先選擇第一補償值或第二補償值對鳥瞰影像進行補償，以進一步縮小各個影像畫面之交接區域或重疊區域對應之各影像資訊差值之差距。接下來，處理模組再根據使用者之預設條 件，對各個影像畫面之交接區域或重疊區域進行縮小或擴增，以更精準地圈選出各個影像畫面之交接區域或重疊區域。處理模組根據縮小或擴增後之交接區域或重疊區域，重新計算第一補償值及第二補償值，以使影像補償模組再次根據重新計算後之第一補償值及第二補償值及補償條件，對鳥瞰影像進行補償。

值得一提的是，當第一補償值與第二補償值之差距小於一預定數值者，可視為第一補償值與第二補償值相等，即無需再對鳥瞰影像進行影像資訊補償。

請參閱第4圖，係為本發明之鳥瞰影像系統之第二實施例之方塊圖。如圖所示，本發明鳥瞰影像系統1包含處理模組10及影像補償模組11。處理模組10可接收並處理由鳥瞰影像系統1之各個鏡頭所擷取的各個影像畫面所拼接而成的鳥瞰影像101，並根據前一張影像畫面與其右側及左側相鄰影像畫面間之交接區域或重疊區域的前一次影像資訊差值103所產生前一次影像之第一補償值1110以及前一次影像之第二補償值1120。

影像補償模組11則根據前一次影像資訊差值103所產生前一次影像之第一補償值1110以及前一次影像之第二補償值1120對從處理模組10所傳遞的本次鳥瞰影像1010作出補償條件113的判斷，以對本次鳥瞰影像1010作影像資訊補償114，進而得到補償後之鳥瞰影像115。

值得注意的是，當下一次由鳥瞰影像系統1之各個鏡頭所擷取的各個影像畫面所拼接而成的鳥瞰影像傳送至處理模組10時，影像補償模組11則根據本次影像資訊差值104所產生本次影像之第一 補償值以及本次影像之第二補償值，對從處理模組10所傳遞的下一次鳥瞰影像作出補償條件113的判斷，以進行對下一次鳥瞰影像的影像資訊補償114，同理可知，對再下一次的鳥瞰影像作影像資訊補償114亦是如此。

也就是說，利用前一次影像資訊之差值所產生的前一次影像之第一補償值1110以及前一次影像之第二補償值1120對本次鳥瞰影像1010作影像資訊補償114，可達到同時對鳥瞰影像作補償值運算以及影像資訊補償之功效，大大地減少了本發明之鳥瞰影像系統之運算負擔，不僅節省運算資源與時間，更增進了運算影像資訊補償的效率。

請參閱第5圖，係為本發明之鳥瞰影像系統之第二實施例之流程圖。其步驟如下：

在步驟S41中，利用處理模組接收由鳥瞰影像系統的各個鏡頭所擷取的各個影像畫面以拼接成鳥瞰影像。

在步驟S42中，利用處理模組根據各個前一次影像畫面與其兩側相鄰影像畫面間之交接區域或重疊區域的前一次影像資訊之差值以計算前一次第一補償值以及前一次第二補償值。

在步驟S43中，利用影像補償模組根據前一次第一補償值及前一次第二補償值及一補償條件對本次鳥瞰影像進行影像資訊補償，以產生補償後之鳥瞰影像。

在步驟S44中，重複上述步驟，利用影像補償模組根據本次第一補償值及本次第二補償值及一補償條件對下一次鳥瞰影像進行影像資訊補償，以產生補償後之鳥瞰影像。

請參閱第6圖，係為本發明之鳥瞰影像系統之第三實施例之示意圖。如圖所示，當本發明之鳥瞰影像系統啟動時，處理模組可接收並處理由鳥瞰影像系統之各個鏡頭所擷取的各個影像畫面101a、101b、101c以及101d所拼接而成的鳥瞰影像101。並根據各個影像畫面與其右側及左側相鄰影像畫面間之交接區域的影像資訊差值產生第一補償值以及第二補償值。也就是說，分別以影像畫面101a之右側及左側相鄰影像畫面間之交接區域200a、200b及200c、200d，取得交接區域的影像資訊，並以右側交接區域200a的影像資訊減去右側交接區域200b的影像資訊得到第一補償值，接著再以左側交接區域200c的影像資訊減去左側交接區域200d的影像資訊得到第二補償值。剩餘的影像畫面101b、101c、101d亦是利用上述方式得到對應的第一補償值以及第二補償值，進而得到拼接而成的鳥瞰影像101的各個補償參數。接下來，影像補償模組11則根據各個交接區域之影像資訊相減所產生的各個第一補償值以及第二補償值對從處理模組所傳遞的鳥瞰影像101作出補償條件的判斷，以對鳥瞰影像101作影像資訊補償，進而得到補償後之，鳥瞰影像。

儘管前述在說明本發明之鳥瞰影像系統，亦已同時說明本發明之影像補償概念，但為求清楚起見，以下仍另繪示流程圖詳細說明。

請參閱第7圖，係為本發明之鳥瞰影像補償方法流程圖。

在步驟S51中，利用處理模組接收並處理由鳥瞰影像系統之各個鏡頭所擷取的各個影像畫面所拼接而成的鳥瞰影像。

在步驟S52中，藉由處理模組根據各個影像畫面與其左或右側相鄰影像畫面間之交接區域或重疊區域的之影像資訊差值，來計算第一補償值。

在步驟S53中，利用處理模組根據各個影像畫面與其另一側相鄰影像畫面間之交接區域或重疊區域的之影像資訊差值，來計算第二補償值。

在步驟S54中，藉由影像補償模組根據第一補償值及第二補償值及補償條件，來對鳥瞰影像進行補償。

綜上所述，本發明之鳥瞰影像系統及其補償方法之發明，可將由各個影像畫面拼接而成之鳥瞰影像之光影顏色看起來具有較佳之一致性，令駕駛者在應用上有較佳地視覺效果，減少駕駛者之視覺負擔。使駕駛者更清楚地了解行車環境的狀況，增加了行車駕駛之安全性。此外，在一較佳實施例中，本發明之鳥瞰影像系統及其補償方法可利用前一次鳥瞰影像之計算補償值結果，對本次鳥瞰影像直接作補償，並同時計算本次鳥瞰影像之補償值，以對下一次鳥瞰影像作補償，因此能夠大幅降低處理模組之記憶體需求，進而減少其製造成本，也能夠大幅節省處理模組之運算資源，提高其效率以及時地提供使用者補償後的鳥瞰影像。因此，本發明確實可以改善習知之缺點。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

1‧‧‧鳥瞰影像系統

10‧‧‧處理模組

101‧‧‧鳥瞰影像

102‧‧‧影像資訊差值

11‧‧‧影像補償模組

111‧‧‧第一補償值

112‧‧‧第二補償值

113‧‧‧補償條件

114‧‧‧影像資訊補償

115‧‧‧補償後之鳥瞰影像

Claims (12)

1. 一種鳥瞰影像系統，其包含：一處理模組，係接收並處理由該鳥瞰影像系統之各個鏡頭所擷取的各個影像畫面所拼接而成的一鳥瞰影像；以及一影像補償模組，係補償該鳥瞰影像；其中，該處理模組係根據各個該影像畫面與其左或右側相鄰影像畫面間之交接區域或重疊區域的之一影像資訊差值，來計算一第一補償值，並根據該影像畫面與其另一側相鄰影像畫面間之交接區域或重疊區域的之另一影像資訊差值，來計算一第二補償值，該影像補償模組則根據該第一補償值及該第二補償值及一補償條件，來對該鳥瞰影像進行補償，該影像補償模組係選擇該第一補償值及該第二補償值之中數值較小者，或該第一補償值與該第二補償值之平均值做為一補償參數，以該補償參數對該鳥瞰影像進行補償，且該影像補償模組係利用該鳥瞰影像系統對前一次所擷取之該鳥瞰影像計算所得之該補償參數來對本次所擷取之該鳥瞰影像進行補償。
2. 如申請專利範圍第1項所述之鳥瞰影像系統，其中該影像資訊係包含色彩明暗資訊YUV值、RGB值、Lab值、YCbCr值、YPbPr值或Luv值。
3. 如申請專利範圍第1項所述之鳥瞰影像系統，其中該補償條件係根據該第一補償值及該第二補償值之正值或負值所建立，當該第一補償值及該第二補償值同為正值或負值時，該影像補償模組則 對該鳥瞰影像進行補償。
4. 如申請專利範圍第3項所述之鳥瞰影像系統，其中該補償條件更根據當該第一補償值及該第二補償值非同為正值或負值時，該影像補償模組先選擇該第一補償值或該第二補償值對該鳥瞰影像進行補償，該處理模組再對各個該影像畫面之交接區域或重疊區域進行縮小或擴增，並對應重新計算該第一補償值及該第二補償值，以使該影像補償模組再次根據重新計算後之該第一補償值及該第二補償值及該補償條件，對該鳥瞰影像進行補償。
5. 一種鳥瞰影像系統，其包含：一處理手段，係接收並處理由該鳥瞰影像系統之各個鏡頭所擷取的各個影像畫面所拼接而成的一鳥瞰影像，並根據各個該影像畫面與其左或右側相鄰影像畫面間之交接區域或重疊區域之一影像資訊差值，來計算一第一補償值，並根據該影像畫面與其另一側相鄰影像畫面間之交接區域或重疊區域之另一影像資訊差值，來計算一第二補償值；以及一影像補償手段，係根據該第一補償值及該第二補償值及一補償條件，來對該鳥瞰影像進行補償；其中，該影像補償手段係選擇該第一補償值及該第二補償值之中數值較小者，或該第一補償值與該第二補償值之平均值做為一補償參數，以該補償參數對該鳥瞰影像進行補償，且該影像補償手段係利用該鳥瞰影像系統對前一次所擷取之該鳥瞰影像計算所得之該補償參數來對本次所擷取之該鳥瞰影像進行補償。
6. 如申請專利範圍第5項所述之鳥瞰影像系統，其中該影像資訊係包含色彩明暗資訊YUV值、RGB值、Lab值、YCbCr值、YPbPr值或Luv值。
7. 如申請專利範圍第5項所述之鳥瞰影像系統，其中該補償條件係根據該第一補償值及該第二補償值之正值或負值所建立，當該第一補償值及該第二補償值同為正值或負值時，該影像補償手段則對該鳥瞰影像進行補償。
8. 如申請專利範圍第7項所述之鳥瞰影像系統，其中該補償條件更根據當該第一補償值及該第二補償值非同為正值或負值時，該影像補償手段先選擇該第一補償值或該第二補償值對該鳥瞰影像進行補償，該處理手段再對各個該影像畫面之交接區域或重疊區域進行縮小或擴增，並對應重新計算該第一補償值及該第二補償值，以使該影像補償手段再次根據重新計算後之該第一補償值及該第二補償值及該補償條件，對該鳥瞰影像進行補償。
9. 一種鳥瞰影像補償方法，其包含下列步驟：利用一處理模組接收並處理由該鳥瞰影像系統之各個鏡頭所擷取的各個影像畫面所拼接而成的一鳥瞰影像；藉由該處理模組根據各個該影像畫面與其左或右側相鄰影像畫面間之交接區域或重疊區域之一影像資訊差值，來計算一第一補償值；利用該處理模組根據各個該影像畫面與其另一側相鄰影像畫面間之交接區域或重疊區域之另一影像資訊差值，來計算一第二補償值；藉由一影像補償模組根據該第一補償值及該第二補償值及一補償條件，來對該鳥瞰影像進行補償；利用該影像補償模組選擇該第一補償值及該第二補償值之中數值較小者，或該第一補償值與該第二補償值之平均值做為一補償參數，以該補償參數對該鳥瞰影像進行補償；以及 利用該影像補償模組將該鳥瞰影像系統對前一次所擷取之該鳥瞰影像計算所得之該補償參數來對本次所擷取之該鳥瞰影像進行補償。
10. 如申請專利範圍第9項所述之鳥瞰影像補償方法，其中該影像資訊係包含色彩明暗資訊YUV值、RGB值、Lab值、YCbCr值、YPbPr值或Luv值。
11. 如申請專利範圍第9項所述之鳥瞰影像補償方法，其中更包含下列步驟：當該第一補償值及該第二補償值同為正值或負值時，利用該影像補償模組對該鳥瞰影像進行補償。
12. 如申請專利範圍第11項所述之鳥瞰影像補償方法，其中更包含下列步驟：當該第一補償值及該第二補償值非同為正值或負值時，利用該影像補償模組先選擇該第一補償值或該第二補償值對該鳥瞰影像進行補償，再利用該處理模組對各個該影像畫面之交接區域或重疊區域進行縮小或擴增，並對應重新計算該第一補償值及該第二補償值，以使該影像補償模組再次根據重新計算後之該第一補償值及該第二補償值及該補償條件，對該鳥瞰影像進行補償。