TWI734116B

TWI734116B - 球型相機影像拼接方法

Info

Publication number: TWI734116B
Application number: TW108117418A
Authority: TW
Inventors: 王詩晴; 杭學鳴; 黃紹華
Original assignee: 國立陽明交通大學
Priority date: 2019-05-21
Filing date: 2019-05-21
Publication date: 2021-07-21
Also published as: TW202109462A

Abstract

本發明提供一種球型相機影像拼接方法，利用兩個背靠背的魚眼鏡頭取得兩張魚眼影像，以分段球體投影(Segmented Sphere Projection,SSP)方法形成北極、赤道和南極三對六部分展開平面圖。然後使用相似邊緣的技巧拼接成全景影像。最後將拼接完成的全景影像投影到3-D球形空間。

Description

球型相機影像拼接方法

本發明有關於球型相機影像拼接方法，尤其是指使用分段球體投影方法，以基於相似邊緣的技巧拼接影像，然後將拼接完成的全景影像投影到3-D球形空間。

請見圖1，為現有的等距柱狀投影(Equirectangular Projection,ERP)方法流程示意圖。由左上方開始，一魚眼相機1以背靠背的兩個魚眼鏡頭11、12取像(步驟1)，取得兩張魚眼圖A、B(步驟2)。這兩張魚眼圖A、B分別代表兩個半球的影像，但各取約190°影像，所以下方各有一圈多出的約5°的環圈13、14(步驟3)。將兩個半球的影像攤平成矩形，則成為左下方的兩張展開平面圖(步驟4)。這種將半球影像轉成矩形平面圖的方法，即為已知的等距柱狀投影(ERP)法。

這兩張展開平面圖各分成左右兩半，分別為A左、A右、B左、B右。A左的左邊條帶131與A右的右邊條帶132就是環圈13分開形成的，各佔約10°(-95°~-85°與85°~95°)。B左的左邊條帶141與B右的右邊條帶142就是環圈14分開形成的，各佔約10°(-95°~-85°與85°~95°)。

將兩張展開平面圖的條帶132與條帶141拼接起來，且將條帶131與條帶142拼接起來，於是形成全景影像(步驟5)，最後將拼接完成的全景影像投影到3-D球形空間形成球形環場影像(步驟6)。

這種等距柱狀投影(ERP)法是將球體轉成平面矩形，因此球體北極/南極相對於球體中央赤道區會有相當大的影像失真。

本發明的目的在提出一種球型相機影像拼接方法，大幅度改良影像球體北極/南極相對於球體中央赤道區的影像失真。主要內容是採用分段球體投影法(Segmented Sphere Projection,SSP)，將影像分成北極、赤道和南極三部分而處理，其處理的方法是用相似邊緣法和羽化融合法。

本發明用一魚眼相機以背靠背的兩個魚眼鏡頭取像，取得兩張半球的魚眼影像，各取約190°影像；將該兩張魚眼影像各分為三部分：北極、赤道和南極，三段的分界在北緯+45°和南緯-45°，形成北緯+45°以上的北極、北緯+45°以下至南緯-45°的赤道與南緯-45°以下的南極三部分；將該兩張半球的魚眼影像的北極與南極各轉換成半圓形；將該兩張半球的魚眼影像的北極與南極的各兩個半圓形以相似邊緣法各拼接成圓形；拼接時將重疊區進行羽化融合，然後將圓形轉成球形表面；將赤道區域進行傳統ERP拼接(基於相似邊緣法與羽化融合法)，然後將北極、赤道和南極三個區段接合形成全景影像；最後將拼接完成的全景影像投影到3-D球形空間形成球形環場影像。

1‧‧‧魚眼相機

11‧‧‧魚眼鏡頭

12‧‧‧魚眼鏡頭

A‧‧‧魚眼圖

B‧‧‧魚眼圖

13‧‧‧環圈

14‧‧‧環圈

131‧‧‧條帶

132‧‧‧條帶

141‧‧‧條帶

142‧‧‧條帶

31‧‧‧條帶

32‧‧‧條帶

33‧‧‧條帶

34‧‧‧條帶

131'‧‧‧條帶

132'‧‧‧條帶

141'‧‧‧條帶

142'‧‧‧條帶

圖1為現有的等距柱狀投影(Equirectangular Projection,ERP)方法流程示意圖。

圖2、3、4為本發明分段球體投影(Segmented Sphere Projection,SSP)方法說明圖。

圖5為本發明相似邊緣法說明圖。

圖6為本發明羽化融合法說明圖。

圖2、3、4為本發明分段球體投影(Segmented Sphere Projection,SSP)方法說明圖。圖2的步驟仍採用圖1的步驟1~3，圖3的步驟4'、51'、52'與圖4的步驟6'則為分段球體投影方法的步驟說明。

請見圖2，由左邊開始，一魚眼相機1以背靠背的兩個魚眼鏡頭11、12取像(步驟1)，取得兩張魚眼圖A、B(步驟2)。這兩張魚眼圖A、B分別代表兩個半球的影像，但各取約190°影像，所以下方各有一圈多出的約5°的環圈13、14(步驟3)。

圖3的步驟4'、51'、52'則為分段球體投影法(SSP法)，將圖2步驟3中兩張魚眼圖分為三部分：北極、赤道和南極，三段的分界在球體影像的北緯+45°和南緯-45°，形成北緯+45°以上、北緯+45°以下至南緯-45°以上、南緯-45°以下三部分。

圖3的步驟4'將魚眼圖A、B的赤道部分以ERP法將影像攤平成矩形，成為圖3中間的兩張展開的平面圖。

將魚眼圖A、B的北緯+45°以上北極與南緯-45°以下南極各轉換成半圓形，如步驟51'所示。

進行北緯+45°以上基於相似邊緣法及羽化融合(Feather blending)的拼接(請見【0024】、【0025】、【0026】的說明)，即條帶31與條帶32拼接形成圓形(步驟52')。

進行南緯-45°以下基於相似邊緣法及羽化融合(Feather blending)的拼接(請見【0024】、【0025】、【0026】的說明)，即條帶33條帶34拼接形成圓形(步驟52')。

請見圖4，將北緯+45°以下至南緯-45°以上的赤道區域進行先前技術中所述的基於相似邊緣的ERP拼接及羽化融合(Feather blending)(請見【0024】、【0025】、【0026】的說明)，然後將上、中、下三個區段(北極、赤道和南極)接合形成全景影像(步驟6')。

最後將拼接完成的全景影像投影到3-D球形空間形成球形環場影像。

上述北極、赤道和南極三段的基於相似邊緣的拼接法說明如下：將兩塊欲拼接之區域，經過邊緣偵測，影像結果為1或0(1為邊緣，0為非邊緣)。一個像素由三個數值所組成：紅光的亮度、綠光的亮度、藍光的亮度，簡稱為RGB影像，分別介於0-255之間。三個數值疊合，得到各種顏色。灰階影像則為每個像素只有一個顏色，從最暗的黑色、多階的灰色到最亮的白色。RGB影像可經由分別對R、G、B進行加權平均而獲得灰階影像。然後進行邊緣偵測，所謂邊緣是指影像中亮度變化明顯的區域(稱為邊緣)。影像灰階化後，尋找灰階變化大的區域，設其為邊緣1，其餘地方為非邊緣0。這樣能大幅地減少資料量，並保留影像中重要的結構屬性。

請見圖5，將兩塊欲拼接之區域(例如31與32或33與34或132'與141'或131'與142')左、右進行匹配，分別以中心為準，各取範圍L(主匹配)與範圍W(被匹配)。移動L在W上，將L與W上同等寬度的L'計算其分別的相似值，找出最相似的L'位置，將L與L'拼接。下面式子為相似值算法，相似值越近於1就是越相似，相似值等於1就是完全相同，a,b分別為兩張匹配影像邊緣數值(0或1)，h為匹配影像的高，w為匹配影像的寬，i,j分別代表影像取樣點之縱座標值與橫座標值。

請見圖6，將最相似的兩重疊區L與L'進行權重疊合，依據重疊區到各別照片邊界的距離，建立權重圖，越靠近自己這邊的權重為1，越遠離自己這邊的權重為0，正中間各佔0.5，兩個影像像素權重相加必為1。將影像L與L'分別乘上權重並疊合，使得重疊部分產生漸變的效果，更為平滑，減少突兀感。這就是羽化融合(Feather blending)。

本發明的精神與範圍決定於下面的申請專利範圍，不受限於上述實施例。