TWI895182B - 影像拼接方法及影像拼接系統 - Google Patents
影像拼接方法及影像拼接系統Info
- Publication number
- TWI895182B TWI895182B TW113145030A TW113145030A TWI895182B TW I895182 B TWI895182 B TW I895182B TW 113145030 A TW113145030 A TW 113145030A TW 113145030 A TW113145030 A TW 113145030A TW I895182 B TWI895182 B TW I895182B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- ground
- image block
- processor
- pixels
- Prior art date
Links
Landscapes
- Image Processing (AREA)
Abstract
影像拼接方法包含分割攝影機所擷取的影像為複數個影像區塊;將該些影像區塊中,每一影像區塊分割為地面影像區域及非地面影像區域;依據每一影像區塊對應的平面夾角,篩選每一影像區塊;若影像區塊通過篩選,依據地面像素比例門檻,將影像區塊再次篩選;若影像區塊再次通過篩選,將影像區塊內,對應該地面影像區域的複數個像素標記為地面偵測區域;以及取得複數個地面偵測區域,以根據該些地面偵測區域,將複數個攝影機擷取的複數個三維空間影像進行拼接。
Description
本發明描述一種影像拼接方法及影像拼接系統,尤指一種具有識別影像拼接所用的基準面之功能的影像拼接方法及影像拼接系統。
隨著立體攝影機技術的發展,其應用也越來越廣泛,例如:深度偵測、空間建模、人機互動等。一般的立體攝影機(Stereo Camera),其偵測範圍有限,因此,若要擴大偵測範圍,就必須仰賴多台立體攝影機所建構的多個立體偵測空間的拼接。一般而言,立體攝影機可獲取物件的視差值(disparity)來取得物件的三維資訊,包含深度資訊。立體攝影機可包含兩個鏡頭,透過兩個鏡頭從不同角度拍攝同一場景,再利用三角測量原理計算深度。並且,立體攝影機可藉由兩個鏡頭成像面上的對應點,獲得目標物的立體資訊。
然而,在進行影像拼接中,影像之間需要選擇一個共同的平面,以將多個影像拼接後,以得到共同的座標空間。因此,發展一種影像拼接系統,具有識別影像拼接所用的基準面(如地面)之功能,以利於影像拼接技術,是一個重要的設計議題。
本發明一實施例提出一種影像拼接方法。影像拼接方法包含取得攝
影機的安裝資訊,並根據安裝資訊,計算對應參考地面的第一平面方程式,分割攝影機所擷取的影像為複數個影像區塊,依據第一平面方程式及影像的每一個像素的三維空間資訊,將該些影像區塊中,每一影像區塊分割為地面影像區域及非地面影像區域,依據地面影像區域,產生每一影像區塊對應地面影像的第二平面方程式,依據第一平面方程式及第二平面方程式,產生每一影像區塊對應地面影像與參考地面間的平面夾角,依據每一影像區塊對應的平面夾角,篩選每一影像區塊,若影像區塊通過篩選,依據地面像素比例門檻,將影像區塊再次篩選,若影像區塊再次通過篩選,將影像區塊內,對應地面影像區域的複數個像素標記為地面偵測區域,已及取得複數個地面偵測區域,以根據該些地面偵測區域,將複數個攝影機擷取的複數個三維空間影像進行拼接。
本發明另一實施例提出一種影像拼接系統。影像拼接系統包含攝影機及處理器。攝影機用以擷取影像。處理器耦接於攝影機,用以處理影像。處理器取得攝影機的安裝資訊,並根據安裝資訊,計算對應參考地面的第一平面方程式。處理器分割影像為複數個影像區塊。處理器依據第一平面方程式及影像的每一個像素的三維空間資訊,將該些影像區塊中,每一影像區塊分割為地面影像區域及非地面影像區域。處理器依據地面影像區域,產生每一影像區塊對應地面影像的第二平面方程式。處理器依據第一平面方程式及第二平面方程式,產生每一影像區塊對應地面影像與參考地面間的平面夾角。處理器依據每一影像區塊對應的平面夾角,篩選每一影像區塊。若影像區塊通過篩選,處理器依據地面像素比例門檻,將影像區塊再次篩選。若影像區塊再次通過篩選,處理器將影像區塊內,對應地面影像區域的複數個像素標記為地面偵測區域。處理器取得複數個地面偵測區域,以根據該些地面偵測區域,將複數個三維空間影像進行拼接。
100:影像拼接系統
10、101至10L:攝影機
20:處理器
B1至BQ:影像區塊
IMG、IMG1、IMG2:影像
Px_G1、Px_Gn、Px_GN、Px_H1、Px_Hm、Px_HM:像素
B1_G:地面影像區域
B1_H:非地面影像區域
B1_DG、B2_DG、B3_DG、B4_DG:地面偵測區域
P1至PR:定位點
M1至MR:匹配點
DG1及DG2:地面偵測影像
S601至S609:步驟
第1圖係為本發明之影像拼接系統之實施例的方塊圖。
第2圖係為第1圖之影像拼接系統中,將影像分割為複數個影像區塊的示意圖。
第3圖係為第1圖之影像拼接系統中,將影像區塊內的像素分類為地面影像區域及非地面影像區域的示意圖。
第4圖係為第1圖之影像拼接系統中,決定影像區塊內之地面偵測區域的示意圖。
第5圖係為第1圖之影像拼接系統中,依據地面偵測影像,決定複數個定位點以及複數個匹配點的示意圖。
第6圖係為第1圖之影像拼接系統,執行影像拼接方法的流程圖。
第1圖係為本發明之影像拼接系統100之實施例的方塊圖。影像拼接系統100包含攝影機10以及處理器20。攝影機10可為三維影像攝影機或是立體影像攝影機(Stereo Camera),用以擷取影像,可獲取物件的視差值(disparity)來取得物件的三維資訊。處理器20耦接於攝影機10,用以處理影像。處理器20可為電腦、伺服器或是工作站等等。影像拼接系統100可透過攝影機10所提供的影像,而識別影像拼接所用的基準面(如地面)。然而,應當理解的是,影像拼接系統100還可包含複數個攝影機101至10L。複數個攝影機101至10L耦接於處理器20,用以提供複數個影像。換句話說,影像拼接系統100可以將該些攝影機101至10L所擷取的該些影像,依據基準面(如地面)進行拼接。L為正整數。影像拼接系統100的運作方式簡述如下。首先,處理器取得攝影機10的安裝資訊,並根據安裝資訊,計算對應參考地面的第一平面方程式。接著,處理器20分割影像為複數個影像區塊。處理器20依據第一平面方程式及影像的每一個像素的三維空間資
訊,將該些影像區塊中,每一影像區塊分割為地面影像區域及非地面影像區域。處理器20依據地面影像區域,產生每一影像區塊對應地面影像的第二平面方程式。處理器20依據第一平面方程式及第二平面方程式,產生每一影像區塊對應地面影像與參考地面間的平面夾角。處理器20依據每一影像區塊對應的平面夾角,篩選每一影像區塊。若某一個影像區塊通過篩選,處理器20可依據地面像素比例門檻,將此影像區塊再次篩選。若影像區塊再次通過篩選,處理器20將影像區塊內,對應地面影像區域的複數個像素標記為地面偵測區域。處理器20取得複數個地面偵測區域,以根據該些地面偵測區域,將複數個三維空間影像進行拼接。因此,影像拼接系統100可視為一種利用二維影像的資訊,將複數個三維空間影像進行拼接的系統。影像拼接系統100運作方式的細節將於後文詳述。
第2圖係為影像拼接系統100中,將影像IMG分割為複數個影像區塊B1至BQ的示意圖。如前述提及,在影像拼接系統100中,每一台攝影機會有其安裝資訊。例如,攝影機10的安裝視角、距離地面的高度、攝影機鏡頭的旋轉角度等等。由於攝影機10的安裝資訊是以地面為參考基準,故處理器20可以依據攝影機10的安裝資訊,求出對應參考地面的第一平面方程式。接著,如第2圖所示,處理器20可取得影像IMG中,複數個像素的影像特性資料。例如,處理器20可取得影像IMG中每一個像素的顏色資料、梯度(Gradient)資料、灰階值資料等等。處理器20可根據影像特性資料,將影像IMG分割為複數個影像區塊B1至BQ。Q為正整數。在一實施例中,同一個影像區塊內的複數個像素,會有相似的影像特性。例如,顏色相近或亮度相近的像素,可能會被歸類為同一個影像區塊。複數個影像區塊B1至BQ的尺寸、形狀以及位置可為不同。應當理解的是,影像拼接系統100也可以根據影像IMG中區域的複雜度,動態分配影像區塊B1至BQ。例如,影像IMG中某個區域的顏色或是結構較為單調,影像拼接系統
100可分配較少的影像區塊。影像IMG中某個區域的顏色或是結構較為複雜,影像拼接系統100可分配較多的影像區塊。任何合理的技術變更都屬於本發明所揭露的範疇。
第3圖係為影像拼接系統100中,處理器20將影像區塊B1內的像素分類為地面影像區域B1_G及非地面影像區域B1_N的示意圖。如前述,處理器20將影像IMG分割為複數個影像區塊B1至BQ後,可在將每一個影像區塊內的像素分類為地面影像區域及非地面影像區域。為了描述簡化,於此以影像區塊B1進行說明。處理器20可依據第一平面方程式及影像區塊B1內每一個像素的三維空間資訊,產生影像區塊B1內每一個像素的影像座標在三維空間中,與參考地面的距離。應當理解的是,由於攝影機10可為三維影像攝影機,故處理器20可利用攝影機10上之兩個鏡頭所擷取到的兩張二維影像中,找出相同的特徵點。特徵點在現實世界中是同個點,但在兩張二維影像中的位置不同,也稱為視差。接著,處理器20可利用三角測量原理,根據兩個鏡頭之間的距離(稱為基準線),以及對應點在兩張二維影像中的視差,即可計算出對應點與攝影機10之間距離,也就是深度資訊。處理器20獲取影像區塊B1內每一個像素的深度資訊後,可以再利用第一平面方程式,計算出每一個像素與參考地面的距離。例如,像素Px_G1與參考地面的距離為PDG1。像素Px_Gn與參考地面的距離為PDGn。像素Px_GN與參考地面的距離為PDGN。像素Px_H1與參考地面的距離為PDH1。像素Px_Hm與參考地面的距離為PDHm。像素Px_HM與參考地面的距離為PDHM。
接著,處理器20可將每一個影像區塊中,與參考地面的距離小於或等於距離門檻值的複數個像素歸類為地面影像區域。處理器20可將每一個影像區塊中,與參考地面的距離大於距離門檻值的複數個像素歸類為非地面影像區域。舉例而言,處理器20可以設定距離門檻值DTH。在影像區塊B1內,若距離
PDGI、距離PDGn至距離PDGN均小於或等於距離門檻值DTH(i.e.,PDGI、PDGn至PDGNDTH),表示像素Px_G1、像素Px_Gn至像素Px_GN可能對應地面影像。因此,像素Px_G1、像素Px_Gn至像素Px_GN可被處理器20歸類於地面影像區域B1_G。在影像區塊B1內,若距離PDH1、PDHm至PDHM均大於距離門檻值DTH(i.e.,PDH1、PDHm至PDHM>DTH),表示像素Px_H1、像素Px_Hm至像素Px_HM可能對應非地面影像。因此,像素Px_H1、像素Px_Hm至像素Px_HM可被處理器20歸類於非地面影像區域B1_H。因此,在第3圖中,假設影像區塊B1內包含(M+N)個像素。影像區塊B1內的N個像素被歸類於地面影像區域B1_G,M個像素被歸類於非地面影像區域B1_H。N和M為正整數。
接著,處理器20可依據每一個影像區塊的地面影像區域,產生每一影像區塊對應地面影像的第二平面方程式。例如,對於影像區塊B1而言,歸類於地面影像區域B1_G的N個像素,處理器20可以用其三維空間資訊(例如深度資訊),產生影像區塊B1對應地面影像的第二平面方程式。應當理解的是,由於第一平面方程式為依據攝影機20的安裝資訊產生,因此第一平面方程式可視為對應真實地面的參考函數。並且,由於第二平面方程式為依據影像區塊B1內,歸類於屬於地面影像區域B1_G的N個像素經過估測而產生,因此第二平面方程式可視為對應估測地面的函數。由於處理器20可取得第一平面方程式以及第二平面方程式,故處理器20可計算出第一平面方程式以及第二平面方程式的夾角,其相當於影像區塊B1歸類為地面的部分與參考地面的夾角。處理器20可以設定一個夾角門檻。若某一個影像區塊對應的平面夾角小於或等於夾角門檻,處理器20將影像區塊保留。反之,若某一個影像區塊對應的平面夾角大於夾角門檻,處理器20將影像區塊捨棄。舉例而言,若影像區塊B1歸類為地面的部分與參考地面的夾角小於或等於夾角門檻,表示影像區塊B1內,將N個像素Px_G1、Px_Gn至Px_GN歸類於地面影像區域B1_G具有一定的準確度。因此,處理器20可將影
像區塊B1保留。若影像區塊B1歸類為地面的部分與參考地面的夾角大於夾角門檻,表示影像區塊B1內,將N個像素Px_G1、Px_Gn至Px_GN歸類於地面影像區域B1_G的準確度不足。因此,處理器20可將影像區塊B1捨棄。
接著,若是影像區塊B1通過前述步驟的篩選,處理器20可以設定地面像素比例門檻,以二次篩選影像區塊B1,說明如下。若Q個影像區塊B1至BQ中,P個影像區塊依據前述夾角門檻的條件而保留,則處理器20可計算P個影像區塊對應的P個地面像素比例r1至rP。影像區塊的地面像素比例可定義為歸類於地面影像區域的像素數量,與影像區塊內全部像素數量的比例。舉例而言,影像區塊B1的地面像素比例r1可定義為歸類於地面影像區域B1_G的像素數量(共計N個像素Px_G1至Px_GN),與全部像素數量(共計M+N個像素)的比例,可表示為r1=(N/(M+N))。影像區塊B2的地面像素比例r2至影像區塊BP的地面像素比例rP的產生方式是類似的,故其細節將不再贅述。接著,處理器20可以依據P個地面像素比例r1至rP,產生P個地面像素比例r1至rP的平均值以及標準差。接著,處理器20可以依據平均值以及標準差,產生地面像素比例門檻rTH。處理器20可以依據地面像素比例門檻rTH,對第一次篩選所剩的P個影像區塊進行二次篩選。舉例而言,若影像區塊B1內,地面像素比例r1=(N/(M+N))小於或等於地面像素比例門檻(即r1rTH),則處理器20可將影像區塊B1捨棄。反之,若影像區塊B1內,地面像素比例r1=(N/(M+N))大於地面像素比例門檻(即r1>rTH),則處理器20可將影像區塊B1保留。影像拼接系統100利用地面像素比例門檻rTH進行影像區塊二次篩選的原因說明如下。由於影像拼接系統100可以針對各種場景的空間進行影像處理,因此為了適應不同複雜度的場景,可依據地面像素比例門檻rTH,對「屬於地面影像區域的像素數量較低」的影像區塊進行篩選。因此,最終通過二次篩選的影像區塊將會有較高的地面像素占比,故可增加判斷地面偵測區域的可靠度。
換句話說,在影像拼接系統100中,在影像IMG被分割為複數個影像區塊B1至BQ後,每一個影像區塊會經過兩次的篩選處理,以決定包含”地面影像”的影像區塊。若某一個影像區塊(如影像區塊B1)被保留,表示影像區塊B1內包含屬於地面影像區域B1_G的像素具有高度的參考性。因此,處理器20可將影像區塊B1內,對應地面影像區域B1_G的像素標記為地面偵測區域。
第4圖係為影像拼接系統100中,決定影像區塊內之地面偵測區域的示意圖。如第4圖所述,若是影像區塊B1至影像區塊B4經過兩次篩選後仍被保留,表示影像區塊B1至影像區塊B4包含屬於地面影像區域的像素具有高度的參考性。因此,處理器20可將影像區塊B1內,對應地面影像區域的像素標記為地面偵測區域B1_DG。處理器20可將影像區塊B2內,對應地面影像區域的像素標記為地面偵測區域B2_DG。處理器20可將影像區塊B3內,對應地面影像區域的像素標記為地面偵測區域B3_DG。處理器20可將影像區塊B4內,對應地面影像區域的像素標記為地面偵測區域B4_DG。當處理器20將影像IMG所有的地面偵測區域的像素都標記出來後,這些地面偵測區域的像素即可組成地面偵測影像,可視為影像拼接所用的地面基準。舉例而言,影像區塊B1至影像區塊B4內標記為地面的地面偵測區域B1_DG、地面偵測區域B2_DG、地面偵測區域B3_DG以及地面偵測區域B4_DG,可以組成地面偵測影像。
第5圖係為影像拼接系統100中,依據地面偵測影像DG1至DG2,決定複數個定位點P1至PR以及複數個匹配點M1至MR的示意圖。如前述,處理器20取得複數個地面偵測區域後,可以決定影像內的地面偵測影像,以當成影像拼接所用的地面基準。如第5圖所示,影像IMG1內包含地面偵測影像DG1。影像IMG2內包含地面偵測影像DG2。對於影像IMG1而言,處理器20可以將偵測範圍限制在地面偵測影像DG1,以決定複數個定位點P1至PR及該些定位點P1至PR的特徵描述資訊。例如,定位點P1至PR的邊緣資訊或是轉角資訊等等。R為大於
或等於8的正整數。接著,處理器20可利用定位點P1至PR以及隨機抽樣一致(Random Sample Consensus,RANSC)演算法,搭配單應性矩陣(Homography Matrix),可搜尋其他影像中的匹配點。於此說明,RANSC演算法是一種迭代方法,用於從包含離群值(outliers)的觀察數據集中估計數學模型的參數。換句話說,它可用於在一群像素集合中,淘汰掉不匹配的像素,並找到適合匹配的像素。在第5圖中,影像IMG1的定位點P1對應影像IMG2的匹配點M1。影像IMG1的定位點P2對應影像IMG2的匹配點M2。影像IMG1的定位點PR對應影像IMG2的匹配點MR。應當理解的是,如前述提及,影像拼接系統100還可包含攝影機101至10L。攝影機10、101至10L可具有不同的安裝資訊,例如,攝影機10、101至10L具有不同的安裝高度、不同的鏡頭焦距、不同的基準線(Baseline)長度等等。因此,處理器20可依據地面偵測影像DG1以及所有攝影機的安裝資訊,將複數個攝影機所偵測的三維空間影像進行俯視圖轉換,以更新該些三維空間影像。換句話說,處理器20可以選擇攝影機10、101至10L所擷取的該些三維空間影像所對應的一個共同的平面(如地面,地面偵測影像DG1)。接著,處理器20可將該些三維空間影像投影至共同的平面,使該些三維空間影像利用俯視圖轉換後,具有相同的俯角。由於定位點P1至PR,以及匹配點M1至MR可視為三維空間影像進行拼接的參考點。因此,處理器20可以依據定位點P1至PR以及匹配點M1至MR,將該些三維空間影像進行拼接,亦即將複數個俯視空間進行拼接。
第6圖係為影像拼接系統100,執行影像拼接方法的流程圖。影像拼接方法的流程包含步驟S601至步驟S609。任何合理的技術或硬體變更都屬於本發明所揭露的範疇。步驟S601至步驟S609描述如下:步驟S601:取得攝影機10的安裝資訊,並根據安裝資訊,計算對應參考地面的第一平面方程式;步驟S602:分割攝影機10所擷取的影像IMG為複數個影像區塊B1至BQ;
步驟S603:依據第一平面方程式及影像IMG的每一個像素的三維空間資訊,將該些影像區塊B1至BQ中,每一影像區塊分割為地面影像區域及非地面影像區域;步驟S604:依據地面影像區域,產生每一影像區塊對應地面影像的第二平面方程式;步驟S605:依據第一平面方程式及第二平面方程式,產生每一影像區塊對應地面影像與參考地面間的平面夾角;步驟S606:依據每一影像區塊對應的平面夾角,篩選每一影像區塊;步驟S607:若影像區塊通過篩選,依據地面像素比例門檻,將影像區塊再次篩選;步驟S608:若影像區塊再次通過篩選,將影像區塊內,對應地面影像區域的複數個像素標記為地面偵測區域;步驟S609:取得複數個地面偵測區域,以根據該些地面偵測區域,將複數個攝影機10、101至10L擷取的複數個三維空間影像進行拼接。
步驟S601至步驟S609的細節已於前文說明,故於此將不再贅述。在影像拼接系統100中,影像IMG被分割為複數個影像區塊B1至BQ後,每一個影像區塊會經過兩次的篩選處理,包含依據影像區塊的一部分與參考地面之夾角的篩選,以及依據地面像素比例門檻的篩選。處理器20可以決定包含”地面影像”的影像區塊。若某一個影像區塊被保留,表示影像區塊內包含屬於地面影像區域的像素具有高度的參考性。因此,在之後的影像拼接程序中,由於屬於地面影像區域的像素可當成基準面,故影像拼接的精確度也可以提升。
綜上所述,本發明揭露一種影像拼接方法及影像拼接系統,藉由將影像分割為複數個影像區塊,並偵測每一個影像區塊屬於地面影像區域的像素及非地面影像區域的像素,故可以判斷影像區塊是否包含地面資訊。處理器可
以依據影像區塊與參考地面的夾角以及影像區塊的地面像素比例門檻,多次篩選影像區塊,以決定包含地面影像的影像區塊,並將地面影像區域的像素標記為地面偵測區域,可以提升影像拼接的精確度。相較於先前技術,本發明可以根據攝影機的安裝資訊,動態決定影像區塊的數量以及每一個影像區塊的尺寸,故可以提升地面偵測的準確性。並且,由於本發明可以依據影像區塊與參考地面的夾角以及地面像素比例門檻,多次篩選影像區塊,故可以進一步提升地面偵測的準確性,進而提升影像拼接的精確度。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
100:影像拼接系統
10、101至10L:攝影機
20:處理器
Claims (20)
- 一種影像拼接方法,其特徵在於,包含:取得一攝影機的安裝資訊,並根據該安裝資訊,計算對應一參考地面的一第一平面方程式,其中該攝影機的該安裝資訊包含該攝影機的一安裝視角、該攝影機距離一地面的一高度、該攝影機的一鏡頭的一旋轉角度;分割該攝影機所擷取的一影像為複數個影像區塊;依據該第一平面方程式及該影像的每一個像素的三維空間資訊,將該些影像區塊中,每一影像區塊分割為一地面影像區域及一非地面影像區域;依據該地面影像區域,利用歸類於該地面影像區域的複數個像素所對應的三維空間資訊,產生該每一影像區塊對應一地面影像的一第二平面方程式,其中歸類於該地面影像區域的該些像素所對應的三維空間資訊包含每一個像素的深度資訊;依據該第一平面方程式及該第二平面方程式,產生該每一影像區塊對應該地面影像與該參考地面間的一平面夾角;依據該每一影像區塊對應的該平面夾角,篩選該每一影像區塊;若一影像區塊通過篩選,依據一地面像素比例門檻,將該影像區塊再次篩選;若該影像區塊再次通過篩選,將該影像區塊內,對應該地面影像區域的該些像素標記為一地面偵測區域;及取得複數個地面偵測區域,以根據該些地面偵測區域,將複數個攝影機擷取的複數個三維空間影像進行拼接。
- 如請求項1所述之方法,其特徵在於,其中依據該第一平面方程式及該影像的該每一個像素的該三維空間資訊,將該些影像區塊中,該每一影像區塊分割為該地面影像區域及該非地面影像區域包含:依據該第一平面方程式及該影像的該每一個像素的該三維空間資訊,產生該每一個像素的影像座標在一三維空間中,與該參考地面的一距離;將該每一個影像區塊中,與參考地面的該距離小於或等於一距離門檻值的該些像素歸類為該地面影像區域;及將該每一個影像區塊中,與參考地面的該距離大於該距離門檻值的複數個像素歸類為該非地面影像區域。
- 如請求項1所述之方法,其特徵在於,依據該每一影像區塊對應的該平面夾角,篩選該每一影像區塊包含:設定一夾角門檻;及若一影像區塊對應的一平面夾角小於或等於該夾角門檻,將該影像區塊保留。
- 如請求項1所述之方法,其特徵在於,依據該每一影像區塊對應的該平面夾角,篩選該每一影像區塊包含:設定一夾角門檻;及若一影像區塊對應的一平面夾角大於該夾角門檻,將該影像區塊捨棄。
- 如請求項1所述之方法,其特徵在於,若該影像區塊通過篩選,依據該地面像素比例門檻,將該影像區塊再次篩選包含:若該影像區塊通過篩選,取得該影像區塊的一地面像素比例,其中該地面像素比例係為,該影像區塊內,該地面影像區域對應的該些像素與對應該影像區塊內全部像素的一數量比例;取得該地面像素比例的一平均值及一標準差;根據該平均值及該標準差,設定該地面像素比例門檻;及若該影像區塊的該地面像素比例小於或等於該地面像素比例門檻,將該影像區塊捨棄。
- 如請求項1所述之方法,其特徵在於,若該影像區塊通過篩選,依據該地面像素比例門檻,將該影像區塊再次篩選包含:若該影像區塊通過篩選,取得該影像區塊的一地面像素比例,其中該地面像素比例係為,該影像區塊內,該地面影像區域對應的該些像素與對應該影像區塊內全部像素的一數量比例;取得該地面像素比例的一平均值及一標準差;根據該平均值及該標準差,設定該地面像素比例門檻;及若該影像區塊的該地面像素比例大於該地面像素比例門檻,將該影像區塊保留。
- 如請求項1所述之方法,其特徵在於,分割該攝影機所擷取的該影像為該些影像區塊包含:取得該影像中,複數個像素的影像特性資料;根據該影像特性資料,將該影像分割為該些影像區塊。
- 如請求項1所述之方法,其特徵在於,另包含:取得該些地面偵測區域後,在該些地面偵測區域中,決定複數個定位點及該些定位點的特徵描述資訊,以將該些攝影機擷取的該些三維空間影像進行拼接。
- 如請求項1所述之方法,其特徵在於,另包含:依據該些地面偵測區域,將該些攝影機擷取的該些三維空間影像進行一俯視圖轉換,以更新該些三維空間影像;其中該些三維空間影像利用該俯視圖轉換後,該些三維空間影像具有相同的一俯角。
- 如請求項1所述之方法,其特徵在於,該攝影機是一三維影像攝影機。
- 一種影像拼接系統,其特徵在於,包含:一攝影機,用以擷取一影像,及一處理器,耦接於該攝影機,用以處理該影像;其中該處理器取得該攝影機的安裝資訊,並根據該安裝資訊,計算對應一參考地面的一第一平面方程式,該攝影機的該安裝資訊包含該攝影機的一安裝視角、該攝影機距離一地面的一高度、該攝影機的一鏡頭的一旋轉角度,該處理器分割該影像為複數個影像區塊,該處理器依據該第一平面方程式及該影像的每一個像素的三維空間資訊,將該些影像區塊中,每一影像區塊分割為一地面影像區域及一非地面影像區域,該處理器依據該地面影像區域,利用歸類於該地面影像區域的複數個像素所對應的三維空間資訊,產生該每一影像區塊對應一地面影像的一第二平面方程式,歸類於該地面影像區域的該些像素所對應的三維空間資訊包含每一個像素的深度資訊,該處理器依據該第一平面方程式及該第二平面方程式,產生該每一影像區塊對應該地面影像與該參考地面間的一平面夾角,該處理器依據該每一影像區塊對應的該平面夾角,篩選該每一影像區塊,若一影像區塊通過篩選,該處理器依據一地面像素比例門檻,將該影像區塊再次篩選,若該影像區塊再次通過篩選,該處理器將該影像區塊內,對應該地面影像區域的該些像素標記為一地面偵測區域,以及該處理器取得複數個地面偵測區域,以根據該些地面偵測區域,將複數個三維空間影像進行拼接。
- 如請求項11所述之系統,其特徵在於,該處理器依據該第一平面方程式及該影像的該每一個像素的該三維空間資訊,產生該每一個像素的影像座標在一三維空間中,與該參考地面的一距離,該處理器將該每一個影像區塊中,與參考地面的該距離小於或等於一距離門檻值的該些像素歸類為該地面影像區域,及該處理器將該每一個影像區塊中,與參考地面的該距離大於該距離門檻值的複數個像素歸類為該非地面影像區域。
- 如請求項11所述之系統,其特徵在於,該處理器設定一夾角門檻,及若一影像區塊對應的一平面夾角小於或等於該夾角門檻,該處理器將該影像區塊保留。
- 如請求項11所述之系統,其特徵在於,該處理器設定一夾角門檻,及若一影像區塊對應的一平面夾角大於該夾角門檻,該處理器將該影像區塊捨棄。
- 如請求項11所述之系統,其特徵在於,若該影像區塊通過篩選,該處理器取得該影像區塊的一地面像素比例,該地面像素比例係為,該影像區塊內,該地面影像區域對應的該些像素與對應該影像區塊內全部像素的一數量比例,該處理器取得該地面像素比例的一平均值及一標準差,該處理器根據該平均值及該標準差,設定該地面像素比例門檻,及若該影像區塊內的該地面像素比例小於或等於該地面像素比例門檻,該處理器將該影像區塊捨棄。
- 如請求項11所述之系統,其特徵在於,若該影像區塊通過篩選,該處理器取得該影像區塊的一地面像素比例,該地面像素比例係為,該影像區塊內,該地面影像區域對應的該些像素與對應該影像區塊內全部像素的一數量比例,該處理器取得該地面像素比例的一平均值及一標準差,該處理器根據該平均值及該標準差,設定該地面像素比例門檻,及若該影像區塊的該地面像素比例大於該地面像素比例門檻,該處理器將該影像區塊保留。
- 如請求項11所述之系統,其特徵在於,該處理器取得該影像中,複數個像素的影像特性資料,及該處理器根據該影像特性資料,將該影像分割為該些影像區塊。
- 如請求項11所述之系統,其特徵在於,該處理器取得該些地面偵測區域後,在該些地面偵測區域中,決定複數個定位點及該些定位點的特徵描述資訊,以將該些攝影機擷取的該些三維空間影像進行拼接。
- 如請求項11所述之系統,其特徵在於,另包含:複數個攝影機,耦接於該處理器;其中該些三維空間影像是由該些攝影機所擷取,該處理器依據該些地面偵測區域,將該些三維空間影像進行一俯視圖轉換,以更新該些三維空間影像,及該些三維空間影像利用該俯視圖轉換後,該些三維空間影像具有相同的一俯角。
- 如請求項11所述之系統,其特徵在於,該攝影機是一三維影像攝影機。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW113145030A TWI895182B (zh) | 2024-11-22 | 2024-11-22 | 影像拼接方法及影像拼接系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW113145030A TWI895182B (zh) | 2024-11-22 | 2024-11-22 | 影像拼接方法及影像拼接系統 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TWI895182B true TWI895182B (zh) | 2025-08-21 |
Family
ID=97524391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW113145030A TWI895182B (zh) | 2024-11-22 | 2024-11-22 | 影像拼接方法及影像拼接系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI895182B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160088287A1 (en) * | 2014-09-22 | 2016-03-24 | Samsung Electronics Company, Ltd. | Image stitching for three-dimensional video |
| CN106875374A (zh) * | 2016-12-21 | 2017-06-20 | 北京空间机电研究所 | 一种基于线特征的弱连接影像拼接方法 |
| TW201813368A (zh) * | 2015-02-27 | 2018-04-01 | 雷亞有限公司 | 多視角攝影機、多視角成像系統以及多視角影像捕捉的方法 |
| TW201841140A (zh) * | 2017-02-23 | 2018-11-16 | 國立中央大學 | 多鏡頭影像深度之3d空間繪製系統 |
-
2024
- 2024-11-22 TW TW113145030A patent/TWI895182B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160088287A1 (en) * | 2014-09-22 | 2016-03-24 | Samsung Electronics Company, Ltd. | Image stitching for three-dimensional video |
| TW201813368A (zh) * | 2015-02-27 | 2018-04-01 | 雷亞有限公司 | 多視角攝影機、多視角成像系統以及多視角影像捕捉的方法 |
| CN106875374A (zh) * | 2016-12-21 | 2017-06-20 | 北京空间机电研究所 | 一种基于线特征的弱连接影像拼接方法 |
| TW201841140A (zh) * | 2017-02-23 | 2018-11-16 | 國立中央大學 | 多鏡頭影像深度之3d空間繪製系統 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10867430B2 (en) | Method and system of 3D reconstruction with volume-based filtering for image processing | |
| US11348267B2 (en) | Method and apparatus for generating a three-dimensional model | |
| TWI729995B (zh) | 基於場景之拍攝圖像而產生合併、融合三維點雲 | |
| CN108475433B (zh) | 用于大规模确定rgbd相机姿势的方法和系统 | |
| KR101121034B1 (ko) | 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품 | |
| CN101512601B (zh) | 从图像中确定深度图的方法以及确定深度图的设备 | |
| CN106228507B (zh) | 一种基于光场的深度图像处理方法 | |
| CN110728671B (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
| CN109360235A (zh) | 一种基于光场数据的混合深度估计方法 | |
| CN117036641A (zh) | 一种基于双目视觉的公路场景三维重建与缺陷检测方法 | |
| JP5538868B2 (ja) | 画像処理装置、その画像処理方法及びプログラム | |
| CN101853524A (zh) | 使用图像序列生成玉米果穗全景图的方法 | |
| Mistry et al. | Image stitching using Harris feature detection | |
| CN108648194A (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
| Zhao et al. | Double propagation stereo matching for urban 3-D reconstruction from satellite imagery | |
| Serna et al. | Data fusion of objects using techniques such as laser scanning, structured light and photogrammetry for cultural heritage applications | |
| CN107376360A (zh) | 游戏直播方法及游戏直播系统 | |
| CN118967469A (zh) | 鱼眼图像多视图融合方法及融合系统 | |
| CN110378995B (zh) | 一种利用投射特征进行三维空间建模的方法 | |
| CN113723373B (zh) | 一种基于无人机全景影像的违建检测方法 | |
| CN116051736A (zh) | 一种三维重建方法、装置、边缘设备和存储介质 | |
| TWI895182B (zh) | 影像拼接方法及影像拼接系統 | |
| CN110717910B (zh) | 基于卷积神经网络的ct图像目标检测方法及ct扫描仪 | |
| Recky et al. | Façade segmentation in a multi-view scenario | |
| CN109166079B (zh) | 一种混合合成运动矢量与亮度聚类的去遮挡方法 |