[go: up one dir, main page]

TWI898822B - 應用於環景拼接的魚眼相機外部參數優化方法 - Google Patents

應用於環景拼接的魚眼相機外部參數優化方法

Info

Publication number
TWI898822B
TWI898822B TW113133895A TW113133895A TWI898822B TW I898822 B TWI898822 B TW I898822B TW 113133895 A TW113133895 A TW 113133895A TW 113133895 A TW113133895 A TW 113133895A TW I898822 B TWI898822 B TW I898822B
Authority
TW
Taiwan
Prior art keywords
fisheye
simulated
vehicle
image
camera
Prior art date
Application number
TW113133895A
Other languages
English (en)
Other versions
TW202512092A (zh
Inventor
董帆
張朝晉
宋子陽
Original Assignee
威盛電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 威盛電子股份有限公司 filed Critical 威盛電子股份有限公司
Publication of TW202512092A publication Critical patent/TW202512092A/zh
Application granted granted Critical
Publication of TWI898822B publication Critical patent/TWI898822B/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/0257—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一種應用於環景拼接的魚眼相機外參標定的方法，適用於一仿真平台，用以線上對一車輛上複數魚眼相機的外部參數進行優化。方法包括：在仿真平台依據車輛特徵參數建立一仿真車輛；在該仿真車輛周圍設置複數仿真棋盤格標定板；依據魚眼相機的一內部參數，在仿真平台中建立對應於真實魚眼相機的複數仿真魚眼相機，且將仿真魚眼相機設置於仿真車輛上；透過仿真魚眼相機獲得一第一魚眼圖像；依據第一特徵點計算仿真魚眼相機在仿真車輛上的一初始外部參數。該初始外參隨後可被用於優化仿真魚眼相機的外部參數、或是用於取得魚眼相機實際安裝時的公差。

Description

應用於環景拼接的魚眼相機外部參數優化方法
本發明是關於初始外參設置的方法，特別是關於應用於環景拼接的魚眼相機外部參數優化方法。
目前，車載環視系統通常採用離線標定(Offline calibration)的方式進行相機的參數標定，而相機的外部參數標定是技術重點，因為各個相機的標定精度直接決定了車載環視系統對駕駛員的輔助效果。然而，環視系統的相機外參標定的搭建過程較為繁瑣，耗費人力與財力，對操作人員的技術水準有要求，而且不一定會有合適的大場地或合適的車型用於相機外參標定的搭建，以及對光線、環境、氣候等要求較為嚴苛。
依據本發明實施例之外部參數取得方法，適用於一仿真平台，用以線上取得安裝於車輛上之魚眼相機的初始外部參數， 包括：在仿真平台的一仿真車輛周圍設置至少一仿真棋盤格標定板；依據魚眼相機的內部參數，在該仿真平台中建立一仿真魚眼相機，且將該仿真魚眼相機設置於該仿真車輛上；透過仿真魚眼相機產生一第一魚眼圖像；依據第一魚眼圖像中所顯示之棋盤格標定板的第一特徵點，自動計算仿真魚眼相機在仿真車輛上的初始外部參數。使用者可依據該初始外部參數以實際安裝該魚眼相機於車輛上。
如上述之外部參數取得方法，經由標定由該魚眼相機所產生複數張第二魚眼圖像的拼接圖像，以使構築該車輛環景系統的仿真魚眼像機外參得以優化。
如上述之外參取得方法，更包括：將參考外部參數引入相鄰仿真魚眼相機之一者並產生一第三環景拼接圖像；依據該第三環景拼接圖像以產生實際安裝魚眼相機的安裝公差。
如上述之外參取得方法，其中該參考外部參數由該初始外參加入一偏移值所產生。
下文特舉實施例，並配合所附圖示，詳細說明本發明內容。
S100,S102,S104,S106:步驟
S200,S202,S204,S206,S208,S210,S212,S214:步驟
S240,S242,S244,S246,S248,S250:步驟
300,302,304,306:魚眼圖像
310:棋盤格標定板
400,402,404,406:魚眼圖像
500,502:拼接圖像
510,512,514,516,520,522,524,526:棋盤格標定板
530,640:仿真車輛
600,602:拼接圖像
610,620,650,660:標線
630,670:物件
S700,S702,S704,S706,S708,S710:步驟
S800,S802,S804:步驟
S900,S902,S904,S906,S908,S910,S912:步驟
1000,1002:拼接圖像
1010:第一級警告框
1012:第二級警告框
1020:代表點
1030,1030’:拼接縫
1040:目標物件
1050:仿真車輛
1100:電子裝置
1102:處理器
1104:複數魚眼相機
1110:仿真平台
1112:外參萃取演算法
1114:棋盤格角點檢測演算法
1116:環景拼接演算法
第1圖為本發明實施例之取得初始外參的方法的流程圖。
第2A圖為本發明實施例之車輛環景系統的魚眼相機的線上優化流程圖。
第2B圖為本發明實施例之魚眼相機的安裝公差線上產生流程圖，其中的參考外部參數包含是在初始外參或優化外參加入偏移值所產生。
第3圖為本發明實施例之包括棋盤格標定板的魚眼圖像的示意圖。
第4圖為本發明實施例之不包括棋盤格標定板的魚眼圖像的示意圖。
第5A圖為拼接圖像包括棋盤格標定板，但魚眼相機的外參未優化的示意圖。
第5B圖為拼接圖像包括棋盤格標定板，但魚眼相機的外參已優化的示意圖。
第6A圖為拼接圖像不包括棋盤格標定板，但魚眼相機的外參未優化的示意圖。
第6B圖為拼接圖像不包括棋盤格標定板，但魚眼相機的外參已優化的示意圖。
第7圖為本發明實施例之車輛環景系統的拼接圖像拼接處出現物件的處理流程圖。
第8圖為本發明實施例之第7圖步驟S706的詳細流程圖。
第9圖為本發明實施例之第8圖步驟S804的詳細流程圖。
第10A圖為先前技術中，當車輛環景系統的拼接圖 像拚接處出現物件的拼接圖像1000的示意圖。
第10B圖為本發明實施例中，當車輛環景系統的拼接圖像拚接處出現物件的拼接圖像1002的示意圖。
第11圖為本發明實施例之電子裝置1100的示意圖。
現將詳細地參考本發明的示範性實施例，示範性實施例的實例說明於圖式中。只要有可能，相同元件符號在圖式和描述中用來表示相同或相似部分。
本發明通篇說明書與所附的申請專利範圍中會使用某些詞彙來指稱特定元件。本領域通常知識者應理解，電子裝置製造商可能會以不同的名稱來指稱相同的組件。本文並不意在區分那些功能相同但名稱不同的組件。在下文說明書與權利要求書中，「含有」與「包含」等詞為開放式詞語，因此其應被解釋為「含有但不限定為...」之意。
本文中所提到的方向用語，例如：“上”、“下”、“前”、“後”、“左”、“右”等，僅是參考圖式的方向。因此，使用的方向用語是用來說明，而並非用來限制本發明。在圖式中，各圖式繪示的是特定實施例中所使用的方法、結構及/或材料的通常性特徵。然而，這些圖式不應被解釋為界定或限制由這些實施例所涵蓋的範圍或性質。舉例來說，為了清楚起見，各膜層、區域及/或結構的相對尺寸、 厚度及位置可能縮小或放大。
本發明中所敘述之一結構(或層別、組件、基材)位於另一結構(或層別、元件、基材)之上/上方，可以指二結構相鄰且直接連接，或是可以指二結構相鄰而非直接連接。非直接連接是指二結構之間具有至少一仲介結構(或仲介層別、仲介組件、仲介基材、仲介間隔)，一結構的下側表面相鄰或直接連接於仲介結構的上側表面，另一結構的上側表面相鄰或直接連接於仲介結構的下側表面。而仲介結構可以是單層或多層的實體結構或非實體結構所組成，並無限制。在本發明中，當某結構設置在其它結構「上」時，有可能是指某結構「直接」在其它結構上，或指某結構「間接」在其它結構上，即某結構和其它結構間還夾設有至少一結構。
術語「大約」、「等於」、「相等」或「相同」、「實質上」或「大致上」一般解釋為在所給定的值或範圍的20%以內，或解釋為在所給定的值或範圍的10%、5%、3%、2%、1%或0.5%以內。
說明書與申請專利範圍中所使用的序數例如「第一」、「第二」等之用詞用以修飾元件，其本身並不意含及代表該(或該些)元件有任何之前的序數，也不代表某一元件與另一元件的順序、或是製造方法上的順序，該些序數的使用僅用來使具有某命名的元件得以和另一具有相同命名的元件能作出清楚區分。申請專利範圍與說明書中可不使用相同用詞，據此，說明書中的第一構件在申請專利範圍中可能為第二構件。
本發明中所敘述之電性連接或耦接，皆可以指直接連接或間接連接，於直接連接的情況下，兩電路上元件的端點直接連接或以一導體線段互相連接，而於間接連接的情況下，兩電路上元件的端點之間具有開關、二極體、電容、電感、電阻、其他適合的元件、或上述元件的組合，但不限於此。
在本發明中，厚度、長度與寬度的量測方式可以是採用光學顯微鏡量測而得，厚度或寬度則可以由電子顯微鏡中的剖面影像量測而得，但不以此為限。另外，任兩個用來比較的數值或方向，可存在著一定的誤差。另外，本發明中所提到的術語“等於”、“相等”、“相同”、“實質上”或“大致上”通常代表落在給定數值或範圍的10%範圍內。此外，用語“給定範圍為第一數值至第二數值”、“給定範圍落在第一數值至第二數值的範圍內”表示所述給定範圍包括第一數值、第二數值以及它們之間的其它數值。若第一方向垂直於第二方向，則第一方向與第二方向之間的角度可介於80度至100度之間；若第一方向平行於第二方向，則第一方向與第二方向之間的角度可介於0度至10度之間。
須知悉的是，以下所舉實施例可以在不脫離本發明的精神下，可將數個不同實施例中的特徵進行替換、重組、混合以完成其他實施例。各實施例間特徵只要不違背發明精神或相衝突，均可任意混合搭配使用。
除非另外定義，在此使用的全部用語(包含技術及科學用語)具有與本發明所屬技術領域的技術人員通常理解的相同 涵義。能理解的是，這些用語例如在通常使用的字典中定義用語，應被解讀成具有與相關技術及本發明的背景或上下文一致的意思，而不應以一理想化或過度正式的方式解讀，除非在本發明實施例有特別定義。
為了更好地描述本發明的實施例，下面先對本發明中用到的術語進行說明。
[術語說明]
魚眼鏡頭：魚眼鏡頭是一種超廣角鏡頭，可產生強烈的視覺失真，以產生寬廣的全景或半球形影像。目前的車輛會安裝一些帶有魚眼鏡頭的相機(簡稱魚眼相機)，然後將其獲得的影像拼接起來，以顯示車輛周圍的真實場景供駕駛員參考。這些安裝在車輛上的魚眼相機的位置和旋轉角度等外部參數是建立環景圖像的關鍵參數，因此在車輛上路行駛前對魚眼相機的外部參數進行優化處理，以獲得最佳的位置和旋轉角度非常重要。本發明中的外參優化是針對安裝在車輛上的魚眼相機進行的，但本發明有時在外參優化過程中，會以魚眼鏡頭作為外參優化過程的標的物，例如在外參優化過程中提到魚眼鏡頭的內部參數時。
魚眼相機的外部參數(Extrinsic parameters)：魚眼相機的外部參數(亦簡稱「外參」)描述其位置和旋轉角度，這些位置和旋轉角度源自其位移和傾斜/旋轉。使用者可以執行外參優化程式來調整安裝在仿真車輛上的魚眼相機的外在參數，直到找到環景效果所需的優化外參為止。
魚眼鏡頭的內在參數(Intrinsic parameters，亦簡稱「內參」)：魚眼鏡頭的內在參數描述魚眼鏡頭前方的場景到最終影像中的圖元映射，包括魚眼鏡頭的焦距、光心(optical center)、鏡頭畸變(如魚眼鏡頭的徑向鏡頭畸變和切向鏡頭畸變)等。
相鄰魚眼相機：安裝在車輛上的相鄰魚眼相機可以在其拍攝的魚眼影像中顯示至少一個相同的物體，並且相同的物體可以用於製作拼接影像。例如六相機車輛(six-camera vehicle)，逆時針繞車一周分別為車前側，車左前側，車左後側，車後側，車右後側，車右前側等六個相機中，車前側與車右前側兩個相機車所拍攝的魚眼影像中可能會顯示至少一個相同的物體，但是在車左後側與車右前側兩個相機所生成的魚眼圖像，則可能不會顯示任何相同物體。
仿真平台：本發明用於仿真車輛環景效果的線上系統。仿真平台內建了大量的仿真車輛、仿真魚眼相機、仿真棋盤標定板、仿真場地...等，提供給使用者在線上取得魚眼相機的初始外參、或對車輛環景系統的魚眼相機進行外參優化。
仿真車輛：仿真平台中的車輛，其具有的尺寸(例如，長、寬、高、形狀...等)、重量、速度、煞車能力...等車輛特徵參數皆與相關的實際車輛相同。
仿真魚眼鏡頭：仿真平台中的魚眼鏡頭，其內部參數與相關的真實魚眼鏡頭相同，而仿真魚眼相機至少包含一仿真魚眼鏡頭。
仿真棋盤格標定板：仿真平台中的棋盤格標定板，其具有與實際棋盤格特徵(例如棋盤格上的邊、形狀、網格、圖案...等，簡稱「棋盤格特徵」)相同的棋盤格標定板。
仿真場地：仿真平台中用來仿真車輛環景效果的地點或位置。
參考外部參數(簡稱「參考外參」)：在初始外參(或優化外參)中加入偏移值的外部參數。仿真魚眼相機可依據參考外部參數來產生環景拼接圖像，並當該環景拼接圖像被判斷為正確時(例如環景拼接圖像共視區(overlap region)誤差未超過一預定共視區誤差閥值)逐漸增加加入初始參數的偏移值以使參考外部參數的偏差逐漸增加，直到初始外參加入某個偏移值後所產生的環景拼接圖像不正確為止(例如此時的環景拼接圖像共視區誤差已超過該預定共視區誤差閥值)。最後可產生正確環景拼接圖像的參考外部參數，其在初始外參所加入的偏移值即為初始外參的最大偏移值，而最大偏移值安裝公差(Tolerance)，並作為實際安裝魚眼相機時的參考。
由於在離線(或線下，offline)透過真實的車輛與棋盤格標定板來標定魚眼相機外部參數時，必須將車輛開到合適的場地，並在距離車輛合適位置擺放合適的棋盤格標定板、實體安裝魚眼相機以獲得魚眼圖像。隨後依據魚眼相機的外參來產生魚眼圖像，再標定魚眼圖像所拼接環景圖像，以使構築車輛環景系統魚眼相機外參得以優化。由於離線的魚眼相機與環景系統優化過程需要透過人工並不斷重複相關操作才能完成，例如經由人工將魚眼相機安裝 在車輛上、取得魚眼相機的實際位置/角度、移動車輛來產生不同角度的魚眼圖像，以優化魚眼相機外參與環景系統的拼接圖像效果。此外，若是要重新優化相機外參，就需要再次將車輛開到合適的場地並重複上述所有步驟，這樣將延長車輛環景系統的構築時程。再者，若車輛屬於特殊車輛(例如礦車、垃圾車…等)，可能還要另外安排時間並尋找合適的場地，於是在消耗時間之餘，可能又多了出車費用。
本案發明人意識到現有技術的問題，於是將所有離線標定的工作都移往仿真平台，通過搭建仿真場景，包括搭建周圍環境，選定與實際車輛參數一致的仿真車輛、設置仿真棋盤格標定板、依據預設仿真魚眼相機中仿真魚眼鏡頭的內參來設置仿真魚眼相機，隨後仿真平台產生所有仿真魚眼相機所對應的初始外參。此外，仿真平台亦可依據車輛環景系統的需求，自動以仿真魚眼相機初始外參生成仿真魚眼圖像，並自動對仿真魚眼圖像的拼接圖像進行優化，以使仿真魚眼相機的外參能依據車輛環景系統的需求而優化。於是使用者可依據仿真平台所產生的初始外參將魚眼相機實際設置在車輛上，亦可在仿真平台上取得車輛環景系統的優化結果。另一方面，由於本發明仿真平台上內建許多不同焦距或不同型號的仿真魚眼相機，於是使用者可在仿真平台上針對所選定車輛來選擇魚眼相機做外參取得與優化，直到找出最合適的魚眼相機為止。
此外，發明人也意識到目前仍有許多車輛在出廠時並未安裝任何相機，但是在後裝市場中對車輛上安裝相機時，使用 離線方式來取得每個車輛的初始外參非常不便。但是，若能在仿真平台依據車輛特徵參數來建立仿真車輛，隨後依據魚眼相機內部參數建立仿真魚眼相機並設置在仿真車輛上，即可透過仿真平台取得魚眼相機的初始外參作為實際安裝的參考之外，還能在後裝市場上依據車輛環景系統的需求來優化魚眼相機的外參。再者，由於在後裝市場裡實際將魚眼相機安裝在車輛上的可能是車主，而他/她的安裝技巧未必純熟，於是在安裝時可能會產生較大的偏差。如果能經由仿真平台產生魚眼相機的安裝公差，使用者除了能知道安裝時的誤差範圍外，若使用者希望對魚眼相機加裝外殼以進一步起到保護作用時，也能參考安裝公差來找到厚度合適的外殼來保護魚眼相機。
第1圖為本發明實施例之初始外參取得方法流程圖。第1圖所揭示的流程圖是適用於一仿真平台，用以對包括複數魚眼相機的一車輛進行仿真。在一些實施例中，仿真平台可例如為Carla、PerScan、CarSim、VIRES VTD、PTV Vissim，和TESS NG，但本發明不限於此。如第1圖所示，本發明初始外參取得方法包括：在對應於實際車輛的一仿真車輛周圍設置複數個仿真棋盤格標定板(步驟S100)；依據魚眼相機的一內部參數，在仿真平台中建立對應於實際魚眼相機的複數仿真魚眼相機，且將仿真魚眼相機依據仿真車輛的車輛特徵參數設置於仿真車輛上(步驟S102)；透過仿真魚眼相機獲得第一魚眼圖像(步驟S104)；依據第一魚眼圖像中的第一特徵點計算仿真魚眼相機在仿真車輛上的一初始外部參數(步驟S106)。是以，當使用者在步驟S100於仿真平台上選定仿真車輛 並在仿真車輛周圍安置仿真棋盤格標定板，然後在步驟S102將仿真魚眼相機設置在仿真車輛上後，初始外部參數可經由步驟S104與S106自動產生，不需繁瑣的人工作業過程來取得初始外參。此外，由於仿真平台是經由軟件來產生初始外參，因此可以在初始外參產生後再自動調用將相機座標系統與世界座標系統進行正確對應的軟件，以使初始外參的座標系統能正確對應。是以，當初始外參的座標系統正確對應後，隨後可依據特定應用下對相機外參進行優化的軟件，來使魚眼相機的初始外參能依據特定需求而優化，後面將對這部分再詳加說明。
第1圖裡的仿真車輛上所設定各個魚眼相機的初始外參，可以根據自身產生的魚眼圖像來計算。舉例來說，由於棋盤格標定板的座標是仿真平台已知的(亦即，棋盤格標定板的座標在放置後就確定了)，於是仿真平台可以通過轉換為世界座標，來計算棋盤格標定版與魚眼相機的距離以及其魚眼相機的傾斜/旋轉角度。例如四相機車輛(4-camera vehicle)的車前側魚眼相機的初始外部參數，可以將自身拍攝的棋盤格標定板(例如5x5棋盤)內部頂點，並參考世界座標來計算棋盤格標定板裡與車前側魚眼相機的距離，從而計算車前側魚眼相機的傾斜/旋轉角度，再將所取得的車前側魚眼相機的位移和傾斜/旋轉角度轉換為矩陣(向量)以提供進一步運算的基礎。稍後將給出基於位移和傾斜/旋轉角度所轉換的矩陣(向量)實例(例如段落[0052]的旋轉矩陣與平移矩陣)。另一方面，由於魚眼相機的外部參數是建立環景拼接圖像相當重要的基礎，若魚眼相 機在相機座標系統與世界座標系統未正確對應，其所產生拼接圖像會產生一些偏差或不連續斷面，於是會影響環景拼接圖像的效果。舉例來說，第5A/6A圖是魚眼相機的座標系統未被正確對應下所產生的環景拼接圖像，而第5B/6B圖則是魚眼相機座標系統已正確對應後所產生的環景拼接圖像，而第5B/6B圖的環景拼接效果明顯優於第5A/6A圖。此外，當座標系統正確對應後，可以初始外部參數為基準，來標定(calibrate)仿真魚眼像機所產生的複數張第二魚眼圖像的拼接圖像，以使構築該車輛環景系統的仿真魚眼像機外參得以優化，第2A圖與相關敘述將對這部份做說明。此外，本發明亦可在初始外參(或優化外參)加入偏移值成為參考外部參數後，再導入拼接圖像的線上優化流程以取得安裝時的公差(Tolerance)，來作為使用者實際安裝魚眼相機的參考，而參考外部參數的產生程式，將在後面透過第2B圖和相關描述做更詳盡的闡述。再者，因為運用於車輛的環景系統需要特別考量車輛行駛時的安全，本發明特別針對在環景拼接圖像的拚接處(stitching region)出現物件進行處理，與此相關的步驟會於第7圖與相關敘述作中更詳盡的說明。
在步驟S100中，本發明方法先根據真實環境下所使用棋盤格標定板的棋盤格特徵(包含棋盤格的樣式和尺寸...等)，在仿真平台(例如為Carla)中創建對應於真實環境下的仿真棋盤格標定板。之後，本發明根據真實環境的場地環境和車輛大小形態，在仿真平台的仿真環境中設定合適擺放仿真棋盤格標定板的位置，再將仿真棋盤格標定板放置到車輛車身四周的地面上。在一些實施例 中，本發明在仿真平台的使用者介面中設置一快捷鍵，例如為快捷鍵E，則當使用者想要執行步驟S100時，只需將快捷鍵E按下，本發明就會執行第1圖的步驟S100(例如在使用者建立仿真車輛後，按下/啟動快捷鍵E即自動在其周圍放置預設的棋盤格標定板)，但本發明不限於此。此外，也可將步驟S100寫作外掛程式中，例如將步驟S100寫在外掛程式或動態連接函式庫(DLL，Dynamic Link Library)裡，當使用者想要執行步驟S100時，可以啟動外掛程式以執行第1圖的步驟S100。
在一些實施例中，由於真實環境中棋盤格標定板的具體樣式和尺寸並不固定，本發明在仿真平台中內建多種規格的仿真棋盤格標定板，以便在具體應用時可以根據真實需求做相應的選擇。在第1圖步驟S100的實施例中，棋盤格標定板為5*5的棋盤格，每小格的邊長例如為30.5公分。本發明在仿真車輛的車身四周擺放了四個仿真棋盤格標定板。以仿真車輛的地面落點為坐標原點，指向車前的方向例如為x方向，指向車右的方向例如為y方向，因此上述四個棋盤格標定板中心點的坐標可例如為(+4,+3)、(-4,+3)、(-4,-3)、(+4,-3)，其中坐標單位為公尺。此外，可以再定義指向車輛上方的方向為z方向，於是x/y/z三個方向便可定義以車輛中心點為原點的車輛座標系統(Vehicle Coordinate System)，而這個車輛座標系統可以做為車輛環景系統的魚眼相機的外參優化時的世界座標系統(World Coordinate System)，但本發明不限於此。
在步驟S102中，本發明獲得真實環境下預計安裝 在車輛上的複數魚眼相機各別的一內部參數。在一些實施例中，預計安裝在車輛上的魚眼相機的數目可例如為四個或六個，但本發明不限於此。在一些實施例中，若魚眼相機的數目為四個，則魚眼相機可裝設在車輛的前側、後側、左側，和右側。若魚眼相機的數目為六個，則魚眼相機可裝設在車輛的車前側，車左前側，車左後側，車後側，車右後側，車右前側。在一些實施例中，魚眼鏡頭的內部參數可例如為焦距、光心，和鏡頭畸變，但本發明不限於此。在步驟S102中，本發明在仿真環境中根據上述內部參數創建對應於真實環境下魚眼相機的複數仿真魚眼相機，且將仿真魚眼相機設置於仿真車輛上。因此，步驟S102中仿真魚眼鏡頭的內部參數會相等於本段的前述魚眼鏡頭的內部參數。
在一些實施例中，仿真魚眼鏡頭的內部參數可例如為參數K
其中，f x =312.8667907714844，f y =312.0426940917969，c x =643.1307983398438，c y =366.03363037109377。
仿真魚眼鏡頭的畸變數可例如為參數D
D=[0.19537385,-0.09064766,0.027709538,-0.0042501888]
仿真魚眼相機依據上述參數K和參數D所產生的魚眼圖像的解析度可例如為1280*720，但本發明不限於此。
在步驟S104中，本發明環景拼接的方法更設置第 一魚眼圖像的一保存路徑和一保存幀率，且利用保存路徑和保存幀率儲存第一魚眼圖像。在一些實施例中，保存路徑可例如為保存至本地磁碟目錄。在一些實施例中，第一魚眼圖像可例如以圖片檔或影像檔的型式進行儲存。在一些實施例中，在求得步驟S106中的初始外部參數前，本發明方法先獲得實際環境中車輛的一實際參數(例如由使用者輸入實際參數給仿真系統)。接著，本發明方法依據實際參數，將仿真魚眼相機設置在仿真車輛上的位置和旋轉角度。在一些實施例中，實際的車輛特徵參數可例如包括實際環境中車輛的長、寬，和位置，但本發明不限於此。在第1圖的實施例中，步驟S104中的第一魚眼圖像包括棋盤格標定板，並以棋盤格標定板內部頂點為第一特徵點。在一些實施例中，第一魚眼圖像必須包括棋盤格標定板才可執行後續的步驟S106，即初始外參取得的步驟，而在這些實施例中，可以暫停/中止第1圖流程並通知使用者期第一魚眼圖像中必須包含棋盤格標定板才能計算初始外參。
在步驟S102中，本發明設置仿真魚眼相機的一連接類型，且依據連接類型將仿真魚眼相機設置於仿真車輛上。在一些實施例中，本發明魚眼相機的連接類型為剛性(Rigid)連接，例如用螺絲拴緊於固定位置上，但本發明不限於此。在步驟S102和步驟S104中，本發明方法在仿真平台的使用者介面中設置一快捷鍵，例如為快捷鍵Y，但本發明不限於此。例如將步驟S102和S104設置為快捷鍵Y，則當使用者想要執行步驟S102和S104時，只需將快捷鍵Y被按下時，本發明方法就會執行第1圖的步驟S102中仿真魚眼相 機的設置，並將魚眼相機所拍攝的魚眼圖像保存到指定路徑下。在一實施例中，該仿真魚眼相機可由使用者在仿真平台上自行選定、或是仿真平台預定的仿真魚眼相機。另也可將步驟S104寫作外掛程式中，例如將步驟S104寫在外掛程式或動態連接函式庫裡，當使用者想要執行步驟S104時，可以載入外掛程式或動態連接函式庫以執行第1圖的步驟S104。
在步驟S106中，本發明依據第一魚眼圖像的第一特徵點，計算仿真魚眼相機在仿真車輛上的一初始外部參數(例如利用非線性最小二乘法(如Levenberg-Marquardt演算法來計算))。在一些實施例中，仿真魚眼相機在仿真車輛上的初始外部參數可包括用以將仿真魚眼相機的相機座標系轉換至世界座標系的一旋轉矩陣和一平移矩陣(如後面段落[0056]提到的Transform/Rotation兩個向量)，但本發明不限於此。在一些實施例中，上述旋轉矩陣和平移矩陣是包含於初始外部參數中。在一些實施例中，當第一特徵點為棋盤格標定版的內部頂點，本發明方法利用一棋盤格角點檢測演算法檢測步驟S104中第一魚眼圖像中內部頂點。接著，本發明方法依據棋盤格標定板在魚眼相機的座標系和在世界座標系中內部頂點的座標，計算出初始外部參數。在一些實施例中，當已獲得步驟S106中的初始外參時，本發明將初始外參轉換為仿真魚眼相機的位移量和旋轉量。之後，本發明再依據仿真魚眼相機的位移量和旋轉量，對應設置仿真環境中仿真魚眼相機在仿真車輛上的位置和旋轉角度。
在一些實施例中，本發明方法根據真實環境中的魚眼相機標定出來的初始外部參數，來設置仿真魚眼相機在世界坐標系中的位置和旋轉角度，稱為方法一。在一些實施例中，可直接在仿真環境中設置仿真魚眼相機在世界坐標系中的位置和旋轉角度(例如使用者可在Clara系統中直接輸入魚眼相機的位置和旋轉角度)，稱為方法二。以方法一為例，且以四個仿真魚眼相機為例，四個仿真魚眼相機的初始外部參數可例如為如下。
Transform(Location(x=1.700000,y=-0.090000,z=1.860000)；Rotation(pitch=0.000000,yaw=0.000000,roll=0.000000)) 外參一
Transform(Location(x=-0.600000,y=-0.800000,z=1.860000),Rotation(pitch=0.000000,yaw=-90.000000,roll=0.000000)) 外參二
Transform(Location(x=-1.700000,y=0.000000,z=1.370000),Rotation(pitch=0.000000,yaw=-180.000000,roll=0.000000)) 外參三
Transform(Location(x=0.000000,y=0.590000,z=1.200000),Rotation(pitch=0.000000,yaw=90.000000,roll=0.000000)) 外參四
在上述外參一、外參二、外參三，和外參四中，其長度單位為公尺，角度單位為度。
在一實施例中，於步驟S106執行後，可使用所有相鄰魚眼相機的第一魚眼圖像，來產生第一環景拼接圖像。然而誠如段落[0048]所述，如果初始外參的座標系統的對應關係不正確可能產生如第5A/6A圖所示的拼接圖像。當然，若使用者認為由初始外參所產生的第一環景拼接圖像的環景效果是可接受的，他/她可以跳 過座標位應關係調整的步驟。此外，如段落[0047]所述，由於仿真平台是經由軟件來產生初始外參，因此在步驟S106產生初始外參後可再自動調用將相機座標系統與世界座標系統進行正確對應的軟件(例如調用OpenCV的projectPoints,solvePnP,Rodrigues...等函數)，以使初始外參的座標系統能正確對應(例如在仿真平台上利用軟件標定，對初始外參的平移矩陣/旋轉矩陣的內容，以對平移距離與旋轉角度做微調)。隨後可依據特定應用下對相機外參進行優化的軟件，來使魚眼相機的初始外參能依據特定需求而優化，例如利用第1圖取得初始外參後，再啟動第2A圖的流程，以使魚眼相機的初始外參能基於車輛環景系統的需求而優化，後面將對這部分再詳加說明。再者，在後裝市場的應用中，若魚眼相機尚未被安裝在車輛時，可以先在仿真平台上先以車輛特徵參數與魚眼相機內部參數建立仿真車輛/仿真魚眼相機，並在仿真魚眼相機設置於仿真車輛後產生魚眼圖像(例如產生第3圖所示的四張魚眼圖像)，接著利用第1圖流程來計算每個仿真魚眼相機的初始外參，於是使用者可參考初始外參來實際安裝魚眼相機。另一方面，若魚眼相機已被安裝在車輛上，可將魚眼相機所拍攝的魚眼圖像(例如第4圖所示的四張魚眼圖像)輸入仿真平台來重新優化車輛環視系統的魚眼相機外參(例如相機因外力而改變外參)，但本發明對此不予限制。
由於車輛環景系統構築時對個別魚眼相機安裝後進行外參優化是有必要的，而本發明仿真平台則提供仿真魚眼相機安裝在仿真車輛後，在仿真平台中自動執行仿真魚眼相機的圖像拼 接線上優化，以使車輛環景系統的構築更有效率。第2A圖描述本發明實施例之車輛環景系統的魚眼相機外參線上優化流程圖，其包含下列步驟：個別仿真魚眼相機皆以自身的初始外參為基礎，各自產生至少一張第二魚眼圖像(步驟S200)；檢測第二魚眼圖像中第二特徵點的座標(步驟S202)；依據目前用於環景拼接的仿真魚眼相機外參與第二特徵點來得出環視拼接圖中的第三特徵點(步驟S204)；根據第三特徵點是否合格(例如判斷拼接處誤差是否太大)，來判斷是否需要繼續對用於環視拼接的當前魚眼相機的外參進行優化(步驟S206)；若在步驟S206判斷結果不合格時，則對用於環景拼接的當前仿真魚眼相機的外參進行優化(步驟S208)，再重回步驟S204；若判斷結果合格時選擇用於環景拼接的下一個仿真魚眼相機的外參(步驟S210)，然後判斷是否還有仿真魚眼相機的外參需要優化(步驟S212)；若仍有仿真魚眼相機的外參需要優化則重回步驟S208；若所有仿真魚眼相機的外參都已參與環景拼接圖像的優化則終止流程(步驟S214)。
在步驟S200執行前，如果發現某仿真魚眼相機沒有初始外參，可以先執行第1圖的流程來取得初始外參，接著再執行第2A圖的流程。此外，步驟S200所拍攝的第二魚眼圖像張數，由於在仿真平台產生魚眼圖像時不會受到現實環境的影響，因此可以只對仿真魚眼相機各產生一張魚眼圖像即可。在一實施例中，若使用者希望取得多張第二魚眼圖像(例如魚眼相機是用在自駕車、機器人導航...等動態場景中)，亦可在仿真平台上經由移動仿真棋盤格標定 板，以使仿真魚眼相機可在不同位置與角度產生仿真棋盤格標定板的圖像、或是讓車輛移動以使仿真魚眼相機產生不同的場景與視角的圖像。應注意的是，在仿真平台上產生複數張第二魚眼圖像時，可以在設定仿真棋盤格標定板的移動距離、或是設定仿真車輛欲移動的距離或角度後，由仿真平台自動產生指定的第二魚眼圖像張數，本發明對此不做限制。至於步驟S202的第二特徵點可以是仿真棋盤格標定板的邊緣、內部頂點、或是其他可以辨識的紋理(例如車道線或其他可辨識物件)，以確保相機座標系統與世界座標系統之間的對應關係是正確的。在一些實施例中，當第二特徵點是棋盤格標定板的內部頂點或其他角點時，本發明外參優化方法可利用棋盤格角點檢測演算法，來檢測第二魚眼圖像中的棋盤格標定板在仿真魚眼相機的坐標系中內部頂點或其他角點的座標，但本發明對第二魚眼像圖像張數與第二辨識點為何皆不做限制。此外，在步驟S202中可以透過複數張的二魚眼圖像中的第二特徵點來進行個別仿真魚眼相機的外參優化(例如經由高斯-牛頓演算法(Gauss-Newton Algorithm)進行優化)，但本發明對此不予限制。
步驟S204裡的第三特徵點，可以是拼接處中的可辨識紋理(例如車道線)；此外，步驟S204的第三特徵點，是利用第二特徵點與目前用於環景拼接的仿真魚眼相機外參所構築的相機座標與世界座標的對應關係轉換而得。以第3圖/第4圖的魚眼圖像為例，若第二特徵點是第3圖/第4圖中的棋盤格標定板邊緣/車道線，第三特徵點就是棋盤格標定板邊緣/車道線依據相機座標系統與世 界座標系統的對應關係，轉換為第5B/6B圖所示的車輛環景全視圖像(Top-down view image)裡的棋盤格標定板邊緣/車道線。明顯的，在第3圖/第4圖魚眼圖像裡畸變的棋盤格標定板邊緣/車道線，經過步驟S204處理後即可如第5B/6B圖正確顯示。步驟S204在拼接相鄰魚眼圖像前，可將相鄰魚眼圖像進行共視區的比對與對齊後再進行拼接(以”拼接圖像”簡稱)。步驟S206用來判斷共視區的拼接處誤差是否太大的方式，可利用第三特徵點的匹配是否正確來達成，具體實施方式可經由計算拼接圖像的拚接處誤差是否高於預設的拚接處誤差閥值。此外，若在步驟S206判斷拼接圖像的誤差大於該預設拚接處誤差閥值時，可在步驟S208中於目前外參(初始外參、或上一次優化後的外參)的基礎上對用於拼接的仿真魚眼相機的外參再次進行優化(例如再次對平移矩陣/旋轉矩陣的內容，以對平移距離與旋轉角度做微調)，然後回到步驟S204再次取得第三特徵點，但本發明不限於此。在一實施例中，當步驟S210選擇用於環景拼接的下一個仿真魚眼相機之前，可以先對目前的拼接圖像進行優化處理，包含將拼接圖像的重投影誤差最小化(例如運用光束平差法(Bundle Adjustment))、對拼接圖像的色彩進行調整(例如對拼接圖像的色彩和亮度做調整，因為相鄰仿真魚眼相機所生的色彩或亮度可能不同)、執行平滑過度(Smooth transition)以減少/消除拚接處的邊界或不一致的情形...等處理，但本發明在此不予限制。步驟S212依據該預設順序選擇下一個仿真魚眼相機的方式，以四相機車輛為例，並以逆時針繞車一周將車前側/車左側/車後側/車右側各相機分別編 號為1/2/3/4，於是可先對仿真魚眼相機1/2(車前側/車左側)進行環景拼接圖像優化，隨後依序以仿真魚眼相機2/3(車左側/車右側)、仿真魚眼相機3/4(車後側/車右側)、仿真魚眼相機4/1(車右側/車前側)來處理，若沒有問題再前進至步驟S214以終止環景系統的圖像拼接優化流程。此外，在一實施例中，在步驟S214終止流程前，才對由所有仿真魚眼相機所產生的全景拼接圖像進行色彩、亮度與平滑過度的優化，但本發明對此不予限制。
對於出廠時沒有安裝魚眼相機的原廠車輛，若需要在後裝市場上額外加裝魚眼相機作為架構車輛環視系統時，就要在車輛上找到合適的地方安裝魚眼相機。然而若有許多同車款的車輛(例如對相同車輛組成的車隊)需要安裝時，對每台同車款的車輛都要沿用線下操作過程來取得初始外參，將耗費許多時間並要透過人工重複許多相同的步驟。在此情形下，若能利用本發明的仿真平台取得初始外參(例如經由第1圖流程)，就能知道魚眼相機實際的安裝位置與角度，並可大幅降低人力操作過程且增進魚眼相機的安裝效率。此外，只要車輛在魚眼相機受到外力影響而偏移(例如有人不小心碰到魚眼相機，導致魚眼鏡頭角度有所偏移)時，此後的車輛環景系統所顯示的拼接圖像可能變成類似於第5A/6A圖的樣態。然後，在安裝於車輛上所有的魚眼相機各自拍攝一張魚眼圖像，再經由本發明仿真平台執行第2A圖的流程來重新優化魚眼相機的外參與環視系統的圖像拼接，即可在魚眼相機受外力偏移，讓車輛環景系統的魚眼圖像能重新正確拼接(例如重新顯示如於第5B/6B圖所示的 拼接圖像)。本發明仿真平台亦可提供原廠為每款車輛安裝魚眼相機後，對所構築的環景系統進行評估。舉例而言，由於仿真平台內建許多仿真魚眼相機對應的內部參數，因此當原廠在新車的車輛特徵參數確定後，可以將車輛特徵參數加入仿真平台裡，並從仿真平台挑選不同的魚眼相機進行環景拼接圖像，直到挑選出最適合該車款的魚眼相機以及建議的最佳安裝位置和角度為止，對於所設計新車的車輛環景系統的外參優化會更有效率。在一些實施例中，若使用者僅知道車輛的大致尺寸、或是基於某些原因(例如車輛參數尚未確定、或車輛參數特徵需要保密...等)而無法輸入車輛特徵至仿真平台時，可以在仿真平台挑選一個最接近欲取得初始外參的車輛特徵參數(例如選擇車輛尺寸相近的仿真車輛)，並依據該仿真車輛產生初始外參。在一實施例中，使用者也未必要挑選車輛特徵參數最接近的仿真車輛來產生初始外參，他/她只要在仿真平台中挑一個可以產生所需初始外參的仿真車輛(例如選擇尺寸較大的仿真車輛)，即可啟動後續的初始外參取得與外參優化程式。
應注意的是，由於第1圖(取得初始外參)與第2A圖(車輛環景系統的魚眼相機外參優化)的流程可以分開寫成兩個不同的模組，所以仿真平台可經由執行第1圖流程而取得並儲存初始外參，往後任何時間裡也可在仿真平台裡使用棋盤格標定板以外的物件，並搭配第2A圖的流程以經由環景圖像拼接的來優化魚眼相機的外參，不需重新建立先前的仿真環境(例如重新執行挑選相同的仿真場地、以及將相同的仿真棋盤格標定板放置在仿真車輛周圍...等步 驟)，而是針對車輛所有可能遇到的物件執行外參優化(例如車道線)。因此，第2A圖流程可基於不同的車輛(例如垃圾車/礦車)，並在參考不同的物件(例如行人/斑馬線/車道線，或工人/牆壁/起重機...等物件)進行魚眼相機外參優化。此外，在第1圖與第2A圖合併為一個模組的實施例中，因此步驟S200可以直接在步驟S106完成後執行，而在這些實施例中，經由第2A圖進行魚眼相機優化所參考的物件就是棋盤格標定板而非其他物件。在一些實施例中，上述初始外部參數用以設置仿真魚眼相機在世界座標系統中的位置和旋轉角度。在一些實施例中，世界座標系統即為環景拼接圖像的座標系統。第2A圖的仿真魚眼相機雖基於車輛環景系統所作的外參優化實施例，但現實中仍有車輛環景系統以外的運用，諸如物體檢測和識別、3D重建、擴增實境(AR)應用、機器視覺和導航、動作捕捉和姿態估計、實時跟蹤相機的位置和姿態的視覺實時定位與地圖構建，(Simultaneous Localization and Mapping，SLAM)...等運用需要對其魚眼相機外參進行優化。舉例來說，經由本發明仿真平台操作第1圖的流程以取得魚眼相機的初始外參後，再依據各應用的實際需求調用個別應用場合所需的演算法(例如將第2A圖的車輛環景系統的魚眼相機外參優化的流程，變更為3D重建的魚眼相機外參優化流程)，來完成魚眼相機在個別應用的線上外參優化，本發明對此不予限制。
由於實際安裝魚眼相機時，會與環視拼接所使用的外參多少產生一些偏差，因此若能提供魚眼相機安裝時的公差 (Tolerance)，對使用者實際安裝過程會很有助益。本案發明人基於此項需求，提供一種在仿真平台中，借助環景系統的圖像拼接流程以在線上取得安裝公差，作為使用者實際安裝魚眼相機時的參考。第2B圖為本發明實施例之魚眼相機的參考外部參數產生流程圖，其中的參考外部參數是在初始外參加入偏移值來產生。如第2B圖所示，本發明方法包括：在相鄰仿真魚眼相機之一者的初始外部參數(或優化外參)加入一偏移值而成為參考外部參數(步驟S240)；仿真平台依據該參考外部參數產生該仿真魚眼相機的第三魚眼圖像(步驟S242)；將該第三魚眼圖像與另一個未在初始外參(或優化外參)加入偏移值的相鄰仿真魚眼相機所產生的魚眼圖像進行拼接，以產生一第三環景拼接圖像(步驟S244)；判斷該第三環景拼接圖像是否合格(步驟S246)；若第三環景拼接圖像仍合格，則增加偏移值(步驟S248)，隨後回到步驟S240將增量偏移值加入相鄰仿真魚眼相機一者的初始外參，以使外部參數增加偏移量的仿真魚眼相機與其相鄰仿真魚眼相機(未增加任何偏移值至外參)再度結合以產生更新第三環景拼接圖像。若在步驟S246判斷該第三環景拼接圖像不合格時，此時的偏移值將成為安裝公差(Tolerance)供使用者參考(步驟S250)。應注意的是，上述產生安裝公差流程中，使用者可在設定偏移值後，由仿真平台自動產生。
在一實施例中，在步驟S240於相鄰魚眼相機之一者中加入偏移值的方式，以段落[0061]之四相機車輛中的仿真魚眼相機1/2(車前側/車左側)為例，可在仿真魚眼相機1(車前側)的初始 外參加入偏移值，而仿真魚眼相機2(車左側)的初始外參則維持不變。在步驟S244中，由於仿真魚眼相機1的外部參數被改為參考外部參數，所以此時仿真魚眼相機1/2所拼接的第三環景拼接圖像，相較於未添加任何偏移值的優化外參所產生的拼接圖像就會在共視區產生誤差。是以，在步驟S246中判斷共視區的誤差是否超過共視區誤差閥值時，可在共視區的誤差未超過共視區誤差閥值時前往步驟S248增加偏移值，並返回步驟S240重新產生拚接圖像。
在一些實施例中，參考外部參數裡的安裝公差亦可作為某些特殊應用的參考，例如在需要對魚眼相機添加外殼做額外保護的應用中(例如對設置在礦車上的魚眼相機加裝外殼，以避免魚眼相機遭受外力(例如落石)而損害)，而這個安裝公差就可以做為外殼厚度的參考值(例如外殼厚度小於公差所指示的位移)。在一些實施例中，可以在設定偏移值的增加方式後，由仿真平台自動產生安裝公差。在步驟S248增加偏移值的方式，可以讓魚眼相機初始外參的位置每次只移動一個預設位置偏移值(例如每次移動0.1cm)而不變動轉角、或是從初始外參的轉角每次只轉動一個預設轉動偏移值(例如轉動0.05°)，並在取得其中一者公差後(例如移動值)，再取得另一者的公差(例如轉動值)。在一些實施例中，可同時在初始外參的位置與轉角增加偏移值(例如每次移動0.1cm並轉動0.05°)。在另一實施例中，可以分別對偏航角(Yaw)，橫滾角(Roll)，俯仰角(Pitch)加入預設轉動偏移值。在一些實施例中，在步驟S250可以將所獲得的參考外部參數透過初始外參±1cm的位移(移動公差)、以及 ±0.5°(轉動公差)的旋轉角度來表示，本發明不限於此。在一些實施例中，參考外部參數是在仿真平台裡把魚眼相機的初始外參加入隨機噪聲而產生，以仿真真實環景的魚眼相機位置或角度發生偏移的狀況。在實際操作上，可以在隨機躁聲過小時，重新取得更大的隨機雜訊再加入初始外參來重新生成魚眼圖。在一些實施例中，只有在仿真場景才能知道相機位置或角度發生偏移之後的參考外部參數(因為已知噪聲量就知道加噪聲後的外部參數值)。
第3圖為本發明實施例之包括棋盤格標定板的魚眼圖像的示意圖。第3圖包括魚眼圖像300、魚眼圖像302、魚眼圖像304，和魚眼圖像306。在一些實施例中，魚眼圖像300可例如來自仿真車輛的前魚眼相機，魚眼圖像302可例如來自仿真車輛的右魚眼相機，魚眼圖像304可例如來自仿真車輛的後魚眼相機，以及魚眼圖像306可例如來自仿真車輛的左魚眼相機，但本發明不限於此。如第3圖所示，魚眼圖像300、魚眼圖像302、魚眼圖像304，和魚眼圖像306都包括棋盤格標定板310，因此本發明外參標定的方法可依據魚眼圖像300、魚眼圖像302、魚眼圖像304，和魚眼圖像306中棋盤格標定板的內部頂點(亦即讓內部頂點成為第1圖中的第一特徵點)，來計算仿真魚眼相機在仿真車輛上的初始外部參數，即第1圖的步驟S106。值得注意的是，第3圖的每張魚眼圖像，除了能在仿真平台上各自經由第1圖流程來計算對應魚眼相機的初始外參之外，亦可在仿真平台上結合四張魚眼圖像，並經由第2A圖流程來針對車輛環景系統的需求以優化初始外參。因此，本發明仿真平台可 以在每個魚眼相機僅產生一張魚眼圖像的情形下，同時產生每個魚眼相機的初始外參、並對車輛環景系統的魚眼相機外參加以優化。
第4圖為本發明實施例之不包括棋盤格標定板的魚眼圖像的示意圖。第4圖包括魚眼圖像400、魚眼圖像402、魚眼圖像404，和魚眼圖像406。在一些實施例中，魚眼圖像400可例如來自仿真車輛的前魚眼相機，魚眼圖像402可例如來自仿真車輛的右魚眼相機，魚眼圖像404可例如來自仿真車輛的後魚眼相機，以及魚眼圖像406可例如來自仿真車輛的左魚眼相機，但本發明不限於此。如第4圖所示，魚眼圖像400、魚眼圖像402、魚眼圖像404，和魚眼圖像406都不包括棋盤格標定板，因此魚眼相機的外參無法經由棋盤格標定板的內部頂點來計算初始外部參數，而需要利用其他演算法來取得魚眼相機的初始外參(例如利用Scale-Invariant Feature Transform(SIFT)演算法，並搭配複數張不同角度的魚眼圖像)。然而，結合魚眼圖像400、魚眼圖像402、魚眼圖像404，和魚眼圖像406，仍可利用本發明第2A圖來優化車輛環景系統的魚眼相機外參。
第5A圖為包括棋盤格標定板的拼接圖像500，其中產生應魚眼圖像的魚眼相機外參，因為相機座標系統與世界座標系統未正確對應而未優化。如第5A圖所示，拼接圖像500包括仿真車輛530、棋盤格標定板510、棋盤格標定板512、棋盤格標定板514，和棋盤格標定板516。在一些實施例中，棋盤格標定板510是設置於仿真車輛530的左前側，棋盤格標定板512是設置於仿真車輛530的右前側，棋盤格標定板514是設置於仿真車輛530的左後側，以及棋 盤格標定板516是設置於仿真車輛530的右後側，但本發明不限於此。由於拼接圖像500的相機座標系統與世界座標系統未正確對應，因此如第5A圖所示，棋盤格標定板510、棋盤格標定板512、棋盤格標定板514，和棋盤格標定板516皆包括不連續斷面，拼接效果並不理想。
第5B圖為包括棋盤格標定板的拼接圖像502，而產生對應魚眼圖像的魚眼相機外參已優化，因為其相機座標系統與世界座標系統已正確對應。如第5B圖所示，拼接圖像502包括仿真車輛530、棋盤格標定板520、棋盤格標定板522、棋盤格標定板524，和棋盤格標定板526。在一些實施例中，棋盤格標定板520是設置於仿真車輛530的左前側，棋盤格標定板522是設置於仿真車輛530的右前側，棋盤格標定板524是設置於仿真車輛530的左後側，以及棋盤格標定板526是設置於仿真車輛530的右後側，但本發明不限於此。由於拼接圖像502是由相機座標系統與世界座標系統已正確對應的魚眼相機所產生，因此如第5B圖所示，棋盤格標定板520、棋盤格標定板522、棋盤格標定板524，和棋盤格標定板526皆沒有不連續斷面的問題，拼接圖像502的拼接效果明顯優於第5A圖中的拼接圖像500。
第6A圖為不包括棋盤格標定板的拼接圖像600示意圖，其中產生對應魚眼圖像的魚眼相機外參，因為相機座標系統與世界座標系統未正確對應而未優化。如第6A圖所示，拼接圖像600包括仿真車輛640、標線610、標線620，和物件630。在一些實 施例中，標線610是位於仿真車輛640的左側。標線620和物件630是位於仿真車輛640的右側，但本發明不限於此。由於拼接圖像600的相機座標系統與世界座標系統未正確對應，因此如第6A圖所示，標線610、標線620，和物件630皆包括不連續斷面，拼接效果並不理想。
第6B圖包括棋盤格標定板的拼接圖像602示意圖，而產生對應魚眼圖像的魚眼相機外參已優化，因為相機座標系統與世界座標系統已正確對應。如第6B圖所示，拼接圖像602包括仿真車輛640、標線650、標線660，和物件670。在一些實施例中，標線650是位於仿真車輛640的左側。標線660和物件670是位於仿真車輛640的右側，但本發明不限於此。由於拼接圖像602的相機座標系統與世界座標系統未正確對應，因此如第6B圖所示，標線650、標線660，和物件670皆沒有不連續斷面的問題，拼接圖像602的拼接效果明顯優於第6A圖中的拼接圖像600。
第7圖為本發明實施例中，當發現環景拼接圖像的拼接處出現物件時，調整環景拼接的拼接縫的流程圖。雖然環景拼接圖像可以提供車輛周圍實時情境給車輛駕駛員參考，但是在拚接處上出現物件時，因為圖像拼接過程中拼接縫的位置是固定不變的，導致拼接縫上的物件消失或無法提供足夠資訊給車輛駕駛員參考，於是可能在車輛行駛時發生事故。基於這項考量，本發明特別針對在環景拼接圖像的拚接處出現物件時，對拚接縫(stitching seam)進行調整以使拚接處能提供該物件更多資訊給車輛駕駛員參考。如第 7圖所示，本發明拼接縫的調整方法包括：接收來自一第一魚眼相機的一第四魚眼圖像和來自一第二魚眼相機的一第五魚眼圖像(步驟S700)；檢測第四魚眼圖像和第五魚眼圖像中的一目標物件(步驟S702)；將第四魚眼圖像、第五魚眼圖像，和目標物件投影至一拼接圖像，拼接圖像包括拼接縫，而且該目標物件位於該拚接縫上(步驟S704)；依據拼接圖像中目標物件和第一魚眼相機和第二魚眼相機的距離，計算拼接縫的一調整方向(步驟S706)；判斷拼接縫是否到達一極限值(步驟S708)；以及依據該調整方向，調整該拼接縫(步驟S710)。在一些實施例中，步驟S700中的第一魚眼相機是相鄰於第二魚眼相機，因此在其產生的第四魚眼圖像與第五魚眼圖像中，都會出現該目標物件。在一些實施例中，該目標物件係具體的物件(例如公車)。在一些實施例中，步驟S700中的第四魚眼圖像是投影至步驟S704中的拼接圖像的左側，步驟S700中的第五魚眼圖像是投影至步驟S704中的拼接圖像的右側，步驟S704中的拼接縫是位於拼接圖像中第四魚眼圖像與第五魚眼圖像之間，但本發明不限於此。由於第四/第五魚眼圖像進行拼接時，會基於拚接縫的位置而各自刪除一些資訊。舉例來說，第四魚眼圖像在拚接縫右側的資訊，可能在拼接後未被顯示在環景拼接圖像中；而第五魚眼圖像在拚接縫左側的資訊，則可能在拼接後未被顯示在環景拼接圖像中。是以，在拼接縫位置固定不變的情形下，即使某個魚眼相機拍到目標物件較多的資訊，這些資訊也可能在圖像拚接時被丟棄，因此只有部分被顯示、甚至不會被顯示在環景拼接圖像中。然而若能將在拼接圖像 時將原先被排除的目標物件資訊顯示給車輛駕駛員，這樣可減少交通事故的發生。此外，由於環景拼接圖像的拼接處，是將相鄰魚眼相機所拍攝的魚眼圖像裡都出現的共視區進行拼接，因此拼接處會有一條拚接縫(在實際的拼接圖像不會顯示)，而拚接縫兩側的圖像基本上是來自不同的相鄰魚眼相機，所以調整拚接縫的方向，事實上就可以變更拼接處所顯示的內容(例如讓相鄰魚眼相機中的某一個所拍攝的影像顯示更多資訊在拼接圖像裡)。因此，在步驟S706調整拚接縫的方向，即是在判斷相鄰魚眼相機所拍得的魚眼圖像中，哪一個魚眼圖像具有較多的目標物件資訊，隨後調整拚接縫方向以顯示更多的物件資訊給車輛駕駛員。
在一些實施例中，步驟S708中的極限值是關連於第一魚眼相機和第二魚眼相機的一外部參數，例如魚眼相機基於目前安裝於車輛的位置、旋轉角、以及視場角(Field of View,FOV)...等條件下所能拍到的圖像範圍極限。在一些實施例中，本發明第7圖拼接縫的調整方法可於第1圖的仿真平台中進行驗證(例如為Carla)中，但本發明不限於此。在步驟S708中，當本發明拼接縫的調整方法判斷拼接縫到達極限值，進而回到步驟S700，即繼續接收來自第一魚眼相機的一第六魚眼圖像和來自第二魚眼相機的一第七魚眼圖像。在一些實施例中，環視拼接透過繪製軟件OPENGL(Open Graphics Library)進行繪製，當拼接縫到達極限值(例如拼接縫的斜率過大)時可能因為所有的魚眼圖像都沒有目標物件資訊的圖元，而在拚接縫上出現鋸齒或其他錯誤。在步驟S708中，當本發明拼接 縫的調整方法判斷拼接縫未到達極限值，本發明拼接縫的調整方法執行步驟S710，即依據步驟S706中所獲得的調整方向，調整拼接縫。在一些實施例中，當步驟S702中並未在拼接處偵測到任何目標物件時，則本發明拼接縫的調整方法不執行後續步驟。應注意的是，當極限值到達後，則利用拚接縫將保持不動的方式來產生環景拼接圖像顯示給車輛駕駛員。此外，當目標物件從拼接縫消失後，可將拼接縫的斜率回歸優化外參所使用的拼接縫斜率。這樣做的好處是當有物件出現在拼接處時，可實時調整環景拼接圖像的內容提供給車輛駕駛員參考，以防止車輛與該物件產生碰撞，並在該物件從拼接處消失後，又立即回歸優化外參的拼接縫斜率，以提供優化環景拼接圖像給駕駛員。
第8圖為本發明實施例之第7圖的步驟S706的詳細流程圖。如第8圖所示，本發明拼接縫調整方法包括：依據步驟S702中的目標物件的種類擷取目標物件的一代表點(步驟S800)；將代表點投影至步驟S704中的拼接圖像(步驟S802)；以及依據拼接圖像中代表點和第一魚眼相機和第二魚眼相機的距離，計算拼接縫的調整方向(步驟S804)。詳細來說，步驟S800中目標物件的種類可例如包括公交車、汽車、行人、卡車，和騎士，但本發明不限於此。例如，當目標物件為公交車，本發明拼接縫的調整方法將目標物件的種類設置為0。當目標物件為汽車，本發明拼接縫的調整方法將目標物件的種類設置為1。當目標物件為行人，本發明拼接縫的調整方法將目標物件的種類設置為2。當目標物件為卡車，本發明拼接縫的調 整方法將目標物件的種類設置為3。當目標物件為騎士，本發明拼接縫的調整方法將目標物件的種類設置為4。但本發明不限於此。
在一些實施例中，當本發明拼接縫調整方法判斷目標物件為公交車、汽車，或卡車時，本發明拼接縫調整方法在目標物件的周圍產生一目標框。接著，本發明拼接縫調整方法擷取目標框的幾何中心點作為步驟S800中目標物件的代表點。當本發明拼接縫調整方法判斷目標物件為行人或騎士時，本發明拼接縫調整方法在目標物件的周圍產生一目標框。接著，本發明拼接縫調整方法擷取目標框的下邊緣角點作為步驟S800中目標物件的代表點。
第9圖為本發明實施例之第8圖的步驟S804的詳細流程圖。在第9圖的實施例中，第四魚眼圖像投影至拼接圖像中的左側，第五魚眼圖像投影至拼接圖像中的右側。如第9圖所示，本發明拼接縫調整方法包括：計算代表點和第一魚眼相機的一第一距離(步驟S900)；計算代表點和第二魚眼相機的一第二距離(步驟S902)；比較第一距離和第二距離(步驟S904)；當判斷第一距離小於第二距離(步驟S906)，將拼接縫的斜率減少一預設值，使得第一魚眼圖像在拼接圖像中的權重增加(步驟S908)；當判斷第二距離小於第一距離(步驟S910)，將拼接縫的斜率增加一預設值，使得第二魚眼圖像在拼接圖像中的權重增加(步驟S912)。在步驟S904判斷第一距離與第二距離的原因，是希望找出第一魚眼相機與第二魚眼相機中，比較接近標物件的魚眼相機，而比較接近目標物件的魚眼相機一般能拍到較多的目標物件的區域，因此能提供較多的目標物件資訊。 在一些實施例中，若步驟S908的斜率變化量過大，會使得拼接圖像在連續幀播放中產生畫面閃爍。若步驟S908的斜率變化量過小，會使得拼接圖像在連續幀播放中對目標物件不易感知。本發明的拼接圖像每幀斜率變化量為0.005，使得拼接圖像在連續幀播放中平滑呈現。亦即，上述預設值為0.005，但本發明不限於此。
應注意的是，位於拼接處上的目標物件可以不只一個(例如多個行人)，而且出現在拼接處的多個目標物件的種類也可以不同(例如有騎士也有公車)。因此，在本發明仿真平台上，可以對不同種類的車輛在實際上路前，將其環景系統的拼接圖像拼接縫上可能出現的目標物件都進行仿真，以期降低可能發生的交通事故。
第10A圖為先前技術中包括拼接縫的拼接圖像1000的示意圖。拼接圖像1000並未採用本發明拼接縫的調整方法。如第10A圖所示，拼接圖像1000包括仿真車輛1050、第一級警告框1010、第二級警告框1012、拼接縫1030、目標物件1040，和代表點1020。在一些實施例中，第一級警告框1010和第二級警告框1012環繞於拼接圖像1000中的仿真車輛1050的一中心點。第一級警告框上1010的點與仿真車輛1050中心點的距離小於第二級警告框1012上的點與仿真車輛1050中心點的距離。在一些實施例中，在拼接圖像1000中，拼接縫1030設置於仿真車輛1050車前側魚眼相機所產生的圖像與仿真車輛1050車右側魚眼相機所產生的圖像之間。第10A圖中還包括其他拼接縫，但本發明以拼接縫1030進行示例。
如第10A圖所示，由於拼接圖像1000並未採用本發 明拼接縫的調整方法，因此雖然拼接處有目標物件1040，且有依據目標物件1040的位置產生代表點1020，但目標物件1040的影像只出現在第一級警告框1010內，目標物件1040在第一級警告框1010和第二級警告框1012之間的影像卻消失了。換句話說，駕駛員不易觀察到拼接圖像1000中的目標物件1040，而造成視覺上的盲點，易造成行車上的危險。
第10B圖為運用本發明實施例之包括拼接縫的拼接圖像1002的示意圖。拼接圖像1002採用本發明拼接縫的調整方法。如第10B圖所示，拼接圖像1002包括仿真車輛1050、第一級警告框1010、第二級警告框1012、拼接縫1030’、目標物件1040，和代表點1020。在一些實施例中，第一級警告框1010和第二級警告框1012環繞於拼接圖像1002中的仿真車輛1050的中心點。第一級警告框上1010的點與仿真車輛1050中心點的距離小於第二級警告框1012上的點與仿真車輛1050中心點的距離。在一些實施例中，在拼接圖像1002中，拼接縫1030’設置於仿真車輛1050右側魚眼相機所產生的圖像與仿真車輛1050前側魚眼相機所產生的圖像之間。第10A圖中還包括其他拼接縫，但本發明是以拼接縫1030進行示例。
如第10B圖所示，由於拼接圖像1002採用本發明拼接縫的調整方法，因此調整後的拼接縫1030’的斜率絕對值小於第10A圖拼接縫1030的斜率絕對值，使得拼接圖像1002中可顯示目標物件1040的完整影像(因為包含更多由右側魚眼相機距離目標物件1040較近，所拍攝的圖像資訊也包含目標物件1040更多的圖像 紋理資訊)。在一些實施例中，當本發明拼接縫的調整方法判斷目標物件1040在第一級警告框1010或第二級警告框內1012，本發明拼接縫的調整方法依據步驟S706中所計算出的調整方向，調整拼接縫1030’。在一些實施例中，當本發明拼接縫的調整方法判斷目標物件1040不在第一級警告框1010或第二級警告框1012內，本發明拼接縫的調整方法不調整拼接縫1030。在一些實施例中，第10A/10B圖中出現的拼接縫1030/1030’僅用於更清楚的例示，真正的拼接圖像中不存在可視的拼接縫，因此拼接縫1030/1030’只是為了更好的突出而後續標註上的。
第11圖為本發明實施例之電子裝置1100的示意圖。如第11圖所示，電子裝置1100包括一處理器1102和複數魚眼相機1104。處理器1102可執行一仿真平台1110、一外參萃取演算法1112、一棋盤格角點檢測演算法1114，和一環景拼接演算法1116。在一些實施例中，處理器1102可從魚眼相機1104獲得魚眼圖像和其內部參數。在一些實施例中，仿真平台1110可例如為Carla、PerScan、CarSim、VIRES VTD、PTV Vissim，和TESS NG，但本發明不限於此。處理器1102執行仿真平台1110，用以執行外參萃取演算法1112以取得初始外參的流程、執行棋盤格角點檢測演算法1114以取得棋盤格標定板的特徵點、或執行環景拼接演算法1116以完成車輛環景系統的魚眼相機外參優化流程。
在一些實施例中，處理器1102執行仿真平台1110用以完成第2B圖的參考外部參數處理流程、執行外參萃取演算法 1112用以在第2B圖流程中取得特徵點、執行環景拼接演算法1116用以判斷參考外部參數中的偏移值是否過大。
在一些實施例中，處理器1102執行環景拼接演算法1116用以完成第7圖、第8圖，和第9圖的流程。
本發明環景拼接的方法可有效提高開發人員驗證和改進演算法的效率，藉由自動取得魚眼相機的初始外參、將魚眼相機的外部參數依據車輛環景系統的需求進行自動校正，以加速環視系統開發的進程。本發明拼接縫的調整方法在車輛環景系統拼接圖像的拼接處檢測到目標物件時可動態調整拼接縫位置，使得拼接圖像重新顯示出消失的目標物件(例如為行人)，因而提高環視系統的完整性和提升車輛行駛安全性。
雖然本發明的實施例如上述所描述，我們應該明白上述所呈現的只是範例，而不是限制。根據本實施例上述示範實施例的許多改變是可以在沒有違反揭露精神及範圍下被執行。因此，本發明的廣度及範圍不該被上述所描述的實施例所限制。更確切地說，本發明的範圍應該要以以下的申請專利範圍及其相等物來定義。儘管上述揭露已被一或多個相關的執行來圖例說明及描繪，等效的變更及修改將被根據上述規格及附圖且熟悉這領域的其他人所想到。此外，儘管本發明的一特別特徵已被相關的多個執行之一所示範，上述特徵可能由一或多個其他特徵所結合，以致於可能有需求及有助於任何已知或特別的應用。
本說明書所使用的專業術語只是為了描述特別實施 例的目的，並不打算用來作為本發明的限制。除非上下文有明確指出不同，如本處所使用的單數型，一、該及上述的意思係也包含複數型。再者，用詞「包括」，「包含」，「(具、備)有」，「設有」，或其變化型不是被用來作為詳細敘述，就是作為申請專利範圍。而上述用詞意思是包含，且在某種程度上意思是等同於用詞「包括」。除非有不同的定義，所有本文所使用的用詞(包含技術或科學用詞)是可以被屬於上述揭露的技術中擁有一般技術的人士做一般地瞭解。我們應該更加瞭解到上述用詞，如被定義在眾所使用的字典內的用詞，在相關技術的上下文中應該被解釋為相同的意思。除非有明確地在本文中定義，上述用詞並不會被解釋成理想化或過度正式的意思。
S100,S102,S104,S106:步驟

Claims (7)

  1. 一種應用於環景拼接的魚眼相機外部參數優化方法，應用於線上仿真平台中，用以取得設置於一車輛上的魚眼相機的安裝公差(Tolerance)，包括： 從設置於一仿真車輛上的複數個該仿真魚眼相機之一仿真魚眼相機產生一參考外部參數； 利用該參考外部參數使該仿真魚眼相機產生一第三魚眼圖像； 利用該第三魚眼圖像與該仿真魚眼相機相鄰的一相鄰仿真魚眼相機所產生的第三魚眼圖像進行圖像拼接以產生一第三環景拼接圖像；以及 當該第三環景拼接圖像的共視區誤差高於一共視區誤差閥值時，以目前該參考外部參數中的偏移值成為該安裝公差。
  2. 如請求項1所述之方法，更包含: 當該第三環景拼接圖像的該共視區誤差低於該共視區誤差閥值時，將該偏移值增加一增量後再產生一更新參考外部參數。
  3. 如請求項2所述之方法，其中該增量係預設位置偏移值或預設轉動偏移值。
  4. 如請求項2所述之方法，其中該增量係隨機位置偏移值或隨機轉動偏移值。
  5. 如請求項2所述之方法，更包含: 該仿真平台依據該更新參考外部參數產生一更新第三魚眼圖像； 該更新第三魚眼圖像與該仿真魚眼相機相鄰的該相鄰仿真魚眼相機所產生的該第三魚眼圖像進行圖像拼接以產生一更新第三環景拼接圖像；以及 判斷該更新第三環景拼接圖像的共視區誤差是否高於該共視區誤差閥值。
  6. 如請求項1所述之方法，更包含在該仿真魚眼相機對應的魚眼相機加裝外殼時，該外殼之厚度需小於該安裝公差所指示的位移。
  7. 如請求項1所述之方法，其中該參考外部參數是將該仿真魚眼相機的初始外參或優化外參加入一偏移值而產生。
TW113133895A 2023-09-07 2024-09-06 應用於環景拼接的魚眼相機外部參數優化方法 TWI898822B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN2023111523702 2023-09-07
CN202311152370.2A CN117197254A (zh) 2023-09-07 2023-09-07 应用于环景拼接的鱼眼镜头外参标定的方法及系统
CN202411230040.5 2024-09-03
CN202411230040.5A CN119131153A (zh) 2023-09-07 2024-09-03 线上取得鱼眼相机的安装公差的方法

Publications (2)

Publication Number Publication Date
TW202512092A TW202512092A (zh) 2025-03-16
TWI898822B true TWI898822B (zh) 2025-09-21

Family

ID=88988183

Family Applications (3)

Application Number Title Priority Date Filing Date
TW112140701A TWI873936B (zh) 2023-09-07 2023-10-25 應用於環景拼接的魚眼鏡頭外參標定的方法及系統
TW113133895A TWI898822B (zh) 2023-09-07 2024-09-06 應用於環景拼接的魚眼相機外部參數優化方法
TW113133894A TWI898821B (zh) 2023-09-07 2024-09-06 應用於環景拼接的線上取得魚眼相機初始外部參數的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW112140701A TWI873936B (zh) 2023-09-07 2023-10-25 應用於環景拼接的魚眼鏡頭外參標定的方法及系統

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW113133894A TWI898821B (zh) 2023-09-07 2024-09-06 應用於環景拼接的線上取得魚眼相機初始外部參數的方法

Country Status (3)

Country Link
US (3) US20250085192A1 (zh)
CN (4) CN117197254A (zh)
TW (3) TWI873936B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107235A1 (ja) * 2020-11-18 2022-05-27 株式会社ソシオネクスト 画像処理装置、画像処理方法、プログラム、及び画像処理システム
CN117197254A (zh) * 2023-09-07 2023-12-08 威盛电子股份有限公司 应用于环景拼接的鱼眼镜头外参标定的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102356633A (zh) * 2009-03-31 2012-02-15 爱信精机株式会社 车载照相机的校正装置、方法以及程序
US20150254825A1 (en) * 2014-03-07 2015-09-10 Texas Instruments Incorporated Method, apparatus and system for processing a display from a surround view camera solution
CN215972078U (zh) * 2021-02-22 2022-03-08 深圳市道通智能航空技术股份有限公司 一种四旋翼无人机

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2523163B1 (en) * 2011-05-10 2019-10-16 Harman Becker Automotive Systems GmbH Method and program for calibrating a multicamera system
US9723272B2 (en) * 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
CN104168234B (zh) * 2013-05-16 2018-04-10 中兴通讯股份有限公司 一种无线通讯系统的信号抵消方法及装置
US9986173B2 (en) * 2014-05-16 2018-05-29 GM Global Technology Operations LLC Surround-view camera system (VPM) online calibration
US10582186B1 (en) * 2014-06-11 2020-03-03 Amazon Technologies, Inc. Approaches for identifying misaligned cameras
US10848743B2 (en) * 2016-06-10 2020-11-24 Lucid VR, Inc. 3D Camera calibration for adjustable camera settings
US10911745B2 (en) * 2016-12-28 2021-02-02 Texas Instruments Incorporated Calibration of a surround view camera system
US10740972B2 (en) * 2017-04-28 2020-08-11 Harman International Industries, Incorporated System and method for presentation and control of augmented vehicle surround views
US10481044B2 (en) * 2017-05-18 2019-11-19 TuSimple Perception simulation for improved autonomous vehicle control
TWI645372B (zh) * 2017-08-28 2018-12-21 華利納企業股份有限公司 影像校正系統及影像校正方法
CN108171759A (zh) * 2018-01-26 2018-06-15 上海小蚁科技有限公司 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端
CN109407547A (zh) * 2018-09-28 2019-03-01 合肥学院 面向全景视觉感知的多摄像头在环仿真测试方法与系统
US11055541B2 (en) * 2018-10-12 2021-07-06 Volvo Car Corporation Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
CN109615659B (zh) * 2018-11-05 2023-05-05 成都西纬科技有限公司 一种车载多摄像机环视系统的摄像机参数获得方法及装置
US11609574B2 (en) * 2018-11-13 2023-03-21 FLIR Belgium BVBA Extrinsic sensor calibration systems and methods
US20200294194A1 (en) * 2019-03-11 2020-09-17 Nvidia Corporation View synthesis using neural networks
US11693417B2 (en) * 2019-03-15 2023-07-04 Volkswagen Aktiengesellschaft Generating training data using simulated environments and training machine learning models for vehicle guidance
US11257272B2 (en) * 2019-04-25 2022-02-22 Lucid VR, Inc. Generating synthetic image data for machine learning
US11948315B2 (en) * 2020-12-31 2024-04-02 Nvidia Corporation Image composition in multiview automotive and robotics systems
US12015755B2 (en) * 2021-03-25 2024-06-18 Korea Advanced Institute Of Science And Technology Real-time omnidirectional stereo matching method using multi-view fisheye lenses and system thereof
CN113093740B (zh) * 2021-03-29 2024-12-27 杭州海康威视数字技术股份有限公司 一种参数标定方法、系统、装置及设备
CN113496527B (zh) * 2021-06-23 2024-04-26 中汽创智科技有限公司 一种车辆环景影像标定方法、装置、系统及存储介质
US12026229B2 (en) * 2021-10-29 2024-07-02 Volkswagen Aktiengesellschaft Generating synthetic training data for perception machine learning models using simulated environments
US11812153B2 (en) * 2022-03-07 2023-11-07 Volvo Car Corporation Systems and methods for fisheye camera calibration and bird's-eye-view image generation in a simulation environment
US12405116B2 (en) * 2023-03-03 2025-09-02 Telenav, Inc. Navigation system with automatic optical calibration mechanism and method of operation thereof
US12450825B2 (en) * 2023-04-20 2025-10-21 Samsung Electronics Co., Ltd. Surround view system
US20240430574A1 (en) * 2023-06-20 2024-12-26 Rivian Ip Holdings, Llc Vehicle camera system
US12217458B1 (en) * 2023-09-01 2025-02-04 Tp-Link Corporation Pte. Ltd. Camera extrinsic parameter calibration method, image stitching method and apparatus thereof
CN117197254A (zh) * 2023-09-07 2023-12-08 威盛电子股份有限公司 应用于环景拼接的鱼眼镜头外参标定的方法及系统
CN117934633A (zh) * 2024-01-26 2024-04-26 威盛电子股份有限公司 应用于环景拼接的鱼眼镜头外部参数的微调的方法和系统
CN118864607A (zh) * 2024-06-26 2024-10-29 黑芝麻智能科技有限公司 用于校准安装在车辆上的相机的外参的方法及计算系统
US12511783B1 (en) * 2024-11-14 2025-12-30 Ambarella International Lp Fisheye lens optical center and distortion calibration using a single image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102356633A (zh) * 2009-03-31 2012-02-15 爱信精机株式会社 车载照相机的校正装置、方法以及程序
US20150254825A1 (en) * 2014-03-07 2015-09-10 Texas Instruments Incorporated Method, apparatus and system for processing a display from a surround view camera solution
CN215972078U (zh) * 2021-02-22 2022-03-08 深圳市道通智能航空技术股份有限公司 一种四旋翼无人机

Also Published As

Publication number Publication date
US20250086835A1 (en) 2025-03-13
US20250085192A1 (en) 2025-03-13
TW202512101A (zh) 2025-03-16
CN119131155A (zh) 2024-12-13
TWI873936B (zh) 2025-02-21
CN119131154A (zh) 2024-12-13
TW202512092A (zh) 2025-03-16
TW202512102A (zh) 2025-03-16
CN119131153A (zh) 2024-12-13
TW202512103A (zh) 2025-03-16
TWI898821B (zh) 2025-09-21
CN117197254A (zh) 2023-12-08
US20250085530A1 (en) 2025-03-13

Similar Documents

Publication Publication Date Title
TWI898822B (zh) 應用於環景拼接的魚眼相機外部參數優化方法
CN110264520B (zh) 车载传感器与车辆位姿关系标定方法、装置、设备和介质
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
US7899270B2 (en) Method and apparatus for providing panoramic view with geometric correction
TWI869000B (zh) 應用於環景拼接的拼接縫的調整方法及系統
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
CN113610927B (zh) 一种avm摄像头参数标定方法、装置及电子设备
CN107792179A (zh) 一种基于车载环视系统的泊车引导方法
JP2011182236A (ja) カメラキャリブレーション装置
JP2008271308A (ja) 画像処理装置及び方法並びに車両
JP2008193188A (ja) カメラ校正装置及び方法並びに車両
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
KR20240022986A (ko) 카메라 포즈 정보와 장면 이전 정보의 융합을 이용하여유클리드 공간 내의 객체들의 거리를 추정하는 방법 및 장치
JP2003091720A (ja) 視点変換装置および視点変換プログラムならびに車両用画像処理装置
TWI908320B (zh) 應用於環景拼接的拼接縫的調整方法
TWI908319B (zh) 應用於環景拼接的魚眼相機外參標定的方法
CN102469249A (zh) 影像校正方法及影像校正装置
CN119205898B (zh) 车灯的标定方法、装置、设备和计算机可读存储介质
Sánchez et al. Method for the automatic measurement of camera-calibration quality in a surround-view system
CN117671034A (zh) 一种汽车全景影像标定方法、装置、设备、介质及车辆
KR101762117B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
CN118604800A (zh) 一种基于相机与雷达融合的测距方法、装置、系统及介质
KR101398069B1 (ko) 차량 주변 영상을 위한 호모그래피 추정 방법 및 시스템
CN119963658A (zh) 车辆摄像头外参标定方法、装置、设备及存储介质