[go: up one dir, main page]

TW201829978A - 於視覺慣性量距中使用全球定位系統速度之系統及方法 - Google Patents

於視覺慣性量距中使用全球定位系統速度之系統及方法 Download PDF

Info

Publication number
TW201829978A
TW201829978A TW106137286A TW106137286A TW201829978A TW 201829978 A TW201829978 A TW 201829978A TW 106137286 A TW106137286 A TW 106137286A TW 106137286 A TW106137286 A TW 106137286A TW 201829978 A TW201829978 A TW 201829978A
Authority
TW
Taiwan
Prior art keywords
gps
estimate
speed
electronic device
camera
Prior art date
Application number
TW106137286A
Other languages
English (en)
Inventor
愛爾文德 瑞曼安丹
穆瑞里 查理
艾德赫 喬許
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201829978A publication Critical patent/TW201829978A/zh

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/52Determining velocity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/53Determining attitude

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Studio Devices (AREA)

Abstract

本發明描述一種藉由一電子器件執行之方法。該方法包括使用一攝影機及一慣性量測單元(IMU)判定對應於一第一時期的與地球有關之一預測速度。該方法亦包括使用一全球定位系統(GPS)接收器判定與地球有關之一GPS速度。該方法進一步包括判定該預測速度與該GPS速度之間的一差分向量。該方法另外包括優化與該差分向量成比例的IMU量測之一偏置估計及一比例因數估計。該方法亦包括基於該差分向量優化該攝影機與該IMU之間的一未對準估計。該方法進一步包括基於該優化偏置估計、該優化比例因數及該優化未對準估計提供姿態資訊。

Description

於視覺慣性量距中使用全球定位系統速度之系統及方法
本發明大體上係關於電子器件。更確切而言,本發明係關於在視覺慣性量距(VIO)中使用全球定位系統(GPS)速度的系統與方法。
一些電子器件(例如,攝影機、視訊攝錄影機、數位攝影機、蜂巢式電話、智慧型電話、電腦、電視、汽車、個人攝影機、穿戴式攝影機、虛擬實境器件(例如,耳機)、擴增實境器件(例如,耳機)、混合實境器件(例如,耳機)、動作攝影機、監測攝影機、安裝之攝影機、連接之攝影機、機器人、遙控飛機、保健設備、機上盒等)俘獲及/或利用影像。舉例而言,智慧型電話可俘獲及/或處理靜止及/或視訊影像。處理影像可需求相對大量時間、記憶體及能量資源。所需求資源可根據處理之複雜度而變化。 在一些狀況下,影像可用於電腦視覺應用中。舉例而言,電腦視覺可用以偵測物體。然而,電腦視覺可受到一些侷限。自此論述可瞭解,改良電腦視覺之系統及方法可為有益的。
本發明描述一種藉由一電子器件執行之方法。該方法包括使用一攝影機及一慣性量測單元(IMU)判定對應於一第一時期的與地球有關之一預測速度。該方法亦包括使用一全球定位系統(GPS)接收器判定與地球有關之一GPS速度。該方法進一步包括判定該預測速度與該GPS速度之間的一差分向量。該方法另外包括優化與該差分向量成比例的IMU量測之一偏置估計及一比例因數估計。該方法亦包括基於該差分向量優化該攝影機與該IMU之間的一未對準估計。該方法進一步包括基於該優化偏置估計、該優化比例因數估計及該優化未對準估計提供姿態資訊。該未對準估計可包括一轉譯移位估計及一旋轉移位估計。該姿態資訊可包括一6自由度(DOF)攝影機姿態。一車輛可包括該電子器件。 該方法可包括基於該優化偏置估計、該優化比例因數估計及該優化未對準估計,使用該攝影機及該IMU判定對應於一第二時期的一第二預測速度。該方法可包括獲得指示該GPS速度中之一不確定性的一誤差度量。該方法亦可包括基於該誤差度量在一卡爾曼(Kalman)濾波器中加權該GPS速度。 一預測速度誤差可基於該GPS速度進行定界。該GPS速度可用以減少視覺慣性量距(VIO)偏移。 該方法可包括基於一組差分向量中之至少一者拒絕一組GPS速度中之至少一者。該方法可包括基於一誤差度量拒絕一組GPS速度中之至少一者。 亦描述一種電子器件。該電子器件包括一記憶體及耦接至該記憶體之一處理器。該處理器經組態以使用一攝影機及一慣性量測單元(IMU)判定對應於一第一時期的與地球有關之一預測速度。該處理器亦經組態以使用一全球定位系統(GPS)接收器判定與地球有關之一GPS速度。該處理器經進一步組態以判定該預測速度與該GPS速度之間的一差分向量。處理器另外經組態以優化與該差分向量成比例的IMU量測之一偏置估計及一比例因數估計。該處理器亦經組態以基於該差分向量優化該攝影機與該IMU之間的一未對準估計。該處理器經進一步組態以基於該優化偏置估計、該優化比例因數估計及該優化未對準估計提供姿態資訊。 亦描述一種儲存電腦可執行程式碼之非暫時性有形電腦可讀媒體。該電腦可讀媒體包括用於使得一電子器件使用一攝影機及一慣性量測單元(IMU)判定對應於一第一時期的與地球有關之一預測速度的程式碼。該電腦可讀媒體亦包括用於使得該電子器件使用一全球定位系統(GPS)接收器判定與地球有關之一GPS速度的程式碼。該電腦可讀媒體進一步包括用於使得該電子器件判定該預測速度與該GPS速度之間的一差分向量的程式碼。該電腦可讀媒體另外包括用於使得該電子器件優化與該差分向量成比例的IMU量測之一偏置估計及一比例因數估計的程式碼。該電腦可讀媒體亦包括用於使得該電子器件基於該差分向量優化該攝影機與該IMU之間的一未對準估計的程式碼。該電腦可讀媒體進一步包括用於使得該電子器件基於該優化偏置估計、該優化比例因數估計及該優化未對準估計提供姿態資訊的程式碼。 亦描述一種裝置。該裝置包括用於使用一攝影機及一慣性量測單元(IMU)判定對應於一第一時期的與地球有關之一預測速度的構件。該裝置亦包括用於判定與地球有關之一GPS速度的構件。該裝置進一步包括用於判定該預測速度與該GPS速度之間的一差分向量的構件。該裝置另外包括用於優化與該差分向量成比例的IMU量測之一偏置估計及一比例因數估計的構件。該裝置亦包括用於基於該差分向量優化該攝影機與該IMU之間的一未對準估計的構件。該裝置進一步包括用於基於該優化偏置估計、該優化比例因數估計及該優化未對準估計提供姿態資訊的構件。
相關申請案 本申請案係關於且主張2017年1月4日遞交的「SYSTEMS AND METHODS FOR USING A GLOBAL POSITIONING SYSTEM VELOCITY IN VISUAL-INERTIAL ODOMETRY」之美國臨時專利申請案第62/442,388號之優先權。 本文中揭示之系統及方法的一些組態可涉及使用全球定位系統(GPS)速度輔助視覺慣性量距(VIO)。相比於其他極昂貴解決方案,VIO可用一組經濟上可行的感測器及處理器實現高度精密定位及地圖繪製能力。具體而言,VIO可融合來自至少攝影機及慣性感測器(例如,迴轉儀及加速計)之資訊,以估計器件姿態。 在一個實例中,車輛可裝備有VIO系統以實現自主駕駛。VIO系統可利用來自環境之影像及慣性感測器量測來判定車輛移動。隨著車輛駕駛,來自VIO系統之誤差可增長。舉例而言,慣性改變可非常小,從而該等改變可能由於量測雜訊而無法使用慣性感測器進行可靠量測。另外,來自環境之影像可能不包括足夠特徵,從而無法實現可靠視覺追蹤。舉例而言,在具有極少視覺特徵(例如,平坦地景)之高速公路上駕駛可能無法在充足週期內實現可靠視覺追蹤以允許車輛移動之精確計算。由於此等問題,VIO系統中可出現相當大的誤差,導致不可能精確判定車輛移動、定向(例如,前進方向)及環境之比例(例如,物體之間的距離)。此等誤差可導致自主駕駛車輛失敗(例如,偏離路線),此係由於車輛可能不會精確感測到位置、移動或環境。 為解決此等問題,車輛可裝備有GPS。GPS可用以限制VIO系統之誤差增長。舉例而言,GPS可提供車輛位置及移動(例如,速度)之獨立量測。GPS量測可用以校正VIO量測誤差。舉例而言,GPS量測可提供對VIO量測誤差增長之限制。限制誤差可向自主駕駛車輛提供對位置、移動及環境之精確感測,其可使得車輛能夠更精確地保持於路線上。在一些組態中,VIO系統及GPS可以互補方式操作。舉例而言,在存在較多視覺特徵(例如,建築物、地標等)的情境中,VIO系統可提供較大精確性,但GPS衛星可能被遮擋而提供不太可靠的量測。在存在較少視覺特徵(例如,較少地標或建築物等)的情境中,GPS可限制VIO量測中之誤差(例如,偏移)。 VIO可相比其他技術具有優勢。舉例而言,單個攝影機可能夠估計相對位置,但其可能無法提供絕對比例(例如,物體之間的實際距離及/或物體之大小(例如,以米或呎為單位))。慣性感測器可提供絕對比例,且可在一些組態中以較高速率獲取量測樣本,由此改良快速器件運動的穩定性。然而,相比於攝影機,感測器(詳言之,低成本微機電系統(MEMS)種類)可傾向於在位置估計中的實質偏移。因此,VIO可組合攝影機及慣性感測器輸入以精確地估計器件姿態。 VIO可能或可能並非亦用於GPS及/或GNSS(全球導航衛星系統)。如本文所使用,術語「GPS」及「GNSS」可互換使用以指代全球衛星定位系統。除經濟優勢之外,VIO之精確性可相比單純GPS提供優勢。舉例而言,單純GPS可在多路徑環境中顯著降級,尤其在城市內部情境中。 VIO可面臨多個問題(詳言之,例如,在汽車情境中)。一個問題為若慣性感測器(例如,加速計)量測未經充分激勵(例如,車輛以恆定速度移動),則經估計轉譯之比例及稀疏地圖可以未經定界方式偏移。轉而,此可暗示自VIO至GPS融合引擎之移位可隨時間增長。另外或替代地,視覺特徵之可用性可在一些情境中為有限及/或稀疏的(例如,高速公路)。此外,特徵之恆定「再新」(例如,具有有限時間跨度之特徵軌跡)可隨時間推移促成比例偏移(例如,距離、米、呎等的偏移)。另外,VIO圍繞重力向量之定向偏移亦可在本質上未經定界。舉例而言,前進方向(例如,偏航)量測誤差可以無限方式增長。 為解決此等問題,尤其在高速公路上,VIO可得益於比例及全球定向之清晰且獨立的量測。因此,本發明系統與方法之一些組態可將GPS速度向量(例如,速度及/或前進方向)及/或相關聯品質度量用作至VIO中之輸入量測。此量測可作為擴展卡爾曼濾波器(EKF)更新之部分併入至VIO引擎。特別地,GPS速度可計算為載波相位量測之導數,因此其可能不會如同偽距離之狀況受多路徑影響。舉例而言,當GPS衛星信號被遮擋及/或自一或多個障礙物反射時,GPS接收器與一或多個衛星之間的所量測距離(或偽距離)可經歷多路徑誤差。衛星信號之載波相位量測(例如,載波追蹤)可為具有定界誤差之相對量測。因此,基於載波相位之GPS速度可避免多路徑問題。 GPS速度可為定向及比例之全球可用量測。如本文所使用,術語「GPS速度」指自至少一衛星信號導出的速度及方向之量測值。GPS速度可經估計可能沿每一軸線數量級為幾(例如,10-100)厘米每秒(cm/s)。在一些實施中,GPS速度可在GPS接收器中進行計算。GPS速度可用於融合。換言之,相比於不具有GPS之VIO,本發明系統與方法之一些組態使用GPS速度約束VIO系統中的比例及定向之偏移。 本文中揭示之系統及方法的一些組態可有利地改良定位及地圖繪製(例如,低成本定位及地圖繪製)之精確性。舉例而言,車輛至車輛或車輛至基礎架構(V2X)應用、高階駕駛員輔助系統(ADAS)及/或低成本自主車輛需要準確定位及地圖繪製。 一些方法可使用GPS/GNSS、VIO及/或地圖繪製提供準確定位。準確地圖繪製可依賴於準確定位,基於電腦視覺(CV)之準確特徵區位化(例如,三角量測、光束法平差(BA)等)。舉例而言,自主駕駛任務可包括準確定位、感知及/或規劃。基於感測器資料之感知可提供本地環境中之障礙物的偵測及追蹤。精確自我定位及地圖繪製可提供語義資訊以幫助理解道路網之約束。規劃及運動控制層可基於來自感知及自我定位任務之輸入決定正確動作,該規劃及運動控制層為器件中用於路線規劃及運動控制(例如,導向)之功能層。準確定位可包括傳送GPS全球座標系統中之絕對車輛位置及/或地圖座標系統中之相對車輛姿態,該準確定位可包括用於其他任務(例如,地圖繪製)之自我定位及/或定位資料。精確地圖繪製可包括傳送經濟的解決方案來收集、產生及/或更新地圖特徵。 地圖繪製可為自主駕駛之要素。在一些方法中,地圖可包括語義資訊(其可幫助車輛理解道路網約束)及/或區位化特徵(其可幫助車輛準確區位化自身)。 支援自主駕駛之地圖繪製可包括深度(例如,環境之豐富語義表示)、精確性(例如,地圖元素之準確定位),及/或新鮮度(例如,即時或近乎即時地處理、辨識及/或更新地圖元素之能力)。如何即時(或近乎即時)地傳送精確地圖為工業使自主駕駛商業化的關鍵挑戰。 一或多個技術可用以實現準確定位。舉例而言,感測器同步板可實現多個感測器的緊密同步化及精確時間戳記(例如,IMU、GPS及/或攝影機)。另外或替代地,視覺慣性量距(VIO)及/或將GPS/GNSS與VIO緊密耦接可實現準確定位。另外或替代地,在地圖中與區位化特徵融合可實現準確定位。舉例而言,GPS及VIO定位可與標識及/或車道標記物融合來實現精確定位。 視覺慣性量距(VIO)可用於精確區位化。舉例而言,VIO可用以精確計算6自由度(DOF)姿態(例如,攝影機姿態、車輛姿態等)。姿態可在空間圖框(例如,相對圖框)及/或全球參考座標中進行計算。空間圖框可為與可相對於地球固定之任意點有關的圖框。空間圖框可被稱作相對圖框,此係由於空間圖框與任意點(例如,起始點、時間t=0時的感測器之位置等)有關。全球參考座標為與地球有關之圖框。如下提供VIO之方法的一個實例。可提供攝影機圖框(例如,在每秒30個圖框(fps)下具有VGA解析度之單目攝影機)用於三維(3D)特徵處理。舉例而言,處理器可基於攝影機圖框估計3D特徵(例如,拐角及/或具有深度之要點)。加速計量測(例如,100赫茲(Hz)或更多,200 Hz下的樣本等)及迴轉儀量測(例如,在100 Hz或更多,200 Hz下的樣本等)可提供至慣性資料處理。3D特徵處理及慣性資料處理輸出可提供至主要VIO系統用於連續區位化及/或攝影機及慣性感測器資料融合。VIO之輸出可包括6 DOF姿態(例如,在30 Hz下的相對位置及/或定向,舉例而言)。舉例而言,輸出可包括與全球圖框、慣性感測器偏置、重力向量及/或特徵點之稀疏3D地圖有關的旋轉(3軸)及/或轉譯(3維度)。特徵點可為可涉及真實世界中之物體的影像中之拐角、要點等。VIO可實施於(例如)智慧型電話、平板電腦、機器人、VR平台及/或汽車平台上。 如下給定用於感測器融合的基本原理。慣性感測器參數(例如,偏置、比例、非正交性,及/或未對準)可需要連續估計。視覺感測可為精確的,但可能需要充足特徵量。同樣,可能不會在視覺感測中單獨判定比例(例如,以米、呎、吋等為單位的比例)。在一些組態中,感測器融合可將較高速率(例如,100 Hz、200 Hz、500 Hz等)慣性量測與較少精確特徵組合。慣性感測器及/或VIO可相比GPS(例如,1 Hz、5 Hz、10 Hz等)在較高速率(例如,100 Hz、200 Hz、500 Hz等)下提供量測。 用於汽車平台之VIO面臨的一些挑戰可包括以下項中之一或多者。實施於汽車環境中可解決初始化及崩潰恢復,可在缺少IMU量測之可觀察性的期間減少/改良比例偏移,可提供穩定性至非剛性場景(例如,具有移動車輛之剛性道路),可提供離群值拒絕(例如,拒絕錯誤量測),及/或可提供非完全系統之建模。在一些組態中,被拒絕之離群值可為因多路徑導致的錯誤的GPS偽距離。汽車攝影機面臨之挑戰可包括滾動快門運動補償及/或寬動態範圍(WDR)及多個曝光,此係因為其可引入時序誤差。舉例而言,滾動快門可歸因於像素之依序取樣及/或讀出而引入時序誤差,其中影像圖框係在一段時間內獲得,而非在一個時刻獲得。WDR及多個曝光可引入時序誤差,此係因為WDR可藉由隨時間推移組合多個曝光來處置。 在一些組態中,額外感測器可用於經增強穩定性。舉例而言,雷射雷達可與視覺量距耦接。另外或替代地,可使用汽車感測器,諸如滾輪編碼器及滾輪方向。汽車平台之目標可為達成汽車環境中的相對6 DOF姿態之低偏移。6 DOF姿態可與起始點(例如,時間t=0時的位置)有關。 VIO及GPS融合可用以在一些組態中使用經濟感測器達成高效能。舉例而言,GPS/GNSS量測與來自VIO之本地/相對座標量測可緊密耦接以達成高度精確全球定位。一些組態可隨時間推移整合精確量測。 本文中所描述之系統及方法的一些組態可包括精確且高度最佳化之VIO、使用擴展卡爾曼濾波器之最佳化演算法、精確時間戳記,及/或藉由使用數位信號處理器(DSP)的高效率處理。 現參考諸圖描述各種組態,在諸圖中,相似參考數字可指示功能上類似之元件。可以多種不同組態來配置及設計如諸圖中所大體描述及說明之系統及方法。因此,對如諸圖中所表示之若干組態的以下更詳細描述並不意欲限制如所主張之範疇,而僅表示系統及方法。 圖1為說明電子器件102之一個實例的方塊圖,其中可實施在視覺慣性量距(VIO)中使用全球定位系統(GPS)的系統與方法。電子器件102之實例包括車輛(例如,半自主車輛、自主車輛等)、汽車、機器人、飛機、遙控飛機、無人駕駛飛行器(UAV)、伺服器、電腦(例如,桌上型電腦、膝上型電腦等)、網路器件、攝影機、視訊攝錄影機、數位攝影機、蜂巢式電話、智慧型電話、平板電腦器件、個人攝影機、穿戴式攝影機、虛擬實境器件(例如,耳機)、擴增實境器件(例如,耳機)、混合實境器件(例如,耳機)、動作攝影機、監測攝影機、安裝之攝影機、連接之攝影機、保健設備、遊戲控制台、電氣設備等。電子器件102可包括一或多個組件或元件。該等組件或元件中之一或多者可以硬體(例如,電路)、硬體與軟體之組合(例如,具有指令之處理器)及/或硬體與韌體之組合實施。 在一些組態中,電子器件102可為一車輛,或可包括於中一車輛中,該車輛經組態以產生姿態資訊(例如,物體位置資訊、物體定位資訊、物體定向資訊、攝影機姿態資訊、車輛姿態資訊、地圖繪製資訊等)。舉例而言,電子器件102可基於VIO及GPS判定姿態資訊。在一些組態中,電子器件102可為與一或多輛其他車輛通信的車輛。舉例而言,電子器件102可將資訊(例如,姿態資訊、物體位置資訊、物體定位資訊、物體定向資訊、攝影機姿態資訊、車輛姿態資訊、地圖繪製資訊、行程資訊、物體偵測資訊、原始影像資訊等)發送至一或多輛車輛,及/或可自一或多輛車輛接收資訊(例如,可共用資訊)。在一些方法中,電子器件102可產生及/或接收姿態資訊(例如,地圖繪製資訊),其可與一或多輛其他車輛共用。 在一些組態中,電子器件102可為與一或多輛車輛通信之網路器件(例如,伺服器、雲端器件等)。在一些方法中,車輛中之一或多者可為自主車輛、自動駕駛車輛、及/或可具有高階駕駛員輔助系統(ADAS)等。舉例而言,電子器件102可自一或多輛車輛接收資訊(例如,VIO資訊、GPS資訊、行程資訊、物體偵測資訊、原始影像資訊等)。電子器件102可判定姿態資訊(例如,3D姿態資訊、3D地圖繪製資訊、優化物體位置資訊等),電子器件102可將該姿態資訊提供至一或多輛車輛。 在一些組態中,電子器件102可包括處理器112、記憶體126、一或多個顯示器132、一或多個影像感測器104、一或多個光學系統106、一或多個通信介面108、一或多個慣性感測器114,及/或一或多個全球定位接收器122(例如,GPS接收器、全球導航衛星系統(GNSS)接收器等)。處理器112可耦接至記憶體126、顯示器132、影像感測器104、光學系統106、通信介面108、慣性感測器114及/或全球定位接收器122 (例如,與其電子通信)。應注意,圖1中所說明之元件中之一或多者可為可選的。詳言之,在一些組態中,電子器件102可不包括圖1中所說明之元件中之一或多者。舉例而言,電子器件102可包括或可不包括影像感測器104及/或光學系統106。另外或替代地,電子器件102可包括或可不包括顯示器132。另外或替代地,電子器件102可包括或可不包括通信介面108。 在一些組態中,電子器件102可執行結合圖1至圖9中之一或多者描述的功能、程序、方法、步驟等中之一或多者。另外或替代地,電子器件102可包括結合圖1至圖9中之一或多者描述的結構中之一或多者。 通信介面108可使電子器件102能夠與一或多個其他電子器件通信(例如,網路器件、伺服器、電腦、車輛、智慧型電話、平板電腦器件等)。舉例而言,通信介面108可提供用於有線及/或無線通信之介面。在一些組態中,通信介面108可耦接至用於傳輸及/或接收射頻(RF)信號之一或多個天線110。另外或替代地,通信介面108可實現一或多種類別的有線(例如,通用串列匯流排(USB)、乙太網路等)通信。 在一些組態中,可實施及/或利用多個通信介面108。舉例而言,一個通信介面可為蜂巢式(例如,3G、長期演進(LTE)、CDMA等)通信介面,另一個通信介面可為乙太網路介面,另一個通信介面可為通用串列匯流排(USB)介面且又一個通信介面可為無線區域網路(WLAN)介面(例如,電機電子工程師學會(IEEE) 802.11介面)。在一些組態中,通信介面108可將資訊(例如,姿態資訊、影像資訊、位置資訊、物體偵測資訊、地圖資訊等)發送至另一電子器件(例如,車輛、智慧型電話、攝影機、顯示器、遠端伺服器等)及/或自該另一電子器件接收資訊。 在一些組態中,電子器件102可獲得一或多個影像(例如,數位影像、影像圖框、視訊等)。舉例而言,電子器件102可包括影像感測器104及光學系統106(例如,透鏡),一或多個光學系統將位於光學系統之視野內的場景及/或物體之影像聚焦於影像感測器104上。光學系統106可耦接至處理器112及/或藉由該處理器控制。 攝影機(例如,可見光譜攝影機或其他)可包括至少一個影像感測器及至少一個光學系統。因此,在一些實施中,電子器件102可為一或多個攝影機及/或可包括一或多個攝影機。在一些組態中,影像感測器104可俘獲一或多個影像(例如,影像圖框、視訊、靜止影像、叢發模式影像、立體影像、廣角影像等)。在一些實施中,電子器件102可包括單個影像感測器104及/或單個光學系統106。舉例而言,可利用在特定圖框速率(例如,30圖框每秒(fps)、60 fps、120 fps等)下具有特定解析度(例如,視訊圖形陣列(VGA)解析度、1280×800像素等)的單個攝影機。在其他實施中,電子器件102可包括多個光學系統106及/或多個影像感測器104。舉例而言,在一些組態中,電子器件102可包括兩個或兩個以上透鏡。透鏡可具有相同焦距或不同焦距。 另外或替代地,電子器件102可自另一電子器件或另外一些電子器件(例如,車輛攝影機、耦接至電子器件102之一或多個外部攝影機、網路伺服器、交通攝影機等)請求及/或接收一或多個影像。在一些組態中,電子器件102可經由通信介面108請求及/或接收一或多個影像。舉例而言,電子器件102可包括或可不包括攝影機(例如,影像感測器104及/或光學系統106),且可自一或多個遠端器件(例如,車輛)接收影像。 影像(例如,影像圖框)中之一或多者可包括一或多個場景及/或一或多個物體。在一些狀況下,影像可包括一或多個物體(例如,地標、道路標識、車道標記、交通燈、建築區域視錐、障礙、燈桿、車道標記物、樹、地景、靜止物體等)。 在一些實例中,影像感測器104及/或光學系統106可機械地耦接至電子器件102或耦接至遠端電子器件(例如,可附接至、安裝至及/或整合於以下項中:車身、汽車引擎蓋、後視鏡座架、側視鏡、保險桿等,及/或可整合於智慧型電話或另一器件中,等)。影像感測器104及/或光學系統106可經由有線及/或無線鏈路鍵聯至電子器件102。舉例而言,影像感測器104及/或光學系統106可經硬連線至車輛中之控制機制(例如,處理器112)或藉由影像感測器104俘獲之資訊,及/或光學系統106可無線地傳輸(例如,串流傳輸或以其他方式無線地傳輸)至控制機制(例如,處理器112)。 在一些組態中,影像感測器104(例如,攝影機)及慣性感測器114(例如,IMU)可安裝於同一剛性框架(例如,剛性安裝框架、剛性車輛框架等)上,且相對於GPS天線(例如,結合圖1描述之一或多個天線110的一或多個天線)剛性安裝。在使用多個攝影機的一些實施中,額外攝影機可相對於主要攝影機(例如,主要電腦視覺(CV)攝影機)以剛性方式安裝。 在一些方法中,可(例如,用脫機量測、膠帶量測等)預定慣性感測器114(例如,加速計)參考圖框中的影像感測器104(例如,攝影機)參考圖框之原點的座標之大致估計。可預定將影像感測器104(例如,攝影機)參考圖框中之點變換至慣性感測器114(例如,加速計)參考圖框的旋轉矩陣之大致估計。在一些實施中,影像圖框(例如,CV攝影機圖框)及慣性感測器114 (例如,IMU)量測可用具有一精確度(例如,100微秒(μs)內的精確性)之共同時脈進行時間戳記。 在一些方法中,可使用校準程序脫機判定影像感測器104(例如,攝影機)高度、俯仰及/或橫搖角。舉例而言,車輛在VIO之校準及/或初始化期間可為靜止的。另外或替代地,可在影像感測器104(例如,攝影機)參考座標中判定攝影機中心與全球定位接收器122(例如,GPS/GNSS接收器及/或GPS天線)之間的向量。舉例而言,可量測(例如,脫機量測)及考慮(例如,在運行時間期間)影像感測器104(例如,攝影機)中心與GPS天線之間的向量。 在一些組態中,一或多個感測器(例如,前端感測器、攝影機、影像感測器104、IMU、慣性感測器114及/或全球定位接收器122等)可為消費級感測器。在一些方法中,影像感測器104、慣性感測器114及/或全球定位接收器122可將其輸入在發送至處理器112之前發送至感測器同步化(「同步」)板(圖中未示)中。舉例而言,在一些組態中,電子器件102可包括感測器同步板。感測器同步化板可包括嵌入型微控制器。在一些方法中,感測器同步化板可控制所有感測器之時間戳記。時戳之時序誤差可小於指定量(例如,小於10微秒(μs)時序誤差)。 感測器同步板之一個功能可為使用同一內部系統時脈(具有指定誤差,諸如<10 μs)記錄所有感測器(例如,涉及定位及/或地圖繪製之所有感測器)的時戳。即使全球定位(例如,GPS)接收器122未同步化至GPS時間,亦可保持一致性。 感測器同步板可執行以下功能性中之一或多者。感測器同步板可自一或多個(例如,四個)攝影機接收同步化信號(例如,每圖框曝光一個脈衝),且在系統時脈單元中時間標記同步化信號。替代地(或例如,同時地),感測器同步板可以預定更新速率產生攝影機觸發信號。在一些組態中,感測器同步板可將閱讀序列週期性地開始於慣性感測器114(例如,IMU感測器)上。感測器同步板可時間標記慣性感測器114(例如,IMU)資料。在一些組態中,感測器同步板可管理(例如,可管理組態、固定速率及/或二進位訊息輸出清單等)全球定位接收器122(例如,內建式GPS接收器)。感測器同步板可收集原始資料及來自全球定位接收器122之位置、時間及/或速度。感測器同步板可接收且時間標記GPS每秒產生的一個脈衝(1PPS)信號。 應注意,感測器同步板可經設計以具有菊鏈至其他類似板的能力,從而在電子器件102(例如,車輛)上提供全球同步化能力。舉例而言,一個板可為主控裝置,且可使所有其他板同步至其自身內部時脈上。 在一些組態中(例如,為了緊密性),感測器同步板可實體上合併全球定位(例如,GPS)接收器122及慣性感測器114(例如,IMU感測器)兩者。舉例而言,感測器同步板可包括MEMS慣性感測器(包括迴轉儀及加速計)及GPS/GNSS接收器。在一些組態中,感測器同步板可與影像感測器104(例如,攝影機感測器)一起作用。舉例而言,在一些實施中,可利用單聲道攝影機,其針對汽車使用狀況具有滾動快門及HDR能力。此外,攝影機可提供標記圖框之起始點的同步信號。 緊密感測器融合面臨的一個挑戰為獲得多個感測器(例如,GPS/GNSS、視覺、IMU等)上的精確時間戳記。甚至毫秒級差可能影響精確性。在一些組態中,感測器同步板可觸發影像感測器104(例如,攝影機)自影像感測器104(例如,攝影機)俘獲及/或讀取時戳。如上文所描述,感測器同步板之一些實例可包括嵌入型IMU及/或可用精確時戳觸發IMU讀取。另外或替代地,感測器同步板之一些實例可包括嵌入型GPS/GNSS。時戳精確性之目標可為微秒級(例如,<10微秒μs)。 記憶體126可儲存指令及/或資料。處理器112可存取記憶體126(例如,自記憶體讀取及/或寫入至該記憶體)。舉例而言,記憶體126可儲存影像、慣性資訊、全球定位資訊及/或用於藉由處理器112執行操作的指令程式碼。可由記憶體126儲存之指令及/或資料的實例可包括姿態資訊128(例如,攝影機姿態資訊、車輛姿態資訊,及/或電子器件102姿態資訊等)、來自慣性感測器114之資訊、來自全球定位接收器122之資訊、慣性資訊、加速度資訊、速度資訊、定向資訊、陀螺儀資訊、全球定位資訊(例如,GPS量測)、全球定位速度資訊、誤差度量資訊、影像資訊、物體偵測資訊、物體位置資訊、2D物體位置資訊(例如,像素資料)、特徵點、關鍵點、拐角、物體地圖繪製資訊及/或3D物體位置資訊等、影像獲得器指令、慣性感測器114指令、全球定位接收器122指令、感知模組116指令、定位模組118指令、VIO模組120指令,及/或用於一或多個其他元件之指令等。 在一些組態中,電子器件102可包括影像資料緩衝器(圖中未示)。影像資料緩衝器可緩衝(例如,儲存)來自影像感測器104及/或外部攝影機之影像資訊。可將緩衝影像資訊提供至處理器112。 在一些組態中,電子器件102可包括一或多個顯示器132。在一些方法中,藉由影像感測器104俘獲的影像(例如,場景及/或物體)可呈現於顯示器132上。舉例而言,來自安裝於車輛上之攝影機的一或多個影像可發送至儀錶板中之顯示器132中用於藉由使用者觀測。在一些組態中,此等影像可自記憶體126播放,該記憶體可包括較早經俘獲場景之影像資訊。藉由電子器件102獲得的一或多個影像可為一或多個視訊圖框及/或一或多個靜止影像。舉例而言,顯示器132可經組態以輸出一或多個物體之視圖(例如,標識、車道標記物、地標等)。 顯示器132可整合於電子器件102中及/或可耦接至電子器件102。舉例而言,電子器件102可為具有整合式顯示器132之虛擬實境耳機。在另一實例中,電子器件102可為與顯示器132耦接至虛擬實境耳機之電腦。在另外其他實例中,電子器件102可為車輛或可包括於(例如,整合於)車輛中。 在一些組態中,電子器件102可在顯示器132上呈現使用者介面134。舉例而言,使用者介面134可使得使用者能夠與電子器件102相互作用。在一些組態中,顯示器132可為自實體觸摸(例如,藉由手指、觸筆或其他方法)接收輸入的觸控螢幕。另外或替代地,電子器件102可包括或耦接至另一輸入介面。舉例而言,電子器件102可包括面向使用者之攝影機,且可偵測使用者示意動作(例如,手部示意動作、臂示意動作、目光追蹤、眨眼等)。在另一實例中,電子器件102可耦接至滑鼠且可偵測滑鼠點選。在一些組態中,本文中所描述之影像中之一或多者可呈現於顯示器132及/或使用者介面134上。在一些組態中,使用者介面134可使得使用者能夠指示偏好(例如,視圖設定)及/或與該視圖相互作用。舉例而言,使用者介面134可接收用於起始在VIO系統中使用全球定位資訊(例如,GPS及/或GNSS資料)之電子器件102上之導航應用程式的一或多個命令。 在一些組態中,電子器件102(例如,處理器112)可視情況耦接至一或多種器件、為該等器件之部分(例如,整合於該等器件中)、包括及/或實施該等器件。舉例而言,電子器件102可實施於裝備有一或多個攝影機之車輛中。在另一實例中,電子器件102可實施於裝備有一或多個攝影機之遙控飛機中。在其他實例中,電子器件102(例如,處理器112)可實施於伺服器或智慧型電話中。 電子器件102可包括一或多個慣性感測器114。慣性感測器114可提供慣性資訊(例如,加速度資訊及/或定向資訊)。舉例而言,慣性感測器114可偵測(例如,感測)運動(例如,加速度)及/或定向。在一些組態中,慣性感測器114可包括一或多個加速計及/或一或多個迴轉儀。加速計可沿一或多個方向(例如,沿一或多個軸)偵測加速度。迴轉儀可偵測定向。舉例而言,迴轉儀可判定橫搖、俯仰及/或偏航值。在一些實施中,慣性感測器114可在特定頻率(例如,200赫茲(Hz))下提供三維(3D)加速計資訊及3D迴轉儀資訊。在一些組態中,慣性感測器114可為慣性量測單元(IMU)。 慣性感測器114可經歷3D座標軸之一或多個偏置、比例因數偏移,及/或非正交性。偏置及比例因數可為分別應用於量測上以獲得真正量測的加法及乘法變數(例如,未知數)。舉例而言,加速計可提供加速度之量測。可自加速度量測加上或減去偏置,及/或可將比例因數與加速度量測相乘以便獲得真正加速度(或更精確加速度量測)。此外,3D座標軸之非正交性(例如,IMU非正交性)可經建模為沿三個軸的量測之乘法交叉耦合。另外或替代地,慣性感測器114可經歷慣性感測器114與影像感測器104(例如,IMU與攝影機)之間的未對準。舉例而言,該未對準可為慣性感測器與影像感測器104(例如,攝影機)之間的轉譯及/或旋轉移位。偏置、比例、非正交性及/或未對準可包括於卡爾曼濾波器(例如,EKF)狀態中。舉例而言,卡爾曼濾波器可在更新時估計及/或優化偏置、比例、非正交性,及/或未對準。 在一些組態中,電子器件102(例如,VIO模組120)可獲得偏置估計、比例估計、非正交性估計及/或未對準估計。舉例而言,偏置估計、比例估計、非正交性估計及/或未對準估計可為擴展卡爾曼濾波器狀態之部分,且可經估計為濾波器預測及更新功能中之一部分。 電子器件102可包括全球定位接收器122。全球定位接收器122可判定全球定位資訊(例如,GPS資料、GNSS資料、GPS速度等)。舉例而言,全球定位接收器122可自一或多個衛星接收一或多個信號,該一或多個信號使得全球定位接收器122能夠判定(例如,估計)接收天線(例如,GPS天線)之位置。在一些實施中,衛星可包括傳輸器之一系統,其經定位以使實體能夠至少部分基於自傳輸器接收之信號判定其在地球上或上方的位置。舉例而言,傳輸器可傳輸標記有一定數量晶片之重複偽隨機雜訊(PN)程式碼的信號,且可位於基於地面之控制站台、使用者設備及/或宇宙飛行器上。在一特定實例中,傳輸器可位於地球軌道衛星車輛(SV)上。舉例而言,一群集全球導航衛星系統(GNSS)(諸如全球定位系統(GPS)、伽利略定位系統、格洛納斯或羅盤)中之SV可傳輸標記有一PN程式碼之一信號,該PN程式碼自藉由該群集中之其他SV所傳輸的PN程式碼可識別(例如,對每一衛星使用不同PN程式碼,如在GPS中,或在不同頻率上使用相同程式碼,如在格洛納斯中)。根據某些態樣,本文中呈現之技術不限於用於衛星定位系統(SPS)之全球系統(例如,GNSS)。舉例而言,此處提供之技術可應用於或以其他方式啟用以供用於各種區域系統及/或各種增強系統(例如,基於衛星之增強系統(SBAS))中,該等系統可關聯於或以其他方式啟用以供與一或多個全球區域導航衛星系統一起使用。 全球定位接收器122可判定全球定位資訊。全球定位資訊可包括一或多種資訊。舉例而言,全球定位資訊可指示GPS天線之位置(與地球有關)。在一些組態中,全球定位資訊可包括GPS速度(例如,與地球有關之GPS速度)。GPS速度可指示天線(例如,耦接至全球定位接收器122之GPS天線)之速度及/或前進方向。在一些組態中,全球定位資訊可包括誤差度量。誤差度量可指示GPS速度中之確定性(或不確定性)程度。全球定位資訊可在特定速率下進行判定及/或提供。舉例而言,全球定位資訊可在1赫茲(Hz)、5 Hz、10 Hz等下進行判定及/或提供。 處理器112可經組態以實施本文所揭示之方法中之一或多者。舉例而言,處理器112可經組態以將全球定位資訊(例如,GPS資料、GNSS資料、GPS速度等)與VIO一起使用。 在一些組態中,處理器112可包括及/或實施影像獲得器。可將一或多個影像圖框提供至影像獲得器。舉例而言,影像獲得器可自一或多個攝影機獲得影像(例如,正常攝影機、廣角攝影機、超廣角攝影機、立體攝影機等)。舉例而言,影像獲得器可自一或多個影像感測器104、自一或多個外部攝影機,及/或自一或多個遠端攝影機(例如,遠端車輛攝影機)接收影像資訊。影像可自一或多個攝影機(例如,在不同位置)俘獲。如上文所描述,影像可自包括於電子器件102中之影像感測器104俘獲,或可自一或多個遠端攝影機俘獲。 在一些組態中,影像獲得器可請求及/或接收一或多個影像。舉例而言,影像獲得器可經由通信介面108自遠端器件(例如,外部攝影機、遠端伺服器、遠端電子器件、遠端車輛等)請求及/或接收一或多個影像。 在一些組態中,處理器112可包括感知模組116及/或定位模組118。可將影像感測器104(例如,攝影機)、慣性感測器114(例如,IMU)及/或全球定位接收器122(例如,GPS)之輸出(例如,一或多個圖框)提供至感知模組116及/或定位模組118。 感知模組116可基於一或多個影像(例如,影像資訊、影像圖框、視訊等)偵測一或多個物體。舉例而言,感知模組116可偵測傳入視訊串流中之一或多個地標。感知模組116可定位(例如,區位化)影像中之物體。感知模組116可提供感知資訊。舉例而言,感知資訊可包括物體(例如,標誌)偵測資訊(例如,物體特徵、物體要點、物體類型等)、物體位置資訊、物體姿態資訊等。 在一些實施中,感知模組116可偵測及/或定位諸如標識及車道標記物之地標。舉例而言,感知模組116可包括標識及車道標記物模組以偵測影像圖框中作為地標之標識及車道。在一些組態中,標識模組可執行偵測、追蹤及擬合(例如,將資料擬合至一模型,諸如標識形狀)。另外或替代地,車道標記物模組可執行車道標記物偵測及時空分析(例如,追蹤多個圖框)。 定位模組118可判定姿態資訊(例如,攝影機姿態資訊、電子器件102姿態資訊、車輛姿態資訊等)。舉例而言,定位模組118可基於視覺、慣性及全球定位資訊判定姿態資訊(例如,藉由整合視覺、慣性及GPS/GNSS輸入)。舉例而言,影像感測器104(及/或影像獲得器,舉例而言)可將影像資訊提供至定位模組118,慣性感測器114可將慣性資訊提供至定位模組118,及/或全球定位接收器122可將全球定位資訊提供至定位模組118。姿態資訊可指示位置及/或定向。舉例而言,姿態資訊可指示攝影機、電子器件102、車輛等之位置及/或定向。在一些組態中,姿態資訊可與地球有關(例如,地球座標、世界地球系統1984 (WGS84)座標、以地球為中心的地球固定(ECEF)座標、東北上(ENU)座標中等)。 在一些組態中,定位模組118可包括視覺慣性量距(VIO)模組120。VIO模組120可基於VIO判定姿態資訊。舉例而言,VIO模組120可利用感知資訊(例如,物體特徵、物體位置資訊等)、影像資訊、慣性資訊,及/或全球定位資訊來判定姿態資訊。舉例而言,定位模組118可藉由融合GPS資訊(例如,來自全球定位接收器122)、慣性感測器114輸入及影像感測器104(例如,攝影機視訊)輸入來提供攝影機姿態之估計值(例如,在6 DOF中)。 在一些組態中,VIO模組120可基於影像資訊及慣性資訊判定與地球有關之預測速度。舉例而言,VIO模組120可使用攝影機及IMU判定與地球有關之預測速度。在一些方法中,預測速度可對應於一時期。時期可為時間之量度。舉例而言,VIO模組120可判定對應於第一時期之第一預測速度及對應於第二時期之第二預測速度。在一些方法中,每一時期可涉及全球定位量測。舉例而言,不同全球定位量測可對應於不同時期。 如本文中所描述,在一些組態中,全球定位接收器122可判定及/或提供與地球有關之GPS速度。一些情境可對VIO具有挑戰性。舉例而言,高速公路駕駛對VIO而言可為具有挑戰性的情境,其中缺少良好的附近特徵可導致不太穩定之結果。另外或替代地,像在攝影機視野中移動之車輛的離群值可導致不太穩定的結果。另外或替代地,近乎恆定速度可導致加速度(例如,加速度量測)埋入雜訊(例如,量測雜訊)中。此可導致絕對比例之損失(例如,真正或精確比例之損失)。缺少絕對偏航(例如,真正或精確偏航)之感測可導致偏航之未經定界的偏移。可利用GPS速度輔助解決許多VIO挑戰(例如,高速公路挑戰)。舉例而言,高速公路駕駛常常伴隨有晴朗天空,其可在每一軸線中提供0.5米每秒(m/s)的GPS速度誤差。GPS速度可提供絕對比例之獨立量測及/或絕對前進方向之量測(例如,偏航)。舉例而言,VIO可失去比例感測,其可用如上文所描述之GPS量測進行定界及/或校正。 在一些方法中,GPS速度可整合於VIO中以便輔助VIO(例如,減少偏移、優化偏置、優化比例、優化非正交性,及/或優化未對準等)。在一些方法中,可根據等式(1)利用GPS速度。 在等式(1)中,為GPS速度,為旋轉矩陣(例如,3×3矩陣),且為空間圖框中所表示的主體b(例如,電子器件102、車輛、漫遊者(rover)等)之速度。旋轉矩陣可使GPS速度與空間圖框速度相關。在一些方法中,可在校準期間(例如,在1-時間校準期間)判定(例如,初始判定)旋轉矩陣。關於圖8給出判定旋轉矩陣之實例。 在一些組態中,可計算如下。若存在足夠移動(例如,若電子器件102、車輛、漫遊者等移動足夠快),則VIO模組120可計算,且全球定位接收器122可計算,其中為「N」圖框中所表示之主體速度。N圖框為東北上(ENU)地球固定圖框,其中GPS速度得以量測。若向量不共線,則可根據等式(2)進行計算。 在等式(2)中,(其中指示向量之間的角度),且×指示歪斜對稱矩陣。舉例而言,,歪斜對稱矩陣為。當向量共線時,旋轉矩陣之估計可能不會經明確定義(例如,VIO空間圖框與GPS全球參考座標之完美對準,其極不可能)。 在一些方法中,全球定位接收器122可提供誤差度量。舉例而言,誤差度量可為速度誤差度量,其可表示為。詳言之,可指示速度誤差估計之標準偏差。 全球定位資訊可以兩種形式整合。舉例而言,全球定位資訊可整合為三維(3D)速度及/或速度。在一些方法中,可根據等式(3)判定(例如,計算) 3D速度。 在等式(3),P 可為3D速度(例如,3×3矩陣),且I 為識別碼矩陣。等式(3)可利用用於量測之最終共變數矩陣。在一些方法中,判定3D速度可能需要計算。偏航可能不會隨3D速度偏移。舉例而言,GPS速度可提供ENU圖框中之速度的直接估計,其可強制速度或前進方向,其可提供偏航之校正。 在一些方法中,可根據等式(4)判定(例如,計算)速度。 在等式(4)中,yvel 指示速度量測,且T指示矩陣轉置。舉例而言,等式(4)可提供GPS之速度量測。卡爾曼濾波器標號可利用x 指示狀態,且用y 指示量測。在一些方法中,判定速度可能不會需要針對進行校準。應注意,可失去前進方向資訊(以及速度計算,例如),其可導致偏航偏移。 在一些組態中,操作可以速度輔助(例如,無前進方向)開始且可繼續3D速度輔助。舉例而言,定位模組118可最初使用速度判定姿態資訊。一旦達到某一速度(例如,10米每秒(m/s)),便可判定,其可用以判定姿態資訊。關於圖8給出一實例。 VIO模組120可判定預測速度與GPS速度之間的差分向量。在一些方法中,該差分向量可被稱為新穎向量。 VIO模組120可優化慣性感測器114資訊(例如,慣性資訊、IMU量測等)之偏置估計及比例因數估計。舉例而言,VIO模組120可優化與差分向量成比例之偏置估計及/或比例因數估計。另外或替代地,VIO模組120可基於差分向量(例如,與其成比例)優化影像感測器104(例如,攝影機)與慣性感測器114(例如,IMU)之間的未對準估計。另外或替代地,VIO模組120可優化非正交性估計。 在一些方法中,使用GPS速度更新卡爾曼濾波器(例如,EKF)可優化偏置估計、比例因數估計、非正交性估計及/或未對準估計。舉例而言,VIO模組120(例如,EKF)可具有一狀態。該狀態可包括位置、速度、定向、一或多個校準因子、偏置、比例、非正交性及/或未對準。在一些狀況下(例如,當運動不充分地激發感測器時,諸如在高速公路汽車狀況中),偏置、比例、非正交性及/或未對準可能不會聚合。因此,GPS速度量測可用作對卡爾曼濾波器(例如,EKF)之更新,以便判定比例、偏置、非正交性及/或未對準之較佳估計。舉例而言,卡爾曼濾波器可估計(例如,預測)位置或速度(例如,估計預期量測)。在位置或速度之當前量測下,卡爾曼濾波器可獲得誤差向量,其可與增益相乘。詳言之,卡爾曼濾波器預測一狀態(例如,預測一量測)。自預測狀態(例如,位置或速度估計)及量測(例如,所量測之位置或速度),卡爾曼濾波器可判定誤差向量且接著更新該狀態以便減少誤差向量。因為狀態包括偏置、比例、非正交性及未對準,所以更新卡爾曼濾波器可提供對偏置、比例、非正交性及未對準之優化。舉例而言,可經由EKF中之速度量測更新,接著EKF之更新程序來實現優化偏置估計、比例因數估計、非正交性估計及/或未對準估計。用速度量測計算出的新穎(誤差)可能作為相關性之結果而影響此等狀態,其在EKF共變數矩陣中擷取。 在一些方法中,電子器件102(例如,定位模組118、VIO模組120等)可獲得誤差度量(例如,品質度量),其指示GPS速度之不確定性。舉例而言,全球定位接收器122可判定及提供誤差度量。作為藉由GPS接收器進行的速度估計之計算之部分,舉例而言,可在演算法實施中自雜訊(源)之積累輸出誤差度量。電子器件102(例如,定位模組118、VIO模組120等)可基於誤差度量加權卡爾曼濾波器中之GPS速度。舉例而言,誤差度量(例如,不確定性)可與該權重成倒數關係。因此,較高不確定性可對應於較低權重,而較低不確定性(例如,較高確定性、較高品質等)可對應於較高權重。經加權GPS速度可用於卡爾曼濾波器更新中。 根據本文中揭示之系統及方法的一些組態,預測速度誤差可基於GPS速度進行定界。另外或替代地,GPS速度可用以減少VIO偏移。 VIO模組120可基於一或多個優化參數判定及/或提供姿態資訊(例如,姿態資訊128)。舉例而言,VIO模組120可基於優化偏置估計、優化比例估計、優化非正交性估計及/或優化未對準估計判定及/或提供姿態資訊。姿態資訊可包括位置及/或定向資訊。 在一些組態中,電子器件102可基於該姿態資訊控制車輛。舉例而言,姿態資訊(基於一或多個優化參數)可指示車輛相對於座標系統及/或地圖之位置。舉例而言,電子器件102可藉由控制車輛在座標及/或地圖中追蹤至目的地之路線,基於姿態資訊控制車輛位置。藉由在位置資訊中提供改良,用姿態資訊(基於優化參數)控制車輛可為有益的。優化參數可藉由使得能夠將不太昂貴設備用於導航而另外或替代地為有益的。 在一些組態中,感知模組116及定位模組118之輸出可經彙總且發送至雲端中之地圖繪製演算法,其可在全球圖框中產生一或多個地標之位置估計。舉例而言,雲端中(例如,一或多個網路器件、遠程伺服器等上)之一或多個地圖繪製演算法可偵測及/或區位化地標以產生區位化地圖。 在一些組態中,可定義及/或利用以下圖框(例如,座標系統)中之一或多者。全球圖框可在一些方法中表示為「e」。舉例而言,全球圖框e可為WGS84中之ECEF。本地圖框(或VIO空間圖框)可在一些方法中表示為「s」。舉例而言,本地圖框s可為具有任意原點(例如,在轉譯中)及定向之地球固定圖框。可在一些方法中定義及/或利用一或多個主體圖框。一個實例為可表示為「a(t)」之車體圖框。舉例而言,車體圖框a(t)可固定至車輛,其中原點位於相位天線中心,經定向沿車輛x軸向右,y軸向前,且z軸向上。另一實例為可表示為「c(t)」之攝影機圖框。舉例而言,攝影機圖框c(t)可固定至車輛,其中原點位於攝影機中心同時面朝前,定向為x向右、y軸向下及z軸向前。另一實例為可表示為「b(t)」之加速計圖框。舉例而言,加速計圖框b(t)可固定至嵌入於感測器同步板之IMU感測器中的加速器。另一實例為可表示為「g(t)」之迴轉儀圖框。舉例而言,迴轉儀圖框g(t)可固定至嵌入於感測器同步板之IMU感測器中的迴轉儀。可在一些組態中定義及/或利用與地面真相GPS相關之圖框(例如,GT GPS IMU圖框)。應注意,可另外或替代地使用來自所描述之前述圖框中之一或多者的一或多個其他圖框及/或座標系統定義。 應注意,電子器件102的元件或組件中之一或多者可經組合及/或經劃分。舉例而言,可組合感知模組116、定位模組118及/或VIO模組120。另外或替代地,可將感知模組116、定位模組118及/或VIO模組120劃分成執行其操作之一子集的元件或組件。 應注意,結合處理器112描述之元件或組件中的一或多者可為可選的。舉例而言,在一些組態中,電子器件102可包括或可不包括及/或可實施或可不實施影像感測器104、光學系統106、通信介面108、慣性感測器114、全球定位接收器122、感知模組116、定位模組118及/或VIO模組120。在一些實施中,感知模組116、定位模組118及/或VIO模組120可被實施為獨立電路(例如,並非作為處理器112之部分)。在一些組態中,可配位一組電子器件(例如,遙控飛機群、車輛群組等)。舉例而言,一或多個電子器件102可將資料(例如,影像資料、慣性資料、全球定位資料等)提供(例如,發送、傳輸等)至可判定姿態資訊之另一電子器件(例如,伺服器、車輛等)。 圖2為說明用於在VIO中使用GPS速度之方法200之一個組態的流程圖。方法200可由結合圖1描述之電子器件102執行。電子器件102可判定202與地球有關之預測速度。可如結合圖1所描述而實現此。舉例而言,電子器件102(例如,VIO模組120)可利用視覺資訊(例如,兩個或兩個以上圖框上方的觀測物體位置、特徵點及/或感知資訊)及/或慣性資訊(例如,加速計資訊)預測與地球有關的攝影機(例如,影像感測器104或遠端攝影機)之速度。舉例而言,電子器件102可使用攝影機及IMU判定預測速度。在一些方法中,預測速度可對應於一時期(例如,時間、時段等)。 電子器件102可判定204一GPS速度。GPS速度可與地球有關。可如結合圖1所描述而實現此。舉例而言,電子器件102可自全球定位接收器獲得GPS速度之量測。在一些組態中,電子器件102可包括全球定位接收器,其中全球定位接收器判定位置(例如,天線位置)及/或GPS速度。舉例而言,GPS速度可藉由全球定位接收器(例如,GPS/GNSS接收器)計算。在一些實施中,全球定位接收器可為公開原始程式碼中之即時GNSS接收器實施。在一些方法中,可用全球定位接收器中之都卜勒量測判定GPS速度。在一些組態中,全球定位接收器可在特定速率(例如,大於1 Hz速率之5 Hz速率)下判定GPS速度。 GPS速度可指示電子器件102之速度及/或方向。在一些組態中,電子器件102亦可判定與GPS速度相關聯之誤差度量(例如,品質度量)。誤差度量可表示沿一或多個軸(例如,正交軸)中之每一者的GPS速度向量之不確定性。舉例而言,全球定位接收器122可使用GPS載波信號之衛星幾何形狀及/或訊號雜訊比(SNR)判定及/或提供誤差度量。 電子器件102可判定206預測速度與GPS速度之間的差分向量(例如,所量測GPS速度、當前GPS速度等)。可如結合圖1所描述而實現此。舉例而言,電子器件102可判定預測速度(例如,預測速度向量)與GPS速度(例如,GPS速度向量)之間的差(例如,減法)。 電子器件102可基於差分向量優化208一或多個參數。可如結合圖1所描述而實現此。舉例而言,電子器件102可基於差分向量優化偏置估計、比例因數估計、非正交性估計及/或未對準估計。在一些組態中,電子器件102可優化與差分向量成比例的慣性(例如,IMU)量測之偏置估計及/或比例因數估計及/或非正交性估計。另外或替代地,電子器件102可基於差分向量(例如,與差分向量成比例)優化影像感測器(例如,攝影機)與慣性感測器(例如,IMU)之間的未對準估計。在一些方法中,未對準估計可包括轉譯移位估計及/或旋轉移位估計。在一些方法中,可藉由更新在卡爾曼濾波器狀態中具有偏置、比例因數、非正交性、及/或未對準的卡爾曼濾波器(例如,EKF)來優化偏置估計、比例因數估計、非正交性估計及/或未對準估計。 電子器件102可基於優化估計提供210姿態資訊。可如結合圖1所描述而實現此。舉例而言,電子器件102可基於優化估計判定姿態資訊(例如,攝影機姿態資訊、電子器件102姿態資訊、車輛姿態資訊等)。在一些組態中,電子器件102可基於該姿態資訊控制車輛。另外或替代地,可儲存及/或傳輸姿態資訊。舉例而言,可將姿態資訊傳輸至遠端器件(例如,雲端器件、遠端伺服器及/或一或多個車輛)。在一些方法中,電子器件102及/或遠端器件可將姿態資訊用於產生及/或更新(例如,優化)地圖。 應注意,在一些組態中,可重複本文中所描述之功能、步驟及/或方法之一或多者。舉例而言,電子器件102可使用影像感測器(例如,攝影機)及/或慣性感測器(例如,IMU)判定對應於第二時期之第二預測速度。可基於優化偏置估計、優化比例因數、優化非正交性估計及/或優化未對準估計(例如,或優化對準估計)而判定第二預測速度。 圖3為說明在視覺慣性量距(VIO)中使用全球定位系統(GPS)速度之定位模組318之一個實例的方塊圖。在一些組態中,結合圖3描述之定位模組318可為結合圖1描述之定位模組118的實例。如圖3中所說明,定位模組318可包括全球定位接收器322(例如,GPS/GNSS接收器)、VIO模組320及/或融合模組336。應注意,全球定位接收器322可在一些組態中包括於定位模組318中,或可在一些組態中耦接至定位模組318。圖3說明可如何連接模組之實例。如圖3中所說明,在一些組態中,感測器驅動器340可耦接至定位模組318。在一些組態中,感測器驅動器340可位於定位模組318外部(或在一些組態中,可包括於定位模組318中)。舉例而言,在一些組態中,感測器驅動器340可實施於結合圖1描述之電子器件102中。 感測器驅動器340可獲得慣性輸入348及/或影像輸入350。舉例而言,感測器驅動器340可自一或多個慣性感測器(例如,IMU)接收量測,及/或可接收攝影機視訊輸入(例如,經由通用串列匯流排(USB))。感測器驅動器340可將影像資訊及/或慣性資訊提供至定位模組318(例如,全球定位接收器322及/或VIO模組320)。 應注意,影像資訊可採用許多形式。舉例而言,影像資訊可包括在視訊圖形陣列(VGA)解析度(640×480)或超VGA(SVGA)解析度下的影像資料,單色或彩色(例如,8位元或更高)、廣角或習知透鏡,在30圖框每秒(fps)之圖框速率下,及/或具有系統時間中之時戳(例如,如在電子器件102處量測的時間)。可實施及/或利用其他格式。 慣性資訊可包括迴轉儀資訊及/或加速計資訊(例如,IMU資訊)。迴轉儀及/或加速計可符合或超出關於噪聲級、動態範圍等之最小品質要求。在一些組態中,慣性資訊可包括用於迴轉儀及/或加速計量測的一或多個時戳(例如,系統時間中)。在一些組態中,感測器驅動器340可具有以下能力中之一或多者:更改慣性感測器低通濾波器截止(例如,截止頻率)的能力;存取原始慣性樣本之能力;支援特定取樣率(例如,200 Hz或更高之樣本速率)的能力,及/或針對一或多個參數(例如,偏置及/或比例因數)向溫度表提供支援的能力。舉例而言,溫度表可用以基於溫度補償參數變化。 另外或替代地,例如,感測器驅動器340可自全球定位接收器接收全球定位訊息(例如,GPS訊息及時戳)。在一些實施中,感測器驅動器340可將全球定位(例如,GNSS)量測提供至全球定位接收器322。舉例而言,可在特定更新速率(例如,5 Hz)下提供全球定位量測。另外或替代地,感測器驅動器340可將一或多個其他訊息(例如,用於比較之訊息、用於原始量測之計算及/或非修勻量測之計算的訊息,及/或用於載波相位GNSS融合之訊息等)提供至定位模組318。 在一些組態中,定位模組318可接收GPS參考站台資料338。舉例而言,GPS參考站台資料338可包括呈特定格式的來自參考站台之差分量測。參考站台可為具有已知位置的基於地面之站台。舉例而言,全球定位接收器322可接收用於偽距離GNSS融合的約100公里(km)及用於載波相位GNSS融合的約10 km內之無線電技術海上服務委員會(RTCM)104 v3.0格式訊息。RTCM訊息可包括1004 (GPS可觀測量)、1019 (GPS廣播星曆表)、1006 (靜止參考站台位址解析協定及天線高度)及/或1007 (天線描述符)。1004之更新速率可為1 Hz或更高。1019、1006及/或1007之週期性可為每30秒或更佳。應注意,在一些組態中,可利用其他格式及/或訊息類型。 全球定位接收器322可為即時全球定位接收器(例如,公開原始程式碼中之GNSS接收器實施)。在一些組態中,可修改全球定位接收器322。舉例而言,全球定位接收器322可剖析及處理訊息(例如,SiRFBinary訊息)及/或可利用來自參考站台之差分校正(例如,來自數據機之GPS參考站台資料338)。可對全球定位接收器322進行其他修改,以將經校正全球定位(例如,GNSS)量測提供至融合模組336。 全球定位接收器322可提供一或多個輸出。舉例而言,全球定位接收器322可每一時期提供經校正全球定位(例如,GNSS)量測。在一些組態中,全球定位接收器322可提供GPS時間(例如,以秒及/或幾分之一秒計)及/或數個衛星。對於每一衛星,全球定位接收器322可提供衛星識別符、衛星有效旗標、衛星位置(例如,ECEF (1×3)座標)、偽距離、偽距離變化及/或SNR。另外或替代地,全球定位接收器322可提供位置及/或姿態(例如,攝影機位置、車輛位置及/或ECEF (1×3)座標中之漫遊者位置)、GPS速度342(例如,ECEF (1×3)座標中)及/或誤差度量。可將輸出中之一或多者提供至VIO模組320及/或提供至融合模組336。應注意,雖然全球定位接收器322說明為包括於圖3中之定位模組318中,但全球定位接收器322可替代地不包括於定位模組318中。 如上文所描述,VIO模組320可自感測器驅動器340接收影像資訊及/或慣性資訊。VIO模組320可自全球定位接收器322接收GPS速度342(例如,包括速度及/或前進方向)及/或相關聯之誤差度量(例如,品質度量) 舉例而言,VIO模組320可在每一GPS時期接收速度估計及/或誤差度量(例如,品質度量)。在一些組態中,VIO模組320可獲得對應於GPS時間時期之系統時鐘。舉例而言,VIO模組320或另一模組可將GPS時間轉換成系統時脈時間(例如,可將GPS時間轉換成如藉由電子器件102所量測之時間)。另外或替代地,VIO模組320可接收在提供VIO輸出時的過去GPS時期之數目(例如,N)。舉例而言,有時可在獲得GPS量測時提供VIO輸出。VIO模組320可在時期(例如,過去時期)中之每一者接收系統時脈。 VIO模組320可產生姿態資訊(例如,攝影機姿態資訊、電子器件102姿態資訊及/或車輛姿態資訊等)。舉例而言,VIO模組320可利用影像資訊、慣性資訊及/或GPS速度判定姿態資訊。 舉例而言,VIO模組320可產生以下輸出中之一或多者。VIO模組320可產生攝影機圖框之時戳、攝影機圖框關於空間圖框之轉譯(例如,3×1向量)、攝影機圖框關於空間圖框之速度(例如,3×1向量)、空間圖框中之重力向量(例如,3×1向量)、攝影機圖框關於空間圖框之旋轉矩陣(例如,3×3矩陣)、攝影機圖框關於空間圖框之角速度(例如,3×1向量)、攝影機圖框之速度向量關於空間圖框之共變數矩陣(例如,3×3矩陣)、攝影機圖框之轉譯向量關於空間圖框之共變數矩陣(例如,3×3矩陣)、亦輸出VIO輸出之數個過去GPS時間時期、提供VIO輸出之過去時間時期(k=1,2,…,N)、在過去GPS時間時期k的攝影機圖框關於空間圖框轉譯(例如,3×1向量)、在過去GPS時間時期k的攝影機圖框之轉譯向量關於空間圖框的共變數矩陣(例如,3×3矩陣)、與當前圖框相關聯之識別符(ID),及/或當前圖框之未校正時戳。在一些組態中,VIO模組320輸出可係處於特定速率(例如,30 fps)。共變數矩陣可包括及/或指示沿對角項的狀態(例如,姿態)中之每一者之個別變化。偏離對角項可指示項之間的共變數(例如,狀態、姿態等)。舉例而言,共變數矩陣為界定變數中之每一者之誤差估計的矩陣。共變數矩陣中之對角線元素中之每一者可指示特定元素自身的變化,且交叉對角線元素可指示每一元素關於另一元素之交叉相關性。 在一些組態中,VIO模組320可包括擴展卡爾曼濾波器(EKF)。EKF可為應用於非線性問題或系統之卡爾曼濾波器(例如,預測及校正演算法)。在一些方法中,若誤差度量(例如,品質度量)指示量測不精確,則VIO模組320可忽略一或多個GPS速度342量測。舉例而言,GPS速度342量測可歸因於低數目個衛星、多路徑等而為不精確的。在一些組態中,在VIO內,一或多個額外機制(例如,基於EKF新穎之離群值拒絕測試)可用以拒絕或去權重不可靠的GPS速度342量測之影響。舉例而言,電子器件102可基於誤差度量拒絕一或多個GPS速度。 本文中揭示之系統與方法之一些方法可包括以下程序中之一或多者。對於待用於VIO中之GPS速度向量,GPS速度向量可被變換成VIO之參考圖框(例如,VIO參考圖框)。舉例而言,可判定旋轉對準(例如,VIO與全球定位參考圖框之間的相對旋轉對準)。在一些組態中,可如結合圖8所描述而實現此。對準可允許GPS速度用於VIO中。 全球定位接收器322可在一或多個參考圖框(例如,全球定位參考圖框)中產生(例如,報告、發送、提供等)GPS速度342(例如,GPS速度向量)。舉例而言,全球定位接收器322可在地球中心地球固定(ECEF)(固定至地球中心)或東北上(ENU)(固定於地球之表面上)產生GPS速度向量。在一些組態中,定位模組318可判定及/或選擇參考座標以供用於約束比例及定向。GPS速度(例如,GPS速度向量)可與地球有關。 在一些組態中,VIO模組320可使用任意固定參考圖框。舉例而言,用於VIO模組320之參考圖框可為時間瞬時零處的空間參考圖框。VIO模組320可將空間參考圖框與全球定位參考圖框相關(例如,用於全球定位接收器322之固定參考圖框)。在一些組態中,初始相對未對準判定(例如,估計)可執行一次(例如,在初始化期間)。一旦判定相對未對準估計,便可基於相對未對準使用來自全球定位接收器322之GPS速度342(例如,GPS速度向量)。 由VIO模組320及GPS速度342 (例如,GPS速度向量)產生的預測速度(例如,預測速度向量)可用以優化全球定位參考圖框(例如,ENU或ECEF)與空間參考圖框之間的相對未對準。 如上文所描述,全球定位接收器322可產生GPS速度342(例如,GPS速度向量)。在一些組態中,全球定位接收器322亦可產生誤差度量(例如,品質度量)。定位模組318(例如,VIO模組320)可在一或多個方法中利用GPS速度342及/或誤差度量。在一個實例中,僅僅GPS速度342可與恆定誤差度量(例如,靜態誤差度量及/或預定誤差度量等)一起使用。在第二實例中,GPS速度342可與由全球定位接收器322判定之誤差度量一起使用。在第三實例中,VIO模組320可判定預測速度(由VIO模組320判定,例如)與GPS速度342(例如,所量測GPS速度)之間的差分向量。在一些方法中,可執行基於差分向量之一或多個統計測試(例如,馬氏測試),其可用以拒絕雜散速度量測(歸因於多路徑,例如)。在第四實例中,可基於誤差度量執行一或多個臨限測試,以便用超出一臨限之對應誤差度量拒絕(例如,捨棄、過濾、忽略等)一或多個速度量測。舉例而言,相比捨棄不良速度量測,使用不良速度量測可更加不利,尤其在速度量測速率足夠高(例如,5 Hz、10 Hz等)的情況下。在第五實例中,GPS速度向量之長度可與臨限進行比較。若向量長度小於臨限,則可能不使用GPS速度342。此可用於一些具有靜止偵測濾波器之全球定位接收器,其中速度基於靜止偵測而經人工夾持固定為0。靜止偵測濾波可在融合之情況下造成一問題,此係由於靜止偵測濾波可引起速度誤差之跳轉(當爬升達至停止時,例如)。 融合模組336可接收全球定位資訊及/或VIO資訊。舉例而言,融合模組336可接收全球定位(例如,GPS/GNSS)原始量測(例如,偽距離、都卜勒及/或載波相位)及/或視覺慣性量距(VIO)資訊(例如,來自諸如VIO模組320之相對定位引擎)。舉例而言,融合模組336可自全球定位接收器122接收校正之GNSS量測。校正之GNSS量測可包括GPS時間(以秒及/或幾分之一秒等計)及/或數個衛星。對於每一衛星,融合模組336可接收衛星識別符、衛星有效旗標、衛星位置(例如,ECEF(1×3)座標中)、偽距離、偽距離變化及/或SNR。 另外或替代地,融合模組可接收位置資訊(例如,攝影機位置、電子器件102位置、車輛位置、漫遊者位置及/或ECEF中之1×3位置向量等)、速度資訊(例如,攝影機速度、電子器件102速度、車輛速度、漫遊者位置及/或ECEF中之1×3速度向量)及/或誤差值(例如,品質值)。另外或替代地,VIO資訊可包括位於攝影機圖框之更新速率下的攝影機圖框之固定的正交3D參考座標中之相對量測(例如,該參考座標可關於地球座標圖框為任意且未知的)。舉例而言,VIO資訊可包括六自由度(6-DOF)姿態、速度、重力、角速度、攝影機圖框識別符、當前姿態之GPS時間(例如,以秒或幾分之一秒計)、攝影機圖框關於空間圖框之轉譯(例如,1×3轉譯向量)、攝影機圖框關於空間圖框之速度(例如,1×3速度向量)、空間圖框中之重力向量(例如,1×3重力向量)、攝影機圖框關於空間圖框之旋轉矩陣(例如,3×3旋轉矩陣)、攝影機圖框關於空間圖框之角速度(例如,1×3角速度向量)、攝影機圖框之速度向量關於空間圖框之共變數矩陣(例如,3×3共變數矩陣)、攝影機圖框之轉譯向量關於空間圖框之共變數矩陣(例如,3×3共變數矩陣)、亦輸出GPS/GNSS資料的數個過去GPS時間時期、最新GPS時期之GPS時間(例如,以秒或幾分之一秒計)、在過去GPS時間時期k處攝影機圖框關於空間圖框之轉譯(例如,1×6轉譯向量),在過去GPS時間時期k處攝影機圖框之轉譯向量關於空間圖框之共變數矩陣(例如,6×6共變數矩陣),及/或與當前圖框相關聯之圖框識別符(ID)。在一些組態中,圖框ID可用以根據圖框序列、數目及/或時間識別圖框。視情況,VIO資訊可包括原始圖框時戳。在一些組態中,融合模組336可接收用於全球定位(例如,GNSS)量測之時戳及/或共同全球時脈(例如,GPS時間)中之VIO資訊(例如,量測)。 融合模組336可提供(例如,輸出)融合資訊352。在一些組態中,融合資訊352可包括以下項中之一或多者:全球時間(例如,GPS時間)及融合姿態資訊(例如,6 DOF ECEF座標圖框中的攝影機姿態、攝影機圖框姿態、電子器件102姿態、車輛姿態、車體圖框姿態等)。另外或替代地,融合資訊352可包括圖框ID。在一些組態中,融合資訊352可包括旋轉資訊(例如,ECEF座標中之旋轉矩陣)及/或轉譯資訊(例如,ECEF座標中之轉譯向量)。 融合模組336可將全球定位量測與相對定位(例如,VIO)融合以在一或多個地球座標圖框中提供絕對定位。舉例而言,GNSS融合可指GPS/GNSS原始量測(例如,偽距離、都卜勒及/或載波相位)與諸如視覺慣性量距(VIO)之相對定位引擎的融合,以在地球座標圖框中提供絕對定位。在一些組態中,融合模組336可具有兩個輸入資料介面(例如,全球定位接收器322輸入介面及VIO模組320輸入介面)。輸入介面可提供上文所述之輸入(例如,資料元素)中之一或多者。 融合模組可包括偽距離融合模組344及/或載波相位融合模組346。在一些組態中,融合(例如,GNSS融合)可劃分成兩個階段(例如,偽距離融合及載波相位融合)。該兩個階段可由偽距離融合模組344及/或載波相位融合模組346執行。 偽距離融合模組344可利用偽距離及都卜勒量測(例如,來自漫遊者)以及來自參考站台之對應差分校正。舉例而言,偽距離融合模組344可執行偽距離GNSS融合。偽距離融合(例如,偽距離GNSS融合)可包括一或多個程序及/或區塊。舉例而言,可首先執行全球定位(例如,GNSS)原始量測之後處理以計算一或多個校正偽距離、預期差異、衛星位置、衛星速度及/或其他額外資訊。接下來,定位模組318(例如,偽距離融合模組344(例如,GNSS融合)或其他模組)以線上方式估計全球定位(例如,GPS)圖框與VIO圖框(例如,空間圖框)之對準。接下來,可執行離群值偵測,且可估計位置(例如,攝影機位置、電子器件102位置、車輛位置、漫遊者位置等)。 在本文中揭示之系統與方法的一些組態中,可如下執行全球定位(例如,GPS)與VIO圖框之對準。應注意,對準可由融合模組336(例如,偽距離融合模組344)及/或一或多個其他模組(例如,VIO模組320)執行。為估計有關於VIO及全球定位(例如,GPS)圖框之旋轉矩陣,可將VIO速度與全球定位(例如,GPS)都卜勒距離變化率量測進行比較。若足夠大的都卜勒距離變化率可用於求解每一時期中之速度(例如,車輛速度、漫遊者速度、電子器件102速度、主體速度等),則可使用演算法(例如,Kabsch演算法、Wahba演算法等)估計旋轉矩陣。為了處理來自都卜勒距離變化率之速度離群值,可在一些方法中執行Kabsch演算法之穩固變體。為了依賴於速度改變減小(例如,消除)對準之聚合時間,可利用來自VIO之重力估計。 在本文中揭示之系統與方法的一些組態中,可如下執行離群值偵測。應注意,離群值偵測可由融合模組336(例如,偽距離融合模組344)及/或一或多個其他模組(例如,VIO模組320)執行。偽距離可能由兩個雜訊源損壞:歸因於局部反射之多路徑(例如,其可經建模為高斯隨機變數);及由堵塞及/或反射產生之非視線(NLOS)雜訊(例如,其可經建模為非負隨機變數)。舉例而言,堵塞及/或反射可起因於遠端建築物及/或其他障礙物。具有非零NLOS雜訊之偽距離可為離群值及/或可被稱為離群值。 離群值偵測演算法之一些實例遞歸地應用隨機樣本一致(RanSaC)方法。舉例而言,離群值偵測演算法可追蹤數個試驗性位置(例如,漫遊者位置)。與每一試驗性位置相關聯的可為偽距離,其為與位置一致之視線(LOS)(例如,構成RanSaC術語中之一致集合)。具有最大數目個相關聯LOS一致偽距離之試驗性位置可選擇為最終位置估計。 對於每一時期,離群值偵測演算法可執行(例如,實行)以下步驟中之一或多者。演算法可使用VIO速度估計值將試驗性位置傳播至當前時間(例如,用達至當前時間之VIO速度估計值更新試驗性位置)。演算法可捨棄無法與任何位置LOS一致之偽距離。此等為將強迫其他量測具有負NLOS雜訊的量測(若LOS)。此等量測可藉由求解線性程式有效得出。演算法可隨機地選擇數個(例如,三個)過去或當前時期且自每一時期選擇數個(例如,兩個)偽距離。使用此等觀測(例如,六個觀測)及VIO移位,演算法可計算新的試驗性位置。此程序可重複固定次數。演算法可僅僅保持一致的(例如,導致非負估計NLOS雜訊組件)彼等試驗性位置。對於每一試驗性位置,演算法可找到與位置LOS一致的所有當前及過去偽距離。可捨棄具有較少一致偽距離(例如,小於臨限數目個一致偽距離)之試驗性位置。演算法可使用所有相關聯之LOS一致偽距離重新計算每一試驗性位置。演算法可將具有最一致偽距離之試驗性位置選擇為當前時間處的位置估計。 載波相位融合模組346可利用載波相位量測以及偽距離及都卜勒量測(例如,來自漫遊者)。舉例而言,載波相位融合模組346可執行載波相位GNSS融合。亦可利用來自參考站台的此等量測之差分校正。在一些組態中,雙頻率接收器可用於具有挑戰性的情境。在一些方法中,載波相位融合(例如,載波相位GNSS融合)之初始相位可利用用於量測(例如,GNSS量測)之調查品質天線。天線特徵化可為已知的(例如,預定)。本文中揭示之系統及方法的一些組態可達成以下項中之一或多者:相對姿態量測可無離群值;相對姿態量測可始終開啟;位置之相對姿態量測可隨距離而變具有1%或以下的短期及長期偏移;及/或速度、重力及/或定向的相對姿態量測可具有小誤差。 圖4為說明VIO模組420之一個實例的方塊圖。結合圖4描述之VIO模組420可為結合圖3描述之VIO模組320的實例。在一些組態中,VIO模組420可實施於結合圖1描述之電子器件102中。VIO模組420可包括電腦視覺模組458及/或擴展卡爾曼濾波器模組460。VIO模組420可實施於具有一或多個使用案例(例如,車輛控制、導航、擴增實境、機器人技術、虛擬實境等)的一或多個平台(例如,行動平台、自主車輛、半自主車輛等) 中。 電腦視覺模組458可獲得(例如,接收)影像資訊454(例如,一或多個影像、攝影機圖框、時戳等)。舉例而言,電腦視覺模組458可自影像感測器(例如,攝影機)接收影像資訊454。影像資訊454可採用許多形式。舉例而言,如本文中所描述,影像資訊454可包括視訊圖形陣列(VGA)解析度(640×480)或超VGA(SVGA)解析度下的影像資料,單色或彩色(例如,8位元或更高),廣角或習知透鏡,在30圖框每秒(fps)之圖框速率下,及/或具有系統時間中之時戳。可實施及/或利用其他格式。 電腦視覺模組458可基於影像資訊454偵測及/或追蹤一或多個圖框中之影像特徵。在一些組態中,電腦視覺模組458可接收攝影機校準參數466(例如,內部攝影機校準參數)。舉例而言,攝影機校準參數466可包括對焦距、主點及/或失真之指示。在一些方法中,攝影機校準參數466可根據攝影機類型僅僅接收一次。電腦視覺模組458可藉由調節內部攝影機特性,利用攝影機校準參數466改良量測精確性。 在一些組態中,電腦視覺模組458可自擴展卡爾曼濾波器460接收預測之2維(2D)特徵座標464(例如,預測之2D影像特徵座標)。電腦視覺模組458可產生所量測2維影像特徵座標462(例如,影像中之像素位置),其可被提供至擴展卡爾曼濾波器460。在一些組態中,電腦視覺模組458可提供(例如,攝影機之)時戳及/或所量測雜訊,其可被提供至擴展卡爾曼濾波器460。 擴展卡爾曼濾波器460可接收慣性資訊456(例如,IMU資訊、迴轉儀量測、迴轉儀時戳、迴轉儀量測雜訊、加速計量測、加速計時戳及/或加速計所量測雜訊等)。擴展卡爾曼濾波器460可接收慣性校準參數468(例如,攝影機IMU對準校準參數)。慣性校準參數468可指示空間(例如,旋轉及/或轉譯)參數及/或時間參數。在一些方法中,慣性校準參數可根據板類型接收一次。在一些組態中,擴展卡爾曼濾波器460可接收GPS速度442。GPS速度442可包括速度及/或前進方向。可自全球定位接收器(例如,結合圖1描述之全球定位接收器122)及/或自感測器驅動器接收GPS速度442。在一些組態中,擴展卡爾曼濾波器460可接收與GPS速度442相關聯之誤差(例如,品質)度量。 擴展卡爾曼濾波器460可提供(例如,輸出)VIO輸出470(例如,擴展卡爾曼濾波器(EKF)輸出)。VIO輸出470可包括一或多個資訊元素。舉例而言,VIO輸出470可包括姿態(例如,攝影機姿態及電子器件102姿態、車輛姿態、六自由度(6-DOF)姿態等)、重力資訊(例如,重力向量)、一或多個特徵點位置(例如,特徵點之3維(3D)位置),及/或一或多個校準參數(例如,偏置、比例因數、對準等)。 對於車輛(例如,汽車)使用案例,以下點中之一或多者可為VIO設計可適應的因素。一個因素可為固定位置處的初始化。舉例而言,VIO可對位於車輛內部固定位置處的攝影機操作。VIO可能夠在不移動器件之情況下初始化一或多個參數。在一些方法中,VIO可在電子器件靜止時進行初始化。一些組態可提供溫和的起始能力。另一因素可為將車輛運動約束(其可被稱為非完全約束)包括至動態模型中。另一因素可為在照明之極端變化下,用寬動態範圍(WDR)攝影機操作。舉例而言,此可涉及處理促成每一圖框(除滾動快門之外,例如)之多個曝光。另一因素可包括有效地處理來自移動物體(例如,諸如攝影機視野(FOV)中之汽車的移動物體)之離群值。另一因素可包括在移動時重新初始化VIO(例如,擴展卡爾曼濾波器(EKF)460)之能力。由於VIO之姿態輸出可被用作增強GPS位置估計之輸入,因此可將用於(VIO)姿態誤差之精確模型用於融合目的。一些方法可依賴於對應於GPS時期的攝影機姿態之VIO中的滑動窗實施。另一因素可包括校準程序,其用於估計「桿臂」及/或影像感測器(例如,攝影機)、慣性感測器(例如,IMU)、車體框架及/或全球定位(例如,GPS)天線等之間的未對準。在一些組態中,桿臂(及/或未對準)參數可被添加至卡爾曼濾波器(例如,EKF)狀態,且可經估計為卡爾曼濾波器預測及更新之部分。 圖5為說明用於判定絕對位置之方法500之一個實例的流程圖。方法500可由結合圖1描述之電子器件102執行。 電子器件102可判定502預測之速度與GPS速度之間的差分向量。可如結合圖1至圖2中之一或多者所描述而實現此。 電子器件102可基於差分向量優化504一或多個參數。可如結合圖1至圖3中之一或多者所描述而實現此。 電子器件102可基於優化估計提供506姿態資訊。可如結合圖1至圖4中之一或多者所描述而實現此。舉例而言,電子器件102可基於優化估計判定姿態資訊(例如,攝影機姿態資訊、電子器件102姿態資訊、車輛姿態資訊等)。姿態資訊可指示空間圖框中之姿態。 電子器件102可基於姿態資訊判定508絕對位置。可如結合圖1所描述而實現此。舉例而言,電子器件102可判定對應於姿態資訊之絕對位置。舉例而言,電子器件102可判定對應於姿態資訊之全球座標(例如,ECEF、ENU等)。 圖6為說明利用VIO系統之測試駕駛軌跡之實例680a-i的圖式。舉例而言,若干實例680a-i說明可如何執行本文中揭示之系統及方法的一些組態(例如,與VIO一起使用GPS速度)。具體而言,圖6說明駕駛10千米(km)迴路之軌跡的實例680a-i。如圖6中所說明,實例680a-i與低變體極類似。 圖7為說明利用VIO系統之測試駕駛軌跡之其他實例782a-i的圖式。圖7說明並不與VIO一起使用GPS速度的VIO系統之結果。具體而言,圖7說明駕駛結合圖6描述之相同10 km迴路之軌跡的實例782a-i。 圖6與圖7之比較說明合併GPS速度之影響可能在改良高速公路駕駛及稀疏特徵情境中的VIO之穩定性時很劇烈。雖然使用GPS速度之所有軌跡係類似的,但當未如圖7中所說明的使用GPS速度輸入時,會察覺到顯著失真。 具體而言,圖6及圖7可說明經由相同路線的多次駕駛。整個路徑為位於出口之間的10 km迴路。圖6說明使用GPS速度之結果,而圖7展示無GPS速度之VIO。雖然如圖6中所說明,使用GPS速度情況下之所有軌跡係類似的,但當如圖7中所說明未使用GPS速度輸入時,察覺顯著的失真。舉例而言,路線導航可容易在無速度(speed or velocity)輔助的情況下失效。路線導航可在具有速度輔助的情況下更穩固,但如圖7中所說明,前進方向可由於各種原因而發生錯誤。路線導航可在具有速度輔助的情況下極穩固,如圖6中所說明。 圖8為說明GPS速度輔助之實例的圖式。此實例說明隨時間886推移的一系列更新週期884。在此實例中,假定電子器件102(例如,車輛)開始初始化程序(例如,以判定姿態資訊)。在啟動時,電子器件102(例如,車輛)可能具有不充足速度而無法估計。因此,電子器件102(例如,定位模組118)可在使用速度輔助情況下開始。如圖8中所說明,可判定且利用速度更新A 888a及速度更新B 888b來判定姿態資訊。 電子器件102可收集,其中為表示於空間圖框中之重力向量,且為表示於「N」圖框中之重力向量。一旦達到某速度(例如,至少10 m/s),便可估計(使用Kabsh演算法,例如)。一旦經初始化,3D速度便可用於後續輔助。如圖8中所說明,例如,速度更新A 890a及速度更新B 890b等可用於EKF更新。 在一些組態中,可根據以下方法(或一種不同方法)估計(例如,初始化)旋轉矩陣(例如,)。詳言之,如下給出將視覺慣性量距(VIO)參考圖框(例如,空間參考圖框)與全球定位(例如,衛星定位系統(SPS))參考圖框對準之實例。定位模組(例如,定位模組118、定位模組318等)可自全球定位接收器(例如,全球定位接收器122)獲得距離變化率量測,其中該距離變化率量測與全球參考圖框有關。在一個態樣中,全球定位接收器在一秒長度之每一時期期間提供來自不同衛星的原始距離變化率量測。對流層、電離層及衛星時脈偏置可經假定為在此等距離變化率量測中進行校正,或經由用於單點解中或來自網路資料的標準模組進行校正。經校正距離變化率量測可經建模為: 其中, 為自衛星s 之衛星位置xs (t) 至行動平台(例如,電子器件102)位置x(t) 之粗糙估計的單位向量。v(t)及vs (t)分別為行動平台(例如,電子器件102)及衛星s之速度,為全球定位接收器之接收器時脈偏移,且在量測中俘獲所有其他雜訊。精確至(例如)200 m以內的此粗糙位置估計可使用標準模型計算。 接下來,定位模組可自VIO模組(例如,VIO模組120、VIO模組320、VIO模組420等)獲得VIO速度量測,其中VIO速度量測與本地參考圖框(例如,空間參考圖框)有關。VIO模組可利用藉由攝影機(例如,影像感測器104)產生的影像以及藉由一或多個慣性感測器(例如,慣性感測器114、加速計及迴轉儀等)提供的資料產生VIO速度量測。藉由VIO模組產生的VIO速度量測可為在每一時間瞬時的速度向量及旋轉矩陣,以及變化之估計。藉由VIO模組產生VIO速度量測的速率可能比藉由全球定位接收器產生全球定位量測的速率(例如,1 Hz、5 Hz、10 Hz等)高(例如,100 Hz)。包括於VIO速度量測中的旋轉矩陣描述相對於初始攝影機參考圖框的當前時間瞬時處之攝影機定向。在一些組態中,VIO速度量測可為精確的,且具有隨距離而變的約1%偏移,亦即,100 m內1 m之誤差。 VIO模組向定位模組提供可在系統啟動時任意選擇的本地參考圖框中之VIO速度量測。為整合VIO速度量測與全球定位量測(例如,GPS速度),定位模組可判定至少一個定向參數(例如,可估計旋轉矩陣),以將本地參考圖框與全球參考圖框對準。在一些組態中,將本地參考圖框與全球參考圖框對準包括將VIO速度量測轉譯成全球參考圖框。為估計定向參數,諸如旋轉矩陣,定位模組可獲得全球參考圖框中的涉及本地參考圖框中之VIO速度量測的全球定位量測。舉例而言,自全球定位接收器獲得的距離變化率量測(例如,都卜勒距離變化率量測)可用於此目的。一旦判定定向參數(例如,旋轉矩陣),VIO速度量測便可轉譯成全球參考圖框。 如上所述,在一個態樣中,藉由全球定位接收器提供之全球定位量測可包括表示行動平台(例如,電子器件102)之速度的GPS速度量測(例如,SPS速度量測、GPS都卜勒速度量測等)。當行動平台位於露天環境中時,GPS速度量測相對精確。使用GPS速度量測來判定定向參數可提供封閉式解決方案。應注意,定向參數可能會或可能不會隨時間推移顯著改變,如在車輛之狀況中,其中定向參數之變化可主要歸因於與VIO模組相關聯的緩慢偏移,以及由VIO模組使用之參考圖框的可能重設。因此,利用GPS速度量測可藉由行動平台使用,只要可自全球定位接收器獲得良好品質GPS速度量測。 繼續此實例,使等於全球參考圖框中之行動平台(例如,電子器件102)的真正速度,使等於來自全球定位接收器之GPS速度量測,且使等於自VIO模組獲得的VIO速度量測。因此,此等參數可經建模為 其中R(例如,Rns )為使全球與本地參考圖框有關的旋轉矩陣,且其中量測中之各別雜訊表示為。在一個態樣中,定位模組估計窗大小T 上的旋轉矩陣R 。舉例而言,考慮時間間隔{t-T+1, t-T+2,…t}中之一組量測。此表達式為便於表示而假定時間經離散至單位秒。等式7a可接著在此窗上如下重寫為, 其中及矩陣VG 、VV 、ZG 及ZV 以類似方式定義。定位模組可接著將旋轉矩陣R估計為以下最小平方最佳化問題的最小限制器, 其中指示弗羅貝尼烏斯範數(Frobenius norm)。在一個態樣中,此問題為正交Procrustes問題之特殊情況,其中Kabsch演算法可提供最佳封閉式解,如下: 其中svd 指示單一值分解及det指示決定因素。 Kabsch演算法可經擴展以藉由計算如下等式7e,最小化一些對稱正半定矩陣W的經加權弗羅貝尼烏斯範數 Kabsch演算法之剩餘部分保持如前所述。Kabsch演算法之此經加權版本可被用作反覆重新加權之最小平方程序之建構嵌段。舉例而言,定位模組可以W=I 起始,且接著計算旋轉矩陣R 之第一估計。使用此估計,定位模組可接著計算殘餘。自此等殘餘,定位模組可計算新權重矩陣W 。舉例而言,標準雙平方權重函數可用於此目的。定位模組可重複此計算(例如,5次)。此經反覆重新加權的最小平方方法以很大殘餘降低量測之權重,由此向離群值提供穩定性。 圖9說明可包括於經組態以實施本文中所揭示之系統及方法的各種組態之電子器件902內的某些組件。電子器件902之實例可包括伺服器、攝影機、視訊攝錄影機、數位攝影機、蜂巢式電話、智慧型電話、電腦(例如,桌上型電腦、膝上型電腦等)、平板電腦器件、媒體播放器、電視、車輛、汽車、個人攝影機、穿戴式攝影機、虛擬實境器件(例如,耳機)、擴增實境器件(例如,耳機)、混合實境器件(例如,耳機)、動作攝影機、安裝之攝影機、連接之攝影機、機器人、飛機、遙控飛機、無人駕駛飛行器(UAV)、遊戲控制台、個人數位助理(PDA)等。電子器件902可根據本文中所描述的電子器件中之一或多者而實施。 電子器件902包括處理器921。處理器921可為通用單一或多個晶片微處理器(例如ARM)、專用微處理器(例如,數位信號處理器(DSP))、微控制器、可程式化閘陣列等。處理器921可被稱作中央處理單元(CPU)。儘管電子器件902中僅展示單個處理器921,但在替代性組態中,可實施處理器之組合(例如,ARM及DSP)。 電子器件902亦包括記憶體901。記憶體901可為能夠儲存電子資訊之任何電子組件。記憶體901可體現為隨機存取記憶體(RAM)、唯讀記憶體(ROM)、磁碟儲存媒體、光學儲存媒體、RAM中之快閃記憶體器件、隨處理器包括的機載記憶體、EPROM記憶體、EEPROM記憶體、暫存器等,包括其組合。 資料905a及指令903a可儲存於記憶體901中。指令903a可由處理器921執行以實施在本文中描述之方法、程序、步驟及/或功能中之一或多者。執行指令903a可涉及使用儲存於記憶體901中的資料905a。當處理器921執行指令903時,指令903b之各種部分可載入至處理器921上,及/或資料905b之各片可載入至處理器921上。 電子器件902亦可包括傳輸器911及/或接收器913,以允許信號傳輸至電子器件902及自該電子器件接收信號。傳輸器911及接收器913可統稱為收發器915。一或多個天線909a-b可電耦接至收發器915。電子器件902亦可包括(圖中未示)多個傳輸器、多個接收器、多個收發器及/或額外天線。 電子器件902可包括數位信號處理器(DSP) 917。電子器件902亦可包括通信介面919。通信介面919可允許及/或實現一或多個種類之輸入及/或輸出。舉例而言,通信介面919可包括一或多個埠及/或通信器件以用於將其他器件連結至電子器件902。在一些組態中,通信介面919可包括傳輸器911、接收器913或兩者(例如,收發器915)。另外或替代地,通信介面919可包括一或多個其他介面(例如,觸控螢幕、小鍵盤、鍵盤、麥克風、攝影機等)。舉例而言,通信介面919可實現使用者與電子器件902互動。 電子器件902之各種組件可藉由一或多個匯流排耦接至一起,其可包括功率匯流排、控制信號匯流排、狀態信號匯流排、資料匯流排等。為清楚起見,各種匯流排在圖9中說明為匯流排系統907。 術語「判定」涵蓋多種動作,且因此「判定」可包括計算(calculating、computing)、處理、導出、研究、查找(例如,在表、資料庫或另一資料結構中查找)、確定及其類似者。此外,「判定」可包括接收(例如,接收資訊)、存取(例如,存取記憶體中之資料)及其類似者。此外,「判定」可包括解決、選擇、挑選、建立及其類似者。 短語「基於」並不意謂「僅基於」,除非以其他方式明確地指定。換言之,短語「基於」描述「僅基於」及「至少基於」兩者。 術語「處理器」應廣義上解譯為涵蓋通用處理器、中央處理單元(CPU)、微處理器、數位信號處理器(DSP)、控制器、微控制器、狀態機等。在一些情況下,「處理器」可指特殊應用積體電路(ASIC)、可程式化邏輯器件(PLD)、場可程式化閘陣列(FPGA)等。術語「處理器」可指處理器件之組合,(例如)DSP與微處理器之組合、複數個微處理器、一或多個微處理器與DSP核心結合,或任何其他此組態。 術語「記憶體」應廣義上解譯為涵蓋能夠儲存電子資訊的任何電子組件。術語記憶體可指各種類型處理器可讀媒體,諸如隨機存取記憶體(RAM)、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、電可抹除PROM(EEPROM)、快閃記憶體、磁性或光學資料儲存器、暫存器等。若處理器可自記憶體讀取資訊及/或寫入資訊至記憶體,則記憶體被稱為與處理器進行電子通信。與處理器成一體的記憶體與處理器進行電子通信。 術語「指令」及「程式碼」應大體上解譯為包括任何類型的電腦可讀表述。舉例而言,術語「指令」及「程式碼」可指代一或多個程式、例程、子例程、函數、程序等。「指令」及「程式碼」可包含單一電腦可讀表述或許多電腦可讀表述。 本文中所描述功能可在藉由硬體執行的軟件或韌體中實施。功能可儲存為電腦可讀媒體上之一或多個指令。術語「電腦可讀媒體」或「電腦程式產品」係指可藉由電腦或處理器存取的任何有形儲存媒體。作為實例而非限制,電腦可讀媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件,或可用以攜載或儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取的任何其他媒體。如本文中所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及Blu-ray®光碟,其中磁碟通常以磁性方式再生資料,而光碟藉由雷射以光學方式再生資料。應注意,電腦可讀媒體可為有形且非暫時性的。術語「電腦程式產品」指與可藉由計算器件或處理器執行、處理或計算之程式碼或指令(例如,「程式」組合的計算器件或處理器。如本文所使用,術語「程式碼」可指可由計算器件或處理器執行之軟體、指令、程式碼或資料。 亦可在傳輸媒體上傳輸軟體或指令。舉例而言,若使用同軸電纜、光纖電纜、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波等無線技術自網站、伺服器或其他遠端源傳輸軟體,則同軸電纜、光纖電纜、雙絞線、DSL或諸如紅外線、無線電及微波等無線技術包括於媒體的定義中。 本文中所揭示之方法包含用於達成所描述方法之一或多個步驟或動作。在不背離申請專利範圍之範疇的情況下,方法步驟及/或動作可彼此互換。換言之,除非對於所描述方法之恰當操作需要步驟或動作之特定次序,否則可修改特定步驟及/或動作之次序及/或使用而不背離申請專利範圍之範疇。亦應注意,一或多個步驟及/或動作可添加至本文中揭示之系統及方法的一些組態中之方法,及/或自該(該等)方法省略。 另外,應瞭解用於執行本文所描述之方法及技術的模組及/或其他適當構件可經下載及/或另外藉由器件獲得。舉例而言,一器件可耦接至一伺服器以促進用於執行本文中所描述之方法之構件的轉移。替代地,本文中所描述之各種方法可經由儲存構件(例如,隨機存取記憶體(RAM)、唯讀記憶體(ROM)、諸如緊密光碟(CD)或軟碟之實體儲存媒體等)提供,以使得器件可在將儲存構件耦接或提供至該器件時獲得各種方法。 如本文所使用,術語「及/或」應解譯為意謂著一或多項。舉例而言,片語「A、B及/或C」應經解譯為意謂著以下項中之任一者:僅僅A、僅僅B、僅僅C、A及B(無C)、B及C(無A)、A及C(無B)、或A、B及C所有。如本文所使用,片語「中之至少一者」應解譯為意謂著一或多項。舉例而言,片語「A、B及C中之至少一者」或片語「A、B或C中之至少一者」應解譯為意謂著以下項中之任一者:僅僅A、僅僅B、僅僅C、A及B(無C)、B及C(無A)、A及C(無B)、或A、B及C所有。如本文所使用,片語「...中之一或多者」應解譯為意謂著一或多項。舉例而言,片語「A、B及C中之一或多者」或片語「A、B或C中之一或多者」應解譯為意謂著以下項中之任一者:僅僅A、僅僅B、僅僅C、A及B(無C)、B及C(無A)、A及C(無B)、或A、B及C所有。 應理解,申請專利範圍並不限於上文所說明之準確組態及組件。可在不背離申請專利範圍之範疇的情況下對本文中所描述之系統、方法及電子器件之配置、操作及細節進行各種修改、改變及變化。
102‧‧‧電子器件
104‧‧‧影像感測器
106‧‧‧光學系統
108‧‧‧通信介面
110‧‧‧天線
112‧‧‧處理器
114‧‧‧慣性感測器
116‧‧‧感知模組
118‧‧‧定位模組
120‧‧‧VIO模組
122‧‧‧全球定位接收器
126‧‧‧記憶體
128‧‧‧姿態資訊
132‧‧‧顯示器
134‧‧‧使用者介面
200‧‧‧方法
318‧‧‧定位模組
320‧‧‧VIO模組
322‧‧‧全球定位接收器
336‧‧‧融合模組
338‧‧‧GPS參考站台資料
340‧‧‧感測器驅動器
342‧‧‧GPS速度
344‧‧‧偽距離融合模組
346‧‧‧載波相位融合模組
348‧‧‧慣性輸入
350‧‧‧影像輸入
352‧‧‧融合資訊
420‧‧‧VIO模組
442‧‧‧GPS速度
454‧‧‧影像資訊
456‧‧‧慣性資訊
458‧‧‧電腦視覺模組
460‧‧‧擴展卡爾曼濾波器
462‧‧‧量測2維影像特徵座標
464‧‧‧預測2維特徵座標
466‧‧‧攝影機校準參數
468‧‧‧慣性校準參數
470‧‧‧VIO輸出
500‧‧‧方法
680a‧‧‧測試駕駛軌跡實例
680b‧‧‧測試駕駛軌跡實例
680c‧‧‧測試駕駛軌跡實例
680d‧‧‧測試駕駛軌跡實例
680e‧‧‧測試駕駛軌跡實例
680f‧‧‧測試駕駛軌跡實例
680g‧‧‧測試駕駛軌跡實例
680h‧‧‧測試駕駛軌跡實例
680i‧‧‧測試駕駛軌跡實例
782a‧‧‧測試駕駛軌跡實例
782b‧‧‧測試駕駛軌跡實例
782c‧‧‧測試駕駛軌跡實例
782d‧‧‧測試駕駛軌跡實例
782e‧‧‧測試駕駛軌跡實例
782f‧‧‧測試駕駛軌跡實例
782g‧‧‧測試駕駛軌跡實例
782h‧‧‧測試駕駛軌跡實例
782i‧‧‧測試駕駛軌跡實例
884‧‧‧更新週期
886‧‧‧時間
888a‧‧‧速度更新A
888b‧‧‧速度更新B
890a‧‧‧速度更新A
890b‧‧‧速度更新B
901‧‧‧記憶體
902‧‧‧電子器件
903‧‧‧指令
903a‧‧‧指令
903b‧‧‧指令
905a‧‧‧資料
905b‧‧‧資料
907‧‧‧匯流排系統
909a‧‧‧天線
909b‧‧‧天線
911‧‧‧傳輸器
913‧‧‧接收器
915‧‧‧收發器
917‧‧‧數位信號處理器(DSP)
919‧‧‧通信介面
921‧‧‧處理器
圖1為說明電子器件之一個實例的方塊圖,其中可實施在視覺慣性量距(VIO)中使用全球定位系統(GPS)的系統與方法; 圖2為說明用於在VIO中使用GPS速度之方法之一個組態的流程圖; 圖3為說明在VIO中使用GPS速度之定位模組之一個實例的方塊圖; 圖4為說明VIO模組之一個實例的方塊圖; 圖5為說明用於判定絕對位置之方法之一個實例的流程圖; 圖6為說明利用VIO系統之測試駕駛軌跡之實例的圖式; 圖7為說明利用VIO系統之測試駕駛軌跡之其他實例的圖式; 圖8為說明GPS速度輔助之實例的圖式;且 圖9說明可包括於經組態以實施本文中所揭示之系統及方法的各種組態的電子器件內的某些組件。

Claims (30)

  1. 一種藉由一電子器件執行的方法,其包含: 使用一攝影機及一慣性量測單元(IMU)判定對應於一第一時期的與地球有關之一預測速度; 使用一全球定位系統(GPS)接收器判定與地球有關之一GPS速度; 判定該預測速度與該GPS速度之間的一差分向量; 優化與該差分向量成比例的IMU量測之一偏置估計及一比例因數估計; 基於該差分向量優化該攝影機與該IMU之間的一未對準估計;及 基於該優化偏置估計、該優化比例因數估計及該優化未對準估計提供姿態資訊。
  2. 如請求項1之方法,其進一步包含基於該優化偏置估計、該優化比例因數估計及該優化未對準估計,使用該攝影機及該IMU判定對應於一第二時期的一第二預測速度。
  3. 如請求項1之方法,其中該未對準估計包含一轉譯移位估計及一旋轉移位估計。
  4. 如請求項1之方法,其進一步包含: 獲得指示該GPS速度中之一不確定性的一誤差度量;及 基於該誤差度量在一卡爾曼濾波器中加權該GPS速度。
  5. 如請求項1之方法,其中一預測速度誤差係基於該GPS速度進行定界。
  6. 如請求項1之方法,其中該GPS速度用以減少視覺慣性量距(VIO)偏移。
  7. 如請求項1之方法,其進一步包含基於一組差分向量中之至少一者拒絕一組GPS速度中之至少一者。
  8. 如請求項1之方法,其進一步包含基於一誤差度量拒絕一組GPS速度中之至少一者。
  9. 如請求項1之方法,其中該姿態資訊包含一6自由度(DOF)攝影機姿態。
  10. 如請求項1之方法,其中一車輛包含該電子器件。
  11. 一種電子器件,其包含: 一記憶體; 一處理器,其耦接至該記憶體,其中該處理器經組態以: 使用一攝影機及一慣性量測單元(IMU)判定對應於一第一時期的與地球有關之一預測速度; 使用一全球定位系統(GPS)接收器判定與地球有關之一GPS速度; 判定該預測速度與該GPS速度之間的一差分向量; 優化與該差分向量成比例的IMU量測之一偏置估計及一比例因數估計; 基於該差分向量優化該攝影機與該IMU之間的一未對準估計;及 基於該優化偏置估計、該優化比例因數估計及該優化未對準估計提供姿態資訊。
  12. 如請求項11之電子器件,其中該處理器經組態以基於該優化偏置估計、該優化比例因數估計及該優化未對準估計,使用該攝影機及該IMU判定對應於一第二時期的一第二預測速度。
  13. 如請求項11之電子器件,其中該未對準估計包含一轉譯移位估計及一旋轉移位估計。
  14. 如請求項11之電子器件,其中該處理器經組態以: 獲得指示該GPS速度中之一不確定性的一誤差度量;及 基於該誤差度量在一卡爾曼濾波器中加權該GPS速度。
  15. 如請求項11之電子器件,其中該處理器經組態以基於該GPS速度定界一預測速度誤差。
  16. 如請求項11之電子器件,其中該處理器經組態以使用該GPS速度減少視覺慣性量距(VIO)偏移。
  17. 如請求項11之電子器件,其中該處理器經組態以基於一組差分向量中之至少一者拒絕一組GPS速度中之至少一者。
  18. 如請求項11之電子器件,其中該處理器經組態以基於一誤差度量拒絕一組GPS速度中之至少一者。
  19. 如請求項11之電子器件,其中該姿態資訊包含一6自由度(DOF)攝影機姿態。
  20. 如請求項11之電子器件,其中一車輛包含該電子器件。
  21. 一種儲存電腦可執行程式碼之非暫時性有形電腦可讀媒體,其包含: 用於使得一電子器件使用一攝影機及一慣性量測單元(IMU)判定對應於一第一時期的與地球有關之一預測速度的程式碼; 用於使得該電子器件使用一全球定位系統(GPS)接收器判定與地球有關之一GPS速度的程式碼; 用於使得該電子器件判定該預測速度與該GPS速度之間的一差分向量的程式碼; 用於使得該電子器件優化與該差分向量成比例的IMU量測之一偏置估計及一比例因數估計的程式碼; 用於使得該電子器件基於該差分向量優化該攝影機與該IMU之間的一未對準估計的程式碼;及 用於使得該電子器件基於該優化偏置估計、該優化比例因數估計及該優化未對準估計提供姿態資訊的程式碼。
  22. 如請求項21之電腦可讀媒體,其進一步包含用於使得該電子器件基於該優化偏置估計、該優化比例因數估計及該優化未對準估計,使用該攝影機及該IMU判定對應於一第二時期的一第二預測速度的程式碼。
  23. 如請求項21之電腦可讀媒體,其進一步包含: 用於使得該電子器件獲得指示該GPS速度中之一不確定性的一誤差度量的程式碼;及 用於使得該電子器件基於該誤差度量在一卡爾曼濾波器中加權該GPS速度的程式碼。
  24. 如請求項21之電腦可讀媒體,其進一步包含用於使得該電子器件基於一組差分向量中之至少一者拒絕一組GPS速度中之至少一者的程式碼。
  25. 如請求項21之電腦可讀媒體,其進一步包含用於使得該電子器件基於一誤差度量拒絕一組GPS速度中之至少一者的程式碼。
  26. 一種裝置,其包含: 用於使用一攝影機及一慣性量測單元(IMU)判定對應於一第一時期的與地球有關之一預測速度的構件; 用於判定與地球有關之一GPS速度的構件; 用於判定該預測速度與該GPS速度之間的一差分向量的構件; 用於優化與該差分向量成比例的IMU量測之一偏置估計及一比例因數估計的構件; 用於基於該差分向量優化該攝影機與該IMU之間的一未對準估計的構件;及 用於基於該優化偏置估計、該優化比例因數估計及該優化未對準估計提供姿態資訊的構件。
  27. 如請求項26之裝置,其進一步包含用於基於該優化偏置估計、該優化比例因數估計及該優化未對準估計,使用該攝影機及該IMU判定對應於一第二時期的一第二預測速度的構件。
  28. 如請求項26之裝置,其進一步包含: 用於獲得指示該GPS速度中之一不確定性的一誤差度量的構件;及 用於基於該誤差度量在一卡爾曼濾波器中加權該GPS速度的構件。
  29. 如請求項26之裝置,其進一步包含用於基於一組差分向量中之至少一者拒絕一組GPS速度中之至少一者的構件。
  30. 如請求項26之裝置,其進一步包含用於基於一誤差度量拒絕一組GPS速度中之至少一者的構件。
TW106137286A 2017-01-04 2017-10-30 於視覺慣性量距中使用全球定位系統速度之系統及方法 TW201829978A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762442388P 2017-01-04 2017-01-04
US62/442,388 2017-01-04
US15/703,483 2017-09-13
US15/703,483 US10371530B2 (en) 2017-01-04 2017-09-13 Systems and methods for using a global positioning system velocity in visual-inertial odometry

Publications (1)

Publication Number Publication Date
TW201829978A true TW201829978A (zh) 2018-08-16

Family

ID=62708920

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106137286A TW201829978A (zh) 2017-01-04 2017-10-30 於視覺慣性量距中使用全球定位系統速度之系統及方法

Country Status (5)

Country Link
US (1) US10371530B2 (zh)
EP (1) EP3566021B1 (zh)
CN (1) CN110100151A (zh)
TW (1) TW201829978A (zh)
WO (1) WO2018128668A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI724686B (zh) * 2019-12-13 2021-04-11 國立成功大學 應用高精地圖之定位定向系統與定位定向方法
TWI764735B (zh) * 2021-05-26 2022-05-11 張量科技股份有限公司 基於四元數卡爾曼濾波器的載體姿態控制系統及其控制方法
TWI862216B (zh) * 2023-10-13 2024-11-11 國立陽明交通大學 基於影像視覺辨識的定位系統、自主移動設備、運動控制系統及定位方法

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977426B2 (en) * 2012-06-04 2015-03-10 Geotab Inc. VIN based accelerometer threshold
US10301925B2 (en) * 2015-03-27 2019-05-28 Vector Magnetics, Llc Tracking system for drilling boreholes
US10324195B2 (en) * 2015-07-27 2019-06-18 Qualcomm Incorporated Visual inertial odometry attitude drift calibration
US10402663B1 (en) 2016-08-29 2019-09-03 Trifo, Inc. Visual-inertial positional awareness for autonomous and non-autonomous mapping
US10390003B1 (en) 2016-08-29 2019-08-20 Perceptln Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
US10395117B1 (en) 2016-08-29 2019-08-27 Trifo, Inc. Visual-inertial positional awareness for autonomous and non-autonomous tracking
US10162362B2 (en) 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
US10453213B2 (en) 2016-08-29 2019-10-22 Trifo, Inc. Mapping optimization in autonomous and non-autonomous platforms
US11314262B2 (en) 2016-08-29 2022-04-26 Trifo, Inc. Autonomous platform guidance systems with task planning and obstacle avoidance
US10849134B2 (en) 2016-11-04 2020-11-24 Qualcomm Incorporated Indicating a range of beam correspondence in a wireless node
US10859713B2 (en) * 2017-01-04 2020-12-08 Qualcomm Incorporated Position-window extension for GNSS and visual-inertial-odometry (VIO) fusion
DE102017108107A1 (de) * 2017-04-13 2018-10-18 Volkswagen Aktiengesellschaft Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur schätzung einer pose eines kraftfahrzeugs
US10444761B2 (en) 2017-06-14 2019-10-15 Trifo, Inc. Monocular modes for autonomous platform guidance systems with auxiliary sensors
CN107478221A (zh) * 2017-08-11 2017-12-15 黄润芳 一种用于移动终端的高精度定位方法
US10437252B1 (en) * 2017-09-08 2019-10-08 Perceptln Shenzhen Limited High-precision multi-layer visual and semantic map for autonomous driving
US10794710B1 (en) 2017-09-08 2020-10-06 Perceptin Shenzhen Limited High-precision multi-layer visual and semantic map by autonomous units
EP3460398A1 (en) * 2017-09-22 2019-03-27 Trimble Inc. Methods, apparatuses, and computer programs for estimating the heading of an axis of a rigid body
US11473911B2 (en) * 2017-10-26 2022-10-18 Sony Semiconductor Solutions Corporation Heading determination device and method, rendering device and method
US10473790B2 (en) 2017-11-17 2019-11-12 Swift Navigation, Inc. Systems and methods for distributed dense network processing of satellite positioning data
US10578747B2 (en) 2017-12-14 2020-03-03 Swift Navigation, Inc. Systems and methods for reduced-outlier satellite positioning
US10921142B2 (en) * 2017-12-14 2021-02-16 Waymo Llc Methods and systems for sun-aware vehicle routing
ES2736901A1 (es) 2018-06-29 2020-01-08 Geotab Inc Caracterización de una colisión de vehículo
DE102018123391A1 (de) * 2018-09-24 2020-03-26 HELLA GmbH & Co. KGaA Verfahren für eine Sensoranordnung, Sensoranordnung, Computerprogrammprodukt und computerlesbares Medium
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11086319B2 (en) 2018-11-02 2021-08-10 Aurora Operations, Inc. Generating testing instances for autonomous vehicles
US11163312B2 (en) * 2018-11-02 2021-11-02 Aurora Operations, Inc. Removable automotive LIDAR data collection POD
US11256263B2 (en) 2018-11-02 2022-02-22 Aurora Operations, Inc. Generating targeted training instances for autonomous vehicles
US11209821B2 (en) 2018-11-02 2021-12-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11403492B2 (en) 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles
CN111174777A (zh) 2018-11-09 2020-05-19 阿里巴巴集团控股有限公司 定位方法、装置以及电子设备
CN111656136B (zh) * 2018-11-09 2023-09-29 北京嘀嘀无限科技发展有限公司 使用激光雷达的车辆定位系统
CN111383282B (zh) * 2018-12-29 2023-12-01 杭州海康威视数字技术股份有限公司 位姿信息确定方法及装置
CN111380514A (zh) * 2018-12-29 2020-07-07 深圳市优必选科技有限公司 机器人位姿估计方法、装置、终端及计算机存储介质
US11774983B1 (en) 2019-01-02 2023-10-03 Trifo, Inc. Autonomous platform guidance systems with unknown environment mapping
US11187719B2 (en) * 2019-01-08 2021-11-30 Qualcomm Incorporated In-motion initialization of accelerometer for accurate vehicle positioning
US11004224B2 (en) 2019-01-22 2021-05-11 Velodyne Lidar Usa, Inc. Generation of structured map data from vehicle sensors and camera arrays
CN110058288B (zh) * 2019-04-28 2021-04-06 北京微克智飞科技有限公司 无人机ins/gnss组合导航系统航向误差修正方法及系统
US11747142B2 (en) 2019-04-30 2023-09-05 Stmicroelectronics, Inc. Inertial navigation system capable of dead reckoning in vehicles
US11199410B2 (en) 2019-04-30 2021-12-14 Stmicroelectronics, Inc. Dead reckoning by determining misalignment angle between movement direction and sensor heading direction
KR20210152549A (ko) 2019-05-01 2021-12-15 스위프트 내비게이션, 인크. 고-무결성 위성 포지셔닝을 위한 시스템 및 방법
JP7251310B2 (ja) * 2019-05-22 2023-04-04 株式会社Jvcケンウッド カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム
US10832417B1 (en) * 2019-06-04 2020-11-10 International Business Machines Corporation Fusion of visual-inertial-odometry and object tracker for physically anchored augmented reality
CN110375738B (zh) * 2019-06-21 2023-03-14 西安电子科技大学 一种融合惯性测量单元的单目同步定位与建图位姿解算方法
WO2020264528A1 (en) * 2019-06-27 2020-12-30 DeepMap Inc. Calibration of inertial measurement units of vehicles using localization
US11527012B2 (en) * 2019-07-03 2022-12-13 Ford Global Technologies, Llc Vehicle pose determination
WO2021006134A1 (ja) * 2019-07-08 2021-01-14 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよびカメラモジュール
JP7539459B2 (ja) * 2019-08-01 2024-08-28 ストーンリッジ エレクトロニクス アーベー ミラー置換システムのためのカメラ画像及びセンサ融合
US11131776B2 (en) * 2019-08-19 2021-09-28 Gm Global Technology Operations, Llc Method and apparatus for Kalman filter parameter selection using map data
WO2021045536A1 (en) 2019-09-04 2021-03-11 Wilus Institute Of Standards And Technology Inc. Video encoding and decoding acceleration utilizing imu sensor data for cloud virtual reality
US10762650B1 (en) * 2019-09-13 2020-09-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for estimating depth using a monocular camera
CN110568860A (zh) * 2019-09-17 2019-12-13 深圳市道通智能航空技术有限公司 一种无人飞行器的返航方法、装置及无人飞行器
US12174305B2 (en) * 2019-09-19 2024-12-24 Nippon Telegraph And Telephone Corporation Position measurement system, positioning calculation apparatus, position measurement method and program
CN110717927A (zh) * 2019-10-10 2020-01-21 桂林电子科技大学 基于深度学习和视惯融合的室内机器人运动估计方法
US11656081B2 (en) 2019-10-18 2023-05-23 Anello Photonics, Inc. Integrated photonics optical gyroscopes optimized for autonomous terrestrial and aerial vehicles
KR20210057393A (ko) * 2019-11-12 2021-05-21 삼성전자주식회사 정밀 항법 장치 및 그 장치의 동작 방법
WO2021105218A1 (en) 2019-11-27 2021-06-03 Continental Automotive Gmbh Method for generating 3d reference points in a map of a scene
US10914588B1 (en) * 2019-12-06 2021-02-09 Toyota Research Institute, Inc. Pulse per second signal generation using a fiber optic gyroscope
CN111181711B (zh) * 2020-01-03 2022-06-28 小狗电器互联网科技(北京)股份有限公司 信号同步采样的方法及系统、存储介质及应用设备
CN113218407B (zh) * 2020-01-21 2024-04-12 北京初速度科技有限公司 一种基于vio和卫星导航系统融合的地图生成方法及装置
EP4094043A4 (en) * 2020-01-22 2023-10-18 Robert Bosch GmbH METHOD AND APPARATUS FOR ESTIMATING SYSTEM STATE
EP4103973A4 (en) * 2020-02-14 2024-06-05 Swift Navigation, Inc. SYSTEM AND METHOD FOR RECONVERGENCE OF GNSS POSITION ESTIMATES
US20230152091A1 (en) * 2020-04-20 2023-05-18 Kanagat Samarovich ASHIRBEKOV Method and device for carrying out mine surveying operations
US11662472B2 (en) 2020-04-20 2023-05-30 Honeywell International Inc. Integrity monitoring of odometry measurements within a navigation system
US11782451B1 (en) 2020-04-21 2023-10-10 Aurora Operations, Inc. Training machine learning model for controlling autonomous vehicle
CN116075747A (zh) 2020-06-09 2023-05-05 斯威夫特导航股份有限公司 用于卫星定位的系统和方法
CN111950370B (zh) * 2020-07-10 2022-08-26 重庆邮电大学 动态环境下线拓展视觉里程计方法
WO2022015744A1 (en) 2020-07-13 2022-01-20 Swift Navigation, Inc. System and method for determining gnss positioning corrections
US11624838B2 (en) 2020-07-17 2023-04-11 Swift Navigation, Inc. System and method for providing GNSS corrections
CN111750855B (zh) * 2020-08-03 2022-02-15 长安大学 一种视觉主导的自主作业智能振动压路机
CN112129287B (zh) * 2020-09-24 2022-06-10 北京华捷艾米科技有限公司 一种基于视觉惯性里程计处理的方法和相关装置
US12181604B2 (en) * 2020-11-10 2024-12-31 Deere & Company Work vehicle perception systems and rear modules
US12015836B2 (en) 2020-11-10 2024-06-18 Deere & Company Work vehicle perception systems and front modules
CN112484725B (zh) * 2020-11-23 2023-03-21 吉林大学 一种基于多传感器融合的智能汽车高精度定位与时空态势安全方法
CN112556692B (zh) * 2020-11-27 2023-01-31 绍兴市北大信息技术科创中心 一种基于注意力机制的视觉和惯性里程计方法和系统
CN114579679B (zh) * 2020-12-01 2024-12-03 中移(成都)信息通信科技有限公司 空间定位数据融合方法、系统、设备及计算机存储介质
CN112683305B (zh) * 2020-12-02 2022-03-04 中国人民解放军国防科技大学 一种基于点线特征的视觉-惯性里程计状态估计方法
EP4222609A4 (en) * 2020-12-17 2025-02-05 Swift Navigation, Inc. SYSTEM AND METHOD FOR MERGING DUE DOWNHAND NAVIGATION AND GNSS DATA STREAMS
JP7604906B2 (ja) * 2021-01-21 2024-12-24 日本電気株式会社 ウェアラブルデバイス、ウェアラブルデバイスの制御方法、およびウェアラブルデバイスの制御プログラム
US11941986B2 (en) 2021-02-03 2024-03-26 Geotab Inc. Methods for characterizing a low-impact vehicle collision using high-rate acceleration data
US11884285B2 (en) 2021-02-03 2024-01-30 Geotab Inc. Systems for characterizing a vehicle collision
US11862022B2 (en) 2021-02-03 2024-01-02 Geotab Inc. Methods for characterizing a vehicle collision
US12061122B2 (en) * 2021-02-12 2024-08-13 Qian Chen Method and system utilizing absolute velocity to improve the performance of electromagnetic devices
EP4050459A1 (en) * 2021-02-24 2022-08-31 V-Labs SA Calibration of a display device
US11977150B2 (en) * 2021-03-05 2024-05-07 Black Sesame Technologies Inc. Vehicle localization precision enhancement via multi-sensor fusion
CN113158459B (zh) * 2021-04-20 2025-03-28 浙江工业大学 一种基于视觉和惯性信息融合的人体姿态估计方法
US11756227B2 (en) * 2021-05-04 2023-09-12 Qualcomm Incorporated Pose correction for digital content
EP4088882A1 (en) * 2021-05-10 2022-11-16 Hilti Aktiengesellschaft Method of manipulating a construction object, construction robot system, and computer program product
US11624840B2 (en) * 2021-06-30 2023-04-11 Guangzhou Xiaopeng Autopilot Technology Co., Ltd. System and method for global navigation satellite system (GNSS) outlier detection and rejection and application of same
CN113434427A (zh) * 2021-07-06 2021-09-24 和芯星通科技(北京)有限公司 一种实现测试验证的方法、装置、计算机存储介质及终端
NL2028779B1 (en) * 2021-07-19 2023-01-25 Cyclomedia Tech B V Triggering system
US20230035856A1 (en) * 2021-07-20 2023-02-02 Cambridge Mobile Telematics Inc. Identifying unreliable global navigation satellite system (gnss) data
WO2023009463A1 (en) 2021-07-24 2023-02-02 Swift Navigation, Inc. System and method for computing positioning protection levels
KR102860889B1 (ko) 2021-07-29 2025-09-18 삼성전자주식회사 포즈를 추정하는 방법 및 장치
US11693120B2 (en) 2021-08-09 2023-07-04 Swift Navigation, Inc. System and method for providing GNSS corrections
CN113916261B (zh) * 2021-10-09 2023-06-27 上海交通大学 基于惯性导航优化对准的姿态误差评估方法
CN114034316A (zh) * 2021-10-29 2022-02-11 上海智能网联汽车技术中心有限公司 一种路侧系统的定位性能评估方法及系统
WO2023101662A1 (en) * 2021-11-30 2023-06-08 Innopeak Technology, Inc. Methods and systems for implementing visual-inertial odometry based on parallel simd processing
DE102021132721A1 (de) 2021-12-10 2023-06-15 Valeo Schalter Und Sensoren Gmbh Referenzsensorsystem basierend auf Referenzgerät, insbesondere einem Mobiltelefon
EP4445182A4 (en) 2021-12-10 2025-12-24 Swift Navigation Inc SYSTEM AND METHOD FOR CORRECTING SATELLITE OBSERVATIONS
US12165446B1 (en) * 2021-12-14 2024-12-10 Zoox, Inc. Error estimation systems and methods
CN116295326B (zh) * 2021-12-20 2025-09-16 成都圭目机器人有限公司 位置确定方法、装置、系统、计算机设备和存储介质
CN114396943B (zh) * 2022-01-12 2024-07-23 国家电网有限公司 一种融合定位方法与终端
CN114494435B (zh) * 2022-01-25 2025-03-07 清华大学 视觉与高精地图匹配定位的快速优化方法、系统及介质
US11860287B2 (en) 2022-03-01 2024-01-02 Swift Navigation, Inc. System and method for detecting outliers in GNSS observations
WO2023167899A1 (en) * 2022-03-01 2023-09-07 Swift Navigation, Inc. System and method for fusing sensor and satellite measurements for positioning determination
US12481074B2 (en) * 2022-03-18 2025-11-25 Skydio, Inc. Motion-based calibration of an aerial device
CN116929407A (zh) * 2022-04-02 2023-10-24 北京三快在线科技有限公司 一种自适应数据校准方法及装置
CN114637036B (zh) * 2022-05-18 2022-08-19 深圳华大北斗科技股份有限公司 非完整性约束自适应量测噪声方法
CN115371673A (zh) * 2022-07-14 2022-11-22 北京理工大学 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法
CN119563123A (zh) * 2022-07-15 2025-03-04 焦点定位有限公司 用于执行运动补偿信号处理的方法和装置
CN117629204A (zh) * 2022-08-16 2024-03-01 北京三快在线科技有限公司 定位方法和设备
WO2024050094A1 (en) 2022-09-01 2024-03-07 Swift Navigation, Inc. System and method for determining gnss corrections
WO2024058999A1 (en) 2022-09-12 2024-03-21 Swift Navigation, Inc. System and method for gnss correction transmission
US12498493B2 (en) 2022-10-21 2025-12-16 Swift Navigation, Inc. System and method for distributed integrity monitoring
US11847259B1 (en) * 2022-11-23 2023-12-19 Google Llc Map-aided inertial odometry with neural network for augmented reality devices
CN116124095B (zh) * 2022-12-31 2025-06-17 武汉中海庭数据技术有限公司 一种基于非线性优化的匹配误差修正方法和系统
CN116255974B (zh) * 2023-01-10 2025-10-31 山东浪潮科学研究院有限公司 一种基于TinyML的园区内可移动设备定位装置
US20240430574A1 (en) * 2023-06-20 2024-12-26 Rivian Ip Holdings, Llc Vehicle camera system
CN116664698B (zh) * 2023-07-25 2023-12-22 江苏集萃清联智控科技有限公司 车载双目相机与gnss/imu的自动标定方法
US20250078318A1 (en) * 2023-09-01 2025-03-06 Here Global B.V. Method, apparatus, and computer program product for calibration of camera to vehicle alignment
CN117128951B (zh) * 2023-10-27 2024-02-02 中国科学院国家授时中心 适用于自动驾驶农机的多传感器融合导航定位系统及方法
CN117939295A (zh) * 2023-12-07 2024-04-26 圆周率科技(常州)有限公司 图像处理方法、装置及拍摄设备
WO2025166446A1 (en) 2024-02-09 2025-08-14 Geotab Inc. Systems and methods for detecting vehicle collisions

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020158796A1 (en) * 2001-04-25 2002-10-31 Ian Humphrey Integrated GPS and IGS system and method
US9031782B1 (en) 2012-01-23 2015-05-12 The United States Of America As Represented By The Secretary Of The Navy System to use digital cameras and other sensors in navigation
CN103424114B (zh) * 2012-05-22 2016-01-20 同济大学 一种视觉导航/惯性导航的全组合方法
US9243916B2 (en) 2013-02-21 2016-01-26 Regents Of The University Of Minnesota Observability-constrained vision-aided inertial navigation
US20140341465A1 (en) 2013-05-16 2014-11-20 The Regents Of The University Of California Real-time pose estimation system using inertial and feature measurements
US20150092048A1 (en) * 2013-09-27 2015-04-02 Qualcomm Incorporated Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation
US20150219767A1 (en) * 2014-02-03 2015-08-06 Board Of Regents, The University Of Texas System System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates
WO2015168451A1 (en) * 2014-05-02 2015-11-05 Trimble Navigation Limited Locally measured movement smoothing of gnss position fixes
US9645250B2 (en) * 2015-04-07 2017-05-09 GM Global Technology Operations LLC Fail operational vehicle speed estimation through data fusion of 6-DOF IMU, GPS, and radar
US10324195B2 (en) 2015-07-27 2019-06-18 Qualcomm Incorporated Visual inertial odometry attitude drift calibration

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI724686B (zh) * 2019-12-13 2021-04-11 國立成功大學 應用高精地圖之定位定向系統與定位定向方法
TWI764735B (zh) * 2021-05-26 2022-05-11 張量科技股份有限公司 基於四元數卡爾曼濾波器的載體姿態控制系統及其控制方法
TWI862216B (zh) * 2023-10-13 2024-11-11 國立陽明交通大學 基於影像視覺辨識的定位系統、自主移動設備、運動控制系統及定位方法

Also Published As

Publication number Publication date
US10371530B2 (en) 2019-08-06
CN110100151A (zh) 2019-08-06
US20180188032A1 (en) 2018-07-05
WO2018128668A1 (en) 2018-07-12
EP3566021A1 (en) 2019-11-13
EP3566021B1 (en) 2021-03-17

Similar Documents

Publication Publication Date Title
EP3566021B1 (en) Systems and methods for using a global positioning system velocity in visual-inertial odometry
US10267924B2 (en) Systems and methods for using a sliding window of global positioning epochs in visual-inertial odometry
CN109099912B (zh) 室外精确定位导航方法、装置、电子设备及存储介质
US11875519B2 (en) Method and system for positioning using optical sensor and motion sensors
US11714161B2 (en) Distance-based positioning system and method using high-speed and low-speed wireless signals
US20190033867A1 (en) Systems and methods for determining a vehicle position
EP3430419B1 (en) Estimating locations of mobile devices in a wireless tracking system
CN111854740B (zh) 能够在交通工具中进行航位推算的惯性导航系统
US20200217972A1 (en) Vehicle pose estimation and pose error correction
JP2018526626A (ja) 視覚慣性オドメトリ姿勢ドリフト較正
US10228252B2 (en) Method and apparatus for using multiple filters for enhanced portable navigation
CN114646993A (zh) 一种基于gnss、视觉以及imu进行精确定位的数据融合算法
JP2022545327A (ja) 反射したgnss信号に対する感度を高めること
KR101764222B1 (ko) 고정밀 측위 시스템 및 방법
JP2021143861A (ja) 情報処理装置、情報処理方法及び情報処理システム
US20230115602A1 (en) Methods and Systems for Determining a Position and an Acceleration of a Vehicle
CN116625359A (zh) 一种自适应融合单频rtk的视觉惯性定位方法和设备
US20230266483A1 (en) Information processing device, information processing method, and program
WO2025207878A1 (en) Method and system for map building using perception and motion sensors
Tenny et al. TEXR: The University of Texas Extended Reality Headset Tracking Dataset
EP4196747A1 (en) Method and system for positioning using optical sensor and motion sensors
HK40009591A (zh) 联合定位