[go: up one dir, main page]

TW202204930A - 視覺優先光達系統 - Google Patents

視覺優先光達系統 Download PDF

Info

Publication number
TW202204930A
TW202204930A TW110122168A TW110122168A TW202204930A TW 202204930 A TW202204930 A TW 202204930A TW 110122168 A TW110122168 A TW 110122168A TW 110122168 A TW110122168 A TW 110122168A TW 202204930 A TW202204930 A TW 202204930A
Authority
TW
Taiwan
Prior art keywords
target object
image
tracking
distance
vision
Prior art date
Application number
TW110122168A
Other languages
English (en)
Other versions
TWI799894B (zh
Inventor
金相平
趙成尹
李在榮
Original Assignee
葵欣實驗室股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 葵欣實驗室股份有限公司 filed Critical 葵欣實驗室股份有限公司
Publication of TW202204930A publication Critical patent/TW202204930A/zh
Application granted granted Critical
Publication of TWI799894B publication Critical patent/TWI799894B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/105—Scanning systems with one or more pivoting mirrors or galvano-mirrors

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

視覺優先光達系統捕獲之影像包含目標物體，並使用此影像決定此目標物體之預測位置。基於此預測位置，視覺優先光達系統導引追蹤光束至目標物體上，及偵測一部分反射自目標物體之光束。此視覺優先光達系統包含影像感測器捕捉影像，以預測目標物體位置，及距離感測器使用追蹤光束，以決定目標物體距離。

Description

視覺優先光達系統
本發明涉及一種光達系統(LIDAR；light detection and ranging system)，更特別是一種視覺優先光達系統(Vision First light detection and ranging system)。
本發明揭露關於一種視覺優先光達系統，以追蹤一目標物體，並決定與此目標物體的距離。
在傳統測量目標物體距離之方法中，採用光達系統及飛時系統(ToF；time of flight)，產生深度地圖。這些量測採用光柵掃描或是全視野(field of view)照射，以產生區域之完整深度地圖，並自深度地圖決定目標物體距離。此傳統方法必須在速度、解析度、消耗功率及運算間折衝。
有關於視覺優先光達系統實施例，其追蹤目標物體，使用捕獲之目標物體影像，並使用追蹤光束決定目標物體之距離，當其沿著軌跡移動。此視覺優先光達系統使用可移動中可追蹤目標物體之光束，用於捕獲目標物體聚焦且中心影像，此視覺優先光達系統包含影像感測器，以偵測及追蹤目標物體，及距離感測器，包含追蹤光發射器及光感應器，用以量測目標物體相對於追蹤系統之距離。
視覺優先光達系統實施例，影像感測器捕獲目標物體影像，並自影像確認目標物體之畫素位置，自影像中確認目標物體後，光束掃描器沿著移動，基於影像中目標物體之畫素位置，以追蹤目標物體之預測位置。以光束掃 描器將距離感測器之追蹤光束導向預測位置，使得距離感測得以持續決定目標物體距離，即使此目標物體是在移動中。在一或多個實施例中，此視覺優先光達系統的光束掃描器是二維檢流計反射鏡(galvanometer mirror)或是二維微機電系統反射鏡(microelectromechanical system(MEMS)mirror)。自追蹤光束從目標物體反射後，藉由距離感測器偵測一部分追蹤光束決定目標物體距離。
在一或多個實施例中，此視覺優先光達系統包含光學組件，其位於影像感測器與目標物體之光路徑上。此光學組件得用於調整影像感測器之視野以捕捉影像，此光學組件可以導引光束至目標物體，及導引部分反射自目標物體之光束到距離感測器。
在一或多個實施例中，此視覺優先光達系統包含第一分光器及第二分光器，當一部分追蹤光束自移動中物體反射後，追蹤光束穿透該第一分光器，且被第二分光器反射到距離感測器。
在一或多個實施例中，此視覺優先光達系統之距離感測器發射其他追蹤光束以追蹤其他目標物體，此距離感測器基於追蹤光速發射時間與一部分追蹤光速被偵測時間之時間差，以偵測其他目標物體之距離。
100A:視覺優先光達系統
100B:視覺優先光達系統
100C:視覺優先光達系統
110:第一照相機(影像感測器)
115:第二照相機
120:範圍探索器(距離感測器)
122:視覺處理器
124:影像資料
125:束追蹤光束
125A:追蹤光束
125B:反射光束
126:距離訊號
128:控制訊號
130:具極化膜之分光器
135:光束掃描器
140:物標物體
145:光
150:光學組件
160A、160B:控制訊號
160:控制訊號
170A、170B:反射鏡
180:追蹤光束控制處理器
190:光偵測器
200A:視覺優先光達系統
200B:視覺優先光達系統
200C:視覺優先光達系統
205:目標物體
210:光學組件
215:光發射器
220:光束掃描器
225:第一分光器
230:第二分光器
232:極化膜
235:光偵測器
240:影像感測器
245A:追蹤光束
245B:反射追蹤光束
250:光
265:致動器
270:掃描控制訊號
272:致動器控制訊號
274:影像資料
提
276:偵測訊號
280:控制訊號
290:視覺處理器
295:追蹤光束控制處理器
314:追蹤光束
312:目標物體
310:影像
312:目標物體
314:追蹤光束
320:影像
322:追蹤光束
324:目標物體
330:影像
332:第一物體
334:第一追蹤光束
342:第二物體
344:第二追蹤光束
410:影像
420:第一人
430:第二人
440:追蹤光束
450:影像
步驟510:視覺優先光達系統捕捉包含目標物體的影像
步驟520:視覺優先光達系統決定在捕捉影像中一或多對應目標物體之像素
步驟530:視覺優先光達系統基於影像中一或多個像素，產生控制訊號
步驟540:基於控制訊號，視覺優先光達系統，導引追蹤光束到物標物體上
步驟550:視覺優先光達系統偵測反射自目標物體的一部分追蹤光束
步驟560:視覺優先光達系統決定目標物體之距離
600:運算系統
605:介面電路
610:匯流排
615:影像訊號處理器(ISP)
620:記憶體
圖1A顯示本發明光達系統包含照相機之示意圖。
圖1B顯示本發明視覺輔助追蹤優先光達系統包含照相機之示意圖。
圖1C顯示本發明視覺輔助追蹤優先光達系統包含兩照相機之示意圖。
圖2A顯示本發明視覺優先光達系統包含影像感測器之示意圖。
圖2B顯示本發明視覺優先光達系統包含影像感測器之示意圖。
圖2C顯示本發明視覺優先光達系統包含影像感測器之示意圖。
圖3A顯示根據本發明實施例在單一地點以追蹤光束影像捕獲目標物體之示意圖。
圖3B顯示根據本發明實施例在多重地點以追蹤光束影像捕獲目標物體之示意圖。
圖3C顯示根據本發明實施例多目標物體在曝露不同追蹤光束下，捕獲多目標物體之示意圖。
圖4A顯示根據本發明廣視野照相機影像捕獲之示意圖。
圖4B顯示根據本發明窄視野照相機影像捕獲之示意圖。
圖5顯示根據本發明運作視覺優先光達系統之流程圖。
圖6顯示根據本發明運作視覺優先光達系統之功能方塊圖。
圖示僅為說明本發明之目的。
隨之將詳細介紹實施例，其將伴隨圖示加以闡釋，在以下詳細描述中，諸多特定細節為提供各種實施例之完整理解，然而所述實施例得在無須特定細節下實施，其次，已知方法、程序、元件、電路、及網路並未被詳細描述，以避免無謂混淆本發明觀點。
相關視覺優先光達系統實施例，其藉由捕獲環境實際影像，包含 目標物體、確認影像中目標物體位置，及預測目標物體位置，以導引追蹤光束到目標物體，以決定物標物體距離，以利於追蹤目標物體。藉由影像感測器以捕獲影像中確認目標物體之畫素，基於捕獲影像與依據預測，操作光束掃描器，藉由目標物體之移動預測追蹤目標物體。透過光束掃描器投射一或多光束於目標物體上，且藉由距離感測器接收部分反射至目標物體之追蹤光束，以決定目標物體之距離。
圖1A為本發明實施例之視覺優先光達系統100A，包含照相機，此視覺優先光達系統100A藉由分析目標物體被捕獲影像以追蹤物標物體140，並藉由一或多束追蹤光束125決定目標物體140之距離。為此目的，視覺優先光達系統100A在諸多元件間可以包含照相機(在此亦可以稱為影像感測器110)，一範圍探索器(於此亦可以稱為距離感測器120)，具極化膜之分光器130，光束掃描器135，視覺處理器122，光學組件150及追蹤光束控制處理器180。
在一實施例中，照相機110具有全域快門，全域快門在一給定視框內同時曝光影像感測器內所有像素，相較於滾動式快門在一時間內只曝光一行的像素。相較於滾動式快門，全域快門在快速移動目標物體，可以得到較正確結果。在另一實施例，照相機110具有滾動式快門，滾動式快門可以允許照相機110每秒捕獲更多視訊框，相較於全域快門，其可以每秒獲得多於60個視訊框，以抑制移動物體之模糊效應(blurred effect)。
視覺處理器122可以接收影像資料124依據照相機110捕獲之影像，執行影像處理演算法以偵測捕獲影像中之目標物體，以及使用區域演算法區域化目標物體。依據環境與目標之形式，視覺處理器122可以使用例如，一或多種邊緣偵測、深度學習、霍夫變換(Hough Transform)、卡爾曼濾波器(Kalman filter)、空間濾波器(spatial filter)、時間濾波器(temporal filter)以及其他視覺辨識方法，以偵測與定位被捕獲影像中之目標物體。
在某些實施例，當視覺處理器122無法自照相機110之影像資料124確認目標物體140時，光束掃描器135可以執行光柵掃描(raster scanning)模 式直到物體被偵測，在此光柵掃描模式中，光束掃描器135造成照相機110之視野邊到邊、上到下掃描，以捕獲環境中不同區域之影像，直到目標物體在這些影像之一中被偵測。這些在光柵掃描模式下被捕獲影像的影像資料被傳送到視覺處理器124執行物體確認。當影像資料124包含物標物體，視覺處理器122確認影像資料124中之目標物體140，以及依據目標物體確認畫素位置。當偵測及定位來自照相機110之影像資料124中之目標物體140後，視覺處理器122依據畫素位置預測物標物體位置，及傳送控制訊號160A、160B(在此一起統稱為控制訊號160)到光束掃描器135。光束掃描器135配置用以執行追蹤模式，以及跟隨目標物體140之移動，致使目標物體位於照相機110捕獲影像的中間位置，及追蹤光束125被導引到目標物體140之上。在追蹤模式期間，照相機110持續捕捉目標物體之捕獲影像，及追蹤光束125持續被導引到目標物體140，當其移動時。
範圍探索器120使用一或多追蹤光束125A(例如雷射)決定目標物體140之距離，範圍探索器120包含光束發射器用以發射追蹤光束，及一光感應器，用以偵測自目標物體表面反射後之反射光束125B。在某些實施例中，光束發射器可以為雷射二極體，垂直共振腔面射型雷射(VCSEL)，在某些實施例中，光感應器為光二極體或單光子崩潰二極體(single photon avalanche diode；SPAD)。範圍探索器120自追蹤控制處理器180接收控制訊號128，以發射追蹤訊號。範圍探索器120與目標物體140間距離可被確定，例如，藉由偵測發射追蹤光束125A時間與接收反射光束125B時間之間的時間差，在目標物體表面反射後，以範圍探索器120量測，使用已經熟知之傳統方法。在圖1A實施例中，追蹤光束125A與反射光束125B穿過具有極化膜的分光器130，到及自該目標物體140。在決定目標物體距離後，範圍探索器120可以產生距離訊號126，及提供距離訊號126到追蹤光束控制處理器180。
具極化膜的分光器130為光學元件，其組合或分離光145、追蹤光束125A及反射追蹤光束125B。具極化膜的分光器130配置於系統中，使得具極化膜的分光器130位於目標物體140與範圍探索器120間之光路徑中，其與部分目標物體140與照相機110間之光路徑重疊。具極化膜的分光器130可 以使追蹤光束125A與反射光束125B通過，但反射朝向照相機的可見光譜光145。藉由具有光重疊路徑，追蹤光束125A可以被更精確投射在目標物體上。
追蹤光束125A穿透具極化膜的分光器130，藉由光束掃描器135被導向到目標物體140，光束掃描器135包含一或多個反射鏡170A、170B，可基於控制訊號160改變指向。控制訊號160可表現在輸送到光束掃描器135中制動器(actuator)的電壓改變。一或多個反射鏡可包含第一反射鏡170A，具有沿著水平方向旋轉軸，第二反射鏡170B，具有沿著垂直方向旋轉軸。第一反射鏡170A與第二反射鏡170B的組合賦予光束掃描器135兩個自由度，導引追蹤光束125A到任一方向。
光束掃描器135可以準確追蹤目標物體140，因為具有精細角解析度，及快速反應時間，舉例而言，位於光束掃描器135中之反射鏡(例如反射鏡170A、170B)具有0.025度之角解析度，以及100微秒的步反應時間(step response time)。當目標物體移動，光束掃描器135中之反射鏡(例如反射鏡170A、170B)也可以移動，持續自範圍探索器120導引追蹤光束125A到目標物體140，及返回到範圍探索器120。是以範圍探索器120可高精確與準確地偵測到目標物體之距離。
當目標物體140移動，照相機110持續捕捉目標物體140之影像，以基於在影像資料124中目標物體之畫素，再定位及預測目標物體其他位置，特別是，照相機110產生之影像資料124包含代表目標物體14之畫素，這些畫素可以被映射到環境中目標物體140之二維位置，藉由視覺處理器122產生控制訊號160到光束掃描器135，以導引追蹤光束125A到目標物體140上。基於目標物體140位置預測，視覺處理器122產生更新控制訊號160，以調整光束掃描器135之轉向，以導向追蹤光束125A到更新位置的目標物體140上。
追蹤光束125A自物體表面被反射，且被光束掃描器135導引回範圍探索器120以決定距離。以影像而言，光(例如環境光)自目標物體140上反射被導入照相機鏡片。自範圍探索器120導引追蹤光束125A到目標物體，光束 掃描器135也導引反射自目標物體140的光145到照相機110，以捕獲目標物體140的影像，及導引反射的追蹤光速125B到範圍探索器120。因為反射的追蹤光速125B及光145兩者皆被光束掃描器135導向到範圍探索器120與照相機110，追蹤光速125B及光145同步，使得藉由範圍探索器120基於在特定時間的追蹤光束所決定之距離為準確地對應到照相機基於光145所捕捉之影像框。在進入照相機鏡片之前，光145反射自光束掃描器135、具極化膜的分光器130，及穿透光學組件150。
使用光束掃描器135，照相機110可以捕獲目標物體140準確詳細影像而不用移動整個照相機110，當目標物體140移動時。也就是說當目標物體140移動時，照相機110仍然維持在固定位置。基於處理影像資料124所產生之控制訊號160，光束掃描器135依據目標物體140之移動而致動，以導引來自目標物體之反射光進入到照相機110之鏡片。
在進入照相機110的鏡片前，光145先通過光學組件150。光學組件150包含一或多個鏡片，從目標物體140反射的光進入光學組件150到照相機110鏡片。光學組件150包含一或多瞳孔偏移鏡片(pupil shift lens)，一旦照相機110產生影像資料124(包含像素代表目標物體140)，影像資料124被傳送到視覺處理器122以處理影像(例如銳利化、降低雜訊、色彩校正)及移動估算，以預測目標物體140之運動。
圖1B描繪本發明之視覺優先光達系統100B，在一實施例中包含照相機。視覺優先光達系統100B為圖1A視覺優先光達系統100A之變化。在視覺優先光達系統100B中，範圍探索器120可以被光束發射器185及光偵測器180取代。光束發射器185發射追蹤光束125A及光偵測器190偵測反射光束125B，當光自目標物體140反射。在諸多優點中，視覺優先光達系統100B較視覺優先光達系統100A緊湊，因光束發射器185與光偵測器190組合之尺寸小於範圍探索器120之尺寸。
圖1C為依據本發明實施例，視覺優先光達系統100C包含兩個 照相機。視覺優先光達系統100C包含第一照相機110(亦可稱為第一影像感測器110)，第二照相機115(亦可稱為第二影像感測器115)、一範圍探索器120、一光束合成器130、一光束掃描器、一光學組件150、視覺處理器122、分光器165、及追蹤光束控制處理器180。在某些實施中，範圍探索器120可以被光束發射器與光偵測器取代。為免冗談，上述元件已在圖1A中闡述者，不再贅述。
相反地，圖1C之視覺優先光達系統100C中，光束掃描器被配置使得反射自目標物體的光被導向到第一照相機110與第二照相機115兩者。圖1C之視覺優先光達系統100C基於某些理由具有諸多優點，因為藉由操作光束掃描器，第一照相機110與第二照相機115之FOV可被同步校正。
分光器130被範圍探索器120發射之追蹤光束125A所穿透，光束掃描器135將光145自目標物體140導向到具有極化膜的分光器130，隨之光145被具有極化膜的分光器130反射，但反射光為可見光頻譜(也就是光145)，朝向第一照相機110與第二照相機115。光145穿透位於光合成器130與第一照相機110與第二照相機115間之光學組件150。光學組件150中之鏡片及其他組件可被選擇，且被安排得以提供所欲之FOV於第一照相機110與第二照相機115。
分光器165將光145分成第一部份光145A及第二部分光145B，以分別被第一照相機110與第二照相機所捕獲。如圖1C所示，第一照相機110與第二照相機115可以轉向不同方向。第一部份光145A被導向第一照相機110及第二部分光145B被導向第二照相機。第一相機110可被用來捕獲較窄視野以利得到較細目標物體140之影像，而第二相機115可被用來捕獲較廣視野以利偵測目標物體140。第一相機110所捕獲之影像資料224與第二相機115所捕獲之影像資料118被傳送到視覺處理器122做影像處理。
在某些實施例中，視覺優先光達系統可包含其他範圍探索器(未顯示)，例如，其可以為短距離(例如100碼)第一範圍探索器，中距離(例如介於100到1000碼間)第二範圍探索器，以及長距離(例如大於1000碼)第三範圍探索 器。具有複數範圍探索器，本視覺優先光達系統(例如視覺優先光達系統100A或視覺優先光達系統100B)在同一時間下可以追蹤超過一個物體。例如，在棒球比賽中，不同之範圍探索器可以被用來同時追蹤棒球、每一在場球員、投手手臂、以及其他目標物體的運動，在使用相同之視覺優先光達系統下。因為光束掃描器在一短時間內，可以掃描廣範圍角度，複數範圍探索器可發射追蹤光束，及單一光束掃描器，可被用來導引追蹤光束，自複數範圍探索器到不同物體，以決定不同物體位置。此視覺優先光達系統也可以包含額外的照相機，用以即刻捕捉不同物體之影像。在其他實施例中，同一範圍探索器可發射追蹤光束陣列，以投射在不同物體上，以得到不同物體之距離。此範圍探索器在此實施例下包含追蹤光束源，以發射不同角度的追蹤光束，或是在範圍探索器中包含個別之光束掃描器，致使相同之追蹤光束在不同時間被傳輸到不同物體。
在某些實施例，範圍探索器120可以傳送追蹤光束到一目標區域的複數點，以使用相同追蹤光束決定在此目標範圍內之複數物體距離。為達到此目的，光束掃描器135或分離之機制可被用來導引追蹤光束到複數點。此追蹤光束擴散到複數點可在照相機(例如110或115)的一視框時間內發生，以致於照相機可追蹤主要目標，同時感測在主要物體上或周遭複數點的距離(例如在一或多照相機視界(viewing area)內)。
在諸多優點中，圖1A-1C具有以下優點：(1)相較於傳統系統，採用更少元件捕捉高速運動物體影像(例如，同一光束掃描器具有多重目的，如追蹤目標物體及將光自場景導向照相機，以利於捕捉目標物體影像)，(2)使追蹤光束具有精細標的解析度，及快速反應時間以偵測距離，因追蹤光束可藉由光束掃描器適當且準確地被導向到目標物體，(3)避免在照相機中使用複雜且成本高的高性能鏡片組合，因為光束掃描器得以提供所欲之照相機FOV。
圖2A所示為視覺優先光達系統200A，在一實施例中，其包含影像感測器。視覺優先光達系統200A包含諸多元件在其中，可以包含光學組件210、光發射器215、光束掃描器220、具有極化膜之第一分光器225、第二分光器230、光偵測器235、影像感測器240、致動器265、視覺處理器290以及追 蹤光束控制處理器295。相較於圖1A-1C的實施例，視覺優先光達系統200A得以使用相同之光學組件，且移除或減少使用範圍探索器和照相機相關之元件。而上述相同之光學組件得以被用來調整到影像感測器焦距，也可控制與捕獲發射自光束發射器215之追蹤光束。為免贅述，與圖1A-1C中相同的元件之說明則省略之。
圖2A中，影像感測器240為一種硬體，可以透過光學組件210、具有極化膜之第一分光器225、及第二分光器230接收代表目標物體205的光250。影像感測器240產生代表在其FOV中場景影像資料240。影像感測器240產生之影像資料274提供到視覺處理器290，視覺處理器290以位置演算法處理演算，以偵測在捕獲影像中之目標物體205，當自影像資料274確認與定位目標物體205後，視覺處理器290可以與追蹤光束控制處理器295溝通，追蹤光束控制處理器295產生及提供光束掃描控制訊號到光束掃描器220，及控制訊號280到光發射器215。視覺處理器290也可產生致動器控制訊號272到致動器265，以操作光學組件210。
光學組件210為光學元件的組合，得以調整影像感測器240之FOV，及導引一或多追蹤光束245A到目標物體204上。為達此目的，光學組件210包含一或多光學元件例如鏡片、過濾片、反射鏡及極化片，以改變例如焦點與穿透光學組件210的光特性。至少這些光學元件的某些部份可透過致動器165調整，致動器265接收來自視覺處理器290之致動器控制訊號272。藉由操作致動器265，可調整影像感測器240的FOV，以捕獲在環境中不同區域之影像。致動器265可能為一馬達，用以調整影像感測器240的焦距，導引光學組件以形成旋轉運動，接收來自環境中不同部分的光。視覺處理器265可以產生致動控制訊號272，以控制致動器265運作。在其他實施例中，光學組件可以是靜態組件，且視覺優先光達系統200可以不包含致動器265。
在光250穿透光學組件後，光250穿透具有極化膜的第一分光器225，及第二分光器230。具有極化膜的第一分光器225及第二分光器230傳遞一部份入射光到影像感測器240，同時反射入射光的另一部分到光偵測器235。
當光250到達影像感測器後，影像感測器240捕獲目標物體影像，產生影像資料274提供到視覺處理器290。視覺處理器290接收影像資料274及確認影像中的目標物體140，以定目標物體205在影像中位置及預測目標物體205之後的位置，基於影像資料274中目標物體205的像素，以產生掃描控制訊號270及致動控制訊號272。使用此掃描控制訊號270及致動控制訊號272，視覺處理器290導引一或多追蹤光束245A到目標物體205。換言之，視覺處理器290自影像資料中分析畫素位置，以決定目標物體205的二維位置，及使用追蹤光束245A以決定到目標物體205之距離。
光發射器215與光偵測器235結合相當於距離感測器，以決定一或多個目標物體距離。光發射器215發射一或多追蹤光束(例如雷射光束)245A，藉由光束掃描器220與光學組件210，其被導引到目標物體205上。在一實施例中，光發射器215發射單一追蹤光束245A，藉由光束掃描器220將其投射在目標物體205上形成單一光點。反應在影像資料274中確認的目標物體205的像素位置，光束掃描器220包含一或多個反射鏡，基於來自視覺處理器290的掃瞄控制訊號270，用以導引追蹤光束245A。在一實施例中，單一追蹤光束245A藉由控制光束掃描器220可在目標物體上被投射成多光點或點雲，以導引追蹤光束245A至目標物體205不同位置，或在影像感測240的FOV內的不同物體。此類多光點或點雲的投射可在影像感測器的單一視框捕獲期間內發生。在另一實施例中，光發射器215可包含諸多光源以發射多追蹤光束245A，藉由不同的光路徑到達影像感測器240 FOV內的一或多物體上，例如，柵狀圖案。此柵狀追蹤光束為一種充足解決方案，光束掃描器220可以被省略。光發射器215的體現可以例如為垂直共振腔面射型雷射(VCSEL：Vertical Cavity Surface Emitting Laser)，其可以同步發射多重追蹤光束。
致動光束掃描器220以一方向導引追蹤光束245A對應到目標物體205所被預測位置後，追蹤光束245A被導向到第一分光器225。第一分光器225反射追蹤光束245A朝向光學組件210，及追蹤光束245A在被目標物體205反射前穿透光學組件210。在某些實施例中，視覺處理器290可提供致動控制訊 號272到致動器265，以造成光學組件210將追蹤光束245A正確地配位在目標物體205上。
部分追蹤光線245A被目標物體205反射穿過光學組件210做為被反射追蹤光束245B，且被傳送到第一分光器225及第二分光器230到光偵測器235。光偵測器235偵測被反射追蹤光束245B及產生偵測訊號276，代表此被反射追蹤光束245B被偵測到的時間。藉由確認光發射器215發射一或多偵測光線245A的發射時間，與被反射追蹤光束245B被光偵測器235所偵測時間，則可以確認光偵測器235與物標物體205距離。此偵測訊號276被傳送到光控制處理器295，以決定目標物體距離。
圖2B顯示本發明一實施例之視覺優先光達系統200B，包含影像感測器。視覺優先光達系統200B包含光學組件210、光發射器215、光束掃描器220、第一分光器225、光偵測器235、影像感測器240、致動器265、視覺處理器290，及追蹤光束控制處理器295。在此視覺優先光達系統200B中，只有一分光器(例如，第一分光器225)，相較於實施例之視覺優先光達系統200A，其具有兩個分光器，第一分光器225與第二分光器230。圖2A中，被反射追蹤光束245B在被光偵測器235捕獲前，穿過第一分光器225與第二分光器230。但在圖2B中，在此視覺優先光達系統200B中，光偵測器235直接捕獲反射追蹤光束245B。此外，在圖2B中，配置影像感測器240使得影像感測器240透過光學組件210與第一分光器225接收代表目標物體205的光，
圖2C所示為本發明一實施例之視覺優先光達系統200C，包含影像感測器。圖2C之視覺優先光達系統200C為圖2B視覺優先光達系統200B的一種變化，此視覺優先光達系統200C更包含具有極化膜232的第二分光器230。
第二分光器230配置於第一分光器225與光偵測器235間光路徑上，且位於第一分光器225與光發射器215間光路徑上。極化膜232位於反射追蹤光束245B進入第二分光器230的表面上，並過濾反射追蹤光束245B，以 防止其進入光發射器215。在諸多優點中，極化膜232使得光偵測器235對於反射追蹤光束245B的偵測更加精確。
圖3A顯示曝露在追蹤光束314單一位置，捕獲目標物體312影像310實施例，影像310可被影像感測器(例如影像感測器110、影像感測器240)捕獲，且對應影像310之影像資料可被提供到視覺處理器(例如視覺處理器122、290)做分析。視覺處理器使用影像處理演算法偵測在影像310中的目標物體312，及使用位置演算法以定該目標物體312位置。基於影像310中所對應之目標物體312像素位置，視覺處理器預測目標物體312更進一步的位置。視覺處理器可以與追蹤光束控制處理器溝通(例如追蹤光束控制處理器180、295)，視覺處理器可以與/或追蹤光束控制處理器使用由影像310所決定之預測位置，產生控制訊號(例如控制訊號160、掃描控制訊號270、致動控制訊號272、控制訊號128)，以利於導引追蹤光束314到目標物體312上。在一實施例中，影像310、追蹤光束314被導引到目標物體312之中心位置。當目標物體312沿軌跡移動時，影像感測器捕捉新的影像，處理器產生更新控制訊號，使得追蹤光束可以持續正確的導向到312上。
圖3B顯示曝露在追蹤光束322多個位置，捕獲目標物體324影像320實施例，在某些例中，多重光束322可被導引到目標物體324，使得處理器可以決定到目標物體324上不同位置的距離。當目標物體324移動時，使用多重光束322可以使得處理器決定物標物體的外觀及目標物體的方位。
圖3C顯示在多個目標物體，每一曝露在不同的多重追蹤光束下，捕獲目標物體影像330實施例，影像330捕獲第一物體332與第二物體342。處理器可以偵測第一物體332及第二物體342兩者，及基於相對應物體的像素，預測第一物體332及第二物體342的預測位置。第一物體332可以使用第一追蹤光束334追蹤，第二物體342可以使用第二追蹤光束344追蹤。兩追蹤光束334、344可使用同一範圍探索器或光束發射器發射。替代方案為兩追蹤光束334、344為不同範圍探索器或光束發射器發射。當第一物體332及第二物體342移動時，處理器為第一追蹤光束334、第二追蹤光束344更新控制訊號。
圖4A顯示為藉由廣視野照相機取得影像410的一個實施例，此視覺優先光達系統可以為圖1A-1C、2A-2D所討論之視覺優先光達系統，可用來追蹤目標物體或可以整合到移動系統，例如在環境中移動之移動機器人，例如建立與捕獲其環境影像，或是無人機。如上所討論，視覺優先光達系統包含視野照相機(例如影像感測器240)。影像410可捕捉靜態物體，例如建築物、標示、交通號誌、牆、家具、設備、物體，及慢速主體，例如機動車輛、人及動物。
在某些實施例，影像410包含第一人420及第二人430，影像410可被提供到視覺處理器(視覺處理器122、290)分析。視覺處理器執行影像處理，以偵測影像410中之物體，及決定影像410中之目標物體，例如第一人的臉，如圖4A所示。在決定目標物體之後，視覺處理器產生控制訊號(例如控制訊號160、掃描控制訊號270、致動控制訊號272、光束發射控制訊號280)，以導引一或多追蹤光束440到達目標物體上，利於判斷目標物體距離。在圖4A例子中，複數光被導向到臉上不同特徵部位，在一應用中，視覺處理器可以使用多重追蹤光束440為第一人420臉部辨識，以決定臉不同位置的距離。視覺處理器可以同時對準多個目標物體。
圖4B顯示為使用窄視野照相機取得影像410的一實施例，視覺優先光達系統可捕捉廣FOV影像(例如影像410)，以決定目標物體，然後使用窄視野照相機(例如第一照相機110)，捕捉窄FOV影像(例如影像450)，以捕獲廣FOV影像中一部分的較高解析度影像。在圖4B實施例中，影像450為第一人420得臉部特寫影像。因為影像450具有較高解析度，其具有一些細節無法被影像410捕捉。影像450可以被提供到視覺處理器，及視覺處理器可執行進一步之影像處理，以產生控制訊號利於導向一或多追蹤光束440到臉上。視覺處理器可以使用影像410為目標物體的初始偵測，及使用影像450為控制一或多追蹤光束440的微調。
圖5描述視覺優先光達系統操作之流程圖實施例，步驟510，視 覺優先光達系統捕捉包含目標物體的影像，視覺優先光達系統包含具有不同FOV的一或多影像感測器。
視覺優先光達系統決定在捕捉影像中一或多對應目標物體之像素，步驟520。影像處理器在被捕捉影像上執行處理，以偵測及決定被捕捉影像中目標物體位置。基於一或多像素位置，視覺優先光達系統可預測目標物體進一步位置。
步驟530，視覺優先光達系統基於影像中一或多個像素，產生控制訊號。步驟540，基於此控制訊號，視覺優先光達系統，導引追蹤光束到物標物體上，可以使用光束掃描器用來導引追蹤光束。
在導引追蹤光束到目標物體後，步驟550，視覺優先光達系統偵測反射自目標物體的一部分追蹤光束。基於偵測反射追蹤光束，在步驟560中，視覺優先光達系統決定目標物體之距離，距離是基於發射追蹤光束的時間與偵測到反射追光束時間的時間差決定。
因為目標物體在移動，視覺優先光達系統重複預測環境中目標物體之位置及更新控制訊號，以導引追蹤光束持續準確做目標物體距離量測。
圖6所示為操作視覺優先光達系統的運算系統600功能方塊圖的一實施例。為達簡便目的，運算系統600配合圖2A-2C加以說明。然而，運算系統600可配合其他視覺優先光達系統運作，諸如描述在圖1A-1C的實施例。運算系統600包含影像感測器240、介面電路605、匯流排610、影像訊號處理器(ISP)615、記憶體620、視覺處理器290、追蹤光束處理器295、光束發射器215、光束掃描器220及光偵測器235，其他運算系統600實施例可有不同之架構。
影像感測器240為一種硬體或硬體、軟體的組合，以捕獲影像，提供影像到介面電路605，其連接影像感測器240到匯流排610。匯流排610可 以建構ISP 615、記憶體620、視覺處理器290、追蹤光束處理器295間的溝通。例如，基於積體電路內協定(inter-integrated circuit protocol)或序列周邊協定(serial peripheral protocol)。在某些實施例中，來自影像感測器240之影像可被提供到ISP 615，無須匯流排610。
ISP 615執行來自介面電路605影像的影像訊號處理，ISP 615可以用來確認影像中目標物體，使用例如一或多邊緣偵測、深度學習、霍夫變換、卡爾曼濾波器、空間濾波器、時間濾波器以及其他視覺辨識方法，以判定目標物體位置。在其他實施例中，至少這些程序的某些程序可被視覺處理器處理，而非ISP 615。ISP 615可以依據被確認物體的形式來決定採用不同的影像訊號處理方法。ISP 615也可以執行剪裁、縮放、產生運動向量、自動對焦控制或影像增強，以強化目標物體偵測準確性，及補償模糊、失真及/或校正位置。在確認影像中目標物體後，ISP 615依影像中目標物體決定對應像素位置。ISP 615可連結到記憶體620，用以儲存資料直到被ISP 615讀取，記憶體可以是DRAM。在某些實施例中，低階運算例如對影像實施預處理過濾可以用影像感測器240及/或介面電路605處理。
視覺處理器290接收來自ISP 615被確認物體對應的像素位置，視覺處理器290映射像素位置到真實環境座標，及提供有興趣資訊(例如目標物體認證及涵蓋目標物體的像素位置)到追蹤光束控制處理器295。視覺處理器290可以產生控制訊號，傳送到致動器265，以操作光學組件210。
追蹤光束控制處理器295連接光束發射器215，光束掃描器220、光偵測器235。追蹤光束控制處理器295產生控制訊號，指示光束發射器215發射追蹤光束及移動在光束掃描器220中的導光元件就位，以導引追蹤光束到達目標物體上。光偵測器235偵測被發射的追蹤光束及提供偵測訊號到追蹤訊號控制處理器295，以決定距離資訊及產生控制訊號給光束掃描器220與光束發射器215。
運算系統600輸出被影像感測器240捕獲的影像，及使用距離偵 測的位置資訊給使用者。視覺處理器290可進一步分析影像與距離資訊，以產生有關於影像優先光達系統應用所使用資訊。例如，棒球相關，視覺處理器290可分析在打擊者擊出球，在球飛行期間球的移動，或是球棒軌跡，當打擊者揮球棒打擊時，及提供分析結果給使用者。
前述本發明實施例僅為說明目的，非用以限定本發明。熟悉本技術者所為修改或變化，仍不脫離本發明範圍。
100A:視覺優先光達系統
110:第一照相機(影像感測器)
120:範圍探索器(距離感測器)
122:視覺處理器
124:影像資料
125A:追蹤光束
125B:反射光束
126:距離訊號
128:控制訊號
130:具極化膜之分光器
135:光束掃描器
140:物標物體
145:光
150:光學組件
160A、160B:控制訊號
170A、170B:反射鏡
180:追蹤光束控制處理器

Claims (20)

  1. 一種視覺優先光達系統，包括：
    一第一影像感測器，配置以捕獲包含一目標物體的影像；
    一距離感測器，配置以偵測該目標物體距離，藉由發射追蹤光束及偵測自該目標物體反射之該追蹤光束一部分；
    一光束掃描器，配置以接收該追蹤光束，及運作以導向該追蹤光束到該目標物體；及
    一處理器，耦合該第一影像感測器、該距離感測與該器光束掃描器，該處理器配置以：決定被捕獲影像中，該目標物體對應一或多像素；基於該影像中該一或多像素，產生一控制訊號；及將該控訊號提供到該光束掃描器，以導引該追蹤光束到該目標物體。
  2. 如請求項1所述的視覺優先光達系統，更包含一光學組件位於該第一影像感測器與該目標物體的光路徑中，該光學組件配置以調整該第一影像感測器之視野以捕獲包含該目標物體的該影像。
  3. 如請求項2所述的視覺優先光達系統，其中該光學組件更包含配置用以導向該被發射的該追蹤光束到該目標物體；導向被該目標物體反射的該追蹤光束的一部分到該距離感測器。
  4. 如請求項1所述的視覺優先光達系統，更包含光合成器，位於該距離感測器與該光束掃描器間，該光合成器配置以傳輸該追蹤光束的一部分到該距離感測器，及反射代表該目標物體的光到該第一影像感測器。
  5. 如請求項1所述的視覺優先光達系統，其中該光束掃描器為檢流計反射鏡或微機電系統反射鏡。
  6. 如請求項1所述的視覺優先光達系統，其中該光束掃描器配置於該第一影像感測器與一第二影像感測器間，該第一影像感測器捕獲第一視野窄於該第二 影像感測器的第二視野。
  7. 如請求項1所述的視覺優先光達系統，更包含第一分光器及第二分光器，其中自該目標物體反射的該追蹤光束一部分，穿透該第一分光器，且被該第二分光器反射到該距離感測器。
  8. 如請求項1所述的視覺優先光達系統，其中該距離感測器配置以發射其他追蹤光束，以追蹤異於該目標物體的其他目標物體。
  9. 如請求項1所述的視覺優先光達系統，其中該距離感測器基於該追蹤光束發射時間與該追蹤光束的一部分偵測時間的時間差，以偵測該目標物體的距離。
  10. 如請求項1所述的視覺優先光達系統，其中該距離偵測器包含光束掃描器及光偵測器。
  11. 一種距離偵測方法，包含：
    捕獲包含物標物體的影像；
    在被捕獲影像中，決定該目標物體對應一或多像素；
    基於該影像中該一或多像素，產生一控制訊號；
    基於該控訊號導引該追蹤光束到該目標物體；
    偵測反射自該目標物體的該追蹤光束一部分；
    基於該偵測決定該目標物體的距離。
  12. 如請求項11所述的距離偵測方法，其中基於該追蹤光束發射時間與該追蹤光束的一部分偵測時間的時間差，以決定該目標物體的距離。
  13. 如請求項11所述的距離偵測方法，其中決定被捕獲影像中，該目標物體對應一或多像素的步驟包含在該影像上執行影像處理。
  14. 如請求11所述的距離偵測方法，更包含：
    基於該影像中該一或多像素的位置，產生另一控制訊號；及
    基於該另一控制訊號導引其他追蹤光束到該目標物體，其中該追蹤光束與該其他追蹤光束被導引到該目標物體的不同位置。
  15. 如請求項11所述的距離偵測方法，其中更包含：
    決定在被捕獲該影像中對應該其他目標物體的其他一或多像素；
    基於該其他一或多像素的位置，產生另一控制訊號；
    導引該追蹤光束到該其他目標物體。
  16. 如請求項11所述的距離偵測方法，其中導引該追蹤光束到該目標物體，更包含：
    提供該控制訊號到該光束掃描器，該控制訊號用以調整該光束掃描器的方位，以反射該追蹤光束到該目標物體。
  17. 一種非暫時性電腦可讀取儲存媒體指令，當可被一或多個處理器執行，使該一或多個處理器：
    捕獲包含目標物體的影像；
    在被捕獲影像中，決定該目標物體對應一或多像素；
    基於該影像中該一或多像素位置，產生一控制訊號；
    基於該控訊號導引該追蹤光束到該目標物體；
    偵測反射自該目標物體的該追蹤光束一部分；及
    基於該偵測決定該目標物體的距離。
  18. 如請求項17所述的非暫時性電腦可讀取儲存媒體指令，其中基於該追蹤光束發射時間與該追蹤光束的一部分偵測時間的時間差，以決定該目標物體的距離。
  19. 如請求項17所述的非暫時性電腦可讀取儲存媒體指令，其中決定被捕獲影像中，該目標物體對應一或多像素的步驟包含在該影像上執行影像處理。
  20. 如請求項17所述的非暫時性電腦可讀取儲存媒體指令，其中當被該一或多 處理器執行，更包含使其：
    基於該影像中該一或多像素的位置，產生另一控制訊號；及
    基於該另一控制訊號導引其他追蹤光束到該目標物體，其中該追蹤光束與該其他追蹤光束被導引到該目標物體的不同位置。
TW110122168A 2020-07-16 2021-06-17 視覺優先光達系統與其距離偵測方法及非暫時性電腦可讀取儲存媒體指令 TWI799894B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/930,981 US12078757B2 (en) 2020-07-16 2020-07-16 Vision first light detection and ranging system
US16/930,981 2020-07-16

Publications (2)

Publication Number Publication Date
TW202204930A true TW202204930A (zh) 2022-02-01
TWI799894B TWI799894B (zh) 2023-04-21

Family

ID=79292276

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110122168A TWI799894B (zh) 2020-07-16 2021-06-17 視覺優先光達系統與其距離偵測方法及非暫時性電腦可讀取儲存媒體指令

Country Status (3)

Country Link
US (1) US12078757B2 (zh)
TW (1) TWI799894B (zh)
WO (1) WO2022015425A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11698441B2 (en) * 2019-03-22 2023-07-11 Viavi Solutions Inc. Time of flight-based three-dimensional sensing system

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0777850A4 (en) * 1994-08-26 1999-02-03 Pressco Tech Inc INTEGRAL LIGHTING WITH FIELD LENS FOR VIDEO INSPECTION
WO2010148526A1 (de) * 2009-06-23 2010-12-29 Leica Geosystem Ag Tracking-verfahren und messsystem mit lasertracker
US8619265B2 (en) * 2011-03-14 2013-12-31 Faro Technologies, Inc. Automatic measurement of dimensional data with a laser tracker
LU91737B1 (en) 2010-09-17 2012-03-19 Iee Sarl Lidar imager
US9164173B2 (en) * 2011-04-15 2015-10-20 Faro Technologies, Inc. Laser tracker that uses a fiber-optic coupler and an achromatic launch to align and collimate two wavelengths of light
KR102038533B1 (ko) * 2012-06-14 2019-10-31 한국전자통신연구원 레이저 레이더 시스템 및 목표물 영상 획득 방법
JP2015212647A (ja) 2014-05-02 2015-11-26 株式会社リコー 物体検出装置及びセンシング装置
US10061029B2 (en) 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration
US11468285B1 (en) * 2016-05-30 2022-10-11 Apple Inc. Analysis of objects of interest in sensor data using deep neural networks
US20180136314A1 (en) 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system for analyzing the distance to an object in an image
CN114114209B (zh) 2017-03-01 2025-08-05 奥斯特公司 用于lidar的准确光检测器测量
US10677897B2 (en) 2017-04-14 2020-06-09 Luminar Technologies, Inc. Combining lidar and camera data
US10838048B2 (en) 2017-09-08 2020-11-17 Quanergy Systems, Inc. Apparatus and method for selective disabling of LiDAR detector array elements
US11758111B2 (en) 2017-10-27 2023-09-12 Baidu Usa Llc 3D lidar system using a dichroic mirror for autonomous driving vehicles
US11067673B2 (en) 2018-05-17 2021-07-20 Cmos Sensor, Inc. Sensor, apparatus for lidar application and method of background cancellation
US20210293931A1 (en) * 2018-07-26 2021-09-23 Innoviz Technologies Ltd. Lidar system having a mirror with a window
JP2022036339A (ja) 2018-10-12 2022-03-08 ソニーセミコンダクタソリューションズ株式会社 センサフュージョンシステム、同期制御装置、及び同期制御方法

Also Published As

Publication number Publication date
US12078757B2 (en) 2024-09-03
TWI799894B (zh) 2023-04-21
US20220018940A1 (en) 2022-01-20
WO2022015425A1 (en) 2022-01-20

Similar Documents

Publication Publication Date Title
US11670083B2 (en) Vision based light detection and ranging system using dynamic vision sensor
US10917601B2 (en) Tracker, surveying apparatus and method for tracking a target
CN113227839B (zh) 具有结构光照明器的飞行时间传感器
CN103975250B (zh) 在图像平面中利用动态掩模的空间选择性探测
CN109798879B (zh) 测量装置以及测量装置系统
US8149388B2 (en) Surveying apparatus for tracking and surveying an object
CN111344647A (zh) 具有低延时运动规划更新的智能激光雷达系统
CN111060066B (zh) 用于测量物体的测量设备
US11802966B2 (en) Tracker of a surveying apparatus for tracking a target
US11172108B2 (en) Imaging device
US20250321337A1 (en) Three-dimensional perception of objects and surfaces in underwater environments
JP2018155709A (ja) 位置姿勢推定装置および位置姿勢推定方法、運転支援装置
TWI792512B (zh) 利用多視野之基於視覺的光達系統
TW202204930A (zh) 視覺優先光達系統
US11747481B2 (en) High performance three dimensional light detection and ranging (LIDAR) system for drone obstacle avoidance
US10685448B2 (en) Optical module and a method for objects' tracking under poor light conditions
US20240068810A1 (en) Measuring device with tof sensor
JPS6383604A (ja) 三次元座標計測装置
US20230251090A1 (en) Method for operating a geodetic instrument, and related geodetic instrument
WO2025069291A1 (ja) 撮像システム、電磁波照射システム、計測方法、及びプログラム
CN121348352A (zh) 一种集成激光测距与单目视觉的三维运动成像感知装置
JP2024155173A (ja) 撮像装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees