TWI842321B - 車道檢測方法及車道檢測裝置 - Google Patents
車道檢測方法及車道檢測裝置 Download PDFInfo
- Publication number
- TWI842321B TWI842321B TW111151024A TW111151024A TWI842321B TW I842321 B TWI842321 B TW I842321B TW 111151024 A TW111151024 A TW 111151024A TW 111151024 A TW111151024 A TW 111151024A TW I842321 B TWI842321 B TW I842321B
- Authority
- TW
- Taiwan
- Prior art keywords
- vehicle
- image
- vehicles
- track
- trajectory
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 claims description 32
- 238000012417 linear regression Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 20
- 238000004590 computer program Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 230000003628 erosive effect Effects 0.000 description 4
- 230000032683 aging Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013211 curve analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本發明提供一種車道檢測方法及車道檢測裝置。車道檢測方法包括以下步驟:獲取第一影像,第一影像包括至少一車輛之影像;根據第一影像獲取至少一車輛之輪廓及朝向,朝向為至少一車輛之車頭方向;根據至少一車輛之輪廓及朝向獲取至少一車輛之軌跡,軌跡為至少一車輛之移動軌跡方向;根據至少一車輛之軌跡獲取車道資訊。本申請提供之車道檢測方法可根據獲取到之車輛影像,獲取車道資訊,從而輔助實現車道線檢測。
Description
本發明涉及電腦技術領域,具體涉及一種車道檢測方法及車道檢測裝置。
車道檢測係自動駕駛系統中一個重要之感知任務,藉由車道檢測可幫助完成眾多上層應用。例如,可有助於車道偏離警示(Lane Departure Warning,LDW)、車道保持輔助(Lane Keep Assist,LKA)等系統,亦可輔助前向碰撞預警(Forward CollisionWarning,FCW)判斷路徑上最近之車輛,以說明進行車輛路徑規劃等。然而由於風沙侵蝕、雨水衝刷、路面施工或路面老舊等原因,路面上之車道線容易磨損甚至消失。如此,僅依靠圖像檢測技術直接檢測路面上之車道線將變得相當困難。
針對上述問題,本申請提供一種車道檢測方法及車道檢測裝置,可藉由採集到之車輛資訊獲取車道資訊,以輔助實現車道檢測。
本申請第一方面提供一種車道檢測方法,應用於車輛,包括:獲取第一影像,第一影像包括至少一車輛之影像;根據第一影像獲取至少一車輛之輪廓及朝向,朝向為至少一車輛之車頭方向;根據至少一車輛之輪廓及朝向獲取至少一車輛之軌跡,軌跡為至少一車輛之移動軌跡方向;
根據至少一車輛之軌跡獲取車道資訊。
於一些實施例中,當第一影像為單幀影像且第一影像包括至少兩台車輛之影像時,根據至少一車輛之輪廓及朝向獲取至少一車輛之軌跡,包括:根據至少兩台車輛之輪廓獲取至少兩台車輛之中心點;根據至少兩台車輛之中心點及朝向建立至少一個軌跡分組;根據至少一個軌跡分組獲取至少兩台車輛之軌跡。
於一些實施例中,根據至少兩台車輛之中心點及朝向建立至少一個軌跡分組,包括:選擇至少兩台車輛中之其中一個作為標定車輛,標定車輛為至少兩台車輛中於第一影像中y軸座標最小且未被分配至軌跡分組之車輛;以標定車輛之中心為原點,標定車輛之朝向為方向向量,獲取標定車輛之軌跡延長線;判斷標定車輛之軌跡延長線是否與其他車輛之車尾影像相交;若標定車輛之軌跡延長線與其他車輛之車尾影像相交,則將標定車輛及與標定車輛之軌跡延長線相交之車輛分配至一個軌跡分組,將與標定車輛之軌跡延長線相交之車輛作為新之標定車輛,並重新進行以標定車輛之中心為原點,標定車輛之朝向為方向向量,獲取標定車輛之軌跡延長線;若標定車輛之軌跡延長線與其他車輛之車尾影像不相交,則返回選擇至少兩台車輛中之其中一個作為標定車輛;重複上述步驟,直至全部車輛分配於至少一軌跡分組。
於一些實施例中,方法還包括:根據軌跡分組內車輛之數量判斷軌跡分組是否為孤立分組,其中,孤立分組包括一車輛;若軌跡分組為孤立分組,則判斷孤立分組內之車輛之軌跡是否與其他車輛之軌跡相交或孤立分組內之車輛之軌跡與其他車輛之軌跡距離是否低於一預設距離值;
若孤立分組內之車輛之軌跡與其他車輛之軌跡相交或孤立分組內之車輛之軌跡與其他車輛之軌跡距離低於一預設距離值,則刪除孤立分組。
於一些實施例中,當第一影像包括至少兩幀影像且第一影像包括至少兩台車輛之影像時,方法還包括:選取第一影像中預設數量幀數之影像;選取標定影像幀,標定影像幀為預設數量幀數之影像中時序最早之一幀影像;根據標定影像幀獲取至少兩台車輛之輪廓獲取至少兩台車輛之中心點,根據至少兩台車輛之中心點及朝向建立至少一個軌跡分組,根據至少一個軌跡分組獲取至少兩台車輛之軌跡;於獲取到標定影像幀內之全部車輛之軌跡後,返回選取標定影像幀;重複上述步驟,直至預設數量幀數之影像內之全部車輛之軌跡獲取完成;根據預設數量幀數之影像內之全部車輛之軌跡獲取車道資訊。
於一些實施例中,當第一影像為單幀影像且第一影像包括一車輛時,根據至少一車輛之輪廓及朝向獲取至少一車輛之軌跡,包括:根據車輛之輪廓獲取車輛之中心點;根據車輛之中心點及車輛之朝向獲取車輛之軌跡。
於一些實施例中,當第一影像包括至少兩幀影像且第一影像包括一車輛時,根據至少一車輛之輪廓及朝向獲取至少一車輛之軌跡,包括:獲取至少兩幀影像之時序資訊;根據車輛之輪廓獲取車輛之中心點;根據時序資訊、車輛之中心點及車輛之朝向獲取車輛之軌跡。
於一些實施例中,根據時序資訊、車輛之中心點及車輛之朝向獲取車輛之軌跡,包括:根據時序資訊獲取至少兩幀影像中車輛之朝向;判斷相鄰幀影像中車輛之朝向之間之夾角是否大於一預設夾角值,其中相
鄰幀影像之時序相鄰;若夾角大於預設夾角值,則根據曲線回歸演算法、車輛之中心點及車輛之朝向獲取車輛之軌跡;若夾角小於或等於預設夾角值,則根據線性回歸演算法、車輛之中心點及車輛之朝向獲取車輛之軌跡。
於一些實施例中,方法還包括:獲取第二影像,第二影像包括車道線;根據第二影像獲取車道之第一資訊;根據車道之第一資訊及車道資訊獲取第二車道資訊。
本申請第二方面還提供一種車道檢測裝置,應用於車輛,包括:影像獲取模組,影像獲取模組用於獲取第一影像,第一影像包括至少一車輛之影像;輪廓獲取模組,連接影像獲取模組,輪廓獲取模組用於根據第一影像獲取至少一車輛之輪廓及朝向,朝向為至少一車輛之車頭方向;軌跡獲取模組,連接輪廓獲取模組,軌跡獲取模組用於根據至少一車輛之輪廓及朝向獲取至少一車輛之軌跡,軌跡為至少一車輛之移動軌跡方向;車道獲取模組,連接軌跡獲取模組,車道獲取模組用於根據至少一車輛之軌跡獲取車道資訊。
本申請藉由獲取第一影像上之至少一車輛之輪廓及朝向,進而確定至少一車輛之軌跡,從而根據至少一車輛之軌跡初步獲取車道資訊,從而輔助實現車道檢測。
S1-S4、S401-S403、S501-S506、S801-S803、S101-S106、S121-S122、S141-S143:步驟
101:車輛
102:終端設備
103:圖像採集設備
104:雷達設備
100:車道檢測裝置
10:影像獲取模組
20:輪廓獲取模組
30:軌跡獲取模組
40:車道獲取模組
200:電子設備
201:處理器
202:記憶體
203:電腦程式
圖1為本申請提供之車道檢測方法之系統架構圖。
圖2為本申請提供之車道檢測方法之流程示意圖。
圖3為本申請一實施例提供之整體檢測框之示意圖。
圖4為圖2步驟S2於第一場景下之子步驟之流程示意圖。
圖5為圖4中步驟S402之子步驟之流程示意圖。
圖6A-圖6C為本申請一實施例中之軌跡分組之過程示意圖。
圖7為本申請一實施例之軌跡分組後之示意圖。
圖8為本申請一實施例中之判斷孤立分組之流程示意圖。
圖9A-圖9C為本申請一實施例中之三種孤立分組之示意圖。
圖10為圖2步驟S2於第二場景下之子步驟之流程示意圖。
圖11為本申請一實施例中不同時序之影像幀之重疊示意圖。
圖12為圖2步驟S2於第三場景下之子步驟之流程示意圖。
圖13為本申請一實施例中之車輛軌跡之示意圖。
圖14為圖2步驟S2於第四場景下之子步驟之流程示意圖。
圖15A為本申請一實施例之不同時序之第一影像之合併示意圖。
圖15B為本申請另一實施例之不同時序之第一影像之合併示意圖。
圖16為本申請一實施例提供之車道檢測裝置之模組示意圖。
圖17為應用本發明實現車道檢測方法之電子設備之結構示意圖。
下面將結合本發明實施例中之附圖,對本發明實施例中之技術方案進行清楚、完整地描述,顯然,所描述之實施例僅僅係本發明一部分實施例,而非全部之實施例。基於本發明中之實施例,本領域具有通常技藝者於沒有做出創造性勞動前提下所獲得之所有其他實施例,均屬於本
發明保護之範圍。
除非另有定義,本文所使用之所有之技術與科學術語與屬於本發明之技術領域之具有通常技藝者通常理解之含義相同。本文中於本發明之說明書中所使用之術語僅係為描述具體之實施例,並非旨在於限制本發明。本文所使用之術語“及/或”包括一個或複數相關之所列項目的任意與所有之組合。
下面結合附圖,對本發明之一些實施方式作詳細說明。於不衝突之情況下,下述之實施例及實施例中之特徵可相互組合。
目前之高速串列匯流排協定中,通常均於數據中包含了時鐘訊號(clock signal),而不再需要一根獨立之時鐘訊號資料線與數據資料線平行傳輸。如此,為於接收端能夠正確對數據訊號(data signal)進行採樣,需要於接收端將數據訊號中之時鐘訊號提取出來,即係時鐘恢復過程。
車道檢測係自動駕駛系統中一個重要之感知任務,藉由車道檢測可幫助完成眾多上層應用。例如,可有助於車道偏離警示(Lane Departure Warning,LDW)、車道保持輔助(Lane Keep Assist,LKA)等系統,亦可輔助前向碰撞預警(Forward CollisionWarning,FCW)判斷路徑上最近之車輛,以說明進行車輛路徑規劃等。然而由於風沙侵蝕、雨水衝刷、路面施工或路面老舊等原因,路面上之車道線容易磨損甚至消失。如此,僅依靠圖像檢測技術直接檢測路面上之車道將變得相當困難。
為此,本申請提供一種車道檢測方法,用於獲取車道資訊,從而輔助實現車道檢測。
首先,對本申請實施例涉及到之系統架構進行介紹。
圖1係本申請一實施例提供之車道檢測方法之系統架構圖。於該系統中,包括車輛101、終端設備102、圖像採集設備103及雷達設備104。其中,終端設備102分別與圖像採集設備103以及雷達設備104通訊連接,如此,圖像採集設備103與雷達設備104可將各自採集到之資料發送至終端設備102。車輛101與終端設備102之間亦通訊連接,如此,終端設備102可向車輛101發送控制指令。
具體終端設備102可安裝於車輛101內部,亦可係駕駛員當前攜帶於身上之終端設備。該終端設備102包括有用於進行資料資訊處理之處理器,藉由該處理器,該終端設備102可對接收到之由圖像採集設備103或雷達設備104採集到之資料進行處理,從而確定得到車輛101所對應之車道資訊。另外,該終端設備102還可提供用於進行人機交互之介面,藉由該人機交互介面可向使用者顯示當前之路況以及路徑規劃圖等資訊。
圖像採集設備103安裝於車輛101之車身外部。具體可於車輛101之車身周圍安裝有多個圖像採集設備103。例如,可於車輛101之車身周圍安裝4個圖像採集設備103,該4個圖像採集設備可分別作為前視圖像採集設備、後視圖像採集設備、左視圖像採集設備與右視圖像採集設備。其中,前視圖像採集設備安裝於車頭之中央位置,後視圖像採集設備安裝於車尾之中央位置,左視圖像採集設備安裝於車輛左側沿長度方向之中點位置上,右視圖像採集設備安裝於車輛右側沿長度方向之中點位置上。值得注意,上述僅係以4個圖像採集設備為例進行說明,於實際應用中,車輛101之車身周圍還可安裝有更多或更少之圖像採集設備103。該圖像採集設備103可於車輛101行駛之過程中對車輛101周邊之路況進行圖像採集,
藉由對採集到路況圖像進行處理與分析,可對車輛101周圍存於之障礙物、車道線、訊號燈以及訊號燈停止線等進行檢測,亦即係,藉由對採集到之路況圖像進行處理與分析,可初步得到障礙物檢測結果、車道線檢測結果、訊號燈檢測結果以及停止線檢測結果等。
雷達設備104安裝於車輛101之車身外部。具體可於車輛101頂部之中央位置安裝至少一個雷達設備104。或者,可於車輛101頂部之不同位置處安裝多個雷達設備104,例如,可於車輛101頂部之四個角點上安裝有四個雷達設備104。藉由該雷達設備104可對障礙物進行檢測,尤其係可對運動之障礙物之位置與運動參數進行準確之檢測。可理解,障礙物可係行駛於車輛101周圍之其他車輛或移動裝置。
需要說明,終端設備102可係車載終端設備,亦可為其他當前處於車輛101內部之移動終端設備。例如,該終端設備102可係諸如工業電腦、可攜式電腦、智慧手機、平板電腦等終端。圖像採集設備103可係能夠進行圖像採集之相機或者係攝像頭等。例如,該圖像採集設備103可係魚眼環視相機。雷達設備104可係雷射雷達及/或毫米波雷達。
可選地,上述系統架構中之終端設備102可由車輛控制單元(Vehicle control unit,VCU)來代替,於該種情況下,下述實施例中提供之方法步驟則可應用於車輛101,且由車輛101之車輛控制單元來執行。
請繼續參閱圖2,圖2為本申請一實施例提供之車道檢測方法之流程示意圖。下述實施例以車道檢測方法應用於車輛101,且由車輛101之車輛控制單元執行為例進行說明。
於本申請中,車道檢測方法包括如下步驟:
步驟S1:獲取第一影像,第一影像包括至少一車輛之影像。
於本申請實施例中,藉由圖像採集設備103及/或雷達設備104獲取複數初始影像,並對複數初始影像進行處理,以篩選出第一影像。其中,初始影像為根據圖像採集設備103及/或雷達設備104採集得到之車輛101周邊或所在路段之影像。初始影像可係圖像採集設備103採集得到之圖片或包括多幀圖片之視頻資料,初始影像亦可係根據雷達設備104採集得到之點雲資料生成之圖片。
於一些實施例中,可基於圖像檢測技術或視覺識別技術等技術,從圖像採集設備103採集得到之複數初始影像中篩選出包括至少一車輛之初始影像作為第一影像,本申請並不對具體之圖像檢測技術做限定。
於另一些實施例中,亦可基於目標檢測等技術,根據雷達設備104採集到之點雲資料,即初始影像,篩選包括至少一車輛之影像,作為第一影像。
具體步驟S1中提及之車輛為位於車輛101周邊之車輛,例如,可係與車輛101位於同一條路上之其他車輛。
步驟S2:根據第一影像獲取至少一車輛之輪廓及朝向,朝向為至少一車輛之車頭方向。
請參圖3,具體本申請藉由習知之深度學習網路技術加以訓練構建之檢測模型對第一影像上顯示之每一車輛進行處理,以於每一第一影像上生成對應之車輛之整體檢測框及車頭檢測框(或車尾檢測框)。可理解,車頭檢測框相對整體檢測框所在之一側,即車輛之車頭方向為對應車輛之朝向。車尾檢測框相對整體檢測框所在之一側之反方向,為對應車輛
之朝向。
於本申請中,整體檢測框及車頭檢測框(或車尾檢測框)均為三維(three-dimensional,3D)檢測框,例如可係近似長方體之檢測框。如此,可藉由8個角點(圖3中之C1-C8)之座標表示3D檢測框之位置,或藉由4個角點、車底對地高度值及車底與車頂之間之高度值表示3D檢測框之位置(圖未示)。
可理解,與二維檢測框相比,3D檢測框側重於對真實世界中之3D座標系中目標物體之定位與識別。3D檢測框上之幾何資訊可用於測量車輛101與其他關鍵目標(例如同一車道上之其他車輛)之間之距離。如此,本申請藉由獲取車輛之3D檢測框作為車輛輪廓,有利於將基於圖像獲取到之資料與真實環境資料建立聯繫。
步驟S3:根據至少一車輛之輪廓及朝向獲取至少一車輛之軌跡,軌跡為至少一車輛之移動軌跡方向。
具體於本步驟中,先根據獲取到之每一車輛之輪廓,即整體檢測框,計算車輛之中心點座標(X0,Y0)。再根據車輛之中心點及朝向,形成該車輛之軌跡。其中,軌跡表徵第一影像上之至少一車輛之移動軌跡方向。
於本申請中,以第一影像之左下角之頂點作為原點,從第一影像之原點向右延伸作為第一影像之X軸,從第一影像之原點向上延伸作為Y軸。
於一些實施例中,可由複數車輛之中心點座標連接形成之曲線來表示至少一車輛之軌跡。
進一步地,為提高車道檢測之準確率,於一些實施例中,可藉由獲取一段連續時間內之預設數量之第一影像,以形成至少一車輛於一段時間內之較長之移動軌跡;於另一些實施例中,亦可藉由獲取同一第一影像內之多輛車輛之移動軌跡,以形成同一時間點由多輛車輛形成之較長之移動軌跡。
步驟S4:根據至少一車輛之軌跡獲取車道資訊。
具體可根據步驟S3中形成軌跡之車輛之中心點座標,以獲取相應之曲線方程。
可理解,車道通常限制了車輛之行車軌跡及行駛方向。亦就係說,位於同一車道上之車輛之行車軌跡及行駛方向通常大致相同。如此,可對獲取到之至少一車輛之軌跡進行曲線分析,以獲取該軌跡之曲線方程作為車道軌跡等車道資訊。
進一步可根據車輛軌跡之方向,確認車道方向;還可根據第一影像上檢測到之車輛軌跡之數量,確定車道數量。
可理解,本申請提供之車道檢測方法,藉由獲取第一影像上之至少一車輛之輪廓及朝向,進而確定至少一車輛之軌跡,從而根據至少一車輛之軌跡初步獲取車道資訊,從而輔助實現車道檢測。
進一步地,於一些實施例中,車道檢測方法還包括:
步驟S5:獲取第二影像,且第二影像包括車道線;根據第二影像獲取車道之第一資訊;根據車道之第一資訊及車道資訊獲取第二車道資訊。
於步驟S5中,第二影像可係從複數初始影像中篩選出來之包
括車道線之影像。第一資訊可包括車道線之部分標線資訊等。第二車道資訊可係基於車道資訊與車道之第一資訊合併後輸出之更完整之車道資訊,例如包括車道標線、箭頭或車道數量等資訊中之至少一種。
如此,本申請提供之車道檢測方法,可根據獲取到之車輛軌跡初步獲取車道資訊,進而再根據獲取到之車道之第一資訊,從而合併輸出第二車道資訊,以更大程度地豐富車道資訊。
進一步地,本申請以下內容還根據獲取到之不同之第一影像,進一步說明上述步驟S2之詳細處理過程。
請參閱圖4,於一些實施例中,當第一影像為單幀影像且第一影像包括至少兩台車輛之影像時,例如圖6A,步驟S2還包括:
步驟S401:根據至少兩台車輛之輪廓獲取至少兩台車輛之中心點。
步驟S402:根據至少兩台車輛之中心點及朝向建立至少一個軌跡分組;具體請參閱圖5,步驟S402進一步包括:
步驟S501:選擇至少兩台車輛中之其中一個作為標定車輛,例如車輛a(參圖6B)。其中,標定車輛為至少兩台車輛中於第一影像中y軸座標最小且未被分配至軌跡分組之車輛。
步驟S502:以標定車輛之中心為原點,標定車輛之朝向為方向向量,獲取標定車輛之軌跡延長線。
於一些實施例中,可先獲取車頭檢測框之中心點座標,然後連接整體檢測框之中心點座標與車頭檢測框之中心點座標作為方向向量,
且整體檢測框之中心點座標為該方向向量之原點,該方向向量之方向與車頭檢測框所在一側之方向相同。於另一些實施例中,亦可先獲取車尾檢測框之中心點座標,然後連接整體檢測框之中心點座標與車尾檢測框之中心點座標作為方向向量,且整體檢測框之中心點座標為該方向向量之原點,該方向向量之方向與車尾檢測框所在一側之方向相反。
步驟S503:判斷標定車輛之軌跡延長線是否與其他車輛之車尾影像相交;
步驟S504:若標定車輛(例如圖6B中之車輛a)之軌跡延長線與其他車輛(例如圖6B中之車輛b)之車尾影像相交,則將標定車輛及與標定車輛之軌跡延長線相交之車輛分配至一個軌跡分組,將與標定車輛之軌跡延長線相交之車輛作為新之標定車輛,並重新進行以標定車輛之中心為原點,標定車輛之朝向為方向向量,獲取標定車輛之軌跡延長線;例如,請參圖6C,當車輛b之軌跡延長線與車輛c之車尾相交時,則車輛a、車輛b及車輛c可作為一個軌跡分組。
步驟S505:若標定車輛之軌跡延長線與其他車輛之車尾影像不相交,則返回選擇至少兩台車輛中之其中一個作為標定車輛;
步驟S506:重複上述步驟,直至全部車輛分配於至少一軌跡分組。
例如,請參圖7,按照上述步驟S501-S506,可將圖6A所示之第一影像中之車輛分配至三個軌跡分組。
步驟S403:根據至少一個軌跡分組獲取至少兩台車輛之軌跡。
於一些實施例中,步驟S403還包括:
步驟S801:根據軌跡分組內車輛之數量判斷軌跡分組是否為孤立分組,其中,孤立分組包括一車輛。
例如,請參圖9A至圖9C,車輛d、車輛e及車輛f所在之軌跡分組分別形成孤立分組。
步驟S802:若軌跡分組為孤立分組,則判斷孤立分組內之車輛之軌跡是否與其他車輛之軌跡相交或孤立分組內之車輛之軌跡與其他車輛之軌跡距離是否低於一預設距離值。
步驟S803:若孤立分組內之車輛之軌跡與其他車輛之軌跡相交或孤立分組內之車輛之軌跡與其他車輛之軌跡距離低於一預設距離值,則刪除孤立分組。
可理解,當孤立分組內之車輛之軌跡與其他分組內之車輛之軌跡相交,或孤立分組內之車輛之軌跡與其他車輛之軌跡距離低於一預設距離值時,說明該孤立分組內之車輛可能係從一車道移動至另一車道。因此,當前孤立分組內之車輛並非處於正常之車道行駛狀態,可刪除該孤立分組。
當孤立分組內之車輛之軌跡不滿足上述條件時,說明該孤立分組內之車輛大概率行駛於正常之車道上。
如此,藉由上述步驟,可對包括至少兩台車輛之單幀之第一影像進行處理,以獲得類似圖7或圖9C所示之軌跡分組。如此,藉由分別對上述軌跡分組中之各個車輛之中心點座標求取曲線方程,則可初步獲得第一影像上之車道之曲線,車道數量及車道方向。
以圖9C為例,當求取得到圖9C上之三個軌跡分組上之三條
曲線分別為k1、k2及k3時,說明當前道路可能存於3條車道,且3條車道之方向大致相同,3條車道之曲線可係k1、k2及k3。可理解,於一些實施例中,出於統一座標系之需要,亦可對上述求得之曲線k1、k2及k3進行相應之變換,本申請並不對此進行限制。
進一步地,請繼續參閱圖10,當第一影像包括至少兩幀影像,且第一影像包括至少兩台車輛之影像時,方法還包括:
步驟S101:選取第一影像中預設數量幀數之影像。
步驟S102:選取標定影像幀,標定影像幀為預設數量幀數之影像中時序最早之一幀影像。
例如,請參圖11,步驟S101中選取了第一影像中之第一幀影像與第二幀影像。
可理解,圖像採集設備103以及雷達設備104採集得到初始圖像時,初始圖像上標記有對應之時間戳記。如此,可藉由分別獲取第一幀影像與第二幀影像對應之初始影像之時間戳記,從而獲取時序資訊。
步驟S103:根據標定影像幀獲取至少兩台車輛之輪廓獲取至少兩台車輛之中心點,根據至少兩台車輛之中心點及朝向建立至少一個軌跡分組,根據至少一個軌跡分組獲取至少兩台車輛之軌跡。
可理解,步驟S103中建立軌跡分組之過程與步驟S402中建立軌跡分組之過程相同,於此不再贅述。
步驟S104:於獲取到標定影像幀內之全部車輛之軌跡後,返回選取另一影像幀作為標定影像幀;
步驟S105:重複上述步驟,直至預設數量幀數之影像內之全
部車輛之軌跡獲取完成。
步驟S106:根據預設數量幀數之影像內之全部車輛之軌跡獲取車道資訊。
於步驟S106中,將預設距離小於預設數值之兩軌跡進行合併,如此,藉由將複數張幀影像中之軌跡進行合併,可綜合計算出多幀影像中最遠之車道之距離。
進一步地,請繼續參閱圖12,當第一影像為單幀影像且第一影像包括一車輛(請參圖13)時,根據至少一車輛之輪廓及朝向獲取至少一車輛之軌跡,包括:
步驟S121:根據車輛之輪廓獲取車輛之中心點。
步驟S122:根據車輛之中心點及車輛之朝向獲取車輛之軌跡。
可理解,步驟S122中獲取到之車輛之軌跡之曲線方程為直線方程(Y=mN+n)。此時,可結合步驟S5,以進一步提高車道檢測之準確率。
進一步地,請繼續參閱圖14,當第一影像包括至少兩幀影像且第一影像包括一車輛時,根據至少一車輛之輪廓及朝向獲取至少一車輛之軌跡,包括:
步驟S141:獲取至少兩幀影像之時序資訊。
步驟S142:根據車輛之輪廓獲取車輛之中心點。
步驟S143:根據時序資訊、車輛之中心點及車輛之朝向獲取車輛之軌跡。
具體步驟S143還包括如下步驟:
根據時序資訊獲取至少兩幀影像中車輛之朝向;判斷相鄰幀影像中車輛之朝向之間之夾角是否大於一預設夾角值,其中相鄰幀影像之時序相鄰;若夾角大於預設夾角值,則根據曲線回歸演算法、車輛之中心點及車輛之朝向獲取車輛之軌跡;若夾角小於或等於預設夾角值,則根據線性回歸演算法、車輛之中心點及車輛之朝向獲取車輛之軌跡。
例如,請參圖15A,圖15A中之車輛g、車輛h及車輛i為同一車輛於依次相鄰之三個時間點內之影像。
於圖15A中,車輛g之朝向與車輛h之朝向之間之夾角大於預設夾角值,車輛h與車輛i之間之夾角大於預設夾角值。如此,於圖15A中,車道可能係產生了彎曲,車輛朝向發生了較大之改變,使得不同時序影像中之車輛朝向產生了較大之夾角,故藉由曲線回歸演算法、車輛之中心點及車輛之朝向獲取車輛之軌跡。
於圖15B中,車輛j與車輛k之朝向之間之夾角小於或等於預設夾角值。如此,於圖15B中,車道可能近似直線,車輛朝向並未發生較大改變,使得不同時序影像中之車輛之朝向之夾角較小,故藉由曲線回歸演算法、車輛之中心點及車輛之朝向獲取車輛之軌跡。
進一步請參圖16,本申請第二實施例還提供一種車道檢測裝置100,可應用於移動車輛上。車道檢測裝置100包括影像獲取模組10、輪廓獲取模組20、軌跡獲取模組30及車道獲取模組40。
其中,影像獲取模組10用於獲取第一影像。第一影像包括至
少一車輛之影像。
輪廓獲取模組20連接影像獲取模組10。輪廓獲取模組20用於根據第一影像獲取至少一車輛之輪廓及朝向,所述朝向為至少一車輛之車頭方向。
軌跡獲取模組30連接輪廓獲取模組20。軌跡獲取模組30用於根據至少一車輛之輪廓及朝向獲取至少一車輛之軌跡,所述軌跡為至少一車輛之移動軌跡方向。
車道獲取模組40連接軌跡獲取模組30。車道獲取模組40用於根據至少一車輛之軌跡獲取車道資訊。
可理解,影像獲取模組10、輪廓獲取模組20、軌跡獲取模組30及車道獲取模組40用於執行圖1至圖16對應之實施例中之各步驟,具體請參閱上一實施例之相關描述,於此不再贅述。
請參閱圖17,本申請第三實施例還提供一種電子設備200。電子設備200包括處理器201及記憶體202。記憶體202存儲有電腦程式203。電腦程式203包括至少一個指令。處理器201用於執行記憶體202中存儲之至少一個指令,以實現上述位元姿調整方法實施例中之步驟S1至步驟S5。
進一步地,電腦程式203可被分割成一個或多個單元,一個或者多個單元被存儲於記憶體202中,並由處理器201執行,以完成本發明。一個或多個單元可係能夠完成特定功能之一系列電腦程式指令段,該指令段用於描述所述電腦程式203於電子設備中之執行過程。例如,電腦程式203可被分割成影像獲取單元、輪廓獲取單元、軌跡獲取單元及車道
獲取單元,各單元具體功能如下:影像獲取單元用於獲取第一影像。第一影像包括至少一車輛之影像。
輪廓獲取單元連接影像獲取單元。輪廓獲取單元用於根據第一影像獲取至少一車輛之輪廓及朝向,所述朝向為至少一車輛之車頭方向。
軌跡獲取單元連接輪廓獲取單元。軌跡獲取單元用於根據至少一車輛之輪廓及朝向獲取至少一車輛之軌跡,所述軌跡為至少一車輛之移動軌跡方向。
車道獲取單元連接軌跡獲取單元。車道獲取單元用於根據至少一車輛之軌跡獲取車道資訊。
可理解,電子設備200可包括,但不僅限於,處理器201、記憶體202。本領域技術人員可理解,圖3僅僅係電子設備200之示例,並不構成對電子設備200之限定,可包括比圖示更多或更少之部件,或者組合某些部件,或者不同之部件,例如電子設備200還可包括輸入輸出設備、網路接入設備、匯流排等。
可理解,處理器201可係中央處理模組(Central Processing Unit,CPU),還可係其他通用處理器、數位訊號處理器(Digital Signal Processor,DSP)、專用積體電路(Application Specific Integrated Circuit,ASIC)、現成可程式設計閘陣列(Field-Programmable Gate Array,FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可係微處理器或者處理器201亦可係任何常規之處理器等,處理器
201係電子設備之控制中心,利用各種介面與線路連接整個電子設備之各個部分。
記憶體202可用於存儲電腦程式與/或模組/單元。處理器201藉由運行或執行存儲於記憶體202內之電腦程式與/或模組/單元,以及調用存儲於記憶體202內之資料,實現電子設備之各種功能。記憶體202可主要包括存儲程式區與存儲資料區。其中,存儲程式區可存儲作業系統、至少一個功能所需之應用程式(比如聲音播放功能、圖像播放功能等)等。存儲資料區可存儲根據電子設備之使用所創建之資料(比如視頻資料、音訊資料、電話本等)等。此外,記憶體202可包括高速隨機存取記憶體,還可包括非易失性記憶體,例如硬碟機、記憶體、插接式硬碟機,智慧存儲卡(Smart Media Card,SMC),安全數位(Secure Digital,SD)卡,快閃記憶體卡(Flash Card)、至少一個磁碟記憶體件、快閃記憶體器件、或其他易失性固態記憶體件。
本申請另一實施例還提供一種電腦可讀存儲介質,其存儲有包括至少一個指令之電腦程式,至少一個指令被電子設備中之處理器執行以實現如上之位姿調整方法。
示例性電腦程式可被分割成一個或多個模組/單元,一個或者多個模組/單元被存儲於記憶體202中,並由處理器201執行,以完成本發明。一個或多個模組/單元可係能夠完成特定功能之一系列電腦程式指令段,指令段用於描述電腦程式於電子設備中之執行過程。
本發明實現上述實施例方法中之全部或部分流程,亦可藉由電腦程式來指令相關之硬體來完成,之電腦程式可存儲於一電腦可讀存儲
介質中,電腦程式於被處理器執行時,可實現上述各個方法實施例之步驟。其中,電腦程式包括電腦程式代碼,電腦程式代碼可為原始程式碼形式、可執行檔或某些中間形式等。電腦可讀介質可包括:能夠攜帶電腦程式代碼之任何實體或裝置、記錄介質、U盤、移動硬碟機、磁碟、光碟、電腦記憶體、唯讀記憶體(ROM,Read-Only Memory)、隨機存取記憶體(RAM,Random Access Memory)、電訊號以及軟體分發介質等。需要說明,電腦可讀介質包含之內容可根據司法管轄區內立法與專利實踐之要求進行適當之增減,例如於某些司法管轄區,根據立法與專利實踐,電腦可讀介質不包括電載波訊號與電信訊號。
於本發明所提供之幾個實施例中,應該理解到,所揭露之電子設備與方法,可藉由其它之方式實現。例如,以上所描述之電子設備實施例僅僅係示意性例如,模組之劃分,僅僅為一種邏輯功能劃分,實際實現時可有另外之劃分方式。
另外,於本發明各個實施例中之各功能模組可集成於相同處理模組中,亦可係各個模組單獨物理存於,亦可兩個或兩個以上模組集成於相同模組中。上述集成之模組既可採用硬體之形式實現,亦可採用硬體加軟體功能模組之形式實現。
對於本領域技術人員而言,顯然本發明不限於上述示範性實施例之細節,且於不背離本發明之精神或基本特徵之情況下,能夠以其他之具體形式實現本發明。因此,無論從哪一點來看,均應將實施例看作係示範性且係非限制性。此外,顯然“包括”一詞不排除其他模組或步驟,單數不排除複數。電子設備中陳述之多個模組或電子設備亦可由同一個模
組或電子設備藉由軟體或者硬體來實現。第一,第二等詞語用以表示名稱,而並不表示任何特定之順序。
以上實施方式僅用以說明本發明之技術方案而非限制,儘管參照以上較佳實施方式對本發明進行了詳細說明,本領域具有通常技藝者應當理解,可對本發明之技術方案進行修改或等同替換均不應脫離本發明技術方案之精神與範圍。本領域具有通常技藝者還可於本發明精神內做其它變化等用於本發明之設計,僅要其不偏離本發明之技術效果均可。該等依據本發明精神所做之變化,均應包含於本發明所要求保護之範圍之內。
S1-S4:步驟
Claims (9)
- 一種車道檢測方法,應用於車輛,其改良在於,所述方法包括:獲取第一影像,所述第一影像包括至少一車輛之影像;根據所述第一影像獲取所述至少一車輛之輪廓及朝向,所述朝向為所述至少一車輛之車頭方向;根據所述至少一車輛之輪廓及朝向獲取所述至少一車輛之軌跡,所述軌跡為所述至少一車輛之移動軌跡方向;根據所述至少一車輛之所述軌跡獲取車道資訊;其中,當所述第一影像為單幀影像且所述第一影像包括至少兩台車輛之影像時,所述根據所述至少一車輛之輪廓及朝向獲取所述至少一車輛之軌跡,包括:根據所述至少兩台車輛之輪廓獲取所述至少兩台車輛之中心點;根據所述至少兩台車輛之中心點及朝向建立至少一個軌跡分組;根據所述至少一個軌跡分組獲取所述至少兩台車輛之軌跡。
- 如請求項1所述之車道檢測方法,其中,所述根據所述至少兩台車輛之中心點及朝向建立至少一個軌跡分組,包括:a.選擇所述至少兩台車輛中之其中一個作為標定車輛,所述標定車輛為所述至少兩台車輛中於所述第一影像中y軸座標最小且未被分配至所述軌跡分組之所述車輛;b.以所述標定車輛之中心為原點,所述標定車輛之朝向為方向向量,獲取所述標定車輛之軌跡延長線;c.判斷所述標定車輛之軌跡延長線是否與其他車輛之車尾影像相交;d.若所述標定車輛之軌跡延長線與其他車輛之車尾影像相交,則將所述 標定車輛及與所述標定車輛之軌跡延長線相交之車輛分配至一個所述軌跡分組,將所述與所述標定車輛之軌跡延長線相交之車輛作為新之所述標定車輛,並重新進行所述以所述標定車輛之中心為原點,所述標定車輛之朝向為方向向量,獲取所述標定車輛之軌跡延長線;e.若所述標定車輛之軌跡延長線與其他車輛之車尾影像不相交,則將所屬標定車輛之軌跡延長線作為一個軌跡分組;重複上述步驟a至步驟e,直至全部所述車輛分配於至少一所述軌跡分組。
- 如請求項2所述之車道檢測方法,其中,所述方法還包括:根據所述軌跡分組內所述車輛之數量判斷所述軌跡分組是否為孤立分組,其中,所述孤立分組包括一車輛;若所述軌跡分組為所述孤立分組,則判斷所述孤立分組內之車輛之軌跡是否與其他車輛之軌跡相交或所述孤立分組內之車輛之軌跡與其他車輛之軌跡距離是否低於一預設距離值;若所述孤立分組內之車輛之軌跡與其他車輛之軌跡相交或所述孤立分組內之車輛之軌跡與其他車輛之軌跡距離低於一預設距離值,則刪除所述孤立分組。
- 如請求項1所述之車道檢測方法,其中,當所述第一影像包括至少兩幀影像且所述第一影像包括至少兩台車輛之影像時,所述方法還包括:f.選取所述第一影像中預設數量幀數之影像;g.選取標定影像幀,所述標定影像幀為所述預設數量幀數之影像中時序最早之一幀影像;h.根據所述標定影像幀獲取所述至少兩台車輛之輪廓獲取所述至少兩 台車輛之中心點,根據所述至少兩台車輛之中心點及朝向建立至少一個軌跡分組,根據所述至少一個軌跡分組獲取所述至少兩台車輛之軌跡;i.於獲取到所述標定影像幀內之全部所述車輛之軌跡後,返回所述選取標定影像幀;重複上述步驟f至步驟i,直至所述預設數量幀數之影像內之全部所述車輛之軌跡獲取完成;根據所述預設數量幀數之影像內之全部所述車輛之軌跡獲取所述車道資訊。
- 如請求項1所述之車道檢測方法,其中,當所述第一影像為單幀影像且所述第一影像包括一車輛時,所述根據所述至少一車輛之輪廓及朝向獲取所述至少一車輛之軌跡,包括:根據所述車輛之輪廓獲取所述車輛之中心點;根據所述車輛之中心點及所述車輛之朝向獲取所述車輛之軌跡。
- 如請求項1所述之車道檢測方法,其中,當所述第一影像包括至少兩幀影像且所述第一影像包括一車輛時,所述根據所述至少一車輛之輪廓及朝向獲取所述至少一車輛之軌跡,包括:獲取所述至少兩幀影像之時序資訊;根據所述車輛之輪廓獲取所述車輛之中心點;根據所述時序資訊、所述車輛之中心點及所述車輛之朝向獲取所述車輛之軌跡。
- 如請求項6所述之車道檢測方法,其中,所述根據所述時序資訊、所述車輛之中心點及所述車輛之朝向獲取所述車輛之軌跡,包括:根據所述時序資訊獲取所述至少兩幀影像中所述車輛之朝向;判斷相鄰幀影像中所述車輛之朝向之間之夾角是否大於一預設夾角值, 其中所述相鄰幀影像之時序相鄰;若所述夾角大於所述預設夾角值,則根據曲線回歸演算法、所述車輛之中心點及所述車輛之朝向獲取所述車輛之軌跡;若所述夾角小於或等於所述預設夾角值,則根據線性回歸演算法、所述車輛之中心點及所述車輛之朝向獲取所述車輛之軌跡。
- 如請求項1所述之車道檢測方法,其中,所述方法還包括:獲取第二影像,所述第二影像包括車道線;根據所述第二影像獲取所述車道之第一資訊;根據所述車道之第一資訊及所述車道資訊獲取第二車道資訊。
- 一種車道檢測裝置,應用於車輛,其改良在於,包括:影像獲取模組,所述影像獲取模組用於獲取第一影像,所述第一影像包括至少一車輛之影像;輪廓獲取模組,連接所述影像獲取模組,所述輪廓獲取模組用於根據所述第一影像獲取所述至少一車輛之輪廓及朝向,所述朝向為所述至少一車輛之車頭方向;軌跡獲取模組,連接所述輪廓獲取模組,所述軌跡獲取模組用於根據所述至少一車輛之輪廓及朝向獲取所述至少一車輛之軌跡,所述軌跡為所述至少一車輛之移動軌跡方向;車道獲取模組,連接所述軌跡獲取模組,所述車道獲取模組用於根據所述至少一車輛之軌跡獲取車道資訊;其中,當所述第一影像為單幀影像且所述第一影像包括至少兩台車輛之影像時,所述根據所述至少一車輛之輪廓及朝向獲取所述至少一車輛之軌跡,包括:根據所述至少兩台車輛之輪廓獲取所述至少兩台車輛之中心點; 根據所述至少兩台車輛之中心點及朝向建立至少一個軌跡分組;根據所述至少一個軌跡分組獲取所述至少兩台車輛之軌跡。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111151024A TWI842321B (zh) | 2022-12-30 | 2022-12-30 | 車道檢測方法及車道檢測裝置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111151024A TWI842321B (zh) | 2022-12-30 | 2022-12-30 | 車道檢測方法及車道檢測裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI842321B true TWI842321B (zh) | 2024-05-11 |
| TW202427389A TW202427389A (zh) | 2024-07-01 |
Family
ID=92076793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111151024A TWI842321B (zh) | 2022-12-30 | 2022-12-30 | 車道檢測方法及車道檢測裝置 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI842321B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111626277A (zh) * | 2020-08-03 | 2020-09-04 | 杭州智诚惠通科技有限公司 | 一种基于治超站交调指标分析的车辆跟踪方法及装置 |
| US20220001872A1 (en) * | 2019-05-28 | 2022-01-06 | Mobileye Vision Technologies Ltd. | Semantic lane description |
| CN115214708A (zh) * | 2021-04-19 | 2022-10-21 | 华为技术有限公司 | 一种车辆意图预测方法及其相关装置 |
-
2022
- 2022-12-30 TW TW111151024A patent/TWI842321B/zh active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220001872A1 (en) * | 2019-05-28 | 2022-01-06 | Mobileye Vision Technologies Ltd. | Semantic lane description |
| CN111626277A (zh) * | 2020-08-03 | 2020-09-04 | 杭州智诚惠通科技有限公司 | 一种基于治超站交调指标分析的车辆跟踪方法及装置 |
| CN115214708A (zh) * | 2021-04-19 | 2022-10-21 | 华为技术有限公司 | 一种车辆意图预测方法及其相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202427389A (zh) | 2024-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | A survey on autonomous driving datasets: Statistics, annotation quality, and a future outlook | |
| Xing et al. | Advances in vision-based lane detection: Algorithms, integration, assessment, and perspectives on ACP-based parallel vision | |
| US11670087B2 (en) | Training data generating method for image processing, image processing method, and devices thereof | |
| CN109389026B (zh) | 车道检测方法和设备 | |
| CN114419098B (zh) | 基于视觉变换的运动目标轨迹预测方法及装置 | |
| CN112258519B (zh) | 一种高精度地图制作中道路的让行线自动化提取方法及装置 | |
| WO2023123837A1 (zh) | 地图的生成方法、装置、电子设备及存储介质 | |
| CN112507862A (zh) | 基于多任务卷积神经网络的车辆朝向检测方法及系统 | |
| CN112654997B (zh) | 一种车道线检测方法和装置 | |
| CN116734828A (zh) | 道路拓扑信息的确定、电子地图数据处理方法、电子设备 | |
| WO2022082571A1 (zh) | 一种车道线检测方法和装置 | |
| CN114091521A (zh) | 车辆航向角的检测方法、装置、设备及存储介质 | |
| CN114694108A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN112528807A (zh) | 行驶轨迹的预测方法、装置、电子设备及存储介质 | |
| CN115292435A (zh) | 高精地图的更新方法和装置、电子设备和存储介质 | |
| CN113902047B (zh) | 图像元素匹配方法、装置、设备以及存储介质 | |
| CN117392423A (zh) | 基于激光雷达的目标物的真值数据预测方法、装置及设备 | |
| CN118038409A (zh) | 车辆可行驶区域检测方法、装置、电子设备及存储介质 | |
| JP2018073275A (ja) | 画像認識装置 | |
| CN115507873B (zh) | 基于公交车尾红绿灯的路径规划方法、装置、设备和介质 | |
| TWI842321B (zh) | 車道檢測方法及車道檢測裝置 | |
| CN112558036A (zh) | 用于输出信息的方法和装置 | |
| CN115123291A (zh) | 一种基于障碍物识别的行为预测方法及装置 | |
| CN116166761B (zh) | 一种基于新增道路场景的高精地图全要素更新方法及装置 | |
| CN118279847A (zh) | 车道检测方法及车道检测装置 |