TWI831242B

TWI831242B - 車輛碰撞預警方法、系統、汽車及電腦可讀存儲介質

Info

Publication number: TWI831242B
Application number: TW111122198A
Authority: TW
Inventors: 李宛真; 郭錦斌
Original assignee: 鴻海精密工業股份有限公司
Priority date: 2022-06-15
Filing date: 2022-06-15
Publication date: 2024-02-01
Also published as: TW202401385A

Abstract

本發明提供一種車輛碰撞預警方法、系統、汽車及電腦可讀存儲介質。車輛碰撞預警方法包括獲取待檢測視頻，待檢測視頻包括複數連續視頻幀；識別每一視頻幀中之車輛之圖像，並藉由光流法確認車輛之運動狀態；識別每一視頻幀中之車道線，以獲取車道訊息；根據車道訊息及車輛之運動狀態，確認是否發出碰撞預警。本申請提供之車輛碰撞預警方法可於較低之成本下，有效減少訊息冗餘，減少碰撞誤判與漏判，提升駕駛安全感。

Description

車輛碰撞預警方法、系統、汽車及電腦可讀存儲介質

本發明涉及車輛輔助駕駛與車輛自動駕駛領域，具體涉及一種車輛碰撞預警方法、系統、汽車及電腦可讀存儲介質。

隨著智慧駕駛技術之發展，智慧駕駛系統之應用越來越廣泛，應用場景亦越來越複雜。本車車輛進行智慧駕駛時，常常需要判斷是否有與其他車輛碰撞之風險。目前通常利用安裝於汽車上之多個感測器來獲取本車與其他車輛之速度、加速度及移動方向等資訊，以為智慧駕駛系統做出輔助判斷。然該種方法應用之感測器較多，成本較高，且需要處理之資訊亦較多，容易產生誤判及漏判。因此，亟待提出一種成本較低，且較準確之車輛碰撞預測方法。

為此，有必要提供一種車輛碰撞預警方法、裝置、汽車及電腦可讀存儲介質，可低成本地實現車輛碰撞預警，且降低誤判與漏判之情況。

本申請第一方面提供一種車輛碰撞預警方法，所述車輛碰撞預警方法包括：獲取待檢測視頻，所述待檢測視頻包括複數連續視頻幀；識別每一視頻幀中之車輛之圖像，並藉由光流法確認所述車輛之運動狀態；識別每一所述視頻幀中之車道線，以獲取車道訊息；根據所述車道訊息及所述車輛之運動狀態，確認是否發出碰撞預警。

本申請第二方面提供一種車輛碰撞預警系統，包括：獲取模組，用以獲取待檢測視頻，所述待檢測視頻包括複數連續視頻幀；第一識別模組，用以識別並獲取每一所述視頻幀中之車輛圖像，並藉由光流法確認所述車輛之運動狀態；第二識別模組，用以識別每一所述視頻幀中之車道線，以獲取車道訊息；預警模組，用以根據所述車道訊息及所述車輛之運動狀態，做出相應之碰撞預警。

本申請第三方面提供一種汽車，包括記憶體，存儲至少一個指令；及處理器，用以執行所述記憶體中存儲之指令以實現如上所述之車輛碰撞預警方法。

本申請第四方面提供一種電腦可讀存儲介質，存儲有至少一個指令，所述至少一個指令被電子設備中之處理器執行以實現如上所述之車輛碰撞預警方法。

本申請提供之車輛碰撞預警方法，藉由識別車道線，從而先判斷本車與車輛是否處於同一車道，再藉由光流法判斷車輛之運動狀態，從而綜合車道訊息及車輛之運動狀態，確認是否有碰撞風險，相應發出碰撞預警。

S1-S4、S21-S25:步驟

100:車輛碰撞預警系統

10:圖像生成模組

20:第一識別模組

30:第二識別模組

40:預警模組

200:汽車

201:記憶體

202:處理器

203:電腦程式

圖1為本申請一實施例提供之車輛碰撞預警方法之流程圖。

圖2為圖1所示步驟S2之子步驟。

圖3為本車獲取之視頻幀之示意圖。

圖4為本車與車輛處於第一種交通場景下之示意圖。

圖5為本車與車輛處於第二種交通場景下之示意圖。

圖6為本車與車輛處於第三種交通場景下之示意圖。

圖7為本申請一實施例提供之車輛碰撞預警系統之功能模組圖。

圖8為應用本申請實施例提供之車輛碰撞預警方法之汽車之結構示意圖。

如下具體實施方式將結合上述附圖進一步說明本發明。

下面將結合本發明實施例中之附圖，對本發明實施例中之技術方案進行清楚、完整地描述，顯然，所描述之實施例僅僅係本發明一部分實施例，而非全部之實施例。基於本發明中之實施例，本領域具有通常技藝者於沒有做出創造性勞動前提下所獲得之所有其他實施例，均屬於本發明保護之範圍。

除非另有定義，本文所使用之所有之技術與科學術語與屬於本發明之技術領域之具有通常技藝者通常理解之含義相同。本文中於本發明之說明書中所使用之術語僅係為描述具體之實施例，而非旨在於限制本發明。本文所使用之術語“及/或”包括一個或多個相關之所列項目的任意與所有之組合。

於本文中，除非另有明確規定與限定，如有術語“第一”、“第二”僅用於描述目的而不能理解為指示或暗示相對重要性或隱含指明技術特徵之數量。由此，限定有“第一”、“第二”特徵可明示或者隱含包括一個或者多個該特徵。

下面結合附圖，對本發明之一些實施方式作詳細說明。於不衝突之情況下，下述之實施例及實施例中之特徵可相互組合。

隨著智慧駕駛技術之發展，智慧駕駛系統之應用越來越廣泛，應用場景亦越來越複雜。本車車輛進行智慧駕駛時，通常利用安裝於汽車上之多個感測器來獲取本車與其他車輛之速度、加速度及移動方向等訊息，以為智慧駕駛系統做出輔助判斷。然該種方法應用之感測器較多，成本較高，且需要處理之訊息亦較多，需要用到之算力較大，且容易產生誤判及漏判。

請參閱圖1，本申請提供一種車輛碰撞預警方法，可以較低之成本實現車輛碰撞預警，降低誤判及漏判之情況。

圖1係本申請車輛碰撞預警方法之其中一實施例之流程圖。根據不同之需求，該流程圖中步驟之順序可改變，某些步驟可省略。

可理解，本申請提供之車輛碰撞預警方法可應用於各移動裝置上，以為移動裝置發出碰撞預警。於本申請實施例中，以車輛碰撞預警方法應用於汽車上為例進行描述。其中，車輛碰撞預警方法根據檢測到之車輛於本車車輛座標系下之運動狀態發出車輛碰撞預警。

於本申請實施例中，本申請提供之車輛碰撞預警方法包括：

步驟S1：獲取待檢測視頻。

可理解，本車車輛上安裝有攝像裝置對本車周圍之環境進行拍攝，以生成待檢測視頻。待檢測視頻包括複數連續之視頻幀，且視頻幀畫面通常包括車道線、本車周邊之車輛及道路上之其他建築或其他阻擋物(例如樹木、花圃等)。

可理解，於一些實施例中，攝像裝置安裝於車輛之前半部分，例如車頭或者車內後視鏡等位置，用於獲取汽車前向運動方向之道路圖像。

本申請不對攝像裝置安裝之位置進行限制，例如，於其他實施例中，攝像裝置亦可設置於車輛頂部或其他位置。

步驟S2：識別每一視頻幀中之車輛之圖像，並藉由光流法確認車輛之運動狀態。

具體地，請參閱圖2，於本實施例中，步驟S2包括：

步驟S21：藉由車輛檢測模型識別每一視頻幀中之車輛之圖像。

其中，於一些實施例中，車輛檢測模型可藉由特徵提取、邊緣特徵提取等方法識別每一視頻幀中之車輛之圖像。

步驟S22：將每一視頻幀分割為前景圖像及背景圖像，前景圖像包括車輛之像素區域，背景圖像包括視頻幀中除車輛之像素區域以外之像素區域。

於步驟S22中，根據步驟S21中識別到之車輛之圖像之像素區域，生成第一圖像掩膜及第二圖像掩膜。

其中，將視頻幀中之車輛圖像之像素區域中之每一像素之像素值賦值為1，其餘區域之每一像素之像素值賦值為0，以得到第一圖像掩膜；將視頻幀中之車輛圖像之像素區域中之每一像素之像素值賦值為0，其餘區域之像素值賦值為1，以得到第二圖像掩膜。

如此，將第一圖像掩膜與對應之視頻幀進行相乘，得到之圖像為前景圖像；將第二圖像掩膜與對應之視頻幀進行相乘，得到之圖像為背景圖像。

步驟S23：獲取前景圖像中之角點，並採用光流法計算前景圖像中之角點之第一光流速度。

於一些實施例中，可藉由Susan角點提取法或Harris法提取前景圖像中之角點。例如，於一些實施例中，採用Harris法藉由自相關矩陣與微分運算元獲取前景圖像之像素點之灰度變化，從而提取前景圖像中之角點。

可理解，採用光流法計算前景圖像中之角點之第一光流速度，係指藉由光流約束方程計算前景圖像中之角點之速度向量。其中，相鄰之前景圖像之角點形成之位移向量，表示角點於相鄰前景圖像中之運動。如此，藉由計算角點於連續之前景圖像中之位移，即可計算出前景圖像中之第一光流速度，亦即前景圖像中之車輛之速度向量為第一光流速度。

可理解，於步驟S3中，每一前景圖像可包括複數車輛之圖像。且當前景圖像包括複數車輛之圖像時，分別獲取每一車輛圖像之角點，從而分別藉由每一角點計算每一車輛圖像之第一光流速度。

步驟S24：獲取背景圖像中之角點，並採用光流法計算背景圖像中之角點之第二光流速度。

類似地，於步驟S24中，可藉由與步驟S23類似之方法，確認背景圖像中之角點，進而計算連續之背景圖像中之角點之位移，以確認背景圖像之第二光流速度。

步驟S25：根據第一光流速度及第二光流速度確認車輛之運動狀態。

可理解，當前景圖像之車輛之第一光流速度與背景圖像中之第二光流速度之差值於預設範圍內時，可認為第一光流速度與第二光流速度基本相同，亦即，確認對應車輛處於靜止狀態。

當前景圖像之車輛之第一光流速度與背景圖像中之第二光流速度之差值大於預設範圍時，確認對應車輛處於移動狀態，且第一光流速度之方向亦為對應車輛之移動之方向。

步驟S3：識別每一視頻幀中之車道線，以獲取車道訊息。

於步驟S3中，可藉由車道偵測模型識別並獲取每一視頻幀中之車道線，從而確認本車車輛所在之車道及其他車輛所在之車道。例如，請參閱圖3，於一些實施例中，車道偵測模型可藉由邊緣特徵提取或者圖像分割等方法識別出車道線並劃分出車道1、車道2及車道3。於另一些實施例中，車道偵測模型還可為經過訓練之神經網路模型，以基於視頻幀識別出車道線並劃分車道。

可理解，根據步驟S3識別出之車道線及步驟S2，獲取到之車道訊息包括車輛與本車處於同一車道，或車輛與本車處於不同之車道。

可理解，於一些實施例中，可先執行步驟S3之識別車道線之步驟，再執行步驟S2之識別車輛圖像之步驟，從而獲取車道訊息。於另一些實施例中，還可以係步驟S2之識別車輛圖像之步驟與步驟S3之識別車道線之步驟同時進行，以獲取車道訊息。

步驟S4：根據車道訊息及車輛之運動狀態，確認是否發出碰撞預警。

請參閱圖4，於第一種場景中，當車輛C1處於移動狀態，車輛C1與本車處於同一車道，例如車道1，且車輛C1之移動方向與本車車輛之移動方向相反時，發出碰撞預警。

請參閱圖5，於第二種場景中，當車輛C1處於移動狀態，車輛C1與本車車輛處於不同之車道，其中，車輛C1處於第一車道，例如車道1，本車車輛處於第二車道，例如車道2；且車輛C1之移動方向偏離第一車道之車道方向，車輛C1之移動方向與第二車道之車道方向交叉時，發出碰撞預警。

請參閱圖6，於第三種場景中，當車輛C1處於移動狀態，車輛C1與本車車輛處於不同之車道，其中，車輛C1處於第一車道，例如車道1，本車處於第二車道，例如車道2；且車輛C1之移動方向與本車車輛之移動方向不相交時，判斷本車車輛處於安全狀態，不發出碰撞預警。

可理解，於一些實施例中，執行步驟S2-S3之前，還先將每一視頻幀進行相應之影像處理，例如將每一視頻幀轉化為灰度圖像及/或對每一視頻幀進行濾波處理。

可理解，本申請提供之車輛碰撞預警方法，藉由識別車道線，從而先判斷本車與車輛是否處於同一車道，再藉由光流法判斷車輛之運動狀態，從而綜合車道訊息及車輛之運動狀態，確認是否有碰撞風險，相應發出碰撞預警。

請參閱圖7，本申請另一實施例還提供一種車輛碰撞預警系統100。該車輛碰撞預警系統100包括圖像生成模組10、第一識別模組20、第二識別模組30及預警模組40。

其中，圖像生成模組10用以生成待檢測視頻，待檢測視頻包括複數連續視頻幀。可理解，於一些實施例中，圖像生成模組10可包括攝像裝置，用以獲取車輛前向運動方向之圖像。

第一識別模組20用以識別並獲取每一視頻幀中之車輛圖像，並藉由光流法確認車輛之運動狀態。

第二識別模組30用以識別每一視頻幀中之車道線，以獲取車道訊息。

預警模組40用以根據車道訊息及車輛之運動狀態，做出相應之碰撞預警。

可理解，於一些實施例中，預警模組40還包括揚聲器，用於發出相應之語音提示。

可理解，圖像生成模組10、第一識別模組20、第二識別模組30及預警模組40用以共同實現上述車輛碰撞預警方法實施例中之步驟S1至步驟S4，於此不再贅述各所述功能模組之具體實現過程，具體請參閱上述步驟S1至步驟S4。

可理解，請一併參閱圖8，本發明另一實施例還提供一種汽車 200。所述汽車200包括記憶體201、處理器202以及存儲於所述記憶體201中並可於所述處理器202上運行之電腦程式203。

本領域技術人員可理解，所述示意圖僅僅係汽車200之示例，並不構成對汽車200之限定，可包括比圖示更多或更少之部件，或者組合某些部件，或者不同之部件。

所述處理器202用以執行所述電腦程式203時實現上述車輛碰撞預警方法實施例中之步驟，例如第一實施例中所示之步驟S1-S4。或者，所述處理器202執行所述電腦程式203時實現上述車輛碰撞預警系統100中各模組/單元之功能，例如第二實施例中之圖像生成模組10、第一識別模組20、第二識別模組30及預警模組40。

示例地，所述電腦程式203可被分割成一個或多個模組/單元，所述一個或者多個模組/單元被存儲於所述記憶體201中，並由所述處理器202執行，以完成本發明。所述一個或多個模組/單元可為能夠完成特定功能之一系列電腦程式指令段，所述指令段用於描述所述電腦程式203於所述汽車200中之執行過程。例如，所述電腦程式203可被分割成第二實施例中之圖像生成模組10、第一識別模組20、第二識別模組30及預警模組40。

所述處理器202可為中央處理模組(Central Processing Unit，CPU)，還可為其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現成可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可為微處理器或者所述處理器202亦可為任何常規之處理器等，所述處理器202係所述汽車200之控制中心，利用各種介面與線路連接整個汽車200之各個部分。

所述記憶體201可用於存儲所述電腦程式203與/或模組/單元。所述處理器202藉由運行或執行存儲於所述記憶體201內之電腦程式與/或模組/單元，以及調用存儲於記憶體201內之資料，實現所述汽車200之各種功能。所述記憶體201可主要包括存儲程式區與存儲資料區。其中，存儲程式區可存儲作業系統、至少一個功能所需之應用程式(比如聲音播放功能、圖像播放功能等)等。存儲資料區可存儲根據汽車200之使用所創建之資料(比如視頻資料、音訊資料、電話本等)等。此外，記憶體201可包括高速隨機存取記憶體，還可包括非易失性記憶體，例如硬碟機、記憶體、插接式硬碟機，智慧存儲卡(Smart Media Card，SMC)，安全數位(Secure Digital，SD)卡，快閃記憶體卡(Flash Card)、至少一個磁碟記憶體件、快閃記憶體器件、或其他易失性固態記憶體件。

所述汽車200集成之模組/單元如果以軟體功能模組之形式實現並作為獨立之產品銷售或使用時，可存儲於一個電腦可讀取存儲介質中。基於這樣之理解，本發明實現上述實施例方法中之全部或部分流程，亦可藉由電腦程式來指令相關之硬體來完成，所述之電腦程式可存儲於一電腦可讀存儲介質中，所述電腦程式於被處理器執行時，可實現上述各個方法實施例之步驟。其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可為原始程式碼形式、可執行檔或某些中間形式等。所述電腦可讀介質可包括：能夠攜帶所述電腦程式代碼之任何實體或裝置、記錄介質、隨身碟、移動硬碟機、磁碟、光碟、電腦記憶體、唯讀記憶體(ROM，Read-Only Memory)、隨機存取記憶體(RAM，Random Access Memory)、電訊號以及軟體分發介質等。需要說明，所述電腦可讀介質包含之內容可根據司法管轄區內立法與專利實踐之要求進行適當之增減，例如於某些司法管轄區，根據立法與專利實踐，電腦可讀介質不包括電載波訊號與電信訊號。

於本發明所提供之幾個實施例中，應該理解到，所揭露之車輛碰撞預警方法與車輛碰撞預警系統，可藉由其它之方式實現。例如，以上所描述之實施例僅僅係示意性，所述模組之劃分，僅僅為一種邏輯功能劃分，實際實現時可有另外之劃分方式。

另外，於本發明各個實施例中之各功能模組可集成於相同處理模組中，亦可為各個模組單獨物理存在，亦可兩個或兩個以上模組集成於相同模組中。上述集成之模組既可採用硬體之形式實現，亦可採用硬體加軟體功能模組之形式實現。

對於本領域技術人員而言，顯然本發明不限於上述示範性實施例之細節，且於不背離本發明之精神或基本特徵之情況下，能夠以其他之具體形式實現本發明。因此，無論從哪一點來看，均應將實施例看作係示範性且係非限制性。本發明之範圍由所附發明申請專利範圍而非上述說明限定，因此旨於將落於發明申請專利範圍之等同要件之含義與範圍內之所有變化涵括於本發明內。不應將發明申請專利範圍中之任何附圖標記視為限制所涉及之請求項。此外，顯然“包括”一詞不排除其他模組或步驟，單數不排除複數。電子設備請求項中陳述之多個模組或電子設備亦可由同一個模組或電子設備藉由軟體或者硬體來實現。第一，第二等詞語用以表示名稱，而並不表示任何特定之順序。

以上實施方式僅用以說明本發明之技術方案而非限制，儘管參照以上較佳實施方式對本發明進行了詳細說明，本領域具有通常技藝者應當理解，可對本發明之技術方案進行修改或等同替換均不應脫離本發明技術方案之精神與範圍。本領域具有通常技藝者還可於本發明精神內做其它變化等用於本發明之設計，僅要其不偏離本發明之技術效果均可。該等依據本發明精神所做之變化，均應包含於本發明所要求保護之範圍之內。

S1-S4:步驟

Claims

一種車輛碰撞預警方法，藉由處理器執行，其改良在於，所述車輛碰撞預警方法包括：獲取待檢測視頻，所述待檢測視頻包括複數連續視頻幀；識別每一視頻幀中之車輛之圖像，並藉由光流法確認所述車輛之運動狀態；識別每一所述視頻幀中之車道線，以獲取車道訊息；根據所述車道訊息及所述車輛之運動狀態，確認是否發出碰撞預警；其中，所述藉由光流法確認所述車輛之運動狀態包括：將每一視頻幀分割為前景圖像及背景圖像，所述前景圖像包括所述車輛之像素區域，所述背景圖像包括所述視頻幀中除所述車輛之像素區域以外之像素區域；獲取所述前景圖像中之角點，並採用所述光流法計算所述前景圖像中之角點之第一光流速度；獲取所述背景圖像中之角點，並採用所述光流法計算所述背景圖像中之角點之第二光流速度；根據所述第一光流速度及所述第二光流速度確認所述車輛之運動狀態。
如請求項1所述之車輛碰撞預警方法，其中，所述車道訊息包括所述車輛與本車處於同一車道，或所述車輛與所述本車處於不同之車道，所述車輛之運動狀態包括所述車輛處於靜止狀態或所述車輛處於移動狀態，其中，當所述車輛處於移動狀態，所述車輛與所述本車處於同一車道，且所述車輛之移動方向與所述本車之移動方向相反時，發出所述碰撞預警。
如請求項2所述之車輛碰撞預警方法，其中，當所述車輛處於移動狀態，所述車輛與所述本車處於不同之車道，其中，所述車輛處於第一車道，所述本車處於第二車道；且所述車輛之移動方向與所述第二車道之車道方向交叉時，發出所述碰撞預警。
如請求項2所述之車輛碰撞預警方法，其中，當所述車輛處於移動狀態，所述車輛與所述本車處於不同之車道，其中，所述車輛處於第一車道，所述本車處於第二車道；且所述車輛之移動方向符合第一車道之車道方向，所述車輛之移動方向與所述本車之移動方向不相交時，判斷所述本車處於安全狀態，不發出所述碰撞預警。
如請求項1所述之車輛碰撞預警方法，其中，所述根據所述第一光流速度及所述第二光流速度確認所述車輛之運動狀態包括：當所述第一光流速度與所述第二光流速度之差值於預設範圍內時，確認所述車輛之運動狀態為所述車輛處於靜止狀態；當所述第一光流速度與所述第二光流速度之差值大於預設範圍時，確認所述車輛之運動狀態為所述車輛處於移動狀態，且所述第一光流速度之方向為所述車輛之移動方向。
一種車輛碰撞預警系統，其改良在於，所述車輛碰撞預警系統包括：圖像生成模組，用以生成待檢測視頻，所述待檢測視頻包括複數連續視頻幀；第一識別模組，用以識別並獲取每一所述視頻幀中之車輛圖像，並藉由光流法確認所述車輛之運動狀態；第二識別模組，用以識別每一所述視頻幀中之車道線，以獲取車道訊息；預警模組，用以根據所述車道訊息及所述車輛之運動狀態，做出相應之碰撞預警；其中，所述藉由光流法確認所述車輛之運動狀態包括：將每一視頻幀分割為前景圖像及背景圖像，所述前景圖像包括所述車輛之像素區域，所述背景圖像包括所述視頻幀中除所述車輛之像素區域以外之像素區域；獲取所述前景圖像中之角點，並採用所述光流法計算所述前景圖像中之角點之第一光流速度；獲取所述背景圖像中之角點，並採用所述光流法計算所述背景圖像中之角點之第二光流速度；根據所述第一光流速度及所述第二光流速度確認所述車輛之運動狀態。
一種汽車，其改良在於，所述汽車包括：記憶體，存儲至少一個指令；及處理器，用以執行所述記憶體中存儲之指令以實現如請求項1至5中任意一項所述之車輛碰撞預警方法。
一種電腦可讀存儲介質，其改良在於，所述電腦可讀存儲介質中存儲有至少一個指令，所述至少一個指令被電子設備中之處理器執行以實現如請求項1至5中任意一項所述之車輛碰撞預警方法。