TWI755669B

TWI755669B - 同型車檢索系統及方法

Info

Publication number: TWI755669B
Application number: TW109100060A
Authority: TW
Inventors: 林俊佑
Original assignee: 中華電信股份有限公司
Priority date: 2020-01-02
Filing date: 2020-01-02
Publication date: 2022-02-21
Also published as: TW202127272A

Abstract

本發明係揭露一種同型車檢索系統及方法。首先，取得複數不同視角的車輛圖片中的欲檢索車輛，以將欲檢索車輛的方向與角度統一對齊而達到正規化，再將欲檢索車輛進行特徵點抽取。接著，將欲檢索車輛的特徵點與資料庫的車輛圖片中的車輛的特徵點兩者進行匹配，以計算欲檢索車輛的特徵點與資料庫的車輛圖片中的車輛的特徵點兩者有配對成功的特徵點的數量作為相似度分數。然後，將相似度分數進行投票機制以統計出資料庫的車輛圖片中的車輛的得票數，再從複數車輛圖片中挑選得票數較高或最高的車輛作為欲檢索車輛的同型車或相似車輛。

Description

同型車檢索系統及方法

本發明係關於一種同型車檢索技術，特別是指一種同型車檢索系統及方法。

對於道路交通資訊的偵測，近年來已有許多城市漸漸採用科技執法來取代以往的人力支援，大幅地減少以往警方人力在追查犯罪車輛時，需人工調閱監視影像，並利用肉眼去逐一尋找出犯罪車輛，導致耗費相當多的心力與人力成本。

在追查車輛過程中，車牌通常是車輛的唯一身分作為追蹤依據，但車牌在一些情況下可能難以識別。例如，解析度較差的影像、車牌超出邊界或被裁切等因素，都可能造成看不清車牌的號碼，甚至有心人士在犯罪時，會事先將車牌進行遮蔽、拆卸、偽造或更換等動作，讓警方無法藉由車牌的資訊進行追查。

除了利用車牌來確認車輛，每台車輛也可以藉由車輛的外觀與特徵來區分一台車輛的差異性，以找出特定目標或同型號的車輛，因此車輛檢索技術可廣泛應用在科技執法及智慧交通等領域上。

又，車輛檢索技術主要是針對同一車輛圖片，在不同時間、地點、視角的場景影像中尋找所有同型號的車輛，但一般來說，在成千上百的監視影像中，欲在一系列外型相似的車輛中找出特定的車輛是相當地費時且具挑戰性。

因此，如何提供一種新穎或創新之同型車檢索技術，以提高同型車之車輛辨識正確率，實已成為本領域技術人員之一大研究課題。

本發明提供一種新穎或創新之同型車檢索系統及方法，能提升同型車或相似車輛檢索的可靠性，或者迅速地追蹤到正確的車輛以提升效率，進而提高同型車之車輛辨識正確率。

本發明之同型車檢索系統包括：一自適性車輛正規化模組，係擷取複數不同視角的車輛圖片中的欲檢索車輛，以將複數不同視角的車輛圖片中的欲檢索車輛的方向與角度統一對齊而達到正規化；一特徵點抽取模組，係將經過自適性車輛正規化模組正規化的複數不同視角的車輛圖片中的欲檢索車輛進行特徵點抽取；一辨識與相似度計算模組，係將特徵點抽取模組所抽取的欲檢索車輛的特徵點與資料庫的車輛圖片中的車輛的特徵點兩者進行匹配，以計算欲檢索車輛的特徵點與資料庫的車輛圖片中的車輛的特徵點兩者有配對成功的特徵點的數量作為相似度分數；以及一投票機制模組，係將辨識與相似度計算模組所計算的相似度分數進行投票機制以統計出資料庫的車輛圖片中的車輛的得票數，再從資料庫的複數車輛圖片中挑選得票數較高或最高的車輛作為欲檢索車輛的同型車或相似車輛。

本發明之同型車檢索方法包括：由一自適性車輛正規化模組擷取複數不同視角的車輛圖片中的欲檢索車輛，以將複數不同視角的車輛圖片中的欲檢索車輛的方向與角度統一對齊而達到正規化；由一特徵點抽取模組將經過自適性車輛正規化模組正規化的複數不同視角的車輛圖片中的欲檢索車輛進行特徵點抽取；由一辨識與相似度計算模組將特徵點抽取模組所抽取的欲檢索車輛的特徵點與資料庫的車輛圖片中的車輛的特徵點兩者進行匹配，以計算欲檢索車輛的特徵點與資料庫的車輛圖片中的車輛的特徵點兩者有配對成功的特徵點的數量作為相似度分數；以及由一投票機制模組將辨識與相似度計算模組所計算的相似度分數進行投票機制以統計出資料庫的車輛圖片中的車輛的得票數，再從資料庫的複數車輛圖片中挑選得票數較高或最高的車輛作為欲檢索車輛的同型車或相似車輛。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明。在以下描述內容中將部分闡述本發明之額外特徵及優點，且此等特徵及優點將部分自所述描述內容可得而知，或可藉由對本發明之實踐習得。本發明之特徵及優點借助於在申請專利範圍中特別指出的元件及組合來認識到並達到。應理解，前文一般描述與以下詳細描述二者均僅為例示性及解釋性的，且不欲約束本發明所欲主張之範圍。

1‧‧‧同型車檢索系統

10‧‧‧自適性車輛正規化模組

20‧‧‧特徵點抽取模組

30‧‧‧辨識與相似度計算模組

40‧‧‧投票機制模組

50‧‧‧合理車輛挑選模組

60‧‧‧資料庫

A、B‧‧‧車輛圖片

C‧‧‧同型車或相似車輛的結果

S1至S7‧‧‧步驟

第1圖為本發明之同型車檢索系統的架構示意圖；

第2圖為本發明之資料庫所儲存的車輛圖片的示意圖；

第3圖為本發明之同型車檢索方法的流程示意圖；

第4圖為本發明中的欲檢索車輛之複數不同視角的車輛圖片的示意圖；

第5圖為本發明中從車輛圖片中去除車輛的背景的示意圖；

第6圖至第8圖為本發明中提取車輛輪廓並將車輛的方向與角度統一對齊的示意圖；

第9圖為本發明中抽取車輛的特徵點的示意圖；

第10圖為本發明中匹配欲檢索車輛的特徵點與資料庫的車輛的特徵點的示意圖；

第11圖為本發明將欲檢索車輛之不同視角的車輛圖片與資料庫的不同車輛圖片以多對多方式進行比對的示意圖；

第12圖為本發明中挑選出得票數最高的車輛作為欲檢索的同型車的示意圖；以及

第13圖為本發明將複數車輛圖片的車牌進行遮蔽以辨識出同型車或相似車輛的結果的示意圖。

以下藉由特定的具體實施形態說明本發明之實施方式，熟悉此技術之人士可由本說明書所揭示之內容了解本發明之其他優點與功效，亦可因而藉由其他不同的具體等同實施形態加以施行或應用。

第1圖為本發明之同型車檢索系統1的架構示意圖，且此同型車檢索系統1之主要技術內容如下，其餘內容相同於第2圖至第13圖之內容，於此不再重覆敘述。如第1圖所示，同型車檢索系統1可包括互相通訊或連接之一自適性車輛正規化模組10、一特徵點抽取模組20、一辨識與相似度計算模組30、一投票機制模組40、一合理車輛挑選模組50與一資料庫60。

例如，自適性車輛正規化模組10可為軟體的自適性車輛正規化程式等，特徵點抽取模組20可為軟體的特徵點抽取程式、硬體的抽取器等，辨識與相似度計算模組30可為軟體的辨識與相似度計算程式、硬體的辨識器或計算器等，投票機制模組40可為軟體的投票機制程式等，合理車輛挑選模組50可為軟體的合理車輛挑選程式、硬體的挑選器等。資料庫60可為或表示各種的資料儲存媒體，如硬碟(雲端硬碟)、伺服器(資料伺服器)、儲存器、記憶體等。車輛可為汽車、機車、遊覽車、卡車、貨車等。但是，本發明並不以此為限。

[1]自適性車輛正規化模組10：係從例如監視影像(監視畫面)或使用者所提供的車輛圖片A中自動提取出最佳化的車輛圖片，以提升後續的辨識與相似度計算模組30的辨識率。亦即，自適性車輛正規化模組10可利用深度學習技術精準地裁切複數不同視角的車輛圖片A以去除車輛圖片A中的車輛(欲檢索車輛)的背景，且此深度學習技術可例如為Darknet的Yolo(You Only Look Once；你只需要看一次)演算法，能在監視影像(監視畫面)中針對車輛位置準確地偵測及裁切出複數車輛圖片A，如第4圖至第5圖所示。

又，因裁切後的複數車輛圖片A的角度與方向不盡相同，故自適性車輛正規化模組10可以將複數車輛圖片A統一對齊。申言之，自適性車輛正規化模組10可透過邊緣偵測演算法(如Sobel邊緣偵測演算法或Canny邊緣偵測演算法)，將複數不同視角的車輛圖片A中已去除背景的車輛(欲檢索車輛)進行邊緣偵測以檢測出車輛輪廓，再藉由車輛輪廓取得車輛(欲檢索車輛)的水平方向與垂直方向。自適性車輛正規化模組10亦可利用霍夫轉換法藉由車輛輪廓取得車輛(欲檢索車輛)的最長水平線(車頭或車尾)與最長垂直線(車身的左側或右側)以計算出最長水平線與最長垂直線兩者的夾角，再利用最長水平線與最長垂直線兩者的夾角計算出車輛(欲檢索車輛)的方向與角度，俾將複數不同視角的車輛圖片A統一對齊，如第6圖至第8圖所示。

[2]特徵點抽取模組20：係將經過自適性車輛正規化模組10正規化的車輛進行特徵點抽取，如第9圖所示。此特徵點具有車輛的位置、尺度、旋轉不變量特性，且對車輛的視角變化、鏡射變換、雜訊也保持一定程度的穩定性，並適用在大量的特徵的資料庫60中進行快速、準確的匹配。

[3]辨識與相似度計算模組30：係將欲檢索車輛與資料庫60的車輛圖片B中的車輛的群組進行辨識及相似度計算，且辨識與相似度計算模組30可將欲檢索車輛的特徵點與資料庫60的車輛圖片B中的車輛的特徵點進行匹配，如第10圖所示。再者，辨識與相似度計算模組30對特徵點的匹配是通過計算兩特徵點(即欲檢索車輛的特徵點與資料庫60的車輛圖片B中的車輛的特徵點)的多維特徵點(如128維特徵點)的歐氏距離實現，當兩特徵點的歐氏距離越小，則兩特徵點的相似度越高，而當兩特徵點的歐式距離小於設定的門檻值時，可以判定兩特徵點為配對成功。同時，辨識與相似度計算模組30可計算配對成功的特徵點的數量，並將配對成功的特徵點的數量作為相似度分數，當相似度分數大於相似度門檻值(如設定的相似度門檻值)時，辨識與相似度計算模組30即可初步判定欲檢索車輛與資料庫60的車輛圖片B中的車輛為配對成功。

[4]投票機制模組40：係將欲檢索車輛之複數不同視角的車輛圖片A同時與資料庫60的複數不同車輛圖片B以多對多方式進行比對(如批次比對)，且投票機制模組40可將辨識與相似度計算模組30所計算的相似度分數進行投票機制以統計出資料庫60的車輛圖片B中的車輛的得票數，再從資料庫60的複數車輛圖片B中挑選出得票數較高或最高的車輛作為欲檢索車輛的同型車或相似車輛，從而提升同型車或相似車輛檢索的可靠性，如第11圖所示。

[5]合理車輛挑選模組50：係從投票機制模組40的投票機制的結果中挑選出得票數最高的車輛作為最終欲檢索車輛的同型車或相似車輛，以將欲檢索車輛的同型車或相似車輛的結果C顯示於顯示器(圖未示)上，如第12圖至第13圖所示。

因此，本發明係提供複數車輛圖片A，並加入自適性車輛正規化模組10以自動裁切車輛圖片A及統一對齊車輛的方向，可無須透過人工挑選出多方位或多視角的車輛圖片A，即能提取出最佳化的車輛圖片A。又，本發明可搭配特徵點抽取模組20、辨識與相似度計算模組30、投票機制模組40、合理車輛挑選模組50，以挑選出得票數高或最高的車輛作為欲檢索車輛的同型車或相似車輛的結果C，從而提升同型車或相似車輛檢索的可靠性。

是以，本發明能準確地檢索出例如馬路之監視影像(監視畫面)中出現過的同型車或相似車輛，且在車牌被遮蔽、拆卸、偽造或更換等情況下，仍可迅速從大量車輛圖片中找出得票數最高的相似車輛來辨認出嫌疑的車輛。同時，本發明能協助警方或相關機構從眾多車輛圖片中找出欲檢索車輛的同型車或相似車輛，俾迅速地追蹤到正確的車輛以提升效率。

第2圖為本發明第1圖之資料庫60所儲存的車輛圖片B的示意圖。例如，此資料庫60可從某一路口的監視影像(監視畫面)中蒐集100台車輛，且每台車輛各自取2張不同視角的車輛圖片B，使得資料庫60總共儲存200張車輛圖片B以進行實際檢索。

第3圖為本發明之同型車檢索方法的流程示意圖，第4圖為本發明中的欲檢索車輛之複數不同視角的車輛圖片的示意圖，第5圖為本發明從車輛圖片中去除車輛的背景的示意圖，第6圖至第8圖為本發明中提取車輛輪廓並將車輛的方向與角度統一對齊的示意圖，第9圖為本發明中抽取車輛的特徵點的示意圖，第10圖為本發明中匹配欲檢索車輛的特徵點與資料庫的車輛的特徵點的示意圖，第11圖為本發明將欲檢索車輛之不同視角的車輛圖片與資料庫的不同車輛圖片以多對多方式進行比對的示意圖，第12圖為本發明中挑選出得票數最高的車輛作為欲檢索的同型車的示意圖，第13圖為本發明將複數車輛圖片的車牌進行遮蔽以辨識出同型車或相似車輛的結果的示意圖。

同時，第3圖之同型車檢索方法可包括下列步驟S21至步驟S27，並且參照第1圖與第4圖至第13圖予以說明。

如第3圖之步驟S1與第4圖所示，先取得欲檢索車輛之複數(如5張)不同視角的車輛圖片A(見第1圖)，再將複數(如5張)車輛圖片A上傳至同型車檢索系統1中以準備進行檢索。

如第3圖之步驟S2與第5圖所示，第1圖之自適性車輛正規化模組10可利用深度學習技術，如Darknet的Yolo(你只需要看一次)演算法或進一步套用CoCo(Common Objects in Context；上下文中的通用物件)訓練集，以偵測出複數(如5張)不同視角的車輛圖片A中的車輛位置，俾透過深度學習技術依據車輛位置精準地從車輛圖片A中裁切出車輛(欲檢索車輛)而去除車輛的背景。

如第3圖之步驟S3與第6圖至第8圖所示，自適性車輛正規化模組10可透過邊緣偵測演算法(如Sobel邊緣偵測演算法或Canny邊緣偵測演算法)，將車輛圖片A中已去除背景的車輛(欲檢索車輛)進行邊緣偵測以檢測出車輛輪廓，並利用霍夫轉換法藉由車輛輪廓取得車輛的最長水平線(車頭或車尾)與最長垂直線(車身的左側或右側)，再利用最長水平線與最長垂直線兩者的夾角計算出車輛(欲檢索車輛)的方向與角度，俾依據欲檢索車輛的方向與角度將複數(如5張)不同視角的車輛圖片A統一對齊。

詳言之，在第6圖至第7圖中，自適性車輛正規化模組10可擷取複數不同視角的車輛圖片A中的欲檢索車輛，以將複數不同視角的車輛圖片A中的欲檢索車輛的方向與角度統一對齊而達到正規化。又，由於車輛基本上是個相似於長方體的物件，因此自適性車輛正規化模組10可利用邊緣偵測演算法(如Sobel邊緣偵測演算法或Canny邊緣偵測演算法)取得車輛輪廓，並利用霍夫轉換法藉由車輛輪廓取得車輛的最長水平線與最長垂直線，再藉由最長垂直線的斜率計算出車輛(欲檢索車輛)的方向，進而藉由鏡向方式將車輛的方向統一朝一個方向(如右方或左方)。

另外，在第8圖中，自適性車輛正規化模組10可將藉由鏡向方式處理後的多台(如五台)車輛透過最長垂直線與最長水平線取得所有車輛的夾角，並所有車輛的夾角做平均值，再將多台(如五台車輛)統一以平均值的角度進行矩陣微調，使所有車輛的角度統一對齊。

如第3圖之步驟S4與第9圖所示，特徵點抽取模組20可將經過自適性車輛正規化模組10正規化的複數不同視角的車輛圖片A的欲檢索車輛進行特徵點抽取。亦即，特徵點抽取模組20可透過加速穩健特徵(Speeded Up Robust Features；SURF)演算法從已去除背景的車輛(欲檢索車輛)中抽取獨特且穩定的特徵點(如第9圖之多個圓圈○表示多個特徵點)，亦可透過調整海森(Hessian)矩陣門檻值從已去除背景的車輛(欲檢索車輛)中取得數量較多且穩定的特徵點。例如，當海森(Hessian)矩陣門檻值設為400時，每台車輛可抽取到的特徵點的數量約為100至150點。

如第3圖之步驟S5與第10圖所示，辨識與相似度計算模組30可將特徵點抽取模組20所抽取的欲檢索車輛的特徵點與資料庫60的車輛圖片B中的車輛的特徵點兩者進行匹配，以計算欲檢索車輛的特徵點與資料庫60的車輛圖片B中的車輛的特徵點兩者之間的歐氏距離來找尋配對成功的特徵點，並將配對成功的特徵點的數量作為相似度分數。接著，辨識與相似度計算模組30可判斷相似度分數是否高於相似度門檻值以初步判定欲檢索車輛與資料庫60的車輛圖片B中的車輛是否為同型車或相似車輛。例如，若將相似度門檻值定為20，則成功辨識車輛的條件是：當兩台車輛(即欲檢索車輛與資料庫60的車輛圖片B中的車輛)的相似度分數大於20時，辨識與相似度計算模組30即可初步判定資料庫60的車輛圖片B中的車輛可能為欲檢索車輛的同型車或相似車輛。

如第3圖之步驟S6與第11圖所示，投票機制模組40可將欲檢索車輛之複數(如5張)不同視角的車輛圖片A與資料庫60的複數不同車輛圖片B以多對多方式進行比對，並批次執行上述步驟S5，且投票機制模組40可將辨識與相似度計算模組30所計算的相似度分數進行投票機制以統計出資料庫60的車輛圖片中的車輛的得票數，再從資料庫60的複數車輛圖片B中挑選出得票數較高或最高的車輛作為欲檢索車輛的同型車或相似車輛，從而提升同型車或相似車輛檢索的可靠性。

如第3圖之步驟S7與第12圖至第13圖所示，上述投票機制模組40從步驟S6中挑選出得票數較高的車輛可能為欲檢索車輛的同型車或相似車輛，故合理車輛挑選模組50可從投票機制模組40的投票機制的結果中挑選出得票數最高的車輛作為最終欲檢索車輛的同型車或相似車輛，以將欲檢索車輛的同型車或相似車輛的結果C顯示於顯示器(圖未示)上。

例如，在第12圖中，複數(如5張)不同視角的車輛圖片A都有被成功辨識到資料庫60的其中一台車輛，即可表示資料庫60的該車輛為欲檢索的同型車或相似車輛。另外，在第13圖中，實際將上述複數(如5張)車輛圖片A的車牌進行遮蔽，以模擬出有心人士將車牌遮蔽、拆卸的實際狀況，透過本發明仍可成功地辨識出同型車或相似車輛的結果C。

綜上，本發明之同型車檢索系統及方法可至少具有下列特色、優點或技術功效。

一、本發明係提供複數車輛圖片，並加入自適性車輛正規化模組以自動裁切車輛圖片及統一對齊車輛的方向，可無須透過人工挑選出多方位或多視角的車輛圖片，即能提取出最佳化的車輛圖片。

二、本發明可搭配特徵點抽取模組、辨識與相似度計算模組、投票機制模組、合理車輛挑選模組，以挑選出得票數高或最高的車輛作為欲檢索車輛的同型車或相似車輛的結果，而提升同型車或相似車輛檢索的可靠性。

三、本發明能準確地檢索出例如監視影像中出現過的同型車或相似車輛，且在車牌被遮蔽、拆卸、偽造或更換等情況下，仍可迅速從大量車輛圖片中找出得票數最高的相似車輛來辨認出嫌疑的車輛。

四、本發明能協助警方或相關機構從眾多車輛圖片中找出欲檢索車輛的同型車或相似車輛，俾迅速地追蹤到正確的車輛以提升效率。

五、本發明為智慧安全防護系統之重要技術，能有效降低傳統安全防護領域過度依賴人力或成本耗費龐大等問題。

六、本發明可供警方或相關機構運用在科技執法上，能精準且有效的掌控治安及安全防護，以大幅節省警力或執法人力。

七、本發明可能應用之產業為例如交通、車輛或治安相關產業，且可能應用之產品為例如智慧安全防護系統或科技執法系統等。

上述實施形態僅例示性說明本發明之原理、特點及其功效，並非用以限制本發明之可實施範疇，任何熟習此項技藝之人士均能在不違背本發明之精神及範疇下，對上述實施形態進行修飾與改變。任何使用本發明所揭示內容而完成之等效改變及修飾，均仍應為申請專利範圍所涵蓋。因此，本發明之權利保護範圍，應如申請專利範圍所列。