TWI854869B - 動態場景的物件追蹤方法與系統 - Google Patents

Abstract

一種動態場景的物件追蹤方法與系統，物件追蹤系統取得連續幀後，逐幀辨識其中一或多個物件，並選定第一幀中目標物件，計算目標物件與第二幀中辨識得出的一或多個物件個別的距離，分別得出一或多個物件距離；再辨識目標物件與第二幀的各物件上的字串，計算目標物件的字串與第二幀的每個物件中的字串之間個別的字串相似度。之後運用目標物件與第二幀的每個物件之間的物件距離與字串相似度計算一綜合分數，綜合分數用於判斷第一幀的目標物件是否為在第二幀中的任一物件，當判斷目標物件亦出現在第二幀與往後的幀中，即可進行物件追蹤。

Description

動態場景的物件追蹤方法與系統

說明書公開一種物件追蹤方法，特別是指依據前後幀物件距離與字串相似度的一種動態場景的物件追蹤方法與系統。

現行在連續影像中執行的多物件追蹤演算法（multi-object tracking）中，為了判斷前後兩幀畫面之間是否有些物件屬於同一物件、或有些是新出現的物件，需要計算前後幀中物件之間的匹配程度。通過演算法計算，當前後幀中的兩個物件之間匹配程度夠高，可以判定為同一物件並給予相同的物件編號；相反地，若前後幀中的物件匹配度都低於一閾值，則判定後幀出現的物件為新物件，並給予新的物件編號。

在目前習知常見的物件匹配程度計算方法中，例如一種根據前後幀兩個物件之間位置重疊程度判斷物件匹配程度的一種交聯比方法（intersection over union，IoU），如Sort演算法，以及用於計算兩個物件的外觀特徵相似度的一種外觀指標（appearance metric）方法，例如DeepSort演算法。

然而，但習知演算法用於動態車牌辨識的場景時，會面對幾個問題，問題之一是，由於相對用於演算物件匹配的攝影裝置的來車相對速度高，因此拍攝得到的兩幀畫面中同一台車的車牌移動距離大，常導致同一張車牌前後幀的位置完全沒有重疊，因此無法單純以物件位置的重疊程度來判斷；問題之二是，常見車牌外觀大多都以淺色底、深色字為主，輪廓、長寬比也都相似，其中的字母差異也不足以作為充足的外觀特徵，因此無法僅使用外觀特徵來作為兩車牌是否屬於同一張車牌的判斷依據；問題之三是，在路邊有密集停車或高速公路上看得到對向車道來車的情境中，時常出現短時間內有多張車牌接續出現在畫面中相同的位置上，因此即便有前後幾幀之內有物體出現在同一個位置上，仍沒辦法直接判定為同一物件。

要解決以上問題，需要更進一步的車牌特徵擷取演算過程，但是，若執行物件匹配的裝置為嵌入式設備，並無法提供足夠的算力以擷取每張畫面的每個車牌的特徵。

基於在動態場景中無法僅倚賴車牌位置判斷不同影像中同一車牌的問題，揭露書提出一種動態場景的物件追蹤方法與系統，當考量車牌位置時，並不會要求連續幀中的車牌要重疊，也不會因為前後幀有車牌重疊而判定是同一車牌，所述方法運用在變動場景時，將取得前後幀中的兩個物件（如車牌）的相對距離，並賦予距離分數；進一步地，將計算前後幀每兩個物件之間的相似度，針對車牌辨識而言，利用辨識車牌的結果計算前後幀中車牌之間的字串相似度，賦予相似度分數，方法將根據距離分數與相似度分數執行物件辨識與追蹤。

根據動態場景的物件追蹤系統實施例，系統包括微控制器、影像處理器與攝影模組，其中影像處理器用以執行物件辨識與定位，攝影模組則用於拍攝影片。微控制器即執行物件追蹤方法。

在動態場景的物件追蹤方法中，先以攝影模組拍攝影片，取得連續幀，前後幀以第一幀與第二幀表示，再以影像處理器逐幀辨識其中一或多個物件，並選定其中之一為目標物件。接著，計算第一幀的目標物件與於第二幀中辨識得出的一或多個物件個別的距離，得出一或多個物件距離；再經辨識第一幀的目標物件與第二幀的一或多個物件中的字串，以計算第一幀的目標物件中的字串與第二幀的每個物件中的字串之間個別的字串相似度。

在方法中，運用第一幀的目標物件與第二幀的每個物件之間的物件距離與字串相似度計算一綜合分數，使得物件追蹤系統可根據此綜合分數判斷第一幀的目標物件是否為出現在第二幀中的任一物件。

優選地，所述物件距離為第一幀的目標物件的幾何中心與第二幀中每個物件的幾何中心之間的距離。

優選地，第一幀的目標物件中的字串與第二幀的每個物件中的字串為多個英文字母與/或數字組合的車牌號碼，據此計算兩個物件中字串之間的字串相似度，此為一編輯距離，如一萊文斯坦編輯距離。

進一步地，於得出第一幀的目標物件與第二幀的每個物件之間的綜合分數時，再以綜合分數比對一分數門檻，即可根據與分數門檻的比對結果判斷第一幀的目標物件是否為出現在第二幀中的任一物件。

因此，當根據綜合分數判斷連續多幀出現相同的目標物件，即賦予於連續多幀中出現的目標物件唯一編號，以進行物件追蹤。

為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。

以下是通過特定的具體實施例來說明本發明的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不悖離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。

應當可以理解的是，雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者訊號，但這些元件或者訊號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件，或者一訊號與另一訊號。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。

針對習知演算法不適用在動態變化的場景中追蹤特定物件的問題，揭露書提出一種動態場景的物件追蹤方法與系統，所提出的方法並不要求連續幀中的車牌要重疊，也不會因為前後幀有車牌重疊而判定是同一車牌，取而代之的是取得前後幀中的兩個物件（如車牌）的相對距離，並賦予距離分數；另一方面計算前後幀每兩個物件之間的相似度，如辨識車牌上的字串，再計算前後幀中車牌之間的字串相似度，賦予相似度分數，之後將根據距離分數與相似度分數執行物件辨識與追蹤。

根據動態場景的物件追蹤方法可運用的場景，可參考圖1A與圖1B所示之情境示意圖。

圖1A顯示為利用終端裝置（如行車記錄器）中攝影模組拍攝得出連續幀中的第一幀101，第一幀101顯示安裝終端裝置的後方車輛的前方有車輛11、12與13，通過終端裝置中運行的物件偵測模型（object-detection model）判斷出第一幀101中車輛11的車牌110、車輛12的車牌120與車輛13的車牌130。其中以車輛11設定為目標車輛，車輛11的車牌110即設為目標車牌。

接著圖1B顯示連續幀中的第二幀102影像示意圖，第二幀102中仍包括設為目標車輛的車輛11，並持續拍攝到車牌110，在自動化車牌辨識邊緣運算方法中，通過車牌辨識技術在連續幀中追蹤判斷為相同車牌110的車輛11。此例中，根據車牌辨識結果，第二幀102中已經沒有停在路旁的車輛12與13，車牌辨識結果判斷為另一停在路旁的車輛14（車牌140），持續出現的是車輛11。

基於上述系統藉由攝影模組取得連續幀並即時追蹤其中相同車牌的技術，而特別的是攝影模組可以是行駛中的車輛中的行車記錄器，因此揭露書提出的物件追蹤系統適用於移動行駛中的車輛中的電子裝置中，可實現在動態場景的物件追蹤的目的。

圖2顯示動態場景的物件追蹤方法中前後幀車牌之間距離的關係示意圖。

其中顯示連續幀中的第一幀21，經過車牌辨識得出有幾個車牌（211, 212, 213），在物件追蹤方法中，選定其中之一車牌為目標車牌211，此例顯示車牌號碼為0001，另有車牌212與213。

接著，物件追蹤系統取得連續幀中的另一幀，此例顯示為第二幀22，經過物件辨識後得出第二幀22中包括有多個車牌（221, 222, 223），在物件追蹤方法中，計算第一幀21中目標車牌211與第二幀22中各車牌的距離。此例顯示根據第一幀21的目標車牌211的位置，對應第二幀22的位置標示為目標車牌211’（車牌0001）。因為在動態變化的場景，因此目標車牌211可能已經改變位置為其中之一車牌（221, 222, 223）。

欲判斷第一幀21中目標車牌211是否為第二幀22中的任一車牌，先計算目標車牌211與於第二幀22中辨識得出的車牌（221, 222, 223）個別的距離，以標示在第二幀21中的目標車牌211’（對應第一幀21中目標車牌211的位置）為準，計算得出目標車牌211’與車牌221之間的第一物件距離d1、目標車牌211’與車牌222之間的第二物件距離d2，以及目標車牌211’與車牌223之間的第三物件距離d3。所述距離的計算方式可以是兩個物件在影像中的直線距離，並且所述物件距離可為第二幀中標示的目標物件的幾何中心與其他物件中每個物件的幾何中心之間的距離。

經得出選定的目標車牌211與另一幀（可以是下一幀或前後時間的任何一幀）中辨識得出的一或多個車牌之間的一或多個物件距離，物件距離成為判斷目標車牌211是否出現在另一幀的依據之一。根據圖2顯示的範例，在快速變動的場景下拍攝的連續幀中，第一幀21選定的目標車牌211（車牌號碼0001）到了第二幀22已經移動到其中車牌221，車牌221的車牌號碼在此例中已經辨識為0001。此例顯示完成在連續幀中目標車牌211的辨識與追蹤，根據實施例，物件追蹤系統可同時進行多個目標車牌的辨識與追蹤。

在此一提的是，在物件追蹤的目的上，在變動場景的辨識同一物件除了上述實施例顯示計算目標物件（如目標車牌）與不同幀中的一或多個物件的個別物件距離之外，還將考量目標物件與不同幀的物件之間特徵相似度，如字串相似度。

以車牌為主要實施例，因為一般車輛的車牌外觀相似，不能從物件外觀判斷是前後幀中是否有同一物件，因此進一步考量物件（如車牌）之間特徵相似度，如字串相似度，車牌字串一般為多個英文字母與/或數字組合的車牌號碼。系統將考量所述第一幀的目標物件中的字串與第二幀的每個物件中的字串相似度，實施方式之一可採用一種萊文斯坦編輯距離（Levenshtein distance），萊文斯坦編輯距離為一種編輯距離（edit distance），萊文斯坦編輯距離指經計算得出的兩個字串之間由一個轉成另一個所需的最少編輯操作次數（minimum number of single-character edits between two strings），其中最少編輯操作次數可以解釋為兩個字串的編輯距離，於揭露書提出的物件追蹤方法中作為前後幀中車牌字串相似度。計算字串相似度時，編輯距離為0，即兩字串完全一樣；編輯距離為1，表示兩字串完全不同，因此計算最少編輯操作次數再經正規化後，得出0到1之間的編輯距離，作為字串相似度。運用車牌字串相似度可以排除因為光影與各種因素造成無法準確辨識車牌內容的問題。

萊文斯坦編輯距離（lev _a,b(i,j)）的計算如方程式一，其中 與 表示a, b兩個字串的長度，這兩個字串之間的萊文斯坦編輯距離為lev _a,b( , )，可從方程式一得出，其中lev _a,b(i,j)表示a的前i個字元與b的前j個字元之間的萊文斯坦編輯距離。

方程式一： lev _{a, b}(i,j) =

於是，揭露書提出的動態場景的物件追蹤方法將同時參考物件距離與編輯距離（字串相似度）兩個演算結果，並且根據動態場景的實際情況，例如裝載於運行物件追蹤系統的電子裝置的車輛速度大小，物件距離與編輯距離兩個演算結果可以給予一特定比例（如4:6；並可包括1:1的比例），以計算能夠評估前後幀中物件是否為同一物件的綜合分數，再比對物件追蹤系統設定的判斷門檻，以確定出連續幀中的相同物件，並給予一物件編號。

續參考圖3所示動態場景的物件追蹤系統的主要功能模組實施例圖，其中描述實現運用上述物件距離與編輯距離執行物件追蹤的以軟體與硬體電路協作而實現的各種功能模組。根據實施例，物件追蹤系統的主要功能模組包括攝影模組31、車牌辨識模組33、運算模組35以及用於暫存已處理影像數據（如連續幀數據與車牌影像等）與各種運算過程產生的數值（如物件距離、編輯距離、綜合分數等）的記憶單元37。

根據實施例，可以電子裝置中的影像處理器（image processor）實現所述車牌辨識模組33，其中運用韌體或軟硬體協作執行物件辨識與定位，實施例則包括執行車牌辨識程序331與字串辨識程序333。還可以電子裝置的微控制器實現所述運算模組35，其中主要運行物件距離計算程序351、字串相似度計算程序353與車牌追蹤程序355。

根據圖3顯示的物件追蹤系統的功能模組實施例，其中運作流程可以同時參考圖2顯示前後幀車牌關係示意圖，以及圖4所示動態場景的物件追蹤方法的實施例流程圖。

根據物件追蹤系統執行的動態場景的物件追蹤方法的實施例流程，先以物件追蹤系統中的攝影模組31拍攝影片，並取得連續幀（步驟S401），之後經車牌辨識模組33中運行的車牌辨識程序331逐幀辨識其中一或多個車牌（步驟S403），實施例如圖2顯示第一幀21中車牌，包括目標車牌211與其他車牌212與213，以及第二幀22中的車牌221, 222與223。在此一提的是，所述第一幀21為決定目標車牌的當下接收的影像，第二幀22則可指所述連續幀中的其他任一幀，可以是第一幀21之前的其中之一幀，亦可指第一幀21之後的其他幀。

根據圖2顯示的示意圖，選定第一幀21中的目標物件（如目標車牌211）後，運用物件追蹤系統中以中央處理器與相關電路實作的運算模組35中的物件距離計算程序351，能根據目標車牌211在影像中的位置計算與第二幀22中的一或多個物件（如第二幀22的車牌221, 222與223）之間個別的一或多個物件距離（步驟S405）。

之後，通過車牌辨識模組33中運行的字串辨識程序333辨識第一幀的目標物件（如圖2中第一幀21的目標車牌211）與第二幀的一或多個物件中（如圖2中第二幀22的車牌221, 222與223）的字串（步驟S407）。字串中字元辨識的技術可參考圖8顯示的車牌字串中字元辨識實施例流程圖。

接著，可運用運算模組35中字串相似度計算程序353計算兩個物件之間字串相似度，實施例為計算萊文斯坦編輯距離，藉此得出第一幀的目標物件中的字串與第二幀的每個物件中的字串之間個別的一字串相似度，即兩個車牌之間字串相似度（步驟S409）。

得出第一幀的目標物件與第二幀的一或多個物件之間的物件距離以及兩個物件之間的字串相似度，將第一幀的目標物件與第二幀中每個物件之間的物件距離賦予一距離分數，以及將第一幀的目標物件的字串與第二幀中每個物件的字串之間的字串相似度賦予一字串相似度分數，再根據距離分數與字串相似度分數計算一綜合分數（步驟S411）。根據一實施例，於計算綜合分數時，可距離分數與字串相似度分數的一平均分數為所述綜合分數；或可考量實際動態場景的狀況，於距離分數與字串相似度分數之間設定一比例，再依照比例計算綜合分數。

之後，可根據此綜合分數與系統設定的一分數門檻的比較結果判斷第一幀的目標物件是否為出現在第二幀中的任一物件，其中可以綜合分數大於等於所述分數門檻的物件視為等同第一幀的目標物件，並賦予同一個編號（步驟S413）。經判斷連續幀中有相同物標物件，即可運行運算模組35中的車牌追蹤程序355執行車牌追蹤。相關流程可參考圖5所示車牌追蹤實施例流程圖。

在系統辨識出各幀車牌時，即可逐一編號，之後根據不同幀的兩個車牌之間的距離分數與字串相似度分數得出的綜合分數判斷是否有辨識出連續幀中相同車牌（步驟S501）。若綜合分數小於系統設定的分數門檻，即判斷為不同車牌（否），判斷為新出現車輛的車牌，系統將賦予新編號（步驟S503）。

若綜合分數大於所述分數門檻，表示第一幀中的目標車牌出現在其他幀中（是），包括根據綜合分數判斷連續多幀出現相同的目標車牌，即賦予（包括新增與修改）相同編號（步驟S505），即可針對連續多幀中具有相同編號的車牌執行車牌追蹤（步驟S507）。

其中可針對連續多幀中持續有相同的車牌賦予相同且唯一編號，可於電子裝置的顯示器上標示此唯一編號，亦可標示辨識完成的車牌號碼，使得使用者可以從顯示器中看到連續幀中經過判斷為同一車輛或車牌的影像，方便追蹤車輛。

除以上說明外，在此提出幾個所述方法會面對的情況。根據其中之一情況，當得出第一幀的目標車牌與第二幀車牌所有車牌之間個別的綜合分數時，在比對分數門檻之前，若得出第二幀或其他幀中有多個車牌與目標車牌計算得出的綜合分數都大於等於分數門檻，可以其中綜合分數最高者視為等同第一幀的目標車牌，並賦予相同編號。

然而，在另一情況下，當第一幀與第二幀皆判斷出多張車牌時，若僅以最高綜合分數做為相同車牌的判斷會有例外情況，揭露書提出的辨識車牌字串中字元的方法提出實施方案說明如下。

先參考圖6所示連續幀中第一幀61與第二幀62分別判斷出多個物件（以多張車牌為例）的實施例圖，進一步運用動態場景的物件追蹤方法從連續幀中判斷相同車牌以執行車牌追蹤，可參考圖7所示實施例流程圖。

圖6示意顯示第一幀61中運用車牌辨識技術辨識出三張車牌1A、1B與1C，在連續幀中的另外第二幀62也辨識出三張車牌2D、2E與2F。接著計算不同幀之間物件距離（此例為車牌距離）與字串相似度得出的綜合分數以判斷出不同幀中的相同車牌。

一開始如圖7顯示，在第一幀先選定其中之一車牌為目標車牌（步驟S701），再運用圖4所描述的方法計算目標車牌與第二幀所有車牌之間的車牌距離以及字串相似度，可得出目標車牌與第二幀各車牌之間的個別綜合分數（步驟S703），完成此階段計算後，會判斷是否完成計算（步驟S705），若第一幀中還有其他車牌沒有處理，即重複步驟S701與S703，直到第一幀中的所有車牌完成個別綜合分數的計算。

全部車牌之間的個別綜合分數計算結果可參考表一顯示的範例，其中顯示第一幀中車牌1A與第二幀中車牌2D、2E與2F的個別綜合分數分別為100、90與10；第一幀中車牌1B與第二幀中車牌2D、2E與2F的個別綜合分數分別為95、60與15；第一幀中車牌1C與第二幀中車牌2D、2E與2F的個別綜合分數分別為20、35與25。

表一：

第二幀 第一幀	車牌 2D	車牌 2E	車牌 2F
車牌1A	100	90	10
車牌1B	95	60	15
車牌1C	20	35	25

完成計算不同幀多個車牌之間個別綜合分數後，接著計算第一幀車牌與第二幀車牌一一配對後的整體綜合分數（步驟S707）。也就是說，在此實施例流程中，並非僅以最高個別綜合分數為判斷為不同幀中相同車牌的依據，而是考量不同幀中車牌一一配對後的整體綜合分數，例如第一幀車牌1A與第二幀車牌2D的個別綜合分數為100、第一幀車牌1B與第二幀車牌2E的個別綜合分數為60，以及第一幀車牌1C與第二幀車牌2F的個別綜合分數為25，經此配對後得出的整體綜合分數為185（100+60+25）。然而，這樣配對並非整體綜合分數最高者時，也就是並非是最佳配對的結果。

如此，此實施例流程將計算所有車牌配對的整體綜合分數，共有多筆整體綜合分數，以其中最高整體綜合分數的車牌配對作為最終決定的車牌配對結果（物件配對結果）（步驟S709）。接著，再以分數門檻篩選出不同幀中相同車牌（步驟S711），例如將分數門檻設定為50，在車牌配對結果中，若有綜合分數低於50，將被判定是不同車牌。之後根據車牌配對結果對各幀車牌賦予編號（步驟S701），其中，判斷為相同車牌者賦予相同編號，判斷非為相同車牌者，表示為新出現的車牌，將賦予新的編號。

上述實施例述及辨識車牌字串中字元的方法之一可參考圖8所示車牌字串中字元辨識實施例流程圖。

根據實施例，揭露書提出的物件追蹤系統可設於如行車記錄器等電子裝置中，運用其中攝影模組（如圖3的攝影模組31）取得連續幀組成的影片（步驟S801），再運用軟體與硬體協作車牌辨識模組（如圖3的車牌辨識模組33）中所執行的車牌辨識技術（如圖3的車牌辨識程序331）辨識出影像中一或多個車牌的位置（步驟S803），例如可運用智能方法取得影像中符合車牌特徵的物件，如辨識出各幀中各車輛的車牌的邊界框。取得車牌的影像後，以字串偵測技術（如圖3的字元辨識程序333）進行各車牌字元辨識（步驟S805）。

根據辨識車牌字元的實施例，物件追蹤系統中運算模組針對車牌中的字串字元辨識結果可以執行一信心度演算法，其中針對逐幀辨識各車牌得出的每個字元都演算各字元的信心度（confidence level）（步驟S807）。所述字元的信心度即關於以一智能模型（可針對組成車牌號碼的字母與數字執行辨識的字元辨識模型）辨識車牌上每個字元，並以智能演算法計算為某一字母或數字的機率，系統可設定一個機率門檻（或信心度門檻），大於此機率門檻中機率最大者即為字元的辨識結果。

接著，當完成計算車牌中全部可辨識的字母（全部或超過一定數量的字母）的信心度後，可接著逐幀根據各車牌全部字元的信心度得出整個車牌字元辨識的信心分數（步驟S809）。所述車牌的信心分數為計算車牌中多個字元的信心度的統計值，例如將所有字元的信心度計算平均值、或加總得出總和，或通過權重設定（例如信心度高者給予較高權重）的綜合分數。在此一提的是，車牌中所有或多個字元的信心分數統計方式並不限於以上所述。

以上步驟S807與步驟S809可用於計算連續多幀中每個車牌的信心分數，當在一時間內可計算出多次各車牌的信心分數（步驟S811），可連續統計出這段時間內信心分數最高者（步驟S813），或是於連續幀中每隔一時間間隔計算車牌的信心分數，於車牌消失之前取得具有最高的信心分數的幀影像。此時，當有相同車牌在連續多幀中出現，每一幀都計算出該幀的信心分數，可得出其中最高信心分數者，即可以此具有最高信心分數的車牌的辨識結果作為辨識結果（步驟S815），即完成車牌字串辨識。

綜上所述，根據上述實施例所描述的動態場景的物件追蹤方法與系統，目的之一是能夠在各種情境下執行多物件追蹤，特別是針對變動的場景，並且方法中特別計算連續幀中不同幀之間物件彼此的物件距離以及物件之間的字串相似度，根據物件距離與字串相似度計算綜合分數，據此判斷出連續幀中的相同物件並可執行物件追蹤，如此可以解決習知車牌追蹤方法中無法有效在動態場景中追蹤其中物件的問題。

以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。

101:第一幀 102:第二幀 11, 12, 13, 14:車輛 110, 120, 130, 140:車牌 21:第一幀 211:目標車牌 212, 213:車牌 22:第二幀 211’:目標車牌 221, 222, 223:車牌 d1:第一物件距離 d2:第二物件距離 d3:第三物件距離 31:攝影模組 33:車牌辨識模組 331:車牌辨識程序 333:字串辨識程序 35:運算模組 351:物件距離計算程序 353:字串相似度計算程序 355:車牌追蹤程序 37:記憶單元 61:第一幀 1A, 1B, 1C, 2D, 2E, 2F:車牌 62:第二幀步驟S401～S413:物件追蹤流程 步驟S501～S515:車牌追蹤流程 步驟S701～S711:判斷不同幀相同車牌的流程 步驟S801～S815:車牌字串中字元辨識流程

圖1A與圖1B顯示運用動態場景的物件追蹤方法的情境示意圖；

圖2顯示動態場景的物件追蹤方法中前後幀車牌關係示意圖；

圖3顯示動態場景的物件追蹤系統的主要功能模組實施例圖；

圖4顯示動態場景的物件追蹤方法的實施例流程圖；

圖5顯示車牌追蹤實施例流程圖；

圖6顯示連續幀中判斷相同車牌的實施例示意圖；

圖7顯示動態場景的物件追蹤方法中從連續幀中判斷相同車牌的實施例流程圖；以及

圖8顯示車牌字串中字元辨識實施例流程圖。

21:第一幀

211:目標車牌

212,213:車牌

22:第二幀

211’:目標車牌

221,222,223:車牌

d1:第一物件距離

d2:第二物件距離

d3:第三物件距離

Claims (20)

1. 一種動態場景的物件追蹤方法，執行於一電子裝置中，包括：以一攝影模組拍攝一影片，並取得連續幀；以一影像處理器逐幀辨識其中一或多個物件；由該電子裝置中的一微控制器執行：從該連續幀與辨識得出的該一或多個物件中選定一第一幀中的一目標物件；計算該第一幀的該目標物件與於一第二幀中辨識得出的一或多個物件個別的距離，得出一或多個物件距離；辨識該第一幀的該目標物件與該第二幀的該一或多個物件中的字串；計算該第一幀的該目標物件中的字串與該第二幀的每個物件中的字串之間個別的一字串相似度；運用該第一幀的該目標物件與該第二幀的每個物件之間的該物件距離與該字串相似度計算一綜合分數；以及根據該綜合分數判斷該第一幀的該目標物件是否為出現在該第二幀中的任一物件。
2. 如請求項1所述的動態場景的物件追蹤方法，其中該物件距離為該第一幀的該目標物件的一幾何中心與該第二幀中每個物件的幾何中心之間的距離。
3. 如請求項2所述的動態場景的物件追蹤方法，其中該第一幀的該目標物件中的字串與該第二幀的每個物件中的字串為多個英文字母與/或數字組合的車牌號碼，兩個物件中字串之間的該字串相似度為一編輯距離。
4. 如請求項3所述的動態場景的物件追蹤方法，其中該編輯距離為一萊文斯坦編輯距離，該萊文斯坦編輯距離為兩個物件 中的字串之間由一個字串轉換成另一個字串所需的一最少編輯操作次數。
5. 如請求項1所述的動態場景的物件追蹤方法，其中以該影像處理器逐幀辨識的該一或多個物件為一或多個車牌，該微控制器針對辨識得出的該一或多個車牌逐一編號。
6. 如請求項1至5中任一項所述的動態場景的物件追蹤方法，其中，於得出該第一幀的該目標物件與該第二幀的每個物件之間的該綜合分數時，該微控制器以該綜合分數比對一分數門檻，並根據與該分數門檻的比對結果判斷該第一幀的該目標物件是否為出現在該第二幀中的任一物件。
7. 如請求項6所述的動態場景的物件追蹤方法，其中，當根據該綜合分數判斷連續多幀出現相同的該目標物件，該微控制器賦予於該連續多幀中出現的該目標物件唯一編號，以進行物件追蹤。
8. 如請求項6所述的動態場景的物件追蹤方法，其中，由該微控制器將該第一幀的該目標物件與該第二幀中每個物件之間的該物件距離賦予一距離分數，以及將該第一幀的該目標物件的字串與該第二幀中每個物件的字串之間的該字串相似度賦予一字串相似度分數，再根據該距離分數與該字串相似度分數計算該綜合分數。
9. 如請求項8所述的動態場景的物件追蹤方法，其中，於計算該綜合分數時，該微控制器以該距離分數與該字串相似度分數的一平均分數為該綜合分數；或於該距離分數與該字串相似度分數之間設定一比例，再依照該比例計算該綜合分數。
10. 如請求項9所述的動態場景的物件追蹤方法，其中，以該綜合分數大於等於該分數門檻的物件視為等同該第一幀的該目標物件，由該微控制器賦予同一個編號。
11. 如請求項9所述的動態場景的物件追蹤方法，其中，當該第一幀包括多個物件以及該第二幀中包括多個物件，該微控制器將該第一幀的該多個物件逐一選定為該目標物件，計算出該第一幀的該多個物件個別與該目標物件與該第二幀的每一物件之間的個別綜合分數，並於計算該第一幀該多個物件與該第二幀該多個物件一一配對後加總得出的多筆整體綜合分數，採用其中最高整體綜合分數的物件配對結果，再以該分數門檻決定不同幀中的相同物件，其中由該微控制器判斷為相同物件者賦予同一個編號。
12. 一種動態場景的物件追蹤系統，運用於一電子裝置內，包括：一微控制器；一影像處理器，電性連接該微控制器，用以執行物件辨識與定位；一攝影模組，電性連線該影像處理器，用於拍攝一影片；其中，該微控制器執行一物件追蹤方法，包括：以該攝影模組拍攝該影片，取得連續幀，包括一第一幀與一第二幀；以該影像處理器逐幀辨識其中一或多個物件，選定該第一幀中的一目標物件；計算該第一幀的該目標物件與於該第二幀中辨識得出的一或多個物件個別的距離，得出一或多個物件距離；辨識該第一幀的該目標物件與該第二幀的該一或多個物件中的字串；計算該第一幀的該目標物件中的字串與該第二幀的每個物件中的字串之間個別的一字串相似度；運用該第一幀的該目標物件與該第二幀的每個物件之間 的該物件距離與該字串相似度計算一綜合分數；以及根據該綜合分數判斷該第一幀的該目標物件是否為出現在該第二幀中的任一物件。
13. 如請求項12所述的動態場景的物件追蹤系統，其中該物件距離為該第一幀的該目標物件的一幾何中心與該第二幀中每個物件的幾何中心之間的距離。
14. 如請求項12所述的動態場景的物件追蹤系統，其中該第一幀的該目標物件中的字串與該第二幀的每個物件中的字串為多個英文字母與/或數字組合的車牌號碼，兩個物件中字串之間的該字串相似度為一編輯距離。
15. 如請求項12所述的動態場景的物件追蹤系統，其中逐幀辨識的該一或多個物件為一或多個車牌，並針對辨識得出的該一或多個車牌逐一編號。
16. 如請求項15所述的動態場景的物件追蹤系統，其中將逐幀辨識得出的該一或多個車牌的車牌號碼會該編號顯示於該電子裝置的一顯示器上。
17. 如請求項12至16中任一項所述的動態場景的物件追蹤系統，其中，於該物件追蹤方法中，經得出該第一幀的該目標物件與該第二幀的每個物件之間的該綜合分數時，再以該綜合分數比對一分數門檻，根據與該分數門檻的比對結果判斷該第一幀的該目標物件是否為出現在該第二幀中的任一物件；其中，當根據該綜合分數判斷連續多幀出現相同的該目標物件，即賦予於該連續多幀中出現的該目標物件唯一編號，以進行物件追蹤。
18. 如請求項17所述的動態場景的物件追蹤系統，其中，將該第一幀的該目標物件與該第二幀中每個物件之間的該物件距離賦予一距離分數，以及將該第一幀的該目標物件的字串 與該第二幀中每個物件的字串之間的該字串相似度賦予一字串相似度分數，再根據該距離分數與該字串相似度分數計算該綜合分數。
19. 如請求項18所述的動態場景的物件追蹤系統，其中，於計算該綜合分數時，以該距離分數與該字串相似度分數的一平均分數為該綜合分數；或於該距離分數與該字串相似度分數之間設定一比例，再依照該比例計算該綜合分數。
20. 如請求項19所述的動態場景的物件追蹤系統，其中，以該綜合分數大於等於該分數門檻的物件視為等同該第一幀的該目標物件，並賦予同一個編號；當該第一幀包括多個物件以及該第二幀中包括多個物件，將該第一幀的該多個物件逐一選定為該目標物件，計算出該第一幀的該多個物件個別與該目標物件與該第二幀的每一物件之間的個別綜合分數；計算該第一幀該多個物件與該第二幀該多個物件一一配對後加總得出的多筆整體綜合分數，採用其中最高整體綜合分數的物件配對結果，再以該分數門檻決定不同幀中的相同物件，其中判斷為相同物件者賦予同一個編號。

Images