TW202009871A

TW202009871A - 影像追蹤方法

Info

Publication number: TW202009871A
Application number: TW107128361A
Authority: TW
Inventors: 郭峻因; 張思遠
Original assignee: 國立交通大學
Priority date: 2018-08-14
Filing date: 2018-08-14
Publication date: 2020-03-01
Also published as: US20200058129A1; US11049259B2; TWI679612B

Abstract

本發明之影像追蹤方法包含以下步驟：(A)以影像擷取裝置持續取得多個原始影像，其包含第一視格及第二視格。(B)傳送原始影像至運算裝置，運算裝置根據預設影像集辨識原始影像，以產生位置框。(C)自位置框中取得包含目標物的初始前景影像，初始前景影像和位置框具有像素比值，根據像素比值與第一閾值決定已辨識前景影像。(D)自已辨識前景影像取得一特徵，根據第一視格的已辨識前景影像的特徵與第二視格的已辨識前景影像的特徵取得第一特徵分數。(E)根據第一特徵分數與第二閾值產生目標物匹配結果，且根據目標物匹配結果記錄目標物的移動軌跡。

Description

影像追蹤方法

本發明係關於影像監控技術；具體而言，本發明係關於影像追蹤方法。

隨著影像分析技術的進步，有更多的影像分析應用出現。例如運用於賣場、百貨公司、店鋪等場所進行影像分析、人像偵測等等。習知的影像分析方法大多以人的頭部進行偵測，容易有辨識錯誤的情形。雖有其他技術對辨識錯誤的情況提出改進，但需要另外架設不同視角的攝影裝置，花費成本較高。整體來說，現有技術對移動中行人的辨識和追蹤效果仍有待改進。

本發明之一目的在於提供一種影像追蹤方法，可提高對目標物偵測與追蹤的準確度。

影像追蹤方法包含以下步驟：(A)以影像擷取裝置持續取得相應於偵測範圍的多個原始影像，原始影像包含第一視格及第二視格。(B)傳送原始影像至運算裝置，運算裝置根據預設影像集辨識原始影像，以產生對應目標物之位置框。(C)自位置框中取得包含目標物的初始前景影像，初始前景影像和位置框具有像素比值，根據像素比值與第一閾值以決定已辨識前景影像。(D)自已辨識前景影像取得一特徵，根據第一視格的已辨識前景影像的特徵與第二視格的已辨識前景影像的特徵以取得第一特徵分數。(E)根據第一特徵分數與第二閾值以產生目標物匹配結果，且根據目標物匹配結果記錄目標物的移動軌跡。藉此達成對目標物的追蹤。

10‧‧‧影像擷取裝置

20,20A,20B‧‧‧位置框

30‧‧‧背景

L‧‧‧計數線

32,32-1,32-2‧‧‧初始前景影像

P,P0~P8‧‧‧位置

40,40A,40B‧‧‧移動軌跡

Q‧‧‧位置

50‧‧‧店舖

R‧‧‧偵測區域

A,B,C,D‧‧‧目標物

RB1,RB2,RB3,RB4‧‧‧邊界

U1,U2,U3‧‧‧目標物

Z‧‧‧計數區

D1‧‧‧拍攝方向

f,f1,f2‧‧‧視格

D2,D3‧‧‧方向

θ‧‧‧角度

H‧‧‧水平線

圖1為本發明影像追蹤方法之一實施例流程圖。

圖2A為設置影像擷取裝置的示意圖。

圖2B為產生位置框的示意圖。

圖2C為記錄移動軌跡的示意圖。

圖3為決定已辨識前景影像之一實施例流程圖。

圖4為取得初始前景影像的示意圖。

圖5為取得第一特徵分數之一實施例流程圖。

圖6為取得第一特徵分數之另一實施例流程圖。

圖7為取得色調分布、位置座標、面積的示意圖。

圖8為產生目標物匹配結果之一實施例流程圖。

圖9為配對目標物的示意圖。

圖10為產生目標物匹配結果之另一實施例流程圖。

圖11為檢查目標物匹配結果之一實施例流程圖。

圖12A為配對目標物的另一實施例示意圖。

圖12B為搜尋影像資料的示意圖。

圖13為產生計數值之一實施例流程圖。

圖14為執行計數之一實施例示意圖。

圖15為產生計數值之另一實施例流程圖。

圖16A為執行計數之另一實施例示意圖。

圖16B為以計數線進行計數之示意圖。

本發明係提供一種影像追蹤方法。圖1為本發明影像追蹤方法之一實施例流程圖。影像追蹤方法可分為取得原始影像、產生位置框、決定已辨識前景影像、取得第一特徵分數、以及產生目標物匹配結果等階段。如圖1所示，影像追蹤方法包含步驟S100~步驟S500。在步驟S100，以影像擷取裝置持續取得相應於偵測範圍的多個原始影像。原始影像包含第一視格及第二視格。例如，在第一時刻取得第一視格，接著在第二時刻取得第二視格。

請參考圖1及圖2A。圖2A為設置影像擷取裝置的示意圖。如圖2A所示，影像擷取裝置10設置在店鋪50前方，拍攝經過店鋪50的目標物(例如為人、動物、車輛等)。於一實施例，影像擷取裝置10為俯角拍攝。如圖2A所示，影像擷取裝置10的拍攝方向D1與水平線H之間具有角度θ，其角度範圍大於0度且小於90度。

請參考圖1，在步驟S200，傳送原始影像至運算裝置。運算裝置例如為電腦主機，經由有線或無線方式連接影像擷取裝置。在其他實施例，運算裝置可視運算量採用嵌入式裝置，較佳為具有圖形處理單元(GPU)的裝置。此外，在步驟S200，運算裝置根據預設影像集辨識原始影像，以產生對應目標物之位置框。前述預設影像集例如為行人影像樣本，舉例而言，行人影像樣本包含多張具有行人的影像，利用行人影像樣本訓練卷積神經網路模型，再由訓練好的卷積神經網路模型對影像擷取裝置取得的原始影像進行辨識。當辨識原始影像中出現行人時，則會於對應行人的位置產生位置框。應理解，位置框的範圍會隨目標物的大小、距影像擷取裝置的遠近而調整。在其他實施例中，可利用其他機器學習的方式達成對原始影像的辨識。

請參考圖1及圖2B。圖2B為產生位置框的示意圖。如圖2B所示，視格f為某一時刻取得的原始影像。在視格f中，經運算裝置辨識有兩個目標物，為目標物A與目標物B，並於目標物A與目標物B分別產生位置框(20A,20B)。

請參考圖1，在步驟S300，自位置框中取得包含目標物的初始前景影像。初始前景影像和位置框具有像素比值。根據像素比值與第一閾值以決定已辨識前景影像。

以圖2B為例，每一位置框中的影像包含目標物及背景30，將位置框中的背景成分去除後的影像即為初始前景影像。像素比值為初始前景影像的像素個數和位置框的像素個數的比值。根據像素比值與第一閾值決定初始前景影像是否成為已辨識前景影像。換言之，可藉此判斷位置框是否為錯誤的辨識結果，並保留辨識正確的結果成為已辨識前景影像。藉此提高追蹤目標物的正確性。

在步驟S400，自已辨識前景影像取得特徵。自每一目標物的已辨識前景影像中取出特徵(例如以數值化方式表示)，並將特徵記錄以供後續計分。特徵可以為單一類型或多個類型。此外，在步驟S400，根據第一視格的已辨識前景影像的特徵與第二視格的已辨識前景影像的特徵以取得第一特徵分數。

圖2C為記錄移動軌跡的示意圖。以圖2C為例，影像擷取裝置先後取得視格f1及視格f2。兩視格中皆有辨識到目標物A與目標物B。第一特徵分數是將不同視格的特徵進行計分。例如，對應視格f1目標物A的已辨識前景影像的特徵與對應視格f2目標物A的已辨識前景影像的特徵計算得到第一特徵分數。對應視格f1目標物B的已辨識前景影像的特徵與對應視格f2目標物B的已辨識前景影像的特徵計算得到第一特徵分數。

需補充的是，一般而言，第一視格為取得第二視格之前所取得的影像。於一實施例，第二視格是指當前時刻所得到的影像，而第一視格是指在取得第二視格的前一時刻所得到的影像。在一些實施例中，第一視格是指在第二視格之前且儲存於追蹤表單中的影像。

在步驟S500，根據第一特徵分數與第二閾值以產生目標物匹配結果。根據第一特徵分數與第二閾值決定已辨識前景影像是否為同一目標物。以表1為例，視格1辨識到目標物A與目標物B，並將目標物A與目標物B的已辨識前景影像儲存在追蹤表單。視格2辨識到目標物U1與目標物U2，此時結果尚未儲存在追蹤表單。在取得第一特徵分數並且根據第一特徵分數與第二閾值後發現目標物U1即為目標物A，而目標物U2即為目標物B，將視格2所得的已辨識前景影像儲存在追蹤表單，並依相同目標物分類。藉此完成目標物匹配結果，並達成對目標物的追蹤。

此外，在步驟S500，根據目標物匹配結果記錄目標物的移動軌跡。如圖2C所示，目標物分類完成後，可在視格f2記錄目標物A的移動軌跡40A以及目標物B移動軌跡40B。

圖3為決定已辨識前景影像之一實施例流程圖。如圖3所示，決定已辨識前景影像的流程包含步驟S302~步驟S308。在取得原始影像、產生位置框後，接著為步驟S302。在步驟S302，濾除位置框中的背景影像，以取得初始前景影像。舉例而言，利用背景相減法將背景影像自位置框分離。

請參考圖3及圖4。圖4為取得初始前景影像32的示意圖。如圖4所示，視格f中產生對應目標物A的位置框20，利用背景相減法濾除不要的部分(斜線區域)，剩下來的部分為初始前景影像32。

在其他實施例中，除了利用背景相減法外，可再配合形態學的運算做進一步的處理。例如採用膨脹(dilation)及收縮(erosion)運算將前述位置框中剩下來的部分的影像訊號放大，並搭配中值濾波(median filter)運算調整影像銳利度，藉此得到初始前景影像。

回到圖3，在步驟S304~S308，決定初始前景影像是否為已辨識前景影像。在步驟S304，取得像素比值並判斷是否大於或等於第一閾值T_b(例如設定為0.5)。當像素比值大於或等於第一閾值T_b，則設定初始前景影像成為已辨識前景影像(步驟S306)；反之，當像素比值小於第一閾值，刪除對應初始前景影像的位置框(步驟S308)。

整體而言，辨識結果的正確度可通過不同方式來把關，例如調整神經網路模型中各層的參數使辨識結果更準確，另外如前述設定第一閾值及計算像素比值的方式也可以檢視辨識結果的正確度。藉此篩選出有效的辨識結果，以達到辨識結果優化的效果。

應理解，一張視格中可能辨識到多個位置框，一些可成為已辨識前景影像，另一些則否。在其他例子中，可能一張視格內的全部位置框皆被判斷為應刪除，此時則為處理下一張視格(回到步驟S100)，而不進行步驟S400。

圖5為取得第一特徵分數之一實施例流程圖。如圖5所示，取得第一特徵分數的流程包含步驟S402~步驟S404。在取得原始影像、產生位置框、決定已辨識前景影像後，接著為步驟S402。在步驟S402，自已辨識前景影像取得位置座標。亦即，位置座標作為特徵。較佳而言，位置座標對應目標物整體，換言之，位置座標的取得是以整個目標物為對象，而非以特定的局部部位為對象。位置座標例如為已辨識前景影像的幾何中心的座標點。

在步驟S404，根據第一視格的已辨識前景影像的位置座標與第二視格的已辨識前景影像的位置座標以取得距離分數。亦即，距離分數作為第一特徵分數(參考表2)。

表2

具體而言，運算裝置中儲存有關於距離的一設定值。此外，從第一視格及第二視格所得位置座標可求出距離。根據設定值與距離可取得距離分數Sd。舉例來說，設定值為100(像素)，距離分數Sd可由下列計分函式定義：

上式中，x為距離，Td為設定值。根據上式，距離分數Sd為小於或等於1的數值，當根據位置座標求出的距離小於或等於100，會得到一個不為0的分數；當位置座標求出距離大於100，則會得到0分。前述設定值的大小可根據畫面解析度來調整。

圖6為取得第一特徵分數之另一實施例流程圖。如圖6所示，取得第一特徵分數的流程包含步驟S412~步驟S416。在取得原始影像、產生位置框、決定已辨識前景影像後，接著為步驟S412。在步驟S412，自已辨識前景影像取得色調分布、位置座標、面積。亦即，自已辨識前景影像取得多個不同種類的特徵，包含色調分布、位置座標、面積。位置座標較佳係對應目標物整體，例如採用已辨識前景影像的幾何中心的座標點為位置座標。此外，色調分布和面積較佳係對應目標物整體。色調分布例如為已辨識前景影像轉換為HSV(Hue,Saturation,Value，即色相、飽和度、明度)色彩空間後，取色相值的統計結果。面積例如為已辨識前景影像所佔面積。整體而言，對應目標物整體所擷取的特徵具有容易追蹤的優點，且可改善追蹤時發生遺漏目標物的情形，此外，採用本發明的影像追蹤方式可用既有的影像擷取裝置完成，而不需另外架設不同視角的攝影裝置，可降低系統建置成本。

請參考圖7。圖7為取得色調分布、位置座標、面積的示意圖。如圖7所示，視格f中產生對應目標物A的位置框20。自視格f對應目標物A的已辨識前景影像32-2可取得位置Q的位置座標(x2,y2)。為方便說明，圖中省略已辨識前景影像的內容而僅以輪廓表示。另外，在視格f之前所取得另一視格(圖未示)中，自對應目標物A的已辨識前景影像32-1可取得位置P的位置座標(x1,y1)。於一實施例，根據位置P和位置Q可進一步取得目標物A移動的距離。在其他實施例，根據位置P和位置Q可進一步取得目標物A移動的速度。

另外，自已辨識前景影像32-1所涵蓋範圍(大致為橢圓形)可取得已辨識前景影像32-1的面積，同樣地，可取得已辨識前景影像32-2的面積。如圖7所示，已辨識前景影像32-1和已辨識前景影像32-2有重疊(斜線標示處)，根據重疊區域可進一步取得面積重疊比值(例如重疊部分占已辨識前景影像32-2的比例)。

此外，自已辨識前景影像32-2可取得色調分布。如圖7所示的關係圖，橫軸為色相，其中的數值代表不同的顏色；縱軸為像素數量。藉此可統計得到已辨識前景影像32-2中不同顏色的數量分布。此外，採用HSV色彩空間可避免光影的亮暗變化影響統計結果，以提高後續流程所得結果的正確性。類似地，自已辨識前景影像32-1亦可取得另一色調分布。根據兩已辨識前景影像可進一步取得相關係數。

回到圖6，在步驟S414，根據第一視格的已辨識前景影像的特徵(相關係數、距離分數、面積分數)與第二視格的已辨識前景影像的特徵(相關係數、距離分數、面積分數)以取得不同的計分項目(參考)。

請參考表3。如上述，根據色調分布取得相關係數。例如，以正規化互相關運算(normalized cross correlation)求取相關係數Sn，以比較前後兩已辨識前景影像的相似度。距離分數Sn為小於或等於1的數值，數值愈高表示愈相似。

另外，根據位置座標可取得距離分數Sd。如前述的例子中，位置座標可求出距離，且根據設定值Td，於計分函式可得到距離分數Sd，在此不另贅述。

就面積而言，從第一視格及第二視格已辨識前景影像可取得面積，且根據兩已辨識前景影像的重疊區域可取得面積重疊比值。根據面積重疊比值可求取面積分數Sa。舉例來說，面積分數Sa可由下列計分函式定義：Sa=exp(-abs(x-1))上式中，x為面積重疊比值，abs( )為取絕對值，exp( )為取自然指數。x的取值方式例如為：當前後兩已辨識前景影像有重疊，則依重疊比例作為x的數值，此時x為小於或等於1的數值。當前後兩已辨識前景影像未重疊，則x的數值為999。根據上式，面積分數Sa為小於或等於1的數值，當前後兩已辨識前景影像有重疊，隨重疊面積愈大，面積分數愈接近1；當前後兩已辨識前景影像未重疊，面積分數會趨近0分。藉此，根據面積所得之面積重疊比值並將面積重疊比值取指數以得到面積分數。

此外，如表3所示，運算裝置中儲存有對應相關係數之第一權重Wn、對應距離分數之第二權重Wd、以及對應面積分數之第三權重Wa。於一實施例，第一權重、第二權重、第三權重可分別設定為0.5、0.4、0.1。前述權重的設定的大小可根據拍攝場景來調整。如圖6所示，在步驟S416，取得各計分項目的加權總和。如表3所示，第一特徵分數為各特徵所得計分項目的數值與對應權重的加權總和。

圖8為產生目標物匹配結果之一實施例流程圖。如圖8所示，產生目標物匹配結果的流程包含步驟S502~步驟S514。在取得原始影像、產生位置框、決定已辨識前景影像、取得第一特徵分數後，接著為步驟S502。在步驟S502，取得第一特徵分數並判斷是否大於或等於第二閾值T_c。當第一特徵分數大於或等於第二閾值T_c，則判斷第一視格的已辨識前景影像和第二視格的已辨識前景影像對應相同目標物(步驟S504)；反之，當第一特徵分數小於第二閾值T_c，判斷第一視格的已辨識前景影像和第二視格的已辨識前景影像對應不同目標物。

進一步而言，前後視格需比對的已辨識前景影像可能不只一個，因此取得第一特徵分數包含多種配對組合。請參考圖8與圖9。圖9為配對目標物的示意圖。以圖9為例，視格f1辨識到目標物A與目標物B，並將目標物A與目標物B的已辨識前景影像儲存在追蹤表單。視格f2辨識到目標物 U1與目標物U2，此時結果尚未儲存在追蹤表單。圖9中第一特徵分數對應的組合有：U1與A、U1與B、U2與A、U2與B。例如，根據上述流程判斷目標物U1即為目標物A，那麼在取得U2與A的第一特徵分數時會發現U2與A兩者的已辨識前景影像對應不同目標物。參考圖8，確認嘗試其他已辨識前景影像(步驟S505)。若取得U2與B的第一特徵分數亦小於第二閾值T_c，除了判斷U2與B兩者的已辨識前景影像對應不同目標物，更進一步得知目標物U2與追蹤表單內的已辨識前景影像對應不同目標物(步驟S506)。換句話說，當所得出第一特徵分數皆小於第二閾值T_c，可得知目標物U2是新的目標物。最後如圖8所示，在步驟S514，產生目標物匹配結果、記錄移動軌跡並更新追蹤表單。在上述例子中，以視格f2的已辨識前景影像更新追蹤表單。

圖10為產生目標物匹配結果之另一實施例流程圖。如圖10所示，產生目標物匹配結果的流程包含步驟S502~步驟S514，其中，步驟S502~步驟S506大致如前所述，與圖8所示方法的差異在於，在圖10中增加第三閾值T_t的判斷(步驟S503)。於判斷第一特徵分數大於或等於第二閾值後，比較第一特徵分數與第三閾值。當第一特徵分數大於或等於第二閾值T_c，且大於或等於第三閾值T_t，則判斷第一視格的已辨識前景影像和第二視格的已辨識前景影像對應相同目標物(步驟S504)。第三閾值大於第二閾值。舉例來說，第二閾值設定為0.75，第三閾值設定為0.95。

當第一特徵分數小於第三閾值T_t，進入步驟S507。如圖8所示，在步驟S507，將已辨識前景影像暫存。例如，已辨識前景影像儲存於暫存表單。在步驟S508，判斷第一時間區間內是否有已辨識前景影像的第一特徵分數大於或等於第三閾值T_t。若有，則刪除暫存(步驟S510)，並以大於或等於第三閾值T_t的已辨識前景影像更新追蹤表單(步驟S514)；若無，則選擇第一特徵分數中最大者所對應的已辨識前景影像(步驟S512)，並更新追蹤表單(步驟S514)。藉此，根據第一特徵分數、第二閾值、第三閾值與時間區間以產生目標物匹配結果。藉由增加的第三閾值以進一步確保存入追蹤表單的已辨識前景影像的可靠度。

以下表4為例，原始影像包含視格1~視格4。視格1辨識到目標物A與目標物B，並將目標物A與目標物B的已辨識前景影像儲存在追蹤表單。視格2辨識到目標物U1、目標物U2、目標物U3，經判斷目標物U1即為目標物A，目標物U3為不同的目標物C，並將目標物U1與目標物U3的已辨識前景影像儲存在追蹤表單。另外，目標物U2比對與目標物B相似，但由於第一特徵分數小於第三閾值T_t，因而將目標物U2的已辨識前景影像置於暫存表單。在設定第一時間區間為三個視格的時間內對其他視格的結果進行觀察。

如表4所示，在視格3及視格4皆辨識到三個目標物且成功追蹤到目標物A與目標物C，而視格3的另一目標物與視格1的目標物B相似，但由於第一特徵分數小於第三閾值T_t，因而將視格3的另一目標物的已辨識前景影像置於暫存表單，同樣地，視格4的另一目標物與視格1的目標物B相似，但由於第一特徵分數小於第三閾值T_t，因而將視格3的另一目標物的已辨識前景影像置於暫存表單。如前述，當設定第一時間區間為三個視格的時間內(視格2至視格4)，皆未有視格與追蹤表單中的已辨識前景影像所得第一特徵分數大於或等於第三閾值T_t，而視格4的目標物與視格1的目標物B所得第一特徵分數(見括弧中標示數字)較其他視格的第一特徵分數高，故選擇視格4的目標物的已辨識前景影像儲存在追蹤表單。在其他實施例，第一時間區間可視需求調整。

圖11為檢查目標物匹配結果之一實施例流程圖。如圖11所示，檢查目標物匹配結果的流程包含步驟S520~步驟S590。在步驟S520，取得目標物匹配結果。在步驟S522，確認目標物匹配結果中，已辨識前景影像是否皆有配對。若皆有配對，則檢查結束(步驟S590)；若有已辨識前景影像未配對，則接續步驟S524或步驟S526。在步驟S524，當前視格有未配對的已辨識前景影像，則確認為不同目標物(步驟S525)。

請參考圖11與圖12A。圖12A為配對目標物的另一實施例示意圖。以圖12A為例，自視格f1及視格f2產生目標物匹配結果，其中視格f2為當前視格。根據目標物匹配結果，視格f2辨識到的目標物U1即為目標物A，視格f2辨識到的目標物U2即為目標物B。視格f2辨識到的目標物U3與之前的已辨識前景影像未對應相同目標物，故確認目標物U3為不同目標物。

如圖11所示，在步驟S526，當追蹤表單有未配對的已辨識前景影像，則接續步驟S527~步驟S537。所述追蹤表單的已辨識前景影像是相對於當前視格而言，以圖12A為例，當前視格為視格f2，追蹤表單的已辨識前景影像為視格f1的已辨識前景影像。如圖12A所示，目標物匹配結果顯示視格f1對應目標物C的已辨識前景影像未更新，根據設定的搜尋範圍進行尋找。請參考圖12B。圖12B為搜尋影像資料的示意圖。舉例而言，目標物C可能被遮檔而未獲得配對，根據視格f1對應目標物C的已辨識前景影像的位置座標，位於位置P0。另外，根據預設的搜尋範圍(例如5個像素距離)，在視格f2中於可能的位置中進行尋找。如圖12B所示，可能的位置形成一組集合，包含位置P1~位置P8，在視格f2中搜尋是否有影像資料與視格f1對應目標物C的已辨識前景影像對應相同的目標物。

如圖11所示，在步驟S527，判斷是否在搜尋範圍內找到，並且在步驟S529，判斷第二特徵分數是否大於或等於第四閾值T_z。第二特徵分數例如採用前述相關係數進行計分，並比較相關係數與第四閾值T_z的大小。以圖12A及圖12B為例，若於視格f2的位置P1~位置P8，找到影像資料，且根據視格f1的已辨識前景影像的色調分布與視格f2的影像資料的色調分布所取得的相關係數(第二特徵分數)大於或等於第四閾值，則判斷搜尋到的影像資料即為目標物C。接著記錄移動軌跡並更新追蹤表單(步驟S531)並結束檢查(步驟S590)。

當搜尋範圍內未找到相符的影像資料或第二特徵分數小於第四閾值T_z，則判斷第二時間區間內是否有影像資料的第二特徵分數大於或等於第四閾值T_z(步驟S533、步驟S535)。若有，則記錄移動軌跡並更新追蹤表單(步驟S531)並結束檢查(步驟S590)；若仍未找到相符的影像資料或第二特徵分數小於第四閾值T_z，則判斷已辨識前景影像對應的目標物已離開偵測範圍(步驟S537)，並結束檢查(步驟S590)。藉此避免過程中未被追蹤到的目標物在後來的視格出現時被認為是新的目標物。

以下表5為例，原始影像包含視格1~視格4。視格1辨識到目標物A、目標物B、目標物C，並將目標物的已辨識前景影像儲存在追蹤表單。在視格2~視格3，皆辨識到三個目標物且成功追蹤到目標物A與目標物B，而另一目標物為不同的目標物D。在視格2，執行上述檢查流程，未有影像資料所得第二特徵分數大於或等於第四閾值T_z，在預設的第二時間區間內(例如三個視格的時間內，即視格2至視格4)執行檢查。如表5所示，在視格3執行上述搜尋流程也未搜尋到相符的影像資料。接著在視格4成功追蹤到目標物A、目標物B、目標物D，且自追蹤表單儲存的三個視格的已辨識前景影像中，也追蹤到目標物C，則結束檢查，不用於視格4執行步驟S527~步驟S537的搜尋流程。

在另一例子中，若表5中的視格4如同視格2和視格3辨識到三個目標物(A、B、D)，而執行上述搜尋流程也未搜尋到與目標物C相符的影像資料。由於在第二時間區間內未能搜尋到相符的影像資料，故判斷目標物C已離開影像擷取裝置的偵測範圍。在其他實施例，除了設定有關於位置座標的搜尋範圍，也可增加以速度的方式來尋找。根據目標物先前的位置座標及目標物的移動速度進行搜尋，藉此提高搜尋的準確度。

圖13為產生計數值之一實施例流程圖。如圖13所示，於產生目標物匹配結果後，還包含計數階段。在步驟S600，於每一原始影像中產生計數區，當目標物的移動軌跡跨越計數區，產生計數值。請參考圖14。圖14為執行計數之一實施例示意圖。如圖14所示，視格f中具有偵測範圍R，且於視格f中產生計數區Z。在視格中，辨識到目標物A，當目標物A的移動軌跡跨越計數區Z，則判斷偵測範圍R中有目標物通過，並累計數量。

圖15為產生計數值之另一實施例流程圖。如圖15所示，於產生目標物匹配結果後，計數的流程包含步驟S612~步驟S621。在步驟S612，產生計數線。例如，產生對應計數區之計數線，計數線可以是位於計數區兩邊緣之間的位置，或是與計數區其中一邊緣重疊。在步驟S614，取得計數線的直線方程式。在步驟S616，取得移動軌跡的第一位置及第二位置。例如，目標物於前一視格位於第一位置，於當前視格位於第二位置。在步驟S618，判斷第一位置及第二位置是否在計數線同側。若位於同側，則不產生計數值(步驟S620)；若位於同側，則產生計數值(步驟S621)。

請參考圖16A與圖16B。圖16A為執行計數之另一實施例示意圖。圖16B為以計數線進行計數之示意圖。如圖16A所示，視格f中具有偵測範圍R，且於視格f中產生計數線L。在視格f中，辨識到目標物A與目標物B，根據目標物A的移動軌跡判斷目標物A已跨越計數線L，因此累計數量。另外，根據目標物B的移動軌跡判斷目標物B未跨越計數線L，因此不累計數量。

需補充的是，計數線L的位置可根據目標物的流動方向來設定。例如，計數線L較佳通過畫面中間位置，且不與偵測範圍R的邊界重疊。如圖16A所示，偵測範圍R具有偵測邊界RB1~RB4。計數線與偵測邊界RB1~RB4不重疊(即位於不同直線上)。

如圖16B所示，目標物的移動軌跡通過計數線L。計數線L例如具有直線方程式：ax+by+c=0。目標物的移動軌跡具有位置P及位置Q，例如，根據直線方程式，位置P位於直線方程式ax+by+c<0的一側，位置Q位於直線方程式ax+by+c>0的一側。由於目標物的位置移動至計數線的不同側，故產生計數值。

需補充的是，藉由取得對應目標物整體的特徵，追蹤目標物時不會侷限於特定的方向。換言之，如圖16A的例子，對於朝不同方向移動的目標物A與目標物B皆能進行追蹤與計數。以圖16B而言，朝方向D2通過計數線L的移動軌跡，以及朝相反於方向D2的方向D3通過計數線L的移動軌跡皆能進行追蹤與計數。藉此提高計數的正確性且避免遺漏。

本發明已由上述相關實施例加以描述，然而上述實施例僅為實施本發明之範例。必需指出的是，已揭露之實施例並未限制本發明之範圍。相反地，包含於申請專利範圍之精神及範圍之修改及均等設置均包含於本發明之範圍內。

S100、S200、S300、S400、S500‧‧‧步驟

Claims

一種影像追蹤方法，用於偵測至少一目標物，該方法包含以下步驟：(A)以一影像擷取裝置持續取得相應於一偵測範圍的多個原始影像，該些原始影像包含一第一視格及一第二視格；(B)傳送該些原始影像至一運算裝置，該運算裝置根據一預設影像集辨識該些原始影像，以產生對應該目標物之一位置框；(C)自該位置框中取得包含該目標物的一初始前景影像，該初始前景影像和該位置框具有一像素比值，根據該像素比值與一第一閾值以決定一已辨識前景影像；(D)自該已辨識前景影像取得至少一特徵，根據該第一視格的已辨識前景影像的該特徵與第二視格的已辨識前景影像的該特徵以取得一第一特徵分數；以及(E)根據該第一特徵分數與一第二閾值以產生一目標物匹配結果，且根據該目標物匹配結果記錄該目標物的移動軌跡。
如請求項1所述之方法，其中該影像擷取裝置為俯角拍攝，該影像擷取裝置的拍攝方向與水平線的角度範圍大於0度且小於90度。
如請求項1所述之方法，其中該步驟(C)包含：濾除該位置框中的一背景影像，以取得該初始前景影像。
如請求項1所述之方法，其中於該步驟(C)，當該像素比值大於或等於該第一閾值，設定該初始前景影像成為該已辨識前景影像；當該像素比值小於該第一閾值，刪除對應該初始前景影像的該位置框。
如請求項1所述之方法，其中於該步驟(D)，該特徵包含對應該目標物整體的位置座標，該步驟(D)包含：根據一設定值與該位置座標所得之距離取得一距離分數作為該第一特徵分數。
如請求項1所述之方法，其中於該步驟(D)，自該已辨識前景影像取得多個特徵，該些特徵包含對應該目標物整體的色調分布、位置座標、面積；該步驟(D)包含：根據該色調分布取得的一相關係數；根據一設定值與該位置座標所得之距離取得一距離分數；根據該面積所得之面積重疊比值並將該面積重疊比值取指數以得到一面積分數；以及設定對應該相關係數之一第一權重、對應該距離分數之一第二權重、對應該面積分數之一第三權重；其中該第一特徵分數為各特徵所得數值與對應權重的加權總和。
如請求項1所述之方法，其中於該步驟(E)，當該第一特徵分數大於或等於該第二閾值，判斷該第一視格的已辨識前景影像和該第二視格的已辨識前景影像對應相同目標物；當該第一特徵分數小於該第二閾值，判斷該第一視格的已辨識前景影像和該第二視格的已辨識前景影像對應不同目標物。
如請求項1所述之方法，其中該第一視格的已辨識前景影像儲存於一追蹤表單，該些原始影像包含一第三視格，該步驟(E)包含：設定一第三閾值及一第一時間區間，其中該第三閾值大於該第二閾值；於判斷該第一特徵分數大於或等於該第二閾值後，比較該第一特徵分數與該第三閾值；當該第一特徵分數大於或等於該第三閾值，判斷該第一視格的已辨識前景影像和該第二視格的已辨識前景影像對應相同目標物；當該第一特徵分數小於該第三閾值，根據第一視格的已辨識前景影像的該特徵與於該第一時間區間內取得之該第三視格的已辨識前景影像的該特徵以取得另一第一特徵分數；選擇該些第一特徵分數中最大者所對應的已辨識前景影像更新該追蹤表單。
如請求項1所述之方法，其中該第一視格的已辨識前景影像儲存於一追蹤表單，該步驟(E)包含：設定一搜尋範圍、一第二時間區間、一第四閾值；當該目標物匹配結果顯示該第一視格的已辨識前景影像未更新，根據該第一視格的已辨識前景影像的位置座標及該搜尋範圍，於該第二視格中搜尋是否有一影像資料與該第一視格的已辨識前景影像對應相同的目標物；根據該第一視格的已辨識前景影像的該特徵與第二視格的該影像資料的該特徵以取得一第二特徵分數，當該第二特徵分數大於或等於該第四閾值，判斷該第一視格的已辨識前景影像和該第二視格的該影像資料對應相同目標物；當於該第二時間區間內未搜尋到該影像資料，判斷該第一視格的已辨識前景影像對應的目標物已離開該偵測範圍。
如請求項1所述之方法，更包含步驟(F)：於每一原始影像中產生一計數區；當該目標物的移動軌跡跨越該計數區，產生一計數值。
如請求項10所述之方法，其中該步驟(F)包含：產生對應該計數區之一計數線，該計數線具有一直線方程式；該目標物的移動軌跡具有一第一位置及一第二位置，根據該直線方程式，當該第一位置與該第二位置位於該計數線的不同側，產生該計數值。
如請求項11所述之方法，其中該計數值是根據朝一第一方向跨越該計數線的移動軌跡，以及朝相反於該第一方向之一第二方向跨越該計數線的移動軌跡所產生。