TW202123075A

TW202123075A - 影像分析方法及影像分析裝置

Info

Publication number: TW202123075A
Application number: TW108145001A
Authority: TW
Inventors: 劉誠傑
Original assignee: 晶睿通訊股份有限公司
Priority date: 2019-12-10
Filing date: 2019-12-10
Publication date: 2021-06-16

Abstract

一種影像分析方法，用以對一出入口進行影像分析。出入口設置有一可移動的門，且門具有一標誌。影像分析方法包含下列步驟：擷取關於出入口之一影像序列；自影像序列偵測標誌；以及根據標誌之移動狀態判斷門開啟或關閉。

Description

影像分析方法及影像分析裝置

本發明關於一種影像分析方法及影像分析裝置，尤指一種可根據門上標誌之移動狀態判斷門開啟或關閉之影像分析方法及影像分析裝置。此外，本發明之影像分析方法及影像分析裝置可進一步根據物件之移動方向來決定對物件進行計數之時間點。

隨著大數據時代的來臨，利用客觀數據的分析，來檢討或提高某場所的服務品質與經營效率，已經成為愈來愈重要的趨勢。許多場所也透過攝影機來追蹤顧客，以統計進出顧客人數。此外，有些場所會設置有可移動的門，以根據門開關的時間區間來統計進出顧客人數。目前，先前技術係以數位輸入（digital input）的方式將門開關的控制訊號傳給攝影機，以決定門開關的時間區間。然而，對於不同的場所而言，控制線路與控制訊號並沒有統一的標準。於安裝攝影機時，安裝人員需要花費很多時間研究控制線路的設計。若電壓範圍不匹配，攝影機便有可能不動作，甚至被燒毀。此外，對於不同的場所而言，自出入口進入與離開的顧客計算的時間點也應不相同，以增加不同的場所對於進出顧客人數的統計正確性。

本發明的目的之一在於提供一種可根據門上標誌之移動狀態判斷門開啟或關閉之影像分析方法及影像分析裝置，以解決上述問題。此外，本發明之影像分析方法及影像分析裝置可進一步根據物件之移動方向來決定對物件進行計數之時間點。

根據一實施例，本發明之影像分析方法用以對一出入口進行影像分析。出入口設置有一可移動的門，且門具有一標誌。影像分析方法包含下列步驟：擷取關於出入口之一影像序列；自影像序列偵測標誌；以及根據標誌之移動狀態判斷門開啟或關閉。

於另一實施例中，影像分析方法可另包含下列步驟：於一視野範圍內擷取關於出入口之影像序列；當影像序列中之一物件通過對應出入口之一出入基準時，判斷物件之一移動方向；當判斷物件自出入口之一第一側朝出入口之一第二側移動時，將物件計入一第一累計總數；當物件離開視野範圍時，記錄物件之一離開位置；以及根據離開位置決定是否將物件計入一第二累計總數。

根據另一實施例，本發明之影像分析裝置用以對一出入口進行影像分析。出入口設置有一可移動的門，且門具有一標誌。影像分析裝置包含一影像擷取單元以及一處理單元，其中處理單元電性連接於影像擷取單元。影像擷取單元用以擷取關於出入口之一影像序列。處理單元用來執行如上所述之影像分析方法。

綜上所述，本發明係藉由影像分析偵測門上標誌，進而根據門上標誌之移動狀態判斷門開啟或關閉。因此，本發明之影像分析裝置不需要額外接收數位輸入訊號，可有效解決影像分析裝置與特定場所（例如，商店、公共大眾運輸工具等）之控制線路之相容性問題。此外，當影像序列中之物件通過對應出入口之出入基準時，本發明係先判斷物件之移動方向，再根據物件之移動方向來決定對物件進行計數之時間點。藉此，即可有效增加特定場所對於進出顧客人數的統計正確性。

關於本發明之優點與精神可以藉由以下的發明詳述及所附圖式得到進一步的瞭解。

請參閱第1圖至第4圖，第1圖為根據本發明一實施例之影像分析裝置10的功能方塊圖，第2圖為第1圖中的影像分析裝置10設置於場所30之出入口300處的示意圖，第3圖為第2圖中的門301開啟後的示意圖，第4圖為根據本發明一實施例之影像分析方法的流程圖。第4圖中的影像分析方法適用於第1圖中的影像分析裝置10。

如第1圖所示，影像分析裝置10包含一影像擷取單元100以及一處理單元102，其中處理單元102電性連接於影像擷取單元100。於此實施例中，影像分析裝置10可為攝影機。於實際應用中，影像擷取單元100可為電荷耦合元件（Charge-coupled Device，CCD）感測器或互補式金屬氧化半導體（Complementary Metal-Oxide Semiconductor，CMOS）感測器；處理單元102可為具有資料處理/運算功能之處理器或控制器。一般而言，影像分析裝置10中還會設有運作時必要的軟硬體元件，如電路板、電源供應器、應用程式、通訊模組、鏡頭等，視實際應用而定。

如第2圖所示，影像分析裝置10用以對場所30之一出入口300進行影像分析。於此實施例中，可將影像分析裝置10架設於場所30的出入口300處，以於影像分析裝置10之一視野範圍FOV內擷取關於出入口300之一影像序列。於實際應用中，場所30可為商店、公共大眾運輸工具或其它需統計進出物件總數之場所。

此外，出入口300設置有一可移動的門301，且門301具有一標誌3010。於此實施例中，門301可以轉動的方式相對出入口300開啟（如第3圖所示）或關閉（如第2圖所示）。於另一實施例中，門301亦可以直線移動或其它方式相對出入口300開啟或關閉，視實際應用而定。

在以影像分析裝置10執行影像分析方法時，首先，由影像擷取單元100於視野範圍FOV內擷取關於出入口300之影像序列（第4圖中的步驟S10）。於此實施例中，在擷取影像序列後，處理單元102會藉由影像分析技術分析影像序列，以自影像序列偵測標誌3010（第4圖中的步驟S12）。接著，處理單元102會根據標誌3010之移動狀態判斷門301開啟或關閉。

於此實施例中，處理單元102可根據標誌3010於影像序列中之位置變化判斷門301開啟或關閉。如第2圖所示，當門301關閉時，標誌3010位於視野範圍FOV內。因此，當處理單元102在影像序列中偵測到標誌3010時，處理單元102可判斷門301關閉。如第3圖所示，當門301開啟時，標誌3010位於視野範圍FOV外。因此，當處理單元102在影像序列中偵測不到標誌3010時，處理單元102可判斷門301開啟。

於另一實施例中，當門301關閉時，標誌3010可位於視野範圍FOV外；當門301開啟時，標誌3010可位於視野範圍FOV內。因此，當處理單元102在影像序列中偵測不到標誌3010時，處理單元102可判斷門301關閉；當處理單元102在影像序列中偵測到標誌3010時，處理單元102可判斷門301開啟。

於另一實施例中，當門301關閉時，標誌3010可位於視野範圍FOV內之一第一位置；當門301開啟時，標誌3010可位於視野範圍FOV內之一第二位置。因此，當處理單元102在影像序列中偵測到標誌3010位於第一位置時，處理單元102可判斷門301關閉；當處理單元102在影像序列中偵測到標誌3010位於第二位置時，處理單元102可判斷門301開啟。

於另一實施例中，處理單元102可根據標誌3010於影像序列中之移動距離判斷門301開啟或關閉。進一步來說，處理單元102可比較標誌3010於影像序列中之移動距離與一預設距離門檻值。當標誌3010之移動距離大於預設距離門檻值時，處理單元102可判斷門301開啟；當標誌3010之移動距離小於或等於預設距離門檻值時，處理單元102可判斷門301關閉。上述之預設距離門檻值可根據實際應用而設定。

於此實施例中，標誌3010可為貼紙、色塊或其它標誌，且標誌3010可以人工方式設置於門301上不易被遮蔽的位置處。於另一實施例中，影像分析裝置10可與一使用者介面（例如，電腦）形成通訊，使得使用者可藉由使用者介面於影像序列中圈選門301之一部位作為標誌3010。此外，本發明可利用物件再識別（Object Re-identification）的方式比對標誌3010所在區域的影像特徵向量，以確認門301的位置是否有發生變化。

在判斷門301開啟或關閉時，本發明可進一步對影像序列中之物件（例如，人、動物或其它物件）進行計數。於此實施例中，當處理單元102判斷門301開啟時，處理單元102可開始對影像序列中之物件進行計數。當處理單元102判斷門301關閉時，處理單元102即可停止對影像序列中之物件進行計數。藉此，本發明即可根據門301開關的時間區間對影像序列中之物件進行計數。

需說明的是，有些物件在門301的開啟過程中便會通過出入口300。因此，於另一實施例中，在處理單元102判斷門301開啟前之一預定時間（例如，1秒、2秒等），處理單元102即可開始對影像序列中之物件進行計數。舉例而言，本發明可於擷取影像序列時即對影像序列中之物件進行計數且暫存計數結果。當處理單元102判斷門301開啟時，處理單元102可將門301開啟前之預定時間的計數結果一併計入累計總數。藉此，即可避免漏算在門301的開啟過程中便通過出入口300之物件。當處理單元102判斷門301關閉時，處理單元102即可停止對影像序列中之物件進行計數。

請參閱第5圖至第9圖，第5圖為根據本發明另一實施例之影像分析方法的流程圖，第6圖為物件5相對出入口300移動的示意圖，第7圖為物件5相對出入口300移動的另一示意圖，第8圖為物件5相對出入口300移動的另一示意圖，第9圖為物件5相對出入口300移動的另一示意圖。第5圖中的影像分析方法亦適用於第1圖中的影像分析裝置10。以下利用第6圖至第9圖所示之實施例說明本發明如何對影像序列中之物件進行計數。需說明的是，為了方便說明，第6圖至第9圖之出入口300係加大繪示，且省略上述之門301。

如第6圖至第9圖所示，出入口300處可定義一出入基準302，其中出入基準302可為一分界線，但不以此為限。此外，出入口300之相對二側可定義為一第一側S1以及一第二側S2。於此實施例中，出入口300之第一側S1可為場所30之外側，且出入口300之第二側S2可為場所30之內側。然而，於另一實施例中，出入口300之第一側S1亦可為場所30之內側，且出入口300之第二側S2亦可為場所30之外側，視實際應用而定。

在以影像分析裝置10對影像序列中之物件進行計數時，首先，由影像擷取單元100於視野範圍FOV內擷取關於出入口300之影像序列（第5圖中的步驟S20）。於此實施例中，在擷取影像序列後，處理單元102會藉由影像分析技術分析影像序列，以判斷影像序列中是否存在物件（例如，人、動物或其它物件）。若影像序列中存在物件，則處理單元102可藉由影像分析技術進一步分析物件於影像序列中之移動軌跡與位置。如第6圖至第9圖所示，當物件5進入視野範圍FOV時，處理單元102即會記錄物件5之一進入位置P1（第5圖中的步驟S22）。

當影像序列中之物件5於視野範圍FOV內第一次通過對應出入口300之出入基準302時，處理單元102會判斷物件5之一移動方向（第5圖中的步驟S24）。如第6圖與第7圖所示，當影像序列中之物件5於視野範圍FOV內第一次通過對應出入口300之出入基準302時，處理單元102判斷物件5之移動方向為自出入口300之第一側S1朝出入口300之第二側S2移動。如第8圖與第9圖所示，當影像序列中之物件5於視野範圍FOV內第一次通過對應出入口300之出入基準302時，處理單元102判斷物件5之移動方向為自出入口300之第二側S2朝出入口300之第一側S1移動。需說明的是，由於出入基準302為分界線，因此，當物件5跨越出入基準302時，即表示物件5通過出入基準302。

如第6圖與第7圖所示，當處理單元102判斷物件5自出入口300之第一側S1朝出入口300之第二側S2移動時，處理單元102即會將物件5計入一第一累計總數且記錄物件5於第二側S2之一目前位置P2（第5圖中的步驟S26）。於此實施例中，由於出入口300之第一側S1為場所30之外側，且出入口300之第二側S2為場所30之內側，表示物件5於視野範圍FOV內第一次通過出入基準302時，係自場所30之外側進入場所30之內側。因此，上述之第一累計總數可為場所30之累計進入總數。

此外，當處理單元102將物件5計入第一累計總數時，處理單元102可標記物件5已計入第一累計總數。因此，當物件5於視野範圍FOV內來回通過出入基準302時，本發明可防止物件5被重複計入第一累計總數。

當物件5離開視野範圍FOV時，處理單元102即會記錄物件5之一離開位置P3（第5圖中的步驟S28）。接著，處理單元102會判斷目前位置P2與離開位置P3是否位於出入基準302之相對二側（第5圖中的步驟S30）。當處理單元102判斷目前位置P2與離開位置P3位於出入基準302之相對二側時，處理單元102即會將物件5計入一第二累計總數（第5圖中的步驟S32）。當處理單元102判斷目前位置P2與離開位置P3位於出入基準302之同一側時，處理單元102則不會將物件5計入第二累計總數（第5圖中的步驟S34）。由於出入口300之第一側S1為場所30之外側，且出入口300之第二側S2為場所30之內側，表示物件5離開第6圖所示之視野範圍FOV時，係自場所30離開。因此，上述之第二累計總數可為場所30之累計離開總數。

如第6圖所示，由於目前位置P2與離開位置P3位於出入基準302之相對二側（亦即，物件5已離開場所30），因此，處理單元102會將物件5計入第二累計總數。另一方面，如第7圖所示，由於目前位置P2與離開位置P3位於出入基準302之同一側（亦即，物件5尚未離開場所30），因此，處理單元102不會將物件5計入第二累計總數。

如第8圖與第9圖所示，當處理單元102判斷物件5自出入口300之第二側S2朝出入口300之第一側S1移動時，處理單元102會判斷進入位置P1與離開位置P3是否位於出入基準302之相對二側（第5圖中的步驟S36）。當處理單元102判斷進入位置P1與離開位置P3位於出入基準302之相對二側時，處理單元102即會將物件5計入第二累計總數（第5圖中的步驟S38）。當處理單元102判斷進入位置P1與離開位置P3位於出入基準302之同一側時，處理單元102則不會將物件5計入第二累計總數（第5圖中的步驟S40）。

如第8圖所示，由於進入位置P1與離開位置P3位於出入基準302之相對二側（亦即，物件5已離開場所30），因此，處理單元102會將物件5計入第二累計總數。另一方面，如第9圖所示，由於進入位置P1與離開位置P3位於出入基準302之同一側（亦即，物件5尚未離開場所30），因此，處理單元102不會將物件5計入第二累計總數。

請參閱第10圖，第10圖為根據本發明另一實施例之影像分析方法的流程圖。第10圖中的影像分析方法亦適用於第1圖中的影像分析裝置10。除了第10圖中的步驟S26'、S30'與第5圖中的步驟S26、S30有所差異外，第10圖與第5圖中的其它步驟大致相同。因此，以下僅針對第10圖中的步驟S26'、S30'搭配第6圖與第7圖進行說明。

如第6圖與第7圖所示，當處理單元102判斷物件5自出入口300之第一側S1朝出入口300之第二側S2移動時，處理單元102即會將物件5計入一第一累計總數（第10圖中的步驟S26'）。換言之，第10圖中的步驟S26'與第5圖中的步驟S26的差異在於，第10圖中的步驟S26'不需記錄物件5於第二側S2之目前位置P2。

當物件5離開視野範圍FOV時，處理單元102即會記錄物件5之離開位置P3（第10圖中的步驟S28）。接著，處理單元102會判斷離開位置P3是否位於出入基準302之第一側S1（第10圖中的步驟S30'）。當處理單元102判斷離開位置P3位於出入基準302之第一側S1時，處理單元102即會將物件5計入第二累計總數（第10圖中的步驟S32）。當處理單元102判斷離開位置P3不位於出入基準302之第一側S1時，處理單元102則不會將物件5計入第二累計總數（第10圖中的步驟S34）。

如第6圖所示，由於離開位置P3位於出入基準302之第一側S1（亦即，物件5已離開場所30），因此，處理單元102會將物件5計入第二累計總數。另一方面，如第7圖所示，由於離開位置P3不位於出入基準302之第一側S1（亦即，離開位置P3位於出入基準302之第二側S2，物件5尚未離開場所30），因此，處理單元102不會將物件5計入第二累計總數。

因此，根據第5圖與第10圖中的影像分析方法，處理單元102係可根據離開位置P3決定是否將物件5計入第二累計總數。

請參閱第11圖，第11圖為根據本發明另一實施例之出入基準302'的示意圖。如第11圖所示，出入基準302'係為一計數通道，亦即出入基準302'涵蓋一特定範圍。出入基準302'所涵蓋之特定範圍可根據實際應用而設定。於此實施例中，出入基準302'可包含兩條邊界L1、L2以及連接邊界L1、L2之第一分界E1與第二分界E2。當物件5經由邊界L1、L2、第一分界E1與第二分界E2的其中任一個進入出入基準302'，處理單元102可將進入位置設定為起始點Pa。當物件5經由邊界L1、L2、第一分界E1與第二分界E2的其中任一個離開出入基準302'，處理單元102可將離開位置設定為終止點Pb。於此實施例中，物件5經由第一分界E1進入出入基準302'，且經由第二分界E2離開出入基準302'。

接著，處理單元102可利用邊界L1、L2定義參考軸Ax。於此實施例中，由於兩條邊界L1、L2平行無交錯，參考軸Ax可定義為任何相交於終止點Pb且實質平行邊界L1、L2的虛擬線。接著，處理單元102計算物件5於出入基準302'中之移動軌跡相對於參考軸Ax的投影長度Lp。此外，處理單元102可以出入基準302'的預設比例長度作為門檻值，例如門檻值可為出入基準302'長度的90%。接著，處理單元102比較投影長度Lp與門檻值。當投影長度Lp大於門檻值時，處理單元102判斷物件5有通過出入基準302'。反之，當投影長度Lp不大於門檻值時，則處理單元102判斷物件5沒有通過出入基準302'。

請參閱第12圖以及第13圖，第12圖為門301開啟時物件5相對出入口300移動的示意圖，第13圖為物件5進入場所30且位於門301附近的示意圖。於第12圖與第13圖所示之實施例中，場所30可為公共大眾運輸工具（例如，公車）。當門301開啟時，物件5即可進入場所30。如第12圖所示，若物件5在門301開啟期間進入場所30後隨即（於門301尚未關閉時）又離開場所30，則本發明可不對物件5進行計數。如第13圖所示，物件5進入場所30後，可停留於場所30內側靠近出入口300的附近。當門301關閉時，物件5即位於場所30內側靠近門301的附近。此時，本發明可將物件5計入上述之第一累計總數。若物件5在門301開啟後離開場所30，則本發明可將物件5計入上述之第二累計總數。於另一實施例中，若物件5在門301開啟期間離開場所30後隨即（於門301尚未關閉時）又進入場所30，則本發明可不對物件5進行計數。物件5離開場所30後，可停留於場所30外側靠近出入口300的附近。當門301關閉時，物件5即位於場所30外側靠近門301的附近。此時，本發明可將物件5計入上述之第二累計總數。藉此，即可有效增加公共大眾運輸工具對於進出顧客人數的統計正確性。

綜上所述，本發明係藉由影像分析偵測門上標誌，進而根據門上標誌之移動狀態判斷門開啟或關閉。因此，本發明之影像分析裝置不需要額外接收數位輸入訊號，可有效解決影像分析裝置與特定場所（例如，商店、公共大眾運輸工具等）之控制線路之相容性問題。此外，當影像序列中之物件通過對應出入口之出入基準時，本發明係先判斷物件之移動方向，再根據物件之移動方向來決定對物件進行計數之時間點。藉此，即可有效增加特定場所對於進出顧客人數的統計正確性。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

5:物件 10:影像分析裝置 30:場所 100:影像擷取單元 102:處理單元 300:出入口 301:門 302、302':出入基準 3010:標誌 Ax:參考軸 E1:第一分界 E2:第二分界 FOV:視野範圍 L1、L2:邊界 Lp:投影長度 P1:進入位置 P2:目前位置 P3:離開位置 Pa:起始點 Pb:終止點 S1:第一側 S2:第二側 S10-S14、S20-S40、S26'、S30':步驟

第1圖為根據本發明一實施例之影像分析裝置的功能方塊圖。第2圖為第1圖中的影像分析裝置設置於場所之出入口處的示意圖。第3圖為第2圖中的門開啟後的示意圖。第4圖為根據本發明一實施例之影像分析方法的流程圖。第5圖為根據本發明另一實施例之影像分析方法的流程圖。第6圖為物件相對出入口移動的示意圖。第7圖為物件相對出入口移動的另一示意圖。第8圖為物件相對出入口移動的另一示意圖。第9圖為物件相對出入口移動的另一示意圖。第10圖為根據本發明另一實施例之影像分析方法的流程圖。第11圖為根據本發明另一實施例之出入基準的示意圖。第12圖為門開啟時物件相對出入口移動的示意圖。第13圖為物件進入場所且位於門附近的示意圖。

S10-S14:步驟

Claims

一種影像分析方法，用以對一出入口進行影像分析，該出入口設置有一可移動的門，該門具有一標誌，該影像分析方法包含下列步驟：擷取關於該出入口之一影像序列；自該影像序列偵測該標誌；以及根據該標誌之移動狀態判斷該門開啟或關閉。
如請求項1所述之影像分析方法，另包含下列步驟：藉由一使用者介面於該影像序列中標記該門之一部位作為該標誌。
如請求項1所述之影像分析方法，另包含下列步驟：根據該標誌於該影像序列中之位置變化或移動距離判斷該門開啟或關閉。
如請求項1所述之影像分析方法，另包含下列步驟：當判斷該門開啟時，開始對該影像序列中之一物件進行計數；以及當判斷該門關閉時，停止對該影像序列中之該物件進行計數。
如請求項1所述之影像分析方法，另包含下列步驟：在判斷該門開啟前之一預定時間，開始對該影像序列中之一物件進行計數；以及當判斷該門關閉時，停止對該影像序列中之該物件進行計數。
如請求項1所述之影像分析方法，另包含下列步驟：於一視野範圍內擷取關於該出入口之該影像序列；當該影像序列中之一物件通過對應該出入口之一出入基準時，判斷該物件之一移動方向；當判斷該物件自該出入口之一第一側朝該出入口之一第二側移動時，將該物件計入一第一累計總數；當該物件離開該視野範圍時，記錄該物件之一離開位置；以及根據該離開位置決定是否將該物件計入一第二累計總數。
如請求項6所述之影像分析方法，其中該出入基準為一分界線或一計數通道。
如請求項6所述之影像分析方法，另包含下列步驟：當將該物件計入該第一累計總數時，標記該物件已計入該第一累計總數。
如請求項6所述之影像分析方法，另包含下列步驟：判斷該離開位置是否位於該第一側；以及當判斷該離開位置位於該第一側時，將該物件計入該第二累計總數。
如請求項6所述之影像分析方法，另包含下列步驟：當判斷該物件自該出入口之該第一側朝該出入口之該第二側移動時，記錄該物件於該第二側之一目前位置；判斷該目前位置與該離開位置是否位於該出入基準之相對二側；以及當判斷該目前位置與該離開位置位於該出入基準之相對二側時，將該物件計入該第二累計總數。
如請求項6所述之影像分析方法，另包含下列步驟：當該物件進入該視野範圍時，記錄該物件之一進入位置；當判斷該物件自該出入口之該第二側朝該出入口之該第一側移動時，判斷該進入位置與該離開位置是否位於該出入基準之相對二側；以及當判斷該進入位置與該離開位置位於該出入基準之相對二側時，將該物件計入該第二累計總數。
一種影像分析裝置，用以對一出入口進行影像分析，該出入口設置有一可移動的門，該門具有一標誌，該影像分析裝置包含：一影像擷取單元，用以擷取關於該出入口之一影像序列；以及一處理單元，電性連接於該影像擷取單元，用來執行如請求項1至請求項11的其中之一或其組合所述之影像分析方法。