TW201812701A

TW201812701A - 影像處理方法、影像處理裝置及影像處理系統

Info

Publication number: TW201812701A
Application number: TW105131479A
Authority: TW
Inventors: 劉誠傑; 林摯言
Original assignee: 晶睿通訊股份有限公司
Priority date: 2016-09-30
Filing date: 2016-09-30
Publication date: 2018-04-01
Also published as: US20180096225A1; TWI584227B; US10592775B2

Abstract

一種影像處理方法，包含下列步驟：接收一影像序列；當該影像序列中出現至少一物體時，分析每一該物體之一移動軌跡；自每一該移動軌跡取出至少一特徵點；將一預定時間周期內每一該移動軌跡之該至少一特徵點分類為至少一群組；以及儲存每一該群組之至少一特徵參數。

Description

影像處理方法、影像處理裝置及影像處理系統

本發明關於一種影像處理方法、影像處理裝置及影像處理系統，尤指一種可有效減少資料儲存量之影像處理方法、影像處理裝置及影像處理系統。

熱度圖（heat map）係用來呈現地圖或畫面上的資料點分布與密度。先前技術產生熱度圖的方式是採用畫面差來判斷連續畫面上改變的多寡，來決定熱度圖的顏色，並且使用點陣圖（bitmap）的方式將熱度圖儲存起來。此外，也有先前技術係將影像中所有物體移動的軌跡儲存起來，再利用儲存的資料將所有物體移動的軌跡次數按照比例畫上熱度圖。上述方式的資料儲存量甚大。當影像中的物體愈多時，資料儲存量也會愈來愈大，使得硬體負荷增加。

本發明的目的之一在於提供一種可有效減少資料儲存量之影像處理方法、影像處理裝置及影像處理系統，以解決上述問題。

根據一實施例，本發明之影像處理方法包含下列步驟：接收一影像序列；當該影像序列中出現至少一物體時，分析每一該物體之一移動軌跡；自每一該移動軌跡取出至少一特徵點；將一預定時間周期內每一該移動軌跡之該至少一特徵點分類為至少一群組；以及儲存每一該群組之至少一特徵參數。

根據另一實施例，本發明之影像處理裝置包含一影像接收單元、一儲存單元以及一處理單元，其中該處理單元電性連接於該影像接收單元與該儲存單元。該影像接收單元接收一影像序列。當該影像序列中出現至少一物體時，該處理單元分析每一該物體之一移動軌跡，自每一該移動軌跡取出至少一特徵點，將一預定時間周期內每一該移動軌跡之該至少一特徵點分類為至少一群組，儲存每一該群組之至少一特徵參數於該儲存單元中，分析每二該群組間之一移動次數，儲存每二該群組間之該移動次數於該儲存單元中，且根據該等特徵參數及/或每二該群組間之該移動次數產生一影像分佈圖。該至少一特徵點包含一起始點、一結束點、一轉彎點以及一停留點的至少其中之一。每一該群組以圓形呈現，且該等特徵參數包含一圓心以及一半徑。該等特徵參數包含該群組中之一特徵點數量。當該至少一特徵點包含一停留點時，該等特徵參數包含該停留點之一平均停留時間。該影像分佈圖為一熱度圖。

根據另一實施例，本發明之影像處理系統包含一主機以及一影像處理裝置，其中該影像處理裝置與該主機形成通訊。該主機包含一儲存單元以及一處理單元，其中該處理單元電性連接於該儲存單元。該影像處理裝置包含一影像接收單元。該影像接收單元接收一影像序列且將該影像序列傳送至該主機。當該影像序列中出現至少一物體時，該處理單元分析每一該物體之一移動軌跡，自每一該移動軌跡取出至少一特徵點，將一預定時間周期內每一該移動軌跡之該至少一特徵點分類為至少一群組，儲存每一該群組之至少一特徵參數於該儲存單元中，分析每二該群組間之一移動次數，儲存每二該群組間之該移動次數於該儲存單元中，且根據該等特徵參數及/或每二該群組間之該移動次數產生一影像分佈圖。該至少一特徵點包含一起始點、一結束點、一轉彎點以及一停留點的至少其中之一。每一該群組以圓形呈現，且該等特徵參數包含一圓心以及一半徑。該等特徵參數包含該群組中之一特徵點數量。當該至少一特徵點包含一停留點時，該等特徵參數包含該停留點之一平均停留時間。該影像分佈圖為一熱度圖。

綜上所述，在接收影像序列後，本發明係分析影像序列中每一個物體之移動軌跡，自每一個移動軌跡取出特徵點，且將預定時間周期（例如，15分鐘、30分鐘等）內每一個移動軌跡之特徵點分類為複數個群組。接著，再儲存每一個群組之複數個特徵參數，以作為產生影像分佈圖（例如，熱度圖）之依據。由於本發明不需儲存每一個物體之移動軌跡，因此，可有效減少資料儲存量，進而降低硬體負荷。

關於本發明之優點與精神可以藉由以下的發明詳述及所附圖式得到進一步的瞭解。

請參閱第1圖至第4圖，第1圖為根據本發明一實施例之影像處理系統1的功能方塊圖，第2圖為第1圖中的影像處理裝置12所擷取之影像序列3的示意圖，第3圖為根據第2圖中的影像序列3產生的複數個群組(cluster)R1-R9與D1-D4的示意圖，第4圖為根據本發明一實施例之影像處理方法的流程圖。第4圖中的影像處理方法適用於第1圖中的影像處理系統1。

如第1圖所示，影像處理系統1包含一主機10以及一影像處理裝置12，其中影像處理裝置12與主機10形成通訊。於此實施例中，主機10可為電腦、伺服器或其它具有資料運算/處理功能之電子裝置，且影像處理裝置12可為網路攝影機（Network Camera / IP Camera）、網路影像錄影機（Network Video Recorder，NVR）或其它具有影像接收功能之電子裝置。於實際應用中，影像處理裝置12與主機10可以有線或無線的方式形成通訊，影像處理裝置12與主機10之間的通訊網路可為區域網路（local area network）或網際網路（Internet）。

於此實施例中，主機10包含一儲存單元100以及一處理單元102，其中處理單元102電性連接於儲存單元100。於實際應用中，儲存單元100可為記憶體、硬碟或其它資料儲存裝置；處理單元102可為具有資料處理功能之處理器或控制器。一般而言，主機10中還會設有運作時必要的軟硬體元件，如電路板、電源供應器、應用程式、通訊模組等，視實際應用而定。

於此實施例中，影像處理裝置12包含一影像接收單元120。於實際應用中，影像接收單元120可為電荷耦合元件（Charge-coupled Device，CCD）感測器或互補式金屬氧化半導體（Complementary Metal-Oxide Semiconductor，CMOS）感測器。一般而言，影像處理裝置12中還會設有運作時必要的軟硬體元件，如電路板、電源供應器、應用程式、通訊模組、鏡頭等，視實際應用而定。

本發明之影像處理系統1可用來產生影像分佈圖，其中影像分佈圖可為一熱度圖，但不以此為限。在以影像處理系統1產生影像分佈圖時，首先，由影像接收單元120接收一影像序列3（第4圖中的步驟S10）。需說明的是，為簡明示意，第2圖係以單張靜態影像代表影像序列3，於實際應用中，影像序列3係為由多張於不同時間接收的影像所組成的動態影像。在接收影像序列3後，影像處理裝置12將影像序列3傳送至主機10。如第2圖所示，影像序列3存在複數個物體30。需說明的是，影像序列3存在之物體數量可為一或多個，不以第2圖所繪示之實施例為限。此外，第2圖所繪示之物體30係以人體為例。然而，於另一實施例中，影像序列3存在之物體亦可為車輛、動物或其它物體。

當影像序列3中出現至少一物體30時，處理單元102分析每一個物體30之一移動軌跡（第4圖中的步驟S12）。接著，處理單元102自每一個移動軌跡取出至少一特徵點（第4圖中的步驟S14）。於此實施例中，特徵點可包含物體30之移動軌跡之一起始點、一結束點、一轉彎點以及一停留點的至少其中之一，其中起始點係為物體30於影像序列3中的最初出現位置，結束點係為物體30於影像序列3中的最後出現位置，轉彎點係為物體30於影像序列3中的轉彎位置，且停留點係為物體30於影像序列3中的停留位置。舉例而言，當物體30於影像序列3中的特定位置停留超過預定時間門檻值（例如，1分鐘、2分鐘等）時，此特定位置即為停留位置。需說明的是，本發明可根據Ramer–Douglas–Peucker演算法或其他類似方式自物體30之移動軌跡取出上述之特徵點，其中Ramer–Douglas–Peucker演算法係為習知技藝之人所熟知，在此不再贅述。

接著，處理單元102將一預定時間周期內每一個移動軌跡之至少一特徵點分類為至少一群組（第4圖中的步驟S16）。舉例而言，若預定時間周期為15分鐘，且特徵點包含物體30之移動軌跡之起始點、結束點、轉彎點以及停留點，則本發明可將15分鐘內所有的起始點、結束點與轉彎點分類為至少一個群組，例如第3圖中的複數個群組R1-R9，且將15分鐘內所有的停留點分類為至少一個群組，例如第3圖中的複數個群組D1-D4。需說明的是，每一個群組R1-R9可包含至少一起始點、至少一結束點及/或至少一轉彎點，且每一個群組D1-D4可包含至少一停留點。需說明的是，上述之群組的分類方法可參考https://en.wikipedia.org/wiki/Cluster_analysis，在此不再贅述。此外，上述之預定時間周期可根據實際應用而設定為3分鐘、10分鐘、30分鐘或其它時間周期，不以15分鐘為限。

接著，處理單元102儲存每一個群組R1-R9、D1-D4之至少一特徵參數於儲存單元100中（第4圖中的步驟S18）。如第3圖所示，每一個群組R1-R9、D1-D4可以圓形呈現，因此，每一個群組R1-R9、D1-D4之特徵參數可包含對應圓形之圓心之XY座標以及半徑。於另一實施例中，每一個群組R1-R9、D1-D4可以橢圓形呈現，因此，每一個群組R1-R9、D1-D4之特徵參數可包含對應橢圓形之中心之XY座標、半長軸、半短軸以及角度。於另一實施例中，每一個群組R1-R9、D1-D4可以高斯分佈呈現，因此，每一個群組R1-R9、D1-D4之特徵參數可包含對應高斯分佈之中心之XY座標以及標準差（sigma）。需說明的是，上述之群組之種類可參考https://en.wikipedia.org/wiki/Cluster_analysis，在此不再贅述。

此外，上述之特徵參數可另包含每一個群組R1-R9、D1-D4中之一特徵點數量。對每一個群組R1-R9而言，特徵點數量即為起始點、結束點及/或轉彎點之數量；對每一個群組D1-D4而言，特徵點數量即為停留點之數量。

再者，當至少一特徵點包含停留點時，上述之特徵參數可另包含停留點之一平均停留時間。

於此實施例中，處理單元102可進一步分析每二個群組間之一移動次數。舉例而言，對群組R1、R2而言，處理單元102可計算每一個物體30由群組R1走到群組R2的移動次數，且計算每一個物體30由群組R2走到群組R1的移動次數。接著，處理單元102可儲存每二個群組間之移動次數於儲存單元100中，且根據儲存的特徵參數及/或每二個群組間之移動次數產生一影像分佈圖。於此實施例中，影像分佈圖可為熱度圖，但不以此為限。

請參閱第5圖至第9圖，第5圖為根據平均停留時間所產生之熱度圖的示意圖，第6圖為根據停留點數量所產生之熱度圖的示意圖，第7圖為第5圖與第6圖融合後之熱度圖的示意圖，第8圖為根據每二個群組間之移動次數所產生之熱度圖的示意圖，第9圖為第7圖與第8圖融合後之熱度圖的示意圖。如第5圖至第9圖所示，處理單元102可根據儲存的特徵參數及/或每二個群組間之移動次數產生不同的熱度圖，以供使用者參考。於實際應用中，可參考https://www.patrick-wied.at/static/heatmapjs/docs.html所提供的資料來繪製熱度圖。此外，熱度圖之顏色的呈現方式可參考http://docs.opencv.org/2.4/modules/contrib/doc/facerec/colormaps.html。

另外，本發明除了如上述可將預定時間周期(例如為15分鐘)內的所有特徵點分類為複數個群組(cluster)外，亦可合併多個週期(例如合併連續4個15分鐘週期得到1個1小時週期，或合併連續2880個15分鐘週期得到1個1個月週期)內的所有特徵點資料，再將合併後週期內的所有特徵點依前述分類方式進行處理(例如繪製熱度圖等)，以呈現出不同時間週期的統計結果。

另外，本發明可以在上述分析每一個物體30之移動軌跡時再統計每一軌跡的生命週期，亦即每一軌跡從開始到結束所經歷的時間。再找出生命週期小於一事先定義之最短門檻值(例如3分鐘)的軌跡，例如應用於零售影像監控分析時，這些資料可以表示停留時間異常(太短)的顧客，再用上述方式找出軌跡特徵點並分類為複數個群組後記錄在資料庫，以產生熱度圖。也可找出生命週期大於一事先定義之最大門檻值(例如10分鐘)的軌跡，例如應用於零售影像監控分析時，這些資料可以表示對商品有高度興趣的顧客，再用上述方式找出軌跡特徵點並分類為複數個群組後記錄在資料庫，以產生熱度圖。

需說明的是，本發明之影像處理方法之控制邏輯可以軟體設計來實現。當然，控制邏輯中的各個部分或功能皆可透過軟體、硬體或軟硬體的組合來實現。

請參閱第10圖，第10圖為根據本發明另一實施例之影像處理裝置12'的功能方塊圖。如第10圖所示，影像處理裝置12'包含一影像接收單元120、一儲存單元122以及一處理單元124。於此實施例中，影像處理裝置12'可為網路攝影機（Network Camera / IP Camera）、網路影像錄影機（Network Video Recorder，NVR）或其它具有影像接收功能之電子裝置。影像接收單元120、儲存單元122與處理單元124之作用原理與上述之影像接收單元120、儲存單元100與處理單元102之作用原理大致相同，在此不再贅述。本發明可將影像接收單元120、儲存單元122與處理單元124整合於影像處理裝置12'中，以由影像處理裝置12'執行第3圖所示之影像處理方法。

換言之，本發明之影像處理方法可由影像處理裝置12配合主機10來執行，或由影像處理裝置12'執行，視實際應用而定。

綜上所述，在接收影像序列後，本發明係分析影像序列中每一個物體之移動軌跡，自每一個移動軌跡取出特徵點，且將預定時間周期（例如，15分鐘、30分鐘等）內每一個移動軌跡之特徵點分類為複數個群組。接著，再儲存每一個群組之複數個特徵參數，以作為產生影像分佈圖（例如，熱度圖）之依據。由於本發明不需儲存每一個物體之移動軌跡，因此，可有效減少資料儲存量，進而降低硬體負荷。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

1‧‧‧影像處理系統

3‧‧‧影像序列

10‧‧‧主機

12、12'‧‧‧影像處理裝置

30‧‧‧物體

100、122‧‧‧儲存單元

102、124‧‧‧處理單元

120‧‧‧影像接收單元

R1-R9、D1-D4‧‧‧群組

S10-S18‧‧‧步驟

第1圖為根據本發明一實施例之影像處理系統的功能方塊圖。第2圖為第1圖中的影像處理裝置所擷取之影像序列的示意圖。第3圖為根據第2圖中的影像序列產生的複數個群組的示意圖。第4圖為根據本發明一實施例之影像處理方法的流程圖。第5圖為根據平均停留時間所產生之熱度圖的示意圖。第6圖為根據停留點數量所產生之熱度圖的示意圖。第7圖為第5圖與第6圖融合後之熱度圖的示意圖。第8圖為根據每二個群組間之移動次數所產生之熱度圖的示意圖。第9圖為第7圖與第8圖融合後之熱度圖的示意圖。第10圖為根據本發明另一實施例之影像處理裝置的功能方塊圖。

Claims

一種影像處理方法，包含下列步驟：接收一影像序列；當該影像序列中出現至少一物體時，分析每一該物體之一移動軌跡；自每一該移動軌跡取出至少一特徵點；將一預定時間周期內每一該移動軌跡之該至少一特徵點分類為至少一群組；以及儲存每一該群組之至少一特徵參數。
如請求項1所述之影像處理方法，其中該至少一特徵點包含一起始點、一結束點、一轉彎點以及一停留點的至少其中之一。
如請求項1所述之影像處理方法，其中每一該群組以圓形呈現，且該等特徵參數包含一圓心以及一半徑。
如請求項1所述之影像處理方法，其中該等特徵參數包含該群組中之一特徵點數量。
如請求項1所述之影像處理方法，其中當該至少一特徵點包含一停留點時，該等特徵參數包含該停留點之一平均停留時間。
如請求項1所述之影像處理方法，包含下列步驟：分析且儲存每二該群組間之一移動次數。
如請求項6所述之影像處理方法，包含下列步驟：根據該等特徵參數及/或每二該群組間之該移動次數產生一影像分佈圖。
如請求項7所述之影像處理方法，其中該影像分佈圖為一熱度圖。
一種影像處理裝置，包含：一影像接收單元，接收一影像序列；一儲存單元；以及一處理單元，電性連接於該影像接收單元與該儲存單元，當該影像序列中出現至少一物體時，該處理單元分析每一該物體之一移動軌跡，自每一該移動軌跡取出至少一特徵點，將一預定時間周期內每一該移動軌跡之該至少一特徵點分類為至少一群組，儲存每一該群組之至少一特徵參數於該儲存單元中，分析每二該群組間之一移動次數，儲存每二該群組間之該移動次數於該儲存單元中，且根據該等特徵參數及/或每二該群組間之該移動次數產生一影像分佈圖；其中，該至少一特徵點包含一起始點、一結束點、一轉彎點以及一停留點的至少其中之一；其中，每一該群組以圓形呈現，且該等特徵參數包含一圓心以及一半徑；其中，該等特徵參數包含該群組中之一特徵點數量；其中，當該至少一特徵點包含一停留點時，該等特徵參數包含該停留點之一平均停留時間；其中，該影像分佈圖為一熱度圖。
一種影像處理系統，包含：一主機，該主機包含一儲存單元以及一處理單元，該處理單元電性連接於該儲存單元；以及一影像處理裝置，與該主機形成通訊，該影像處理裝置包含一影像接收單元，該影像接收單元接收一影像序列且將該影像序列傳送至該主機；其中，當該影像序列中出現至少一物體時，該處理單元分析每一該物體之一移動軌跡，自每一該移動軌跡取出至少一特徵點，將一預定時間周期內每一該移動軌跡之該至少一特徵點分類為至少一群組，儲存每一該群組之至少一特徵參數於該儲存單元中，分析每二該群組間之一移動次數，儲存每二該群組間之該移動次數於該儲存單元中，且根據該等特徵參數及/或每二該群組間之該移動次數產生一影像分佈圖；其中，該至少一特徵點包含一起始點、一結束點、一轉彎點以及一停留點的至少其中之一；其中，每一該群組以圓形呈現，且該等特徵參數包含一圓心以及一半徑；其中，該等特徵參數包含該群組中之一特徵點數量；其中，當該至少一特徵點包含一停留點時，該等特徵參數包含該停留點之一平均停留時間；其中，該影像分佈圖為一熱度圖。