TWI389060B - 智慧型監控系統及其方法 - Google Patents

Description

智慧型監控系統及其方法

本發明係有關於一種監控系統及其方法，特別是一種智慧型監控系統及其方法。

近來犯罪率不斷的升高，使得人們開始重視保全機制的重要性。而保全機制最重要的一部分就是監控系統(surveillance system)，其最大的功用便是解決維安人員不足的問題，使得使用者能夠迅速查覺環境事物的變化。一套好的監控系統能夠達到確保安全的目的，降低傷害的程度以及減少人力的浪費。

影像動態偵測技術具有對影像產生變化時加以判斷的能力。若影像動態偵測技術應用在數位監控系統或是傳統閉路電視(Closed Circuit Television，通常簡稱為CCTV)監控系統上的話，能使監控系統判定畫面產生變化時才啟動錄影功能，因此將可節省影像的儲存空間。同時也可產生警告訊息提醒保全人員注意，即時對發生事件加以處理，達到監控自動化的目的。

解析度大小係指畫面的成像畫素多少。請參考第二圖(a)，其所示為一物件。請參考第二圖(b)，其所示為該第二圖(a)的該物件經過一低解析度攝影機拍攝後，放大八倍後的結果。請參考第二圖(c)，其所示為該第二圖(a)的該物件經過一高解析度攝影機拍攝後的結果。可以明白的看出，以不同解析度攝影機拍攝同一物件時成像大小將會不同。若以數位放大方式去改變低解析度所拍攝影像之成像大小時，會有模糊失真的問題，因此無法應用於安全監控上。

為解決上述問題，傳統上使用者會使用兩隻相同解析度攝影機。其中一隻攝影機(全景攝影機，panorama camera)固定不動，負責監看全景，以建立監控區域的背景。經由目前影像與背景相減後取得移動物件位置，全景攝影機再通知另一隻具有寬廣視角選擇及可調整縮放參數的PTZ(Pan-Tile-Zoom)攝影機進行移動物件追蹤，準確定位並進行影像放大。如此便可得到移動物件的高清晰度影像。

可控制鏡頭的攝影機稱為PTZ攝影機，又稱為快速球型(Speed Dome)攝影機。PTZ攝影機係使用馬達驅動機台旋轉及鏡頭伸縮來達到所需之移動及放大效果。然而取像的過程常受到驅動及機械結構的限制，其機械本身也會因長時間監控而容易損耗。再者，PTZ攝影機的自動變焦功能亦會影響攝影機取像時間，而放大倍率過高時追蹤移動物件容易超出鏡頭範圍而造成誤判等問題。

為改善上述習知技術之缺點，本發明之一目的在於提供一種智慧型監控系統。

為改善上述習知技術之缺點，本發明之又一目的在於提供一種智慧型監控方法。

為達成上述本發明之一目的，本發明之智慧型監控系統包含：一影像感測器、一數據暫存記憶體、一數位影像處理器及一程式記憶體。該數位影像處理器係電連接至該影像感測器、該數據暫存記憶體及該程式記憶體。其中該影像感測器擷取一原始影像後傳送至該數位影像處理器。該數位影像處理器對該原始影像進行調整，以得到一調整影像。該數位影像處理器偵測出該調整影像內之一調整運動影像。該數位影像處理器依據該調整運動影像之定位資訊，抓取在該原始影像內之一原始運動影像。

為達成上述本發明之又一目的，本發明之智慧型監控方法係利用一影像感測器擷取一原始影像。對該原始影像進行調整，以得到一調整影像。偵測出該調整影像內之一調整運動影像。依據該調整運動影像之定位資訊，抓取在該原始影像內之一原始運動影像。

本發明之智慧型監控系統及其方法係結合數位影像處理技術，可取代PTZ攝影機，達到相同效益甚至超過之技術。可針對特定場景的人員進行辨識與追蹤，即時發出警訊，以讓相關人員能夠立即處理。並將監控場景、人員移動特徵、與固定區域監視等全部錄影建檔儲存在資料庫，作為後續事件檢索之研究應用。

本發明之智慧型監控系統及其方法係利用低解析度全景畫面進行物件追蹤，再從高解析度畫面得到高清晰度被追蹤物體影像，藉以取代傳統PTZ攝影機應用於智慧型監控系統。首先保留高解析度全景畫面並另外產生低解析度全景畫面，以進行智慧型移動物件偵測與追蹤定位，再重新定位於原高解析度全景畫面上的區域，並自動數位縮放移動物件畫面。本發明之智慧型監控系統及其方法可有效解決傳統PTZ攝影機之追蹤死角及延遲問題，亦可同時追蹤多物體，並免除旋轉機構所造成之機械磨損及反應時間過長所造成的影響，以建置一套智慧型即時無人監控系統。

請參考第一圖，其係為本發明之智慧型監控系統方塊圖。本發明之智慧型監控系統包含：一影像感測器10、一數據暫存記憶體20、一數位影像處理器30、一程式記憶體40及一影像輸出裝置50。該數位影像處理器30係電連接至該影像感測器10、該數據暫存記憶體20、該程式記憶體40及該影像輸出裝置50。

其中該影像感測器10擷取一原始影像(未圖示)後傳送至該數位影像處理器30。該數位影像處理器30對該原始影像進行調整，以得到一調整影像(未圖示)。該數位影像處理器30視需求重建背景。該數位影像處理器30偵測出該調整影像內之一調整運動影像(未圖示)。該數位影像處理器30視需求修補並標籤化該調整運動影像，以得到一標籤化影像(未圖示)。該數位影像處理器30依據該標籤化影像之定位資訊，抓取在該原始影像內之一原始運動影像(未圖示)；若該調整運動影像不需被該數位影像處理器30修補並標籤化，則該數位影像處理器30係依據該調整運動影像之定位資訊，抓取在該原始影像內之一原始運動影像。最後利用該影像輸出裝置50顯示或儲存該原始運動影像。其中該影像感測器10係為一高解析度固定式攝影機；該影像輸出裝置50為一顯示器或一錄影裝置。本發明之智慧型監控系統之詳細運作將在後文配合流程圖說明。

該數位影像處理器30對該原始影像進行調整係包含：調整該原始影像的尺寸為一預定尺寸、對該原始影像進行色彩轉換以及濾除點狀雜訊。首先保留全景高解析度畫面(即該原始影像)，再另行縮小解析度(例如至320×240像素)以降低資料運算量。高解析度影像資料量龐大，以500萬畫素攝影機為例，每一影像的原始解析度為2560×1920畫素，且為全彩24bit RGB影像。因此影像處理上資料演算量過大，應用於即時監控上會造成反應時間過長。故依據本發明之一實例，可降低全景高解析度畫面(即該原始影像)之解析度為320×240畫素。並將全彩24bit RGB畫面降為灰階8bit Gray Level畫面，以降低資料運算量。最後濾除雜訊，可以通過影像低通濾波器(Image Low Pass Filter)達成。

其中，所謂背景即連續影像差異極小部份。由於軟體程式一啟動時有可能就存在著正在移動物件，或環境中有日照光影等影響，導致取得之背景影像並不完整，此時就必須重建背景。當背景不完整部份靜止一段時間後，即可將背景重新建立回去。當發現背景與連續影像差異超過一定程度後，就須重啟背景重建機制，避免影響後續移動物件偵測。

該數位影像處理器30係利用一固定背景影像及連續三幀調整影像偵測出該調整影像內之調整運動影像，茲詳述如下。其係利用連續三張影像配合先前建立之固定背景而計算出真正移動物件。請參考第三圖，其係為偵測出該調整影像內之一調整運動影像方法之示意圖。其中，一目前幀灰階影像標示為M2；一前一幀灰階影像標示為M1；一前二幀灰階影像標示為M0；一固定背景影像標示為M3。並且設定一二值化影像門檻值，用以做為轉換該些灰階影像成為二值化影像(binary image)之依據。首先，將該目前幀灰階影像M2與該前一幀灰階影像M1做互斥或(XOR)運算，得到一第一灰階影像(未圖示)。然後，再將該第一灰階影像之像素與該二值化影像門檻值比較：若該第一灰階影像之像素大於或等於該二值化影像門檻值，則設為亮點；若該第一灰階影像之像素小於該二值化影像門檻值，則設為暗點，藉此可得到一第一二值化影像M5。

同樣地，將該前一幀灰階影像M1與該前二幀灰階影像M0做互斥或(XOR)運算，而得到一第二灰階影像(未圖示)，並且再與該二值化影像門檻值比較，而得到一第二二值化影像M4。將該第一二值化影像M5及該第二二值化影像M4進行交集(AND)運算，即可得到移動物件邊緣化的一第三二值化影像M7。再者，該前一幀灰階影像M1與該固定背景影像M3做影像相減運算，而得到一第四灰階影像(未圖示)，並且再與該二值化影像門檻值比較，可得到與背景分離之前景物件的一第四二值化影像M6。最後，將該第三二值化影像M7及該第四二值化影像M6進行聯集(OR)運算，即可得到最完整移動物件的一第五二值化影像M8(即該調整運動影像)。

下文將詳述上述該數位影像處理器30修補及標籤化該調整運動影像，以得到一標籤化影像流程。請參考第四圖，其係為修補及標籤化該調整運動影像之流程圖。首先步驟S10及S20，由於該第五二值化影像M8仍可能有點破碎，故必須利用影像處理型態學之膨脹(Dilation)及侵蝕(Erosion)進行影像修補。

膨脹(Dilation)為形態學上最基本的運算。假設在平面中，有一影像A1及一遮罩(Mask)B1，如第十三圖所示。則該影像A1及該遮罩B1的膨脹演算定義為：該遮罩B1沿著該影像A1由上而下，由左至右掃描(如第十四圖所示)，若在該遮罩B1範圍(斜線)內有任何像素點其二值化的值為1時(該影像A1內斜線部份)，則將該影像A1之遮罩內中心點設定為1，否則為0。該影像A1經過該遮罩B1膨脹後結果如第十五圖所示。其中膨脹後之區域為標示為X之部份。

侵蝕(Erosion)是形態學上的另一種運算。假設在平面中，有一影像A1及一遮罩(Mask)B1，如第十三圖所示。則該影像A1及該遮罩B1的侵蝕演算定義為：當該遮罩B1沿著該影像A1由上而下，由左至右掃描時(如第十四圖所示)，若在該遮罩B1範圍(斜線)內有任何像素點其二值化的值為0時(該影像A1內非斜線部份)，則將該影像A1之遮罩內中心點設定為0，否則為1。該影像A1經過該遮罩B1侵蝕後結果如第十六圖所示。其中侵蝕後之區域為標示為X之部份。

考慮到監控系統係以監視人類行為為主，不同於一般型態學膨脹(Dilation)及侵蝕(Erosion)以3×3、5×5遮罩基礎結構，本發明之方法採用第五圖3x3遮罩結構(Mask)進行侵蝕演算；採用第六圖3x1遮罩結構進行膨脹演算。首先經過一次3×3式的侵蝕(Erosion)，其目的為消除複雜背景所殘留下來的雜訊。例如第七圖(a)所示為原本充滿雜訊的影像；第七圖(b)為經過一次3×3式的侵蝕(Erosion)後消除雜訊後的影像。接著為了將可能分離的頭、軀幹、腳等人員區塊結合，做三次的3×1式的膨脹(Dilation)，得到最後移動物件較完整影像，如第八圖所示。

接著步驟S30及S40，因為有可能出現兩個以上移動物件，故須以標籤化方式計算出移動物件個數。連通標記(Connected Components Labeling)主要目的是將鄰近的點群聚成相同編號，藉以計算出群體個數，在本發明中即為移動物件個數。第九圖所示為八連通(8-adjacent)示意圖。根據八連通的規則，由左而右，由上而下掃描二值化影像，把所有相鄰二值化的值為1之像素點給予一個相同且唯一的標籤符號，藉由標籤符號數量達到計算移動物件數量之目的。如第十圖所示(其中第十圖的右圖經劃線後更可清楚看出具三個移動物件，亦即分別為被給予標籤符號為1、2、3之移動物件)。在此即可得到前述之該些標籤化影像。

接著，該數位影像處理器30依據該標籤化影像之定位資訊抓出在該原始影像內的一原始運動影像。藉由上述標籤化過程，可得知物件的起點位置及最末點位置，計算出物件大小及物件於畫面相對位置。再將其定位資訊傳至原高解析度畫面(即該原始影像)，以在該影像輸出裝置50呈現出物件原圖大小(即該原始運動影像)，不須放大即達到數位之放大效果。

本發明之智慧型監控系統最後係顯示或儲存該原始運動影像。請參考第十一圖，其係為本發明之影像輸出範例圖。第十一圖左上角所示為全景畫面320×240畫素(即例如從原始解析度為2560×1920畫素降低為320×240畫素之該調整影像)，包含一第一移動物件Ma、一第二移動物件Mb以及一使用者設定監控區域A1(使用者可自訂監控區域之詳細說明容後詳述)。將第十一圖左上角所示全景畫面320×240畫素下所擷取之該第一移動物件Ma、該第二移動物件Mb及該使用者設定監控區域A1，對應於該影像感測器10的原解析度畫面(即該原始影像，例如2560×1920畫素)之位置與大小，以320×240畫素大小範圍呈現原解析度畫面上的該第一移動物件Ma、該第二移動物件Mb及該使用者設定監控區域A1。例如，該第二移動物件Mb在第十一圖左上角子畫面的大小是10×20畫素，以500萬畫素(即2560×1920畫素)固定攝影機建置下，在左下角子畫面所呈現出來的會是80×160畫素。在沒有進行縮放的情形下，即達到寬、高各八倍的放大倍數(如第十一圖左下角所示)。等於保全人員操縱一台PTZ攝影機，以寬、高各八倍放大倍率即時手動追蹤移動物件的效果。此外，若是追蹤之移動物件相對於攝影機原解析度畫面之大小超過320×240畫素或是不到320×240畫素時，將會以影像處理做自動數位縮放至適當大小。例如該第一移動物件Ma在第十一圖左上角的大小為50×50畫素的圓形，相對於原解析度畫面為400×400畫素，以320×240畫素畫面呈現物件會出鏡，故自動數位縮放加以調整。最後，將此640×480畫素之畫面錄影存檔紀錄，藉以達到智慧型無人即時監控系統之建置。

本發明之智慧型監控系統除針對移動物件做智慧型追蹤監控外，使用者也可自行框選(且可自訂縮放比例)欲監控之場景，例如出入口或禁煙區等等。首先使用者在該調整影像設定監控區域。接著該數位影像處理器30依據該監控區域之定位資訊，抓取在該原始影像內之原始監控區域影像。最後利用該影像輸出裝置50顯示或儲存該原始監控區域影像。

請參考第十二圖，其係為本發明之智慧型監控方法流程圖。首先步驟S100利用一影像感測器擷取一原始影像。接著步驟S200對該原始影像進行調整，以得到一調整影像。然後步驟S300視需求重建背景。繼之步驟S400偵測出該調整影像內之一調整運動影像。接著步驟S500視需求修補並標籤化該調整運動影像，以得到一標籤化影像。然後步驟S600依據該標籤化影像之定位資訊，抓取在該原始影像內之一原始運動影像(若該調整運動影像不需被修補並標籤化，則該步驟S600係依據該調整運動影像之定位資訊，抓取在該原始影像內之一原始運動影像)。最後步驟S700顯示或儲存該原始運動影像。其中該影像感測器係為一高解析度固定式攝影機；該影像輸出裝置為一顯示器或一錄影裝置。

其中步驟S200(對該原始影像進行調整)係包含：調整該原始影像的尺寸為一預定尺寸、對該原始影像進行色彩轉換以及濾除點狀雜訊。首先保留全景高解析度畫面(即該原始影像)，再另行縮小解析度(例如至320×240像素)以降低資料運算量。依據本發明之一實例，可降低全景高解析度畫面(即該原始影像)之解析度為320×240畫素。並將全彩24bit RGB畫面降為灰階8bit Gray Level畫面，以降低資料運算量。最後濾除雜訊，可以通過影像低通濾波器(Image Low Pass Filter)達成。

其中步驟S400(偵測出該調整影像內之一調整運動影像)係利用一固定背景影像及連續三幀調整影像偵測出該調整影像內之調整運動影像。其流程與前述本發明之智慧型監控系統之內容相同，故於此不再贅述。

其中步驟S500(修補並標籤化該調整運動影像，以得到一標籤化影像流程)係利用數位影像處理之侵蝕(以3x3遮罩結構進行一次侵蝕)與膨脹(以3x1遮罩結構進行三次膨脹)之演算技術修補該調整運動影像。且因為有可能出現兩個以上移動物件，故須以標籤化方式計算出移動物件個數。

本發明之智慧型監控方法除針對移動物件做智慧型追蹤監控外，使用者也可自行框選(且可自訂縮放比例)欲監控之場景，例如出入口或禁煙區等等。首先使用者在該調整影像設定監控區域。接著依據該監控區域之定位資訊，抓取在該原始影像內之原始監控區域影像。最後顯示或儲存該原始監控區域影像。

本發明之智慧型監控系統及其方法有以下特點：

1、以500萬畫素攝影機為例，全景錄影全彩2560×1920畫素，消耗系統資源及佔據儲存量甚巨，而本發明錄影畫面為640×480畫素，僅需要原解析度十六分之一的儲存量，即可對移動物件及使用者自訂區域做高清晰呈現，達到最高的效益。

2、可取代PTZ攝影機，免除機構、無監視死角、無移動延遲及具同時偵測兩個以上移動物件能力。

3、以一隻固定式高解析度攝影機即可取代一隻低解析度攝影機加上一隻低解析度PTZ攝影機，降低人力物力成本，大大提升生活品質、居家安全，使得監控系統能夠更有效且普遍的應用在各種環境。

4、本發明具有易擴充性、易整合性、產品普遍性、低成本高品質、容易操作的優點，非專業人員皆可操作。

綜上所述，當知本發明已具有產業利用性、新穎性與進步性，又本發明之構造亦未曾見於同類產品及公開使用，完全符合發明專利申請要件，爰依專利法提出申請。

A1．．．影像

B1．．．遮罩

10．．．影像感測器

20．．．數據暫存記憶體

30．．．數位影像處理器

40．．．程式記憶體

50．．．影像輸出裝置

M2．．．目前幀灰階影像標示為

M1．．．前一幀灰階影像標示為

M0．．．前二幀灰階影像標示為

M3．．．固定背景影像標示為

M5．．．第一二值化影像

M4．．．第二二值化影像

M7．．．第三二值化影像

M6．．．第四二值化影像

M8．．．第五二值化影像

S10～S40．．．步驟

Ma．．．第一移動物件

Mb．．．第二移動物件

A1．．．使用者設定監控區域

S100～S700．．．步驟

第一圖為本發明之智慧型監控系統方塊圖。

第二圖(a)為一物件示意圖。

第二圖(b)為一低解析度攝影機拍攝後放大八倍影像圖。

第二圖(c)為一高解析度攝影機拍攝後影像圖。

第三圖為偵測出該調整影像內之一調整運動影像方法之示意圖。

第四圖為修補及標籤化該調整運動影像之流程圖。

第五圖為3x3遮罩結構圖。

第六圖為3x1遮罩結構圖。

第七圖(a)為原本充滿雜訊的影像圖。

第七圖(b)為經過侵蝕後消除雜訊的影像圖。

第八圖為經過三次膨脹後的影像次序圖。

第九圖為八連通示意圖。

第十圖為標籤化物件示意圖。

第十一圖為本發明之影像輸出範例圖。

第十二圖為本發明之智慧型監控方法流程圖。

第十三圖為膨脹(Dilation)及侵蝕(Erosion)演算範例圖。

第十四圖為膨脹(Dilation)及侵蝕(Erosion)掃描示意圖。

第十五圖為經膨脹(Dilation)演算後示意圖。

第十六圖為經侵蝕(Erosion)演算後示意圖。

10．．．影像感測器

20．．．數據暫存記憶體

30．．．數位影像處理器

40．．．程式記憶體

50．．．影像輸出裝置

Claims (14)

1. 一種智慧型監控系統，包含：一影像感測器；一數位影像處理器，係電連接至該影像感測器；一數據暫存記憶體，係電連接至該數位影像處理器；一程式記憶體，係電連接至該數位影像處理器；及一影像輸出裝置，電連接至該數位影像處理器，其中該影像感測器擷取一原始影像後傳送至該數位影像處理器；該數位影像處理器對該原始影像進行調整，以得到一調整影像；該數位影像處理器偵測出該調整影像內之一調整運動影像；該數位影像處理器依據該調整運動影像之定位資訊，抓取在該原始影像內之一原始運動影像；該影像輸出裝置顯示或儲存該原始運動影像；其中該數位影像處理器對該原始影像進行調整包含調整該原始影像的尺寸為一預定尺寸，對該原始影像進行色彩轉換，濾除點狀雜訊。
2. 如申請專利範圍第1項之智慧型監控系統，其中該影像感測器係為一高解析度固定式攝影機。
3. 如申請專利範圍第1項之智慧型監控系統，其中該影像輸出裝置為一顯示器或一錄影裝置。
4. 一種智慧型監控方法，包含： A.利用一影像感測器擷取一原始影像；B.對該原始影像進行調整，以得到一調整影像；C.偵測出該調整影像內之一調整運動影像；D.依據該調整運動影像之定位資訊，抓取在該原始影像內之一原始運動影像；及E.顯示或儲存該原始運動影像，其中該步驟B包含：b1.調整該原始影像的尺寸為一預定尺寸；b2.對該原始影像進行色彩轉換；及b3.濾除點狀雜訊。
5. 如申請專利範圍第4項之智慧型監控方法，其中該步驟b1所述之預定尺寸為320x240畫素。
6. 如申請專利範圍第4項之智慧型監控方法，其中該步驟b2係由全彩(24 bit RGB)降為灰階(8 bit Gray Level)。
7. 如申請專利範圍第4項之智慧型監控方法，其中該步驟b3係為通過影像低通濾波器(Image Low Pass Filter)濾除點狀雜訊。
8. 如申請專利範圍第4項之智慧型監控方法，其中該步驟C係利用一固定背景影像及連續三幀調整影像偵測出該調整影像內之調整運動影像。
9. 如申請專利範圍第4項之智慧型監控方法，其中該步驟C之後更包含：C1.修補並標籤化該調整運動影像，以得到一標籤化 影像；C2.依據該標籤化影像之定位資訊，抓取在該原始影像內之一原始運動影像；及C3.顯示該原始運動影像。
10. 如申請專利範圍第9項之智慧型監控方法，其中更包含：C4.儲存該原始運動影像。
11. 如申請專利範圍第9項之智慧型監控方法，其中該步驟C1係利用數位影像處理之侵蝕(Erosion)與膨脹(Dilation)之演算技術修補該調整運動影像。
12. 如申請專利範圍第11項之智慧型監控方法，係以3x3遮罩結構(Mask)進行一次侵蝕(Erosion)演算，及以3x1遮罩結構(Mask)進行三次膨脹(Dilation)演算。
13. 如申請專利範圍第4項之智慧型監控方法，其中該步驟B之後更包含下列步驟：B1.在該調整影像設定監控區域；B2.依據該監控區域之定位資訊，抓取在該原始影像內之原始監控區域影像；及B3.顯示該原始監控區域影像。
14. 如申請專利範圍第13項之智慧型監控方法，其中更包含：B4.儲存該原始監控區域影像。