TWI869045B

TWI869045B - 監控系統和監控方法

Info

Publication number: TWI869045B
Application number: TW112143712A
Authority: TW
Inventors: 鄒耀東
Original assignee: 帝濶智慧科技股份有限公司
Priority date: 2022-11-14
Filing date: 2023-11-13
Publication date: 2025-01-01
Also published as: US20240177521A1; TW202420834A; TW202516940A

Abstract

本發明提供一種監控系統和監控方法。監控方法包含：擷取影像；從影像中取得監視目標的人臉影像；對影像執行去識別化處理以取得去識別化影像，並且輸出去識別化影像；對人臉影像執行第一去識別化操作以產生去識別化特徵；以及判斷去識別化特徵與特徵資料庫中的預存特徵是否匹配以產生驗證結果。此外，監控方法更包含：對人臉影像執行第二去識別化操作以產生去識別化標籤；以及根據去識別化標籤查詢影像資料庫以取得對應於去識別化標籤的歷史去識別化影像。

Description

監控系統和監控方法

本發明是有關於一種監控系統和監控方法。

隨著監視器的普及以及影像辨識技術的進步，現有監控系統幾乎可以做到完全掌握受監視目標的行蹤，並可將受監視目標的相關影像資料儲存起來以供查詢。然而，上述的技術嚴重地侵犯到了人們的隱私。此外，若儲存的影像資料遭到洩露時，影像資料中的人員的身分資訊也會暴露，從而影響到人員的人身安全。因此，如何在保存監視影像資料的同時保護人員的隱私，是本領域的重要課題之一。

本發明提供一種監控系統和監控方法，可保護監視目標的隱私。

本發明的一種監控系統，包含影像擷取裝置以及處理裝置。影像擷取裝置擷取影像。處理裝置通訊連接至影像擷取裝置，並且經配置以執行：從影像中取得監視目標的人臉影像；對影像執行去識別化處理以取得去識別化影像，並且輸出去識別化影像；對人臉影像執行第一去識別化操作以產生去識別化特徵；以及判斷去識別化特徵與特徵資料庫中的預存特徵是否匹配以產生驗證結果。

在本發明的一實施例中，上述的處理裝置更經配置以執行：對人臉影像執行第二去識別化操作以產生去識別化標籤，並且建立去識別化標籤與去識別化影像之間的映射關係以建立或更新影像資料庫。

在本發明的一實施例中，上述的第二去識別化操作與第一去識別化操作相同。

在本發明的一實施例中，上述的第二去識別化操作與第一去識別化操作相異，其中處理裝置基於差分隱私演算法執行第一去識別化操作，且基於同態加密演算法執行第二去識別化操作。

在本發明的一實施例中，上述的去識別化處理包含：使用深度學習模型遮蓋影像中的監視目標以產生去識別化影像。

在本發明的一實施例中，上述的處理裝置更經配置以執行：使用深度學習模型以從影像中擷取人臉影像。

在本發明的一實施例中，上述的深度學習模型包含深度神經網路。

在本發明的一實施例中，上述的處理裝置更經配置以執行：對人臉影像執行第二去識別化操作以產生去識別化標籤；以及根據去識別化標籤查詢影像資料庫以取得對應於去識別化標籤的歷史去識別化影像。

在本發明的一實施例中，上述的處理裝置更經配置以執行：根據去識別化標籤對影像資料庫執行模糊搜尋以取得歷史去識別化影像。

在本發明的一實施例中，上述的處理裝置更經配置以執行：判斷驗證結果是否為成功的；以及響應於驗證結果為成功的，根據去識別化標籤查詢影像資料庫以取得對應於去識別化標籤的歷史去識別化影像。

本發明的一種監控方法，包含：擷取影像；從影像中取得監視目標的人臉影像；對影像執行去識別化處理以取得去識別化影像，並且輸出去識別化影像；對人臉影像執行第一去識別化操作以產生去識別化特徵；以及判斷去識別化特徵與特徵資料庫中的預存特徵是否匹配以產生驗證結果。

在本發明的一實施例中，上述的監控方法更包含：對人臉影像執行第二去識別化操作以產生去識別化標籤；以及建立去識別化標籤與去識別化影像之間的映射關係以建立或更新影像資料庫。

在本發明的一實施例中，上述的第二去識別化操作與第一去識別化操作相異，其中第一去識別化操作基於差分隱私演算法被執行，且第二去識別化操作基於同態加密演算法被執行。

在本發明的一實施例中，上述的影像執行去識別化處理以取得去識別化影像的步驟包含：使用深度學習模型遮蓋影像中的監視目標以產生去識別化影像。

在本發明的一實施例中，上述的從影像中取得監視目標的人臉影像的步驟包含：使用深度學習模型以從影像中擷取人臉影像。

在本發明的一實施例中，上述的監控方法更包含：對人臉影像執行第二去識別化操作以產生去識別化標籤；以及根據去識別化標籤查詢影像資料庫以取得對應於去識別化標籤的歷史去識別化影像。

在本發明的一實施例中，上述的根據去識別化標籤查詢影像資料庫以取得對應於去識別化標籤的歷史去識別化影像的步驟包含：根據去識別化標籤對影像資料庫執行模糊搜尋以取得歷史去識別化影像。

本發明的一種監控系統，包含影像擷取裝置以及處理裝置。影像擷取裝置擷取影像。處理裝置通訊連接至影像擷取裝置，並且經配置以執行：從影像取得監視目標的人臉影像，並對人臉影像執行去識別化操作以產生去識別化標籤；對影像執行去識別化處理以取得去識別化影像；建立去識別化標籤與去識別化影像之間的映射關係以建立或更新影像資料庫；以及響應於接收到與去識別化標籤匹配的查詢指令，將儲存在影像資料庫中的去識別化影像輸出。

基於上述，本發明的監控系統可利用深度神經網路對影像執行去識別化處理以保護影像中的人員的隱私。針對影像中的監視目標，監控系統可對監視目標的人臉影像進行去識別化操作以產生用於驗證人員身分的去識別化特徵或用於建立影像資料庫的去識別化標籤。監控系統可將去識別化特徵與特徵資料庫中的預存特徵進行比對以判斷監視目標的身分。另一方面，監控系統可利用去識別化標籤建立或更新儲存了去識別化影像的影像資料庫。當使用者欲尋找特定目標的行蹤時，監控系統可通過查詢影像資料庫以在不侵犯任何人員的隱私權的情況下完成對特定目標的追蹤。

圖1根據本發明的一實施例繪示一種監控系統10的示意圖。監控系統10可包含處理裝置100以及影像擷取裝置200。在一實施例中，處理裝置100與影像擷取裝置200分別以不同的硬體裝置實施，且處理裝置100與影像擷取裝置200可彼此通訊連。在一實施例中，處理裝置100與影像擷取裝置200可以相同的硬體裝置實施。舉例來說，處理裝置100可以是影像擷取裝置200的影像訊號處理器（image signal processor，ISP）。

影像擷取裝置200可包含電荷耦合元件（charge coupled device，CCD）、互補性氧化金屬半導體（complementary metal-oxide semiconductor，CMOS）元件或其他種類的感光元件，而可感測光線強度以產生攝像場景的影像。影像擷取裝置200還可包含支援無線保真（wireless fidelity，Wi-Fi）、無線射頻辨識（radio frequency identification，RFID）、藍牙、紅外線、近場通訊（near-field communication，NFC）或裝置對裝置（device-to-device，D2D）等通訊協定的通訊裝置、應用程式介面（application programming interface，API）或是支援網際網路（Internet）連結的網路連接裝置，用以與外部裝置或處理裝置100進行通訊或網路連結。

處理裝置100例如是伺服器、工作站或其他電子裝置。處理裝置100可包含通訊裝置、儲存裝置及處理器。通訊裝置例如支援無線保真、無線射頻辨識、藍牙、紅外線、近場通訊或裝置對裝置等通訊協定、應用程式介面或是支援網際網路連結，用以與影像擷取裝置200或外部裝置進行通訊或網路連結。儲存裝置例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或類似元件或上述元件的組合，而用以儲存可由處理器執行的電腦程式。處理器例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、微控制器（microcontroller）、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuits，ASIC）、可程式化邏輯裝置（programmable logic device，PLD）或其他類似裝置或這些裝置的組合。在一實施例中，處理器可從儲存裝置載入電腦程式，以執行本發明實施例的監控方法。

影像擷取裝置200可擷取影像。處理裝置100可利用預存在處理裝置100中的深度學習（Deep Learning，DL）模型110對影像執行去識別化處理。具體來說，處理裝置100可將影像輸入至深度學習模型110。深度學習模型110具有物件偵測功能，可辨視出輸入的影像中的監視目標25。深度學習模型110可遮蓋住影像中的監視目標25以產生去識別化影像20。處理裝置100可通過例如顯示器來輸出去識別化影像20以供使用者參考。由於去識別化影像20中的監視目標25已經被遮蓋住，故就算去識別化影像20顯示了監視目標25的輪廓，觀看去識別化影像20的人員仍無法辨識出監視目標25的身分。因此，去識別化影像20可保護監視目標25的隱私。

在一實施例中，深度學習模型110可包含深度神經網路（deep neural network，DNN）。

深度學習模型110可從輸入的影像中擷取出監視目標25的人臉影像30。處理裝置100可對人臉影像30執行去識別化的去識別化操作以產生一或多個去識別化特徵31。處理裝置100可例如利用人工智慧模型判斷去識別化特徵31與特徵資料庫120中的特徵空間60中的預存特徵是否匹配以產生驗證結果。處理裝置100可基於例如差分隱私（differential privacy）演算法來執行所述去識別化操作以花費較短的時間來產生去識別化特徵31，或者，處理裝置100可基於其他加密演算法（例如：同態加密（homomorphic encryption）演算法）來執行所述去識別化操作。若去識別化特徵31與預存特徵匹配（例如：去識別化特徵31與預存特徵之間的相似度大於閾值），代表監視目標25的身分為對應於預存特徵的特定人員。據此，處理裝置100可產生成功的驗證結果。若去識別化特徵31與任何預存特徵都不匹配（例如：去識別化特徵31與預存特徵之間的相似度小於或等於閾值），代表監視目標25的身分是未知的。據此，處理裝置100可產生失敗的驗證結果。在產生驗證結果後，處理裝置100可輸出驗證結果以供使用者參考。

為了建立特徵資料庫120中的特徵空間60，處理裝置100可取得多個人員的（例如：通過影像擷取裝置100）多個歷史影像。處理裝置100根據深度學習模型110對多個歷史影像執行去識別化的去識別化操作以產生多個歷史去識別化特徵50。處理裝置100可根據多個歷史去識別化特徵50來建立特徵空間60。特徵空間60可包含對應於特定人員之身分的一或多個歷史去識別化特徵。特徵空間60例如是由嵌入空間（embedded space）或損失函數（loss function）取得，例如AdaFace或ArcFace等，其中包含通過正規化超球面（normalized hypersphere）中的角度或弧度的對應關係來最佳化測地距離（geodesic distance）的邊界（margin）。特徵資料庫120可儲存在例如處理裝置100或外部的雲端伺服器（例如：如圖3所示的雲端伺服器300）中。

另一方面，處理裝置100可對人臉影像30執行去識別化的去識別化操作以產生去識別化標籤32，其中用於產生去識別化標籤32的去識別化操作與用於產生去識別化特徵31的去識別化操作可相同或相異，亦即，去識別化標籤32與去識別化特徵31可相同或相異。在一實施例中，處理裝置100可基於例如同態加密演算法來執行用於產生去識別化標籤32的去識別化操作以產生較容易被辨識的去識別化標籤32，或者，處理裝置100可基於其他加密演算法（例如：差分隱私演算法）來執行所述去識別化操作。在一實施例中，處理裝置100可基於後量子去識別化技術（post-quantum-secure de-identification）來執行基於同態加密演算法的去識別化操作。

在一實施例中，在產生去識別化標籤32後，處理裝置100可利用去識別化標籤32建立或更新影像資料庫130。具體來說，處理裝置100可建立去識別化標籤32與去識別化影像20之間的映射關係，進而建立或更新影像資料庫130，其中影像資料庫130可儲存識別化標籤32、去識別化影像20以及兩者的映射關係。影像資料庫130可儲存在例如處理裝置100或外部的雲端伺服器（例如：如圖3所示的雲端伺服器300）中。

在一實施例中，在產生去識別化標籤32後，處理裝置100可利用去識別化標籤32來查詢監視目標25的相關影像資料。具體來說，影像資料庫130可預存具有映射關係的歷史去識別化標籤以及歷史去識別化影像。處理裝置100可查詢影像資料庫130中是否儲存了與去識別化標籤32匹配的歷史去識別化標籤。舉例來說，處理器100可根據去識別化標籤32對影像資料庫130執行模糊搜尋（fuzzy search）以判斷影像資料庫130中是否儲存了與去識別化標籤32匹配的歷史去識別化標籤。若去識別化標籤32與影像資料庫130中的歷史去識別化標籤匹配（例如：去識別化標籤32與歷史去識別化標籤之間的相似度大於閾值），則處理裝置100可輸出對應於歷史去識別化標籤的歷史去識別化影像以供使用者參考。若去識別化標籤32與影像資料庫130中的任何歷史去識別化標籤都不匹配，代表影像資料庫130中並未儲存任何與監視目標25相關的影像資料。

圖2根據本發明的一實施例繪示身分驗證流程的示意圖。監控系統100可執行註冊流程以建立特徵空間60。具體來說，處理裝置100可通訊連接至外部的終端裝置。資料提供者可通過終端裝置將用於註冊的歷史影像傳送給處理裝置100，其中歷史影像可包含特定目標（例如：黑名單中的人物或商場的會員）的影像。在步驟S201中，處理裝置100可執行註冊流程。處理裝置100可對歷史影像執行去識別化的去識別化操作（例如：基於差分隱私演算法的去識別化操作）以取得一或多個歷史去識別化特徵。在步驟S202中，處理裝置100可根據一或多個歷史去識別化特徵建立包含一或多個預存特徵的特徵空間60。

在完成特徵空間60的建立後，處理裝置100可根據特徵空間60執行身分驗證。具體來說，處理裝置100可通過影像擷取裝置200取得包含監視目標25的影像。在步驟S203中，處理裝置100可利用深度學習模型110從影像中擷取出監視目標25的人臉影像30，並對人臉影像30執行去識別化操作以產生去識別化特徵31。在步驟S204中，處理裝置100可比較去識別化特徵31與特徵空間60中的預存特徵之間的相似度以驗證監視人員25的身分，進而產生驗證結果。

圖3根據本發明的一實施例繪示影像資料查詢流程的示意圖。為了建立或更新雲端伺服器300中的影像資料庫130，在步驟S301中，資料提供者可上傳具有映射關係的歷史去識別化標籤和歷史去識別化影像到雲端伺服器300的影像資料庫130中。

資料使用者（或影像擷取裝置200）可向處理裝置100傳送包含影像的查詢指令。處理裝置100可從影像中擷取出監視目標的人臉影像，並對人臉影像執行去識別化操作以取得去識別化特徵及去識別化標籤。在步驟S302中，處理裝置100可存取雲端伺服器300中的特徵資料庫120以判斷特徵資料庫120儲存的特徵空間是否包含了與去識別化特徵匹配的預存特徵。

若特徵空間包含了與去識別化特徵匹配的預存特徵，代表監視目標的身分的驗證結果是成功的。據此，處理裝置100可進一步查詢影像資料庫130中是否儲存了與去識別化標籤匹配的歷史去識別化標籤。響應於去識別化標籤與影像資料庫130中的歷史去識別化標籤匹配，處理裝置100可從影像資料庫130中取得對應於歷史去識別化標籤的歷史去識別化影像。在步驟S303中，處理裝置100可輸出對應於監視目標的歷史去識別化影像以供資料使用者參考。基於上述，本發明的監控系統100可先花費較少的時間或運算資源以通過去識別化特徵驗證監視目標的身分。待監視目標的身分被驗證後，監控系統100再花費較多的時間或運算資源以通過去識別化標籤查詢與監視目標相關聯的去識別化影像。

圖4根據本發明的一實施例繪示一種監控方法的流程圖，其中所述監控方法可由如圖1所示的監控系統10實施。在步驟S401中，擷取影像。在步驟S402中，從影像中取得監視目標的人臉影像。在步驟S403中，對影像執行去識別化處理以取得去識別化影像，並且輸出去識別化影像。在步驟S404中，對人臉影像執行第一去識別化操作以產生去識別化特徵。在步驟S405中，判斷去識別化特徵與特徵資料庫中的預存特徵是否匹配以產生驗證結果。在步驟S406中，輸出驗證結果。

圖5根據本發明的一實施例繪示另一種監控方法的流程圖，其中所述監控方法可由如圖1所示的監控系統10實施。在步驟S501中，擷取影像。在步驟S502中，從影像取得監視目標的人臉影像，並對人臉影像執行去識別化操作以產生去識別化標籤。在步驟S503中，對影像執行去識別化處理以取得去識別化影像。在步驟S504中，建立去識別化標籤與去識別化影像之間的映射關係以建立或更新影像資料庫。在步驟S505中，響應於接收到與去識別化標籤匹配的查詢指令，將儲存在影像資料庫中的去識別化影像輸出。

綜上所述，本發明的監控系統採用先進技術來保護個人隱私，同時能夠有針對性地觀察和追蹤可疑活動。監控系統利用去中心化的人工智慧模型以及精心設計的差分隱私和同態加密技術來執行對特定人員的追蹤，而不會危害到他們的隱私權。基於後量子去識別化技術的先進多模態深度神經網路模型可確保人員影像處理任務的高效率和辨識任務的高精度，同時達到影像資料的去識別化。監控系統可與現有監控基礎設施無縫集成，提供強大的解決方案來應對大規模監控的挑戰，同時維護個人隱私權。

本發明的監控系統可具有以下優點：監控系統可透過應用程式介面與現有監控系統無縫整合；監控系統可具有高度的相容性以同時支援雲端運算平台和邊緣運算平台，進而提供靈活性和可擴充性；監控系統可利用差分隱私和同態加密演算法實現強大的隱私保護和安全的影像搜尋；以及監控系統可以極高的準確度來辨識與追蹤特定目標。

10:監控系統 100:處理裝置 110:深度學習模型 120:特徵資料庫 130:影像資料庫 20:去識別化影像 200:影像擷取裝置 25:監視目標 30:人臉影像 300:雲端伺服器 31:去識別化特徵 32:去識別化標籤 50:歷史去識別化特徵 60:特徵空間 S201、S202、S203、S204、S301、S302、S303、S401、S402、S403、S404、S405、S406、S501、S502、S503、S504、S505:步驟

圖1根據本發明的一實施例繪示一種監控系統的示意圖。圖2根據本發明的一實施例繪示身分驗證流程的示意圖。圖3根據本發明的一實施例繪示影像資料查詢流程的示意圖。圖4根據本發明的一實施例繪示一種監控方法的流程圖。圖5根據本發明的一實施例繪示另一種監控方法的流程圖。

S401、S402、S403、S404、S405、S406:步驟

Claims

一種監控系統，包括：影像擷取裝置，擷取影像；以及處理裝置，通訊連接至所述影像擷取裝置，並且經配置以執行：從所述影像中取得監視目標的人臉影像；對所述影像執行去識別化處理以取得去識別化影像，並且輸出所述去識別化影像；對所述人臉影像執行第一去識別化操作以產生去識別化特徵；以及判斷所述去識別化特徵與特徵資料庫中的預存特徵是否匹配以產生驗證結果。
如請求項1所述的監控系統，其中所述處理裝置更經配置以執行：對所述人臉影像執行第二去識別化操作以產生去識別化標籤，並且建立所述去識別化標籤與所述去識別化影像之間的映射關係以建立或更新影像資料庫。
如請求項2所述的監控系統，其中所述第二去識別化操作與所述第一去識別化操作相同。
如請求項2所述的監控系統，其中所述第二去識別化操作與所述第一去識別化操作相異，其中所述處理裝置基於差分隱私演算法執行所述第一去識別化操作，且基於同態加密演算法執行所述第二去識別化操作。
如請求項1所述的監控系統，其中所述去識別化處理包括：使用深度學習模型遮蓋所述影像中的所述監視目標以產生所述去識別化影像。
如請求項5所述的監控系統，其中所述處理裝置更經配置以執行：使用所述深度學習模型以從所述影像中擷取所述人臉影像。
如請求項5所述的監控系統，其中所述深度學習模型包括深度神經網路。
如請求項1所述的監控系統，其中所述處理裝置更經配置以執行：對所述人臉影像執行第二去識別化操作以產生去識別化標籤；以及根據所述去識別化標籤查詢影像資料庫以取得對應於所述去識別化標籤的歷史去識別化影像。
如請求項8所述的監控系統，其中所述處理裝置更經配置以執行：根據所述去識別化標籤對所述影像資料庫執行模糊搜尋以取得所述歷史去識別化影像。
如請求項8所述的監控系統，其中所述處理裝置更經配置以執行：判斷所述驗證結果是否為成功的；以及響應於所述驗證結果為成功的，根據所述去識別化標籤查詢所述影像資料庫以取得對應於所述去識別化標籤的所述歷史去識別化影像。
一種監控方法，包括：擷取影像；從所述影像中取得監視目標的人臉影像；對所述影像執行去識別化處理以取得去識別化影像，並且輸出所述去識別化影像；對所述人臉影像執行第一去識別化操作以產生去識別化特徵；以及判斷所述去識別化特徵與特徵資料庫中的預存特徵是否匹配以產生驗證結果。
如請求項11所述的監控方法，更包括：對所述人臉影像執行第二去識別化操作以產生去識別化標籤；以及建立所述去識別化標籤與所述去識別化影像之間的映射關係以建立或更新影像資料庫。
如請求項12所述的監控方法，其中所述第二去識別化操作與所述第一去識別化操作相同。
如請求項12所述的監控方法，其中所述第二去識別化操作與所述第一去識別化操作相異，其中所述第一去識別化操作基於差分隱私演算法被執行，且所述第二去識別化操作基於同態加密演算法被執行。
如請求項11所述的監控方法，其中對所述影像執行所述去識別化處理以取得所述去識別化影像的步驟包括：使用深度學習模型遮蓋所述影像中的所述監視目標以產生所述去識別化影像。
如請求項15所述的監控方法，其中從所述影像中取得所述監視目標的所述人臉影像的步驟包括：使用所述深度學習模型以從所述影像中擷取所述人臉影像。
如請求項15所述的監控方法，其中所述深度學習模型包括深度神經網路。
如請求項11所述的監控方法，更包括：對所述人臉影像執行第二去識別化操作以產生去識別化標籤；以及根據所述去識別化標籤查詢影像資料庫以取得對應於所述去識別化標籤的歷史去識別化影像。
如請求項18所述的監控方法，其中根據所述去識別化標籤查詢所述影像資料庫以取得對應於所述去識別化標籤的所述歷史去識別化影像的步驟包括：根據所述去識別化標籤對所述影像資料庫執行模糊搜尋以取得所述歷史去識別化影像。
一種監控系統，包括：影像擷取裝置，擷取影像；以及處理裝置，通訊連接至所述影像擷取裝置，並且經配置以執行：從所述影像取得監視目標的人臉影像，並對所述人臉影像執行去識別化操作以產生去識別化標籤；對所述影像執行去識別化處理以取得去識別化影像；建立所述去識別化標籤與所述去識別化影像之間的映射關係以建立或更新影像資料庫；以及響應於接收到與所述去識別化標籤匹配的查詢指令，將儲存在所述影像資料庫中的所述去識別化影像輸出。