TWI869791B - 物件辨識系統及其方法 - Google Patents

Abstract

一種物件辨識系統及其方法，利用一影像擷取裝置拍攝一第一影像，第一影像中包括一物件；利用一物件偵測模型從第一影像中擷取出物件的物件影像及座標，再輸入到一物件辨識模型中，以產生一辨識結果；以及依據辨識結果及物件的物件影像及座標，利用一物件追蹤處理器執行一資料回溯演算法以判斷物件是否當下被成功辨識，若辨識成功則輸出辨識結果，若辨識失敗，則判斷物件是否曾經被辨識為目標，以擴充一訓練資料庫。本發明通過將前次辨識正確的結果記錄下來，並新增或修改辨識錯誤的物件圖像，以擴充訓練資料庫，提升辨識準確率。

Description

物件辨識系統及其方法

本發明係有關一種物件辨識技術，特別是指一種物件辨識系統及其方法。

公共場所或工作區域若裝設有攝影機，可用來記錄現場狀況以備不時之需。但當需要判斷並記錄有無特定人士時，若不使用影像辨識技術便須要安排人力去察看攝影機所錄製的影像，或者定時到現場查看，非常消耗人力也沒有效率。

而採用影像辨識技術可加快搜尋特定人士的速度，但在部份情況下仍有無法辨識的問題。例如人臉辨識會因為畫面被口罩、眼鏡或頭髮遮蔽，或是只有側臉等問題，使可供辨識的特徵點減少，導致降低辨識成功率。若想要解決此問題需要大量的數據庫進行訓練與偵測，但是資料庫的蒐集非常的繁瑣，還需要大量人力進行標註。

而透過深度學習模型進行物件偵測與辨識，在不斷訓練模型的情況下可即時偵測特定人士目前有無存在於畫面上，但此方法不一定能在任何環境下都同時得到最佳的結果。例如當辨識一人失敗時，還是需要人工來辨識該人的身份，再提供給深度學習模型進行訓練，無法完全脫離人力。

有鑑於此，本發明針對上述習知技術之缺失及未來之需求，提出一種物件辨識系統及其方法，以解決上述該等缺失，具體架構及其實施方式將詳述於下：

本發明之主要目的在提供一種物件辨識系統及其方法，其透過攝影機取得工作區的人物影像，以深度學習物件偵測、物件辨識及多目標追蹤演算法做搭配，將被口罩或其它物品部份遮蔽的人臉辨識出來，並可以自動加入到資料庫中，擴充訓練資料庫，提升物件偵測模型及物件辨識模型的準確度。

為達上述目的，本發明提供一種物件辨識系統之辨識方法，包括下列步驟：利用一影像擷取裝置拍攝一第一影像，第一影像中包括一物件；利用一物件偵測模型從第一影像中擷取出物件的物件影像及座標；將物件的物件影像及座標輸入一物件辨識模型，以產生一辨識結果；以及依據辨識結果及物件的物件影像及座標，利用一物件追蹤處理器執行一資料回溯演算法以判斷物件是否當下被成功辨識，若辨識成功則輸出辨識結果，若辨識失敗，則判斷物件是否曾經被辨識為目標，以擴充一訓練資料庫。

依據本發明之實施例，物件偵測模型及物件辨識模型係利用一物件之複數公開影像所訓練出。

依據本發明之實施例，訓練出物件偵測模型之步驟更包括下列步驟：收集公開影像及一環境影像；對公開影像進行標註及定義類別；將被標註的公開影像輸入至一第一深度學習神經網路中進行訓練，並輸出一第一深度學習初始模型；依據環境影像對第一深度學習初始模型進行優化；以及輸出物件偵測模型。

依據本發明之實施例，訓練出物件辨識模型之步驟更包括下列步驟：接收環境影像及物件的物件影像及座標；對物件的物件影像及座標進行標註及定義類別；將被標註之物件的物件影像及座標輸入至一第二深度學習神經網路中進行訓練，並輸出一第二深度學習初始模型；依據環境影像對第二深度學習初始模型進行優化；以及輸出物件辨識模型。

依據本發明之實施例，物件的該辨識結果為成功時，更包括下列步驟：若物件影像和不同時序的其它影像具有相同的辨識結果，利用一多物件追蹤演算法將物件影像標示與其它影像相同的編號；以及將物件影像加入到一追蹤記錄中。

依據本發明之實施例，辨識結果為失敗時，更包括下列步驟：將物件的物件影像和座標與一追蹤記錄進行比對，確認過去是否有被辨識為目標之記錄，若有，將物件的辨識結果修正為目標，並利用物件之座標從第一影像中進行物件之截圖，將截圖產生之一物件圖像新增到訓練資料庫中，若沒有，則直接輸出辨識結果。

依據本發明之實施例，物件追蹤處理器判斷訓練資料庫中關於物件的圖片數量是否超過一預設值，若否，將物件圖像新增到訓練資料庫；以及若是，將物件圖像儲存到訓練資料庫後，將訓練資料庫中所有關於物件的圖片根據相似度進行排列，並將相似度最高或最低的一張圖片移除。

依據本發明之實施例，物件偵測模型係使用RetinaFace或SCRFD演算法。

依據本發明之實施例，物件辨識模型係使用ArcFace為基礎的物件辨識技術以及SDUNets(Stacked Dense U-Nets with Dual Transformers for Robust Face Alignment)的人臉對齊技術。

本發明另提供一種物件辨識系統，包括：一影像擷取裝置，拍攝一第一影像，第一影像中包括一物件；一訓練資料庫，儲存物件之複數公開影像；以及至少一處理器，連接訓練資料庫及影像擷取裝置，處理器包括：一物件偵測處理器，利用一物件偵測模型從第一影像中擷取出物件的物件影像及座標；一物件辨識處理器，連接物件辨識處理器，物件辨識處理器將物件的物件影像及座標輸入一物件辨識模型，產生一辨識結果；以及一物件追蹤處理器，連接物件辨識處理器，物件追蹤處理器依據辨識結果及物件的物件影像及座標，利用一資料回溯演算法判斷物件是否當下被成功辨識，若辨識成功則輸出辨識結果，若辨識失敗，則判斷物件是否曾經被辨識為目標，以擴充一訓練資料庫。

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，熟悉本技術領域者在沒有做出進步性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。

應當理解，當在本說明書和所附申請專利範圍中使用時，術語「包括」和「包含」指示所描述特徵、整體、步驟、操作、元素和/或元件的存在，但並不排除一個或複數其它特徵、整體、步驟、操作、元素、元件和/或其集合的存在或添加。

還應當理解，在此本發明說明書中所使用的術語僅僅是出於描述特定實施例的目的而並不意在限制本發明。如在本發明說明書和所附申請專利範圍中所使用的那樣，除非上下文清楚地指明其它情況，否則單數形式的「一」、「一個」及「該」意在包括複數形式。

還應當進一步理解，在本發明說明書和所附申請專利範圍中使用的術語「及/或」是指相關聯列出的項中的一個或複數的任何組合以及所有可能組合，並且包括這些組合。

請參考第1圖，其為本發明物件辨識系統之方塊圖。物件辨識系統10係設置於至少一主機（圖中未示）中，舉例而言，可先在第一主機中訓練出模型後，安裝到裝置端（例如工作區）的第二主機以進行物件偵測及辨識；亦可將裝置端的物件影像回傳到第一主機後，在第一主機進行物件偵測及辨識。物件辨識系統10包括一影像擷取裝置12、一訓練資料庫20及至少一處理器。其中，處理器依據不同的用途，可包括一物件偵測處理器14、一物件辨識處理器16及一物件追蹤處理器18。影像擷取裝置12連接物件偵測處理器14，物件偵測處理器14連接訓練資料庫20和物件辨識處理器16，物件辨識處理器16連接物件追蹤處理器18。物件追蹤處理器18連接訓練資料庫20。物件偵測處理器14中包括一物件偵測模型142，物件辨識處理器16中包括一物件辨識模型162。以下一一說明各元件之用途與做動。

影像擷取裝置12設在工作區，拍攝一第一影像，第一影像中包括一物件。本發明中，第一影像可包括整個人的全身照，而待辨識的物件可為人臉。訓練資料庫20中儲存物件之複數公開影像202。這些公開影像用以提供給物件偵測處理器14訓練物件偵測模型142。物件偵測處理器14利用訓練完成的物件偵測模型142進行推論，從第一影像中擷取出物件的物件影像（只有臉部）及座標。物件辨識處理器16接收物件偵測模型142輸出之物件的物件影像及座標，並將其輸入物件辨識模型162中進行推論，產生一辨識結果。辨識結果為成功辨識出人臉的身份，或是辨識失敗。物件追蹤處理器18依據辨識結果及物件的物件影像及座標，利用一資料回溯演算法判斷物件是否當下被成功辨識，若辨識成功則輸出辨識結果，若辨識失敗，則判斷物件是否曾經被辨識為目標，以擴充訓練資料庫20。

在一實施例中，物件偵測模型142係使用RetinaFace或SCRFD演算法。物件辨識模型162係使用ArcFace為基礎的物件辨識技術以及SDUNets的人臉對齊技術。

請同時參考第2圖，其為本發明物件辨識系統10之辨識方法之流程圖。當物件偵測模型142及物件辨識模型162皆訓練完成並投入使用後，如步驟S10所述，利用影像擷取裝置12拍攝一第一影像，第一影像中包括一物件。接著如步驟S12~S14所述，利用物件偵測模型142從第一影像中擷取出物件的物件影像及座標，再將物件的物件影像及座標輸入物件辨識模型162，以推論得到辨識結果。步驟S16中，依據辨識結果及物件的物件影像及座標，利用物件追蹤處理器18執行一資料回溯演算法，以判斷物件是否當下被成功辨識，若辨識成功，則如步驟S18輸出辨識結果；反之，若辨識失敗，則如步驟S19所述，物件追蹤處理器18判斷物件是否曾經被辨識為目標，以擴充訓練資料庫20，提供新的資料給物件偵測模型142進行訓練，可增加人臉辨識的準確率。

第3圖為本發明訓練物件偵測模型的流程圖。此流程是在物件偵測處理器中進行。首先步驟S20收集公開影像及一環境影像，此環境影像為工作區的環境，以供訓練模型可辨識出前景（人臉）及背景（環境影像）。步驟S22中，利用LabelImage等標註工具對公開影像進行標註及定義類別。標註為物件的身份，例如收集多人的公開影像，並在不同人的人臉上標註其姓名。定義類別則是將人臉和背景做區分。步驟S24將被標註的公開影像輸入至一第一深度學習神經網路中進行訓練，並輸出一第一深度學習初始模型。步驟S26依據環境影像對第一深度學習初始模型進行客製化的優化，舉例而言，大門口的人流量大，故對物件偵測模型的訴求是速度快，而對於辦公室內而言，則是要求提高精準度。最後於步驟S28輸出訓練完成的物件偵測模型。

第4圖為本發明訓練物件辨識模型的流程圖。此流程是在物件辨識處理器中進行。步驟S30接收環境影像及物件的物件影像及座標。步驟S32利用LabelImage等標註工具對物件的物件影像及座標進行標註及定義類別，此步驟類似於第3圖的步驟S22，只是參數不同。步驟S34中，將被標註之物件的物件影像及座標輸入至一第二深度學習神經網路中進行訓練，並輸出一第二深度學習初始模型。步驟S36依據環境影像對第二深度學習初始模型進行客製化的優化，同理於上述步驟S26。最後於步驟S38輸出訓練完成的物件辨識模型。

第5圖為本發明中物件追蹤處理器執行資料回溯演算法之細部流程圖。首先步驟S40中，先將辨識結果及物件的物件影像及座標輸入到物件追蹤處理器。步驟S41，判斷物件辨識模型是否有辨識成功，若有，代表此物件存在於訓練資料庫中，則於步驟S42輸出辨識結果（在第一影像上顯示該物件的身份），並將物件影像加入到一追蹤記錄中。反之，若物件辨識模型沒有辨識成功，代表此物件不存在訓練資料庫中，則如步驟S43~S44所述，將物件與追蹤記錄進行比對，確認過去是否有被辨識為目標之記錄。若不曾被辨識成功，則如步驟S45輸出物件辨識模型產出的辨識結果（即辨識失敗）。若曾被成功辨識過，則如步驟S46所述，將物件的辨識結果修正為目標，並利用物件之座標從第一影像中進行物件之截圖，將截圖產生的物件圖像新增到訓練資料庫中。

上述步驟S42中，將物件影像加入到追蹤記錄的方法是先判斷物件影像和不同時序的其它影像是否具有相同的辨識結果，若有，利用一多物件追蹤演算法將物件影像標示與其它影像相同的編號，例如使用者A的編號為13號，再將物件影像加入到追蹤記錄中。

上述步驟S46中，物件追蹤處理器修正辨識結果後還會進行優化流程，以避免訓練資料庫中關於該物件的圖片太多。首先，物件追蹤處理器判斷訓練資料庫中關於物件的圖片數量是否超過一預設值。若沒有超過預設值，則直接將物件圖像新增到訓練資料庫。但若圖片數量已滿，就必須刪除一張才能加入新的圖片，此時，物件追蹤處理器將物件圖像儲存到訓練資料庫後，將訓練資料庫中所有關於物件的圖片根據相似度進行排列，再將相似度最高或最低的一張圖片移除，以防止過擬合。

在一具體實施例中，可先將待辨識的所有使用者的未被遮蔽的正臉儲存在訓練資料庫中，結合多張公開影像訓練出物件偵測模型，再以物件偵測模型輸出的物件影像及座標訓練出物件辨識模型。當實際應用物件辨識系統時，若使用者戴著口罩，縱使物件辨識系統一開始無法辨識出使用者的身份，但物件追蹤處理器會立刻自動將使用者的影像與追蹤記錄進行比對。由於公開影像可能包含使用者部份臉孔的圖片，或是先前曾經辨識成功過，因此物件追蹤處理器可從過往的追蹤記錄找出使用者的身份，成功辨識出使用者。若追蹤記錄中也沒有辨識成功過，才會顯示出辨識失敗的訊息。因此本發明在物件（人臉）被遮蔽的情況下，仍可精準辨識出使用者的身份，提升場域管理的效率。

唯以上該者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

10:物件辨識系統 12:影像擷取裝置 14:物件偵測處理器 142:物件偵測模型 16:物件辨識處理器 162:物件辨識模型 18:物件追蹤處理器 20:訓練資料庫 202:公開影像 204:追蹤記錄

第1圖為本發明物件辨識系統之方塊圖。 第2圖為本發明物件辨識系統之辨識方法之流程圖。 第3圖為本發明訓練物件偵測模型的流程圖。 第4圖為本發明訓練物件辨識模型的流程圖。 第5圖為本發明中物件追蹤處理器執行資料回溯演算法之細部流程圖。

10:物件辨識系統

12:影像擷取裝置

14:物件偵測處理器

142:物件偵測模型

16:物件辨識處理器

162:物件辨識模型

18:物件追蹤處理器

20:訓練資料庫

202:公開影像

204:追蹤記錄

Claims (15)

1. 一種物件辨識系統之辨識方法，該物件辨識系統包括一物件偵測處理器、一物件辨識處理器及一物件追蹤處理器，該辨識方法包括下列步驟：利用該物件偵測處理器中的一物件偵測模型從一第一影像中擷取出一物件的物件影像及座標，該第一影像中包括該物件；利用該物件辨識處理器將該物件的物件影像及座標輸入一物件辨識模型，以產生一辨識結果，該辨識結果為該物件的身份；以及利用該物件追蹤處理器依據該辨識結果及該物件的物件影像及座標，執行一資料回溯演算法，以判斷該物件是否當下被成功辨識，若辨識成功，該物件存在於一訓練資料庫中，則輸出該辨識結果，若辨識失敗，則判斷該物件是否曾經被辨識為目標，以擴充該訓練資料庫。
2. 如請求項1所述之物件辨識系統之辨識方法，其中該物件偵測模型及該物件辨識模型係利用一物件之複數公開影像所訓練出。
3. 如請求項2所述之物件辨識系統之辨識方法，其中該物件偵測處理器訓練出該物件偵測模型之步驟更包括下列步驟：收集該等公開影像及一環境影像；對該等公開影像進行標註及定義類別；將被標註的該等公開影像輸入至一第一深度學習神經網路中進行訓練，並輸出一第一深度學習初始模型；依據該環境影像對該第一深度學習初始模型進行優化；以及 輸出該物件偵測模型。
4. 如請求項3所述之物件辨識系統之辨識方法，其中該物件辨識處理器訓練出該物件辨識模型之步驟更包括下列步驟：接收該環境影像及該物件的物件影像及座標；對該物件的物件影像及座標進行標註及定義類別；將被標註的該物件的物件影像及座標輸入至一第二深度學習神經網路中進行訓練，並輸出一第二深度學習初始模型；依據該環境影像對該第二深度學習初始模型進行優化；以及輸出該物件辨識模型。
5. 如請求項1所述之物件辨識系統之辨識方法，其中該物件的該辨識結果為成功時，更包括下列步驟：若該物件影像和不同時序的其它影像具有相同的辨識結果，該物件追蹤處理器利用一多物件追蹤演算法將該物件影像標示與其它影像相同的編號；以及該物件追蹤處理器將該物件影像加入到一追蹤記錄中。
6. 如請求項1所述之物件辨識系統之辨識方法，其中該辨識結果為失敗時，更包括下列步驟：該物件追蹤處理器將該物件的物件影像和座標與一追蹤記錄進行比對，確認過去是否有被辨識為目標之記錄，若有，將該物件的該辨識結果修正為目標，並利用該物件之座標從該第一影像中進行該物件之截圖，將截圖產生之一物件圖像新增到該訓練資料庫中，若沒有，則直接輸出該辨識結果。
7. 如請求項6所述之物件辨識系統之辨識方法，其中該物件追蹤處理器判斷該訓練資料庫中關於該物件的圖片數量是否超過一預設值，若否，將該物件圖像新增到該訓練資料庫；以及若是，將該物件圖像儲存到該訓練資料庫後，將該訓練資料庫中所有關於該物件的圖片根據相似度進行排列，並將相似度最高或最低的一張圖片移除。
8. 如請求項1所述之物件辨識系統之辨識方法，其中該物件偵測模型係使用RetinaFace或SCRFD演算法。
9. 如請求項1所述之物件辨識系統之辨識方法，其中該物件辨識模型係使用ArcFace為基礎的物件辨識技術以及SDUNets的人臉對齊技術。
10. 一種物件辨識系統，包括：一影像擷取裝置，拍攝一第一影像，該第一影像中包括一物件；一訓練資料庫，儲存該物件之複數公開影像；以及至少一處理器，連接該訓練資料庫及該影像擷取裝置，該至少一處理器包括：一物件偵測處理器，利用一物件偵測模型從該第一影像中擷取出該物件的物件影像及座標；一物件辨識處理器，連接該物件偵測處理器，該物件辨識處理器將該物件的物件影像及座標輸入一物件辨識模型，產生一辨識結果，該辨識結果為該物件的身份；以及 一物件追蹤處理器，連接該物件辨識處理器，該物件追蹤處理器依據該辨識結果及該物件的物件影像及座標，利用一資料回溯演算法判斷該物件是否當下被成功辨識，若辨識成功，該物件存在於一訓練資料庫中，則輸出該辨識結果，若辨識失敗，則判斷該物件是否曾經被辨識為目標，以擴充該訓練資料庫。
11. 如請求項10所述之物件辨識系統，其中該物件辨識成功時，若該物件影像和不同時序的其它影像若具有相同的辨識結果，該物件追蹤處理器利用一多物件追蹤演算法將該物件影像標示與其它影像相同的編號，並記錄在一追蹤資料庫的一追蹤記錄中。
12. 如請求項11所述之物件辨識系統，其中該物件辨識失敗時，該物件追蹤處理器將該物件的物件影像及座標與該追蹤記錄進行比對，以確認過去是否有被辨識為目標之記錄，若有，將該物件的該辨識結果修正為目標，並利用該物件之座標從該第一影像中進行該物件之截圖，將截圖產生之一物件圖像新增到該訓練資料庫中，若沒有，則直接輸出該辨識結果。
13. 如請求項12所述之物件辨識系統，其中該物件追蹤處理器判斷該訓練資料庫中關於該物件的圖片數量是否超過一預設值，若否，將該物件圖像新增到該訓練資料庫；以及若是，將該物件圖像儲存到該訓練資料庫後，將該訓練資料庫中所有關於該物件的圖片根據相似度進行排列，並將相似度最高或最低的一張圖片移除。
14. 如請求項10所述之物件辨識系統，其中該物件偵測模型係使用RetinaFace或SCRFD演算法。
15. 如請求項10所述之物件辨識系統，其中該物件辨識模型係使用ArcFace為基礎的物件辨識技術以及SDUNets的人臉對齊技術。

Images