TWI796072B - 身分辨識系統、方法及其電腦可讀媒體 - Google Patents
身分辨識系統、方法及其電腦可讀媒體 Download PDFInfo
- Publication number
- TWI796072B TWI796072B TW110149709A TW110149709A TWI796072B TW I796072 B TWI796072 B TW I796072B TW 110149709 A TW110149709 A TW 110149709A TW 110149709 A TW110149709 A TW 110149709A TW I796072 B TWI796072 B TW I796072B
- Authority
- TW
- Taiwan
- Prior art keywords
- person
- model
- images
- feature vector
- identity recognition
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000013598 vector Substances 0.000 claims abstract description 51
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims description 33
- 238000013145 classification model Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Testing Of Coins (AREA)
- Traffic Control Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本發明為一種身分辨識系統及其方法,包括資料處理模組、特徵擷取模組以及分類模組,其中,資料處理模組對所接收之影像資料進行人物之人物影像之剪裁,形成輸入資料,經特徵擷取模組擷取該輸入資料之特徵向量後,使分類模組依據該特徵向量,判斷人物是穿著制服之店員或非穿著制服之消費者,以進行人流計數,故能解決習知人臉辨識技術不適用於零售店之人流計數之問題。本發明復提供一種電腦可讀媒體,係用於執行本發明之方法。
Description
本發明係關於影像辨識之技術,尤指一種用以對人物之身分別進行識別之身分辨識系統、方法及其電腦可讀媒體。
對於商店而言,來客數代表著店家受歡迎的程度,也可增加消費的機會,因此,如何正確統計商店一天或一段時間內之來客人數,對商店之自我評估相當重要。進言之,在智慧零售的應用中,通常需要蒐集消費者行為,作為提升零售之服務體驗的依據,傳統對於消費者行為之蒐集,須透過蒐集問卷或由店員配戴例如計數器之識別裝置進行人流計數。時至今日,蒐集消費者行為中目前較常見的方法,大多利用影像辨識技術進行人流計數、熱區識別以及消費者性別年齡層辨識,以在不影響消費者的情況下,達到取得消費者到店之相關資訊的目的。
在分析消費者相關資訊時,來店之消費者的人數係最基礎之指標(Metric),然商店內通常同時存在消費者以及為消費者提供服務之店員,因而如何在人流計數上區分出消費者和店員,以便得到真正的消費者數,實為目前智慧零售之重要主題之一。對此,為提供智慧零售對真正消費者之計數,常見之方法
係利用人臉辨識(Face Recognition)技術,將已預先註冊面容識別(Face ID)之店員辨識出來並進行扣除,惟近期由於新冠肺炎(COVID-19)疫情之影響,民衆在公共場合皆會戴上口罩,將影響人臉辨識之辨識效果。再者,依美國國家標準與技術研究所(NIST)之實驗指出,臉部辨識在辨識戴著口罩之人臉時,錯誤率在5%到50%之問,換言之,即使此問題隨著臉部辨識技術的提升已有改善,但人臉辨識仍然會有受臉部角度影響的問題,因而,習知的人臉辨識技術對於身分識別仍存有缺失。
另外,由於零售店之店通常會穿著制服,是以,另有利用服裝辨識(Clothes Recognition)之方法針對制服進行辨識以區別之,然用於辨識制服之模型對於輸入之服裝角度以及解析度之要求甚高。另外,於訓練模型時,通常會輸入一位模特兒或是一套服裝所構成之靜態影像,惟消費者或店員於零售店內通常呈現動態之情況,故習知之服裝辨識方法實不適用於零售店中人物密集、角度不定或是遮蔽的情況下由閉路電視(Closed-Circuit Television,CCTV)所錄製的串流影片,又或者,利用標誌辨識(Logo Recognition)和光學字元辨識(Optical Character Recognition)辨識制服上標誌(Logo)或字樣之方法,亦存在與前述服裝辨識技術相同之問題,亦即,標誌辨識或光學字元辨識之方法仍須要輸入清楚且相較完整的影像,故同樣不適用於零售店的場域。
鑑於上述問題,如何辨識較大之尺度的串流影片中之人物,特別是,即使人物於串流影片畫面上所顯示之尺寸相對較小或是遭到部分遮蔽,仍能取得相較豐富之相關資訊而進行識別,此將成為目前本技術領域人員急欲追求之目標。
為解決上述現有技術之問題,本發明係揭露一種身分辨識系統,係包括:資料處理模組,係用以接收影像資料,且利用多物件追蹤演算法追蹤該影像資料中之人物,以自該影像資料中對應該人物剪裁出多個人物影像而形成輸入資料;特徵擷取模組,係與該資料處理模組耦接,利用人物重識別模型對該輸入資料中該人物進行特徵向量之擷取;以及分類模組,係與該特徵擷取模組耦接,用以將該特徵向量輸入分類模型,判斷該人物之身分別。
於一實施例中,該資料處理模組係包括用於對該多個人物影像進行多方向取樣之姿勢方向估計模型,其中,該姿勢方向估計模型係對該多個人物影像進行方向辨識,以篩選出不同方向之人物影像而形成該輸入資料。
於另一實施例中,該不同方向之人物影像係包括該人物之前、後、左及/或右之方位。
於另一實施例中,該資料處理模組係對該多個人物影像進行人臉匿名模糊化,以形成該輸入資料。
於另一實施例中,該特徵向量之擷取係包括取得該人物身上之制服、帽子及/或識別證的特徵向量。
於又一實施例中,於模型訓練過程中,該資料處理模組係預先將該多個人物影像依據該人物穿著制服與否進行標記,以形成訓練樣本,俾供該人物重識別模型利用該訓練樣本進行訓練。
本發明復揭露一種身分辨識方法,係由電腦執行該方法,該方法包括以下步驟:接收影像資料;利用多物件追蹤演算法追蹤該影像資料中之人物,以自該影像資料中對應該人物剪裁出多個人物影像而形成輸入資料;透過
人物重識別模型對該輸入資料中該人物進行特徵向量之擷取;以及透過分類模型,依據該特徵向量判斷該人物為消費者或店員之身分別。
於一實施例中,該形成輸入資料之步驟復包括透過姿勢方向估計模型對該多個人物影像進行多方向取樣,以篩選出不同方向之人物影像而形成該輸入資料。於另一實施例中,該不同方向之人物影像係包括該人物之前、後、左及/或右之方位。
於另一實施例中,該形成輸入資料之步驟復包括對該多個人物影像進行人臉匿名模糊化,以形成該輸入資料。
於另一實施例中,該特徵向量之擷取係包括取得該人物身上之制服、帽子及/或識別證的特徵向量。
於又一實施例中,本發明復包括於模型訓練過程中,先將該多個人物影像依據該人物穿著制服與否進行標記,以形成訓練樣本,俾供該人物重識別模型利用該訓練樣本進行訓練。
本發明復揭露一種電腦可讀媒體,應用於計算裝置或電腦中,係儲存有指令,以執行前述之身分辨識方法。
由上可知,本發明之身分辨識系統、方法及其電腦可讀媒體,係藉由資料處理模組對所接收之影像資料進行人物剪裁,以形成輸入資料,經特徵擷取模組對輸入資料進行人物之特徵向量擷取,使分類模組能依據特徵向量對人物進行分類及計數,據以透過制服辨識而判斷人物之身分別以達到人流計數之目的。
1:身分辨識系統
11:資料處理模組
12:特徵擷取模組
13:分類模組
S201~S207:步驟
S501~S507:流程
U、NU:空間
圖1係本發明之身分辨識系統之系統架構圖。
圖2係本發明之身分辨識系統之人物重識別模型進行訓練之流程圖。
圖3係本發明之身分辨識系統進行分類訓練之示意圖。
圖4A-4B係本發明之身分辨識系統進行分類推論之示意圖。
圖5係本發明之身分辨識方法之流程圖。
以下藉由特定的具體實施形態說明本發明之技術內容,熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之優點與功效。然本發明亦可藉由其他不同的具體實施形態加以施行或應用。
圖1為本發明之身分辨識系統之系統架構圖。如圖所示,本發明之身分辨識系統1係包括資料處理模組11、特徵擷取模組12以及分類模組13,其中,資料處理模組11用以自接收之影像資料中剪裁出人物影像,據以形成輸入資料,經特徵擷取模組12對輸入資料進行特徵向量擷取後,由分類模組13依據特徵向量判斷人物影像中人物之身分別,例如為消費者或店員,甚或零售店經理、活動宣傳模特、外送員,並進行人流計數,簡言之,透過特徵向量擷取來進行身分別之判斷,如何提取和辨識影像中人物之特徵成為關鍵,以下以消費者與店員之辨識為例進行說明。
關於本發明之身分辨識系統1之說明,詳述如下。
資料處理模組11係用以接收影像資料。在一實施例中,資料處理模組11係接收來自外部之閉路電視(CCTV)所錄製之串流影片作為影像資料,或
是由本發明之身分辨識系統1所建置之資料庫中所儲存或攝影機所拍攝之影像資料。進言之,資料處理模組11係利用多物件追蹤(Multiple Object Tracking,MOT)技術,其中,多物件追蹤技術具體為多物件追蹤演算法,能針對影像資料中之人物(例如消費者或店員)進行追蹤,具體而言,資料處理模組11可藉由多物件追蹤演算法以框格框選人物之方式顯示對人物之追蹤,經多物件追蹤技術對人物進行追蹤後,將影像資料中對應所追蹤之人物進行裁剪,即依據框選人物之框格裁剪,由於影像資料係連續之串流影片,因而人物經裁剪後,將產生多個人物影像而形成輸入資料。
於一實施例中,資料處理模組11係包括用以自多個人物影像中針對人物進行多方取樣之姿勢方向估計模型,由於單一人物經自影像資料中進行剪裁後,通常具有多種型態人物影像作為樣本,亦即多種型態人物影像會包含各類方向或角度的人物影像,因此,即便在連續或隨機取樣後仍可能取得在外觀上幾乎重複的樣本,是以,為求盡可能得到人物面對不同方向的樣本,故本發明採用姿勢方向估計(Pose Orientation Estimation,POE)模型進一步分析,使該資料處理模組11藉由姿勢方向估計模型先辨識出人物之方向,再對該多個人物影像進行多方向取樣,最後僅保留不同方向的人物影像,進而使經多方向取樣後的該些人物影像形成該輸入資料,亦即,本發明之多方向取樣係針對該人物之前、後、左及/或右之方位進行取樣,具體地,形成例如人物面向前方、後方、左方及/或右方之方向的樣本。據此,透過提供單一人物之多方位之人物影像,藉以提升本發明之身分辨識系統1之辨識結果的正確性,同時排除多餘相似資料,能有助於減少數據運算量。
於一實施例中,該資料處理模組11係對該多個人物影像進行人臉匿名模糊化,以形成該輸入資料,亦即,資料處理模組11對人物影像進行處理步驟中還包含對人物影像中之人臉部位進行模糊化,以使身分辨識系統1無需辨識臉部特徵,本發明藉由將人物影像中之人物的人臉部位模糊化,使得特徵擷取模組12於執行特徵向量擷取時,能專注於人臉以外之部份,例如衣服、帽子或識別證等,甚至是衣服上之標誌(LOGO)部分,使本發明之身分辨識系統1之辨識效果更加精確;另外,透過人物之人臉的模糊化,更能同時達到保護消費者隱私之目的。
特徵擷取模組12係利用人物重識別(Person Re-identification)模型對該輸入資料中該人物進行特徵向量擷取,其中,人物之特徵向量之擷取係包括取得該人物身上之制服、LOGO(例如零售店之商標、店徽等)、帽子及/或識別證等可供辨識身分別(例如為店員或消費者之人物)的人臉以外之特徵向量。
分類模組13係將經由人物重識別模型所擷取之特徵向量輸入至分類模型中,使分類模型依據特徵向量判斷該輸入資料所對應之人物是否穿著制服及其身分別,以進行分類,特別是本發明係分類出店員和非店員(消費者),並能於分類後進行人流計數,據以達到統計消費者之人數的目的。
圖2為本發明之身分辨識系統之人物重識別模型進行訓練之流程圖。如圖所示,於身分辨識系統運作前,可預先對人物重識別模型進行訓練,除了建立人物重識別模型外,亦能對人物重識別模型作調整改良,俾以達到對影像資料進行正確且精準之消費者計數之效果。其訓練步驟如下所示。
於步驟S201中,準備資料。本步驟除了能自本發明之身分辨識系統所建置之資料庫中取得預先儲存之影像資料外,亦可接收自本系統建置之攝
影機或外部之CCTV裝置所擷取之影像資料,經由多物件追蹤演算法將該影像資料中的人物裁剪出來做為樣本。
於步驟S202中,多方向取樣。本步驟係將一位人物所對應之多個人物影像,經姿勢方向估計模型將人物方向辨識出來,以得到人物面對不同方向之人物影像以作為樣本。於一實施例中,多方向取樣之結果係可保留前、後、左、右之方向的樣本。
於步驟S203中,進行人臉匿名模糊。由於本發明欲使人物重識別模型著重於對人物之制服、LOGO、帽子或識別證等店員專有之特徵進行特徵擷取,因而將人臉進行匿名模糊化,其中,人臉匿名模糊化後對人物重識別的辨識能力幾乎沒有影響;再者,由於身分辨識不需要辨識人臉特徵,是以,為提升本發明之人物重識別模型於實際場域(例如於零售商店中)辨識的泛化性,故在處理輸入之資料(即樣本)時,可將人臉進行匿名模糊,一方面能保護消費者的隱私,另一方面可以讓人物重識別模型專注於服裝之特徵進行辨識,減少對人臉特徵的依賴。
於步驟S204中,標記資料。本步驟係針對樣本中之人物有穿制服或沒穿制服作為條件進行標記,簡言之,為了區分樣本是否有穿制服或沒穿制服,進而推估該人物為店員與否,本步驟可先利用標記之方式,對樣本中之人物進行有穿制服或沒穿制服之標記。
於步驟S205中,特徵擷取。本步驟係將樣本輸入至人物重識別模型中以擷取特徵向量,據之使人物重識別模型分別針對有穿制服或沒穿制服之人物進行特徵向量擷取,即可得到有穿制服之人物之特徵向量。
於步驟S206中,分類。本步驟將特徵向量輸入如支援向量機(Support Vector Machine,SVM)之分類模型中,以將樣本分成店員或消費者兩類別。另外,由於零售店中通常店員數遠比消費者數少,所取得之資料為不平衡資料(Imbalanced Data),故在訓練支援向量機時,採用類別權重設定(例如機器學習中sklearn.svm.SVC的平衡(balanced)模式的類別權重設定),以自動增加樣本較少的店員類別的權重,藉以避免人物重識別模型傾向將人物辨識成樣本較多的消費者類別。
舉例而言,若用以訓練之影像資料中,具有1,000筆關於消費者之樣本以及100筆關於店員之樣本,此時,若將全部店員皆誤判成消費者,其錯誤率也僅為100/(1,000+100),約為9.1%,其錯誤率可能被忽略,對此,本發明增加店員之權重,亦即令消費者之權重與店員之權重的比例為1:10,使得1,000位消費者與100店員之重要性相同,據此,若遇所有店員皆遭誤判時,其錯誤率為100*10/(1,000*1+100*10)=50%,換言之,若所有店員皆遭誤判時,等同於誤判半數資料,增加了誤判之嚴重性,故本發明透過調整、設定權重以增加模型對於樣本數量相對較少之店員的樣本誤判之嚴重性,以避免誤判情況衍伸之問題。於一具體實施例中,本發明之設定權重能透過平衡(balanced)模式進行自動調整,亦即,平衡模式利用公式:總樣本數/(類別數*該類別的樣本數),以達到自動依據樣本數調整前述之權重之目的,舉例言之,承前述示例,則消費者權重=(1,000+100)/(2*1,000)=0.55,而店員權重=(1,000+100)/(2*100)=5.5,因此,消費者權重與店員權重之比例為0.55:5.5即為1:10,同於前述示例,如此即能避免誤判所衍伸之模型失衡。
於步驟S207中,權重優化。本步驟依據分類結果與真實類別(Ground Truth)計算損耗值(Loss),更新人物重識別模型和分類模型的權重(Weight),讓Loss變小,進而反覆訓練直到達到終止條件,其中,於真實類別計算上,t為樣本之真實類別,其可為1、-1,以分別代表店員(1)以及消費者(-1),當分類模型預測之結果為y=0.7,且該樣本的真實類別為t=1,則loss為:max(0,1-t*y)=max(0,1-1*0.7)=0.3,此表示若y愈接近t,則loss愈小。
接著,為使本發明之身分辨識系統之人物重辨識模型於訓練後能夠正確的分類,進行訓練如下。
如圖3所示,係本發明之身分辨識系統進行分類訓練之示意圖。為了讓執行身分辨識之分類模型訓練後能夠正確的分類,訓練的目標設定為訓練人物重識別模型的全身特徵擷取能力並保證以下條件為真:(a)穿著相似且為同一個人時,特徵向量應該要幾乎一樣;(b)穿著相似時,即使是不同個人,特徵向量應該要相近;(c)穿著不同時,特徵向量應該要不相近。
首先,將標記穿制服樣本(樣本1-3)以及沒穿制服樣本(樣本4-6)輸入人物重識別模型,以訓練人物重識別模型對人物之全身特徵的擷取能力,使得人物重識別模型對於穿著相似且為同一個人所擷取之特徵向量相同或近乎相同、穿著相似之不同個人所擷取之特徵向量相似以及穿著不同者所擷取之特徵向量不相近。
之後,訓練分類模型對特徵向量進行分類,在前述條件分類下,讓有穿制服與沒穿制服對應的特徵向量會分別落在決策邊界所分割出來的空間U(Uniform,即有穿制服)與空間NU(Non-Uniform,即沒穿制服)。
接著,訓練完分類模型後,即可進行推論,如圖4A和4B所示,係本發明之身分辨識系統進行分類推論之示意圖。本系統之身分辨識系統將輸入樣本進行多方向取樣及人臉匿名模糊,經人物重識別模型對輸入樣本推論出特徵向量,接著,利用分類模型對特徵向量進行分類,針對有穿制服和沒穿制服的樣本,如圖4A所示,若特徵向量落在空間U(Uniform),即人物為有穿制服,反之,若是落在空間NU(Non-Uniform),即人物為沒穿制服,如圖4B所示。
圖5為本發明之身分辨識方法之流程圖。如圖所示,本發明之身分辨識方法係於電腦、伺服器或雲端系統等電子設備中執行,具體而言,本發明之身分辨識方法係包括以下流程。
於流程S501中,接收影像資料。本流程係可自資料庫中取得其所儲存之影像資料,亦可接收自所設置之攝影機或CCTV裝置中所擷取之影像資料。
於流程S502中,人物追蹤。本流程係透過多物件追蹤演算法追蹤該影像資料中之人物,以自將該影像資料中對應該人物剪裁出多個人物影像。
於流程S503中,多方向取樣。本流程係透過使用姿勢方向估計模型對所剪裁出來之多個人物影像進行多方向取樣,具體而言,多方向取樣係針對該人物之前、後、左及/或右之方位進行取樣,以依據經多方向取樣之該多個人物影像形成該輸入資料。
於流程S504中,人臉匿名模糊。本流程係將該多個人物影像進行人臉匿名模糊化,使人臉部位模糊化而無法進行辨識,據以形成該輸入資料,其目的除了保護個資外,亦能降低特徵擷取時的影響。
於流程S505中,形成輸入資料。本流程係將上述經剪裁、多方向取樣以及人臉匿名模糊後之多個人物影像形成輸入資料。
於流程S506中,透過人物重識別模型對該輸入資料中該人物之特徵進行特徵向量擷取。前述之特徵向量擷取係包括對人物之制服、LOGO、帽子及/或識別證等進行向量擷取。
於流程S507中,透過分類模型依據該特徵向量,判斷該人物是否穿著制服及其身分別。本流程是利用分類模型來判斷人物影像其身分別為何,於本發明中,主要判斷人物為消費者或店員,接著還能進行人流計數。
於一實施例中,於步驟S506中,於利用人物重識別模型前,可先對人物重識別模型進行訓練,以獲得人物重識別模型或後續人物重識別模型之優化。具體而言,訓練步驟包括準備資料、多方向取樣、進行人臉匿名模糊、標記資料、特徵擷取、分類以及權重優化,其詳細內容已於圖2及對應段落說明,故不再贅述。
在一實施例中,本發明之身分辨識系統及方法係於實際應用場域進行應用,簡言之,於9間大型零售店進行訓練,其訓練樣本包括5,077個沒穿制服樣本以及755個有穿制服樣本,本發明使用經此訓練後之人物重識別模型,以於另外之零售店進行1,074個測試樣本,其中,平均精準率(Precision)、召回率(Recall)皆達到93%以上,詳如下面表1所示。
此外,本發明還揭示一種電腦可讀媒體,係應用於具有處理器(例如,CPU、GPU等)及/或記憶體的計算裝置或電腦中,且儲存有指令,並可利用此計算裝置或電腦透過處理器及/或記憶體執行此電腦可讀媒體,以於執行此電腦可讀媒體時執行上述之方法及各步驟。
在一實施例中,本發明的模組、單元、裝置等包括微處理器及記憶體,而演算法、資料、程式等係儲存記憶體或晶片內,微處理器可從記憶體載入資料或演算法或程式進行資料分析或計算等處理。易言之,本發明之身分辨識系統可於電子設備上執行,例如一般電腦、平板或是伺服器,在收到影像資料後執行資料分析與運算,故身分辨識系統所進行程序,可透過軟體設計並架構在具有處理器、記憶體等元件之電子設備上,以於各類電子設備上運行;另外,亦可將身分辨識系統之各模組或單元分別以獨立元件組成,例如設計為計算器、記憶體、儲存器或是具有處理單元的韌體,皆可成為實現本發明之組件,而人物重識別模型或分類模型等相關模型,亦可選擇以軟體程式、硬體或韌體架構呈現。
綜上所述,本發明之身分辨識系統、方法及其電腦可讀媒體,係於零售店內藉由辨識制服及相關特徵以區分消費者與店員,透過人物重識別針對人物之全身特徵進行特徵向量之擷取,再將特徵向量輸入到用以辨識制服之分類模型,以進行人物之身分別的判斷,例如該人物為消費者與店員;另外,於訓練過程中,針對樣本進行標記,例如有穿制服和未穿制服,讓模型能學習並辨識店員的共同特徵像是制服、帽子、識別證等。因此,本發明解決了以往用臉部辨識無法辨識未註冊Face ID的店員,以及辨識率受口罩遮蔽、臉部角度影響之問題,易言之,即使有新進店員未在任何系統註冊過,但只要該新進
人員穿著店員制服,即便在背對鏡頭的情況下仍可被身分辨識系統辨識出為店員。
上述實施例僅為例示性說明,而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下,對上述實施例進行修飾與改變。因此,本發明之權利保護範圍係由本發明所附之申請專利範圍所定義,只要不影響本發明之效果及實施目的,應涵蓋於此公開技術內容中。
1:身分辨識系統
11:資料處理模組
12:特徵擷取模組
13:分類模組
Claims (11)
- 一種身分辨識系統,係包括:資料處理模組,係用以接收影像資料,且利用多物件追蹤演算法追蹤該影像資料中之人物,以自該影像資料中對應該人物剪裁出多個人物影像,進而對該多個人物影像進行人臉匿名模糊化以形成輸入資料;特徵擷取模組,係與該資料處理模組耦接,利用人物重識別模型對該輸入資料中該人物進行特徵向量之擷取;以及分類模組,係與該特徵擷取模組耦接,用以將該特徵向量輸入分類模型,判斷該人物之身分別,其中,於模型訓練過程中,係採用類別權重設定,以自動增加具有該特徵向量的人物類別的權重,藉以調整該人物重識別模型和該分類模型。
- 如請求項1所述之身分辨識系統,其中,該資料處理模組係包括用於對該多個人物影像進行多方向取樣之姿勢方向估計模型,其中,該姿勢方向估計模型係對該多個人物影像進行方向辨識,以篩選出不同方向之人物影像而形成該輸入資料。
- 如請求項2所述之身分辨識系統,其中,該不同方向之人物影像係包括該人物之前、後、左或右之方位。
- 如請求項1所述之身分辨識系統,其中,該特徵向量之擷取係包括取得該人物身上之制服、帽子或識別證的特徵向量。
- 如請求項1所述之身分辨識系統,其中,於模型訓練過程中,該資料處理模組係預先將該多個人物影像依據該人物穿著制服與否進行標記,以形成訓練樣本,俾供該人物重識別模型利用該訓練樣本進行訓練。
- 一種身分辨識方法,係由電腦執行該方法,該方法包括以下步驟:接收影像資料;利用多物件追蹤演算法追蹤該影像資料中之人物,以自該影像資料中對應該人物剪裁出多個人物影像,進而對該多個人物影像進行人臉匿名模糊化以形成輸入資料;透過人物重識別模型對該輸入資料中該人物進行特徵向量之擷取;以及透過分類模型,依據該特徵向量判斷該人物之身分別,其中,於模型訓練過程中,係採用類別權重設定,以自動增加具有該特徵向量的人物類別的權重,藉以調整該人物重識別模型和該分類模型。
- 如請求項6所述之身分辨識方法,其中,該形成輸入資料之步驟復包括透過姿勢方向估計模型對該多個人物影像進行多方向取樣,以篩選出不同方向之人物影像而形成該輸入資料。
- 如請求項7所述之身分辨識方法,其中,該不同方向之人物影像係包括該人物之前、後、左或右之方位。
- 如請求項6所述之身分辨識方法,其中,該特徵向量之擷取係包括取得該人物身上之制服、帽子或識別證的特徵向量。
- 如請求項6所述之身分辨識方法,復包括於模型訓練過程中,先將該多個人物影像依據該人物穿著制服與否進行標記,以形成訓練樣本,俾供該人物重識別模型利用該訓練樣本進行訓練。
- 一種電腦可讀媒體,應用於計算裝置或電腦中,係儲存有指令,以執行如請求項6至10之任一者所述之身分辨識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110149709A TWI796072B (zh) | 2021-12-30 | 2021-12-30 | 身分辨識系統、方法及其電腦可讀媒體 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110149709A TWI796072B (zh) | 2021-12-30 | 2021-12-30 | 身分辨識系統、方法及其電腦可讀媒體 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI796072B true TWI796072B (zh) | 2023-03-11 |
| TW202326517A TW202326517A (zh) | 2023-07-01 |
Family
ID=86692267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110149709A TWI796072B (zh) | 2021-12-30 | 2021-12-30 | 身分辨識系統、方法及其電腦可讀媒體 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI796072B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091156A (zh) * | 2014-07-10 | 2014-10-08 | 深圳市中控生物识别技术有限公司 | 一种身份识别方法及装置 |
| US20170243058A1 (en) * | 2014-10-28 | 2017-08-24 | Watrix Technology | Gait recognition method based on deep learning |
| CN110348352A (zh) * | 2019-07-01 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 一种人脸图像年龄迁移网络的训练方法、终端和存储介质 |
| CN111428662A (zh) * | 2020-03-30 | 2020-07-17 | 齐鲁工业大学 | 基于人群属性的广告播放变化方法及系统 |
| TW202036476A (zh) * | 2019-03-25 | 2020-10-01 | 大陸商上海商湯智能科技有限公司 | 圖像處理方法及裝置、電子設備和儲存介質 |
| TW202119274A (zh) * | 2019-11-01 | 2021-05-16 | 財團法人工業技術研究院 | 臉部影像重建方法與系統 |
-
2021
- 2021-12-30 TW TW110149709A patent/TWI796072B/zh active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091156A (zh) * | 2014-07-10 | 2014-10-08 | 深圳市中控生物识别技术有限公司 | 一种身份识别方法及装置 |
| US20170243058A1 (en) * | 2014-10-28 | 2017-08-24 | Watrix Technology | Gait recognition method based on deep learning |
| TW202036476A (zh) * | 2019-03-25 | 2020-10-01 | 大陸商上海商湯智能科技有限公司 | 圖像處理方法及裝置、電子設備和儲存介質 |
| CN110348352A (zh) * | 2019-07-01 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 一种人脸图像年龄迁移网络的训练方法、终端和存储介质 |
| TW202119274A (zh) * | 2019-11-01 | 2021-05-16 | 財團法人工業技術研究院 | 臉部影像重建方法與系統 |
| CN111428662A (zh) * | 2020-03-30 | 2020-07-17 | 齐鲁工业大学 | 基于人群属性的广告播放变化方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202326517A (zh) | 2023-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109657609B (zh) | 人脸识别方法及系统 | |
| CN110837784B (zh) | 一种基于人体头部特征的考场偷窥作弊检测系统 | |
| CN105809178A (zh) | 一种基于人脸属性的人群分析方法及装置 | |
| CN107679448B (zh) | 眼球动作分析方法、装置及存储介质 | |
| US9355406B2 (en) | Systems and methods for determining image safety | |
| CN105160318B (zh) | 基于面部表情的测谎方法及系统 | |
| CN104123543B (zh) | 一种基于人脸识别的眼球运动识别方法 | |
| WO2019011165A1 (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| CN108229330A (zh) | 人脸融合识别方法及装置、电子设备和存储介质 | |
| CN104966070B (zh) | 基于人脸识别的活体检测方法和装置 | |
| WO2022062379A1 (zh) | 图像检测方法和相关装置、设备、存储介质、计算机程序 | |
| Rezaei et al. | Automated soccer head impact exposure tracking using video and deep learning | |
| JP2013058060A (ja) | 人物属性推定装置、人物属性推定方法及びプログラム | |
| CN114049378B (zh) | 一种排队分析方法和装置 | |
| CN115482569A (zh) | 目标客流统计方法、电子设备以及计算机可读存储介质 | |
| CN110543813B (zh) | 一种基于场景的人脸画像、目光计数方法及系统 | |
| TW202139062A (zh) | 圖像處理方法、處理器、電子設備和電腦可讀儲存介質 | |
| WO2013075295A1 (zh) | 低分辨率视频的服装识别方法及系统 | |
| CN108229493A (zh) | 对象验证方法、装置和电子设备 | |
| CN106570449A (zh) | 一种基于区域定义的人流量与人气指数检测方法及检测系统 | |
| CN113420667B (zh) | 人脸活体检测方法、装置、设备及介质 | |
| CN113128373B (zh) | 基于图像处理的色斑评分方法、色斑评分装置及终端设备 | |
| AU2017231602A1 (en) | Method and system for visitor tracking at a POS area | |
| TWI796072B (zh) | 身分辨識系統、方法及其電腦可讀媒體 | |
| TWM629362U (zh) | 身分辨識系統 |