[go: up one dir, main page]

TWI860435B - 在影像中識別群眾中人類 - Google Patents

在影像中識別群眾中人類 Download PDF

Info

Publication number
TWI860435B
TWI860435B TW109145037A TW109145037A TWI860435B TW I860435 B TWI860435 B TW I860435B TW 109145037 A TW109145037 A TW 109145037A TW 109145037 A TW109145037 A TW 109145037A TW I860435 B TWI860435 B TW I860435B
Authority
TW
Taiwan
Prior art keywords
expected
image
group
person
head
Prior art date
Application number
TW109145037A
Other languages
English (en)
Other versions
TW202141339A (zh
Inventor
湯瑪士 溫賽爾
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202141339A publication Critical patent/TW202141339A/zh
Application granted granted Critical
Publication of TWI860435B publication Critical patent/TWI860435B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本揭示內容係關於一種由用於在一影像中識別一群眾中人類之一人員識別系統(1)所執行的方法。該人員識別系統在從經調適以在一基本上前向觀看角度中捕獲一場景的一熱攝影機(10)導出的一影像(3)中辨識(1001)經分類為人類(2)的一或多個偵測到之物件。該人員識別系統進一步在該影像中辨識不包含於一或多個偵測到之人類中之具有在一可預定強度範圍內之一強度的毗鄰像素之至少第一群組(4)。此外,該人員識別系統判定(1003)該影像中之該至少第一群組之一群組像素區域(40)。此外,該人員識別系統基於頭部大小基準資料(5)對於該影像中之至少第一豎直位置(yexpected )判定(1004)該至少第一豎直位置處之人的頭部的一預期像素區域(xexpected )。該人員識別系統進一步比較(1005)該群組像素區域之至少一部分與該至少第一豎直位置之該預期頭部像素區域。此外,當由該比較產生之至少第一比較超過一可預定符合性臨限值時,該人員識別系統判定(1006)該至少第一群組包含至少第一重疊人類(6)。 本揭示內容亦關於一種根據前述內容之人員識別系統、一種包含所述人員識別系統之熱攝影機,以及各別的對應電腦程式產品及非揮發性電腦可讀取儲存媒體。

Description

在影像中識別群眾中人類
本揭示內容係關於在影像中識別群眾中人類。
出於各種原因,存在著對嘗試計數出現在影像中之人員的需求及/或關注。影像可具有任一任意場景,攝影機(諸如監視攝影機)已捕獲該場景之影像(例如房間、開放區域及/或開放空間中之人的影像)。
舉例而言,電腦視覺技術可提供影像中人員之數目的估計值。移動窗形偵測器可用以辨識影像中之人員並計數存在多少人,這會需要用於偵測之可提取低層級特徵之經良好訓練的分類器。然而,儘管此等技術可起良好的作用來用於偵測臉部,但其通常不能對其中目標物件(此處人類)中之一些並不清楚可見的擁擠影像良好地執行。
因此本文實施例之目標係提供一種用於以經改良及/或替代方式在影像中識別群眾中人員的方法。
上述目標可藉由本文所揭示之標的來達成。在所附申請專利範圍、以下描述及圖式中闡述實施例。
所揭示標的係關於一種由用於在影像中識別群眾中人類之人員 識別系統所執行的方法。該人員識別系統在從經調適以在一基本上前向觀看角度中捕獲一場景的一熱攝影機導出的影像中辨識經分類為人類的一或多個偵測到之物件。該人員識別系統進一步在影像中辨識不包含於一或多個偵測到之人類中之具有在一可預定強度範圍內之一強度的毗鄰像素之至少第一群組。此外,該人員識別系統判定該影像中之該至少第一群組之一群組像素區域。此外,該人員識別系統基於頭部大小基準資料對於該影像中之至少第一豎直位置判定該至少第一豎直位置處之人的頭部的一預期像素區域。該人員識別系統進一步比較該群組像素區域之至少一部分與該至少第一豎直位置之該預期頭部像素區域。此外,當由該比較產生之至少第一比較超過一可預定符合性臨限值時,該人員識別系統判定該至少第一群組包含至少第一人類。
所揭示標的另外係關於一種用於在影像中識別群眾中人類之人員識別系統。該人員識別系統包含用於及/或經調適用於在從經調適以在一基本上前向觀看角度中捕獲一場景的一熱攝影機導出的一影像中辨識經分類為人類的一或多個偵測到之物件的人員辨識單元。人員識別系統另外係關於一用於及/或經調適用於在影像中辨識不包含於一或多個偵測到之人類中之具有在一可預定強度範圍內之一強度的毗鄰像素之至少第一群組的群組辨識單元。此外,該人員識別系統包含一用於及/或經調適用於判定人員在至少第一豎直位置處的頭部之一群組像素區域的區域判定單元。人員識別系統進一步包含一用於及/或經調適用於對於影像中之該至少第一豎直位置基於頭部大小基準資料判定在該至少第一豎直位置處的人的頭部之預期像素區域的預期區域判定單元。此外,該人員識別系統包含一用於及/或經調適用於比較該群組像素區域之至少一部分與該至少第一豎直位置之經預期頭部像素區域的比較單元。此外,該人員識別系統包含一用於及/或經調適用於當由該比較產生之至少第一比較超過一可預定符合性臨限值時判定該至少第一群組包含至少第一人類的符合性判定單元。
此外,所揭示標的係關於一種包含如本文所描述之一人員識別系統的熱攝影機。
此外,所揭示標的係關於包含含有電腦程式碼構件之電腦程式的電腦程式產品,該電腦程式碼構件經配置以使電腦或處理器執行本文中所描述的人員識別系統之步驟,該電腦程式產品儲存於電腦可讀取媒體或載波上。
所揭示標的另外係關於其上儲存有該電腦程式產品之非揮發性電腦可讀取儲存媒體。
籍此,引入一種能夠在人員擁擠影像中區分一個人與另一個人的方法。亦即,由於在從經調適以在一基本上前向觀看角度中捕獲一場景的熱攝影機導出之影像中辨識經分類為人類的一或多個偵測到之物件,因此可確認在熱攝影機影像中偵測到及分類為人類之物件。熱攝影機之使用進一步使得在光條件(諸如陰影、背光、黑暗、偽裝物件等)下之潛在問題能夠減輕。此外,亦即,由於在影像中辨識具有在一可預定強度範圍內之一強度的不包含於一或多個偵測到之人類中之毗鄰像素之至少第一群組,因此可確認影像中之具有特定強度(諸如對應於人之強度)的鄰近像素的區域(不包括已經偵測到之人類),因此指示人可存在於至少第一群組中。此外,亦即,由於影像中之至少第一群組之群組像素區域被判定,因此建立經辨識為在可預定範圍內的毗鄰像素之區域分佈。此外,亦即,由於在影像中對於至少第一豎直位置基於頭部大小基準資料藉由對照頭部大小基準資料判定在該至少第一豎直位置處的人的頭部之預期像素區域,因此在影像中對於一或多個垂直位置建立人的頭部之各別預期像素區域形態及大小。亦即,相較於一例示較高值豎直位置,一例示低值豎直位置可指示接近熱攝影機,藉此在該例示低值豎直位置處的人的頭部之像素區域可預期具有比例示較高值豎直位置處之像素區域更大的大小。因此,頭部大小基準資料包含就各別一或多個豎直位置之預期像素區域而言在一或多個豎直位 置與人的頭部之對應預期大小及形態之間的映射,因此使能夠判定在各別豎直位置處之各別預期頭部大小。此外,亦即,由於將群組像素區域的至少一部分與至少第一豎直位置之預期頭部像素區域相比較,因此將群組像素區域之像素的選擇區與一或多個豎直位置之人的頭部之各別預期像素區域相比較。此外,亦即,由於判定當由該比較產生的至少第一比較超過一可預定符合性臨限值時至少第一群組包含至少第一重疊人類,因此可建立影像中之至少第一群組包含一或多個重疊人類,其限制條件為該比較活動導致臨限值之一或多個超值設定用於群組像素區域之區(諸如至少部分地類似於人的頭部之區)與預期頭部大小之間的最小符合性的層級。因此,在擁擠影像中藉助於例如通常已知物件偵測(及/或在具有可識別難度情況下)不可識別的人員可運用所引入概念來識別。
出於所述原因,提供一種用於以經改良及/或替代方式在影像中識別群眾中人員的方法。
上文所提及方法之技術特徵及對應優點將在以下內容中更詳細地論述。
1:人員識別系統
2,21,22,6,61,62,63:人類
3:影像
4:至少第一群組
5:頭部大小基準資料
10:熱攝影機
50:線性圖形
40:群組像素區域
101:人員辨識單元
102:群組辨識單元
103:區域判定單元
104:預期區域判定單元
105:比較單元
106:符合性判定單元
107:數目估計單元
108:總數估計單元
109:處理器
110:記憶體
211,221:強度量測
212,222:頭部
1001,1002,1003,1004,1005,1006,1007,1008:動作
非限制性實施例之各種態樣(包括特定特徵及優點)將自以下詳細描述及隨附圖式容易理解,在隨附圖式中:[圖1至圖2]說明與根據本揭示內容之實施例的例示人員識別系統相關的示意圖;[圖3]為說明根據本揭示內容之實施例的例示人員識別系統的示意性方塊圖;且[圖4]為描繪由根據本揭示內容之實施例的人員識別系統所執行的例示方法之流程圖。
下文將參看隨附圖式更全面地描述本揭示內容之非限制性實施例,在隨附圖式中展示本揭示內容的當前較佳實施例。然而,本揭示內容可以多種不同形式實施,且不應解釋為限於本文中所闡述之實施例。貫穿全文,相同元件符號指代相同元件。在圖式中之一些方框的虛線指示此等單元或動作係可選的且並非強制性。
在以下內容中,根據本文中之關於在影像中識別群眾中人類的實施例,將揭示能夠在人員擁擠影像中區分一個人與另一個人的方法。
現參看圖式,特別是圖1至圖2,描繪與根據本揭示內容之實施例的例示人員識別系統1相關的示意圖。人員識別系統1經調適及/或經組態用於在影像中識別群眾中人類。
「人員識別系統」可指「人員偵測系統」、「獨特頭部判定系統」及/或僅「評估系統」或「控制系統」,而片語「用於在影像中識別群眾中人類」可指「用於在影像中識別群眾中獨特人類或人的頭部」、「用於在影像中識別靠在一起及/或至少部分重疊之人」、「用於在影像中區分一個人與至少部分重疊該一個人的另一個人」及/或「用於識別擁擠影像中之人員」。另一方面,術語「群眾」可指「人群」。
人員識別系統1可與熱攝影機10(圖3中展示)相關聯及視情況包含於該熱攝影機中。籍此,在使用熱攝影機10之情況下,可減輕在光條件(諸如陰影、背光、黑暗、偽裝物件等)下之潛在問題。
熱攝影機10可指任一任意(例如已知)熱攝影機,其支援至少部分地基於自所有物件(包括人)不斷輻射之熱而產生影像。熱攝影機10(其可被視為組合的可視光及紅外線(IR)攝影機)可另外指支援結合可視光使用IR 輻射產生影像的任何任意攝影機(亦即結合對可視光範圍之至少一部分敏感,其對IR範圍之至少一部分(諸如中波長紅外線MWIR及/或長波長紅外線LWIR頻帶)敏感)。
熱攝影機10可根據一實例包含於包含額外組件的熱攝影機配置(圖中未示)中,該熱攝影機配置例如為例示監視系統(圖中未示)之部分。因此,根據一實例,片語「包含人員識別系統之熱攝影機」可指「包含人員識別系統之熱攝影機配置」及/或「包含人員識別系統的監視系統之熱攝影機」。
人員識別系統1(例如藉助於人員辨識單元101(在圖3中展示及進一步描述))經調適及/或經組態用於在從經調適以在基本上前向觀看角度中捕獲場景的熱攝影機10導出的影像3中辨識經分類為人類的一或多個偵測到之物件2。籍此,在熱攝影機影像3中偵測到及分類為人類2之物件可能已確認。在例示圖1中,以例示方式辨識第一偵測到之人類21第二偵測到之人類22
經偵測及分類為人類2之物件可以在當下或可以已經以任何任意(已知)方式偵測及分類,諸如在通常已知電腦視覺技術、影像處理、物件偵測及/或分類器支援情況下,例如使用經訓練梯度直方圖(HoG)演算法。分類為人類2之所偵測物件的數目可自然地即將隨影像3變化,且可範圍達至數十、數百或甚至數千個人類2。然而,可注意沒有分類為人類2的偵測之物件係在影像3中可辨識及/或被辨識的情形可發生,為何分類為人類2的偵測之物件可被視為分類為人類2的「潛在」偵測之物件。另一方面,術語「影像」可指例如任何任意大小(呈像素形式)及/或任何任意圖像品質之任何任意攝影機捕獲的圖像。
熱攝影機10經調適及/或經組態以捕獲場景所藉以之基本上前向觀看角度可由熱攝影機10之任何任意位置表示,該熱攝影機10可在該任何任意位置中自基本上側視圖及/或自微小向下傾角(相較於例如俯視圖)捕獲該場景中之潛在的人。基本上前向觀看角度因此可由熱攝影機10捕獲場景時基本上所 呈現的角度表示,該角度可被視為人之視線高度及/或稍微高於視線高度,例如指示熱攝影機10之位置範圍介於距地及/或地面小於一公尺直至若干公尺。根據一實例,片語「前向觀看角度」可指「稍微高於前向觀看角度」,因此指示熱攝影機10可經調適以自稍微向下傾角及/或傾斜(例如範圍介於零度以上直至45度)捕獲場景及隨後其潛在之人。另一方面,場景可由任何任意周圍事物(諸如房間、開放區域、開放空間等)表示。
片語「辨識經分類為人類的一或多個偵測到之物件」可指「確認、分類、濾除、阻擋經分類為人類的一或多個偵測到之物件及/或使其上黑名單」。根據一實例,該片語可另外指「計算經分類為人類的一或多個偵測到之物件」及/或「將一或多個偵測到之物件分類為人類」。另一方面,「偵測到之物件」可指「潛在偵測到之物件」及/或僅「物件」,而「影像」可指「攝影機影像」、「熱攝影機影像」、「組合之溫度及可視光影像」及/或「影像圖框」。片語「自熱攝影機導出的影像」可指「自熱攝影機獲得及/或提取之影像」及/或僅「來自熱攝影機及/或由熱攝影機捕獲的影像」。另一方面,「在基本上前向觀看角度中」可指「在基本上人視線高度中及/或在微小向下傾角處」及/或僅「在前向觀看角度中及/或在微小向下傾角處」。此外,「場景」可指「周圍事物」,而「經調適以捕獲場景的熱攝影機」可指「經調適以捕獲場景之影像的熱攝影機」。根據一實例,片語「在從經調適以在基本上前向觀看角度中捕獲場景的熱攝影機導出的影像中」可指「自熱攝影機導出的在基本上前向觀看角度中之場景的影像中」。
如圖2中進一步說明,人員識別系統1(例如藉助於群組辨識單元102(在圖3中展示及另外描述))經調適及/或經組態用於在影像3中辨識未包含於一或多個偵測到之人類2中之具有在可預定強度範圍內之一強度的毗鄰像素的至少第一群組4。籍此(不包括已經偵測到之人類2,可確認特定強度(諸如對應於人之強度)之影像3中的鄰近像素4之區域,因此指示人員可存在於至少 第一群組4中。在例示圖1中,以例示方式辨識僅第一群組4。然而,可注意,在其他例示影像(圖中未示)中,毗鄰像素之另外單獨群組可經自然地辨識及/或係可辨識的。
辨識毗鄰像素之至少第一群組4可諸如在電腦視覺技術及/或影像處理支援情況下以任何任意(例如已知)方式實現。亦即,由於自不同物件反射或省去的紅外能量之強度的相對差可被偵測到且在影像3中顯示,因此可辨識預定強度範圍,諸如包含對應於人及/或人的頭部之強度的強度。強度範圍可指可表示人類及/或人的頭部之強度及/或熱標誌的任何範圍。此外,強度範圍可例如預儲存諸如於人員識別系統1中、熱攝影機10中、遠端伺服器上等。
然而,視情況,強度範圍可基於一或多個偵測到之人類2(諸如在例示圖1中,例示第一偵測到之人類21及第二偵測到之人類22)中之至少一者的強度量測211、221。籍此,一或多個已經偵測到之人類2的一或多個強度可形成用於界定強度範圍的基礎,諸如強度範圍基本上等於(及或範圍約)該強度量測221、221及/或其統計強度量測。「基於強度量測」可指「自強度量測導出」、「基於統計強度量測」及/或「基於強度值」。
片語「辨識毗鄰像素之至少第一群組」可指「辨識基本上毗鄰像素之至少第一群組」及/或「確認、選擇、分類及/或濾除毗鄰像素之至少第一群組」。另一方面,「群組」可指「區」、「區域」、「分佈」及/或「所關注的群組」,而「毗鄰像素」可指「鄰近像素」。此外,片語「未包含於一或多個偵測之人類中」可指「未包含於經分類為人類的一或多個偵測之物件中」、「未包含於一或多個偵測之人類的像素中」及/或「不包括偵測之人類」。另一方面,「可預定強度範圍」可指「對應於人(及/或人的頭部)強度及/或熱標誌及/或與人(及/或人的頭部)強度及/或熱標誌同義的可預定強度範圍」及/或僅「人的頭部強度範圍」。
人員識別系統1另外(例如藉助於區域判定單元103(圖3中所展示及另外描述))經調適及/或經組態用於判定影像3中至少第一群組4的群組像素區域40。籍此,建立經辨識為在可預定範圍內的毗鄰像素4之區域分佈40(在例示圖1中描繪為輪廓)。
判定群組像素區域40可諸如在電腦視覺技術及/或影像處理支援情況下以任何任意(例如已知)方式實現。此外,毗鄰像素群組像素區域40可具有任何任意(例如不規則)形狀及/或形態,此自然地取決於場景中人及/或人之數目或具有在可預定強度範圍內之強度的潛在其他物件。片語「判定群組像素區域」可指「計算及/或估計群組像素區域」,而另一方面「像素區域」可指「像素區域分佈」。
人員識別系統1此外(例如藉助於預期區域判定單元104(在圖3中展示及另外描述))經調適及/或經組態用於基於頭部大小基準資料5對於影像3中之至少第一豎直位置y expected 判定在該至少第一豎直位置yexpected處的人的頭部之預期像素區域x expected 。籍此,藉由對照頭部大小基準資料5,對於影像3中之一或多個豎直位置y,建立人的頭部之各別預期像素區域x形態及大小。亦即,相較於一例示較高值豎直位置y,一例示低值豎直位置y可指示接近熱攝影機10,藉此在該例示低值豎直位置y處的人的頭部之像素區域x可預期具有比例示較高值豎直位置y處之像素區域更大的大小。因此,頭部大小基準資料5包含就各別一或多個豎直位置y之預期像素區域x而言在一或多個豎直位置y與人的頭部的對應預期大小及形態之間的映射,,因此使能夠判定在各別豎直位置yexpected處之各別預期頭部大小xexpected
至少第一豎直位置yexpected可由影像3中之任何任意豎直位置y表示。此外,頭部大小基準資料5可由指示影像3中之豎直位置y與對應預期像素區域x或人的頭部之間關係的任何資料表示。頭部大小基準資料5可例如包含於資 料表中,另外例如儲存於人員識別系統1中、熱攝影機10中、遠端伺服器上等,且此外例如經預儲存。
片語「判定預期像素區域」可指「導出、獲得、計算及/或內插預期像素區域」,而「基於頭部大小基準資料判定」可指「藉由對照頭部大小基準資料判定」及/或「自指示該影像中之豎直位置與人的頭部之對應預期像素區域之間關係的資料判定」。此外,片語「頭部大小基準資料」可指「頭部像素區域基準資料」及/或「頭部大小映射資料」,而「資料」可指「映射資訊」。另一方面,「預期」像素區域可指「預期對應」像素區域及/或「經估計及/或經計算」像素區域。
視情況,如圖1中所例示,頭部大小基準資料5可基於映射(對於偵測到之人類2之兩者21、22或更多者)影像3中之偵測到之人類21、22之頭部212、222的各別豎直位置y 1 、y 2 像素區域x 1 、x 2 。另外視情況,頭部大小基準資料5可基於來自該映射之內插。籍此,在第一判定豎直位置y1處偵測到之人類21之頭部212的第一經判定頭部大小像素區域x1及在第二判定豎直位置y2處偵測到之人類22之頭部222的至少第二經判定頭部大小像素區域x2可形成用於頭部大小基準資料5之基礎。舉例而言,如例示圖1中之例示座標平面中所描繪,頭部大小基準資料5可依賴於第一頭部大小像素區域x1/第一豎直位置y1與至少第二頭部大小像素區域x2/第二豎直位置y2之間的線性圖形50(或基本上線性圖形)。偵測到之人類21、22之所映射豎直位置y1、y2可在各別頭部212、222之下端處(替代地例如在各別頭部212、222之上端或假定視線高度處)沿著各別延伸(亦即如視為合適之該等偵測到之人類21、22的高度(例如如圖1中例示))選擇。此外,「映射」可指「相關聯」及/或「連接」,而「基於映射」可指「自映射計算及/或導出」。另一方面,「豎直位置及像素區域」可指「豎直頭部位置及豎直頭部大小像素區域」。
如圖2中所例示,人員識別系統1此外(例如藉助於比較單元105(在圖3中展示及進一步描述))經調適及/或經組態用於比較群組像素區域40之至少一部分與至少第一豎直位置yexpected之預期頭部像素區域xexpected。籍此,群組像素區域40之像素的選擇區與一或多個豎直位置yexpected之人的頭部之各別預期像素區域xexpected相比較,像素區域之比較可經重複用於任何任意數目豎直位置y。此外,比較活動可諸如在電腦視覺技術及/或影像處理支援情況下以任何任意(例如已知)方式實現。另一方面,群組像素區域40之至少部分可由群組像素區域40之任一區表示且可另外具有視為合適及/或可行的任意大小、形態及/或形狀。舉例而言,至少在某種程度上或在可預定程度上類似於人的頭部之群組像素區域40之一或多個區可經選擇用於比較。片語「比較至少一部分」可指「比較至少一區」及/或「比較一或多個選擇區」而「預期之頭部像素區域」可指「預期之頭部大小像素區域」及/或「人的頭部之預期像素區域」。
人員識別系統1此外(例如藉助於符合性判定單元106(圖3中展示及進一步描述))經調適及/或經組態用於當由該比較產生的至少第一比較超過一可預定符合性臨限值時判定至少第一群組4包含至少第一重疊人類6。籍此,可建立影像3中之至少第一群組4包含一或多個重疊人類6,其限制條件為該比較活動導致臨限值之一或多個超值設定用於群組像素區域40之區(諸如至少部分地類似於人的頭部之區)與預期頭部大小x之間的最小符合性的層級。因此,在擁擠影像3中藉助於例如通常已知物件偵測(及/或在具有可識別難度情況下)不可識別的人可運用所引入概念來識別。
在例示圖2中,可判定符合性臨限值在例示三個出現時刻處超出潛在多個比較;對於類似於頭部之區(其隨後可被識別為第一重疊人類61)與在第一豎直位置yexpected處之預期頭部大小像素區域xexpected的一個比較;及以類似 方式,對於類似於頭部的各別區(其隨後可識別為第二重疊人類62第三重疊人類63)與在各別第二及第三豎直位置y處的各別預期頭部大小像素區域x之各別第二及第三比較。
可預定符合性臨限值可經設定為視為合適及/或可行的任一值,且例如指示群組像素區域40之區與預期頭部大小x之間的匹配之層級、程度及/或百分比,其需要被超過以便至少第一群組4被視為包含重疊人類6。符合性臨限值因此可例如由例如至少百分之50、至少百分之70或至少百分之90的匹配表示。片語「判定該至少第一群組包含」可指「估計及/或推定該至少第一群組包含」,而「重疊人類」可指「至少部分地重疊人類」及/或「在該影像重疊人類中」。另一方面,「當時」可指「應」及/或「在...條件下」,而「比較」可指「比較活動」。此外,片語「可預定符合性臨限值」可指「可預定類似性臨限值」、「可預定頭部匹配臨限值」及/或僅「符合性臨限值」。
視情況,人員識別系統1可(例如藉助於可選數目估計單元107(在圖3中展示及進一步描述))經調適及/或經組態用於基於超過符合性臨限值之比較的數目估計至少第一群組4中的重疊人類6之數目。籍此,藉由每當超過符合性臨限值(其可等同於多少重疊人類6經判定為包含於至少第一群組4中)時計數,可估計至少第一群組4中之重疊人類6的數目。在例示圖2中,以例示方式描繪三個重疊人類61、62、63。片語「估計數目」可指「判定數目」及/或「計算數目」,而「基於超過該符合性臨限值的比較之數目」可指「藉由計算超過該符合性臨限值的比較之數目」。
另外視情況,人員識別系統1可(例如藉助於可選總數估計單元108(在圖3中展示及進一步描述))經調適及/或經組態用於藉由將重疊人類6的數目與一或多個偵測到之人類2相加而估計影像3中之人的總數。籍此,提供一種支援估計擁擠影像3中之人的總數的方法。在例示圖1至圖2中,兩個偵測到之 人類21、22以及三個重疊人類61、62、63係以例示方式描繪,因此加上高達五個人的例示總數。片語「估計總數」可指「判定總數」及/或「計算總數」。
圖3中進一步展示,圖3為說明根據本揭示內容之實施例之例示人員識別系統1的示意性方塊圖,人員識別系統1可包含人員辨識單元101、群組辨識單元102、區域判定單元103、預期區域判定單元104、比較單元105、符合性判定單元106、可選數目估計單元107、及/或可選總數估計單元108,其皆已經在上文更詳細地描述。此外,用於在影像3中識別群眾中人類之本文實施例可經由一或多個處理器(諸如處理器109,此處表示為CPU)與用於執行本文實施例之功能及動作的電腦程式碼一起實施。該程式碼亦可經提供為電腦程式產品,例如呈攜載用於當被裝載於人員識別系統1中時執行本文實施例的電腦程式碼之資料載體形式。一個此類載體可呈CD ROM光碟及/或硬碟機之形式,然而運用其他資料載體係可行的。電腦程式碼可另外提供為伺服器上之純程式碼並經下載至人員識別系統1。人員識別系統1可進一步包含包含一或多個記憶體單元之記憶體110。記憶體110可經配置以用於儲存例如資訊,且另外儲存資料、組態、排程及應用程式,當在人員識別系統1中執行時執行本文中之方法。舉例而言,電腦程式碼可實施於韌體中,儲存於嵌人式處理器109之快閃記憶體110中,及/或例如自板外伺服器無線地下載。此外,該單元101-108、可選處理器109及/或可選記憶體110可至少部分地包含於熱攝影機10及/或例如視情況包含該熱攝影機10的監視系統中、與該熱攝影機及/或該監視系統相關聯及/或連接至該熱攝影機及/或該監視系統。熟習此項技術者亦將瞭解上文所描述的該等單元101至108可指類比電路與數位電路的組合,及/或經組態有例如儲存於諸如記憶體110之記憶體中的軟體及/或韌體之一或多個處理器,軟體及/或韌體在由諸如處理器109之一或多個處理器執行時如本文所描述執行。此等處理器中之一或多者以及其他數位硬體可包括於單個特殊應用積體電路(ASIC)中,或若干處理器及各種 數位硬體可分佈於若干單獨組件當中,個別地封裝抑或裝配至晶片上系統(Soc)中。
圖4為描繪藉由根據本揭示內容之實施例的人員識別系統1執行的例示方法之流程圖。該方法係用於在影像中識別群眾中人類。可持續重複的例示方法包含在圖1至圖3支援情況下論述的以下動作中之一或多者。此外,該等動作可以任何合適次序進行及/或一或多個動作可同時及/或以交替次序(適用時)執行。舉例而言,動作1004可與動作1002及/或動作1003同時及/或在動作1002及/或動作1003之前執行。
動作1001
在動作1001中,人員識別系統1在從經調適以在一基本上前向觀看角度中捕獲一場景的一熱攝影機10導出的一影像3中辨識(例如在人員辨識單元101支援情況下)經分類為人類2的一或多個偵測到之物件。
動作1002
在動作1002中,人員識別系統1在影像3中辨識(例如在群組辨識單元102支援情況下)不包含於一或多個偵測到之人類2中之具有在一可預定強度範圍內之一強度的毗鄰像素之至少第一群組4。
動作1003
在動作1003中,人員識別系統1判定(例如在區域判定單元103支援情況下)在影像3中的至少第一群組4之群組像素區域40。
動作1004
在動作1004中,人員識別系統1基於頭部大小基準資料5對於在影像3中至少第一豎直位置yexpected判定(例如在預期區域判定單元104支援情況下)在該至少第一豎直位置yexpected處人的頭部之預期像素區域xexpectced
動作1005
在動作1005中,人員識別系統1比較(例如在比較單元105支援情況下)群組像素區域40之至少一部分與至少第一豎直位置yexpected之預期頭部像素區域xexpected
動作1006
在動作1006中,人員識別系統1當由動作1005之比較產生的至少第一比較超過一可預定符合性臨限值時判定(例如在符合性判定單元106支援情況下)至少第一群組4包含至少第一重疊人類6。
動作1007
在可選動作1007中,人員識別系統1可基於超過符合性臨限值之比較的數目估計(例如在可選數目估計單元107支援情況下)至少第一群組4中的重疊人類6之數目。
動作1008
在可選動作1008中,人員識別系統1可藉由將人類6之重疊數目與一或多個偵測到之人類2相加而估計(例如在可選總數估計單元108支援情況下)影像3中之人的總數。
熟習此項技術者實現本揭示內容並不限於上文所描述之較佳實施例。相反地,隨附申請專利範圍之範圍內的許多修改及變化係可能的。此外應注意圖式未必成比例且為清楚起見可能已誇示某些特徵之尺寸。實際上強調說明本文實施例之原理。另外,在申請專利範圍中,詞「包含」不排除其他元件或步驟,且不定冠詞「一(a)」或「一(an)」不排除複數個。
1:人員識別系統
2,21,22:人類
3:影像
5:頭部大小基準資料
50:線性圖形
211,221:強度量測
212,222:頭部

Claims (16)

  1. 一種由用於在一影像中識別一群眾中人類之一人員識別系統所執行的方法,該方法包含:藉由偵測及分類物件而在從經調適以在一前向觀看角度中捕獲一場景之一熱攝影機導出的一影像中辨識經分類為人類的一或多個偵測到之物件,該前向觀看角度被視為人之視線高度或高於視線高度;在該影像中辨識不包含於一或多個偵測到之人類中之具有在一可預定強度範圍內之一強度的毗鄰像素之至少第一群組;藉由電腦視覺技術辨識該影像中之該至少第一群組之一群組像素區域係在該可預定強度範圍內的條件下來判定該影像中之該至少第一群組之該群組像素區域;基於頭部大小基準資料對於該影像中之該群組像素區域的至少第一豎直位置(yexpected)判定該至少第一豎直位置(yexpected)處之人的頭部的一預期像素區域(xexpected)大小及形態,其中該頭部大小基準資料是由指示該影像中之豎直位置(y)與對應的預期像素區域(xexpected)之間的關係之資料來表示,所述對應的預期像素區域(xexpected)也就是人的頭部之大小及形態;比較該群組像素區域之人的頭部的至少一部分與該至少第一豎直位置(yexpected)之該預期頭部像素區域(xexpected);及當由該比較產生之至少第一比較超過一可預定符合性臨限值時,判定該至少第一群組包含至少第一重疊人類。
  2. 如請求項1之方法,其進一步包含:基於超過該符合性臨限值之比較的數目,估計該至少第一群組中之重疊人類的數目。
  3. 如請求項2之方法,其進一步包含: 藉由將該重疊人類的該數目與該一或多個偵測到之人類相加而估計該影像中之人員的一總數目。
  4. 如請求項1之方法,其中該辨識至少第一群組包含該強度範圍係基於該一或多個偵測到之人類之至少一者的一強度量測。
  5. 如請求項1之方法,其中該頭部大小基準資料係基於對於該一或多個偵測到之人類中之兩者或更多者映射該影像中之偵測到之人類之一頭部的一各別豎直位置(y1,y2)及像素區域(x1,x2)。
  6. 如請求項5之方法,其中該頭部大小基準資料係基於來自該映射之內插。
  7. 一種用於識別顯示在一影像中的一群眾中人類之一人員識別系統,該人員識別系統包含:一人員辨識單元,其用於藉由偵測及分類物件而在從經調適以在一前向觀看角度中捕獲一場景之一熱攝影機導出的一影像中辨識經分類為人類的一或多個偵測到之物件,該基本上前向觀看角度被視為人之視線高度及/或高於視線高度;一群組辨識單元,其用於在該影像中辨識不包含於一或多個偵測到之人類中之具有在一可預定強度範圍內之一強度的毗鄰像素之至少第一群組;一區域判定單元,其經調適用於藉由電腦視覺技術辨識該影像中之該至少第一群組之一群組像素區域係在該可預定強度範圍內的條件下來判定該影像中之該至少第一群組之該群組像素區域;一預期區域判定單元,其用於基於頭部大小基準資料對於該影像中之該群組像素區域的至少第一豎直位置(yexpected)判定該至少第一豎直位置(yexpected)處之人的頭部的一預期像素區域(xexpected)大小及形態,其中該頭部大小基準資料是由指示該影像中之豎直位置(y)與對應預期像素區域(xexpected)之間的關 係之資料來表示,所述對應的預期像素區域(xexpected)也就是人的頭部之大小及形態;一比較單元,其用於比較該群組像素區域之人的頭部的至少一部分與該至少第一豎直位置(yexpected)之該預期頭部像素區域(xexpected);及一符合性判定單元,其用於當由該比較產生之至少第一比較超過一可預定符合性臨限值時,判定該至少第一群組包含至少第一重疊人類。
  8. 如請求項7之人員識別系統,其進一步包含:一數目估計單元,其用於基於超過該符合性臨限值之比較的數目估計該至少第一群組中之重疊人類的數目。
  9. 如請求項7之人員識別系統,其進一步包含:一總數估計單元,其用於藉由將該重疊人類的該數目與該一或多個偵測到之人類相加而估計該影像中之人員的一總數目。
  10. 如請求項7之人員識別系統,其中該群組辨識單元經調適使得該強度範圍係基於該一或多個偵測到之人類之至少一者的一強度量測。
  11. 如請求項7之人員識別系統,其中該頭部大小基準資料係基於對於該一或多個偵測到之人類中之兩者或更多者映射該影像中之偵測到之人類之一頭部的一各別豎直位置(y1,y2)及像素區域(x1,x2)。
  12. 如請求項11之人員識別系統,其中該頭部大小基準資料係基於來自該映射之內插。
  13. 一種熱攝影機,其包含如請求項7之人員識別系統(1)。
  14. 一種非暫時性電腦程式產品,其包含儲存含有電腦程式碼之電腦程式的記憶體,該電腦程式碼經配置以使一電腦或一處理器執行如請求項1之方法的步驟。
  15. 如請求項14之非暫時性電腦程式產品,其中該記憶體是非揮 發性記憶體。
  16. 一種用於識別顯示在一影像中的一群眾中人類之一人員識別系統,該人員識別系統包含:被配置以執行以下動作的電路系統:藉由偵測及分類物件而在從經調適以在一前向觀看角度中捕獲一場景之一熱攝影機導出的一影像中辨識經分類為人類的一或多個偵測到之物件,該前向觀看角度被視為人之視線高度或高於視線高度;在該影像中辨識不包含於一或多個偵測到之人類中之具有在一可預定強度範圍內之一強度的毗鄰像素之至少第一群組;藉由電腦視覺技術辨識該影像中之該至少第一群組之一群組像素區域係在該可預定強度範圍內的條件下來判定該影像中之該至少第一群組之該群組像素區域;基於頭部大小基準資料對於該影像中之該群組像素區域的至少第一豎直位置(yexpected)判定該至少第一豎直位置(yexpected)處之人的頭部的一預期像素區域(xexpected)大小及形態,其中該頭部大小基準資料是由指示該影像中之豎直位置(y)與對應的預期像素區域(xexpected)之間的關係之資料來表示,所述對應的預期像素區域(xexpected)也就是人的頭部之大小及形態;比較該群組像素區域之人的頭部的至少一部分與該至少第一豎直位置(yexpected)之該預期頭部像素區域(xexpected);及當由該比較產生之至少第一比較超過一可預定符合性臨限值時,判定該至少第一群組包含至少第一重疊人類。
TW109145037A 2020-01-21 2020-12-18 在影像中識別群眾中人類 TWI860435B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20152781.9A EP3855347B1 (en) 2020-01-21 2020-01-21 Distinguishing human beings in a crowd in an image
EP20152781.9 2020-01-21

Publications (2)

Publication Number Publication Date
TW202141339A TW202141339A (zh) 2021-11-01
TWI860435B true TWI860435B (zh) 2024-11-01

Family

ID=69185455

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109145037A TWI860435B (zh) 2020-01-21 2020-12-18 在影像中識別群眾中人類

Country Status (6)

Country Link
US (1) US11568186B2 (zh)
EP (1) EP3855347B1 (zh)
JP (1) JP7490584B2 (zh)
KR (1) KR102674706B1 (zh)
CN (1) CN113221617B (zh)
TW (1) TWI860435B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11508140B2 (en) * 2020-10-09 2022-11-22 Sensormatic Electronics, LLC Auto-configuring a region of interest (ROI) associated with a camera
CN114092890B (zh) * 2022-01-20 2022-04-12 长沙海信智能系统研究院有限公司 区域内可容纳人数的确定方法、装置、设备及介质
CN114566224B (zh) * 2022-03-09 2023-08-11 中国人民解放军总医院 一种用于鉴别或区分不同海拔人群的模型及其应用
KR102846218B1 (ko) * 2022-09-28 2025-08-19 써모아이 주식회사 픽셀 기반 객체 카운팅 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215319A1 (en) * 2011-04-18 2013-08-22 Hiroto Tomita Image capture device, image capture device focus control method, and integrated circuit
TW201528030A (zh) * 2013-10-11 2015-07-16 Element Inc 與配備有相機之裝置連接之用於生物特徵量測鑑認之系統及方法
US20160283798A1 (en) * 2015-03-24 2016-09-29 Nice-Systems Ltd. System and method for automatic calculation of scene geometry in crowded video scenes
US20190387185A1 (en) * 2018-06-13 2019-12-19 Luminar Technologies, Inc. Thermal imager with enhanced processing

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070182B1 (en) * 2010-07-13 2015-06-30 Google Inc. Method and system for automatically cropping images
KR101557376B1 (ko) * 2014-02-24 2015-10-05 에스케이 텔레콤주식회사 사람 계수 방법 및 그를 위한 장치
KR20160119597A (ko) * 2015-04-06 2016-10-14 주식회사 케이티 복수의 깊이 카메라를 통한 사람 검출, 추적 방법 및 장치
US9639777B1 (en) * 2015-12-17 2017-05-02 Linear Algebra Technologies Limited Systems and methods for providing an image classifier
JP7278735B2 (ja) 2017-10-06 2023-05-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN107808136B (zh) * 2017-10-31 2020-06-12 Oppo广东移动通信有限公司 图像处理方法、装置、可读存储介质和计算机设备
CN108171162B (zh) * 2017-12-27 2021-05-11 重庆交通开投科技发展有限公司 人群拥挤度检测方法、装置及系统
CN113272816A (zh) * 2019-01-25 2021-08-17 谷歌有限责任公司 进行脸部筛选的全人关联
CN110543867B (zh) * 2019-09-09 2021-10-22 北京航空航天大学 一种多摄像头条件下的人群密度估测系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215319A1 (en) * 2011-04-18 2013-08-22 Hiroto Tomita Image capture device, image capture device focus control method, and integrated circuit
TW201528030A (zh) * 2013-10-11 2015-07-16 Element Inc 與配備有相機之裝置連接之用於生物特徵量測鑑認之系統及方法
US20160283798A1 (en) * 2015-03-24 2016-09-29 Nice-Systems Ltd. System and method for automatic calculation of scene geometry in crowded video scenes
US20190387185A1 (en) * 2018-06-13 2019-12-19 Luminar Technologies, Inc. Thermal imager with enhanced processing

Also Published As

Publication number Publication date
US11568186B2 (en) 2023-01-31
JP2021118001A (ja) 2021-08-10
US20210224615A1 (en) 2021-07-22
TW202141339A (zh) 2021-11-01
KR102674706B1 (ko) 2024-06-14
EP3855347A1 (en) 2021-07-28
JP7490584B2 (ja) 2024-05-27
KR20210094493A (ko) 2021-07-29
CN113221617B (zh) 2025-12-09
CN113221617A (zh) 2021-08-06
EP3855347B1 (en) 2022-06-22

Similar Documents

Publication Publication Date Title
TWI860435B (zh) 在影像中識別群眾中人類
JP6863408B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6125188B2 (ja) 映像処理方法及び装置
CN110163899B (zh) 图像匹配方法和图像匹配装置
JP6494253B2 (ja) 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
US9633284B2 (en) Image processing apparatus and image processing method of identifying object in image
US20190114495A1 (en) Live facial recognition method and system
US11544926B2 (en) Image processing apparatus, method of processing image, and storage medium
JP5106356B2 (ja) 画像監視装置
US10489640B2 (en) Determination device and determination method of persons included in imaging data
KR101339026B1 (ko) 열화상 카메라 가시성 개선 방법 및 장치
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
CN110073363B (zh) 追踪对象的头部
US11044404B1 (en) High-precision detection of homogeneous object activity in a sequence of images
US20190096066A1 (en) System and Method for Segmenting Out Multiple Body Parts
TWI624806B (zh) 物體追蹤裝置及物體追蹤方法
JP2021118001A5 (zh)
US20190026547A1 (en) System and Method for Detecting Skin in an Image
KR101027157B1 (ko) 최대마진분류기를 이용한 의상 분류 방법
KR101437999B1 (ko) 밝기맵 기반의 중심대칭 국부이진 패턴과 랜덤 포레스트를 이용한 열 영상에서의 사람 검출 방법
Mittal et al. Face detection and tracking: a comparative study of two algorithms
CN107403133A (zh) 确定设备和确定方法
JP2018185623A (ja) 物体検出装置
JP2015001871A (ja) 人物判定装置、人物判定方法、プログラム及び記録媒体
Iodice et al. Person re-identification based on enriched symmetry salient features and graph matching