TWI698805B - 人物偵測與追蹤之系統及方法 - Google Patents
人物偵測與追蹤之系統及方法 Download PDFInfo
- Publication number
- TWI698805B TWI698805B TW107136190A TW107136190A TWI698805B TW I698805 B TWI698805 B TW I698805B TW 107136190 A TW107136190 A TW 107136190A TW 107136190 A TW107136190 A TW 107136190A TW I698805 B TWI698805 B TW I698805B
- Authority
- TW
- Taiwan
- Prior art keywords
- mask
- image
- detection
- module
- person
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 138
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 4
- 230000000873 masking effect Effects 0.000 abstract description 2
- 238000012216 screening Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本案揭示一種人物偵測與追蹤之系統及方法,用於魚眼攝影機所提供之畫面,包括用以在畫面中之不同區域內產生具有不同尺寸的複數個偵測遮罩之遮罩產生模組、將來自畫面之影像分割為前景區域和背景區域之前背景分割模組、將複數個偵測遮罩套用至前景區域以篩選出候選人物之偵測遮罩的遮罩篩選模組、將候選人物之偵測遮罩套用至原影像以擷取出候選人物之遮罩影像的遮罩影像擷取模組、及使用與候選人物之偵測遮罩對應之分類器對候選人物之遮罩影像分類從而獲得實為人物之遮罩影像的遮罩影像分類模組。
Description
本案係關於一種人物偵測與追蹤技術,詳而言之,係關於一種用於魚眼攝影機所提供之畫面的人物偵測與追蹤之系統及方法。
隨著攝影機、網路技術、與人工智慧的快速發展,智慧型視訊監控技術的應用有大幅度的成長。視訊監控所使用的攝影機的主要型態包括投射式攝影機與魚眼攝影機,其中絕大部分是屬於投射式(projective)攝影機,成像機制類似於人類的視覺系統,但主要缺點是在於其拍攝範圍上的限制。通常一個場域需要多支攝影機來涵蓋其範圍,造成硬體成本與資料量的增加,以及相互校正與資訊整合的複雜度。
與投射式攝影機相較,頂照式魚眼攝影機的優勢主要是在於其360度涵蓋範圍,最少可使用單一攝影機,即可完整涵蓋相當大的空間而無攝影機死角問題,在硬體成本與使用上都有其優勢,因此是許多室內監控應用的重要選項。此外,頂照式魚眼攝影機用於移動物件(包括人物)
的追蹤、辨識等用途時,其另一個優點是較低的交互遮蔽現象,因此在於定位、計數、追蹤等問題上,都可以有較高的準確度。
然而,現有的針對頂照式魚眼攝影機的影像進行人物偵測或追蹤的技術遠少於投射式攝影機。除了資料來源較少的因素外,主要的挑戰來自於人物在影像中的不同位置時其方向與外形的變異。現有技術主要分兩類:第一類是只有單純的前景/背景分離,將每個前景區塊當成一個人物並追蹤,但沒有對此前景區塊是否為人物進行辨識,因此對於多人或有其他前景移動物件的環境有困難;第二類是先進行影像的轉正或攤平(dewarping),再套用傳統影像的人物偵測方法,但轉正或攤平通常只能處理影像靠外緣的區域,會造成影像失真,且對影像中心(攝影機下方)區域的人物型態改變仍無法處理。
綜合以上情形,上述習用技術仍有諸多缺失,亟待加以改良。
為解決上述及其他問題,本案揭示一種人物偵測與追蹤之系統及方法,可用於魚眼攝影機所提供之畫面。
本案之人物偵測與追蹤之系統包括:前背景分割模組,將來自該畫面之影像分割為前景區域和背景區域;遮罩產生模組,用以在該畫面中之不同區域內產生具有不同尺寸之複數個偵測遮罩;遮罩篩選模組,將該複數個偵測遮罩套用至該前景區域,以篩選出候選人物之偵測遮罩;遮罩
影像擷取模組,將該候選人物之偵測遮罩套用至該影像,以擷取出候選人物之遮罩影像;以及遮罩影像分類模組,使用與該候選人物之偵測遮罩對應之分類器,對該候選人物之遮罩影像進行分類,俾獲得實為人物之遮罩影像。
本案之人物偵測與追蹤之系統更包括人物追蹤單元,該人物追蹤單元包括遮罩特徵比對模組、人物序列更新模組、及特定衣著辨識模組,其中,該遮罩特徵比對模組根據由該遮罩影像分類模組所計算之影像特徵比對後續影像的遮罩影像,以於比對符合時,納入追蹤人物序列。
本案之人物偵測與追蹤之系統中的分類器具有訓練階段和分類階段,於訓練階段時,該分類器針對自該影像的中心至各該偵測遮罩的中心之複數個徑向區域,建立對應各該偵測遮罩的分類器模型,於分類階段時,對該候選人物之遮罩影像使用該候選人物之偵測遮罩的所在區域選擇對應的分類器,以分類出該實為人物之遮罩影像。
本案之人物偵測與追蹤之方法包括:自該畫面擷取影像以將該影像分割為前景區域和背景區域;將複數個偵測遮罩套用至該前景區域,以篩選出候選人物之偵測遮罩;將該候選人物之偵測遮罩套用至該影像,以擷取出候選人物之遮罩影像;以及使用與該候選人物之偵測遮罩對應的分類器,對該候選人物之遮罩影像進行分類,俾獲得實為人物之遮罩影像。
本案之人物偵測與追蹤之方法更包括對該候選人物之遮罩影像計算影像特徵,根據該影像特徵比對後續影像
的遮罩影像,以於比對符合時,納入追蹤人物序列。
於本案之人物偵測與追蹤之方法中,該複數個偵測遮罩之產生方法包括:將人物模型放置於場景中的不同位置,以計算出該人物模型佔該影像的範圍或該人物模型在該影像的景深,藉此在該畫面中之不同區域內產生具有不同尺寸之複數個偵測遮罩。
因此,本案使用複數個偵測遮罩(detection masks)來進行人物偵測,偵測遮罩本身即包含人物在不同位置的方向與大小變異資訊,並且已涵蓋場景中固定物件造成的遮蔽,因此可達到即時的偵測。此外,本案另針對影像中不同的徑向距離區域訓練個別的分類器模型,因此可以有效的偵測在不同區域而有不同外形的人物。再者,本案亦可將偵測的人物串聯成序列,藉此達到即時追蹤與紀錄軌跡的效果,相較於習知技術具有更高的準確性與實用性。
1‧‧‧畫面影像
100‧‧‧魚眼攝影機
11‧‧‧前景區域
12‧‧‧偵測遮罩
2‧‧‧人物偵測與追蹤系統
200‧‧‧人物遮罩設定單元
210‧‧‧場景設定模組
220‧‧‧遮罩產生模組
300‧‧‧人物偵測單元
310‧‧‧影像擷取模組
320‧‧‧前背景分割模組
330‧‧‧遮罩篩選模組
340‧‧‧遮罩影像擷取模組
350‧‧‧遮罩影像分類模組
400‧‧‧人物追蹤單元
410‧‧‧遮罩特徵比對模組
420‧‧‧人物序列更新模組
430‧‧‧特定衣著辨識模組
501~519‧‧‧方塊
A~C‧‧‧人物
E、F‧‧‧固定物件
S201~S206‧‧‧步驟
第1A圖為本案人物偵測與追蹤之系統的實施例之配置示意圖;第1B圖為本案人物偵測與追蹤之系統的具體實施例之配置示意圖;第2圖為本案人物偵測與追蹤之方法的實施例之流程示意圖;第3圖為本案人物偵測與追蹤之方法的具體實施例之方塊示意圖;第4圖為本案人物偵測與追蹤之系統及方法的魚眼攝
影機之場景示意圖;第5圖為本案人物偵測與追蹤之系統及方法的魚眼攝影機之畫面示意圖;第6圖為本案人物偵測與追蹤之系統及方法的魚眼攝影機之自畫面中擷取的影像的前景區域示意圖;第7A圖為本案人物偵測與追蹤之系統及方法的偵測遮罩之示意圖;第7B圖為本案人物偵測與追蹤之系統及方法的偵測遮罩的遮罩影像之示意圖;第8圖為本案人物偵測與追蹤之系統及方法的偵測遮罩套用於前景區域之示意圖;第9圖為本案人物偵測與追蹤之系統及方法的經篩選的偵測遮罩之示意圖;第10圖為本案人物偵測與追蹤之系統及方法的魚眼攝影機之畫面的徑向區域之示意圖;以及第11A至11D圖為本案人物偵測與追蹤之系統及方法的由魚眼攝影機所拍攝的實際畫面及偵測遮罩的應用。
以下藉由特定的實施例說明本案之實施方式,熟習此項技藝之人士可由本文所揭示之內容輕易地瞭解本案之其他優點及功效。本說明書所附圖式所繪示之結構、比例、大小等均僅用於配合說明書所揭示之內容,以供熟悉此技藝之人士之瞭解與閱讀,非用於限定本案可實施之限定條件,故任何修飾、改變或調整,在不影響本案所能產生之
功效及所能達成之目的下,均應仍落在本案所揭示之技術內容得能涵蓋之範圍內。
參閱第1A和1B圖,本案之人物偵測與追蹤系統2包括人物遮罩設定單元200、人物偵測單元300、和人物追蹤單元400。
人物遮罩設定單元200包含場景設定模組210和遮罩產生模組220。場景設定模組210用以供使用者設定魚眼攝影機之參數、場景範圍、場景中固定物件之位置與大小資訊、以及人物實際大小參數等。遮罩產生模組220用以在魚眼攝影機的畫面中之不同區域內產生具有不同尺寸之複數個偵測遮罩,其中,遮罩產生模組220可根據使用者所輸入的參數或資訊等,將人物模型放置於場景中的不同位置,換言之,可根據使用者所設定之人物實際大小參數產生人物模型,再將人物模型放置於場景中的不同位置,以計算出人物模型佔影像的範圍或該人物模型在該影像的景深,亦即,根據已設定之魚眼攝影機之參數、場景範圍、場景中固定物件之位置與大小資訊、以及人物實際大小參數,可計算出人物模型在影像的景深,藉此在畫面中之不同區域內產生具有不同尺寸之複數個偵測遮罩。
此外,遮罩產生模組220也計算人物模型與場景物件在影像各像素位置的深度(與攝影機距離),藉由比較其相對深度,得到偵測遮罩區域中實際可見(未被場景物件遮蔽)的範圍。藉此,遮罩產生模組220可產生一組偵測遮罩,各偵測遮罩之資訊包含其在原影像中的範圍、偵測遮罩所覆蓋的影像中各像素在原影像中之座標、偵測遮罩所覆蓋的影像中的實際可見區域、及偵測遮罩在真實世界中座標位置,故於後續的人物偵測階段,不須任何額外的判斷,即可有效率的處理場景物件對人物部分遮蔽的問題。
人物偵測單元300包括影像擷取模組310、前背景分割模組320、遮罩篩選模組330、遮罩影像擷取模組340、及遮罩影像分類模組350。影像擷取模組310可自魚眼攝影機所拍攝的畫面擷取影像,而前背景分割模組320再將影像分割為前景區域和背景區域,藉此更新背景模型並計算畫面中之前景區域。
遮罩篩選模組330使用由人物遮罩設定單元200所計算以產生之複數個偵測遮罩,套用至影像的前景區域,接著計算各偵測遮罩範圍所包含之前景區域比例,以篩選出對於前景比例達到一給定臨界值以上之遮罩,亦即,可能為人物(亦稱為候選人物)之偵測遮罩。
遮罩影像擷取模組340將可能為人物(候選人物)之偵測遮罩套用至原影像,以擷取出可能為人物(候選人物)之遮罩影像,即原影像中被可能為人物(候選人物)之偵測遮罩所覆蓋的部分,其中,可將所擷取的影像轉正。
遮罩影像分類模組350可計算可能為人物(候選人物)之遮罩影像的影像特徵,再使用與可能為人物(候選人物)之偵測遮罩對應的分類器,對各個可能為人物(候選人物)之遮罩影像產生實為人物可能性的評分,藉此分類出實為人物之遮罩影像。詳細來說,對於分類器之訓練,所使用的訓練資料為事前經由操作者人工標記為人物或非人物的遮罩影像,在訓練階段,此分類器針對魚眼攝影機影像中的數個徑向區域(依照遮罩中心與影像中心之距離相對於魚眼攝影機影像半徑的比例分段),使用遮罩中心位於該區
域中之訓練用遮罩影像,各建立不同的分類器模型,而在實際分類階段,亦使用各遮罩所在區域分類器模型對其分類。換言之,分類器針對自該影像的中心至各該偵測遮罩的中心之複數個徑向區域,建立對應各該偵測遮罩的分類器模型,以於該訓練階段時,對該可能為人物(候選人物)之遮罩影像使用該可能為人物(候選人物)之偵測遮罩的所在區域選擇對應的分類器,以分類出實為人物之遮罩影像。
人物追蹤單元400包括遮罩特徵比對模組410、人物序列更新模組420、及特定衣著辨識模組430,其中,遮罩特徵比對模組410可根據遮罩影像分類模組350所計算之遮罩影像的影像特徵,比對後續影像的遮罩影像,以於比對符合時,納入追蹤人物序列。詳而言之,人物追蹤單元400會保持一組紀錄,包含所有追蹤中人物序列,而每個人物序列包含一個人物從進入場景到離開場景期間的活動軌跡。對於每個新的攝影機畫面,由人物偵測單元300產生並傳送到人物追蹤單元400者包括一組偵測遮罩及/或遮罩影像,以及這些偵測遮罩包含實際人物的可能性分數(可能性分數低於一預設臨界值的遮罩則排除),遮罩特徵比對模組410則將這些遮罩與追蹤中的人物序列進行比對,依照其外觀相似度、位置符合程度(人物序列最後位置與遮罩的真實世界座標)、以及遮罩影像為人物的可能性,判斷與每個人物序列有最佳符合程度的遮罩,若此符合程度達到一預設之臨界值以上,則由人物序列更新模組420將遮
罩位置加入人物序列,並且以遮罩之外觀與位置資訊更新人物序列之外觀與位置資訊。對於無法與由人物偵測單元300所選取之遮罩連結的人物序列,則暫不更新其位置與外觀資訊,而在一定數量的畫面中對其持續進行追蹤,若是在這些畫面中皆無法與其中的遮罩連結,則判斷該人物序列已離開場景而停止追蹤。人物序列更新模組420亦負責人物序列的初始化,其方法是先選擇由人物偵測單元300所選取之高人物可能性遮罩,若是其無法與現有序列連結,且其人物可能性高於鄰近的其他遮罩,則以其初始化新的人物序列,使用者亦可在場景設定階段選擇場景的部分區域為場景入口區域,並限制於此類區域初始化人物序列。特定衣著辨識模組430的目的是用來標示辨識特定衣著的人物(如著制服的店員),辨識階段使用的衣著外觀模型則在系統初始化與設定階段,由人工選擇的具有該特殊衣著的遮罩影像建立。
接著參閱第2圖,本案之人物偵測與追蹤方法可以第2圖來概略說明。於步驟S201中,自畫面擷取影像;於步驟S202中,將影像分割為前景區域和背景區域;於步驟S203中,將複數個偵測遮罩套用至前景區域,以篩選出可能為人物(候選人物)之偵測遮罩;於步驟S204中,將可能為人物(候選人物)之偵測遮罩套用至原影像,以擷取出可能為人物(候選人物)之遮罩影像;以及於步驟S205中,使用與可能為人物(候選人物)之偵測遮罩對應的分類器,對可能為人物(候選人物)之遮罩影像進行分類;於步驟S206
中,獲得實為人物之遮罩影像。
於步驟S203中,該複數個偵測遮罩之產生方法包括:將人物模型放置於場景中的不同位置,以計算出該人物模型佔該影像的範圍或該人物模型在該影像的景深,藉此在該畫面中之不同區域內產生具有不同尺寸之複數個偵測遮罩。
於步驟S205中,於分類器的訓練階段時,該分類器針對自該影像的中心至各該偵測遮罩的中心之複數個徑向區域,建立對應各該偵測遮罩的分類器模型,以於分類器的分類階段時,對該可能為人物(候選人物)之遮罩影像使用該可能為人物(候選人物)之偵測遮罩的所在區域選擇對應的分類器,以分類出實為人物之遮罩影像。於步驟S206之後,更包括如後方法:對該可能為人物(候選人物)之遮罩影像計算影像特徵,根據該影像特徵比對後續影像的遮罩影像,以於比對符合時,納入追蹤人物序列。
因此,本案先利用偵測遮罩對影像的前景區域篩選出可能為人物(候選人物)之偵測遮罩,以自原影像中擷取出可能為人物(候選人物)之遮罩影像,再利用分類器對該些遮罩影像進行評分,以分類出實為人物之遮罩影像。本案的偵測遮罩可依據場景資訊等來預先計算其尺寸,而本案之分類器亦預先訓練,並依據偵測遮罩與影像中心距離,選取對應分類器,藉此產生偵測遮罩可能為人物之分數。
繼續參閱第3圖,其為本案人物偵測與追蹤之方法的具體實施例之方塊示意圖,以下配合第4~10圖的示意圖以
及第11A~11D的實際圖來說明。
方塊501~502表示:如第4圖所示的魚眼攝影機100,以垂直向下之角度拍攝下方之場景,場景影像中有兩個固定物件E和F(如商店之貨架)與三個人物A、B和C。方塊503表示:在初始設定階段,操作者先使用場景設定模組設定攝影機之參數及人物實際大小之參數,此外,操作者還可根據畫面影像1,如第5或11A圖所示,使用場景設定模組設定場景範圍、場景中固定物件之位置與大小資訊,如第11B圖所示,之後由遮罩產生模組自動計算場景之深度資訊,如第11C圖所示。
方塊504表示:遮罩產生模組自動計算場景不同位置之人物在影像中之長寬,並產生用在影像中的偵測遮罩。第7A圖顯示場景中對應三個人物A、B、C位置的偵測遮罩在原影像中的位置與範圍;實際使用之遮罩形狀(如圖所示之虛線橢圓)、數量或密度可由操作者設定。遮罩產生模組亦對每個偵測遮罩計算人物在影像中的深度資訊,並且與場景物件之深度資訊比較,藉此決定每個偵測遮罩的實際可見區域,如第7B圖所示。
方塊505~507表示:影像取像模組擷取魚眼攝影機所拍攝之畫面,傳送至前背景區域分割模組,以自動建構與更新背景影像模型。前背景區域分割模組可計算畫面影像1與背景影像模型之差異,產生一灰階或二元影像以標示畫面影像1中之前景區域11,如第6圖所示。
方塊508表示:將所有偵測遮罩套用至此前景區域,
計算偵測遮罩內之前景區域比例,亦即如第8圖所示,在畫面影像1中,偵測遮罩12與前景區域11合併,接著篩選出前景比例達到一臨界值之偵測遮罩,如第9圖所示。又如第11D圖所示為實際畫面的影像套用數個偵測遮罩。接著,將通過篩選之偵測遮罩再套用至原影像,產生轉正之遮罩影像。
方塊509、510和512表示:遮罩影像分類模組計算通過篩選之偵測遮罩的遮罩影像之影像特徵,再使用已訓練完成之分類器,對各遮罩影像產生實為人物之可能性的評分,以此評分用於分辨該遮罩影像是否可能為人物(候選人物)或是非人物的其他前景物件,並排除此可能性分數低於一預設臨界值的遮罩影像。具體而言,將魚眼攝影機的畫面之影像分為數個徑向區域(依照偵測遮罩中心與影像中心之距離相對於影像半徑的比例分段,如第10圖的虛線所示,其中方塊可能為背景),各建立不同的分類器模型來對應人物在不同徑向距離的外觀差異,而在實際分類階段使用各偵測遮罩所在區域之分類器模型對遮罩影像進行分類。此外,方塊511表示:特定衣著辨識模組可將人物序列的外觀特徵與操作者設定的特定衣著特徵比對,若符合程度高於一臨界值,則標示該序列為具特定衣著的人物(如著制服的店員)。
方塊513表示:遮罩特徵比對模組對保留之遮罩影像計算其用於追蹤的特徵值,包括外觀(顏色、紋理等)與其在真實世界中之位置,並以這些特徵與追蹤中的人物序
列之特徵進行比對,計算其相似度。
方塊514~方塊519表示:對每個追蹤中的人物序列,選擇有最佳符合程度的遮罩,若此符合程度達到一預設之臨界值以上,則由人物序列更新模組將該偵測遮罩的位置加入該人物序列(延伸其軌跡紀錄),並且以偵測遮罩之外觀與位置資訊更新該人物序列之外觀與位置資訊。對於無法與選取之偵測遮罩連結的人物序列,則暫不更新其位置與外觀資訊,而在一定數量的畫面中對其持續進行追蹤,若是在這些畫面中皆無法與其中的偵測遮罩連結,則判斷該人物序列已離開場景而停止追蹤。對於無法與現有人物序列連結之偵測遮罩,若是其人物可能性分數達到一臨界值且高於鄰近的其他偵測遮罩,則以其初始化新的人物序列。
綜上所述,本案之物偵測與追蹤系統及方法大致可分為偵測遮罩之預先計算及產生、遮罩影像可能為人物之可能性(或評分)計算、及將相鄰畫面選取的偵測遮罩串聯為人物序列之人物追蹤。
首先,由操作者先設定攝影機之參數、場景範圍、場景中固定物件之位置與大小資訊、以及人物大小之參數,接著將三維的人物模型置於場景中的不同位置,然後透過攝影機的成像機制,計算出人物模型在影像中的範圍,以此得到人物遮罩在影像中不同位置的長寬;計算人物模型與場景物件在影像各像素位置的相對深度,得到人物遮罩區域中實際可見(未被場景物件遮蔽)的範圍。以上步驟
將產生一系列人物偵測遮罩,各遮罩之資訊包含其在原影像中的範圍、遮罩影像中各像素在原影像中之座標、遮罩影像中的實際可見區域、及遮罩在真實世界中之座標位置。此方法可以在之後的人物偵測階段,不須任何額外的判斷,即可有效率的處理場景物件對人物部分遮蔽的問題。
其次,對於由魚眼攝影機擷取之畫面,先進行前背景區域分割,以更新背景模型並計算畫面中之前景區域,然後將預先計算之人物偵測遮罩,套用至影像中之前景區域,計算各遮罩範圍所包含之前景區域比例,並且篩選對於前景比例達到一給定臨界值以上之遮罩,再次套用至原影像中,產生已轉正之遮罩區域影像。選取之遮罩影像先計算其影像特徵,再使用已訓練完成之人物分類器,對各遮罩影像產生其為人物之可能性的評分。此分類器會根據遮罩在原影像中所在之徑向區域(依照遮罩中心與影像中心之距離相對於魚眼攝影機影像半徑的比例分段),使用針對該區域人物影像特徵的分類器模型,因此可以解決魚眼攝影機影像中人物外形隨位置變異的問題。
最後,每個人物序列包含一個人物從進入場景到離開場景期間的活動軌跡。對於每個新的攝影機畫面所選取可能為人物的遮罩(包含其實際為人物的可能性分數),與追蹤中的人物序列進行比對,依照其外觀相似度、位置符合程度、以及遮罩影像為人物的可能性,判斷與每個人物序列有最佳符合程度的遮罩,若此符合程度達到預設之臨界值以上,則將該遮罩位置加入該人物序列,並且以遮罩之
外觀與位置資訊更新該人物序列之外觀與位置資訊。對於無法與任何所選取之遮罩連結的人物序列,則暫不更新其位置與外觀資訊,而在一定數量的畫面中對其持續進行追蹤,若是在這些畫面中皆無法與其中的遮罩連結,則判斷該人物序列已離開場景而停止追蹤。對於人物序列的初始化,方法是先選擇高人物可能性的遮罩,若是其無法與現有序列連結,且其人物可能性高於鄰近的其他遮罩,則以其初始化新的人物序列,使用者亦可在場景設定階段選擇場景的部分區域為場景入口區域,並限制於此類區域初始化人物序列。
上述實施例僅例示性說明本案之功效,而非用於限制本案,任何熟習此項技藝之人士均可在不違背本案之精神及範疇下對上述該些實施態樣進行修飾與改變。因此本案之權利保護範圍,應如後述之申請專利範圍所列。
2‧‧‧人物偵測與追蹤系統
220‧‧‧遮罩產生模組
320‧‧‧前背景分割模組
330‧‧‧遮罩篩選模組
340‧‧‧遮罩影像擷取模組
350‧‧‧遮罩影像分類模組
Claims (10)
- 一種人物偵測與追蹤之系統,用於魚眼攝影機所提供之畫面,該系統包括:前背景分割模組,將來自該畫面之影像分割為前景區域和背景區域;遮罩產生模組,用以在該畫面中之不同區域內產生具有不同尺寸之複數個偵測遮罩;遮罩篩選模組,將該複數個偵測遮罩套用至該前景區域,以篩選出候選人物之偵測遮罩;遮罩影像擷取模組,將該候選人物之偵測遮罩套用至該影像,以擷取出候選人物之遮罩影像;以及遮罩影像分類模組,使用與該候選人物之偵測遮罩對應之分類器,對該候選人物之遮罩影像進行分類,俾獲得實為人物之遮罩影像。
- 如申請專利範圍第1項所述之系統,更包括人物遮罩設定單元,該人物遮罩設定單元包含場景設定模組和該遮罩產生模組,其中,該場景設定模組用以供設定攝影機之參數、場景範圍、場景中固定物件之位置與大小資訊、或人物實際大小參數。
- 如申請專利範圍第2項所述之系統,其中,該遮罩產生模組根據所設定之人物實際大小參數產生人物模型,以將該人物模型放置於場景中的不同位置,以計算出該人物模型佔該影像的範圍,或根據所設定之攝影機之參數、場景範圍、場景中固定物件之位置與大小資訊、或人物 實際大小參數,計算該人物模型在該影像的景深,藉此在該畫面中之不同區域內產生具有不同尺寸之複數個偵測遮罩。
- 如申請專利範圍第1項所述之系統,更包括人物偵測單元,該人物偵測單元包括影像擷取模組、該前背景分割模組、該遮罩篩選模組、該遮罩影像擷取模組、及該遮罩影像分類模組,其中,該遮罩影像分類模組進一步對該候選人物之遮罩影像計算影像特徵。
- 如申請專利範圍第4項所述之系統,其中,於訓練階段時,該分類器針對自該影像的中心至各該偵測遮罩的中心之複數個徑向區域,建立對應各該偵測遮罩的分類器模型,於分類階段時,對該候選人物之遮罩影像使用該候選人物之偵測遮罩的所在區域選擇對應的分類器,以分類出該實為人物之遮罩影像。
- 如申請專利範圍第4項所述之系統,更包括人物追蹤單元,該人物追蹤單元包括遮罩特徵比對模組、人物序列更新模組、及特定衣著辨識模組,其中,該遮罩特徵比對模組根據由該遮罩影像分類模組所計算之影像特徵比對後續影像的遮罩影像,以於比對符合時,納入追蹤人物序列。
- 一種人物偵測與追蹤之方法,用於魚眼攝影機所提供之畫面,包括:自該畫面擷取影像以將該影像分割為前景區域和背景區域; 將複數個偵測遮罩套用至該前景區域,以篩選出候選人物之偵測遮罩;將該候選人物之偵測遮罩套用至該影像,以擷取出候選人物之遮罩影像;以及使用與該候選人物之偵測遮罩對應的分類器,對該候選人物之遮罩影像進行分類,俾獲得實為人物之遮罩影像。
- 如申請專利範圍第7項所述之方法,其中,該複數個偵測遮罩之產生方法包括:根據所設定之人物實際大小參數產生人物模型以將該人物模型放置於場景中的不同位置,以計算出該人物模型佔該影像的範圍,或根據所設定之攝影機之參數、場景範圍、場景中固定物件之位置與大小資訊、或人物實際大小參數,計算該人物模型在該影像的景深,藉此在該畫面中之不同區域內產生具有不同尺寸之複數個偵測遮罩。
- 如申請專利範圍第7項所述之方法,其中,於訓練階段時,該分類器針對自該影像的中心至各該偵測遮罩的中心之複數個徑向區域,建立對應各該偵測遮罩的分類器模型,於分類階段時,對該候選人物之遮罩影像使用該候選人物之偵測遮罩的所在區域選擇對應的分類器,以分類出該實為人物之遮罩影像。
- 如申請專利範圍第7項所述之方法,更包括對該候選人物之遮罩影像計算影像特徵,根據該影像特徵比對後續影像的遮罩影像,以於比對符合時,納入追蹤人物序列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107136190A TWI698805B (zh) | 2018-10-15 | 2018-10-15 | 人物偵測與追蹤之系統及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107136190A TWI698805B (zh) | 2018-10-15 | 2018-10-15 | 人物偵測與追蹤之系統及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202016798A TW202016798A (zh) | 2020-05-01 |
| TWI698805B true TWI698805B (zh) | 2020-07-11 |
Family
ID=71895608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW107136190A TWI698805B (zh) | 2018-10-15 | 2018-10-15 | 人物偵測與追蹤之系統及方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI698805B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12148132B2 (en) | 2022-01-27 | 2024-11-19 | Altek Semiconductor Corporation | Image calibration method and image calibration apparatus |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5687249A (en) * | 1993-09-06 | 1997-11-11 | Nippon Telephone And Telegraph | Method and apparatus for extracting features of moving objects |
| CN101860729A (zh) * | 2010-04-16 | 2010-10-13 | 天津理工大学 | 一种用于全方位视觉的目标跟踪方法 |
| US20110115909A1 (en) * | 2009-11-13 | 2011-05-19 | Sternberg Stanley R | Method for tracking an object through an environment across multiple cameras |
| TWI448976B (zh) * | 2011-08-05 | 2014-08-11 | Shinsoft Co Ltd | 超廣角影像處理方法與其系統 |
| US8866910B1 (en) * | 2008-09-18 | 2014-10-21 | Grandeye, Ltd. | Unusual event detection in wide-angle video (based on moving object trajectories) |
| TWI615808B (zh) * | 2016-12-16 | 2018-02-21 | 旺玖科技股份有限公司 | 全景即時影像處理方法 |
| TWI631317B (zh) * | 2017-07-07 | 2018-08-01 | 合盈光電科技股份有限公司 | Personnel motion detection system |
-
2018
- 2018-10-15 TW TW107136190A patent/TWI698805B/zh active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5687249A (en) * | 1993-09-06 | 1997-11-11 | Nippon Telephone And Telegraph | Method and apparatus for extracting features of moving objects |
| US8866910B1 (en) * | 2008-09-18 | 2014-10-21 | Grandeye, Ltd. | Unusual event detection in wide-angle video (based on moving object trajectories) |
| US20110115909A1 (en) * | 2009-11-13 | 2011-05-19 | Sternberg Stanley R | Method for tracking an object through an environment across multiple cameras |
| CN101860729A (zh) * | 2010-04-16 | 2010-10-13 | 天津理工大学 | 一种用于全方位视觉的目标跟踪方法 |
| TWI448976B (zh) * | 2011-08-05 | 2014-08-11 | Shinsoft Co Ltd | 超廣角影像處理方法與其系統 |
| TWI615808B (zh) * | 2016-12-16 | 2018-02-21 | 旺玖科技股份有限公司 | 全景即時影像處理方法 |
| TWI631317B (zh) * | 2017-07-07 | 2018-08-01 | 合盈光電科技股份有限公司 | Personnel motion detection system |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202016798A (zh) | 2020-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110648352B (zh) | 一种异常事件的检测方法、装置及电子设备 | |
| Graf et al. | Multi-modal system for locating heads and faces | |
| CN110264493B (zh) | 一种针对运动状态下的多目标对象追踪方法和装置 | |
| CN103761514B (zh) | 基于广角枪机和多球机实现人脸识别的系统及方法 | |
| KR101964397B1 (ko) | 정보처리장치 및 정보처리방법 | |
| CN104166841B (zh) | 一种视频监控网络中指定行人或车辆的快速检测识别方法 | |
| TWI679612B (zh) | 影像追蹤方法 | |
| Tiwari et al. | A computer vision based framework for visual gun detection using SURF | |
| CN108876723B (zh) | 一种灰度目标图像的彩色背景的构建方法 | |
| CN102214309B (zh) | 一种基于头肩模型的特定人体识别方法 | |
| US20110081081A1 (en) | Method for recognizing objects in images | |
| CN107368778A (zh) | 人脸表情的捕捉方法、装置及存储装置 | |
| CN107330371A (zh) | 3d脸部模型的脸部表情的获取方法、装置和存储装置 | |
| CN110969118A (zh) | 轨迹监控系统和方法 | |
| CN108038867A (zh) | 基于多特征融合和立体视觉的火焰检测和定位方法 | |
| US10489640B2 (en) | Determination device and determination method of persons included in imaging data | |
| CN109752855A (zh) | 一种光斑发射装置和检测几何光斑的方法 | |
| CN113657250A (zh) | 一种基于监控视频的火焰检测方法及系统 | |
| JP6448212B2 (ja) | 認識装置及び認識方法 | |
| Debnath et al. | Automatic visual gun detection carried by a moving person | |
| Baltieri et al. | Multi-view people surveillance using 3D information | |
| CN104200483B (zh) | 多摄像头环境中基于人体中心线的目标检测方法 | |
| TW201742006A (zh) | 場線之擷取重建方法 | |
| TWI698805B (zh) | 人物偵測與追蹤之系統及方法 | |
| Almomani et al. | Segtrack: A novel tracking system with improved object segmentation |