[go: up one dir, main page]

TWI420401B - 一種回授式物件偵測演算法 - Google Patents

一種回授式物件偵測演算法 Download PDF

Info

Publication number
TWI420401B
TWI420401B TW097121629A TW97121629A TWI420401B TW I420401 B TWI420401 B TW I420401B TW 097121629 A TW097121629 A TW 097121629A TW 97121629 A TW97121629 A TW 97121629A TW I420401 B TWI420401 B TW I420401B
Authority
TW
Taiwan
Prior art keywords
data
target
pixel
image data
detection algorithm
Prior art date
Application number
TW097121629A
Other languages
English (en)
Other versions
TW200951829A (en
Inventor
Chih Hao Chang
Zhong Lan Yang
Original Assignee
Vatics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vatics Inc filed Critical Vatics Inc
Priority to TW097121629A priority Critical patent/TWI420401B/zh
Priority to US12/456,186 priority patent/US20090310822A1/en
Publication of TW200951829A publication Critical patent/TW200951829A/zh
Application granted granted Critical
Publication of TWI420401B publication Critical patent/TWI420401B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Description

一種回授式物件偵測演算法
本發明是有關於一種影像處理之演算法,且特別是有關於一種預測前景物體之位置,以進行物件切割之物件偵測演算法。
在影像處理系統中,若影像處理系統能針對物件而非每個像素來作處理,則影像處理系統可以獲得更多畫面內容的資訊,並且可進一步處理畫面中所發生的事件。藉由畫面中物件的特性,例如:新出現、移動、顏色‥等等,習知物件偵測演算法可將前景物件偵測出來,並且切割影像為前景與背景物體。物件偵測演算法可應用於許多方面,例如:智慧型安全監控系統、電腦視覺應用、人機溝通介面、影像壓縮‥等等。
對於智慧型安全監控系統而言,物件偵測演算法改善了傳統安全監控系統的缺點,可節省監看人力並提升回報特殊事件準確度。在智慧型安全監控系統中,若物件偵測演算法能準確地將物體偵測出來,則物件偵測演算法可大幅增進監控效率,並且更準確的發出警報。在應用方面,若物件偵測演算法能準確地偵測物件,則物件偵測演算法不僅能偵測出簡單的事件,如:闖入者偵測等,還能針對特殊事件進行偵測,例如:遺留物體(機場背包炸彈)、偷竊物品(美術館保全)、尾隨的可疑人物‥等等。
請參照第1圖,其繪示的是習知物件偵測演算法之功能方塊種圖。其中,物件切割方塊將輸入影像中的前景物體切割出來。物件擷取方塊將切割出來的物體依其特徵建立物件資訊。藉由追蹤每張畫面物體的動向,物件追蹤方塊可得知物體速度‥等等資料。請參照第2圖,其繪示的是習知物件切割之功能方塊圖。
再者,習知的物件切割方式主要有以下幾種:
1、畫面差異演算法(Frame Difference):此方法利用本畫面之每一像素與前一張畫面之每一像素相減,找出移動的物體。此一方法的優點在於運算簡單,缺點在於若欲偵測的前景物體沒有運動,則無法切割出來。
2、區域結合演算法(Region Merge):此方法利用相鄰像素的相似性作結合,經由一定次數的重複運算,找出具有一致性特徵的物體。此一方法之缺點為只能找出具有均勻特徵之物體,且需要一定次數的重複運算。優點在於由於採取相鄰像素作結合,因此不需維持背景模型。
3、背景相減演算法(Background Subtraction):此方法利用歷史畫面建立背景模型,經由每一像素與背景模型相比對,找出與背景不相同的物體。此一方法的優點為可靠度較高,對於動態背景等情況有較佳的抵抗力。缺點為需要維持背景模型。
然而,不幸的是,習知的物件切割演算法皆單純地以像素為出發點作偵測,並未從「物件」的角度來作處理。因此,習知的物件切割演算法,極容易產生錯誤警報(False alarm),如將光影變化,畫面雜訊誤認為前景物體,而使得判斷失誤的情形增加。
當習知物件切割演算法執行物件切割時,通常會設定一個臨界值(threshold)來作為前景與背景的分別。但是,習知物件切割演算法設定臨界值時,將會遇到兩難的問題。最常見的缺點是,若臨界值設定太寬,則許多物體產生的雜訊、反光、微弱的光影變化將被視為前景。若臨界值設定太窄,則某些與背景相似的前景物體,將不會被切割出來。相關專利案請參考US6999620,US6141433 US6075875。
如此一來,習知物件切割演算法在準確率尚未能達到令人 滿意的程度,因而在應用上,更產生許多的限制,例如:
1、當物體與背景顏色特徵相當接近時,習知物件切割演算法不易準確地切割。
2、習知物件切割演算法容易發生物體因切割不慎而斷開(如:身體某部分與背景顏色相似),進而使單一物體被判斷成兩個物體的現象。
3、當畫面有光線反射與影子變化時,習知物件切割演算法不易準確地切割,而容易將光影變化當成新的前景物件而切割出來,使得錯誤警報次數增加。
4、以物體學習速率的變化而言,當物體學習速率快時,若物體不移動很快就被學進背景。當物體學習速率慢時,若背景產生變化,則背景模型無法即時的更新。這些效果都會造成物件切割演算法的失敗。
綜合上述,習知物件切割演算法不僅存在許多限制,而且習知物件切割演算法具有許多嚴重的缺點,使得影像處理過程產生許多瑕疵。這些缺點大部分是因為習知物件切割演算法均以像素為出發點而造成的,舉例而言,若由物件為出發點,則物體不慎切割成兩個物體可藉由物件資訊救回,光影變化亦可由物件突然出現等物件資訊以解決。因此,習知物件切割演算法亟待改善。
有鑒於此,本發明的目的就是在提供一種回授式物件偵測演算法。由於本發明是以物件為主體來進行物件切割之技術,所以本發明改善了傳統以像素為基礎的物件切割方法。本發明經由物件投影技術預測前景物體之位置,以進行物件切割。本發明欲解決習知技術物件切割時所產生的瑕疵,以提高物件切割的準確度。
為達成上述及其他目的,本發明提出一種回授式物件偵測演算法,適用於影像處理系統。其中,在t時間(即第t張畫面)時,第二影像資料(第t-1,t-2,...,t-n張畫面)產生的時間在第一影像資料(第t張畫面)之前。本方法包括下列步驟:本方法執行物件切割程序,輸入前述第一影像資料,根據前述第一影像資料與物件投影程序所算出之目標位置,以切割出前景物體,並且輸出切割資料(二元式影像光罩)。之後,本方法執行物件擷取程序,輸入前述切割資料,根據前述前景物體與前述切割資料,萃取出每一個前景物體所對應之第一特徵資料。接下來,本方法執行物件追蹤程序,輸入前述第一特徵資料,分析前述第一影像資料中之第一特徵資料與前述第二影像資料中對應之第一特徵資料,以得到第一影像資料中每個物體的第二特徵資料。其後,本方法執行物件投影程序,輸入前述第二特徵資料,分析前述第二特徵資料與前述第二影像資料中的第二特徵資料,以預測前述前景物體在第三影像資料中(第t+1張畫面)對應之目標位置,之後,將前述目標位置輸出至前述物件切割程序,以切割出第三影像資料中(第t+1張畫面)的前景物體。
在本發明中,第一影像資料係指本張畫面,即第t張畫面。第二影像資料係指歷史畫面,即第t-1,t-2,...,t-n張畫面。第三影像資料係指下一張畫面,即第t+1張畫面。第一特徵資料係指物件擷取程序後所獲得之物體資訊。第二特徵資料係指物件追蹤程序後之特徵資訊。第一位置係指物件在第一影像資料中的位置,第二位置係指物件在第二影像中之位置,第三位置係指物件在第三影像中之位置。第一機率係指物件切割中藉由物件投影程序產生之目標位置所得知之每個位置為前景之機率。第二機率係指經由與多重高斯混合背景模型相比,所得到的機率。第三機率係指目標像素與鄰近像素相比較所得之機 率。綜合第一、第二、及第三機率可得到該位置出現前景之前景機率。
依照本發明的較佳實施例所述,上述之物件切割程序包括下列步驟:本方法讀取第一影像資料之其中一個像素成為目標像素。之後,根據前述目標像素與對應之前述物件投影程序產生之目標位置,以決定前述目標像素為前景像素之機率,成為第一機率。其後,本方法比較前述目標像素與多重高斯混合背景模型之相似度,以決定前述目標像素為前景像素之機率,成為第二機率。接下來,本方法比較前述目標像素與目標像素之對應鄰近像素之相似度,以決定前述目標像素為前景像素之機率,成為第三機率。最後,根據前述第一機率、前述第二機率與前述第三機率,決定前述目標像素是否為前景像素。
依照本發明的較佳實施例所述,上述之前述物件切割程序更包括下列步驟:藉由前述多重高斯混合背景模型,本方法得到時域差異參數。之後,藉由前述目標像素鄰近之像素,本方法以得到空間差異參數。接著,若前述時域差異參數與前述空間差異參數之和大於一個臨界值,則本方法判斷前述目標像素為前景像素。若前述時域差異參數與前述空間差異參數之和小於一個臨界值,則本方法判斷前述目標像素不為前景像素。
依照本發明的較佳實施例所述,若前述目標位置投影至對應之位置,則提高對應之位置出現前述前景像素之機率或降低該位置判別是否為前景之臨界值。
依照本發明的較佳實施例所述,上述之物件投影程序包括下列步驟:根據第二特徵資料與第二影像資料,本物件投影程序可得知第一影像資料(第t張畫面,即本張畫面)中所有目標物件之目標位置(第一位置)。之後,根據前述第一影像資料之第一位置及第二影像資料之第二位置,物件投影程序決定第t+1 張畫面時的第三影像資料中,前述目標物件之第三位置(即t+1張畫面時該目標物件的位置)。物件投影程序計算目標位置的方式如下:根據前述第二影像資料,本方法得知前述目標物件之第二位置(即t-1,t-2,...,t-n張畫面之該目標物件之位置)。其後,根據前述第一位置與前述第二位置,本方法估計該目標物件對應之運動方向與運動速度。接下來,本方法記錄歷史運動方向與歷史運動速度。之後,本方法預測第t+1張畫面對應之運動方向與對應之運動速度。最後,本方法預測前述目標物件在下一張影像(第三影像資料)中之目標位置(即第三位置)。
綜合上述,本發明提出一種回授式物件偵測演算法。由於物件追蹤功能可以求得物體的速度,所以本發明利用物件追蹤功能的結果,利用物件投影程序以預測下一張畫面之前景物體所在的位置,即可大幅提昇物件切割的準確度。本發明至少具有下列優點:
1、為了達到更準確的物件偵測能力,本發明採用整個物件偵測系統的資料來聰明地調整臨界值,使得正確率大幅提昇。
2、本發明以投影的原理來預測物件的位置,這種方法在物件切割的技術中,不僅具備新穎性,更具有進步性。物件投影的目的在於,本發明利用第二影像資料(第t-1,t-2,...,t-n張畫面),以預測第三影像資料(第t+1張畫面)的物體所可能出現的位置。之後,本方法將這個可能出現的位置回授至物件切割方塊,以當作物件切割之輔助,例如:本發明提高物件投影區域出現物體的機率,並且降低沒有投影到的區域出現前景物體的機率。如此一來,本發明提高物件切割的正確率,並且達到降低錯誤警報的效果。
3、物件投影對物件切割的助益在於,物件投影可補回物體不慎切割斷開的部分,本發明克服習知技術的缺點,避免一個物體 因斷開而被誤認為兩個物體。
4、物件投影對物件切割的助益在於,物件投影增加偵測物體輪廓的準確性。本發明可增加物體在相似背景中,成功割出的機率。
5、物件投影對物件切割的助益在於,物件投影可依投影結果調整臨界值,有效地降低使用單一固定臨界值造成的不良影響。例如:降低投影區域之臨界值,提高非投影區域之臨界值。
6、物件投影對物件切割的助益在於,物件投影增加前景物體可在畫面中停留靜止的時間,而使物體不會被快速學入背景而不被偵測出來。
7、物件投影對物件切割的助益在於,物件投影克服習知物件偵測演算法以像素為單位來作切割的缺點,物件投影利用整個物體的特徵資料,來增加物件切割的正確度。
由上述可知,物件投影計算出的每個位置可能出現前景物體的機率,調整物件切割演算法的切割能力(例如:臨界值),以提升整體物件偵測系統的準確度。
請參照第3圖,其繪示的是依照本發明一較佳實施例之回授式物件偵測演算法之功能方塊圖。本方法適用於影像處理,其中,至少一筆第二影像資料(第t-1,t-2,...,t-n張畫面)產生的時間在一筆第一影像資料(第t張畫面)之前。本方塊圖包括物件切割方塊302、物件擷取方塊304、物件追蹤方塊306與物件投影方塊308。本方法將第一影像資料(第t張畫面)與第二影像資料(第t-1,t-2,...,t-n張畫面)產生的對應目標位置輸入物件切割方塊302。接下來,本方法執行物件切割程序,使物件切割方塊302輸出對應之二元式影像光罩至物件擷取方塊304。之後,本方法執行物件擷取程序,使物件擷取方塊304輸出對應 之第一特徵資料至物件追蹤方塊306。其後,本方法執行物件追蹤程序,使物件追蹤方塊306輸出對應之第二特徵資料至物件投影方塊308。接著,本方法執行物件投影程序,使物件投影方塊308輸出第一影像資料之對應目標位置至物件切割方塊302,以協助第三影像資料(第t+1張畫面)之影像資料切割物件。
本方法包括下列步驟:本方法執行物件切割程序,輸入前述第一影像資料與目標位置。根據前述第一影像資料與前述目標位置,以切割出畫面中所有的前景物體與形成其對應之切割資料。之後,本方法執行物件擷取程序,輸入前述切割資料,此切割資料即二元式影像光罩。根據前述前景物體與前述切割資料,使每一個前景物體具有對應之第一特徵資料。其後,本方法執行物件追蹤程序,輸入前述第一特徵資料,並分析前述第一影像資料中之第一特徵資料與前述第二影像資料中對應之前述第一特徵資料,藉由比對得知對應關係,以得到第一影像資料中每個物件之第二特徵資料。接著,本方法執行物件投影程序,輸入前述第二特徵資料,分析前述第二特徵資料與前述第二影像資料對應之第二特徵資料,以預測前述前景物體對應之前述目標位置(第三位置)。之後,本方法將前述目標位置輸出至前述物件切割程序,以進行前述之第三影像資料之物件切割。
請參照第4圖,其繪示的是依照本發明一較佳實施例之物件切割程序之流程圖。前述物件切割程序包括下列步驟:本方法讀取第一影像資料(第t張畫面)之其中一個像素成為目標像素(S404)。接下來,本方法輸入第二影像資料(第t-1,t-2,...,t-n張畫面),以及在第t-1張畫面時決定對應之目標位置(S406)。之後,本方法讀取此目標位置(S408)。接著,根據前述目標像 素與對應之前述目標位置,以決定前述目標位置出現前景像素之機率,成為第一機率(S410)。此外,根據高斯混合背景模型,取得對應之時域切割資料(S412)。接下來,本方法讀取前述時域切割資料(S414)。接著,本方法比較前述目標像素與高斯混合背景模型之相似度,以決定前述目標像素為前景像素之機率,成為第二機率(S416)。另外,本方法讀取第一影像資料(S418)。之後,根據前述目標像素與目標像素之對應鄰近像素,取得空間資料(S420)。其後,本方法比較前述目標像素與目標像素之對應鄰近像素之相似度,以決定前述目標像素為前景像素之機率,成為第三機率(S422)。接著,根據第一機率、第二機率與第三機率,決定前述目標像素是否為前景像素。(S424)。接下來,本方法輸出前述目標像素至二元式影像光罩(S426)。之後,本方法判斷整張畫面的像素是否皆切割完成(S428)。若整張畫面的像素未切割完成,則本方法再次執行步驟404。若整張畫面的像素切割完成,則本方法結束物件切割程序(S430)。
請參照第5圖,其繪示的是依照本發明一較佳實施例之決定目標像素為前景像素的機率之流程圖。本方法形成前景像素機率包括下列步驟:藉由讀取該物體之第一影像資料及物件投影資訊目標位置,可得知前述之第一機率。藉由多重高斯混合背景模型,本方法得到時域差異參數。藉由此時域差異參數,可得知前述之第二機率。之後,藉由目標像素鄰近之像素,本方法得到空間差異參數。藉由此空間差異參數,可得知前述之第三機率。藉由前述第一機率,調整第二機率及第三機率判斷之臨界值,並由與臨界值比較之結果,可求得前景像素機率。由此前景像素機率可判定該像素是否為前景像素,完成該像素之物件切割。
請再次參照第3圖,物件擷取程序可使用習知之連結元件 標籤演算法(Connected Component Labeling),以分析連結元件的連接情況、位置與物體分佈,以取得第一特徵資料。物件追蹤程序可使用物件配對演算法,藉由一對一的比對每張畫面,尋找相似物件以進行追蹤,以取得第二特徵資料。
請參照第6圖,其繪示的是依照本發明一較佳實施例之物件投影程序之流程圖。物件投影程序包括下列步驟:本方法讀取要進行物件投影的目標物件(S604)。此外,本方法取得第二影像資料之目標物件的資料(S606)。之後,本方法讀取第二影像資料(第t-1,t-2,...,t-n張畫面)之目標物件的位置(S608)。此外,本方法取得第一影像資料(本張畫面t)之目標物件的資料(S610)。之後,根據第一影像資料,決定第t張畫面時,目標物件之第一位置,亦即,本方法讀取本張畫面(第t張畫面)之目標物件的位置(S612)。之後,根據前述第一位置與前述第二位置,估計運動方向與運動速度(S614)。之後,本方法記錄歷史運動方向與歷史運動速度(S616)。並且,本方法預測第三影像資料(第t+1張畫面)的對應之運動方向與對應之運動速度(S618)。根據步驟612與步驟618,本方法預測目標物件在第三影像資料(第t+1張畫面)中之目標位置(S620)。其後,本方法輸出目標物件在第t+1張畫面的影像中之目標位置(S622)。接著,本方法判斷第一影像資料中之所有目標物件是否全部投影完成(S624)。若第一影像資料中之所有目標物件尚未投影完成,則本方法再次執行步驟604。若第一影像資料中之所有目標物件已投影完成,則本方法結束物件投影程序(S626)。
值得說明的是,第一特徵資料係為顏色分佈、物體質心或物件大小等物件資訊。第二特徵資料係為移動資料,藉由分析物件移動狀況所取得之資料,例如:物件速度、物件位置或運動方向等資訊。此外,第二特徵資料亦可為分類資料,前述分 類資料指示物件之種類,例如:人或車。再者,第二特徵資料亦可為場景位置資料,前述場景位置資料指示物件所在場景,例如:門口、上坡或下坡。另外,第二特徵資料亦可為互動資料,藉由分析各個連結元件間之互動行為,可得到前述互動資料,例如:談話行為或身體接觸行為。再者,第二特徵資料亦可為場景深度資料,前述場景深度資料指示物件所在之場景深度。藉由第二特徵資料,本方法可利用第二特徵資料來預測目標物件在下一張畫面的目標位置,之後,本方法回授下一張畫面的目標位置至原有的物件切割程序,即可得到第一機率。本方法配合其他第二機率與第三機率作更精確的預測,即可更精確的完成物件切割的工作。
請參照第7圖,其繪示的是依照本發明一較佳實施例之物件切割之示意圖。請配合參照第5圖與第6圖,第一影像資料700內含目標像素702,藉由目標像素702鄰近像素,可以得到第三機率。再者,藉由多重高斯混合背景模型704、多重高斯混合背景模型706、多重高斯混合背景模型708等等N個模型,可得到第二機率。另外,藉由物件移動資料,本方法可取得第一機率,其數學形式如下:Pos(Obj(k),t):物體k在t時間的位置
MV(Obj(k),t):物體k在t與t-1時間的移動向量(motion vector)
MV(Obj(k),t)=Pos(Obj(k),t)-Pos(Obj(k),t-1)
MP(Obj(k),t):移動預測函數(motion prediction)
Low_pass_filter(X):低通濾波函數
MP(Obj(k),t)=Low_pass_filter(MV(Obj(k),t),MV(Obj(k),t-1),MV(Obj(k),t-2),...)
Proj_pos(Obj(k),t+1):根據前述資料,本方法預測(投影)物體t+1時間出現的位置
Proj_pos(Obj(k),t+1)=Pos(Obj(k),t)+MP(Obj(k),t)
本方法在進行t+1張畫面的物體分割時,若該位置為物件投影之目標位置,則提高該位置物體出現的機率,亦即,本方法降低判斷該位置為前景的臨界值。
值得注意的是,上述的說明僅是為了解釋本發明,而並非用以限定本發明之實施可能性,敘述特殊細節之目的,乃是為了使本發明被詳盡地了解。然而,熟習此技藝者當知此並非唯一的解法。在沒有違背發明之精神或所揭露的本質特徵之下,上述的實施例可以其他的特殊形式呈現,而隨後附上之專利申請範圍則用以定義本發明。
圖式之標示說明:
302‧‧‧物件切割方塊
304‧‧‧物件擷取方塊
306‧‧‧物件追蹤方塊
308‧‧‧物件投影方塊
S402~S430‧‧‧流程圖之步驟
S602~S626‧‧‧流程圖之步驟
700‧‧‧第一影像資料
702‧‧‧目標像素
704,706,708‧‧‧多重高斯混合背景模型
為讓本發明之上述和其他目的、特徵、和優點能更明顯易懂,下文特舉較佳實施例,並配合所附圖式,作詳細說明如下:第1圖繪示的是習知物件偵測演算法之功能方塊種圖;第2圖繪示的是習知物件切割之功能方塊圖;第3圖繪示的是依照本發明一較佳實施例之回授式物件偵測演算法之功能方塊圖;第4圖繪示的是依照本發明一較佳實施例之物件切割程序之流程圖;第5圖繪示的是依照本發明一較佳實施例之決定目標像素為前景像素的機率之流程圖;第6圖繪示的是依照本發明一較佳實施例之物件投影程序之流程圖;以及,第7圖繪示的是依照本發明一較佳實施例之物件切割之示意圖。
302‧‧‧物件切割方塊
304‧‧‧物件擷取方塊
306‧‧‧物件追蹤方塊
308‧‧‧物件投影方塊

Claims (15)

  1. 一種回授式物件偵測演算法,適用於影像處理,其中,至少一第二影像資料產生的時間在一第一影像資料之前,此方法包括下列步驟:執行一物件切割程序,輸入該第一影像資料與物件投影之一目標位置,根據該第一影像資料與該目標位置,以切割出畫面中所有前景物體與形成對應之切割資料;執行一物件擷取程序,輸入該切割資料,根據該前景物體與該切割資料,使每一該前景物體具有對應之一第一特徵資料,該第一特徵資料為一顏色分佈、一物體質心與一物件大小;執行一物件追蹤程序,輸入該第一特徵資料,分析該第一影像資料中之該第一特徵資料與該第二影像資料中對應之該第一特徵資料,以得到至少一第二特徵資料;以及,執行一物件投影程序,輸入該第二特徵資料,分析該第二特徵資料與該第二影像資料,以預測該前景物體對應之該目標位置,之後,將該目標位置輸出至該物件切割程序,以輔助進行一第三影像資料之切割;其中,根據該第二特徵資料與該第二影像資料,決定至少一目標物件;根據該第一影像資料,決定第t張畫面時,該目標物件之一第一位置;根據該第二影像資料,決定第t-1,t-2,…,t-n張畫面時,該目標物件之一第二位置;根據該第一位置與該第二位置,估計一運動方向與一運動速度;記錄一歷史運動方向與一歷史運動速度;預測該第三影像資料,該第三影像資料為第t+1張畫面時對應之該運動方向與對應之該運動速度;以及,預測該目標物件在該第三影像資料中之該目標位置。
  2. 如申請專利範圍第1項所述之回授式物件偵測演算法, 其中,該物件切割程序包括下列步驟:讀取該第一影像資料之其中一個像素成為一目標像素;根據該目標像素與對應之該目標位置,以決定該目標位置出現一前景像素之機率,成為一第一機率;比較該目標像素與一背景模型之相似度,以決定該目標像素為該前景像素之機率,成為一第二機率;比較該目標像素與該目標像素之對應鄰近像素之相似度,以決定該目標像素為該前景像素之機率,成為一第三機率;以及,根據該第一機率、該第二機率與該第三機率,決定該目標像素是否為該前景像素。
  3. 如申請專利範圍第2項所述之回授式物件偵測演算法,其中,該背景模型為一多重高斯混合背景模型。
  4. 如申請專利範圍第3項所述之回授式物件偵測演算法,其中,該物件切割程序更包括下列步驟:藉由該多重高斯混合背景模型,以得到一時域差異參數;藉由該目標像素鄰近之像素,以得到一空間差異參數;若該時域差異參數與該空間差異參數之和大於一臨界值,則判斷該目標像素為該前景像素;以及,若該時域差異參數與該空間差異參數之和小於該臨界值,則判斷該目標像素不為該前景像素。
  5. 如申請專利範圍第2項所述之回授式物件偵測演算法,其中,若該目標位置投影至對應之位置,則提高對應之位置出現該前景像素之機率。
  6. 如申請專利範圍第1項所述之回授式物件偵測演算法,其中,該切割資料為一二元式影像光罩。
  7. 如申請專利範圍第1項所述之回授式物件偵測演算法, 其中,該第二特徵資料為一移動資料,藉由分析物件移動狀況所取得之資料。
  8. 如申請專利範圍第7項所述之回授式物件偵測演算法,其中,該移動資料為一物件速度與一物件位置、一物件大小與一運動方向之其一。
  9. 如申請專利範圍第1項所述之回授式物件偵測演算法,其中,該第二特徵資料為一分類資料,該分類資料指示物件之種類。
  10. 如申請專利範圍第9項所述之回授式物件偵測演算法,其中該分類資料為一人與一車之其一。
  11. 如申請專利範圍第1項所述之回授式物件偵測演算法,其中,該第二特徵資料為一場景位置資料,該場景位置資料指示物件所在場景。
  12. 如申請專利範圍第11項所述之回授式物件偵測演算法,其中,該場景位置資料為一門口、一上坡與一下坡之其一。
  13. 如申請專利範圍第1項所述之回授式物件偵測演算法,其中,該第二特徵資料為一互動資料,藉由分析至少一連結元件間之互動行為,以得到該互動資料。
  14. 如申請專利範圍第13項所述之回授式物件偵測演算法,其中,該互動資料為一談話行為與一身體接觸行為。
  15. 如申請專利範圍第1項所述之回授式物件偵測演算法,其中,該第二特徵資料為一場景深度資料,該場景深度資料指示物件之場景深度。
TW097121629A 2008-06-11 2008-06-11 一種回授式物件偵測演算法 TWI420401B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW097121629A TWI420401B (zh) 2008-06-11 2008-06-11 一種回授式物件偵測演算法
US12/456,186 US20090310822A1 (en) 2008-06-11 2009-06-11 Feedback object detection method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW097121629A TWI420401B (zh) 2008-06-11 2008-06-11 一種回授式物件偵測演算法

Publications (2)

Publication Number Publication Date
TW200951829A TW200951829A (en) 2009-12-16
TWI420401B true TWI420401B (zh) 2013-12-21

Family

ID=41414828

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097121629A TWI420401B (zh) 2008-06-11 2008-06-11 一種回授式物件偵測演算法

Country Status (2)

Country Link
US (1) US20090310822A1 (zh)
TW (1) TWI420401B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI656507B (zh) * 2017-08-21 2019-04-11 Realtek Semiconductor Corporation 電子裝置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201140502A (en) * 2010-05-13 2011-11-16 Hon Hai Prec Ind Co Ltd System and method for monitoring objects
TW201140470A (en) * 2010-05-13 2011-11-16 Hon Hai Prec Ind Co Ltd System and method for monitoring objects and key persons of the objects
KR20120052767A (ko) * 2010-11-16 2012-05-24 한국전자통신연구원 영상 분리 장치 및 방법
AU2011244921B8 (en) * 2011-11-01 2014-04-03 Canon Kabushiki Kaisha Method and system for luminance adjustment of images in an image sequence
US10205953B2 (en) * 2012-01-26 2019-02-12 Apple Inc. Object detection informed encoding
CN104658007A (zh) * 2013-11-25 2015-05-27 华为技术有限公司 一种实际运动目标的识别方法及装置
TWI518601B (zh) * 2014-05-28 2016-01-21 廣達電腦股份有限公司 資訊擷取裝置以及方法
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9530215B2 (en) * 2015-03-20 2016-12-27 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
WO2016186649A1 (en) * 2015-05-19 2016-11-24 Hewlett Packard Enterprise Development Lp Database comparison operation to identify an object
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
US10809361B2 (en) 2017-05-31 2020-10-20 Uatc, Llc Hybrid-view LIDAR-based object detection
US10310087B2 (en) * 2017-05-31 2019-06-04 Uber Technologies, Inc. Range-view LIDAR-based object detection
DE102019107103B4 (de) 2018-03-20 2023-08-17 Logitech Europe S.A. Verfahren und system zur objektsegmentierung in einer mixed-reality- umgebung
EP4123598B1 (en) 2021-07-19 2025-10-15 Axis AB Masking of objects in a video stream
EP4156098B1 (en) 2021-09-22 2025-05-14 Axis AB A segmentation method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200733004A (en) * 2006-02-22 2007-09-01 Huper Lab Co Ltd Method for video object segmentation
TW200818872A (en) * 2006-06-27 2008-04-16 Marvell World Trade Ltd Systems and methods for a motion compensated picture rate converter

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6075875A (en) * 1996-09-30 2000-06-13 Microsoft Corporation Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results
US6141433A (en) * 1997-06-19 2000-10-31 Ncr Corporation System and method for segmenting image regions from a scene likely to represent particular objects in the scene
US6999620B1 (en) * 2001-12-10 2006-02-14 Hewlett-Packard Development Company, L.P. Segmenting video input using high-level feedback
WO2005122094A1 (en) * 2004-06-14 2005-12-22 Agency For Science, Technology And Research Method for detecting desired objects in a highly dynamic environment by a monitoring system
US20060170769A1 (en) * 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
TWI348659B (en) * 2007-10-29 2011-09-11 Ind Tech Res Inst Method and system for object detection and tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200733004A (en) * 2006-02-22 2007-09-01 Huper Lab Co Ltd Method for video object segmentation
TW200818872A (en) * 2006-06-27 2008-04-16 Marvell World Trade Ltd Systems and methods for a motion compensated picture rate converter

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI656507B (zh) * 2017-08-21 2019-04-11 Realtek Semiconductor Corporation 電子裝置

Also Published As

Publication number Publication date
US20090310822A1 (en) 2009-12-17
TW200951829A (en) 2009-12-16

Similar Documents

Publication Publication Date Title
TWI420401B (zh) 一種回授式物件偵測演算法
CN101610420B (zh) 自动白平衡的方法
Han et al. Density-based multifeature background subtraction with support vector machine
CN103971386B (zh) 一种动态背景场景下的前景检测方法
US20080181499A1 (en) System and method for feature level foreground segmentation
TW200951877A (en) Method for auto-exposure control
Tang et al. Multiple-kernel adaptive segmentation and tracking (MAST) for robust object tracking
Xia et al. Automatic multi-vehicle tracking using video cameras: An improved CAMShift approach
TWI360353B (en) Method for auto-white-balance control
Fernando et al. Object identification, enhancement and tracking under dynamic background conditions
Mirabi et al. People tracking in outdoor environment using Kalman filter
CN102314591A (zh) 静止前景物体的检测方法和设备
CN101621629B (zh) 自动曝光的方法
CN101615291B (zh) 一种反馈式对象侦测方法
Al-Najdawi et al. An automated real-time people tracking system based on KLT features detection.
Hardas et al. Moving object detection using background subtraction shadow removal and post processing
Denman et al. Multi-spectral fusion for surveillance systems
Devi et al. A survey on different background subtraction method for moving object detection
Nalepa et al. Real-time people counting from depth images
Agrawal et al. An improved Gaussian Mixture Method based background subtraction model for moving object detection in outdoor scene
Ghedia et al. Moving Objects Detection Using Machine Learning
Ali et al. A framework for human tracking using kalman filter and fast mean shift algorithms
Fakhfakh et al. Background subtraction and 3D localization of moving and stationary obstacles at level crossings
Karim Construction of a robust background model for moving object detection in video sequence
Aishwarya et al. Image processing based vehicle detection and tracking: a comparative study

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees