TWI328201B - Method and system for object detection in an image plane - Google Patents

Description

九、發明說明： 【發明所屬之技術領域】 本發明是有關於一種影像平面(image plane)中積測物 體(object detection)的方法與系統。 【先前技術】 物體偵測在多種視訊應用上扮演重要的角色，例如電 腦視覺(computer vision)和視訊監督(video surveillance) 系統。通常，物體偵測是視訊系統成功的主要因素之一。 在曰本專利61003591的文獻裡，將背景畫面 (background picture)存於第一個畫面記憶體（picture memory)，將目前含有物體之畫面存於第二個畫面記憶 體’兩個晝面記憶體中的資料相減結果就是景象改變 (scene change)的地方，也就是物體存在的地方。 幾爲美國專利和公開的文獻裡，也有提到物體彳貞測的 技術。例如美國專利US5〇99322利用物體偵測器(object detector)來偵測連續兩張畫面突然的變化（abrupt change)，並由計算特徵(feature computing)以決策處理器 (decision processor)來決定是否有景象改變的地方。而美 國專利US6999604是利用色彩正規器(c〇i〇r normalizer) 將畫面中的色彩正規化，再用色彩轉換器（c〇l〇r transformer)進行色彩轉換，如此可將影像增強並強化畫 面中類似物體的區域而有益於偵測物體；並與預先設定 的物體顏色統計值(color histogram)進行比對，再利用模 糊適應法則(ftizzy adaptive algorithm)找出畫面中的移動 物體。 美國專利公開文獻2004/0017938揭露的技術是預先 設定物體之顏色特性，在偵測時，滿足這顏色預定值即 判斷為物體。美國專利公開文獻US2005/0111696揭露的 技術是在低照度下，以長期曝光的方式攝取目前畫面， 並與先前攝得之參考畫面比較，而偵測到改變處。美國 專利公開文獻2004/0086152將影像分成幾個區塊 (block)，比對目前影像區塊與前一張影像相應區塊之頻 域轉換係數之差異，當差異值超過某一門檻值時表示此 區塊有改變。 高斯混合模型(Gaussian Mixture Model，GMM)通常 用來模型化每一像素(pixel)或區域(region)，以使背景模 型（background model)適應於亮度值的變化(changing illumination)，不適合此模型的像素值就視為前景 (foreground)。

Dedeoglu Y·等人在2005年揭露的文獻“Human Action Recognition Using Gaussian Mixture Model Based Background Segmentation”中，利用高斯混合模型來即時 福測移動的物體(real-time moving object detection)。 隱藏式馬可夫模型(Hidden Markov Mode卜HMM)是 用來模型化非靜態程序(non-stationary process)，將時間轴 上連續的偈限條件(continuity constraint)放入連續像素的 強度(intensity)來考量。也就是說，如果一個像素被偵測 為前景’就期待此像素在一段時間内仍為前景。此隱藏 式馬可夫模型的好處主要有（1)不需要選擇訓練資料 (training data)，（2)藉由不同的隱藏式狀態(state)，可得知 來自混合前景符號(symbol)與背景符號的序列的前景與 背景的統計特徵(statistical characteristics)。 一個隱藏式馬可夫模型Η可以用下列的方式表示： Η: = {ΝΜΑ,π^) 其中是狀態的個數(number of states)，Μ是符號的個 數(number of symbols)，4是狀態轉移機率矩陣(state transition probability matrix)，d = {%，，·，）= i，··.#} ’ ％ 是從 狀態/轉移到狀態的機率，；Γ = ，A是狀態ζ· 發生的初始機率，户=〇σ;,··”/?„)，；?,.是狀態/發生的機率。 J. Kato 等人在 “An HMM-Based Segmentation Method for Traffic Monitoring Movies,55 IEEE Trans. ΡΑΜΙ, Vol. 24, No. 9, pp· 1291-1296, 2002提出的方法裡，對每一個像 素’利用灰階值，在時間軸上建立個別像素的隱藏式馬 可夫模型，並含有三個狀態，背景狀態，前景狀態和陰 影狀態，來偵測物體。 第一圖為一示意圖，說明傳統之隱藏式馬可夫模型化 的流程。參考第一圖，一般隱藏式馬可夫模型化有三個 步驟：⑴隱藏式馬可夫模型參數初始化(initialize)，如步 驟101所示；（2)訓練階段：用Baum-Welch演算法估計及 更新隱藏式馬可夫模型參數，如步驟1〇3所示；（3)利用 Viterbi演算法及前步驟所求得隱藏式馬可夫模型參數， 估計輸入資料的狀態(背景狀態或前景狀態），如步驟1〇5 所示。Baum-Welch演算法是用來訓練隱藏式馬可夫模型 的參數。 利用此Baum-Welch演算法，狀態轉移機率矩陣j、 每一狀態ζ·的初始機率〜、和每一狀態ζ·發生的機率外 就能夠根據前一個樣本訓練出來並更新。此演算法是一 種疊代的(iterative)最大概似(maxima likelihood)的方法。 所以用來估計及更新隱藏式馬可夫模型參數會耗大量的 時間(time consuming)。 【發明内容】 本發明的範例中提供一種影像平面中偵測物體的方 法與系統。本發明利用隱藏式馬可夫模型增進空間上的 物體遮罩(object mask)強健性(robustness)，以前一個時刻 所求得的減遮罩協祕耻刻的隱献馬可夫模型參 數，以隱藏式馬可夫模型再次預估目前時刻的背景與前 景(物體）’能有效的得到穩定強健的物體偵測結果，使得 此刻所求得的物體遮罩更趨近於實際物體的範圍，而背 景結果也能更加排除誤判的情況。 本發明針對-個畫Φ建立隱藏式馬可夫模型，不同 於習知技術對每-個像素建立_之隱藏式馬可夫模 型。本發明僅有兩個狀態，背景狀態和前景狀態。陰影 的問題由党度南斯混合模型的結果與彩度高斯混合模型 的結果融合後即可獲得解決。 依此，本發明之影像平面中偵測物體的方法可包括下 列步驟。首先，針對一個畫面建立一個隱藏式馬可夫模 型，並初始化此隱藏式馬可夫模型的參數。然後，在目 月'j時刻(current time)的影像空間軸上，利用前一個時刻 (previous time)所求得的物體遮罩％(t l)，更新目前時刻 的隱藏式馬可夫卿參數。根據此更新的目前時刻的隱 藏式馬可夫㈣參數及—解碼演算法再制(re_estimate) 目前時刻的物體遮罩。 在本發明說明的範例中，隱藏式馬可夫模型可以縮寫 成Η·=(#，Μ乂ττ，/>|，/>2)，其中#=2 (也就是兄：背景狀態， & :前景狀態），Λ/= 2(背景符號‘冷，以及前景符號 ‘α’）’ 6及乓分別是狀態&及狀態&的機率分佈函數 (probability density function，PDF)。而 P丨(χ = α)代表當背 景狀態時’隨機出現的符號為前景符號‘α，的機率； 代表當背景狀態時，隨機出現的符號為背景符號 ‘冷’ ；A(x = 〇0代表當前景狀態時，隨機出現的符號為前 景符號‘α’的機率；巧(x = /?)代表當背景狀態時，隨機出 現的符號為背景符號‘0’的機率。 依此，本發明之影像平面中偵測物體系統的範例中， 可用隱臧式馬可夫板型、一估計參數单元(parameter estimation unit)、一估計狀態單元(state estimation unit)、 一轉換與儲存物體遮罩單元(unit for restoring states to object mask)和一延遲緩衝器(delay buffer)來實現。 茲配合下列圖示、實施例之詳細說明及申請專利範 圍，將上述及本發明之其他目的與優點詳述於後。 【實施方式】 第二圖說明相應於影像之物體遮罩的二維表示法可 用一維的訊號來表示。其中，Ωη是相應於一影像之物體 遮罩的二維表示法，影像的物體遮罩若用一維的訊號％ 表示呈現(稱之為ID序列），則可視為一個非穩定程序的 隨機程序(random process)，包含了數個狀態，每個狀態 包含各自的隨機子程序(subprocess)。 本發明之物體偵測中，此二維物體遮罩的ID訊號 表示法(ID signal representation)有兩種狀態，如第三圖 所示’ 是背景狀態，&是前景狀態，每一種狀態都是 一個具有靜態(stationaiy)統計特性的馬可夫鏈(Markov chain) ’因此，一個遮罩(亦即一維的隨機程序叫，以一 個ID序列來表示)可用一個隱藏式馬可夫模型來表示其 訊號特性。 值得注意的是，本發明中，目前時刻的一個晝面的 物體遮罩僅建立一個隱藏式馬可夫模型。而此隱藏式馬 可夫模型可用士二队从义以心來表示’其中^^^也 就是背景狀態兄與前景狀態足）’M=2(也就是背景符號 /5與則景符號‘ α ’）’ j是狀態轉移機率矩陣， ^{^^〖，···^^、是從狀態/轉移到狀態/的機率， 冗=汍，.·.，；^}，π,.是狀態ζ·發生的初始機率，β及a分 別疋狀態兄及狀態iS:的機率分佈函數。而乃(ρχ)代表當 背景狀態時，隨機出現的符號為前景符號‘χ，的機率； 忍(χ=χ)代表當前景狀態時，隨機出現的符號為前景符號 ‘X，的機率；符號X包括前景符號‘α，和背景符號‘召，。 因此，在第三圖所示之本發明範例中隱藏式馬可夫 模型所使用的狀態圖裡，〜2是從背景狀態4轉移到前 景狀態&的機率，而是從前景狀態Α轉移到背景狀

Claims (1)

1. Αλα *7曰修正本 申請專利範圍：- 1. -種影像平面巾侧物體的方法，财法包含下列步 驟： 針對-個畫面建立-個隱藏式馬可夫模型，並初始化 該隱藏式馬可夫模型的參數； 在一目前時刻t的空間軸上，利用前一個時刻Μ所求 得的物體遮罩％(1-1)求得一待更新遮罩Ω(ί)，更新該 目如時刻之Βέ藏式馬可夫模型的參數；以及 根據該更新之目前時刻的隱藏式馬可夫模型的參數及 一解碼演具法，再估測該目前時刻的物體遮罩； 其中，該目刖時刻t意指一目前畫面被操取之時刻， 而該剷一個時刻t-Ι意指前一個晝面被操取之時刻。 2. 如申請專利範圍第1項所述之影像平面中偵測物體的 方法，其中以兩種狀態，背景狀態4與前景狀態&， 和兩種符號’背景符號0：與前景符號y3，來建立該隱 藏式馬可夫模型。 3. 如申請專利範圍第2項所述之影像平面中偵測物體的 方法’其中s亥初始化该隱藏式馬可夫模型參數的步驟 包括設定背景狀態名下的前景符號的機率e(;c= α)、背 景狀態下的背景符號的機率、狀態$及狀態 S2的初始機率和狀態轉移機率矩陣{%，〇·=ι，2}，七.是 從狀態&轉移到狀態5；的機率。 4. 如申請專利範圍第3項所述之影像平面中偵測物體的 方法，其中該更新目前時刻之隱藏式馬可夫模型的參 1328201 數的步驟更包括： 該待更新遮罩Ω⑴代表前景遮罩去除前一時刻所求的 前景遮罩nh(t_丨)之後的二值化遮罩；以及 該待更新遮罩ΩΟ)在背景狀態下的前景符號的機率被 近似為e，亦即/>1(χ=β)=<，其中e代表在Ω(ί)中，前 - 景符號所佔的比例。 5.如申凊專利範圍第2項所述之影像平面中偵測物體 % 的方法，其中該再估測該目前時刻的物體遮罩的步驟 更包括： 以一維的方式讀取利用前一個時刻所求得的物體遮 罩Ω A (t -1)而求得的該待更新遮罩Ω⑴； 利用該解碼演算法去估計目前時刻之影像畫素㈣的 一維狀態士办，^)，其中如果利用該前一個時刻所求 得的物體遮罩而求得的該待更新遮罩Ω(ι)之 則景符號與背景符號模糊的部分符合背景的統計模 • 型’此部分則視為背景；以及 轉換該估計出之从，劝的一維狀態為二維物體遮 罩，· ' ‘ 纟中’影像晝素㈣意指該影像畫素在-晝面之畫素 - 位置的二維座標。 6. 如申請專利第5項所述之影像平面中偵測物體 的方法，其中該前一個時刻所求得的二維物體遮罩係 用原始解析度來讀取。 7. 如申請專利第4 述之影像平面中偵測物體 20 1328201 的方法，其中該前一個時刻所求得的二維物體遮罩係 先將輸入訊號的取樣縮小後的結果。 8. 如申請專利範圍第3項所述之影像平面中偵測物體 的方法，其中該狀態轉移機率矩陣的設定更包括當Z 尹 j 時，au> ay。 9. 如申請專利範圍第7項所述之影像平面中偵測物體 的方法’其中對於以該輪入訊號的取樣縮小後的結果 去估測的狀態序列Ω⑻，該方法再包括將該狀態序列 Ω;(〇的取樣放大，以取得該物體遮罩的步驟。 10·如申請專利翻第如巾請專利範圍第丨項所述之影 像平面中偵測物體的方法，其中該解碼演算法為一種 Viterbi演算法。 -種影像平面中細物體的系統，該系統包含： -隱藏式馬可夫模型’由已初始化之多個參數組態而 成並與-物體片段切割單元麵合，峨表該隱藏式馬 可夫模型之該多個參數的集合； -估計參數單元’卿前-個時刻t]所求得的物體 遮罩ΩΑ(1-1) ’求得一待更新遮罩fi(t)，更新目前時刻 ^之隱藏式馬可夫模型的參數; 一估計狀態單元，根據該參數，由一解碼器估計 出一相對應的狀態序列； -轉換與儲存遮罩單元，_狀祕顺換成〆 物體遮罩ωα(〇並儲存之；以及 一延遲緩衝器，將該前一個時刻tl的物體遮罩 21 Ι3Ϊ8201 QA(t-i)傳送給該估計參數單元； 其中，t意指一目前畫面被擷取之時刻，而該前一個 時刻t-i意指前一個畫面被擷取之時刻。 12. 如申請專利範圍第11項所述之影像平面中偵測物體 的系統，其中該隱藏式馬可夫模型係由下列參數組態 而成，並以H 來表示： #是狀態的個數，且，該兩種狀態分別為背景狀 態乂與前景狀態; Μ是符號的個數，且M=2，該兩種符號分別為背景 符號0：與前景符號冷； d是狀態轉移機率矩陣，4 = {%.,心_ = 1，.··#}，％是從狀 態/轉移到狀態的機率； π = {π丨，，π,是狀態/發生的初始機率；以及 乃及户2分別是背景狀態及前景狀態5^的機率分佈 函數。

   13. 如申請專利範圍第11項所述之影像平面中偵測物體 的系統，其中該解碼器是一種Viterbi解碼器。 14. 如申請專利範圍第11項所述之影像平面中偵測物體 的系統，其中該物體遮罩ΩΑ是一種二值化畫面資料。 22 1328201 9〇M™l 七、指定代表圖·· (一)本案指定代表圖為：第（四）圖。 (一)本代表圖之元件符號簡單說明：

   1針對—個畫面建立_個隱献馬可域型，並初始化此隱藏 式馬可夫模型的參數 403在目前時刻的空間轴上，利用前-個時刻所求得的物體遮罩 ’更新目前時刻之隱藏式馬可夫模型的參數乂⑺

   4〇5根據此參數;t(〇&一解碼演算法，再估測目前時刻的物體 罩 题 八 本案若有化學式時，請揭示最能顯示發明特徵的化學式·

   4