TW200903386A - Target detection and tracking from video streams - Google Patents

Description

200903386 v 九、發明說明 【發明所屬之技術領域】 本發明與視訊監視系統與視訊確認系統有關。特別是 ，本發明與可被組構來檢測及追蹤視訊串流中個別目標的 視訊監視系統有關。 【先前技術】 在很多生活領域中，視訊監視爲緊要的考量。以視訊 做爲監視工具的問題是要花費密集的人力在監視器上。近 年來，已有提出以智慧型視訊監視系統來解決自動化視訊 監視之某些問題的解決方案。視訊監視的應用之一是對人 類及其行爲的檢測。不幸的是，以自動化視訊監視爲基礎 的電腦影像科學，關於識別視訊攝影機之視野中的個別目 標仍具有一些限制，諸如用於住宅、商業、及家庭監控應 用等。 目前的視訊監視系統具有兩項基本限制。第一，目標 群通常會擠在一起，且被檢測爲單一個”二進制大型物件 "(blob)。該點可被正確地標示爲人群”，但該群中之個體 的數量，可能就無法確定。第二，其它無生命的物件，諸 如，例如，傢倶、摺疊式嬰兒車、及購物推車，通常可能 無法從合理的目標中分離出（特別是例如頂掛式攝影機的 拍攝）。此外，其它的”人類檢測”演算法依賴更多的斜向 攝影機視野及用來識別人類的特定人類模型，但對於頂掛 式攝影機視野來說，可能無法執行地很好。 -5- 200903386 【發明內容】 本發明的例示性實施例包括用於視訊處理的設備，_ 設備被組構來執行的操作包含：接收現場的視訊；檢、測胃 視訊中移動的像素；根據該等檢測到的移動像素，來檢消|J 該視訊中的線段或運動區塊；根據該等檢測到的線段或該 運動區塊，來識別該視訊中的目標；根據該等經識別的目 標，來追蹤該視訊中的目標；以及管理該視訊中之該等被 追蹤的目標。 本發明的一例示性實施例包括用於視訊處理的設備， 該設備被組構來執行的操作包含：校正視訊攝影機；以該 視訊攝影機監視有興趣的區域；從該視訊攝影機接收有興 趣之區域的視訊；檢測該視訊中移動的像素；根據該等檢 測到的移動像素，來檢測該視訊中的線段或運動區塊；根 據該等檢測到的線段或該運動區塊，來識別該視訊中的目 標：根據該等經識別的目標，來追蹤該視訊中的目標；以 及管理該視訊中之該等被追蹤的目標。 本發明的一例示性實施例包括一電腦系統，用以執行 視訊處理的方法，該方法包含：接收現場的視訊；檢測該 視訊中移動的像素；根據該等檢測到的移動像素’來檢測 該視訊中的線段或運動區塊；根據該等檢測到的線段或該 運動區塊，來識別該視訊中的目標；根據該等經識別的目 標，來追蹤該視訊中的目標；以及管理該視訊中之該等被 追蹤的目標。 -6- 200903386 本發明的一例示性實施例包括視訊處理的方法，包含 :接收現場的視訊；檢測該視訊中移動的像素；根據該等 檢測到的移動像素，來檢測該視訊中的線段或運動區塊； 根據該等檢測到的線段或該運動區塊，來識別該視訊中的 目標；根據該等經識別的目標，來追蹤該視訊中的目標； 以及管理該視訊中之該等被追蹤的目標。 本發明的一例示性實施例包括一視訊處理設備，包含 :用以接收現場的視訊的機構；用以檢測該視訊中移動的 像素的機構；用以根據該等檢測到的移動像素，來檢測該 視訊中的線段或運動區塊的機構；用以根據該等檢測到的 線段或該運動區塊，來識別該視訊中的目標的機構；用以 根據該等經識別的目標，來追蹤該視訊中的目標的機構； 以及用以管理該視訊中之該等被追蹤之目標的機構。 【實施方式】 從以下配合附圖對本發明之實施例之更多特定的描述 ，將可明瞭本發明之前述及其它的特徵及優點。 定義 在所描述的本發明中’全文適用以下所描述的定義（ 包括前文）。 視訊”意指以類比及/或數位形成所表現的移動畫面 。視訊的例子可包括：電視；電影；來自視訊攝影機或其 它觀察器材的影像序列；來自現場提供的影像序列；電腦 所產生的影像序列；來自電腦繪圖引擎的影像序列；來自 200903386 儲存裝置（諸如電腦可讀取媒體、數位視訊光碟（DVD) '高 畫質光碟（HDD))的影像序列；來自IEEE 1394式介面的影 像序列；來自視訊數位化設備的影像序列；或來自網路的 影像序列。 •’視訊序列”意指部分或所有的視訊。 "視訊攝影機"意指用於記錄可視影像的設備。視訊攝 影機的例子可包括以下一或多樣：視訊成像設備及鏡頭設 備；視訊攝影機；數位視訊攝影機；彩色攝影機；單色攝 影機；照相機；攝錄影機；PC攝影機；網路攝影機；紅 外線（IR)視訊攝影機；低光度視訊攝影機；熱視訊攝影機 ;閉路電視（CCTV)攝影機；搖頭、傾斜、變焦（PTZ)攝影 機；及視訊感測裝置。視訊攝影機可設置於有興趣實施監 視的區域。 ”視訊處理"意指對視訊的任何運用及/或分析，例如 包括壓縮、編輯、監視、及/或確認。 "幀”意指視訊中的特定影像或其它不連續的單元。 "電腦"意指一或多個設備及/或一或多個系統，其能 夠接受結構化輸入，按照指定的規則處理該結構化輸入， 並產生該處理的結果做爲輸出。電腦的例子可包括：電腦 :固定式及/或可攜式電腦；具有單處理器、多處理器、 或多核心處理器之可平行及/或非平行操作的電腦；通用 電腦；超級電腦；大型主機；超級迷你型電腦；迷你型電 腦：工作站；微電腦；伺服器；用戶；互動式電視；網路 設置；存取網際網路的電信裝置；電腦與互動式電視的混 _ 8 - 200903386 合結合；可攜式電腦；平枱型個人電腦（PC);個 理（PDA);可攜式電話；用以仿真電腦及/或軟體 途硬體’諸如，例如數位信號處理器（DSP)、現 閘陣列（FPGA)、特殊用途積體電路（ASIC)、特殊 組處理器（ASIP)、晶片、多晶片、或晶片組、晶 (SoC)、或多處理器晶片上系統（MPSoC);光學 子電腦；生物電腦；及可接受資料，可按照一或 存的軟體程式處理資料，可產生結果的設備，典 括輸入、輸出、儲存、演算、邏輯、及控制單元 "軟體”意指用以操作電腦的指定規則。軟體 包括：軟體、碼段、指令、小程式、預編譯碼； 、直譯碼、電腦程式、及可程式邏輯。 ”電腦可讀取媒體”意指用於儲存可被電腦存 的任何儲存裝置。電腦可讀取媒體的例子可包括 碟機；軟式磁碟機；光碟機，諸如CD-ROM及 帶；快閃可裝卸記憶體；記億體晶片；及/或可 讀取指令儲存於其上的其它類型媒體。 ”電腦系統"意指具有一或多部電腦的系統， 電腦可包括收錄用以操作該電腦之軟體的電腦可 。電腦系統的例子可包括：分散式電腦系統，用 網路所鏈接的電腦系統來處理資訊；經由用以在 間傳送及/或接收資訊之網路連接在一起的兩或 系統；以及可接受資料，可按照一或多個被儲存 式處理資料，可產生結果的一或多個設備及/或 人數位助 的特殊用 場可程式 用途指令 片上系統 電腦；量 多個被儲 型上可包 〇 setting 的例子可 已編譯碼 取之資料 :硬式磁 DVD ;磁 將機器可 其中每一 讀取媒體 以經由被 電腦系統 多個電腦 的軟體程 一或多個 -9- 200903386 系統，且典型上可包括輸入、輸出、儲存、演算、邏輯、 及控制單元。 "網路"意指被通信設施連接的若干電腦及相關裝置。 網路可包含永久性連接，諸如電纜，或暫時性連接，諸如 經由電話或其它通信鏈。網路可另包括硬線連接（例如同 軸電纜、雙絞線對、光纖、波導等）及/或無線連接（例如無 線電頻率波形、自由空間光波、聲波等）。網路的例子可 包括：網際網路、諸如Internet ;內部網路；區域網路 (LAN);廣域網路（WAN);網路的組合，諸如網際網路與 內部網路。網路可用任何數量的協定操作，諸如Internet 協定（IP)、異步傳送模式（ATM)及/或同步光學網路 (SONET)、使用者資料包協定（UDP)、IEEE 802.x、等。 在描述中，以圖式來說明本發明的例示性實施例，使 用特定的術語以便能清楚瞭解。不過，並無意將本發明侷 限於所選用特定術語。須瞭解，每一個特定元件，都包括 爲達類似目的以類似方式操作的所有相等技術。所提及的 每一參考文獻，都倂入本文參考。 本發明與視訊監視系統有關，其被組構用來檢測及追 蹤視訊串流中大小近乎相同的各個目標，以及與視訊確認 系統有關，其被組構用來確認被監控的事件。該系統可適 合清楚分辨（disambiguate)多個目標，即使适些目標在一· 緊密的群中互相影響，並能在存在有其它無生命物件的現 場中，檢測移動的物件，諸如移動的購物推車、閒逛的人 '移動的傢倶、及其它品項。 -10- 200903386 本發明可使用於各種的應用。在居家或商業的環境中 ，本發明可用來檢測人類，並減少居家或商業監視系統的 假警報。在商業環境中，本發明可藉由計算進入及離開一 區域的個人，來決定建物的佔據或使用（occupancy or utilization)，及/或檢測是否發生"非法尾隨（piggybacking)、 例如，當有兩或多個人通過入口進入或離開，當僅只有一 人被獲准如此做時，用來檢測違反門禁管制的情事）。關 於人身安全，本發明可用來檢測在單向迴廊中走錯方向的 人們，諸如，例如機場通道或大眾運輸電扶梯。關於公共 安全，本發明可用來檢測人在危險狀況中的相互動作，諸 如，例如涉及行兇搶刼或毒品交易的人。在零售的環境中 ，本發明可用來檢測商店的佔據，檢測結帳通道的排隊長 度，或確認銷售點（POS)的交易。在大眾運輸的環境中， 本發明可用來計算進入大眾運輸設施或車箱的人數，並實 施讀票機的視訊監視，以確保當人進入一區域時的票證掃 瞄（例如，防止人們從十字轉門上方躍過，或繞過其它這 類障礙）。 本發明可實用於’'智慧型感測器”的應用。例如，感測 器可附接於可自動開門的門控制系統；防止旋轉門碰撞到 人；或決定行經過門的人與想要通過門之人間的差異。此 外，感測器可以是佔據"感測器"而非視訊攝影機的一部分 ，其可用二進位模式來檢測區域佔據情形，例如，是否有 某人存在於被監視的區域，且可提供物件計數，例如，有 多少人存在於被監視的區域。該感測器可親接於照明控制 -11 - 200903386 系統’或暖氣、換氣及空調（H VAC)控制系統，或可提供 資料給商情系統，諸如，例如地產運用計劃（real-estate utilization planning) ° 在例示性的實施例中，本發明可用於確認幾個等級之 零售銷售點（POS)交易的合法性。例如，’’退貨"交易可能 需要顧客實體地出現。至於其它的例子，"經理超控"交易 可能需要經理協助收銀員。本發明的視訊監視系統可監視 銷售點（POS)操控枱（例如收銀機）四周的場所及人數，並 決定在某特定交易之時，適當的人員結構是否出現。關於 另一例’本發明可用來以一預定目標來計算人數，例如用 來決定佔據。關於另一例’本發明可用來檢測非法尾隨（ 例如’當兩或多個人進入一區域時，但只有一個人的卡從 讀卡機前刷過）。 在圖1及2中，說明本發明用於例示性的零售環境，其 包括銷售點（P 0 S)交易確認應用。圖1說明按照本發明之此 例示性實施例的視訊監視系統1 0 1。關於例示性的銷售點 (P 0 S )環境，本發明的視訊監視系統1 〇 i可與銷售點（p 〇 s ) 系統1 0 2互動。視訊監視系統1 ο 1可包括視訊攝影機丨〇 3、 目標（例如人類）檢測及計數模組1 04、交易分類（有效/無效 )模組105、及預定義規則資料庫1〇6。 視訊攝影機1 0 3從頂掛的位置俯視銷售點（P 〇 s)系統 102的作業枱（未顯示）。視訊攝影機1〇3的視野可俯視現場 。目標檢測及計數模組1 0 4可接收來自銷售點（P 〇 § )系統 102的輸入’做爲所要求之正在進行或已經完成之特定交 -12- 200903386 易的父易報告。如果視訊現場中有任何人，目標檢測及計 數模組104可決定人數。以下將關於圖6_18來討論目標檢 測及計數模組1 04的例示性實施例。交易分類模組1 〇5可根 據接收自預定義規則資料庫1 〇 6的規則，來決定參與者的 群集（constellation)。系統1 〇 1可提供交易確認訊息給銷售 點（POS)系統102(或某些其它的資料監視或存檔系統），以 指示該交易是否合法。 關於銷售點（P0S)系統102的例子，可使用稱爲，，P〇s 交易基元”的基元（primitive)。此基元可包括各種資料項 ，諸如（1)銷售點（POS)交易的時間；（2)交易的場所，例如 ’發生銷售點（POS)終端交易的場所；以及（3)交易的類型 ，例如銷售、退貨、經理超控等。其它的基元資料例如可 包括交易値、員工識別及/或姓名、及/或交易項目。 規則資料庫1 06的某些例示性規則可與POS交易基元 一起使用。例如，當退貨被處理時，可決定退貨交易基元 ’即使在該退貨的同一交易中伴隨著購買。例如，使用該 退貨交易基元的"退貨交易確認"如下： 如果銷售點（P0S)退貨交易（基元）被登記，且在一段[ 參數]時間周期內無顧客出現（在有興趣的”顧客”區中無人） ;或者 在一段[參數]時間周期內無出納出現（在有興趣的”員 工”區中無人）； 於是，該交易變爲無效，並產生警報條件。 如另一例，’'經理超控"交易的規則可如下： -13- 200903386 如果POS經理超控交易（基元）被登記；且在一段[參 數]時間周期內’未曾有兩位員工出現（在有興趣的"員工” 區中少於兩人）； 於是，該交易變爲無效’並產生警報條件。 如另一例，”經理退款"交易的規則可如下： 如果退款金額超過[參數]値的pos退貨交易基元被登 記；且在一段[參數]時間周期內未曾有兩位員工出現（在 有興趣的’'員工"區中少於兩人）； 於是，該交易變爲無效’並產生警報條件。 如另一例，可根據事先定義的規則來建立監督的規則 。監督的規則可尋找反覆出現的樣式。監督規則的例子可 包括： 如果某位員工在一段[參數]時間周期內有[參數]次的 可疑交易，即產生警報條件： 如果某位員工在一段[參數]時間周期內之可疑交易的 總金額至少[參數]値，即產生警報條件； 如果一間商店在一段[參數]時間周期內有[參數]次的 可疑交易，即產生警報條件。 視訊攝影機1 0 3可連接到可分析來自視訊攝影機1 〇 3之 視訊串流的電腦系統1 0 7，以決定有興趣之區域內的人數 。電腦系統1 07可以是獨立系統，或是嵌在視訊攝影機} 〇3 '數位式錄影機（DVR)、網路錄影機（Nvr)、網路交換機 、網路路由器、銷售點（P 0 S )系統丨〇 2、門禁管制系統（如 下文所述）、或任何其它的硬體裝置或系統內。電腦系統 -14- 200903386 107可包括目標檢測及計數模組104、交易分類模組105、 及預定義規則資料庫1 〇 6。目標檢測及計數模組1 〇 4、交易 分類模組105、及預定義規則資料庫1840，可用包括有用 以執行目標檢測及計數模組及交易分類模組1 04、1 05之操 作，並與資料庫106互動之軟體的電腦可讀取媒體來實施 ，以致當該軟體被電腦系統執行時，可致使電腦系統執行 目標檢測及計數模組及交易分類模組1 0 4、1 0 5的操作。或 者，目標檢測及計數模組1 04、交易分類模組1 〇5、及預定 義規則資料庫1 06可用擬真一電腦及/或軟體的特殊用途硬 體來實施。 圖2說明來自按照本發明例示性實施例之視訊監視系 統之視訊串流的例示性幀。例示性的攝影機視野可來自吸 頂式的視訊攝影機。在例示性的幀中，顧客顯示在右側， 兩位員工，諸如，例如出納及經理，顯示在左邊。 圖1 7說明按照本發明之另一例示性實施例，來自視訊 監視系統1 〇 1之視訊串流的例示性幀1 700。例示性的攝影 機視野可能來自視訊攝影機1 〇 3看向有興趣之區域，以取 代如圖2中所示的俯視現場。圖1 7例示性幀1 7 0 0可用於視 訊監視系統，供人員計數用途。例如，可計數出幀1 7 0 0中 有4個目標1 710。 現參考圖1 8，在另一例示性實施例中，本發明可用於 門禁管制裝置。在門禁管制裝置中，管制可能受到限制及 可能受到視訊監視的區域。圖1 8說明按照本發明之此例示 性實施例的視訊監視系統1 8 1 0。關於例示性的門禁管制裝 -15- 200903386 置，本發明的視訊監視系統1 8 1 0與門禁管制系統丨820互動 ，後者例如可包括用以接受k e y c a r d的讀卡機，及/或用以 接受通行碼的鍵盤。視訊監視系統1 8 1 0可包括視訊攝影機 1 〇 3，例如吸頂式（如圖2所示），或朝向有興趣的區域（如 圖1 7所示）；目標檢測及計數模組1 0 4 ;事件分類（有效/無 效）模組1 83 0;及預定義規則資料庫1 840。 視訊攝影機1 〇 3可連接到電腦系統1 8 5 0，其可執行來 自視訊攝影機1 03之視訊串流的分析，並決定有興趣之區 域內的人員位置與數量。電腦系統1 8 5 0可以是獨立的系統 ，或是嵌在視訊攝影機1 03、數位式錄影機（DVR)、網路 錄影機（NVR)、網路交換機、網路路由器、銷售點（P0S) 系統1 02、門禁管制系統1 82 0、或任何其它的硬體裝置或 系統內。電腦系統1 8 5 0可包括目標檢測及計數模組1 〇4、 事件分類模組1 83 0、及預定義規則資料庫1 840。事件分類 模組1 83 0與預定義規則資料庫1 840的實施，除了事件分類 模組1 83 0與預定義規則資料庫1 840係直接與門禁管制系統 1 820互動之外，其餘可與關於圖1所描述的交易分類模組 105及預定義規則資料庫106類似。目標檢測及計數模組 104、事件分類模組1830、及預定義規則資料庫1 840，可 用包括有用以執行目標檢測及計數模組及事件分類模組 104、1 83 0之操作，並與預定義規則資料庫1 840互動之軟 體的電腦可讀取媒體來實施，以致當該軟體被電腦系統執 行時，可致使電腦系統執行目標檢測及計數模組及事件分 類模組104、1 8 30的操作。或者，目標檢測及計數模組104 -16- 200903386 、事件分類模組1830、及預定義規則資料庫184〇可用擬真 一電腦及/或軟體的特殊用途硬體來實施。 類似於圖1 8的視訊監視系統可用於人員計數應用的例 示性實施例’如圖1 7中的說明。門禁管制系統〗820及門禁 管制系統1 8 2 0與視訊監視系統1 8 1 0的互動可以是選用的。 在圖1及2的例示性實施例中，說明本發明與p 〇 s交 易確認應用一起使用於零售。在圖1 7的例中，說明本發明 用於人員計數應用。在圖18中，說明本發明在門禁管制應 用中與讀卡機系統整合。如下文中更詳盡的描述，本發明 可用於佔據檢測及估計，或排隊長度估計的應用。不過， 須瞭解’本發明可應用到如熟悉此方面技術之人士所知的 任何適當應用。 圖3說明例示性實施在按照本發明例示性實施例之目 標檢測及計數模組1 04的例示性流程圖。例如，目標可以 使用提取自視訊現場之線段或移動區塊的共同移動組來描 述。可使用方塊301及302來提取線段或移動區塊組。在方 塊3 0 1中，例如可使用3幀差異或某些其它技術來檢測視訊 串流中的移動像素。移動遮罩可被提取。以下將關於圖4 來討論方塊3 0 1的例示性實施例。在方塊3 〇2中，例如可使 用邊緣檢測及線增長技術來檢測線段或移動區塊。以下將 關於圖5 _ 7來討論方塊3 0 2的例示性實施例。在方塊3 0 3中 ’當線段組符合一般要求或預先定義之目標（例如近似的 目標狀態及大小）時，某指定視訊攝影機1 0 3之視野的目標 可被識別。在方塊3 04中，可使用施加於該等目標之質量 -17- 200903386 中心的追蹤過濾器（諸如卡爾曼過瀘器）或其它某些已知的 技術來追蹤目標。以下將關於圖8 -1 6來討論方塊3 0 4的例 示性實施例。 圖4說明在按照本發明例示性實施例之圖3的方塊3 0 1 中，檢測移動像素的例示性流程圖。在方塊4 0 1中，可從 背景現場中分離出前景的移動區域。該分離可使用習知技 術的改變檢測來實施。該改變檢測的輸出可以是用於每一 幀的前景遮罩。在方塊402中，可檢測到每一前景遮罩的 邊緣。可獲得到邊緣像素圖。雖然還有其它的邊緣檢測演 算法可使用，但本發明係使用坎尼邊緣檢測，其產生單像 素寬度的邊緣。可僅在前景區實施邊緣檢測，前景區可能 需要對坎尼邊緣檢測做某些修改，以倂入前景遮罩資訊中 〇 圖5說明在按照本發明例示性實施例之圖3的方塊3 02 中，檢測線段的例示性流程圖。按照例示性實施例，藉由 從邊緣像素圖中提取所有線段，可使用確定性解析法來檢 測線段。該方法可疊代地搜尋像素圖以尋找新的線段，直 到所剩未被使用邊緣像素不夠用爲止。每一個邊緣像素可 僅用於一個線段，且在被使用後，該邊緣像素可從該邊緣 像素圖中移除。 進到方塊5 0 1的輸入，例如可以是獲得自圖4之方塊 402之該幀的邊緣像素圖。在方塊501中，計算邊緣像素的 數量。在方塊5〇2中’決定所存在（或剩餘）的邊緣像素數 量是否足夠來識別一線段。檢查此條件的最小線段長度或 -18- 200903386 第一個臨限，可以由使用者輸入關於例示性物件之粗略影 像之大小的參數來決定’諸如’例如購物手推車。例如， 如果購物手推車之粗略影像的寬度爲60個像素，則第一個 臨限例如可設定爲其寬度的1 /3，即20個像素。如果不存 在（或剩餘）有足夠數量的邊緣像素，則流程前進到方塊 507 ;否則，流程前進到方塊5 03。在方塊503，新的線段 可被識別。方塊5 03的例示性實施例將在下文中關於圖6來 討論。在方塊504中，邊緣像素圖可更新，以刪除方塊503 所用掉的像素，如前文所述。在方塊5 0 5中，例如根據其 長度及直線性，以決定新的線段是否有效。例如，如果所 識別之新線段的長度遠短於預期之購物手推車的影像尺寸 ，或如果其整體的直線性太低，則可將該新線段視爲無效 的線段。如果所識別的新線段非有效，則可將該無效的線 段丟棄，且流程可前進到方塊50 1 ;否則，流程前進到方 塊5 0 6。在方塊5 0 6，該有效的線段被加入到幀的線段表中 。在方塊5 0 7，有效線段的表單被輸出。 圖6說明在按照本發明例示性實施例之圖5的方塊503 中，尋找下一個線段的例示性流程圖。在方塊60 1中，從 所得到的邊緣像素圖識別新線段的開始點。爲識別第一個 線段，從左上角掃瞄整個邊緣像素圖，直至找到第一個未 被使用的邊緣點以獲得到開始點。爲識別後續的線段，可 藉由使用先前線段的開始點做爲掃瞄開始位置以加速搜尋 。在方塊602中，根據估計的線方向爲結束點預測下一個 搜尋方向。以下將關於圖7來討論方塊60 2的例示性實施例 -19 - 200903386 。在方塊603中，藉由循環通過每一個預測的搜尋位置以 識別下一個線像素’以決定該像素是否爲邊緣像素。方塊 6 0 4中，如果下一個像素是邊緣像素，則該像素可加入到 線段做爲新的結束點。流程可前進到方塊602。否則，在 兩個方向搜尋下一個線像素，且流程前進到方塊6 〇 5。在 方塊605中，如果在一個方向中無法找到下—個線像素， 則反方向可能已被搜尋過。如果反方向未被捜尋過，則流 程前進到方塊606;否則，流程前進到方塊6〇7。在方塊 6 06中’捜尋處理可反轉線的方向。該結束點可變爲開始 點’該開始點可能變爲目前的結束點，且流程回到方塊 6 0 2。在方塊6 0 7中，可能到達目前線段之搜尋處理的結束 ，且線段可被輸出。 圖7說明在按照本發明例示性實施例之圖6的方塊602 中之預測新的捜尋方向。區域702描繪一影像的範圍，其 中每一個方塊指示一個像素所在。區域704可指示目前線 段的目前結束點像素。當預測下一個搜尋位置時，可考慮 3個不同的狀態。在第一個狀態中（初始像素），目前的結 束點像素7〇4也可以是開始點。可搜尋該結束點像素7〇4相 鄰的8個方向A-Η，如參考編號706所示。 在第二狀態中’一旦線段中多個像素被決定，則可使 用該線段之該等像素所提供的資訊來估計該線段的方向。 例如’可將線段的像素分群（clustering)兩組。例如，可分 群成對應於該線段第一半與第二半之開始像素與結束像素 的兩組。藉由使用該兩組像素的平均位置，即可決定線的 -20- 200903386 方向。 在第三狀態中，當可得到目前的線方向時，例如，如 箭頭70 8所指示，可選擇頂前的3個方向來搜尋，例如C、 D、E ’指向像素7 1 0，其與線方向708間具有最小的角距 離。在此情況中還要考慮另兩個場景。第一，該線尙不足 以長到變爲與線段符合，例如，該像素表是線段的一部分 或是鄰近邊緣像素的叢集並不明朗。在一實施例中，使用 線段最小長度或第一臨限來決定目前的線段是否實質上符 合爲線段。特別是，如果該線段短於第一臨限，則可將該 線段視爲非實質上符合。爲避免提取假的線段，下一個搜 尋位置可包括3個直接相鄰的像素位置7 1 0。第二，該線段 可能夠長’例如，該線中的一部分可能由於雜訊所造成邊 緣圖中偶發的小間隙而遺失。 圖8說明在按照本發明例示性實施例之圖3的方塊3 0 4 中’用於追蹤已識別之目標的例示性流程圖。在方塊8 0 1 中，當從每一幀接收到新資訊時，現有的目標可能被更新 。方塊801的例示性實施例將在下文中關於圖9來討論。方 塊8 02中，可從現有目標中有一部分爲未被識別之任何未 經指派的線段來辨識新目標。方塊8 02的例示性實施例將 在下文中關於圖1〇來討論。在方塊803中，該等目標可被 精化，以確保可用的特徵可被納入。方塊8 0 3的例示性實 施例將在下文中關於圖11來討論。在方塊804中，該等目 標可被分析，以決定該等目標是否應該被合併（即，兩個 目標變爲一個目標）。在方塊8 05中，該等目標可被分析， -21 - 200903386 以決定該等目標是否應該被分割（即，一個目標變爲兩個 目標）。方塊8 0 4及8 0 5的例示性實施例將在下文中關於圖 12-15來討論。在方塊806中，該目標可被清除，其可用來 決定目標何時已離開視訊攝影機的視野。方塊8 0 6的例示 性實施例將在下文中關於圖1 6來討論。 圖9說明在按照本發明例示性實施例之圖8的方塊8 0 1 中，用於更新已識別之目標的例示性流程圖。在方塊9 0 1 中，使用適當的過濾器（諸如例如卡爾曼過濾器或其它追 蹤過濾演算法）預測現有目標的參數（例如位置與大小，或 位置、大小、及速度）。在方塊9 0 2中，根據這些關於現有 目標之質量中心及大小的位置，將已檢測到的線段指派給 每一個目標。在方塊903中，該等目標可被更新。例如， 該等目標的新位置、大小 '及速度，可根據追蹤過濾器更 新規則來更新。 圖1 〇說明在按照本發明例示性實施例之圖8的方塊8 0 2 中，用於檢測新目標的例示性流程圖。在方塊1 0 0 1中，例 如使用近鄰群組法來分群未被指派的線段。例如，彼此在 某一距離臨限內的線段，可群集在單一個群組中。在方塊 1〇〇2中，可確認未被分派之線段的叢集，以確保未被分派 之線段對應於預定的模型，例如，目標的預定要求。例如 ，如果使用圖2之視野中的人目標來定義目標的要求，則 未被分派之線段的叢集，需要具有與指示人目標存在的]£ 確近似大小。如果未被分派之線段的叢集不符合預定的g 求，即太大或太小，則該未被分派之線段的叢集可被丟_ -22- 200903386 。在方塊1 003中’如果未被分派之線段的叢集符合來自方 塊1 002所定義之目標的要求，則未被分派之線段的叢集可 被指定爲一新目標，且追蹤過濾器可用未被分派之線段之 叢集的位置及大小做爲新目標的初始參數，以樣例化新目 標。 圖1 1說明在按照本發明例示性實施例之圖8的方塊803 中’用於精化目標的例示性流程圖。在方塊1 1 〇 1中，將未 被分派給現有或新目標之任何未被分派的剩餘線段集聚到 最近的鄰近目標。在方塊1102中，該等目標可根據新的特 徵重新估計。例如，可重新計算該等目標的位置及速度， 且相關的追蹤過濾器可用新的參數來更新。在方塊1103中 ，決定是否每一個目標正在變爲靜止（即停止移動）。如果 與目標相關之線段的數量及大小都減小，則該目標可能停 止移動。如果決定該目標變爲靜止，則流程前進到方塊 1104;否則，流程離開方塊803。在方塊1104，該目標的 參數（例如大小、位置、及速度），可使用該目標之附近而 非只是該移動線段中之所有（或某些）的移動像素來更新。 圖12說明在按照本發明例示性實施例之圖8的方塊804 中，用於合併目標的例示性流程圖。在方塊1 20 1中，可獲 得到雨個目標。在方塊1 202中，比較所獲得到之目標的參 數。例如，可比較該等目標的大小及歷史（或年齡）。如果 兩個目標佔據類似的空間，其中一個比另一個小，及其中 一個比另一個年輕，則可將該兩個目標決定爲實質上類似 ’流程前進到方塊〗2 0 3 ;否則’流程前進到方塊1 2 0 1。在 -23- 200903386 方塊12〇3中，該兩個目標可合倂成單一 小及或較年輕的目標可合併到較大的目 塊12〇3前進到方塊1201。可得到先前未 。一旦所有（或足夠數量）的目標都爲了 流程可離開方塊804。 圖1 3說明在按照本發明例示性實施 中，用於分割目標的例示性流程圖。在 到目標。在方塊1302中，決定該目標是 標類似。例如，正常目標可被模型化$ 人。如果例如根據該目標與正常目標的 如果該目標大於正常目標，則可決定該 不類似。如果該目標與正常目標不類似 塊1 3 0 3 ;否則，流程前進到方塊1 3 0 1。 從該目標的線段獲得到叢集。例如，可 彼此相距最遠的兩線段，並類似於前 1 00 1的分群，以所選擇的兩線段做爲 i n i t i a 1 i z e d)分群。所得到的結果可能是 。在方塊1304，決定該兩個新的線段叢 類似。例如，如果所得到的每一個叢集 具有適當的大小及形狀，則每一個叢集 目標。如果每一個新的線段叢集與正常 前進到方塊1 3 0 5 ;否則，該流程前進到 1 3 0 5中，將目標身分指定給每一個新的 指定一新的身分給較小的叢集，而較大 •個目標。例如，較 標中。流程可從方 :經比較的兩個目標 合倂而做過比較， :例之圖8的方塊805 :方塊1 3 Ο 1中，獲得 否與正常或預定目 :D圖2之實施例中的 尺寸進行比較，且 目標與正常目標並 ，則流程前進到方 在方塊1 303中，可 以識別在該目標內 述關於圖10之方塊 開始點再啓始（re-兩個新的線段叢集 集與正常目標是否 與該正常目標相較 可視爲各自獨立的 目標類似，則流程 方塊1 301。在方塊 線段叢集。例如， 的叢集則保留原來 -24- 200903386 的目標身分。流程從方塊1 3 0 5前進到方塊1 3 0 1 ° 一旦爲为 割分析了所有（或足夠數量）的目標’則流程可離開方塊 8 05 〇 以下將討論關於圖1 2及1 3的另一項技術’例如根據對 移動目標二進位大型物件之形狀的分析’同時考慮目標的 合倂及分割。例如’參考圖2，該分析可致使將二進位大 型物件中之人員目標的數量標示爲”無目標”、"一個目標” 、” > 一個目標，，，如下文的詳細描述。其它的例示性實施 例可計數群中的特定目標。 圖14說明在按照本發明例示性實施例之圖8的方塊804 、8 05中，用於合倂與分割目標的例示性流程圖。在方塊 1401中，可爲每一視訊幀產生前景遮罩。前景遮罩可用參 考圖3之方塊301所討論之移動像素的檢測，或其它的前景 物件檢測技術來產生。 在方塊1402中，可檢測在方塊1401所產生之移動遮罩 內的前景物件（即二進位大型物件）。前景物件可以使用任 何一種分群演算法來檢測。 選擇性地，在方塊1 403中，可經由物件追蹤演算法來 追蹤該等二進位大型物件，並可產生追蹤資訊。 流程從方塊1 4 0 2及1 4 0 3前進到方塊1 4 0 4。在方塊1 4 0 4 中，來自方塊1402的二進位大型物件及來自方塊1403的追 蹤資訊可用來析二進位大型物件。且目標的數量可被識別 。例如，可根據它們的大小及形狀來分析該等二進位大型 物件。以下關於圖1 5討論方塊1 4 0 4的例示性實施例。方塊 -25- 200903386 1 404的結果可能是若干個目標，亦即與先前的目標數量相 同，或少於先前的目標數量（即，先前目標的合倂），或多 於先前的目標數量（即’分割先前的目標）。 圖1 5說明在按照本發明例示性實施例之圖1 4的方塊 1 4 0 4中，用於分析二進位大型物件的例示性流程圖。在方 塊1501中，爲方塊1402中所識別的每一個二進位大型物件 始動該流程。一旦所有（或數量足夠）的二進位大型物件都 被分析，則流程離開方塊1 5 〇 1。在方塊1 5 0 2中，二進位大 型物件的尺寸與多目標尺寸臨限進行比較。例如，多目標 尺寸臨限可代表一用來表示2或多個正常目標的尺寸（即兩 或多個人）。如果該二進位大型物件的尺寸大於多目標尺 寸臨限，則流程前進到方塊1 503 ;否則，流程前進到方塊 1 5〇4。在方塊1 5 03中，二進位大型物件的尺寸可能大於或 等於多目標尺寸臨限，且該二進位大型物件被標示爲超過 —個目標（例如標示爲”>1個目標”）。 在方塊1504中，二進位大型物件的尺寸與最小單一目 標尺寸臨限進行比較。最小單一目標尺寸臨限可代表正常 目標的最小尺寸。如果該二進位大型物件的尺寸小於最小 單一目標尺寸臨限，則流程前進到方塊1 5 05 ;否則，流程 前進到方塊1507。在方塊1505中，二進位大型物件的尺寸 小於最小單一目標臨限，且該二進位大型物件被標示爲無 目標（例如標示爲"=〇個目標”）。在方塊1 5 06，該二進位大 型物件可被指示爲代表無目標。 在方塊1507中，該二進位大型物件的尺寸與最大單一 -26- 200903386 目標尺寸臨限進行比較。最大單一目標尺寸 常目標的預期最大尺寸。如果該二進位大型 於最大單一目標尺寸臨限’流程前進到方塊 流程前進到方塊1 5 〇 9。在方塊1 5 〇 8中，該二 的尺寸小於最大單一目標尺寸臨限，且該二 可被標不爲一個目標（例如標示爲"=1個目標 如果流程前進到方塊1 5 0 9，則該二進位 寸可能小於或等於多目標尺寸臨限，但大於 尺寸臨限’且需要額外的分析以決定該二進 代表的目標數量（例如超過一個目標或一個目 1 5 09中，可實施本徵分析以決定該二進位大 及次要的軸。可沿著二進位大型物件的次要 兩個二進位大型子物件，毎一個二進位大型 域（例如凸莢的區域）可被決定。 在方塊1511中，可分析該等二進位大型 定每一個二進位大型子物件是否符合正常目 分析每一個二進位大型子物件，以決定該二 件的形狀是否與正常目標的形狀類似。可實 :如果每一個二進位大型子物件之區域與其 於最小目標容積臨限，且如果每一個二進位 凸區域大於最小單一目標尺寸臨限，則原來 物件可視爲包括有兩個目標，且流程前進到 則’流程前進到方塊1 5 1 3。在方塊1 5 1 2中， 物件可視爲包括兩個目標，且該二進位大型 臨限可代表正 物件的尺寸小 1 5 0 8 ;否則， 進位大型物件 進位大型物件 ，）。 大型物件的尺 最大單一目標 位大型物件所 ㈣標）。在方塊 型物件的主要 軸將其分割成 子物件的凸區 子物件，以決 標。例如，可 進位大型子物 施如下的分析 凸莢區的比大 大型子物件的 的二進位大型 方塊1 5 1 2 ;否 該二進位大型 物件可被標示 -27- 200903386 爲超過一個目標（例如標示爲”>1個目標"）。在方塊1513中 ，該二進位大型物件可視爲包括單一個目標，且該二進位 大型物件可被標示爲一個目標（例如標示爲"=1個目標"）。 在方塊1514，流程可接受自方塊1503、1508、1512、 及1 5 1 3。二進位大型物件被分析以決定其是否靜止。如果 該二進位大型物件爲靜止，則流程前進到方塊1 506 :否則 ’流程前進到方塊1 5 1 5。在方塊1 5 1 5中，該二進位大型物 件被指定爲代表目標。 圖1 6說明在按照本發明例示性實施例之圖8的方塊8 0 6 中，用於清除被修改之目標的例示性流程圖。在方塊1 60 1 中’每一個目標可被個別地分析。在方塊1 6 0 1中，可獲得 到一目標。在方塊1602中’該目標被分析，以決定該目標 是否是在目前幀中所檢測到的。如果該目標是在目前的幀 中所檢測到’流程可前進到方塊1 6 0 3 ;否則，流程前進到 方塊1 604。在方塊1 603中’在目前幀中所檢測到的目標被 保留。在方塊1 604中，該目標被分析，以決定前一幀中的 目標是否移動出視訊攝影機的視野。如果前一幀中的目標 沒有移動出視野，流程前進到方塊1 6 0 3，且該目標被保持 •’否則’流程前進到方塊1 6 0 5。在方塊1 6 0 5中，從目前目 標的表中移除在幀中未檢測到之已移動離開視野的目標。 一旦爲清除而分析過所有（或數量足夠）目標後，流程可離 開方塊8 0 6。 在本發明的例示性實施例中，可根據各種特徵來檢測 及追蹤有興趣的目標。一項對於檢測及追蹤有興趣之目標 -28- 200903386 的挑戰是處理視訊現象的技巧，諸如，例如陰影或攝影機 的自動增益控制（AGC)。在一例示性的實施例中，可根據 線段特徵來檢測及追蹤目標。在其它的例示性實施例中， 以下將描述根據移動區塊的特徵來檢測及追蹤目標。根據 移動區塊之特徵來檢測及追蹤有興趣的目標，在處理低對 比影像及低紋理目標時特別困難。 圖1 9說明按照本發明例示性實施例所定義的移動區塊 。幀的整個影像1901被平均地劃分成若干個粗方塊192〇。 每一個粗方塊1 920可再劃分成子方塊或細方塊1 903。粗方 塊1920的尺寸可由有興趣之目標（或多個目標）的尺寸來決 定。在例示性實施例中，有興趣的目標涵蓋大約64個粗方 塊，且每一個粗方塊可包括大約4個細方塊。影像的移動 像素，可按前文參考圖3之方塊301的描述來決定。如果其 有某一百分比（例如其像素的2/3)的像素爲移動像素，則可 將粗方塊或細方塊分別視爲粗移動區塊與細移動區塊。如 關於圖3 -1 6之本發明例示性實施例的討論及對其的說明， 可應用於粗移動區塊及/或細移動區塊。 前文討論的技術可結合。例如，視應用的需要，可根 據線段、及/或粗與細移動區塊來檢測及追蹤目標。根據 應用情景及系統資源，使用者可選擇上述一或或兩項技術 用於目標檢測模組。 上述以線段及移動區塊爲基礎的目標檢測，可在圖3 的方塊3 03中用來識別目標。由於線段特徵與移動區塊特 徵都是根據影像移動像素，如果有興趣的目標停止移動， -29- 200903386 則這些特徵即無法被可靠地檢測到。不過，對很多應用而 言，即使目標不移動，但仍保持對這些目標的追蹤乃十分 重要。爲可靠地追縱停止的目標，可藉自動機（automaton) 使用以下3種移動狀態來追蹤及監視目標，即：移動狀態 、停止狀態、及靜止狀態，。 1) 在移動狀態中，目標被移動，以致其位置及大小可 用低階的影像特徵來表示，諸如線段或移動區塊。 2) 在停止狀態中，目標停留在相同的位置，但仍有某 些局部（內部）的移動。例如，在結帳櫃台，收銀員與顧客 可能站立在適當的位置（因此不是在移動狀態），但他們的 手及/或身體仍可能移動。 3) 在靜止狀態中，目標完全靜止不動，例如，停止的 購物手推車。 圖20說明3種目標移動狀態間的狀態轉變，諸如移動 狀態200 1、停止狀態2002、及靜止狀態2003。可用來表示 目標之移動的移動狀態200 1, 2002, 2003，使用具有狀態 轉變的狀態機，如圖2 0之說明。 如前文參考圖8的描述，新目標的產生，在方塊802中 如檢測到新目標，在方塊8 05中如分割目標，或在方塊8〇4 中如合倂目標。經由狀態轉變2004、200 5、或2006，新目 標的初始移動狀態可以是移動狀態200 1。從移動狀態200 1 ’目標可經由狀態轉變2005而在方塊80 5中被分割，或經 由狀態轉變2 0 0 6而在方塊8 0 4中被合倂，且所得到的結果 ’分別經由狀態轉變2005或2006回到移動狀態2001。 -30- 200903386 如果目標當在移動狀態2001中時移出現場，或當在靜 止狀態2003中時變爲完全停止，則分別經由狀態轉變2007 或狀態轉變2〇08，在方塊806中被清除。如果目標當在靜 止狀態2003中時變爲完全停止，則可考慮該目標爲被動目 標。被動目標可視爲其不會自已移動的目標，諸如購物手 推車。反之，主動目標爲不藉由外力可自已移動的目標， 諸如人。主動與被動目標間的區別，在某些應用中可能很 有用處。例如，在某些應用中，購物手推車（例如被動目 標）不應被計數成顧客（例如主動目標），或者站立的人群（ 例如主動目標）不應被決定成是爲一離開的目標（例如被動 目標）。使用移動狀態來分類主動與被動目標的技術，將 關於圖21來描述，其說明主動目標會有與被動目標不同的 移動狀態轉變歷史。 當仍能觀察到適當的低階影像特徵時，諸如位在預測 之目標位置的移動線段或移動區塊，目標從移動狀態200 1 經由狀態轉變2009又繞回到移動狀態200 1。適當的低階影 像特徵意指可提供目前幀中之目標良好描述的觀察特徵， 其與根據其先前之外觀所預測的目標匹配。適當性可用目 前所觀察到之影像特徵的數量，超過在先前各幀所觀察到 在移動狀態2 0 0 1中之影像特徵的平均量的比率R_m來測 量。如果此比率大於使用者可控制的秒或移動停止臨限 T_ms，則該目標可視爲經由狀態轉變2〇〇9仍在移動狀態 2001中，且目標的位置及大小在方塊801與803中可被更新 及精化。 -31 - 200903386 經由狀態轉變2010 ’目標可從移動狀態2〇〇1移到停止 狀態2 0 0 2。以狀態轉變2 0 1 0，當與觀察移動狀態2 〇 〇 1所得 到的平均特徵量比較時，可觀察到之目標的低階特徵實質 上較少。目標並未移出影像幀。第二臨限T_ms可用來決 定目標是否轉變到停止狀態2 0 0 2。 經由狀態轉變2 0 1 1，目標可從停止狀態2 〇 〇 2移到移動 狀態2 0 Ο 1。以狀態轉變2 0 1 1 ’如果所觀察到目標的低階移 動特徵實質上增加’例如，R_m比率大於使用者可控制的 停止-至-移動或第三臨限T_ sm，則可考慮該目標回到移 動狀態200 1。關於臨限値T_ms及T_sm的選擇，可使用 滯後臨限策略，其中第三臨限値T_sm大於第二臨限値 ，此意味著如果目標沒有適當的移動，該目標不會 在移動與停止狀態200 1，2002間來來回回地變換。 目標可經由狀態轉變20 1 2從停止狀態2002又環繞回停 止狀態2002。當仍可觀察到低階影像移動特徵時，該目標 可視爲停留在停止狀態2002。此時，比率R_m可能小於 第三臨限T_sm，但大於第四或停止-到-靜止臨限T_ss0。 當目標在停止狀態2002時，爲更新目標的位置與大小，對 該目標之先前觀察的依賴度，超過對目標目前的觀察。 經由狀態轉變20 1 3，目標可從停止狀態2〇〇2移到靜止 狀態2003。更明確地說，如果觀察不到低階移動特徵’或 是在停止狀態2002中之目標的比率R_m小於_四臨限 T_ s s 0，則目標可經由狀態轉變2 0 1 3轉變到靜止狀態2 0 0 3 。當目標在靜止狀態200 3中時，可假設該目標的大小及位 -32- 200903386 置爲固定。 當在目標的定界框（bounding box)內觀察不到低階的 影像移動特徵，或比率R_m的値小於第五或靜止-到-停止 臨限T_ss 1。再次，可應用滯後臨限策略，其需要第五臨 限T_ssl稍大於第四臨限T_ss0。 當在目標的定界框內觀察到小量的移動特徵時，目標 可經由狀態轉變20 1 5從靜止狀態2003移到停止狀態2002。 比率R —m大於第五臨限Tssl。 爲根據狀態自動機區別被動目標與主動目標之目標移 動狀態的歷史，可使用如圖2 0中的說明。在本發明的例示 性實施例中，諸如POS交易確認應用，當目標沒有明顯 動作時，被動目標（例如購物手推車）與主動目標（例如人） 可能需要加以區別。例如，某人可能推購物手推車到達收 銀枱，且當人停止時，購物手推車也可能停止。關於購物 手推車，其沒有位置的改變或內部的移動。手推車的狀態 從移動狀態200 1經由狀態轉變2010到達停止狀態2002，並 接著經由狀態轉變20 1 3到達靜止狀態2003。反之，關於人 目標，仍可觀察到某些局部的移動。該人的狀態可能從移 動狀態200 1經由狀態轉變2010到達停止狀態2002，並接著 在一段非常短的時間周期到達靜止狀態2 00 3。 圖2 1分別說明此例中之人目標與購物手推車目標的例 示性移動狀態歷史2 1 1 0、2 1 2 0。時間線2 1 3 0指示時間。人 目標的移動狀態歷史2 1 1 0可指示人在這段時間的移動狀態 。購物手推車目標的移動狀態歷史2 1 20可指示購物手推車 -33- 200903386 目標在這段時間的移動狀態。因此，當某目標在靜止狀態 2 0 0 3中的持續時間變得比其先前在停止狀態2 〇 0 2中長者， 可將其視爲被動目標，且不再追蹤該目標。 圖22說明按照本發明之例示性的尾隨情景2200。尾隨 情景2200可能發生在保全區22 1 0的進入點。關於此例示性 實施例，使用圖1 8中所說明的視訊監視系統丨8丨〇。每一個 正常入口的例示性要求爲進入的人必須使用門禁卡刷過門 禁管制系統及/或輸入通行碼。視訊監視系統1 8 1 0的目的 是檢測任何藉由尾隨他人進入保全區2 2 1 0的人。例如，如 圖22所示，A君可能經由第一通道2214進入公共門廳2212 ，且在入口鍵盤2222上輸入正確的碼後進入安全門2220。 但在門2220關閉前，B君可能經由第二通道2224前行進入 保全區2210，且未輸入通行碼。爲自動檢測此類型的尾隨 事件，圖18之現有的門禁管制系統1 820可結合智慧型視訊 監視系統使用。門禁管制系統1 820可對每一個有效的進入 (例如有效的刷卡或有效的通行碼登入）提供事件報告，而 視訊監視系統1 8 1 0可監視入口區2226 ’並計數進入該門 2220的人數。爲計數進入該門2220的人數，一視訊絆索 2 2 3 0可識別門2 2 2 0之前方，在視訊絆索2 2 3 0面對內部且離 開入口區2226的方向2232。進入安全門2220的人數’可視 爲跨過視訊絆索223 0之被追蹤之人目標的數量。關於視訊 絆索技術的其它細節，可在目前的文獻中尋獲。當進入門 2 2 2 0之人目標的數量大於門禁管制系統1 8 2 0所接收之有效 門禁管制實例（例如有效的刷卡或有效的通行碼登入）的數 -34- 200903386 量時’尾隨警報即可能被觸發。 在上述例示性的門禁管制應用中’現場的照明（諸如 室內的現場）可能造成目標的人造假影’諸如陰影、反射 、及/或攝影機自動增益控制（AGC)效果。這些人造假影可 能太強，以致在方塊3 0 3及方塊3 0 4中爲目標識別及追蹤所 進行的移動檢測程序中，無法將其忽略。因此，以該系統 檢測目標大小，可能無法精確到足以提供精確的人計數估 計。爲處理這些人造假影的影響，可能要用到背景與前景 的紋理分析，以提取更精確的目標大小。 圖23說明按照本發明例示性實施例’用於方塊3 03之 檢測視訊幀中目標區的例示性流程圖2300。圖24A-24I說 明按照本發明例示性實施例，圖2 3之流程圖2 3 0 0中之方塊 的例示性處理結果。 在方塊2 3 0 1及2 3 0 2中，例如使用統計像素模型、3幀 差分、或其它技術來檢測視訊串流中的改變像素及移動像 素。可提取改變遮罩及移動遮罩。圖24A顯示視訊串流例 中的一個幀。圖24B及24C分別顯示分别對應於來自方塊 23 0 1及23 02的改變遮罩及移動遮罩。在此例示性的室內情 景中，地板上的陰影及牆壁與門上的反射光，對於系統提 供每一目標之大小與位置的精確估計可能造成問題。 在方塊23 03中，前景邊緣檢測區遮罩可被產生。且方 塊23 03的目的係產生區域遮罩，其包括所有無爭議的前景 邊緣。改變檢測方塊23 0 1及移動檢測方塊23 02的輸出係爲 方塊2 3 03的輸入。以下將關於圖25討論方塊2 3 03的例示性 -35- 200903386 實施例。 圖25說明產生圖23之方塊2303中之前景邊緣檢測區遮 罩的例示性流程圖。輸入可以是來自改變檢測方塊230 1的 背景影像2501及改變遮罩2502，以及來自移動檢測方塊 2302的移動遮罩2503。由於改變遮罩2502與移動遮罩25〇3 可能雜亂，可選擇性地對遮罩2502、25 03施加形態運算， 以运充目標區內的孔洞。在方塊25〇4中，可對改變遮罩 2502與移動遮罩2503執行邏輯OR運算，以產生改變_或_ 移動遮罩2506，其可能包括實際的目標及其可能的陰影與 反射。方塊25 07中，對背景影像250 1施以邊緣檢測，以檢 測背景邊緣，並獲得到背景邊緣遮罩25 08。例如，圖24D 顯示例示性的背景影像2 5 0 1。由於背景可能與前景邊緣干 擾，因此，背景邊緣遮罩2 5 0 8可能將前景邊緣檢測區遮罩 排除在外。在方塊2509中，對背景邊緣遮罩2508施以邏輯 NOT運算，以獲得到背景非邊緣遮罩25 1 0。例如，圖24E 顯示例示性的背景非邊緣遮罩25 1 0。在方塊25 1 1中，對背 景非邊緣遮罩2510與改變-或-移動遮罩2506施以邏輯AND 運算，以獲得到前景邊緣檢測區遮罩25 1 2。例如，圖24F 顯示例示性的前景邊緣檢測區遮罩25 12。 現再參考圖23，方塊2304中，在前景邊緣檢測區遮罩 25 12上執行前景邊緣檢測。方塊23 04可應用與參考圖4之 方塊402所描述之邊緣檢測技術類似的技術。例如，圖 2 4 G顯示經檢測的例示性前景邊緣遮罩。在方塊2 3 0 5中， 在方塊23 04所獲得到之經檢測的前景邊緣遮罩上執行線段 -36- 200903386 檢測。方塊2 3 0 5可應用與參考圖3之方塊3 02所描述之線段 檢測技術類似的技術。在方塊2 3 0 6中，藉由將來自方塊的 線段分群以獲得到個別的凸區域。以下將關於圖2 6討論方 塊23 06的例示性實施例。例如，圖24Η顯示例示性之檢測 到的線段2 4 1 0及凸區域2 4 2 0。在方塊2 3 0 7中，根據來自方 塊2306的凸區域2420與來自方塊2303的改變-或-移動遮罩 2506可獲得到前景區遮罩。前景區遮罩可視爲在每一個所 檢測到之前景凸區域2420內的改變-或-移動區域。前景區 遮罩可藉由執行改變-或-移動遮罩2506與來自方塊2306之 凸區域2420的邏輯AND運算而獲得到。例如，圖241顯示 例示性的前景區遮罩。以此例可看出，在檢測影像中的兩 個人來說，圖241的例示性前景區遮罩比圖24B例示性改 變遮罩或圖24C的例示性移動遮罩更精確。 圖2 6說明按照本發明之例示性實施例，用以產生凸前 景區的例示性流程圖。凸區域可定義爲被做爲區域邊界之 凸殼所包圍的影像區。幾何物件的凸殼（諸如點組或多邊 形）可以是包括該物件的最小凸面組。凸面組S有很多相 同的定義。例如，如果兩點P及Q無論何時都在S的內 部，且整個線段PQ也在組S之內，則組S爲凸面。在最 小凸面組S內的每一點都稱爲樞軸點。圖27A說明包括有 樞軸點2720之凸殻區27 10的槪念。圖27B說明非凸殼區 273 0的槪念。 方塊2 6 1 0中，藉由分群相鄰的線段以產生初始的凸區 域26 1 2。如果兩線段間的距離小於臨限，則該兩線段被分 -37- 200903386 派到相同的叢集。該臨限可以是平均目標影像大小的分數 。在線段叢集中之線段的開始與結束點，可用來決定該區 域的凸殼。在現有的文獻中，有適合用來決定不連續點組 之凸殼的技術。凸區域分析的目的是尋找視訊中之每一個 別目標的凸殼。在初始的凸區域分割之後，每一個凸區域 可能並非代表完整的目標，這是因爲某些目標的目標邊界 內，並非每處都具有很強的紋理。在方塊2 620中，改變連 接凸區域可能合倂成一或多個較大的凸區域。改變連接凸 區域意指凸區域的連接區或兩凸區域間的影像區域，與對 應的參考背景影像相較，具有實質上的改變。以下將關於 圖28討論方塊2620例示性實施例。在方塊263 0中，空間連 接凸區域可合倂成一或多個較大的凸區域。空間連接凸區 域意指彼此重疊的凸區域。重疊的凸區域可經由測試一個 凸區域的任何樞軸點，是否在另一凸區域的內部來加以識 別。 圖2 8說明按照本發明之實施例，用來爲方塊2 6 20決定 與某指定凸區域最接近之改變連接凸區域的例示性流程圖 。該流程爲方塊2 6 1 0所產生的所有初始凸區域2 6 1 2重複地 執行，直到所有的凸區域都處理過爲止。在方塊2810中’ 識別最小的未處理凸區域。如果沒有未處理的凸區域，則 流程2620可前進到方塊28 14並離開。否則，該流程前進到 方塊2 8 2 0。 在方塊2 8 2 0，根據標準識別經識別之凸區域的有效相 鄰凸區域。例如，第一項標準可以指定所考慮的相鄰凸區 -38- 200903386 域必須是該凸區域的直接鄰居。此第一項目標可藉由檢查 連接兩凸區域之質量中心點的線段來加以測試。如果在該 線段上沒有點是在另一凸區域的內部’則該兩凸區域可視 爲直接的鄰居。例如，第二項目標可以指定該鄰接之凸區 域必須有指定的大小，或配置在距離經識別之凸區域的指 定距離處，以致如果該兩凸區域合倂’所合倂出之凸區域 具有的大小，小於在該位置之最可能的單一目標大小。最 可能的單一目標大小，可由視訊監視系統的操作人員提供 ，或使用攝影機校正資訊來半自動地計算。 在方塊2 8 3 0中，可識別出連接經識別之凸區域與經識 別之有效鄰接凸區域的線段。兩凸區域間的連接線段’可 藉由檢查連接一凸區域中的樞軸點與另一凸區域中之質量 中心點間的線段來決定。位於該兩凸區域邊界上之此線段 的兩端點定義該連接線段。連接線段上’沒有一點是位於 任何兩個凸區域之內部。連接線段的最大數量是兩凸區域 之樞軸點之數量的和。以下將關於圖29討論方塊2830的例 示性實施例。 在方塊2 8 4 0中，可識別出改變連接線段。對於來自方 塊2 8 3 0的每一連接線段，藉由沿著連接線段決定像素位置 的平均改變，可初始地決定平均改變測量。關於連接線段 的每一像素，改變値可以是該像素位置之目前視訊幀與來 自改變檢測方塊2 3 0 1之背景影像2 5 0 1之間的絕對差値。如 果連接線段的平均改變大於一臨限，則該連接線段可視爲 一改變連接線段。該臨限可根據兩凸區域的平均改變大小 -39- 200903386 來決定。凸區域中之每一像素的改變大小，可用該像素位 置之目前視訊幀與來自改變檢測方塊230 1之背景影像25 0 1 之間的絕對差値來決定。凸區域的平均改變大小，可以是 該凸區域之大小改變的平均。用來決定一連接線段是否改 變的臨限，可用兩凸區域之兩平均改變大小之中的較小値 來決定，其可確保該線上的平均改變，大於該等凸區域其 中之一的平均改變。 在方塊2850中，可識別出最接近的改變連接區域。如 果某一來自方塊2820的有效鄰接凸區域具有一來自方塊 2 840的改變連接線段，則此凸區域可視爲改變連接區域。 如果僅識別出一個改變連接區域，則此區域可視爲一最接 近的改變連接區域。如果識別出多個改變連接區域，則最 接近的改變連接區域，可決定爲具有到達來自方塊2 8 1 0之 經識別未處理之凸區域最短區域-至-區域距離的凸區域。 區域-至-區域距離可意指兩區域之間連接線段的最短距離 。如果沒有識別出改變連接區，在方塊2852中，可將來自 方塊2 8 1 0之經識別的未處理凸區域標示爲已處理，且流程 可回到方塊2810，以決定及處理下一個最小未處理的凸區 域。 如果識別出改變連接區域，在方塊28 60中，來自方塊 2 850之最接近的改變連接凸區域，可與來自方塊28 10之經 識別未處理的凸區域合倂。該兩凸區域可使用來自該兩凸 區域的樞軸點形成新的凸區域以合倂該兩凸區域。經合倂 的凸區域2862可取代該兩個凸區域，並標示爲未處理。一 -40- 200903386 旦合倂完成，流程可回到方塊2 8 1 0來決定及處理下一個最 小未處理的凸區域。 圖29說明按照本發明的例示性實施例’爲方塊2 83 0決 定兩樣本凸區域的連接線段。圖2 9包括兩個例示性的凸區 域Α與Β。凸區域Α具有4個樞軸點Ρ1Α、Ρ2Α、Ρ3Α、及 P4A。凸區域B具有3個樞軸點P1B、P2B、及P3B。關於 每一個樞軸點，可決定出凸區域A、B之間的連接線段。 爲決定連接線段，可檢查每一個凸區域A、B。線段P 1 A -CB的連接線段可被決定出，其中線段P1A-CB可連接區 域 A的樞軸點p 1 A與區域B的質量中心點CB。線段 P1A-CB與區域A之邊界線段29 10間的交叉點，可決定爲 點P1A及P。從每一交叉點P1A及p到區域b之質量中 心點C B的距離可被決定。與質量中心點c B間之距離最 短的交叉點’可被決定爲該連接線段在區域A中的端點 ’在本例中例如是點P。檢查區域B也是使用類似的技術 。區域B中用於連接線段的端點可被決定，在本例中爲點 Q。因此’線段P - Q是由樞軸點P 1 A所決定連接線段。同 樣地’關於此例’用於連接樞軸點p 2 A、P 3 A、及P 4 A與 區域B之質量中心點CB之線段的其餘3條連接線段，也 可使用此技術來決定。此外，用於連接樞軸點piB、P2B '及P3B與區域A之質量中心點CA之線段的3條連接線 段也可被決定。 關於另一例示性實施例，本發明可用於佔據檢測及估 計。在圖3 0及3 1中，說明本發明用於建物佔據及節能應用 -41 - 200903386 。圖3 0說明按照本發明之此例示性實施例的視訊監視系統 3 00 1。關於例示性的建物管理裝置，本發明的視訊監視系 統3 00 1可與設施控制系統3002及管理操控枱或使用者介面 (UI)3 003互動。視訊監視系統300 1可包括視訊攝影機1〇3 、目標檢測及計數模組104、事件檢測及計數模組3 005、 預定義規則資料庫3 006、及事件統計資料庫3 0 07。圖31顯 示用於建物佔據應用的例示性攝影機視野。 模組1 03及1 04與關於圖1及1 8中所描述的類似。設施 控制系統模組3 002可視爲外部控制系統，其反應系統3 00 1 的輸出。控制模組3 002的一例是自動燈光開關。視訊監視 系統3 00 1可用來指導燈光開關以控制室內的燈光。當檢測 到室內無人時，室內的燈光可自動關閉以節約能源。此外 ，該系統也可爲建物或公司管理團隊提供平均室內佔據測 量，以便對辦公室空間資源做較佳的調配。此類型的佔據 估計並不限於室內環境及人目標。本發明也可應用於其它 的情境，諸如車庫燈光控制及/或空間管理。 關於另一例示性實施例，圖3 0中所描述的系統可用於 逗留時間檢測。例如，在零售應用中，藉由使用此系統， 可決定人們在某特定貨架前的平均逗留時間。用於識別有 興趣之區域及最短逗留時間的規則，可設定做爲預定義規 則資料庫3 0 0 6的輸入。事件檢測及計數模組3 0 0 5可檢測那 些位置與移動能滿足此規則之被檢測及被追蹤的人目標， 並將該資料儲存到事件統計資料庫3007中。使用者稍後可 詢問在有興趣之區域中的平均逗留時間。 -42 - 200903386 現再參考圖8，在模組8 0 1至8 Ο 6中，假設系統已知影 像中的平均目標大小。例如，平均目標影像大小資訊，可 以由使用者/作業員事先指定。不過，平均物件大小，例 如可能隨著視訊攝影機的規格、安裝位置、及平均目標的 影像大小而變。例如，如果視訊攝影機爲吸頂安裝，則相 同的目標當出現在影像的角落時，要比出現在影像中央時 具有較大的影像大小。爲了在影像中的任何位置都能獲得 到精確的目標大小估計，攝影機要校正。 圖3 2說明按照本發明之實施例，例示性之以人做爲樣 本的攝影機校正方法3 2 0 0。例如，有興趣的目標可置於3 維的地平面3 2 1 0上。攝影機1 〇 3可選擇安裝在距離地平面 32 10或攝影機高度d比平均人目標之高度高的位置。攝影 機103可從垂直軸3220向上傾斜到角度α，以觀看有興趣 的區域，或是垂直的視野323〇。在一實施例中，攝影機的 安裝不提供攝影機轉動。例如，如果人目標出現在視野 3 2 3 0中，則攝影機1 〇 3不轉動。在一實施例中，可估算用 來校正攝影機1 03的校正參數諸如攝影機高度d、攝影機 的上傾角度α、及攝影機的垂直視野3230，其與該攝影機 的相對焦距有關。例如，攝影機的垂直視野3 2 3 0可以等於 與影像大小有關的攝影機焦距。如圖示說明，第一、第二 及第三圓柱體3240、3242、3244可用來做爲3D人目標的 模型3246。第一或頂部的圓柱體3240可用來模型化人頭。 第一圓柱體3 2 4 0的高度可以等於大約〇 _ 3 m或大約1呎。第 一圓柱體3240的半徑可以等於大約0.1m或大約0.3呎。第 -43 - 200903386 二或中間的圓柱體3 2 4 2可用來模型化人的軀幹。第二圓柱 體3 242的高度可等於大約0.7m或大約2.25呎。第二圓柱體 3242的半徑可等於大約〇.24m或大約0.8呎。第三或底部圓 柱體3244可用來模型化人腿。第三圓柱體3244的高度可等 於大約〇.8m或大約2.75沢。第三圓柱體3244的半徑可等於 大約0.15m或大約0.5呎。在模型3246上可識別出兩個關鍵 的影像點’諸如第一或頭影像點3 25 0及第二或足影像點 3252。第一影像點3250可以配置在大約第一圓柱體3240的 頂部中央點。第二影像點3 252可配置在大約第三圓柱體 3244的底部中央點。當然’可想見，其它類似的點也可按 類似的方法來識別。 當頭影像點3 2 5 0或足影像點3 2 5 2至少其中一者已知時 ’使用攝影機模型、人體模型、及例如針孔攝影機成像模 型’都可將3 D人體模型上的任何點投影到影像上。攝影 機校正參數可藉由分析若干使用者輸入的影像樣本或目標 來加以估算。例如，每一個影像樣本可包括該目標的影像 定界框、頭影像點3 2 5 0、及足影像點3 2 5 2。對於一指定的 影像樣本及某組的攝影機校正參數，輸入的影像樣本與估 算的影像樣本之間的匹配誤差，可根據所輸入之影像樣本 的頭影像點3 2 5 0或足影像點3 2 5 2至少其中一者及攝影機校 正參數組來計算。能對輸入的影像樣本提供最小平均匹配 誤差的最佳攝影機校正參數可疊代地來決定。 以上所描述的攝影機校正方法，能精確且快速地對影 像提供人目標大小的估算’不需要藉由使用該影像幀中之 -44- 200903386 目標的樣本，進行冗長且昂貴的校正程序。 圖3 3 A說明按照本發明的例示性實施例，根據影像樣 本之例示性攝影機校正模組的例示性方塊圖。攝影機校正 圖形使用者介面（GUI)模組33 10便於使用者輸入該等參數 ，並以使用者可讀取的格式來顯示適當的資訊。攝影機校 正GUI模組3310可包括一或多個模組。例如，攝影機校 正GUI模組33 10可包括校正或確認影像樣本選擇模組或 選擇器3312。校正選擇模組3312可讓使用者或操作者能夠 藉由在影像上直接對物件或目標做標記來選擇校正樣本 3 3 1 3。例如，使用者可藉由劃出圍繞物件的長方形框以標 出一目標定界框、劃出叉符號以標出足影像點3 252、劃出 加符號以標出頭影像點3 25 0等，在該影像上標記該物件， 以選擇一個輸入校正樣本。校正樣本選擇模組33 12可讓使 用者或操作者能夠從不同的幀中選擇校正樣本，並例如& 一幀中使用不同的顏色來顯示所選擇的校正樣本。 例如，攝影機校正GUI模組33 10可包括攝影機校正 確認模組或確認器3 3 1 4，如下文中的詳細描述，攝影機校 正GUI模組3 3 1 0可顯示整個影像幀之估算的校正確認樣 本，諸如藉由被選擇的頭點、足點、或其它適當的點來，顯 示經估算的確認樣本。 現繼續參考圖3 3 A，並進一步參考圖3 3 B ’說明例示 性的校正程序或方法3 340。在方塊3 3 42中，在單單幀或不 同的幀中選擇目標的一或多個校正樣本3 3 1 3。例如，使用 者可藉由以滑鼠或其它適當的輸入裝置劃出圍繞該目檩的 -45- 200903386 長方形定界框，並在對應的頭點及或足點上點選，以選擇 視訊幀中的校正目標。在方塊3 3 4 4中，攝影機可根據所選 擇的校正樣本被校正，以估算一或多個攝影機校正參數。 例如，使用者可點選攝影機校正圖形使用者介面（GUI)模 組3310上的校正按鈕，以啓始攝影機校正。所選擇的校正 樣本或多個樣本3313可從攝影機校正圖形使用者介面 (GUI)模組33 10送往攝影機校正參數估算器3 3 45。攝影機 校正參數估算器3 3 4 5可根據所接收的校正樣本3 3 1 3估算最 佳的攝影機參數。 在方塊3346中，攝影機校正可被確認。例如，在方塊 3 3 4 8中，非如校正樣本的預先選擇，使用者可在視訊幀中 藉由以滑鼠點選該目標之對應的足點，隨機地選擇一或多 個確認樣本3 3 4 9。在方塊3 3 5 0中，攝影機校正圖形使用者 介面（GUI)模組33 10可根據所估算的攝影機校正參數，在 幀上顯示經估算的確認樣本3 3 5 3目標。 在方塊3 3 5 2中，一或多個經估算的確認樣本3 3 5 3可根 據預定的標準與實際的目標比較。在方塊3 3 5 4中，如果經 估算的確認樣本3 3 5 3目標與實際目標在預定公差的範圍內 不匹配，則流程可前進到方塊3342，並重複該校正3344。 使用者可修改該定界框、足及/或頭點’並將其儲存爲新 的校正目標，可供在方塊3344中用來重新校正該攝影機。 如果，在方塊3 3 5 4中，經估算的確認樣本與實際目標匹配 ，則流程3 3 4 0可前進到方塊3 3 5 6。在方塊3 3 5 6中，如果使 用者滿意估算的確認樣本與實際目標間的比較’並希望結 -46 - 200903386 束該校正處理，則使用者或操作者可點選攝影機校正圖形 使用者介面（GUI)模組3310上的確定按鈕，在方塊3360中 接受所估算的攝影機參數並結束校正。在方塊3370中’可 將該校正參數儲存做爲經校正的攝影機模型3 3 7 2。如果， 在方塊3 3 5 6中，使用者不滿意經估算之確認樣本與實際目 標的比較，則流程前進到方塊3 3 4 2。使用者可選擇更多的 校正樣本，並在方塊3344中重新校正該攝影機。 繼續參考圖33B並進一步參考圖34A，描述前文參考 圖33A所說明按照本發明例示性實施例之攝影機校正參數 估算器33M所用的例示性校正與參數估算流程3 3 44。在方 塊3 4 1 0中，根據所選擇的校正樣本3 3 1 3及攝影機物理學之 當場的知識，估算攝影機參數的最大可能範圍。估算攝影 機參數最大可能範圍的一優點係可加速估算處理。傾角的 範圍受制於攝影機無法仰視的基本假設。因此，傾角可 在-90至+90度的範圍內。藉由考慮頭與足點3240、3244的 相對位置可進一步限制傾角。如果頭與足點3250、3 252被 配置在靠近定界框的中央點，則傾角相對較小。如果頭與 足點3 2 5 0、3 2 5 2配置在靠近定界框邊界，則該傾角相對較 大。 垂直視野3 23 0可以使用相對人體樣本大小的知識來估 算。對照幀之大小’相對人體樣本大小愈大，則垂直攝影 機視野3230愈小（或攝影機的焦距較長）。攝影機的最小安 裝局度’受制於攝影機咼度d要等於或大於一般人目標的 垂直尺寸。攝影機安裝高度d的上限，也可由相對人體樣 -47- 200903386 本大小來估算。以一固定的焦距來估算，人體樣本大小愈 小’暗示攝影機的安裝高度愈高，反之亦然。由於攝影機 高度d、攝影機的上傾角度α、及攝影機的垂直視野323 0 的估算彼此相依’因此，在方塊3 4 2 2中可設定初始的粗略 參數。攝影機的安裝高度d例如可設定成等於2m。攝影 機的垂直視野3 23 0例如可設定成等於攝影機高度d的1/4 或0.5m。上傾角度α可根據目前所估算的攝影機參數設定 成一變數。當攝影機高度d較大，及/或焦距較短，及/或 上傾角度α接近零度時，粗略的攝影機高度參數也較大。 在方塊3420中，藉由使用粗略參數循通過攝影機高度 d、攝影機上傾角α、及攝影機垂直視野323 0的所有可能 範圍，以執行粗略的攝影機參數估算。在方塊3 43 0中，可 疊代地估算精細的攝影機參數3 4 3 2。例如，疊代的次數可 以是2、3、4、5等。關於每次疊代，可藉由最佳的估算參 數並從前次的疊代逐步往上，來決定每個參數的上與下範 圍。新步級的値，可以增加前次疊代中之步級値的分數， 例如，大約爲前一步級的1 /1 0。例如，每一步級的値可增 加爲 2.0、2.2、2.4、2.7、2.9等。 在方塊3440中，可以使用估算的精細攝影機參數來決 定平均匹配誤差。在方塊3441中，所決定的平均匹配誤差 與預定的平均匹配誤差臨限比較。在方塊3 442，如果該平 均匹配誤差小於預定的平均匹配誤差臨限，則流程可前進 到到方塊3 3 4 6做攝影機確認。在方塊3 4 4 2中，如果平均匹 配誤差大於或等於預定的平均匹配誤差臨限，則在方塊 -48- 200903386 3 444中’使用者可能被要求選擇額外的校正目標，並重複 3 3 44的校正與參數估算處理。 現繼續參考圖34A並另參考圖34B，說明例示性的平 均樣本匹配誤差決定流程3440。每一樣本i的平均匹配誤 差E(i)，可藉由加總頭·足匹配誤差Ehf(i)的加權平均與定 界框匹配誤差的加權平均來計算： E(i)-WhfxEhf(i) + WbbxEbb(i) (1) 其中，\^^與Wbb分別代表頭-足匹配誤差與定界框匹 配誤差的權數。 頭-足匹配誤差與定界框匹配誤差所用的權數W h f與 wbb，可藉由該樣本頭與足點相較於該樣本定界框的位置 來決定。如果Dbb爲樣本定界框的W角線長度’且Dhf爲 頭點與足點間的影像距離’則’在方塊3 4 5 0中可決定頭-足權數與定界框權數爲：

Whf=〇.5x(Dhf/Dbb + 〇-5) ’ 且 Wbb=l-Whf (2) 在方塊3 462中，正常化的頭匹配誤差Eh ’可用所觀 察之樣本的頭點與使用所觀察的足點及估算之攝影機模型 所估算之經計算之樣本之頭點間的距離’並以所觀察之樣 本的平均半徑Rm來正常化而決定’ Rm可定義爲： -49- 200903386

Rm = s q r t (B w x B h / 4 · 0 ) ’ 其中 （3)

Bw與Bh分別爲樣本定界框的寬度與高度。 在方塊3464中，正常化的足匹配誤差Ef’可用所觀 察之樣本的足點與使用所觀察的頭點及估算之攝影機模型 所估算之經計算之樣本之足點間的距離’並以所觀察之樣 本由方程式（3)所決定的平均半徑Rm來正常化而決定。 在方塊3466中，頭-足匹配誤差Ehf可用正常化的頭匹 配誤差Eh與正常化的足匹配誤差Ef的平均來決定。 在方塊3480中，定界框匹配誤差Ebb可決定爲： E b b = R。v e r 1 a p / M a X ( R ◦ b s e r v e，R e s t i m t e )，其中 （4)

Robmve爲所觀察之人樣本的定界框區域，

Restimte爲使用所觀察之定界框的中央與所估算之攝 影機模型所估算之人樣本之定界框的區域’以及

RoveHap爲所觀察之定界框與所估算之定界框間的重 疊區域。 在方塊3490中，可根據方程式（1)來決定每一樣本i的 平均匹配誤差E(i)。平均匹配誤差實質上視攝影機參數估 算誤差與人樣本變化而定。由於人之高度及大小的變化典 型上在平均的2 0 %以內’因此，平均匹配誤差臨限例如可 設定在〇. 3，用以決定所估算之攝影機模型是否準確。小 於平均匹配誤差臨限的平均匹配誤差，可指示至少在被輸 -50- 200903386 入校正樣本所佔居的區域內，該估算實質上準確。此外， 如圖33A所說明，使用者/操作者可使用攝影機校正GUI 3310來實施確認步驟。如果平均匹配誤差等於或大於平均 匹配誤差臨限，則所選擇的校正樣本可能不正確，或所選 擇的校正樣本其大小及高度變化太大，系統可能要求使用 者/操作者提供更多的校正樣本來做較佳的攝影機校正參 數的校正。 圖3 5 A、3 5 B、及3 5 C分別說明在攝影機上傾角大約 90、45、及0度之典型攝影機視野中的多個人樣本。每一 長方形、"X"符號及” + "符號的群組可指示一個人樣本，其 中長方形指示定界框，"X”指示足點，” + "指示頭點。 如另一例示性實施例，本發明與圖3 〇中所描述的系統 可用於排隊長度估計。圖36說明按照本發明的此例示性實 施例，在零售應用中，在收銀枱處攝影機所見之排隊長度 估計的情景。在此例中，使用者可提供攝影機視野中收銀 枱位置及顧客等待區。事件檢測及計數模組3 005可檢測任 何停止，例如，在所定義之區域內等待的人目標3 6 1 0，並 計數人目標的總數量，例如，在本例中爲7人。移動目標 3 620可以不計數。當排隊長度超過一預定的臨限時，即時 的警報可送至預先定義的外部接收器，諸如，例如，商店 經理。排隊長度的資料可被記錄在資料庫3 007中，供商店 管理部門及類似單位稍後查詢或做資料分析。 本文中所描述的例子及實施例係非限制性的例子。 已關於各例示性實施例詳細描述了本發明，熟悉此方 -51 - 200903386 面技術之人士從上述到現在將可明瞭，不會偏離本發明最 廣義的態樣，本發明可做改變及修改，且因此，本發明如 申請專利範圍中所定義，意欲涵蓋落入本發明之真正精神 內的所有這類改變及修改。 【圖式簡單說明】 圖1說明按照本發明例示性實施例之例示性的視訊監 視系統。 圖2說明來自按照本發明例示性實施例之視訊監視系 統之視訊串流之例示性的幀。 圖3說明按照本發明的例示性實施例，用於目標檢測 及計數的例示性流程圖。 圖4說明按照本發明的例示性實施例，用於檢測移動 像素的流程圖。 圖5說明按照本發明的例示性實施例，用於檢測線段 的例示性流程圖。 1 圖6說明按照本發明的例示性實施例，用於尋找下一 個線段的例示性流程圖。 圖7說明按照本發明的例示性實施例預測新的搜尋方 向。 圖8說明按照本發明的例示性實施例，用於追蹤目標 的例示性流程圖。 圖9說明按照本發明的例示性實施例，用於更新目標 的例示性流程圖。 -52- 200903386 圖1 〇說明按照本發明的例示性實施例，用於檢測新目 標的例示性流程圖。 圖π說明按照本發明的例示性實施例，用於精化目標 的例示性流程圖。 圖1 2說明按照本發明的例示性實施例，用於合倂目標 的例示性流程圖。 圖1 3說明按照本發明的例示性實施例，用於分割目標 的例示性流程圖。 圖1 4說明按照本發明的例示性實施例，用於合倂與分 割目標的例示性流程圖。 圖1 5說明按照本發明的例示性實施例，用於分析各點 的例示性流程圖。 圖1 6說明按照本發明的例示性實施例，用於清除目標 的例示性流程圖。 圖1 7說明來自按照本發明例示性實施例之視訊監視系 統之視訊串流之例示性的幀。 圖1 8說明按照本發明的例示性實施例，用於進入控制 的視訊監視系統。 圖1 9說明按照本發明之例示性實施例所定義的移動區 塊。 圖2 0說明按照本發明的例示性實施例，在3個目標移 動狀態間的例示性狀態轉變。 圖2 1說明按照本發明的例示性實施例，人類目標與購 物推車目標的例示性移動狀態歷史。 -53- 200903386 圖22說明按照本發明之例示性實施例的尾隨情節。 圖23說明按照本發明的例示性實施例，檢測視訊幀中 目標區的例示性流程圖。 圖24A-24I說明按照本發明的例示性實施例，圖23之 流程圖中該等方塊的例示性處理結果。 圖25說明按照本發明的例示性實施例，用以建立前景 邊緣檢測區遮罩的例示性流程圖。 圖26說明按照本發明的例示性實施例，用於檢測凸區 域的例示性流程圖。 圖2 7 A說明按照本發明例示性實施例的例示性凸區域 〇 圖27B說明按照本發明例示性實施例的例示性非凸區 域。 圖2 8說明按照本發明的例示性實施例，用於合倂改變 連接凸區域 圖2 9說明按照本發明例示性實施例之兩例示性凸區域 的連接線段。 圖3 0說明按照本發明的例示性實施例，用於佔據 (occupancy)分析及排隊長度估計的例示性視訊監視系統。 圖3 1說明來自按照本發明例示性實施例之佔據視訊監 視系統之視訊串流之例示性的幀。 圖3 2說明按照本發明例示性實施例之人類樣本式攝影 機校正方法。 圖33A說明按照本發明的例示性實施例，根據影像樣 -54 - 200903386 本之攝影機校正模組的例示性方塊圖。 圖3 3 B說明按照本發明的例示性實施例，用於例示性 校正程序的例示性流程圖。 圖3 4 A說明按照本發明的例示性實施例，攝影機校正 參數估計器模組的例示性方塊圖。 圖3 4B說明按照本發明的例示性實施例，用以決定平 均匹配誤差的例示性方塊圖。 圖35A、35B及35C說明按照本發明的例示性實施例 ，在典型攝影機視野中的人類樣本。 圖3 6說明來自按照本發明例示性實施例之排隊長度估 計視訊監視系統之視訊串流之例示性的幀。 【主要元件符號說明】 1 〇 1 :視訊監視系統 102 :銷售點（POS)系統 103 :視訊攝影機 104 :目標檢測及計數模組 105 :交易分類模組 106 :預定義規則資料庫 1700 :幀 1 ” 〇 :目標 1 8 1 0 :視訊監視系統 1 82 0 :門禁管制系統 1 8 3 0 :事件分類模組 -55- 200903386 1 840： 2210： 2200 : 2214： 2212 ： 2222 ： 2224 ： 2226 ： 22 3 0 ： 2 5 02 : 2 5 0 1 : 2 5 03 ： 2 5 06 ： 25 0 8 ： 2510： 2512： 2410： 242 0 : 2720 ： 2710 ： 273 0 ： 2612： 3 00 1 ： 3 002 ： 預定義規則資料庫 保全區 尾隨情景 第一通道 公共門廳 入口鍵盤 第二通道 入口區 視訊絆索 改變遮罩 背景影像 移動遮罩 改變-或-移動遮罩 背景邊緣遮罩 背景非邊緣遮罩 前景邊緣檢測區遮罩 線段 凸區域 樞軸點 凸殼區 非凸殻區 凸區域 視訊監視系統 設施控制系統 -56 200903386 3 003 :管理操控枱或使用者介面 3 005 :事件檢測及計數模組 3 006 :預定義規則資料庫 3 007 :事件統計資料庫 :3維的地平面3 2 1 0 3 3 1 0 :攝影機校正圖形使用者介面模組 3 3 1 2 :校正選擇模組 3 3 1 3 :校正樣本 3 3 1 4 :校正確認模組 -57 -

Claims (1)

1. 200903386 十、申請專利範圍 1 · 一種視訊處理設備’包含： 目標檢測及計數模組’用以·· 接收現場的視訊’ 藉由分離該視訊中的前景與背景及檢測該視訊中 的邊緣，來檢測該視訊中移動的像素， 根據該等檢測到的移動像素’來檢測該視訊中的 線段或運動區塊， 根據該等檢測到的線段或該等運動區塊來識別該 視訊中的目標， 根據該等經識別的目標，來追蹤該視訊中的目標 ，以及 管理該視訊中之該等被追蹤的目標。 2 _如申請專利範圍第1項的設備，其中該目標檢測及 計數模組檢測每一線段係藉由： 計數邊緣像素；以及 藉由識別一開始點、預測下一個搜尋方向、識別下一 個線像素、及提供線段，根據該等邊緣像素來識別線段。 3 ·如申請專利範圍第1項的設備’其中該目標檢測及 計數模組檢測該等運動區塊係藉由： 決定粗略的運動區塊；以及 決定精細的運動區塊。 4.如申請專利範圍第1項的設備’其中該目標檢測及 計數模組追蹤目標係藉由： -58- 200903386 (A) 更新現有目標係藉由： 預測目標， 指派線段給該預測的目標，以及 更新該目標； (B) 檢測新目標係藉由： 實施線段群集， 根據該線段群集來實施群集確認，以及 根據該群集確認產生新的目標； (C) 使該被更新或新目標至少一者精細化係藉由： 將剩餘的線段聚集到最接近的目標， 重估該等目標，以及 更新該等目標； (D) 合倂或分割該等被更新的目標，其中實施合倂該 等被更新的目標係藉由： 獲得到一目標對， 比較該等所獲得到的目標，以及 如果該目標對的參數類似，則合倂該目標對，且 其中實施分割該等被更新的目標係藉由： 獲得到一目標， 該所獲得到的目標與預先定義的目標進行比較， 如果該所獲得到的目標與預先定義的目標不類似 則將該獲得到的目標分割成子目標； 每一個子目標與該預先定義的目標進行比較，以 及 -59- 200903386 將目標識別指定給每一個與該預先定義之目標類 似的子目標； (E) 合倂或分割該等新目標係藉由： 產生前景遮罩， 根據該前景遮罩檢測前景物件，以及 藉由前景物件與多目標尺寸臨限、最小單一目標 尺寸臨限、或最大單一目標尺寸臨限之比較，分析該前景 物件以獲得到新的目標；以及 (F) 清除該等被合倂或被分割的新目標係藉由： (a) 獲得到目標， (b) 確認在目前幀中之經檢測而獲得到的該目標， (c) 確認前一幀中不會移動離開視訊攝影機之視野 之該獲得到的目標，以及 (d) 根據步驟（b)或步驟（c)至少一者，以保持該所 獲得到的目標或移除該所獲得到的目標。 5. 如申請專利範圍第1項的設備，其中該目標檢測及 計數模組追蹤目標係藉由： 識別每〜個目標的運動狀態；以及 從該運動狀態識別每一個目標之轉變，其中每一 個目標的該運動狀態係移動狀態、停止狀態、或靜止狀態 其中之一。 6. 如申δ靑專利範圍第丨項的設備，其中該目標檢測及 計數模組係根據每—個目標的運動狀態歷史來追縱每—個 目標。 -60- 200903386 7 .如申請專利範圍第1項的設備，其中該目標檢測及 計數模組識別目標係藉由： 對該視訊實施改變檢測，以獲得到改變遮罩及背景影 像； 對該視訊實施運動檢測，以獲得到運動遮罩； 根據該改變遮罩及該運動遮罩，來產生前景邊緣檢測 區遮罩係藉由： 對該改變遮罩及該運動遮罩，實施邏輯運算，以獲得 到改變·或-運動遮罩， 對該背景影像實施邊緣檢測，以獲得到背景邊緣遮罩 ? 對該背景邊緣遮罩實施邏輯運算，以獲得到背景非邊 緣遮罩，以及 對該改變-或-運動遮罩及該背景非邊緣遮罩，實施邏 輯運算，以獲得到該前景邊緣檢測區域遮罩； 根據該前景邊緣檢測區域遮罩，實施前景邊緣檢測， 以獲得到被檢測的前景邊緣； 根據該被檢測的前景邊緣，實施線段檢測，以獲得到 被檢測的線段； 根據該被檢測的線段，實施凸區域檢測，以獲得到被 檢測的凸區域；以及 根據該被檢測的凸區域及該改變-或-運動遮罩，來產 生前景區域遮罩。 8 ·如申請專利範圍第7項的設備，其中該目標檢測及 -61 - 200903386 計數模組實施凸區域檢測係藉由： 從線段產生凸區域； 合併改變連接凸區域係藉由： 識別最小未處理的凸區域； 識別該最小未處理之凸區域的有效鄰近凸區域， 識別該有效鄰近凸區域與該最小未處理之凸區域 間的連接線段， 根據該等連接線段，來識別改變連接線段， 根據該等改變連接線段，來識別最接近的改變連 接凸區域，及 合倂該最接近的改變連接凸區域與該最小未處理 之凸區域；以及 合倂空間的連接凸區域。 9.如申請專利範圍第1項的設備，另包含： 專用硬體，用以仿真用於視訊處理的電腦或軟體至少 一者，該專用硬體用以仿真申請專利範圍第1項的該目標 檢測及計數模組。 1 〇·如申請專利範圍第1項的設備，其中該設備具體化 爲以下其中之一： 視訊攝影機， 銷售點系統，或 智慧型感測器。 η.如申請專利範圍第旧的設備，其中該設備被具體 化爲進出控制系統或門禁檢測其中一#，且其中該目標檢 '62- 200903386 測及計數模組進一步用以： 接收進入碼登錄； 識別該現場中的視訊絆索； 檢測何時有一或多個經識別之目標跨過該視訊絆索； 每一個經檢測之目標與所接收的每一個進入碼登錄進 行匹配；以及 當經檢測的目標與所接收的每一個進入碼登錄不匹配 時，產生警報。 12.如申請專利範圍第1項的設備，其中該設備被具體 化爲建物管理或能源管理系統至少其中一者，且其中該目 標檢測及計數模組進一步用以： 計數被識別的目標；及 根據所計數的目標，來監視及調整照明、空調、加熱 器、或通風系統至少其中一者。 1 3 .如申請專利範圍第1項的設備，其中該設備被具體 化爲目標計數系統，且其中該目標檢測及計數模組進一步 用以： 檢測該現場中之靜止或移動之經識別的目標至少其中 一者； 計數該經檢測的靜止目標； 根據該被計數的靜止目標，來估計逗留時間； 記錄該所估計的逗留時間；及 將該逗留時間記錄到曰誌內。 1 4 .如申請專利範圍第1項的設備，另包含： -63- 200903386 視訊感測器或裝置，用以獲得到該現場的該視訊。 1 5 .如申請專利範圔第1 4項的設備，另包含： 圖形使用者介面，用以提供目標的影像，並助益於使 用者在一視訊幀中選擇校正樣本及校正確認樣本，該校正 確認樣本與該選擇的校正樣本不同； 攝影機校正參數估計器，用以接收目標的模型及該選 擇的校正樣本，並至少根據該目標模型及該選擇的校正樣 本，來決定一組用於該視訊感測器或裝置的校正參數，係 藉由： 估計粗校參數， 根據該估計的粗校參數，疊代地估計微校參數， 根據該估計的微校參數，來決定平均匹配誤差， 該平均匹配誤差與一預定的臨限進行比較， 根據該比較，來估計一確認的目標， 該估計的確認目標與該所選擇的校正確認樣本進 行比較，及 根據該比較，接受該等校正參數或決定新的校正 參數組其中一者。 16.—種視訊處理設備，包含： 攝影機校正模組，用以助益在一視訊幀中選擇校正樣 本及校正確認樣本，該校正確認樣本與該校正樣本不同； 攝影機校正參數估計器，用以接收目標模型及該選擇 的校正樣本，並至少根據該目標模型及該選擇的校正樣本 來決定一組用於視訊攝影機的校正參數，係藉由： -64 - 200903386 估計粗校參數’ 根據該等估計的粗校參數’疊代地估計微校參數 根據該等估計的微校參數，來決定平均匹配誤差 > 該平均匹配誤差與一預定的臨限進行比較， 根據該比較，估3十一確認的目標’ 該估計的確認目標與該所選擇的校正確認樣本進 行比較，及 接受該等校正參數或決定新的校正參數組其中一 者； 目標檢測及計數模組，用以： 接收來自該視訊攝影機之有興趣區域的視訊， 檢測該視訊中移動的像素， 根據該檢測到的移動像素，來檢測該視訊中的線 段或運動區塊， 根據該等檢測到的線段或運動區塊，來識別該視 訊中的目標， 根據該等經識別的目標，來追縱該視訊中的目標 ，及 管理該視訊中之該等被追蹤的目標。 17. —種視訊處理方法，包含： 決定一組用於視訊攝影機的校正參數，包含： 在一視訊幀中選擇校正樣本， -65- 200903386 估計粗校參數， 根據該等估計的粗校參數’疊代地估計微校參數 根據該等估計的微校參數，來決定平均匹配誤差 9 該平均匹配誤差與一預定的臨限進行比較’ 根據該比較，來估計一確認的目標， 在該視訊幀中選擇一校正確認樣本，該校正確認 樣本與該選擇的校正樣本不同， 該估計的確認目標與該所選擇的校正確認樣本進 行比較，及 接受該等校正參數或決定新的校正參數組其中一 者， 接收來自該視訊攝影機的現場視訊； 檢測該視訊中移動的像素； 根據該等檢測到的移動像素，來檢測該視訊中的線段 或運動區塊； 根據該等檢測到的線段或運動區塊，來識別該視訊中 的目標； 根據該等經識別的目標，來追蹤該視訊中的目標；以 及 管理該視訊中之該等被追蹤的目標。 1 8. —種包含視訊處理軟體的電腦可讀取媒體，該媒 體包含： -66- 200903386 決定指令，用來爲視訊攝影機決定一組校正參數，包 含： 接收指令，用以接收來自視訊幀的校正樣本， 估計指令，用以估計粗校參數， 估計指令，用以根據該等估計的粗校參數，疊代 地估計微校參數， 決定指令’用以根據該等估計的微校參數，來決 定平均匹配誤差， 比較指令，用以比較該平均匹配誤差與一預定的 臨限， 估計指令’用以根據該比較，來估計一確認的目 標， 接收指令’用以從該視訊幀接收一校正確認樣本 ，該校正確認樣本與該校正樣本不同， 比較指令’用以比較該估計的確認目標與該所決 定的校正確認樣本，以及 指令’用以接受該等校正參數或決定新的校正參 數組其中一者； 接收指令’用以接收來自該視訊攝影機的現場視訊； 檢測指令，用以檢測該視訊中的移動像素， 檢測指令’用以根據該等檢測到的移動像素，來檢測 該視訊中的線段或運動區塊， 識別指令’用以根據該等檢測到的線段或該等運動區 塊，來識別該視訊中的目標， -67- 200903386 追蹤指令’用以根據該等經識別的目標，來追蹤該視 訊中的目標，以及 管理指令，用以管理該視訊中之該等被追蹤的目標。 1 9 · 一種視訊監視系統，包含： 攝影機校正模組，用以在圖形使用者介面上提供目標 的影像’並助益於在一視訊幀中選擇校正樣本及校正確認 樣本，該校正確認樣本與該所選擇的校正樣本不同； 攝影機校正參數估計器，用以接收目標模型，並至少 根據該接收的目標模型及該選擇的校正樣本，來決定一組 用於視訊攝影機的校正參數，係藉由： 估計粗校參數， 根據該等估計的粗校參數，疊代地估計微校參數 5 根據該等估計的微校參數，來決定平均匹配誤差 5 該平均匹配誤差與一預定的臨限進行比較， 根據該比較，來估計一確認的目標， 該估計的確認目標與該校正確認樣本進行比較， 及 根據該比較，接受該等校正參數或決定新的校正 參數組其中一者；以及 目標檢測及計數模組’用以識別及追蹤從該視訊攝影 機所獲得到之視訊中的目標，係藉由： 檢測該視訊中移動的像素； 68 - 200903386 根據該等檢測到的移動像素，來檢測該視訊中的 線段或運動區塊； 根據該等檢測到的線段或運動區塊，來識別該視 訊中的目標； 根據該等經識別的目標，來追蹤該視訊中的目標 -69-