TW200818915A - Automatic extraction of secondary video streams - Google Patents

Description

200818915 (1) 九、發明說明 【發明所屬之技術領域】 本發明爲有關執行視頻監視的方法和系統。更明確地 說，本發明與視頻監視和驗證系統有關，被配置爲對視頻 來源析取實際視野（VFOV )以作爲輔助視頻輸出串流。 【先前技術】 φ 很多生意和其他設備都會使用安全系統，例如銀行、 商店、飛機場等等。此系統包含視頻系統，其具有讀取裝 置，如視頻相機，可獲得和記錄感測區內之圖像。例如， 視頻相機只可以提供透鏡視野內的視頻記錄。這些視頻圖 像可以由操作者監控和/或由操作者過後檢視。新近的發 . 展已經允許這些視頻圖像由自動化系統監控，和改善檢測 - 率並且節省人力。 對設計者而言，這樣的安全系統一般具有的問題爲如 φ 何在特定傳感器的涵蓋區域和傳感器的實際效率之間取得 ^ 平衡。例如，一個利用視頻相機監控一個停車場區的安全 ^ 系統。理想的情況，可以架設有限廣角相機於此場區周遭 並提供完整的涵蓋區域。這是簡單和節省成本的方法，用 來監控一個所關心的廣大區域。但是，其缺點爲當在場景 內觀察活動時，會有不佳的視頻解析度和無法呈現其細 節。另一個理想的情況，許多窄視角的相機被用來架設在 場景內以提供的活動細節。其缺點爲需要極高的營運費用 來解決要安裝和增加視頻相機數量，並且增加操作者的複 -5- 200818915 (2) 雜性操作以控制整個場景。 【發明內容】 本發明之一實施例爲可以解決上述問題的裝置和方 法。此實施例可以自動析取出廣角視頻流的小角度視野’ 如此允許使用較少相機監控廣大區域但仍然提供詳細的目 ^ 標影像或所關心的事件。 φ 根據一實施例，本發明可以包含一種對主要視頻流的 圖像資料之處理的方法以檢測目標或所關心事件並且從主 要視頻流析取一或更多輔助視頻流以提供較佳的圖像資料 和描述目標或所關心的事件。 根據另一個實施例，本發明可以包括一種對主要視頻 . 流中所析取出之輔助視頻流的圖像資料之處理、此處理之 * 目標和所關心事件之檢測以及主要視頻流中析取輔助視頻 流之調整的方法，因此輔助視頻流可以提供較佳的圖像資 φ 料和描述目標或所關心的事件。 ， 根據另一個實施例，本發明包含一種基於輸入之主要 . 視頻流而自動產生至少一輔助視頻流的方法，包含對主要 視頻流執行視頻分析，以產生一或更多分析結果，此一或 更多分析結果包括有關由目標、事件、和所關心區域所組 成之群組中所選出之至少一單元的資訊；並且基於此~或 更多分析結果’從主要視頻流中，自動析取至少一^輔助視 頻流，其中此輔助視頻流之視野小於或者等於主要視頻流 的視野。 -6 - (3) (3)200818915 根據另一個實施例，本發明包含一種基於輸入之主要 視頻流而自動產生至少一輔助視頻流的方法’包含對主要 視頻流執行第一視頻分析，以產生一或更多第一分析結 果，此一或更多第一分析結果包括有關由目標、事件、和 所關心區域所組成之群組中所選出之至少一單元的資訊； 基於此一或更多第一分析結果，從主要視頻流中，自動析 取至少一輔助視頻流，其中此輔助視頻流之視野小於或者 等於主要視頻流的視野；對此至少一輔助視頻流執行第二 視頻分析，以提供一或更多第二分析結果；並且回饋此一 或更多第二分析結果，使得此自動析取至少一輔助視頻流 係進一步基於此一或更多第二分析結果。 根據另一個實施例，本發明包含一種基於輸入之主要 視頻流而自動產生至少一輔助視頻流的方法，包含：從主 要視頻流中，自動析取至少一輔助視頻流，其中此輔助視 頻流之視野小於或者等於主要視頻流的視野；對此至少一 輔助視頻流執行視頻分析，以提供一或更多分析結果；並 且回饋此一或更多分析結果，使得此自動析取至少一輔助 視頻流係至少部分基於此一或更多第二分析結果。 所有上述實施例可以以多種形式實現，例如，作爲設 備作爲方法、作爲硬體、作爲靭體和作爲電腦_可讀取 媒體上的軟體。關於後者，本發明可以執行此軟體之電腦 系統形式實施。而且，本發明可以利用執行此軟體之嵌入 式硬體的形式實施。 200818915 (4) 定義 以下定義可適用於本說明，也包括上述說明。 ”視頻“表示爲類比和/或數位形式的影片。 視頻的例子包括：電視、電影、來自視頻相機或其他 攝影器材的連續圖像和電腦產生的連續圖像。 ”畫面“表示視頻中的一特定圖像或其他分離部分。 ”物件“表示視頻中的所感興趣之項目。物件的例子包 括： 人物、車輛、動物和物理物件。 ”目標“表示物件的電腦模型。目標係由圖形處理獲 得，並且在目標和物件之間存在一對一關係。 ”最佳拍攝“係爲對人或機器最容易辨識目標的最佳畫 面或連續畫面。電腦識別系統和人類視覺系統可以有不同 的最佳拍攝。 ”活動“係爲一次或更多行動和一或更多的一或多個物 件的行動組合。此活動的例子包括：進入；退出；停止； 移動；提升；降低；增長；縮小；偷；閒逛；並且離開物 件。 ”位置“係爲可以發生活動的空間。例如，一個位置可 以是基於場景或基於圖像。基於場景的位置之例子包括： 公眾空間；商店；零售空間；辦公室；倉庫：飯店房間； 旅館門廳；大樓的大堂；賭場；公共汽車總站；火車車 站；飛機場；港口；公共汽車；火車；飛機；以及船。一 個基於圖像的位置之例子包括：視頻圖像；在視頻圖像中 -8- 200818915 (5) 之線：在視頻圖像之區域；視頻圖像的一矩形剖面；以及 視頻圖像的一個多邊形部分。 ”事件“係爲在一項活動中的一或更多物件。事件可以 與一個位置和/或時間有關。 ”電腦“係爲能接受結構化輸入的任何裝置，根據預定 規則處理結構化輸入，並且產生處理結果作爲輸出。電腦 的例子包括；電腦；多功能電腦；超級電腦；主機；超級 φ 小型計算機電腦；小型計算機電腦；工作站；微電腦；伺 服器；互動電視；電腦以及互動電視的結合；以及表現電 腦和/或軟體的具體應用硬體。電腦可以具有一單處理器 或多數處理器，能平行操作和/或不平行操作，電腦也可 以爲藉由網路連結以傳送或者接收資訊的兩或更多電腦。 此電腦的例子包括藉由網路連結電腦以處理資訊的分散式 電腦系統。 ”電腦-可讀取媒體“係爲任何用於可被電腦讀取之儲 φ 存資料的儲存裝置，以及任何使用電腦提供資料的其他方 • 法。儲存裝置型的電腦-可讀取媒體之例子包括：磁性硬 . 碟；軟碟；光學磁片，例如CD-ROM和DVD ;卡帶；記 憶體。非儲存裝置類型的非電腦·可讀取媒體之例子包括 用來傳送電腦-可讀取資料的載波，例如在傳送和接收電 子郵件或者接收網路所使用的載波。 ”軟體“係爲預定規則操作電腦。軟體的例子包括：軟 體；代碼；指令；電腦程式；和程式化邏輯。 ”電腦系統“係爲具有電腦的系統，其中此電腦包括含 -9 - 200818915 (6) 有軟體的電腦-可讀取媒體以操作電腦。 ，，網路“係爲多個電腦和聯結裝置，藉由通訊設備連 結。網路的永久鏈結可如電話或其他通訊鏈，如電報或通 訊連結。網路的例子包括：網際網路，例如網際網路；內 部網，局域網（LAN );廣域網（WAN );以及網路的組 合，例如網際網路和內部網。 * ”感測裝置“係爲任何獲得視覺資訊的裝置，其例子包 φ 括：彩色和單色相機，視頻相機，閉路電視（CCTV )相 機，電荷耦合裝置（CCD )傳感器，互補式金屬氧化物半 導體（CMOS)傳感器，類比和數位相機，PC相機，網路 相機和紅外線成像裝置。如果未特別說明，”相機“係爲任 何感測裝置。 【實施方式】 圖1A-1C描述本發明之實施例的槪念，顯示主要和輔 助視頻流的視頻場景。在圖1 A中，主要監視視頻流1 〇 j 顯示包含大區域的廣視野。其中提供較小的存在目標之細 節。這取決於捕獲圖像或視頻顯示的解析度，或者兩者都 有。視頻流之觀眾可以對獲得在視野裡移動目標的更多細 節感興趣。因此，用戶會想要瞭解更小區域或者，，子畫面 “中的細節。

例如’在子畫面1 0 2裡，可決定一個目標。主要視頻 流1 〇 1涵蓋區域和目標位置皆位於視野中，很難指定出目 標的細節。爲了獲得更多目標細節，可從主要視頻流10 J -10- 200818915 (7) 析取子畫面102且傳送至第二小角度視頻輸出。圖1B描 述此”視覺視野“爲輔助視頻流1 0 4。析取方法可以使用在 電腦可讀媒體上的軟體形式、嵌入硬體的軟體或者專用硬 體形式（例如，應用積體電路（ASIC )或者可編程的可編 程閘陣列（PGA ))以實現此析取方法。在輔助視頻流 1 04中，顯示更多關於在主要視頻流1 〇 1中目標的細節。 如此可以更容易指定衣服的特性和面部特徵。圖1 A中的 _ 子畫面1 〇 3，可以指定另一個目標。在此例中，視覺的細 節部分很小，甚至很難指定目標類型。爲了正確分類目 標，子畫面103可以析取爲圖1C中另一個輔助視頻輸出 1 05。在圖1 C中所描述的視野目標，顯示足夠清楚的細 節，因此可以對目標分類。 在這兩個例子中，從主要視頻流析取包含視覺視野的 輔助視頻流可以提供場景目標的更多細節。較困難的是， 需要首先自動指定哪個目標是有趣的並且之後自動管理創 φ 造和調整輔助視頻流。藉由使用視頻分析的演算法與用戶 * 指南相結合，感興趣的目標或者事件可以被自動檢測。由 ^ 這些演算法組成的軟體可以用來處理輸入視頻、分析要檢 測的場景和追蹤目標，並且評價目標行爲以瞭解是否用戶 所關心的活動存在。此活動的例子包括但不局限於，在場 景內穿過的保全人員，出現、消失、閒逛和從場景中置入 或移除項目。基於所關心目標的位置和其他特性或是活 動，可以決定包含這些目標的視野和產生描述這些視覺視 野的輔助視頻流。 -11 - 200818915 (8) 圖2描述包含本發明實施例之具有，，領先-後接“模組 的另一槪念的方塊圖。此實施例中稱爲，，領先-後接“是因 爲主要視頻流被用來”領先“選擇和控制，，後接“輔助視頻 流。主要視頻流20 1描述連續視頻圖像，例如視頻相機所 、 產生的影片，這些視頻圖像可以爲電纜線上的連續電信 號，例如以類比電視NTSC形式傳送的視頻、電腦的記憶 體或硬碟上的影像資料或者在任何其他圖像形式之中。主 φ 要視頻流中包含的可見區域被稱爲它的視野。 主要視頻分析模組202包含軟體演算法，可以分析輸 入的主要視頻流以檢測目標、事件和感興趣場景的區域。 例如’視頻分析方法演算法可以處理輸入影像資料以執行 目標檢測、分類和追蹤。處理結果可以再被分析以指定滿 足預定標準的目標或檢測事件、活動或所關心場景區域。 指定所關心事件和活動的標準可以內建於本發明中或由用 戶設定。輸出視頻分析模組202可以包括視頻流中檢測到 φ 的所關心目標、事件和/或區域之摘要資訊。此摘要資訊 - 可以包括資料，例如目標位置、分類、尺寸、方向和其他 . 特性。它也可以包括在場景中檢測的事件資料，例如背景 的變化。它也可以包括在場景中所關心區域的資料，例如 描述異吊（局運輸量）的部分道路。 這些分析結果在圖2中由元件203表示。取決於主要 視頻流的場景內容以及系統或用戶規格，主要視頻分析模 組可以檢測所關心多個目標、事件或區域或完全檢測不 到。 -12- 200818915 (9) 如果分析結果包含所關心目標、事件或區域’視頻析 取模組204可以用來從主要視頻流201中產生一或更多輔 助視頻流205以提供這些所關心目標、事件或區域的加強 圖像。另一例子爲藉由從主要視頻流之各個畫面析取圖像 塊，以產生包括感興趣視野的更小畫面。取決於組態或者 較佳用戶設定，輔助視頻流的圖像尺寸可以被固定或者基 $ 於目標尺寸而變化。與此類似，每一目標可以分別產生各 ^ 自輔助視頻流，或對某些目標產生固定數量的輔助視頻 流，例如違犯重要用戶規則的最重大的或次要的。如同主 要視頻流，這些輔助視頻流可以呈現許多形式，包括但不 限於，電腦記憶體或硬碟上的圖像資料。應注意輔助視頻 流的總數量可以被固定或者它可以取決於場景內容和用戶 設定而變化。 也應注意的是，可以使用且鏈結多個圖2中所描述之 處理。一析取模組所產生之輔助視頻流可以被傳至另一個 φ 分析模組，然後再傳至另一個析取模組等等。 • 圖3描述包含本發明實施例之視頻分析模組202的槪 ^ 念方塊圖。視頻流3 0 1描述連續視頻圖像，例如視頻相機 所產生的圖像，這些視頻圖像可以爲電纜線上的連續電信 號，例如以類比電視NTSC形式傳送的視頻、電腦的記憶 體或硬碟上的影像資料或者在任何其他圖像形式之中。此 視頻流可以描述一個區域的靜止景像，或它可以包括相機 的運動或時間變化。主要視頻流之影像中包含的可見區域 被稱爲它的視野。 -13- 200818915 (10) 視覺模組302描述一模組，例如處理輸入圖像資料， 如目標檢測、分類和追蹤。此模組可以包括擷取期間內視 頻相機運動之補償的演算法。這模組可以更進一步包括收 集追蹤目標和可見場景的統計資訊之演算法。取決於軟體 演算法，可以進行各種視覺模組的分析。如果相機校準資 料包含產生輸入影像的相機，則目標可以根據地圖或衛星 ^ 影像在空間中被定位出來。包括視覺模組的具體演算法可 φ 以根據應用而變化。例如，如果指定場景中的人爲目標， 之後視覺模組可以執行面部識別演算法以決定這些資訊。 推斷模組3 03描述處理視覺模組302的分析結果之模 組以指定滿足預定標準的目標、檢測所關心的事件或活動 或檢測場景中的感興趣的特別區域。所關心的標準、事件 和活動可以爲內建或是由用戶設定。此模組可以包括追蹤 目標之分析統計資訊的演算法，其可由視覺模組計算，也 可由模組計算場景的其他輔助資訊並且決定是否有效事件 φ 已經發生。此分析模組未發生在視頻本身，而是發生在基 ， 於視覺模組之更高階處理上。 分析結果3 04可以包含推斷模組所處理的視覺模組輸 出之所有檢測所關心經檢測目標、事件和/或區域的資 訊。 圖4描述包含本發明實施例之視覺模組3 02的槪念方 塊圖。如果輸入視頻流爲靜態影像，則圖4中的方塊圖所 顯示演算法就可以適用。此演算法的另一種例子可以適用 於當輸入視頻流爲動態影像，將在稍後描述。應注意的 -14- 200818915 (11) 是，本發明之實施例可以包含可處理多個輸入視頻流 個平行視覺模組或一內部可做平行處理以處理多個輸 頻流之單個視覺模組。 從輸入視頻流裝置輸入的畫面可以先被傳送至 40 1進行前景分割，其可以分析畫面並且檢測符合前 件的畫面區域。此模組部分可以分割暫存的影像爲背 * 前景區域。背景區域通常包括畫面中內容不常改變的 φ 區域；這樣的區域可以包括，例如靜止背景區域，如 牆和移動背景區域，例如飄動的樹或海洋的波浪。前 域包括具有動態和靜態目標的場景區域。這些可以包 例如行走的人們和移動的汽車，還有牆上新近修改 件，例如塗寫區域或道路上遺留的袋子。存在各種畫 割演算法用來區分前景和背景資料區域。運動檢測演 比較兩個或更多額外的畫面以檢測畫素改變。例如， 面區別技術。可以被使用A. Lipton· H、Fujiyoshi和 φ Patil的，”移動目標分類和即時視頻之追蹤“Proc. • WACV，98 ’ Princeton，NJ.1998，pp. 8-14 (之後释 ^ Lipton、Fujiyoshi和Patil“）。可是，這些演算法只 移動和與活動物件相關的畫素，並且會忽略其他類型 景畫素。例如，被遺留在場景內的袋子在成爲靜態 後，應該被視爲前景畫面。在此將改變檢測演算法以 尋找輸入畫面和某種背景模型，例如，場景模型406 的變化以辨認這些畫素。經過一段時間，一連串的畫 會被分析，並且增加一個背景模型以描述場景的正 之多 入視 模組 景物 景和 場景 大樓 景區 括， 的物 面分 算法 三畫 R.S. IEEE ，爲” 檢測 的前 畫面 試圖 之間 面將 常狀 -15- 200818915 (12) 態。當畫素顯示不同於此模型的行爲時，那麼他們就會被 指定爲前景。例如，可以使用隨機的背景建模技術，例如 動·自適應f生同景減除技術，Lipton、Fujiyoshi和Patil 在美國專利號6，954，498 (並且以下稱爲”‘498專利 “）。多種前景分割技術的結合也可產生更佳的結果。 前景分割模組40 1可以具有，，二進制大型物件化器 “402。二進制大型物件化器常常被用來聚合前景畫素4〇2 φ 成爲對應目標的集合大型物件。此區塊可以使用任何產生 大型物件的技術。例如，可以使用Lipton、Fujiyoshi和 Patil的方法。二進制大型物件化器402可以利用成爲聚 合前景大型物件之影像區域的資訊以更新場景模型406。 場景模型406也可以用來影響二進制大型物件化演算法， 例如藉由指定目標較小的區域。 經過二進制大型物件化器402處理後可以接著使用目 標追蹤模組403。此模組可以用來決定在場景內的大型物 φ 件如何對應於目標以及何時大型物件會被聚合成爲目標。 ， 典型目標追蹤演算法可以基於輸入大型物件和目前所知目 標以過濾並且預測目標之位置。追蹤技術的例子包括 Kalman濾波，CONDENSATION演算法，多個擬設Kalman 追蹤器（例如，如W.E.L.Grimson等描述，”使用自適應 性追蹤以分類和監視在一地點的活動“，CVPR，1 998，頁 22-29 )，以及’498專利描述的畫面間追蹤技術。如果場 景模型包含相機校準資訊，則模組403也可以分別計算一 個3 - D位置給每一目標。也可以使用美國專利申請號 -16- 200818915 (13) 1 0/705，8 96，2 003年1 1月13日申請，之後稱爲’896申請 案。此模組也可以收集其他關於目標的統計資訊，例如速 度、方向和是否他們在場景中。此模組也可以使用場景模 型406幫助它追蹤目標，和/或藉由相關目標之追蹤資訊 以更新此場景模型。 目標追蹤模組403之後可以接著目標分類模組404。 _ 此模組可以用來確定被追蹤目標之類型。目標可以是，例 φ 如人、車輛、動物或另一目標類型。可以使用許多技術以 進行分類，並且此技術的例子包括使用一個神經網路分類 器並且使用一個線性差異分類器，以下描述兩者技術，例 如，在 Collins、Lipton、Kanade、Fujiyoshi、Duggins、 Tsin、Tolliver、Enomoto 和 Hasegawa，”用於視頻監視和 監控之系統：VSAM最終報告，“技術報告CMU-RI-TR-00-12，機器人技術硏究所，卡內基大學，2000年5月。 此模組也可以使用場景模型406幫助它追蹤目標，和/或 φ 藉由相關目標之追蹤資訊以更新此場景模型406。 » 最後，基元產生模組405可以用來提供關於場景內容 的摘要統計資訊。藉由基元產生模組405產生的基元可以 包含向下串流推斷模組3 03需要的資訊。這些基元可以包 括視覺模組所見相關每一個目標的片斷資訊，例如尺寸、 位置、速度、顏色和質地。這些基元也可以包含從場景模 型406獲得的資訊，例如，目前的畫面的相機運動和場景 內檢測出的其他環境變化，基元產生處理的更詳細資料可 以在美國專利申請號09/987,707，2001年1 1月15曰申請 -17- 200818915 (14) (或是美國公開專利申請號 2005/0 146605 )，以下稱 爲”’707申請案“。 推斷模組303可以從視覺模組302收到包含基元摘要 統計之分析結果並加以處理以檢測出滿足一定標準的目 標、推斷何時所關心的事件會發生或者指定場景中感興趣 的區域。所關心目標可以包括過快或緩慢移動或顯示出其 * 他特性或行爲。所關心事件可以包括目標遺留的袋子、從 φ 場景中偷取某物的目標或在視頻中會發生的其他一般事 件。場景中感興趣的區域可以包括那些具有典型交通圖案 或特別視覺特性的區域。這些標準可以被用來作爲自動識 別，例如在系統組態期間或他們可被藉由某些界面由用戶 設定。推斷模組可以藉由一種方法作處理，例如’ 707申請 案中所描述的。 當所關心目標、事件和/或區域或者所關心區域被推 斷模組3 03檢測出時，推斷模組3 03可以通知和傳送全部 φ 相關資訊至視頻析取模組204。此通知可以包括所有資訊 、 關於目標在特別事件中的改變，例如，包括他們的位置、 方向和顯示。此通知也可以包括從視覺模組3 0 2收到關於 場景模型的最新資訊；例如’可以傳送目前在所關心目標 之背景區域中的資訊。 推斷模組3 03也可以維持目前感興趣有效目標的目錄 與上次被顯示的資訊。它可以週期性地傳送此資訊至析取 模組204以確定那每一個目標會被連續觀察一段時間，即 使目標沒有持續進行所關心事件。 -18- 200818915 (15) 視頻析取模組204可以用來從主要視頻輸入串流中產 生一或更多輔助視頻串流並且也可以產生選擇性視頻分析 結果。視頻析取模組204可以以軟體模組形態存在於電腦 可讀媒體中、嵌入硬體可執行軟體，例如，視頻相機或數 位視頻錄影機（DVRs )，或者專用硬體形式（例如，特 殊應用積體電路（ASIC )或可編程閘陣列（PGA )以實現 析取方法。視頻相機和數位視頻錄影機僅僅爲可以被嵌入 φ 析取模組的兩個例子。也可以嵌入視頻析取模組於多個裝 置上以處理視頻流。析取模組204可以使用視頻分析模組 2 02所使用的相同視頻流以建立輔助輸出串流，或者它可 以使用此視頻流的備份。儲存在電腦可讀取媒體與在電腦 上運作之析取模組204的例子中，主要視頻流可以以記憶 體視頻緩沖區形態存在，被嵌入硬體裝置中之析取模組 2 04的例子中，例如視頻相機，主要視頻流可以直接從相 機的電荷耦合裝置（CCD )陣列獲得。 φ 視頻析取模組204可以根據視頻相機、網路或者其他 - 視頻來源輸入主要視頻流和所關心的目標、事件和/或區 ^ 域的資訊，也就是由執行視頻分析模組202所獲得的視頻 分析處理方法以產生零個或更多個輔助視頻輸出。另外， 在模組預置階段或者在某些模組運作週期期間內，用戶可 以手動提供用戶喜好設定至視頻析取模組。應當注意的 是，典型析取模組204的實施例可以接受單一視頻來源作 爲主要視頻來源。不過，析取模組204可以接受多個視頻 來源，甚至是產生的輔助視頻輸出，作爲輸入，如以下討 -19- 200818915 (16) 論。以下討論包含怎樣從單一主要視頻流析取輔助視頻 流，然而對多個串流處理的方法也可適用。 建立輔助視頻流，視頻析取模組204可以接受主要視 頻流中感興趣之目標、事件和/或區域作爲輸入資料，如 分析模組之報告。輸入資料可以包含描述在主要視頻流中 之零或更多目標資訊。主要視頻來源之場景中物件、此物 ^ 件之動作和操作者手動或視頻監視系統完整提供的要求， 0 可以支配所關心目標的精確數量。此資訊描述主要視頻來 源之每一個所關心目標，包括但是不局限於，組成主要視 頻流中有關影像之描述位置的有限方框並且所關心目標之 尺寸、有關主要視頻流中描述所關心目標之χ-y位置軌跡 以及描述分析模組所提供之目標類型的分類。所關心之目 標的分類可以包括，但是不局限於，人或車輛。 視頻析取模組204可以不使用或者使用全部、部分的 分析結果資料以從主要視頻流中析取輔助視頻流。視頻析 φ 取模組204的實施例可以爲描述一或更多所關心之目標 . 的”最佳拍攝“視頻流之析取結果。在此實施例中，分析結 果可以包括爲一或更多有限方框和所關心目標的分類。已 知目標的最佳影像會根據它的類型變化，視頻析取模組會 基於目標的分類改變析取演算法。例如，人物分類的目標 之最佳拍攝可以爲清楚描述物件的臉之視頻流。在此例 中，視頻析取模組可以，例如，析取目標有限方框的1/7 於輔助視頻流。另一個實施例中，析取模組能接收到具有 車輛類型分類的所關心目標之分析結果。在此情況下，此 -20- 200818915 (17) 車輛類型目標的最佳拍攝爲包括圍繞目標牌照的區域’以 允許辨認車輛。對於此類目標來說，視頻析取模組可以使 用分析模組產生之目標的有限方框，以析取目標的正面區 域於輔助視頻流中。也可以使用其他析取最佳拍攝的技 術，例如’896申請案。 另一個視頻析取模組204的實施例可以包含較複雜之 決定區域的方法以根據所關心的目標資訊析取至輔助視頻 0 輸出。視頻分析模組202除可以提供分析結果203之外， 視頻析取模組204也可以從一個外部來源接收一組組態資 訊。此組態或校準，可以控制析取模組如何建立輔助視頻 流205。此校準資訊可以由用戶手動建立和在預置或模組 運作週期內提供至視頻析取模組204。或者，校準資訊可 以首次由用戶手動建立並且儲存至電腦可讀取媒體，使視 頻析取模組2 04可以使用一或更多此部分。藉由提供校準 資訊至視頻析取模組204，析取輔助視頻流205可以有更 φ 大的彈性。例如廣角視頻相機的主要視頻流20 1可監控一 • 條適中天橋上的行人。此種方式，視頻析取模組204可以 用來建立所關心目標的最佳拍攝視頻流。不過，在特殊例 子中，最佳拍攝可以根據目標的定向變化。明確地說，如 果所關心目標朝向提供主要視頻來源的相機視頻，最佳拍 攝可以爲顯示物件的臉之視頻流。不過，如果目標離開提 供主要視頻來源的相機視頻，物件的臉將不會在主要視頻 來源出現，並且最佳拍攝可以爲物件的寬角度影像。藉由 提供校準組態至視頻析取模組204，當目標朝向主要視頻 200818915 (18) 來源方向時，用戶可以控制析取模組204析取聚焦在目標 臉上的輔助串流205。當目標離開主要視頻來源方向時’ 視頻析取模組204可以使用同樣的校準組態以建立顯示關 於物件的更多細節，例如衣服和體型的輔助視頻流205。 在本發明之一實施例中，視頻分析模組202可以提供 具有特定解析度的主要視頻流201。視頻分析模組202可 _ 以處理具有此解析度的主要視頻流201和提供其結果203 $ 至視頻析取模組204，已配合使用相同解析度的系統。或 者，視頻分析模組202可以藉由正規化主要視頻流201之 畫素以選擇提供分析結果203至具有相對解析度之系統內 的視頻析取模組204。例如，視頻分析模組202可以從 3 20x24 0畫素的視頻相機接收到主要視頻流201。視頻分 析模組202可以處理相同畫素之主要視頻流201和提供其 至視頻析取模組204，此分析結果203將基於320x240畫 素解析度的絕對坐標系統。在此例中，視頻析取模組204 φ 可以使用具有絕對坐標値的分析結果203，以從320x240 - 畫素的主要視頻流201析取輔助視頻流205。或者，如果 視頻分析模組202選擇提供具有相對坐標系統的分析結果 203，析取模組204仍然可以使用此分析結果 203從 320x240畫素的主要視頻流201析取輔助視頻流205。在 此特別例子中，使用絕對坐標系統析取輔助視頻流2 0 5和 使用相對坐標系統析取輔助視頻流2 0 5對所關心目標來說 有可以是都適用，只要被析取的主要視頻流201的畫素皆 相同。 -22- 200818915 (19) 在本發明之一實施例中，主要視頻流2 0 1可以使用一 特定局解析度格式。爲了達到最佳化，在對所關心目標、 事件檢測和轉換場景之視頻流處理之前，視頻分析模組 2〇2可選擇將主要視頻流201降頻取樣成爲低解析度。例 如，640x480畫素相機產生之主要視頻流20 1的視頻。爲 了使進行分析之裝置的資源達到最佳化，視頻分析模組 ‘ 202可以將640x480視頻在進行分析過程之前，降頻爲低 φ 320x240畫素。在此例中，視頻析取模組204可以在一相 對座標系統中接收分析結果203，其中視頻分析模組202 將目標資訊正規化，在降頻之前，在一坐標系統中將其調 整爲主要視頻流201相同的畫素，例如640x480，或者， 在降頻之後，在一坐標系統中將其調整爲主要視頻流201 相同的畫素，例如320x240。 不管分析結果現下如何被提供至視頻析取模組204, 都可以使用未被更改的主要視頻流20 1或者降頻取樣視頻 φ 流兩者中的任一個以用於析取輔助視頻流205。例如，假 ^ 定視頻分析模組202已經在降頻取樣視頻流中檢測到感興 趣的目標。基於降頻取樣視頻流爲32 0x2 40解析度，視頻 分析模組202提供10x30解析度之目標至視頻析取模組 204。在此例子中，視頻析取模組204可以從降頻取樣視 頻流析取圍繞感興趣的目標之區域從並且從10x30子區域 產生輔助視頻流2 0 5。不過，如果特殊實施例需要更詳細 的水平，視頻析取模組204可以選擇使用未被更改的主要 視頻流201以析取高品質輔助視頻流205 °這樣的話’用 -23- 200818915 (20) 來獲得一有效尺寸之區域的析取模組204，可析取感興趣 的目標之周遭的一 20x60子區域，因此可提供物件更詳細 影像。 視頻析取輸入資料也可以包含視頻分析模組202當時 _ 檢測所關心事件之資訊。例如，視頻分析模組202可以檢 測一個被留在場景內之物件。這樣的話，在新近插入的物 件周遭可以沒有任何移動目標，但最好是有被析取輔助視 φ 頻流顯示這個新物件。基於被插入物件之資訊，如位置和 尺寸，析取模組204可以對它析取輔助視頻流205。另一 個所關心的例子爲在多數目標之間的某種相互作用，例 如，兩人彼此錯過。這樣的話，最好有一單輔助視頻流 205包含兩個所關心的目標。基於視頻分析模組202所檢 測的事件資訊報告，視頻析取模組204可以產生輔助視頻 流20 5，包含所有有關目標，而不是只有一個。 視頻析取輸入資料也可以包含場景內所關心直域之資 % 訊，例如，異常交通的道路部分。析取模組204可以使用 ^ 輸入視頻流20 1的影像資訊，例如區域位置和範圍的描 ” 述，產生輔助視頻流205。基於所關心目標的上述相似析 取技術，也可以用於這些所關心的事件或區域。 圖5描述包含本發明實施例之具有”有效工作追蹤“模 組的另一槪念方塊圖。此實施例中，因爲主要視頻流5 0 1 最初被用來起始感興趣目標之輔助視頻流5 05的”工作“， 以及那目標會藉由輔助視頻流505的重複處理被積極地追 蹤，因此被稱爲”有效工作追蹤“。 -24- 200818915 (21) 圖3中的元件501、502和5 03相當於圖2中的201、 202和2 03元件。在本發明實施例之有效工作追蹤裡，最 初會使用視頻分析演算法分析主要視頻流501以決定所關 心的目標。當最初檢測到一新目標、事件或所關心的區域 時，視頻析取模組5 04最初會析取描述包含實際視野之目 標、事件或區域的相關輔助視頻流。此處理類似於，，領先_ * 後接“的實施例。 φ 任何從主要視頻流501藉由視頻析取以析取輔助視頻 流5 05可以之後被第二視頻分析模組506處理。此模組在 功能上相似於圖2的均等物202，除了其可以被用於處理 一經析取之輔助視頻流5 05而不是主要視頻流501。例 如，考慮視野裡出現一移動目標的主要視頻流50 1。主要 視頻分析5 02可以用來處理這主要視頻流5 0 1和檢測目 標，並且視頻析取504可以用來產生輔助視頻流505，至 少部分基於來自主要視頻分析模組5 02之分析結果5 03， 0 其可以提供更詳細或加強的目標影像。可以使用輔助視頻 - 分析模組506處理此輔助視頻流505以繼續檢測並且追蹤 目標。藉由視頻析取504產生的每一個輔助視頻流5 05被 可以被獨立處理，藉由多數輔助視頻流5 05可以允許多數 目標同時被觀看。 在此處理之後，描述目標、事件，和/或所關心的區 域之分析結果507可以繼續產生並且可以，再次，包含相 關目標、事件和/或所關心的區域之速度、尺寸、位置和/ 或另一個特性的資訊。此資訊可以被歸類於被檢測到輔助 -25- 200818915 (22) 視頻流5 05之所關心元件的特性，或者可以相關於原先的 主要視頻流501之內容。 目標資訊可以之後被回饋至視頻析取模組5 04。此模 組最初基於主要視頻分析模組502所檢測到的所關心項目 之主要視頻流501析取輔助視頻流505。藉由回饋輔助視 頻分析模組5 06所檢測的分析結果以作用此輔助視頻流 ' 505，所關心項目的連續追蹤可以被繼續而不用另外處理 m 主要視頻流5 0 1。以這種方法，目標、事件、所關心區域 的追蹤會變得”有效“，如輔助視頻流5 05的視野析取可以 根據自己的內容加以調整。 任何視頻析取模組504析取的輔助視頻流505可以被 傳至輔助視頻分析模組506。此模組之功能相似於如上面 描述的主要視頻分析模組5 02，並且它可以由圖3中描述 之方塊圖表示。不過，此輔助視頻分析模組506可以在它 的視覺和推斷模組中使用不同的演算法。 φ 因爲輔助視頻分析模組506處理的視頻流可以被連結 - 至場景中移動的感興趣目標，模組處理的視頻內容可以描 述移動的視野。跟隨移動目標的輔助視頻流5 0 5之焦點可 以與移動目標一起移動。在這樣的情況下，在上述圖4中 視覺模組3 02 (輔助視頻分析模組5 06的一部分）使用的 演算法是不足的。 圖6描述包含本發明實施例之視覺模組3 02之槪念方 塊圖，輔助視頻分析模組506可使用視覺模組3 02以有效 追蹤目標。此視覺模組之組態有能力處理連續視頻中移動 -26- 200818915 (23) 的視野以連續追蹤有效目標。圖6描述可以用於此目的演 算法例子；其他演算法也可以被使用。如上述圖4的槪念 方塊圖中的那樣，視覺模組可以用來處理輸入視頻並且產 生描述視頻內容的摘要統計。爲了在輔助視頻流505中保 持感興趣移動目標的詳細影像，析取模組5 04可以，例如 總是析取一大影像以保持目標位於相機影像的中心。圖6 * 顯示視覺模組之一實施例，當視野輔助視頻流5 05正被改 φ 變時，使用模板匹配連續追蹤目標。目前追蹤目標的資訊 可以初始化此實施例，如利用主要分析模組5 02所產生之 報告。 模組60 1可以執行場景運動估計而且可以嘗試發現被 追蹤的相機運動和目標的運動。相機運動估計一般可以包 括分析輸入畫面以決定當相機或影像被產生時，如何移 動。因爲從主要視頻流 501中被析取的輔助視頻流 505 可以被視頻析取模組 504產生，也可以知道他們之間關 φ 係的資訊。視頻析取模組 5 04可以記錄或者輸出在每個 - 主要視頻中每個輔助視頻畫面的來源位置，和此訊息可用 _ 於導出畫面之間的相關運動。然而，根據系統的一特別實 施例，此訊息無法被提供，或者它會產生一些延遲使即時 應用程式無法被使用。因爲這一個理由，必須要估計在輔 助視頻流5 0 5的內容上獨立畫面之間的相關相機運動。 許多最新的運算法都具有相機運動估計。此技術在美 國專利號6,738,424中描述。應注意的是，模組601也可 以利用場景模型408，如果它是可用的。許多普通技術利 -27- 200818915 (24) 用場景模型，如背景裝飾，來輔助相機運動的 技術爲在美國專利申請號1 1 /222,223中描j 2005年九月9日，以下稱爲“’223申請案“。 在缺點是當被分析的場景主要由靜止背景組成 們是有效的。當處理從主要視頻流5 0 5析取出 流5 0 5時，它是假設大部份主要被追蹤的目標 視頻流5 0 5中而不是在主要視頻流5 0 1中的場 φ 會遺留少數的可區別的背景特徵，這通常是典 估計演算法的主要輸入之一。因此，也需要相 之技術辨識被追蹤目標的運動。一般方式是使 術在場景中觀察一些或所有的畫素運動。主要 相機運動；第二大的通常是目標運動。另一; 於’896申請案。場景模型605可以被使用爲起 估計；當開始處理輔助視頻流505時，目標所 域之訊息會被知道。舉例來說，包含在目標後 φ 域有關資訊的背景裝飾區塊可以被用於輔助 ^ 計。因此，場景模型605可以在主要分析模組 出或者可以是如同場景模型406的一般模型。 當相機運動已經被決定後，之後在連續畫 係會被知道。此關係可以被描述於相機投射模 仿射或透視投射。來自移動輔助視頻流5 05之 面稍後會被彼此暫存，以便決定在場景（如前 動物件）中的差異，而不受相機運動的影響。 以被暫存於相機運動補償模組602中。連續的 估計。另一 !，申請曰 這些技術潛 的時候，他 的輔助視頻 將構成輔助 景。因此， 型相機運動 機運動估計 用光通量技 運動通常是 支術被描述 始設定運動 在的場景區 面之背景區 陌機運動估 502中被導 面之間的關 型中，例如 輸入視頻畫 景畫素或移 畫面一般可 畫面可以彼 -28- 200818915 (25) 此被暫存或可以被暫存至場景模型605中，例如背景裝 飾。’223申請案中也描述了此場景模型技術。 經校正畫面之後可以傳送至前景分割模組603，可以 分析畫面而且可以檢測符合前景物件畫面的區域。使用的 演算法可以與在上述的實施例中之元件40 1類似。應注意 的是，因爲在先前的步驟中，場景模型608可以被使用來 | 輔助此處理。也注意到，由於集中在前景物件場景中之可 φ 見背景畫素的數目減少，前景分割模組有可能並不如在先 前討論的實施例中一樣精確。因此，來自前景分割模組 603的前景畫素輸出可以僅僅形成一輸入被傳送至模版匹 配模組607。 影像特徵檢測模組604可以檢測輔助視頻影像中的特 徵以提供在每個畫面中移動目標的位置。舉例來說，邊緣 或材質片段可以在目標之預測區域附近被檢測到。另外， 強度或彩色分布圖可以從場景中的區域被析取。包含被追 φ 蹤目標的外表和運動特性之現有模型的目標模型606可以 - 用於設定影像特徵檢測模組604的演算法。當開始析取輔 _ 助視頻流時，目標模型606的設定初値可以使用來自最後 目標的已知顯示訊息。 模版匹配模組607可以執行模版匹配而且可以被使用 爲識別在移動輔助視頻流505的輸入畫面中被追蹤目標的 位置。它可以使用多種資訊，包括模組60 1的目標運動輸 出、模組603的前景分割輸出及/或模組604的影像特徵 輸出。其他可計算特徵也可以被使用爲可描述被追蹤目標 -29- 200818915 (26) 的現有顯示的模版。目標模型606可以包含被追蹤目標的 外表和運動特性之現有模型；此模型可以被使用還匹配影 像的不同區域以檢測目標位置。’8 96申請案中所描述之技 術可以量化不同特徵以計算最佳匹配。理想狀況中，不同 相機運動是明顯的，而且在目標外表的變化也會被使用； 然而’本發明並非只可應用於此方式。當目標已經於最近 影像中被定位，可以更新目標模型606以包含關於目標的 0 更新資訊。 最後，基元產生模組608可以同樣地操作於對應基元 產生模組405。當目標在視野區域中出現時，它可以基於 一或更多先前模組之計算訊產生有關被追蹤目標之摘要統 計。 在本發明之有效追蹤實施例中，主要視頻分析模組 502的推斷模組元件3 03可以同樣地操作於上述”領先-後 接“方法的實施例中。在輔助視頻分析元件506中之推斷 φ 模組3 03可以具有識別不同於主要視頻分析元件5 02中推 • 斷模組3 03中之目標、事件或區域的標準。舉例來說，只 _ 要它保持在視域中，輔助視頻分析元件5 06的推斷模組 3 〇3可以嘗試連續地報告重要目標之位置。上述其他類型 的標準也可以被使用。 在本發明之另一有效追蹤實施例中，析取模組5 04可 以同樣地操作於上述”領先-後接“方法的實施例中。應注 意的是，析取模組504可以對於在主要視頻流50 1中被檢 測到的重要目標、動作或區域同時地析取新的輔助視頻流 -30- 200818915 (27) 505，同時連續地析取輔助視頻流505中先前檢測到在輔 助視頻流505中被追蹤之重要目標、事件或區域。 圖7描述包含本發明實施例之具有”掃描有效追蹤“之 不同模組的另一槪念方塊圖。此實施例通常可以與有效追 蹤實施例的後半部相同，但是它可以用一種不同方法設定 輔助視頻流7 0 3之起始値。在這實施例中所有模組皆具有 先前實施例中後半部的相同元件，除了主要視頻分析模組 φ 會對主要視頻流7〇 1作處理以決定場景中之起始目標、事 件及/或區域。 因爲沒有主要視頻分析模組以檢測場景中之起始目 標、事件及/或區域，使得視頻析取模組702可以產生輔 助視頻流703，必須有其他機制驅動起始串流的產生。在 此實施例中，視頻析取模組702可基於主要視頻流701中 的預先定義之區域被配置爲自動地產生輔助視頻流703。 舉例來說，視頻析取模組702可以自主要視頻流70 1中預 φ 先定義的位置和預先定義的大小以析取十個輔助視頻流 - 7〇3。或，如另一個例子，它可以用光柵方式在主要視頻 • 流70 1的視野區域中來回地”掃瞄“一個比較小的經析取第 二視頻流703以發現重要目標。在此兩者的情況中，如果 輔助視頻流703之處理個發現一個重要目標、事件及/或 區域，輔助視頻流703可以被調整爲追蹤重要元件，或產 生另外一個輔助視頻流703。這可以由操作一或更多輔助 視頻流703之視頻分析模組704所產生的分析結果705確 定。視頻分析模組704可以類似於先前實施例中的輔助視 -31 - 200818915 (28) 頻分析模組506。如果另外一個輔助視頻流703被產生， 那麼原來在預先定義位置或掃瞄方式中之輔助視頻流703 可以被繼續或可以被停止。 一些本發明之實施例，如以上之討論，可以在一個機 器可讀取媒介中以軟體操作形式被具體執行。如圖8中所 述之實施例。圖8的電腦系統可以至少包括一處理器8 02 • 和相關系統記憶體80 1，可以儲存作業系統之軟體等等。 φ 系統可以更進一步包括額外記憶體803，例如包括軟體指 令以執行各種不同的應用程式。系統也可以包括一或更多 的輸入/輸出裝置804，舉例來說（但是不限於）鍵盤、滑 鼠軌跡球、列表機、顯示裝置、網路連接等等。本發明可 以爲在系統記憶體801或額外記憶體803中被儲存的軟體 指令。此軟體指令也可以儲存在可移動的或者遠端的媒 體，（舉例來說，但是不限於光碟、軟式磁碟等等），可 以藉由輸入/輸出裝置804 (舉例來說，但是不限於，軟式 φ 磁碟磁碟機）讀入。此外，軟體指令也可以在藉由輸入/ 胃 輸出裝置8 04被傳送至電腦系統、網路；在此例中，一個 包含軟體指令的訊號可以被視爲一個機器可讀取媒介。 在此已經詳細地描述本發明之有關各種不同實施例， 而且熟知此藝人士可以在未背離本發明之範圍內，對本發 明作改變和修改。因此，本發明應由附加申請專利範圍定 義，並且包含本發明之真實精神所有的改變和修改。 【圖式簡單說明】 -32- 200818915 (29) 本發明的具體實施例將在附圖中被更進一步的描述， 其中： 圖1 A-1 C描述本發明實施例之槪念，顯示視頻場景的 主要和輔助視頻流； ^ 圖2描述包含本發明實施例之具有，，領先-後接”模組 的另一槪念的方塊圖； 圖3描述包含本發明實施例之視頻分析模組的槪念方 塊圖； 圖4描述包含本發明實施例之視覺模組的槪念方塊 圖； 圖5描述包含本發明實施例之具有”有效工作追蹤”模 組的另一槪念方塊圖； 圖6描述包含本發明實施例之被配置爲主動追蹤目標 的視覺模組之槪念方塊圖； 圖7描述包含本發明實施例之具有”掃描有效追蹤”模 φ 組的另一槪念方塊圖；並且 * 圖8描述包含本發明實施例之使用電腦系統的槪念方 塊圖。 【主要元件符號說明】 1 〇 1 :主要監視視頻流 102 :子畫面 103 :子畫面 104 :輔助視頻流 -33- 200818915 (30) 105 ： 輔助視頻輸出 201 ： 主要視頻流 202 ： 視頻分析模組 203 ： 分析結果 204 ： 視頻析取模組 205 ： 輔助視頻流 % 301 ： 視頻流 • 3 02 ： 視覺模組 3 03 ： 推斷模組 304 ： 分析結果 40 1 ： 前景分割模組 402 ： 二進制大型物件化 403 ： 目標追蹤模組 404 ： 目標分類模組 405 ： 基元產生模組 • 406 ： 場景模型 . 501 ： 主要視頻流 502 ： 視頻分析模組 503 ： 分析結果 5 04 ： 視頻析取模組 5 05 ： 輔助視頻流 506 ： 輔助視頻分析模組 5 07 ： 分析結果 601 :模組 200818915 (31) 602 :相機運動補償模組 603 :前景分割模組 604 :影像特徵檢測模組 605 :場景模型 6 0 6 :目標模型 607 :模版匹配模組 608 :基元產生模組 φ 701 :主要視頻流 702 :視頻析取模組 703 :輔助視頻流 704 :視頻分析模組 705 :分析結果 801 :系統記憶體 802 :處理器 8 03 :記憶體 804:輸入/輸出裝置

Claims (1)

1. 200818915 ⑴ 十、申請專利範圍 1 · 一種基於輸入之主要視頻流而自動產生至少一輔助 視頻流的方法，包含： 對該主要視頻流執行視頻分析，以產生一或更多分析 ^ 結果’該一或更多分析結果包括有關由目標、事件、和所 關心區域所組成之群組中所選出之至少一單元的資訊；並 * 且 φ 基於該一或更多分析結果，從該主要視頻流中，自動 析取至少一輔助視頻流，其中該輔助視頻流之視野小於或 者等於該主要視頻流的視野。 2·如申請專利範圍第1項所述之方法，其中該執行視 頻分析包含： 將該主要視頻流施加至視覺模組；並且 將獲得自該視覺模組的結果施加至推斷模組。 3.如申請專利範圍第2項所述之方法，其中該將該主 φ 要視頻流施加至視覺模組包含： * 執行目標檢測。 . 4.如申請專利範圍第3項所述之方法，其中該將該主 要視頻流施加至視覺模組更包含： 執行由分類至少一目標和追蹤至少一目標所組成之群 組中所選出之至少一操作。 5.如申請專利範圍第2項所述之方法，其中該將該主 要視頻流施加至視覺模組包含： 執行相機運動補償。 -36- 200818915 (2) 6. 如申請專利範圍第2項所述之方法，其中該將該主 要視頻流施加至視覺模組包含： 在該主要視頻流中辨認一或更多前景部分； 將該一或更多前景部分組合爲一或更多目標；並且 ^ 產生至少一視頻基元，該視頻基元描述該一或更多目 標之至少一者的至少一特性。 7. 如申請專利範圍第6項所述之方法，其中該將該主 φ 要視頻流施加至視覺模組更包含： 追蹤該一或更多目標；並且 分類該一或更多目標。 8 .如申請專利範圍第2項所述之方法，其中該將獲得 自該視覺模組的結果施加至推斷模組包含： 將至少一規則施加至獲得自該視覺模組的該等結果， 該至少一規則係由目標標準、事件標準、和所關心區域標 準所組成之群組中所選出。 φ 9.如申請專利範圍第8項所述之方法，其中該將獲得 . 自該視覺模組的結果施加至推斷模組更包含： _ 維持一或更多目前有效的所關心目標之列表。 1 〇.如申請專利範圍第1項所述之方法，其中該自動 析取包含： 析取包括一或更多所關心目標之最佳拍攝視頻流。 U.如申請專利範圍第1項所述之方法，其中該自動 析取包含： 接收用於決定如何析取至少一輔助視頻流之組態資 -37- 200818915 ⑶ 訊。 1 2 ·如申請專利範圍第1項所述之方法，苴& #中該自動 析取包含： 操作於該主要視頻流之降低取樣版本，以析取出由以 下所組成之群組中所選出之輔助視頻流： 自該主要視頻流析取出的輔助視頻流；以及 自該主要視頻流之該降低取樣版本析取出的輔助視頻 流。 1 3 · —種含有軟體碼之電腦可讀取媒體，當被處理器 執行時’執行如申請專利範圍第1項所述之方法。 1 4 . 一種基於輸入之主要視頻流而自動產生至少一輔 助視頻流的設備，包含： 視頻分析模組，操作於該主要視頻流，以產生一或更 多分析結果，該一或更多分析結果包括有關由目標、事 件、和所關心區域所組成之群組中所選出之至少一單元的 資訊；以及 視頻析取模組，基於該一或更多分析結果，從該主要 視頻流中，自動析取至少一輔助視頻流，其中該輔助視頻 流之視野小於或者等於該主要視頻流的視野。 1 5 ·如申請專利範圍第1 4項所述之設備，其中該視頻 分析模組包含= 視覺模組；以及 推斷模組，以接收來自該視覺模組的結果。 16·如申請專利範圍第15項所述之設備，其中該視覺 -38- 200818915 (4) 模組包含= 分割模組； 二進制大型物件化器；以及 基元產生模組。 1 7 .如申請專利範圍第1 6項所述之設備，其中該視覺 模組更包含： 目標追蹤模組；以及 φ 目標分類模組。 1 8 ·如申請專利範圍第1 4項所述之設備，其中該等模 組之至少一者包含至少一裝置，以實現該等模組之該至少 一者的至少一部分功能，該裝置由以下所組成之群組中選 出：專用硬體裝置和可編程硬體裝置。 1 9 · 一種基於輸入之主要視頻流而自動產生至少一輔 助視頻流的方法，包含： 對該主要視頻流執行第一視頻分析，以產生一或更多 φ 第一分析結果，該一或更多第一分析結果包括有關由目 _ 標、事件、和所關心區域所組成之群組中所選出之至少一 ^ 單元的資訊； 基於該一或更多第一分析結果，從該主要視頻流中， 自動析取至少一輔助視頻流，其中該輔助視頻流之視野小 於或者等於該主要視頻流的視野； 對該至少一輔助視頻流執行第二視頻分析，以提供一 或更多第二分析結果；並且 回饋該一或更多第二分析結果，使得該自動析取至少 -39- 200818915 (5) 一輔助視頻流係進一步基於該一或更多第二分析結果。 20.如申請專利範圍第19項所述之方法，其中該執行 第一視頻分析包含： 將該主要視頻流施加至第一視覺模組；並且 ^ 將獲得自該第一視覺模組的結果施加至第一推斷模 組。 2 1·如申請專利範圍第20項所述之方法，其中該將該 φ 主要視頻流施加至第一視覺模組包含： 執行目標檢測。 22·如申請專利範圍第21項所述之方法，其中該將該 主要視頻流施加至第一視覺模組包含： 由執行目標分類和執行目標追蹤所組成之群組中所選 出之至少一操作。 23·如申請專利範圍第20項所述之方法，其中該將該 ±要視頻流施加至第一視覺模組包含： 參 執行相機運動補償。 * 24·如申請專利範圍第20項所述之方法，其中該將該 . $要視頻流施加至第一視覺模組包含： 在該主要視頻流中辨認一或更多前景部分； 將該一或更多前景部分組合爲一或更多目標；並且 產生至少一視頻基元，該視頻基元描述該一或更多目 標之至少〜者的至少一特性。 25·如申請專利範圍第24項所述之方法，其中該將該 主要視頻流施加至第一視覺模組更包含： -40- 200818915 (6) 追蹤該一或更多目標；並且 分類該一或更多目標。 2 6.如申請專利範圍第20項所述之方法，其中該將該 第一視覺模組的結果施加至該第一推斷模組包含： 將至少一規則施加至獲得自該第一視覺模組的該等結 果，該至少一規則係由目標標準、事件標準、和所關心區 / 域標準所組成之群組中所選出。 • 2 7 ·如申請專利範圍第2 6項所述之方法，其中該將該 第一視覺模組的結果施加至該第一推斷模組更包含： 維持一或更多目前有效的所關心目標之列表。 2 8 ·如申請專利範圍第1 9項所述之方法，其中該對該 至少一輔助視頻流執行第二視頻分析包含： 將該至少一輔助視頻流施加至第二視覺模組；以及 將獲得自該第二視覺模組的結果施加至第二推斷模 φ 29·如申請專利範圍第28項所述之方法，其中該將該 . 至少一輔助視頻流施加至第二視覺模組包含： 估算該至少一輔助視頻流中的場景運動； 在該至少一輔助視頻流上執行相機運動補償，以提供 至少一經補償之輔助視頻流； 辨認該至少一經補償之輔助視頻流之一或更多前景部 分； 在該至少一經補償之輔助視頻流中，辨認至少一目標 的至少一位置；並且 -41 - 200818915 (7) 產生有關該至少一目標的至少一視頻基元。 30.如申請專利範圍第29項所述之方法，其中該辨認 至少一位置包含： 使用關於至少一目標之資訊執行模版匹配操作。 3 1 .如申請專利範圍第3 0項所述之方法，其中該將該 至少一輔助視頻流施加至第二視覺模組更包含： ^ 在該至少一輔助視頻流中檢測至少一影像特徵；並且 0 其中該執行模版匹配操作係使用該至少一影像特徵。 3 2 .如申請專利範圍第3 0項所述之方法，其中該執行 模版匹配操作係使用至少一經儲存之目標模型。 33.如申請專利範圍第32項所述之方法，其中該執行 模版匹配操作更包含： 提供資訊以更新該至少一經儲存之目標模型。 3 4 .如申請專利範圍第1 9項所述之方法，其中該自動 析取包含： φ 析取包括一或更多所關心目標之最佳拍攝視頻流。 、 3 5 .如申請專利範圍第1 9項所述之方法，其中該自動 析取包含： 接收用於決定如何析取至少一輔助視頻流之組態資 訊。 3 6 .如申請專利範圍第1 9項所述之方法，其中該自動 析取包含： 操作於該主要視頻流之降低取樣版本，以析取出由以 下所組成之群組中所選出之輔助視頻流： -42- 200818915 (8) 自該主要視頻流析取出的輔助視頻流；以及 自該主要視頻流之該降低取樣版本析取出的輔 流。 3 7.—種含有軟體碼之電腦可讀取媒體，當被 執行時，導致該處理器執行如申請專利範圍第i 9 之方法。 ^ 3 8 · —種基於輸入之主要視頻流而自動產生至 ^ 助視頻流的設備，包含： 第一視頻分析模組，操作於該主要視頻流，以 或更多第一分析結果，該一或更多第一分析結果包 由目標、事件、和所關心區域所組成之群組中所選 少一單元的資訊； 視頻析取模組，基於該一或更多第一分析結果 主要視頻流中，自動產生至少一輔助視頻流，其中 視頻流之視野小於或者等於該主要視頻流的視野；， φ 第二視頻分析模組，操作於該至少一輔助視頻 . 提供一或更多第二分析結果，並且回饋該一或更多 析結果至該視頻析取模組； 其中藉由該視頻析取模組析取該至少一輔助視 進一步基於該一或更多第二分析結果。 39.如申請專利範圍第38項所述之設備，其中 視頻分析模組包含： 第一視覺模組；以及 第一推斷模組，以接收來自該第一視覺模組的 助視頻 處理器 項所述 少一輔 產生一 括有關 出之至 ，從該 該輔助 认及 流，以 第二分 頻流係 該第一 結果。 -43- 200818915 (9) 4 0 ·如申請專利範圍第3 9項所述之設備，其中該第一 視覺模組包含： 第一分割模組； 二進制大型物件化器；以及 第一基元產生模組。 41.如申請專利範圍第40項所述之設備，其中該第一 ^ 視覺模組更包含= ^ 目標追蹤模組；以及 目標分類模組。 42·如申請專利範圍第38項所述之設備，其中該第二 視頻分析模組包含： 第二視覺模組；以及 第二推斷模組，以接收來自該第二視覺模組的結果。 43.如申請專利範圍第42項所述之設備，其中該第二 視覺模組包含： φ 場景運動估算模組，估算該至少一輔助視頻流中的場 « 景運動； 相機運動補償模組，操作於該至少一輔助視頻流，以 產生至少一經補償之輔助視頻流； 第二分割模組，辨認至少一經補償之輔助視頻流中的 至少一前景部分； 目標辨認模組，基於該至少一前景部分，決定至少— 經補償之輔助視頻流中的至少一目標的位置；以及 第二基元產生模組，產生一或更多視頻基元。 -44- 200818915 (10)

   44·如申請專利範圍第43項所述之設備’其中該目標 辨認模組包含： 模版匹配模組。 45·如申請專利範圍第44項所述之設備’其中該第一 視覺模組更包含： 影像特徵檢測模組，自該至少一輔助視頻流中檢測至 少一影像特徵，並且提供該至少一影像特徵至該模版匹配 模組。 4 6.如申請專利範圍第44項所述之設備’其中該第二 視覺模組更包含： 存儲裝置，儲存至少一目標模型，其中該存儲裝置耦 接於該模版匹配模組，以彼此傳輸該至少一目標模型。 47·如申請專利範圍第38項所述之設備，其中該等模 組之至少一者包含至少一裝置，以實現該等模組之該至少 一者的至少一部分功能，該裝置由以下所組成之群組中選 出：專用硬體裝置和可編程硬體裝置。 4 8 . —種基於輸入之主要視頻流而自動產生至少一輔 助視頻流的方法，包含： 從該主要視頻流中 自動析取至少一輔助視頻流，其 中該輔助視頻流之視野小於$ 野； 者等於該主要視頻流的視 對該至少一輔助視頻流執行視頻分析 多分析結果；並且 以提供一或更 回饋該一或更多分析結皐 使得該自動析取至少一輔 '45- 200818915 (11) 助視頻流係至少部分基於該一或更多第二分析結果。 49. 如申請專利範圍第48項所述之方法，其中該自動 析取包含： 基於用於產生一或更多輔助視頻流之預定方案，從該 主要視頻流中起始地自動析取一或更多輔助視頻流。 50. 如申請專利範圍第49項所述之方法，其中該起始 地自動析取包含由以下所組成之群組中選出的技術： φ 對應於在該主要視頻流中的預定區域，產生該一或更 多輔助視頻流；並且 產生掃描穿過至少部分在該主要視頻流中的該區域之 至少一輔助視頻流。 5 1·如申請專利範圍第48項所述之方法，其中該對該 Μ少一輔助視頻流執行視頻分析包含： 將該至少一輔助視頻流施加至視覺模組；以及 將獲得自該視覺模組的結果施加至推斷模組。 • 52·如申請專利範圍第51項所述之方法，其中該將該 _ $少一輔助視頻流施加至視覺模組包含： . 估算該至少一輔助視頻流的場景運動； 在該至少一輔助視頻流上執行相機運動補償，以提供 至少一經補償之輔助視頻流； 辨認該至少一經補償之輔助視頻流之一或更多前景部 分； 在該至少一經補償之輔助視頻流中，辨認至少一目標 的至少一位置；並且 -46- 200818915 (12) 產生有關該至少一目標之至少一視頻基元。 53.如申請專利範圍第52項所述之方法，其中該辨認 至少一位置包含： 使用關於至少一目標之資訊執行模版匹配操作。 54·如申請專利範圍第53項所述之方法，其中該將該 至少一輔助視頻流施加至視覺模組更包含： * 在該至少一輔助視頻流中檢測至少一影像特徵；並且 φ 其中該執行模版匹配操作係使用該至少一影像特徵。 5 5·如申請專利範圍第53項所述之方法，其中該執行 模版匹配操作係使用至少一經儲存之目標模型。 5 6 ·如申請專利範圍第5 5項所述之方法，其中該執行 模版匹配操作更包含： 提供資訊以更新該至少一經儲存之目標模型。 57.如申請專利範圍第48項所述之方法，其中該自動 析取包含： φ 析取包括一或更多所關心目標之最佳拍攝視頻流。 . 5 8 ·如申請專利範圍第4 8項所述之方法，其中該自動 析取包含： 接收用於決定如何析取至少一輔助視頻流之組態資 訊。 59.如申請專利範圍第48項所述之方法，其中該自動 析取包含： 操作於該主要視頻流之降低取樣版本’以析取出由以 下所組成之群組中所選出之輔助視頻流： -47- (13) (13)200818915 自該主要視頻流析取出的輔助視頻流；以及 自該主要視頻流之該降低取樣版本析取出的輔助視頻 流。 6 0 · —種含有軟體碼之電腦可讀取媒體，當被處理器 執行時，導致該處理器執行如申請專利範圍第4 8項所述 之方法。 61. —種基於輸入之主要視頻流而自動產生至少一輔 助視頻流的設備，包含： 視頻析取模組，從該主要視頻流中，自動產生至少一 輔助視頻流，其中該輔助視頻流之視野小於或者等於該主 要視頻流的視野；以及 視頻分析模組，操作於該至少一輔助視頻流，以提供 一或更多分析結果，和回饋該一或更多第二分析結果至該 視頻析取模組； 其中藉由該視頻析取模組析取該至少一輔助視頻流係 進一步基於該一或更多分析結果。 62. 如申請專利範圍第61項所述之設備，其中該視頻 分析模組包含： 視覺模組；以及 推斷模組，以接收來自該視覺模組的結果。 63·如申請專利範圍第62項所述之設備，其中該視覺 模組包含： 場景運動估算模組，估算該至少一輔助視頻流的場景 運動； • 48 - 200818915 (14) 相機運動補償模組，操作於該至少一輔助視頻流’以 產生至少一經補償之輔助視頻流； 分割模組，辨認至少一經補償之輔助視頻流中的至少 一前景部分； 目標辨認模組，基於該至少一前景部分’決定至少一 經補償之輔助視頻流中的至少一目標的位置；以及 ^ 基元產生模組，產生一或更多視頻基元° 0 64.如申請專利範圍第6 3項所述之設備’其中該目標 辨認模組包含： 模版匹配模組。 6 5 .如申請專利範圍第6 4項所述之設備’其中該視覺 模組更包含： 影像特徵檢測模組，自該至少一輔助視頻流中檢測至 少一影像特徵，並且提供該至少一影像特徵至該模版匹配 模組。 φ 66.如申請專利範圍第64項所述之設備，其中該視覺 . 模組更包含： 存儲裝置，儲存至少一目標模型，其中該存儲裝置耦 接於該模版匹配模組，以彼此傳輸該至少一目標模型。 67.如申請專利範圍第61項所述之設備，其中該等模 組之至少一者包含至少一裝置，以實現該等模組之該至少 一者的至少一部分功能，該裝置由以下所組成之群組中選 出：專用硬體裝置和可編程硬體裝置。 -49-