[go: up one dir, main page]

TWI518601B - 資訊擷取裝置以及方法 - Google Patents

資訊擷取裝置以及方法 Download PDF

Info

Publication number
TWI518601B
TWI518601B TW103118537A TW103118537A TWI518601B TW I518601 B TWI518601 B TW I518601B TW 103118537 A TW103118537 A TW 103118537A TW 103118537 A TW103118537 A TW 103118537A TW I518601 B TWI518601 B TW I518601B
Authority
TW
Taiwan
Prior art keywords
information
image
feature
data
module
Prior art date
Application number
TW103118537A
Other languages
English (en)
Other versions
TW201545074A (zh
Inventor
宋振華
彭永成
李宗勳
Original Assignee
廣達電腦股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 廣達電腦股份有限公司 filed Critical 廣達電腦股份有限公司
Priority to TW103118537A priority Critical patent/TWI518601B/zh
Priority to CN201410307860.XA priority patent/CN105184810A/zh
Priority to US14/591,272 priority patent/US20150350539A1/en
Priority to JP2015103614A priority patent/JP2015225664A/ja
Publication of TW201545074A publication Critical patent/TW201545074A/zh
Application granted granted Critical
Publication of TWI518601B publication Critical patent/TWI518601B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/106—Enforcing content protection by specific content processing
    • G06F21/1062—Editing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Technology Law (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

資訊擷取裝置以及方法
本發明係有關於一種資料擷取裝置以及方法，特別係有關於一種將影像轉換成具有所需資訊之裝置以及方法。
隨著社會整體安全易事的提升，各式攝像裝置的使用也越來越普及，且攝像的品質也越來越好，但品質的提升也意味著處理及使用這些攝像資料的計算資源和儲存空間也快速增加，如何有效的處理並利用這些攝像資料是目前急需被解決的問題。
儘管目前影像處理軟體非常發達，能夠主動辨識畫面中的人以及物，但是在處理大量的影像檔案時所需之電腦系統資源，有時候並非現實情況中能夠輕易取得的。舉例來說，如果要在大量監視器畫面中追蹤某個特定車牌由何處前往何處時，若是讓電腦系統直接處理大量監視器畫面的話，勢必動用人力逐一過濾，所造成之時間成本相當龐大。因此，我們需要一個更有效率處理大量畫面的系統來幫助使用者完成追蹤的工作。
有鑑於此，本發明提出一種資訊擷取裝置，包括：一影像擷取裝置，用以擷取一影像資料；一前置處理模組，用以將上述影像資料分為一背景資料以及一前景資料；一影像處理模組，根據上述前景資料產生一物件特徵以及一物件運動資訊，以及根據上述背景資料產生有關上述影像資料之一攝像空間資訊；以及一文字產生模組，根據上述物件特徵、上述物件運動資訊以及上述攝像空間資訊，產生一事件描述資訊，其中上述事件描述係為有關於上述影像資料之一發生事件，上述事件描述資訊包括上述發生事件之相關資訊且為一機器可讀文字檔。
根據本發明之一實施例，其中上述影像處理模組更包括：一前景影像處理模組，根據上述前景資料，產生上述物件特徵以及上述物件運動資訊；以及一背景影像處理模組，根據上述背景資料，產生有關上述影像資料之上述攝像空間資訊。
根據本發明之一實施例，其中上述前景影像處理模組包括：一特徵擷取模組，根據上述前景資料擷取出上述物件特徵，並將上述物件特徵與一特徵資料庫進行比對而產生一物件資訊；以及一動作偵測模組，根據一物件動作演算法得到上述物件之一動作行為，並將上述動作行為與一行為資料庫進行比對而產生一行為資訊，其中上述文字產生模組根據上述物件資訊以及上述行為資訊產生上述事件描述資訊。
根據本發明之一實施例，其中上述特徵擷取模組 擷取上述前景資料之至少一關鍵點，並以上述關鍵點為中心產生上述關鍵點周圍之複數特徵向量，上述特徵擷取模組根據上述特徵資料庫中與上述特徵向量差異最小之一物件，產生上述物件資訊以及上述特徵描述。
根據本發明之一實施例，其中上述動作偵測模組更根據上述行為資訊以及上述攝像空間資訊，產生一運動軌跡，上述文字產生模組更根據上述運動軌跡產生上述事件描述資訊。
根據本發明之一實施例，上述資訊擷取裝置更包括：一影像加密模組，加密上述影像資料而產生一加密影像；一儲存模組，儲存上述加密影像；以及一微處理器，根據上述事件描述資訊存取上述加密影像，並根據上述事件描述資訊尋找上述加密影像對應之片段。
本發明更提出一種資訊擷取方法，包括：擷取一影像資料；將上述影像資料分為一背景資料以及一前景資料；根據上述前景資料，產生一物件特徵以及一物件運動資訊；根據上述背景資料，產生有關上述影像資料之一攝像空間資訊；以及根據上述物件特徵、上述物件運動資訊以及上述攝像空間資訊，產生一事件描述資訊，其中上述事件描述係為有關於上述影像資料之一發生事件，上述事件描述資訊包括上述發生事件之相關資訊且為一機器可讀文字檔。
根據本發明之一實施例，上述資訊擷取方法更包括：根據上述前景資料擷取出上述物件特徵，並將上述物件特徵與一特徵資料庫進行比對而產生一物件資訊以及一特徵描 述；根據一物件動作演算法得到上述物件之一動作行為，並將上述動作行為與一行為資料庫進行比對而產生一行為資訊；以及根據上述物件資訊、上述特徵描述以及上述行為資訊產生上述事件描述資訊。
根據本發明之一實施例，上述資訊擷取方法更包括；擷取上述前景資料之至少一關鍵點；以上述關鍵點為中心產生上述關鍵點周圍之複數特徵向量；以及根據上述特徵資料庫中與上述特徵向量差異最小之一物件，產生上述物件資訊以及上述特徵描述。
根據本發明之一實施例，上述資訊擷取方法更包括：根據上述行為資訊以及上述攝像空間資訊，產生一運動軌跡；以及根據上述運動軌跡產生上述事件描述資訊。
根據本發明之一實施例，上述資訊擷取方法更包括：加密上述影像資料而產生一加密影像；儲存上述加密影像於一儲存模組；以及根據上述事件描述資訊存取上述加密影像，並根據上述事件描述資訊之相關資訊尋找上述加密影像對應之片段。
100‧‧‧資訊擷取裝置
101‧‧‧影像擷取裝置
102‧‧‧前置處理模組
103‧‧‧影像處理模組
104‧‧‧文字產生模組
110‧‧‧背景影像處理模組
120‧‧‧前景影像處理模組
121‧‧‧特徵擷取模組
122‧‧‧動作擷取模組
201‧‧‧擷取影像資料
202‧‧‧更新背景資訊
203‧‧‧背景相減法
204‧‧‧侵蝕與膨脹運算子
205‧‧‧八連通成分法
401、601‧‧‧關鍵點
800‧‧‧影像存取系統
801‧‧‧影像加密模組
802‧‧‧儲存模組
803‧‧‧微處理器
SV‧‧‧影像資料
SD‧‧‧前景資料
SS‧‧‧背景資料
SC‧‧‧攝像空間資訊
SO‧‧‧物件特徵
SM‧‧‧物件運動資訊
ST‧‧‧事件描述資訊
SIO‧‧‧物件資訊
SIM‧‧‧行為資訊
SF‧‧‧影像片段
301~304、701~703、S91~S98‧‧‧步驟
第1圖係顯示根據本發明之一實施例所述之資訊擷取裝置之示意圖；第2圖係顯示根據本發明之一實施例所述之求得物件特徵之流程圖； 第3圖係顯示根據本發明之一實施例所述之找出前景資料之關鍵點之流程圖；第4圖係顯示根據第3圖之實施例所述之檢測尺度空間中的關鍵點之示意圖；第5圖係顯示根據本發明之一實施例所述之關鍵點旋轉示意圖；第6A-6D圖係顯示根據本發明之一實施例所述之計算特徵值流程示意圖；第7圖係顯示根據本發明之一實施例所述之動作偵測之流程圖；第8圖係顯示根據本發明之另一實施例所述之影像存取系統之示意圖；第9圖係顯示根據本發明之一實施例所述之資訊擷取方法之流程圖。
為使本發明之上述目的、特徵和優點能更明顯易懂，下文特例舉一較佳實施例，並配合所附圖式，來作詳細說明如下：以下將介紹係根據本發明所述之較佳實施例。必須要說明的是，本發明提供了許多可應用之發明概念，在此所揭露之特定實施例，僅是用於說明達成與運用本發明之特定方式，而不可用以侷限本發明之範圍。
第1圖係顯示根據本發明之一實施例所述之資訊擷取裝置之示意圖。如第1圖所示，資訊擷取裝置100包括影像擷取裝置101、前置處理模組102、影像處理模組103以及文字產生模組104。影像擷取裝置101用以擷取影像資料SV並將影像資料SV傳送至前置處理模組102。前置處理模組102接收到影像資料SV後，前置處理模組102將影像資料SV區分成背景資料SS以及前景資料SD，並將背景資料SS以及前景資料SD傳送至影像處理模組103。
影像處理模組103包括背景影像處理模組110以及前景影像處理模組120。背景影像處理模組110根據背景資料SS產生影像資料SV之攝像空間資訊SC，並將攝像空間資訊SC傳送至文字產生模組104。根據本發明之另一實施例，攝像空間資訊SC可由使用者自行輸入並儲存於一儲存裝置內。前景影像處理模組120根據前景資料SD，產生物件特徵SO以及物件運動資訊SM，並將物件特徵SO以及物件運動資訊SM傳送至文字產生模組104。根據本發明之一實施例，文字產生模組104根據攝像空間資訊SC、物件特徵SO以及物件運動資訊SM之內容，產生關於影像資料SV中之發生事件之事件描述資訊ST(圖中並未顯示)。
根據本發明之一實施例，前置處理模組102負責將影像資料SV中之前景資料SD做擷取，裁減重複畫面，以減少所需處理的畫面大小，由於取得的影像中，通常會包含許多重複的資訊，此一動作可以減輕後續裝置的運算負擔。
根據本發明之一實施例，事件描述資訊ST係為一機器可讀文字檔，並且事件描述資訊ST中包括影像資料SV中之 發生事件之人、事、時、地以及物之資訊。根據本發明之另一實施例，事件描述資訊ST係包括影像資料SV中之發生事件之人、事、時、地以及物之任意組合之資訊。根據本發明之一實施例，事件描述資訊ST係為json格式；根據本發明之另一實施例，事件描述資訊ST係為XML格式。
如第1圖所示，前景影像處理模組120包括特徵擷取模組121以及動作擷取模組122。特徵擷取模組121根據前景資料SD擷取出物件特徵SO，並將物件特徵SO與特徵資料庫130之特徵資料進行比對，其中特徵擷取模組121選擇與物件特徵SO最相近之一物件而產生物件資訊SIO。動作偵測模組122根據一演算法得到物件特徵SO之物件運動資訊SM，並將物件運動資訊SM與行為資料庫140之動作行為進行比對而產生行為資訊SIM。根據本發明之另一實施例，文字產生模組104根據物件資訊SIO以及行為資訊SIM產生事件描述資訊ST。關於特徵擷取模組121產生物件資訊SIO以及動作擷取模組122產生行為資訊SIM之演算法，將於下文中詳細敘述。
第2圖係顯示根據本發明之一實施例所述之求得物件特徵SO之流程圖。如第2圖所示，首先利用第1圖之影像擷取裝置101進行擷取影像資料201，並且第1圖之前置處理模組102根據畫面變動機率，進行更新背景資訊202。根據本發明之一實施例，背景資訊即為第1圖之背景資料SS。接著，前置處理模組102利用背景相減法203，將新進的畫面與背景資訊相減，得到前景資料SD，並且利用侵蝕與膨脹運算子204來增強前景資料SD。最後，前置處理模組102使用八連通成分法205， 自前景資訊擷取出前景資料SD。
第3圖係顯示根據本發明之一實施例所述之找出前景資料SD之關鍵點之流程圖。在第3圖之流程中顯示尺度不變特徵轉換(Scale-invariant feature transform,SIFT)演算法找出關鍵點之流程，首先將特徵擷取模組121將於第2圖中所得到的前景資料SD轉換成尺度空間的表示方式(步驟S301)；接著，找出尺度空間中之關鍵點(步驟302)；根據步驟302所找出之關鍵點，計算關鍵點梯度方向(步驟303)。最後，根據關鍵點之梯度方向，生成關鍵點之描述子(步驟304)。以下將詳細描述生成關鍵點之描述子的過程。
首先在步驟301中，特徵擷取模組121將前景資料SD轉換為尺度空間的表示方式，亦即將影像在不同尺度下用高斯濾波器進行卷積，之後再依據取定的尺度向下取樣。根據本發明之一實施例，高斯濾波器之冪次和向下取樣的頻率通常會選為2的冪次，也就是說，在每次迭代的過程中，影像首先會以0.5倍的比例形成不同尺度的影像，接著在不同尺度影像中用高斯濾波器進行2之倍數冪次之卷積，生成前景資訊的尺度空間。
步驟302中，為了尋找尺度空間的關鍵點，利用連續高斯模糊化影像差之作法為在尺度空間中，每一個取樣點要和它所有的相鄰點比較，看其是否比它的圖像域和尺度域的相鄰點大或者小。第4圖係顯示根據第3圖之實施例所述之檢測尺度空間中的關鍵點之示意圖。如第4圖所示，中間的關鍵點401和它同尺度的8個相鄰點和上下相鄰尺度對應的9×2個點共26 個點比較。一個點如果在尺度空間本層以及上下兩層的26個領域中是最大或最小值時，就認為該點是圖像在該尺度下的一個關鍵點。
在步驟303中，此步驟主要目的為統一特徵值之方向。為了統一特徵值之方向，尺度不變特徵轉換演算法為了實現尺度不變的特性，確保各特徵值再不同角度，也可以維持其特徵值。計算公式如下：
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))) (公式2)
公式1用以計算關鍵點之梯度幅值，公式2用以計算關鍵點之梯度方向，其中L(x,y)係為顯示像素之灰階值。第5圖係顯示根據本發明之一實施例所述之關鍵點旋轉示意圖。在得到關鍵點的梯度方向之後，如第5圖所示，將整個區塊以關鍵點為中心，周圍8x8的範圍，旋轉至梯度方向，以便下一步驟運算。
當完成關鍵點方向統一後，前進至步驟304開始計算特徵值之描述子。第6A-6D圖係顯示根據本發明之一實施例所述之計算特徵值描述子之流程示意圖。如第6A圖所示，整個區塊以關鍵點601為中心之周圍16x16的範圍已旋轉至梯度方向，因此方向統一後，開始計算特徵值描述子。如第6B圖所示，以關鍵點601為中心，對周圍16x16範圍內之像素同樣基於梯度方向直方圖，並將方向正規化成八個方向，也就是以45度為一 單位，以第6B圖為例，以8×8為一區塊之2×2方向梯度圖形。
如第6C圖所示，統計四個第6B圖所示之方塊，也就是每個4×4塊的方向梯度圖形，並將每個方向梯度之幅值轉換成第6D圖所示之128維梯度直方圖，為了去除光照對特徵值的影響，對第6D圖之128維梯度直方圖進行正規化處理，並將每個直方圖之數據串聯即可得到尺度不變特徵轉換特徵值。接著，在物件特徵SO中，可以得到數個關鍵點，而每一個關鍵點具有128維之描述子，特徵擷取模組121根據該128維之描述子，至特徵資料庫130中進行比對，並利用公式3找出相似度最高的物件。
換句話說，也就是藉由歐基理德距離找尋特徵資料庫130中，與該128維描述子之向量差值最小者之物件，而該物件即為相似度最高之物件，第1圖之特徵擷取模組121因此根據特徵資料庫130中相似度最高之物件，產生物件特徵SO之物件資訊SIO。
針對前文所述之找到的物件特徵SO，我們對連續變動的物件特徵SO記錄所屬物件特徵SO之顯示區塊內每一個顯示像素的變化時間，然後對這些變化時間取梯度方向，得到前景區塊在畫面裡的運動方向。
第7圖係顯示根據本發明之一實施例所述之動作偵測之流程圖。如第7圖所示，首先利用宣告之二維記憶體空間分別對應整張影像，以運動歷史影像(Motion History Image, MHI)稱之(步驟701)，其中運動歷史影像上具有前景資料的運動變化的軌跡，並在有運動變化的軌跡上記錄當下發生移動的時間。根據本發明之一實施例，移動的時間係以奈秒(nanosecond)計。
接著，在整張運動歷史影像上，分別對每個記錄過去移動時間的位置計算X軸方向及Y軸方向的梯度方向，得到X軸與Y軸的運動速度，最後再利用三角函數求得前景資料SD於畫面中之運動方向，收集一連串之運動方向得到運動軌跡。隨後，動作偵測模組122將運動方向以及運動軌跡記錄於物件運動資訊SM，並將物件運動資訊SM中之運動軌跡與行為資料庫140之動作行為進行比對，再加上攝像空間資訊SC的輔助，即可得到在現實中的運動方向以及速度，動作偵測模組122將運動方向以及速度等相關資訊記錄至行為資訊SIM。
文字產生模組104根據攝像空間資訊SC、物件特徵SO以及物件運動資訊SM之內容，產生關於影像資料SV中之發生事件之事件描述資訊ST。根據本發明之一實施例，事件描述資訊ST係為json格式；根據本發明之另一實施例，事件描述資訊ST係為XML格式。根據本發明之一實施例，動作偵測模組122可偵測物件之其他使用者定義於行為資料庫140之動作行為，在此僅用以詳細說明本發明之偵測方法，並非以任何型式將動作行為限定於移動。
第8圖係顯示根據本發明之另一實施例所述之影像存取系統之示意圖。如第8圖所示，影像存取系統800包括資訊擷取裝置100、影像加密模組801、儲存模組802以及微處理 器803。資訊擷取裝置100之影像擷取裝置101擷取影像資料SV後，將影像資料SV傳送至影像加密模組801加密，並儲存於儲存模組802中。微處理器803根據資訊擷取裝置100所產生之事件描述資訊ST，存取儲存於儲存模組802之加密的影像資料SV之對應的影像片段SF。
由於儲存於儲存模組802之加密的影像資料SV之檔案可能相當龐大，若是根據某一發生事件而搜尋特定片段往往需要人力搜尋。若是經由檢索資訊擷取裝置100所產生之事件描述資訊ST之發生事件，再根據描述資訊ST中所記錄之時間標記存取對應之片段，將大大節省時間以及成本。
第9圖係顯示根據本發明之一實施例所述之資訊擷取方法之流程圖。如第9圖所示，首先擷取影像資料(步驟S91)；接著，將影像資料區分為背景資料以及前景資料(步驟S92)。根據前景資料，產生物件特徵以及物件運動資訊(步驟S93)；根據背景資料，產生有關影像資料之攝像空間資訊(步驟S94)。根據物件特徵、物件運動資訊以及攝像空間資訊，產生事件描述資訊(步驟S95)，其中事件描述係為有關於影像資料之發生事件，事件描述資訊包括發生事件之相關資訊且為機器可讀文字檔。
回到步驟S91，當擷取影像資料資之後，加密影像資料而產生加密影像(步驟S96)；儲存加密影像於儲存模組(步驟S97)；根據步驟S95所產生之事件描述資訊存取加密影像，並根據事件描述資訊之相關資訊尋找加密影像對應之片段(步驟S98)。
根據本發明之一實施例，本發明所揭露之資訊擷取裝置以及方法可用於在大量監視器畫面中，要搜尋某特定車牌的情況。電腦根據資訊擷取裝置100所產生之事件描述資訊ST，在很短的時間內找出特定某特定車牌的車子出現在哪個監視器畫面，或是電腦可根據事件描述資訊ST輕易地得知某特定車牌的車輛從何處前往何處，而不會像傳統監視器畫面需要人工逐一過濾或是利用人工追蹤車輛，可大幅降低處理的時間與成本。
根據本發明之另一實施例，本發明可用於在大量監視器畫面中(例如：台北捷運)，在尖峰時刻時如何快速得知人口暴增的時機，以便在最佳的時機加開班次，因應大量的人口。舉例來說，資訊擷取裝置100可根據影像擷取裝置101所擷取之影像資料SV，而產生具有影像資料SV中之人數的事件描述資訊ST，管理者根據事件描述資訊ST之人數資訊能夠輕易掌握人口的變化，讓管理者及能做出最佳的決策。
以上敘述許多實施例的特徵，使所屬技術領域中具有通常知識者能夠清楚理解本說明書的形態。所屬技術領域中具有通常知識者能夠理解其可利用本發明揭示內容為基礎以設計或更動其他製程及結構而完成相同於上述實施例的目的及/或達到相同於上述實施例的優點。所屬技術領域中具有通常知識者亦能夠理解不脫離本發明之精神和範圍的等效構造可在不脫離本發明之精神和範圍內作任意之更動、替代與潤飾。
100‧‧‧資訊擷取裝置
101‧‧‧影像擷取裝置
102‧‧‧前置處理模組
103‧‧‧影像處理模組
104‧‧‧文字產生模組
110‧‧‧背景影像處理模組
120‧‧‧前景影像處理模組
121‧‧‧特徵擷取模組
122‧‧‧動作擷取模組
SV‧‧‧影像資料
SD‧‧‧前景資料
SS‧‧‧背景資料
SC‧‧‧攝像空間資訊
SO‧‧‧物件特徵
SM‧‧‧物件運動資訊
ST‧‧‧事件描述資訊
SIO‧‧‧物件資訊
SIM‧‧‧行為資訊

Claims (11)

  1. 一種資訊擷取裝置，包括：一影像擷取裝置，用以擷取一影像資料；一前置處理模組，用以將上述影像資料分為一背景資料以及一前景資料；一影像處理模組，根據上述前景資料產生一物件特徵以及一物件運動資訊，以及根據上述背景資料產生有關上述影像資料之一攝像空間資訊；以及一文字產生模組，根據上述物件特徵、上述物件運動資訊以及上述攝像空間資訊，產生一事件描述資訊，其中上述事件描述係為有關於上述影像資料之一發生事件，上述事件描述資訊包括上述發生事件之相關資訊且為一機器可讀文字檔。
  2. 如申請專利範圍第1項所述之資訊擷取裝置，其中上述影像處理模組更包括：一前景影像處理模組，根據上述前景資料，產生上述物件特徵以及上述物件運動資訊；以及一背景影像處理模組，根據上述背景資料，產生有關上述影像資料之上述攝像空間資訊。
  3. 如申請專利範圍第2項所述之資訊擷取裝置，其中上述前景影像處理模組包括：一特徵擷取模組，根據上述前景資料擷取出上述物件特徵，並將上述物件特徵與一特徵資料庫進行比對而產生一物件資訊；以及 一動作偵測模組，根據一物件動作演算法得到上述物件之一動作行為，並將上述動作行為與一行為資料庫進行比對而產生一行為資訊，其中上述文字產生模組根據上述物件資訊以及上述行為資訊產生上述事件描述資訊。
  4. 如申請專利範圍第3項所述之資訊擷取裝置，其中上述特徵擷取模組擷取上述前景資料之至少一關鍵點，並以上述關鍵點為中心產生上述關鍵點周圍之複數特徵向量，上述特徵擷取模組根據上述特徵資料庫中與上述特徵向量差異最小之一物件，產生上述物件資訊以及上述特徵描述。
  5. 如申請專利範圍第3項所述之資訊擷取裝置，其中上述動作偵測模組更根據上述行為資訊以及上述攝像空間資訊，產生一運動軌跡，上述文字產生模組更根據上述運動軌跡產生上述事件描述資訊。
  6. 如申請專利範圍第1項所述之資訊擷取裝置，更包括：一影像加密模組，加密上述影像資料而產生一加密影像；一儲存模組，儲存上述加密影像；以及一微處理器，根據上述事件描述資訊存取上述加密影像，並根據上述事件描述資訊尋找上述加密影像對應之片段。
  7. 一種資訊擷取方法，包括：擷取一影像資料；將上述影像資料分為一背景資料以及一前景資料； 根據上述前景資料，產生一物件特徵以及一物件運動資訊；根據上述背景資料，產生有關上述影像資料之一攝像空間資訊；以及根據上述物件特徵、上述物件運動資訊以及上述攝像空間資訊，產生一事件描述資訊，其中上述事件描述係為有關於上述影像資料之一發生事件，上述事件描述資訊包括上述發生事件之相關資訊且為一機器可讀文字檔。
  8. 如申請專利範圍第7項所述之資訊擷取方法，更包括：根據上述前景資料擷取出上述物件特徵，並將上述物件特徵與一特徵資料庫進行比對而產生一物件資訊以及一特徵描述；根據一物件動作演算法得到上述物件之一動作行為，並將上述動作行為與一行為資料庫進行比對而產生一行為資訊；以及根據上述物件資訊、上述特徵描述以及上述行為資訊產生上述事件描述資訊。
  9. 如申請專利範圍第8項所述之資訊擷取方法，更包括；擷取上述前景資料之至少一關鍵點；以上述關鍵點為中心產生上述關鍵點周圍之複數特徵向量；以及根據上述特徵資料庫中與上述特徵向量差異最小之一物件，產生上述物件資訊以及上述特徵描述。
  10. 如申請專利範圍第8項所述之資訊擷取方法，更包括： 根據上述行為資訊以及上述攝像空間資訊，產生一運動軌跡；以及根據上述運動軌跡產生上述事件描述資訊。
  11. 如申請專利範圍第7項所述之資訊擷取方法，更包括：加密上述影像資料而產生一加密影像；儲存上述加密影像於一儲存模組；以及根據上述事件描述資訊存取上述加密影像，並根據上述事件描述資訊之相關資訊尋找上述加密影像對應之片段。
TW103118537A 2014-05-28 2014-05-28 資訊擷取裝置以及方法 TWI518601B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW103118537A TWI518601B (zh) 2014-05-28 2014-05-28 資訊擷取裝置以及方法
CN201410307860.XA CN105184810A (zh) 2014-05-28 2014-06-26 信息撷取装置以及方法
US14/591,272 US20150350539A1 (en) 2014-05-28 2015-01-07 Devices and methods of information-capture
JP2015103614A JP2015225664A (ja) 2014-05-28 2015-05-21 情報取り込み装置及び情報取り込み方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103118537A TWI518601B (zh) 2014-05-28 2014-05-28 資訊擷取裝置以及方法

Publications (2)

Publication Number Publication Date
TW201545074A TW201545074A (zh) 2015-12-01
TWI518601B true TWI518601B (zh) 2016-01-21

Family

ID=54703278

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103118537A TWI518601B (zh) 2014-05-28 2014-05-28 資訊擷取裝置以及方法

Country Status (4)

Country Link
US (1) US20150350539A1 (zh)
JP (1) JP2015225664A (zh)
CN (1) CN105184810A (zh)
TW (1) TWI518601B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276298B (zh) * 2019-06-21 2021-05-11 腾讯科技（深圳）有限公司 用户行为的判定方法、装置、存储介质和计算机设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005561A (en) * 1994-12-14 1999-12-21 The 3Do Company Interactive information delivery system
JP2006157411A (ja) * 2004-11-29 2006-06-15 Toshiba Corp 撮像装置、撮像システム及び撮像装置の処理方法
JP4844150B2 (ja) * 2006-02-09 2011-12-28 富士ゼロックス株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP4966896B2 (ja) * 2008-03-24 2012-07-04 ローレルバンクマシン株式会社 行動管理装置
TWI420401B (zh) * 2008-06-11 2013-12-21 Vatics Inc 一種回授式物件偵測演算法
US8266148B2 (en) * 2008-10-07 2012-09-11 Aumni Data, Inc. Method and system for business intelligence analytics on unstructured data
CN101510257B (zh) * 2009-03-31 2011-08-10 华为技术有限公司 一种人脸相似度匹配方法及装置
US8781152B2 (en) * 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
US9064176B2 (en) * 2012-01-31 2015-06-23 Industry-University Cooperation Foundation Hanyang University Apparatus for measuring traffic using image analysis and method thereof
JP2013182416A (ja) * 2012-03-01 2013-09-12 Pioneer Electronic Corp 特徴量抽出装置、特徴量抽出方法及び特徴量抽出プログラム

Also Published As

Publication number Publication date
JP2015225664A (ja) 2015-12-14
TW201545074A (zh) 2015-12-01
CN105184810A (zh) 2015-12-23
US20150350539A1 (en) 2015-12-03

Similar Documents

Publication Publication Date Title
Maatta et al. Face spoofing detection from single images using texture and local shape analysis
CN108021892B (zh) 一种基于极短视频的人脸活体检测方法
CN104978709A (zh) 描述符生成方法及装置
JP7419080B2 (ja) コンピュータシステムおよびプログラム
CN102598113A (zh) 匹配出现在两个或多个图像内的对象或人的方法、电路和系统
Hammudoglu et al. Portable trust: biometric-based authentication and blockchain storage for self-sovereign identity systems
CN106296632A (zh) 一种基于幅度谱分析的显著目标检测方法
Tripathi et al. Automated image splicing detection using texture based feature criterion and fuzzy support vector machine based classifier
TWI518601B (zh) 資訊擷取裝置以及方法
AlMousawi et al. Hybrid method for face description using LBP and HOG
Li et al. Iris recognition, overview
JP2018120320A (ja) 画像処理装置，画像処理方法，画像処理プログラム
JP6175583B1 (ja) 画像処理装置、実寸法表示方法、及び実寸法表示処理プログラム
Huang et al. Robust varying-resolution iris recognition
Li et al. A novel automatic image stitching algorithm for ceramic microscopic images
Li et al. An image copy move forgery detection method using QDCT
Maser et al. Identifying the origin of finger vein samples using texture descriptors
Begum et al. Fusion-based decision approach for image forgery detection using deep lightweight models
Maurya et al. Spoofed video detection using histogram of oriented gradients
Manke et al. Salient region detection using fusion of image contrast and boundary information
Klemm et al. Robust face recognition using key-point descriptors
Rövid et al. Thermal image processing approaches for security monitoring applications
Kulkarni et al. Improvements on sensor noise based on source camera identification using GLCM
CN107895380A (zh) 一种图像快速匹配方法
Iyshwarya Ratthi et al. Soft Biometric Based Person Retrieval for Burglary Investigation

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees