TWI338265B - System, apparatus, method and program for processing image - Google Patents
System, apparatus, method and program for processing image Download PDFInfo
- Publication number
- TWI338265B TWI338265B TW096102776A TW96102776A TWI338265B TW I338265 B TWI338265 B TW I338265B TW 096102776 A TW096102776 A TW 096102776A TW 96102776 A TW96102776 A TW 96102776A TW I338265 B TWI338265 B TW I338265B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- feature
- color
- data
- capture
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Image Processing (AREA)
Description
1338265 九、發明說明: 【發明所屬之技術領域】 本發明係關於一種用於處理一影像之系統、裝置、方法 及记錄媒體且特定言之係關於一種用於從該影像擷取一特 徵之系統、裝置、方法及記錄媒體。 【先前技術】 曰本未審核專利申請公告案第2004-62868號揭示以下功 能:偵測一臉部、擷取一影像之一特徵、及在諸如數位靜 態相機的小型消費電子產品(c E )十棟取該影像。 【發明内容】 由於固定在一典型小型CE上的處理器效能有限,故一 影像可在-有限區域内加以分析。該影像無法得到充分地 分析。分析結果會提供不充分的精度位準且得到有限的應 用。 谓測人類臉部需要-較長時間週期,除非—要分析的影 像之清晰度係設定得較低。處理時間會實質上超過一般使 用者可用的時間。若-影像之清晰度係設定得過低,則會 難以偵測-小尺寸的-臉部影像,尤其係在一群組照片中 的某人之-臉部影像。因而低清晰度影像無法滿足用於梅 取在一群組照片上的一特定臉部之一需要。 例如,若上述分析程序係、在—數位靜態相機上執行 該相機必須集中在該程序上且功率消耗會增加。用於影像 捕捉之時間會縮短,且影像圓框數目會減小。 數位靜態相機現在得到廣泛的應用’且許多數位靜態相 U65I7.doc -6 - 1338265 機功能係轉移至蜂巢式電話。在 捕捉之機會係實質上增加 :靜態)圖片 相機上查看多個捕捉到的影像, 捉次序,僅減小影像(縮㈣像)#=取^序中的影像捕 上,該數位靜態相機係實質上輸於一且:像操取效此 電腦。 、/、有衫像管理程式之 需要在一具有一較大储存功能及一相片冊功能的數位靜 態相機内擷取使用者所期望之一影像。 期望提供一種即便在其一 所需影像之裳置。 j輸出下仍允許掏取- 依據本發明之—具體實_,—卿料 於捕捉-影像之-成像器件及用於處理該 ^ 理裝置。該成像器件包括用於 像=衫像處 、雨從该影像的一成像單元、 用於δ己錄该影像相關資訊作為 .^ 丹有預疋資料結構之資料 的一第一記錄單元,該資訊係與該影 制該影像至該影像處理裝置 用於控 傳輸的—第一傳輸控制單 衫像處理裝置包括用於控制從該成像器件所發送之 影像之接收的-接收㈣單元1於縣職收影像之一 特徵的一特徵擷取單元、用 用於6己錄該擷取自該影像之特徵 作為具有與該成像器件中資料結構相同結構之資料的一第 二記錄早70 ’該特徵係與該影像相關聯、及用於控制該特 徵至該成像器件之傳輸的—第二傳輸控制單元。 該成像單元捕捉該影像。該第一記錄單元記錄該影像相 關資訊作為具有一預定資料結構之資料,該資訊與該影像 116517.doc 目關聯1第—傳輸控制單元控制該影像至該影像處理裝 置之傳輸。該接收控制單元控制從該成像器件所發送之影 像,接^。該特徵擷取單元擷取該接收影像之特徵。該第 β β己錄單①將#貞取自該影像之特徵記錄作S具有與該成像 0〇 資料、,Ό構相同結構之資料,該特徵與該影像相關 S第一傳輸控制單元控制該特徵至該成像器 輸。 依據本發明之—具體實施例,—種影像處理I置包括用 於擷取衫像之一特徵的一特徵擷取單元、用於記錄擷取 =k〜像之特徵作為具有一預定結構的一第一記錄單元, “特徵係與忒景’像相關聯、及用於控制該特徵至一器件之 傳輸的—傳輸控制單元,該器件記錄該影像相關資訊作為 具有與該預定結構相同結構的資料。 /〜像處理裝置可進一步包括用於控制從該器件所發送 之影像之接收的一接收控制單元。 該t/像處理裝f進一纟包括用於記錄該影像的一第二記 錄單元。 該影像處理裝置可進一步包括用於依據作為具有該結構 之資料而此錄之特微來擷取該記錄影像之一擷取單元。 該衫像處理裝i進一步包括帛於顯示該棟取影像的一顯 示單元。 该第一記錄單元可包括一資料庫。 該特徵掏取單元可糊取該特徵作為—包含於該影像内之 臉部影像相關資訊。 116517.doc
含:=取單元可操取包含以下特徵之至少-特徵:包 、〜像内之臉部影像之數目、一 G 影像尺寸、及-臉部影像面向方向广像位置、-臉部 該特徵跡單元可龄表示由以 特定色彩而分類之像权數目的特徵。 ^曰不- 該^縣單元可擷㈣於計算任兩個影像之 相似度的特徵。 之間 依據本發明之—具體實施例,—種影像處理方法包括以 ϋ驟::取一影像之一特徵、記錄棟取自該影像之特徵 並控預定結構之詞,該特徵係與該影像相關聯、 ::玄特徵至一器件之傳輸,胃器件記錄該影像相關資 訊作為具有與該預定結構相同結構的資料。 依據本發明之一具體實施例,-種用於引起-電腦執行 以下步驟之電腦程式:操取一影像之一特徵、記錄棟取自 該影像之特徵作為具有—預定結構之㈣,該特徵係與該 影像相關聯、並控制該特徵至—器件之傳輸,胃器件記錄 該影像相關資訊作為具有與該職結構相同結構的資料。' 依據本發明之—具體實施例,—種記錄媒體儲存該電腦 程式。 依據本發明之具體實施例,影像之特徵係擷取,擷取自 該影像之特徵係記錄作為具有一預定結構之資料,該特徵 與該影像相關聯。該特徵至—器件之傳輸係受控^記錄該 影像相關資訊的器件記錄作為具有與該預定結構相同結構 的資料。 I16517.doc -9- 依據本發明之一具體實施例,該器件擷取影像。 依據本發明之一具體實施例,一所需影像係使用具有一 相對較低輸出之一器件來擷取。 【實施方式】 在說明本發明之一具體實施例之前,現在論述申請專利 範圍之元件與本規格書或圖式所揭示之特定元件之間的對 應性。本說明書希望確保在本規格書或圖式中說明支援所 主張發明之具體實施例。因而,即便在下列具體實施例中 的70件在本規格書或該等圖式中並未說明為與本發明之 特疋特徵相關,但並不一定意味著該元件與申請專利範 圍之特徵無關。反之,即便件係在本文中說明為與申 請專利範圍之一特定特徵相關’但並不一定意味著該元件 與申請專利範圍之其他特徵無關。 依據本發明之一具體實施例,一影像處理系統包括用於 捕捉-影像之-成像器件(例如圖i之數位靜態相機】0與用 於處理該影像之一影像處理裝置(例如圖1之一伺服器13)β 該成像器#包括用於捕捉該影像之一成料元(例如圖2之 成像器件33)、用於記錄該影像相關資訊作為具有一預定 資料結構之資料的-第-記錄單元(例如圖4之相似特徵資 料庫112) ’該資訊係與該影像相關聯 '及用於控制該影像 至該影像處理裝置之傳輸的一第—傳輸控制單元(例如圖4 之傳輸控制器刚該影像處理裝置包括用於控制從該成 像器件所發送之影像之接收的一接收控制單元(例如圖5之 接收控制器用於擷取該接收影像之一特徵的一特 II6517.doc -10- 1338265 徵擷取單元(例如圖5之影像分析器13 1)、用於記錄擷取自 該影像之特徵作為具有與該成像器件中資料結構相同結構 之資料的—第二記錄單元(例如圖5之相似特徵資料庫 142),該特徵係與該影像相關聯、及用於控制該特徵至該 成像器件之傳輸的一第二傳輸控制單元(例如圖5之相似特 徵資料庫142)。 依據本發明之一具體實施例,一種影像處理裝置(例如 圖^伺服g 13)包括用於操取一影像之一特徵的一特徵操 取單元(例如圖5之影像分析器131)、用於記錄該擷取自該 〜像之特徵作為具有一預定結構之資料的一第一記錄單元 (例如圖5之相似特徵請庫142),該特徵係與該影像相關 聯、及用㈣制該特徵至一器件(例如^之數位靜態相機 11}之傳輸的一傳輸控制單元(例如圖5之傳輸控制器138_ )器件。己錄β亥影像相關資訊作為具有與該預定結構相 同結構的資料。 該影像處理裝置可進—步包括用於控制從該^件所發送 之影像之接收的—接收控制單元(例如圖5之接收控制器 139-1) 〇 該’IV像處理裝置可進一步包括用於記錄該影像的一第二 記錄單元(例如圖5之影像儲存器丨4〇)。 該影像處理裝置可進—步包括用於依據記錄為具有該結 構之資料的特徵來擷取該記錄影像的—擷取單元(例如圖5 之擷取單元137)。 該影像處理裝置可推—丰a , ^ 』進步包括用於顯示該擷取影像的一 H6517.doc * 11 - 顯示單元(例如圖3之作為一顯示器的輸出單元π)。 依據本發明之具體實施例,一種影像處理方法與一種電 腦程式之-者包括以下步驟:掏取―影像之__特徵(例如 圖9之步驟S34)、記錄擷取自該影像之特徵作為具有一預 又結構之資料,該特徵係與該影像相關聯(例如圖9之步驟 S36)、並控制該特徵至一器件之傳輸,該器件記錄該影像 相關資訊作為具有與該預定結構相同結構的資料(例如圖9 之步驟S37)。 圖1說明依據本發明之一具體實施例之一影像處理系 統。作為一成像器件範例的一數位靜態相機丨丨捕捉一影 像,並向作為一影像處理裝置範例的一伺服器13提供該捕 捉到的影像。作為另—成像器件範例的—蜂巢式電話12捕 捉一影像並然後向伺服器13提供該捕捉到的影像。數位靜 態相機11與蜂巢式電話12每個均從該捕捉到的影像產生一 縮小影像。 數位靜態相機11、蜂巢式電話12及伺服器13每個還係— 顯示控制器之一範例。 伺服器13包括一個人電腦、一非可檇式記錄器、一遊戲 機及一專用器件,並記錄提供自數位靜態相機丨丨與蜂巢式 電話12之一者的影像。伺服器13處理提供自數位靜態相機 11及蜂巢式電話12之一者的影像,並擷取該影像之一特 徵。伺服器13向數位靜態相機丨丨與蜂巢式電話以之一者提 供作為一處理結果而獲得之資料。 伺服器13從一網路伺服器15-1及一網路伺服器15_2之一 H6517.doc •12- 1338265 者獲取一影像,並在其上記錄該獲取影像。伺服器13處理 從網路伺服器15-1及網路伺服器15_2之一者所獲取之影 像,並從該獲取影像產生一縮小影像。伺服氣13向數位靜 態相機11與蜂巢式電話12之一者提供作為一處理結果而獲 得的資料以及該縮小影像。 數位靜態相機11與蜂巢式電話12之一者基於作為一影像 處理結果而獲得並由伺服器13提供的資料來從該等記錄影 像擷取一所需影像。伺服器13還基於作為一影像處理結果 而獲得的資料來擷取該等記錄影像之一所需影像。 由於數位靜態相機11、蜂巢式電話12及伺服器1 3每個均 基於作為一影像處理結果而獲得的相同資料來操取影像, 故一所需影像係以相同方式來擷取。 圖2係說明數位靜態相機11之結構的一方塊圖。數位靜 態相機11包括一成像透鏡3 1、一光闌32、一成像器件33、 一類比信號處理器34 ' —類比至數位(A/D)轉換器35、一 數位信號處理器36、一微處理器(MPU)37、一記憶體38、 一數位至類比(D/A)轉換器39、一監視器40、一壓縮器/解 壓縮器41---^介面42、一記憶卡43、一 AF馬達及變焦馬 達44、一控制電路45、一電可抹除可程式化唯讀記憶體 (EEPROM)46、一通信單元47、一通信單元48及一輸入單 元49。 成像透鏡3 1透過光闌32將一物體之一光學影像聚焦在成 像器件33之一聚光表面《成像透鏡31包括至少一透鏡。成 像透鏡3 1可以係一單焦點透鏡或一可變焦點型透鏡(例如 116517.doc -13- 1338265 一變焦透鏡)。 光闌32調整聚焦在成像器件33之聚焦表面上的光學影像 之光數量。 成像器件33可包括一電荷耦合器件(Ccd)或一互補式金 氧半導體(CMOS)感測器之一者,並將聚焦在其聚焦表面 上的光學影像轉換成一電氣信號◎成像器件3 3向類比信號 處理器34提供作為一轉換結果而獲得之電氣信號。 類比、號處理器34包括一取樣保持電路、一彩色分離電 路、一增益控制電路等。類比信號處理器34在來自成像器 件33之電氣信號上執行相關雙取樣(CDS)程序,同時將該 電氣信號分離成R(紅色)、G(綠色)及B(藍色)色彩信號,並 調整各色彩信號之信號位準(在白平衡程序中)。類比信號 處理器34向A/D轉換器3 5提供該等色彩信號。 A/D轉換器35將各色彩信號轉換成一數位信號,然後將 該數位信號提供至數位信號處理器36。 數位信號處理器36包括一亮度及色差信號產生器、一銳 利度校正器、一對比度校正器等。在Mpu 37控制下的數 位k號處理器36將該數位信號轉換成一亮度信號(γ信號) 與色差信號(Cr及Cb信號)。數位信號處理器3 6向記憶體3 8 提供該等處理後數位信號。 MPU 37係一嵌入式處理器並一般藉由執行其程式來控 制數位靜態相機11。 έ己憶體3 8包括一動態隨機存取記憶體(DRAM)。在Mpu 37控制下的記憶體38臨時儲存提供自數位信號處理器36之 116517.doc -14· 1338265 數位信號。D/A轉換器39從記憶體38讀取該數位信號,將 該讀取的信號轉換成一類比信號,並向監視器4〇提供該類 比信號。監視器40(例如一液晶顯示器(LCD)或一電致發光 (EL)顯示器)回應該提供自d/A轉換器39之類比信號來顯示 一影像。 一提供自成像器件3 3之電氣信號週期性地更新記憶體3 8 .上的數位信號,並將產生自該更新後數位信號之類比信號 提供至監視器40。由此,聚焦在成像器件33上的影像係在 一即時基礎上顯示在監視器40上。 監視器40將一圖形使用者介面(Gui)影像顯示在其螢幕 上。為此目的,MPU 37在記憶體38上寫入視訊資料以顯 示該GUI影像,引起D/A轉換器39將該視訊資料轉換成類 比信號’並引起監視器40基於該類比信號來顯示該GUI影 像。 在MPU 37控制下的壓縮器/解壓縮器41依據聯合照相專 家組(JPEG)或JPEG 2000標準來編碼在記憶體38上儲存的 數位信號》壓縮器/解壓縮器41經由卡介面42向記憶卡43 提供該編碼的視訊資料。記憶卡43(包含一半導體記憶體 或一硬碟驅動器(HDD))係可移除地載入在數位靜態相機1 i 上。當載入在數位靜態相機11上時,記憶卡43係電連接至 卡介面42。記憶卡43儲存提供自卡介面42之視訊資料。 回應一來自MPU 37之命令,卡介面42控制將視訊資料 έ己錄至其所電連接之記憶卡43及從其讀取視訊信號。 在s己憶卡43上所記錄的視訊資料係經由卡介面42來讀取 I16517.doc •15· 並藉由壓縮器/解壓縮器41將其解碼成一數位信號。 AF馬達及變焦馬達44在控制電路45驅動下,相對於成 像器件33移動成像透鏡3 1以修改成像透鏡3 1之焦點及焦 距。回應一來自MPU 37之命令,控制電路45驅動該AF馬 達及變焦馬達44,同時還控制光闌32及成像器件33。 EEPROM 46儲存一由MPU 37執行的程式與各種資料。 通信單元47滿足諸如通用串列匯流排(USB)或電子電機 工程師學會(IEEE) 1394之標準並經由一有線傳輸媒體與伺 服器13交換各種資料。 通訊單元48滿足諸如IEEE 802.11a、IEEE 802· lib或 IEEE 802_llg或藍牙之標準,並經由一無線傳輸媒體與飼 服器13交換各種資料。 輸入單元49包括開關、按鈕及觸摸板並回應一使用者操 作輸入向MPU 37提供一信號。 如上所述’記憶卡43記錄視訊資料。具有視訊資料記錄 於其上的媒體不限於半導體記憶體或磁碟。該媒體可以係 一光碟、一磁光碟之任一者。還可用作一媒體的可以係允 許以一電性方式、一磁性方式、一光學方式、一量子方式 或其一組合來寫入並讀取資料的媒體。該些媒體之一者可 容納於數位靜態相機1丨内。 視訊資料可簡稱為一影像。 圖3係說明伺服器丨3之結構的一方塊圖。cpu 71在儲存 於一唯讀記憶體(R〇M)72或一儲存單元78上之程式的控制 下執行各種程序。一隨機存取記憶體(RAM)73儲存要由 H6517.doc -16 * CPU 71執行的程式與資料。cpu 71、R〇M 及RAM 係 經由一匯流排74來互連。 CPU 71經由匯流排74而連接至一輸入輸出介面乃。還連 接至輸入輸出介面75的係由一鍵盤、一滑鼠、一麥克風等 組成的一輸入單元76與由一顯示器及一揚聲器組成的一輸 出單元77。回應一從輸入單元76輸入之命令,CPU 71執行 各種程序。CPU 71向輸出單元77輸出處理結果。 連接至輸入輸出介面75之儲存單元78包括(例如)一硬碟 並儲存一要由CPU 71執行之程式與資料。通信單元79滿足 諸如USB或IEEE 1394之標準並經由一有線傳輸媒體與數 位靜態相機11及蜂巢式電話丨2交換各種資料或滿足諸如 IEEE 802.11a、IEEE 802」lb4IEEE 8〇2 Ug或藍牙之標準 並經由一無線傳輸媒體與數位靜態相機〗丨及蜂巢式電話12 之一者交換各種資料《通信單元80經由一網路14(例如網 際網路或一區域網路)與網路伺服器15_丨與網路伺服器Η。 其中一者進行通信。 一程式可經由通信單元80來獲取,然後將其儲存在儲存 單元78上》 當載有一可移除媒體82(例如一磁碟、一光碟、一磁光 碟或一半導體記憶體)時,一連接至輸入輸出介面75之驅 動器81驅動該載入媒體以讀取其上所記錄的程式及資料。 必要時將該讀取的程式及資料傳送至儲存單元78用於儲 存。 圖4說明執行該程式之RAM 73之一功能。藉由執行該程 116517.doc •17· 1338265 式,MPU 37實施一成像控制器1〇1、一縮小影像產生器 一元資料產生器103、一項目產生器1〇4、一記錄控 制器ι〇5、一顯示控制器106、—擷取單元1〇7、一傳輸控 制器108、一接收控制器1〇9、一影像儲存器11〇、一内容 資料庫ill、一相似特徵資料庫112、一相似結果資料庫 113 時間群組資料庫114及一擷取結果儲存器丨丨5 ^ 藉由透過數位信號處理器36來控制成像透鏡31並透過控 制電路45來控制記憶體38,成像控制器丨〇丨控制數位靜態 相機11上的一影像捕捉操作。成像控制器1〇1將該捕捉到 的影像記錄在用作影像儲存器11〇之記憶卡43之一記錄區 域上。 縮小影像產生器102從記憶體38讀取該捕捉到的影像之 數位信號,並縮小該捕捉到的影像,藉此產生縮小影像。 該產生的縮小影像然後係經由卡介面42而提供至記憶卡 43,然後將其記錄在作為影像儲存器11〇之記憶卡的記 錄區域上。 在成像控制器101之控制下,現在捕捉到一像素計數為 3000000個像素至4000000個像素的一高清晰度影像。縮小 影像產生器102從該捕捉到的影像產生適於使用數位靜態 相機11查看的在VGA位準(視訊圖形陣列)一像素計數為64〇 X 480像素的一縮小影像尺寸或一等效影像尺寸。 縮小影像產生器102可從影像儲存器11〇讀取影像,並可 縮小該讀取影像以產生一縮小影像。 為了區別縮小影像與捕捉影像,將捕捉影像稱為—主影 116517.doc •18- 1338265 像。若不需要區分該等二影像,則二影像係簡稱為影像。 如稱後將會說明的,主影像及縮小影像係藉由記錄在一 内容資料庫Π 1上的資料來相互映射。 元資料產生器103產生主影像之元資料。例如,元資料 產生器1G3產生將採用—由日本電子產業發展協會(獅a) 標準化的可交換影像㈣格式(EXIF)所指定之格式儲存的 元資料。 項目產i器104係組織《一資料管自系統並在捕捉到主 影像時產生主影像與縮小影像之項目。該等產生項目係儲 存在内容資料庫111上。 記錄控带】器1〇5控制將主影像與縮小影像記錄至影像儲 存器11 0。 顯示控制器106控制將縮小影像與GUI影像顯示至的 器40。 操取單元107基於儲存在内容資料庫lu、相似特徵資料 庫112、相似結果資料庫丨丨3及時間群組資料庫丨丨*上的資 料從記錄在影像儲存器110上的縮小影像與主影像中擷取 一所需縮小影像或-所需主影像。搜索器⑽引起將回應 該等擷取結果的資料儲存在搜索結果儲存器ιΐ5上。〜 搁取單元1〇7包括一距離計算器121。距離計算器121根 據表不儲存在相似特徵資料庫112上之影像特徵之資料來 什算表示三影像之間相似度的一距離。距離計冑器⑴引 起相似結果資料庫丨丨3儲存該計算的距離。 傳輸控制器1G8控制通信單元47,藉此控制通信單元Ο H6517.doc -19· 1338265 象或縮小衫像傳輸至伺服器13。藉由控制通信單元 47^❹制器1()9控制經由通信單元47接收制服器13 、^像之特破。該影像特徵係使用伺服器1 3内的各 種影像程序來獲得。 配置於一却格卜_」, ° 内之記錄空間内的影像儲存器11 〇儲 存主景> 像及縮小影像。 資料庫111、相似特徵資料庫112、相似結果資料庫 及時間群組資料庫i 14係由記憶卡彻的預定記錄空間 及其資料管理系統來構造。 資料庫111儲存識別各影像之資料及與該資料相關 聯之各種影像元資料。相似搞 相似特徵資料庫112儲存表示在伺 服器13内作為一影像虚拽全士里 像處理、,σ果而獲得之影像特徵的資料。 相似結果資料庫1 i 3儲存一 兩仔距離,其表示在擷取單元1〇7 内由距離計算器m所計算之二影像之間的相似度。 當-使用者將影像分類成多個群組時,時間群組資料庫 114儲存識別一屬於各群組之影像的資訊。 操取結果儲存器115將資料儲左 肩针储存為擷取結果。例如,擷 取結果儲存器Π5儲存具有一斜庙仏 什丹百應於一權重之色彩之影像 的掘取結果。依據藉由一特定色# 巳&名稱來考量各影像所採 用之關係位準並依據由一使用者操 一 铞作輸入的一色彩名稱所 表示的色彩權重已執行擷取操作。 稍後將詳細說明該關係位準。
圖5說明執行其程式之cpu 7丨之A 1之功能。藉由執行該程 式,CPU 71實施一影像分析器 縮小影像產生器 116517.doc -20· 1338265 132、一元資料產生器! 33、一項目產生器134、一記錄控 制器135、一顯示控制器136、一擷取單元137、傳輸控制 器138-1及138-2、接收控制器139-1及139-2、一影像儲存 器140、一内容資料庫141、一相似特徵資料庫142、_相 似結果資料庫143、一時間群組資料庫144、一關係位準擷 取器儲存器之對應性儲存器145、一擷取特徵儲存器146及 一擷取結果儲存器147。 影像分析器131擷取各影像之一特徵。更明確而言,影 像分析器13 1在各影像上執行影像處理,藉此分析該影 像。影像分析器131向相似特徵資料庫142及傳輸控制器 138-1之一者提供作為一影像分析結果而獲得的特徵。 圖6係說明影像分析器131之結構的一方塊圖。影像分析 器131包括一臉部影像偵測器161及一相似特徵量擷取器 162。 臉部影㈣測器161擷取影像特徵作為包含於該影像内 之一臉部影像相關資訊。例如,臉部影像债測器i6i掘取 包含於影像内之臉部影像之數目、影像内臉部影像之位 置、臉部影像尺寸及影像内臉部影像之面向方向。 相似特徵量擁取器162操取影像之—特徵量以決定影像 之相似度。相似特徵量擷取芎 取盗162包括-相似特徵向量計 异益色彩特賴取器⑺。相似特徵向量計算器171 擷取二影像之該等特徵,從該等特徵計算該 的相似度。色彩特徵榻取器172從影像内的各像素之色彩 中擷取藉由一預定色彩名稱來 '、 S ^衫像所採用的關係位 116517.doc -21 · 1338265 準。換言之’色彩特徵擷取器172擷取表示以一具有一預 疋色彩名稱之色彩而分類之像素之數目的特徵。 回到圖5,在接收控制器139_2控制下的縮小影像產生器 1 32縮小經由網路14從網路伺服器丨5_丨與網路伺服器丨5_2之 一者所獲取的主影像,藉此產生縮小影像。然後將該縮小 影像記錄在影像儲存器140上。 縮小影像產生器132可從影像儲存器14〇讀取一影像,並 可縮小該讀取影像,藉此產生縮小影像。 元資料產生器133產生主影像之元資料。例如,元資料 產生器133產生要作為遵循由JEIDA標準化之EXIF格式的 資料而儲存之元資料。 在接收控制器139-1之控制下,組織成一資料庫管理系 統之項目產生器134產生從數位靜態相機u所獲取之主影 像的一項目。在接收控制器139-2控制下的項目產生器134 經由網路14從網路伺服器15_i與網路伺服器15 2之一者獲 取主影像。若縮小影像係從主影像獲得,則項目產生器 134產生主影像與縮小影像之項目。該等產生的項目係儲 存在内容資料庫141上》 記錄控制器135控制將主影像與縮小影像記錄在影像儲 存器140上。 顯示控制器136控制將主影像及GUI影像顯示在作為一 顯示器之輸出單元77上。 依據儲存在内容資料庫141、相似特徵資料庫142及時間 群組貝料冑144之—者上的㈣,擷取單元137糊取儲存在 116517.doc -22- 1338265 〜像儲存器140上的主影像及縮小影像以獲得一所需主影 像或所需縮小影像。依據错存在縮小特徵儲存器14 6上 的資料,擷取單元137擷取儲存在影像儲存器14〇上的該等 主影像及該等縮小影像用於獲得一所需主影像或一所需縮 小影像。擷取單元137將擷取結果資料储存在擷取結果儲 存器147上。 擷取單元137包含一距離計算器151。距離計算器151根 據表示在相似特徵資料庫142上儲存之影像特徵的資料來 "十算4曰示一影像之間相似度的一距離。距離計算器1 $ 1引 起相似結果資料庫143在其上記錄該計算的距離。 藉由控制通信單元79,傳輸控制器138_丨引起通信單元 79將在影像分析器13丨内作為一影像處理結果而獲得的影 像特徵發送至數位靜態相機U。藉由控制通信單元79,接 收控制器139-1引起通信單元79接收從數位靜態相機丨丨發 送的主影像及縮小影像。 傳輸控制器138-2控制通信單元80。傳輸控制器138_2引 起通信單元80經由網路14發送一要求一影像之請求至網路 伺服器15-丨及網路伺服器15_2之一者。藉由控制通信單元 8〇,接收控制器139-2引起通信單元8〇接收從網路伺服器 及網路伺服器15_2之一者所發送的主影像及縮小影 像。 配置於由硬碟所組成之儲存單元78之一記錄空間内的 影像儲存器140記錄主影像及縮小影像。影像儲存器14〇可 配置於在可移除媒體82内的一記錄空間内,例如載入在驅 H6517.doc •23- 丄: 磁光碟或一半導體記憶 動器81上的一磁碟、一光碟 體。 内容資料庫141、相似牯外咨』丨α 似特被資料庫142、相似結果資料庫 143及時間群組資料庫Μ 叶犀 饰由儲存早兀78内的預定記錄空 間及其資料管理系統組成。 己錄二 内容資料庫14 1儲存識別久少你 遭別各衫像之資料及與該識別資 相關聯之各種元資料。相 相似特徵資料庫142儲存在影像 析器器131内作為—影像處 ^ V〇禾而獲付的景夕像特徵之資 料。 相似結果資料庫113儲存指示二影像之間相似度的—距 離,,其係由擷取單元137内的距離計算器⑸來計算。 當使用者將該等影像分類成多個群組時,時間群組資料 庫144儲存朗屬於各群組之—影像的資訊。 關係位準㈣11儲存11之對應性料H 145畴對應性 資訊,其指示在色彩特徵操取器172内之色彩名稱與在每 一色彩上㈣關係位準之-關係位㈣取器之間的對應性 (將參考圖3 3詳細地說明)。 擷取特徵儲存器146儲存藉由一預定色彩名稱來考量影 像所採用的關係位準。該關係位準係藉由色彩特徵操取器 172來擷取。 擷取結果儲存器147儲存具有一對應於一權重之色彩之 影像的掏取結果。依據藉由一特定色彩名稱來考量各影像 所採用之關係位準並依據由一使用者操作輸入的一色彩名 稱所表示之色彩之權重來已執行擁取操作。例如,操取結 H65!7,doc •24- 果儲存器147儲存對應於該權重之色彩之影像的擷取結 果’其係在作為該色彩名稱所表示之色彩之權重的關係位 準及擷取條件下擷取。 *亥特彳玫係擷取自該影像,然後將該擁取特徵記錄在伺服 器13及數位靜態相機丨丨上。下面說明此程序。 下面參考圖7之一流程圖來說明數位靜態相機丨丨之影像 捕捉程序。 在步驟S11,成像控制器101透過數位信號處理器36、記 憶體38、AF馬達及變焦馬達44及控制電路45來控制成像透 鏡3 1,藉此捕捉一物體之一影像。在步驟s丨2,成像控制 器引起壓縮器/解壓縮器41依據JPEG或JPEG 2000標準 編碼在記憶體38上儲存的數位信號,藉此作為視訊資料產 生主影像。成像控制器101將該主影像記錄在影像儲存器 110上。 元資料產生器103產生主影像之元資料。例如,元資料 產生器103產生嵌入由JEIDA所標準化之EXIF資料内的元 資料。例如,該元資料可包括該主影像之影像捕捉時間或 成像條件。 在步驟S13,縮小影像產生器102從記憶體38中讀取該捕 捉影像之數位信號,並縮小該捕捉影像,藉此產生一縮小 影像。縮小影像產生器1〇2引起影像儲存器11〇記錄該縮小 影像。 在步驟S14,項目產生器104產生該主影像及該縮小影像 之項目。$目產生器使該等產生項目與元資料產生器 I16517.doc •25- 1338265 所產生的元資料相關聯,然後將該等項目添加(儲存)在 内容資料庫ill上以結束其程序。 由於諸如影像捕捉時間及成像條件之元資料係儲存在内 容資料庫111上,故該主影像及該縮小影像係依據影像捕 捉時間及成像條件來擷取。 蜂巢式電話12執行與圖7之流程圖内所示影像捕捉程序 相同的影像捕捉程序。 如圖8所示,當數位靜態相機u及蜂巢式電話12之一者 捕捉到一影像時’與一主影像20丨相關聯之元資料係儲存 在内容資料庫111上並從該主影像2〇1產生一縮小影像 202。與該主影像201相關聯並儲存在内容資料庫U1上的 元資料還與縮小影像202相關聯。 下面參考圖9之一流程圖來說明伺服器13之一備份程 序。在該備份程序中,數位靜態相機丨i所捕捉的一影像係 藉由伺服器13來備份。當其一端連接至數位靜態相機丨i的 一通用串列匯流排(USB)係連接至伺服器13時,伺服器13 之備份程序回應該程式之啟動而開始。 在步驟31 ’在伺服器13内的傳輸控制器138-1及傳輸控 制器13 8-2係經由通信單元79而連接至數位靜態相機11。 在步驟S32,在伺服器13内的傳輸控制器π 8-1及傳輸控 制器138-2引起通信單元79從數位靜態相機11獲取主影像 201及縮小影像202。例如,在步驟S32,傳輸控制器138-1 引起通信單元79向數位靜態相機η發送一發送請求以發送 主影像20 1及縮小影像202。由於數位靜態相機11發送主影 116517.doc -26- 1338265 像2 Ο 1及縮小影像2 Ο 2 ’故接收控制器1 3 9 -1引起接收控制 器139- 1從數位靜態相機11接收主影像2〇丨及縮小影像 202。接收控制器139-1向影像儲存器140提供該接收到的 主影像201及縮小影像202。 在步驟S3 3,影像儲存器140記錄從數位靜態相機丨丨所獲 取的主影像201及縮小影像202。 在步驟S34,影像分析器131分析在影像儲存器14〇上記 錄的影像》 ® 影像分析器1 3 1可分析該主影像20 1或該縮小影像202。 參考圖ίο之一流程圖更詳細地說明步驟S34的分析程 序0 在步驟S41,在影像分析器131内的臉部影像偵測器ι61 從影像偵測一臉部影像。更明確而言,在步驟討1 ,臉部 影像债測器161擷取該影像之特徵作為包含於該影像内之 臉部影像相關資訊。在步驟S41,臉部影像偵測器161擷取 • 包含於該影像内之臉部影像之數目、在該影像内各臉部影 像之位置、臉部影像之尺寸及臉部影像之面向方向。 更明確而言,臉部影像偵測器161識別一具有一像素值 之像素,該像素值指示落入一對應於人類皮膚之預定色彩 範圍内的一色彩。臉部影像偵測器161然後將由在色彩所 識別之像素中由-預定數目之連續像素組成的一區域視作 一臉部影像。 臉部影像偵測器計數所偵測臉部影像之數目。當影 像之整體高度及整體寬度每個均設定為i,則臉部影像偵 H6517.doc ,27, 1338265 測盗161偵測臉部影像之一垂直位置及一水平位置作為相 對於整個影像的臉部影像位置。 當影像之整體高度及整體寬度每個均設定為i,則臉部 衫像偵測器1 6 1偵測相對於整個影像的臉部影像之高度及 寬度作為該影像内的臉部影像之尺寸。 臉部影像偵測器161決定一選定影像臉部是否在一臉部 之各假定方向上匹配複數個預定義圖案之一者。該臉部之 方向係藉由將一匹配該臉部影像之圖案的方向決定為該臉 部之方向來偵測。在此情況下,臉部影像偵測器ΐ6ι偵測 該臉部之一滾動角、一俯仰角及一偏航角作為該選定影像 之臉部方向。 在步驟S42,在影像分析器13丨内的相似特徵量擷取器 162内的相似特徵向量計算器171計算一相似特徵向量作為 決定影像相似度時的一特徵量。更明確而言,在步驟 S42,相似特徵向量計算器m擷取該等二影像之該等特 徵’從該等特徵計算該等二影像之相似度。 例如’相似特徵向量計算器171計算該相似特徵向量作 為一色彩柱狀圖。 更明確而言,如圖11所示,相似特徵向量計算器丄7丄將 24位元RGB主影像201之167772 161個色彩減小至32個色 彩’藉此產生具有32個色彩之一減小色彩影像22ι。換言 之,產生5位元RGB的減小色彩影像221。相似特徵向量計 算器171從該主影像201之該等像素之像素值中擷取預定的 更高位元’藉此產生該減小色彩影像221。 116517.doc • 28- 1338265 相似特徵向量計算器171將RGB所表示之減小色彩影像 22丨之各像素色彩轉換成一採用L*a*b*表示的像素色彩。 相似特徵向量計算器171識別表示該減小色彩影像221之像
_ 7 w,〜甘Ί本瓦衣不的j2個色移之任一色彩(在 L*a*b*空間内的位置)。 相似特徵向量計算器171進一步決定在該減小色彩影像 221中在該等32個色彩之各色彩的像素數目,即各色彩之 出現頻率,藉此產生—色彩柱狀圖。該色彩柱狀圖之比例 表示一色彩而該色彩柱狀圖之頻率表示色彩像素之數目。 例如,相似特徵向量計算器171計算該相似特徵向量作 為一垂直成分柱狀圖與一水平成分柱狀圖。 如圖12所示,相似特徵向量計算器171將主影像“丨分割 成區塊241,各區塊241包括16個像素乘以16個像素。在一 垂直方向與一水平方向上,在區塊24丨上執行一離散傅立 葉變換(DFT)程序》 更明確而言,相似特徵向量計算器171在採用各區塊241 之一垂直行配置的16個像素上執行該DFT程序,藉此在採 用垂直行的16個像素内擷取該影像之一頻率成分。由於區 塊24i包括16個垂直行,故各垂直行包括16個像素。相似 特徵向量計算urn因而藉由在垂直方向上在區塊241上執 行該DTF程序來擷取16個影像之頻率成分。 頻率基礎上相加作 程序之一結果的該 相似特徵向量計算器171因而在每一頻率 為在垂直方向上在區塊241上執行DTF程序 116517.doc •29· 1338265 等影像頻率成分。相似特徵向量計算器171從該等相加值 之八個最低頻率成分(一直流成分除外)之中選擇一最大成 分。若該最大值係小於一預定臨界值,則放棄區塊241之 處理結果。 相似特徵向量計算器171在該影像中每8個頻率相加在各 區塊241内決定的各最大值。如圖13 A及13B所示,相似特 徵向量計算器171產生一垂直成分柱狀圖,其表示每8個頻 率的最大值出現頻率。該垂直成分柱狀圖之比例表示影像 頻率,而在該垂直成分柱狀圖内的出現頻率表示提供—最 大頻率成分之數目。 相似地,相似特徵向量計算器171在採用區塊241之一列 配置地16個像素上執行該DFT程序,並針對採用一列的16 個像素擷取5亥影像之頻率成分。由於各區塊241包括16個 列,各列包括1 6個像素,故相似特徵向量計算器1 7丨藉由 在水平方向上在區塊241上執行該DFT程序來擷取16個 影像之頻率成分。 相似特徵向量計算器171相加作為在水平方向上在區塊 241上執行該dFT程序之一結果而獲得的該等影像頻率成 刀。相似特徵向量計算器171因而在每一頻率基礎上相加 作為在垂直方向上在區塊241上執行該程序之一結果 的忒等影像頻率成A。相似特徵向量計算器171從該等相 力值之\個最低頻率成分(一直流成分除外)之令選擇一最 成刀若°亥最大值係小於一預定臨界值,則放棄區塊 241之處理結果。 116517.doc •30- 1338265 相似特徵向量計篁@丨7 i i 彳算器171相加在影像中每8個頻率在各區 塊241内決定的各悬女枯 , 曰於 妁各最大值。如圖13A及13B所示,相似特徵 產生―水平成分柱狀圖其表示每請頻率 的最大值出現頻率。該水平成分柱狀圖之比例表示影像頻 率而在5亥水平成分柱狀圖内的出現頻率表示提供一最Α 頻率成分之數目。 依此方式’相似特徵向量計算器171產生該垂直成分柱 籲狀圖及該水平成分柱狀圖用於影像。 在步驟S42,相似特徵向量計算器m擷取該色彩杈狀 圖該垂直成刀柱狀圖及該水平成分柱狀圖作為計算該等 二影像之相似度的該等二影像之該等特徵。 回到圖1 0,在步驟S43 ’在影像分析器i 3丨内的相似特徵 量擷取器162内的色彩特徵擷取器172在影像上執行色彩特 徵擷取程序,藉此結束該程序。透過該色彩特徵擷取程 序,回應一預定色彩名稱來考量該影像所採用之關係位準 φ 係基於該影像之該等像素之色彩而擷取自該影像。稍後將 參考圖36之一流程圖來說明該色彩特徵擷取程序。 在步驟S34,影像分析器131分析在影像儲存器i4〇上記 錄的影像並擷取該影像之特徵。 在步驟S35’元資料產生器133產生包含在步驟S34所擷 取之影像特徵的元資料。在步驟S36,項目產生器134產生 主景> 像20 1及縮小影像202之項目。項目產生器1 34使該等 產生項目與在步驟S35所產生的元資料相關聯並將該等項 目添加(儲存)在内容資料庫141及相似特徵資料庫142上。 116517.doc 内各資料庫14 1及相似特徵資料庫142記錄包含在飼服器13 内所擷取之影像之特徵的元資料。 在步驟S37,傳輸控制器138-1引起通信單元79將包含該 影像特徵的元資料記錄在數位靜態相機〗丨内的内容資料庫 111及相似特徵資料庫112上。更明確而言,在步驟S37 ’ 傳輸控制器1 3 8-1引起通信單元79向數位靜態相機11發送 —寫入内容資料庫1U及相似發送資料庫112之命令及在步 驟S35所產生之元資料。當通信單元47接收該元資料及寫 入内容資料庫111及相似特徵資料庫u2之命令時,接收控 制器109向内容資料庫m及相似特徵資料庫112提供該元資 料及寫入内容資料庫i丨丨及相似特徵資料庫n2之命令。一 旦接收到寫入命令,内容資料庫丨丨丨及相似特徵資料庫112 δ己錄包含在伺服器13内所擷取之影像之特徵的元資料。 内容資料庫141及相似特徵資料庫142及内容資料庫U1 及相似特徵資料庫112記錄包含在伺服器13内所擷取之影 像之特徵的相同元資料。 在步驟S38,在伺服器13内的傳輸控制器1381及接收控 制器139-1引起通信單元79斷開與數位靜態相機u的連接 以結束其程序。 伺服器13可在蜂巢式電話12所捕捉之影像上執行與圖9 所示備份程序相同的備份程序。 如圖14所示,當數位靜態相機11及蜂巢式電話12之一者 所捕捉之影像係由伺服器13_丨及伺服器13 2之一者來備份 時,伺服器13-1及祠服$ 13_2分析該等備份影像,擷取該 116517.doc 1338265 等影像之该等特徵,並使用包含該操取影像特徵之元資料 261來覆寫數位靜態相機11及蜂巢式電話12之一者。 圖15說明描述該影像之擷取特徵並與主影像2〇1及縮小 影像202相關聯之元資料261的一特定範例。 例如’元資料261係採用可擴充標示語言(XML)來說 明。 與該主影像201及該縮小影像202相關聯之資訊與指示該 主影像201及該縮小影像202之特徵的資訊係配置於一 <口11〇1〇>標籤與一 </photo>標籤之間。 作為識別與元資料26 1相關聯之主影像201及縮小影像 202之識別資訊的一内容ID係配置於一 ^以办標籤與一 </吕11丨(1>標籤之間。例如,該内容ID係128個位元長。該内 容ID係由該主影像201及從該主影像20 1推導的縮小影像 202共用。 一包含該主影像201作為視訊資料之檔案的一路徑與包 含該主影像201之檔案的一檔案名稱係配置於一 <FullImgPath>標籤與一 </^11111111§?&{11>標籤之間。一包含 該縮小影像202作為視訊資料之檔案的一路徑與包含該縮 小影像202之檔案的一檔案名稱係配置於— <CacheImgPath>標籤與一 </CacheImgPath>標籤之間。 配置於一 <TimeStamp>標籤與一 </TimeStamp>標籤之間 的時間戳記2003:03:31 06:52:32表明該主影像201係在2003 年3月31日在6:52:32捕捉到的。 包含於該内容ID所識別之主影像201及縮小影像202内的 H6517.doc -33- 1338265 臉部影像相關資訊係配置於一 <Faceinfo>標籤與一 </Faceinfo>標籤之間。 配置於一 <TotalFace>標籤與一 </TotalFace>標籤之間的 一表明包含於該内容ID所識別之主影像20 1與縮小影像202 之一者内的臉部影像之數目為一。更明確而言,配置於一 <TotalFace>標籤與一 </TotalFace>標籤之間的值指示包含 於該内容ID所識別之主影像201與縮小影像202之一者内的 臉部影像之數目。 與一臉部影像相關之資訊係配置於一 <FaceEntry>標籤 與一 藏之間。由於在圖15所示之元資料261 内的臉部影像數目係一,故配置一對<FaceEntry>標籤與 </FaceEntry>標戥。 一配置於一 <乂>標籤與一 </x>標箴之間的值指示在該内 容ID所識別之主影像201與該縮小影像202之一者内在水平 方向上的臉部影像之一位置。如圖15所示,在該<x>標藏 與該</x>標籤之間的0.328767指示在水平方向上臉部影像 之右端位置係0.328767,該主影像201及該縮小影像202之 一者之左端在0.0而該主影像201及該縮小影像202之一者 之右端在1.0。 一配置於一 <丫>標籤與一 </y>標籤之間的值指示在該内 容ID所識別之主影像201與該縮小影像202之一者内在一垂 直方向上的臉部影像之一位置。如圖15所示,在該<y>標 籤與該</y>標籤之間的0.204082指示在垂直方向上該臉部 影像之右端位置係0.204082,該主影像201及該縮小影像 116517.doc -34- 1338265 202之一者之上端在0·0而該主影像201及該縮小影像202之 一者之下端在1 ·〇。 更明確而言,該臉部影像之一正規化水平位置係配置於 該<乂>標籤與該</乂>標籤之間,而該臉部影像之一正規化 垂直位置係配置於該<y>標籤與該</y>標籤之間。 一配置於一 <\¥丨(11;11>標籤與一 </width>標籤之間的值指示 在該内容ID所識別之主影像201與該縮小影像202之一者内 的臉部影像之一寬度(在水平方向上的一尺寸)。如圖15所 示,在該〈width〉標籤與該〈/width〉標籤之間的0.408163顯 示該臉部影像之寬度係0.408163,該主影像201及該縮小 影像202之一者之寬度係1.0。 一配置於一〈height〉標籤與一〈/height〉標籤之間的值指 示在該内容ID所識別之主影像20 1與該縮小影像202之一者 内的臉部影像之一高度(在垂直方向上的一尺寸)。如圖15 所示,在該〈height〉標蕺與該</height>標籤之間的 0.273973顯示該臉部影像之高度係0.273973,該主影像201 及該縮小影像202之一者之高度係1 ·0。 更明確而言,該臉部影像之一正規化寬度係配置於該 <\¥丨(11;11>標籤與該</\¥丨(^11>標蕺之間,而該臉部影像之一正 規化高度係配置於該<1^丨§111:>標籤與該</height>標籤之 間。 一配置於一〈⑺丨^標籤與一 </roll>標籤之間的值係臉部 影像之一滾動角。如圖15所示,在該<roll>標籤與該 </roll>標籤之間的〇.〇〇〇〇〇〇顯示該臉部影像之滚動角係 116517.doc -35- 1338265 〇.〇〇〇〇〇〇度。 配置於一<pltch>標籤與_ </pitch>標籤之間的值係臉 部影像之一俯仰角。如圖15所示,在該<pitch>標籤與該 </pitch>‘籤之間的〇 〇〇〇〇〇〇顯示該臉部影像之俯仰角係 0.000000度 ° 配置於一<yaw>標籤與_ </yaw>標籤之間的值係臉部 影像之一偏航角。如圖15所示,在該〈”^標蕺與該 </yaw>私籤之間的〇.〇〇〇〇〇〇顯示該臉部影像之偏航角係 〇.〇〇〇〇〇〇度。 滾動角係相對於一前後軸以軸)的一角度,其表示臉部 在一前後方向上的位置,俯仰角係相對於一水平轴以轴)的 一角度,其I示臉部在一左右橫向方向上的位置。偏航角 係相對於-垂直軸(z#)的—角度,其表示臉部在一垂直方 向上的位置。 置於 Similarityinfo> 標叙與一 </simnarjtyinf〇> 標 籤之間的係該内容ID所識別之主影像2〇丨及縮小影像2〇2之 者之一特徵里。該特徵量係在決定在該内容ID所識別之 主影像201及縮小影像2〇2之一者與另一影像之間相似度時 使用。 如圖1 5所不,該關係位準與該特徵量係配置於該 <SimUarityinf〇^ 籤與該</Shnilarityinf0>標籤之間。該 關係位準指示回應-預定色彩名稱來考量主影像201及縮 小影像202之-者所採用的相關纟,而該特徵量係用於計 算色彩之相似度或該影像之頻率成分。 116517.doc -36· 1338265 配置於一〈Colorinfoy·藏與一 </Colorinfo>標籤之間的 一關係位準指示基於擷取自該内容ID所識別之主影像2〇 i 及縮小影像202之一者的該主影像201及縮小影像202之一 者之該等像素之該等色彩來回應一特定色彩名稱考量主影 像201及縮小影像202之一者所採用之相關度。 一配置於一 <ColorWhite>標藏與一 </ColorWhite>標藏之 間的關係位準指示回應擷取自該内容10所識別之主影像 201及縮小影像202之一者之該等像素之該等色彩的一特定 色彩名稱白色來考量主影像201及縮小影像202之一者所採 用之相關度。如圖15所示,在該<Co丨orWhite^^籤與該 </ColorWhite>標籤之間的〇顯示指示回應色彩名稱白色來 考ϊ主影像20 1及縮小影像202之一者所採用之相關度的關 係位準係〇。 配置於一<ColorBlack>標籤與一 </ColorBlack>標籤之 間的關係位準指示回應擷取自該内容ID所識別之主影像 2〇 1及縮小影像202之一者之該等像素之該等色彩的一色彩 名稱黑色來考量主影像201及縮小影像202之一者所採用之 相關度。如圖15所示,在該<c〇i〇rBiack>標籤與該 </ColorBlack>標籤之間的〇顯示指示回應色彩名稱黑色來 考量主影像20 1及縮小影像202之一者所採用之相關度的關 係位準係〇。 一配置於一 <ColorRed>標籤與一 </c〇1〇rRed>標籤之間 的關係位準指示回應擷取自該内容丨D所識別之主影像2 〇 ι 及縮小影像202之一者之該等像素之該等色彩的—色彩名 U6517.doc •37- 1338265 稱’’工色來考量主影像2〇 1及縮小影像2〇2之一者所採用之相 關度。如圖15所示,在該<c〇1〇rRed>標籤與該 々ColorRed〉標籤之間的〇顯示指示回應色彩名稱紅色來考 !主影像201及縮小影像202之一者所採用之相關度的關係 位準係0。 一配置於一 <c〇1〇rYeU〇w>標籤與一 </c〇1〇rYeii〇w>標籤 之間的關係位準指示回應擷取自該内容1〇所識別之主影像 2〇1及縮小影像202之一者之該等像素之該等色彩的一色彩 名稱黃色來考量主影像201及縮小影像2〇2之一者所採用之 相關度。如圖15所示’在該<c〇i〇rYellow>標籤與該 </Col〇rYell〇w>標籤之間的〇顯示指示回應色彩名稱黃色來 考量主影像201及縮小影像202之一者所採用之相關度的關 係位準係〇。 一配置於一 <0〇1(^0代611>標籤與一 </ColorGreen>標籤之 間的關係位準指示回應擷取自該内容10所識別之主影像 201及縮小影像2〇2之一者之該等像素之該等色彩的一色彩 名稱綠色來考量主影像201及縮小影像202之一者所採用之 相關度。如圖15所示,在該<c〇lorGreen>標籤與該 </ColorGreen>標籤之間的12顯示指示回應色彩名稱綠色來 考量主影像201及縮小影像202之一者所採用之相關度的關 係位準係0.12。該關係位準係採用百分比來表示。 一配置於一 <Col〇rBlue>標籤與一 </ColorBlue>標籤之間 的關係位準指示回應擷取自該内容⑴所識別之主影像20 1 及縮小影像202之一者之該等像素之該等色彩的一色彩名 116517.doc -38- 1338265 稱藍色來考量主影像201及縮小影像202之一者所採用之相 關度。如圖15所示,在該〈ColorBlueMl籤與該</ColorBlue> 標籤之間的0顯示指示回應色彩名稱藍色來考量主影像201 及縮小影像202之一者所採用之相關度的關係位準係0。 配置於一 <VectorInfo>標籤與一籤之間 的係該内容ID識別之主影像201及縮小影像202之一者的一 特徵,用以決定該内容ID所識別之主影像20 1及縮小影像 202與另一影像之間的相似度。 該内容ID所識別之主影像201及縮小影像202每個之一單 一特徵係配置於一對<VectorInfo>標籤與</VectorInfo>標 籤之間。在圖15之元資料261中,說明三對<VectorInfo>標 藏與 </VectorInfo>標蕺。 一 <11^1:11〇(1>標籤與一〈/method〉標籤及一〈vector〉標藏 與一〈/vector〉標籤係配置於每對<VectorInfo>標籤與 </VectorInfo>之間。該特徵方法係說明於該〈method〉標蕺 與該</〇^1;11〇£1>標籤之間,且其特徵量係說明於一 <vector> 標籤與一 <~6(^01*>標籤之間。說明於該<\^(^01*>標籤與該 </¥6(^01'>標籤之間的特徵量係一向量。 在圖15内頂部,在配置於最上面<VectorInfo>標籤與 </VectorInfo>標箴之間的〈method〉標蕺與〈/method〉標籤 之間的一色彩特徵顯示配置於後續〈vector〉標籤與 </vector>標籤之間的特徵量係一色彩特徵量。該色彩特徵 量係在參考圖11所論述之色彩柱狀圖内所示之色彩特徵 量。 116517.doc -39- 1338265 圖 斤示從頂部起’在第二個<VectorInfo>標籤與 </VeCt〇rInf〇>標籤之間的一 <〇1以11〇£1>標籤與一 </meth〇d> &藏之間配置的—文本特徵顯示在後續<vect〇r>與 </vector>之間的一特徵量係一圖案特徵量。該圖案特徵量 係該柱狀圖所表示之特徵量,即參考圖12及13所述之垂直 成分柱狀圖與水平成分柱狀圖。 王元資料26 1係儲存在數位靜態相機11内的内容資料 庫in及相似特徵資料庫U2上與在伺服器13内的内容資料 庫141及相似特徵資料庫142上。更明確而言,元資料261 係適當分割’其部分儲存在内容資料庫111上與其剩餘部 分儲存在相似特徵資料庫丨丨2上。在伺服器丨3中,儲存在 内容資料庫111上的相同元資料261部分係還儲存在内容資 料庫141上,且儲存在相似特徵資料庫112上的相同元資料 261部分係還儲存在相似特徵資料庫142上。 圖16說明儲存在内容資料庫111及内容資料庫ι41之一者 上的元資料之結構。 儲存在内容資料庫ln及内容資料庫141之一者上的元資 料包括一内容ID、影像捕捉時間、路徑名稱、標案名稱、 群組ID、影像内所包含臉部影像相關資訊(下文稱為臉部 影像資訊)、標註ID及評註。 對一影像唯一的内容ID識別該影像。該内容1〇識別主影 像201及縮小影像202。該内容id係一 GUID特性且採用— 字兀串來說明。指示捕捉到影像之日期及時間的影像捕捉 時間係採用一協調世界時間(UTC)或本地時間來說明。採 116517.doc -40· 1338265 用協調世界時來說明的影像捕捉時間等同於採用EXIF格式 嵌入日期時間原始資料的影像捕捉時間(UTC)。 採用本地時間所說明之影像捕捉時間係date特性並採用 曰期格式來說明。採用本地時間來說明的影像捕捉時間等 同於採用EXIF格式嵌入日期時間原始資料之影像捕捉時間 (本地時間)。 路徑名稱(例如ms/CDIM/XXXXX/)指示一主影像201檔案 之一目錄名稱(檔案名稱)。該路徑名稱係一 path特性並採 用一字元串來說明。 檔案名稱(例如DSC00001.JPG)指示一包含主影像201作 為視訊資料之檔案之一名稱。該檔案名稱係一 DCFname特 性並採用一字元串來說明。 縮小影像202之路徑名稱及檔案名稱(例如/DATA/ EVENTTIMAGE/000000000001.JPG)指示一縮小影像202檔 案之一目錄名稱及一檔案名稱。縮小影像202之路徑名稱 及檔案名稱係vgaCachePath特性,並採用一字元串來寫 入。 該群組ID識別一影像所屬之一群組。該等影像係藉由使 用者來分類成所需群組。該群組ID識別一群組的分類影 像。例如,多個影像係藉由事件(例如旅行、運動節日等) 來分類,在各事件時所捕捉的影像係分類成對應於該事件 的一群組。 該群組ID係一 groupID特性並採用一數字元串來說明。 例如,臉部影像資訊指示影像是否係一風景圖片(不包 116517.doc • 41 · 1338265 含任何臉部影像)、一少量人(―至五人)圖片或-大量人 (六人或更多)圖片。若該臉部影像資訊得」,則該影像係-風景圖片》若該臉部影像資訊係2,則該影像係—少量人 圖片。若該臉部影像資訊係3,則該影像係—大量人圖 片。該臉部影像資訊係faeeExistenee特性並採用—數字元 串來說明。 該臉部影像資訊可指示包含於影像内的臉部影像之數 目 '影像内臉部影像之位置、臉部影像之尺寸及臉部之面 向方向=> 該標註ID指不附著至影像之一標註。該標註m係比“丨特 性並採用一數字元串來說明。 該評註ID係一 comment特性且採用一字元串來說明。 保護狀態指示影像之保護狀態,例如刪除或添加。該保 護狀態係一 protect特性並採用一邏輯資料串來說明。 交換/匯入旗標指示是否交換或匯入影像^該交換/匯入 旗標係一 exchangeOrlmport特性並採用一邏輯資料串來說 明。 一元資料致動旗標(其為真)指示伺服器13從影像產生元 資料。該元資料致動旗標係一 metaEnableFlag特性並採用 一邏輯資料串來說明。 一備份旗標(其為真)指示伺服器13備份影像。該備份旗 標係一 backUpFlag特性並採用一邏輯資料串來說明。 圖17說明儲存在數位靜態相機11上的一元資料部分及儲 存在相似特徵資料庫112上的一元資料部分之結構。 H6517.doc •42· 一内容項目係/Α ^ ^ 糸在母一影像基礎上而儲存在内容資料庫 111上。該内容項目係由元資料261之部份所組成。 一:如’:内容項目28Μ對應於由一儲存内容⑴識別的 像’並包含主影像201之内容ID、路徑名稱及樓案名 稱(在圖17中的路徑)、縮小影像202之路徑名稱及檔案名 稱、群組ID、搡用士上山* 0日 用本地時間格式的影像捕捉時間及臉部影 像資訊。對應於另—马徨 乃 衫像的一内容項目28 1 -2包含主影像 201之内今Π)、路徑名稱及檔案名稱(在圖π中的路徑)、 縮小影像202之路徑名稱及樓案名稱、群組m、採用本地 時間格式的影像捕捉時間及臉部影像資訊。 若不需要區別内容項目281_m281_2,則該内容項目係 簡稱為内容項目281。 一相似特徵項目係在每一影像基礎上而儲存在相似特徵 資料庫112上》該相似特徵項目包含排除内容項目28丨之一 元資料261部分。該相似特徵項目包含該内容ID。 一内容項目282-1對應於由該儲存的内容1〇所識別之内 容項目282-1 ’即對應於該儲存的内容ID所識別的一影 像。内容項目282-1係由内容⑴、色彩柱狀圖及該等頻率 成分柱狀圖組成。 該色彩柱狀圖指示在影像中該等32色彩之各色彩之出現 頻率,且係一 histogram特性。該等頻率成分柱狀圖包含一 垂直成分柱狀圖及一水平成分柱狀圖,並指示在影像之垂 直方向及水平方向之各方向上的八個頻率之一頻率成分之 一最大值之出現頻率並係texture特性。 116517.doc •43- 1338265 似地,一内容項目282-2對應於該儲存的内容ID所識 另J之内谷項目281 -2,即對應於該儲存内容ID所識別的一 "7:像内谷項目282~1係由内容1D、色彩柱狀圖及該等頻 率成分柱狀圖組成。 若不需要區別内容項目282_1與282_2,則該内容項目係 簡稱為内容項目282。 對應於儲存在内容資料庫lu上之内容項目的内容項 目282係儲存在相似特徵資料庫11 2上。 圖18說明内容項目282之結構。内容項目282包含一項目 291項目292-1至292-32及一項目293。項目291包含一内 容ID、指向項目292_丨至292·32的指標及一指向項目293的 指標。指向該等項目292]至292·32之該等指標制於色彩 柱狀圖。指向項目293之該指標對應於頻率成分柱狀圖。 忒等項目292-1至292-32分別指示色彩柱狀圖之出現頻 率,即由L*a*b*所表示之各色彩與該色彩所佔據之一影像 區域與該影像的一比率(例如該等32色彩之各色彩之像素 數目)。項目292·1指示作為該等32色彩之一的由L*a>ftb5(t所 表不之一第一色彩與該第一色彩所佔據之影像與該影像之 一佔據比率。項目292-2指示作為該等32色彩之一的由 L*a*b*所表示之-第二色彩與該第二色彩所佔據之影像與 該影像之^一佔據比率。 該等項目292-3至292-32(各色彩分別*L*a*b*表示)包括 該等32色彩之第三至第三十二色彩,並分別表示在該影像 中該等第三至第三十二色彩之佔據比率。 116517.doc -44, 1338265 該等項目292·1至292-32-般表示—單—影像之色彩柱 狀圖。該色彩柱狀圖可由一色彩特徵向量Cv來表示。該色 彩特徵向量Cv可表示為c叫(cl,rl),,㈣,叫)。㈨,⑴ 至(心32)每個均表示由cl至⑴所表示的料32色彩之 各色彩的一影像佔據比率。 項目293 #日示垂直成分柱狀圖及水平成分柱狀圖。該垂 直成分柱狀圖及該水平成分柱狀圖每個均顯示八個出現頻 率 〇 由垂直成分柱狀圖及水平成分柱狀圖組成的頻率成分柱 狀圖可由一頻率成分向量Tv來表示。該頻率成分向量Tv可 說明為τν={(η,υ,…,(t8,1},(t91),⑴61)}。⑴,〇至 (t 16,1)每個均表示tatl6之任一者所表示之頻率成分之最 大數目(出現)。 下面參考圖19之一流程圖來說明伺服器13之一影像獲取 程序。在s亥影像獲取程序中,祠服器丨3從網路伺服器1 5 _ _ 1、網路祠服器1 5-2及另外器件之一者中獲取一影像。 在步驟S61,在伺服器13内的傳輸控制器138-2及接收控 制器139-2引起通信單元8〇經由網路14從網路伺服器15-1獲 取該主影像201。 例如,在步驟S61 ’傳輸控制器138-2及接收控制器139-2引起通信單元80經由網路M連接至網路伺服器151。傳 輸控制器1 3 8 -2引起通信單元80經由網路14將一發送主影 像201之請求發送至網路伺服器15-1。網路伺服器15_丨經由 網路14發送該經請求的主影像2〇1。傳輸控制器138_2引起 U6517.doc -45- 1338265 、。單元80接收由網路伺服器丨% 1所發送的主影像州。 專輸控制5 138·2向影像儲存器14()提供該接收到的主影像 201 〇 在步驟S62縮小影像產生器j 32從該接收到的影像如 產生一縮小影像202。例如,縮小影像產生器132藉由抽取 ”像201之4等像素從主影像產生縮小影像搬。或 縮J々像產生器1 32可藉由平均化該主影像2〇〖之複數 _個連續像素並藉由該單一平均像素值表示該複數個連續像 素來產生縮小影像202。 縮小衫像產生盗132向影像儲存器14〇提供該產生的縮小 影像202。 在步驟S63 ’影像料器14()記錄該接收到的主影像2〇1 及從縮小影像產生ϋ132所產生的縮小影像繼。 該縮小影像產生器132可從影像儲存器14〇中讀取該主影 像2〇1並從該讀取主影像2〇1產生該縮小影像2〇卜 y
在步該4,影像分析器131分析在影像儲存器i4〇上記 錄的影像。在步驟S64之影像分析程序等同於參考圖⑺之 流程圖所述之程序,故在此處省略其論述。 !工〇 3任梦驟S64所榻 取之影像特徵的該影像元資料。在步驟S661目產生器 134產生該主影像2〇1及該縮小影像2〇2之該等項目。項目 產生器134使該等產生項目與在步驟所產生的元資料相 關聯’並㈣將該等項目儲存在内容資料庫142(及相似 徵資料庫142)上。 ’ 116517.doc • 46 · 1338265 、2娜,傳輸控制器138]與接收控制器i39七丨起 通仏單元79連接至數位靜態相機丨i。 在步驟編,掏取單元137基於從數位靜態相機u所發送 的資料’從記錄在影像儲存器14()上的料縮小影像2〇2之 中選擇-縮小影像202,用以將其傳送至數位靜態相機 11。操取單元137從影像儲存器刚中讀取該選定縮小影像 2〇2並將該讀取的縮小影像2〇2提供至傳輸控制器丨i。
在步驟S69,傳輸控制器138-1引起通信單元79將該選 定縮小影像202發送至數位靜態相機丨j。 在步驟S70,傳輸控制器138」引起通信單元79採用與步 驟S37中相同的方式將該影像特徵料該發送縮小影像2〇2 之元資料s己錄在數位靜態相機i〖内的内容資料庫丨1丨與相 似特徵資料庫112上。 在步驟S72,在伺服器13内的傳輸控制器^^丨與接收控 制器139-1引起通信單元79斷開與數位靜態相機u的連 接。處理因而結束。 如圖20所示,伺服器13_丨及伺服器13_2之一者經由網路 14從網路伺服器15_1、網路伺服器15_2及另外器件之一者 獲取主影像20 1 ’並記錄該獲取的主影像2〇 1。祠服器丨3_丄 及伺服器13-2之一者從主影像2〇 1產生一縮小影像202,並 分析主影像201以便擷取主影像2〇 1之特徵。伺服器丨3_丨及 祠服器13-2之一者將該縮小影像2〇2以及包含該主影像20 i 之棟取特徵的元資料261寫入在數位靜態相機11及蜂巢式 電話12之一者上。 116517.doc • 47· 取:ΓΓ21之一流程圖來說明數位靜態相機"之-掏 桎序。在步驟S81,擷取單元1〇7 11及蜂巢式電㈣之一者上的元=子靜態相機 的 的兀貝枓之中選擇將用於擷取 例如’棟取單元…在-關係位準與-特徵之 、擇作為詩#貞取的元資料1關係位準^基於—在 用者操作輸入單元49時來自輸入單元49之信號而回應影 ^捉日㈣、成隸件、臉料料減—狀色彩來考 里影像所採用的相關度。該特徵係用於 或影像之頻率成分的特徵。 在步驟S81,回應該來自使用者所操作之輸人單元^之 信號,擷取單元107在擷取記錄在影像儲存器110上的主影 像201及縮小影像2〇2之一者時選擇一擷取範圍。 在步驟S82,擷取單元107在一信號提供自使用者所操作 之輸入單元49時獲取一擷取開始命令。 在步驟S83,擷取單元1〇7從内容資料庫ln及相似特徵 資料庫112之一者連續讀取在該擷取範圍内的主影像2〇ι及 縮小影像202之一者之元資料26 1。 在步驟S84,擷取單元107決定元資料261是否存在,即 兀資料261是否為空。若在步驟S84決定元資料261係存 在,則處理進行至步驟S85。擷取單元107從元資料261產 生摘取結果顯示控制資訊。 在步驟S85,使用該元資料,其作為指示用於計算色彩 或衫像之頻率成分之相似度之特徵的一向量。更明確而 言,基於該元資料’擷取單元107基於作為該選定影像(用 1165I7.doc -48- 作參考影像)之向量的元資料與作為該操取範圍内的影 像之向量的元資料來計算該向量之一距離。掏取單元m 因而產生該向量之距離作為該擷取結果顯示控制資料。 4向篁之距離越小,該等影像便看起來越相似。使用該 #貝取結果顯示控制資料作為向量之距離,會讀取-更相^ 影像’並然後按相似度次序來顯示該等影像。 在^驟S85,操取單元1〇7基於作為指示回應該預定色彩 鲁來考量該影像所採用之相關度之關係位準的元資料來比較 。亥關係位準與-輸人臨界值,並產生—關係位準高於該輸 入Bs界值的掏取結果顯示控制資料。 使用-關係位準高於該輸人臨界值之摘取結果顯示控制 資料,讀取-回應-色彩名稱具有一更高相關度之影像, 即一具有該色彩之更多成分之影像。僅具有該色彩名稱之 色彩之该專影像係因而顯示。 例如’擷取單元107藉由基於作為指示回應該預定色彩 •名稱而產生相關性所採用之相關度之關係位準的元資料計 算該輸入臨界值與該關係位準之間的距離來計算㈣取結 果顯示控制資料。 使用該榻取結果顯示控制誉祖 k制貪枓’即在該輸入臨界值與該 關係位準之間的距離,讀取_目士 冥取具有—所需色彩名稱之一所 需數量色彩成分的影像’並然後加以顯示。 該擷取結果顯示控制資料包含内容 於識別對應於該擷取結果顯 小影像202之一者。 而該内容ID係用 不控制資料的主影像201及縮 116517.doc •49- 1338265 在步驟S86,操取單元107在掏取結果健存器ιΐ5上儲存 該產生的擷取結果顯示控制資料。 在步驟S87,操取單元1〇7決定在該掏取範圍内的所有主 影像2(H或所有縮小影像搬是否處理完。若在步驟奶決 定在該糊取範圍内的所有主影像2〇1或所有縮小影像2〇2未 處理完,則處理返回至步驟S83。擷取單元ι〇7從内容資料 庫m及相似特徵資料庫112之一者中讀取在該擷取範圍内 的-下-主影像201及—下—縮小影像加之—者之元資料 2 6 1,以重複上述程序。 若在步驟S84決定該元資料261係不存在,即該元資料 261係空,則處理返回至步驟S83。搜索器ι〇7從内容資料 庫ill及相似特徵資料庫112之一者中讀取在該棟取範圍内 的一下一主影像20 1及一下一縮小影像2〇2之一者的元資料 261 ’並重複上述程序。 若在乂驟S87决疋在該擁取範圍内的所有主影像1或所 有縮小影像202均處理完,則處理返回至步驟S88 ^顯示控 制器106從擷取結果儲存器115中讀取該擷取結果顯示控制 資料。在步驟S89,顯示控制器106基於該擷取結果顯示控 制貝料從影像處理器i丨〇中讀取主影像2〇丨及縮小影像2〇2 之一者,並顯示主影像2〇1及縮小影像2〇2之該一者。處理 因而結束。 右在步驟S85產生作為指示用於計算該色彩或該影像之 頻率成分相似度之特徵之向量距離的擷取結果顯示控制資 料,則在步驟S89,顯示控制器1〇6相對於一參考影像按相 116517.doc 1338265 似度-欠序來在監視器40上顯示主影像2〇丨或縮小影像2〇2之 一者。 若在步驟S85指示作為回應該預定色彩名稱所考量之相 關度之關係位準的擷取結果顯示控制資料係超過該輸入臨 界值,則在步驟S89顯示控制器1〇6在監視器4〇上顯示包含 該色彩名稱之更多色彩的主影像2〇1及縮小影像2〇2之— 者。 右在步驟S85產生作為在指示回應該預定色彩名稱所考 量之相關度之關係位準與該輸入臨界值之間距離的擷取結 果顯不控制資料,則在步驟S89顯示控制器1〇6在監視器4〇 上顯示包含一所需色彩名稱之一所需色彩數量的主影像 201及縮小影像202之一者。 蜂巢式電話12執行與參考圖21之頻率成分柱狀圖所述之 掏取程序相同的擷取程序。伺服器13執行與參考圖21之頻 率成分柱狀圖所述之擷取程序相同的擷取程序。 如圖22所示’縮小影像2〇2係採用相同方式基於在數位 靜態相機11與蜂巢式電話12之一者内的内容資料庫丨丨丨及 相似特徵資料庫112上所儲存的元資料261來擷取,使得該 主影像201係基於在伺服器13_丨及伺服器13_2之一者内的内 各資料庫1 4 I及相似特徵資料庫142上所儲存的元資料261 來拮貞取》 下面說明數位靜態相機11之特定擷取程序。 圖23係說明數位靜態相機11之另一擷取程序的一流程 圖°在步驟S101,顯示控制器1〇6引起按時間系列序列將 1165l7.doc 1338265 縮小影像202顯示在監視器4〇上。更明確而言,在步驟 S101 ’影像儲存器ι10回應一來自使用者所操作之輸入單 7049之信號從該記錄的縮小影像2〇2之中向顯示控制器 提供在一預定範圍内的縮小影像2〇2。内容資料庫從提 供自顯示控帝J器106的在該預定範圍内之縮小影像2〇2之元 資料261之中在影像捕捉時間向顯示控制器ι〇6提供元資 料。顯示控制器1〇6引起監視器4G按影像捕捉時間,以時 間系列影像捕捉次序來顯示該縮小影像2〇2。 如圖24所示,顯示控制器1〇6引起監視器4〇在每一群組 基礎上按影像捕捉時間系列次序來顯示該縮小影像2〇2。 各群組係由-群組ID來識別。在圖24右邊的各方形指示_ 縮小影像202,而在各方形㈣—數字指示—影像捕捉次 ^顯示㈣器106在每一群組基礎上以一光拇掃描序列 按影像捕捉次序來在監視器4〇上顯示縮小影像2〇2。 在步驟S101,影像儲存器11〇可在監視器4〇上引起群集 影像。 Μ 刀別在時間11至112捕捉的影像ρ 1至ρ 12現已群集。例 如’條件A及條件b係設定於一群集程序内。根據條件a, -群集係由影像pi至影像pl2所組成。條件八定義一低粒度 (粗糙)群集’而條件B定義一高粒度(精細)群集。條件B係 在粒度上比條件A更高。例如,一事件名稱「結婚典禮」 係设定在條件A所定義之群集内。
在具有事件名稱「結婚典禮」集合之群集内,影像之影 像捕捉時間之時間間隔變更程度係小於m界值。V 116517.doc -52- 1338265 旦從影像P1至pl2 ’條件B定義一影像pip之群集、另一 ?/像卩4至p7之群集及另__影像至pi?之群集。 由―「教堂典禮」係、設定在由影像P1至P3所組成之群集 二::; =」係設定在由影像P4至-所組成之群集 集内。 ^會」係設定在由影像P8至Pl2所組成之群 影像之影像捕捉時間之時間間隔變更程度在具有事件名 • ^ /、禮」之群集内的影像P1至P3之間係較小。從影 像P 3至影像p 4會出現_ . ^^ 与後“ 7 長的時間間隔,影細係由 〜像p4至p7所組成之—一 下群集之第一影像,該下一群隼 具有一較低影像捕捉時間 ’、 軸彳t纪你 1之時間間隔變更程度(按時間 轴)°在影像p3與影像4之間 出現頻率。 P之間的時間間隔期間’決定改變 在事件名稱「婚禮娛樂隹人 、条」集合在其内的群集内,影像捕 捉時間之時間間隔變更程 門以像捕 妒傻n7更耘度在衫像P4至P7之間係較小。從 〜像P7至影像p8會出 由影像P8至心^ / 的時間間隔’影像P8係 群集具有-較低影像捕捉時門二之第一衫像’該下一 „ 字間之時間間隔變更程卢f接日洋 間軸)》在影像P7與影像〇8夕„ 雙更程度(杈時 變出現頻率。 間的時間間隔期間,決定改 在事件名稱「第二聚會隹人^ n+ pa . 」、〇在其内的群集内’影像捕 捉時間之時間間隔變更程 :像捕 從影像Pl2至-下一影像會 Ρ Μ2之間係較小。 i^T-ψ it # -F私 見相對較長的時間間隔, “象係-下一群集之第—影像,該下一群集具有一 U6517.doc -53- 1338265 較低影像捕捉時間 像阳與該τ —、 間搞變更程度(按時間轴)。在影 頻率。 “象之間的時間間隔期間,決定改變出現 婚禮娛 例如,事件名稱「結婚 樂」及「第二聚會#^」教至典禮」 本會j係由使用者手動設定。 複數個條件係設定 基於該等條件來定義群集衫像且不同粒度位準之群集係 包含於因此定羞夕女被 呈現給使用者/ 内的影像係採用—層次結構而 ^步驟S1(H ’影像儲存器11()可引起監視器 -顯示區域分割成多個分 期將 马务 在預疋刀&内顯示縮小 Γ!: 指定給該分區之資料匹配影像捕捉曰期。 而吕’在步驟S101,影像健存器110採用-日曆格 式來顯示縮小影像202。 在步驟S 1 02,掏取蕈开1 Λ7 Α Α 1 貝取皁το 107基於來自使用者操作之監視 器4〇之信號’從顯示在監視器4〇上的縮小影像2〇2中選擇 一縮小影像202。 當選擇以-時間系列格式顯示的該等縮小影像鐵之任 「者時’顯示控制器⑽突顯該選定縮小影像2〇2或增強該 選疋縮小景>像202之輪廓,如圖24所示。 當選擇以-時^列格式顯示的該等縮小影像2〇2之任 一者時’顯示控制器106在監視器4〇上擴展該選定縮小影 像202’如圖25所示。 在步驟S103,擷取單元1〇7擷取—相似影像。 1165l7.doc •54- 1338265 圖26係說明在步驟s 103執行的一相似影像擷取程序之一 流程圖。在步驟S131,擷取單元107從使用者所操作之輸 入單元49接收一信號,並因而藉由在一顯示在監視器4〇上 的選單内選擇一「相似性擷取」項目來獲取一相似性擷取 指令。 在步驟S132,擷取單元1〇7藉由從使用者操作之監視器 40接收一信號來接收一擷取開始指令。 φ 在步驟S133,擷取單元從相似特徵資料庫112中讀取 一相似特徵向量,其對應於在步驟S102選擇的縮小影像 2〇2之一内容ID。該相似特徵向量係一色彩特徵向量與 一頻率成分向量Tv之一。 在步驟S134,擷取單元107從相似特徵資料庫112讀取— 相似特徵向量,其對應於在一擷取範圍内的一縮小影像 202之一内容id。 若在步驟S133讀取作為色彩特徵向量以之相似特徵向 φ莖,則在步驟5134讀取作為一色彩特徵向量Cv之一相似特 徵向量。若在步驟S133讀取作為頻率成分向量7乂之相似特 徵向置,則在步驟S134讀取作為一頻率成分向量Τν的一相 似特徵向量。 在步驟S135 ’掏取單元1()7計算在該棟取範菌内的縮小 影像202之相似特徵向量與選定縮小影像搬之相似特徵向 量之間的一距離。 下面說明在—色彩特徵向量Cvl = {(cl_l,rl_l)、...、 (c32一l’r32_l)}與—色彩特徵向量 = K2)、…、 H6517.doc •55· 1338265 (c32一2,r32一2)}之間距離的計算 個元素。 此處介紹地面距離dij=d㈣,e2j)之概念。地面距離〜定 義-色彩特徵向量之元素之間的一距離,且係二色彩之間 的-歐幾裏得距離(在三轴L*a*b*空間内的距離)。地面距 離dij因而係說明為dij=| Icli_c2j| |。
各色彩特徵向量具有32 在色彩特徵向量Cvl與色彩特徵向量Cv2之間的一推土 機距離(EMDH系藉由解決—決^^從色彩特徵向量⑺至 色彩特徵向量Cv2之流量F={Fji}之運輸問題來計算。此 處,色彩特徵向量Cvl係一提供者,色彩特徵向量cv2係 一市場’而dw係單位運輸成本。 EMD係根據等式(1)藉由將該運輸問題之一最佳值(整體 運輸成本之一最小值)除以流量數目並正規化商來計算。 EMD = __
si ~52 一 // J »/
則
r2J 藉由等式(1)所計算之EMD係在色彩特徵向量Cvl與色彩 特徵向量Cv2之間的距離。 胃等頻率成分向量Tv之距離係採用與色彩特徵向量Cv 之距離相同的方式來決定。 權重Wc可決定用於色彩特徵向量Cv之距離而權重Wt可 決定用於頻率成分向量Tv之距離,且最終距離可使用等式 116517.doc • 56· 1338265 (2)來計算。 distance = EMDcotorxwc + EMDtexture^wt (wc+wt=l) (2) 使用者可決定權重Wc及Wt。權重Wc及Wt可能係固定 值。更明確而言,該等權重Wc及Wt每個可能係0,5,而該 最終距離可藉由平均化色彩特徵向量Cv之距離與頻率成分 向量Tv之距離來決定。 用於計算向量距離之EMD(推土機距離)係揭示於Y. • Rubner、C. Tomasi與L.J. Guibas所著之標題為「一種應用 於影像資料庫之分佈度量法」之論文(1998年1月印度孟買 IEEE電腦視覺國際研討會,1998年學報,第59至66頁)。 向量距離計算法不限於此方法。例如,可使用歐幾裏得距 離或郝思多(Hausdorff)距離。多個技術還揭示於Michihiro KOB AYAKAWA與Mamoru HOSHI所著之標題為「基於小波 變換之互動影像擷取」之論文(電腦科學雜誌十二月内 容,1999 年 12 月 1 日由 Kyoritsu Shuppan 出版,第 30 至 41 φ 頁)與由 Κ· OH、Κ· KANEKO、A. MAKINOUCHI 及 A. UENO所著之標題為「基於自動組織特徵地圖之相似影像 擷取系統之設計、實施及效能」之論文(電子、資訊及通 訊工程師學會(IECE)技術報告,第10卷,第31號,2000年 5月2日由IECE出版,第9至16頁)内。還可使用此類技術。 在步驟S136,擷取單元107將距離及其相關聯的在擷取 範圍内之影像儲存在相似特徵資料庫113上。例如,在步 驟S136,擷取單元107將距離及其相關聯的在擷取範園内 116517.doc -57- 1338265 之影像之内容ID—起儲存在相似結果資料庫U3上。 圖27說明儲存在内容資料庫111及相似特徵資料庫112上 的元資料及儲存在相似結果資料庫113上的距離之結構。 如圖27所示,一資料庫記錄3〇 1-1對應於内容項目281-1 及内容項目281-1之每個内容項目而一資料庫記錄301_2對 應於内容項目28 1-2及内容項目28 1-2之每個内容項目。 更明確而言’資料庫記錄301-1及資料庫記錄301-2之每 個資料庫記錄包括一内容ID、一相似特徵向量、主影像 201之一路徑名稱及一檔案名稱、一群組ID、影像捕捉時 間及其他特性。 儲存在相似結果資料庫113上的一距離記錄302包含内容 ID與距選定影像之距離。一距離記錄302使用該内容ID與 資料庫記錄30 1-1及資料庫記錄30丨_2之每個資料庫記錄相 關聯。 若不需要區別資料庫記錄301 -1及資料庫記錄301 -2,則 該資料庫記錄係稱為一資料庫記錄3〇1。 在距離s己錄302内的距離係一 distance特性。 儲存在時間群組資料庫丨14上的一時間群組記錄303包含 對一群組唯一的一群組ID(用於識別群組)及識別屬於該群 組ID所識別之群組之影像的一内容ID。在時間群組記錄 303内的内容id之配置係一 ph〇t〇IdArray特性。 如圖28所示’内容資料庫m、相似結果資料庫U3及時 間群組資料庫1丨4係與其記錄相關聯。一或複數個資料庫 記錄301係儲存在内容資料庫ηι及相似特徵資料庫112(未 116517.doc -58- 1338265 顯示)之各資料庫上,而一或複數個時間群組記錄3〇3係储 存在時間群組資料庫114上。 回到圖26,在步驟S137,擷取單元1〇7決定是否完成在 該擷取範圍内的所有影像。若在步驟sm決定未完成所有 影像,則處理返回到步驟S134。擷取單元1〇7讀取對應於 在該擷取範圍内之一下一縮小影像202之内容ID的相似特 徵向量’並重複上述步驟。 # 若在步驟^37決定已完成所有影像,則處理進行到步驟 S138。擷取單元1〇7從相似特徵資料庫ιΐ2中讀取與在該擷 取範圍内的影像相關聯之距離。例如,在步驟sn8,擷取 單元107從相似特徵資料庫112中讀取該距離與該識別在其 相關聯擷取範圍内之影像的内容ID。 在步驟S139,擷取單元107依據在步驟S138内讀取的距 離來篩選在該擷取範圍内的該等影像,並結束該程序。例 如在步驟S139,擷取單元1〇7依據距離次序,藉由篩選該 φ 等識別在該擷取範圍内之該等影像之該等内容ID,來按相 似度次序來筛選在該擷取範圍内的該等影像。 回到圖23 ’在步驟S1〇4,顯示控制器ι〇6按相似度次序 在監視器40上顯示該等縮小影像2〇2。更明確而言,在步 驟S 104,顯不器控制器i 〇6從影像儲存器1丨〇中讀取該等縮 小衫像202,並在步驟S139按在步驟SU9所篩選之相似度 -人序在監視器40上顯示該等縮小影像2〇2。 如圖29所示’顯示控制器106引起監視器40按相似度次 序來顯示與在步驟S 1 〇2所選定之縮小影像2〇2相似的該等 116517*doc -59- 1338265 縮小影像202 »例如,顯示控制器1 〇6將在步驟S102選擇的 縮小影像202(在圖29内的關鍵影像)顯示在監視器40之顯示 區域之左上角’並以一光柵掃描序列,按相似度次序,來 顯示相似於該關鍵影像之縮小影像202。在圖29之右側的 各小方形表示一縮小影像202且在各方形内的一字母表顯 示縮小影像202之相似度次序。 在步驟S105,擷取單元1〇7回應一來自使用者操作之監 視器49的信號,從顯示在監視器4〇上的縮小影像202中選 擇一縮小影像202。 如圖29所示,若標註為b的縮小影像202係從按相似度次 序採用一光柵掃描格式顯示在監視器4〇上的該等縮小影像 202之中選擇’則該選定縮小影像2〇2係突顯或該選定縮小 影像202之輪廓係增強。同時’顯示控制器1 〇6以一擴展視 角來在監視器40之顯示區域内顯示在該關鍵影像下面的選 定縮小影像202。 在步驟S106,擷取單元1〇7決定是否回應一來自使用者 所操作之輸入單元49之信號來取消該選擇《若擷取單元 107決定不取消,則處理進行至步驟s1〇7。擷取單元1〇7決 定是否輸入該選定縮小影像2〇2。 若在步驟S1 07決定要輸入該選定縮小影像2〇2,則擷取 單兀107獲取在步驟S105選定的縮小影像2〇2之一群組m。 更明確而言,擷取單元107讀取在步驟sl〇5所選定之縮小 影像202之内容id所識別之元資料261,並從元資料261擷 取識別該選定縮小影像2〇2所屬於之群組的群組ID,並獲 116517.doc •60- 1338265 取該選定縮小影像202之群組ID。 在步驟S109,擷取單元107從影像處理器11〇讀取屬於該 所獲取群組ID所識別之群組的縮小影像202。更明確而 言’擷取單元107依據該獲取群組ID在時間群組資料庫H4 上擷取時間群組記錄303。擷取單元107依據具有與該獲取 群組ID相同群組ID之時間群組記錄303,從時間群組資料 庫114中讀取識別屬於該群組ID所識別之群組之影像的一 ^ 串内容ID。擷取單元1〇7從影像儲存器11〇中讀取作為該串 讀取内容ID之一元素的内容ID所識別之縮小影像2〇2。棟 取單元107向顯示控制器1 〇6提供該讀取縮小影像2〇2。 在步驟S110 ’顯示控制器1〇6引起監視器4〇採用時間系 列格式來顯示該等讀取縮小影像2〇2 »處理因而結束。 在步驟S110,顯示控制器1〇6可引起監視器4〇採用—群 集格式或一曰曆格式來顯示該等縮小影像2〇2。 若在步驟S107決定不輸入該選定縮小影像2〇2,則處理 φ 返回至步驟S104,以重複步驟S104及後續步驟。 若在步驟S106決定取消該選擇,則處理返回至步驟 S101,以重複步驟sl〇1及後續步驟。 在步驟S102及S105,該影像選定狀態係維持在螢幕上, 直到選擇一下一影像。在步驟S101、sl〇4及Su〇,該選〜 影像係顯示在螢幕上,採用一方式增強其輪廓使得使又 者可辨識該選定影像。 用 更明確而言,在顯示該等影像時,在一時間系列顯八 式與一相似度依此顯示格式之間執行一切換操作,’不格 116517.doc -61 - 1338265 選定影像狀態。 方式可立即顯不在靠近與一預定影像相似之影像 之影像捕捉時間之時間所捕捉的影像。可立即顯示與在靠 近預疋影像之影像捕提時間之時間捕捉的影像相似之影 像。因而可按掏取中的次序回溯影像並藉由影像相似度標 準或罪近時間‘準來擷取。藉由有效地組合一時間軸擷取 及相似度擷取,即使具有一較小榮幕尺寸之數位靜態相 機11允許使用者根據相似度及時間來查看並操取影像,相 似度及時間二者係人類記憶之主要因素。 表不相似度之距離指示統計相似度,且一擷取失敗可能 會發生。從人類意義上顯得相似的一影像可能會逃脫擷 取。即便-擷取失敗發生,在相近事件的影像係採用一視 圖來顯示,故使用者仍可辨識從人類意義上顯得相似的一 影像。 可每年捕捉諸如櫻桃開花景色、煙火、烤肉聚會之事件 之圖片。可累積此類事件之圖片。在執行相似度擷取之 後,該等影像可立即以時間系列次序重新配置。以時間系 列次序顯示的相似事件之影像可用作一相片冊,用以幫助 使用者回想該等事件。 數位靜態相機11可採用圖23之一流程圖之程序來擷取主 影像201 〇 在圖23之流程圖所示之擷取程序中,該等縮小影像2〇2 係以時間系列次序’按群組顯示在監視器4〇上,如圓3〇之 上面邛分所示。若標註為字母A之縮小影像2〇2係選自採用 I I6517.doc • 62 - 1338265 時間系列格式顯示的該等縮小影像2〇2,與標註字母A之縮 小影像202相似的縮小影像2〇2係擷取並按相似度次序顯示 在監視器40上。 ‘ ’ 監視器40以一放大視圖來顯示該關鍵影像,即標註為字 母A之縮小影像202。 若標註為字母B之縮小影像B係選自按相似度次序顯示 的該等縮小影像202,則監視器4〇採用一放大視圖來顯示 標s主為字母b之縮小影像2〇2作為關鍵影像。
與標註為字母A之縮小影像202相似的該等縮小影像2〇2 係按相似度次序顯示在監視器4〇上。若取消選擇標註為A 之縮小影像202,則該等縮小影像2〇2係採用時間系列格式 來重新顯示。 若在標註為字母B之縮小影像2〇2係選自按相似度次序顯 不的該等縮小影像202之中時選擇一項目鍵,則屬於標註 為字母B之群組的該等縮小影像2〇2係採用時間系列格式來 顯示。在此情況下,顯示標註為字母B之縮小影像2〇2,其 輪廊增強。 可按影像捕捉日期將該等縮小影像2〇2篩選成群組。在 母一群組基礎上,監視器40採用時間系列格式顯示具有靠 近標註為字母B之縮小影像202之影像捕捉日期之日期的該 等縮小影像202 * Λ 下面說明伺服器13之擷取程序。圖31係說明伺服器13之 擷取程序的—流程圖。在步雜61,在舰器加的顯示 控制器136引起作為—顯示單元的輸出單元77採用時間系 1165l7.doc • 63 - 1338265 列格式顯示主影像201。更明確而言,在步驟S161,影像 儲存器140從記錄於其上的該等主影像训之中回應—/來 自/吏用者所操作之輸入單心之信號,向顯示控”136 如供在一擷取範圍内的主影像2〇1。内容資料庫⑷從在提 供給顯示控制器136的落入該預定範圍内之縮小影像2〇ι之 兀資料261之令’在影像捕捉時間向顯示控制器提供元 資料261。顯示控制器136引起輸出單元77依據影像捕捉時 間按影像之時間系列序列來顯示該等主影像2〇1。 例如,如圖32之右邊部分所示’顯示控制器136引起輸 出單元77㈣像捕捉時間系列(即沿時間轴)顯示該等縮小 &像202。顯不控制器136在每一群組基礎上引起輸出單元 77按捕捉次序來顯示該等主影像2〇 1。 在步驟S162,操取單元m回應—來自使用者所操作之 輸入單元76之信號選擇顯示在輸出單元”上的該等主影像 2 0 1之一者。 在步驟S163 ’操取單元137執行相似影像之擷取程序。 在步驟S163内的擷取程序係藉由擷取單元137來執行而非 擷取單元107來執行。在步驟§163内的擷取程序之其餘部 分仍保持與參考圖26所述之程序不變,故本文省略其論 述。 在步驟S164,顯示控制器136引起輸出單元”按相似度 次序顯不主影像201。更明確而言,在步驟“㈠,顯示控 制器136引起輸出單元77按篩選的相似度次序來顯示主影 像 201 〇 1165I7.doc -64· 1338265 例如,顯示控制器136引起輸出單元77按相似度次序顯 示與在步驟S162所選擇之主影像201相似的主影像2〇1,如 圖32之右邊部分所示。 在步驟S165,擷取單元137回應—來自使用者所操作之 輸入單元49之信號,從顯示在輸出單元77上的該等主 2〇1中選擇一主影像201。 ·、’ 在步驟S166,擷取單元137回應一來自使用者所操作之 通信單元47之信號,決定是否以時間系列格式顯示該等影 像。例如,在使用者選擇顯示在輸出單元77上的一開關按 鈕351及一開關按鈕352之一者時,決定是否擷取單元η? 回應一來自輸入單元76輸入之信號,以時間系列次序顯示 該等影像。 當選擇引起以時間系列格式顯示該等影像之在輪出單元 77上的開關按鈕351時,決定在步驟3166執行該時間系列 顯示。處理進行至步驟S167。 在步驟S167,擷取單元137從内容資料庫141之中,獲取 該選定主影像201之群組id。更明確而言,擷取單元137從 内容資料庫141讀取該選定主影像2〇1之内容m所識別之元 資料261,並從所讀取的元資料26 1擷取識別該選定主影像 201之群組的群組ID。擷取單元137因而獲取該選定主影像 201之群組ID。 在步驟S1 68,擷取單元137從影像處理器140讀取屬於所 獲取群組ID所識別之群組的縮小影像201。擷取單元137依 據該獲取群組ID擷取時間群組資料庫丨44之時間群組記錄 116517.doc -65- 1338265 303。擷取單元137依據包含與該獲取群組⑴相同群組⑴的 時間群組記錄3 03來從時間群組資料庫丨44讀取識別屬於該 群組1D所識別之群組之影像的該串内容ID。擷取單元137 從影像儲存器140讀取作為該串讀取群組1]〇之—元素的内 容ID所識別之主影像201。擷取單元137向顯示控制器136 提供該讀取主影像20 1。 在步驟S169,顯示控制器136引起輸出單元”顯示該讀 籲取該主影像2〇1。更明確而言,在步驟川9,顯示控制器 136引起輸出單儿77以時間系列格式來顯示該主影像初卜 在步驟S170,擷取單元137回應一來自使用者所操作之 輸入單元76之信號,從顯示在輸出單元刃上的該等縮小影 像202中選擇一主影像2〇 1。 在步驟S171,擷取單元137決定是否回應一來自使用者 所操作之輸入單元49之信號來採用時間系列格式顯示該等 影像。例如,在使用者選擇顯示在輸出單元77上的—開關 •按鈕351及一開關按鈕352之一者時,擷取單元137決定是 否回應-來自輸入單元76輸入之信號以時間系列次序顯示 該等影像》 若使用者選擇引起按相似度次序顯示該等影像之在輸出 單元77上的開關按鈕352,則在步驟以”,擷取 π 定按相似度次序來顯示該等影像。若在步驟⑽決定以時 間系列格式來顯示料影像,料理返回至步驟 若使用者選擇引起按相似度次序顯示該等影像之在輸出 早兀77上的開關按鈕351,則在步驟,擷取單元丨”決 H65I7.doc -66- 處理返回至步驟S1 67 定不按相似度次庠Λ & _ 吁采顯不該等影像 以重複步驟S167及後續步驟。 右在步驟S166選擇開關按-352,則不以時間系列格式 來顯示該等影像,且盧 處里返回至步驟S163以重複步驟s 163 及後續步驟。 在·相似度次序顯示I $ 、夺間系列次序顯示之間的切換操作 係回應顯示在輪屮虽 早77上的開關按鈕351及開關按鈕352 之選擇來自由執行。 下面說明伺服器13之關係位準擷取程序。 數位靜1、相機11、蜂巢式電話12及词服器! 3使用色彩名 稱及該色彩名稱之關係位準作為影像特徵㈣取影像。词 服器13從影像巾#貞取-預定色彩名稱之關係位準作為該影 像之一特徵。 回應該特定色彩名稱考量影像 關係位準係指認為影像具有一 色彩名稱之關係位準表明 所採用之相關度。換言之, 特定色彩名稱之一色彩所採用之色彩比率。 該等色彩名稱係、紅色、藍色、黃色、白色、黑色、綠色 等。 圖33係說明擷取色彩名稱之關係位準的色彩特徵擷取器 172之結構的一方塊圖。色彩特徵擷取器172包括一影像輸 入單元401、一紅色關係位準擷取器4〇2、一藍色關係位準 擷取器403、一黃色關係位準擷取器4〇4及一擷取特徵記錄 器 405。 紅色關係位準掏取器402、藍色關係位準掘取器及黃 -67- 1165 丨7. doc 色關係位準拍頁取器404係僅出於示範目的而說明,並可採 用用於操取任何色彩之關係位準的任何數目的關係位準棟 取器。更明確而言,-關係位準擁取器係在每一色彩名稱 基礎上準備。 在下述範例中,併入紅色關係位準擷取器4〇2、藍色關 係位準擷取器403及黃色關係位準擷取器4〇4。 "影像輸入單元40丨從影像儲存器14〇獲取主影像2〇1,將 鲁從。玄主影像201满取關係位準。料輸入單元4〇1從關係位 準掏取器儲存器之對應性儲存器145獲取色彩名稱及對應 性資訊,該對應性資訊指示至紅色關係位準棟取器術、 藍色關係位準榻取器403及黃色關係位準_器4〇4之各關 係位準擷取器之映射。 如圖34所示,記錄在關係位準棟取器儲存器之對應性儲 存器145上的對應性資訊包含色彩纟稱及識別從中操取該 色彩名稱之關係位準的紅色關係位準擷取器4〇2、藍色關 •係位準擷取器403及黃色關係位準擷取器404的資訊。例 如’如圖34所示,色彩名稱「紅色」對應於紅色關係位準 掘取器402,色彩名稱「藍色」對應於藍色關係位準榻取 器403而色衫名稱「黃色」對應於黃色關係位準擷取器 404 〇 基於該對應性資訊,影像輸入單元4〇丨向影像輸入單元 4〇1、藍色關係位準擷取器4〇3及黃色關係位準擷取器4〇4 提供從影像儲存器140獲取的主影像2〇 1。 紅色關係位準擷取器4〇2從提供自影像輸入單元4〇1之主 I16517.doc •68· 影:象2〇1掏取關係位準,其指示回應色彩名稱紅色來考量 所採用之相關度β紅色關係位準擷取器402然後 向掏取特徵記錄器4G5提供從主影像洲所擷取的關係位 準’其指示回應色彩名稱紅色之相關度。 藍色關係位準操取器403從提供自影像輸入單元401之主 IV像20 1擷取關係位準’其指示回應色彩名稱藍色來考量 t/像201所採用之相關度。藍色關係位準操取器4〇3然後 向擁取特< s己錄ϋ 4G5提供從主影像2()1所掏取的關係位 準’其指示回應色彩名稱藍色之相關度。 汽色關係位準擷取器404從提供自影像輸入單元401之主 表像20 1擷取關係位準,其指示回應色彩名稱黃色來考量 主影像2G1所採用之相關度。黃色關係位準掏取器404然後 向擷取特徵記錄器405提供從主影像2〇1所擷取的關係位 準,其指示回應色彩名稱黃色之相關度。 擷取特徵記錄器405使分別來自紅色關係位準擷取器 4〇2、藍色關係位準擷取器4〇3及黃色關係位準擷取器4〇4 的指不回應色彩名稱紅色之相關度之關係位準、指示回應 色彩名稱藍色之相關度之關係位準及指示回應色彩名稱黃 色之相關度之關係位準與主影像2〇1相關聯,並然後將該 等產生關係位準儲存在擷取特徵儲存器146上。 如圖35所示’擷取特徵儲存器146將指示回應色彩名稱 紅色之相關度的關係位準、指示回應色彩名稱藍色之相關 度的關係位準及指示回應色彩名稱黃色之相關度的關係位 準與識別主影像201之内容iD儲存在一起。 U6517.doc •69· 1338265 如上所述,影像輸入單元401輸入記錄在影像儲存器i4〇 上的主影像201。不僅可輸入並處理主影像2〇1,還可輸入 並處理縮小影像202或減小色彩影像221 ^替代該等影像, 可藉由影像輸入單元401來輸入與從中擷取各關係位準之 影像相關聯的色彩柱狀圖。紅色關係位準擷取器4〇2、藍 色關係位準擷取器403及黃色關係擷取器4〇4然後可從該等 輸入柱狀圖擷取其關係位準。 鲁 圖35說明記錄在擷取特徵儲存器146上的關係位準之一 邏輯結構。如所示,與一内容ID 〇〇〇相關聯,擷取特徵儲 存器146儲存指示回應色彩名稱紅色之相關度的一關係位 準〇·80、指示回應色彩名稱藍色之相關度的一關係位準 〇.〇〇及指示回應色彩名稱黃色之相關度的一關係位準 0.1 0,母個關係位準均棟取自一内容ID 〇〇〇所識別之主影 像201。與一内容⑴001相關聯,擷取特徵儲存器146儲存 才曰示回應色彩名稱紅色之相關度的一關係位準〇 〇〇、指示 φ 回應色彩名稱藍色之相關度的一關係位準0.25及指示回應 色彩名稱黃色之相關度的一關係位準〇·2〇,每個關係位準 均擷取自一内容ID 001所識別之主影像2〇ι。此外,與一 内容ID 〇〇2相關聯,擷取特徵儲存器146儲存指示回應色 彩名稱紅色之相關度的一關係位準〇.丨5、指示回應色彩名 稱藍色之相關度的一關係位準〇 〇5及指示回應色彩名稱黃 色之相關度的一關係位準〇.〇〇,每個關係位準均擷取自— 内容ID 〇〇2所識別之主影像2〇1。 擷取特徵記錄器405將分別提供自紅色關係位準擷取器 116517.doc -70- 1338265
在步驟S202,影像輸入 S203,回應該對應性關係 402、藍色關係位準擷取器4〇3及黃色關係位準擷取器4⑸ 的指示回應色彩名稱紅色之相關度之關係位準、指示回應 色彩名稱藍色之相關度之關係位準及指示回應色彩名稱黃 色之相關度之關係位準作為元資料26丨及其相關聯主影像 20 1 —起儲存在相似特徵資料庫1 “上。 關係位準可嵌入主影像201之一預定區域内作為Εχ 料。 擷取單元!37满取色彩名稱及該色彩名稱之關係位準作 為影像:徵。在此情況下,擷取單元⑴可包括一擷取條 件輸入單元42 1及一條件匹配單元422。 ―操取條件輸人單元421回應—來自使用者操作之輸入單 兀76之信號接收—關係、位準掏取條件。操取條件輸入單元 421向條件匹配單元422提供該關係位準榻取條件。 條件匹配單元422將提供自梅取條件輸入單元421之掏取 條件與記錄在擷取特徵儲存器146上的關係位準相匹配。 條件匹配單元422將該匹配結果(即滿足該操取條件的對應 於該關餘準之内細)儲存至縣結果儲存器⑷。 園36係詳細說明對應於步㈣3之-色彩特徵棟取程序 之一流程圖。在步驟S201,影像輸入單元如從影像儲存 器刚接收主影像加作為從中類取關係位準的-目標影 像。影像輸入單元401還從y.仕^ 〇 逛攸關係位準儲存器之對應性擷取 器儲存器145接收對應性資訊。 早70 401接收色彩名稱。在步驟 ’影像輸入單元40 1識別紅色關 116517.doc 係位準擷取器402、藍色關係位準擷取器4〇3及黃色關係位 準擷取器404之哪個關係位準擷取器對應於該輸入色彩名 稱。 例如’若色彩名稱紅色係在步驟S2〇2輸入,則在步驟 S2〇3衫像輸入單元40丨回應該對應性資訊來識別紅色關係 位準擷取器402。 影像輸入單元40 1向識別紅色關係位準擷取器4〇2、藍色 關係位準擷取器403及黃色關係位準擷取器4〇4之任一識別 者提供該輸入的主影像2〇1。 在步驟S204,在步驟S203識別的紅色關係位準擷取器 402、藍色關係位準擷取器403及黃色關係位準擷取器4〇4 之—者執行一關係位準擷取程序。稍後將詳細說明該關係 位準摘取程序。 δ亥操取關係位準係提供至擷取特徵記錄器。 在步驟S205,擷取特徵記錄器405將該擷取關係位準作 為與作為一從中擷取該關係位準之目標影像之主影像2〇1 相關聯的一色彩特徵向量而儲存在擷取特徵儲存器146 上〇 在步驟S206,影像輸入單元401決定是否已從所有色彩 名稱之主影像2〇1中掏取關係位準。若未完成所有色彩名^ 稱’則處理返回至步驟咖讀人—下—色彩名稱並重複 後續步驟。 若在步驟S206決定目前色彩名稱係最後色彩名稱,即已 從所有色彩名財的主影像2()1梅取該等關係位準,則處 U6517.doc -72- 理結束。 圖37係詳細說明對應於當在步驟§2〇3識 ±ίΈ I咐你位準 擷取器402時執行的圖36之步驟S2〇4之關係位準擷取程序 之—流程圖。 在步驟S221,紅色關係位準擷取器4〇2清除其_内部計 數器。在要先執行的步驟S222,紅色關係位準擷取器仂2 接收一第-像素之色彩,即主影像201之第_像素之像素
φ值。在步驟S223,紅色關係位準擷取器402計算在該色彩 空間内的該像素之色彩之一位置。 V 在步驟S224,紅色關係位準擷取器4〇2決定在該色彩空 間内的所計算位置是否在-對應於色彩名稱紅色的子空 間。 針對像素之色彩而計算的在該色彩空間内的位置係說 明如下。 -例如,在主影像2〇 1内的各像素之像素值係由rgb來表 •該像素值係由一汉值、一 G值及一 b值組成β 一 RGB空 糸由相互垂直的二個轴來界定,即一 R轴、一 G軸及一 B 軸。—單一像素值在該RGB色彩空間内決定一單一位置。 在該RGB色彩空間内,藉由一單一區域來將人所感知之 一色彩的一位置說明為一色彩名稱之一色彩係較因難。 一現在設想在一L*a*b*空間内藉由一位置來說明一像素之 色彩。如圖39所示,該L*a*b*空間係相互垂直的三個軸 來界疋即L*軸、a*軸及b*軸。在該L*a*b*空間内,在L* 軸内的值L*越大,則亮度會變得越高,而在p軸内的L* 1165l7.doc -73- 1338265 值越低’則亮度會變得越低。假定一恆定L*值,色彩飽和 度會隨著越靠近L*軸而變得越低。 —單一像素值決定在該L*a*b*色彩空間内的一單一位 置。 在該L*a*b*空間内,藉由—單一區域來將人所感知之一 色心的一位置說明為一色彩名稱之一色彩。包含人所感知 之—色彩之一位置作為一預定色彩名稱之一色彩的一區域 係稱為子空間。该子空間係一在L * a * b *空間内具有一寬 度之區域。 用於白色及黑色之子空間之範例係說明如下。 圖40說明一白色子空間441及一黑色子空間442。白色子 空間441係一具有一與L*軸共線之轴的橢圓體之部分。該 橢圓體之圖形中心係位於該L*a*b*空間之頂部位置處(給 出L*轴之最大值的位置)。白色子空間441係一般還由該 L*a*b*空間共用的該橢圓體之内部空間之部分。白色子空 _ 間441提供較低色彩飽和度,同時提供較高亮度^在該白 色子空間441内一位置處表示的彩色係由人感知為白色。 黑色子空間442係其一軸與L*軸共線的一橢圓體之部 分。該橢圓體之圖形中心係位於該L*a*b*空間之底部位置 處(給出L*軸之最小值的位置)。黑色子空間442係一般還 由该L*a*b*空間共用的該满圓體之内部空間之部分。黑色 子空間442提供較低色彩飽和度,同時提供較低亮度。在 該黑色子空間442内一位置處表示的彩色係由人感知為黑 色。 116517.doc -74- 用於紅色、黃色、綠色及藍色之子空間係說明如下。 由於紅色、黃色、綠色及藍色係色彩顏色,因此在一色 彩飽和邊界461内部的空間、在一亮度下限邊界462下方的 空間、在一亮度上限邊界463上方的空間係從該L*a*b*空 間排除。在色彩飽和度邊界46丨内部的空間提供一較低色 彩飽和度,且由一在該空間内之位置所表示之任一色彩無 法被人感知為紅色、黃色、綠色或藍色。 在色彩飽和度下限邊界462下方的空間提供一較低亮 度,且由在該空間内之一位置所表示之任一色彩無法被人 感知為紅色、黃色、綠色或藍色。 在色彩飽和度上限邊界463上方的空間提供一較高亮 度,且由在該空間内之一位置所表示之任一色彩無法被人 感知為紅色、黃色、綠色或藍色。 排除在色彩飽和度邊界461内部之空間、在亮度下限邊 界462下方之空間、在亮度上限邊界463上方之空間在 L*a*b*空間内的任一色彩係被人感知為紅色、黃色、綠色 或藍色。 排除色彩飽和度邊界461内部之空間、在亮度下限邊界 462下方之空間、在亮度上限邊界463上方之空間之L*a*b* 空間之空間係由垂直於由從a*轴與b*轴所形成之平面的從 L*軸徑向延伸的邊界來分割,如圖42所示。例如,若從該 L*軸之正部分之一位置上方查看該L*a*b*空間,則一綠色 子空間481係沿該a*軸並由在該a*軸之一負部分上方從該 L*軸延伸的一邊界與在該a*轴之一負部分上方從該L*軸延 116517.doc -75- 1338265 伸的一邊界所圍繞的一空間。在該綠色子空間48丨内之一 位置處所表示的一色彩係由人感知為綠色。 若該L* a* b*空間係從該L*軸之正部分上方來查看,一藍 色子空間482係沿該b*軸並由在該b*軸之一負部分之右側 從該L*轴延伸的一邊界及在該b*軸之負部分之左側從該^ 軸延伸的一邊界所圍繞的一空間。在該藍色子空間482内 之一位置處所表示的一色彩係由人感知為藍色β ^ 若該L*a*b*空間係從該L*轴之正部分上方來查看,則一 紅色子空間483係沿該a*軸並由在該a*軸之一正部分上方 延伸的一邊界與在該a*軸之正部分下方延伸的一邊界所圍 繞的一空間》在該紅色子空間483内之一位置處所表示的 一色彩係由人感知為紅色。若該L * a* b *空間係從該L *轴之 一正部分上方來查看’則一黃色子空間484係沿該b*軸並 由在該b*軸之一正部分之右側延伸的—邊界與在該y轴之 該正部分之左侧延伸的一邊界所圍繞的一空間。在該黃色 φ 子空間484内之一位置處所表示的一色彩係由人感知為黃 色。 在步驟S223 ’紅色關係位準擷取器402計算對應於該像 素之色彩的在該色彩空間L*a*b*内的一位置。在步驟 S224,紅色關係位準操取器402決定在該空間L*a*b*内的 所計算位置是否落入一對應於色彩名稱紅色的藍色子空間 482。更明確而言,在步驟S224,紅色關係位準擷取器4〇2 決定該像素之色彩是否係被人感知為紅色之色彩。 若在步驟S224決定在該L*a*b*空間内的該計算位置係在 116517.doc •76· 1338265 對應於色彩名稱紅色之紅色子空間483内,則該像素之色 彩係可被人感知的色彩。處理進行至步驟S225。紅色關係 位準擷取器402將一計數器遞增i並然後進行至步驟226。 若在步驟S224決定在該L*a*b*空間内的該計算位置不在 對應於色彩名稱紅色之紅色子空間483内,則該像素之色 彩係非被人感知為紅色的色彩。處理進行至步驟S226,跳 過步驟225,即不遞增該計數器。 在步驟S226,紅色關係位準擷取器4〇2決定是否已處理 在該主影像20 1内的所有像素若在步驟S226決定未曾處 理元該主影像2 01内的所有像素,則處理返回至步驟 S 22 2。輸入該色彩(即在該主影像2〇1内的該等像素之一下 '一者之像素值)並然後重複上述程序。 若在步驟S226決疋已處理完該主影像2〇1内的所有像 素’則處理進行至步驟S227。紅色關係位準擷取器4〇2將 s玄§十數器之計數除以該主影像2〇 1之像素數目。依此方 式’計算在該主影像2 〇 1内決定為紅色之色彩之比率。 在步驟S228 ’紅色關係位準擷取器4〇2將除法結果處理 為紅色關係位準,並該紅色關係位準提供給操取特徵記錄 器405,藉此完成其程序。 已論述該L*a*b*空間之子空間。本發明並不限於 空間。可假定使用一空間來說明一色彩名稱之色彩所採用 的一色彩空間。使用此類色彩空間,可基於在該色彩空間 内的一子空間來決定關係位準。 在圖37之關係位準擷取程序中,執行關於各像素之色彩 116517.doc -77· 1338265 是否落入子空間内的-二進制值決定程序。在關係位準中 可解釋各像素之色彩是否在緊鄰子空間中心或靠近子空間 之外部周邊。 下面說明在該情況下的關係位準擷取程序。 圖43係詳細說明當在步驟S2〇3識別紅色關係位準擷取器 402時執行的圖36之步驟S2〇4之另一關係位準擷取程序^ 一流程圖。在步驟S241,紅色關係位準棟取器術清除一 春儲存的關係位準。在首次執行的步驟似2中,紅色關係位 準擷取器402接收該色彩,即在主影像2〇1之該等像素之中 的-第-像素之像素值。在步驟S243,紅色關係位準梅取 器402 a十算對應於該像素之色彩的在該色彩空間内的 置。 在步驟S224,紅色關係位準擷取器4〇2計算在該色彩空 間内的所計算位置落入-對應於該色彩名稱的子空間内 確定性因數。更明確而言,在步驟S224,紅色關係位準掏 籲取器402计算在該色彩空間内的所計算位置落入一對應於 該色彩名稱之子空間483内的確定性因數。 遠確定性因數係指示各像素之色彩是否係緊鄰該子空間 中〜或罪近該子空間之外部周邊,並在該計算位置係向外 遠離該子空間中心時不斷地從!減小至〇之確定程度。 例如’在步驟S224,當該計算位置係靠近紅色子空間 483中心時,紅色關係位準棟取器術產生接近^的—確定 性因數,並當該計算位置係靠近紅色子空間483之外部周 邊時,產生接近0的一確定性因數。 U6517.doc •78- 1338265 在步驟S245,紅色關係位準擷取器4〇2向該關係位準添 加忒確定性因數。在步驟S246,紅色關係位準擷取器402 疋目刖像素疋否係最後者,即是否已處理該主影像2〇 1 内的所有像素。若在步驟S245決定該像素並非最後者,則 處理返回至步驟S242。輸入該色彩(即在該主影像2〇1内的 6亥等像素之一下一者之像素值)並然後重複上述程序。 若在步驟S226決定該目前像素係最後者,即已處理該主 影像201内的所有像素,則紅色關係位準擷取器402向擷取 特徵記錄器405提供紅色關係位準,並完成其程序。 若該關係位準係基於該確定性因數來計算,則該產生關 係位準會變得更接近人類感覺。特定言之,當影像包含大 量罪近子空間邊界之色彩時,會產生一更可靠的關係位 準。 在參考圖37所述之關係位準擷取程序中之步驟S224之程 序係關於決定像素色彩是否係一特定色彩名稱之一色彩的 一二進位分類程序,並可使用各種圖案辨識技術來取代。 下面說明使用此類技術的關係位準操取程序。 圖44係詳細說明當在步驟S2〇3識別紅色關係位準擷取器 402時在圖36之步驟S2〇4所執行的另一關係位準擷取程序 之一流程圖。步驟S261及S262係分別等同於圖37之步驟 S22l及S222’故此處嗜略其論述。 在步驟S263,紅色關係位準擷取器4〇2識別一像素之一 色彩之一圖案。 例如,在步驟S263中,紅色關係位準擷取器4〇2使用一 116517.doc •79· 1338265 神經網路來辨識該像素之色彩。例如,使用神經網路之一 圖案辨識技術係說明於CORONA PUBLISHING有限公司出 版的由Junichiro TORIWAKI所著的標題為「辨識工程圖 案辨識及其應用」之書中。 在圖案辨識中,事先手動收集指示—具有—特^色彩值 (L*a*b*)之色彩是否係一特定色彩名稱之一色彩的複數個 決策資料塊,並在該收集的決策資料上執行一神經網路學 習程序’以產生辨識所需之參數。 圖45說明指示色彩值是否係藍色之決策資料之一範例。 在圖45之決策資料中,由一L*值〇 〇2、一一值〇 〇4及一b* 值o.io所識別之一色彩係非藍色,由一L*值〇 72、一一值 〇·〇〇及一 b*值(M2所識別之一色彩係藍色,而一卜值 0.28、一 a*值_〇.02及一b*值〇.15所識別之一色彩係非藍 色。 使用神經網路允許依據相應產生的該等參數將該像素之 色彩決定為一特定色彩名稱之色彩。 任何圖案辨識技術均可接受,只要該技術決定像素色彩 疋否係一特定色彩名稱之色彩。例如,可使用支援向量機 (SVM)技術。 在步驟S264,紅色關係位準擷取器4〇2決定關於該像素 之色彩是否屬於紅色之辨識結果。若在步驟^64決定該像 素之色彩屬於紅色,則處理進行至步驟S265。紅色關係位 準擷取器402將該計數器遞增丨並然後進行至步驟266。 若在步驟S264決定該像素之色彩不屬於紅色,則處理進 116517.doc -80- 1338265 行至步驟S266,跳過步驟S265,即不遞增該計數器。 步驟S266至S268係分別等同於步驟S226至S228,故此處 省略其論述。 此外,可使用圖案辨識技術來計算確定性因數。 圖46係詳細說明當在步驟S203識別紅色關係位準擷取器 402時在圖36之步驟S204所執行之關係位準擷取程序之一 流程圖。步驟S281係等同於圖43之步驟S241,故此處省略 其論述。步驟S282及S283係分別等同於圖44之步驟S262及 S263,故此處省略其論述。 在步驟S284,紅色關係位準擷取器402計算該像素之色 彩屬於該色彩名稱之色彩的確定性因數作為辨識結果。更 明確而言,在步驟S284,紅色關係位準擷取器402計算該 像素之色彩屬於紅色的確定性因數作為辨識結果。例如, 輸入至該神經網路之一輸出層的一值可用作該確定性因 數。 步驟S285及S286係分別等同於圖43之步驟S245及S246, 故此處省略其論述。 當在步驟S203識別藍色關係位準擷取器403時在圖36之 步驟S204要執行的關係位準擷取程序及當在步驟S203識別 黃色關係位準擷取器404時在圖36之步驟S204要執行的關 係位準擷取程序係分別等同於當在步驟S203識別紅色關係 位準擷取器402時要在步驟S204執行的關係位準程序,除 藍色關係位準擷取器403及黃色關係位準擷取器404操作且 子空間係不同之外。該程序之其餘部分保持與參考圖37、 116517.doc -81- 1338265 43、44及46所述的程序不變,故此處省略其論述。 圖47係說明㈣取程序之—流程圖。在步驟Μ",掏取 條件輸入單元421回應-來自使用者操作之輸入單元%之 信號來獲取一關係位準相關的擷取條件。 元-向條件匹配單元422提供該關係位準相關 件。 如圖48所示,-圖形使用者介面(GUI)影像係顯示作為 -顯示單元的輸出單元77上。如圖48所示,由使用者操作 之滑條491指定各色彩之粒度(臨界值)作為擷取條件。當一 檢查方框492係由使用者檢查時,在步驟8331獲取對^於 該檢查的檢查方框492之滑條491所指定之色彩名稱之粒度 作為該擷取條件。 當一黑色檢查方框492、一紅色檢查方框492及一綠色檢 查方框492係檢查時,由一黑色滑條491所指定之一黑色粒 度、由一紅色滑條491所指定之一紅色粒度及由一綠色滑 φ條491所指定之一綠色粒度係在步驟S311獲取作為擷取條 件。 當選擇一 AND搜索無線電按鈕493時,該等滑條491所指 定之該等色彩之粒度之一邏輯AND係設定為最終擷取條 件。當選擇一 OR搜索無線電按鈕494時,該等滑條491所 指定之該等色彩之粒度之一邏輯〇R係設定為最終擷取條 件。 更明確而言,在步驟S311,擷取條件輸入單元421獲取 由一用於複數個色彩名稱之邏輯方程所表示的擷取條件, 116517.doc -82 - 1338265 例如(「紅色」>〇·5)及(「藍色」>〇.5)及(「綠色」<〇1)。 使用者可希望擷取一藍天照片。則使用者輪入「藍色」 乏0.3的一擷取條件。在步驟S311,擷取條件輸入單元421 獲取「藍色」20.3的擷取條件。 1紅色」 ’擷取條 」>0.3)的 使用者可能希望擷取一拾草莓照片並輸入一( >0.1)及(「綠色」2〇 3)的榻取條件。在步驟μ 11 件輸入單元421獲取該(「紅色」>〇1)及(「綠色 擁取條件。 在該擁取條件下的色彩之色彩名稱不—㈣該關係位準 擷取器所定義(準備)的一色彩。更明相言,在該操取條 件下的色彩之色彩名稱可能係該定義色彩名稱或—色彩名 稱之部分。 / 該色彩名稱可直接採用數字來輸入並然後獲取。 在步驟S3 12,條件匹配單元422從掏取特徵儲存器⑽獲 取要擷取之主影像2〇1之色彩特徵向量。 ^驟S313,條件匹配單元似決定該獲取色彩特徵向 彳 ==揭取條件。在步驟S313,將在該獲取色彩特 =里之該等^之中對應於該檢查的檢查方框492之色 =名=之元素與滑條491所指定之色彩名稱之 1 交。在該色彩特徵向量之色彩名稱之元㈣高於該指定粒 ::::::條件匹配單元422決定該色彩特徵向量滿足 之色衫名稱之素係高於對應於 H6517.doc -83- 1338265 該檢查的檢查方框492之色彩名稱之所有元素内的指定粒 度之情況下’在步驟8313條件匹配單元似決㈣色彩特 徵向量滿足該擷取條件。例如’料色彩之該等粒度之邏 輯OR可能係最後擷取條件。在該色彩特徵向量之色彩名 稱之元素係高於對應於該檢查的檢查方框492之色彩名稱 :任-元素内之指定粒度之情況下,在步驟則條件匹配 單元422決定該色彩特徵向量滿足該擷取條件。 若在步驟S313決定賴取的色彩特徵向量滿足該榻取條 件,則處理進行至步驟S314e條件匹配單元422此外將識 別對應於在步驟S312所獲取之色彩特徵 的内容職存至搜索結果儲存器147,㈣後進; 315。 若在步驟S313決;t該獲取色彩特徵向量無法滿足該操取 條件,則處理進行至步驟S315,跳過步驟S3i4,即不另外 將該内容ID儲存在搜索結果儲存器147上。 在步驟S315,擷取條件輸入單元421決定該目前影像是 否係最後影像,即是否已處理所有影像。若在步驟s3i5決 定未曾擷取所有影像,則程序返回至步驟S312〇然後獲取 一下一主影像201之色彩特徵向量以重複上述程序。 若在步驟S315決定該目前影像係最後影像,即已擷取所 有影像,則處理結束。 在上述處理之後,識別滿足該擷取條件之主影像1之 内容ID係儲存在擷取結果儲存器ι47上。 圖49A至49D說明儲存在擷取結果儲存器147上並顯示在 116517.doc • 84 · 乍為顯不單疋之輪出單元77上的内容ID所識別之主影像 ^例如’可能檢查綠色檢查方框492,且綠色滑 :49 1可I指定一粒度。如圖机所示,包含大量綠色之主 影像201係顯示在輸出單元77上。可檢查綠色檢查方框 492在綠色滑條49 [上指定一粒度且可檢查紅色檢查方框 492在紅色滑條491上指定一粒度,並可選擇該AND搜索 無線電按紐493。如圖侧所示,包含大量綠色及紅色之主 影像201係顯示在輸出單元77上。 可檢查藍色檢查方框492,在藍色滑條49丨上指定一粒 度如圖49C所不,包含大量藍色之主影像2〇1係顯示在輸 出單元77上。可檢查藍色檢查方框492,在藍色滑條491上 指定一粒度’可檢查白色檢查方框492,在白色滑條49 i上 才3疋粒度’並可選擇該AND搜索無線電按紐493。在此 清況下,如圖49C所示,包含大量藍色及白色之主影像2〇 t 係顯示在輸出單元77上。 使用者估計在一所需影像内所包含之色彩較為容易。因 而使用者可搜索並容易地擷取該所需影像。 取決於該等擷取結果,使用者可使用(即)由於該經修改 的粒度而變窄之擷取條件來擷取該等影像。因而使用者可 甚至更容易地擷取一所需影像。 因而使用者可從一色彩印象與各影像之;一環境來直覺地 擷取影像。 由於各種糊取條件係設定在影像集合上,因此可在任一 粒度下獲得一作為一影像之擷取結果。 116517.doc -85- 1338265 包含關係位準之色彩特徵向量可擷取自該等影像,使 =可依據與關係、位準或邏輯計算之數量比較結果來操取該 等影像。因而可快速地擷取該等影像。 由於採用-相對較小數目的數值來說明關係位準,因此 色彩特徵向量之一資料尺寸係減小。用於色彩特徵向量之 一較小記錄空間會具有作用。 作為该器件已說明數位靜態相機t i及蜂巢式電話】2。任 鲁何器件均可接受,只要該器件處理影像。例如,可接受一 行動播放器或一行動瀏覽器作為該器件。 在記錄影像之元資料之情況下,該器件可取影像。該 器件捕捉一影像,記錄該影像相關資訊及其相關聯影像作 為具有預定資料結構之資料,並控.制該影像至一影像處 理裝置之傳輸。該影像處理裝置控制從該器件所發送之影 像之接收’擁取該接收影像之一特徵,將從該影像所掏取 之特徵及其相關聯影像儲存作為具有與在該器件内的資料 籲結構相同資料結構之資料,並控制該影像之特徵至該器件 之傳輸。在此類配置中,甚至具有一相對較小輸出之器件 也可擷取一所需影像。 在:錄影像之元資料之情況下’該器件可擷取影像。擷 2 U之特徵,並將從該影像㈣取之特徵及其相關聯 衫像儲存作為具有一預定資料結構之資料。該影像相關資 5 Λ S#存作為具有與上述在該器件上的資料結構相同之資 科結構的資料。控制該資料至該器件之傳輸。在此類配置 中,甚至具有一相對較小輸出之器件也可擷取一所需影 M6517.doc -86 - 1338265 像。 了使用硬體或軟體來執行上述系列程序。若使用軟體來 執行上述系列程序,則一形成該軟體之電腦程式可安裝在 一包含於一硬體結構内的電腦或一執行各種程式的通用個 人電腦上。 如圖2及3所示,記錄一安裝在電腦上並準備供該電腦執 行之程式之記錄媒體包括:可移除媒體82,其包括磁碟 (包括一軟碟)、光碟(包括緊湊型唯讀記憶體(cd_r〇m)、 數字通用碟片(DVD)及磁光碟片)或一半導體記憶體、及 ROM 72、EEPR〇M 46或作為用於臨時或永久儲存該程式 之儲存單it 78的-硬碟。將該程式儲存在該記錄媒體上可 使用無線或有線通信媒體來執行,包括通信單元叼、通作 單元牦、通信單元79及通信單元8〇’例如包括一路由器及 -數據機之介面、及-區域網路、網際網路及數位廣播衛 星0 Μ«體上的該程式之處理步驟可採用 上述相同時間系列次序來執行。該等處理步驟可不採用所 述時間系列次序來執行。或者,該等處理步驟可平行或分 離來執行。 在此規格書之背景下’今条姑总扣 系統係扣一包括複數個裝豎之 整體系統。 習知本技術者應明白, _ 了根據Sx计要求與其他因素而進 行各種修改、組合、子*日人〜 ' 子、,且口與變更,只要其在隨申請專 利範圍或其等效物之範疇内即可。 寸甲#專 116517.doc -87- 【圖式簡單說明】 圖1係依據本發明之— "、體實施例之一資訊處理系統之 一方塊圖; 圖2係一數位靜態相機之-方塊圖; 圖3係一祠服器之—方堍圖; 圖4說明一執行—程式 征八之U處理器單元(MPU)之一功 能; 圖5說明一執行一程式夕士丄 桎式之中央處理單元(CPU)之一功能; 圖ό係一影像分析器之—方塊圖; 圖7係一影像捕捉程序之一流程圖; 圖8說明在-主影像與一減小影像之間的關係; 圖9係說明一備份程序之一流程圖; 圖10係一影像分析程序之一流程圖; 圖11說明一色彩柱狀圖之產生; 圖12說明一垂直成分柱狀圖與—水平成分柱狀圖之產 生; 圖13Α及13Β說明該垂直成分柱狀圖與該水平成分柱狀 圖之產生; 圖14說明影像備份及元資料覆寫; 圓1 5說明元資料之一特定範例; 圓16說明儲存在一内容資料庫上之元資料之結構; 圖17說明儲存在該内容資料庫上的元資料或儲存在一相 似特徵資料庫上的元資料之結構; 圖1 8說明一相似特徵項目之結構; 116517.doc • 88 - 1338265 圖19係說明一影像獲取程序之一流程圖; 圖20說明一影像之獲取及元資料之覆寫; 圖2 1係說明一擷取程序之—流程圖; 圖22說明在一數位靜態相機及一伺服器共用的元資料與 影像之間的一相關性; 圖2 3係說明該擷取程序之一流程圖; 圖24說明一減小影像之顯示; 圖25說明一減小影像之顯示; 圖26係說明一擷取相似影像之擁取程序之一流程圖; 圖27說明該元資料及距離之結構; 圖28說明該内容資料庫、該相似特徵資料庫及一時間群 組資料庫及個別記錄之一相關性; 圖2 9說明相似度次序之一顯示; 圖30說明在該相似度次序之顯示與時間系列之顯示之間 的切換; 圖3 1係說明該擁取程序之一流程圖; 圖32說明在該相似度次序之顯示與時間系列之顯示之間 的切換; 圖33係說明一色彩特徵擷取器之一方塊圖; 圖34說明記錄在一關係位準擷取器之對應性擷取器上的 對應性資訊; 圖35說明記錄在-财特徵儲存器±的關餘準之邏輯 結構; 圖36係詳細說明一色彩特徵擷取程序之一流程圖; 1165l7.doc •89· 1338265 圖37係詳細說明一關係位準柄仏 千领取程序之一流程圖; 圖38說明一 RGB色彩空間; 圖39說明一 L*a*b空間; 圖40說明一白色子空間及—,署务 . 圖41說明一色彩飽和度邊界與一亮度邊界; 圖42說明綠色、藍色、紅色及黃色子空間; 圖43係詳細說明另-關係位準掏取程序之一流程圖; 圖44係詳細說明另一關係位準擷取程序之一流程圖; 圖45說明決策資料; 圖46係詳細說明另一關係位準擷取程序之一流程圖; 圖47係說明該擷取程序之一流程圖; 圖48說明在該擷取程序内的_ gui影像;以及 圖49A至49D說明在該擷取程序中所選中之一影像。 【主要元件符號說明】 11 數位靜態相機 12 蜂巢式電話 13 伺服器 13-1 伺服器 13-2 伺服器 14 網路 15-1 網路伺服器 15-2 網路伺服器 31 成像透鏡 32 光闌 H6517.doc •90· 1338265
33 成像器件 34 類比信號處理器 35 類比至數位(A/D)轉換器 36 數位信號處理器 37 微處理器(MPU) 38 記憶體 39 數位至類比(D/A)轉換器 40 監視器 41 壓縮器/解壓縮器 42 卡介面 43 記憶卡 44 AF馬達及變焦馬達 45 控制電路 46 電可擦除可程式化微讀記憶體 (EEPROM) 47 通信單元 48 通信單元 49 輸入單元 71 CPU 72 唯讀記憶體(ROM) 73 隨機存取記憶體(RAM) 74 匯流排 75 輸入輸出介面 76 輸入單元 116517.doc -91 - 1338265
77 輸出單元 78 儲存單元 79 通信單元 80 通信單元 81 驅動器 82 可移除媒體 101 成像控制器 102 縮小影像產生器 103 元資料產生器 104 項目產生器 105 記錄控制器 106 顯示控制器 107 擷取單元 108 傳輸控制器 109 接收控制器 110 影像儲存器 111 内容資料庫 112 相似特徵資料庫 113 相似結果資料庫 114 時間群組資料庫 115 擷取結果儲存器 121 距離計算器 131 影像分析器 132 縮小影像產生器 116517.doc -92- 1338265
133 元資料產生器 134 項目產生器 135 記錄控制器 136 顯示控制器 137 棟取單元 138-1 傳輸控制器 138-2 傳輸控制器 139-1 接收控制器 139-2 接收控制器 140 影像儲存器 141 内容資料庫 142 相似特徵資料庫 143 相似結果資料庫 144 時間群組資料庫 145 關係位準擷取器儲存器之對應性儲存器 146 擷取特徵儲存器 147 擷取結果儲存器 151 距離計算器 161 臉部影像偵測器 162 相似特徵量擷取器 171 相似特徵向量計算器 172 色彩特徵擷取器 201 主影像 202 縮小影像 116517.doc •93- 1338265 241 區塊 261 元資料 281-1 内容項目 281-2 内容項目 282-1 内容項目 282-2 内容項目 291 項目 292-1 項目 292-2 項目 292-32 項目 293 項目 301-1 資料庫記錄 301-2 資料庫記錄 302 距離記錄 303 時間群組記錄 351 開關按鈕 352 開關按鈕 401 影像輸入單元 402 紅色關係位準擷取器 403 藍色關係位準擷取器 404 黃色關係位準擷取器 405 擷取特徵記錄器 421 擷取條件輸入單元 422 條件匹配單元 116517.doc -94- 1338265 441 白色子空間 442 黑色子空間 461 色彩飽和邊界 462 亮度下限邊界 463 亮度上限邊界 481 綠色子空間 482 藍色子空間 483 紅色子空間 484 黃色子空間 491 滑條 492 檢查方框
493 AND搜索無線電按鈕 494 OR搜索無線電按鈕
116517.doc -95-
Claims (1)
1338265
第096102776號專利申請案 、、 中文申請專利範圍替換^(99年9 .:; 十、申請專利範圍: 1種〜像處理系統,其包含用於捕捉一影像之一成像器 件及用於處理$影像之—影像處理裝置, 該成像器件包括: 成像構件’其用於捕捉該影像; 。第5己錄構件,其用於將該影像相關資訊記錄作為 t於-有預定資料結構之資料中的資料,該資訊係 n 與違影像相關聯;以及 第傳輸控制構件,其用於控制該影像至該影像處 理裝置之傳輸;以及 該影像處理裝置包括: 接收控制構件’其用於控制從該成像器件所發送之 影像之接收; 特徵擷取構件’其用於擷取該接收影像之—特徵; 第一δ己錄構件’其用於將從該影像所擷取之特徵記 # 錄成為包含嵌入於具有與該成像器件内的該預定資料結 構相同結構之資料中該接收影像之該特徵的資料,該特 徵係與該影像相關聯;以及 第二傳輸控制構件,其用於控制包含該接收影像之 該特徵之該資料至該成像器件之傳輸,&用於導致在該 成像器件之該第一記錄構件上記錄包含嵌入於具有與該 預定貧料結構相同結構之資料中該接收影像之該特徵的 該傳輸資料。 2. 一種影像處理裝置,其包含: 116517-990917.doc 3. 5. 6· 8. 9. 特徵擷取構件,其用於擷取一影像之一特徵; 第一記錄構件,其用於自該影像擷取之特徵記錄作為 包含嵌入於具有—預定資料結構之資料中該影像的該特徵 之資料’該特徵係與該影像相關聯;以及 傳輸控制構件,其用於控制包含該影像之該特徵的該 貢料至-器件之傳輸,該器件將該影像相關資訊記錄成 為嵌入於具有與該職資料結構相同之結構的資料中之 貝料,其中該傳輪控制構件係導致在該器件之一第三記 錄構=上記錄包含嵌人於具有與該預定f料結構相同結 構之資料中該接收影像之該特徵的該傳輸資料。 如請求項2之影像處理裝置,其進一步包含用於控制從 該器件所發送之影像之接收的接收控制構件。 如請求項2之影像處理裝置,其進一步包含 影像的第二記錄構件。 I玄 :請求項4之影像處理裝置,其進-步包含擷取構件, 二用於依據料關於該料且具㈣歉資 料而記錄之特徵來操取該記錄影像。 4之貝 :請求項5之影像處理裝置,其進一步包 擷取影像的顯示構件。 頌不遠 如請求項2之影像處理裝置 一資料庫。 -中该第一§己錄構件包含 如請求項2之影像處理裝置, 該特徵作為-包含於該影像内;^特徵擷取構件掏取 如請求項8之影像處理裝 臉部影像相關資訊。 ",其中該特徵擷取構件擷取
116517-990917.doc •2· 1338265 者:影像内所包含之臉部影像數 —臉部影像尺寸、及—臉部影像 1 〇.如請求項2之影像處理# ¥ ^ 終里裝置,其中該特徵擷取構件擷取 在該影像之色彩之中作A 乍為代表指示一特定色彩而分類之 像素之數目的特徵。 Π ·如請求項2之影像處理穸 #上> ^ 裝置’其中該特徵擷取構件擷取
用於計算任兩個影後 像之特徵之間相似度的特徵。 12.—種影像處理方法,立 ^ 具包含以下步驟: 擷取一影像之一待徵; 將從該影像所操取之該特徵記錄作為包含嵌入於具有 /預疋貝料、構之貝料中該影像之該特徵的資料,該特 徵係與該影像相關聯;以及 4工制包含该影像之該特料沾4 _穴上丨 ^ 戟将徵的该貧料至一器件之傳輸, 該器件將該影像相關資 J貝Λ δ己錄成為嵌入於具有與該預定
包含以下特徵之至少 目、一臉部影像位置 面向方向。 結構相同之結構的資料中 叶甲之貪枓,其中包含該影像之該 特徵的s玄資料之該控制僂發—省 刺傅輸包括導致在該器件之一記錄 冓牛上α己錄。a肷入於具有與該預定資料結構相同結構 之資料中該接收影像之該特徵的該傳輸資料。 1 3. —種用於導致_雷眦拈> ⑽執仃以下步驟之電腦程式: 擷取一影像之—特徵; 將攸。亥〜像所梅取之該特徵記錄作為包含嵌入於具有 預疋資料結構之資料中該影像之該特徵的資料,該特 徵係與該影像相關聯;以及 H6517-990917.doc 1338265 控制包含該影像之該特徵的該資料至一器件之傳輸, 該器件將該影像相關資訊記錄成為嵌入於具有與該預定 資料結構相同之結構的資料中之資料,其中包含該影像 之該特徵的該資料之該控制傳輸包括導致在該器件之一 記錄構件上記錄包含嵌入於具有與該預定資料結構相同 結構之資料中該接收影像之該特徵的該傳輸資料。 116517-990917.doc
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006024185A JP5170961B2 (ja) | 2006-02-01 | 2006-02-01 | 画像処理システム、画像処理装置および方法、プログラム、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW200805200A TW200805200A (en) | 2008-01-16 |
| TWI338265B true TWI338265B (en) | 2011-03-01 |
Family
ID=37884816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW096102776A TWI338265B (en) | 2006-02-01 | 2007-01-25 | System, apparatus, method and program for processing image |
Country Status (6)
| Country | Link |
|---|---|
| US (8) | US7884847B2 (zh) |
| EP (2) | EP1816575A1 (zh) |
| JP (1) | JP5170961B2 (zh) |
| KR (1) | KR101346730B1 (zh) |
| CN (1) | CN100456305C (zh) |
| TW (1) | TWI338265B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9106838B2 (en) | 2013-12-27 | 2015-08-11 | National Taiwan University Of Science And Technology | Automatic photographing method and system thereof |
Families Citing this family (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4891144B2 (ja) * | 2007-05-08 | 2012-03-07 | キヤノン株式会社 | 画像検索装置及び画像検索方法 |
| GB2449125A (en) * | 2007-05-11 | 2008-11-12 | Sony Uk Ltd | Metadata with degree of trust indication |
| JP4680273B2 (ja) | 2008-02-05 | 2011-05-11 | 京セラ株式会社 | 表示機能付き端末 |
| JP2009217742A (ja) * | 2008-03-12 | 2009-09-24 | Fujifilm Corp | メタデータ付与方法及び装置、並びにメタデータ付与プログラム |
| JP4934104B2 (ja) | 2008-06-06 | 2012-05-16 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
| TW200952486A (en) * | 2008-06-13 | 2009-12-16 | Ind Tech Res Inst | Video surveillance system, module and method for annotation and de-annotation thereof |
| JP5354981B2 (ja) * | 2008-07-14 | 2013-11-27 | キヤノン株式会社 | 文書管理装置、文書管理方法及びプログラム |
| JP5104709B2 (ja) * | 2008-10-10 | 2012-12-19 | ソニー株式会社 | 情報処理装置、プログラム、および情報処理方法 |
| US8391615B2 (en) * | 2008-12-02 | 2013-03-05 | Intel Corporation | Image recognition algorithm, method of identifying a target image using same, and method of selecting data for transmission to a portable electronic device |
| JP5104743B2 (ja) * | 2008-12-16 | 2012-12-19 | 富士通株式会社 | 画像検索プログラム、画像検索方法及び記録媒体 |
| US8365081B1 (en) * | 2009-05-28 | 2013-01-29 | Amazon Technologies, Inc. | Embedding metadata within content |
| EP2490132A4 (en) * | 2009-10-16 | 2016-10-05 | Nec Corp | COLOR ANALYSIS DEVICE, COLOR ANALYSIS METHOD, AND COLOR ANALYSIS PROGRAM |
| JP5740972B2 (ja) * | 2010-09-30 | 2015-07-01 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| JP5733952B2 (ja) * | 2010-11-04 | 2015-06-10 | キヤノン株式会社 | 撮像装置、撮像システム、及び撮像装置の制御方法 |
| KR101733246B1 (ko) * | 2010-11-10 | 2017-05-08 | 삼성전자주식회사 | 얼굴 포즈를 이용한 화상 통화를 위한 화면 구성 장치 및 방법 |
| JP5249369B2 (ja) * | 2011-02-02 | 2013-07-31 | 京セラ株式会社 | 表示機能付き端末 |
| US8854383B2 (en) | 2011-04-13 | 2014-10-07 | Qualcomm Incorporated | Pixel value compaction for graphics processing |
| JP2013003631A (ja) * | 2011-06-13 | 2013-01-07 | Sony Corp | 情報処理装置、情報処理方法、情報処理システム、及びプログラム |
| US8935259B2 (en) * | 2011-06-20 | 2015-01-13 | Google Inc | Text suggestions for images |
| US8971623B2 (en) | 2012-03-06 | 2015-03-03 | Apple Inc. | Overlaid user interface tools for applying effects to image |
| US20130238747A1 (en) | 2012-03-06 | 2013-09-12 | Apple Inc. | Image beaming for a media editing application |
| US9131192B2 (en) | 2012-03-06 | 2015-09-08 | Apple Inc. | Unified slider control for modifying multiple image properties |
| KR101952260B1 (ko) * | 2012-04-03 | 2019-02-26 | 삼성전자주식회사 | 다수의 동영상 썸네일을 동시에 표시하기 위한 영상 재생 장치 및 방법 |
| US9582843B2 (en) * | 2012-08-20 | 2017-02-28 | Tautachrome, Inc. | Authentication and validation of smartphone imagery |
| JP6286921B2 (ja) | 2012-09-14 | 2018-03-07 | 株式会社リコー | 画像検査装置、画像検査システム及び画像検査方法 |
| US9686460B2 (en) * | 2012-12-27 | 2017-06-20 | Intel Corporation | Enabling a metadata storage subsystem |
| US9244694B2 (en) | 2012-12-27 | 2016-01-26 | Intel Corporation | Executing a command within a transport mechanism based on a get and set architecture |
| US9235260B2 (en) | 2012-12-27 | 2016-01-12 | Intel Corporation | Camera command set host command translation |
| EP3028439B1 (en) * | 2013-07-30 | 2021-06-23 | Hewlett-Packard Development Company, L.P. | Analysing image content |
| JP6092049B2 (ja) * | 2013-08-28 | 2017-03-08 | 東芝ライフスタイル株式会社 | 撮像システム及び撮像装置 |
| US9607014B2 (en) * | 2013-10-31 | 2017-03-28 | Adobe Systems Incorporated | Image tagging |
| US9972121B2 (en) | 2014-04-22 | 2018-05-15 | Google Llc | Selecting time-distributed panoramic images for display |
| USD781318S1 (en) | 2014-04-22 | 2017-03-14 | Google Inc. | Display screen with graphical user interface or portion thereof |
| US9934222B2 (en) | 2014-04-22 | 2018-04-03 | Google Llc | Providing a thumbnail image that follows a main image |
| USD781317S1 (en) | 2014-04-22 | 2017-03-14 | Google Inc. | Display screen with graphical user interface or portion thereof |
| USD780777S1 (en) | 2014-04-22 | 2017-03-07 | Google Inc. | Display screen with graphical user interface or portion thereof |
| US10049477B1 (en) | 2014-06-27 | 2018-08-14 | Google Llc | Computer-assisted text and visual styling for images |
| USD798309S1 (en) | 2014-07-16 | 2017-09-26 | Life Technologies Corporation | Cell counter display screen with graphical user interface |
| JP6376873B2 (ja) | 2014-07-16 | 2018-08-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP6455590B2 (ja) * | 2015-03-02 | 2019-01-23 | 日本電気株式会社 | 画像処理システム、画像処理方法およびコンピュータプログラム |
| US9563957B1 (en) * | 2015-07-02 | 2017-02-07 | Yesvideo, Inc. | 2D/3D image scanning and compositing |
| US10044972B1 (en) | 2016-09-30 | 2018-08-07 | Gopro, Inc. | Systems and methods for automatically transferring audiovisual content |
| US10397415B1 (en) * | 2016-09-30 | 2019-08-27 | Gopro, Inc. | Systems and methods for automatically transferring audiovisual content |
| EP3655290B1 (en) * | 2017-08-10 | 2024-11-27 | Gentex Corporation | Low cost camera |
| CN110087084B (zh) * | 2018-01-25 | 2022-03-18 | 联咏科技股份有限公司 | 视频处理装置及视频处理方法 |
| CN112020630B (zh) * | 2018-04-27 | 2024-06-28 | 北京嘀嘀无限科技发展有限公司 | 用于更新建筑物的3d模型的系统和方法 |
| CN109344273B (zh) * | 2018-07-25 | 2021-06-15 | 中兴通讯股份有限公司 | 一种壁纸管理的方法、装置和移动终端 |
| CN110457998B (zh) * | 2019-06-27 | 2020-07-28 | 北京旷视科技有限公司 | 影像数据关联方法和设备、数据处理设备及介质 |
| WO2021030178A1 (en) * | 2019-08-09 | 2021-02-18 | Clearview Ai, Inc. | Methods for providing information about a person based on facial recognition |
| JP7468061B2 (ja) * | 2020-03-27 | 2024-04-16 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置、画像処理システムおよびプログラム |
| USD983813S1 (en) | 2020-11-12 | 2023-04-18 | Life Technologies Corporation | Cell counter display screen with graphical user interface |
| US20220391633A1 (en) * | 2021-06-02 | 2022-12-08 | Adobe Inc. | Automatically generating an image dataset based on object instance similarity |
Family Cites Families (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5023725A (en) * | 1989-10-23 | 1991-06-11 | Mccutchen David | Method and apparatus for dodecahedral imaging system |
| JPH0793369A (ja) | 1993-09-24 | 1995-04-07 | Shisutegureitaazu Kk | 画像データの通信システム |
| US6441854B2 (en) * | 1997-02-20 | 2002-08-27 | Eastman Kodak Company | Electronic camera with quick review of last captured image |
| JPH1173488A (ja) * | 1997-08-29 | 1999-03-16 | Fuji Photo Film Co Ltd | 画像印刷システムおよび画像印刷方法 |
| US6035055A (en) | 1997-11-03 | 2000-03-07 | Hewlett-Packard Company | Digital image management system in a distributed data access network system |
| US6535243B1 (en) * | 1998-01-06 | 2003-03-18 | Hewlett- Packard Company | Wireless hand-held digital camera |
| US6240423B1 (en) * | 1998-04-22 | 2001-05-29 | Nec Usa Inc. | Method and system for image querying using region based and boundary based image matching |
| JP2000076275A (ja) | 1998-08-31 | 2000-03-14 | Canon Inc | 画像記憶方法および装置および記憶媒体 |
| JP4144961B2 (ja) * | 1999-01-14 | 2008-09-03 | 富士フイルム株式会社 | 画像データ通信システム,サーバ・システムおよびその制御方法ならびにサーバ・システムを制御するためのプログラムを格納した記録媒体 |
| US6577249B1 (en) * | 1999-10-19 | 2003-06-10 | Olympus Optical Co., Ltd. | Information display member, position detecting method using the same, apparatus and method of presenting related information, and information presenting apparatus and information presenting method |
| US7542070B2 (en) * | 2000-01-17 | 2009-06-02 | Fujifilm Corporation | Image processing apparatus, and photographing system for receiving and creating processing information |
| JP2001309102A (ja) | 2000-04-19 | 2001-11-02 | Sony Corp | 通信方法およびその装置と提供媒体 |
| JP2002175538A (ja) * | 2000-12-08 | 2002-06-21 | Mitsubishi Electric Corp | 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法 |
| US8620110B2 (en) | 2000-12-15 | 2013-12-31 | Comcast Cable Holdings, Llc | Method and system for distributing digital images |
| JP2002189724A (ja) | 2000-12-20 | 2002-07-05 | Victor Co Of Japan Ltd | 画像データ検索装置 |
| JP2002366558A (ja) | 2001-06-11 | 2002-12-20 | Shiro Saito | コミュニケーションツール提供システム及び方法及びプログラム |
| US7369160B2 (en) * | 2001-06-15 | 2008-05-06 | Yokogawa Electric Corporation | Camera system for transferring both image data and an image processing program to transfer the image data to an external device |
| JP2002374481A (ja) * | 2001-06-18 | 2002-12-26 | Matsushita Electric Ind Co Ltd | ファイル名設定システム |
| US7154535B2 (en) * | 2001-07-13 | 2006-12-26 | Matsushita Electric Industrial Co., Ltd. | Digital camera capable of directly accessing images recorded on another digital camera |
| JP2003030243A (ja) | 2001-07-16 | 2003-01-31 | Canon Inc | 画像配信システム及び情報処理装置及びそれらの方法 |
| JP4088060B2 (ja) * | 2001-10-31 | 2008-05-21 | 株式会社東芝 | 人物監視システム |
| JP3984029B2 (ja) | 2001-11-12 | 2007-09-26 | オリンパス株式会社 | 画像処理装置およびプログラム |
| JP2003204541A (ja) | 2001-12-28 | 2003-07-18 | Nippon Signal Co Ltd:The | 映像処理方法及び映像処理装置 |
| JP3873793B2 (ja) * | 2002-03-29 | 2007-01-24 | 日本電気株式会社 | 顔メタデータ生成方法および顔メタデータ生成装置 |
| JP2003337817A (ja) | 2002-05-20 | 2003-11-28 | Recruit Co Ltd | コンテンツ提示方法 |
| JP2004005314A (ja) | 2002-06-03 | 2004-01-08 | Matsushita Electric Ind Co Ltd | データ検索システム及び、それに関する、装置または方法または記録媒体またはプログラム |
| US7843495B2 (en) | 2002-07-10 | 2010-11-30 | Hewlett-Packard Development Company, L.P. | Face recognition in a digital imaging system accessing a database of people |
| JP4292837B2 (ja) * | 2002-07-16 | 2009-07-08 | 日本電気株式会社 | パターン特徴抽出方法及びその装置 |
| KR100474848B1 (ko) * | 2002-07-19 | 2005-03-10 | 삼성전자주식회사 | 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법 |
| JP2004266761A (ja) * | 2003-03-04 | 2004-09-24 | Canon Inc | 撮像装置 |
| JP2004348563A (ja) * | 2003-05-23 | 2004-12-09 | Dds:Kk | 顔画像照合装置、携帯端末装置、顔画像照合方法及び顔画像照合プログラム |
| JP2005100090A (ja) * | 2003-09-25 | 2005-04-14 | Konica Minolta Holdings Inc | 画像データ検索方法及び画像データ検索装置 |
| EP1669890A4 (en) | 2003-09-26 | 2007-04-04 | Nikon Corp | METHOD, DEVICE AND SYSTEM FOR CUMULATING ELECTRONIC IMAGES |
| WO2005076661A1 (ja) * | 2004-02-10 | 2005-08-18 | Mitsubishi Denki Engineering Kabushiki Kaisha | 超指向性スピーカ搭載型移動体 |
| US7515180B2 (en) * | 2004-03-12 | 2009-04-07 | Olympus Corporation | Shooting apparatus and servers, systems and methods for managing images shot by the shooting apparatus |
| JP2005293020A (ja) * | 2004-03-31 | 2005-10-20 | Fujitsu Ltd | 移動物体の映像データ検索方法、移動物体の撮影・検出装置、移動物体の映像データ検索装置 |
| JP4507679B2 (ja) * | 2004-04-21 | 2010-07-21 | 富士ゼロックス株式会社 | 画像認識装置、画像抽出装置、画像抽出方法及びプログラム |
| JP2005321986A (ja) * | 2004-05-07 | 2005-11-17 | Pioneer Electronic Corp | ヘアスタイル提案システム、ヘアスタイル提案方法、及びコンピュータプログラム |
| JP2005354134A (ja) | 2004-06-08 | 2005-12-22 | Sony Corp | 画像管理方法および装置、記録媒体、並びにプログラム |
| KR20050120339A (ko) * | 2004-06-18 | 2005-12-22 | 엘지전자 주식회사 | 휴대폰에 장착된 카메라를 이용한 신원확인 장치 및 방법 |
| US7333963B2 (en) * | 2004-10-07 | 2008-02-19 | Bernard Widrow | Cognitive memory and auto-associative neural network based search engine for computer and network located images and photographs |
| US7657126B2 (en) * | 2005-05-09 | 2010-02-02 | Like.Com | System and method for search portions of objects in images and features thereof |
| US7831111B2 (en) * | 2005-10-31 | 2010-11-09 | Yahoo! Inc. | Method and mechanism for retrieving images |
| US8208764B2 (en) * | 2006-01-21 | 2012-06-26 | Elizabeth Guckenberger | Photo automatic linking system and method for accessing, linking, and visualizing “key-face” and/or multiple similar facial images along with associated electronic data via a facial image recognition search engine |
| JP4541316B2 (ja) * | 2006-04-06 | 2010-09-08 | 三菱電機株式会社 | 映像監視検索システム |
| US20080126426A1 (en) * | 2006-10-31 | 2008-05-29 | Alphan Manas | Adaptive voice-feature-enhanced matchmaking method and system |
| US8732161B2 (en) * | 2007-04-27 | 2014-05-20 | The Regents Of The University Of California | Event based organization and access of digital photos |
| US9703782B2 (en) * | 2010-05-28 | 2017-07-11 | Microsoft Technology Licensing, Llc | Associating media with metadata of near-duplicates |
-
2006
- 2006-02-01 JP JP2006024185A patent/JP5170961B2/ja not_active Expired - Fee Related
-
2007
- 2007-01-25 TW TW096102776A patent/TWI338265B/zh not_active IP Right Cessation
- 2007-01-26 EP EP07001738A patent/EP1816575A1/en not_active Ceased
- 2007-01-26 EP EP18164324.8A patent/EP3358479A1/en not_active Withdrawn
- 2007-01-31 US US11/700,736 patent/US7884847B2/en not_active Expired - Fee Related
- 2007-02-01 CN CNB2007100075385A patent/CN100456305C/zh not_active Expired - Fee Related
- 2007-02-01 KR KR1020070010757A patent/KR101346730B1/ko not_active Expired - Fee Related
-
2010
- 2010-12-23 US US12/977,835 patent/US9047287B2/en not_active Expired - Fee Related
-
2015
- 2015-04-24 US US14/695,422 patent/US9710490B2/en not_active Expired - Fee Related
-
2016
- 2016-12-06 US US15/370,237 patent/US9805064B2/en active Active
-
2017
- 2017-09-15 US US15/705,673 patent/US9965493B2/en active Active
-
2018
- 2018-04-03 US US15/944,124 patent/US10289698B2/en active Active
-
2019
- 2019-03-08 US US16/296,409 patent/US10579669B2/en active Active
-
2020
- 2020-01-13 US US16/740,964 patent/US11281712B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9106838B2 (en) | 2013-12-27 | 2015-08-11 | National Taiwan University Of Science And Technology | Automatic photographing method and system thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1816575A1 (en) | 2007-08-08 |
| US9710490B2 (en) | 2017-07-18 |
| US10579669B2 (en) | 2020-03-03 |
| US7884847B2 (en) | 2011-02-08 |
| US20180004773A1 (en) | 2018-01-04 |
| US20070216773A1 (en) | 2007-09-20 |
| US11281712B2 (en) | 2022-03-22 |
| US9047287B2 (en) | 2015-06-02 |
| JP5170961B2 (ja) | 2013-03-27 |
| KR20070079331A (ko) | 2007-08-06 |
| JP2007206918A (ja) | 2007-08-16 |
| KR101346730B1 (ko) | 2014-01-02 |
| CN101013432A (zh) | 2007-08-08 |
| CN100456305C (zh) | 2009-01-28 |
| US20180225308A1 (en) | 2018-08-09 |
| US10289698B2 (en) | 2019-05-14 |
| US20170083543A1 (en) | 2017-03-23 |
| US9965493B2 (en) | 2018-05-08 |
| US20110134257A1 (en) | 2011-06-09 |
| TW200805200A (en) | 2008-01-16 |
| US9805064B2 (en) | 2017-10-31 |
| US20190205335A1 (en) | 2019-07-04 |
| US20200151210A1 (en) | 2020-05-14 |
| US20150234861A1 (en) | 2015-08-20 |
| EP3358479A1 (en) | 2018-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI338265B (en) | System, apparatus, method and program for processing image | |
| CN100517328C (zh) | 显示控制装置和方法 | |
| CN102855906B (zh) | 图像处理设备和图像处理方法 | |
| US8594440B2 (en) | Automatic creation of a scalable relevance ordered representation of an image collection | |
| CN102741882B (zh) | 图像分类装置、图像分类方法、集成电路、模型制作装置 | |
| US20070195344A1 (en) | System, apparatus, method, program and recording medium for processing image | |
| JP5018614B2 (ja) | 画像処理方法、その方法を実行するプログラム、記憶媒体、撮像機器、画像処理システム | |
| JP4490214B2 (ja) | 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム | |
| JP6109118B2 (ja) | 画像処理装置および方法、情報処理装置および方法、並びにプログラム | |
| JP2006079460A (ja) | 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム | |
| US11283945B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JP2013061974A (ja) | 画像処理装置および方法、情報処理装置および方法、プログラム、並びに画像処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |